JP2024023692A - 自動パッケージ登録システム、デバイス、および方法 - Google Patents
自動パッケージ登録システム、デバイス、および方法 Download PDFInfo
- Publication number
- JP2024023692A JP2024023692A JP2023212474A JP2023212474A JP2024023692A JP 2024023692 A JP2024023692 A JP 2024023692A JP 2023212474 A JP2023212474 A JP 2023212474A JP 2023212474 A JP2023212474 A JP 2023212474A JP 2024023692 A JP2024023692 A JP 2024023692A
- Authority
- JP
- Japan
- Prior art keywords
- package
- image data
- edges
- instructions
- identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005259 measurement Methods 0.000 claims description 48
- 239000012636 effector Substances 0.000 claims description 22
- 230000005484 gravity Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 21
- 238000000605 extraction Methods 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
- B65G63/002—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations for articles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
- B65B43/00—Forming, feeding, opening or setting-up containers or receptacles in association with packaging
- B65B43/42—Feeding or positioning bags, boxes, or cartons in the distended, opened, or set-up state; Feeding preformed rigid containers, e.g. tins, capsules, glass tubes, glasses, to the packaging position; Locating containers or receptacles at the filling position; Supporting containers or receptacles during the filling operation
- B65B43/46—Feeding or positioning bags, boxes, or cartons in the distended, opened, or set-up state; Feeding preformed rigid containers, e.g. tins, capsules, glass tubes, glasses, to the packaging position; Locating containers or receptacles at the filling position; Supporting containers or receptacles during the filling operation using grippers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
- B65G47/915—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers provided with drive systems with rotary movements only
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
- B65G47/917—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G59/00—De-stacking of articles
- B65G59/02—De-stacking from the top of the stack
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
- G05B19/40931—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine concerning programming of geometry
- G05B19/40935—Selection of predetermined shapes and defining the dimensions with parameter input
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/04—Detection means
- B65G2203/041—Camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2814/00—Indexing codes relating to loading or unloading articles or bulk materials
- B65G2814/03—Loading or unloading means
- B65G2814/0301—General arrangements
- B65G2814/0308—Destacking devices
- B65G2814/031—Removing from the top
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Robotics (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- De-Stacking Of Articles (AREA)
- Stacking Of Articles And Auxiliary Devices (AREA)
- Specific Conveyance Elements (AREA)
- Image Processing (AREA)
- Control Of Conveyors (AREA)
Abstract
【課題】ロボットによるパッケージハンドリング作業中にパッケージを登録する。【解決手段】パッケージハンドリングシステムを動作させる方法は、パッケージ表面の第1の表面画像を表す第1の画像データを受信することと、第1の画像に基づいてパッケージ表面についての交差するエッジのペアを識別することと、エッジのペアに基づいて最小実行可能領域を決定することであって、最小実行可能領域はパッケージを把持して持ち上げるためのものである、決定することと、持ち上げ後のパッケージを表す第2の画像データを受信することと、第3の画像データに基づいて登録データを生成することとを含む。【選択図】図1B
Description
関連出願の相互参照
[0001] 本出願は、2018年10月30日に出願された米国仮特許出願第62/752,756号の利益を主張し、その全体が本明細書に引用により組み込まれている。
[0001] 本出願は、2018年10月30日に出願された米国仮特許出願第62/752,756号の利益を主張し、その全体が本明細書に引用により組み込まれている。
[0002] 多くの場合、パッケージはパレタイズされて送り先へ輸送され、そこでデパレタイズされる。場合により、パッケージは人間の作業者によってデパレタイズされ、これには費用がかかり、肉体的損傷の危険性があり得る。産業環境では、デパレタイズ作業は産業用ロボット、たとえば、パッケージを把持し、持ち上げ、運び、解放位置に届けるロボットアームにより行われることが多い。また、撮像デバイスを利用して、パレットに積まれたパッケージのスタックの画像を撮影する場合がある。システムはこの画像を処理して、たとえば、撮影画像を登録データソースに記憶された登録済み画像と比較することによって、パッケージがロボットアームによって効率的に扱われるようにし得る。
[0003] 場合により、パッケージの撮影画像は登録済み画像と一致し得る。結果として、撮像された物体の物理特性(たとえば、パッケージの寸法、重さ、および/または重心の測定値)は未知となる場合がある。物理特性を正しく識別するのに失敗した場合、種々の望ましくない結果がもたらされ得る。たとえば、そのような失敗は中断を引き起こす場合があり、これにはパッケージを手動で登録することが必要となり得る。また、そのような失敗によってパッケージが誤って扱われる場合があり、これは特に、パッケージが比較的重い、および/または傾いている場合である。
[0029] 以下の説明では、本明細書で開示する発明概念の実施形態の完全な理解を提供するために、いくつかの具体的詳細を提示する。しかしながら、関連技術に熟練した者であれば、本明細書で開示する本技術の実施形態が、具体的詳細のうちの1つまたは複数がなくとも、または他の構成要素との組み合わせなどで実施できることを理解するであろう。他の例では、本明細書で開示する本技術の様々な実施形態の態様を曖昧にしないようにするために、よく知られている実施態様または動作については詳細には図示も説明もしていない。
[0030] 図1Aおよび図1Bに、本技術のいくつかの実施形態によるパッケージ登録メカニズムによって構成されるロボットシステム100を示す。いくつかの実施形態では、ロボットシステムは、デパレタイズ台110、荷受台120、ロボットアームシステム130、エンドエフェクタ140、処理ユニット(PU:processing unit)150、画像システム160、登録データソース(RDS:registration data source)170、高さ決定センサ(HDS:height determination sensor)180、および/または解放位置センサ(RPS:release point sensor)190を含むことができる。
[0031] デパレタイズ台110は、複数のパッケージ112(単数形では、「パッケージ112」)がスタックおよび/またはステージされ、荷受台120に運ばれる準備ができている場合がある任意の台、表面、および/または構造を含むことができる。「パッケージ」および「複数のパッケージ」という用語を本明細書で使用するが、この用語は、以下に詳述するように、コンテナを把持し、持ち上げ、運び、届けることが可能な他の任意の語、たとえば、限定はしないが、「ケース」、「ボックス」、「カートン」、またはこれらの任意の組み合わせを含むことに留意されたい。その上、長方形のボックスを本明細書で開示する図面に示しているが、ボックスの形状はそのような形状に限定されず、以下に詳述するように、把持し、持ち上げ、運び、届けることが可能な任意の規則的または不規則な形状を含む。
[0032] デパレタイズ台110と同様に、荷受台120は、さらなるタスク/作業のためにパッケージ112を受けるように指定される任意の台、表面、および/または構造を含むことができる。いくつかの実施形態では、荷受台120は、さらなる作業(たとえば、仕分けおよび/または保管)のためにある場所(たとえば、後述の解放位置)から他の場所へパッケージ112を運ぶためのコンベアシステムを含むことができる。
[0033] ロボットアームシステム130は、パッケージ112を操作する(たとえば、移動および/または回転もしくは向きを変更する)ように構成される1組のリンク構造、関節、モータ/アクチュエータ、センサ、またはそれらの組み合わせを含むことができる。ロボットアームシステム130は、本明細書において限定ではなく例示の目的で、多関節型の6軸ロボットアーム構造であり得るロボットアーム132を含むことができる。本明細書の議論はロボットアームシステム130を意図しているが、本明細書で開示する実施形態はそのようなシステムに限定されず、本明細書で開示する動作を行うように構成され得る任意のロボットシステムを含む。
[0034] エンドエフェクタ140は、複数のパッケージ112と相互作用するように構成されるロボットアーム132の遠位端に結合される任意の1つまたは複数のコンポーネントを含むことができる。たとえば、エンドエフェクタ140は、パッケージ112を把持して保持するように構成される構造(たとえば、真空式グリッパ)を含むことができる。いくつかの実施形態では、エンドエフェクタ140は、(図2Aおよび図2Bに示すように)フォーストルク(F-T)センサ142、アームインターフェース144、グリッパシステム146、および/またはグリッパインターフェース148を含むことができる。
[0035] 図1BのPU150は、ロボットアームシステム130(エンドエフェクタ140を含む)の動きおよび/または他の動作を管理および制御するだけでなく、他の関連するデータを処理するようにプログラムおよび/または構成される任意のユニット(複数可)または回路とすることができる。たとえば、PU150は、画像システム160からパッケージ112の表面画像(SI:surface image)を表す画像データを受信し、(後述する)RDS170によって提供される登録レコード172に従ってSIの登録状況を決定する。すなわち、パッケージ112がパッケージ112の登録済みインスタンスであるか、またはパッケージ112の未登録インスタンス(たとえば、パッケージ112の登録レコード172のインスタンスが存在しないまたは不完全なもの)であるかを判定する。また、たとえば、PU150はロボットアームシステム130をパッケージ112の登録済みインスタンスに誘導することができる。加えて、PU150は、把持制御信号をグリッパシステム146に適用し、アームを荷受台120に誘導し、および/またはRPS190から解放信号を受信すると、パッケージ112の登録済みインスタンスを荷受台120上に離すことができる。
[0036] PU150は、ランダムアクセスメモリ(RAM)、ディスクドライブ、磁気メモリ、読み出し専用メモリ(ROM)、コンパクトディスク(CD)、固体メモリ、セキュアデジタルカード、および/またはコンパクトフラッシュカードを含むがこれらに限定されない、デジタルメモリ記憶デバイスまたは非一時的コンピュータ可読媒体(一般的には、図1Bのメモリ152)に永久にまたは一時的に記憶され得るソフトウェアまたはコンピュータ命令コードを実行する任意の電子データ処理ユニットを含むことができる。PU150は、本明細書で具現化する特定の機能のために開発されるアルゴリズムを含むソフトウェアまたはコンピュータ命令コードを実行することによって駆動されてもよい。いくつかの実施形態では、PU150は、本明細書で開示する実施形態に合わせてカスタマイズされた特定用途向け集積回路(ASIC)であってもよい。いくつかの実施形態では、PU150は、マイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、プログラマブルロジックデバイス(PLD)、プログラマブルゲートアレイ(PGA)、および信号発生器のうちの1つまたは複数を含むことができる。しかし、本明細書の実施形態では、「プロセッサ」という用語はそのような例示的な処理ユニットに限定されることはなく、その意味は狭く解釈されるように意図していない。たとえば、PU150は、2つ以上の電子データ処理ユニットを含むこともできる。いくつかの実施形態では、PU150は、ロボットアームシステム130、エンドエフェクタ140、および/または画像システム160を含むがこれらに限定されないロボットシステム100の他の任意のシステムによって、またはこれと併せて使用されるプロセッサ(複数可)とすることができる。
[0037] PU150は、入力データの受信を容易にするために、システムおよび/またはソースに(たとえば、導線、バス、および/または無線接続を介して)電子的に結合されてもよい。いくつかの実施形態では、動作可能に結合されるとは、電子的に結合されると置き換え可能であると見なされてもよい。直接接続がなされることは必須ではなく、代わりに、そのような入力データの受信および出力データの提供は、バスを介して、無線ネットワーク経由で、あるいはPU150によって物理または仮想コンピュータポートを介して受信および/または送信される信号として行うことができる。PU150は、以下に詳述する方法を実行するようにプログラムまたは構成されてもよい。いくつかの実施形態では、PU150は、画像システム160、RDS170、HDS180、および/またはRPS190を含むがこれらに限定されない様々なシステムおよび/またはユニットからデータを受信するようにプログラムまたは構成されてもよい。いくつかの実施形態では、PU150は、ロボットアームシステム130、エンドエフェクタ140、およびRDS170を含むがこれらに限定されない様々なシステムおよび/またはユニットに出力データを提供するようにプログラムまたは構成されてもよい。
[0038] 画像システム160は、デパレタイズ台110上に配置されたパッケージ112の1つまたは複数のSIを表す画像データをキャプチャするように構成される1つまたは複数のセンサ162を含むことができる。いくつかの実施形態では、画像データは、パッケージ112の登録状況を決定し得る、パッケージ112の1つまたは複数の表面上に見える視覚的なデザインおよび/またはマーキングを表すことができる。いくつかの実施形態では、画像システム160は、目標とする(たとえば、可視および/または赤外の)電磁スペクトル帯域幅内で動作するように設計され、対応するスペクトル内の光/エネルギーを検出するために使用される1つまたは複数のカメラを含むことができる。いくつかの実施形態では、画像データは、1つまたは複数の3次元(3-D)カメラおよび/または1つまたは複数の2次元(2-D)カメラからキャプチャされる、点群を形成するデータ点のセット、深度マップ、またはこれらの組み合わせとすることができる。これらのカメラから、画像システム160と、パッケージ112の(たとえば、画像システム160の視線に対する)1つまたは複数の露出面との間の距離または深度が決定されてもよい。いくつかの実施形態では、距離または深度は、コンテキスト型画像分類アルゴリズム(複数可)および/またはエッジ検出アルゴリズム(複数可)などの画像認識アルゴリズム(複数可)を使用して決定することができる。決定後、距離/深度値を使用して、ロボットアームシステム130を介してパッケージ112を操作してもよい。たとえば、PU150および/またはロボットアームシステム130は、距離/深度値を使用して、パッケージ112が持ち上げられおよび/または把持され得る位置を計算することができる。本明細書に記載のデータ、たとえば、画像データは、情報を含むまたは情報を示すことができる離散的または連続的な任意のアナログまたはデジタル信号を含むことができることに留意されたい。
[0039] 画像システム160は、以下に詳述するように、ロボットシステム100の1人または複数人の操作者によって見られ得る、センサ162によってキャプチャされたパッケージ(複数可)112の画像を提示するように構成される少なくとも1つの表示ユニット164を含むことができる。加えて、表示ユニット164は、以下に詳述するパッケージ112の登録済みおよび/または未登録インスタンスを表すシンボロジーなどであるがこれに限定されない他の情報を提示するように構成することができる。
[0040] RDS170は、複数のパッケージ112についての登録レコード172を記憶するように構成される任意のデータベースおよび/またはメモリ記憶デバイス(たとえば、非一時的コンピュータ可読媒体)を含むことができる。たとえば、RDS170は、読み出し専用メモリ(ROM)、コンパクトディスク(CD)、固体メモリ、セキュアデジタルカード、コンパクトフラッシュカード、および/またはデータ記憶サーバもしくは遠隔記憶デバイスを含むことができる。
[0041] いくつかの実施形態では、各登録レコード172は、対応するパッケージ112についての物理特性または属性を含むことができる。たとえば、各登録レコード172は、限定はしないが、1つまたは複数のテンプレートSI、2-Dもしくは3-Dサイズ測定値、重さ、および/または重心(CoM:center of mass)情報を含むことができる。テンプレートSIは、パッケージ112のデザイン、マーキング、外観、外形/輪郭、またはこれらの組み合わせを含む、パッケージ112の既知のまたは以前に決定された視覚的特徴を表すことができる。2-Dまたは3-Dサイズ測定値は、既知の/想定されるパッケージの長さ、幅、高さ、またはこれらの組み合わせを含むことができる。
[0042] いくつかの実施形態では、RDS170は、以下に開示する実施形態に従って生成される(たとえば、以前は未知であったパッケージ、および/またはパッケージの以前は未知であった側面についての)登録レコード172の新たなインスタンスを受信するように構成することができる。したがって、ロボットシステム100は、RDS170に記憶される登録レコード172の数を増やして、パッケージ112を登録するための処理を自動化することによって、パッケージ112の未登録インスタンスをより少数にして、デパレタイズ作業をより効率化することができる。ライブ/動作データを使用してRDS170内の登録レコード172を動的に(たとえば、動作中/配置中に)更新することによって、ロボットシステム100は、以前は未知もしくは想定外であった条件(たとえば、照明条件、未知の向き、および/または段積みの不一致)および/または新たに遭遇したパッケージを考慮し得るコンピュータ学習処理を効率的に実装することができる。したがって、ロボットシステム100は、「未知の」条件/パッケージから生じる失敗、関連する人間の操作者の介入、および/または関連するタスクの失敗(たとえば、パッケージ紛失および/または衝突)を減らすことができる。
[0043] HDS180は、基準点(たとえば、HDS180に関連付けられた表面)に対する物体(たとえば、パッケージ112)の垂直測定値を提供するように構成されるコンポーネントを含むことができる。図1Aに示す例では、HDS180は、パッケージ112の底部/エッジがHDS180に関連付けられた水平面(たとえば、走査面)と交差したときに、図1のPU150に信号を送信することができる。PU150は、HDS180からの信号を使用して、たとえば、HDS180の走査面(すなわち、事前に知られているもの)と、信号が生成されたときのグリッパシステム146の位置との間の距離に応じて、パッケージ112の高さを(たとえば、配置/接近の向きに従って)決定することができる。以下に開示するように、パッケージ112の高さは、登録レコード172に登録済みの2-D測定値に、第3の次元の測定値として追加されてもよい。いくつかの実施形態では、HDS180は、図1Aに示すように荷受台120上に設置することができる。
[0044] RPS190は、パッケージ112がRPS190に関連付けられた水平面と交差または接触した場合に、PU150に提供される信号をトリガするように構成されるコンポーネント/回路を含むことができる。いくつかの実施形態では、RPS190によってトリガされた信号を使用して、グリッパシステム146がパッケージ112を荷受台120上に離す位置を決定してもよい。いくつかの実施形態では、RPS190は、図1Aに示すように荷受台120上に設置することができる。
[0045] ここで図2Aを参照すると、F-Tセンサ142は、ある座標系の軸および/または複数の軸に沿った直線力および/またはモーメント力を検出するように構成される任意のセンサとすることができる。いくつかの実施形態では、F-Tセンサ142は、図1Aおよび図1Bのロボットシステム100によって利用される3軸までの力(たとえば、デカルト座標系のx軸、y軸、およびz軸に沿って検出される力)、および/または3軸モーメント(たとえば、デカルト座標系のx軸、y軸、およびz軸まわりに検出されるモーメント)を検出するように構成される6軸力センサを有するコンポーネントを含むことができる。いくつかの実施形態では、F-Tセンサ142は、内蔵アンプおよび信号処理用のマイクロコンピュータ、静的測定および動的測定を行う機能、および/またはサンプリング間隔に基づいて瞬時の変化を検出する機能を含むことができる。いくつかの実施形態では、F-Tセンサ142は、有線通信および/または無線通信を介して図1BのPU150と通信可能に結合することができる。
[0046] アームインターフェース144は、図1Aのロボットアーム132の遠位端をF-Tセンサ142に結合するように構成される任意のデバイスとすることができる。いくつかの実施形態では、ロボットアームシステム130の製造業者は、F-Tセンサ142の製造業者と異なってもよい。そのような場合、アームインターフェース144の端部は異なる構成を有してもよく、一方の端部は遠位端と結合するよう構成され、他方の端部はF-Tセンサ142と結合するよう構成されてもよい。
[0047] ここで図2Bを参照すると、グリッパシステム146は、図1Aのパッケージ112を図1Aのデパレタイズ台110上のその静止位置から把持し、パッケージ112が図1Bのロボットアームシステム130によって図1Aの荷受台120に運ばれ届けられる間に把持を持続するように構成される任意のシステムまたはアセンブリとすることができる。いくつかの実施形態では、グリッパシステム146は、荷受台120にてパッケージ112を把持し、デパレタイズ台110にて離すための真空源を利用した真空グリッパシステムから構成され得る。いくつかの実施形態では、真空グリッパシステムは、パッケージ112とのインターフェースとして吸引カップ(複数可)を利用することができる。
[0048] 図2Bのグリッパインターフェース148は、F-Tセンサ142をグリッパシステム146に結合するように構成される任意のデバイスとすることができる。いくつかの実施形態では、F-Tセンサ142の製造業者は、グリッパシステム146の製造業者と異なってもよい。そのような場合、グリッパインターフェース148の両側は異なる構成を有してもよく、片側はF-Tセンサ142と結合するように構成され、反対側はグリッパシステム146と結合するように構成される。
[0049] 図3A~図4Qに、図1Aおよび図1Bのロボットシステム100を利用して、図1Aのパッケージ112の未登録インスタンスの図1Bの登録レコード172を生成し得る方法を示す。図3Aに、パッケージ112-1~112-24のスタックの例の斜視図を示す。図3Bに、これらのパッケージ112のスタックの例の上面図を示す。図3Bは、図1Aおよび図1Bの画像システム160のセンサ162によってキャプチャされた、これらのパッケージ112を見下ろしたシーンの画像および/または点群データに対応することができる。限定ではなく例示のみの目的で、パッケージ112-1~112-3、112-13~112-14、および112-21~112-24は、パッケージ112の登録済みインスタンスを表すことができ、それぞれ図1BのRDS170に記憶された登録レコード172を有する。議論および簡潔さのみのために、パッケージ112は長方形形状であるよう図示しており、各々、それぞれの登録レコード172に登録されたSI(斜線で図示)を有する。
[0050] 図3Cに、本技術のいくつかの実施形態による登録済みパッケージの例示的なシンボロジーを示す。図3Cに、図1Bの表示ユニット164によって表示されるパッケージのシンボロジー(たとえば、表示されたオブジェクトの登録状況を表すための視覚的マーカおよび/またはオーバレイ)112-1a~112-3a、112-13a~112-14a、および112-21a~112-24aを示す。これらのシンボロジーおよび対応する登録状況を生成するために、図3Bのパッケージ112-1~112-3、112-13~112-14、および112-21~112-24のキャプチャされたSIを、画像認識アルゴリズム(複数可)によってRDS170に記憶された登録レコード172のSIと比較し、登録済みであれば、シンボロジーとして表示してもよい。いくつかの実施形態では、シンボロジーは、製造業者および/またはエンドユーザによって、SIが登録済みであることを示す視覚的フォーマットを使用して構成することができ、そのようなフォーマットは各種形状および/または色を利用することができる。限定ではなく例示のみの目的で、製造業者および/またはエンドユーザは、シンボロジー112-1a~112-3a、112-13a~112-14a、および112-21a~112-24aを、パッケージの輪郭の形状および大きさ(すなわち、ここでは長方形を想定)となるように構成している。図示していないが、シンボロジーは、パッケージ112-1~112-3、112-13~112-14、および112-21~112-24のそれぞれについて、肯定的な登録状況(すなわち、登録レコード172の存在するインスタンス)を示す色(たとえば、緑色)にすることができる。図示していないが、図3Bに示すシーンの画像は、表示ユニット164上に提示することができ、その上に図3Cのシンボロジーがオーバレイされ得る。いくつかの実施形態では、パッケージ112-1~112-3、112-13~112-14、および112-21~112-24を表す英数字(たとえば、登録レコード172にリストされた1つまたは複数の物理特性)が、シンボロジーの代わりに、またはこれに加えて提示されてもよい。
[0051] いくつかの実施形態では、ロボットシステム100は、(エッジ検出アルゴリズム(複数可)を含み得る画像認識アルゴリズム(複数可)によって)画像データからパッケージの2-D測定値(たとえば、長さおよび幅)を生成することができる。たとえば、ロボットシステム100は、画像認識アルゴリズム(複数可)(たとえば、エッジ検出アルゴリズム(複数可)および/またはマッピングアルゴリズム(複数可))を使用して、パッケージ112-1~112-3、112-13~112-14、および112-21~112-24などの、デパレタイズ台110のパッケージ112の2-D測定値を生成することができる。ロボットシステム100は、測定面までの深度に基づいて2-D測定値を生成することができる。ロボットシステム100は、(たとえば、測定されたパッケージが、露出面の画像認識などによって識別されると)対応するパッケージ112の2-D測定値をそれらの登録レコード172と比較して、登録レコード172の精度を確認することができる。
[0052] いくつかの実施形態では、図1Aおよび図1Bのエンドエフェクタ140および/またはグリッパシステム146を位置調整するために、登録レコード172に記憶されたCoM情報をPU150に提供してもよい。ロボットシステム100は、エンドエフェクタ140および/またはグリッパシステム146をパッケージ112のCoM上に配置して、パッケージ112を把持して持ち上げることによって、パッケージ112が図1Aのデパレタイズ台110上のその位置から把持され持ち上げられる場合に、バランスのとれたパッケージの把持およびレベルパッケージ持ち上げを含む作業を容易にすることができる。パッケージ112を把持し、持ち上げ、図1Aの荷受台120まで運び、そこで離してもよい。
[0053] 図4Aに、本技術のいくつかの実施形態によるパッケージ(たとえば、パッケージ112-31~112-54)のスタックの第2の例の斜視図を示す。図4Bに、本技術のいくつかの実施形態によるパッケージのスタックの第2の例の上面図を示す。図3Bは、図1Aおよび図1Bの画像システム160のセンサ162によってキャプチャされた、これらのパッケージを見下ろしたシーンの画像および/または点群データに対応し得る。限定ではなく例示のみの目的で、パッケージ112-33、112-43および112-51は、パッケージ112の登録済みインスタンスを表し得、各インスタンスは、図1BのRDS170に記憶された図1Bの登録レコード172のそれぞれのインスタンスに含まれるSIを有する。議論および簡潔さのみのために、パッケージ112は長方形形状である。
[0054] 加えて、パッケージ112-31、112-32、112-44、および112-52~112-54は、パッケージ112の未登録のおよび/または誤って処理された/一致したインスタンスを表し得る。これは図1BのRDS170に記憶された登録レコード172に対応しなくてもよい。ロボットシステム100は、これらの未登録/不一致SIを表す撮影画像データを、後述の第1の画像データおよび登録可能SIとして使用することができる。議論および簡潔さのみのために、パッケージ112は長方形形状であり、それぞれ、垂直線、水平線、および/または斜交平行線によって示されるSIを有することができる。
[0055] 図4C、図4E、図4G、図4I、および図4Lは、1つまたは複数のパッケージが持ち去られた場合のスタックの上面図を示し得る。図4Cに、本技術のいくつかの実施形態による登録済みおよび未登録パッケージの例示的なシンボロジーを示す。図4Cに、図1Bの表示ユニット164によって表示される長方形112-33a、112-43a、および112-51aのシンボロジーを示す。上述のように、パッケージ112のSIは、図1Bの画像システム160によってキャプチャされ、図1BのRDS170に記憶された図1Bの登録レコード172のSIと比較されてもよい。登録済みであれば、ロボットシステムは、SIが登録済みであることを示すシンボロジーを割り当ておよび/または表示することができる。図示のように、シンボロジー112-33a、112-43a、および112-51aは、表示ユニット164によって表示される長方形の輪郭を含むことができる。
[0056] 図4Cに示すように、内側の長方形112-61a~112-61d(両端含む)を外側の長方形112-62a~112-62d(両端含む)の中に組み合わせたものが、パッケージ112-31、112-44、および112-53の未登録SIについてのシンボロジー112-31a、112-44a、および112-53aとして表示ユニット164上に表示することができる。いくつかの実施形態では、内側の長方形112-61a~112-61dの大きさおよび配置は、以下に詳述する最小実行可能領域(MVR)と一致することができる。シンボロジー112-31a、112-44a、および112-53aが存在することは、パッケージ112-31、112-44、および112-53のSIが、登録レコード172を有さないおよび/または登録レコード172と一致しないことを示すことができる。そのような例では、画像認識アルゴリズム(複数可)(たとえば、エッジ認識アルゴリズム(複数可))を利用して、コーナーを形成する少なくとも2つの明瞭エッジの存在を判定することができる。
[0057] 図4Dに、本技術のいくつかの実施形態による不明瞭エッジおよびMVRの例を示す。図4Dに、未登録/不一致パッケージについての、コーナー112-31c、112-44c、および112-53cをそれぞれ形成する、2つの明瞭エッジ112-31b、112-44b、および112-53b(たとえば、スタックの外側のエッジを形成する/と一致するエッジ)を示す。また、2つの不明瞭エッジ112-31d、112-44d、および112-53dが、それぞれコーナー112-31e、112-44e、および112-53eを形成することがPU150によって識別/推定されてもよい。いくつかの実施形態では、図4Aのパッケージ112-31の2つの不明瞭エッジ112-31dは、それぞれ端部112-31baおよび112-31bbから所定の角度で(たとえば、垂直に)、コーナー112-31eにて交差するまで伸びていると仮定して、処理することができる。同様に、パッケージ112-44の2つの不明瞭エッジ112-44dは、それぞれ端部112-44baおよび112-44bbから所定の角度で(たとえば、垂直に)、コーナー112-44eにて交差するまで伸びていると仮定して、処理することができる。同じく、パッケージ112-53の2つの不明瞭エッジ112-53dは、それぞれ端部112-53baおよび112-53bbから所定の角度で(たとえば、垂直に)、コーナー112-53eにて交差するまで伸びていると仮定して、処理することができる。いくつかの実施形態では、ロボットシステム100は、対応するパッケージに関連する深度測定値、位置/場所、決定された姿勢、またはこれらの組み合わせに応じて所定の角度を選択または調整することができる。
[0058] 加えて、例示的なMVR112-31f、112-44f、および112-53fを図4Dに示す。いくつかの実施形態では、パッケージ112の未登録インスタンスごとにMVRを計算してもよく、これを使用して図1Bの登録レコード172を生成することができる。ロボットシステム100は、登録レコード172を、それぞれのMVRに応じて生成することができる。MVR112-31fは、その辺が2つの明瞭エッジ112-31bまたはその一部と同一線上になるように計算することができる。換言すれば、MVR112-31fの大きさは、パッケージ112-31の表面より小さくすることができる。いくつかの実施形態では、MVR112-31fは、図2Bに示すグリッパシステム146の大きさ、またはパッケージ112を持ち上げる場合の、把持し、安全に把持を持続する能力に対応する他の特徴に応じてサイズ設定することができる。MVRを処理する際、ロボットシステム100は、パッケージ112についてのデフォルトCoMを想定し使用することができる。したがって、デフォルトCoMおよび計算された大きさを使用して、ロボットシステム100は、パッケージ112の関連する操作(たとえば、把持する、持ち上げる、および/または運ぶ)における誤り/失敗を防ぐMVR112-31fを計算することができる。たとえば、MVRが小さすぎる場合、グリッパシステム146は誤って配置される場合があり、パッケージ112が持ち上げられた場合に、グリッパシステム146による把持の持続が可能ではない場合がある。いくつかの実施形態では、MVR112-31fは、画像認識アルゴリズム(複数可)によって決定されるSI内に見られる表面デザインおよび/またはマーキングの一部である直線を除外するようにサイズ設定することができる。いくつかの実施形態では、MVR112-31fは、より低い信頼基準に対応するエッジを除外するようにサイズ設定することができる。前述の議論はMVR112-31fに関心が寄せられているが、MVR112-31fを計算するための機能は、本明細書に記載の任意のMVRに当てはまることに留意されたい。
[0059] 図4Eに、本技術のいくつかの実施形態による登録済みおよび未登録パッケージの例示的なシンボロジーの第2のセットを示す。図4Eは、図4Cに示すスタックから1つまたは複数のパッケージが持ち去られた/運ばれた後のパッケージのスタックの状態を表し得る。図4Cのシンボロジー112-33aが無いことは、図1Aのデパレタイズ台110から登録済みパッケージ112-33が把持され、持ち上げられ、運ばれたことを示し得る。また、ロボットシステム100は、シンボロジー112-32aを表示ユニット164上に生成/表示して、図4Bに示すパッケージ112-32のコーナーを形成する2つの明瞭エッジ(たとえば、現在露出しており、いかなる当接するエッジ/パッケージにも隣接しなくなったエッジ)の新たな認識を示すことができる。
[0060] 図4Fに、本技術のいくつかの実施形態による不明瞭エッジおよびMVRの第2の例を示す。図4Fに、上述の1つまたは複数の処理を使用して認識された、コーナー112-32cを形成する明瞭エッジ112-32bを示す。この認識から、2つの不明瞭エッジ112-32dおよび対応するコーナー112-32eが、ロボットシステム100(たとえば、PU150)によって上述のように推定されてもよく、MVR112-32fが上述のように計算されてもよい。
[0061] 図4Gに、本技術のいくつかの実施形態による未登録パッケージの例示的なシンボロジーの第3のセットを示す。図4Gは、図4Eに示すスタックから1つまたは複数のパッケージが持ち去られた/運ばれた後のパッケージのスタックの状態を表し得る。図4Cおよび図4Eのシンボロジー112-43aおよび112-51aが無いことは、図1Aのデパレタイズ台110から登録済みパッケージ112-43および112-51が把持され、持ち上げられ、運ばれたことを示し得る。図4Bのパッケージ112-52の左右のエッジがここで認識されてもよいが(たとえば、露出し、当接するエッジ/パッケージに隣接しなくなったため)、これらのエッジは互いに平行であり、交差してコーナーを形成することはないので、パッケージ112-52に対応するシンボロジーの追加は、いくつかの実施形態では表示ユニット164によって表示されなくてもよいことに留意されたい。
[0062] 図4Hに、本技術のいくつかの実施形態によるMVR(たとえば、図4DのMVR112-44f)上へのグリッパシステム(たとえば、グリッパシステム146)の配置例を示す。図1Aおよび図1Bのエンドエフェクタ140を構成するF-Tセンサ142およびグリッパシステム146は、図1の画像システム160のセンサ162の視野から図4Dの不明瞭エッジ112-44dを遮蔽せずに、グリッパシステム146がMVR112-44f上に配置されるように位置調整されてもよい。次いで、パッケージ112-44を把持し、持ち上げ検査距離だけ垂直に上昇位置まで持ち上げることができる。たとえば、持ち上げ検査距離は、図1Bおよび図2AのF-Tセンサ142がパッケージ112-44の1つまたは複数の軸の力ならびに/あるいは1つまたは複数の軸のモーメントの測定値をキャプチャするのに十分な距離を表すことができる。たとえば、持ち上げ検査距離は、ゼロミリメートルより長い垂直距離またはz軸に沿った距離を表すことができる。具体例としては、持ち上げ検査距離は50ミリメートルを表すことができる。
[0063] デカルト座標系を基準とするいくつかの実施形態では、1つまたは複数の軸に沿った力測定値(複数可)(すなわち、F(x軸)、F(y軸)、および/またはF(z軸))、および/または1つまたは複数の軸まわりのモーメント測定値(複数可)(すなわち、M(x軸)、M(y軸)、および/またはM(z軸))がF-Tセンサ142を介してキャプチャされてもよい。CoM計算アルゴリズムを適用することによって、パッケージの重さが力測定値(複数可)に応じて計算されてもよく、パッケージのCoMが力測定値(複数可)およびモーメント測定値(複数可)に応じて計算されてもよい。これらの測定値は、パッケージ112-44について生成される図1Bの登録レコード172の新たなインスタンスに追加することができる。いくつかの実施形態では、計算されたCoMがMVR112-44fに入らない場合、パッケージ112-44はグリッパシステム146から離されてもよい。次いで、グリッパシステム146は計算されたCoM上に位置付けられてもよく、そのときパッケージ112-44は安全に把持され、同様に上昇位置まで持ち上げられてもよい。
[0064] 上昇位置にある間、ロボットシステムは、持ち上げられたパッケージを再撮像して、以前は不明瞭であったエッジを明瞭にすることができる。112-44の部分的SI(すなわち、グリッパシステム146によって遮蔽されないSI全体の中の一部)を表す第2の画像データを、図1Aおよび図1Bの画像システム160のセンサ162によってキャプチャして、図4Dの不明瞭エッジ112-44dの明瞭エッジ112-44gを取得してもよい。いくつかの実施形態では、第1の点群データから構成される第1の画像データ内に表される深度情報を、第2の点群データから構成される第2の画像データ内に表される深度情報と比較して、明瞭エッジおよび2-D測定値を決定し得る深度情報の変化を決定してもよい。取得されると、登録可能SIを表す第3の画像データが、第1の画像データのSIおよび第2の画像データの明瞭エッジから生成されてもよい。第2の画像データから決定される2-D測定値および第3の画像データの登録可能SIは、パッケージ112-44について生成される登録レコード172にここで追加されてもよい。さらなる例では、第3の画像データは、図1Aのロボットシステム100についてのテンプレート画像データを表すことができる。ここから、パッケージ112-44の未登録インスタンスについての登録可能SI、2-D測定値、ならびに重さおよびCoMの測定値から構成される登録レコード172の新たなインスタンスが、ここで図1BのRDS170に記憶されてもよい。ロボットシステム100は、パッケージ112のSIをテンプレート画像データと比較することによって、パッケージ112が未登録であるか否かを判定することができる。
[0065] 図4Iに、本技術のいくつかの実施形態による未登録パッケージの例示的なシンボロジーの第4のセットを示す。図4Iは、図4Gに示すスタックから1つまたは複数のパッケージが持ち去られた/運ばれた後のパッケージのスタックの状態を表し得る。図4C、図4E、および図4Gのシンボロジー112-44aが無いことは、登録レコード172の新たなインスタンスが確立された後に、デパレタイズ台110からパッケージ112-44の以前は未登録であったインスタンスが運ばれたことを示し得る。また、ロボットシステム100は、シンボロジー112-54aを表示ユニット164上に生成/表示して、図4Bに示すパッケージ112-54のコーナーを形成する2つの明瞭エッジ(たとえば、以前隣接していたパッケージ(複数可)を持ち去った/運んだ後に新たに露出したエッジ)の新たな認識を示すことができる。
[0066] 図4Jに、新たに処理されるパッケージ(たとえば、パッケージ112-54)についての不明瞭エッジおよびMVRの例を示す。図4Jに、上述の1つまたは複数の処理を使用して認識された、コーナー112-54cを形成する明瞭エッジ112-54bを示す。この認識から、2つの不明瞭エッジ112-54dおよび対応するコーナー112-54eが、ロボットシステム100(たとえば、PU150)によって上述のように推定されてもよく、MVR112-54fが上述のように計算されてもよい。
[0067] 図4Kに、本技術のいくつかの実施形態による図4FのMVR(たとえば、MVR112-32f)上へのグリッパシステム(たとえば、グリッパシステム146)の配置例を示す。図1Aおよび図1Bのエンドエフェクタ140を構成するF-Tセンサ142およびグリッパシステム146は、図1の画像システム160のセンサ162の視野から不明瞭エッジ112-32dを遮蔽せずに、グリッパシステム146がMVR112-32f上に配置されるように位置調整されてもよい。次いで、パッケージ112-32が上述のように上昇位置にある状態で、重さおよびCoM測定値が決定され、パッケージ112-32について生成される登録レコード172の新たなインスタンスに追加されてもよく、パッケージ112-32の部分的SIを表す第2の画像データがキャプチャされてもよく、それに基づいて2-D測定値および明瞭エッジ112-32gが決定されてもよく、登録可能SIを表す第3の画像データが、第1の画像データのSIおよび第2の画像データの明瞭エッジから生成されてもよい。ここから、パッケージ112-32の未登録インスタンスについての登録可能SI、2-D測定値、ならびに重さおよびCoMの測定値から構成される登録レコード172の新たなインスタンスが、ここで図1BのRDS170に記憶されてもよい。
[0068] 図4Lに、本技術のいくつかの実施形態による未登録パッケージの例示的なシンボロジーの第5のセットを示す。図4Lは、図4Iに示すスタックから1つまたは複数のパッケージが持ち去られた/運ばれた後のパッケージのスタックの状態を表し得る。図4E、図4G、および図4Iのシンボロジー112-32aが無いことは、登録レコード172の新たなインスタンスが確立された後に、デパレタイズ台110からパッケージ112-32の以前は未登録であったインスタンスが運ばれたことを示し得る。また、ロボットシステム100は、シンボロジー112-52aを表示ユニット164上に生成/表示して、図4Bに示すパッケージ112-52のコーナーを形成する2つの明瞭エッジ(たとえば、以前隣接していたパッケージ(複数可)を持ち去った/運んだ後に新たに露出したエッジ)の新たな認識を示すことができる。
[0069] 図4Mに、新たに処理されるパッケージ(たとえば、パッケージ112-52)についての不明瞭エッジおよびMVRの例を示す。図4Mに、上述の1つまたは複数の処理を使用して認識された、コーナー112-52cを形成する明瞭エッジ112-52bを示す。この認識から、2つの不明瞭エッジ112-52dおよび対応するコーナー112-52eが、ロボットシステム100(たとえば、PU150)によって上述のように推定されてもよく、MVR112-52fが上述のように計算されてもよい。
[0070] 図4Nに、本技術のいくつかの実施形態による図4MのMVR(たとえば、MVR112-52f)上へのグリッパシステム(たとえば、グリッパシステム146)の配置例を示す。図1Aおよび図1Bのエンドエフェクタ140を構成するF-Tセンサ142およびグリッパシステム146は、図1の画像システム160のセンサ162の視野から不明瞭エッジ112-52dを遮蔽せずに、グリッパシステム146がMVR112-52f上に配置されるように位置調整されてもよい。次いで、パッケージ112-52が上述のように上昇位置にある状態で、重さおよびCoM測定値が決定され、パッケージ112-52について生成される登録レコード172の新たなインスタンスに追加されてもよく、パッケージ112-52の部分的SIを表す第2の画像データがキャプチャされてもよく、それに基づいて2-D測定値および明瞭エッジ112-52gが決定されてもよく、登録可能SIを表す第3の画像データが第1の画像データのSIおよび第2の画像データの明瞭エッジから生成されてもよい。ここから、パッケージ112-52の未登録インスタンスについての登録可能SI、2-D測定値、ならびに重さおよびCoMの測定値から構成される登録レコード172の新たなインスタンスが、ここで図1BのRDS170に記憶されてもよい。
[0071] 図4Oに、本技術のいくつかの実施形態による図4JのMVR(たとえば、MVR112-54f)上へのグリッパシステム(たとえば、グリッパシステム146)の配置例を示す。図1Aおよび図1Bのエンドエフェクタ140を構成するF-Tセンサ142およびグリッパシステム146は、図1の画像システム160のセンサ162の視野から不明瞭エッジ112-54dを遮蔽せずに、グリッパシステム146がMVR112-54f上に配置されるように位置調整されてもよい。次いで、パッケージ112-54が上述のように上昇位置にある状態で、重さおよびCoM測定値が決定され、パッケージ112-54について生成される登録レコード172の新たなインスタンスに追加されてもよく、パッケージ112-54の部分的SIを表す第2の画像データがキャプチャされてもよく、それに基づいて2-D測定値および明瞭エッジ112-54gが決定されてもよく、登録可能SIを表す第3の画像データが第1の画像データのSIおよび第2の画像データの明瞭エッジから生成されてもよい。ここから、パッケージ112-54の未登録インスタンスについての登録可能SI、2-D測定値、ならびに重さおよびCoMの測定値から構成される登録レコード172の新たなインスタンスが、ここで図1BのRDS170に記憶されてもよい。
[0072] 図4Pに、本技術のいくつかの実施形態による図4Dの第2のMVR(たとえば、MVR112-31f)上へのグリッパシステム(たとえば、グリッパシステム146)の配置例を示す。図1Aおよび図1Bのエンドエフェクタ140を構成するF-Tセンサ142およびグリッパシステム146は、図1の画像システム160のセンサ162の視野から不明瞭エッジ112-31dを遮蔽せずに、グリッパシステム146がMVR112-31f上に配置されるように位置調整されてもよい。次いで、パッケージ112-31が上述のように上昇位置にある状態で、重さおよびCoM測定値が決定され、パッケージ112-31について生成される登録レコード172の新たなインスタンスに追加されてもよく、パッケージ112-31の部分的SIを表す第2の画像データがキャプチャされてもよく、それに基づいて2-D測定値および明瞭エッジ112-31gが決定されてもよく、登録可能SIを表す第3の画像データが第1の画像データのSIおよび第2の画像データの明瞭エッジから生成されてもよい。ここから、パッケージ112-31の未登録インスタンスについての登録可能SI、2-D測定値、ならびに重さおよびCoMの測定値から構成される登録レコード172の新たなインスタンスが、ここで図1BのRDS170に記憶されてもよい。
[0073] 図4Qに、本技術のいくつかの実施形態による図4Dの第3のMVR(たとえば、MVR112-53)上へのグリッパシステム(たとえば、グリッパシステム146)の配置例を示す。図1Aおよび図1Bのエンドエフェクタ140を構成するF-Tセンサ142およびグリッパシステム146は、図1の画像システム160のセンサ162の視野から不明瞭エッジ112-53dを遮蔽せずに、グリッパシステム146がMVR112-53f上に配置されるように位置調整されてもよい。次いで、パッケージ112-53が上述のように上昇位置にある状態で、重さおよびCoM測定値が決定され、パッケージ112-53について生成される登録レコード172の新たなインスタンスに追加されてもよく、パッケージ112-53の部分的SIを表す第2の画像データがキャプチャされてもよく、それに基づいて2-D測定値および明瞭エッジ112-53gが決定されてもよく、登録可能SIを表す第3の画像データが第1の画像データのSIおよび第2の画像データの明瞭エッジから生成されてもよい。ここから、パッケージ112-53の未登録インスタンスについての登録可能SI、2-D測定値、ならびに重さおよびCoMの測定値から構成される登録レコード172の新たなインスタンスが、ここで図1BのRDS170に記憶されてもよい。
[0074] 図5に、図1Aのロボットシステム100を動作させるための例示的な方法についての制御フロー200を示す。制御フロー200は、パッケージハンドリング作業中に未登録パッケージ112を登録することを含むことができ、ここで、図1BのPU150は、制御フロー200に具現化されるモジュール(たとえば、回路、機能、コンピュータ/デバイス実行可能命令、またはこれらの組み合わせ)に対応する命令によってプログラムまたは構成されてもよい。いくつかの実施形態では、PU150は、図1Bのロボットアームシステム130、図1Bのエンドエフェクタ140、図1Bの画像システム160、図1BのRDS170、スタンドアロンコントローラ、および/またはタスクを実行するのに適した他の任意のシステムにおいて見られるプロセッサまたはプロセッサの組み合わせであってもよい。また、PU150は、たとえば、限定はしないが、PU130の双方向データ通信、すなわち、データの受信および提供を容易にするための1つまたは複数の入力インターフェースを有するプリント基板カードなどのモジュールのプロセッサであってもよい。制御フロー200において具現化される以下のモジュールの実現に必要な場合、データを受信することは、データを取得することおよび/または取り出すことと同義および/または交換可能であり、データを提供することは、データを利用可能にすることまたは供給することと同義および/または交換可能である。
[0075] ロボットシステム100は、キャプチャモジュール202を含むことができる。キャプチャモジュール202は、SIを第1の画像データとしてキャプチャする。たとえば、キャプチャモジュール202は、図1Bのセンサ(複数可)162によって第1の画像データをキャプチャすることができる。より具体的には、例として、キャプチャモジュール202は、画像システム160を動作させ、および/または画像システム160と相互作用して、図3Bおよび/または図4Bに示すスタックの上面図に対応する撮像データをキャプチャする、および/または画像システム160からこれを受信することができる。キャプチャモジュール202は、その結果得られた撮像データを処理して、図1Aのパッケージ112の上面を第1の画像データとしてキャプチャすることができる。いくつかの実施形態では、キャプチャモジュール202は、1つまたは複数の画像認識アルゴリズム(たとえば、コンテキスト型画像分類、パターン認識、および/またはエッジ検出)を利用して、撮像データを分析し、その中のパッケージ112のエッジおよび/または表面を識別することができる。処理結果(たとえば、識別されたエッジおよび/または連続面)に基づいて、キャプチャモジュール202は、撮像データの一部(たとえば、画素値および/または深度読取値のセット)を、個々のパッケージの上面を表すものとして識別することができる。キャプチャモジュール202は、個々のパッケージのうちの1つまたは複数の上面(複数可)に対応する第1の画像データを領域モジュール204に送信することができる。
[0076] ロボットシステム100は領域モジュール204を含むことができ、領域モジュール204はキャプチャモジュール202に結合することができる。領域モジュール204はMVRを計算する。たとえば、領域モジュール204は、パッケージ112、図1Bの登録レコード172、またはこれらの組み合わせに基づいてMVRを計算することができる。
[0077] いくつかの実施形態では、キャプチャモジュール202は、受信した画像データ(たとえば、第1の画像データ)を登録レコード172と比較することができる。たとえば、キャプチャモジュール202は、第1の画像データおよび/またはその任意の処理結果(たとえば、画像データから得られた寸法/大きさ推定値および/または視覚的マーキング)を、既知のまたは以前に遭遇したパッケージの既存の記述/テンプレートと比較することができる。その比較に基づいて、領域モジュール204は、第1の画像データが、登録レコード172に記憶された既知のまたは以前に遭遇したパッケージの対応する情報と一致するか否かを判定することができる。
[0078] 領域モジュール204はMVRをいくつかの方法で計算することができ、たとえば、パッケージ112が登録レコード172として登録されているか否か(たとえば、第1の画像データと登録レコード172との比較が一致を返すか否か)に基づいてMVRを計算する。より具体的には、例として、第1の画像データが登録レコード172のうちの1つと一致する場合(たとえば、パッケージ112が登録レコード172のうちの1つまたは複数として登録されている場合)、領域モジュール204はMVRを計算しないようにすることができる。反対に、第1の画像データが登録レコード172のうちのいずれにも一致しない場合、領域モジュール204はMVRを計算することができる。たとえば、キャプチャされた第1の画像データは、パッケージ112の未登録インスタンスの上面を表すことができる。パッケージ112は未登録であるので、パッケージ112のエッジのいくつかのインスタンスは不明瞭であり得る。より具体的には、例として、図4Bの未登録パッケージ112-31は、図4Dの不明瞭エッジ112-31dを含み得る。領域モジュール204は、明瞭および/または不明瞭エッジの組を識別することができる。いくつかの実施形態では、領域モジュール204は、明瞭エッジ(たとえば、スタックの周辺エッジを形成し/と一致し、他のいかなるパッケージにも当接しないエッジ)を識別し、それらを基準として使用することができる。したがって、領域モジュール204は、明瞭エッジを使用して、上述のように(たとえば、グリッパシステム146の大きさ/特徴に応じて)MVRを決定することができる。領域モジュール204は、第1の画像データ内にキャプチャされたパッケージ112の表面の面積より小さいMVRを決定することができる。
[0079] 具体例としては、パッケージ112-31の第1の画像データは、図4Dの2つの明瞭エッジ112-31bを含むことができる。領域モジュール204は、2つの明瞭エッジ112-31bが2つの不明瞭エッジ112-31dと交差するように、2つの明瞭エッジ112-31bおよび2つの不明瞭エッジ112-31dを延長することによって、パッケージ112-31の表面エリアの境界線を予測することができる。領域モジュール204は、MVRを表面エリアの境界線より小さくなるように決定することによって、表面エリアの境界線に基づいてMVRを計算することができる。いくつかの実施形態では、領域モジュール204は、(たとえば、画像データに基づいて)互いに交差して第1のコーナーを形成するパッケージ表面のエッジのペア(たとえば、明瞭および/または不明瞭エッジ)を識別することができる。領域モジュール204はエッジのペアを使用してMVRを決定することができ、たとえば、エッジのペアに垂直であって互いに近づく線のペアを延長して不明瞭エッジを推定することによって行う。したがって、領域モジュール204は、対向するコーナーを、不明瞭な/延長された線対のペアの交点として推定することができる。領域モジュール204は、グリッパシステム146の1つまたは複数の大きさ/特徴に対応する第1のエッジのペア上の点から不明瞭/垂直な線を延長することができる。
[0080] さらなる例では、パッケージ112のSI上に見えるデザインおよび/またはマーキングは、直線を含む場合がある。直線は、パッケージ112の表面のエッジと間違われる場合がある。エッジの潜在的な誤識別を減らすために、領域モジュール204は、直線を有する表面の一部を除外したMVRを計算することができる。より具体的には、例として、領域モジュール204は、直線によって構成される表面エリアの境界線よりも小さいMVRを計算することができる。
[0081] 異なる例では、領域モジュール204は、パッケージ112の位置に基づいてMVRを計算することができる。たとえば、パレットは、図1Aのデパレタイズ台110上に図3A/図4Bに示すように2つ以上のパッケージ112(登録済みおよび/または未登録のもの)を含む場合がある。パッケージのグループから、領域モジュール204は、パッケージ112のあるインスタンスの、パッケージ112の他のインスタンスに対する位置に基づいて、MVRを計算することができる。先述のように、パッケージ112の登録済みインスタンスのエッジは全て、たとえば、パッケージの露出面が登録済みデータと肯定的に一致することに基づいて、また、登録済みデータに対応する以前に記憶された大きさ/寸法の測定値を使用して、既知であり得る。
[0082] 反対に、パッケージ112の未登録インスタンスのエッジの一部は、たとえば、パッケージ112-52が未登録であるために、未知であり得る。さらに、未知のパッケージ(たとえば、パッケージ112-52)は、他のパッケージ、たとえば、図4Bに示すパッケージ112-31、112-32、112-33、112-43、112-44、112-51、112-53、および/または112-54によって囲まれ得る。112-52のエッジは未知であるので、112-52のSIは、他のパッケージ112の表面画像と重なり得る。
[0083] いくつかの例では、囲んでいるパッケージのうちの1つまたは複数(たとえば、パッケージ112-32)も、登録レコード172によれば未登録/不一致である場合があり、これにより、パッケージ112-52の残りの/未知のエッジについてさらなる不確定性が導入され得る。明瞭な境界線がパッケージ112-52とパッケージ112-32との間に確立されていない場合、パッケージ112-52のSIおよびパッケージ112-32のSIは互いに重なり得る。
[0084] 一方、パッケージ112-31も未登録/不一致である場合があるが、センサ162は、デパレタイズ台110および/または他のパッケージに対するパッケージ112-31の一意の位置/状態を検出することができる。たとえば、領域モジュール204は、パッケージ112-31の少なくとも1つのエッジが他のパッケージ112と隣接/当接しない場合に、パッケージ112-31が所定の位置/状態を満たすと決定することができる。より具体的には、例として、図4Bの2つのエッジ112-31bおよび図4Bのコーナー112-31cは、第1の画像において明瞭に見え、および/または、囲んでいる/隣接する水平位置とは異なる(たとえば、上方に配置された)深度測定値(たとえば、連続した面のもの)に対応し得る。また、たとえば、領域モジュール204は、パッケージ112-31および/またはその外側のエッジがデパレタイズ台110のコーナーおよび/または外側の部分に対応すると決定することができる。
[0085] したがって、領域モジュール204は、パッケージ112のエッジ(複数可)、コーナー、またはこれらの組み合わせの視認性に基づいて、パッケージ112の未登録インスタンスがデパレタイズ台110の外周またはその付近にあると決定することができる。いくつかの実施形態では、領域モジュール204は、パッケージ112の未登録インスタンスが、1つまたは複数の水平方向に沿って露出している(たとえば、以前に隣接していたパッケージを持ち去ったことによって、他のパッケージに隣接していない)とさらに決定することができる。領域モジュール204は、露出しているおよび/または他の未登録パッケージ(たとえば、スタック/レイヤの水平方向の内側部分に位置する未登録パッケージ112-52 112)に対して外側にあるパッケージ112の未登録インスタンスについてのMVRの計算を優先することができる。
[0086] いくつかの実施形態では、領域モジュール204は、明瞭に見えるおよび/または露出しているエッジの数が多いパッケージについてのMVRの計算を、そのようなエッジの数が少ないパッケージよりも優先することができる。したがって、ロボットシステム100は、他のパッケージ112と重なるSIを有するパッケージを把持するリスクを低減し、対応する把持/持ち上げの失敗を減らすことができる。図4Bに示す例では、領域モジュール204は、パッケージ112-32、112-54、112-52の前に、パッケージ112-31、112-53、および/または112-44に対してMVRを決定することができる。領域モジュール204はMVRを持ち上げモジュール206に送信することができる。
[0087] 領域モジュール204は、2つの不明瞭コーナーに基づいてMVRを計算することができる。より具体的には、例として、2つの不明瞭コーナーは、少なくとも3つの不明瞭エッジ、2つの明瞭エッジおよび1つの不明瞭エッジ、または2つの不明瞭エッジおよび1つの明瞭エッジの組み合わせから構成することができる。上述のように、領域モジュール204は、各エッジを延長して他のエッジと交差させてコーナーを生成することによって、パッケージ112の表面の境界線を予測することができる。領域モジュール204は、3つのエッジ/2つのコーナーによって生成される表面エリアの境界線に基づいて、2つの不明瞭コーナーによって生成される境界線よりも小さくなるようにMVRを決定することによって、MVRを計算することができる。
[0088] ロボットシステム100がMVRを動的かつリアルタイムに計算することによって、パッケージ112の未登録インスタンスを把持する際の精度および性能が向上する。MVRを計算することによって、ロボットシステム100は、図4Hのグリッパシステム146がパッケージ112を安全に把持することができるパッケージ112の表面エリア(たとえば、対応するエッジ/境界線)を推定することができる。結果として、ロボットシステム100は、ワークフローを停止させずにロボットシステム100に未登録のパッケージ112を移動させることによって、パッケージ112をデパレタイズするためのワークフローの効率を向上させることができる。
[0089] ロボットシステム100は持ち上げモジュール206を含むことができ、持ち上げモジュール206は領域モジュール204に結合することができる。持ち上げモジュール206は、図1Aのロボットアーム132がパッケージ112を持ち上げるためのコマンドを(たとえば、通信するおよび/または実行することによって)実施する。たとえば、持ち上げモジュール206は、上述のように、パッケージ112の未登録インスタンスを持ち上げ検査距離だけ持ち上げるようにロボットアーム132を動作させることができる。より具体的には、例として、ロボットアーム132は、不明瞭なエッジのうちの少なくとも1つがセンサ162から見える場合に、グリッパシステム146によってパッケージ112のMVR内で把持することによって、パッケージ112を持ち上げることができる。換言すれば、未登録/未識別パッケージについて、持ち上げモジュール206は、MVR上に直接/MVRの上方に/MVRに接するように、グリッパシステム146を配置するようにロボットアーム132を動作させることができる。結果として、持ち上げモジュール206は、1つまたは複数の不明瞭エッジがグリッパシステム146によって覆われず、センサ162に対して露出され/センサ162から見えるようにしながら、対応するパッケージを把持して持ち上げることができる。
[0090] 持ち上げモジュール206はいくつかの方法で動作することができる。たとえば、持ち上げモジュール206は、不明瞭エッジがセンサ162から見える場合にロボットアーム132がMVR内でパッケージ112を把持するための持ち上げコマンドを実行することができる。具体例としては、図4Dに示すように、ロボットアーム132は、図4Dの112-44f内で図4Dのパッケージ112-44を持ち上げることができる。パッケージ112-44のSIは、2つの明瞭エッジ112-44bおよびコーナー112-44cを含むことができる。パッケージ112-44のSIは、2つの不明瞭エッジ112-44dも含むことができる。図4Hに示すように、ロボットアーム132は、2つの不明瞭エッジ112-44bがセンサ162から見える場合にパッケージ112-44を把持することによって、パッケージ112-44を持ち上げることができる。MVRを利用せずに、グリッパシステム146は、エッジがセンサ162によって検出できなくなる位置においてパッケージを把持してもよい。
[0091] 異なる例では、持ち上げモジュール206はパッケージ112の重さを決定することができる。より具体的には、例として、持ち上げモジュール206は、図1BのF-Tセンサ142を使用して、パッケージ112の未登録インスタンスの重さを決定することができる。持ち上げモジュール206はパッケージ112の重さを登録モジュール212に送信することができる。
[0092] いくつかの実施形態では、キャプチャモジュール202はさらに、MVR上で把持して持ち上げた後におよび/または持ち上げ中に、パッケージ112の未登録インスタンスのSIを第2の画像データとしてキャプチャすることができる。より具体的には、例として、キャプチャモジュール202は、図4Hの現在見えている2つの明瞭エッジ112-44gを含むように、パッケージ112が持ち上げ検査距離だけ持ち上げられたことに基づいて、第2の画像データをキャプチャすることができる。換言すれば、持ち上げモジュール206は、パッケージ112を持ち上げることによって、最初は不明瞭であったエッジの視認性および/または明瞭性を向上させることができる。したがって、キャプチャモジュール202は、以前は不明瞭であったエッジを明瞭に識別/表示する、(たとえば、持ち上げられた状態/位置のパッケージ112についての)第2の画像データをキャプチャすることができる。キャプチャモジュール202は、第2の画像データを抽出モジュール208に送信することができる。
[0093] ロボットシステム100は抽出モジュール208を含むことができ、抽出モジュール208は持ち上げモジュール206に結合することができる。抽出モジュール208は第3の画像データを抽出する。たとえば、抽出モジュール208は、第1の画像データ、第2の画像データ、またはこれらの組み合わせに基づいて第3の画像データを抽出することができる。
[0094] 抽出モジュール208はいくつかの方法で第3の画像データを抽出することができる。たとえば、抽出モジュール208は、第1の画像データと第2の画像データとの比較に基づいて、画像差分を決定することができる。画像差分は、パッケージ112の未登録インスタンスの同一のインスタンスの第1の画像データと第2の画像データとの差分を表すことができる。
[0095] より具体的には、例として、第1の画像データは、パッケージ112のデザインおよび/またはマーキングを有するSIを含むことができる。しかしながら、パッケージ112は未登録であるので、パッケージ112のエッジは不明瞭であるか、または明確に決定できない場合がある。したがって、第1の画像データは、不明瞭であるかまたは他のパッケージ112のSIと重なっているエッジを有するパッケージ112のSIを含むことができる。さらなる例では、第2の画像データは、持ち上げ検査距離だけ持ち上げられた後のパッケージ112のSIを含むことができる。より具体的には、例として、第2の画像データは、パッケージ112が持ち上げられた後に明瞭エッジ(たとえば、エッジ112-44g)になった、以前は不明瞭であったエッジ(たとえば、エッジ112-44b)を有するパッケージ112のSIを含むことができる。パッケージ112が持ち上げられた後、パッケージ112は他の隣接するパッケージ112から(たとえば、より高い高さに)分離されるので、不明瞭エッジは明瞭エッジになり得る。センサ162からの距離または深度は、持ち上げられているパッケージ112と、隣接するパッケージ112との間で異なり得るので、センサ162は異なるパッケージ112同士を区別することができる。
[0096] 抽出モジュール208は、第1の画像データと第2の画像データとの画像差分を組み合わせることに基づいて、第3の画像データを抽出することができる。たとえば、パッケージ112-44の第1の画像データは、デザインおよび/またはマーキング、2つの明瞭エッジ112-44b、コーナー112-44c、またはこれらの組み合わせを含むことができる。さらなる例では、パッケージ112-44の第2の画像データは2つの明瞭エッジ12-44gを含むことができる。抽出モジュール208は、デザインおよび/またはマーキング、2つの明瞭エッジ112-44b、コーナー112-44c、2つの明瞭エッジ112-44g、またはこれらの組み合わせを含めることによって、パッケージ112-44の第3の画像データを抽出することができる。
[0097] さらなる例では、抽出モジュール208は、第3の画像データに基づいて、パッケージ112の長さ、幅、またはこれらの組み合わせを決定することができる。より具体的には、例として、明瞭エッジに基づいて、抽出モジュール208は、長さ、幅、またはこれらの組み合わせを含む寸法を決定することができる。抽出モジュール208は、第3の画像データ、長さ、幅、またはこれらの組み合わせを登録モジュール212に送信することができる。
[0098] 第3の画像データを動的かつリアルタイムに抽出することによって、パッケージ112の未登録インスタンスを識別し把持するためのロボットシステム100の性能および精度が向上する。第3の画像データを抽出することによって、ロボットシステム100は、パッケージ112のエッジを識別して他のパッケージ112と区別することができる。パッケージ112の境界線/エッジを明瞭に識別することによって、ロボットシステム100は、グリッパシステム146をパッケージ112上に効率的に配置して、パッケージ112を安全に把持し移動させることができる。結果として、ロボットシステム100は、ロボットシステム100に未登録のパッケージ112の移動を継続することによって、パッケージ112をデパレタイズするためのワークフローの効率を向上させることができる。
[0099] 例示の目的で、持ち上げモジュール206は、パッケージ112を持ち上げるためのコマンドを実行するように記載しているが、持ち上げモジュール206は異なって動作することができる。たとえば、持ち上げモジュール206は、パッケージ112を持ち上げることに基づいてCoMを決定することができる。より具体的には、例として、持ち上げモジュール206は、パッケージ112がグリッパシステム146によって把持され持ち上げられるMVR内の位置がパッケージ112のCoM上か否かを判定することができる。さらなる例では、持ち上げモジュール206は、MVRとして表されるxy軸内にCoMがあるか否かを判定することができる。
[0100] 持ち上げモジュール206はいくつかの方法でCoMを決定することができる。たとえば、持ち上げモジュール206は、上述のF-Tセンサ142によってCoMを決定することができる。さらなる例では、持ち上げモジュール206は、F-Tセンサ142、CoMアルゴリズム、またはこれらの組み合わせによって、MVRとして表される表面エリアの下にCoMがあるか否かを判定することができる。
[0101] F-Tセンサ142およびCoMアルゴリズムを使用して、持ち上げモジュール206は、パッケージ112においてグリッパと接触するまたはグリッパによって覆われるMVR内の位置/部分がCoMと一致するまたはCoMを含むか否かを判定することもできる。さらなる例では、持ち上げモジュール206は、元の把持位置がパッケージ112のCoMの上でない場合、グリッパシステム146がパッケージ112を把持するためのMVR内の新たな位置を決定することができる。より具体的には、例として、持ち上げモジュール206は、上述のCoMアルゴリズムを使用して、元の把持位置に対する新たな把持位置がCoMの上にあると決定することができる。たとえば、持ち上げモジュール206は、測定されたトルクおよび/またはその方向に基づいて、ベクトル方向を計算することができる。トルクに基づいて、持ち上げモジュール206は、F-Tセンサ142および/またはグリッパシステム146に対して下向きの力の位置/方向を推定することができる。また、持ち上げモジュール206は、測定されたトルクの大きさ、持ち上げられたパッケージ112の測定された重さ、把持位置とパッケージ境界線/エッジとの間の関係、またはこれらの組み合わせに基づいて距離を計算することができる。持ち上げモジュール206は、新たな把持位置(たとえば、ベクトルの方向および距離)がMVRにあるかをチェックすることができる。新たな位置がCoM上にある場合、持ち上げモジュール206はパッケージ112のCoMが適切に決定されることを確認することができる。
[0102] MVR内の把持位置がCoMでないと持ち上げモジュール206が決定した場合、持ち上げモジュール206は、グリッパシステム146がパッケージ112を持ち上げた位置までパッケージ112を下ろすまたは下げるためのコマンドを実行することができる。さらに、持ち上げモジュール206は、(たとえば、パッケージ112を下げて離し、グリッパシステム146を再び位置調整し、そしてパッケージ112を再び把持することによって)グリッパシステム146がMVR内の新たな位置においてパッケージ112を把持し、ロボットアーム132が持ち上げ検査距離だけパッケージ112を持ち上げるためのコマンドを実行することができる。さらなる例では、グリッパシステム146は、センサ162がパッケージ112の不明瞭エッジを検出するのを妨害せずに、MVR内の新たな位置で把持することができる。持ち上げモジュール206は登録モジュール212に送信することができる。
[0103] ロボットシステム100がパッケージ112のCoMを動的かつリアルタイムに決定することによって、ロボットシステム100がパッケージ112の未登録インスタンスを移動させる性能が向上する。未登録/未認識パッケージのCoMを正確に識別することによって、グリッパシステム146がパッケージ112を把持する安定性が向上する。結果として、ロボットシステム100は、ロボットシステム100に未登録のパッケージ112の移動を継続することによって、パッケージ112をデパレタイズするためのワークフローの効率を向上させることができる。
[0104] 例示の目的で、キャプチャモジュール202は第1の画像データ、第2の画像データ、またはこれらの組み合わせをキャプチャするように記載しているが、キャプチャモジュール202は異なって動作することができる。たとえば、キャプチャモジュール202は、上述のようにCoMが正しく決定された後の、パッケージ112のSIを表す再把持後画像データをキャプチャすることができる。より具体的には、例として、ロボットアーム132は、グリッパシステム146がMVR内の新たな位置においてパッケージ112を把持した後に、パッケージ112を持ち上げることができる。キャプチャモジュール202は、MVR内かつCoMの上方の新たな位置において把持されたパッケージ112のSIを表す再把持後画像データをキャプチャすることができる。キャプチャモジュール202は、再把持後画像データを抽出モジュール208に送信することができる。
[0105] 例示の目的で、抽出モジュール208は、第1の画像データ、第2の画像データ、またはこれらの組み合わせに基づいて第3の画像データを抽出するように記載しているが、抽出モジュール208は異なって動作することができる。たとえば、上述のように、抽出モジュール208が第1の画像データ、第2の画像データ、またはこれらの組み合わせに基づいて第3の画像データを抽出するのと同様に、抽出モジュール208は、第1の画像データ、再把持後画像データ、またはこれらの組み合わせに基づいて第3の画像データを抽出することができる。抽出モジュール208は、上述のようにパッケージ112の長さ、幅、またはこれらの組み合わせを含む寸法を決定することができる。抽出モジュール208は第3の画像データ、長さ、幅、またはこれらの組み合わせを登録モジュール212に送信することができる。
[0106] ロボットシステム100は移動モジュール210を含むことができ、移動モジュール210は抽出モジュール208に結合することができる。移動モジュール210はパッケージ112を図1Aの荷受台120に移動させるためのコマンドを実行する。たとえば、移動モジュール210は、ロボットアーム132がパッケージ112の登録済みまたは未登録インスタンスを荷受台120に移動させるためのコマンドを実行することができる。
[0107] 移動モジュール210はいくつかの方法でコマンドを実行することができる。たとえば、移動モジュール210は、パッケージ112の登録状況に基づいて、パッケージ112を移動させるためのコマンドを実行することができる。より具体的には、例として、パッケージ112についての登録レコード172が存在する場合、移動モジュール210は、ロボットアーム132がパッケージ112の登録済みインスタンスを把持して、パッケージ112を移動させて荷受台120に置くためのコマンドを実行することができる。
[0108] 異なる例では、登録レコード172が存在しない場合、パッケージ112の第3の画像データが上述のように抽出される。その上、移動モジュール210は、ロボットアーム132がパッケージ112の未登録インスタンスを把持してパッケージ112を荷受台120に移動させるためのコマンドを実行することができる。さらなる例では、ロボットアーム132がパッケージ112を荷受台120まで下げた場合、パッケージ112の底面限度(bottom extent)によって、図1AのHDS180をトリガすることができる。
[0109] 荷受台120の高さを事前定義することができる場合、床に対するHDS180の高さを事前定義することができる。移動モジュール210は、パッケージ112の底部がHDS180と交差した時刻と、グリッパシステム146の高さとに基づいて、パッケージ112の高さを決定することができる。より具体的には、例として、移動モジュール210は、信号(すなわち、パッケージ112がHDS180と交差したことを表すもの)が受信されたときのグリッパシステム146の位置または高さと、HDS180の事前定義された高さとの間の距離/差分に基づいて、パッケージ112の高さを決定することができる。移動モジュール210は、パッケージ112の高さを登録モジュール212に送信することができる。
[0110] ロボットシステム100がパッケージ112の未登録インスタンスの高さを動的かつリアルタイムに決定することによって、ロボットシステム100がパッケージ112をデパレタイズする性能が向上する。未登録/未認識パッケージの高さを決定することによって、ロボットシステム100は、パッケージを安全に把持するためのパッケージ112の属性を正確に識別することができる。結果として、ロボットシステム100は、同一のタイプのパッケージ112を継続的に移動させることによって、パッケージ112をデパレタイズするワークフローの効率を向上させることができる。
[0111] ロボットシステム100は登録モジュール212を含むことができ、登録モジュール212は移動モジュール210に結合することができる。登録モジュール212はパッケージ112の属性を登録する。たとえば、登録モジュール212は、パッケージ112の未登録インスタンスの第3の画像データ、長さ、幅、高さ、重さ、CoM、またはこれらの組み合わせを(たとえば、結び付けるまたは一緒に記憶することによって)登録することができる。より具体的には、例として、登録モジュール212は、登録レコード172を生成して、パッケージ112の未登録インスタンスをパッケージ112の登録済みインスタンスに変換する。
[0112] 上述の方法のステップは、コンピュータ命令コードとして非一時的コンピュータ可読媒体に記憶されたコンピュータ可読媒体内に具現化されてもよいことに留意されたい。この方法は本明細書に記載のステップのうちの1つまたは複数を含んでもよく、その1つまたは複数のステップは、互いと同時に実施されることを含む、任意の所望の順序で実行されてもよい。たとえば、本明細書で開示したステップのうちの2つ以上が単一のステップにおいて組み合わせられてもよく、および/またはステップのうちの1つまたは複数が2つ以上のサブステップとして実施されてもよい。さらに、本開示の利益を有する当業者によって理解されるように、本明細書において明示的に開示していないまたは元々存在しないステップが、本明細書に記載のステップに組み入れられても追加されてもよく、本明細書に記載のステップのうちの1つまたは複数と置き換えられてもよい。
[0113] 開示した技術の実施例の上記の詳細な説明は、網羅的であることも、上記で開示した厳密な形に開示した技術を限定することも意図していない。開示した技術の具体例を例示の目的で上述しているが、当業者であれば認識するように、様々な等価な変形例が開示した技術の範囲内で可能である。たとえば、処理またはモジュールは所与の順序で与えているが、代替的な実施態様は異なる順序のステップを有するルーチンを実行してもよく、異なる順序のモジュールを有するシステムを採用してもよく、一部の処理またはモジュールを削除、移動、追加、細分化、結合、および/または修正して代替的または副次的な組み合わせを提供してもよい。これらの処理またはモジュールのそれぞれは、種々の異なる方法で実装されてもよい。また、処理またはモジュールは連続して実行されるものとして示す場合があるが、これらの処理またはモジュールは代わりに並列に実行または実施されてもよく、異なる時刻に実行されてもよい。さらに、本明細書に記載の任意の特定の数字は例にすぎず、代替的な実施態様は異なる値または範囲を採用してもよい。
[0114] 本明細書で使用する場合、「実施形態」という用語は、限定ではなく例として説明するのに役立つ実施形態を意味する。先述の実施例および実施形態は例示的なものであって、本明細書で開示した広範囲の発明概念を限定するものではないことは当業者には理解されよう。本明細書を読み、図面を検討すれば当業者にとって明らかになる全ての修正、並べ替え、拡張、均等物、およびこれらの改良は、本明細書で開示した広範囲の発明概念に含まれるものとする。したがって、以下の特許請求の範囲は、本明細書で開示した広範囲の発明概念に含まれる全てのそのような修正、並べ替え、拡張、均等物、および改良を含むものとする。
Claims (20)
- ロボットによるパッケージハンドリング作業中にパッケージを登録するための方法であって、
パッケージ表面の第1の表面画像を表す第1の画像データを受信することと、
前記第1の表面画像と登録レコードとの比較に基づいて、前記パッケージが未登録であると決定することと、
前記第1の画像データに基づいて前記パッケージ表面についてのエッジのペアを識別することであって、前記エッジのペアは水平方向に露出しており、互いに交差して前記パッケージ表面のコーナーを形成する、前記識別することと、
前記エッジのペアに基づいて最小実行可能領域を決定することであって、前記最小実行可能領域は前記エッジのペアの一方または両方と重なるおよび/または一致する、前記決定することと、
(1)前記最小実行可能領域上に位置付けられたエンドエフェクタによって前記パッケージを把持すること、および、(2)前記パッケージを持ち上げることのための、1つまたは複数のコマンドを生成することと、
前記持ち上げ後の前記パッケージを表す第2の画像データを受信することと、
前記第1の画像データおよび前記第2の画像データに応じて第3の画像データを決定することと、
引き続き他のパッケージを識別するために、前記第3の画像データに基づいて前記パッケージの新たな登録レコードを表す登録データを生成することと、
を含む、前記方法。 - 前記第1の画像データに基づいて不明瞭エッジを推定することであって、前記エッジのペアおよび前記不明瞭エッジは前記パッケージ表面の境界線に対応する、前記推定すること、
をさらに含み、
前記推定された不明瞭エッジに対応する前記パッケージの露出部分を残しながら前記パッケージを把持するために、前記最小実行可能領域は前記不明瞭エッジと重ならない、
請求項1に記載の方法。 - 前記第2の画像データに基づいて1つまたは複数の新たなエッジを識別することであって、前記新たなエッジは、前記推定された不明瞭エッジに対応する前記パッケージの実際の露出したエッジを表す、前記識別すること、
をさらに含み、
前記第3の画像データは前記1つまたは複数の新たなエッジを含む、
請求項2に記載の方法。 - 前記1つまたは複数の新たなエッジを識別することは、前記パッケージを持ち上げた後に測定された深度データの差に基づいて前記1つまたは複数の新たなエッジを識別することを含む、請求項3に記載の方法。
- 前記第3の画像データを決定することは、
前記第1の画像データと前記第2の画像データとの差を計算することと、
前記第1の画像データを前記計算された差と組み合わせることと、
を含む、請求項1に記載の方法。 - 前記第1の画像データに基づいて直線を識別すること、
をさらに含み、
前記最小実行可能領域は、前記直線を除外した連続する領域である、
請求項1に記載の方法。 - 垂直方向に沿った前記パッケージの寸法を表す高さを計算すること、
をさらに含み、
前記登録データは前記計算された高さを含む、
請求項1に記載の方法。 - 前記高さを計算することは、
前記パッケージが、既知の高さに配置された高さ決定センサに関連付けられた水平検出面と交差するタイミングを表すトリガを検出することと、
前記トリガに関連付けられた垂直位置を決定することであって、前記垂直位置は、前記パッケージが前記水平検出面と交差するタイミングにおける前記エンドエフェクタの垂直位置を表す、前記決定することと、
前記既知の高さと前記垂直位置との差に基づいて前記高さを計算することと、
を含む、請求項7に記載の方法。 - 前記パッケージを持ち上げた後にデータを受信することであって、前記データは前記エンドエフェクタに接続または統合されたF-Tセンサからの力測定値を表す、前記受信することと、
前記受信されたデータに基づいて前記パッケージの重さを決定することと、
をさらに含み、
前記登録データは前記決定された重さを含む、
請求項1に記載の方法。 - 前記パッケージを持ち上げた後にデータを受信することであって、前記データは前記エンドエフェクタに接続または統合されたF-Tセンサからのトルク測定値を表す、前記受信することと、
前記受信されたデータに基づいて前記パッケージの重心位置を決定することと、
をさらに含み、
前記登録データは前記重心位置を含む、
請求項1に記載の方法。 - ロボットによるパッケージハンドリング作業中に未登録パッケージを登録するためのシステムであって、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに結合された少なくとも1つのメモリであって、前記少なくとも1つのプロセッサによって実行可能な命令を含み、前記命令は、
パッケージ表面の第1の表面画像を表す第1の画像データを受信することと、
前記第1の表面画像と登録レコードとの比較に基づいて、前記パッケージが未登録であると決定することと、
前記第1の画像データに基づいて前記パッケージ表面についてのエッジのペアを識別することとであって、前記エッジのペアは水平方向に露出しており、互いに交差して前記パッケージ表面のコーナーを形成する、前記識別することと、
前記エッジのペアに基づいて最小実行可能領域を決定することであって、前記最小実行可能領域は前記エッジのペアの一方または両方と重なるおよび/または一致する、前記決定することと、
(1)前記最小実行可能領域上に位置付けられたエンドエフェクタによって前記パッケージを把持すること、および(2)前記パッケージを持ち上げることのための、1つまたは複数のコマンドを生成することと、
前記パッケージの第2の画像データを受信することであって、前記第2の画像データは前記持ち上げ後の前記パッケージを表す、前記受信することと、
前記第1の画像データおよび前記第2の画像データに応じて第3の画像データを決定することと、
引き続き他のパッケージを識別するために、前記第3の画像データに基づいて前記パッケージの新たな登録レコードを表す登録データを生成することと、
を行う、前記少なくとも1つのメモリと
を備える、前記システム。 - 前記少なくとも1つのメモリは、
前記第1の画像データに基づいて不明瞭エッジを推定することであって、前記エッジのペアおよび前記不明瞭エッジは前記パッケージ表面の境界線に対応する、前記推定すること、を行う命令を含み、
前記推定された不明瞭エッジに対応する前記パッケージの露出部分を残しながら前記パッケージを把持するために、前記最小実行可能領域は前記不明瞭エッジと重ならない、
請求項11に記載のシステム。 - 前記少なくとも1つのメモリは、
前記第2の画像データに基づいて1つまたは複数の新たなエッジを識別することであって、前記新たなエッジは、前記推定された不明瞭エッジに対応する前記パッケージの実際の露出したエッジを表す、前記識別すること、
を行う命令を含み、
前記第3の画像データは前記1つまたは複数の新たなエッジを含む、
請求項12に記載のシステム。 - 前記少なくとも1つのメモリは、前記パッケージを持ち上げた後に測定された深度データの差に基づいて前記1つまたは複数の新たなエッジを識別すること、
を行う命令を含む、請求項13に記載のデバイス。 - 前記少なくとも1つのメモリは、前記第3の画像データを決定することを、
前記第1の画像データと前記第2の画像データとの差を計算することと、
前記第1の画像データを前記計算された差と組み合わせることと
に基づいて行う命令を含む、請求項11に記載のデバイス。 - コンピューティングシステムによって実行された場合に、前記コンピューティングシステムにコンピュータ実施方法を実行させるコンピュータ実行可能命令を記憶する非一時的メモリ媒体であって、前記命令は、
パッケージ表面の第1の表面画像を表す第1の画像データを受信する命令と、
前記第1の表面画像と登録レコードとの比較に基づいて、前記パッケージが未登録であると決定する命令と、
前記第1の画像データに基づいて前記パッケージ表面についてのエッジのペアを識別する命令であって、前記エッジのペアは水平方向に露出しており、互いに交差して前記パッケージ表面のコーナーを形成する、識別する前記命令と、
前記エッジのペアに基づいて最小実行可能領域を決定する命令であって、前記最小実行可能領域は前記エッジのペアの一方または両方と重なるおよび/または一致する、決定する前記命令と、
(1)前記最小実行可能領域上に位置付けられたエンドエフェクタによって前記パッケージを把持すること、および、(2)前記パッケージを持ち上げることのための、1つまたは複数のコマンドを生成する命令と、
前記パッケージの第2の画像データを受信する命令であって、前記第2の画像データは前記持ち上げ後の前記パッケージを表す、受信する前記命令と、
前記第1の画像データおよび前記第2の画像データに応じて第3の画像データを決定する命令と、
引き続き他のパッケージを識別するために、前記第3の画像データに基づいて前記パッケージの新たな登録レコードを表す登録データを生成する命令と、
を含む、前記非一時的メモリ媒体。 - 前記命令は、前記第1の画像データに基づいて不明瞭エッジを推定する命令であって、前記エッジのペアおよび前記不明瞭エッジは前記パッケージ表面の境界線に対応する、推定する前記命令をさらに含み、
前記推定された不明瞭エッジに対応する前記パッケージの露出部分を残しながら前記パッケージを把持するために、前記最小実行可能領域は前記不明瞭エッジと重ならない、
請求項16に記載の非一時的メモリ媒体。 - 前記命令は、前記第2の画像データに基づいて1つまたは複数の新たなエッジを識別する命令であって、前記新たなエッジは、前記推定された不明瞭エッジに対応する前記パッケージの実際の露出したエッジを表す、識別する前記命令をさらに含み、
前記第3の画像データは前記1つまたは複数の新たなエッジを含む、
請求項17に記載の非一時的メモリ媒体。 - 前記1つまたは複数の新たなエッジを識別する前記命令は、前記パッケージを持ち上げた後に測定された深度データの差に基づいて前記1つまたは複数の新たなエッジを識別する命令を含む、請求項18に記載の非一時的メモリ媒体。
- 前記第3の画像データを決定する前記命令は、
前記第1の画像データと前記第2の画像データとの差を計算し、
前記第1の画像データを前記計算された差と組み合わせる、
命令を含む、請求項11に記載のシステム。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862752756P | 2018-10-30 | 2018-10-30 | |
US62/752,756 | 2018-10-30 | ||
US16/290,741 US10369701B1 (en) | 2018-10-30 | 2019-03-01 | Automated package registration systems, devices, and methods |
US16/290,741 | 2019-03-01 | ||
US201962852963P | 2019-05-24 | 2019-05-24 | |
US62/852,963 | 2019-05-24 | ||
JP2019133517A JP6704154B2 (ja) | 2018-10-30 | 2019-07-19 | 自動パッケージ登録システム、デバイス、および方法 |
JP2020072681A JP7411932B2 (ja) | 2018-10-30 | 2020-04-15 | 自動パッケージ登録システム、デバイス、および方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020072681A Division JP7411932B2 (ja) | 2018-10-30 | 2020-04-15 | 自動パッケージ登録システム、デバイス、および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2024023692A true JP2024023692A (ja) | 2024-02-21 |
JP2024023692A5 JP2024023692A5 (ja) | 2024-04-15 |
Family
ID=70327497
Family Applications (14)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019133517A Active JP6704154B2 (ja) | 2018-10-30 | 2019-07-19 | 自動パッケージ登録システム、デバイス、および方法 |
JP2020501166A Active JP6813229B1 (ja) | 2018-10-30 | 2019-10-29 | 自動物体検出機構を備えたロボットシステム、および、その動作方法 |
JP2020516651A Active JP6822719B2 (ja) | 2018-10-30 | 2019-10-29 | 自動パッケージスキャンおよび登録メカニズムを備えたロボットシステム、ならびにその動作方法 |
JP2020515142A Active JP6822718B1 (ja) | 2018-10-30 | 2019-10-29 | 自動パッケージ登録メカニズムを備えたロボットシステム、および、その動作方法 |
JP2020514759A Active JP6820044B1 (ja) | 2018-10-30 | 2019-10-29 | 自動パッケージ登録機構および最小実行可能領域検出を備えたロボットシステム |
JP2020514750A Active JP6820634B2 (ja) | 2018-10-30 | 2019-10-29 | 自動パッケージ登録機構および自動検出パイプラインを備えたロボットシステム |
JP2020072681A Active JP7411932B2 (ja) | 2018-10-30 | 2020-04-15 | 自動パッケージ登録システム、デバイス、および方法 |
JP2020204672A Active JP7352260B2 (ja) | 2018-10-30 | 2020-12-10 | 自動物体検出機構を備えたロボットシステム、および、その動作方法 |
JP2020212616A Pending JP2021050100A (ja) | 2018-10-30 | 2020-12-22 | 自動パッケージ登録機構および最小実行可能領域検出を備えたロボットシステム |
JP2020213054A Pending JP2021051797A (ja) | 2018-10-30 | 2020-12-23 | 自動パッケージ登録機構および自動検出パイプラインを備えたロボットシステム |
JP2020216162A Active JP7466150B2 (ja) | 2018-10-30 | 2020-12-25 | 自動パッケージ登録メカニズムを備えたロボットシステム、および、その動作方法 |
JP2020216438A Active JP7340203B2 (ja) | 2018-10-30 | 2020-12-25 | 自動パッケージスキャンおよび登録メカニズムを備えたロボットシステム、ならびにその動作方法 |
JP2023133633A Active JP7548516B2 (ja) | 2018-10-30 | 2023-08-18 | 自動パッケージスキャンおよび登録メカニズムを備えたロボットシステム、ならびにその動作方法 |
JP2023212474A Pending JP2024023692A (ja) | 2018-10-30 | 2023-12-15 | 自動パッケージ登録システム、デバイス、および方法 |
Family Applications Before (13)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019133517A Active JP6704154B2 (ja) | 2018-10-30 | 2019-07-19 | 自動パッケージ登録システム、デバイス、および方法 |
JP2020501166A Active JP6813229B1 (ja) | 2018-10-30 | 2019-10-29 | 自動物体検出機構を備えたロボットシステム、および、その動作方法 |
JP2020516651A Active JP6822719B2 (ja) | 2018-10-30 | 2019-10-29 | 自動パッケージスキャンおよび登録メカニズムを備えたロボットシステム、ならびにその動作方法 |
JP2020515142A Active JP6822718B1 (ja) | 2018-10-30 | 2019-10-29 | 自動パッケージ登録メカニズムを備えたロボットシステム、および、その動作方法 |
JP2020514759A Active JP6820044B1 (ja) | 2018-10-30 | 2019-10-29 | 自動パッケージ登録機構および最小実行可能領域検出を備えたロボットシステム |
JP2020514750A Active JP6820634B2 (ja) | 2018-10-30 | 2019-10-29 | 自動パッケージ登録機構および自動検出パイプラインを備えたロボットシステム |
JP2020072681A Active JP7411932B2 (ja) | 2018-10-30 | 2020-04-15 | 自動パッケージ登録システム、デバイス、および方法 |
JP2020204672A Active JP7352260B2 (ja) | 2018-10-30 | 2020-12-10 | 自動物体検出機構を備えたロボットシステム、および、その動作方法 |
JP2020212616A Pending JP2021050100A (ja) | 2018-10-30 | 2020-12-22 | 自動パッケージ登録機構および最小実行可能領域検出を備えたロボットシステム |
JP2020213054A Pending JP2021051797A (ja) | 2018-10-30 | 2020-12-23 | 自動パッケージ登録機構および自動検出パイプラインを備えたロボットシステム |
JP2020216162A Active JP7466150B2 (ja) | 2018-10-30 | 2020-12-25 | 自動パッケージ登録メカニズムを備えたロボットシステム、および、その動作方法 |
JP2020216438A Active JP7340203B2 (ja) | 2018-10-30 | 2020-12-25 | 自動パッケージスキャンおよび登録メカニズムを備えたロボットシステム、ならびにその動作方法 |
JP2023133633A Active JP7548516B2 (ja) | 2018-10-30 | 2023-08-18 | 自動パッケージスキャンおよび登録メカニズムを備えたロボットシステム、ならびにその動作方法 |
Country Status (6)
Country | Link |
---|---|
US (12) | US10703584B2 (ja) |
JP (14) | JP6704154B2 (ja) |
KR (3) | KR102650494B1 (ja) |
CN (11) | CN111113492A (ja) |
DE (6) | DE112019000125B4 (ja) |
WO (6) | WO2020091846A1 (ja) |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9227323B1 (en) * | 2013-03-15 | 2016-01-05 | Google Inc. | Methods and systems for recognizing machine-readable information on three-dimensional objects |
CN110893999A (zh) * | 2018-09-12 | 2020-03-20 | 泰科电子(上海)有限公司 | 图像采集系统和图像采集方法 |
WO2020091846A1 (en) * | 2018-10-30 | 2020-05-07 | Mujin, Inc. | Automated package registration systems, devices, and methods |
US10369701B1 (en) | 2018-10-30 | 2019-08-06 | Mujin, Inc. | Automated package registration systems, devices, and methods |
US11224951B2 (en) * | 2018-12-21 | 2022-01-18 | The Boeing Company | Method and apparatus for single-sided clamp-up |
US10549928B1 (en) | 2019-02-22 | 2020-02-04 | Dexterity, Inc. | Robotic multi-item type palletizing and depalletizing |
US11741566B2 (en) * | 2019-02-22 | 2023-08-29 | Dexterity, Inc. | Multicamera image processing |
US11046519B2 (en) | 2019-02-25 | 2021-06-29 | Rehrig Pacific Company | Delivery system |
EP3702985A1 (en) * | 2019-02-28 | 2020-09-02 | Accenture Global Solutions Limited | Augmented reality enabled cargo loading optimization |
US11023763B2 (en) * | 2019-03-19 | 2021-06-01 | Boston Dynamics, Inc. | Detecting boxes |
US11069073B2 (en) * | 2019-07-23 | 2021-07-20 | Advanced New Technologies Co., Ltd. | On-shelf commodity detection method and system |
US11389965B2 (en) * | 2019-07-26 | 2022-07-19 | Mujin, Inc. | Post-detection refinement based on edges and multi-dimensional corners |
US10906188B1 (en) | 2019-10-25 | 2021-02-02 | Dexterity, Inc. | Singulation of arbitrary mixed items |
SG10201913056VA (en) * | 2019-12-23 | 2021-04-29 | Sensetime Int Pte Ltd | Method and apparatus for obtaining sample images, and electronic device |
US11040836B1 (en) | 2020-01-24 | 2021-06-22 | Becton Dickinson Rowa Germany Gmbh | Device and method for separating piece goods |
US11951636B1 (en) * | 2020-01-28 | 2024-04-09 | Embodied Intelligence Inc. | Methods of collecting data through test interactions |
US11403764B2 (en) * | 2020-02-14 | 2022-08-02 | Mujin, Inc. | Method and computing system for processing candidate edges |
US11443449B2 (en) * | 2020-02-26 | 2022-09-13 | Zebra Technologies Corporation | Three-dimensional (3D) imaging systems and methods for virtual grading of package walls in commercial trailer loading |
CA3115442A1 (en) | 2020-04-20 | 2021-10-20 | Rehrig Pacific Company | Camera enabled portal |
US12062182B2 (en) | 2020-06-04 | 2024-08-13 | Mujin, Inc. | Method and computing system for performing or facilitating physical edge detection |
CN114096331A (zh) * | 2020-06-04 | 2022-02-25 | 牧今科技 | 用于执行或促进物理边缘检测的方法和计算系统 |
CN113658205B (zh) * | 2020-06-04 | 2022-08-12 | 牧今科技 | 用于执行或促进物理边缘检测的方法和计算系统 |
AT524101A1 (de) * | 2020-07-27 | 2022-02-15 | Tgw Logistics Group Gmbh | System und Verfahren zur Erfassung einer Warenanzahl in einem Ladungsträger |
JP7467268B2 (ja) | 2020-07-30 | 2024-04-15 | グローリー株式会社 | 計数装置、計数システム、計数方法、およびプログラム |
JP7395451B2 (ja) * | 2020-09-16 | 2023-12-11 | 株式会社東芝 | ハンドリング装置、処理装置、コントローラ及びプログラム |
CN112157671A (zh) * | 2020-09-24 | 2021-01-01 | 中国标准化研究院 | 一种用于电子商务产品质量抽检的包裹取料机械手及方法 |
CN111928790B (zh) * | 2020-10-16 | 2020-12-29 | 成都裕鸢航空零部件制造有限公司 | 一种基于互联网的航空零部件厚度计量装置及计量方法 |
CN112276956B (zh) * | 2020-10-30 | 2022-05-17 | 北京市商汤科技开发有限公司 | 一种物品配送方法、装置、设备以及存储介质 |
CN113058238B (zh) * | 2020-12-05 | 2021-12-17 | 林周容 | 篮球内胎自动贴片系统及方法 |
CN112936243A (zh) * | 2021-01-22 | 2021-06-11 | 广东电网有限责任公司广州供电局 | 基于二维码扫描的开关柜型号识别和定位装置 |
DE102021104773B3 (de) | 2021-02-26 | 2022-03-17 | IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH | Kommissionierroboter mit optimierter trajektorie und verfahren zum steuern eines kommissionierroboters |
WO2022190102A1 (en) * | 2021-03-10 | 2022-09-15 | Aquabot Ltd. | System and method for identifying or acquiring data corresponding to a handled item |
DE102021202340A1 (de) | 2021-03-10 | 2022-09-15 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum steuern eines roboters zum aufnehmen und inspizieren eines objekts und robotersteuereinrichtung |
US20220289502A1 (en) * | 2021-03-15 | 2022-09-15 | Dexterity, Inc. | Adaptive robotic singulation system |
CA3214609A1 (en) * | 2021-03-26 | 2022-09-29 | Boston Dynamics, Inc. | Dynamic mass estimation methods for an integrated mobile manipulator robot |
JP2022157884A (ja) * | 2021-03-31 | 2022-10-14 | セイコーエプソン株式会社 | ロボットの制御方法、ロボットシステムおよびロボット制御プログラム |
CN113510697B (zh) * | 2021-04-23 | 2023-02-14 | 知守科技(杭州)有限公司 | 机械手定位方法、装置、系统、电子装置和存储介质 |
US20220362936A1 (en) * | 2021-05-14 | 2022-11-17 | Intelligrated Headquarters, Llc | Object height detection for palletizing and depalletizing operations |
CN115643800A (zh) * | 2021-05-18 | 2023-01-24 | 牧今科技 | 用于物体大小测量的机器人系统 |
US12053890B2 (en) * | 2021-06-03 | 2024-08-06 | Intrinsic Innovation Llc | Robotic workspace introspection via force feedback |
US20230027984A1 (en) | 2021-07-21 | 2023-01-26 | Mujin, Inc. | Robotic system with depth-based processing mechanism and methods for operating the same |
US20230041343A1 (en) | 2021-08-09 | 2023-02-09 | Mujin, Inc. | Robotic system with image-based sizing mechanism and methods for operating the same |
JP6964917B1 (ja) * | 2021-08-10 | 2021-11-10 | リンクウィズ株式会社 | 計測システム、計測方法、プログラム |
WO2023023369A2 (en) * | 2021-08-19 | 2023-02-23 | Rehrig Pacific Company | Pallet wrapper and imaging system |
US11823440B2 (en) | 2021-08-19 | 2023-11-21 | Rehrig Pacific Company | Imaging system with unsupervised learning |
AT525383A1 (de) * | 2021-09-07 | 2023-03-15 | Knapp Ag | System zur Vereinzelung und Identifizierung von Artikeln |
US20230070495A1 (en) * | 2021-09-07 | 2023-03-09 | Mujin, Inc. | Robotic gripper assemblies for openable object(s) and methods for picking objects |
EP4410502A1 (en) * | 2021-09-28 | 2024-08-07 | Kyocera Corporation | Information processing device, robot controller, information processing system, and information processing method |
IT202100025490A1 (it) * | 2021-10-07 | 2023-04-07 | Bosso S R L | Magazzino automatico |
US20230115849A1 (en) * | 2021-10-11 | 2023-04-13 | Mazor Robotics Ltd. | Systems and methods for defining object geometry using robotic arms |
CN114037706A (zh) * | 2021-10-13 | 2022-02-11 | 东南大学 | 一种基于三维点云模型的预制梁段表面平整度检测方法 |
CN115246547B (zh) * | 2021-10-21 | 2023-09-12 | 梅卡曼德(北京)机器人科技有限公司 | 垛型续码方法、装置、计算设备及计算机存储介质 |
US12030191B2 (en) * | 2021-10-28 | 2024-07-09 | Ubkang (Qingdao) Technology Co., Ltd. | Vision-guided picking and placing method, mobile robot and computer-readable storage medium |
CA3181434A1 (en) | 2021-11-01 | 2023-05-01 | Rehrig Pacific Company | Delivery system |
AT525778B1 (de) * | 2021-11-09 | 2023-11-15 | Tgw Logistics Group Gmbh | Verfahren und Vorrichtung zum Entnehmen eines Ladeguts von einem Stapel |
EP4429984A1 (en) * | 2021-11-10 | 2024-09-18 | Labo, Inc. | Automated product unloading, handling, and distribution |
CN113816137A (zh) * | 2021-11-19 | 2021-12-21 | 佛山隆深机器人有限公司 | 一种基于机械臂的箱体分拣运输装置及控制方法 |
CN114161426B (zh) * | 2021-12-29 | 2024-02-06 | 海澜智云科技有限公司 | 一种工业机器人的控制系统 |
CN116681758A (zh) * | 2022-02-23 | 2023-09-01 | 北京百度网讯科技有限公司 | 车辆的姿态估计方法、装置、电子设备及存储介质 |
US11717974B1 (en) * | 2022-06-10 | 2023-08-08 | Sanctuary Cognitive Systems Corporation | Haptic photogrammetry in robots and methods for operating the same |
KR102486009B1 (ko) * | 2022-06-23 | 2023-01-10 | 주식회사 대한엔지니어링 | 로봇팔을 이용한 디팔레타이징 자동화 시스템 및 방법 |
CN115009845B (zh) * | 2022-08-04 | 2022-10-25 | 江苏安纳金机械有限公司 | 一种新型翘板机及其方法 |
KR102491429B1 (ko) * | 2022-08-24 | 2023-01-27 | 주식회사 한성시스코 | 인공지능을 이용한 다수의 직육면체 블록들의 적층 구조에서의 각 블록의 인식 및 로딩 시스템, 및 그 방법 |
DE102022121538A1 (de) | 2022-08-25 | 2024-03-07 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Ablegen eines Objekts vermittels eines Roboters |
JP7488311B2 (ja) | 2022-10-27 | 2024-05-21 | アリー ロジスティック プロパティ カンパニー,リミテッド | 物流作業を実行するための施設及び方法 |
DE102023133348A1 (de) * | 2022-11-30 | 2024-06-06 | Voith Patent Gmbh | Vorrichtung und Anordnung und Verfahren zum Umsetzen von Ballen |
WO2024125920A1 (de) * | 2022-12-13 | 2024-06-20 | Kuka Deutschland Gmbh | Kalibrieren einer greifersteuerung |
WO2024136993A1 (en) * | 2022-12-20 | 2024-06-27 | Liberty Reach Inc. | Method and system for decanting a plurality of items supported on a transport structure at one time with a picking tool for placement into a transport container |
KR102521819B1 (ko) | 2023-01-26 | 2023-04-17 | 주식회사 브릴스 | 파렛타이징 시스템 |
WO2024176359A1 (ja) * | 2023-02-21 | 2024-08-29 | ファナック株式会社 | 位置補正装置、ロボットシステムおよび位置補正プログラム |
CN117369349B (zh) * | 2023-12-08 | 2024-02-23 | 如特数字科技(苏州)有限公司 | 一种远程监测智能机器人的管理系统 |
CN117532644B (zh) * | 2023-12-26 | 2024-04-12 | 广东亚数智能科技股份有限公司 | 一种三维视觉引导机械手抓取装置及其控制方法 |
CN118220850B (zh) * | 2024-05-21 | 2024-07-19 | 杭州灵智科技数字化装备有限公司 | 拆垛方法、装置、计算机设备及存储介质 |
Family Cites Families (112)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4907169A (en) | 1987-09-30 | 1990-03-06 | International Technical Associates | Adaptive tracking vision and guidance system |
JP2894449B2 (ja) * | 1989-04-07 | 1999-05-24 | 株式会社ダイフク | カメラ使用の自動移載装置 |
JP2687030B2 (ja) | 1990-02-09 | 1997-12-08 | 株式会社ダイフク | ロボット使用の自動移載装置 |
JPH03277739A (ja) | 1990-03-28 | 1991-12-09 | Nippon Steel Corp | プレス成形時の耐バリ性の優れた高r値複合鋼板およびその製造方法 |
US5290454A (en) | 1992-11-12 | 1994-03-01 | Pump And Paper Research Institute Of Canada | Process for removal of suspended solids from pulp and paper mill effluents |
JPH06171760A (ja) | 1992-12-02 | 1994-06-21 | Mitsubishi Electric Corp | デパレタイズ方法 |
JPH0753054A (ja) | 1993-08-10 | 1995-02-28 | Mitsubishi Electric Corp | 自動荷卸し装置 |
JP3063487B2 (ja) | 1993-09-27 | 2000-07-12 | 村田機械株式会社 | パレタイズパターン認識装置 |
JPH07291450A (ja) | 1994-04-26 | 1995-11-07 | Kawasaki Heavy Ind Ltd | インテリジェントパレタイズシステム |
JP3516067B2 (ja) * | 1994-04-26 | 2004-04-05 | 川崎重工業株式会社 | デパレタイズ用画像作成方法および画像作成装置 |
IT1275664B1 (it) * | 1994-11-16 | 1997-10-17 | Consorzio Telerobot | Sistema per il controlllo e guida automatica di un gruppo elevatore a forche |
JP3277739B2 (ja) * | 1995-01-27 | 2002-04-22 | 三菱電機株式会社 | 産業用ロボット |
JPH09251544A (ja) * | 1996-03-14 | 1997-09-22 | Toshiba Corp | ワークエッジ検出画像処理装置 |
JP2921496B2 (ja) | 1996-07-15 | 1999-07-19 | 三菱電機株式会社 | 画像処理装置および物体移載装置 |
US5908283A (en) | 1996-11-26 | 1999-06-01 | United Parcel Service Of Americia, Inc. | Method and apparatus for palletizing packages of random size and weight |
US6272230B1 (en) | 1998-02-11 | 2001-08-07 | Analogic Corporation | Apparatus and method for optimizing detection of objects in computed tomography data |
JPH11333770A (ja) * | 1998-03-20 | 1999-12-07 | Kobe Steel Ltd | 積荷位置姿勢認識装置 |
JPH10323491A (ja) | 1998-07-06 | 1998-12-08 | Hitachi Ltd | 脱水洗濯機 |
SE513174C2 (sv) * | 1998-10-22 | 2000-07-24 | Abb Ab | Förfarande för hantering av containrar samt anordning för utförande av förfarandet |
DE10080012B4 (de) | 1999-03-19 | 2005-04-14 | Matsushita Electric Works, Ltd., Kadoma | Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens |
JP2001058723A (ja) | 1999-08-20 | 2001-03-06 | Amada Co Ltd | 板材加工機における製品搬出方法及びその装置 |
JP2001072247A (ja) | 1999-09-06 | 2001-03-21 | Murata Mach Ltd | 搬送システム |
JP3596434B2 (ja) * | 2000-06-30 | 2004-12-02 | 株式会社ダイフク | 物品位置認識装置 |
JP3849514B2 (ja) | 2001-12-10 | 2006-11-22 | 株式会社ダイフク | 物品位置認識装置 |
JP2003237943A (ja) * | 2002-02-12 | 2003-08-27 | Rengo Co Ltd | 段ボールケース束のデパレタイジング装置 |
US7085622B2 (en) * | 2002-04-19 | 2006-08-01 | Applied Material, Inc. | Vision system |
JP3768174B2 (ja) | 2002-07-24 | 2006-04-19 | ファナック株式会社 | ワーク取出し装置 |
EP1607195B1 (en) * | 2003-03-27 | 2011-01-05 | Sony Corporation | Robot device and method of controlling the same |
DE10317855A1 (de) * | 2003-04-16 | 2004-11-18 | Rkb Reparatur- Und Karosseriebau Gmbh | Verfahren und Einrichtung zum Verteilen von Paketen o. dgl. Beförderungsgütern |
GB0405014D0 (en) | 2004-03-05 | 2004-04-07 | Qinetiq Ltd | Movement control system |
JP2005333824A (ja) | 2004-05-24 | 2005-12-08 | Olympus Corp | 検体導入装置および培養処理装置 |
KR100657915B1 (ko) | 2004-11-26 | 2006-12-14 | 삼성전자주식회사 | 코너 검출 방법 및 코너 검출 장치 |
JP2006300929A (ja) * | 2005-03-22 | 2006-11-02 | Jfe Engineering Kk | 物体の3次元位置認識装置およびデパレタイズシステム |
JP2007097057A (ja) | 2005-09-30 | 2007-04-12 | Brother Ind Ltd | サーバ装置、機器情報提供方法、プログラム、ネットワークシステム、及び、機器共用化方法 |
JP4087874B2 (ja) * | 2006-02-01 | 2008-05-21 | ファナック株式会社 | ワーク取り出し装置 |
JP4911341B2 (ja) * | 2006-03-24 | 2012-04-04 | 株式会社ダイフク | 物品移載装置 |
WO2009014677A1 (en) | 2007-07-23 | 2009-01-29 | Abb Inc. | Robotic palletizing system |
JP4565023B2 (ja) * | 2008-07-04 | 2010-10-20 | ファナック株式会社 | 物品取り出し装置 |
KR101003654B1 (ko) | 2008-08-27 | 2010-12-23 | 삼성전기주식회사 | 반도체 패키지용 트랜스포머 |
US8489232B2 (en) | 2008-09-30 | 2013-07-16 | Amazon Technologies, Inc. | Systems and methods for receiving shipment parcels |
US8571298B2 (en) * | 2008-12-23 | 2013-10-29 | Datalogic ADC, Inc. | Method and apparatus for identifying and tallying objects |
DE102009011300B4 (de) * | 2009-03-02 | 2022-08-11 | Kuka Roboter Gmbh | Beladung von Lademitteln mit Paketen mittels Manipulator |
JP5429614B2 (ja) | 2009-04-16 | 2014-02-26 | 株式会社Ihi | 箱状ワーク認識装置および方法 |
US8508590B2 (en) * | 2010-03-02 | 2013-08-13 | Crown Equipment Limited | Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion |
US8538577B2 (en) | 2010-03-05 | 2013-09-17 | Crown Equipment Limited | Method and apparatus for sensing object load engagement, transportation and disengagement by automated vehicles |
FI20105732A0 (fi) * | 2010-06-24 | 2010-06-24 | Zenrobotics Oy | Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä |
US9796540B1 (en) | 2010-06-30 | 2017-10-24 | Thiele Technologies | System and method for robotic palletization of packages susceptible to package-to-package dimensional creep |
KR101453234B1 (ko) * | 2010-11-17 | 2014-10-22 | 미쓰비시덴키 가부시키가이샤 | 워크 취출 장치 |
US9367770B2 (en) * | 2011-08-30 | 2016-06-14 | Digimarc Corporation | Methods and arrangements for identifying objects |
US10474858B2 (en) | 2011-08-30 | 2019-11-12 | Digimarc Corporation | Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras |
US9129277B2 (en) * | 2011-08-30 | 2015-09-08 | Digimarc Corporation | Methods and arrangements for identifying objects |
US9067744B2 (en) | 2011-10-17 | 2015-06-30 | Kabushiki Kaisha Yaskawa Denki | Robot system, robot, and sorted article manufacturing method |
JP5510841B2 (ja) | 2011-12-22 | 2014-06-04 | 株式会社安川電機 | ロボットシステム及び仕分け済み物品の製造方法 |
CN102616578A (zh) * | 2011-11-18 | 2012-08-01 | 上海沃迪自动化装备股份有限公司 | 多功能机器人码垛系统 |
JP2013145525A (ja) * | 2012-01-16 | 2013-07-25 | Fuji Electric Co Ltd | 物品取り出し判定装置、物品取り出し判定システム、物品取り出しシステム、物品取り出し判定プログラムおよび物品取り出し判定方法 |
CN202539084U (zh) | 2012-03-01 | 2012-11-21 | 成都三茁科技有限公司 | 多位扫描识别系统 |
JP2013246589A (ja) * | 2012-05-24 | 2013-12-09 | Sharp Corp | 空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体 |
JP5469216B2 (ja) | 2012-07-31 | 2014-04-16 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置 |
US9227323B1 (en) * | 2013-03-15 | 2016-01-05 | Google Inc. | Methods and systems for recognizing machine-readable information on three-dimensional objects |
JP6255706B2 (ja) * | 2013-04-22 | 2018-01-10 | 富士通株式会社 | 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム |
US9314924B1 (en) * | 2013-06-14 | 2016-04-19 | Brain Corporation | Predictive robotic controller apparatus and methods |
JP5945968B2 (ja) * | 2013-09-03 | 2016-07-05 | 株式会社安川電機 | ロボットハンド、ロボットシステム、及び物品のデパレタイズ方法 |
JP5897532B2 (ja) | 2013-11-05 | 2016-03-30 | ファナック株式会社 | 三次元空間に置かれた物品をロボットで取出す装置及び方法 |
CA2879277C (en) | 2014-01-22 | 2021-05-04 | Axium Inc. | Vision-assisted robotized depalletizer |
CN103822594A (zh) * | 2014-02-28 | 2014-05-28 | 华南理工大学 | 一种基于激光传感器和机器人的工件扫描成像方法 |
KR102081139B1 (ko) | 2014-03-12 | 2020-02-25 | 한국전자통신연구원 | 물체 피킹 시스템, 물체 검출 장치 및 그 방법 |
JP5829306B2 (ja) | 2014-05-12 | 2015-12-09 | ファナック株式会社 | レンジセンサの配置位置評価装置 |
US9272417B2 (en) * | 2014-07-16 | 2016-03-01 | Google Inc. | Real-time determination of object metrics for trajectory planning |
US9205558B1 (en) | 2014-07-16 | 2015-12-08 | Google Inc. | Multiple suction cup control |
US9327406B1 (en) * | 2014-08-19 | 2016-05-03 | Google Inc. | Object segmentation based on detected object-specific visual cues |
JP6486114B2 (ja) * | 2015-01-16 | 2019-03-20 | 株式会社東芝 | 荷役装置 |
US9486921B1 (en) | 2015-03-26 | 2016-11-08 | Google Inc. | Methods and systems for distributing remote assistance to facilitate robotic object manipulation |
US20160302521A1 (en) | 2015-04-16 | 2016-10-20 | Brian George Rennex | Substantial energy return shoe with optimal low-impact springs and tuned gear change |
JP6461712B2 (ja) | 2015-05-28 | 2019-01-30 | 株式会社東芝 | 荷役装置及びその動作方法 |
US9875427B2 (en) * | 2015-07-28 | 2018-01-23 | GM Global Technology Operations LLC | Method for object localization and pose estimation for an object of interest |
US11010816B2 (en) | 2015-08-27 | 2021-05-18 | Imflux Inc | Methods of selecting thermoplastic materials for use with plastic article forming apparatuses that control melt flow |
US20170057148A1 (en) | 2015-08-27 | 2017-03-02 | Imflux Inc | Plastic article forming apparatuses and methods for controlling melt flow |
JP6466297B2 (ja) * | 2015-09-14 | 2019-02-06 | 株式会社東芝 | 対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱 |
JP6711591B2 (ja) | 2015-11-06 | 2020-06-17 | キヤノン株式会社 | ロボット制御装置およびロボット制御方法 |
ES2929729T3 (es) | 2015-11-13 | 2022-12-01 | Berkshire Grey Operating Company Inc | Sistemas de clasificación para proporcionar clasificación de una variedad de objetos |
US10370201B2 (en) * | 2015-11-13 | 2019-08-06 | Kabushiki Kaisha Toshiba | Transporting apparatus and transporting method |
JP6710622B2 (ja) * | 2015-11-13 | 2020-06-17 | 株式会社東芝 | 搬送装置および搬送方法 |
JP6298035B2 (ja) * | 2015-12-17 | 2018-03-20 | ファナック株式会社 | モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置 |
US10124489B2 (en) * | 2016-02-26 | 2018-11-13 | Kinema Systems Inc. | Locating, separating, and picking boxes with a sensor-guided robot |
JP6690300B2 (ja) | 2016-02-26 | 2020-04-28 | 村田機械株式会社 | スタッカクレーン |
CN105817430B (zh) | 2016-03-29 | 2017-12-29 | 常熟理工学院 | 基于机器视觉的产品检测方法 |
CN106063998B (zh) * | 2016-04-13 | 2018-03-06 | 段炼 | 一种单罐内转动mvr系统 |
US10596700B2 (en) * | 2016-09-16 | 2020-03-24 | Carbon Robotics, Inc. | System and calibration, registration, and training methods |
US20180198983A1 (en) * | 2017-01-06 | 2018-07-12 | Olympus Corporation | Image pickup apparatus, image pickup system, image pickup method, image pickup program, and display apparatus for image pickup |
WO2018131237A1 (ja) * | 2017-01-13 | 2018-07-19 | 三菱電機株式会社 | 協働ロボットシステム、及びその制御方法 |
JP6495355B2 (ja) | 2017-02-15 | 2019-04-03 | 昭 宮田 | 給液装置 |
JP2018144155A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
CN106886165A (zh) | 2017-03-10 | 2017-06-23 | 深圳市唯特视科技有限公司 | 一种基于模拟器的机械手抓取和操纵方法 |
DE112017007398B4 (de) | 2017-04-04 | 2021-11-18 | Mujin, Inc. | Steuervorrichtung, Greifsystem, Verteilersystem, Programm und Steuerverfahren |
US10328578B2 (en) | 2017-04-21 | 2019-06-25 | X Development Llc | Methods and systems for detecting, recognizing, and localizing pallets |
JP6904106B2 (ja) | 2017-06-27 | 2021-07-14 | 村田機械株式会社 | ピッキングシステム |
US10471597B1 (en) * | 2017-11-01 | 2019-11-12 | Amazon Technologies, Inc. | Adaptive perception for industrial robotic systems |
US10346987B1 (en) | 2017-12-29 | 2019-07-09 | Datalogic Usa, Inc. | Locating objects on surfaces |
JP6489243B2 (ja) * | 2018-01-17 | 2019-03-27 | セイコーエプソン株式会社 | 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット |
JP7065632B2 (ja) | 2018-02-13 | 2022-05-12 | Kyoto Robotics株式会社 | 箱状物ピッキング装置及びその方法 |
JP2018158439A (ja) | 2018-03-15 | 2018-10-11 | 株式会社東芝 | 物体ハンドリング装置、制御装置、および較正方法 |
CN110737399B (zh) | 2018-07-20 | 2023-09-05 | 伊姆西Ip控股有限责任公司 | 用于管理存储系统的方法、设备和计算机程序产品 |
JP7467041B2 (ja) * | 2018-09-27 | 2024-04-15 | キヤノン株式会社 | 情報処理装置、情報処理方法及びシステム |
US10369701B1 (en) | 2018-10-30 | 2019-08-06 | Mujin, Inc. | Automated package registration systems, devices, and methods |
WO2020091846A1 (en) | 2018-10-30 | 2020-05-07 | Mujin, Inc. | Automated package registration systems, devices, and methods |
US11023763B2 (en) | 2019-03-19 | 2021-06-01 | Boston Dynamics, Inc. | Detecting boxes |
US10614340B1 (en) | 2019-09-23 | 2020-04-07 | Mujin, Inc. | Method and computing system for object identification |
US10625952B1 (en) | 2019-10-18 | 2020-04-21 | Grey Orange Pte. Ltd. | Induction station for conveying packages in storage facility |
US11020854B2 (en) * | 2019-11-05 | 2021-06-01 | Mujin, Inc. | Robotic system with wall-based packing mechanism and methods of operating same |
US11423610B2 (en) * | 2019-11-26 | 2022-08-23 | Applied Research Associates, Inc. | Large-scale environment-modeling with geometric optimization |
US11798273B2 (en) | 2021-03-12 | 2023-10-24 | Lawrence Livermore National Security, Llc | Model-based image change quantification |
US20230041343A1 (en) | 2021-08-09 | 2023-02-09 | Mujin, Inc. | Robotic system with image-based sizing mechanism and methods for operating the same |
-
2019
- 2019-06-05 WO PCT/US2019/035608 patent/WO2020091846A1/en active Application Filing
- 2019-06-05 DE DE112019000125.6T patent/DE112019000125B4/de active Active
- 2019-06-05 KR KR1020217016611A patent/KR102650494B1/ko active IP Right Grant
- 2019-06-05 KR KR1020247009032A patent/KR20240042157A/ko active Search and Examination
- 2019-06-28 CN CN201910582988.XA patent/CN111113492A/zh active Pending
- 2019-07-19 JP JP2019133517A patent/JP6704154B2/ja active Active
- 2019-08-13 US US16/539,790 patent/US10703584B2/en active Active
- 2019-10-29 JP JP2020501166A patent/JP6813229B1/ja active Active
- 2019-10-29 JP JP2020516651A patent/JP6822719B2/ja active Active
- 2019-10-29 US US16/667,857 patent/US11501445B2/en active Active
- 2019-10-29 DE DE112019000177.9T patent/DE112019000177T5/de active Pending
- 2019-10-29 DE DE112019000127.2T patent/DE112019000127T5/de active Pending
- 2019-10-29 US US16/667,840 patent/US11189033B2/en active Active
- 2019-10-29 WO PCT/US2019/058666 patent/WO2020092442A1/en active Application Filing
- 2019-10-29 WO PCT/US2019/058656 patent/WO2020092433A1/en active Application Filing
- 2019-10-29 CN CN202010416747.0A patent/CN111633633B/zh active Active
- 2019-10-29 CN CN201980005938.3A patent/CN111566028A/zh active Pending
- 2019-10-29 WO PCT/US2019/058672 patent/WO2020092447A1/en active Application Filing
- 2019-10-29 CN CN202010482364.3A patent/CN111776762B/zh active Active
- 2019-10-29 CN CN201980005929.4A patent/CN111491878A/zh active Pending
- 2019-10-29 JP JP2020515142A patent/JP6822718B1/ja active Active
- 2019-10-29 DE DE112019000247.3T patent/DE112019000247T5/de active Pending
- 2019-10-29 KR KR1020217016615A patent/KR102650492B1/ko active IP Right Grant
- 2019-10-29 DE DE112019000172.8T patent/DE112019000172T5/de active Pending
- 2019-10-29 US US16/667,822 patent/US11062457B2/en active Active
- 2019-10-29 CN CN201980003163.6A patent/CN111629868A/zh active Pending
- 2019-10-29 JP JP2020514759A patent/JP6820044B1/ja active Active
- 2019-10-29 CN CN202010539908.5A patent/CN111861305B/zh active Active
- 2019-10-29 JP JP2020514750A patent/JP6820634B2/ja active Active
- 2019-10-29 CN CN201980005658.2A patent/CN111601761A/zh active Pending
- 2019-10-29 CN CN202010482376.6A patent/CN111776759B/zh active Active
- 2019-10-29 CN CN202010539927.8A patent/CN111861306B/zh active Active
- 2019-10-29 WO PCT/US2019/058650 patent/WO2020092428A1/en active Application Filing
- 2019-10-29 CN CN201980005659.7A patent/CN111566027A/zh active Pending
- 2019-10-29 WO PCT/US2019/058677 patent/WO2020092452A1/en active Application Filing
- 2019-10-29 US US16/667,882 patent/US11176674B2/en active Active
- 2019-10-29 DE DE112019000217.1T patent/DE112019000217B4/de active Active
-
2020
- 2020-04-15 JP JP2020072681A patent/JP7411932B2/ja active Active
- 2020-05-29 US US16/888,376 patent/US11288810B2/en active Active
- 2020-12-10 JP JP2020204672A patent/JP7352260B2/ja active Active
- 2020-12-22 JP JP2020212616A patent/JP2021050100A/ja active Pending
- 2020-12-23 JP JP2020213054A patent/JP2021051797A/ja active Pending
- 2020-12-25 JP JP2020216162A patent/JP7466150B2/ja active Active
- 2020-12-25 JP JP2020216438A patent/JP7340203B2/ja active Active
-
2021
- 2021-06-10 US US17/344,720 patent/US11636605B2/en active Active
- 2021-10-27 US US17/512,559 patent/US11797926B2/en active Active
- 2021-11-15 US US17/527,012 patent/US11961042B2/en active Active
-
2022
- 2022-09-13 US US17/944,117 patent/US12002007B2/en active Active
-
2023
- 2023-04-19 US US18/303,323 patent/US20240020637A1/en active Pending
- 2023-08-18 JP JP2023133633A patent/JP7548516B2/ja active Active
- 2023-09-15 US US18/468,591 patent/US20240078512A1/en active Pending
- 2023-12-15 JP JP2023212474A patent/JP2024023692A/ja active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7411932B2 (ja) | 自動パッケージ登録システム、デバイス、および方法 | |
US11780101B2 (en) | Automated package registration systems, devices, and methods | |
US10933527B2 (en) | Robotic system with enhanced scanning mechanism | |
JP7175487B1 (ja) | 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法 | |
JP7398662B2 (ja) | ロボット多面グリッパアセンブリ及びその操作方法 | |
CN110405810B (zh) | 自动包裹配准系统、装置和方法 | |
JP7218881B1 (ja) | 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240112 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240405 |