KR20210087065A - 자동 패키지 등록 시스템, 장치 및 방법 - Google Patents

자동 패키지 등록 시스템, 장치 및 방법 Download PDF

Info

Publication number
KR20210087065A
KR20210087065A KR1020217016611A KR20217016611A KR20210087065A KR 20210087065 A KR20210087065 A KR 20210087065A KR 1020217016611 A KR1020217016611 A KR 1020217016611A KR 20217016611 A KR20217016611 A KR 20217016611A KR 20210087065 A KR20210087065 A KR 20210087065A
Authority
KR
South Korea
Prior art keywords
package
image data
edges
edge
packages
Prior art date
Application number
KR1020217016611A
Other languages
English (en)
Other versions
KR102650494B1 (ko
Inventor
니콜라예프 디안코프 로젠
리우 후안
예 쉬타오
제로니모 모레이라 로드리게스 호세
가네모토 요시키
유 진즈
이슬람 러셀
Original Assignee
무진 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/290,741 external-priority patent/US10369701B1/en
Application filed by 무진 아이엔씨 filed Critical 무진 아이엔씨
Priority to KR1020247009032A priority Critical patent/KR20240042157A/ko
Publication of KR20210087065A publication Critical patent/KR20210087065A/ko
Application granted granted Critical
Publication of KR102650494B1 publication Critical patent/KR102650494B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
    • B65G63/002—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations for articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B43/00—Forming, feeding, opening or setting-up containers or receptacles in association with packaging
    • B65B43/42—Feeding or positioning bags, boxes, or cartons in the distended, opened, or set-up state; Feeding preformed rigid containers, e.g. tins, capsules, glass tubes, glasses, to the packaging position; Locating containers or receptacles at the filling position; Supporting containers or receptacles during the filling operation
    • B65B43/46—Feeding or positioning bags, boxes, or cartons in the distended, opened, or set-up state; Feeding preformed rigid containers, e.g. tins, capsules, glass tubes, glasses, to the packaging position; Locating containers or receptacles at the filling position; Supporting containers or receptacles during the filling operation using grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/915—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers provided with drive systems with rotary movements only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/917—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G59/00—De-stacking of articles
    • B65G59/02—De-stacking from the top of the stack
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
    • G05B19/40931—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine concerning programming of geometry
    • G05B19/40935—Selection of predetermined shapes and defining the dimensions with parameter input
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2814/00—Indexing codes relating to loading or unloading articles or bulk materials
    • B65G2814/03—Loading or unloading means
    • B65G2814/0301—General arrangements
    • B65G2814/0308—Destacking devices
    • B65G2814/031—Removing from the top
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Robotics (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • De-Stacking Of Articles (AREA)
  • Specific Conveyance Elements (AREA)
  • Image Processing (AREA)
  • Stacking Of Articles And Auxiliary Devices (AREA)
  • Control Of Conveyors (AREA)

Abstract

패키지 취급 시스템을 동작하는 방법은, 패키지 표면의 제1 표면 이미지를 나타내는 제1 이미지 데이터를 수신하는 단계; 제1 이미지에 기초하여 패키지 표면에 대한 한 쌍의 교차 에지를 식별하는 단계; 한 쌍의 에지에 기초하여 최소 실행 가능한 영역을 결정하는 단계로서, 최소 실행 가능한 영역은 패키지를 잡고 리프팅하기 위한 것인, 상기 최소 실행 가능한 영역을 결정하는 단계; 리프팅 후에 패키지를 나타내는 제2 이미지 데이터를 수신하는 단계; 및 제3 이미지 데이터에 기초하여 등록 데이터를 생성하는 단계를 포함한다.

Description

자동 패키지 등록 시스템, 장치 및 방법
관련 출원에 대한 상호 참조
본 출원은 미국 가특허 출원 일련 번호 제62/752,756호(출원일: 2018년 10월 30일)에 대한 이득을 주장하며, 이 기초 출원은 본 명세서에 전문이 참조에 의해 원용된다.
종종, 패키지들은 팔레트화 해제되는(de-palletized) 목적지로 배송하기 위해 팔레트화된다. 때때로, 이들은 비용이 많이 들고 신체 상해를 입을 수 있는 인간 작업자에 의해 팔레트화 해제된다. 산업 환경에서, 팔레트화 해제 동작은 종종 패키지를 잡고(grip), 리프팅하고(lift), 운반하고, 해제 지점으로 전달하는 로봇 암과 같은 산업용 로봇에 의해 수행된다. 또한, 팔레트에 적재된 패키지의 스택의 이미지를 캡처하기 위해 이미징 디바이스가 이용될 수 있다. 시스템은 캡처된 이미지를 등록 데이터 소스에 저장된 등록된 이미지와 비교하는 것과 같은, 패키지가 로봇 암에 의해 효율적으로 취급됨을 보장하기 위해 이미지를 프로세싱할 수 있다.
때때로, 패키지의 캡처된 이미지는 등록된 이미지와 매칭할 수 있다. 결과적으로, 이미징된 객체의 물리적 특성(예컨대, 패키지의 치수 측정치, 무게 및/또는 질량 중심)이 알려지지 않을 수 있다. 물리적 특성을 올바르게 식별하지 못하면 다양한 원치 않는 결과가 발생할 수 있다. 예를 들면, 이러한 실패는 패키지의 수동 등록을 요구할 수 있는 정지를 야기할 수 있다. 또한, 이러한 실패는 특히 패키지가 상대적으로 무겁거나 한쪽으로 치우쳐 있는 경우 패키지가 잘못 취급되는 결과를 초래할 수 있다.
도 1a는 본 기술의 일부 실시형태에 따른 패키지 등록 메커니즘으로 구성된 로봇 시스템을 도시한 도면.
도 1b는 본 기술의 일부 실시형태에 따른 로봇 시스템의 기능 블록도.
도 2a는 본 기술의 일부 실시형태에 따른 힘 토크 센서를 도시한 도면.
도 2b는 본 기술의 일부 실시형태에 따른 그리퍼(gripper)를 도시한 도면.
도 3a는 패키지의 일 예시적인 스택의 사시도.
도 3b는 패키지의 예시적인 스택의 평면도.
도 3c는 본 기술의 일부 실시형태에 따른 등록된 패키지의 예시적인 심볼로지(symbology)를 도시한 도면.
도 4a는 본 기술의 일부 실시형태에 따른 패키지의 제2 예시적인 스택의 사시도.
도 4b는 본 기술의 일부 실시형태에 따른 패키지의 제2 스택의 평면도.
도 4c는 본 기술의 일부 실시형태에 따른 등록된 및 미등록(unregistered) 패키지의 예시적인 심볼로지를 도시한 도면.
도 4d는 본 기술의 일부 실시형태에 따른 불명확한 에지 및 최소 실행 가능한 영역(MVR)의 예를 도시한 도면.
도 4e는 본 기술의 일부 실시형태에 따른 등록된 및 미등록 패키지의 예시적인 심볼로지의 제2 세트를 도시한 도면.
도 4f는 본 기술의 일부 실시형태에 따른 불명확한 에지 및 MVR의 제2 예를 도시한 도면.
도 4g는 본 기술의 일부 실시형태에 따른 미등록 패키지의 예시적인 심볼로지의 제3 세트를 도시한 도면.
도 4h는 본 기술의 일부 실시형태에 따른 도 4d의 제1 MVR 위의 그리퍼 시스템의 일 예시적인 배치를 도시한 도면.
도 4i는 본 기술의 일부 실시형태에 따른 미등록 패키지의 예시적인 심볼로지의 제4 세트를 도시한 도면.
도 4j는 본 기술의 일부 실시형태에 따른 새롭게 프로세싱된 패키지에 대한 불명확한 에지 및 MVR의 일례를 도시한 도면.
도 4k는 본 기술의 일부 실시형태에 따른 도 4f의 MVR 위의 그리퍼 시스템의 일 예시적인 배치를 도시한 도면.
도 4l은 본 기술의 일부 실시형태에 따른 미등록 패키지의 예시적인 심볼로지의 제5 세트를 도시한 도면.
도 4m은 본 기술의 일부 실시형태에 따른 새롭게 프로세싱된 패키지에 대한 불명확한 에지 및 MVR의 일례를 도시한 도면.
도 4n은 본 기술의 일부 실시형태에 따른 도 4m의 MVR 위의 그리퍼 시스템의 일 예시적인 배치를 도시한 도면.
도 4o는 본 기술의 일부 실시형태에 따른 도 4j의 MVR 위의 그리퍼 시스템의 일 예시적인 배치를 도시한 도면.
도 4p는 본 기술의 일부 실시형태에 따른 도 4d의 제2 MVR 위의 그리퍼 시스템의 일 예시적인 배치를 도시한 도면.
도 4q는 본 기술의 일부 실시형태에 따른 도 4d의 제3 MVR 위의 그리퍼 시스템의 일 예시적인 배치를 도시한 도면.
도 5는 본 기술의 일부 실시형태에 따른 도 1a의 로봇 시스템(100)을 동작시키기 위한 일 예시적인 방법에 대한 제어 흐름을 도시한 도면.
다음의 설명에서, 본 명세서에 개시된 독창적인 개념의 실시형태의 완전한 이해를 제공하기 위해 몇 가지 특정 상세가 제공된다. 당업자는 그러나, 본 명세서에 개시된 본 기술의 실시형태가 특정 상세 중 하나 이상이 없이, 또는 다른 구성요소, 등과 조합하여 실행될 수 있음을 인식할 것이다. 다른 사례에서, 잘 알려진 구현 또는 동작은 본 명세서에 개시된 본 기술의 다양한 실시형태의 양태를 모호하게 하는 것을 회피하기 위해 상세하게 도시되거나 설명되지 않는다.
도 1a 및 도 1b는 본 기술의 일부 실시형태에 따른 패키지 등록 메커니즘으로 구성된 로봇 시스템(100)을 도시한다. 일부 실시형태에서, 로봇 시스템은 팔레트화 해제 플랫폼(110), 수용 플랫폼(120), 로봇 암 시스템(130), 엔드 이펙터(end effector)(140), 처리 장치(PU)(150), 이미지 시스템(160), 등록 데이터 소스(RDS)(170), 높이 결정 센서(HDS)(180) 및/또는 해제 지점 센서(RPS)(190)를 포함할 수 있다.
팔레트화 해제 플랫폼(110)은 복수의 패키지(112)(단수로, "패키지(112)"))가 적층되고/되거나 스테이징되며 수용 플랫폼(120)로 운반될 준비가 될 수 있는 임의의 플랫폼, 표면 및/또는 구조를 포함할 수 있다. 본 명세서에서 용어 "패키지" 및 "패키지들"이 사용되더라도, 이 용어는 하기에 상세하게 논의되는 바와 같이, 그의 컨테이너가 잡혀지고, 리프팅되고, 운반되고, 전달될 수 있는 "케이스", "박스", "카톤", 또는 이들의 임의의 조합과 같지만 이들로 제한되지 않는 임의의 다른 단어를 포함한다는 점에 유의해야 한다. 게다가, 직사각형 박스가 본 명세서에 개시된 도면에 도시었지만, 박스의 형상은 이러한 형상으로 제한되지 않지만 하기에 상세하게 논의되는 바와 같이 잡혀지고, 리프팅되고, 운반되며, 전달될 수 있는 임의의 규칙적이거나 불규칙한 형상을 포함한다.
팔레트화 해제 플랫폼(110)과 같이, 수용 플랫폼(120)은 또 다른 작업/동작을 위해 패키지(112)를 수용하도록 지정된 임의의 플랫폼, 표면 및/또는 구조를 포함할 수 있다. 일부 실시형태에서, 수용 플랫폼(120)은 또 다른 동작(예컨대, 분류 및/또는 저장)을 위해 패키지(112)를 하나의 위치(예컨대, 하기에 논의된 바와 같이 해제 지점)로부터 또 다른 위치로 운반하기 위한 컨베이어 시스템을 포함할 수 있다.
로봇 암 시스템(130)은 패키지(112)를 조작(예컨대, 운반 및/또는 회전 또는 재지향)하도록 구성된 링크 구조, 조인트, 모터/액추에이터, 센서, 또는 이들의 조합의 세트를 포함할 수 있다. 로봇 암 시스템(130)은 본 명세서에서 제한이 아닌 예시의 목적을 위해, 관절형 6-축 로봇 암 구조일 수 있는 로봇 암(132)을 포함할 수 있다. 본 명세서에서의 논의가 로봇 암 시스템(130)에 주목되었지만, 본 명세서에 개시된 실시형태는 이러한 시스템으로 제한되지 않지만 본 명세서에 개시된 동작을 수행하도록 구성될 수 있는 임의의 로봇 시스템을 포함한다.
엔드 이펙터(140)는 복수의 패키지(112)와 상호 작용하도록 구성된 로봇 암(132)의 원위 단부에 결합된 임의의 구성요소 또는 구성요소들을 포함할 수 있다. 예를 들면, 엔드 이펙터(140)는 패키지(112)를 잡고 유지하도록 구성된 구조(예컨대, 진공 기반 그리퍼)를 포함할 수 있다. 일부 실시형태에서, 엔드 이펙터(140)는 힘 토크(F-T) 센서(142), 암 인터페이스(144), 그리퍼 시스템(146) 및/또는 그리퍼 인터페이스(148)(도 2a 및 도 2b에 도시된 바와 같이)를 포함할 수 있다.
도 1b의 PU(150)는 로봇 암 시스템(130)(엔드 이펙터(140)를 포함함)의 움직임 및/또는 다른 동작을 지시하고 제어할 뿐만 아니라, 다른 관련 데이터를 프로세싱하도록 프로그래밍되고/되거나 구성된 임의의 유닛(들) 또는 회로일 수 있다. 예를 들면, PU(150)는 이미지 시스템(160)으로부터 패키지(112)의 표면 이미지(SI)를 나타내는 이미지 데이터를 수신하고 RDS(170)에 의해 제공된 등록 레코드(172)(하기에 논의됨) 즉, 패키지(112)가 패키지(112)의 등록된 인스턴스(instance)인지 또는 패키지(112)의 미등록 인스턴스인지 여부(예컨대, 패키지(112)의 등록 레코드(172)의 인스턴스가 없거나 불완전한 경우)에 따라 SI의 등록 상태를 결정할 수 있다. 또한, 예를 들면, PU(150)는 로봇 암 시스템(130)을 패키지(112)의 등록된 인스턴스로 향하게 할 수 있다. 부가적으로, PU(150)는 그리퍼 시스템(146)에 파지 제어 신호를 적용하고, 암을 수용 플랫폼(120)으로 향하게 할 수 있고/있거나, RPS(190)로부터 해제 신호의 수신 시에 수용 플랫폼(120)에서 패키지(112)의 등록된 인스턴스를 해제할 수 있다.
PU(150)는 랜덤 액세스 메모리(RAM), 디스크 드라이브, 자기 메모리, 판독 전용 메모리(ROM), 컴팩트 디스크(CD), 고체 상태 메모리, 보안 디지털 카드 및/또는 컴팩트 플래시 카드를 포함하지만, 이들로 제한되지 않는 디지털 메모리 저장 디바이스 또는 비일시적 컴퓨터 판독 가능한 매체(일반적으로 도 1b의 메모리(152))에 영구적으로 또는 일시적으로 저장될 수 있는 소프트웨어 또는 컴퓨터 명령어 부호를 실행하는 임의의 전자 데이터 처리 장치를 포함할 수 있다. PU(150)는 본 명세서에 구현된 특정 기능을 위해 개발된 알고리즘을 포함하는 소프트웨어 또는 컴퓨터 명령어 부호의 실행에 의해 구동될 수 있다. 일부 실시형태에서, PU(150)는 본 명세서에 개시된 실시형태를 위해 맞춤화된 주문형 반도체(ASIC)일 수 있다. 일부 실시형태에서, PU(150)는 마이크로프로세서, 디지털 신호 프로세서(DSP), 프로그래밍 가능한 논리 디바이스(PLD), 프로그래밍 가능한 게이트 어레이(PGA) 및 신호 생성기 중 하나 이상을 포함할 수 있지만; 본 명세서의 실시형태에 대해, 용어 "프로세서"는 이러한 예시적인 처리 장치로 제한되지 않으며 그의 의미는 좁게 해석되도록 의도되지 않는다. 예를 들면, PU(150)는 또한, 하나보다 많은 전자 데이터 처리 장치를 포함할 수 있다. 일부 실시형태에서, PU(150)는 로봇 암 시스템(130), 엔드 이펙터(140) 및/또는 이미지 시스템(160)을 포함하지만, 이들로 제한되지 않는 로봇 시스템(100)의 임의의 다른 시스템에 의해 또는 이와 결부하여 사용된 프로세서(들)일 수 있다.
PU(150)는 입력 데이터의 수신을 용이하게 하기 위해 (예컨대, 유선, 버스 및/또는 무선 연결을 통해) 시스템 및/또는 소스에 전자적으로 결합될 수 있다. 일부 실시형태에서, 동작 가능하게 결합된 것은 전자적으로 결합된 것과 상호 교환 가능한 것으로 간주될 수 있다. 직접 연결이 행해질 필요는 없다; 대신에, 이러한 입력 데이터의 수신 및 출력 데이터의 제공은 버스를 통해, 무선 네트워크를 통해, 또는 물리적 또는 가상 컴퓨터 포트를 통해 PU(150)에 의해 수신되고/되거나 송신된 신호로서 제공될 수 있다. PU(150)는 하기에 상세하게 논의된 방법을 실행하도록 프로그래밍되거나 구성될 수 있다. 일부 실시형태에서, PU(150)는 이미지 시스템(160), RDS(170), HDS(180) 및/또는 RPS(190)를 포함하지만, 이들로 제한되지 않는 다양한 시스템 및/또는 유닛으로부터 데이터를 수신하도록 프로그래밍되거나 구성될 수 있다. 일부 실시형태에서, PU(150)는 로봇 암 시스템(130), 엔드 이펙터(140) 및 RDS(170)를 포함하지만, 이들로 제한되지 않는 다양한 시스템 및/또는 유닛에 출력 데이터를 제공하도록 프로그래밍되거나 구성될 수 있다.
이미지 시스템(160)은 팔레트화 해제 플랫폼(110)에 위치된 패키지(112)의 하나 이상의 SI를 나타내는 이미지 데이터를 캡처하도록 구성된 하나 이상의 센서(162)를 포함할 수 있다. 일부 실시형태에서, 이미지 데이터는 패키지(112)의 등록 상태의 결정이 행해질 수 있는 패키지(112)의 하나 이상의 표면에 나타나는 마킹 및/또는 시각적 설계를 표현할 수 있다. 일부 실시형태에서, 이미지 시스템(160)은 표적화된(예컨대, 가시 및/또는 적외선) 전자기 스펙트럼 대역폭 내에서 작동하도록 설계되고 대응하는 스펙트럼 내에서 광/에너지를 검출하기 위해 사용된 하나 이상의 카메라를 포함할 수 있다. 일부 실시형태에서, 이미지 데이터는 하나 이상의 3차원(3-D) 카메라 및/또는 하나 이상의 2차원(2-D) 카메라로부터 캡처된 지점 클라우드를 형성하는 데이터 지점의 세트, 깊이 맵, 또는 이들의 조합일 수 있다. 이 카메라로부터, 이미지 시스템(160)과 패키지(112)의 하나 이상의 노출된(예컨대, 이미지 시스템(160)의 시선에 대해) 표면 사이의 거리 또는 깊이가 결정될 수 있다. 일부 실시형태에서, 거리 또는 깊이는 상황별 이미지 분류 알고리즘(들) 및/또는 에지 검출 알고리즘(들)과 같은 이미지 인식 알고리즘(들)의 사용을 통해 결정될 수 있다. 일단 결정되면, 거리/깊이 값은 로봇 암 시스템(130)을 통해 패키지(112)를 조작하기 위해 사용될 수 있다. 예를 들면, PU(150) 및/또는 로봇 암 시스템(130)은 위치를 산출하기 위해 거리/깊이 값을 사용할 수 있고, 그로부터 패키지(112)는 리프팅되고/되거나 잡혀질 수 있다. 이미지 데이터와 같은, 본 명세서에서 설명된 데이터가 정보를 포함하거나 정보를 표현할 수 있는 이산적이거나 연속적인 임의의 아날로그 또는 디지털 신호를 나타낼 수 있다는 점에 유의해야 한다.
이미지 시스템(160)은 상세하게 논의된 바와 같이 로봇 시스템(100)의 한 명 이상의 운영자에 의해 뷰잉될 수 있는 센서(162)에 의해 캡처된 패키지(들)(112)의 이미지를 제공하도록 구성된 적어도 하나의 디스플레이 유닛(164)을 포함할 수 있다. 게다가, 디스플레이 유닛(164)은 하기에 상세하게 논의되는 바와 같이 패키지(112)의 등록된 및/또는 미등록 인스턴스를 나타내는 심볼로지와 같지만, 이로 제한되지 않은 다른 정보를 제공하도록 구성될 수 있다.
RDS(170)는 복수의 패키지(112)에 대한 등록 레코드(172)를 저장하도록 구성된 임의의 데이터베이스 및/또는 메모리 저장 디바이스(예컨대, 비일시적 컴퓨터 판독 가능한 매체)를 포함할 수 있다. 예를 들면, RDS(170)은 판독 전용 메모리(ROM), 컴팩트 디스크(CD), 고체 상태 메모리, 보안 디지털 카드, 컴팩트 플래시 카드, 및/또는 데이터 저장 서버 또는 원격 저장 디바이스를 포함할 수 있다.
일부 실시형태에서, 등록 레코드(172)는 각각 대응하는 패키지(112)에 대한 물리적 특성 또는 속성을 포함할 수 있다. 예를 들면, 각각의 등록 레코드(172)는 하나 이상의 템플릿 SI, 2-D 또는 3-D 크기 측정치, 무게, 및/또는 질량 중심(CoM) 정보를 포함하지만, 이들로 제한되지 않을 수 있다. 템플릿 SI는 패키지(112)의 설계, 마킹, 외관, 외형/윤곽, 또는 이들의 조합을 포함하는 패키지(112)의 알려지거나 이전에 결정된 가시적 특성을 표현할 수 있다. 2-D 또는 3-D 크기 측정치는 알려진/예상된 패키지에 대한 길이, 폭, 높이, 또는 이들의 조합을 포함할 수 있다.
일부 실시형태에서, RDS(170)는 하기에 개시된 실시형태에 따라 생성된 등록 레코드(172)의 새로운 인스턴스(예컨대, 이전에 알려지지 않은 패키지 및/또는 패키지의 이전에 알려지지 않은 양태에 대한)를 수용하도록 구성될 수 있다. 그에 따라, 로봇 시스템(100)은 RDS(170)에 저장된 등록 레코드(172)의 수를 확장함으로써 패키지(112)를 등록하기 위한 프로세스를 자동화할 수 있으며, 그에 의해 패키지(112)의 더 적은 미등록 인스턴스로 팔레트화 해제 동작을 더 효율적으로 만든다. 라이브/동작 데이터를 사용하여 RDS(170)의 등록 레코드(172)를 동적으로 업데이트함으로써(예컨대, 동작/배치 동안), 로봇 시스템(100)은 이전에 알려지지 않거나 예상치 못한 조건(예컨대, 조명 조건, 알려지지 않은 방향, 및/또는 적층 불일치) 및/또는 새롭게 접한 패키지를 설명할 수 있는 컴퓨터 학습 프로세스를 효율적으로 구현할 수 있다. 그에 따라, 로봇 시스템(100)은 "알려지지 않은" 조건/패키지, 연관된 인간 운영자 개입, 및/또는 연관된 작업 실패(예컨대, 분실된 패키지 및/또는 충돌)로부터 발생하는 실패를 감소시킬 수 있다.
HDS(180)는 기준 지점(예컨대, HDS(180)과 연관된 표면)에 대한 객체(예컨대, 패키지(112))의 수직 측정치를 제공하도록 구성된 구성요소를 포함할 수 있다. 도 1a에 도시된 예에 대해, HDS(180)는 패키지(112)의 하단 부분/에지가 HDS(180)와 연관된 수평 표면(예컨대, 스캐닝 평면)을 가로지를 때 도 1의 PU(150)로 신호를 전송할 수 있다. PU(150)는 예를 들면, HDS(180)의 스캐닝 평면(즉, 이전에 알려짐)과 신호가 생성될 때 그리퍼 시스템(146)의 위치 사이의 거리에 따라 패키지(112)의 높이를 결정하기 위해(예컨대, 배치/접근 방향에 따라) HDS(180)로부터의 신호를 사용할 수 있다. 하기에 개시된 바와 같이, 패키지(112)의 높이는 등록 레코드(172)에 이미 등록된 2-D 측정치에 3차원 측정치로서 부가될 수 있다. 일부 실시형태에서, HDS(180)는 도 1a에 도시된 바와 같이 수용 플랫폼(120)에 설치될 수 있다.
RPS(190)는 패키지(112)가 RPS(190)와 연관된 수평 평면을 가로지르거나 접촉할 때 PU(150)에 제공되는 신호를 트리거링(triggering)하도록 구성된 구성요소/회로를 포함할 수 있다. 일부 실시형태에서, RPS(190)에 의해 트리거링된 신호는 그리퍼 시스템(146)이 패키지(112)를 수용 플랫폼(120)으로 해제하는 위치를 결정하기 위해 사용될 수 있다. 일부 실시형태에서, RPS(190)는 도 1a에 도시된 바와 같이 수용 플랫폼(120)에 설치될 수 있다.
이제 도 2a를 참조하면, F-T 센서(142)는 좌표계의 축 및/또는 축들을 따라 선형 및/또는 모멘트 힘을 검출하도록 구성된 임의의 센서일 수 있다. 일부 실시형태에서, F-T 센서(142)는 도 1a 및 도 1b의 로봇 시스템(100) 및/또는 3축 모멘트(예컨대, 데카르트 좌표계의 x, y, z축에 관해 검출된 모멘트)에 의해 이용된 최대 3개의 축 힘(예컨대, 데카르트 좌표계의 x, y 및 z축을 따라 검출된 힘)을 검출하도록 구성된 6축 힘 센서를 갖는 구성요소를 포함할 수 있다. 일부 실시형태에서, F-T 센서(142)는 신호 프로세싱을 위한 내장형 증폭기 및 마이크로컴퓨터, 정적 및 동적 측정을 행하는 능력, 및/또는 샘플링 간격에 기초하여 즉각적인 변경을 검출하는 능력을 포함할 수 있다. 일부 실시형태에서, F-T 센서(142)는 유선 및/또는 무선 통신을 통해 도 1b의 PU(150)와 통신 가능하게 결합될 수 있다.
암 인터페이스(144)는 도 1a의 로봇 암(132)의 원위 단부를 F-T 센서(142)에 결합하도록 구성된 임의의 디바이스일 수 있다. 일부 실시형태에서, 로봇 암 시스템(130)의 제조자는 F-T 센서(142)의 제조자와 상이할 수 있다. 이러한 경우에, 암 인터페이스(144)의 단부는 상이한 구성을 가질 수 있다: 하나의 단부는 원위 단부에 결합하기 위해 구성되고, 다른 단부는 F-T 센서(142)에 결합하기 위해 구성된다.
이제 도 2b를 참조하면, 그리퍼 시스템(146)은 도 1a의 팔레트화 해제 플랫폼(110)의 그의 고정 위치로부터 도 1a의 패키지(112)를 잡고, 패키지(112)가 도 1b의 로봇 암 시스템(130)에 의해 도 1a의 수용 플랫폼(120)으로 운반되고 전달되는 동안 그립을 유지하도록 구성된 임의의 시스템 또는 어셈블리일 수 있다. 일부 실시형태에서, 그리퍼 시스템(146)은 수용 플랫폼(120)에서 패키지(112)를 잡고 이를 팔레트화 해제 플랫폼(110)에서 해제하기 위한 진공 소스를 이용하는 진공 그리퍼 시스템으로 구성될 수 있다. 일부 실시형태에서, 진공 그리퍼 시스템은 패키지(112)와의 인터페이스로서 흡입 컵(들)을 이용할 수 있다.
도 2b의 그리퍼 인터페이스(148)는 F-T 센서(142)를 그리퍼 시스템(146)에 결합하도록 구성된 임의의 디바이스일 수 있다. 일부 실시형태에서, F-T 센서(142)의 제조자는 그리퍼 시스템(146)의 제조자와 상이할 수 있다. 이러한 경우에, 그리퍼 인터페이스(148)의 대향 측면은 상이한 구성을 가질 수 있다: 하나의 측면은 F-T 센서(142)에 결합하기 위해 구성되고 대향 측면은 그리퍼 시스템(146)에 결합하기 위해 구성된다.
도 3a 내지 도 4q는 도 1a 내지 도 1b의 로봇 시스템(100)이 도 1a의 패키지(112)의 미등록 인스턴스의 도 1b의 등록 레코드(172)를 생성하기 위해 이용될 수 있는 방법을 도시한다. 도 3a는 패키지(112-1 내지 112-24)의 일 예시적인 스택의 사시도를 도시한다. 도 3b는 이 패키지(112)의 예시적인 스택의 평면도를 도시한다. 도 3b는 도 1a 및 도 1b의 이미지 시스템(160)의 센서(162)에 의해 캡처된 바와 같이 이 패키지(112)를 내려다보는 장면의 이미지 및/또는 지점 클라우드 데이터에 대응할 수 있다. 단지 제한이 아닌 예시의 목적을 위해, 패키지(112-1 내지 112-3, 112-13 내지 112-14, 및 112-21 내지 112-24)는, 각각이 도 1b의 RDS(170)에 저장된 등록 레코드(172)를 갖는 패키지(112)의 등록된 인스턴스를 표현할 수 있다. 단지 논의 및 간결함을 위해, 패키지(112)는 형상이 직사각형인 것으로서 도시되고, 각각은 각각의 등록 레코드(172)에 등록되는 SI(대각선으로서 도시됨)를 갖는다.
도 3c는 본 기술의 일부 실시형태에 따른 등록된 패키지의 예시적인 심볼로지를 도시한다. 도 3c는 도 1b의 디스플레이 유닛(164)에 의해 도시된 바와 같이 패키지 심볼로지(예컨대, 디스플레이된 객체의 등록 상태를 표현하기 위한 시각적 표시기 및/또는 오버레이)(112-1a 내지 112-3a, 112-13a 내지 112-14a, 및 112-21a 내지 112-24a)를 도시한다. 이 심볼로지 및 대응하는 등록 상태를 생성하기 위해, 도 3b의 패키지(112-1 내지 112-3, 112-13 내지 112-14, 및 112-21 내지 112-24)의 캡처된 SI는 이미지 인식 알고리즘(들)을 사용하여 RDS(170)에 저장된 등록 레코드(172)의 SI와 비교되고, 등록된 경우 심볼로지로서 디스플레이될 수 있다. 일부 실시형태에서, 심볼로지는 등록되는 SI를 나타내는 시각적 포맷으로 제조자 및/또는 최종 사용자에 의해 구성될 수 있으며, 여기서 이러한 포맷은 여러 가지 형상 및/또는 컬러를 이용할 수 있다. 제한이 아닌 설명의 목적을 위해, 제조자 및/또는 최종 사용자는 심볼로지(112-1a 내지 112-3a, 112-13a 내지 112-14a, 및 112-21a 내지 112-24a)를 패키지 윤곽의 형상 및 크기(즉, 여기서는 직사각형으로서 가정됨)가 되도록 구성했다. 도시되지 않았지만, 심볼로지는 패키지(112-1 내지 112-3, 112-13 내지 112-14, 및 112-21 내지 112-24)의 각각에 대해 유리한 등록 상태(즉, 등록 레코드(172)의 존재하는 인스턴스)를 나타내는 컬러(예컨대, 녹색)일 수 있다. 도시되지 않았지만, 도 3b에 도시된 장면의 이미지는 도 3c의 심볼로지가 오버레이되는 디스플레이 유닛(164)에 제공될 수 있다. 일부 실시형태에서, 패키지(112-1 내지 112-3, 112-13 내지 112-14, 및 112-21 내지 112-24)의 정보(예컨대, 등록 레코드(172)에 나열된 하나 이상의 물리적 특성)를 제공하는 영숫자 문자는 심볼로지 대신에 또는 이에 더하여 제공될 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 (에지 검출 알고리즘(들)을 포함할 수 있는 이미지 인식 알고리즘(들)을 통해) 이미지 데이터로부터 패키지의 2-D 측정(예컨대, 길이 및 폭)을 행할 수 있다. 예를 들면, 로봇 시스템(100)은 패키지(112-1 내지 112-3, 112-13 내지 112-14, 및 112-21 내지 112-24)와 같은, 팔레트화 해제 플랫폼(110)에서 패키지(112)의 2-D 측정을 행하기 위해 이미지 인식 알고리즘(들)(예컨대, 에지 검출 알고리즘(들) 및/또는 매핑 알고리즘(들))을 사용할 수 있다. 로봇 시스템(100)은 측정된 표면에 대한 깊이에 기초하여 2-D 측정을 행할 수 있다. 로봇 시스템(100)은 (예컨대, 일단 측정된 패키지가 예를 들면, 그의 노출된 표면의 이미지 인식을 통해 식별되면) 등록 레코드(172)의 정확성을 확인하기 위해 대응하는 패키지(112)의 2-D 측정치를 그들의 등록 레코드(172)와 비교할 수 있다.
일부 실시형태에서, 등록 레코드(172)에 저장된 CoM 정보는 도 1a 및 도 1b의 엔드 이펙터(140) 및/또는 그리퍼 시스템(146)을 배치하는 목적을 위해 PU(150)에 제공될 수 있다. 로봇 시스템(100)은 패키지(112)를 잡고 리프팅하기 위해 패키지(112)의 CoM 위에 엔드 이펙터(140) 및/또는 그리퍼 시스템(146)을 배치할 수 있으며, 그에 의해 패키지(112)가 잡혀지고 도 1a의 팔레트화 해제 플랫폼(110)의 그의 위치로부터 리프팅될 때 균형 잡힌 패키지 파지 및 수평 패키지 리프팅을 수반하는 동작을 용이하게 한다. 패키지(112)는 도 1a의 수용 플랫폼(120)에서 잡혀지고, 리프팅되고, 이로 운반되며, 해제될 수 있다.
도 4a는 본 기술의 일부 실시형태에 따른 패키지(예컨대, 패키지(112-31 내지 112-54))의 제2 예시적인 스택의 사시도를 도시한다. 도 4b는 본 기술의 일부 실시형태에 따른 패키지의 제2 예시적인 스택의 평면도를 도시한다. 도 3b는 도 1a 및 도 1b의 이미지 시스템(160)의 센서(162)에 의해 캡처된 바와 같이 이 패키지를 내려다보는 장면의 이미지 및/또는 지점 클라우드 데이터에 대응할 수 있다. 단지 제한이 아닌 예시의 목적을 위해, 패키지(112-33, 112-43 및 112-51)는 패키지(112)의 등록된 인스턴스를 표현할 수 있으며, 각각의 인스턴스는 도 1b의 등록 레코드(172)의 각각의 인스턴스에 포함된 SI로 하여금 도 1b의 RDS(170)에 저장되게 한다. 단지 논의 및 간결함을 위해, 패키지(112)는 그 형상이 직사각형이다.
게다가, 패키지(112-31, 112-32, 112-44, 및 112-52 내지 112-54)는 패키지(112)의 미등록 및/또는 잘못 프로세싱된/매칭된 인스턴스를 표현할 수 있으며, 이는 도 1b의 RDS(170)에 저장된 등록 레코드(172)에 대응하지 않을 수 있다. 로봇 시스템(100)은 하기에 논의된 바와 같이 제1 이미지 데이터 및 등록 가능한 SI로서 이 미등록/불일치 SI를 나타내는 캡처된 이미지 데이터를 사용할 수 있다. 단지 논의 및 간결함을 위해, 패키지(112)는 그 형상이 직사각형이고, 각각은 수직, 수평, 및/또는 십자선으로 도시된 SI를 가질 수 있다.
도 4c, 도 4e, 도 4g, 도 4i, 및 도 4l은 하나 이상의 패키지가 제거될 때 스택의 평면도를 도시할 수 있다. 도 4c는 본 기술의 일부 실시형태에 따른 등록된 및 미등록 패키지의 예시적인 심볼로지를 도시한다. 도 4c는 도 1b의 디스플레이 유닛(164)에 의해 도시된 바와 같이 직사각형(112-33a, 112-43a 및 112-51a)의 심볼로지를 도시한다. 상기 언급된 바와 같이, 패키지(112)에 대한 SI는 도 1b의 이미지 시스템(160)에 의해 캡처되고 도 1b의 RDS(170)에 저장된 도 1b의 등록 레코드(172)의 SI와 비교될 수 있다. 등록된 경우, 로봇 시스템은 등록 중인 SI를 나타내는 심볼로지를 할당하고/하거나 디스플레이할 수 있다. 도시된 바와 같이, 심볼로지(112-33a, 112-43a 및 112-51a)는 디스플레이 유닛(164)에 의해 디스플레이된 직사각형 윤곽을 포함할 수 있다.
도 4c에 도시된 바와 같이, 외부 직사각형((112-62a)로부터 (112-62d)까지) 내에 있는 내부 직사각형((112-61a)로부터 (112-61d)까지)의 조합은 디스플레이 유닛(164)의 패키지(112-31, 112-44 및 112-53)의 미등록 SI에 대한 심볼로지(112-31a, 112-44a 및 112-53a)로서 디스플레이될 수 있다. 일부 실시형태에서, 내부 직사각형(112-61a 내지 112-61d)의 크기 및 배치는 하기에 상세하게 논의된 최소 실행 가능한 영역(MVR)과 일치할 수 있다. 심볼로지(112-31a, 112-44a 및 112-53a)의 존재는 패키지(112-31, 112-44 및 112-53)의 SI가 등록 레코드(172)를 갖지 않고/않거나 이와 일치하지 않음을 나타낼 수 있다. 이러한 사례에서, 이미지 인식 알고리즘(들)(예컨대, 에지 인식 알고리즘(들))은 코너를 형성하는 적어도 2개의 명확한 에지의 존재를 결정하기 위해 이용될 수 있다.
도 4d는 본 기술의 일부 실시형태에 따른 불명확한 에지 및 MVR의 예를 도시한다. 도 4d는 미등록/비일치 패키지에 대해 코너(112-31c, 112-44c 및 112-53c)를 각각 형성하는 2개의 명확한 에지(112-31b, 112-44b 및 112-53b)(예컨대, 스택의 외부 에지를 형성하는/이와 일치하는 에지)를 도시한다. 또한, 2개의 불명확한 에지(112-31d, 112-44d 및 112-53d)는 코너(112-31e, 112-44e 및 112-53e)를 각각 형성하기 위해 PU(150)에 의해 식별/추정될 수 있다. 일부 실시형태에서, 도 4a의 패키지(112-31)의 2개의 불명확한 에지(112-31d)는 코너(112-31e)에서 교차할 때까지 그들이 단부(112-31ba 및 112-31bb)로부터 각각 미리 결정된 각도(예컨대, 수직으로)로 연장한다고 가정함으로써 프로세싱될 수 있다. 유사하게, 패키지(112-44)의 2개의 불명확한 에지(112-44d)는 코너(112-44e)에서 교차할 때까지 그들이 단부(112-44ba 및 112-44bb)로부터 각각 미리 결정된 각도(예컨대, 수직으로)로 연장한다고 가정함으로써 프로세싱될 수 있다. 마찬가지로, 패키지(112-53)의 2개의 불명확한 에지(112-53d)는 코너(112-53e)에서 교차할 때까지 그들이 단부(112-53ba 및 112-53bb)로부터 각각 미리 결정된 각도(예컨대, 수직으로)로 연장한다고 가정함으로써 프로세싱될 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 대응하는 패키지와 연관된 깊이 측정치, 배치/위치, 결정된 포즈, 또는 이들의 조합에 따라 미리 결정된 각도를 선택하거나 조정할 수 있다.
게다가, 예시적인 MVR(112-31f, 112-44f 및 112-53f)이 도 4d에 도시된다. 일부 실시형태에서, MVR은 패키지(112)의 각각의 미등록 인스턴스에 대해 산출될 수 있으며, 이는 도 1b의 등록 레코드(172)를 생성하기 위해 사용될 수 있다. 로봇 시스템(100)은 그의 각각의 MVR의 함수로서 등록 레코드(172)를 생성할 수 있다. MVR(112-31f)은 그의 측면이 2개의 명확한 에지(112-31b) 또는 이의 일부와 동일 선상에 있도록 계산될 수 있다. 즉, MVR(112-31f)의 크기는 패키지(112-31)의 표면보다 작을 수 있다. 일부 실시형태에서, MVR(112-31f)은 도 2b에 도시된 그리퍼 시스템(146)의 크기 또는 패키지(112)가 리프팅될 때 그랩을 잡고 안전하게 유지하는 능력에 대응하는 다른 특성의 함수로서 크기가 정해질 수 있다. MVR을 프로세싱할 때, 로봇 시스템(100)은 패키지(112)에 대한 기본 CoM을 가정하고 사용할 수 있다. 그에 따라, 기본 CoM 및 산출된 크기를 사용하여, 로봇 시스템(100)은 패키지(112)의 연관된 조작(예컨대, 잡기, 리프팅 및/또는 운반)의 오류/실패를 방지하는 MVR(112-31f)을 산출할 수 있다. 예를 들면, MVR이 너무 작을 때, 그리퍼 시스템(146)이 잘못 배치될 수 있고 그리퍼 시스템(146)에 의한 지속된 잡기는 패키지(112)가 리프팅될 때 가능하지 않을 수 있다. 일부 실시형태에서, MVR(112-31f)은 이미지 인식 알고리즘(들)에 의해 결정된 바와 같이 SI에 나타나는 표면 설계 및/또는 마킹의 일부인 직선을 제외하도록 크기가 정해질 수 있다. 일부 실시형태에서, MVR(112-31f)은 더 낮은 신뢰도 측정치에 대응하는 에지를 제외하도록 크기가 정해질 수 있다. 이전 논의가 MVR(112-31f)에 대해 주목되었지만, MVR(112-31f)을 산출하기 위한 함수가 본 명세서에서 논의된 임의의 MVR에 적용된다는 점에 유의해야 한다.
도 4e는 본 기술의 일부 실시형태에 따른 등록된 및 미등록 패키지의 예시적인 심볼로지의 제2 세트를 도시한다. 도 4e는 도 4c에 도시된 스택으로부터 하나 이상의 패키지가 제거/운반된 후에 패키지의 스택의 상태를 표현할 수 있다. 도 4c의 심볼로지(112-33a)의 부족은 등록된 패키지(112-33)가 도 1a의 팔레트화 해제 플랫폼(110)으로부터 잡혀지고, 리프팅되고, 멀리 운반되었음을 나타낼 수 있다. 또한, 로봇 시스템(100)은 디스플레이 유닛(164)에 심볼로지(112-32a)를 생성/디스플레이할 수 있어서, 도 4b에 도시된 패키지(112-32)에 대한 코너를 형성하는 2개의 명확한 에지(예컨대, 이제 노출되고 임의의 인접 에지/패키지에 더 이상 인접해 있지 않은 에지)의 새로운 인식을 나타낸다.
도 4f는 본 기술의 일부 실시형태에 따른 불명확한 에지 및 MVR의 제2 예를 도시한다. 도 4f는 상기 설명된 하나 이상의 프로세스를 사용하여 인식된 코너(112-32c)를 형성하는 명확한 에지(112-32b)를 도시한다. 이 인식으로부터, 2개의 불명확한 에지(112-32d) 및 대응하는 코너(112-32e)는 상기 논의된 방식으로 로봇 시스템(100)(예컨대, PU(150))에 의해 추정될 수 있고, MVR(112-32f)은 상기 논의된 방식으로 계산될 수 있다.
도 4g는 본 기술의 일부 실시형태에 따른 미등록 패키지의 예시적인 심볼로지의 제3 세트를 도시한다. 도 4g는 도 4e에 도시된 스택으로부터 하나 이상의 패키지가 제거/운반된 후에 패키지의 스택의 상태를 표현할 수 있다. 도 4c 및 도 4e의 심볼로지(112-43a 및 112-51a)의 부족은 등록된 패키지(112-43 및 112-51)가 도 1의 팔레트화 해제 플랫폼(110)으로부터 잡혀지고, 리프팅되고, 멀리 운반되었음을 나타낼 수 있다. 도 4b의 패키지(112-52)에 대한 우측 및 좌측 에지가 이제 인식될 수 있지만(예컨대, 그들이 노출되고 더 이상 인접 코너/패키지에 인접하지 않기 때문에), 이 에지가 코너를 형성하기 위해 서로 평행하고 교차하지 않음에 유의해야 한다; 이와 같이, 패키지(112-52)에 대응하는 심볼로지의 부가는 일부 실시형태에서 디스플레이 유닛(164)에 의해 디스플레이되지 않을 수 있다.
도 4h는 본 기술의 일부 실시형태에 따른 MVR(예컨대, 도 4d의 MVR(112-44f)) 위의 그리퍼 시스템(예컨대, 그리퍼 시스템(146))의 일 예시적인 배치를 도시한다. 도 1a 및 도 1b의 엔드 이펙터(140)를 포함하는 그리퍼 시스템(146) 및 F-T 센서(142)는 그리퍼 시스템(146)이 도 1의 이미지 시스템(160)의 센서(162)의 뷰로부터 도 4d의 불명확한 에지(112-44d)를 차단하지 않고 MVR(112-44f) 위에 배치되도록 배치될 수 있다. 그 다음, 패키지(112-44)가 잡혀지고 리프트 체크 거리에 대해 상승 위치까지 수직으로 리프팅될 수 있다. 예를 들면, 리프트 체크 거리는 패키지(112-44)의 하나 이상의 축 힘 및/또는 축 모멘트의 측정치를 캡처하기 위해 도 1b 및 도 2a의 F-T 센서(142)에 대해 충분한 거리를 표현할 수 있다. 예를 들면, 리프트 체크 거리는 수직 거리 또는 z축을 따라 제로 밀리미터보다 큰 거리를 표현할 수 있다. 특정 예에 대해, 리프트 체크 거리는 50밀리미터를 표현할 수 있다.
데카르트 좌표계를 참조한 일부 실시형태에서, 하나 이상의 축(즉, F(x축), F(y축) 및/또는 F(z축))을 따른 힘 측정(들) 및/또는 하나 이상의 축(즉, M(x축), M(y축) 및/또는 M(z축))에 관한 모멘트 측정(들)은 F-T 센서(142)를 통해 캡처될 수 있다. CoM 산출 알고리즘을 적용함으로써, 패키지의 무게는 힘 측정치(들)의 함수로서 계산될 수 있고, 패키지의 CoM은 힘 측정치(들) 및 모멘트 측정치(들)의 함수로서 계산될 수 있다. 이 측정치는 패키지(112-44)에 대해 생성되는 도 1b의 등록 레코드(172)의 새로운 인스턴스에 부가될 수 있다. 일부 실시형태에서, 계산된 CoM이 MVR(112-44f) 밖에 있으면, 패키지(112-44)는 그리퍼 시스템(146)으로부터 해제될 수 있다. 그 다음, 그리퍼 시스템(146)은 계산된 CoM 위에 배치될 수 있으며, 이때 패키지(112-44)는 안전하게 잡혀지고 다시 상승된 위치로 리프팅될 수 있다.
상승된 위치에 있는 동안, 로봇 시스템은 이전에 불명확한 에지를 명확하게 하기 위해 리프팅된 패키지를 재이미징할 수 있다. (112-44)의 부분 SI(즉, 그리퍼 시스템(146)에 의해 차단되지 않은 전체 SI의 일부)를 나타내는 제2 이미지 데이터는 도 4d의 불명확한 에지(112-44d)의 명확한 에지(112-44g)를 획득하기 위해 도 1a 및 도 1b의 이미지 시스템(160)의 센서(162)에 의해 캡처될 수 있다. 일부 실시형태에서, 제1 지점 클라우드 데이터로 구성된 제1 이미지 데이터에 표현된 깊이 정보는 명확한 에지 및 2-D 측정이 결정될 수 있는 깊이 정보의 변경을 결정하기 위해 제2 지점 클라우드 데이터로 구성된 제2 이미지 데이터에 표현된 깊이 정보와 비교될 수 있다. 일단 획득되면, 등록 가능한 SI를 나타내는 제3 이미지 데이터는 제1 이미지 데이터의 SI 및 제2 이미지 데이터의 명확한 에지로부터 생성될 수 있다. 제2 이미지 데이터 및 제3 이미지 데이터의 등록 가능한 SI로부터 결정된 2-D 측정치는 이제 패키지(112-44)에 대해 생성되는 등록 레코드(172)에 부가될 수 있다. 또 다른 예에 대해, 제3 이미지 데이터는 도 1a의 로봇 시스템(100)에 대한 템플릿 이미지 데이터를 표현할 수 있다. 여기로부터, 패키지(112-44)의 미등록 인스턴스에 대한 등록 가능한 SI, 2-D 측정치, 및 무게와 CoM의 측정치로 구성된 등록 레코드(172)의 새로운 인스턴스가 이제 도 1b의 RDS(170)에 저장될 수 있다. 로봇 시스템(100)은 패키지(112)의 SI를 템플릿 이미지 데이터와 비교함으로써 패키지(112)가 미등록되어 있는지의 여부를 결정할 수 있다.
도 4i는 본 기술의 일부 실시형태에 따른 미등록 패키지의 예시적인 심볼로지의 제4 세트를 도시한다. 도 4i는 하나 이상의 패키지가 도 4g에 도시된 스택으로부터 제거/운반된 후에 패키지의 스택의 상태를 표현할 수 있다. 도 4c, 도 4e 및 도 4g의 심볼로지(112-44a)의 부족은 등록 레코드(172)의 새로운 인스턴스가 확립된 후에, 패키지(112-44)의 이전에 미등록 인스턴스가 팔레트화 해제 플랫폼(110)으로부터 멀리 운반되었음을 나타낼 수 있다. 또한, 로봇 시스템(100)은 디스플레이 유닛(164)에 심볼로지(112-54a)를 생성/디스플레이할 수 있어서, 도 4b에 도시된 패키지(112-54)에 대한 코너를 형성하는 2개의 명확한 에지(예컨대, 이전에 인접한 패키지(들)의 제거/운반 후에 새롭게 노출된 에지)의 새로운 인식을 나타낸다.
도 4j는 새롭게 프로세싱된 패키지(예컨대, 패키지(112-54))에 대한 불명확한 에지 및 MVR의 일례를 도시한다. 도 4j는 상기 설명된 하나 이상의 프로세스를 사용하여 인식된 코너(112-54c)를 형성하는 명확한 에지(112-54b)를 도시한다. 이 인식으로부터, 2개의 불명확한 에지(112-54d) 및 대응하는 코너(112-54e)는 상기 논의된 방식으로 로봇 시스템(100)(예컨대, PU(150))에 의해 추정될 수 있고, MVR(112-54f)은 상기 논의된 방식으로 계산될 수 있다.
도 4k는 본 기술의 일부 실시형태에 따른 도 4f의 MVR(예컨대, MVR(112-32f)) 위의 그리퍼 시스템(예컨대, 그리퍼 시스템(146))의 일 예시적인 배치를 도시한다. 도 1a 및 도 1b의 엔드 이펙터(140)를 포함하는 그리퍼 시스템(146) 및 F-T 센서(142)는 그리퍼 시스템(146)이 도 1의 이미지 시스템(160)의 센서(162)의 뷰로부터 불명확한 에지(112-32d)를 차단하지 않고 MVR(112-32f) 위에 배치되도록 배치될 수 있다. 그 다음, 상승된 위치에 있는 패키지(112-32)로 그리고 상기 논의된 방식으로, 무게 및 CoM 측정이 결정되고 패키지(112-32)에 대해 생성되는 등록 레코드(172)의 새로운 인스턴스에 부가될 수 있고; 패키지(112-32)의 부분 SI를 나타내는 제2 이미지 데이터가 캡처될 수 있으며 그로부터 2-D 측정 및 명확한 에지(112-32g)가 결정될 수 있고; 등록 가능한 SI를 나타내는 제3 이미지 데이터는 제1 이미지 데이터의 SI 및 제2 이미지 데이터의 명확한 에지로부터 생성될 수 있다. 여기로부터, 패키지(112-32)의 미등록 인스턴스에 대한 등록 가능한 SI, 2-D 측정, 및 무게와 CoM의 측정으로 구성된 등록 레코드(172)의 새로운 인스턴스가 이제 도 1b의 RDS(170)에 저장될 수 있다.
도 4l은 본 기술의 일부 실시형태에 따른 미등록 패키지의 예시적인 심볼로지의 제5 세트를 도시한다. 도 4l는 하나 이상의 패키지가 도 4i에 도시된 스택으로부터 제거/운반된 후에 패키지의 스택의 상태를 표현할 수 있다. 도 4e, 도 4g 및 도 4i의 심볼로지(112-32a)의 부족은 등록 레코드(172)의 새로운 인스턴스가 확립된 후에, 패키지(112-32)의 이전의 미등록 인스턴스가 팔레트화 해제 플랫폼(110)으로부터 멀리 운반되었음을 나타낼 수 있다. 또한, 로봇 시스템(100)은 디스플레이 유닛(164)에 심볼로지(112-52a)를 생성/디스플레이할 수 있어서, 도 4b에 도시된 패키지(112-52)에 대한 코너를 형성하는 2개의 명확한 에지(예컨대, 이전에 인접한 패키지(들)의 제거/운반 후에 새롭게 노출된 에지)의 새로운 인식을 나타낸다.
도 4m은 새롭게 프로세싱된 패키지(예컨대, 패키지(112-52))에 대한 불명확한 에지 및 MVR의 일례를 도시한다. 도 4m은 상기 설명된 하나 이상의 프로세스를 사용하여 인식된 코너(112-52c)를 형성하는 명확한 에지(112-52b)를 도시한다. 이 인식으로부터, 2개의 불명확한 에지(112-52d) 및 대응하는 코너(112-52e)는 상기 논의된 방식으로 로봇 시스템(100)(예컨대, PU(150))에 의해 추정될 수 있고, MVR(112-52f)은 상기 논의된 방식으로 계산될 수 있다.
도 4n은 본 기술의 일부 실시형태에 따른 도 4m의 MVR(예컨대, MVR(112-52f)) 위의 그리퍼 시스템(예컨대, 그리퍼 시스템(146))의 일 예시적인 배치를 도시한다. 도 1a 및 도 1b의 엔드 이펙터(140)를 포함하는 그리퍼 시스템(146) 및 F-T 센서(142)는 그리퍼 시스템(146)이 도 1의 이미지 시스템(160)의 센서(162)의 뷰로부터 불명확한 에지(112-52d)를 차단하지 않고 MVR(112-52f) 위에 배치되도록 배치될 수 있다. 그 다음, 상승된 위치에 있는 패키지(112-52)로 및 상기 논의된 방식으로, 무게 및 CoM 측정이 결정되고 패키지(112-52)에 대해 생성되는 등록 레코드(172)의 새로운 인스턴스에 부가될 수 있고; 패키지(112-52)의 부분 SI를 나타내는 제2 이미지 데이터가 캡처될 수 있으며 그로부터 2-D 측정 및 명확한 에지(112-52g)가 결정될 수 있고; 등록 가능한 SI를 나타내는 제3 이미지 데이터는 제1 이미지 데이터의 SI 및 제2 이미지 데이터의 명확한 에지로부터 생성될 수 있다. 여기로부터, 패키지(112-52)의 미등록 인스턴스에 대한 등록 가능한 SI, 2-D 측정, 및 무게와 CoM의 측정으로 구성된 등록 레코드(172)의 새로운 인스턴스가 이제 도 1b의 RDS(170)에 저장될 수 있다.
도 4o은 본 기술의 일부 실시형태에 따른 도 4j의 MVR(예컨대, MVR(112-54f)) 위의 그리퍼 시스템(예컨대, 그리퍼 시스템(146))의 일 예시적인 배치를 도시한다. 도 1a 및 도 1b의 엔드 이펙터(140)를 포함하는 그리퍼 시스템(146) 및 F-T 센서(142)는 그리퍼 시스템(146)이 도 1의 이미지 시스템(160)의 센서(162)의 뷰로부터 불명확한 에지(112-54d)를 차단하지 않고 MVR(112-54f) 위에 배치되도록 배치될 수 있다. 그 다음, 상승된 위치에 있는 패키지(112-54)로 및 상기 논의된 방식으로, 무게 및 CoM 측정이 결정되고 패키지(112-54)에 대해 생성되는 등록 레코드(172)의 새로운 인스턴스에 부가될 수 있고; 패키지(112-54)의 부분 SI를 나타내는 제2 이미지 데이터가 캡처될 수 있으며 그로부터 2-D 측정 및 명확한 에지(112-54g)가 결정될 수 있고; 등록 가능한 SI를 나타내는 제3 이미지 데이터는 제1 이미지 데이터의 SI 및 제2 이미지 데이터의 명확한 에지로부터 생성될 수 있다. 여기로부터, 패키지(112-54)의 미등록 인스턴스에 대한 등록 가능한 SI, 2-D 측정, 및 무게와 CoM의 측정으로 구성된 등록 레코드(172)의 새로운 인스턴스가 이제 도 1b의 RDS(170)에 저장될 수 있다.
도 4p은 본 기술의 일부 실시형태에 따른 도 4d의 MVR(예컨대, MVR(112-31f)) 위의 그리퍼 시스템(예컨대, 그리퍼 시스템(146))의 일 예시적인 배치를 도시한다. 도 1a 및 도 1b의 엔드 이펙터(140)를 포함하는 그리퍼 시스템(146) 및 F-T 센서(142)는 그리퍼 시스템(146)이 도 1의 이미지 시스템(160)의 센서(162)의 뷰로부터 불명확한 에지(112-31d)를 차단하지 않고 MVR(112-31f) 위에 배치되도록 배치될 수 있다. 그 다음, 상승된 위치에 있는 패키지(112-31)로 및 상기 논의된 방식으로, 무게 및 CoM 측정이 결정되고 패키지(112-31)에 대해 생성되는 등록 레코드(172)의 새로운 인스턴스에 부가될 수 있고, 패키지(112-31)의 부분 SI를 나타내는 제2 이미지 데이터가 캡처될 수 있으며 그로부터 2-D 측정 및 명확한 에지(112-31g)가 결정될 수 있고; 등록 가능한 SI를 나타내는 제3 이미지 데이터는 제1 이미지 데이터의 SI 및 제2 이미지 데이터의 명확한 에지로부터 생성될 수 있다. 여기로부터, 패키지(112-31)의 미등록 인스턴스에 대한 등록 가능한 SI, 2-D 측정, 및 무게와 CoM의 측정으로 구성된 등록 레코드(172)의 새로운 인스턴스가 이제 도 1b의 RDS(170)에 저장될 수 있다.
도 4q은 본 기술의 일부 실시형태에 따른 도 4d의 MVR(예컨대, MVR(112-53)) 위의 그리퍼 시스템(예컨대, 그리퍼 시스템(146))의 일 예시적인 배치를 도시한다. 도 1a 및 도 1b의 엔드 이펙터(140)를 포함하는 그리퍼 시스템(146) 및 F-T 센서(142)는 그리퍼 시스템(146)이 도 1의 이미지 시스템(160)의 센서(162)의 뷰로부터 불명확한 에지(112-53d)를 차단하지 않고 MVR(112-53f) 위에 배치되도록 배치될 수 있다. 그 다음, 상승된 위치에 있는 패키지(112-53)로 및 상기 논의된 방식으로, 무게 및 CoM 측정이 결정되고 패키지(112-53)에 대해 생성되는 등록 레코드(172)의 새로운 인스턴스에 부가될 수 있고; 패키지(112-53)의 부분 SI를 나타내는 제2 이미지 데이터가 캡처될 수 있으며 그로부터 2-D 측정 및 명확한 에지(112-53g)가 결정될 수 있고; 등록 가능한 SI를 나타내는 제3 이미지 데이터는 제1 이미지 데이터의 SI 및 제2 이미지 데이터의 명확한 에지로부터 생성될 수 있다. 여기로부터, 패키지(112-53)의 미등록 인스턴스에 대한 등록 가능한 SI, 2-D 측정, 및 무게와 CoM의 측정으로 구성된 등록 레코드(172)의 새로운 인스턴스가 이제 도 1b의 RDS(170)에 저장될 수 있다.
도 5는 도 1a의 로봇 시스템(100)을 동작시키기 위한 일 예시적인 방법에 대한 제어 흐름(200)을 도시한다. 제어 흐름(200)은 패키지 취급 동작 동안 패키지(112)의 미등록 인스턴스를 등록하는 것을 포함할 수 있으며, 여기서 도 1b의 PU(150)는 제어 흐름(200)에 구현된 모듈(예컨대, 회로, 기능, 컴퓨터/디바이스 실행 가능한 명령어 또는 이들의 조합)에 대응하는 명령어로 프로그래밍되거나 구성될 수 있다. 일부 실시형태에서, PU(150)는 도 1b의 로봇 암 시스템(130)에서 발견된 프로세서 또는 프로세서의 조합, 도 1b의 엔드 이펙터(140), 도 1b의 이미지 시스템(160), 도 1b의 RDS(170), 독립형 제어기, 및/또는 동작을 수행하기 위해 적합한 임의의 다른 시스템일 수 있다. 또한, PU(150)는 PU(130)의 양방향 데이터 통신 즉, 데이터의 수신 및 제공을 용이하게 하기 위해 하나 이상의 입력 인터페이스를 가지는 인쇄 회로 카드와 같지만, 이들로 제한되지 않은 모듈의 프로세서일 수 있다. 제어 흐름(200)에 구현된 다음 모듈의 달성을 위해 필요한 경우, 데이터의 수신은 데이터의 획득 및/또는 검색과 동의어이고/이거나 상호 교환 가능하며, 데이터의 제공은 데이터를 이용 가능하게 하거나 그의 제공과 동의어이고/이거나 상호 교환 가능하다.
로봇 시스템(100)은 캡처 모듈(202)을 포함할 수 있다. 캡처 모듈(202)은 SI를 제1 이미지 데이터로서 캡처한다. 예를 들면, 캡처 모듈(202)은 도 1b의 센서(들)(162)로 제1 이미지 데이터를 캡처할 수 있다. 더 구체적으로 일례로서, 캡처 모듈(202)은 이미지 시스템(160)으로부터 도 3b 및/또는 도 4b에 도시된 바와 같이 스택의 평면도에 대응하는 이미징 데이터를 캡처하고/하거나 수신하기 위해 이미지 시스템(160)을 동작시키고/시키거나 이미지 시스템(160)과 상호 작용할 수 있다. 캡처 모듈(202)은 도 1a의 패키지(112)의 상단 표면을 제1 이미지 데이터로서 캡처하기 위해 결과적인 이미징 데이터를 프로세싱할 수 있다. 일부 실시형태에서, 캡처 모듈(202)은 이미징 데이터를 분석하고 그 안의 패키지(112)의 에지 및/또는 표면을 식별하기 위해 하나 이상의 이미지 인식 알고리즘(예컨대, 상황별 이미지 분류, 패턴 인식 및/또는 에지 검출)을 이용할 수 있다. 프로세싱 결과(예컨대, 식별된 에지 및/또는 연속 표면)에 기초하여, 캡처 모듈(202)은 개별적인 패키지의 상단 표면을 표현하는 것으로서 이미징 데이터의 부분(예컨대, 픽셀 값 및/또는 깊이 판독치의 세트)을 식별할 수 있다. 캡처 모듈(202)은 개별적인 패키지 중 하나 이상의 상단 표면(들)에 대응하는 제1 이미지 데이터를 영역 모듈(204)로 송신할 수 있다.
로봇 시스템(100)은 캡처 모듈(202)에 결합될 수 있는 영역 모듈(204)을 포함할 수 있다. 영역 모듈(204)은 MVR을 산출한다. 예를 들면, 영역 모듈(204)은 도 1b의 패키지(112), 등록 레코드(172), 또는 이들의 조합에 기초하여 MVR을 산출할 수 있다.
일부 실시형태에서, 캡처 모듈(202)은 수신된 이미지 데이터(예컨대, 제1 이미지 데이터)를 등록 레코드(172)와 비교할 수 있다. 예를 들면, 캡처 모듈(202)은 제1 이미지 데이터 및/또는 이의 임의의 프로세싱 결과(예컨대, 이미지 데이터로부터 얻어진 치수/크기 추정치 및/또는 시각적 마킹)를 알려지거나 이전에 접한 패키지의 기존의 설명/템플릿과 비교할 수 있다. 비교에 기초하여, 영역 모듈(204)은 제1 이미지 데이터가 등록 레코드(172)에 저장된 바와 같이 알려진 또는 이전에 접한 패키지의 대응하는 정보와 매칭되는지의 여부를 결정할 수 있다.
영역 모듈(204)은 예를 들면, 패키지(112)가 등록 레코드(172)로서 등록되는지의 여부(예컨대, 제1 이미지 데이터와 등록 레코드(172)의 비교가 매치를 반환하는지의 여부)에 기초하여 MVR을 산출하는 것을 포함하는 다수의 방식으로 MVR을 산출할 수 있다. 더 구체적으로 일례로서, 제1 이미지 데이터가 등록 레코드(172) 중 하나와 매칭하면(예컨대, 패키지(112)가 등록 레코드(172) 중 하나 이상으로서 등록됨), 영역 모듈(204)은 MVR을 산출하는 것을 회피할 수 있다. 대조적으로, 영역 모듈(204)은 제1 이미지 데이터가 등록 레코드(172) 중 임의의 것과 매칭하지 않을 때 MVR을 산출할 수 있다. 예를 들면, 캡처된 제1 이미지 데이터는 패키지(112)의 미등록 인스턴스의 상단 표면을 표현할 수 있다. 패키지(112)가 등록되지 않기 때문에, 패키지(112)의 에지의 일부 인스턴스가 불명확할 수 있다. 더 구체적으로 일례로서, 도 4b의 미등록 패키지(112-31)는 도 4d의 불명확한 에지(112-31d)를 포함할 수 있다. 영역 모듈(204)은 명확하고/하거나 불명확한 에지의 세트를 식별할 수 있다. 일부 실시형태에서, 영역 모듈(204)은 명확한 에지(예컨대, 스택의 주변 에지를 형성하고/이와 일치하며 임의의 다른 패키지와 인접하지 않는 에지)를 식별하고 그들을 참조로서 사용할 수 있다. 그에 따라, 영역 모듈(204)은 (예컨대, 그리퍼 시스템(146)의 크기/특성에 따라) 상기 언급된 바와 같이 MVR을 결정하기 위해 명확한 에지를 사용할 수 있다. 영역 모듈(204)은 제1 이미지 데이터에서 캡처된 패키지(112)의 표면의 영역보다 작은 MVR을 결정할 수 있다.
특정 예에 대해, 패키지(112-31)의 제1 이미지 데이터는 도 4d의 2개의 명확한 에지(112-31b)를 포함할 수 있다. 영역 모듈(204)은 2개의 명확한 에지(112-31b) 및 2개의 불명확한 에지(112-31d)를 연장함으로써 패키지(112-31)의 표면 영역의 경계를 예측할 수 있어서 2개의 명확한 에지(112-31b)가 2개의 불명확한 에지(112-31d)와 교차하게 한다. 영역 모듈(204)은 MVR이 표면 영역의 경계보다 작게 되도록 결정함으로써 표면 영역의 경계에 기초하여 MVR을 산출할 수 있다. 일부 실시형태에서, 영역 모듈(204)은 제1 코너를 형성하기 위해 (예컨대, 이미지 데이터에 기초하여) 서로 교차하는 패키지 표면에 대해 한 쌍의 에지(예컨대, 명확하고/하거나 불명확한 에지)를 식별할 수 있다. 영역 모듈(204)은 예를 들면, 한 쌍의 에지에 수직이고 서로를 향하는 한 쌍의 라인의 연장을 통해 불명확한 에지를 추정함으로써 MVR을 결정하기 위해 한 쌍의 에지를 사용할 수 있다. 그에 따라, 영역 모듈(204)은 한 쌍의 불명확한/확장된 쌍 라인의 교차로서 대향 코너를 추정할 수 있다. 영역 모듈(204)은 그리퍼 시스템(146)의 하나 이상의 크기/특성에 대응하는 제1 쌍의 에지의 지점으로부터 불명확한/수직 라인을 연장할 수 있다.
또 다른 예에 대해, 패키지(112)의 SI에 나타나는 설계 및/또는 마킹은 직선을 포함할 수 있다. 직선은 패키지(112)의 표면의 에지로서 오인될 수 있다. 에지의 잠재적인 오인식을 감소시키기 위해, 영역 모듈(204)은 직선으로 표면의 일부를 제외하는 MVR을 산출할 수 있다. 더 구체적으로 일례로서, 영역 모듈(204)은 직선으로 구성된 표면 영역의 경계보다 작은 MVR을 산출할 수 있다.
상이한 예에 대해, 영역 모듈(204)은 패키지(112)의 위치에 기초하여 MVR을 산출할 수 있다. 예를 들면, 팔레트는 도 3a/도 4b에 도시된 바와 같이 도 1a의 팔레트화 해제 플랫폼(110)에 하나보다 많은 패키지(112)(등록되고/되거나 등록되지 않음)를 포함할 수 있다. 패키지의 그룹으로부터, 영역 모듈(204)은 패키지(112)의 또 다른 인스턴스에 대한 패키지(112)의 하나의 인스턴스의 위치에 기초하여 MVR을 산출할 수 있다. 논의된 바와 같이, 패키지(112)의 등록된 인스턴스의 모든 에지는 예를 들면, 패키지의 노출된 표면을 등록된 데이터와 긍정적으로 매칭시키고 등록된 데이터에 대응하는 이전에 저장된 크기/치수 측정치를 사용하는 것에 기초하여 알려질 수 있다.
대조적으로, 예를 들면, 패키지(112-52)가 미등록된 것으로 인해, 패키지(112)의 미등록 인스턴스에 대한 에지의 일부가 알려지지 않을 수 있다. 또한, 알려지지 않은 패키지(예컨대, 패키지(112-52))는 도 4b에 도시된 바와 같이 패키지(112-31, 112-32, 112-33, 112-43, 112-44, 112-51, 112-53 및/또는 112-54)와 같은 다른 패키지에 의해 둘러싸일 수 있다. (112-52)의 에지가 알려지지 않기 때문에, (112-52)의 SI는 다른 패키지(112)의 표면 이미지와 중첩할 수 있다.
일부 사례에서, 주변 패키지 중 하나 이상(예컨대, 패키지(112-32))은 또한, 등록 레코드(172)에 따라 등록되지 않고/매칭되지 않을 수 있으며, 이는 패키지(112-52)의 나머지/알려지지 않은 에지에 관한 또 다른 불확실성을 도입할 수 있다. 패키지(112-52)와 패키지(112-32) 사이에 확립된 명확한 경계 없이, 패키지(112-52)에 대한 SI 및 패키지(112-32)에 대한 SI가 서로 중첩할 수 있다.
대조적으로, 패키지(112-31)가 또한, 등록되지 않고/매칭되지 않을 수 있지만, 센서(162)는 팔레트화 해제 플랫폼(110) 및/또는 다른 패키지에 대한 패키지(112-31)의 고유한 위치/상태를 검출할 수 있다. 예를 들면, 영역 모듈(204)은 패키지(112-31)의 적어도 하나의 에지가 또 다른 패키지(112)에 인접하고/인접해 있지 않을 때 패키지(112-31)가 미리 결정된 위치/상태를 만족한다고 결정할 수 있다. 더 구체적으로 일례로서, 도 4b의 2개의 에지(112-31b) 및 도 4b의 코너(112-31c)는 제1 이미지에서 명확하게 보일 수 있고/있거나 주변/인접 수평 위치에서의 그것들과 상이한(예컨대, 위에 위치됨) 깊이 측정치(예컨대, 연속적인 표면에 대한)에 대응할 수 있다. 또한, 예를 들면, 영역 모듈(204)은 패키지(112-31) 및/또는 그의 외부 에지가 팔레트화 해제 플랫폼(110)의 코너 및/또는 외부 부분에 대응한다고 결정할 수 있다.
따라서, 영역 모듈(204)은 패키지(112)의 에지(들), 코너, 또는 이들의 조합의 가시성에 기초하여 패키지(112)의 미등록 인스턴스를 팔레트화 해제 플랫폼(110)의 외주에 또는 그 근처에 있는 것으로 결정할 수 있다. 일부 실시형태에서, 영역 모듈(204)은 하나 이상의 수평 방향을 따라 노출될(예컨대, 이전에 인접한 패키지의 제거와 같은 것으로 인해 다른 패키지에 인접하지 않음) 패키지(112)의 미등록 인스턴스를 더 결정할 수 있다. 영역 모듈(204)은 다른 미등록 패키지(예컨대, 스택/층의 수평 내부 부분에 위치된 미등록 패키지(112-52)(112))에 비해 노출되고/되거나 외부에 있는 패키지(112)의 미등록 인스턴스에 대한 MVR의 산출에 우선순위를 둘 수 있다.
일부 실시형태에서, 영역 모듈(204)은 더 적은 수의 이러한 에지를 갖는 패키지에 비해 명확하게 보이고/보이거나 노출되는 더 많은 수의 에지를 갖는 패키지에 대한 MVR의 산출에 우선순위를 둘 수 있다. 그에 따라, 로봇 시스템(100)은 또 다른 패키지(112)와 중첩하는 SI로 패키지를 잡을 위험을 감소시키고 대응하는 잡음/리프팅 실패를 감소시킬 수 있다. 도 4b에 도시된 예에 대해, 영역 모듈(204)은 패키지(112-32, 112-54, 112-52) 전의 패키지(112-31, 112-53 및/또는 112-44)에 대한 MVR을 결정할 수 있다. 영역 모듈(204)은 MVR을 리프트 모듈(206)로 송신할 수 있다.
영역 모듈(204)은 2개의 불명확한 코너에 기초하여 MVR을 산출할 수 있다. 더 구체적으로 일례로서, 2개의 불명확한 코너는 적어도 3개의 불명확한 에지, 2개의 명확한 에지 및 하나의 불명확한 에지, 또는 2개의 불명확한 에지 및 하나의 명확한 에지의 조합으로 구성될 수 있다. 상기 논의된 바와 같이, 영역 모듈(204)은 코너를 생성하기 위해 다른 에지와 교차하도록 각각의 에지를 연장함으로써 패키지(112)의 표면의 경계를 예측할 수 있다. 영역 모듈(204)은 MVR이 2개의 불명확한 코너에 의해 생성된 경계보다 작게 되도록 결정함으로써 3개의 에지/2개의 코너에 의해 생성된 표면 영역의 경계에 기초하여 MVR을 산출할 수 있다.
MVR을 동적으로 및 실시간으로 산출하는 로봇 시스템(100)은 패키지(112)의 미등록 인스턴스를 잡을 때 개선된 정확도 및 성능을 제공한다. MVR을 산출함으로써, 로봇 시스템(100)은 패키지(112)의 표면 영역(예컨대, 대응하는 에지/경계)을 추정할 수 있고 여기서, 도 4h의 그리퍼 시스템(146)은 패키지(112)를 안전하게 잡는다. 결과적으로, 로봇 시스템(100)은 패키지(112)를 팔레트화 해제하기 위한 작업흐름의 성능을 개선하기 위해 작업흐름을 중단하지 않고 로봇 시스템(100)에 미등록 패키지(112)를 운반할 수 있다.
로봇 시스템(100)은 영역 모듈(204)에 결합될 수 있는 리프트 모듈(206)을 포함할 수 있다. 리프트 모듈(206)은 (예컨대, 통신 및/또는 실행을 통해) 도 1a의 로봇 암(132)이 패키지(112)를 리프팅하기 위한 명령을 구현한다. 예를 들면, 리프트 모듈(206)은 상기 논의된 바와 같이 리프트 체크 거리에 대해 패키지(112)의 미등록 인스턴스를 리프팅하기 위해 로봇 암(132)을 동작시킬 수 있다. 더 구체적으로 일례로서, 로봇 암(132)은 그리퍼 시스템(146)으로 패키지(112)의 MVR 내에서 잡음으로써 패키지(112)를 리프팅될 수 있으며, 여기서 불명확한 에지 중 적어도 하나는 센서(162)에 보인다. 즉, 등록되지 않고/식별되지 않은 패키지에 대해, 리프트 모듈(206)은 그리퍼 시스템(146)을 바로 MVR에/위에/와 접촉하도록 배치하기 위해 로봇 암(132)을 동작시킬 수 있다. 결과적으로, 리프트 모듈(206)은 그리퍼 시스템(146)에 의해 커버되지 않고 센서(162)에 의해 노출되고/뷰잉 가능한 하나 이상의 불명확한 에지를 남겨두면서 대응하는 패키지를 잡고 리프팅될 수 있다.
리프트 모듈(206)은 다수의 방식으로 동작할 수 있다. 예를 들면, 리프트 모듈(206)은 로봇 암(132)이 불명확한 에지가 센서(162)에 보이는 MVR 내의 패키지(112)를 잡기 위한 리프트 명령을 실행할 수 있다. 특정 예에서, 도 4d에 도시된 바와 같이, 로봇 암(132)은 도 4d의 (112-44f) 내의 도 4d의 패키지(112-44)를 리프팅될 수 있다. 패키지(112-44)의 SI는 2개의 명확한 에지(112-44b) 및 코너(112-44c)를 포함할 수 있다. 패키지(112-44)의 SI는 또한, 2개의 불명확한 에지(112-44d)를 포함할 수 있다. 도 4h에 도시된 바와 같이, 로봇 암(132)은 2개의 불명확한 에지(112-44b)가 센서(162)에 보이는 패키지(112-44)를 잡음으로써 패키지(112-44)를 리프팅될 수 있다. MVR을 활용하지 않고, 그리퍼 시스템(146)은 에지를 센서(162)에 의해 검출 가능한 것으로부터 차단하는 위치에서 패키지를 잡을 수 있다.
상이한 예에 대해, 리프트 모듈(206)은 패키지(112)의 무게를 결정할 수 있다. 더 구체적으로 일례로서, 리프트 모듈(206)은 도 1b의 F-T 센서(142)를 사용하여 패키지(112)의 미등록 인스턴스의 무게를 결정할 수 있다. 리프트 모듈(206)은 패키지(112)의 무게를 등록 모듈(212)로 송신할 수 있다.
일부 실시형태에서, 캡처 모듈(202)은 리프팅 후에 그리고/또는 그것이 제2 이미지 데이터로서 MVR에서의 파지에 의해 리프팅되고 있을 때 패키지(112)의 미등록 인스턴스의 SI를 더 캡처할 수 있다. 더 구체적으로 일례로서, 캡처 모듈(202)은 도 4h의 이제 보이는 2개의 명확한 에지(112-44g)를 포함하기 위해 리프트 체크 거리에 대해 리프팅된 패키지(112)에 기초하여 제2 이미지 데이터를 캡처할 수 있다. 즉, 리프트 모듈(206)은 패키지(112)를 리프팅으로써 초기 불명확한 에지의 가시성 및/또는 선명도를 개선할 수 있다. 그에 따라, 캡처 모듈(202)은 이전에 명확하지 않은 에지를 명확하게 식별하고/보여주는 제2 이미지 데이터(예컨대, 리프팅된 상태/위치의 패키지(112)에 대한)를 캡처할 수 있다. 캡처 모듈(202)은 제2 이미지 데이터를 추출 모듈(208)로 송신할 수 있다.
로봇 시스템(100)은 리프트 모듈(206)에 결합될 수 있는 추출 모듈(208)을 포함할 수 있다. 추출 모듈(208)은 제3 이미지 데이터를 추출한다. 예를 들면, 추출 모듈(208)은 제1 이미지 데이터, 제2 이미지 데이터, 또는 이들의 조합에 기초하여 제3 이미지 데이터를 추출할 수 있다.
추출 모듈(208)은 다수의 방식으로 제3 이미지 데이터를 추출할 수 있다. 예를 들면, 추출 모듈(208)은 제1 이미지 데이터와 제2 이미지 데이터를 비교한 것에 기초하여 이미지 차를 결정할 수 있다. 이미지 차는 패키지(112)의 미등록 인스턴스의 동일한 인스턴스의 제1 이미지 데이터와 제2 이미지 데이터 사이의 차를 표현할 수 있다.
더 구체적으로 일례로서, 제1 이미지 데이터는 패키지(112)의 설계 및/또는 마킹을 갖는 SI를 포함할 수 있다. 그러나, 패키지(112)가 등록되지 않기 때문에, 패키지(112)의 에지는 명확하지 않거나 명확하게 결정되지 않을 수 있다. 따라서, 제1 이미지 데이터는 에지가 명확하지 않거나 또 다른 패키지(112)의 SI와 중첩되는 패키지(112)의 SI를 포함할 수 있다. 또 다른 예에 대해, 제2 이미지 데이터는 리프트 체크 거리에 대해 리프팅된 후에 패키지(112)의 SI를 포함할 수 있다. 더 구체적으로 일례로서, 제2 이미지 데이터는 패키지(112)가 리프팅된 후에 이전에 불명확한 에지(예컨대, 에지(112-44b))가 명확한 에지(예컨대, 에지(112-44g))가 되는 패키지(112)의 SI를 포함할 수 있다. 패키지(112)가 다른 인접한 패키지(112)로부터 분리되기 때문에(예컨대, 더 높은 높이로) 패키지(112)가 리프팅된 후에 불명확한 에지는 명확한 에지가 될 수 있다. 센서(162)는 리프팅되는 패키지(112)와 인접한 패키지(112) 사이의 거리 또는 깊이가 센서(162)와 상이할 수 있기 때문에 상이한 패키지(112) 사이를 구별할 수 있다.
추출 모듈(208)은 제1 이미지 데이터와 제2 이미지 데이터 사이의 이미지 차를 조합한 것에 기초하여 제3 이미지 데이터를 추출할 수 있다. 예를 들면, 패키지(112-44)의 제1 이미지 데이터는 설계 및/또는 마킹, 2개의 명확한 에지(112-44b), 코너(112-44c), 또는 이들의 조합을 포함할 수 있다. 또 다른 예에 대해, 패키지(112-44)의 제2 이미지 데이터는 2개의 명확한 에지(112-44g)를 포함할 수 있다. 추출 모듈(208)은 설계 및/또는 마킹, 2개의 명확한 에지(112-44b), 코너(112-44c), 2개의 명확한 에지(112-44g), 또는 이들의 조합을 포함함으로써 패키지(112-44)의 제3 이미지 데이터를 추출할 수 있다.
또 다른 예에 대해, 추출 모듈(208)은 제3 이미지 데이터에 기초하여 패키지(112)의 길이, 폭, 또는 이들의 조합을 결정할 수 있다. 더 구체적으로 일례로서, 명확한 에지에 기초하여, 추출 모듈(208)은 길이, 폭, 또는 이들의 조합을 포함하는 치수를 결정할 수 있다. 추출 모듈(208)은 제3 이미지 데이터, 길이, 폭, 또는 이들의 조합을 등록 모듈(212)로 송신할 수 있다.
제3 이미지 데이터의 동적 및 실시간 추출은 패키지(112)의 미등록 인스턴스를 식별하고 잡기 위해 로봇 시스템(100)의 개선된 성능 및 정확성을 제공한다. 제3 이미지 데이터를 추출함으로써, 로봇 시스템(100)은 또 다른 패키지(112)와 구별하기 위해 패키지(112)의 에지를 식별할 수 있다. 패키지(112)의 경계/에지를 명확하게 식별함으로써, 로봇 시스템(100)은 패키지(112)를 안전하게 잡고 운반하기 위해 패키지(112)에 그리퍼 시스템(146)을 효율적으로 배치할 수 있다. 결과적으로, 로봇 시스템(100)은 패키지(112)를 팔레트화 해제하기 위한 작업흐름의 성능을 개선하기 위해 미등록 패키지(112)를 로봇 시스템(100)으로 계속 운반할 수 있다.
예시의 목적을 위해, 리프트 모듈(206)은 패키지(112)를 리프팅하는 명령을 실행하도록 설명되지만 리프트 모듈(206)은 상이하게 동작할 수 있다. 예를 들면, 리프트 모듈(206)은 패키지(112)를 리프팅한 것에 기초하여 CoM을 결정할 수 있다. 더 구체적으로 일례로서, 리프트 모듈(206)은 패키지(112)가 그리퍼 시스템(146)에 의해 잡혀지고 리프팅되는 MVR 내의 위치가 패키지(112)의 CoM 위에 있는지의 여부를 결정할 수 있다. 또 다른 예에 대해, 리프트 모듈(206)은 CoM이 MVR로서 표현된 xy축 내에 있는지의 여부를 결정할 수 있다.
리프트 모듈(206)은 다수의 방식으로 CoM을 결정할 수 있다. 예를 들면, 리프트 모듈(206)은 상기 설명된 바와 같이 F-T 센서(142)로 CoM을 결정할 수 있다. 또 다른 예에 대해, 리프트 모듈(206)은 CoM이 F-T 센서(142), CoM 알고리즘, 또는 이들의 조합으로 MVR로서 표현된 표면 영역 아래에 있는지의 여부를 결정할 수 있다.
F-T 센서(142) 및 CoM 알고리즘을 사용하여, 리프트 모듈(206)은 또한, MVR 내의 위치/부분이 패키지(112)가 CoM과 일치하거나 이를 포함하는 그리퍼에 의해 접촉하거나 커버되는지의 여부를 결정할 수 있다. 또 다른 예에 대해, 리프트 모듈(206)은 원래의 파지 위치가 패키지(112)의 CoM 위에 있지 않은 경우 그리퍼 시스템(146)이 패키지(112)를 잡기 위한 MVR 내의 새로운 위치를 결정할 수 있다. 더 구체적으로 일례로서, 리프트 모듈(206)은 상기 논의된 CoM 알고리즘을 사용하여 잡혀진 원래 위치에 대해 잡을 새로운 위치가 CoM 위에 있다고 결정할 수 있다. 예를 들면, 리프트 모듈(206)은 측정된 토크 및/또는 이의 방향에 기초하여 벡터 방향을 산출할 수 있다. 토크에 기초하여, 리프트 모듈(206)은 F-T 센서(142) 및/또는 그리퍼 시스템(146)에 대한 하향 힘의 위치/방향을 추정할 수 있다. 또한, 리프트 모듈(206)은 측정된 토크의 크기, 리프팅된 패키지(112)의 측정된 무게, 파지 위치와 패키지 경계/에지 사이의 관계, 또는 이들의 조합에 기초하여 거리를 산출할 수 있다. 리프트 모듈(206)은 잡을 새로운 위치(예컨대, 벡터 방향 및 거리)가 MVR 내에 있는지 확인할 수 있다. 새로운 위치가 CoM 위에 있으면, 리프트 모듈(206)은 패키지(112)의 CoM이 적절하게 결정되는지를 검증할 수 있다.
리프트 모듈(206)이 잡혀진 MVR 내의 위치가 CoM이 아니라고 결정하면, 리프트 모듈(206)은 패키지(112)를 그리퍼 시스템(146)이 패키지(112)를 리프팅한 곳으로 떨어뜨리거나 내리라는 명령을 실행할 수 있다. 또한, 리프트 모듈(206)은 그리퍼 시스템(146)이 MVR 내의 새로운 위치에서 패키지(112)를 잡기 위한(예컨대, 패키지(112)를 내리고 해제하고, 그리퍼 시스템(146)을 재배치하며 그 다음, 패키지(112)를 다시 잡음으로써) 및 로봇 암(132)이 리프트 체크 거리에 대해 패키지(112)를 리프팅하기 위한 명령을 실행할 수 있다. 부가적인 예에 대해, 그리퍼 시스템(146)은 센서(162)가 패키지(112)의 불명확한 에지를 검출하는 것을 차단하지 않고 MVR 내의 새로운 위치에서 잡을 수 있다. 리프트 모듈(206)은 등록 모듈(212)을 송신할 수 있다.
패키지(112)의 CoM을 동적으로 및 실시간으로 결정하는 로봇 시스템(100)은 패키지(112)의 미등록 인스턴스를 운반하는 로봇 시스템(100)의 개선된 성능을 제공한다. 등록되지 않고/인식되지 않은 패키지의 CoM을 정확하게 식별함으로써, 패키지(112)를 잡는 그리퍼 시스템(146)의 안정성이 개선된다. 결과적으로, 로봇 시스템(100)은 패키지(112)를 팔레트화 해제하기 위한 작업흐름의 성능을 개선하기 위해 미등록 패키지(112)를 로봇 시스템(100)으로 계속 운반할 수 있다.
예시의 목적을 위해, 캡처 모듈(202)은 제1 이미지 데이터, 제2 이미지 데이터, 또는 이들의 조합을 캡처하도록 설명되지만 캡처 모듈(202)은 상이하게 동작할 수 있다. 예를 들면, 캡처 모듈(202)은 상기 논의된 바와 같이 CoM이 정확하게 결정된 후에 패키지(112)의 SI를 표현한 다시 잡혀진 이미지 데이터를 캡처할 수 있다. 더 구체적으로 일례로서, 로봇 암(132)은 그리퍼 시스템(146)이 MVR 내의 새로운 위치에서 패키지(112)를 잡은 후에 패키지(112)를 리프팅될 수 있다. 캡처 모듈(202)은 MVR 내의 그리고 CoM 위의 새로운 위치에서 잡혀진 패키지(112)의 SI를 표현하는 다시 잡혀진 이미지 데이터를 캡처할 수 있다. 캡처 모듈(202)은 다시 잡혀진 이미지 데이터를 추출 모듈(208)로 송신할 수 있다.
예시의 목적을 위해, 추출 모듈(208)은 제1 이미지 데이터, 제2 이미지 데이터, 또는 이들의 조합에 기초하여 제3 이미지 데이터를 추출하는 것으로 설명되지만 추출 모듈(208)은 상이하게 동작할 수 있다. 예를 들면, 추출 모듈(208)은 제1 이미지 데이터, 제2 이미지 데이터, 또는 이들의 조합에 기초하여 제3 이미지 데이터를 추출하는 추출 모듈(208)에 대해 상기 설명된 바와 유사하게 제1 이미지 데이터, 다시 잡혀진 이미지 데이터, 또는 이들의 조합에 기초하여 제3 이미지 데이터를 추출할 수 있다. 추출 모듈(208)은 상기 논의된 바와 같이 패키지(112)의 길이, 폭, 또는 이들의 조합을 포함하는 치수를 결정할 수 있다. 추출 모듈(208)은 제3 이미지 데이터, 길이, 폭, 또는 이들의 조합을 등록 모듈(212)로 송신할 수 있다.
로봇 시스템(100)은 추출 모듈(208)에 결합될 수 있는 운반 모듈(210)을 포함할 수 있다. 운반 모듈(210)은 패키지(112)를 도 1a의 수용 플랫폼(120)으로 운반하기 위한 명령을 실행한다. 예를 들면, 운반 모듈(210)은 로봇 암(132)이 패키지(112)의 등록되거나 미등록 인스턴스를 수용 플랫폼(120)으로 운반하기 위한 명령을 실행할 수 있다.
운반 모듈(210)은 다수의 방식으로 명령을 실행할 수 있다. 예를 들면, 운반 모듈(210)은 패키지(112)의 등록 상태에 기초하여 패키지(112)를 운반하기 위한 명령을 실행할 수 있다. 더 구체적으로 일례로서, 패키지(112)에 대한 등록 레코드(172)가 존재하는 경우, 운반 모듈(210)은 패키지(112)의 등록된 인스턴스를 잡는 로봇 암(132)이 수용 플랫폼(120)에 배치하기 위한 패키지(112)를 운반하기 위한 명령을 실행할 수 있다.
상이한 예에 대해, 등록 레코드(172)가 존재하지 않는 경우, 상기 논의된 바와 같이 패키지(112)의 제3 이미지 데이터가 추출될 것이다. 게다가, 운반 모듈(210)은 패키지(112)의 미등록 인스턴스를 잡는 로봇 암(132)이 패키지(112)를 수용 플랫폼(120)에 운반하기 위한 명령을 실행할 수 있다. 또 다른 예에 대해, 로봇 암(132)이 패키지(112)를 수용 플랫폼(120)으로 내릴 때, 패키지(112)의 하단 범위는 도 1a의 HDS(180)를 트리거링할 수 있다.
바닥에 대한 HDS(180)의 높이는 수용 플랫폼(120)의 높이가 미리 정의될 수 있기 때문에 미리 정의될 수 있다. 운반 모듈(210)은 패키지(112)의 하단이 HDS(180)를 가로지르는 시간 및 그리퍼 시스템(146)의 높이에 기초하여 패키지(112)의 높이를 결정할 수 있다. 더 구체적으로 일례로서, 운반 모듈(210)은 신호(즉, HDS(180)를 가로지르는 패키지(112)를 나타냄)가 수신될 때 그리퍼 시스템(146)의 위치 또는 높이와 HDS(180)의 미리 정의된 높이 사이의 거리/차에 기초하여 패키지(112)의 높이를 결정할 수 있다. 운반 모듈(210)은 패키지(112)의 높이를 등록 모듈(212)로 송신할 수 있다.
패키지(112)의 미등록 인스턴스의 높이를 동적으로 및 실시간으로 결정하는 로봇 시스템(100)은 패키지(112)를 팔레트화 해제하는 로봇 시스템(100)의 개선된 성능을 제공한다. 등록되지 않고/인식되지 않은 패키지의 높이를 결정함으로써, 로봇 시스템(100)은 패키지를 안전하게 잡기 위해 패키지(112)의 속성을 정확하게 식별할 수 있다. 결과적으로, 로봇 시스템(100)은 패키지(112)를 팔레트화 해제하기 위한 작업흐름의 성능을 개선하기 위해 동일한 유형의 패키지(112)를 지속적으로 운반할 수 있다.
로봇 시스템(100)은 운반 모듈(210)에 결합될 수 있는 등록 모듈(212)을 포함할 수 있다. 등록 모듈(212)은 패키지(112)의 속성을 등록한다. 예를 들면, 등록 모듈(212)은 (예컨대, 결부시키거나 저장함으로써) 패키지(112)의 미등록 인스턴스의 제3 이미지 데이터, 길이, 폭, 높이, 무게, CoM, 또는 이들의 조합을 등록할 수 있다. 더 구체적으로 일례로서, 등록 모듈(212)은 패키지(112)의 미등록 인스턴스를 패키지(112)의 등록된 인스턴스로 변환하기 위해 등록 레코드(172)를 생성할 수 있다.
상기 설명된 방법의 단계가 컴퓨터 명령어 부호로서 비일시적 컴퓨터 판독 가능한 매체에 저장된 컴퓨터 판독 가능한 매체에 구현될 수 있다는 점에 유의해야 한다. 방법은 본 명세서에서 설명된 단계 중 하나 이상을 포함할 수 있으며, 하나 이상의 단계는 서로 동시에 수행되는 것을 포함하는 임의의 원하는 순서로 수행될 수 있다. 예를 들면, 본 명세서에 개시된 단계 중 2개 이상은 단일 단계로 조합될 수 있고/있거나 단계 중 하나 이상은 2개 이상의 서브 단계로서 수행될 수 있다. 게다가, 본 명세서에 본질적으로 존재하거나 명시적으로 개시되지 않는 단계에는 본 명세서에서 설명된 단계가 배치되거나 상기 개시되지 않는 단계는 본 명세서에서 설명된 단계에 부가될 수 있거나, 본 발명의 이득을 가지는 당업자에 의해 인식될 바와 같이 본 명세서에서 설명된 단계 중 하나 이상으로 대체될 수 있다.
개시된 기술의 예의 상기 상세한 설명은 포괄적이거나 개시된 기술을 상기 개시된 정확한 형태로 제한하도록 의도되지 않는다. 개시된 기술에 대한 특정 예가 예시의 목적을 위해 상기 설명되지만, 당업자가 인식할 바와 같이, 개시된 기술의 범위 내에서 다양한 등가의 수정이 가능하다. 예를 들면, 프로세스 또는 모듈이 주어진 순서로 제공되지만, 대안적인 구현은 단계를 가지는 루틴을 수행하거나, 상이한 순서로 모듈을 가지는 시스템을 이용할 수 있으며, 일부 프로세스 또는 모듈은 대안적이거나 서브 조합을 제공하기 위해 삭제, 이동, 부가, 세분화, 조합 및/또는 수정될 수 있다. 이 프로세스 또는 모듈의 각각은 다양한 상이한 방식으로 구현될 수 있다. 또한, 프로세스 또는 모듈이 때때로 연속하여 수행되는 것으로서 도시되지만, 이 프로세스 또는 모듈은 대신에 병행하여 수행되거나 구현될 수 있거나, 상이한 시간에 수행될 수 있다. 게다가, 본 명세서에서 언급된 임의의 특정 번호는 단지 예이고; 대안적인 구현은 다른 값 또는 범위를 이용할 수 있다.
본 명세서에서 사용된 바와 같이, 용어 "실시형태"는 제한이 아닌 예로서 도시하는 역할을 하는 일 실시형태를 의미한다. 이전 예 및 실시형태가 예시적이며 본 명세서에 개시된 독창적인 개념의 넓은 범위로 제한하지 않는다는 것이 당업자에게 인식될 것이다. 명세서의 판독 및 도면의 연구 시에 당업자에게 명백한 모든 수정, 순열, 향상, 등가물, 및 그에 대한 개선이 본 명세서에 개시된 독창적인 개념의 넓은 범위 내에 포함되도록 의도된다. 따라서, 다음의 첨부된 청구항이 본 명세서에 개시된 독창적인 개념의 넓은 범위에 있는 모든 이러한 수정, 순열, 향상, 등가물, 및 개선을 포함하는 것으로 의도된다.
실시예
일부 실시형태에서, 로봇 패키지 취급 동작 동안 패키지를 등록하기 위한 방법은 패키지 표면의 제1 표면 이미지를 나타내는 제1 이미지 데이터를 수신하는 단계; 제1 이미지에 기초하여 패키지 표면에 대한 한 쌍의 교차 에지를 식별하는 단계; 한 쌍의 에지에 기초하여 최소 실행 가능한 영역을 결정하는 단계로서, 최소 실행 가능한 영역은 패키지를 잡고 리프팅하기 위한 것인, 상기 최소 실행 가능한 영역을 결정하는 단계; 리프팅 후에 패키지를 나타내는 제2 이미지 데이터를 수신하는 단계; 및 제3 이미지 데이터에 기초하여 등록 데이터를 생성하는 단계를 포함한다. 예를 들면, 방법은, 제1 표면 이미지를 등록 레코드와 비교한 것에 기초하여 패키지가 등록되지 않은 것으로 결정하는 단계; 제1 이미지 데이터에 기초하여 패키지 표면에 대한 한 쌍의 에지를 식별하는 단계로서, 한 쌍의 에지는 패키지 표면의 코너를 형성하기 위해 수평 방향을 따라 노출되고 서로 교차하는, 상기 한 쌍의 에지를 식별하는 단계; 한 쌍의 에지에 기초하여 최소 실행 가능한 영역을 결정하는 단계로서, 최소 실행 가능한 영역은 한 쌍의 에지 중 하나 또는 둘 모두와 중첩하고/하거나 일치하는, 상기 최소 실행 가능한 영역을 결정하는 단계; (1) 최소 실행 가능한 영역 위에 배치된 엔드 이펙터로 패키지를 잡고 (2) 패키지를 리프팅하기 위한 하나 이상의 명령을 생성하는 단계; 리프팅 후에 패키지를 나타내는 제2 이미지 데이터를 수신하는 단계; 제1 이미지 데이터 및 제2 이미지 데이터의 함수로서 제3 이미지 데이터를 결정하는 단계; 및 후속적으로 다른 패키지를 식별하기 위해 제3 이미지 데이터에 기초하여 패키지의 새로운 등록 레코드를 나타내는 등록 데이터를 생성하는 단계를 포함할 수 있다.
또한, 방법은 제1 이미지 데이터에 기초하여 불명확한 에지를 추정하는 단계로서, 한 쌍의 에지 및 불명확한 에지는 패키지 표면의 경계에 대응하는, 상기 불명확한 에지를 추정하는 단계를 포함할 수 있고; 최소 실행 가능한 영역은 추정된 불명확한 에지에 대응하는 패키지의 노출된 부분을 남기면서 패키지를 잡기 위한 불명확한 에지와 중첩하지 않는다. 하나 이상의 실시형태에서, 방법은 제2 이미지 데이터에 기초하여 하나 이상의 새로운 에지를 식별하는 단계를 포함할 수 있고, 새로운 에지는 추정된 불명확한 에지에 대응하는 패키지의 실제 노출된 에지를 표현하며; 제3 이미지 데이터는 하나 이상의 새로운 에지를 포함한다. 하나 이상의 실시형태에서, 하나 이상의 새로운 에지를 식별하는 단계는 패키지를 리프팅한 후에 측정된 깊이 데이터의 차에 기초하여 하나 이상의 새로운 에지를 식별하는 단계를 포함한다.
일부 실시형태에서, 제3 이미지 데이터의 결정은 제1 이미지 데이터와 제2 이미지 데이터 사이의 차를 산출하는 단계; 및 제1 이미지 데이터를 산출된 차와 조합하는 단계를 포함할 수 있다. 또한, 방법은 제1 이미지 데이터에 기초하여 직선을 식별하는 단계를 포함할 수 있고; 최소 실행 가능한 영역은 직선을 제외하는 연속 영역이다. 하나 이상의 실시형태에서, 방법은 수직 방향을 따라 패키지의 치수를 표현하는 높이를 산출하는 단계를 포함할 수 있고; 등록 데이터는 산출된 높이를 포함한다. 높이를 산출하는 단계는 패키지가 알려진 높이에 위치된 높이 결정 센서와 연관된 수평 검출 평면을 가로지르는 타이밍을 표현하는 트리거(trigger)를 검출하는 단계; 트리거와 연관된 수직 위치를 결정하는 단계로서, 수직 위치는 패키지가 수평 검출 평면을 가로지르는 타이밍에서 엔드 이펙터의 수직 위치를 표현하는, 상기 수직 위치를 결정하는 단계; 및 알려진 높이와 수직 위치 사이의 차에 기초하여 높이를 산출하는 단계를 포함할 수 있다.
일부 실시형태에서, 예를 들면, 방법은 패키지를 리프팅한 후에 데이터를 수신하는 단계로서, 데이터는 엔드 이펙터에 연결되거나 이와 일체형인 F-T 센서로부터의 힘 측정을 표현하는, 상기 데이터를 수신하는 단계; 수신된 데이터에 기초하여 패키지의 무게를 결정하는 단계를 포함할 수 있고; 등록 데이터는 결정된 무게를 포함한다. 또한, 방법은 패키지를 리프팅한 후에 데이터를 수신하는 단계로서, 데이터는 엔드 이펙터에 연결되거나 이와 일체형인 F-T 센서로부터의 토크 측정을 표현하는, 상기 데이터를 수신하는 단계; 수신된 데이터에 기초하여 패키지의 질량 중심 위치를 결정하는 단계를 포함할 수 있고; 등록 데이터는 질량 중심 위치를 포함한다.
일부 실시형태에서, 로봇 패키지 취급 동작 동안 미등록 패키지를 등록하기 위한 시스템은 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 결합된 적어도 하나의 메모리를 포함한다. 메모리는 방법의 하나 이상의 양태 또는 상기 설명된 임의의 다른 양태를 수행하기 위해 적어도 하나의 프로세서에 의해 실행 가능한 명령어를 포함할 수 있다. 예를 들면, 메모리는 패키지 표면의 제1 표면 이미지를 나타내는 제1 이미지 데이터를 수신하고; 제1 표면 이미지를 등록 레코드와 비교한 것에 기초하여 패키지가 등록되지 않은 것으로 결정하고; 제1 이미지 데이터에 기초하여 패키지 표면에 대한 한 쌍의 에지를 식별하는 것으로서, 한 쌍의 에지는 패키지 표면의 코너를 형성하기 위해 수평 방향을 따라 노출되고 서로 교차하는, 상기 한 쌍의 에지를 식별하고; 한 쌍의 에지에 기초하여 최소 실행 가능한 영역을 결정하는 것으로서, 최소 실행 가능한 영역은 한 쌍의 에지 중 하나 또는 둘 모두와 중첩하고/하거나 일치하는, 상기 최소 실행 가능한 영역을 결정하고; (1) 최소 실행 가능한 영역 위에 배치된 엔드 이펙터로 패키지를 잡고 (2) 패키지를 리프팅하기 위한 하나 이상의 명령을 생성하고; 패키지의 제2 이미지 데이터를 수신하는 것으로서, 제2 이미지 데이터는 리프팅 후에 패키지를 표현하는, 상기 패키지의 제2 이미지 데이터를 수신하고; 제1 이미지 데이터 및 제2 이미지 데이터의 함수로서 제3 이미지 데이터를 결정하며; 후속적으로 다른 패키지를 식별하기 위해 제3 이미지 데이터에 기초하여 패키지의 새로운 등록 레코드를 나타내는 등록 데이터를 생성하기 위해 적어도 하나의 프로세서에 의해 실행 가능한 명령어를 포함할 수 있다.
일부 실시형태에서, 비일시적 메모리 매체는 컴퓨팅 시스템에 의해 실행될 때, 컴퓨팅 시스템으로 하여금 상기 설명된 방법 또는 임의의 다른 양태를 수행하게 하는 컴퓨터 실행 가능한 명령어를 포함한다. 예를 들면, 명령어는 패키지 표면의 제1 표면 이미지를 나타내는 제1 이미지 데이터를 수신하기 위한 명령어; 제1 표면 이미지를 등록 레코드와 비교한 것에 기초하여 패키지가 등록되지 않은 것으로 결정하기 위한 명령어; 제1 이미지 데이터에 기초하여 패키지 표면에 대한 한 쌍의 에지를 식별하기 위한 명령어로서, 한 쌍의 에지는 패키지 표면의 코너를 형성하기 위해 수평 방향을 따라 노출되고 서로 교차하는, 상기 한 쌍의 에지를 식별하기 위한 명령어; 한 쌍의 에지에 기초하여 최소 실행 가능한 영역을 결정하기 위한 명령어로서, 최소 실행 가능한 영역은 한 쌍의 에지 중 하나 또는 둘 모두와 중첩하고/하거나 일치하는, 상기 최소 실행 가능한 영역을 결정하기 위한 명령어; (1) 최소 실행 가능한 영역 위에 배치된 엔드 이펙터로 패키지를 잡고 (2) 패키지를 리프팅하기 위한 하나 이상의 명령을 생성하기 위한 명령어; 패키지의 제2 이미지 데이터를 수신하기 위한 명령어로서, 제2 이미지 데이터는 리프팅 후에 패키지를 표현하는, 상기 패키지의 제2 이미지 데이터를 수신하기 위한 명령어; 제1 이미지 데이터 및 제2 이미지 데이터의 함수로서 제3 이미지 데이터를 결정하기 위한 명령어; 및 후속적으로 다른 패키지를 식별하기 위해 제3 이미지 데이터에 기초하여 패키지의 새로운 등록 레코드를 나타내는 등록 데이터를 생성하기 위한 명령어를 포함할 수 있다.

Claims (15)

  1. 로봇 패키지 취급 동작 동안 패키지를 등록하기 위한 방법으로서,
    패키지 표면의 제1 표면 이미지를 나타내는 제1 이미지 데이터를 수신하는 단계;
    상기 제1 표면 이미지를 등록 레코드와 비교한 것에 기초하여 상기 패키지가 등록되지 않은 것으로 결정하는 단계;
    상기 제1 이미지 데이터에 기초하여 상기 패키지 표면에 대한 한 쌍의 에지를 식별하는 단계로서, 상기 한 쌍의 에지는 상기 패키지 표면의 코너를 형성하기 위해 수평 방향을 따라 노출되고 서로 교차하는, 상기 한 쌍의 에지를 식별하는 단계;
    상기 한 쌍의 에지에 기초하여 최소 실행 가능한 영역을 결정하는 단계로서, 상기 최소 실행 가능한 영역은 상기 한 쌍의 에지 중 하나 또는 둘 모두와 중첩하거나 일치하는, 상기 최소 실행 가능한 영역을 결정하는 단계;
    (1) 상기 최소 실행 가능한 영역 위에 배치된 엔드 이펙터(end effector)로 상기 패키지를 잡고(gripping) (2) 상기 패키지를 리프팅(lifting)하기 위한 하나 이상의 명령을 생성하는 단계;
    상기 리프팅 후에 상기 패키지를 나타내는 제2 이미지 데이터를 수신하는 단계;
    상기 제1 이미지 데이터 및 상기 제2 이미지 데이터의 함수로서 제3 이미지 데이터를 결정하는 단계; 및
    후속적으로 다른 패키지를 식별하기 위해 상기 제3 이미지 데이터에 기초하여 상기 패키지의 새로운 등록 레코드를 나타내는 등록 데이터를 생성하는 단계
    를 포함하는, 로봇 패키지 취급 동작 동안 패키지를 등록하기 위한 방법.
  2. 제1항에 있어서,
    상기 제1 이미지 데이터에 기초하여 불명확한 에지를 추정하는 단계를 더 포함하되, 상기 한 쌍의 에지 및 상기 불명확한 에지는 상기 패키지 표면의 경계에 대응하고;
    상기 최소 실행 가능한 영역은 상기 추정된 불명확한 에지에 대응하는 상기 패키지의 노출된 부분을 남기면서 상기 패키지를 잡기 위한 상기 불명확한 에지와 중첩하지 않는, 로봇 패키지 취급 동작 동안 패키지를 등록하기 위한 방법.
  3. 제2항에 있어서,
    상기 제2 이미지 데이터에 기초하여 하나 이상의 새로운 에지를 식별하는 단계를 더 포함하되, 상기 새로운 에지는 상기 추정된 불명확한 에지에 대응하는 상기 패키지의 실제 노출된 에지를 표현하고;
    상기 제3 이미지 데이터는 상기 하나 이상의 새로운 에지를 포함하는, 로봇 패키지 취급 동작 동안 패키지를 등록하기 위한 방법.
  4. 제3항에 있어서, 상기 하나 이상의 새로운 에지를 식별하는 단계는 상기 패키지를 리프팅한 후에 측정된 깊이 데이터의 차에 기초하여 상기 하나 이상의 새로운 에지를 식별하는 단계를 포함하는, 로봇 패키지 취급 동작 동안 패키지를 등록하기 위한 방법.
  5. 제1항에 있어서, 상기 제3 이미지 데이터를 결정하는 단계는,
    상기 제1 이미지 데이터와 상기 제2 이미지 데이터 사이의 차를 산출하는 단계; 및
    상기 제1 이미지 데이터를 상기 산출된 차와 조합하는 단계
    를 포함하는, 로봇 패키지 취급 동작 동안 패키지를 등록하기 위한 방법.
  6. 제1항에 있어서,
    상기 제1 이미지 데이터에 기초하여 직선을 식별하는 단계를 더 포함하되;
    상기 최소 실행 가능한 영역은 상기 직선을 제외하는 연속 영역인, 로봇 패키지 취급 동작 동안 패키지를 등록하기 위한 방법.
  7. 제1항에 있어서,
    수직 방향을 따라 상기 패키지의 치수를 표현하는 높이를 산출하는 단계를 더 포함하되;
    상기 등록 데이터는 상기 산출된 높이를 포함하는, 로봇 패키지 취급 동작 동안 패키지를 등록하기 위한 방법.
  8. 제7항에 있어서, 상기 높이를 산출하는 단계는,
    상기 패키지가 알려진 높이에 위치된 높이 결정 센서와 연관된 수평 검출 평면을 가로지르는 타이밍을 표현하는 트리거(trigger)를 검출하는 단계;
    상기 트리거와 연관된 수직 위치를 결정하는 단계로서, 상기 수직 위치는 상기 패키지가 상기 수평 검출 평면을 가로지르는 상기 타이밍에서 상기 엔드 이펙터의 수직 위치를 표현하는, 상기 트리거와 연관된 수직 위치를 결정하는 단계; 및
    상기 알려진 높이와 상기 수직 위치의 차에 기초하여 상기 높이를 산출하는 단계
    를 포함하는, 로봇 패키지 취급 동작 동안 패키지를 등록하기 위한 방법.
  9. 제1항에 있어서,
    상기 패키지를 리프팅한 후에 데이터를 수신하는 단계로서, 상기 데이터는 상기 엔드 이펙터에 연결되거나 이와 일체형인 F-T 센서로부터의 힘 측정을 표현하는, 상기 데이터를 수신하는 단계;
    상기 수신된 데이터에 기초하여 상기 패키지의 무게를 결정하는 단계
    를 더 포함하되; 상기 등록 데이터는 상기 결정된 무게를 포함하는, 로봇 패키지 취급 동작 동안 패키지를 등록하기 위한 방법.
  10. 제1항에 있어서,
    상기 패키지를 리프팅한 후에 데이터를 수신하는 단계로서, 상기 데이터는 상기 엔드 이펙터에 연결되거나 이와 일체형인 F-T 센서로부터의 토크 측정을 표현하는, 상기 데이터를 수신하는 단계;
    상기 수신된 데이터에 기초하여 상기 패키지의 질량 중심 위치를 결정하는 단계
    를 더 포함하되; 상기 등록 데이터는 상기 질량 중심 위치를 포함하는, 로봇 패키지 취급 동작 동안 패키지를 등록하기 위한 방법.
  11. 로봇 패키지 취급 동작 동안 미등록 패키지를 등록하기 위한 시스템으로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 결합된 적어도 하나의 메모리
    를 포함하되, 상기 메모리는,
    패키지 표면의 제1 표면 이미지를 나타내는 제1 이미지 데이터를 수신하고;
    상기 제1 표면 이미지를 등록 레코드와 비교한 것에 기초하여 상기 패키지가 등록되지 않은 것으로 결정하고;
    상기 제1 이미지 데이터에 기초하여 상기 패키지 표면에 대한 한 쌍의 에지를 식별하는 것으로서, 상기 한 쌍의 에지는 상기 패키지 표면의 코너를 형성하기 위해 수평 방향을 따라 노출되고 서로 교차하는, 상기 한 쌍의 에지를 식별하고;
    상기 한 쌍의 에지에 기초하여 최소 실행 가능한 영역을 결정하는 것으로서, 상기 최소 실행 가능한 영역은 상기 한 쌍의 에지 중 하나 또는 둘 모두와 중첩하거나 일치하는, 상기 최소 실행 가능한 영역을 결정하고;
    (1) 상기 최소 실행 가능한 영역 위에 배치된 엔드 이펙터로 상기 패키지를 잡고 (2) 상기 패키지를 리프팅하기 위한 하나 이상의 명령을 생성하고;
    상기 패키지의 제2 이미지 데이터를 수신하는 것으로서, 상기 제2 이미지 데이터는 상기 리프팅 후에 상기 패키지를 표현하는, 상기 패키지의 제2 이미지 데이터를 수신하고;
    상기 제1 이미지 데이터 및 상기 제2 이미지 데이터의 함수로서 제3 이미지 데이터를 결정하고;
    후속적으로 다른 패키지를 식별하기 위해 상기 제3 이미지 데이터에 기초하여 상기 패키지의 새로운 등록 레코드를 나타내는 등록 데이터를 생성하기 위한
    상기 적어도 하나의 프로세서에 의해 실행 가능한 명령어를 포함하는, 로봇 패키지 취급 동작 동안 미등록 패키지를 등록하기 위한 시스템.
  12. 제11항에 있어서, 상기 적어도 하나의 메모리는,
    상기 제1 이미지 데이터에 기초하여 불명확한 에지를 추정하기 위한 명령어를 포함하되, 상기 한 쌍의 에지 및 상기 불명확한 에지는 상기 패키지 표면의 경계에 대응하고;
    상기 최소 실행 가능한 영역은 상기 추정된 불명확한 에지에 대응하는 상기 패키지의 노출된 부분을 남기면서 상기 패키지를 잡기 위한 상기 불명확한 에지와 중첩하지 않는, 로봇 패키지 취급 동작 동안 미등록 패키지를 등록하기 위한 시스템.
  13. 제12항에 있어서, 상기 적어도 하나의 메모리는,
    상기 제2 이미지 데이터에 기초하여 하나 이상의 새로운 에지를 식별하기 위한 명령어를 포함하되, 상기 새로운 에지는 상기 추정된 불명확한 에지에 대응하는 상기 패키지의 실제 노출된 에지를 표현하고;
    상기 제3 이미지 데이터는 상기 하나 이상의 새로운 에지를 포함하는, 로봇 패키지 취급 동작 동안 미등록 패키지를 등록하기 위한 시스템.
  14. 제13항에 있어서, 상기 적어도 하나의 메모리는 상기 패키지를 리프팅한 후에 측정된 깊이 데이터의 차에 기초하여 상기 하나 이상의 새로운 에지를 식별하기 위한 명령어를 포함하는, 로봇 패키지 취급 동작 동안 미등록 패키지를 등록하기 위한 시스템.
  15. 제11항에 있어서, 상기 적어도 하나의 메모리는,
    상기 제1 이미지 데이터와 상기 제2 이미지 데이터 사이의 차를 산출한 것; 및
    상기 제1 이미지 데이터를 상기 산출된 차와 조합한 것
    에 기초하여 상기 제3 이미지 데이터를 결정하기 위한 명령어를 포함하는, 로봇 패키지 취급 동작 동안 미등록 패키지를 등록하기 위한 시스템.
KR1020217016611A 2018-10-30 2019-06-05 자동화된 패키지 등록 시스템, 디바이스 및 방법 KR102650494B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247009032A KR20240042157A (ko) 2018-10-30 2019-06-05 자동화된 패키지 등록 시스템, 디바이스 및 방법

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862752756P 2018-10-30 2018-10-30
US62/752,756 2018-10-30
US16/290,741 2019-03-01
US16/290,741 US10369701B1 (en) 2018-10-30 2019-03-01 Automated package registration systems, devices, and methods
US201962852963P 2019-05-24 2019-05-24
US62/852,963 2019-05-24
PCT/US2019/035608 WO2020091846A1 (en) 2018-10-30 2019-06-05 Automated package registration systems, devices, and methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247009032A Division KR20240042157A (ko) 2018-10-30 2019-06-05 자동화된 패키지 등록 시스템, 디바이스 및 방법

Publications (2)

Publication Number Publication Date
KR20210087065A true KR20210087065A (ko) 2021-07-09
KR102650494B1 KR102650494B1 (ko) 2024-03-22

Family

ID=70327497

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020217016611A KR102650494B1 (ko) 2018-10-30 2019-06-05 자동화된 패키지 등록 시스템, 디바이스 및 방법
KR1020247009032A KR20240042157A (ko) 2018-10-30 2019-06-05 자동화된 패키지 등록 시스템, 디바이스 및 방법
KR1020217016615A KR102650492B1 (ko) 2018-10-30 2019-10-29 자동화된 패키지 등록 메커니즘과 이를 작동시키는 방법을 구비한 로봇 시스템

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020247009032A KR20240042157A (ko) 2018-10-30 2019-06-05 자동화된 패키지 등록 시스템, 디바이스 및 방법
KR1020217016615A KR102650492B1 (ko) 2018-10-30 2019-10-29 자동화된 패키지 등록 메커니즘과 이를 작동시키는 방법을 구비한 로봇 시스템

Country Status (6)

Country Link
US (12) US10703584B2 (ko)
JP (15) JP6704154B2 (ko)
KR (3) KR102650494B1 (ko)
CN (11) CN111113492A (ko)
DE (6) DE112019000125B4 (ko)
WO (6) WO2020091846A1 (ko)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9238304B1 (en) * 2013-03-15 2016-01-19 Industrial Perception, Inc. Continuous updating of plan for robotic object manipulation based on received sensor data
CN110893999A (zh) * 2018-09-12 2020-03-20 泰科电子(上海)有限公司 图像采集系统和图像采集方法
WO2020091846A1 (en) 2018-10-30 2020-05-07 Mujin, Inc. Automated package registration systems, devices, and methods
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
US11224951B2 (en) * 2018-12-21 2022-01-18 The Boeing Company Method and apparatus for single-sided clamp-up
US11741566B2 (en) * 2019-02-22 2023-08-29 Dexterity, Inc. Multicamera image processing
US10549928B1 (en) 2019-02-22 2020-02-04 Dexterity, Inc. Robotic multi-item type palletizing and depalletizing
US11046519B2 (en) 2019-02-25 2021-06-29 Rehrig Pacific Company Delivery system
EP3702985A1 (en) * 2019-02-28 2020-09-02 Accenture Global Solutions Limited Augmented reality enabled cargo loading optimization
US11023763B2 (en) * 2019-03-19 2021-06-01 Boston Dynamics, Inc. Detecting boxes
US11069073B2 (en) * 2019-07-23 2021-07-20 Advanced New Technologies Co., Ltd. On-shelf commodity detection method and system
US11389965B2 (en) * 2019-07-26 2022-07-19 Mujin, Inc. Post-detection refinement based on edges and multi-dimensional corners
US10906188B1 (en) 2019-10-25 2021-02-02 Dexterity, Inc. Singulation of arbitrary mixed items
SG10201913056VA (en) * 2019-12-23 2021-04-29 Sensetime Int Pte Ltd Method and apparatus for obtaining sample images, and electronic device
US11040836B1 (en) 2020-01-24 2021-06-22 Becton Dickinson Rowa Germany Gmbh Device and method for separating piece goods
US11951636B1 (en) * 2020-01-28 2024-04-09 Embodied Intelligence Inc. Methods of collecting data through test interactions
US11403764B2 (en) * 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges
US11443449B2 (en) * 2020-02-26 2022-09-13 Zebra Technologies Corporation Three-dimensional (3D) imaging systems and methods for virtual grading of package walls in commercial trailer loading
CA3115442A1 (en) 2020-04-20 2021-10-20 Rehrig Pacific Company Camera enabled portal
CN114096331A (zh) * 2020-06-04 2022-02-25 牧今科技 用于执行或促进物理边缘检测的方法和计算系统
CN113658205B (zh) * 2020-06-04 2022-08-12 牧今科技 用于执行或促进物理边缘检测的方法和计算系统
AT524101A1 (de) * 2020-07-27 2022-02-15 Tgw Logistics Group Gmbh System und Verfahren zur Erfassung einer Warenanzahl in einem Ladungsträger
JP7467268B2 (ja) 2020-07-30 2024-04-15 グローリー株式会社 計数装置、計数システム、計数方法、およびプログラム
JP7395451B2 (ja) * 2020-09-16 2023-12-11 株式会社東芝 ハンドリング装置、処理装置、コントローラ及びプログラム
CN112157671A (zh) * 2020-09-24 2021-01-01 中国标准化研究院 一种用于电子商务产品质量抽检的包裹取料机械手及方法
CN111928790B (zh) * 2020-10-16 2020-12-29 成都裕鸢航空零部件制造有限公司 一种基于互联网的航空零部件厚度计量装置及计量方法
CN112276956B (zh) * 2020-10-30 2022-05-17 北京市商汤科技开发有限公司 一种物品配送方法、装置、设备以及存储介质
CN113058238B (zh) * 2020-12-05 2021-12-17 林周容 篮球内胎自动贴片系统及方法
CN112936243A (zh) * 2021-01-22 2021-06-11 广东电网有限责任公司广州供电局 基于二维码扫描的开关柜型号识别和定位装置
DE102021104773B3 (de) 2021-02-26 2022-03-17 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Kommissionierroboter mit optimierter trajektorie und verfahren zum steuern eines kommissionierroboters
EP4304818A1 (en) * 2021-03-10 2024-01-17 Aquabot Ltd. System and method for identifying or acquiring data corresponding to a handled item
DE102021202340A1 (de) 2021-03-10 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum steuern eines roboters zum aufnehmen und inspizieren eines objekts und robotersteuereinrichtung
US20220289502A1 (en) * 2021-03-15 2022-09-15 Dexterity, Inc. Adaptive robotic singulation system
KR20230162961A (ko) * 2021-03-26 2023-11-29 보스턴 다이나믹스, 인크. 통합 모바일 조작기 로봇을 위한 동적 질량 추정 방법들
JP2022157884A (ja) * 2021-03-31 2022-10-14 セイコーエプソン株式会社 ロボットの制御方法、ロボットシステムおよびロボット制御プログラム
CN113510697B (zh) * 2021-04-23 2023-02-14 知守科技(杭州)有限公司 机械手定位方法、装置、系统、电子装置和存储介质
US20220362936A1 (en) * 2021-05-14 2022-11-17 Intelligrated Headquarters, Llc Object height detection for palletizing and depalletizing operations
US20220375097A1 (en) * 2021-05-18 2022-11-24 Mujin, Inc. Robotic system for object size detection
US20220388171A1 (en) * 2021-06-03 2022-12-08 Intrinsic Innovation Llc Robotic workspace introspection via force feedback
US20230027984A1 (en) 2021-07-21 2023-01-26 Mujin, Inc. Robotic system with depth-based processing mechanism and methods for operating the same
US20230041343A1 (en) 2021-08-09 2023-02-09 Mujin, Inc. Robotic system with image-based sizing mechanism and methods for operating the same
JP6964917B1 (ja) * 2021-08-10 2021-11-10 リンクウィズ株式会社 計測システム、計測方法、プログラム
WO2023023369A2 (en) * 2021-08-19 2023-02-23 Rehrig Pacific Company Pallet wrapper and imaging system
WO2023023366A1 (en) 2021-08-19 2023-02-23 Rehrig Pacific Company Imaging system with unsupervised learning
AT525383A1 (de) * 2021-09-07 2023-03-15 Knapp Ag System zur Vereinzelung und Identifizierung von Artikeln
US20230070495A1 (en) * 2021-09-07 2023-03-09 Mujin, Inc. Robotic gripper assemblies for openable object(s) and methods for picking objects
JPWO2023054539A1 (ko) * 2021-09-28 2023-04-06
IT202100025490A1 (it) * 2021-10-07 2023-04-07 Bosso S R L Magazzino automatico
US20230115849A1 (en) * 2021-10-11 2023-04-13 Mazor Robotics Ltd. Systems and methods for defining object geometry using robotic arms
CN115246547B (zh) * 2021-10-21 2023-09-12 梅卡曼德（北京）机器人科技有限公司 垛型续码方法、装置、计算设备及计算机存储介质
US20230137715A1 (en) * 2021-10-28 2023-05-04 Ubtech North America Research And Development Center Corp Vision-guided picking and placing method, mobile robot and computer-readable storage medium
MX2022013771A (es) 2021-11-01 2023-05-02 Rehrig Pacific Co Sistemas de entrega.
AT525778B1 (de) * 2021-11-09 2023-11-15 Tgw Logistics Group Gmbh Verfahren und Vorrichtung zum Entnehmen eines Ladeguts von einem Stapel
CN113816137A (zh) * 2021-11-19 2021-12-21 佛山隆深机器人有限公司 一种基于机械臂的箱体分拣运输装置及控制方法
CN114161426B (zh) * 2021-12-29 2024-02-06 海澜智云科技有限公司 一种工业机器人的控制系统
CN116681758A (zh) * 2022-02-23 2023-09-01 北京百度网讯科技有限公司 车辆的姿态估计方法、装置、电子设备及存储介质
US11717974B1 (en) * 2022-06-10 2023-08-08 Sanctuary Cognitive Systems Corporation Haptic photogrammetry in robots and methods for operating the same
KR102486009B1 (ko) * 2022-06-23 2023-01-10 주식회사 대한엔지니어링 로봇팔을 이용한 디팔레타이징 자동화 시스템 및 방법
CN115009845B (zh) * 2022-08-04 2022-10-25 江苏安纳金机械有限公司 一种新型翘板机及其方法
KR102491429B1 (ko) * 2022-08-24 2023-01-27 주식회사 한성시스코 인공지능을 이용한 다수의 직육면체 블록들의 적층 구조에서의 각 블록의 인식 및 로딩 시스템, 및 그 방법
DE102022121538A1 (de) 2022-08-25 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Ablegen eines Objekts vermittels eines Roboters
JP7488311B2 (ja) 2022-10-27 2024-05-21 アリー ロジスティック プロパティ カンパニー，リミテッド 物流作業を実行するための施設及び方法
WO2024115532A1 (de) * 2022-11-30 2024-06-06 Voith Patent Gmbh Vorrichtung und anordnung und verfahren zum umsetzen von ballen
KR102521819B1 (ko) * 2023-01-26 2023-04-17 주식회사 브릴스 파렛타이징 시스템
CN117369349B (zh) * 2023-12-08 2024-02-23 如特数字科技(苏州)有限公司 一种远程监测智能机器人的管理系统
CN117532644B (zh) * 2023-12-26 2024-04-12 广东亚数智能科技股份有限公司 一种三维视觉引导机械手抓取装置及其控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02269587A (ja) * 1989-04-07 1990-11-02 Daifuku Co Ltd カメラ使用の自動移載装置
JP3277739B2 (ja) * 1995-01-27 2002-04-22 三菱電機株式会社 産業用ロボット
JP3596434B2 (ja) * 2000-06-30 2004-12-02 株式会社ダイフク 物品位置認識装置
US20150066199A1 (en) * 2013-09-03 2015-03-05 Kabushiki Kaisha Yaskawa Denki Robot hand, robot system, and method for depalletizing article
US10518410B2 (en) * 2013-03-15 2019-12-31 X Development Llc Object pickup strategies for a robotic device

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907169A (en) 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
JP2687030B2 (ja) 1990-02-09 1997-12-08 株式会社ダイフク ロボット使用の自動移載装置
JPH03277739A (ja) 1990-03-28 1991-12-09 Nippon Steel Corp プレス成形時の耐バリ性の優れた高ｒ値複合鋼板およびその製造方法
US5290454A (en) 1992-11-12 1994-03-01 Pump And Paper Research Institute Of Canada Process for removal of suspended solids from pulp and paper mill effluents
JPH06171760A (ja) 1992-12-02 1994-06-21 Mitsubishi Electric Corp デパレタイズ方法
JPH0753054A (ja) 1993-08-10 1995-02-28 Mitsubishi Electric Corp 自動荷卸し装置
JP3063487B2 (ja) 1993-09-27 2000-07-12 村田機械株式会社 パレタイズパターン認識装置
JPH07291450A (ja) * 1994-04-26 1995-11-07 Kawasaki Heavy Ind Ltd インテリジェントパレタイズシステム
IT1275664B1 (it) 1994-11-16 1997-10-17 Consorzio Telerobot Sistema per il controlllo e guida automatica di un gruppo elevatore a forche
JPH09251544A (ja) * 1996-03-14 1997-09-22 Toshiba Corp ワークエッジ検出画像処理装置
JP2921496B2 (ja) 1996-07-15 1999-07-19 三菱電機株式会社 画像処理装置および物体移載装置
US5908283A (en) * 1996-11-26 1999-06-01 United Parcel Service Of Americia, Inc. Method and apparatus for palletizing packages of random size and weight
US6272230B1 (en) 1998-02-11 2001-08-07 Analogic Corporation Apparatus and method for optimizing detection of objects in computed tomography data
JPH11333770A (ja) * 1998-03-20 1999-12-07 Kobe Steel Ltd 積荷位置姿勢認識装置
JPH10323491A (ja) 1998-07-06 1998-12-08 Hitachi Ltd 脱水洗濯機
SE513174C2 (sv) * 1998-10-22 2000-07-24 Abb Ab Förfarande för hantering av containrar samt anordning för utförande av förfarandet
CN1162681C (zh) 1999-03-19 2004-08-18 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取系统
JP2001058723A (ja) 1999-08-20 2001-03-06 Amada Co Ltd 板材加工機における製品搬出方法及びその装置
JP2001072247A (ja) 1999-09-06 2001-03-21 Murata Mach Ltd 搬送システム
JP3849514B2 (ja) 2001-12-10 2006-11-22 株式会社ダイフク 物品位置認識装置
JP2003237943A (ja) * 2002-02-12 2003-08-27 Rengo Co Ltd 段ボールケース束のデパレタイジング装置
US7085622B2 (en) 2002-04-19 2006-08-01 Applied Material, Inc. Vision system
JP3768174B2 (ja) 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
EP1607195B1 (en) 2003-03-27 2011-01-05 Sony Corporation Robot device and method of controlling the same
DE10317855A1 (de) 2003-04-16 2004-11-18 Rkb Reparatur- Und Karosseriebau Gmbh Verfahren und Einrichtung zum Verteilen von Paketen o. dgl. Beförderungsgütern
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
JP2005333824A (ja) * 2004-05-24 2005-12-08 Olympus Corp 検体導入装置および培養処理装置
KR100657915B1 (ko) 2004-11-26 2006-12-14 삼성전자주식회사 코너 검출 방법 및 코너 검출 장치
JP2006300929A (ja) * 2005-03-22 2006-11-02 Jfe Engineering Kk 物体の３次元位置認識装置およびデパレタイズシステム
JP2007097057A (ja) 2005-09-30 2007-04-12 Brother Ind Ltd サーバ装置、機器情報提供方法、プログラム、ネットワークシステム、及び、機器共用化方法
JP4087874B2 (ja) * 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
JP4911341B2 (ja) * 2006-03-24 2012-04-04 株式会社ダイフク 物品移載装置
US20090028686A1 (en) 2007-07-23 2009-01-29 Abb Inc. Robotic palletizing system
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
KR101003654B1 (ko) 2008-08-27 2010-12-23 삼성전기주식회사 반도체 패키지용 트랜스포머
US8489232B2 (en) 2008-09-30 2013-07-16 Amazon Technologies, Inc. Systems and methods for receiving shipment parcels
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
DE102009011300B4 (de) * 2009-03-02 2022-08-11 Kuka Roboter Gmbh Beladung von Lademitteln mit Paketen mittels Manipulator
JP5429614B2 (ja) 2009-04-16 2014-02-26 株式会社Ｉｈｉ 箱状ワーク認識装置および方法
US8508590B2 (en) 2010-03-02 2013-08-13 Crown Equipment Limited Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion
US8538577B2 (en) * 2010-03-05 2013-09-17 Crown Equipment Limited Method and apparatus for sensing object load engagement, transportation and disengagement by automated vehicles
FI20105732A0 (fi) 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
US9796540B1 (en) 2010-06-30 2017-10-24 Thiele Technologies System and method for robotic palletization of packages susceptible to package-to-package dimensional creep
US9089966B2 (en) * 2010-11-17 2015-07-28 Mitsubishi Electric Corporation Workpiece pick-up apparatus
US10474858B2 (en) 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
JP5510841B2 (ja) 2011-12-22 2014-06-04 株式会社安川電機 ロボットシステム及び仕分け済み物品の製造方法
US9067744B2 (en) * 2011-10-17 2015-06-30 Kabushiki Kaisha Yaskawa Denki Robot system, robot, and sorted article manufacturing method
CN202717371U (zh) 2011-11-18 2013-02-06 上海沃迪自动化装备股份有限公司 多功能机器人码垛系统
JP2013145525A (ja) 2012-01-16 2013-07-25 Fuji Electric Co Ltd 物品取り出し判定装置、物品取り出し判定システム、物品取り出しシステム、物品取り出し判定プログラムおよび物品取り出し判定方法
CN202539084U (zh) * 2012-03-01 2012-11-21 成都三茁科技有限公司 多位扫描识别系统
JP2013246589A (ja) 2012-05-24 2013-12-09 Sharp Corp 空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体
JP5469216B2 (ja) 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
JP5897532B2 (ja) 2013-11-05 2016-03-30 ファナック株式会社 三次元空間に置かれた物品をロボットで取出す装置及び方法
CA2879277C (en) 2014-01-22 2021-05-04 Axium Inc. Vision-assisted robotized depalletizer
CN103822594A (zh) 2014-02-28 2014-05-28 华南理工大学 一种基于激光传感器和机器人的工件扫描成像方法
KR102081139B1 (ko) 2014-03-12 2020-02-25 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US9205558B1 (en) 2014-07-16 2015-12-08 Google Inc. Multiple suction cup control
US9272417B2 (en) * 2014-07-16 2016-03-01 Google Inc. Real-time determination of object metrics for trajectory planning
US9327406B1 (en) * 2014-08-19 2016-05-03 Google Inc. Object segmentation based on detected object-specific visual cues
JP6486114B2 (ja) 2015-01-16 2019-03-20 株式会社東芝 荷役装置
US9486921B1 (en) 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US20160302521A1 (en) 2015-04-16 2016-10-20 Brian George Rennex Substantial energy return shoe with optimal low-impact springs and tuned gear change
JP6461712B2 (ja) * 2015-05-28 2019-01-30 株式会社東芝 荷役装置及びその動作方法
US20170057148A1 (en) 2015-08-27 2017-03-02 Imflux Inc Plastic article forming apparatuses and methods for controlling melt flow
US11010816B2 (en) 2015-08-27 2021-05-18 Imflux Inc Methods of selecting thermoplastic materials for use with plastic article forming apparatuses that control melt flow
JP6466297B2 (ja) * 2015-09-14 2019-02-06 株式会社東芝 対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱
JP6711591B2 (ja) 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
JP6710622B2 (ja) * 2015-11-13 2020-06-17 株式会社東芝 搬送装置および搬送方法
CA3004711C (en) 2015-11-13 2022-01-11 Berkshire Grey, Inc. Sortation systems and methods for providing sortation of a variety of objects
US10370201B2 (en) * 2015-11-13 2019-08-06 Kabushiki Kaisha Toshiba Transporting apparatus and transporting method
JP6298035B2 (ja) * 2015-12-17 2018-03-20 ファナック株式会社 モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
JP6690300B2 (ja) 2016-02-26 2020-04-28 村田機械株式会社 スタッカクレーン
US10124489B2 (en) 2016-02-26 2018-11-13 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot
CN105817430B (zh) * 2016-03-29 2017-12-29 常熟理工学院 基于机器视觉的产品检测方法
CN106063998B (zh) 2016-04-13 2018-03-06 段炼 一种单罐内转动mvr系统
US10596700B2 (en) * 2016-09-16 2020-03-24 Carbon Robotics, Inc. System and calibration, registration, and training methods
US20180198983A1 (en) * 2017-01-06 2018-07-12 Olympus Corporation Image pickup apparatus, image pickup system, image pickup method, image pickup program, and display apparatus for image pickup
JP6479264B2 (ja) 2017-01-13 2019-03-06 三菱電機株式会社 協働ロボットシステム、及びその制御方法
JP6495355B2 (ja) 2017-02-15 2019-04-03 昭 宮田 給液装置
JP2018144155A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN106886165A (zh) * 2017-03-10 2017-06-23 深圳市唯特视科技有限公司 一种基于模拟器的机械手抓取和操纵方法
JP6444499B1 (ja) 2017-04-04 2018-12-26 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、及び、制御方法
US10328578B2 (en) * 2017-04-21 2019-06-25 X Development Llc Methods and systems for detecting, recognizing, and localizing pallets
JP6904106B2 (ja) 2017-06-27 2021-07-14 村田機械株式会社 ピッキングシステム
US10471597B1 (en) * 2017-11-01 2019-11-12 Amazon Technologies, Inc. Adaptive perception for industrial robotic systems
US10346987B1 (en) 2017-12-29 2019-07-09 Datalogic Usa, Inc. Locating objects on surfaces
JP6489243B2 (ja) 2018-01-17 2019-03-27 セイコーエプソン株式会社 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット
JP7065632B2 (ja) 2018-02-13 2022-05-12 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 箱状物ピッキング装置及びその方法
JP2018158439A (ja) * 2018-03-15 2018-10-11 株式会社東芝 物体ハンドリング装置、制御装置、および較正方法
CN110737399B (zh) 2018-07-20 2023-09-05 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
WO2020091846A1 (en) 2018-10-30 2020-05-07 Mujin, Inc. Automated package registration systems, devices, and methods
US11023763B2 (en) * 2019-03-19 2021-06-01 Boston Dynamics, Inc. Detecting boxes
US10614340B1 (en) * 2019-09-23 2020-04-07 Mujin, Inc. Method and computing system for object identification
US10625952B1 (en) * 2019-10-18 2020-04-21 Grey Orange Pte. Ltd. Induction station for conveying packages in storage facility
US11020854B2 (en) * 2019-11-05 2021-06-01 Mujin, Inc. Robotic system with wall-based packing mechanism and methods of operating same
US11423610B2 (en) 2019-11-26 2022-08-23 Applied Research Associates, Inc. Large-scale environment-modeling with geometric optimization
US11798273B2 (en) 2021-03-12 2023-10-24 Lawrence Livermore National Security, Llc Model-based image change quantification
US20230041343A1 (en) 2021-08-09 2023-02-09 Mujin, Inc. Robotic system with image-based sizing mechanism and methods for operating the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02269587A (ja) * 1989-04-07 1990-11-02 Daifuku Co Ltd カメラ使用の自動移載装置
JP3277739B2 (ja) * 1995-01-27 2002-04-22 三菱電機株式会社 産業用ロボット
JP3596434B2 (ja) * 2000-06-30 2004-12-02 株式会社ダイフク 物品位置認識装置
US10518410B2 (en) * 2013-03-15 2019-12-31 X Development Llc Object pickup strategies for a robotic device
US20150066199A1 (en) * 2013-09-03 2015-03-05 Kabushiki Kaisha Yaskawa Denki Robot hand, robot system, and method for depalletizing article

Also Published As

Publication number Publication date
US20200130963A1 (en) 2020-04-30
US11288810B2 (en) 2022-03-29
JP7340203B2 (ja) 2023-09-07
KR20240042157A (ko) 2024-04-01
JP2021507857A (ja) 2021-02-25
US11189033B2 (en) 2021-11-30
WO2020092428A1 (en) 2020-05-07
WO2020092447A1 (en) 2020-05-07
CN111491878A (zh) 2020-08-04
CN111861305B (zh) 2021-08-03
JP2020069636A (ja) 2020-05-07
KR102650494B1 (ko) 2024-03-22
JP2021039795A (ja) 2021-03-11
US11062457B2 (en) 2021-07-13
JP7411932B2 (ja) 2024-01-12
WO2020092442A1 (en) 2020-05-07
CN111566028A (zh) 2020-08-21
DE112019000127T5 (de) 2020-06-18
CN111629868A (zh) 2020-09-04
US10703584B2 (en) 2020-07-07
JP2023174652A (ja) 2023-12-08
US12002007B2 (en) 2024-06-04
US11176674B2 (en) 2021-11-16
CN111776762A (zh) 2020-10-16
CN111861305A (zh) 2020-10-30
DE112019000177T5 (de) 2020-09-03
JP2020110918A (ja) 2020-07-27
DE112019000217T5 (de) 2020-08-06
JP2023160842A (ja) 2023-11-02
CN111633633A (zh) 2020-09-08
US20200134830A1 (en) 2020-04-30
DE112019000217B4 (de) 2023-09-14
JP2021501102A (ja) 2021-01-14
US11797926B2 (en) 2023-10-24
US20200130962A1 (en) 2020-04-30
JP2024023692A (ja) 2024-02-21
JP2021505980A (ja) 2021-02-18
JP2020537775A (ja) 2020-12-24
WO2020092452A1 (en) 2020-05-07
US11636605B2 (en) 2023-04-25
US20220076425A1 (en) 2022-03-10
DE112019000125T5 (de) 2020-07-02
CN111861306B (zh) 2021-06-15
JP7466150B2 (ja) 2024-04-12
JP6813229B1 (ja) 2021-01-13
DE112019000125B4 (de) 2021-07-01
CN111776759B (zh) 2021-07-23
CN111776759A (zh) 2020-10-16
JP2021503374A (ja) 2021-02-12
US20200134828A1 (en) 2020-04-30
US20220051411A1 (en) 2022-02-17
JP2021062978A (ja) 2021-04-22
CN111601761A (zh) 2020-08-28
US20210304416A1 (en) 2021-09-30
US11961042B2 (en) 2024-04-16
KR102650492B1 (ko) 2024-03-22
KR20210096615A (ko) 2021-08-05
CN111861306A (zh) 2020-10-30
JP2021050100A (ja) 2021-04-01
JP6820634B2 (ja) 2021-01-27
US11501445B2 (en) 2022-11-15
CN111633633B (zh) 2021-05-07
JP7352260B2 (ja) 2023-09-28
CN111113492A (zh) 2020-05-08
WO2020092433A1 (en) 2020-05-07
JP6704154B2 (ja) 2020-06-03
JP2021051797A (ja) 2021-04-01
JP2021054660A (ja) 2021-04-08
CN111776762B (zh) 2021-07-23
DE112019000247T5 (de) 2020-09-03
US20240020637A1 (en) 2024-01-18
JP6822718B1 (ja) 2021-01-27
WO2020091846A1 (en) 2020-05-07
CN111566027A (zh) 2020-08-21
US20200294244A1 (en) 2020-09-17
US20230008540A1 (en) 2023-01-12
US20240078512A1 (en) 2024-03-07
DE112019000172T5 (de) 2020-07-16
JP6820044B1 (ja) 2021-01-27
US20200130961A1 (en) 2020-04-30
JP6822719B2 (ja) 2021-01-27

Similar Documents

Publication Publication Date Title
KR102650494B1 (ko) 자동화된 패키지 등록 시스템, 디바이스 및 방법
US11780101B2 (en) Automated package registration systems, devices, and methods
JP7398662B2 (ja) ロボット多面グリッパアセンブリ及びその操作方法
CN110405810B (zh) 自动包裹配准系统、装置和方法
JP7398763B2 (ja) 重なり処理機構を備えたロボットシステム及びその操作方法
JP7218881B1 (ja) 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant