KR20210096615A - 자동 패키지 등록 메커니즘을 갖는 로봇 시스템 및 이의 동작방법 - Google Patents

자동 패키지 등록 메커니즘을 갖는 로봇 시스템 및 이의 동작방법 Download PDF

Info

Publication number
KR20210096615A
KR20210096615A KR1020217016615A KR20217016615A KR20210096615A KR 20210096615 A KR20210096615 A KR 20210096615A KR 1020217016615 A KR1020217016615 A KR 1020217016615A KR 20217016615 A KR20217016615 A KR 20217016615A KR 20210096615 A KR20210096615 A KR 20210096615A
Authority
KR
South Korea
Prior art keywords
robotic system
data
event
height
unrecognized
Prior art date
Application number
KR1020217016615A
Other languages
English (en)
Other versions
KR102650492B1 (ko
Inventor
니콜라예프 디안코프 로젠
리우 후안
예 쉬타오
제로니모 모레이라 로드리게스 호세
가네모토 요시키
유 진즈
이슬람 러셀
Original Assignee
무진 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 무진 아이엔씨 filed Critical 무진 아이엔씨
Publication of KR20210096615A publication Critical patent/KR20210096615A/ko
Application granted granted Critical
Publication of KR102650492B1 publication Critical patent/KR102650492B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
    • B65G63/002—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations for articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B43/00—Forming, feeding, opening or setting-up containers or receptacles in association with packaging
    • B65B43/42—Feeding or positioning bags, boxes, or cartons in the distended, opened, or set-up state; Feeding preformed rigid containers, e.g. tins, capsules, glass tubes, glasses, to the packaging position; Locating containers or receptacles at the filling position; Supporting containers or receptacles during the filling operation
    • B65B43/46—Feeding or positioning bags, boxes, or cartons in the distended, opened, or set-up state; Feeding preformed rigid containers, e.g. tins, capsules, glass tubes, glasses, to the packaging position; Locating containers or receptacles at the filling position; Supporting containers or receptacles during the filling operation using grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/915—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers provided with drive systems with rotary movements only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/917—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G59/00—De-stacking of articles
    • B65G59/02—De-stacking from the top of the stack
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
    • G05B19/40931—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine concerning programming of geometry
    • G05B19/40935—Selection of predetermined shapes and defining the dimensions with parameter input
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/042—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2814/00—Indexing codes relating to loading or unloading articles or bulk materials
    • B65G2814/03—Loading or unloading means
    • B65G2814/0301—General arrangements
    • B65G2814/0308—Destacking devices
    • B65G2814/031—Removing from the top
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Robotics (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • De-Stacking Of Articles (AREA)
  • Specific Conveyance Elements (AREA)
  • Stacking Of Articles And Auxiliary Devices (AREA)
  • Image Processing (AREA)
  • Control Of Conveyors (AREA)

Abstract

로봇 시스템을 작동시키기 위한 방법은 출발 위치에 있는 물체를 나타내는 제1 데이터를 획득하고 처리하는 단계; 물체가 작업 위치로 이송됨에 따라서 추가 데이터를 획득하는 단계로서, 추가 데이터는 제1 데이터에서 캡처된 물체의 부분과 별개인 하나 이상의 가장자리 및/또는 하나 이상의 표면에 관한 정보를 포함하는, 추가 데이터 획득 단계; 및 추가 데이터에 기초하여 물체를 나타내는 등록 데이터를 생성하는 단계를 포함한다.

Description

자동 패키지 등록 메커니즘을 갖는 로봇 시스템 및 이의 동작방법
관련 출원(들)에 대한 상호 참조
본 출원은 2018년 10월 30일자로 출원된 미국 특허 가출원 제62/752,756호, 그리고 또한 2019년 5월 24일자로 출원된 미국 특허 가출원 제62/852,963호에 대해 우선권을 주장하며, 이들은 둘 다 그 전문이 참조에 의해 본 명세서에 원용된다. 본 출원은 또한 2019년 3월 1일자로 출원된 미국 특허 출원 제16/290,741호(현재 미국 특허 제10,369,701호)와 관련되며, 그 전문이 참조에 의해 본 명세서에 원용된다.
기술분야
본 기술은 일반적으로 로봇 시스템, 보다 구체적으로, 물체를 등록하기 위한 시스템, 프로세스 및 기술에 관한 것이다.
종종 패키지들은 패키지들이 탈팔레트화되는(de-palletized) 목적지로 배송하기 위해 팔레트화된다. 때때로, 이들은 비용이 많이 들고 신체 상해를 입을 수 있는 인간 작업자에 의해 탈팔레트화된다. 산업 현장에서, 탈팔레트화 작업은 종종 패키지를 파지하고, 들어올리고, 이송하여, 방출 지점으로 전달하는 로봇 팔과 같은 산업용 로봇에 의해 수행된다. 또한, 이미징 디바이스가 팔레트에 적재된 패키지의 스택의 이미지를 캡처하기 위해 이용될 수 있다. 시스템은 등록 데이터 소스에 저장된 등록 이미지와 캡처된 이미지를 비교하는 것에 의해 패키지가 로봇 팔에 의해 효율적으로 처리되는 것을 보장하도록 이미지를 처리할 수 있다.
경우에 따라, 패키지의 캡처된 이미지는 등록 이미지와 일치할 수 있다. 그 결과, 이미지화된 물체의 물리적 특성(예를 들어, 패키지의 치수 측정치, 중량 및/또는 질량 중심)이 알려져 있을 수 있다. 물리적 특성을 정확하게 식별하는데 실패하는 것은 다양한 원치않는 결과로 이어질 수 있다. 예를 들어, 이러한 실패는 조업 중단을 유발할 수 있고, 이는 패키지의 수동 등록을 요구할 수 있다. 또한, 이러한 실패는 특히 패키지가 상대적으로 무겁고/무겁거나 한쪽으로 치우치면 패키지가 잘못 처리되는 결과를 초래할 수 있다.
도 1은 패키지 등록 메커니즘을 갖는 로봇 시스템이 작동할 수 있는 예시적인 환경의 도면이다.
도 2는 본 기술의 하나 이상의 실시형태에 따른 로봇 시스템을 예시하는 블록도이다.
도 3은 본 기술의 하나 이상의 실시형태에 따른 로봇 시스템의 도면이다.
도 4a는 본 기술의 하나 이상의 실시형태에 따른 로봇 시스템에 의해 처리된 예시적인 물체의 스택의 도면이다
도 4b는 본 기술의 하나 이상의 실시형태에 따른 예시적인 스택의 상부 표면의 도면이다.
도 4c는 본 기술의 하나 이상의 실시형태에 따른 상부 표면에 대응하는 센서 데이터의 도면이다.
도 5a는 본 기술의 하나 이상의 실시형태에 따른 작동의 초기 세트 후의 상부 표면에 대응하는 센서 데이터의 도면이다.
도 5b는 본 기술의 하나 이상의 실시형태에 따른 도 5a에 도시된 센서 데이터의 부분(5B)을 도시한 도면이다.
도 6은 본 기술의 하나 이상의 실시형태에 따른 초기 들어올림 조작 후의 물체의 도면이다.
도 7a는 본 기술의 하나 이상의 실시형태에 따른 비교 데이터의 도면이다.
도 7b는 본 기술의 하나 이상의 실시형태에 따른 업데이트된 데이터의 도면이다.
도 8은 본 기술의 하나 이상의 실시형태에 따른 도 1의 로봇 시스템을 작동시키는 방법에 대한 흐름도이다.
도 9는 본 기술의 하나 이상의 실시형태에 따른 로봇 시스템의 도면이다.
도 10a는 본 기술의 하나 이상의 실시형태에 따른 접근 작동의 도면이다.
도 10b는 본 기술의 하나 이상의 실시형태에 따른 리프트 작동의 도면이다.
도 10c는 본 기술의 하나 이상의 실시형태에 따른 활성화 이벤트의 도면이다.
도 10d는 본 기술의 하나 이상의 실시형태에 따른 검출 이벤트의 도면이다.
도 11은 본 기술의 하나 이상의 실시형태에 따른 도 1의 로봇 시스템을 작동시키는 방법에 대한 추가 흐름도이다.
자동화된 패키지 등록 메커니즘을 갖는 로봇 시스템을 위한 시스템 및 방법이 본 명세서에 설명되어 있다. 일부 실시형태에 따라서 구성된 로봇 시스템(예를 들어, 하나 이상의 지정된 작업을 실행하는 디바이스들의 통합 시스템)은 이전에 알려지지 않았거나 이전에 미인식된 물체(예를 들어, 패키지, 상자, 케이스 등)를 자율적으로/자동으로(예를 들어, 작업자 입력이 거의 또는 전혀 없이) 등록하는 것에 의해 향상된 유용성과 유연성을 제공한다. 물체가 인식되는지의 여부를 결정하기 위해, 로봇 시스템은 출발 위치(start location)에 있는 물체에 관한 데이터(예를 들어, 물체의 노출된 표면의 하나 이상의 이미지)를 획득하고 알려진 또는 예상된 물체를 위한 등록 데이터에 비교할 수 있다. 로봇 시스템은 비교된 데이터(예를 들어, 비교된 이미지의 일부분)가 물체들 중 하나를 위한 등록 데이터(예를 들어, 등록된 표면 이미지 중 하나)와 일치할 때 인식되는 것으로서 물체를 결정할 수 있다. 로봇 시스템은 비교된 데이터가 알려진 또는 예상된 물체의 등록 데이터와 일치하는데 실패하였을 때 물체를 인식되지 않는 것으로서 결정할 수 있다.
일부 실시형태에서, 로봇 시스템은 물체의 세트(예를 들어, 타깃 스택) 내에서 미인식된 물체를 식별하고 등록할 수 있다. 로봇 시스템은 센서 출력(예를 들어, 이미지 및/또는 깊이 맵)을 하나 이상의 알려진/예상된 물체의 물리적 속성에 관한 사전 결정된 정보를 포함하는 마스터 데이터와 비교하는 것에 기초하여 미인식된 물체를 식별할 수 있다. 예를 들어, 로봇 시스템은 센서 출력에서 물체를 인식하기 위해 센서 출력 또는 그 일부를 알려진/예상된 물체의 이미지와 비교할 수 있다. 로봇 시스템은 센서 출력의 비일치 부분이 하나 이상의 미인식된 물체에 대응한다고 결정할 수 있다.
아래에서 상세히 설명되는 바와 같이, 일부 실시형태에서, 로봇 시스템은 하나 이상의 추정에 따라서, 미인식된 물체를 조작하고, 미인식된 물체에 관한 추가 정보(예를 들어, 표면 이미지 및/또는 물리적 치수)를 결정할 수 있다. 예를 들어, 로봇 시스템은 다른 물체와 분리되어 있거나 인접하지 않는 미인식된 물체의 노출된 가장자리 및/또는 노출된 외부 모서리를 식별할 수 있다. 하나 이상의 실시형태에서, 로봇 시스템은 타깃 스택의 모서리에 위치되고/되거나 공통 층에 위치된 다른 물체(예를 들어, 서로로부터 임계 범위 내에 있는 높이를 갖는 노출된 표면이 있는 물체)에 대해 돌출되는 미인식된 물체에 대해 노출된 가장자리 및/또는 노출된 외부 모서리를 식별할 수 있다. 노출된 가장자리 및/또는 노출된 외부 모서리에 기초하여, 로봇 시스템은 노출된 표면에서 최소 실행 가능 영역(minimum viable region: MVR)을 도출할 수 있다. MVR은 대응하는 물체와 접촉하고 이를 들어올리는데 필요한 영역을 나타낼 수 있다. 로봇 시스템은 MVR 위에 있는 미인식된 물체를 파지하여 초기 들어올림을 수행하고, 이에 의해 이전에 불분명한 가장자리를 인접한 물체로부터 (예를 들어, 수직으로 및/또는 수평으로) 분리할 수 있다.
초기 들어올림 후에, 로봇 시스템은 미인식된 물체에 대한 새로운 정보를 식별하기 위해 비교 데이터(예를 들어, 초기 들어올림 후의 미인식된 물체를 나타내는 센서 데이터)를 획득하고 처리할 수 있다. 예를 들어, 로봇 시스템은 비교 데이터를 처리하여, 미인식된 물체에 대한 새로 발견된(예를 들어, 이전에 불확실한) 가장서리 및/또는 모서리, 관련 측정치(예를 들어, 물체의 치수), 업데이트된 이미지/깊이 맵 또는 이들의 조합을 식별할 수 있다. 로봇 시스템은 이전에 미인식된 물체를 자율적으로/자동으로 등록하기("자동 등록") 위해 마스터 데이터에 새 정보를 저장할 수 있다. 따라서, 로봇 시스템은 동일한 유형의 물체를 식별, 처리 및/또는 조작하기 위해 자동 등록 데이터를 사용할 수 있다.
일부 실시형태에서, 로봇 시스템은 미인식된 물체의 추가 정보(예를 들어, 높이, 깊이 및/또는 프로필 또는 측면 뷰(side view))를 추가로 획득할 수 있다. 예를 들어, 로봇 시스템은 측 방향(예를 들어, 수평 방향)을 따라서, 연장되는 교차 기준(crossing reference)(예를 들어, 교차 센서에 대응하는 감지된 라인/평면)을 교차하여 미인식된 물체를 상승시키거나 하강시킬 수 있다. 하나 이상의 실시형태에서, 교차 기준은 출발 위치 바로 위 및/또는 작업 위치(task location) 바로 위와 같이 전달된 물체가 점유하도록 요구되는 위치를 가로질러 연장될 수 있다. 로봇 시스템은 하강된 물체가 처음 교차 기준을 교차할 때 및/또는 상승된 물체가 교차 기준을 클리어할 때 센서 이벤트(sensor event)를 검출할 수 있다. 로봇 시스템은 이벤트의 시간에 조작된 물체와 접촉하는 엔드 이펙터(예를 들어, 그리퍼)의 수직 위치(예를 들어, 높이)를 결정할 수 있다. 따라서, 로봇 시스템은 교차 센서의 공지된 수직 위치와의 이벤트의 시간에 엔드 이펙터의 높이의 비교에 기초하여 물체의 높이(예를 들어, 물체 높이)를 결정할 수 있다.
일부 실시형태에서, 교차 센서는 물리적 물체가 교차 기준을 차단하거나 또는 이와 겹칠 때와 같이 감지 신호에서의 중단/불연속성을 검출하는 광/레이저 기반 센서를 포함할 수 있다. 하나 이상의 실시형태에서, 교차 센서는 물체가 적어도 일시적으로 점유하도록 요구되는 핵심 위치(예를 들어, 소싱 위치(sourcing location) 및/또는 목적지) 주위에 위치될 수 있다. 예를 들어, 교차 센서는 컨베이어 상의 랜딩 부분(landing portion) 위에 그리고/또는 패키지 컨테이너(예를 들어, 자동차 트랙, 통 등) 위에 부착될 수 있다.
따라서, 로봇 시스템은 이전에 미인식된 물체에 대한 다양한 데이터를 획득하고, 이를 이용하여 대응하는 등록 데이터를 자율적으로 생성하고 마스터 데이터를 업데이트할 수 있다. 생성된 등록 데이터는 대응하는 물체의 표면 이미지, 치수(물체 높이를 포함하는), 중량, 추정된 질량 중심(center-of-mass: CoM) 위치 및/또는 다른 물리적 특성을 포함할 수 있다. 그러므로, 로봇 시스템은 물체를 자율적으로 등록하고(예를 들어, 작업자 입력없이), 등록된 데이터를 사용하여 동일한 유형의 물체를 인식하고 그 후속 사례(subsequent instance)를 처리할 수 있다.
또한, 로봇 시스템은 자율 등록을 사용하여 작업자의 도움없이 미인식된 물체를 처리(예를 들어, 이송, 포장, 포장 풀기 등)할 수 있다. 따라서, 로봇 시스템의 전반적인 작동은 물체가 미인식된 물체일 때도 중단없이 계속될 수 있다. 또한 교차 센서는 이송/물체 조작을 중단하지 않고 물체 높이를 정확한 측정을 허용한다. 그러므로, 로봇 시스템은 작업 기반 모션 계획으로부터 벗어나지 않고 3D로 물체를 측정할 수 있다.
다음의 설명에서, 현재 개시된 기술의 완전한 이해를 제공하기 위해 다수의 특정 세부 사항이 제시된다. 다른 실시형태에서, 본 명세서에서 도입된 기술은 이들 특정한 세부 사항없이 실시될 수 있다. 다른 사례에서, 특정 기능 또는 루틴과 같은 널리 공지된 특징은 본 개시내용을 불필요하게 모호하게 하는 것을 방지하도록 상세히 설명되지 않는다. "실시형태", "하나의 실시형태" 등에 대한 이러한 설명에서 참조는 설명되는 특정한 특징, 구조, 재료 또는 특성이 본 개시내용의 적어도 하나의 실시형태에 포함된다는 것을 의미한다. 그러므로, 본 명세서에서 이러한 어구의 출현은 동일한 실시형태를 반드시 전부 나타내는 것은 아니다. 다른 한편으로, 이러한 참조는 또한 반드시 서로 배타적인 것은 아니다. 아울러, 특정 특징, 구조, 재료 또는 특성은 하나 이상의 실시형태에서 임의의 적합한 방식으로 조합될 수 있다. 도면에 도시된 다양한 실시형태는 단지 예시적인 표현이고 반드시 축척으로 도시되지 않았다는 것이 이해되어야 한다.
널리 공지되고 때때로 로봇 시스템 및 서브 시스템과 관련되지만, 개시된 기술의 일부 상당한 양태를 불필요하게 모호하게 할 수 있는 구조 또는 과정을 설명하는 몇몇 세부 사항이 명료성을 위해 다음의 설명에서 개시되지 않는다. 더욱이, 다음의 개시내용이 본 기술의 상이한 양태의 몇몇 실시형태를 개시하지만, 몇몇 다른 실시형태는 이 섹션에서 설명된 것과 상이한 구성 또는 상이한 구성 요소를 가질 수 있다. 따라서, 개시된 기술은 추가적인 구성 요소를 가지거나 또는 다음에 설명된 몇몇 구성 요소가 없는 다른 실시형태를 가질 수 있다.
다음에 설명되는 본 개시내용의 많은 실시형태 또는 양태는 프로그램 가능한 컴퓨터 또는 프로세서에 의해 실행되는 루틴을 포함하는, 컴퓨터 또는 프로세서 실행 가능 명령어의 형태를 취할 수 있다. 당업자는 개시된 기술이 다음에 도시되고 설명된 것과 다른 컴퓨터 또는 프로세서 시스템에서 실행될 수 있다는 것을 이해할 것이다. 본 명세서에서 설명된 기술은 다음에 설명되는 컴퓨터 실행 가능 명령어 중 하나 이상을 실행하도록 특별히 프로그래밍되거나, 구성되거나 또는 구성되는 특수 목적 컴퓨터 또는 데이터 프로세서에서 구현될 수 있다. 따라서, 일반적으로 본 명세서에서 사용되는 용어 "컴퓨터" 및 "프로세서"는 임의의 데이터 프로세서를 나타내고 인터넷 기기 및 핸드헬드 디바이스(초소형 컴퓨터, 웨어러블 컴퓨터, 셀룰러 또는 모바일 폰, 멀티 프로세서 시스템, 프로세서 기반 또는 프로그램 가능한 가전 제품, 네트워크 컴퓨터, 미니 컴퓨터 등을 포함하는)를 포함할 수 있다. 이들 컴퓨터 및 프로세서에 의해 처리되는 정보는 액정 디스플레이(LCD)를 포함하는 임의의 적합한 디스플레이 매체에서 나타날 수 있다. 하드웨어, 펌웨어, 또는 하드웨어와 펌웨어의 조합을 포함하는, 컴퓨터 또는 프로세서 실행 가능 작업을 실행하기 위한 명령어는 임의의 적합한 컴퓨터 판독 가능 매체에 저장될 수 있다. 명령어는 예를 들어, 플래시 드라이브 및/또는 다른 적합한 매체를 포함하는 임의의 적합한 메모리 디바이스에 포함될 수 있다.
"결합된" 및 "연결된"이라는 용어는 이들의 파생어와 함께, 구성 요소 사이의 구조적 관계를 설명하도록 본 명세서에서 사용될 수 있다. 이들 용어는 서로에 대해 동의어로서 의도되지 않다는 것이 이해되어야 한다. 오히려, 특정한 실시형태에서, "연결된"은 2개 이상의 구성 요소가 서로 직접적으로 접촉하는 것을 나타내도록 사용될 수 있다. 문맥에서 달리 분명히 나타내지 않는 한, "결합된"이라는 용어는 2개 이상의 구성 요소가 서로 직접적으로 또는 간접적으로(다른 개재 구성요소가 구성 요소 사이에 있는) 접촉하거나, 또는 2개 이상의 구성 요소가 서로 협력하거나 또는 상호 작용하는 것(예를 들어, 인과 관계와 같이, 예를 들어, 신호 전송/수신을 위해 또는 기능 호출을 위해), 또는 둘 모두 나타내도록 사용될 수 있다.
적합한 환경
도 1은 패킹 메커니즘을 갖는 로봇 시스템(100)이 작동할 수 있는 예시적인 환경의 예시이다. 로봇 시스템(100)은 하나 이상의 작업을 실행하도록 구성된 하나 이상의 유닛(예를 들어, 로봇)를 포함할 수 있고/있거나 이와 통신할 수 있다. 패킹 메커니즘의 양태는 다양한 유닛에 의해 실시되거나 또는 구현될 수 있다.
도 1에 예시된 예에 대해, 로봇 시스템(100)은 창고 또는 분배/배송 허브에서 하역 유닛(102), 이송 유닛(104)(예를 들어, 팔레타이징 로봇 및/또는 피스-피커 로봇(piece-picker robot)), 이송 유닛(106), 적재 유닛(108), 또는 이들의 조합을 포함할 수 있다. 로봇 시스템(100)에 있는 각각의 유닛은 하나 이상의 작업을 실행하도록 구성될 수 있다. 작업은 물체를 트럭 또는 밴으로부터 하역하고 물체를 창고에 보관하거나 또는 물체를 보관 위치로부터 하역하여 물체를 배송하기 위해 준비하는 것과 같은 목적을 달성하는 작동을 수행하도록 시퀀스대로 조합될 수 있다. 다른 예를 들어, 작업은 물체를 타깃 위치에(예를 들어, 팔레트의 상부에 그리고/또는 통/케이지/상자/케이스의 내부에) 배치하는 것을 포함할 수 있다. 다음에 상세히 설명되는 바와 같이, 로봇 시스템은 물체를 배치하고/하거나 적층하기 위한 계획(물체를 이송하는 및/또는 모션 계획에 대응하는 배치 위치/배향, 시퀀스)을 도출할 수 있다. 각각의 유닛은 작업을 실행하기 위해 동작(예를 들어, 그 안에서 하나 이상의 구성 요소를 작동시키는)의 시퀀스를 실행하도록 구성될 수 있다.
일부 실시형태에서, 작업은 출발 위치(114)로부터 작업 위치(116)로 타깃 물체(112)(예를 들어, 실행중인 작업에 대응하는 패키지, 상자, 케이스, 케이지, 팔레트 등 중 하나)의 조작(예를 들어, 이동 및/또는 재배향)을 포함할 수 있다. 예를 들어, 하역 유닛(102)(예를 들어, 디배닝 로봇(devanning robot))은 타깃 물체(112)를 캐리어(예를 들어, 트럭)에 있는 위치로부터 컨베이어 벨트 상의 위치로 이송하도록 구성될 수 있다. 또한, 이송 유닛(104)은 타깃 물체(112)를 하나의 위치(예를 들어, 컨베이어 벨트, 팔레트, 또는 통)로부터 또 다른 위치(예를 들어, 팔레트, 통 등)로 이송하도록 구성될 수 있다. 다른 예를 들면, 이송 유닛(104)(예를 들어, 팔레타이징 로봇)은 타깃 물체(112)를 소스 위치(예를 들어, 팔레트, 픽업 영역, 컨베이어)로부터 목적지 팔레트로 이송하도록 구성될 수 있다. 작동을 완료할 때, 이송 유닛(106)은 타깃 물체(112)를 이송 유닛(104)과 관련된 영역으로부터 적재 유닛(108)과 관련된 영역으로 이송할 수 있고, 적재 유닛(108)은 타깃 물체(112)를 이송 유닛(104)으로부터 보관 위치(예를 들어, 선반 상의 위치)로 (예를 들어, 타깃 물체(112)를 이송하는 팔레트를 이동시키는 것에 의해) 이송할 수 있다. 작업 및 관련 동작에 관한 세부 사항은 다음에 설명된다.
예시 목적을 위해, 로봇 시스템(100)은 배송 센터의 맥락에서 설명되며; 그러나, 로봇 시스템(100)이 다른 환경에서/다른 목적을 위해, 예를 들어, 제작, 조립, 패키징, 의료 및/또는 자동화의 다른 유형을 위해 작업을 실행하도록 구성될 수 있다는 것이 이해된다. 로봇 시스템(100)이 도 1에 도시되지 않은, 다른 디바이스, 예를 들어, 조작기, 서비스 로봇, 모듈식 로봇 등을 포함할 수 있다는 것이 또한 이해된다. 예를 들어, 일부 실시형태에서, 로봇 시스템(100)은 물체를 케이지 카트 또는 팔레트로부터 컨베이어 또는 다른 팔레트로 이송하기 위한 디팔레에타이징 유닛, 물체를 하나의 컨테이너로부터 다른 컨테이너로 이송하기 위한 컨테이터 스위칭 유닛, 물체를 포장하기 위한 패키징 유닛, 물체의 하나 이상의 특성에 따라서 물체를 그룹화하기 위한 분류 유닛, 물체의 하나 이상의 특성에 따라서 물체를 상이하게 조작(예를 들어, 분류, 그룹화 및/또는 이송)하기 위한 피스-피킹 유닛, 또는 이들의 조합을 포함할 수 있다.
적합한 시스템
도 2는 본 기술의 하나 이상의 실시형태에 따른, 로봇 시스템(100)을 도시하는 블록도이다. 일부 실시형태에서, 예를 들어, 로봇 시스템(100)(예를 들어, 전술한 유닛 및/또는 로봇 중 하나 이상에서)은 하나 이상의 프로세서(202), 하나 이상의 저장 디바이스(204), 하나 이상의 통신 디바이스(206), 하나 이상의 입력-출력 디바이스(208), 하나 이상의 작동 디바이스(212), 하나 이상의 이송 모터(214), 하나 이상의 센서(216), 또는 이들의 조합과 같은 전자/전기 디바이스를 포함할 수 있다. 다양한 디바이스는 유선 연결 및/또는 무선 연결을 통해 서로 결합될 수 있다. 예를 들어, 로봇 시스템(100)은 시스템 버스, 주변 컴포넌트 상호 연결(PCI) 버스 또는 PCI-익스프레스 버스, 하이퍼트랜스포트(HyperTransport) 또는 산업 표준 아키텍처(ISA) 버스, 소형 컴퓨터 시스템 인터페이스(SCSI) 버스, 범용 직렬 버스(USB), IIC(I2C) 버스, 또는 전기 전자 기술자 협회(IEEE) 표준 1394 버스(또한 "파이어와이어(Firewire)"로서 지칭됨)와 같은 버스를 포함할 수 있다. 또한, 예를 들어, 로봇 시스템(100)은 디바이스 사이의 유선 연결을 제공하기 위한 브릿지, 어댑터, 프로세서, 또는 다른 신호-관련 디바이스를 포함할 수 있다. 무선 연결은 예를 들어, 셀룰러 통신 프로토콜(예를 들어, 3G, 4G, LTE, 5G 등), 무선 근거리 통신망(LAN) 프로토콜(예를 들어, 와이파이(Wi-Fi)), 피어-투-피어 또는 디바이스-투-디바이스 통신 프로토콜(예를 들어, 블루투스, 근거리 통신(NFC) 등), 사물 인터넷(IoT) 프로토콜(예를 들어, NB-IoT, LTE-M 등), 및/또는 다른 무선 통신 프로토콜에 기초할 수 있다.
프로세서(202)는 저장 디바이스(204)(예를 들어, 컴퓨터 메모리)에 저장된 명령어(예를 들어, 소프트웨어 명령어)를 실행하도록 구성된 데이터 프로세서(예를 들어, 중앙 처리 유닛(CPU), 특수 목적 컴퓨터, 및/또는 온보드 서버)를 포함할 수 있다. 일부 실시형태에서, 프로세서(202)는 도 2에 예시된 다른 전자/전기 디바이스 및/또는 도 1에 예시된 로봇 유닛에 작동 가능하게 결합되는 별개의/독립형 제어기에 포함될 수 있다. 프로세서(202)는 다른 디바이스를 제어하고/다른 디바이스와 접속하도록 프로그램 명령어를 구현하고, 이에 의해 로봇 시스템(100)이 동작, 작업, 및/또는 작동을 실행하게 한다.
저장 디바이스(204)는 프로그램 명령어(예를 들어, 소프트웨어)가 저장된 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 저장 디바이스(204)의 일부 예는 휘발성 메모리(예를 들어, 캐시 및/또는 랜덤 액세스 메모리(RAM)) 및/또는 비휘발성 메모리(예를 들어, 플래시 메모리 및/또는 자기 디스크 드라이브)를 포함할 수 있다. 저장 디바이스(204)의 다른 예는 휴대용 메모리 디바이스 및/또는 클라우드 저장 디바이스를 포함할 수 있다.
일부 실시형태에서, 저장 디바이스(204)는 처리 결과 및/또는 사전 결정된 데이터/임계값에 대한 액세스를 추가로 저장하고 제공하도록 사용될 수 있다. 예를 들어, 저장 디바이스(204)는 로봇 시스템(100)에 의해 조작될 수 있는 물체(예를 들어, 상자, 케이스 및/또는 제품)의 상세한 설명을 포함하는 마스터 데이터(252)를 저장할 수 있다. 하나 이상의 실시형태에서, 마스터 데이터(252)는 각각의 이러한 물체에 대한 등록 데이터(254)를 포함할 수 있다. 등록 데이터(254)는 로봇 시스템(100)에 의해 조작되는 것으로 예상되는 물체에 대한 치수, 형상(예를 들어, 잠재적인 자세를 위한 템플릿 및/또는 상이한 자세로 있는 물체를 인지하기 위한 컴퓨터-생성 모델), 색 배합, 이미지, 식별 정보(예를 들어, 바코드, 신속 응답(QR) 코드, 로고 등, 및/또는 이들의 예상된 위치), 예상된 중량, 다른 물리적/시각적 특성, 또는 이들의 조합을 포함할 수 있다. 일부 실시형태에서, 마스터 데이터(252)는 각각의 물체의 질량 중심(CoM) 위치 또는 그 추정치, 하나 이상의 동작/조작에 대응하는 예상된 센서 측정치(예를 들어, 힘, 회전력, 압력 및/또는 접촉 측정에 대한), 또는 이들의 조합과 같은 물체에 관한 조작 관련 정보를 포함할 수 있다.
통신 디바이스(206)는 네트워크를 통해 외부 또는 원격 디바이스와 통신하도록 구성된 회로를 포함할 수 있다. 예를 들어, 통신 디바이스(206)는 수신기, 송신기, 변조기/복조기(모뎀), 신호 검출기, 신호 인코더/디코더, 커넥터 포트, 네트워크 카드 등을 포함할 수 있다. 통신 디바이스(206)는 하나 이상의 통신 프로토콜(예를 들어, 인터넷 프로토콜(IP), 무선 통신 프로토콜 등)에 따라서 전기 신호를 전송, 수신 및/또는 처리하도록 구성될 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 로봇 시스템(100)의 유닛 사이에서 정보를 교환하고/하거나 정보(예를 들어, 보고, 데이터 수집, 분석 및/또는 고장 진단 목적을 위한)를 로봇 시스템(100)의 외부의 시스템 또는 디바이스와 교환하도록 통신 디바이스(206)를 사용할 수 있다.
입력-출력 디바이스(208)는 작업자에게 정보를 전달하고/하거나 작업자로부터 정보를 수신하도록 구성된 사용자 인터페이스 디바이스를 포함할 수 있다. 예를 들어, 입력-출력 디바이스(208)는 정보를 작업자에게 전달하기 위한 디스플레이(210) 및/또는 다른 출력 디바이스(예를 들어, 스피커, 햅틱 회로 또는 촉각 피드백 디바이스 등)를 포함할 수 있다. 또한, 입력-출력 디바이스(208)는 키보드, 마우스, 터치 스크린, 마이크로폰, 사용자 인터페이스(UI) 센서(예를 들어, 모션 명령을 수신하기 위한 카메라), 웨어러블 입력 디바이스 등과 같은 제어 또는 수신 디바이스를 포함할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 동작, 작업, 작동, 또는 이들의 조합을 실행할 때 작업자와 상호 작용하도록 입력-출력 디바이스(208)를 사용할 수 있다.
로봇 시스템(100)은 모션(예를 들어, 회전 및/또는 병진 변위)을 위하여 관절부에서 연결되는 물리적 또는 구조적 부재(예를 들어, 로봇 조작기 아암)를 포함할 수 있다. 구조적 부재 및 관절부는 로봇 시스템(100)의 사용/작동에 의존하여 하나 이상의 작업(예를 들어, 파지, 회전, 용접 등)을 실행하기 위해 구성된 엔드 이펙터(예를 들어, 그리퍼)를 조작하도록 구성된 운동 사슬(kinetic chain)을 형성할 수 있다. 로봇 시스템(100)은 대응하는 관절부 주위에서 또는 대응하는 관절부에서 구조적 부재를 구동 또는 조작(예를 들어, 변위 및/또는 재배향)하도록 구성된 작동 디바이스(212)(예를 들어, 모터, 액추에이터, 와이어, 인공 근육, 전기 활성 중합체 등)를 포함할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 대응하는 유닛/섀시를 하나의 위치로부터 다른 위치로 이송하도록 구성된 이송 모터(214)를 포함할 수 있다.
로봇 시스템(100)은 구조적 부재를 조작하기 위한 및/또는 로봇 유닛을 이송하기 위한 것과 같은, 작업을 구현하도록 사용되는 정보를 획득하도록 구성된 센서(216)를 포함할 수 있다. 센서(216)는 로봇 시스템(100)(예를 들어, 하나 이상의 구조적 부재/그 관절부의 상태, 조건 및/또는 위치) 및/또는 주변 환경의 하나 이상의 물리적 특성을 검출 또는 측정하도록 구성된 디바이스를 포함할 수 있다. 센서(216)의 일부 예는 가속도계, 자이로스코프, 힘 센서, 스트레인 게이지, 촉각 센서, 토크 센서, 위치 인코더 등을 포함할 수 있다.
일부 실시형태에서, 예를 들어, 센서(216)는 주변 환경을 검출하도록 구성된 하나 이상의 이미징 디바이스(222)(예를 들어, 시각적 및/또는 적외선 카메라, 2D 및/또는 3D 이미징 카메라, 라이다(lidar) 또는 레이더(radar)와 같은 거리 측정 디바이스 등)를 포함할 수 있다. 이미징 디바이스(222)는 기계/컴퓨터 비전을 통해(예를 들어, 자동 검사, 로봇 안내 또는 다른 로봇 애플리케이션을 위해) 처리될 수 있는 디지털 이미지 및/또는 포인트 클라우드(point cloud)와 같은 검출된 환경의 표현을 생성할 수 있다. 다음에 더욱 상세히 설명되는 바와 같이, 로봇 시스템(100)은 (예를 들어, 프로세서(202)를 통해) 도 1의 타깃 물체(112), 도 1의 출발 위치(114), 도 1의 작업 위치(116), 타깃 물체(112)의 자세, 출발 위치(114) 및/또는 자세에 관한 신뢰도 측정, 또는 이들의 조합을 식별하도록 디지털 이미지 및/또는 포인트 클라우드를 처리할 수 있다.
타깃 물체(112)를 조작하기 위해, 로봇 시스템(100)은 (예를 들어, 전술한 다양한 회로/디바이스를 통해) 타깃 물체(112) 및 타깃 물체의 출발 위치(114)를 식별하도록 지정된 영역(예를 들어, 트럭의 내부 또는 컨베이어 벨트 위와 같은 픽업 위치)의 이미지 데이터를 캡처하여 분석할 수 있다. 유사하게, 로봇 시스템(100)은 작업 위치(116)를 식별하도록 다른 지정된 영역(예를 들어, 물체를 컨베이어 상에 배치하기 위한 낙하 위치, 물체를 컨테이너의 내부에 배치하기 위한 위치, 또는 적층 목적을 위한 팔레트 상의 위치)의 이미지를 캡처하여 분석할 수 있다. 예를 들어, 이미징 디바이스(222)는 픽업 영역의 이미지를 생성하도록 구성된 하나 이상의 카메라 및/또는 작업 영역(예를 들어, 낙하 영역)의 이미지를 생성하도록 구성된 하나 이상의 카메라를 포함할 수 있다. 캡처된 데이터에 기초하여, 다음에 설명되는 바와 같이, 로봇 시스템(100)은 출발 위치(114), 작업 위치(116), 관련된 자세, 패킹/배치 계획, 이송/패킹 시퀀스, 또는 다른 처리 결과를 결정할 수 있다. 패킹 알고리즘에 관한 세부 사항이 다음에 설명된다.
일부 실시형태에서, 예를 들어, 센서(216)는 로봇 시스템(100)의 구조적 부재(예를 들어, 로봇 팔 및/또는 엔드 이펙터) 및/또는 대응하는 관절부의 위치를 검출하도록 구성된 위치 센서(224)(예를 들어, 위치 인코더, 전위차계 등)를 포함할 수 있다. 로봇 시스템(100)은 작업의 실행 동안 구조적 부재 및/또는 관절부의 위치 및/또는 배향을 추적하도록 위치 센서(224)를 사용할 수 있다.
목적지 기반 센서를 사용한 물체 이송 및 등록
도 3은 본 기술의 하나 이상의 실시형태에 따른, 도 1의 로봇 시스템(100)의 도면이다. 로봇 시스템(100)은 엔드 이펙터(304)(예를 들어, 그리퍼)를 포함하는 로봇 팔(302)(예를 들어, 도 1의 이송 유닛(104)의 사례)을 포함할 수 있다. 로봇 팔(302)은 도 1의 출발 위치(114)와 도 1의 작업 위치(116) 사이에서 타깃 물체(112)를 이송하도록 구성될 수 있다. 도 3에 도시된 바와 같이, 출발 위치(114)는 그 위에 타깃 스택(310)(예를 들어, 물체의 그룹)이 있는 팔레트(308)를 가질 수 있다. 로봇 팔(302)에 대한 작업 위치(116)는 컨베이어(306)(예를 들어, 도 1의 이송 유닛(106)의 사례) 상의 배치 위치(예를 들어, 시작/출구 지점)일 수 있다. 예를 들어, 로봇 팔(302)은 타깃 스택(310)으로부터 물체를 픽업하고, 다른 목적지/작업으로의 이송을 위해 컨베이어(306)에 물체들을 배치하도록 구성될 수 있다.
로봇 시스템(100)은 로봇 팔(302)을 사용한 이송 작동을 수행할 때 도 2의 센서(216) 중 하나 이상을 사용할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 제1 이미징 센서(312) 및/또는 제2 이미징 센서(314)를 포함할 수 있다. 제1 이미징 센서(312)는 출발 위치(114)를 이미지화하고/하거나 분석하도록 구성된 카메라 및/또는 깊이 센서와 같은 하나 이상의 2D 및/또는 3D 센서를 포함할 수 있다. 제2 이미징 센서(314)는 작업 위치(116)를 이미지화하고/하거나 분석하도록 구성된 카메라 및/또는 깊이 센서와 같은 하나 이상의 2D 및/또는 3D 센서를 포함할 수 있다. 예를 들어, 제1 이미징 센서(312)는, 출발 위치(114) 위의 알려진 위치에 위치되고 출발 위치를 향하는 하나 이상의 카메라 및/또는 깊이 센서를 포함할 수 있다. 제1 이미징 센서(312)는 타깃 스택(310)의 평면 뷰(plan view)와 같은 출발 위치(114)의 하나 이상의 평면 뷰에 대응하는 이미징 데이터를 생성할 수 있다. 또한, 제2 이미징 센서(314)는, 작업 위치(116) 또는 관련 공간 위/이에 대해 측면의 하나 이상의 알려진 위치에 위치되고 작업 위치 또는 관련 공간을 향하는 하나 이상의 카메라 및/또는 깊이 센서를 포함할 수 있다. 따라서, 제2 이미징 센서(314)는 작업 위치(116)로부터 임계 거리에서 또는 임계 거리 내에 있는 타깃 물체(112)의 하나 이상의 평면 뷰 및/또는 측면 뷰에 대응하는 이미징 데이터를 생성할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 물체가 대응하는 감지 라인/평면을 교차하는/떠나는 교차 이벤트를 검출하도록 구성된 하나 이상의 교차 센서(예를 들어, 제1 교차 센서(316) 및/또는 제2 교차 센서(318))를 포함할 수 있다. 예를 들어, 교차 센서는 전송 및/또는 반사된 신호(예를 들어, 광 신호, 레이저 등)에서의 연속성/중단에 기초하여 교차 이벤트를 검출하는 라인 또는 평면 센서에 대응할 수 있다. 일부 실시형태에서, 교차 센서는 감지 라인을 따라서 광 신호를 전송하고, 감지 라인의 단부에서 전송된 신호를 검출 및/또는 반사할 수 있다. 따라서, 교차 센서는 전송된 광 신호를 수신할 때 중단(예를 들어, 불연속성)을 검출할 수 있으며, 이는 감지 라인을 교차/진입하는 물체를 나타내는 진입 이벤트(entry event)에 대응할 수 있다. 유사하게, 교차 센서는 중단의 기간 후에 전송된 신호를 재검출할 수 있으며, 이는 감지 라인을 퇴장하는 물체를 나타내는 퇴장 이벤트(exit event)에 대응할 수 있다. 교차 센서는 중단의 검출, 광 신호의 재 검출 및/또는 그 시퀀스에 기초하여 이벤트 데이터(예를 들어, 플래그, 상태 결정, 교차 방향 및/또는 타임 스탬프)를 생성하고/하거나 통신할 수 있다.
일부 실시형태에서, 제2 교차 센서(318)는 파지된 물체를 해제하도록 사용될 수 있다. 제2 교차 센서(318)는 작업 위치(116) 위에 위치되고/되거나, 사전 결정된 높이에서 감지 라인을 확립할 수 있다. 감지 라인/평면의 높이(예를 들어, 해제 높이)는 물체를 손상시킴이 없이 안전하게 물체를 낙하시키기 위한 것일 수 있다. 예로서, 감지 라인에 대한 높이는 컨베이어(306) 상의 배치 위치보다 10 cm 이하만큼 위에 있을 수 있다. 따라서, 로봇 시스템(100)은 엔드 이펙터(304)로부터 이송된 물체를 해제하도록, 제2 교차 센서(318)에 의해 감지된 교차 이벤트를 트리거로서 사용할 수 있다. 일부 실시형태에서, 해제 높이는 제1 교차 센서(316)의 감지 라인/평면과 겹치거나 이와 일치될 수 있다. 다른 실시형태에서, 해제 높이는 제1 교차 센서(316)의 감지 라인/평면의 수직 위치와 작업 위치(116)의 배치 표면(예를 들어, 컨베이어(306) 상의 배치 표면) 사이에 있을 수 있다. 즉, 제1 교차 센서(316)를 위한 감지 라인/평면은 제2 교차 센서(318)에 대응하는 해제 높이 위에 위치될 수 있다.
일부 실시형태에서, 제1 교차 센서(316)는 이송 동안 타깃 물체(112)의 높이를 측정하도록 사용될 수 있다. 예를 들어, 로봇 시스템(100)은 제1 교차 센서(316)에 의해 검출된 바와 같은 진입 이벤트의 시간에 그리퍼 높이(322)(예를 들어, 지면과 같은 기준 지점에 대한 엔드 이펙터(304)의 수직 위치/장소/좌표)를 결정할 수 있다. 로봇 시스템(100)은 이송되는 타깃 물체(112)의 물체 높이를 계산하기 위해 그리퍼 높이(322)를 교차 기준 높이(324)(예를 들어, 제1 교차 센서(316)의 공지된 수직 위치 및/또는 그 기준 라인/평면)와 비교할 수 있다. 즉, 제1 교차 센서(316)는 타깃 물체(112)의 바닥 부분이 감지 라인을 교차하는 시간을 나타내는 트리거로서 작용할 수 있다. 따라서, 로봇 시스템(100)은 타깃 물체(112)에 대한 물체 높이를 계산하기 위해 이러한 시점에서의 그리퍼 높이(322) 및 감지 라인의 공지된 높이를 사용할 수 있다. 일부 실시형태에서, 제1 교차 센서(316)는 타깃 물체(112)의 바닥 부분이 감지 라인을 교차할 때 데이터를 수집하기 위해 제2 이미징 센서(314)(예를 들어, 작업 위치(116)를 향해 수평으로 향하는 카메라)의 하나 이상의 사례를 트리거링할 수 있다. 따라서, 로봇 시스템(100)은 상이한 관점(예를 들어, 측면 또는 프로파일 뷰/이미지, 상이한 치수에 따르는 형상 측정 등)으로부터 물체에 관한 데이터를 획득할 수 있다.
예시 목적을 위해, 제1 교차 센서(316)는 컨베이어(306)에 부착된 것으로 도시되어 있다. 그러나, 제1 교차 센서(316)가 다르게 구성될 수 있다는 것이 이해된다. 예를 들어, 제1 교차 센서(316)는 작업 위치(116)에 있는 임의의 장치로부터 분리 및/또는 독립적일 수 있다. 제1 교차 센서(316)는 작업 위치(116) 위에 있는(예를 들어, 교차 기준 기준 높이(324)에 있는) 및/또는 작업 위치와 겹치는 라인/평면에 대한 교차 이벤트를 검출하도록 구성될 수 있다. 일부 실시형태에서, 제1 교차 센서(316)는, 측 방향으로/수평으로 연장되고 비교적 짧은 거리(예를 들어, 10 ㎝와 같은 1 m 미만)만큼 배치 표면/위치 위에 있는 라인/평면에 대한 교차 이벤트를 검출하도록 구성될 수 있다. 하나 이상의 실시형태에서, 로봇 시스템(100)이 물체 높이를 결정하고 하나의 교차 이벤트에 기초하여 물체를 해제하도록, 제1 교차 센서(316) 및 제2 교차 센서(318)의 기능은 조합될 수 있다.
제1 교차 센서(316) 및/또는 제2 이미징 센서(314)(예를 들어, 수평으로 향하는 카메라)는 이송 동안 물체(예를 들어, 미인식된 물체)의 추가 데이터를 제공한다. 전술한 바와 같이, 제1 교차 센서(316)는 물체를 이송할 때 어떠한 추가적인 조작/이동없이 이송된 물체의 물체 높이를 계산하도록 사용될 수 있다. 또한 물체를 들어올린 후의 물체 높이를 결정하는 것은 물체가 다른 물체의 상부에 놓여 있을 때 일부 물체가 변형될 수 있기 때문에 높이 측정치에서 증가된 정확도를 제공한다. 즉, 물체가 들어올려지고/현수될 때 물체의 형상과 임의의 대응하는 치수는 변할 수 있다. 예를 들어, 현수될 때, 물체 프로파일 및/또는 대응하는 높이(예를 들어, 엔드 이펙터(304)로부터 물체의 바닥 부분까지의 거리)는 플라스틱 포장으로 포장된 의류 기반 또는 고무 기반 품목과 같이 패키지에서의 강성 결핍으로 인해 변할 수 있다. 이송 동안 물체 높이를 결정하기 위해 교차 센서(예를 들어, 제1 교차 센서(316))를 사용하는 것에 의해, 로봇 시스템(100)은 이송 동안 물체의 형상/치수에서의 임의의 변화를 (예를 들어, 모션 계획을 통해) 정확하게 설명할 수 있다. 그러므로, 로봇 시스템(100)은 물체를 이송할 때 실제 물체 높이(예를 들어, 휴지 높이 대신에 현수될 때 물체의 높이)를 사용하고, 이에 의해 형상에서의 변화로 인해 발생할 수 있는 임의의 충돌을 감소/제거할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 이송된 물체의 흔들림(swaying) 또는 계류 모션(pendulating motion)을 감소시키기 위해 실제 물체 높이에 따라서 이송 속도, 이송 가속도, 또는 이들의 조합을 조정할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 미인식된 물체를 등록하기 위해 휴지 물체 높이 및/또는 이송 물체 높이를 사용할 수 있다.
또한, 제1 교차 센서(316)는 제1 이미징 센서(312) 및/또는 the 제2 이미징 센서(314)에 의해 검출될 수 없는 물체에 관한 추가 정보(예를 들어, 하나 이상의 수직 표면/가장자리 및/또는 프로파일 형상의 2D/3D 이미지)를 획득하기 위해 추가 센서를 트리거링할 수 있다. 다음에 상세히 설명되는 바와 같이, 물체 높이 및/또는 추가 정보는 미인식된 물체의 도 2의 등록 데이터(254)를 생성하기 위해 사용될 수 있다. 따라서, 로봇 시스템(100)은 이송 작업을 방해함이 없이 다른 유사한 물체의 후속 인식의 가능성을 증가시키고/시키거나 물체를 추가로 조작할 때 정확도를 증가시키도록 사용될 수 있는, 미인식된 물체에 관한 더욱 많은 정보를 획득할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 상부 표면에 추가하여 물체의 다른 표면(예를 들어, 수직 표면/치수)을 분석하는 것에 의해 물체를 재분석하고 인식하기 위해 물체 높이 및/또는 추가 정보를 사용할 수 있다. 따라서, 로봇 시스템(100)은 미인식된 상자의 수 또는 부정 오류 결과(false negative results)를 감소시킬 수 있다.
물체 인식
모두 본 기술의 하나 이상의 실시형태에 따른, 도 4a는 도 1의 로봇 시스템(100)에 의해 처리된 물체의 예시적인 스택(예를 들어, 도 3의 타깃 스택(310))의 도면이며; 도 4b는 예시적인 스택의 상부 표면의 도면(예를 들어, 타깃 스택(310)의 실제 평면 뷰(410))이며; 도 4c는 상부 표면에 대응하는 센서 데이터(예를 들어, 평면 뷰 데이터(420))의 도면이다. 도 4a, 도 4b, 및 도 4c를 함께 참조하면, 로봇 시스템(100)은 전술한 바와 같이, 타깃 스택(310) 내의 물체를 도 1의 작업 위치(116)(예를 들어, 도 3의 컨베이어(306))와 같은 다른 위치로 이송하도록 구성될 수 있다. 물체를 이송하기 위해, 로봇 시스템(100)은 타깃 스택(310) 위에 위치된 도 3의 제1 이미징 센서(312)로부터의 이미지 데이터(예를 들어, 평면 뷰 데이터(420))를 사용할 수 있다. 예를 들어, 평면 뷰 데이터(420)는 실제 평면 뷰(410)를 묘사하거나 나타내는 하나 이상의 시각적 이미지 및/또는 하나 이상의 깊이 맵을 포함할 수 있다. 또한, 로봇 시스템(100)은 물체 경계에 대응할 수 있는 가장자리를 식별하기 위해 평면 뷰 데이터(420)를 분석한다. 예를 들어, 로봇 시스템(100)은 깊이 측정치 및/또는 이미지 속성(image traits)에서의 차이(예를 들어, 상이한 색상, 선형 패턴, 음영, 선명도에서의 차이 등)에 기초하여 이미지 데이터에서 나타난 가장자리 및/또는 연속 표면을 식별할 수 있다. 또한, 로봇 시스템(100)은 깊이 측정치에서의 차이에 기초하여 노출된 가장자리(422)(예를 들어, 실질적으로 동일한 높이에서 다른 물체/표면에 수평으로 접하지 않는 물체 상부 표면의 가장자리)를 식별할 수 있다.
타깃 스택(310)은 도 2의 마스터 데이터(252)에 등록된 물체 및/또는 마스터 데이터(252)에 등록되지 않은 미예측된 물체를 포함할 수 있다. 이와 같이, 로봇 시스템(100)은 타깃 스택(310) 내에 있는 물체를 인식하거나 또는 식별하기 위해 물체 표면(416)의 이미지 데이터를 사용할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 타깃 스택(310) 내의 물체를 인식하기 위해 이미지 데이터 또는 그 안의 하나 이상의 부분을 마스터 데이터(252)(예를 들어, 물체 표면(416)에 대응하는 그 안에 있는 도 2의 다양한 등록 데이터(254))와 비교할 수 있다. 예를 들어, 로봇 시스템(100)은 평면 뷰 데이터(420)의 일부분이 등록 데이터(254)에 있는 물체 표면(416)의 하나 이상의 이미지와 일치할 때 타깃 스택(310) 내의 공지된 물체(예를 들어, 인식된 물체(412))를 식별할 수 있다. 실제 평면 뷰(410)의 나머지 부분(예를 들어, 등록 데이터(254)와 일치하지 않는 부분)은 미인식된 물체(414)에 대응할 수 있다. 미인식된 물체(414)의 가장자리는 도 4c에서 점선을 사용하여 도시되어 있다.
이미지 데이터의 일치에 기초하여, 로봇 시스템(100)은 대응하는 이미지 데이터 내에서 인식된 물체(412)의 위치를 찾을 수 있으며, 대응하는 이미지 데이터는 타깃 스택(310)에 대한 실제 위치로 추가로 변환될 수 있다. 또한, 로봇 시스템(100)은 일치에 기초하여 인식된 물체(412)의 미노출된 가장자리의 위치를 추정할 수 있다. 예를 들어, 로봇 시스템(100)은 마스터 데이터(252)로부터 인식된 물체(412)의 치수를 획득할 수 있다. 로봇 시스템(100)은 인식된 물체(412)의 노출된 가장자리(422)로부터 공지된 치수만큼 분리된 이미지 데이터의 부분을 측정할 수 있다. 매핑에 따르면, 로봇 시스템(100)은 인식된 물체(412)에 대한 하나 이상의 등록 기반 가장자리(424)를 결정할 수 있고/있거나, 전술한 바와 유사하게 등록 기반 가장자리(424)를 (예를 들어, 사전 교정된 테이블 및/또는 픽셀 위치를 좌표계에 매핑하는 방정식을 통해) 실제 위치에 유사하게 매핑할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 이미지 데이터에서 표현된 바와 같이 타깃 스택(310)의 노출된 외부 모서리(426)를 식별할 수 있다. 예를 들어, 로봇 시스템(100)은 상이한 배향을 갖는(예를 들어, 상이한 각도로 연장되는) 2개 이상의 노출된 가장자리(422) 사이의 교차점/합류점(junction)을 검출하는 것에 기초하여 노출된 외부 모서리(426)를 식별할 수 있다. 하나 이상의 실시형태에서, 로봇 시스템(100)은 노출된 가장자리(422)가 약 90°의 임계 범위에 대한 것과 같이 사전 결정된 범위 내에 있는 각도를 형성할 때 노출된 외부 모서리(426)를 식별할 수 있다. 다음에 상세히 설명되는 바와 같이, 로봇 시스템(100)은 미인식된 물체(414)를 처리 및/또는 조작하기 위해 노출된 외부 모서리(426) 및 대응하는 노출된 가장자리(422)를 사용할 수 있다.
미인식된 물체의 처리
일부 실시형태에서, 로봇 시스템(100)은 타깃 스택(310) 내의 물체의 인식 상태 및/또는 상대적 위치에 따라서 물체를 처리할 수 있다(예를 들어, 식별 및/또는 이송할 수 있다). 예를 들어, 로봇 시스템(100)은 인식된 물체를 먼저 픽업하고 이송하며, 그런 다음 센서(예를 들어, 도 3의 제1 이미징 센서(312))로부터 다른 세트의 이미지 데이터를 생성한다. 도 5a는 본 기술의 하나 이상의 실시형태에 따른 초기 세트의 작동(예를 들어, 인식된 물체(412)를 픽업 및 이송) 이후의 상부 표면에 대응하는 센서 데이터(501)의 도면이다. 도 5a에서 음영 처리된 영역은 도 4b 및 도 4c에 도시된 인식된 물체(412)의 제거 후의 깊이 측정치에서의 변화에 대응한다.
로봇 시스템(100)이 이미지 데이터에서 임의의 인식된 물체(412)를 식별하지 못할 때, 로봇 시스템(100)은 도 4a의 미인식된 물체(414)의 위치를 찾기 위해 임의의 노출된 모서리 및/또는 노출된 가장자리(422)를 식별할 수 있다. 예를 들어, 로봇 시스템(100)은 노출된 외부 모서리(426) 및/또는 노출된 가장자리(422)를 식별하기 위해 전술한 바와 유사하게 센서 데이터(501)를 처리할 수 있다. 따라서, 로봇 시스템(100)은 인식된 물체(412)를 제거한 후 노출된 임의의 모서리/가장자리를 추가적으로 식별하고/하거나 그 위치를 찾을 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 대응하는 임계값에 따라서 도 4b의 노출된 가장자리(422) 중 2개 이상 사이의 교차점/합류점으로서, 노출된 내부 모서리(502)를 추가로 식별할 수 있다. 예를 들어, 로봇 시스템(100)은 대응하는 연속 표면에 대해 180°를 초과하는 노출된 가장자리(422) 중 2개 이상 사이의 합류점으로서 노출된 내부 모서리(502)를 식별할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 노출된 가장자리(422)가 약 270°의 임계 범위 내에 있는 각도를 형성할 때 노출된 내부 모서리(502)를 식별할 수 있다.
일부 실시형태에서, 인식된 물체(412) 중 어느 것도 남아있지 않을 때, 로봇 시스템(100)은 노출된 모서리 및/또는 노출된 가장자리에 기초하여 타깃 스택(310)에서(예를 들어, 미인식된 물체(414) 중에서) 등록 타깃(506)을 식별할 수 있다. 예를 들어, 로봇 시스템(100)은 센서 데이터(501)의 영역, 및 노출된 외부 모서리(426)와 관련된 대응하는 미인식된 물체(414)를 선택할 수 있다. 즉, 인식된 물체(412)를 처리한 후, 로봇 시스템(100)은 타깃 스택(310)의 노출된 외부 모서리(426)를 형성/구성하는 미인식된 물체(414)를 처리할 수 있다. 센서 데이터(501)의 대응하는 부분을 분석하는 것에 기초하여, 로봇 시스템(100)은 미인식된 물체(414)를 파지하고, 파지된 물체를 들어올리고, 그리고/또는 수평으로 이송하고, 그리고/또는 등록 목적을 위해 파지된 물체를 이미지화한다. 추가로, 파지된 물체를 이미지화한 후, 로봇 시스템(100)은 파지된 물체를 목적지(예를 들어, 도 3의 컨베이어(306))로 이송할 수 있다.
센서 데이터 분석을 더 설명하기 위해, 도 5b는 본 기술의 하나 이상의 실시형태에 따른 도 5a의 센서 데이터(501)의 부분(5B)의 상세한 도면이다. 로봇 시스템(100)은 파지 위치(520)를 결정하기 위해 MVR(512)에 따라서 센서 데이터(501)를 분석할 수 있다. MVR(512)은 물체를 접촉하고, 파지하고/하거나 들어올리는데 필요한 최소 크기의 영역을 나타낼 수 있다. 따라서, 일부 실시형태에서, MVR(512)은 도 3의 엔드 이펙터(304)에 기초할 수 있다. 예를 들어, MVR(512)은 엔드 이펙터(304)가 차지하는 영역(예를 들어, 그리퍼의 흡입 컵), 또는 풋프린트를 둘러싸는 추가/버퍼 영역이 있는 영역과 같은 엔드 이펙터(304)의 풋프린트와 관련될 수 있다. 일부 실시형태에서, MVR(512)은 타깃 스택(310)에 있는 물체의 가능한 가장 작은 사례에 대한 물리적 치수(예를 들어, 길이, 폭, 높이, 직경, 원주 등)에 대응할 수 있는 최소 후보 크기에 대응할 수 있다. 즉, 타깃 스택(310) 내의 어떤 물체도 최소 후보 크기보다 작은 치수를 가지지 않을 것이다. 최소 후보 크기는 사전 결정된 값(즉, 타깃 스택(310)을 처리하기 전에 제공된 값)일 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 대응하는 표면(예를 들어, 서로로부터 임계 범위 내에 있는 높이/깊이 값을 갖는 영역) 위에 있는 노출된 가장자리(422)로부터 2개 이상의 교차 라인을 연장시키는 것에 기초하여 MVR(512)을 도출할 수 있다. 예를 들어, 로봇 시스템(100)은 노출된 외부 모서리(426) 주위의 노출된 가장자리(422)로부터 연장되는 직각 라인들에 기초하여 MVR(512)을 도출할 수 있다. 라인들은 노출된 외부 모서리(426)로부터의 분리 거리에 대응하는 노출된 가장자리(422) 상의 일부분(예를 들어, 점)으로부터 연장될 수 있다. 분리 거리는 사전 결정된 값, 및/또는 하나 이상의 처리 결과(예를 들어, 추정된 가장자리(524) 또는 대응하는 신뢰 값 및/또는 대응하는 물체 또는 대응하는 신뢰 값의 추정된 식별)에 따라서 계산된 값일 수 있다. 따라서, 로봇 시스템(100)은 연장된 라인 및 노출된 가장자리(422)에 의해 한정된 영역으로서 MVR(512)을 도출할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 MVR(512)을 사용하여 잠재적인 파지 위치의 세트를 도출할 수 있다. 예를 들어, 로봇 시스템(100)은 제1 노출된 가장자리에 정렬된 MVR(512)의 치수를 가진 제1 파지 위치, 및 제2 노출된 가장자리에 정렬된 치수를 가진 제2 파지 위치를 도출할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 노출된 가장자리 중 하나에 정렬된 MVR(512)을 사용하여 하나 보다 많은 파지 위치를 도출할 수 있다.
로봇 시스템(100)은 파지 위치(520)를 결정하기 위해 MVR(512)을 사용할 수 있다. 파지 위치(520)는 초기 조작을 위해 엔드 이펙터(304) 바로 아래 있을 및/또는 이와 접촉할 물체/스택 상의 영역에 대응할 수 있다. 즉, 로봇 시스템(100)은 후속 조작(예를 들어, 들어올림, 수평 이송, 및/또는 등록을 위한 데이터 수집 프로세스)을 위해 대응하는 물체를 파지하기 위해 파지 위치(520) 위에 그리퍼를 배치할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 잠재적인 파지 위치의 세트로부터 파지 위치(520)를 선택할 수 있다. 예를 들어, 로봇 시스템(100)은 팔의 상대적인 배향에 따라서 (예를 들어, 로봇 팔이 노출된 가장자리(422)를 가로질러 연장되고 다른 부분과 겹치지 않는 것이 선호됨에 따라서) 상기 세트로부터 선택할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 검출된 라인(522) 및/또는 추정된 가장자리(524)에 기초하여 파지 위치(520)를 도출할 수 있다. 예를 들어, 로봇 시스템(100)은 센서 데이터(501)에서의 깊이 측정 및/또는 이미지 속성의 차이에 기초하여 검출된 라인(522) 및/또는 추정된 가장자리(524)를 식별할 수 있다. 로봇 시스템(100)은 노출된 가장자리(422)를 교차하지 않는 결과를, 물체의 표면 마킹 또는 물체 가장자리 내의 라인에 대응하는 검출된 라인(522)으로서 식별할 수 있다. 로봇 시스템(100)은 적어도 하나의 노출된 가장자리(422)와 교차하는 결과를 추정된 가장자리(524)로서 식별할 수 있다. 따라서, 로봇 시스템(100)은 검출된 라인(522) 및/또는 추정된 가장자리(524)와 겹치지 않는 파지 위치(520)를 도출할 수 있다. 로봇 시스템(100)은 MVR(512)의 가장자리와 가장 가까운 검출된 라인(522) 및/또는 추정된 가장자리(524) 사이의 거리 사이의 비율의 균형에 기초하여 파지 위치(520)를 도출할 수 있다. 로봇 시스템(100)이 MVR(512)에 기초한 모서리에 있거나 또는 모서리 주위에 있는 물체를 파지할 것이기 때문에, 로봇 시스템(100)은 비율의 균형에 기초하여 임의의 하나의 특정 방향을 따라서 최대의 잠재적 토크를 감소시킬 파지 위치(520)를 도출할 수 있다.
로봇 시스템(100)은 도 3의 로봇 팔(302) 및 엔드 이펙터(304)를 조작하기 위해 도출된 파지 위치(520)를 사용할 수 있다. 로봇 시스템(100)은 파지 위치(520)에 있는 스택의 모서리에 위치된 물체(예를 들어, 등록 타깃(506))를 파지할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 이전에 노출되지 않은 가장자리를 명확하게 구별하기 위해 파지된 물체를 들어올리고 그리고/또는 수평으로 이송할 수 있다. 예를 들어, 로봇 시스템(100)은 가장자리를 정확하게 구별하기 위해 최소 거리에 대응하는 사전 결정된 높이만큼 물체를 들어올리고 그리고/또는 수평으로 이송할 수 있다. 또한, 예를 들어, 로봇 시스템(100)은 노출된 가장자리(422) 반대편의 추가 가장자리가 인식 가능하게 되도록 엔드 이펙터에서의 높이 변화 및/또는 기울기를 모니터링하고 그리고/또는 분석하면서 물체를 들어올리고 그리고/또는 수평으로 이송할 수 있다. 로봇 시스템(100)은 미인식된 물체(414)를 더욱 설명하기 위해 초기 들어올림 동안 및/또는 후에 데이터를 획득하고 처리할 수 있다.
미인식된 물체에 대한 등록 데이터 수집
도 6은 본 기술의 하나 이상의 실시형태에 따른 초기 들어올림 조작 후의 물체의 도면이다. 전술되고 다음에 더욱 상세히 설명되는 바와 같이, 로봇 시스템(100)은 이송 작동 동안 물체의 높이(예를 들어, 초기 휴지 자세, 이송 자세, 및/또는 최종 배치 자세에 대해 수직 방향을 따라서 측정된 물체 높이(620))를 도출할 수 있다. 물체 높이(620)는 등록 목적을 위해 및/또는 이송 작동(예를 들어, 가속도, 속도 및/또는 이동 경로)을 조정하기 위해 사용될 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 외부 물체(예를 들어, 파지된 물체) 및/또는 그 움직임으로 인해 도 3의 로봇 팔(302)에 가해지는 힘을 측정하도록 구성된 하나 이상의 센서를 포함할 수 있다. 예를 들어, 로봇 시스템(100)은 엔드 이펙터(304)에 부착된 및/또는 이에 통합된 힘 센서, 토크 센서, 또는 이들의 조합(예를 들어, 힘-토크(FT) 센서(602))을 포함할 수 있다. 따라서, 로봇 시스템(100)은 도 5의 파지 위치(520)에서 파지된 물체(예를 들어, 등록 타깃(506)으로서 결정된 도 4의 미인식된 물체(414) 중 하나)를 들어올리는 동안 하향 힘 측정치(604) 및/또는 토크 측정치(606)를 측정할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 등록 타깃(506)의 중량을 결정하기 위해 하향 힘 측정치(604)를 사용할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 등록 타깃(506)에 대한 추정된 토크-아암 벡터(608) 및/또는 추정된 질량 중심(CoM)(610)을 계산하기 위해 하향 힘 측정치(604) 및/또는 토크 측정치(606)를 사용할 수 있다. 추정된 토크-아암 벡터(608)는 FT 센서(602)에 의해 제공된 측정 벡터의 합에 대응할 수 있다. 로봇 시스템(100)은 추정된 토크-아암 벡터(608), 토크 측정치(606), 및/또는 하향 힘 측정치(604)를 입력으로서 사용하는 사전 결정된 프로세스 및/또는 방정식에 따라서 추정된 CoM(610)을 계산할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 초기 들어올림 조작을 수행하기 위한 피드백 신호로서 센서 측정치를 사용할 수 있다. 예를 들어, 로봇 시스템(100)은 하향 힘 측정치(604) 및/또는 토크 측정치(606)가 안정화될 때까지(예를 들어, 측정 기간 동안의 측정치가 임계 범위 내에 있을 때까지) 초기 들어올림 조작을 수행할 수 있다. 따라서, 로봇 시스템(100)은 파지된 물체가 물체 또는 그 아래에 있는 구조물로부터 들어올려지고(즉, 더 이상 지지되지 않고) 로봇 팔(302)에 의해서만 지지될 때를 결정할 수 있다. 로봇 시스템(100)은, 초기 들어올림 조작을 중단하고/하거나 파지된 물체에 관한 추가 데이터(예를 들어, 치수, 중량, CoM 및/또는 표면 이미지)를 획득하기 위해 결정된 안정화를 트리거로서 사용할 수 있다.
파지된 물체(예를 들어, 도 4b의 미인식된 물체(414))에 관하여 획득된 데이터를 추가로 설명하기 위해, 모두 본 기술의 하나 이상의 실시형태에 따른, 도 7a는 비교 데이터(702)의 도면이고, 도 7b는 업데이트된 데이터(740)의 도면이다. 전술한 바와 같이, 로봇 시스템(100)은 도 5b의 MVR(512)에 기초하여 미인식된 물체(414)를 파지할 수 있다. 파지에 기초하여, 로봇 시스템(100)은 파지된 물체를 들어올리고(예를 들어, 초기 들어올림 조작을 통해) 및/또는 수평으로 이송할 수 있고, 이에 의해 인접하고 접한 물체로부터 파지된 물체를 분리할 수 있다. 로봇 시스템(100)은 파지된 물체를 들어올리고 그리고/또는 수평으로 이송한 후에 비교 데이터(702)(예를 들어, 시각적 이미지, 깊이 맵, 포인트 클라우드 등과 같은 2D/3D 측정 데이터)를 획득할 수 있다. 일부 실시형태에서, 비교 데이터(702)는 도 3의 제1 이미징 센서(312)와 같은, 도 2의 센서(216) 중 하나 이상을 통해 획득될 수 있다.
로봇 시스템(100)은 초기 센서 데이터(예를 들어, 도 4c의 평면 뷰 데이터(420) 및/또는 물체를 들어올리기 전에 획득된 도 5a의 센서 데이터(501)) 및/또는 비교 데이터(702)에 기초하여 미인식된 물체(414)의 업데이트된 이미지(예를 들어, 업데이트된 데이터(740))를 추가로 생성할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 초기 들어올림 조작 전후에 시각적 또는 2D 이미지를 조합하는 것에 기초하여 업데이트된 데이터(740)를 생성할 수 있다. 예를 들어, 로봇 시스템(100)은 평면 뷰 데이터(420) 및/또는 MVR(512) 및/또는 파지 위치(520)에 대응하는 센서 데이터(501)로부터 잘린 부분(cropped portion)(734)을 도출할 수 있다. 로봇 시스템(100)은, MVR(512) 및/또는 파지 위치(520)를 캡처된 이미지에 매핑하고 대응하는 영역에서의 픽셀 정보를 복사하는 것에 기초하여 잘린 부분(734)을 도출할 수 있다. 로봇 시스템(100)은 비교 데이터(702) 위에 잘린 부분(734)을 겹치는 것에 기초하여 업데이트된 데이터(740)를 생성할 수 있다. 업데이트된 데이터(740)에 관련된 잘린 부분(734)의 위치는 노출된 외부 모서리(426) 및 노출된 가장자리(422)를 기준으로서 사용하여 결정될 수 있다. 따라서, 로봇 시스템(100)은 도 3의 로봇 팔(302) 및/또는 도 3의 엔드 이펙터(304)를 묘사하는 비교 데이터(702) 내의 영역을 커버하기 위해 잘린 부분(734)을 사용할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 비교 데이터(702)로부터 미커버 부분(732)을 도출할 수 있다. 미커버 부분(732)은 엔드 이펙터(304) 및/또는 로봇 팔(302)에 의해 커버되지 않은 미인식된 물체(414)의 상부 표면에 대응할 수 있다. 로봇 시스템(100)은 미커버 부분(732)을 도출하기 위해 엔드 이펙터(304) 및/또는 로봇 팔(302)의 하나 이상의 사전 결정된 시각/픽셀 패턴을 사용할 수 있다. 예를 들어, 로봇 시스템(100)은 사전 결정된 시각적/픽셀 패턴과 일치하는 비교 데이터(702)의 부분을 인식하고 제거하는 것에 기초하여 미커버 부분(732)을 도출할 수 있다. 로봇 시스템(100)은 업데이트된 데이터(740)를 생성하기 위해 미커버 부분(732)을 잘린 부분(734)과 조합할 수 있다.
로봇 시스템(100)은 파지된 물체의 하나 이상의 물리적 특성에 관한 정보를 획득하기 위해 비교 데이터(702) 및/또는 업데이트된 데이터(740)를 처리할 수 있다. 예를 들어, 로봇 시스템(100)은 발견된 가장자리(722), 발견된 모서리(726), 가장자리 길이 측정치(728) 및/또는 모서리 각도 측정치(730)를 포함하는 비교 데이터(702)를 물체의 윤곽/형상을 위해 처리할 수 있다. 로봇 시스템(100)은 대응하는 노출된 가장자리(422) 반대편에서 발견된 가장자리(722)를 결정하기 위해 전술한 하나 이상의 가장자리 검출 방식을 사용할 수 있다. MVR(512)에 따라서 도출 및 파지에 기초하여 미인식된 물체(414)를 상승시키는 것은 들어올려진 물체의 상부 표면과 주변 물체/표면 사이의 높이 차이를 생성한다. 높이 차이는 발견된 가장자리(722)를 명확하게 결정하도록 사용될 수 있다. 로봇 시스템(100)은 노출된 가장자리(422)로부터 연장되는 가장자리를 탐색하는 것에 기초하여 발견된 가장자리(722)를 결정할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 직사각형 상부 표면을 갖는 직사각형 상자/패키지와 같이, 대략 직각으로 노출된 가장자리(422)로부터 연장되는 가장자리들을 결정하는 것에 기초하여 발견된 가장자리(722)를 결정할 수 있다.
로봇 시스템(100)은 상이한 배향을 갖는 발견된 가장자리(722) 중 2개 이상이 교차하는 합류점으로서, 발견된 모서리(726)를 결정할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 사전 결정된 함수 또는 방정식에 따라서 발견된 모서리(726)의 각도(예를 들어, 모서리 각도 측정치(730))를 결정할 수 있다.
발견된 가장자리(722)를 결정하는 것에 기초하여, 로봇 시스템(100)은 발견된 가장자리(722) 및/또는 노출된 가장자리(422)에 대한 가장자리 길이 측정치(728)(예를 들어, 물체 치수)를 계산할 수 있다. 로봇 시스템(100)은 하나 이상의 사전 결정된 매핑 함수/방정식에 따라서, 캡처된 이미지(예를 들어, 비교 데이터(702) 및/또는 센서 데이터(501))에서의 가장자리의 길이를 결정하고 이미지에서의 길이를 실제 길이로 변환하는 것에 기초하여 가장자리 길이 측정치(728)를 계산할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 비교 데이터(702)에 기초하여 가장자리 길이 측정치(728)를 결정하고, 업데이트된 데이터(740)를 생성하기 위해 가장자리 길이 측정치(728)를 사용할 수 있다. 예를 들어, 평면 뷰 데이터(420) 및/또는 센서 데이터(501)의 일부분을 잘라낼 때, 로봇 시스템(100)은 MVR(512)의 하나 이상의 경계를 넘어서 대응하는 가장자리 길이 측정치(728)까지 연장될 수 있다. 노출된 가장자리/모서리에 따라서 일부 물체를 들어올릴 때, 로봇 팔(302)은 노출된 모서리가 로봇 베이스의 반대편에 위치될 때와 같이 비교 데이터(702)에서 들어올려진 물체의 부분을 가릴 수 있다. 따라서, 로봇 시스템(100)은 노출된 모서리/가장자리 및/또는 가장자리 길이 측정치(728)에 관련된 가려진 영역을 결정하고, 평면 뷰 데이터(420) 및/또는 센서 데이터(501)로부터 대응하는 부분을 잘라낼 수 있다. 전술한 바와 같이, 로봇 시스템(100)은 노출된 모서리/가장자리 및/또는 가장자리 길이 측정치(728)를 기준으로서 사용하여 가려진 영역을 대체하기 위해 잘린 부분과 겹칠 수 있다. 로봇 시스템(100)은 비교 데이터(702)에서 가려진 부분과 겹치거나 또는 이를 대체하는 초기 이미지(예를 들어, 들어올리기 전에 획득된 제1 이미지)로부터 잘린 부분과 조합된 이미지로서 업데이트된 데이터(740)를 생성할 수 있다.
전술한 처리 결과 중 하나 이상에 기초하여, 로봇 시스템(100)은 대응하는 물체(예를 들어, 미인식된 물체(414))에 대한 등록 데이터(254)를 생성할 수 있다. 예를 들어, 타깃 스택(310) 또는 그 일부분(예를 들어, 상부층)이 하나 이상의 미인식된 물체(414)를 포함한다고 로봇 시스템(100)이 결정할 때, 로봇 시스템(100)은 미인식된 물체(414) 중 하나를 등록 타깃(506)으로서 선택하고, 등록 타깃(506)을 조작하고/하거나, 전술한 바와 같이 등록 타깃(506)에 관한 데이터를 획득한다. 또한, 로봇 시스템(100)은 등록 타깃(506)에 대한 등록 데이터(254)의 새로운 사례(예를 들어, 도 2의 마스터 데이터(252)의 새로운 엔트리(entry) 또는 기록)를 생성하기 위해 사전 결정된 프로토콜/포맷을 따를 수 있다. 따라서, 로봇 시스템(100)은 획득된 데이터를 등록 데이터(254)의 새로운 사례에 저장할 수 있다. 예를 들어, 로봇 시스템(100)은 하향 힘 측정치(604)를 중량으로서, 추정 CoM(610)을 CoM으로서, 가장자리 길이 측정치(728)를 수평 치수로서, 모서리 각도 측정치(730) 또는 그 파생물을 수평 형상으로서, 업데이트된 데이터(740)를 표면 이미지로서, 또는 등록 타깃(506)에 관한 이들의 조합을 저장할 수 있다.
비교 데이터(702)와 초기 데이터에 기초한 업데이트된 데이터(740)는 향상된 물체 인식을 제공한다. 등록 타깃(506)을 들어올린 후에 획득된 비교 데이터(702)를, 업데이트된 데이터(740)를 생성하기 위한 기초로서 사용하는 것은 물체 가장자리의 정확한 결정으로 이어진다. 물체 가장자리를 결정할 때 증가된 정확도는 표면 이미지와 전술한 다양한 측정치를 결정할 때 증가된 정확도를 또한 제공한다. 획득된 데이터 및 표면 이미지에서의 개선된 정확도는 대응하는 등록 데이터(254)에 기초하여 동일한 유형의 물체를 후속적으로 인식할 가능성을 더욱 증가시킨다. 일부 실시형태에서, 비교 데이터(702)를 획득하고 처리하는 것은 초기 데이터만 처리하거나 또는 스택의 상태를 처리하는 것에 비해 측정치 및 표면 이미지에서의 개선된 정확도를 제공한다. 초기 들어올림 및/또는 수평 이송이 등록 타깃(506)을 둘러싼 물체를 방해하거나 이동시킬 수 있기 때문에, 초기 들어올림 및/또는 수평 이송 후에 남아있는 스택 대신에 등록 타깃(506)을 직접 분석하는 것은 향상된 정확도를 제공한다.
목적지 기반 센서를 사용하여 등록하기 위한 작동 흐름
도 8은 본 기술의 하나 이상의 실시형태에 따른 도 1의 로봇 시스템(100)을 작동시키는 방법(800)에 대한 흐름도이다. 방법(800)은 알려지지 않은 물체(예를 들어, 도 4b의 미인식된 물체(414))를 등록하기 위한 것일 수 있다. 일부 실시형태에서, 방법(800)은 도 1의 출발 위치(114)(예를 들어, 도 3의 타깃 스택(310))로부터 도 1의 작업 위치(116)(예를 들어, 도 3의 컨베이어(306))로 미인식된 물체(414)를 이송하는 동안 또는 그 일부로서 미인식된 물체(414)를 등록하는 단계를 포함할 수 있다. 방법(800)은 도 2의 프로세서(202) 중 하나 이상을 사용하여 도 2의 저장 디바이스(204) 중 하나 이상에 저장된 명령어를 실행하는 것에 기초하여 구현될 수 있다.
블록 802에서, 로봇 시스템(100)(예를 들어, 도 2의 프로세서(202) 및/또는 그 내부의 센서(216))은 소스 데이터를 획득할 수 있다. 예를 들어, 로봇 시스템(100)은 출발 위치(114)에 있는 타깃 스택(310)(예를 들어, 하나 이상의 물체를 조작/이송하기 전의)의 초기 2D 및/또는 3D 표현을 획득할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 소스 데이터를 생성하기 위해 도 3의 제1 이미징 센서(312) 및/또는 다른 센서를 작동시킬 수 있다. 따라서, 로봇 시스템(100)은 도 4b의 평면 뷰 데이터(420), 도 5a의 센서 데이터(501) 등을 생성할 수 있다. 로봇 시스템(100)은 센서(예를 들어, 제1 이미징 센서(312))와 프로세서(202) 사이에서 소스 데이터를 통신할 수 있다.
블록 804에서, 로봇 시스템(100)은 인식 가능한 물체를 탐색하기 위해 획득된 소스 데이터를 처리할 수 있다. 예를 들어, 로봇 시스템(100)은 소스 데이터 또는 그 파생물을 도 2의 마스터 데이터(252)와 비교할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 제1 이미징 센서(312)로부터의 하나 이상의 2D 이미지 데이터(예를 들어, 타깃 스택(310)의 평면 뷰에 대응하는)를 마스터 데이터(252)에서 알려진 또는 예상된 물체의 표면 이미지와 비교할 수 있다.
블록 806에서, 로봇 시스템(100)은 소스 데이터 또는 그 임의의 부분이 마스터 데이터(252)에서 표현된 알려진 또는 예상된 물체의 외관과 일치하는지의 여부를 결정할 수 있다. 로봇 시스템(100)은 소스 데이터 또는 그 파생물이 마스터 데이터(252)에서의 엔트리(예를 들어, 공지된 물체를 나타내는 등록 데이터)와 일치할 때 도 4b의 인식된 물체(412)를 결정할 수 있다. 그렇지 않으면, 로봇 시스템(100)은 소스 데이터에서 표현된 하나 이상의 물체가 도 4b의 미인식된 물체(414) 중 하나 이상을 포함한다고 결정할 수 있다.
블록 808에서, 물체가 인식될 때, 로봇 시스템(100)은 인식된 물체(412)를 작업 위치(116)(예를 들어, 컨베이어(306))로 이송하는 것을 포함하여 인식된 물체(412)를 추가로 처리할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 일치에 기초하여 인식된 물체(412)의 위치, 가장자리, 중력 중심(CoG) 위치, 파지 위치, 또는 이들의 조합을 결정하는 것에 의해 소스 데이터를 추가로 처리할 수 있다. 예를 들어, 로봇 시스템(100)은 이미지 내에서 일치하는 부분의 위치를 결정하고, 이미징 소스의 알려진 위치에 따라서 사전 결정된 좌표 시스템, 이미지 대 좌표 매핑 함수/방정식, 또는 기타 사전 결정된 알고리즘을 사용하여 이러한 위치를 실제 위치로 변환할 수 있다. 로봇 시스템(100)은 마스터 데이터(252)에서의 일치하는 부분에 관련된 가장자리의 위치(예를 들어, 도 4의 등록 기반 가장자리(424)에 대응하는)를 추가로 결정할 수 있고, 유사하게 가장자리 위치를 이미징 출력 및/또는 실제 위치/좌표로 변환할 수 있다. 또한, 로봇 시스템(100)은 인식된 물체(412)를 이송하기 위해 CoM 위치, 사전 결정된 파지 위치, 또는 이들의 조합에 접근하기 위해 마스터 데이터(252)에서 일치하는 엔트리/물체의 다른 외관을 탐색할 수 있다.
로봇 시스템(100)은 인식된 물체(412)를 작업 위치(116)로 이송하기 위해 모션 계획을 도출하고/하거나 구현할 수 있다. 예를 들어, 로봇 시스템(100)은 도 3의 로봇 팔(302) 및/또는 도 3의 엔드 이펙터(304)에 대한 대응하는 위치를 도출하기 위해 인식된 물체(412)의 위치 및/또는 전술한 파지 위치를 사용할 수 있다. 로봇 시스템(100)은 움직임 및/또는 대응하는 액추에이터 명령/설정을 추가로 도출하기 위해 로봇 팔(302) 및/또는 엔드 이펙터(304)에 대한 도출된 위치 및 현재/투영된 위치를 사용할 수 있다. 유사하게, 로봇 시스템(100)은 출발 위치(114)로부터 작업 위치(116)로 인식된 물체(412)를 이송하기 위하여 인식된 물체(412)를 들어올리고, 수평으로 변위시키고, 내리고, 그리고/또는 회전시키는 것에 대응하는 로봇 팔(302) 및/또는 엔드 이펙터(304)에 대한 위치, 움직임 및/또는 대응하는 액추에이터 명령/설정을 도출할 수 있다. 로봇 시스템(100)은 출발 위치(114)로부터 작업 위치(116)로 인식된 물체(412)를 이송하기 위해 액추에이터 명령/설정을 시퀀스대로 조합하는 것에 기초하여 모션 계획을 도출할 수 있다. 로봇 시스템(100)은 물체를 파지 및/또는 해제하기 위해 사전 결정된 시퀀스의 움직임 및/또는 대응하는 액추에이터 명령/설정과 이송 명령/설정을 조합하는 것에 기초하여 모션 계획을 추가로 도출할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 도 3의 제2 교차 센서(318)로부터의 트리거링 신호에 기초하여 물체를 해제하기 위한 모션 계획을 도출할 수 있다. 제2 교차 센서(318)는 이송된 물체의 바닥 부분이 배치 표면 위의 안전한 해제 높이에 대응하는 감지 라인/평면을 교차할 때 트리거링 신호를 생성하도록 구성될 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 명령/설정을 로봇 팔(302) 및/또는 엔드 이펙터(304)와 통신하는 것에 기초하여 모션 계획을 구현/실행할 수 있다. 따라서, 로봇 시스템(100)은 도출된 명령/설정에 따라서 로봇 팔(302) 및/또는 엔드 이펙터(304)의 도 2의 작동 디바이스(212)및/또는 도 2의 이송 모터(214)의 작동에 기초하여 도출된 모션 계획을 실행할 수 있다. 일부 실시형태에서, 방법(800)은 블록 802으로 복귀하여, 인식된 물체(412) 중 하나 이상을 이송한 후에 업데이트된 소스 데이터를 획득할 수 있다. 방법은 모든 노출된 및/또는 접근 가능한 인식된 물체(412)(예를 들어, 타깃 스택(310)의 상부층에 있는 모든 인식된 물체(412))가 작업 위치(116)로 이송될 때까지 전술한 프로세스(예를 들어, 블록 802-808)를 반복적으로 구현할 수 있다.
어떠한 나머지 노출된 및/또는 접근 가능한 물체도 인식되지 않을 때(예를 들어, 마스터 데이터(252)에서 엔트리에 대응하거나 일치할 때), 로봇 시스템(100)은 블록 810에 도시된 바와 같이 출발 위치(114)에 있는 물체의 노출된 가장자리 및/또는 모서리를 식별할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 로봇 팔(302)에 노출된 및/또는 접근 가능한 표면의 높이/배향에서 차이를 결정하기 위해 소스 데이터(예를 들어, 2D 및/또는 3D 이미징 출력)를 처리할 수 있다. 예를 들어, 로봇 시스템(100)은 도 2의 노출된 가장자리(422)를 식별하기 위해 픽셀 밝기, 픽셀 색상, 높이/깊이 측정치 등에서 패턴(예를 들어, 연속 및/또는 선형 패턴)에 대한 이미징 출력을 분석할 수 있다. 일부 실시형태에서, 예를 들어, 로봇 시스템(100)은 노출된 가장자리(422)를 식별하기 위해 소벨 필터(Sobel filter)를 사용하여 이미징 출력을 처리할 수 있다. 로봇 시스템(100)은 상이한 배향/경사를 가진 2개의 노출된 모서리 사이의 합류점 또는 교차점으로서 도 4의 노출된 외부 모서리(426)를 유사하게 식별할 수 있다.
블록 812에서, 로봇 시스템(100)은 노출된 외부 모서리(426) 중 하나를 선택하는 것에 기초하여 등록 타깃을 결정할 수 있다. 즉, 로봇 시스템(100)은 후속 처리를 위해 도 5의 등록 타깃(506)으로서 선택된 노출 외부 모서리(426)에 위치되거나 또는 이를 형성하는 미인식된 물체(414) 중 하나를 결정할 수 있다. 로봇 시스템(100)은 사전 결정된 패턴 또는 일련의 규칙에 따라서 노출된 외부 모서리(426) 중 하나를 선택할 수 있다. 예를 들어, 로봇 시스템(100)은 로봇 팔(302) 또는 도 1의 대응하는 이송 유닛(104)의 베이스를 향하고/하거나 이에 가장 가까운 모서리를 선택할 수 있다. 다음에 추가로 설명되는 바와 같이, 로봇 시스템(100)은 층에 있는 모든 물체가 이송되었을 때와 같이, 모든 미인식된 물체(414)가 제거될 때까지 반복적으로 모서리를 선택하고 대응하는 등록 타깃(506)을 처리/이송할 수 있다.
블록 814에서, 로봇 시스템(100)은 소스 데이터에 기초하여 등록 타깃(506)에 대한 도 5의 MVR(512) 및/또는 도 5의 파지 위치(520)를 결정할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 엔드 이펙터(304)에 따라서 및/또는 전술한 바와 같이 노출된 가장자리(422)로부터 2개 이상의 교차 라인을 연장시키는 것에 기초하여 MVR(512)을 결정할 수 있다. 로봇 시스템(100)은 전술한 바와 같이 선택된 노출 외부 모서리(426) 주위에서 하나 이상의 위치/배향으로 MVR(512)과 겹칠 수 있다. 예를 들어, 로봇 시스템(100)은 MVR(512)의 하나 이상의 기준 지점(예를 들어, 모서리)을 선택된 노출 외부 모서리(426)와 정렬할 수 있다. 로봇 시스템(100)은 MVR(512)의 적어도 한 쌍의 평행하지 않고 인접한 가장자리가, 노출된 가장자리(422)의 한 쌍의 평행하지 않고 인접한 사례와 겹치도록 MVR(512)과 겹칠 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 파지 위치(520)를 결정하기 위해 MVR(512)의 다른 겹친 위치/배향을 분석할 수 있다. 예를 들어, 로봇 시스템(100)은 MVR(512)이 도 5의 검출된 라인(522)과 겹치지 않고, 도 5의 추정된 가장자리(524)와 겹치지 않고, 그리고/또는 전술한 노출된 표면들의 비율에 관한 규칙을 충족시키는 MVR(512)의 위치/배향으로서 파지 위치(520)를 결정할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 흡입 컵의 부분적인 그룹화를 활성화하는 것에 기초하여 파지 위치/영역을 조정할 수 있는 엔드 이펙터(304)를 포함할 수 있다. 예를 들어, 로봇 시스템(100)은 흡입 컵을 개별적으로, 또는 엔드 이펙터(304)의 외부 모서리에 대응하는 좌측/우측 또는 상부/하부 절반부, 사분면/세그먼트, 엔드 이펙터(304)와 로봇 팔(302) 사이의 관절부에 대응하는 중앙 부분, 또는 이들의 조합과 같은 엔드 이펙터(304) 아래의 특정 영역에 대응하는 사전 결정된 그룹에 따라서 활성화할 수 있다. 따라서, 로봇 시스템(100)은 사전 결정된 그룹 중 하나 이상에 대응하는 MVR(512) 및/또는 파지 위치(520)를 사용할 수 있다. 예를 들어, 로봇 시스템(100)은 노출된 가장자리(422)와 검출된 라인(522) 및/또는 추정된 가장자리(524) 사이에서 하나 이상의 치수를 도출할 수 있다. 로봇 시스템(100)은 도출된 치수 내에 맞출 수 있는 가장 큰 그룹을 결정하고, 대응하는 MVR(512)을 선택할 수 있다. 로봇 시스템(100)은 파지 위치(520)를 결정하기 위해 MVR(512)을 노출된 가장자리(422)의 한 쌍의 평행하지 않고 인접한 사례와 정렬하는 것에 의해 전술한 바와 유사하게 선택된 MVR(512)을 사용할 수 있다.
블록 816에서, 로봇 시스템(100)은 초기에 등록 타깃(506)을 변위시킬 수 있다. 예를 들어, 로봇 시스템(100)은 파지 위치(520)에서 등록 타깃(506)을 파지하고 초기에 등록 타깃(506)을 들어올리고 그리고/또는 수평으로 이송하기 위해 모션 계획을 도출, 구현 및/또는 실행할 수 있다. 로봇 시스템(100)은 전술한 바와 유사하게 모션 계획을 도출, 구현 및/또는 실행할 수 있지만, 등록 타깃(506)을 작업 위치(116)로 이송하는 대신 제한된 또는 사전 결정된 거리만큼/제한된 또는 사전 결정된 방향으로 변위시킨다. 예를 들어, 로봇 시스템(100)은 등록 타깃(506)을 들어올리고 그리고/또는 사전 결정된 거리에 걸쳐서 수평으로 이송할 수 있다. 또한, 로봇 시스템(100)은 적어도 하향 힘 측정치(604)가 안정화될 때까지 및/또는 연속적인 이미징 결과가 전술한 바와 같이 새롭게 구별 가능한 가장자리를 나타낼 때까지 등록 타깃(506)을 들어올리고 그리고/또는 수평으로 이송할 수 있다.
블록 818에서, 로봇 시스템(100)은 변위된 등록 타깃(506)의 데이터(예를 들어, 도 7의 비교 데이터(702)와 같은 이미징 결과)를 획득할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 등록 타깃(506)을 초기에 들어올리고 그리고/또는 수평으로 변위시킨 후에 타깃 스택(310) 위의 제1 이미징 센서(312)로부터 이미징 데이터를 획득할 수 있다.
등록 타깃(506)이 인접한 또는 주변 물체로부터 수직 및/또는 수평으로 분리되었기 때문에, 비교 데이터(702)는 이전에 다른 물체/표면(예를 들어, 도 7의 발견된 가장자리(722))에 인접하거나 접했던 등록 타깃(506)의 가장자리를 명확하게 캡처할 수 있다. 따라서, 블록 820에서, 로봇 시스템(100)은 등록 타깃(506)의 특성을 결정할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 시각적 또는 외부 특성을 결정하기 위해 획득된 이미징 결과를 처리할 수 있다. 예를 들어, 로봇 시스템(100)은 예를 들어, 비교 데이터(702)에서 표현된 가장자리를 검출하는 것에 기초하여 전술한 바와 같이 도 7의 발견된 가장자리(722) 및/또는 발견된 모서리(726)를 결정할 수 있다. 또한, 로봇 시스템(100)은 전술한 바와 같이, 도 7의 가장자리 길이 측정치(728)를 계산하고, 도 7의 모서리 각도 측정치(730)를 결정하고/하거나, 도 7의 업데이트된 데이터(740)를 생성할 수 있다. 또한, 일부 실시형태에서, 로봇 시스템(100)은 힘 및/또는 토크 측정치와 같은 다른 데이터를 획득하고 처리할 수 있다. 예를 들어, 로봇 시스템(100)은 도 6의 하향 힘 측정치(604) 및/또는 도 6의 토크 측정치(606)와 같은, 도 6의 힘-토크 센서(602)로부터의 출력을 나타내는 데이터를 획득할 수 있다. 로봇 시스템(100)은 등록 타깃(506)의 도 6의 중량 및/또는 추정된 CoM(610)을 결정하기 위해 데이터를 사용할 수 있다.
일부 실시형태에서, 블록 822에 예시된 바와 같이, 로봇 시스템(100)은 등록 타깃(506)을 재파지할지의 여부를 결정할 수 있다. 예를 들어, 로봇 시스템(100)은 등록 타깃(506)을 재파지할지의 여부를 결정하기 위해 하나 이상의 임계값에 하향 힘 측정치(604) 및/또는 토크 측정치(606)를 비교할 수 있다. 또한, 로봇 시스템(100)은 파지 위치(520)와 추정된 CoM(610) 사이의 분리 거리를 결정하고, 그에 따라 비교를 위해 임계값을 조정할 수 있다. 하나 이상의 실시형태에서, 로봇 시스템(100)은 등록 타깃(506)을 재파지할지의 여부를 결정할 때 파지 측정치(예를 들어, 흡입 컵과 파지된 표면 사이의 진공 측정치)를 추가로 결정하고 처리할 수 있다.
중량, 토크, 파지 및/또는 추정된 CoM(610)에 대응하는 처리 결과가 하나 이상의 임계 조건을 초과할 때, 로봇 시스템(100)은 블록 824에 예시된 바와 같이 등록 타깃(506)을 재파지할 수 있다. 로봇 시스템(100)은 등록 타깃(506)을 원래의 위치로 다시 이송하고 파지를 해제하는 것에 기초하여 등록 타깃(506)을 재파지할 수 있다. 로봇 시스템(100)은 추정된 CoM(610) 위에 있도록 파지 위치(520)를 재결정할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 도 6의 추정된 토크-아암 벡터(608)에 따라서 선택된 노출 외부 모서리(426)로부터 떨어진 파지 위치(520)를 조정할 수 있다. 일부 실시형태에서, 블록 822 및 824에 예시된 프로세스(점선을 사용하여 도시됨)는 방법(800)으로부터 선택적으로 구현되거나 제외될 수 있다. 이와 같이, 일부 실시형태에서, 방법(800)은 블록 822 및 824를 구현함이 없이 블록 820으로부터 블록 826으로 전환될 수 있다.
블록 826에서, 로봇 시스템(100)은 등록 타깃(506)을 현재 위치로부터 목적지로 이송할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 등록 타깃(506)의 재파지 및/또는 재파지를 고려함이 없이 초기 들어올림/수평 이송 후에 등록 타깃(506)을 이송할 수 있다. 로봇 시스템(100)은 또한 등록 후에 등록 타깃(506)을 이송할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 비교된 값이 임계 조건보다 낮을 때와 같이 현재 파지 위치가 등록 타깃(506)을 이송하기에 충분하다고 결정할 수 있다.
로봇 시스템(100)은 인식된 물체(412)를 이송하기 위해 전술한 바와 유사하게 등록 타깃(506)을 이송할 수 있다. 예를 들어, 로봇 시스템(100)은 모션 계획을 도출, 구현 및/또는 실행할 수 있고, 이에 의해 등록 타깃(506)을 현재 위치로부터 작업 위치(116)로 이송하기 위해 로봇 팔(302) 및/또는 엔드 이펙터(304)를 작동시킨다. 일부 실시형태에서, 로봇 시스템(100)은 블록 820에서 결정된 특징에 기초하여 모션 계획을 도출, 구현 및/또는 실행할 수 있다. 예를 들어, 로봇 시스템(100)은 등록 타깃(506)의 결정된 중량에 따라서 이송 속도를 제어할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 파지 측정치 및/또는 블록 820에서 결정된 특징에서의 변화에 기초하여 모션 계획을 도출, 구현 및/또는 실행할 수 있다. 예를 들어, 로봇 시스템(100)은 파지 측정치가 임계값 아래로 감소되거나 또는 떨어질 때 이송 속도를 감소시키고 그리고/또는 지정된/결정된 위치에 등록 타깃(506)을 배치할 수 있다. 또한, 로봇 시스템(100)은, 이송 동안 파지 실패로 인해 물체가 엔드 이펙터에 대해, 물체의 일부분(예를 들어, 바닥 또는 패키지에 있는 내용물)이 떨어질 때, 물체에 있는 내용물이 시프팅할 때 및/또는 물체가 시프팅할 때, 토크 측정치 및/또는 중량에서의 변화를 검출하는 것에 기초하여 이송 속도를 감소시키고 그리고/또는 지정된/결정된 위치에 등록 타깃(506)을 배치할 수 있다,
블록 828에서, 로봇 시스템(100)은 이송 동안 추가 데이터를 획득할 수 있다. 추가 데이터는 수직 가장자리, 치수 및/또는 표면에 관한 정보와 같은 초기 소스 데이터에서 표현되지 않을 수 있는 등록 타깃(506)의 물리적 특성에 관한 정보를 포함할 수 있다.
블록 830에서, 로봇 시스템(100)은 검출된 이벤트들이 작동에 동시에 대응하도록 작동을 구현하는 동안 교차 이벤트 및 대응하는 타임 스탬프를 검출할 수 있다. 교차 이벤트는 작업 위치(116) 위에 위치되고 이와 겹치는 도 3의 제1 교차 센서(316)의 감지 라인/평면(예를 들어, 측면 또는 수평 라인/평면)을 교차/진입하는 등록 타깃(506)의 바닥 부분에 대응할 수 있다. 로봇 시스템(100)은 선행 이미징 데이터에서 캡처되지 않았을 수 있는 등록 타깃(506)의 다른 물리적 특성을 결정할 때 교차 이벤트 또는 대응하는 시간 마커를 사용할 수 있다.
블록 832에서, 로봇 시스템(100)은 교차 이벤트의 시간에 엔드 이펙터 위치를 결정할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 모션 계획을 실행하는 동안 시간 전체에 걸쳐서 엔드 이펙터(304)의 위치를 추적하거나 추정할 수 있다. 예를 들어, 로봇 시스템(100)은 (예를 들어, 로봇 시스템(100)과 관련된 공간의 사전 결정된 그리드 또는 매핑에 따라서) 좌표의 하나 이상의 세트로서 엔드 이펙터(304)의 현재 위치를 도출 및/또는 추적할 수 있다. 또한, 로봇 시스템(100)은 대응하는 모션 계획에 대한 진행을 추적하는 것에 기초하여 엔드 이펙터(304)의 현재 위치를 도출하거나 추적할 수 있다. 따라서, 로봇 시스템(100)은 교차 이벤트의 시간 마커에 대응하는 엔드 이펙터 위치(예를 들어, 도 3에 나타낸 x-y-z 좌표값)를 결정할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 도 3의 그리퍼 높이(322)를 도출하거나 획득하기 위해 교차 이벤트 또는 제1 교차 센서(316)로부터의 대응하는 출력을 트리거로서 사용할 수 있다. 예를 들어, 로봇 시스템(100)은 그리퍼 높이(322)를 도출하거나 획득하기 위해 수직 좌표값(예를 들어, y-축을 따르는 좌표값)을 사용할 수 있다.
블록 834에서, 로봇 시스템(100)은 도 6의 물체 높이(620)(예를 들어, 등록 타깃(506)의 높이)를 계산하기 위해 그리퍼 높이(322)를 사용할 수 있다. 예를 들어, 로봇 시스템(100)은 교차 이벤트의 시간에서의 그리퍼 높이(322)와 도 3의 교차 기준 높이(324)(예를 들어, 이전에 공지되고 저장된 값) 사이의 차이를 계산하는 것에 기초하여 물체 높이(620)를 계산할 수 있다.
일부 실시형태에서, 블록 836에 예시된 바와 같이, 로봇 시스템(100)은 등록 타깃(506)의 프로파일 데이터(예를 들어, 가장자리 및/또는 표면에 관한 것과 같은 측면 뷰를 나타내는 데이터)를 획득하기 위해 교차 이벤트를 트리거로서 사용할 수 있다. 예를 들어, 로봇 시스템(100)은 작업 위치(116) 및 교차 이벤트에 대응하는 공간을 향한 하나 이상의 수평으로 향한 센서/카메라를 포함할 수 있다. 따라서, 프로파일 데이터는 수평으로 향하는 센서/카메라로부터의 등록 타깃(506)의 이미지(예를 들어, 프로파일 이미지 데이터)를 포함할 수 있다. 특정 예로서, 로봇 시스템(100)은 수평으로 향한 센서로부터의 비디오 자료(video feed)에서 시간을 식별하고/하거나 수평으로 향한 센서를 트리거링하여 이미지를 캡처하기 위해 시간 마커를 사용할 수 있다. 이미지에 기초하여, 로봇 시스템(100)은 하향 센서(예를 들어, 제1 이미징 센서(312) 및/또는 제2 이미징 센서(314))에 대해 검출될 수 없었던 등록 타깃(506)의 수직 가장자리/표면에 관한 추가 정보(예를 들어, 물체 높이(620) 및/또는 하나 이상의 표면 이미지)를 획득할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 모션 계획을 재도출하고/하거나 그 구현/실행을 조정하기 위해 등록 타깃(506)의 물체 높이(620)를 사용할 수 있다. 예를 들어, 물체 높이(620)가 가속도에 영향을 미칠 수 있기 때문에, 로봇 시스템(100)은 등록 타깃(506)의 물체 높이(620)에 대응하는 이송 속도/가속도(예를 들어, 최대 이송 속도/가속도)를 계산할 수 있다. 로봇 시스템(100)은 계산된 이송 속도/가속도에 따라서 모션 계획(예를 들어, 명령, 설정 및/또는 그 시퀀스)을 재도출하거나 조정할 수 있고, 따라서 구현/실행할 수 있다. 이송 동안 물체 높이(620)를 결정하기 위해 교차 센서(예를 들어, 도 3의 제1 교차 센서(316))를 사용하는 것에 의해, 로봇 시스템(100)은 이송 동안 물체의 형상/치수에서의 어떠한 변화도 정확하게 설명할 수 있다. 그러므로, 로봇 시스템(100)은 물체를 이송할 때 실제 물체 높이(620)(예를 들어, 휴지 시에 높이 대신에 현수되어 있을 때 물체의 높이)를 사용할 수 있고, 이에 의해, 형상에서의 변화와 관련된 어떠한 충돌도 감소/제거할 수 있다.
블록 838에서, 로봇 시스템(100)은 이에 대응하는 등록 데이터(254)의 새로운 사례를 생성하고/하거나 덧붙이는 것에 기초하여 이송된 물체(예를 들어, 등록 타깃(506))를 등록할 수 있다. 새로운 등록 데이터(254)는 등록 타깃(506)(예를 들어, 이전에 미인식된 물체(414))에 대한 새로운 기록을 나타낼 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 프로파일 데이터 또는 그 처리 결과(예를 들어, 높이 측정치 및/또는 표면 이미지)를 포함하는 획득된 정보를 마스터 데이터(252)의 엔트리와 추가로 비교할 수 있다. 비교가 일치할 때, 로봇 시스템(100)은 등록 타깃(506)의 인식 상태를 인식된 물체(412)에 대해 업데이트할 수 있다. 그렇지 않으면, 로봇 시스템(100)은 이전에 미인식된 물체를 계속 등록할 수 있다. 로봇 시스템(100)은 등록 타깃(506)의 물리적 특성에 대한 획득된 정보를 마스터 데이터(252)에 저장하는 것에 의해 등록 타깃(506)을 등록할 수 있다. 예를 들어, 로봇 시스템(100)은 이송 동안 또는 이송 전에 (예를 들어, 블록 812에서 등록 타깃을 결정하는 부분으로서) 등록 데이터(254)에 대한 엔트리를 생성할 수 있다. 로봇 시스템(100)은 중량(예를 들어, 하향 힘 측정치(604)), 추정된 CoM(610), 가장자리 길이 측정치(728), 모서리 각도 측정치(730), 업데이트된 데이터(740) 및/또는 기타 이미징 데이터 또는 이들의 조합과 같은 획득된 데이터를 생성된 엔트리에 저장할 수 있다. 로봇 시스템(100)은 등록 타깃(506)이 작업 위치(116)에 배치되고/되거나 엔드 이펙터(304)로부터 해제될 때 등록 데이터(254)를 완성하고/하거나 저장할 수 있다.
일부 실시형태에서, 방법(800)은 하나의 이미지로부터 미인식된 물체의 그룹을 반복적으로 이송하고 등록할 수 있다. 따라서, 하나의 알려지지 않은 물체를 이송하고 등록한 후에, 방법(800)은 블록 812로의 피드백 경로에 의해 예시된 바와 같이 남아있는 미인식된 물체(414) 중에서 새로운 등록 타깃을 결정할 수 있다. 일부 실시형태에서, 블록 802로의 피드백 경로에 의해 예시된 바와 같이, 방법(800)은 알려지지 않은 물체를 이송하고 등록한 후에 출발 위치(114)를 다시 이미징하는 단계를 포함할 수 있다.
소스 기반 센서를 사용한 물체 이송 및 등록
도 9는 본 기술의 하나 이상의 실시형태에 따른 도 1의 로봇 시스템(100)의 예시이다. 도 9에 도시된 로봇 시스템(100)의 양태는 도 3에 예시된 것과 유사할 수 있지만, 하나 이상의 센서가 상이한 위치에 위치된다.
로봇 시스템(100)은 엔드 이펙터(904)(예를 들어, 그리퍼)를 포함하는 로봇 팔(902)(예를 들어, 도 1의 이송 유닛(104)의 경우)을 포함할 수 있다. 로봇 팔(902)은 도 1의 출발 위치(114)와 도 1의 작업 위치(116) 사이에서 도 1의 타깃 물체(112)를 이송하도록 구성될 수 있다. 일부 실시형태에서, 출발 위치(114)는 그 위에 타깃 스택(910)(예를 들어, 타깃 물체(112)를 포함할 수 있는 물체의 그룹)이 있는 컨테이너(908)(예를 들어, 벽이 있는 카트)에 대응할 수 있다. 로봇 팔(902)을 위한 작업 위치(116)는 컨베이어(906)(예를 들어, 도 1의 이송 유닛(106)의 경우) 상의 배치 위치(예를 들어, 시작/출구 지점)일 수 있다. 예를 들어, 로봇 팔(902)은 타깃 스택(910)으로부터 물체를 픽업하고 다른 목적지/작업으로의 이송을 위해 컨베이어(906)에 물체를 배치하도록 구성될 수 있다.
로봇 시스템(100)은 로봇 팔(902)을 사용하여 이송 작동을 수행할 때 도 1의 센서(216) 중 하나 이상을 사용할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 제1 이미징 센서(912) 및/또는 제2 이미징 센서(914)를 포함할 수 있다. 제1 이미징 센서(912)는 출발 위치(114)를 이미지화하고/하거나 분석하도록 구성된 카메라 및/또는 깊이 센서와 같은 하나 이상의 2D 및/또는 3D 센서를 포함할 수 있다. 제2 이미징 센서(914)는 작업 위치(116)를 이미지화하고/하거나 분석하도록 구성된 카메라 및/또는 깊이 센서와 같은 하나 이상의 2D 및/또는 3D 센서를 포함할 수 있다. 예를 들어, 제1 이미징 센서(912)는 출발 위치(114) 위의 알려진 위치에 위치되고 출발 위치를 향한 하나 이상의 카메라 및/또는 깊이 센서를 포함할 수 있다. 제1 이미징 센서(912)는 타깃 스택(910)의 평면 뷰와 같은 출발 위치(114)의 하나 이상의 평면 뷰에 대응하는 이미징 데이터를 생성할 수 있다. 또한, 제2 이미징 센서(914)는 작업 위치(116)로부터 위/측면에 있는 하나 이상의 알려진 위치에 위치되고 작업 위치를 향한 하나 이상의 카메라 및/또는 깊이 센서를 포함할 NT 있다. 따라서, 제2 이미징 센서(914)는 작업 위치(116)로부터 임계 거리에 또는 그 안에 있는 타깃 물체(112)의 하나 이상의 평면 뷰 및/또는 측면 뷰에 대응하는 이미징 데이터를 생성할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 물체가 대응하는 감지 라인/평면을 교차/떠나는 교차 이벤트(예를 들어, 교차 기준(920))를 검출하도록 구성된 하나 이상의 교차 센서(예를 들어, 소스 교차 센서(916) 및/또는 해제 지점 센서(918))를 포함할 수 있다. 예를 들어, 교차 센서는 전송 및/또는 반사 신호(예를 들어, 광 신호, 레이저 등)에서의 연속성/중단에 기초하여 교차 이벤트를 검출하는 라인 또는 평면 센서에 대응할 수 있다. 일부 실시형태에서, 교차 센서는 감지 라인을 따라서 광 신호를 전송하고, 감지 라인의 단부에서 전송된 신호를 검출 및/또는 반사하고, 이에 의해 교차 기준(920)을 확립할 수 있다. 따라서, 교차 센서는 전송된 광 신호를 수신할 때 중단(예를 들어, 불연속성)을 검출할 수 있으며, 이는 감지 라인을 교차/진입하는 물체를 나타내는 진입 이벤트에 대응할 수 있다. 유사하게, 교차 센서는 중단 기간 후에 전송된 신호를 재검출할 수 있으며, 이는 감지 라인을 퇴장하는 물체를 나타내는 퇴장 이벤트에 대응할 수 있다.
일부 실시형태에서, 해제 지점 센서(918)는 파지된 물체를 해제하도록 사용될 수 있다. 해제 지점 센서(918)는 작업 위치(116) 위에 위치될 수 있고, 그리고/또는 사전 결정된 높이에서 감지 라인을 확립할 수 있다. 감지 라인의 높이는 물체를 손상시키지 않고 물체를 안전하게 낙하시킬 수 있다. 예로서, 감지 라인의 높이는 컨베이어(906) 상의 배치 위치보다 10 cm 이하만큼 위에 있을 수 있다. 따라서, 로봇 시스템(100)은 엔드 이펙터(304)로부터 이송된 물체를 해제하기 위해 해제 지점 센서(918)에 의해 검출된 교차 이벤트를 트리거로서 사용할 수 있다.
일부 실시형태에서, 소스 교차 센서(916)는 이송 동안 타깃 물체(112)의 도 6의 물체 높이(620)를 측정하기 위해 사용될 수 있다. 예를 들어, 로봇 시스템(100)은 소스 교차 센서(916)에 의해 검출된 바와 같은 교차 이벤트(예를 들어, 퇴장 이벤트)의 시간에 그리퍼 높이(922)(예를 들어, 지면과 같은 기준 지점에 관련된 엔드 이펙터(904)의 수직 위치/장소)를 결정할 수 있다. 로봇 시스템(100)은 이송되는 타깃 물체(112)의 물체 높이(620)를 계산하기 위해 그리퍼 높이(922)를 교차 기준 높이(924)(예를 들어, 소스 교차 센서(916) 및/또는 교차 기준(920)의 공지된 수직 위치)와 비교할 수 있다. 즉, 소스 교차 센서(916)는 타깃 물체(112)의 바닥 부분이 감지 라인을 퇴장하는 시간을 나타내는 트리거로서 작용할 수 있다. 따라서, 로봇 시스템(100)은 타깃 물체(112)의 물체 높이(620)를 계산하기 위해 이러한 시간에서의 그리퍼 높이(922) 및 교차 기준(920)의 공지된 높이를 사용할 수 있다. 일부 실시형태에서, 소스 교차 센서(916)는 타깃 물체(112)의 바닥 부분이 감지 라인을 교차할 때 데이터를 수집하기 위해 하나 이상의 센서(예를 들어, 2D 및/또는 3D 카메라)를 트리거링할 수 있다. 따라서, 로봇 시스템(100)은 상이한 관점(예를 들어, 수평으로 향한 카메라로부터 상이한 치수를 따르는 측면 또는 프로파일 뷰/이미지, 형상 측정치 등)으로부터 물체에 관한 데이터를 획득할 수 있다.
예시 목적을 위해, 소스 교차 센서(916)는 컨테이너(908)에 부착된 것으로 도시되어 있다. 그러나, 소스 교차 센서(916)는 다르게 구성될 수 있다는 것(예를 들어, 출발 위치(114)에 있는 장치/컨테이너와 무관하게)이 이해된다. 소스 교차 센서(916)는, 출발 위치(114)에 또는 그 근처에 위치되고 출발 위치(114) 위에 그리고/또는 이와 겹치는 라인/평면(예를 들어, 교차 기준 높이(924)에 있는 교차 기준(920))에 관련된 교차 이벤트를 검출하도록 구성된 하나 이상의 디바이스를 포함할 수 있다. 일부 실시형태에서, 소스 교차 센서(916)는 비교적 짧은 거리(예를 들어, 10 ㎝와 같이 1 m 미만)만큼 배치 표면/위치 위에 있는 라인/평면에 대한 교차 이벤트를 검출하도록 구성될 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 출발 위치(114)를 향하는 하나 이상의 추가 센서를 포함하고/하거나 이와 상호 작용할 수 있다. 예를 들어, 로봇 시스템(100)은 물체 및/또는 타깃 스택(910)의 추가 정보(예를 들어, 하나 이상의 수직 표면 및/또는 프로파일 형상의 이미지)를 획득하도록 구성된 하나 이상의 수평으로 향한 2D/3D 이미징 디바이스를 포함할 수 있다. 수평으로 향한 2D/3D 이미징 디바이스는 교차 기준(920)을 퇴장할 때 물체들의 객체에 관한 프로파일/측면 뷰를 획득하도록 구성될 수 있다.
소스 교차 센서(916) 및/또는 추가 센서는 이송 동안 물체(예를 들어, 미인식된 물체)의 추가 데이터를 제공한다. 전술한 바와 같이, 소스 교차 센서(916)는 물체를 이송할 때 어떠한 추가 조작/움직임없이 이송된 물체의 물체 높이(620)를 계산하도록 사용될 수 있다. 또한, 물체를 들어올린 후에 물체 높이(620)를 결정하는 것은 일부 물체가 다른 물체 위에 놓여있을 때 변형될 수 있기 때문에 높이 측정치에 있어서 증가된 정확도를 제공한다. 또한, 소스 교차 센서(916)는 제1 이미징 센서(912) 및/또는 제2 이미징 센서(914)에 의해 검출될 수 없는 물체에 관한 정보를 획득하기 위해 추가 센서를 트리거링할 수 있다. 다음에 상세히 설명되는 바와 같이, 물체 높이(620) 및/또는 추가 정보는 미인식된 물체를 위한 도 2의 등록 데이터(254)를 생성하기 위해 사용될 수 있다. 따라서, 로봇 시스템(100)은 이송 작업을 방해함이 없이 다른 유사한 물체의 후속 인식의 가능성을 증가시키고 그리고/또는 물체를 추가로 조작할 때 정확도를 증가시키도록 사용될 수 있는, 미인식된 물체에 관한 더욱 많은 정보를 획득할 수 있다.
일부 실시형태에서, 로봇 시스템(100)은 상부 표면에 추가하여 물체의 다른 표면(예를 들어, 수직 표면/치수)들을 분석하는 것에 의해 물체를 재분석하고 인식하기 위해 물체 높이(620) 및/또는 추가 정보를 사용할 수 있다. 따라서, 로봇 시스템(100)은 인식되지 않는 상자의 수 또는 부정 오류 결과를 감소시킬 수 있다.
소스 기반 센서를 위한 처리 상태
도 10a 내지 도 10d는 도 9의 소스 교차 센서(916)를 이용하기 위한 다양한 예시적인 처리 상태를 설명하기 위한 다양한 처리 상태를 도시한다. 도 1의 로봇 시스템(100)은 엔드 이펙터(904) 및/또는 도 1의 타깃 물체(112)의 위치/높이에 따라서 소스 교차 센서(916)를 작동시킬 수 있다.
도 10a는 도 9의 로봇 팔(902) 및/또는 컨테이너(908) 위 및/또는 외부에 위치된 엔드 이펙터(904)에 대응하는 초기 상태(1002)를 나타낸다. 초기 상태(1002)는 측면 배향 교차 기준에 대응하는 센서로부터의 하나 이상의 출력을 나타낼 수 있다. 초기 상태(1002)는 타깃 물체(112)를 파지하고 픽업하기 위해 컨테이너(908) 내로 도달하기 시작하는 로봇 팔(902)에 대응할 수 있다. 따라서, 로봇 시스템(100)은 초기 상태(1002) 동안 소스 교차 센서(916)로부터의 출력을 끄거나 무시할 수 있다.
도 10b는 컨테이너(908)의 상부 부분 내로 및 아래에서 교차하고, 타깃 물체(112)를 접촉 및 파지하고/하거나, 초기에 타깃 물체(112)를 들어올리는 도 9의 로봇 팔(902)에 대응하는 접근 상태(1004)를 나타낸다. 예를 들어, 접근 상태(1004)는 타깃 물체(112) 위(예를 들어, 도 1의 출발 위치(114)와 관련된 경계 내)에 그리고/또는 도 9의 교차 기준 높이(924) 아래에 있는 엔드 이펙터(904)를 나타낼 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 접근 상태(1004) 동안 교차 센서의 출력을 끄고 그리고/또는 그 출력을 무시할 수 있다.
도 10c는 교차 기준(920)을 교차하거나 진입하는 타깃 물체(112)에 대응하는 교차 상태(1006)를 나타낸다. 로봇 시스템(100)은 로봇 팔(902)을 작동시키는 동안 도 9의 그리퍼 높이(922)를 포함하는 그리퍼 위치(예를 들어, 도 9에 도시된 x-y-z 값과 같은 일련의 좌표값)를 추적할 수 있다. 그리퍼 높이(922)가 도 9의 교차 기준 높이(924)를 초과할 때, 로봇 시스템(100)은 소스 교차 센서(916)를 켜도록 활성화 이벤트(1012)를 생성할 수 있다. 소스 교차 센서(916)로부터의 출력은 타깃 물체(112)가 교차 기준(920)을 교차하거나 진입하는 초기 교차 상태(1014)에 대응할 수 있다.
일부 실시형태에서, 로봇 팔(902)이 교차 기준(920)을 가로지르기 때문에, 로봇 시스템(100)은 활성화 이벤트(1012)를 생성하고/하거나, 초기 상태(1002) 후에(예를 들어, 접근 상태(1004) 동안) 초기 교차 상태(1014)를 결정할 수 있다. 즉, 로봇 시스템(100)은 엔드 이펙터(904)가 컨테이너(908) 위에 있을 때, 그리고 그리퍼 높이(922)가 교차 기준 높이(924)보다 낮을 때 활성화 이벤트(1012)를 생성하고/하거나 초기 교차 상태(1014)를 결정할 수 있다.
도 10d는 교차 기준(920)을 벗어나거나 클리어하는 타깃 물체(112)에 대응하는 클리어링 상태(clearing state)(1008)를 나타낸다. 클리어링 상태(1008)는 소스 교차 센서(916)에 의해 검출된 퇴장 이벤트(1016)에 대응할 수 있다. 예를 들어, 투과된 광/레이저 신호는 타깃 물체(112)의 바닥 부분이 교차 기준(920) 위에 있을 때 소스 교차 센서(916)에 의해 검출될 수 있다.
로봇 시스템(100)은 퇴장 이벤트(1016) 또는 그 타이밍(즉, 퇴장 이벤트(1016)에 대응하는 타임 스탬프)을 이용하여, 타깃 물체(112)의 물체 높이(620)를 계산할 수 있다. 소스 교차 센서(916)로부터의 정보를 사용하여 물체 높이(620)를 계산하기 위한 처리는 목적지 교차 센서(예를 들어, 도 3의 제1 교차 센서(316))로부터의 정보를 사용하는 높이 계산의 처리와 유사할 수 있다. 예를 들어, 로봇 시스템(100)은 퇴장 이벤트(1016)의 시간에 그리퍼 높이(922)를 결정할 수 있다. 로봇 시스템(100)은 퇴장 이벤트(1016)의 시간에 그리퍼 높이(922)와 교차 기준 높이(924)(예를 들어, 공지된/사전 결정된 값) 사이의 차이에 기초하여 물체 높이(620)를 계산할 수 있다.
소스 기반 센서를 사용하여 등록하기 위한 작동 흐름
도 11은 본 기술의 하나 이상의 실시형태에 따른 도 1의 로봇 시스템(100)을 작동시키기 위한 방법(1100)의 추가 흐름도이다. 방법(1100)은 도 2의 프로세서(202) 중 하나 이상을 사용하여 도 2의 저장 디바이스(204) 중 하나 이상에 저장된 명령어를 실행하는 것에 기초하여 구현될 수 있다.
방법(1100)은 알려지지 않은 물체(예를 들어, 도 4b의 미인식된 물체(414))를 등록하기 위한 것일 수 있다. 일부 실시형태에서, 방법(1100)은 도 1의 출발 위치(114)(예를 들어, 도 9의 타깃 스택(910))로부터 미인식된 물체(414)를 도 1의 작업 위치(116)(예를 들어, 도 9의 컨베이어(906))로 이송하는 동안 또는 그 일부로서 미인식된 물체(414)를 등록하는 단계를 포함할 수 있다. 또한, 방법(1100)은 도 10a 내지 도 10d에 예시된 다양한 상태 및 데이터를 처리하는 단계를 포함할 수 있다. 방법(1100)은 이송된 물체에 관한 데이터를 획득하기 위하여 도 3의 제1 교차 센서(316) 대신에 도 9의 소스 교차 센서(916)를 이용하는 것을 제외하면 도 8의 방법(800)과 유사할 수 있다.
블록 1102에서, 로봇 시스템(100)은 도 8의 블록 802에 대해 전술한 바와 유사하게 소스 데이터를 획득할 수 있다. 블록 1104에서, 로봇 시스템(100)은 도 8의 블록 804에 대해 전술한 바와 유사하게 인식 가능한 물체를 탐색할 수 있다. 블록 1106에서, 로봇 시스템(100)은 획득된 소스 데이터가 도 8의 블록 806에 대해 위에서 설명한 것과 유사하게 도 4b의 임의의 인식된 물체(412)를 나타내는지의 여부를 결정할 수 있다. 블록 1108에서, 로봇 시스템(100)은 도 8의 블록 808에 대해 전술한 바와 유사하게 인식된 물체(412)를 이송할 수 있다.
블록 1110에서, 로봇 시스템(100)은 도 8의 블록 810-824에 대해 전술한 바와 유사하게 미인식된 물체를 처리할 수 있다. 예를 들어, 로봇 시스템(100)은 노출된 가장자리 및/또는 모서리를 식별하고, 등록 타깃을 결정하고, MVR 및/또는 파지 위치를 결정하고, 초기에 등록 타깃을 변위시키고, 변위된 등록 타깃의 업데이트된 이미지를 획득하고, 등록 타깃의 특성을 결정하고/하거나, 등록 타깃을 재파지할 수 있다.
블록 1126에서, 로봇 시스템(100)은 도 8의 블록 826에 대해 전술한 바와 유사하게 등록 타깃(506)을 목적지로 이송할 수 있다. 블록 1128에서, 로봇 시스템(100)은 예를 들어 소스 교차 센서(916)를 사용하는 것에 의해 이송 동안 추가 데이터를 결정할 수 있다. 예를 들어, 로봇 시스템(100)은 하나 이상의 상태(예를 들어, 도 10a 내지 도 10d에 예시된 초기 상태(1002), 접근 상태(1004), 교차 상태(1006), 및/또는 클리어링 상태(1008))를 결정하고, 이에 따라 소스 교차 센서(916)를 활성화/비활성화할 수 있다.
블록 1152에서, 로봇 시스템(100)은 엔드 이펙터(904)가 출발 위치(114)와 관련된 모니터링된 공간에 아직 진입하지 않은 외부 상태(예를 들어, 초기 상태(1002))를 식별할 수 있다. 즉 로봇 시스템(100)은 엔드 이펙터(904)의 바닥 부분이 교차 기준(920) 아래를 교차하기 전 및/또는 엔드 이펙터(904)가 등록 타깃(506) 위에 있기 전에(예를 들어, 엔드 이펙터(904)가 출발 위치(114)와 관련된 경계의 외부에 있을 때) 초기 상태(1002)를 식별할 수 있다. 로봇 시스템(100)은, 작동 동안(예를 들어, 모션 계획을 구현 및/또는 실행하는 동안) 엔드 이펙터(904)의 위치 및/또는 높이를 추적하고, 추적된 높이 또는 그 파생물(예를 들어, 최하부 부분의 위치를 찾기 위한 오프셋)을 교차 기준 높이(924)에 비교하는 것에 기초하여 초기 상태(1002)를 결정할 수 있다. 로봇 시스템(100)은 추적된 높이 또는 그 파상물이 교차 기준 높이(924) 위에 있을 때 초기 상태(1002)를 결정할 수 있다. 따라서, 로봇 시스템(100)은 소스 교차 센서(916)를 비활성화할 수 있고/있거나, 소스 교차 센서(916)를 비활성화된 상태로 유지할 수 있다.
블록 1154에서, 로봇 시스템(100)은 엔드 이펙터(304) 또는 그 기준 부분이 교차 기준(920) 아래에 있는 활성화 상태(예를 들어, 접근 상태(1004) 및/또는 교차 상태(1006))를 식별할 수 있다. 즉, 로봇 시스템(100)은 엔드 이펙터(904)의 바닥 부분이 교차 기준(920) 아래에 있을 때 활성화 상태를 식별할 수 있다. 로봇 시스템(100)은 추적된 높이 또는 그 파생물이 교차 기준 높이(924) 아래에 있을 때 활성화 상태를 결정할 수 있다. 로봇 시스템(100)은 외부 상태 직후 및/또는 엔드 이펙터(904)의 수평 위치가 출발 위치(114)로부터 사전 결정된 거리와 겹치거나 또는 그 안에 있을 때 활성화 상태를 결정할 수 있다.
블록 1156에서, 로봇 시스템(100)은 하나 이상의 센서(예를 들어, 소스 교차 센서(916) 및/또는 추가 센서)를 활성화할 수 있다. 활성화 상태를 식별하는 것에 기초하여, 로봇 시스템(100)은 도 10c의 활성화 이벤트(1012)에 대한 것과 같이 출발 위치(114)를 향하는 소스 교차 센서(916) 및/또는 이미징 디바이스를 활성화할 수 있다. 따라서, 로봇 시스템(100)은 교차 기준(920)을 교차하는, 진입하는, 그리고/또는 교차하는 부분을 갖는 로봇 팔(902), 엔드 이펙터(904) 및/또는 등록 타깃(506)에 대응하는 교차 이벤트(예를 들어, 도 10c의 초기 교차 상태(1014))를 예상하거나 결정할 수 있다.
블록 1160에서, 로봇 시스템(100)은 클리어링 상태(1008)에 대응하는 도 10d의 퇴장 이벤트(1016)를 검출할 수 있다. 로봇 시스템(100)은 활성화된 상태에서 소스 교차 센서(916) 및/또는 추가 센서를 사용하여 등록 타깃(506)을 계속 이송할 수 있다. 즉, 로봇 시스템(100)은 활성화 이벤트(1012) 후에 등록 타깃(506)을 계속 들어올리고/올리거나, 초기 교차 상태(1014)를 결정할 수 있다. 따라서, 등록 타깃(506)을 들어올리는 동안, 로봇 시스템(100)은, 출발 위치(114) 위에 위치되거나 이와 겹치는 교차 기준(920)을 등록 타깃(506)이 퇴장하거나 또는 이를 더 이상 교차하지 않을 때, 퇴장 이벤트(1016)를 검출하기 위해 소스 교차 센서(916)를 사용할 수 있다. 예를 들어, 소스 교차 센서(916)는 등록 타깃(506)에 의해 이전에 막혔던 전송된 신호(예를 들어, 레이저와 같은 광 신호)를 검출하는 것에 기초하여 퇴장 이벤트(1016)를 검출할 수 있다. 따라서, 소스 교차 센서(916)는 퇴장 이벤트(1016)를 프로세서(202) 및/또는 이벤트의 타임 스탬프에 통신할 수 있다.
블록 1162에서, 로봇 시스템(100)은 퇴장 이벤트(1016)의 시간에 엔드 이펙터 위치(예를 들어, 그리퍼 높이(922))를 결정할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 엔드 이펙터(904)를 작동시키는 동안(예를 들어, 모션 계획을 구현/실행하는 동안) 엔드 이펙터 위치를 연속적으로 추적 및/또는 기록할 수 있다. 따라서, 로봇 시스템(100)은 추적된 좌표를 샘플링하거나 또는 마킹하기 위해 퇴장 이벤트(1016)를 트리거로서 사용할 수 있다. 즉, 로봇 시스템(100)은 퇴장 이벤트(1016)가 소스 교차 센서(916)에 의해 검출되고/되거나 프로세서(202)에서 수신될 때 엔드 이펙터(904)의 추적된 좌표를 획득할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 엔드 이펙터 위치를 결정하기 위해 기록된 엔드 이펙터 좌표를 찾도록 이벤트의 타임 스탬프를 사용할 수 있다. 일부 실시형태에서, 로봇 시스템(100)은 모션 계획 및 하나 이상의 기준 시간(예를 들어, 모션 계획을 위한 개시, 종료 및/또는 기준 시간 마커)에 기초하여 엔드 이펙터 위치에 대한 하나 이상의 추정 시간을 계산할 수 있다. 따라서, 로봇 시스템(100)은 모션 계획 및 하나 이상의 기준 시간에 기초하여 퇴장 이벤트(1016)의 시간에 엔드 이펙터 위치를 계산, 추정 또는 외삽할 수 있다. 퇴장 이벤트의 시간에서의 엔드 이펙터 위치에 기초하여, 로봇 시스템(100)은 그리퍼 높이(922)를 결정하기 위해 그 수직 좌표값을 사용할 수 있다.
블록 1164에서, 로봇 시스템(100)은 퇴장 이벤트(1016)의 시간에 엔드 이펙터 위치(예를 들어, 그리퍼 높이(922))에 기초하여 물체 높이를 계산할 수 있다. 예를 들어, 로봇 시스템(100)은 퇴장 이벤트(1016)의 시간에서의 그리퍼 높이(922)와 교차 기준 높이(924)(예를 들어, 이전에 공지되고 저장된 값) 사이의 차이를 계산하는 것에 기초하여 등록 타깃(506)의 높이를 계산할 수 있다.
일부 실시형태에서, 블록 1166에 예시된 바와 같이, 로봇 시스템(100)은 등록 타깃(506)에 관한 추가 데이터를 획득하기 위해 퇴장 이벤트(1016)를 사용할 수 있다. 예를 들어, 로봇 시스템(100)은 추가 센서(예를 들어, 출발 위치(114)에 또는 그 위로 향하는 수평으로 향한 2D/3D 카메라)로부터 프로파일 데이터(예를 들어, 등록 타깃(506)의 측면 뷰 이미지와 같은 2D/3D 이미징 데이터)를 획득하기 위해 퇴장 이벤트(1016)를 트리거로서 사용할 수 있다. 또한, 로봇 시스템(100)은 추가 데이터를 획득하기 위해 추가 센서로부터 기록된 이미지 스트림(예를 들어, 비디오 자료)을 탐색하기 위해 퇴장 이벤트(1016)의 타임 스탬프를 사용할 수 있다. 따라서, 로봇 시스템(100)은 하향 센서(예를 들어, 제1 이미징 센서(912) 및/또는 제2 이미징 센서(914))가 검출할 수 없었던 등록 타깃(506)의 수직 가장자리/표면/형상(형상에서의 변화와 같은)에 관한 추가 정보(예를 들어, 높이 및/또는 표면 이미지/표현 중 하나 이상)를 획득할 수 있다.
하나 이상의 실시형태에서, 로봇 시스템(100)은 획득된 프로파일 데이터를 처리하여 등록 타깃(506)의 높이를 계산할 수 있다. 예를 들어, 로봇 시스템(100)은 이미지에서 하나 이상의 수직 가장자리의 길이를 결정하고, 사전 결정된 함수 및/또는 방정식에 따라서 실제 측정치로 상기 길이를 매핑/변환할 수 있다. 로봇 시스템(100)은 타이밍에 기초하여 계산된 높이 대신에 프로파일 데이터로부터 계산된 높이를 사용할 수 있다. 로봇 시스템(100)은 또한 이미지로부터 계산된 높이를 사용하여, 타이밍에 기초하여 계산된 높이를 검증하거나 강화할 수 있다.
블록 1168에서, 로봇 시스템(100)은 이에 대응하는 도 2의 등록 데이터(254)를 생성 및/또는 덧붙이는 것에 기초하여 이송된 물체(예를 들어, 등록 타깃(506))를 등록할 수 있다. 로봇 시스템(100)은 등록 타깃(506)의 물리적 특성의 획득된 정보를 마스터 데이터(252)에 저장하는 것에 의해 등록 타깃(506)을 등록할 수 있다. 예를 들어, 로봇 시스템(100)은 이송 동안 또는 이송 전에 (예를 들어, 블록 1110에서 미인식된 물체를 처리하는 과정의 일부로서) 등록 데이터(254)에 대한 엔트리를 생성할 수 있다. 로봇 시스템(100)은 중량(예를 들어, 도 6의 하향 힘 측정치(604)), 도 6의 추정된 CoM(610), 도 7a의 가장자리 길이 측정치(728), 도 7a의 모서리 각도 측정치(730), 도 7b의 업데이트된 데이터(740), 및/또는 다른 이미징 데이터, 또는 이들의 조합과 같은 획득된 정보를 생성된 엔트리에 저장할 수 있다. 등록 타깃(506)이 작업 위치(116)에 배치되고 엔드 이펙터(904)로부터 해제될 때, 및/또는 등록 타깃(506)의 수직 가장자리/표면에 관한 정보(예를 들어, 높이 및/또는 표면 이미지)를 결정하고 저장한 후에, 로봇 시스템(100)은 등록 데이터(254)를 완성하고/하거나 저장할 수 있다.
일부 실시형태에서, 방법(1100)은 하나의 이미지로부터 미인식된 물체(414)의 그룹을 반복적으로 이송하고 등록할 수 있다. 따라서, 미인식된 물체(414) 중 하나를 이송하고 등록한 후에, 방법(1100)은 블록 1110으로의 피드백 경로에 의해 예시된 바와 같이 나머지 미인식된 물체(414) 중에서 새로운 등록 타깃을 결정할 수 있다. 일부 실시형태에서, 블록 1102로의 피드백 경로에 의해 예시된 바와 같이, 방법(1100)은 미인식된 물체(414) 중 하나를 이송하고 등록한 후에 출발 위치(114)를 다시 이미징하는 단계를 포함할 수 있다.
미인식된 물체(414)의 높이를 결정하기 위해 수평으로 향한 교차 센서(예를 들어, 도 3의 제1 교차 센서(316) 및/또는 소스 교차 센서(916))를 사용하는 것은 미인식된 물체(414)에 대한 추가 정보를 제공하는 동시에, 오류를 감소시키고 작업 실행에 미치는 영향을 최소화/제거한다. 스택 상부 뷰를 처리하기 위해 위에서 논의된 바와 같이, 개별 물체의 높이를 결정하기 위해 전체 스택(즉, 타깃 스택(910))의 측면 뷰 이미지를 분석하는 것은 각각의 물체의 구별 불가능한 가장자리/경계로 인한 오류로 이어질 수 있다. 따라서, 교차 센서는 다수의 적층된 물체의 측면 뷰 이미지를 처리함이 없이 이송된 물체의 높이를 결정하는 메커니즘을 제공한다. 또한, 일부 실시형태에서, 로봇 시스템(100)은 높이를 결정하기 위해 교차/퇴장 이벤트의 타이밍을 사용할 수 있으며, 이는 일반적으로 높이를 결정하기 위해 추가 이미지를 획득하고 처리하는 것보다 적은 자원 소비를 제공한다. 더욱이, 로봇 시스템(100)이 미인식된 물체(414)를 이송하는 동안 전술한 다양한 등록 데이터를 획득하기 때문에, 로봇 시스템(100)은 전체 작업을 완료하기 위해(예를 들어, 타깃 스택에 있는 물체를 작업 위치(116)로 이송하기 위해) 필요한 전체 시간/자원에 미치는 영향을 최소화하거나 전혀 영향을 미침이 없이 미인식된 물체(414)를 등록할 수 있다.
실시예
일부 실시형태에서, 로봇 시스템을 작동하기 위한 방법은: 출발 위치에 위치된 물체의 표면을 나타내는 이미지 데이터를 수신하는 단계; 물체를 파지하고 들어올리기 위해 이미지 데이터에 기초하여 최소 실행 가능 영역을 결정하는 단계; 물체를 수직으로 변위시키기 위해 최소 실행 가능 영역에 기초한 초기 들어올림의 구현 후에 물체를 나타내는 데이터를 획득하는 단계; 물체를 작업 위치로 이송하는 작동을 구현하는 단계; 작동을 구현하는 동안 이벤트 및 대응하는 타임 스탬프를 검출하는 단계로서, 이벤트는 교차 기준 높이에 위치된 측면 배향 교차 기준에 관련된 물체의 진입 또는 퇴장을 나타내는, 상기 검출하는 단계; 이벤트에 대응하는 그리퍼 높이를 결정하는 단계로서, 그리퍼 높이는 엔드 이펙터의 수직 위치를 나타내는, 상기 그리퍼 높이를 결정하는 단계; 이벤트, 그리퍼 높이 및/또는 사전 결정된 기준 높이에 기초하여 물체의 물체 높이를 계산하는 단계; 및 물체에 대한 새로운 기록을 나타내는 새로운 등록 데이터를 생성하는 단계를 포함하며, 새로운 등록 데이터는 물체 높이를 포함한다. 이벤트는 측면 배향 교차 기준(laterally-oriented crossing reference)에 대응하는 라인 또는 평면을 따라서 전송되는 광 신호를 검출하도록 구성된 교차 센서로부터의 출력을 나타낼 수 있다. 방법은 이벤트에 기초하여 프로파일 데이터를 획득하는 단계를 더 포함할 수 있으며, 프로파일 데이터는 물체의 수직 가장자리, 수직 표면 또는 이들의 조합에 관한 정보를 획득하도록 구성된 측면으로 향한 센서(laterally-facing sensor)로부터의 출력을 나타낸다. 프로파일 데이터는 출발 위치에 위치된 물체의 이미지 데이터에서 표현된 표면에 직교하는 하나 이상의 표면을 나타내는 2차원(2D) 및/또는 3차원(3D) 이미징 데이터를 포함할 수 있다. 방법은 공지된 물체를 나타내는 등록 데이터와 이미지 데이터를 비교하는 것에 기초하여 물체가 미인식된 물체라고 결정하는 단계를 더 포함하며; 이벤트는 물체가 인식 불가능하다고 결정하는 것에 기초하여 검출되고, 이벤트는 작업 위치 위에 위치되고 이와 겹치는 측면 배향 교차 기준에 관련된 미인식된 물체의 엔트리를 나타낸다. 이벤트는 미인식된 물체를 해제하기 위해 엔드 이펙터를 작동시키기 위한 트리거에 대응할 수 있다. 이벤트는 또한 해제 트리거 높이 위에 위치된 측면 배향 교차 기준에 관련된 미인식된 물체의 진입 또는 퇴장을 나타낼 수 있다.
일부 실시형태에서, 방법은 공지된 물체를 나타내는 등록 데이터와 이미지 데이터를 비교하는 것에 기초하여 물체가 미인식된 물체라고 결정하는 단계를 포함하며; 이벤트는 물체가 인식 불가능하다고 결정하는 것에 기초하여 검출되고, 이벤트는 출발 위치 위에 위치되고 이와 겹치는 측면 배향 교차 기준에 관련된 미인식된 물체의 퇴장을 나타낸다. 이벤트를 검출하는 단계는, 출발 위치로부터 미인식된 물체를 들어올리기 위한 작동에 동시에 대응하는 이벤트를 검출하는 단계; 및/또는 미인식된 물체를 파지하기 위한 작동 후에 이벤트를 검출하는 단계를 포함한다. 하나 이상의 실시형태에서, 이벤트를 검출하는 단계는 또한 측면 배향 교차 기준에 대응하는 센서를 활성화하는 단계를 포함할 수 있다. 방법은 미인식된 물체를 이송하는 작동과 동시에 엔드 이펙터 위치를 추적하는 단계를 더 포함하고, 엔드 이펙터 위치는 좌표값의 설정에 대응하고; 그리퍼 높이는 엔드 이펙터 위치에 대한 수직 좌표값에 대응하며; 이벤트를 검출하는 단계는 그리퍼 높이가 기준 높이 아래에 있을 때 및/또는 엔드 이펙터 위치의 수평 좌표값이 출발 위치와 관련된 경계 외부에 있을 때 초기 상태를 무시하는 단계를 포함하며, 초기 상태는 측면 배향 교차 기준에 대응하는 센서로부터의 하나 이상의 출력을 나타낸다. 방법은 작동 동안 외부 상태를 식별하는 단계로서, 외부 상태는 상기 엔드 이펙터 위치가 경계 외부에 있는 것을 나타내는, 상기 외부 상태를 식별하는 단계; 작동 동안 접근 상태를 식별하는 단계로서, 접근 상태는 엔드 이펙터 위치가 경계 내에서 기준 높이 아래에 있는 것을 나타내는, 상기 접근 상태를 식별하는 단계를 더 포함할 수 있으며, 초기 상태를 무시하는 단계는 외부 상태 및/또는 접근 상태 동안 초기 상태를 무시하는 단계를 포함한다.
일부 실시형태에서, 초기 들어올림의 구현 후의 물체를 나타낼 수 있는 데이터는 표면의 비교 이미지를 포함하고, 비교 이미지는 표면을 수직으로 분리하는 것으로부터 초래되는 하나 이상의 발견된 가장자리에 대응하고, 초기 들어올림은 인접한 물체의 하나 이상의 표면으로부터 물체의 표면을 수직으로 분리하기 위한 것이며; 새로운 등록 데이터는 표면의 업데이트된 이미지를 포함할 수 있으며; 방법은 이미지 데이터와 비교 이미지를 조합하는 것에 기초하여 업데이트된 이미지를 생성하는 단계를 더 포함할 수 있다. 일부 실시형태에서, 초기 들어올림을 구현하는 것에 기초하여 물체를 나타내는 데이터를 획득하는 단계는 엔드 이펙터에 부착되거나 통합되는 센서로부터 하향 힘 측정치를 수신하는 단계를 포함하며; 새로운 등록 데이터는 물체의 중량을 포함할 수 있으며, 중량은 하향 힘 측정치에 기초한다. 일부 실시형태에서, 초기 들어올림을 구현하는 것에 기초하여 물체를 나타내는 데이터를 획득하는 단계는 엔드 이펙터에 부착되거나 통합되는 센서로부터 토크 측정치를 나타내는 데이터를 수신하는 단계를 포함할 수 있으며; 새로운 등록 데이터는 물체의 추정된 질량 중심(CoM)을 포함할 수 있으며, 추정된 CoM은 토크 측정치에 기초한다. 일부 실시형태에서, 새로운 등록 데이터를 생성하는 단계는 상기 획득된 데이터 및 미인식된 물체의 높이를 저장하는 단계를 포함할 수 있다.
일부 실시형태에서, 로봇 시스템은: 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 연결되는 적어도 하나의 메모리 디바이스로서, 출발 위치에 있는 물체를 나타내는 이미지 데이터를 획득하고; 이미지 데이터에 따라서, 물체를 작업 위치로 이송하는 모션 계획을 구현하는 동안 교차 기준에 관련된 물체의 진입 또는 퇴장을 나타내는 이벤트를 검출하고; 이벤트에 기초하여, 물체의 외관을 묘사하는, 이미지 데이터와 별개인 추가 데이터를 획득하고; 물체를 나타내고 추가 데이터를 포함하는 새로운 등록 데이터를 생성하도록, 프로세서에 의해 실행 가능한 명령어를 저장하는 상기 적어도 하나의 메모리 디바이스를 포함한다. 명령어는 또한 프로세서가 전술한 바와 같은 방법의 하나 이상의 양태를 구현하게 할 수 있다.
일부 실시형태에서, 유형의 비일시적 컴퓨터 판독 가능 매체는 하나 이상의 프로세서를 통해 로봇 시스템에 의해 실행될 때, 상기 로봇 시스템이 방법을 수행하게 하는 프로세서 명령어를 저장할 수 있으며; 상기 방법은: 출발 위치에 위치된 물체의 표면을 나타내는 이미지 데이터를 수신하는 단계; 공지된 물체를 나타내는 등록 데이터에 이미지 데이터를 비교하는 것에 기초하여 물체가 미인식된 물체라고 결정하는 단계; 미인식된 물체를 파지하고 들어올리기 위해 이미지 데이터에 기초하여 최소 실행 가능 영역을 결정하는 단계; 물체를 수직으로 변위시키기 위해 최소 실행 가능 영역에 기초한 초기 들어올림의 구현 후에 미인식된 물체를 나타내는 데이터를 획득하는 단계; 미인식된 물체를 작업 위치로 이송하는 작동을 구현하는 단계; 작동을 구현하는 동안 이벤트 및 대응하는 타임 스탬프를 검출하는 단계로서, 상기 이벤트는 교차 기준 높이에 위치된 측면 배향 교차 기준에 관련된 물체의 진입 또는 퇴장을 나타내는, 상기 작동 구현 단계; 이벤트에 대응하는 그리퍼 높이를 결정하는 단계로서, 그리퍼 높이는 엔드 이펙터의 수직 위치를 나타내는, 상기 그리퍼 높이를 결정하는 단계; 이벤트, 이벤트에 대응하는 그리퍼 높이, 및/또는 사전 결정된 기준 높이에 기초하여 물체의 물체 높이를 계산하는 단계; 및 미인식된 물체에 대한 새로운 기록을 나타내는 새로운 등록 데이터를 생성하는 단계를 포함하며, 상기 새로운 등록 데이터는 미인식된 물체의 높이를 포함한다. 프로세서 명령어는 또한 하나 이상의 프로세서가 전술한 방법의 하나 이상의 양태를 수행하게 할 수 있다.
결론
개시된 기술의 예들의 상기 상세한 설명은 개시된 기술을 총망라하거나 또는 위에 개시된 정확한 형태로 제한하는 것으로 의도되지 않는다. 개시된 기술에 대한 특정한 실시형태가 예시 목적을 위해 위에서 설명되었지만, 다양한 등가의 변경은 당업자가 인식할 수 있는 바와 같이 개시된 기술의 범위 내에서 가능하다. 예를 들어, 프로세스 또는 블록이 사전 결정된 순서로 제공되지만, 대안적인 구현예는 상이한 순서로, 단계를 가진 루틴을 수행하거나 또는 블록을 가진 시스템을 이용할 수 있고, 일부 프로세스 또는 블록이 대안 또는 서브 조합을 제공하도록 삭제, 이동, 추가, 세분, 결합 및/또는 변경될 수 있다. 이들 프로세스 또는 블록의 각각은 다양한 다른 방식으로 구현될 수 있다. 또한, 프로세스 또는 블록이 때때로 연속적으로 수행되는 것으로서 도시되지만, 이들 프로세스 또는 블록은 대신 동시에 수행되거나 구현될 수 있거나 또는 상이한 시간에 수행될 수 있다. 또한, 본 명세서에서 언급된 임의의 특정한 수는 단지 예이고; 대안적인 구현예는 상이한 값 또는 범위를 이용할 수 있다.
이들 변화 및 다른 변화는 위의 상세한 설명에 비추어 개시된 기술에 대해 이루어질 수 있다. 상세한 설명이 개시된 기술뿐만 아니라 고려되는 최상의 모드의 특정한 실시형태를 설명하지만, 개시된 기술은 위의 설명이 본 명세서에서 상세하게 나타나더라도, 많은 방식으로 실시될 수 있다. 시스템의 세부 사항은 시스템의 특정한 구현예에서 상당히 변경될 수 있지만, 여전히 본 명세서에 개시된 기술에 포함된다. 위에서 언급된 바와 같이, 개시된 기술의 특정한 특징 또는 양태를 설명할 때 사용되는 특정한 용어는 용어와 관련되는 개시된 기술의 임의의 특정 특성, 특징, 또는 양태로 용어가 제한되는 것으로 본 명세서에서 재정의되는 것을 암시하도록 간주되어는 안 된다. 따라서, 본 발명은 청구범위만을 제외하고 제한되지 않는다. 일반적으로, 다음의 청구범위에서 사용되는 용어는 상기의 상세한 설명 부분이 이러한 용어를 분명히 정의하지 않는 한, 개시된 기술을 본 명세서에 개시된 특정한 실시형태로 제한하는 것으로 해석되지 않아야 한다.
본 발명의 특정한 양태가 특정한 청구항 형태로 아래에 제공되지만, 본 출원인은 본 발명의 다양한 양태를 임의의 수의 청구항 형태로 고려한다. 따라서, 본 출원인은 본 출원에서 또는 계속 출원에서, 이러한 추가의 청구항 형태를 추구하도록 본 출원을 출원한 후 추가의 청구항을 추구할 권리를 갖는다.

Claims (20)

  1. 로봇 시스템을 작동하기 위한 방법으로서,
    출발 위치에 위치된 물체의 표면을 나타내는 이미지 데이터를 수신하는 단계;
    상기 물체를 파지하고 들어올리기 위해 상기 이미지 데이터에 기초하여 최소 실행 가능 영역을 결정하는 단계;
    상기 물체를 수직으로 변위시키기 위해 상기 최소 실행 가능 영역에 기초한 초기 들어올림의 구현 후에 상기 물체를 나타내는 데이터를 획득하는 단계;
    상기 물체를 작업 위치로 이송하는 작동을 구현하는 단계;
    상기 작동을 구현하는 동안, 이벤트 및 대응하는 타임 스탬프를 검출하는 단계로서, 상기 이벤트는 교차 기준 높이에 위치된 측면 배향 교차 기준에 관련된 상기 물체의 진입 또는 퇴장을 나타내는, 상기 검출하는 단계;
    상기 이벤트에 대응하는 그리퍼 높이를 결정하는 단계로서, 상기 그리퍼 높이는 엔드 이펙터의 수직 위치를 나타내는, 상기 그리퍼 높이를 결정하는 단계;
    상기 이벤트, 상기 그리퍼 높이, 또는 사전 결정된 기준 높이에 기초하여 물체의 상기 물체 높이를 계산하는 단계; 및
    상기 물체에 대한 새로운 기록을 나타내는 새로운 등록 데이터를 생성하는 단계로서, 상기 새로운 등록 데이터는 상기 물체 높이를 포함하는, 상기 새로운 등록 데이터를 생성하는 단계를 포함하는, 로봇 시스템을 작동하기 위한 방법.
  2. 제1항에 있어서, 상기 이벤트는 상기 측면 배향 교차 기준에 대응하는 라인 또는 평면을 따라서 전송되는 광 신호를 검출하도록 구성된 교차 센서로부터의 출력을 나타내는, 로봇 시스템을 작동하기 위한 방법.
  3. 제1항에 있어서, 상기 이벤트에 기초하여 프로파일 데이터를 획득하는 단계를 더 포함하되, 상기 프로파일 데이터는 상기 물체의 수직 가장자리, 수직 표면 또는 이들의 조합에 관한 정보를 획득하도록 구성된 측면으로 향한 센서로부터의 출력을 나타내는, 로봇 시스템을 작동하기 위한 방법.
  4. 제3항에 있어서, 상기 프로파일 데이터는 상기 출발 위치에 위치된 상기 물체의 이미지 데이터에서 표현된 표면에 직교하는 하나 이상의 표면을 나타내는 2차원(2D) 또는 3차원(3D) 이미징 데이터를 포함하는, 로봇 시스템을 작동하기 위한 방법.
  5. 제1항에 있어서,
    공지된 물체를 나타내는 등록 데이터와 상기 이미지 데이터를 비교하는 것에 기초하여 상기 물체가 미인식된 물체라고 결정하는 단계를 더 포함하고;
    상기 이벤트는 상기 물체가 인식 불가능하다고 결정하는 것에 기초하여 검출되고,
    상기 이벤트는 상기 작업 위치 위에 위치되고 이와 겹치는 측면 배향 교차 기준에 관련된 미인식된 물체의 엔트리를 나타내는, 로봇 시스템을 작동하기 위한 방법.
  6. 제5항에 있어서, 상기 이벤트는 상기 미인식된 물체를 해제하기 위해 상기 엔드 이펙터를 작동시키기 위한 트리거에 대응하는, 로봇 시스템을 작동하기 위한 방법.
  7. 제5항에 있어서, 상기 이벤트는 해제 트리거 높이 위에 위치된 상기 측면 배향 교차 기준에 관련된 상기 미인식된 물체의 진입 또는 퇴장을 나타내는, 로봇 시스템을 작동하기 위한 방법.
  8. 제1항에 있어서,
    상기 공지된 물체를 나타내는 등록 데이터와 상기 이미지 데이터를 비교하는 것에 기초하여 상기 물체가 미인식된 물체라고 결정하는 단계를 더 포함하고;
    상기 이벤트는 상기 물체가 인식 불가능하다고 결정하는 것에 기초하여 검출되고,
    상기 이벤트는 상기 출발 위치 위에 위치되고 이와 겹치는 측면 배향 교차 기준에 관련된 미인식된 물체의 퇴장을 나타내는, 로봇 시스템을 작동하기 위한 방법.
  9. 제8항에 있어서, 상기 이벤트를 검출하는 단계는 상기 출발 위치로부터 상기 미인식된 물체를 들어올리기 위한 작동에 동시에 대응하는 이벤트를 검출하는 것을 포함하는, 로봇 시스템을 작동하기 위한 방법.
  10. 제8항에 있어서, 상기 이벤트를 검출하는 단계는 상기 미인식된 물체를 파지하기 위한 작동 후에 상기 이벤트를 검출하는 것을 포함하는, 로봇 시스템을 작동하기 위한 방법.
  11. 제10항에 있어서, 상기 이벤트를 검출하는 단계는 상기 측면 배향 교차 기준에 대응하는 센서를 활성화하는 것을 포함하는, 로봇 시스템을 작동하기 위한 방법.
  12. 제10항에 있어서,
    상기 미인식된 물체를 이송하는 작동과 동시에 엔드 이펙터 위치를 추적하는 단계를 더 포함하되, 상기 엔드 이펙터 위치는 좌표값의 설정에 대응하고;
    상기 그리퍼 높이는 상기 엔드 이펙터 위치에 대한 수직 좌표값에 대응하고;
    상기 이벤트를 검출하는 단계는 상기 그리퍼 높이가 상기 기준 높이 아래에 있을 때 또는 상기 엔드 이펙터 위치의 수평 좌표값이 상기 출발 위치와 관련된 경계 외부에 있을 때 초기 상태를 무시하는 단계를 포함하고, 상기 초기 상태는 상기 측면 배향 교차 기준에 대응하는 센서로부터의 하나 이상의 출력을 나타내는, 로봇 시스템을 작동하기 위한 방법.
  13. 제12항에 있어서,
    작동 동안 외부 상태를 식별하는 단계로서, 상기 외부 상태는 상기 엔드 이펙터 위치가 상기 경계 외부에 있는 것을 나타내는, 상기 외부 상태를 식별하는 단계; 및
    작동 동안 접근 상태를 식별하는 단계로서, 상기 접근 상태는 상기 엔드 이펙터 위치가 상기 경계 내에서 상기 기준 높이 아래에 있는 것을 나타내는, 상기 접근 상태를 식별하는 단계를 더 포함하고;
    상기 초기 상태를 무시하는 단계는 상기 외부 상태 또는 상기 접근 상태 동안 상기 초기 상태를 무시하는 단계를 포함하는, 로봇 시스템을 작동하기 위한 방법.
  14. 제1항에 있어서,
    초기 들어올림의 구현 후의 상기 물체를 나타내는 상기 데이터는 상기 초기 들어올림 후에 취해진 상기 표면의 비교 이미지를 포함하고, 상기 초기 들어올림은 인접한 물체의 하나 이상의 표면으로부터 상기 물체의 표면을 수직으로 분리하기 위한 것이고,
    상기 새로운 등록 데이터는 상기 표면의 가장자리에 대응하는 가장자리 길이 측정치를 포함하고,
    상기 방법은,
    상기 비교 이미지에 기초하여, 상기 초기 들어올림 전에 상기 인접한 물체의 표면에 접하고 있는 상기 물체의 가장자리에 대응하는 하나 이상의 발견된 가장자리를 결정하는 단계; 및
    상기 발견된 가장자리에 기초하여 상기 가장자리 길이 측정치를 계산하는 단계를 더 포함하는, 로봇 시스템을 작동하기 위한 방법.
  15. 제1항에 있어서,
    초기 들어올림의 구현 후의 물체를 나타내는 상기 데이터는 상기 표면의 비교 이미지를 포함하고,
    상기 비교 이미지는 상기 표면을 수직으로 분리하는 것으로부터 초래되는 하나 이상의 발견된 가장자리에 대응하고,
    상기 초기 들어올림은 인접한 물체의 하나 이상의 표면으로부터 상기 물체의 표면을 수직으로 분리하기 위한 것이고;
    상기 새로운 등록 데이터는 상기 표면의 업데이트된 이미지를 포함하고;
    상기 방법은,
    상기 이미지 데이터와 상기 비교 이미지를 조합하는 것에 기초하여 상기 업데이트된 이미지를 생성하는 단계를 더 포함하는, 로봇 시스템을 작동하기 위한 방법.
  16. 제1항에 있어서,
    초기 들어올림 구현에 기초하여 상기 물체를 나타내는 데이터를 획득하는 단계는 상기 엔드 이펙터에 부착되거나 통합되는 센서로부터 하향 힘 측정치를 수신하는 단계를 포함하고;
    상기 새로운 등록 데이터는 상기 물체의 중량을 포함하고, 상기 중량은 하향 힘 측정치에 기초하는, 로봇 시스템을 작동하기 위한 방법.
  17. 제1항에 있어서,
    초기 들어올림을 구현하는 것에 기초하여 상기 물체를 나타내는 데이터를 획득하는 단계는 상기 엔드 이펙터에 부착되거나 통합되는 센서로부터 토크 측정치를 나타내는 데이터를 수신하는 단계를 포함하고;
    상기 새로운 등록 데이터는 상기 물체의 추정된 질량 중심(center-of-mass: CoM)을 포함하고, 상기 추정된 CoM은 상기 토크 측정치에 기초하는, 로봇 시스템을 작동하기 위한 방법.
  18. 제1항에 있어서, 상기 새로운 등록 데이터를 생성하는 단계는 상기 획득된 데이터 및 미인식된 물체의 높이를 저장하는 단계를 포함하는, 로봇 시스템을 작동하기 위한 방법.
  19. 로봇 시스템으로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 연결되는 적어도 하나의 메모리 디바이스를 포함하되, 상기 메모리 디바이스는,
    출발 위치에 있는 물체를 나타내는 이미지 데이터를 획득하고;
    상기 이미지 데이터에 따라서, 상기 물체를 작업 위치로 이송하는 모션 계획을 구현하는 동안 교차 기준에 관련된 상기 물체의 진입 또는 퇴장을 나타내는 이벤트를 검출하고;
    상기 이벤트에 기초하여, 상기 물체의 외관을 묘사하는, 상기 이미지 데이터와 별개인 추가 데이터를 획득하고;
    상기 물체를 나타내고 상기 추가 데이터를 포함하는 새로운 등록 데이터를 생성하도록,
    상기 프로세서에 의해 실행 가능한 명령어를 저장하는, 로봇 시스템.
  20. 컴퓨터 판독 가능 매체로서, 하나 이상의 프로세서를 통해 로봇 시스템에 의해 실행될 때, 상기 로봇 시스템이 방법을 수행하게 하는 프로세서 명령어를 저장하고; 상기 방법은,
    출발 위치에 위치된 물체의 표면을 나타내는 이미지 데이터를 수신하는 단계;
    공지된 물체를 나타내는 등록 데이터에 상기 이미지 데이터를 비교하는 것에 기초하여 상기 물체가 미인식된 물체라고 결정하는 단계;
    미인식된 물체를 파지하고 들어올리기 위해 상기 이미지 데이터에 기초하여 최소 실행 가능 영역을 결정하는 단계;
    상기 물체를 수직으로 변위시키기 위해 상기 최소 실행 가능 영역에 기초한 초기 들어올림의 구현 후에 상기 미인식된 물체를 나타내는 데이터를 획득하는 단계;
    상기 미인식된 물체를 작업 위치로 이송하는 작동을 구현하는 단계;
    작동을 구현하는 동안 이벤트 및 대응하는 타임 스탬프를 검출하는 단계로서, 상기 이벤트는 교차 기준 높이에 위치된 측면 배향 교차 기준에 관련된 상기 미인식된 물체의 진입 또는 퇴장을 나타내는, 상기 검출하는 단계;
    상기 이벤트에 대응하는 그리퍼 높이를 결정하는 단계로서, 상기 그리퍼 높이는 엔드 이펙터의 수직 위치를 나타내는, 상기 그리퍼 높이를 결정하는 단계;
    상기 이벤트, 상기 이벤트에 대응하는 그리퍼 높이, 또는 사전 결정된 기준 높이에 기초하여 상기 미인식된 물체의 물체 높이를 계산하는 단계; 및
    상기 미인식된 물체에 대한 새로운 기록을 나타내는 새로운 등록 데이터를 생성하는 단계로서, 상기 새로운 등록 데이터는 상기 미인식된 물체의 높이를 포함하는, 상기 새로운 등록 데이터를 생성하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
KR1020217016615A 2018-10-30 2019-10-29 자동화된 패키지 등록 메커니즘과 이를 작동시키는 방법을 구비한 로봇 시스템 KR102650492B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862752756P 2018-10-30 2018-10-30
US62/752,756 2018-10-30
US201962852963P 2019-05-24 2019-05-24
US62/852,963 2019-05-24
PCT/US2019/058650 WO2020092428A1 (en) 2018-10-30 2019-10-29 A robotic system with automated package registration mechanism and methods of operating the same

Publications (2)

Publication Number Publication Date
KR20210096615A true KR20210096615A (ko) 2021-08-05
KR102650492B1 KR102650492B1 (ko) 2024-03-22

Family

ID=70327497

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020217016611A KR102650494B1 (ko) 2018-10-30 2019-06-05 자동화된 패키지 등록 시스템, 디바이스 및 방법
KR1020247009032A KR20240042157A (ko) 2018-10-30 2019-06-05 자동화된 패키지 등록 시스템, 디바이스 및 방법
KR1020217016615A KR102650492B1 (ko) 2018-10-30 2019-10-29 자동화된 패키지 등록 메커니즘과 이를 작동시키는 방법을 구비한 로봇 시스템

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020217016611A KR102650494B1 (ko) 2018-10-30 2019-06-05 자동화된 패키지 등록 시스템, 디바이스 및 방법
KR1020247009032A KR20240042157A (ko) 2018-10-30 2019-06-05 자동화된 패키지 등록 시스템, 디바이스 및 방법

Country Status (6)

Country Link
US (12) US10703584B2 (ko)
JP (15) JP6704154B2 (ko)
KR (3) KR102650494B1 (ko)
CN (11) CN111113492A (ko)
DE (6) DE112019000125B4 (ko)
WO (6) WO2020091846A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102521819B1 (ko) * 2023-01-26 2023-04-17 주식회사 브릴스 파렛타이징 시스템

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
CN110893999A (zh) * 2018-09-12 2020-03-20 泰科电子(上海)有限公司 图像采集系统和图像采集方法
KR102650494B1 (ko) * 2018-10-30 2024-03-22 무진 아이엔씨 자동화된 패키지 등록 시스템, 디바이스 및 방법
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
US11224951B2 (en) * 2018-12-21 2022-01-18 The Boeing Company Method and apparatus for single-sided clamp-up
US10549928B1 (en) 2019-02-22 2020-02-04 Dexterity, Inc. Robotic multi-item type palletizing and depalletizing
US11741566B2 (en) * 2019-02-22 2023-08-29 Dexterity, Inc. Multicamera image processing
US11046519B2 (en) 2019-02-25 2021-06-29 Rehrig Pacific Company Delivery system
EP3702985A1 (en) * 2019-02-28 2020-09-02 Accenture Global Solutions Limited Augmented reality enabled cargo loading optimization
US11023763B2 (en) * 2019-03-19 2021-06-01 Boston Dynamics, Inc. Detecting boxes
US11069073B2 (en) * 2019-07-23 2021-07-20 Advanced New Technologies Co., Ltd. On-shelf commodity detection method and system
US11389965B2 (en) * 2019-07-26 2022-07-19 Mujin, Inc. Post-detection refinement based on edges and multi-dimensional corners
US10906188B1 (en) * 2019-10-25 2021-02-02 Dexterity, Inc. Singulation of arbitrary mixed items
SG10201913056VA (en) * 2019-12-23 2021-04-29 Sensetime Int Pte Ltd Method and apparatus for obtaining sample images, and electronic device
US11040836B1 (en) 2020-01-24 2021-06-22 Becton Dickinson Rowa Germany Gmbh Device and method for separating piece goods
US11951636B1 (en) * 2020-01-28 2024-04-09 Embodied Intelligence Inc. Methods of collecting data through test interactions
US11403764B2 (en) * 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges
US11443449B2 (en) * 2020-02-26 2022-09-13 Zebra Technologies Corporation Three-dimensional (3D) imaging systems and methods for virtual grading of package walls in commercial trailer loading
CA3115442A1 (en) 2020-04-20 2021-10-20 Rehrig Pacific Company Camera enabled portal
WO2021246476A1 (en) * 2020-06-04 2021-12-09 Mujin, Inc. Method and computing system for performing or facilitating physical edge detection
CN113658205B (zh) * 2020-06-04 2022-08-12 牧今科技 用于执行或促进物理边缘检测的方法和计算系统
US12062182B2 (en) 2020-06-04 2024-08-13 Mujin, Inc. Method and computing system for performing or facilitating physical edge detection
AT524101A1 (de) * 2020-07-27 2022-02-15 Tgw Logistics Group Gmbh System und Verfahren zur Erfassung einer Warenanzahl in einem Ladungsträger
JP7467268B2 (ja) 2020-07-30 2024-04-15 グローリー株式会社 計数装置、計数システム、計数方法、およびプログラム
JP7395451B2 (ja) * 2020-09-16 2023-12-11 株式会社東芝 ハンドリング装置、処理装置、コントローラ及びプログラム
CN112157671A (zh) * 2020-09-24 2021-01-01 中国标准化研究院 一种用于电子商务产品质量抽检的包裹取料机械手及方法
CN111928790B (zh) * 2020-10-16 2020-12-29 成都裕鸢航空零部件制造有限公司 一种基于互联网的航空零部件厚度计量装置及计量方法
CN112276956B (zh) * 2020-10-30 2022-05-17 北京市商汤科技开发有限公司 一种物品配送方法、装置、设备以及存储介质
JP7466435B2 (ja) * 2020-11-24 2024-04-12 川崎重工業株式会社 ロボット及び物品寸法取得方法
CN113058238B (zh) * 2020-12-05 2021-12-17 林周容 篮球内胎自动贴片系统及方法
CN112936243A (zh) * 2021-01-22 2021-06-11 广东电网有限责任公司广州供电局 基于二维码扫描的开关柜型号识别和定位装置
DE102021104773B3 (de) 2021-02-26 2022-03-17 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Kommissionierroboter mit optimierter trajektorie und verfahren zum steuern eines kommissionierroboters
US20240150139A1 (en) * 2021-03-10 2024-05-09 Aquabot Ltd. System and method for identifying or acquiring data corresponding to a handled item
DE102021202340A1 (de) 2021-03-10 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum steuern eines roboters zum aufnehmen und inspizieren eines objekts und robotersteuereinrichtung
US12129132B2 (en) 2021-03-15 2024-10-29 Dexterity, Inc. Singulation of arbitrary mixed items
US20220289502A1 (en) * 2021-03-15 2022-09-15 Dexterity, Inc. Adaptive robotic singulation system
EP4313504A1 (en) * 2021-03-26 2024-02-07 Boston Dynamics, Inc. Dynamic mass estimation methods for an integrated mobile manipulator robot
JP2022157884A (ja) * 2021-03-31 2022-10-14 セイコーエプソン株式会社 ロボットの制御方法、ロボットシステムおよびロボット制御プログラム
CN113510697B (zh) * 2021-04-23 2023-02-14 知守科技(杭州)有限公司 机械手定位方法、装置、系统、电子装置和存储介质
US20220362936A1 (en) * 2021-05-14 2022-11-17 Intelligrated Headquarters, Llc Object height detection for palletizing and depalletizing operations
CN116619386A (zh) * 2021-05-18 2023-08-22 牧今科技 用于物体大小测量的机器人系统
US12053890B2 (en) * 2021-06-03 2024-08-06 Intrinsic Innovation Llc Robotic workspace introspection via force feedback
US20230027984A1 (en) 2021-07-21 2023-01-26 Mujin, Inc. Robotic system with depth-based processing mechanism and methods for operating the same
US20230041343A1 (en) 2021-08-09 2023-02-09 Mujin, Inc. Robotic system with image-based sizing mechanism and methods for operating the same
JP6964917B1 (ja) * 2021-08-10 2021-11-10 リンクウィズ株式会社 計測システム、計測方法、プログラム
WO2023023366A1 (en) 2021-08-19 2023-02-23 Rehrig Pacific Company Imaging system with unsupervised learning
US11787585B2 (en) * 2021-08-19 2023-10-17 Rehrig Pacific Company Pallet wrapper and imaging system
AT525383A1 (de) * 2021-09-07 2023-03-15 Knapp Ag System zur Vereinzelung und Identifizierung von Artikeln
US20230070495A1 (en) * 2021-09-07 2023-03-09 Mujin, Inc. Robotic gripper assemblies for openable object(s) and methods for picking objects
CN118043177A (zh) * 2021-09-28 2024-05-14 京瓷株式会社 信息处理装置、机器人控制器、信息处理系统以及信息处理方法
IT202100025490A1 (it) * 2021-10-07 2023-04-07 Bosso S R L Magazzino automatico
US20230115849A1 (en) * 2021-10-11 2023-04-13 Mazor Robotics Ltd. Systems and methods for defining object geometry using robotic arms
CN115246547B (zh) * 2021-10-21 2023-09-12 梅卡曼德（北京）机器人科技有限公司 垛型续码方法、装置、计算设备及计算机存储介质
US12030191B2 (en) * 2021-10-28 2024-07-09 Ubkang (Qingdao) Technology Co., Ltd. Vision-guided picking and placing method, mobile robot and computer-readable storage medium
US11783606B2 (en) 2021-11-01 2023-10-10 Rehrig Pacific Company Delivery system
AT525778B1 (de) * 2021-11-09 2023-11-15 Tgw Logistics Group Gmbh Verfahren und Vorrichtung zum Entnehmen eines Ladeguts von einem Stapel
EP4429984A1 (en) * 2021-11-10 2024-09-18 Labo, Inc. Automated product unloading, handling, and distribution
CN113816137A (zh) * 2021-11-19 2021-12-21 佛山隆深机器人有限公司 一种基于机械臂的箱体分拣运输装置及控制方法
CN114161426B (zh) * 2021-12-29 2024-02-06 海澜智云科技有限公司 一种工业机器人的控制系统
CN116681758A (zh) * 2022-02-23 2023-09-01 北京百度网讯科技有限公司 车辆的姿态估计方法、装置、电子设备及存储介质
US11717974B1 (en) * 2022-06-10 2023-08-08 Sanctuary Cognitive Systems Corporation Haptic photogrammetry in robots and methods for operating the same
KR102486009B1 (ko) * 2022-06-23 2023-01-10 주식회사 대한엔지니어링 로봇팔을 이용한 디팔레타이징 자동화 시스템 및 방법
CN115009845B (zh) * 2022-08-04 2022-10-25 江苏安纳金机械有限公司 一种新型翘板机及其方法
KR102491429B1 (ko) * 2022-08-24 2023-01-27 주식회사 한성시스코 인공지능을 이용한 다수의 직육면체 블록들의 적층 구조에서의 각 블록의 인식 및 로딩 시스템, 및 그 방법
DE102022121538A1 (de) 2022-08-25 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Ablegen eines Objekts vermittels eines Roboters
JP7488311B2 (ja) 2022-10-27 2024-05-21 アリー ロジスティック プロパティ カンパニー，リミテッド 物流作業を実行するための施設及び方法
DE102023133348A1 (de) * 2022-11-30 2024-06-06 Voith Patent Gmbh Vorrichtung und Anordnung und Verfahren zum Umsetzen von Ballen
WO2024125921A1 (de) * 2022-12-13 2024-06-20 Kuka Deutschland Gmbh Greifen mit verpackungsmaterial
WO2024136993A1 (en) * 2022-12-20 2024-06-27 Liberty Reach Inc. Method and system for decanting a plurality of items supported on a transport structure at one time with a picking tool for placement into a transport container
WO2024176359A1 (ja) * 2023-02-21 2024-08-29 ファナック株式会社 位置補正装置、ロボットシステムおよび位置補正プログラム
US20240316779A1 (en) * 2023-03-20 2024-09-26 Mujin, Inc. Robotic system with object handling mechanism for loading and unloading of cargo carriers
DE102023111746A1 (de) 2023-05-05 2024-11-07 Bayerische Motoren Werke Aktiengesellschaft Handhabungsvorrichtung für einen Transport von Objekten
CN117369349B (zh) * 2023-12-08 2024-02-23 如特数字科技(苏州)有限公司 一种远程监测智能机器人的管理系统
CN117532644B (zh) * 2023-12-26 2024-04-12 广东亚数智能科技股份有限公司 一种三维视觉引导机械手抓取装置及其控制方法
CN118220850B (zh) * 2024-05-21 2024-07-19 杭州灵智科技数字化装备有限公司 拆垛方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013129034A (ja) * 2011-12-22 2013-07-04 Yaskawa Electric Corp ロボットシステム及び仕分け済み物品の製造方法
US20170246744A1 (en) * 2016-02-26 2017-08-31 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot

Family Cites Families (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907169A (en) 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
JP2894449B2 (ja) * 1989-04-07 1999-05-24 株式会社ダイフク カメラ使用の自動移載装置
JP2687030B2 (ja) 1990-02-09 1997-12-08 株式会社ダイフク ロボット使用の自動移載装置
JPH03277739A (ja) 1990-03-28 1991-12-09 Nippon Steel Corp プレス成形時の耐バリ性の優れた高ｒ値複合鋼板およびその製造方法
US5290454A (en) 1992-11-12 1994-03-01 Pump And Paper Research Institute Of Canada Process for removal of suspended solids from pulp and paper mill effluents
JPH06171760A (ja) 1992-12-02 1994-06-21 Mitsubishi Electric Corp デパレタイズ方法
JPH0753054A (ja) 1993-08-10 1995-02-28 Mitsubishi Electric Corp 自動荷卸し装置
JP3063487B2 (ja) 1993-09-27 2000-07-12 村田機械株式会社 パレタイズパターン認識装置
JP3516067B2 (ja) * 1994-04-26 2004-04-05 川崎重工業株式会社 デパレタイズ用画像作成方法および画像作成装置
JPH07291450A (ja) 1994-04-26 1995-11-07 Kawasaki Heavy Ind Ltd インテリジェントパレタイズシステム
IT1275664B1 (it) * 1994-11-16 1997-10-17 Consorzio Telerobot Sistema per il controlllo e guida automatica di un gruppo elevatore a forche
JP3277739B2 (ja) 1995-01-27 2002-04-22 三菱電機株式会社 産業用ロボット
JPH09251544A (ja) * 1996-03-14 1997-09-22 Toshiba Corp ワークエッジ検出画像処理装置
JP2921496B2 (ja) 1996-07-15 1999-07-19 三菱電機株式会社 画像処理装置および物体移載装置
US5908283A (en) 1996-11-26 1999-06-01 United Parcel Service Of Americia, Inc. Method and apparatus for palletizing packages of random size and weight
US6272230B1 (en) 1998-02-11 2001-08-07 Analogic Corporation Apparatus and method for optimizing detection of objects in computed tomography data
JPH11333770A (ja) * 1998-03-20 1999-12-07 Kobe Steel Ltd 積荷位置姿勢認識装置
JPH10323491A (ja) 1998-07-06 1998-12-08 Hitachi Ltd 脱水洗濯機
SE513174C2 (sv) 1998-10-22 2000-07-24 Abb Ab Förfarande för hantering av containrar samt anordning för utförande av förfarandet
WO2000057129A1 (fr) 1999-03-19 2000-09-28 Matsushita Electric Works, Ltd. Procede de reconnaissance d'objet tridimensionnel et systeme de collecte de broches a l'aide de ce procede
JP2001058723A (ja) * 1999-08-20 2001-03-06 Amada Co Ltd 板材加工機における製品搬出方法及びその装置
JP2001072247A (ja) 1999-09-06 2001-03-21 Murata Mach Ltd 搬送システム
JP3596434B2 (ja) 2000-06-30 2004-12-02 株式会社ダイフク 物品位置認識装置
JP3849514B2 (ja) 2001-12-10 2006-11-22 株式会社ダイフク 物品位置認識装置
JP2003237943A (ja) * 2002-02-12 2003-08-27 Rengo Co Ltd 段ボールケース束のデパレタイジング装置
US7085622B2 (en) 2002-04-19 2006-08-01 Applied Material, Inc. Vision system
JP3768174B2 (ja) 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
WO2004085121A1 (ja) * 2003-03-27 2004-10-07 Sony Corporation ロボット装置及びロボット装置の制御方法
DE10317855A1 (de) 2003-04-16 2004-11-18 Rkb Reparatur- Und Karosseriebau Gmbh Verfahren und Einrichtung zum Verteilen von Paketen o. dgl. Beförderungsgütern
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
JP2005333824A (ja) 2004-05-24 2005-12-08 Olympus Corp 検体導入装置および培養処理装置
KR100657915B1 (ko) * 2004-11-26 2006-12-14 삼성전자주식회사 코너 검출 방법 및 코너 검출 장치
JP2006300929A (ja) * 2005-03-22 2006-11-02 Jfe Engineering Kk 物体の３次元位置認識装置およびデパレタイズシステム
JP2007097057A (ja) 2005-09-30 2007-04-12 Brother Ind Ltd サーバ装置、機器情報提供方法、プログラム、ネットワークシステム、及び、機器共用化方法
JP4087874B2 (ja) * 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
JP4911341B2 (ja) * 2006-03-24 2012-04-04 株式会社ダイフク 物品移載装置
WO2009014677A1 (en) * 2007-07-23 2009-01-29 Abb Inc. Robotic palletizing system
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
KR101003654B1 (ko) 2008-08-27 2010-12-23 삼성전기주식회사 반도체 패키지용 트랜스포머
US8489232B2 (en) 2008-09-30 2013-07-16 Amazon Technologies, Inc. Systems and methods for receiving shipment parcels
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
DE102009011300B4 (de) * 2009-03-02 2022-08-11 Kuka Roboter Gmbh Beladung von Lademitteln mit Paketen mittels Manipulator
JP5429614B2 (ja) 2009-04-16 2014-02-26 株式会社Ｉｈｉ 箱状ワーク認識装置および方法
US8508590B2 (en) 2010-03-02 2013-08-13 Crown Equipment Limited Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion
US8538577B2 (en) 2010-03-05 2013-09-17 Crown Equipment Limited Method and apparatus for sensing object load engagement, transportation and disengagement by automated vehicles
FI20105732A0 (fi) 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
US9796540B1 (en) 2010-06-30 2017-10-24 Thiele Technologies System and method for robotic palletization of packages susceptible to package-to-package dimensional creep
CN103221188B (zh) * 2010-11-17 2016-08-03 三菱电机株式会社 工件取出装置
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
US10474858B2 (en) 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US9067744B2 (en) 2011-10-17 2015-06-30 Kabushiki Kaisha Yaskawa Denki Robot system, robot, and sorted article manufacturing method
CN102616578A (zh) 2011-11-18 2012-08-01 上海沃迪自动化装备股份有限公司 多功能机器人码垛系统
US20170003113A1 (en) * 2011-12-06 2017-01-05 Hexagon Technology Center Gmbh Coordinate measuring machine having a camera
JP2013145525A (ja) * 2012-01-16 2013-07-25 Fuji Electric Co Ltd 物品取り出し判定装置、物品取り出し判定システム、物品取り出しシステム、物品取り出し判定プログラムおよび物品取り出し判定方法
CN202539084U (zh) 2012-03-01 2012-11-21 成都三茁科技有限公司 多位扫描识别系统
JP2013246589A (ja) 2012-05-24 2013-12-09 Sharp Corp 空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体
JP5469216B2 (ja) 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
US9102055B1 (en) 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
JP5945968B2 (ja) * 2013-09-03 2016-07-05 株式会社安川電機 ロボットハンド、ロボットシステム、及び物品のデパレタイズ方法
JP5897532B2 (ja) 2013-11-05 2016-03-30 ファナック株式会社 三次元空間に置かれた物品をロボットで取出す装置及び方法
US10343857B2 (en) 2014-01-22 2019-07-09 Symbiotic Canada ULC. Vision-assisted robotized depalletizer
CN103822594A (zh) 2014-02-28 2014-05-28 华南理工大学 一种基于激光传感器和机器人的工件扫描成像方法
KR102081139B1 (ko) 2014-03-12 2020-02-25 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법
JP5829306B2 (ja) * 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US9205558B1 (en) 2014-07-16 2015-12-08 Google Inc. Multiple suction cup control
US9272417B2 (en) * 2014-07-16 2016-03-01 Google Inc. Real-time determination of object metrics for trajectory planning
US9327406B1 (en) * 2014-08-19 2016-05-03 Google Inc. Object segmentation based on detected object-specific visual cues
JP6486114B2 (ja) 2015-01-16 2019-03-20 株式会社東芝 荷役装置
US9486921B1 (en) 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US20160302521A1 (en) 2015-04-16 2016-10-20 Brian George Rennex Substantial energy return shoe with optimal low-impact springs and tuned gear change
JP6461712B2 (ja) * 2015-05-28 2019-01-30 株式会社東芝 荷役装置及びその動作方法
US9875427B2 (en) * 2015-07-28 2018-01-23 GM Global Technology Operations LLC Method for object localization and pose estimation for an object of interest
US20170057148A1 (en) 2015-08-27 2017-03-02 Imflux Inc Plastic article forming apparatuses and methods for controlling melt flow
US11010816B2 (en) * 2015-08-27 2021-05-18 Imflux Inc Methods of selecting thermoplastic materials for use with plastic article forming apparatuses that control melt flow
JP6466297B2 (ja) * 2015-09-14 2019-02-06 株式会社東芝 対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱
JP6711591B2 (ja) * 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
CA3192023A1 (en) * 2015-11-13 2017-05-18 Berkshire Grey Operating Company, Inc. Sortation systems and methods for providing sortation of a variety of objects
US10370201B2 (en) * 2015-11-13 2019-08-06 Kabushiki Kaisha Toshiba Transporting apparatus and transporting method
JP6710622B2 (ja) * 2015-11-13 2020-06-17 株式会社東芝 搬送装置および搬送方法
JP6298035B2 (ja) * 2015-12-17 2018-03-20 ファナック株式会社 モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
JP6690300B2 (ja) 2016-02-26 2020-04-28 村田機械株式会社 スタッカクレーン
CN105817430B (zh) 2016-03-29 2017-12-29 常熟理工学院 基于机器视觉的产品检测方法
CN106063998B (zh) 2016-04-13 2018-03-06 段炼 一种单罐内转动mvr系统
WO2018053430A1 (en) * 2016-09-16 2018-03-22 Carbon Robotics, Inc. System and calibration, registration, and training methods
US20180198983A1 (en) * 2017-01-06 2018-07-12 Olympus Corporation Image pickup apparatus, image pickup system, image pickup method, image pickup program, and display apparatus for image pickup
JP6479264B2 (ja) * 2017-01-13 2019-03-06 三菱電機株式会社 協働ロボットシステム、及びその制御方法
JP6495355B2 (ja) 2017-02-15 2019-04-03 昭 宮田 給液装置
JP2018144155A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN106886165A (zh) * 2017-03-10 2017-06-23 深圳市唯特视科技有限公司 一种基于模拟器的机械手抓取和操纵方法
CN110520259B (zh) * 2017-04-04 2021-09-21 牧今科技 控制装置、拾取系统、物流系统、存储介质以及控制方法
US10328578B2 (en) * 2017-04-21 2019-06-25 X Development Llc Methods and systems for detecting, recognizing, and localizing pallets
JP6904106B2 (ja) 2017-06-27 2021-07-14 村田機械株式会社 ピッキングシステム
JP2019063984A (ja) 2017-10-02 2019-04-25 キヤノン株式会社 情報処理装置、方法及びロボットシステム
US10471597B1 (en) * 2017-11-01 2019-11-12 Amazon Technologies, Inc. Adaptive perception for industrial robotic systems
US10346987B1 (en) 2017-12-29 2019-07-09 Datalogic Usa, Inc. Locating objects on surfaces
JP6489243B2 (ja) * 2018-01-17 2019-03-27 セイコーエプソン株式会社 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット
JP7065632B2 (ja) 2018-02-13 2022-05-12 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 箱状物ピッキング装置及びその方法
JP2018158439A (ja) 2018-03-15 2018-10-11 株式会社東芝 物体ハンドリング装置、制御装置、および較正方法
CN110737399B (zh) 2018-07-20 2023-09-05 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品
JP7467041B2 (ja) * 2018-09-27 2024-04-15 キヤノン株式会社 情報処理装置、情報処理方法及びシステム
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
KR102650494B1 (ko) 2018-10-30 2024-03-22 무진 아이엔씨 자동화된 패키지 등록 시스템, 디바이스 및 방법
US11023763B2 (en) * 2019-03-19 2021-06-01 Boston Dynamics, Inc. Detecting boxes
US10614340B1 (en) * 2019-09-23 2020-04-07 Mujin, Inc. Method and computing system for object identification
US10625952B1 (en) 2019-10-18 2020-04-21 Grey Orange Pte. Ltd. Induction station for conveying packages in storage facility
US11020854B2 (en) * 2019-11-05 2021-06-01 Mujin, Inc. Robotic system with wall-based packing mechanism and methods of operating same
US11423610B2 (en) 2019-11-26 2022-08-23 Applied Research Associates, Inc. Large-scale environment-modeling with geometric optimization
US11798273B2 (en) 2021-03-12 2023-10-24 Lawrence Livermore National Security, Llc Model-based image change quantification
US20230041343A1 (en) 2021-08-09 2023-02-09 Mujin, Inc. Robotic system with image-based sizing mechanism and methods for operating the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013129034A (ja) * 2011-12-22 2013-07-04 Yaskawa Electric Corp ロボットシステム及び仕分け済み物品の製造方法
US20170246744A1 (en) * 2016-02-26 2017-08-31 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102521819B1 (ko) * 2023-01-26 2023-04-17 주식회사 브릴스 파렛타이징 시스템
US12017366B1 (en) 2023-01-26 2024-06-25 Brils Co., Ltd. Palletizing system

Also Published As

Publication number Publication date
JP7466150B2 (ja) 2024-04-12
JP2021051797A (ja) 2021-04-01
CN111776762B (zh) 2021-07-23
JP7352260B2 (ja) 2023-09-28
US20200130963A1 (en) 2020-04-30
US20240078512A1 (en) 2024-03-07
US20200134830A1 (en) 2020-04-30
US20230008540A1 (en) 2023-01-12
WO2020092428A1 (en) 2020-05-07
CN111566027A (zh) 2020-08-21
JP7411932B2 (ja) 2024-01-12
CN111629868A (zh) 2020-09-04
JP2021507857A (ja) 2021-02-25
JP7340203B2 (ja) 2023-09-07
DE112019000172T5 (de) 2020-07-16
JP2021505980A (ja) 2021-02-18
JP2024023692A (ja) 2024-02-21
US20240020637A1 (en) 2024-01-18
JP2021062978A (ja) 2021-04-22
DE112019000217T5 (de) 2020-08-06
CN111861306B (zh) 2021-06-15
JP6822719B2 (ja) 2021-01-27
WO2020092452A1 (en) 2020-05-07
KR20240042157A (ko) 2024-04-01
JP2021503374A (ja) 2021-02-12
US11176674B2 (en) 2021-11-16
DE112019000177T5 (de) 2020-09-03
CN111776759A (zh) 2020-10-16
JP2020537775A (ja) 2020-12-24
US20220051411A1 (en) 2022-02-17
WO2020092433A1 (en) 2020-05-07
US20200294244A1 (en) 2020-09-17
JP6704154B2 (ja) 2020-06-03
WO2020091846A1 (en) 2020-05-07
CN111776762A (zh) 2020-10-16
CN111861305A (zh) 2020-10-30
KR102650494B1 (ko) 2024-03-22
US10703584B2 (en) 2020-07-07
CN111776759B (zh) 2021-07-23
DE112019000127T5 (de) 2020-06-18
CN111633633A (zh) 2020-09-08
CN111861306A (zh) 2020-10-30
US11961042B2 (en) 2024-04-16
US11189033B2 (en) 2021-11-30
KR102650492B1 (ko) 2024-03-22
US20200130961A1 (en) 2020-04-30
JP7555081B2 (ja) 2024-09-24
JP2021039795A (ja) 2021-03-11
DE112019000125T5 (de) 2020-07-02
JP2020110918A (ja) 2020-07-27
JP2023174652A (ja) 2023-12-08
US11501445B2 (en) 2022-11-15
US11636605B2 (en) 2023-04-25
CN111601761A (zh) 2020-08-28
JP2021054660A (ja) 2021-04-08
US20220076425A1 (en) 2022-03-10
JP6820634B2 (ja) 2021-01-27
US11062457B2 (en) 2021-07-13
DE112019000125B4 (de) 2021-07-01
KR20210087065A (ko) 2021-07-09
JP6813229B1 (ja) 2021-01-13
CN111113492A (zh) 2020-05-08
US11797926B2 (en) 2023-10-24
US20210304416A1 (en) 2021-09-30
WO2020092442A1 (en) 2020-05-07
DE112019000217B4 (de) 2023-09-14
CN111566028A (zh) 2020-08-21
JP2020069636A (ja) 2020-05-07
JP7571951B2 (ja) 2024-10-23
WO2020092447A1 (en) 2020-05-07
CN111633633B (zh) 2021-05-07
CN111491878A (zh) 2020-08-04
US12002007B2 (en) 2024-06-04
JP2023160842A (ja) 2023-11-02
CN111861305B (zh) 2021-08-03
JP6820044B1 (ja) 2021-01-27
US20200134828A1 (en) 2020-04-30
JP2021501102A (ja) 2021-01-14
DE112019000247T5 (de) 2020-09-03
JP6822718B1 (ja) 2021-01-27
US20200130962A1 (en) 2020-04-30
JP7548516B2 (ja) 2024-09-10
JP2021050100A (ja) 2021-04-01
US11288810B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
KR102650492B1 (ko) 자동화된 패키지 등록 메커니즘과 이를 작동시키는 방법을 구비한 로봇 시스템
JP7284953B2 (ja) 高度化したスキャンメカニズムを有するロボットシステム
CN111906773A (zh) 具有协调转移机构的机器人系统
JP7398662B2 (ja) ロボット多面グリッパアセンブリ及びその操作方法
JP2023016800A (ja) 深さベースの処理メカニズムを伴うロボットシステム及びロボットシステムを操作するための方法
CN111618852A (zh) 具有协调转移机构的机器人系统
JP7218881B1 (ja) 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant