KR20210137060A - 로봇식 다품목 유형의 팔레타이징 및 디팔레타이징 - Google Patents

로봇식 다품목 유형의 팔레타이징 및 디팔레타이징 Download PDF

Info

Publication number
KR20210137060A
KR20210137060A KR1020217030218A KR20217030218A KR20210137060A KR 20210137060 A KR20210137060 A KR 20210137060A KR 1020217030218 A KR1020217030218 A KR 1020217030218A KR 20217030218 A KR20217030218 A KR 20217030218A KR 20210137060 A KR20210137060 A KR 20210137060A
Authority
KR
South Korea
Prior art keywords
item
items
data
destination location
plan
Prior art date
Application number
KR1020217030218A
Other languages
English (en)
Other versions
KR102651187B1 (ko
Inventor
케빈 조세 차베즈
유안 가오
로히트 피다파티
탈보트 모리스-다우닝
하리 즈헤 수
사미르 메논
Original Assignee
덱스테러티, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 덱스테러티, 인크. filed Critical 덱스테러티, 인크.
Publication of KR20210137060A publication Critical patent/KR20210137060A/ko
Application granted granted Critical
Publication of KR102651187B1 publication Critical patent/KR102651187B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/917—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G57/00—Stacking of articles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37362—Hardness
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39528—Measuring, gripping force sensor build into hand
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40067—Stack irregular packages
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40571—Camera, vision combined with force sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • Stacking Of Articles And Auxiliary Devices (AREA)

Abstract

다양한 품목을 팔레타이징 또는 디팔레타이징하기 위해 로봇 암을 사용하는 기술이 개시되어 있다. 다양한 실시예에서, 목적지 위치 상에 또는 목적지 위치 내에 쌓여질 복수의 품목들과 연관된 데이터가 수신된다. 목적지 위치 상에 또는 목적지 위치 내에 품목을 쌓기 위한 계획은 수신된 데이터에 적어도 부분적으로 기초하여 생성된다. 계획은 품목을 픽업하고 리셉터클 상에 또는 리셉터클 내에 쌓기 위해 로봇의 로봇 암을 제어하여 적어도 부분적으로 구현되고, 상기 구현은 각각의 품목에 대하여, 상기 목적지 위치에서 해당 품목에 대한 목적지 위치의 제1 근사치로 상기 품목을 이동시키기 위해 하나 이상의 1차 센서를 사용하는 것; 및 상기 품목을 최종 위치 내로 맞추기(snug) 위해 하나 이상의 2차 센서를 사용하는 것을 포함한다.

Description

로봇식 다품목 유형의 팔레타이징 및 디팔레타이징
다른 출원에 대한 상호 참조
본 출원은 2019년 2월 22일에 출원된 로봇식 다품목 유형의 팔레타이징 및 디팔레타이징(ROBOTIC MULTI-ITEM TYPE PALLETIZING & DEPALLETIZING)이라는 명칭의 미국 가특허 출원 제62/809,389호에 대한 우선권을 주장하며, 이는 모든 목적을 위해 여기에 참조로 포함된다.
운송 및 유통 센터, 창고, 선적 부두, 항공 화물 터미널, 대형 박스 상점 및 비균질 품목 세트를 선적 및 수령하는 기타 활동은 박스, 크레이트, 컨테이너, 컨베이어 벨트 및 팔레트 등에 이종 품목을 포장, 포장해제하는 것과 같은 방식을 사용한다. 박스, 크레이트, 팔레트 등에 이종 품목을 포장하면, 결과 세트의 품목을 지게차, 크레인 등과 같은 무거운 리프팅 장비로 처리할 수 있으며 품목을 보관(예: 창고) 및/또는 선적(예: 트럭, 화물창 등)을 위해 더 효율적으로 포장될 수 있다.
일부 상황에서, 품목은 크기, 중량, 밀도, 부피, 강성, 포장 강도 등이 너무 다를 수 있으므로, 임의의 주어진 품목 또는 품목 세트는 해당 품목이 (예: 박스, 컨테이너, 팔레트 등에서) 포장해야 할 수 있는 주어진 기타 품목의 크기, 중량, 중량 분포 등을 지지할 수 있는 속성을 가질 수도 있고 갖지 않을 수도 있다. 팔레트 또는 이종 품목 세트를 조립할 때, (예: 지게차 등과 같은 장비로 처리할 수 없게) 팔레타이징된 스택이 무너지거나 기울어지거나 불안정해지지 않도록 그리고 품목 손상을 방지하도록 품목들을 신중하게 선택하고 쌓아야 한다.
현재, 팔레트는 일반적으로 수동으로 쌓여지고 및/또는 포장해제된다. 인간 작업자는 예컨대 배송 송장 또는 적하 목록 등에 기초하여 쌓을 품목을 선택하고 인간의 판단과 직관을 사용하여 바닥에 놓을 더 크고 무거운 품목을 선택한다. 그러나 어떤 경우에는 품목이 컨베이어 또는 기타 메커니즘을 통해 단순히 도착하거나 나열된 순서대로 빈(bin)에서 선택되어 결과적으로 불안정한 팔레타이징 또는 포장된 세트가 된다.
로봇 공학의 사용은 예컨대 주어진 팔레트에서 다양한 품목, 주문, 개수 및 포장할 품목의 혼합, 다양한 유형 및 컨테이너 위치 및/또는 팔레트 또는 기타 컨테이너에 놓기 위해 품목을 픽업해야 하는 공급 메커니즘으로 인해 많은 환경에서 더 어려워지고 있다.
본 발명의 다양한 실시예가 다음의 상세한 설명 및 첨부 도면에 개시되어 있다.
도 1은 이종 품목을 팔레타이징(palletize) 및/또는 디팔레타이징(depalletize)하기 위한 로봇 시스템의 일 실시예를 예시하는 도면이다.
도 2는 팔레타이징 및/또는 디팔레타이징 공정의 일 실시예를 예시하는 흐름도이다.
도 3a는 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 일 실시예에서 조립된 팔레트의 예를 예시하는 도면이다.
도 3b는 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 일 실시예에서 조립된 팔레트의 예를 예시하는 도면이다.
도 4a는 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 일 실시예에서 팔레트 상의 품목 배치의 예를 예시하는 도면이다.
도 4b는 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 일 실시예에서 팔레트 상의 품목 배치의 예를 예시하는 도면이다.
도 4c는 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 일 실시예에서 팔레트 상의 품목 배치의 예를 예시하는 도면이다.
도 5는 팔레트 상에 품목을 내려 놓기 위한 공정의 일 실시예를 예시하는 흐름도이다.
도 6은 팔레트 상에 품목을 내려 놓기 위한 공정의 일 실시예를 예시하는 흐름도이다.
도 7은 팔레트 상에 품목을 내려 놓기 위한 공정의 일 실시예를 예시하는 흐름도이다.
도 8은 팔레트 상에 품목을 내려 놓기 위한 방식을 결정하기 위한 공정의 일 실시예를 예시하는 흐름도이다.
도 9는 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 흡입 기초 엔드 이펙터의 일 실시예를 예시하는 블록도이다.
도 10은 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 그리퍼 스타일 엔드 이펙터(gripper-style end effector)의 일 실시예를 예시하는 블록도이다.
도 11은 품목을 목적지 위치로 순응적으로 이동시키는 공정의 일 실시예를 예시하는 흐름도이다.
도 12는 품목의 로봇 암 파지를 변경하기 위한 공정의 일 실시예를 예시하는 흐름도이다.
도 13은 팔레트 상에 쌓여질 품목의 속성을 결정하기 위해 로봇 암을 사용하기 위한 공정의 일 실시예를 예시하는 흐름도이다.
도 14는 팔레트 상에 쌓여진 품목 세트의 불안정성을 검출하고 이에 대응하기 위해 로봇 암을 사용하기 위한 공정의 일 실시예를 예시하는 흐름도이다.
본 발명은 공정; 장치; 시스템; 물질의 조성; 컴퓨터 판독 가능 저장 매체에 구현된 컴퓨터 프로그램 제품; 및/또는 프로세서, 예컨대 프로세서에 연결된 메모리에 저장되고 및/또는 메모리에 의해 제공되는 명령을 실행하도록 구성된 프로세서를 포함하는 수많은 방식으로 구현될 수 있다. 본 명세서에서, 이러한 구현 또는 본 발명이 취할 수 있는 임의의 다른 형태는 기술로 지칭될 수 있다. 일반적으로, 개시된 공정의 단계의 순서는 본 발명의 범위 내에서 변경될 수 있다. 특별한 언급이 없는 한, 프로세서나 메모리와 같은 작업을 수행하도록 구성되는 구성요소는 주어진 시간에 작업을 수행하도록 일시적으로 구성되는 일반 구성요소 또는 작업을 수행하도록 제조된 특정 구성요소로서 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, '프로세서'라는 용어는 컴퓨터 프로그램 명령과 같은 데이터를 처리하도록 구성된 하나 이상의 디바이스, 회로, 및/또는 처리 코어를 지칭한다.
본 발명의 하나 이상의 실시예에 대한 상세한 설명이 본 발명의 원리를 예시하는 첨부 도면과 함께 아래에 제공된다. 본 발명은 이러한 실시예와 관련하여 설명되지만, 본 발명은 임의의 실시예에 제한되지 않는다. 본 발명의 범위는 청구범위에 의해서만 제한되며 본 발명은 수많은 대안, 수정 및 등가물을 포함한다. 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 세부사항이 하기 설명에 기재되어 있다. 이러한 세부사항은 예시의 목적으로 제공되며 본 발명은 이러한 특정 세부사항의 일부 또는 전부 없이 청구범위에 따라 실시될 수 있다. 명확성을 위해, 본 발명과 관련된 기술 분야에서 알려진 기술 자료는 본 발명이 불필요하게 불명료해지는 일이 없도록 상세히 설명하지 않았다.
비균질한 품목의 임의 세트(예: 상이한 크기, 형상, 중량, 중량 분포, 강성, 취약성 등)를 팔레타이징/디팔레타이징하고 및/또는 그렇지 않으면 포장 및/또는 포장해제하기 위해 하나 이상의 로봇(예: 흡입, 그리퍼 및/또는 작동 단부에 다른 엔드 이펙터를 갖는 로봇 암)을 포함하는 로봇 시스템을 프로그래밍 방식으로 사용하는 기술이 개시된다.
다양한 실시예에서, 3D 카메라, 힘 센서, 및 다른 센서는 픽업되고 및/또는 놓여질 품목의 속성을 검출하고 결정하는 데 사용된다. 유형이 결정된 품목(예: 프로그래밍 방식으로 결정된 신뢰도 점수로 표시되는 충분한 신뢰도를 갖는)은 품목 유형별 모델에서 파생된 방식을 사용하여 픽 앤드 플레이스(pick and place)될 수 있다. 식별할 수 없는 품목은 주어진 품목 유형에 특정하지 않은 방식을 사용하여 픽 앤드 플레이스된다. 예컨대, 크기, 형상, 중량 정보를 사용하는 모델을 사용할 수 있다.
다양한 실시예에서, 품목 유형, 각각의 속성, 및 파지 방식의 라이브러리는 각 품목을 픽 앤드 플레이스하기 위한 방식을 결정하고 구현하는 데 사용된다. 라이브러리는 일부 실시예에서 동적이다. 예컨대, 라이브러리는 새로 발견된 품목 및/또는 주어진 배경에서 작동하거나 작동하지 않는 파지 방식과 같이 품목에 대해 학습된 추가 속성을 추가하도록 보강될 수 있다. 일부 실시예에서, 로봇 시스템이 막히면 인간 개입이 호출될 수 있다. 로봇 시스템은 인간 원격조작자가 로봇 암을 사용하기 위해 예컨대 원격조작을 통해 품목을 픽 앤드 플레이스하기 위해 개입하는 방법에 기초하여 (예: 센서를 사용하여) 주시하고 (예: 라이브러리 및/또는 모델을 갱신하여) 학습하도록 구성될 수 있다. 일부 실시예에서, 원격조작은 로봇이 물체를 잡아야 하는 2D RGB 이미지의 특정 지점을 나타내는 인간과 같은 더 상위 레벨의 피드백을 포함할 수 있다.
일부 실시예에서, 본원에 개시된 로봇 시스템은 알려지지 않았거나 새로 발견된 유형의 품목을 식별하고 픽/플레이스하기 위해 속성 및/또는 방식을 수집 및 저장(예: 라이브러리에 추가)하는 공정에 관여할 수 있다. 예컨대, 시스템은 3D 카메라 및/또는 기타 센서가 품목 유형을 특징으로 하고 해당 유형의 품목을 식별하고 픽/플레이스하는 방법의 모델을 저장하는 라이브러리 엔트리(library entry)를 보강 및/또는 생성하기 위해 센서 데이터를 생성할 수 있도록 다양한 각도 및/또는 위치에서 품목을 보유할 수 있다.
다양한 실시예에서, 팔레트 또는 다른 컨테이너 또는 위치에 품목을 픽 앤드 플레이스하기 위한 상위 레벨 계획이 만들어진다. 예컨대 센서 정보에 기초하여 방식을 적용하여 계획에 따라 개별 품목을 픽 앤드 플레이스하여 계획을 구현한다. 계획 및/또는 재계획과의 편차가 유발될 수 있는 데, 예컨대 로봇 시스템이 멈추고 팔레트의 품목 스택이 검출되어(예: 컴퓨터 비전, 힘 센서 등에 의해) 불안정해진다. 알려진 정보(예: 컨베이어에서 볼 수 있는 다음 N개 품목, 송장 또는 적하 목록에 있는 다음 N개 품목 등)에 기초하여 부분 계획이 형성될 수 있으며 추가 정보가 수신될 때 조정된다(예: 볼 수 있는 다음 품목, 등.). 일부 경우에, 시스템은 팔레트 또는 컨테이너 등에서 더 낮은(또는 더 높은) 층와 같이 시스템이 현재 구축하고 있는 층 또는 컨테이너에 쌓여지기에 적합하지 않은 것으로 결정된 품목을 대기하도록(예: 손이 닿는 곳에 따로 보관하도록) 구성된다. 픽/플레이스할 다음 품목에 대한 추가 정보가 알려지면, 대기(완충) 품목과 다음 품목을 고려하는 방식이 생성 및 구현된다.
도 1은 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 일 실시예를 예시하는 도면이다. 도시된 예에서, 시스템(100)은 로봇 암(102)을 포함한다. 이 예에서 로봇 암(102)은 고정되어 있지만, 다양한 대안적인 실시예에서 로봇 암(102)은 완전히 또는 부분적으로 이동될 수 있으며, 예컨대 레일에 장착되거나, 구동화 새시 등에서 완전히 이동될 수 있다. 도시된 바와 같이, 로봇 암(102)은 컨베이어 벨트(또는 다른 소스)(104)에서 임의의 및/또는 이종 품목을 픽업하고 팔레트 또는 다른 리셉터클(106)에 쌓는 데 사용된다. 도시된 예에서, 리셉터클(106)은 네 모서리에 바퀴가 있고 네 면 중 세 면이 적어도 부분적으로 폐쇄된 팔레트 또는 베이스(때로는 3면 "롤 팔레트", "롤 케이지" 및/또는 "롤" 또는 "케이지", " 트롤리"라고도 함)를 포함한다. 다른 실시예에서, 더 많거나, 더 적거나, 및/또는 측면이 없는 롤 또는 바퀴가 없는 팔레트가 사용될 수 있다. 일부 실시예에서, 도 1에 도시되지 않은 다른 로봇은 적재/하역할 위치로 및/또는 운송될 트럭 또는 다른 목적지 등으로 리셉터클(106)을 미는 데 사용될 수 있다.
도시된 예에서, 로봇 암(102)에는 흡입형 엔드 이펙터(108)가 장착되어 있다. 엔드 이펙터(108)는 복수의 흡입 컵(110)을 가진다. 로봇 암(102)은 도시된 바와 같이 엔드 이펙터(108)의 흡입 컵(110)을 픽업할 품목 위에 위치시키고 진공 소스가 흡입을 제공하여 품목을 파지하고 컨베이어(104)로부터 들어올려 리셉터클(106)의 목적지 위치에 내려 놓는다.
다양한 실시예에서, 엔드 이펙터(108)에 장착된 3D 또는 다른 카메라(112) 및 로봇 시스템(100)이 전개되는 공간에 장착된 카메라(114, 116) 중 하나 이상은 컨베이어(104) 상의 품목을 식별하는 데 사용되는 이미지 데이터를 생성하고 및/또는 리셉터클(106) 상의 품목을 파지하고, 픽/플레이스하고 쌓기 위한 계획을 결정한다. 다양한 실시예에서, 도시되지 않은 추가 센서, 예컨대 컨베이어(104) 및/또는 로봇 암(102) 내에 및/또는 이에 인접하여 구현된 중량 또는 힘 센서, 흡입 컵(110) 등의 xy 평면 및/또는 z-방향(수직 방향) 등의 힘 센서는 리셉터클(106) 상에 또는 리셉터클 내의 목적 위치에서 예컨대 시스템(100)에 의해 품목이 위치 및/또는 재배치될 수 있는 컨베이어(104) 및/또는 다른 소스 및/또는 대기 영역에서 품목을 파지하고, 픽업하고, 이동시키고 및/또는 내려 놓는 것의 속성들을 식별, 결정하는 데 사용될 수 있다.
도시된 예에서, 카메라(112)는 엔드 이펙터(108)의 본체 측면에 장착되지만, 일부 실시예에서 카메라(112) 및/또는 추가 카메라는 엔드 이펙터(108)의 본체의 아래쪽과 같은 다른 위치에 장착될 수 있고, 엔드 이펙터(108)는, 예컨대, 흡입 컵들(110) 사이의 위치, 또는 로봇 암(102)의 세그먼트 또는 다른 구조, 또는 다른 위치로부터 아래쪽을 향한다. 다양한 실시예에서, 112, 114, 및 116과 같은 카메라는 컨베이어(104) 상의 품목을 포함하여 및/또는 볼 수 있는 텍스트, 로고, 사진, 도면, 이미지, 마킹, 바코드, QR 코드 또는 기타 인코딩된 및/또는 그래픽 정보 또는 콘텐츠를 판독하는 데 사용될 수 있다.
도 1을 더 참조하면, 예시된 시스템(100)은 이 예에서 로봇 암(102), 컨베이어(104), 이펙터(108), 및 카메라(112, 114, 116)와 같은 센서 및/또는 도 1에 도시되지 않은 중량 센서, 힘 센서, 및/또는 다른 센서들과 같은 요소와 무선 통신(그러나 다양한 실시예에서 유선 및 무선 통신 중 하나 또는 둘 모두에서)을 통해 통신하도록 구성된 제어 컴퓨터(118)를 포함한다. 다양한 실시예에서, 제어 컴퓨터(118)는 카메라(112, 114, 116)와 같은 센서 및/또는 도 1에 도시되지 않은 중량 센서, 힘 센서, 및/또는 다른 센서들로부터의 입력을 사용하여, 리셉터클(106) 내로 적재되고 및/또는 리셉터클(106)로부터 하역될 품목의 하나 이상의 속성을 확인, 식별 및 결정하도록 구성된다. 다양한 실시예에서, 제어 컴퓨터(118)는 예컨대 이미지 및/또는 기타 센서 데이터에 기초하여 품목 및/또는 그 속성을 식별하기 위해 제어 컴퓨터(118)에 저장되고 및/또는 이에 액세스 가능한 라이브러리의 품목 모델 데이터를 사용한다. 제어 컴퓨터(118)는 품목에 대응하는 모델을 사용하여 다른 품목과 함께 리셉터클(106)과 같은 목적지 상에/내에 품목을 쌓는 계획을 결정하고 구현한다. 다양한 실시예에서, 품목 속성 및/또는 모델이 사용되어, 목적지 위치, 예컨대, 리셉터클(106) 내부/상으로 품목을 쌓기 위한 계획/재계획 공정의 일부로 품목이 놓여지는 것으로 결정된 위치에서 품목을 파지하고, 이동시키고 내려 놓기 위한 방식을 결정한다.
도시된 예에서, 제어 컴퓨터(118)는 "온 디맨드(on demand)" 원격조작 장치(122)에 연결된다. 일부 실시예에서, 제어 컴퓨터(118)가 완전히 자동화된 모드, 예컨대, 품목을 파지하고, 이동시키고 내려 놓는 방식으로 진행할 수 없고 및/또는 제어 컴퓨터(118)가 완전히 자동화된 모드에서 품목을 픽 앤드 플레이스하는 방식을 가지고 있지 않은 방식으로 실패하면, 그때 제어 컴퓨터(118)는 로봇 암(102) 및/또는 엔드 이펙터(108)를 작동시켜 품목을 파지하고, 이동시키고 내려 놓도록 예컨대 원격조작 장치(122)를 사용하여 인간 사용자(124)에게 개입을 촉구한다.
도 2는 팔레타이징 및/또는 디팔레타이징 공정의 일 실시예를 예시하는 흐름도이다. 다양한 실시예에서, 도 2의 공정(200)은 도 1의 제어 컴퓨터(118)와 같은 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위한 로봇 시스템을 포함하는 제어 컴퓨터에 의해 수행된다. 도시된 예에서, 202에서 팔레트와 같은 리셉터클에/로부터 서로 다른 품목 세트(즉, 세트가 2개 이상의 상이한 유형의 품목을 포함함)를 픽 앤드 플레이스하기 위한 상위 레벨 목표를 나타내는 데이터가 수신된다. 예컨대, 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터는 컨베이어(104)에 도착하는 품목을 리셉터클(106)에 적재하기 위한 입력을 수신할 수 있다. 일부 실시예에서, 배송 송장 또는 적하 목록과 같이 적재될 기대하고 및/또는 원하는 품목들을 명시적으로 나타내는 입력이 수신될 수 있다.
204에서, 202에서 수신된 상위 레벨 목표 및 이용가능한 센서 정보에 기초하여 품목을 픽/플레이스하기 위한 계획을 생성하기 위해 계획(또는 재계획)이 수행된다. 예컨대, 도 1에 도시된 예에서, 카메라(112, 114, 116) 중 하나 이상에 의해 생성된 3D 또는 다른 이미지 데이터가 도 1에 도시되지 않은 센서(예: 중량 센서)로부터의 센서 데이터와 함께 사용되어 컨베이어(104)를 통해 도착하는 품목을 리셉터클(106)에 픽 앤드 플레이스하고 쌓을 계획을 식별하고 결정한다.
일부 실시예에서, 시스템은 배송 송장 또는 기타 목록에 적어도 부분적으로 기초하여 계획을 세울 수 있다. 품목 크기, 중량, 밀도, 중량 분포, 강성, 품목의 용량 및/또는 해당 박스 또는 품목의 위에 쌓여진 중량을 지탱하기 위한 기타 포장 등에 기초하여 품목을 쌓을 계획이 생성될 수 있다. 일부 실시예의 제어 컴퓨터는 컨베이어(104)와 같이 품목이 적재 위치에 도착하는 순서를 제어한다. 일부 실시예에서, 품목은 사전에 알려지지 않은 순서로 도착할 수 있고 및/또는 품목 목록이 알려져 있지 않을 수 있다. 일부 그러한 실시예에서, 카메라(예: 112, 114, 116) 및/또는 다른 센서는 품목 및/또는 그 속성을 식별하고, 팔레트 또는 다른 리셉터클(예: 리셉터클(106))에 품목을 쌓기 위한 계획을 생성/갱신하고 및/또는 204에서 결정된 쌓을 계획에 따라 각 품목을 파지하고, 픽업하고, 이동시키고, 해당 위치에 내려 놓는 방식을 결정하는 데 사용된다.
206에서, 품목이 픽업되고(예: 도 1에 도시된 예에서 컨베이어(104)로부터 파지됨), (미리 결정된/계획된) 궤적을 통해 품목이 놓여질 위치 근처의 위치로 이동되고, 204에서 결정하고 및/또는 갱신된 계획에 따라 목적지에 놓여진다.
다양한 실시예에서, 포장 계획에는 더 작은 및/또는 불규칙한 형상의 품목을 그룹화하고 더 쉽게 쌓여진 단위로 포장하기 위해 적층 가능한 트레이, 크레이트, 박스, 통 또는 기타 컨테이너의 계획된 사용이 포함될 수 있다. 일부 실시예에서, 디팔레타이징 작업에서 본원에 개시된 로봇 시스템은 이러한 컨테이너를 인식하고, 필요한 경우에, 컨테이너를 열고, 개별 품목을 제거하여 컨테이너를 비우도록 구성된다. 일단 비워지면, 컨테이너는 다양한 실시예에서 다른 로봇 및/또는 인간 작업자가 그것들을 회수하여 방해가 되지 않는 곳으로 이동할 수 있는 대기 위치로 이동된다.
도시된 예에서, (재)계획 및 계획 구현(204, 206)은 상위 레벨 목표(202)가 완료될 때까지(208) 계속되고, 여기서 공정(200)이 종료된다. 다양한 실시예에서, 재계획(204)은 예상되지 않은 및/또는 식별될 수 없는 품목의 도착과 같은 조건에 의해 촉발될 수 있으며, 속성을 나타내는 센서 판독치는 품목 식별 및/또는 관련 품목 모델 정보 등에 기초하여 예상된 것과 다른 값을 가진다. 예상치 못한 조건의 다른 예는 예상 품목이 누락되었다는 것을 결정하고, 품목 식별을 재평가하고 품목이 원래 식별된 것과 다른지를 결정하고, 식별되고 떨어뜨리거나 다시 잡아야 할 필요가 있는 품목과 품목 중량 또는 기타 속성이 불일치하는지를 검출하고, 나중에 도착하는 품목이 너무 무거워서 원래 및/또는 현재 계획에서 고려한 대로 하나 이상의 다른 품목에 쌓을 수 없다는 것을 결정하고 리셉터클에 쌓여진 품목 세트에서의 품목의 불안정성을 검출하는 것을 제한없이 포함한다.
도 3a는 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 일 실시예에서 조립된 팔레트의 예를 예시하는 도면이다. 다양한 실시예에서, 팔레트(302)에 쌓여진 것으로 도 3a에 도시된 품목은 도 2의 공정(200)에서와 같이 컴퓨터 결정(및/또는 갱신) 계획에 따라 도 1의 시스템(100)과 같은 로봇 시스템에 의해 쌓여질 수 있다.
도시된 예에서, 품목(304, 306 및 308)은 제 1(최하위) 층에 쌓여지고, 품목(310, 312, 314 및 316)은 품목(304, 306 및 308)의 상단의 층에 쌓여진다. 품목(318 및 320)은 상단에 쌓여졌다.
다양한 실시예에서, 도시된 바와 같은 품목은 품목 식별 및/또는 속성에 기초하여 도 3a에 도시된 바와 같이 예컨대, 이미지, 중량 및/또는 기타 다른 센서 데이터에 기초하여 결정 및/또는 측정된 바와 같이 놓여지도록 선택되고 지정될 수 있다. 예컨대, 품목(304, 306 및 308)은 (품목 및/또는 포장의) 그 (상대적인) 크기, 중량, 강성, 강도 및/또는 상단에 쌓여진 중량을 지지하는 능력에 대한 기타 표시에 기초하여 도시된 바와 같이 하단 층에 놓여질 수 있다.
각 품목의 배치, 방향 등은 다양한 실시예에서 하나 이상의 휴리스틱(heuristic), 알고리즘, 또는 다른 도구 및/또는 기술을 적용함으로써 결정된다. 예컨대, 각 품목은 상대적으로 (더) 평평한 상부 표면을 제공하여 다음 층에 대한 베이스를 형성하고, 스택 표면적을 최소화하고, 현재 층 둘레를 최소화하도록 전체 팔레트 내의 및/또는 현재 쌓여지고 및/또는 배열되어 있는 층에서 위치를 결정함으로써 적어도 부분적으로 추가된다. 다양한 실시예에서 다음 휴리스틱 중 하나 이상이 사용될 수 있다: 팔레트의 중심에 인접하게 질량 중심을 유지하도록 다음 품목을 배치하고; 후속 품목에 대해 로봇 암의 명확한 이동 경로를 유지하고; 모든 최상위 층 박스 또는 박스가 없는 품목에 대한 카메라의 가시성을 유지한다 등.
도시된 예에서, 품목(310 및 312)은 (적어도 단면에서) 원형이고, 일부 실시예에서 품목을 내려 놓을 위치를 선택할 때 품목의 형상이 고려될 것이다. 예컨대, 품목(310 및 312)이 도 3a에 도시된 바와 같이 다른 인접한 품목에 의해 제한되는 내부 위치는 층의 에지 또는 단부 위치 위에 선택될 수 있다.
품목(318 및 320)은 다양한 실시예에서 중량(또는 밀도), 그 위에 쌓여진 중량을 지지하는 능력 등과 같은 하나 이상의 속성에 기초하여 상단에 내려 놓도록 선택될 수 있다.
도 3b는 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 일 실시예에서 조립된 팔레트의 예를 예시하는 도면이다. 이 예에서, 도 3a에 도시된 바와 같이 예에 포함된 품목(314)은 생략된다. 다양한 실시예에서, 도 3b에 도시된 바와 같은 품목을 쌓기 위한 계획은 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터에 의해 생성될 수 있다. 도시된 예에서, 알고리즘적으로 생성된 계획은 품목(310, 312) 상에 쌓여진 품목(318)을 안정적인 위치에 있는 것으로 고려할 수 있다. 예컨대, 제어 컴퓨터가 도시된 위치가 안정적이지 않은지 결정하도록 임의의 점이나 축에 대해 계산된 순 모멘트가 없을 수 있다. 그러나 실제로는 팔레트(302)에 품목을 배치할 때 계획에서 약간 벗어나면, 품목(318)이 예컨대 품목(310, 312) 위에 쌓여지면 안정된 위치에 있지 않게 될 수 있다. 일부 실시예에서, 품목(318)을 내려 놓는 데 사용되는 로봇 암 및 엔드 이펙터(예: 흡입, 그리퍼)는 불안정성을 검출하기 위한 센서 및 로직을 포함한다. 예컨대, 이미지 데이터가 처리될 수 있고 도시된 바와 같이 품목이 오른쪽으로 기울어져 있다는 것을 나타낼 수 있다. 또는, 품목(318)을 해제하기 전에 엔드 이펙터의 힘 센서는 해제되는 경우에, 품목이 안정적이지 않다는 것을 검출하는 데 사용될 수 있다. 예컨대, 품목이 눌러졌지만 아직 해제되지 않을 때, 품목이 무너지는 경우(또는 불균일하게 저항을 제공하는 경우), 다양한 실시예에서 시스템은 품목이 안정적이지 않은 것으로 결정한다.
다양한 실시예에서, 예상치 못한 불안정성의 검출은 반응 동작을 촉발한다. 예컨대, 다른 품목[예: 도 3a에서와 같은 품목(314)]은 안정적이지 않은 품목을 추가로 지지하는 위치에 놓여질 수 있다. 또는 품목이 새 위치에서 안정적인지 확인하기 위해 품목은 다른 근처 위치로 변위될 수 있다(예: 도시된 예에서 왼쪽으로 맞추어짐). 다양한 실시예에서, 자동화된 처리가 해결책을 결정하는 데 실패하면, 인간 개입(예: 원격조작, 수작업 등을 통해)이 촉발될 수 있다.
도 4a는 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 일 실시예에서 팔레트 상의 품목 배치의 예를 예시하는 도면이다. 도시된 예에서, 위치(402)는 미리 놓여진 품목(406)에 인접한 위치에서 품목(도 4a에 도시되지 않음)을 팔레트(404) 상에 내려 놓도록 결정되었다. 예컨대, 위치(402)는 도 2의 204와 같이 품목 속성(크기, 중량, 치수 등)에 기초하여 결정될 수 있다.
도 4b는 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 일 실시예에서 팔레트 상의 품목 배치의 예를 예시하는 도면이다. 도시된 예에서, 품목(408)은 의도된 위치(402) 또는 그 근처의 위치로 1차 정확도로 이동되었다. 이 예에서, 품목(408)은 약간 불규칙한 외부 텍스처를 가지며, 이는 결과적으로 불완전하게 픽업하고 및/또는 위치(402) 또는 그 근처에 상기 품목을 내려 놓을 수 있다. 일부 실시예에서, 위치(402), 팔레트(404), 품목(406) 및 품목(408) 중 하나 이상과 관련하여 수신된 이미지 데이터 및/또는 기타 센서 데이터의 변동 및/또는 불일치는 결과적으로 도 4b에 도시된 바와 같이 품목(408)의 불완전한 배치를 초래할 수 있다.
도 4c는 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 일 실시예에서 팔레트 상의 품목 배치의 예를 예시하는 도면이다. 도시된 예에서, 품목(408)은 2차 정확도로 계획된 위치(402) 또는 그 근처의 위치에 맞추어져 있다. 다양한 실시예에서, 로봇 암 및/또는 엔드 이펙터에 구현된 힘 센서와 같은 2차 센서는 품목을 스택에서 더 단단히 끼워진 위치에 맞추도록 하는 데 사용된다. 예컨대, 로봇 암은 (예: 하나 이상의 측벽을 갖는 팔레트 또는 트롤리의 경우에) 품목(408)과 같은 품목을 인접한 품목(예: 품목(406)) 및/또는 측벽과 같은 다른 구조와 더 가깝고 (더 완전하게) 접촉하는 위치에 맞추는 데 사용될 수 있다.
일부 실시예에서, 품목(408)과 같은 품목은 인접한 품목, 측벽 등에 더 가깝게 맞추어질 수 있고 품목이 원래의 계획과 완전히 일치하지 않는 위치에서 끝나는 결과를 초래할 수 있다. 일부 실시예에서, 이용 가능한 공간의 사용을 최대화하고 인접한 품목을 서로 그리고 (적용 가능한 경우) 측벽과 같은 인접 구조에 결합함으로써 안정성을 최대화하기 위해 층 내에 꼭 맞는 배치가 바람직하고 선호된다.
도 5는 팔레트 상에 품목을 내려 놓기 위한 공정의 일 실시예를 예시하는 흐름도이다. 다양한 실시예에서, 공정(500)은 예컨대 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터에 의해 수행되어, 계획에 따라 품목을 연속적으로 픽 앤드 플레이스한다.
도시된 예에서, 502에서, 위치에 도달하기 위한 궤적 및 배치 위치는 픽 앤드 플레이스될 다음 품목에 대해 결정된다. 예컨대, 품목을 그 위치로 이동시키기 위해 (예: 품목 식별, 센서 데이터, 미리 놓여진 품목의 위치 등에 기초하여) 미리 결정된(예: 계획에 따라) 및/또는 동적으로 결정된 위치 및 궤적이 결정될 수 있다. 504에서, 하나 이상의 1차 센서(예: 이미지 데이터)가 1차 정확도로 품목을 목적지 위치로 이동시키기 위해 사용된다(예: 도 4b에 도시된 예에서와 같이). 506에서, 하나 이상의 2차 센서(예: 힘 센서)가 품목을 제자리에 꼭 맞게 고정하고(도 4c에서와 같이) 및/또는 불안정성(도 3b에서와 같이) 또는 기타 예상치 않은 조건을 검출하기 위해 사용된다. 품목이 508에서 성공적으로 놓여진 것으로 결정되면, 510에서 공정은 공정(500)의 다음 반복이 수행되는 다음 품목으로 계속된다. 품목이 508에서 성공적으로 놓여지지 않은 것으로 결정되면(예: 이미지 데이터에 의해 결정된 대로 품목이 예상 위치에 있지 않음, 품목이 안정적이지 않음, 스택이 안정적이지 않음 등), 예컨대 508에서 품목이 성공적으로 놓여진 것으로 결정될 때까지 예컨대 그렇게 하기 위한 추가 방식이 사용 가능하고 및/또는 사람의 개입이 (예: 주문형 원격조작을 통해) 호출되면, 그 때 512에서 시스템은 자동 처리를 통해 품목을 안전하게 내려 놓도록 다시 시도한다.
다양한 실시예에서, 본원에 개시된 바와 같이 팔레타이징/디팔레타이징을 위한 로봇 시스템은 품목을 배치하고 쌓기 위한 계획을 동적으로 생성 및/또는 갱신하도록 구성된다. 예컨대, 배치할 다음 품목이 미리 알려지지 않을 수 있으며 계획에 대한 조정이 필요할 수 있다. 예컨대, 부드러운 및/또는 취약성의 품목이 하위층에 놓여졌거나 놓여질 계획이고 더 무거운 품목이 도착하는 것으로 검출되면(다음), 계획은 부드러움 및 취약성 품목을 완충하기 위해 동적으로 조정되어(대기 영역에 따로 보관), 무거운 품목을 먼저 하위 레벨에 내려 놓을 수 있다. 일부 실시예에서, 부드러움 및/또는 취약성 품목이 미리 놓여진 경우(예: 팔레트 위에), 더 무거운 품목이 제자리에 더 하위 레벨에 놓여질 수 있도록 품목은 완충(대기) 영역으로 제거될 수 있다.
도 6은 팔레트 상에 품목을 내려 놓기 위한 공정의 일 실시예를 예시하는 흐름도이다. 다양한 실시예에서, 공정(600)은 카메라(112, 114, 116) 및/또는 중량 또는 다른 센서에 의해 생성된 이미지 데이터와 같은 센서 데이터에 기초하여 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터에 의해 수행된다. 도시된 예에서, 602에서 팔레트 또는 다른 리셉터클에 추가될 다음 N개의 품목에 관한 데이터가 수신된다. 예컨대, 이미지, 중량, 형상, 품목 식별, 송장, 광학 또는 기타 스캐너 출력, 및/또는 기타 데이터가 수신될 수 있다.
604에서, 602에서 수신된 데이터 및/또는 미리 결정된 데이터에 기초하여 품목을 선택하고, 이동시키고 포장/쌓기 위한 계획이 생성 및/또는 갱신된다. 예컨대, 계획은 604에서 다음 N개의 품목의 속성, 완충(대기) 영역에 있는 M개(0개 이상)의 품목의 속성, 및 팔레트에 이미 놓여지고 현재 배열된 P개(0개 이상)의 품목의 속성에 기초하여 만들어지고 및/또는 갱신될 수 있다. 예컨대, N개의 품목이 완충에 있는 M개의 품목보다 무겁지만 팔레트에 이미 있는 P개의 품목보다 가벼운 품목을 포함하면, 계획은 N개의 품목 다음에 (잠정적으로) 완충에 있는 M개의 품목을 내려 놓도록 갱신될 수 있다. 반대로, N개의 품목이 완충에 있는 M개의 품목과 팔레트에 이미 있는 P개의 품목보다 크고 무거우면, P개의 품목이 완충으로 제거되고 N개의 품목이 하단 층에 놓여질 수 있다.
606에서, 계획을 구현하기 위해 (예: 컨베이어 또는 다른 소스, 완충 또는 대기 영역, 및/또는 필요에 따라 팔레트로부터) 품목이 픽업된다. 계획의 구현으로 인해 608에서 상위 레벨의 목표가 완료된 것으로 결정되면(예: 모든 품목이 배치되면) 공정이 종료된다. 그렇지 않으면 데이터 수신, 계획 갱신, 계획에 따른 픽/플레이스(602, 604, 606)가 완료될 때까지(608) 계속된다.
도 7은 팔레트 상에 품목을 내려 놓기 위한 공정의 일 실시예를 예시하는 흐름도이다. 다양한 실시예에서, 공정(700)은 카메라(112, 114, 116)에 의해 생성된 이미지 데이터와 같은 센서 데이터에 기초하여 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터에 의해 수행된다. 다양한 실시예에서, 공정(700)은 예컨대 이미지 데이터에 적어도 부분적으로 기초하여 결정된 품목 크기 및 형상에 기초하여 품목 속성 및 배치를 동적으로 결정하는 데 사용된다.
도시된 예에서, 702에서 이미지 데이터가 수신되고 처리된다. 예컨대, 두 개 이상의 카메라로부터 이미지 데이터를 수신하고 병합하여 3차원 공간에서 점의 합성 세트를 생성할 수 있다.
704에서, 702에서 수신되고 처리된 이미지 데이터가 모델에 맞춰진다. 예컨대, 점의 합성 세트는 품목 모델의 라이브러리를 포함하는 대응 데이터와 비교될 수 있고 "최적 맞춤" 또는 "최상의 일치" 모델이 결정될 수 있다.
706에서, 예컨대 최적 적합 모델로부터의 데이터를 사용하여 이미지 데이터의 갭이 채워지고 경계 컨테이너(예: 모든 차원에서 직사각형이거나 거의 모든 품목에 대한 경계 "박스")가 품목에 대해 결정된다.
선택적으로, 708에서 경계 컨테이너의 그래픽 묘사가 품목의 합성 및/또는 원시 이미지(예: 원시 비디오)에 중첩되어 합성 디스플레이, 예컨대 작업을 모니터링하는 인간 사용자에게 제공한다.
710에서, 704에서 결정된 모델 및 706에서 결정된 경계 컨테이너는 품목을 (예: 팔레트 상에) 배치할 목적지 위치를 결정하는 데 사용된다. 일부 실시예에서, 경계 컨테이너는 결정된 배치 위치에, 예컨대 시각적 디스플레이 및/또는 품목을 픽 앤드 플레이스하는 작업의 표현으로 표시될 수 있다.
도 8은 팔레트 상에 품목을 내려 놓기 위한 방식을 결정하기 위한 공정의 일 실시예를 예시하는 흐름도이다. 다양한 실시예에서, 공정(800)은 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터에 의해 수행된다. 도시된 예에서, 802에서 품목 데이터가 수신되고 처리된다. 품목 데이터의 예에는 이미지 데이터, 광학 또는 기타 스캐너 출력, 품목 중량 등이 포함되지만 이에 국한되지 않다.
804에서, 품목 데이터를 모델, 예컨대 품목 모델의 라이브러리를 포함하는 모델에 일치시키려는 시도가 이루어진다. 예컨대, 품목이나 포장의 마크를 판독하여 품목을 식별하고 품목-특정 모델을 찾을 수 있다. 일부 실시예에서, 센서 판독치는 다른 방향을 가리킬 수 있다. 일부 실시예에서, 이상적으로 및/또는 무작위로 선택된 센서 데이터는 나머지 데이터가 (예: 규정된 신뢰도로) 품목 모델에 일치될 수 있는지를 결정하기 위해 고려 대상에서 제거될 수 있다. 그렇다면, 그 센서로부터의 센서 데이터는 폐기되고 일치가 발견된 것으로 806에서 결정된다.
품목-특정 모델에 대한 일치가 806에서 발견된 것으로 결정되면, 802에서 수신된 데이터에 기초하여 해당 모델에 기초한 방식이 808에서 품목을 파지하고, 픽업하고, 이동시키고 및/또는 내려 놓는 방식을 결정하는 데 사용된다.
806에서 품목-특정 모델에 대한 일치가 발견될 수 없다고 결정되면, 810에서 품목의 크기, 중량, 형상, 및/또는 다른 속성이 결정되고 해당 품목의 크기, 중량, 형상과 연관된 모델에 일치되도록 시도된다. 812에서 그러한 모델과의 일치가 발견된 것으로 결정되면, 814에서 결정된 모델은 품목을 파지하고, 픽업하고, 이동시키고 및/또는 내려 놓는 방식을 결정하는 데 사용된다. 그렇지 않으면, 816에서 인간 개입이 촉발되어, 예컨대 방식에 매핑될 방식 및/또는 품목 식별을 수동으로 입력하고 및/또는 원격조작에 의해 품목에 대한 작업의 전체 또는 일부를 수동 등으로 완료한다.
818에서, 품목 처리가 품목 및/또는 품목 유형에 대한 추가 정보 또는 신규 정보를 생성했는지 여부가 결정된다. 그렇다면, 820에서 품목 및/또는 품목 유형에 대한 모델을 생성 및/또는 갱신하기 위해 신규 정보가 사용된다. 신규 정보가 개발되지 않았고 및/또는 이러한 정보가 임의의 적용 가능한 모델(들)에 반영되면, 공정이 종료된다.
일부 실시예에서, 신규 품목 또는 품목 유형의 검출은 품목의 속성이 결정되고 더 완전하게 또는 정확하게 결정될 수 있는 발견 공정을 촉발한다. 예컨대, 시스템은 로봇 암을 사용하여 품목을 픽업하고 품목을 모델링하거나 보다 완전하게 모델링하는 데 사용할 품목의 (추가) 이미지 또는 뷰를 생성하기 위해 품목을 다른 위치 및/또는 다른 배향으로 유지할 수 있다.
다양한 실시예에서, 본원에 개시된 바와 같이 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템은 작동 단부에 흡입 기초, 그리퍼-유형 또는 다른 엔드 이펙터를 갖는 로봇 암을 포함한다. 다양한 실시예에서 엔드 이펙터는 본원에 개시된 바와 같이 이종 품목을 팔레타이징 및/또는 디팔레타이징하는 데 사용되는 하나 이상의 센서를 포함할 수 있다. 예컨대, 엔드 이펙터는 품목의 1차 픽 앤드 플레이스를 용이하게 하는 데 사용되는 이미지 센서 및 품목을 제자리에, 예컨대 다른 품목, 측벽 및/또는 다른 구조에 인접한 자리에 맞추는 것을 용이하게 하는 하나 이상의 힘 센서를 포함할 수 있다. 다른 예에서, 일부 실시예에서 흡입 기초 엔드 이펙터는 물체 표면에 대한 확실한 파지가 이루어진 때를 검출하고 및/또는 물체가 접촉을 잃거나 쉐어링 오프(shearing off) 때를 검출하기 위해 공기 압력 센서를 포함할 수 있다.
도 9는 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위한 로봇 시스템의 흡입 기초 엔드 이펙터의 일 실시예를 예시하는 블록도이다. 다양한 실시예에서, 도 9의 로봇 암 엔드 이펙터(900)는 도 1의 엔드 이펙터(108)를 구현하는 데 사용될 수 있다.
도시된 예에서, 엔드 이펙터(900)는 회전 가능한 결합을 통해 로봇 암(904)에 부착된 본체 또는 하우징(902)을 포함한다. 일부 실시예에서, 하우징(902)과 로봇 암(904) 사이의 연결은 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터에 의해 제어되는 전동 조인트를 포함할 수 있다. 엔드 이펙터(900)는 제어 모듈(908)을 흡입하도록 진공 소스를 공급하기 위해 로봇 암(904)을 통해 하우징(902) 내로 이어지는 흡입 또는 다른 공압 라인(906)을 추가로 포함한다. 다양한 실시예에서, 제어 모듈(908)은 예컨대 무선 및/또는 유선 통신을 통해 통신 인터페이스(914)를 통해 엔드 이펙터(900) 외부의 제어 컴퓨터, 예컨대, 도 1의 제어 컴퓨터(118)에 연결된다. 제어 모듈(908)은 엔드 이펙터(900)를 포함하는 흡입 컵(910, 912)에 흡입력을 공급하도록, 예컨대 엔드 이펙터(900)을 사용하여 픽업하고, 이동시키고 내려 놓을 품목에 흡입을 통해 엔드 이펙터를 부착하도록 작동 가능한 전자 및/또는 전자-기계 요소들을 포함한다.
도시된 예에서, 하우징(902)의 측면에 장착된 카메라(916)는 엔드 이펙터(900) 아래의 시야의 이미지 데이터를 제공한다. 복수의 힘 센서(918, 920, 922, 924, 926, 928)는 흡입 컵(910, 912)에 각각 가해지는 힘을 측정한다. 다양한 실시예에서, 힘 측정치는 통신 인터페이스(914)를 통해 외부 및/또는 원격 제어 컴퓨터에 전달된다. 센서 판독치는 로봇 암(904) 및 엔드 이펙터(900)가 다른 품목 및/또는 측벽 또는 다른 구조에 인접한 제자리에 품목을 꼭 맞추는 데 사용될 수 있게 하고 및/또는 불안정성[예: 아직 흡입 상태에 있지만 품목이 놓여질 것으로 예상되고 안정적인 것으로 예상되는 자리에 있는 동안 품목이 눌리는 상태에서의 불충분한 뒤로 밀쳐짐(push back)]을 검출할 수 있게 하기 위해 다양한 실시예에서 사용된다. 다양한 실시예에서, 힘 센서의 수평으로 장착된 쌍(예: 918 및 922, 924 및 928)은 힘이 모든 수평 방향에서 결정될 수 있도록 x-y 평면에서 직각으로 놓여진다.
도 10은 이종 품목을 팔레타이징 및/또는 디팔레타이징하기 위해 로봇 시스템의 그리퍼 스타일 엔드 이펙터의 일 실시예를 예시하는 블록도이다. 다양한 실시예에서, 도 10의 로봇 암 엔드 이펙터(1000)는 도 1의 엔드 이펙터(108)를 구현하는 데 사용될 수 있다.
도시된 예에서, 엔드 이펙터(1000)는 회전 가능한 결합을 통해 로봇 암(1004)에 부착된 본체 또는 하우징(1002)을 포함한다. 일부 실시예에서, 하우징(1002)과 로봇 암(1004) 사이의 연결은 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터에 의해 제어되는 전동 조인트를 포함할 수 있다. 엔드 이펙터(1000)는 그리퍼 제어 모듈(1008)에 전력을 공급하기 위해 로봇 암(1004)을 통해 하우징(1002)으로 이어지는 전력 라인(1006) 및 관절 디짓트(articulating digits)를 포함하는 그리퍼를 추가로 포함한다. 다양한 실시예에서, 제어 모듈(1008)은 예컨대, 통신 인터페이스(1014)를 통한 무선 및/또는 유선 통신을 통해 엔드 이펙터(1000) 외부의 제어 컴퓨터 예컨대, 도 1의 제어 컴퓨터(118)와 연결된다. 제어 모듈(1008)은 그리퍼 디지트(1010, 1012)를 조작하도록, 예컨대 엔드 이펙터(1000)를 사용하여 픽업하고, 이동시키고 내려 놓을 품목을 파지하도록 작동가능한 전자 및/또는 전기-기계 요소들을 포함한다.
도시된 예에서, 하우징(1002)의 측면에 장착된 카메라(1016)는 엔드 이펙터(1000) 아래 시야의 이미지 데이터를 제공한다. 복수의 힘 센서(1018, 1020, 1022, 1024, 1026, 1028)는 디짓트(1010 및 1012)의 장착 지점에 각각 가해진 힘을 측정한다. 다양한 실시예에서, 힘 측정치는 통신 인터페이스(1014)를 통해 외부 및/또는 원격 제어 컴퓨터에 통신된다. 센서 판독치는 로봇 암(1004) 및 엔드 이펙터(1000)가 다른 품목 및/또는 측벽 또는 다른 구조에 인접한 제자리에 품목을 꼭 맞도록 하고 및/또는 불안정성[예: 아직 흡입 상태에 있지만 품목이 놓여질 것으로 예상되고 안정적인 것으로 예상되는 자리에 있는 동안 품목이 눌리는 상태에서의 불충분한 뒤로 밀쳐짐]을 검출할 수 있게 하기 위해 다양한 실시예에서 사용된다.
흡입형 이펙터가 도 9에 도시되어 있고 그리퍼-유형 이펙터가 도 10에 도시되어 있지만, 다양한 실시예에서 하나 이상의 다른 및/또는 상이한 유형의 엔드 이펙터가 본원에 개시된 바와 같이 로봇 시스템에서 이종 품목을 팔레타이징/디팔레타이징하는 데 사용될 수 있다.
다양한 실시예에서, 팔레트 또는 다른 리셉터클 상의 품목을 픽업하여 쌓고 및/또는 품목을 디팔레타이징하기 위한 계획은 각 품목이 로봇 암에 의해 이동되는 궤적을 고려한다. 예컨대, 큰 박스는 작은 품목보다 더 많은 틈새가 필요하다. 또한 나중에 놓여진 품목은 미리 놓여진 품목 등과의 충돌을 피하는 궤적을 통해 이동해야 한다.
일부 실시예에서, 센서는 다른 품목, 리셉터클 및/또는 환경과의 충돌을 검출하고 궤적의 "순응" 조정에 의해 자동화된 작동을 계속하는 데 사용된다. 예컨대, 벽 또는 다른 구조가 부딪히면, 일부 실시예에서 로봇 암은 힘을 줄이고 장애물이 없어질 때까지 장애물을 따르도록 궤적을 조정한다.
도 11은 품목을 목적지 위치로 순응적으로 이동시키는 공정의 일 실시예를 예시하는 흐름도이다. 다양한 실시예에서, 도 11의 공정(1100)은 로봇 암, 엔드 이펙터 및/또는 환경을 포함하고 및/또는 그렇지 않으면 이들과 연관된 센서로부터의 센서 판독치에 적어도 부분적으로 기초하여, 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터에 의해 구현될 수 있다.
도시된 예에서, 1102에서 품목이 파지되고 품목이 계획된 궤적을 따라 이동되기 시작한다. 예상치 못한 또는 임계 센서 값이 수신되면(1104), 파지 및/또는 궤적 중 하나 또는 둘 모두가 조정될 수 있다(1106). 예컨대, 품목이 원래 손에서 미끄러지는 것으로 검출되면, 로봇 암은 품목을 내려 놓고 더 안전하게 다시 잡는 데 사용될 수 있다. 품목이 (예: 힘 센서, 이미지 데이터, 둘 다 등에 기초하여) 장애물에 부딪친 것으로 결정되면, 궤적은 장애물을 따라 및/또는 장애물 주위로 품목을 이동하도록 조정될 수 있다. 예컨대, 힘 센서 판독치를 임계값 아래로 유지하기 위해 원래 계획된 궤적에서 벗어날 수 있다. 반대 힘이 검출되지 않으면, 가능한 경우에, 원래 궤적이 다시 취해질 수 있고, 및/또는 신규 다음 세그먼트 궤적이 계산되고 추종될 수 있다.
(추가) 예상치 못한 센서 값이 발견되지 않으면(1104), 품목은 목적지까지의 궤적을 따라 계속된다(1108).
도 12는 품목의 로봇 암 파지를 변경하기 위한 공정의 일 실시예를 예시하는 흐름도이다. 다양한 실시예에서, 도 12의 공정(1200)은 로봇 암, 엔드 이펙터 및/또는 환경을 포함하고 및/또는 그렇지 않으면 이들과 관련되는 센서로부터의 센서 판독치에 적어도 부분적으로 기초하여 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터에 의해 구현될 수 있다. 1202에서, 시스템(예: 힘/토크 센서 및/또는 기타 데이터에 기초하는 제어 컴퓨터)은 품목이 중량 중심에서 또는 그 근처에서 파지되지 않았다는 것을 검출한다. 예컨대, 힘 및/또는 토크 센서는 엔드 이펙터가 로봇 암에 부착되는 연결 지점에 대한 임계 토크보다 큰 것을 검출할 수 있다. 또는 이미지 데이터는 로봇 암과 엔드 이펙터를 파지하고 있는 동안 품목이 대부분 수평 위치에 있지 않다는 것을 나타낼 수 있다. 1204에서, 품목이 내려지고(예: 완충 영역 또는 대기 영역에서, 또는 픽업된 위치에서 등에서) 파지가 조정된다(예: 품목이 해제되고 다른 위치에서 다시 파지된다). 1206에서, 시스템은 궤적을 따라 목적지 배치 위치로 품목을 이동하는 것을 재개한다.
도 13은 팔레트 상에 쌓여질 품목의 속성을 결정하기 위해 로봇 암을 사용하기 위한 공정의 일 실시예를 예시하는 흐름도이다. 다양한 실시예에서, 도 13의 공정(1300)은 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터에 의해 구현될 수 있다. 도시된 예에서, 로봇 암 및/또는 엔드 이펙터는 품목의 하나 이상의 속성(예: 품목의 부드러움, 무거움, 밀도 등)을 결정하기 위해 품목을 탐색하는 데 사용된다. 예컨대, 품목이 가벼운 압력을 가하면 부드러운 것으로 결정된다. 품목이 크기에 비해 가볍다면, 이미지 데이터에 기초하여 결정되는 바와 같이 품목의 밀도가 낮은 것으로 결정된다. 1304에서 품목이 부드러움 및/또는 덜 조밀한 것으로 결정된 경우, 품목은 1306에서 완충되어 필요한 경우에, 스택의 상위층에 놓여진다. 품목이 1304에서 부드럽거나 덜 조밀하다고 결정되지 않으면 품목은, 1306에서 완충 없이 스택에 추가된다.
도 14는 팔레트 상에 쌓여진 품목 세트의 불안정성을 검출하고 반응하기 위해 로봇 암을 사용하는 공정의 일 실시예를 예시하는 흐름도이다. 다양한 실시예에서, 도 14의 공정(1400)은 도 1의 제어 컴퓨터(118)와 같은 제어 컴퓨터에 의해 구현될 수 있다. 다양한 실시예에서, 공정(1400)은 예컨대 내부(예: 힘 ) 및/또는 외부(예: 이미지) 센서 데이터에 기초하여 스택 불안정성을 검출하는 데 사용된다.
도시된 예에서, 스택 안정성은 1402에서 모니터링된다. 예컨대, 환경의 카메라는 스택이 기울어지고, 무너지고, 미끄러지기 시작했다는 것을 검출하는 데 사용될 수 있다. 또는, 로봇 암 및/또는 엔드 이펙터 상의 힘 센서는 스택 또는 그 일부가 불안정한 것을 검출하는 데 사용될 수 있다. 1404에서 스택이 불안정한 것으로 결정되면, 1406에서 부분 스택이 미끄러짐을 방지하고 스택의 안정성과 구조를 강화하기 위해 예컨대 플라스틱으로 자동으로 감싸진다. 1404에서 스택이 불안정한 것으로 (다시) 결정되지 않고 어떤 경우에도 일단 전체 스택(예: 팔레트 또는 기타 리셉터클)이 완료되면(1408), 스택 및/또는 그 나머지 감싸지지 않은 부분이 1410에서 자동으로 감싸지고 공정이 종료된다.
다양한 실시예에서, 본원에 개시된 기술은 인간 개입 없이 또는 최소한의 개입으로 로봇 시스템에 의해 이종 품목의 임의 그룹이 팔레타이징 및/또는 디팔레타이징될 수 있게 한다.
이전의 실시예가 이해의 명확성을 위해 일부 상세하게 설명되었지만, 본 발명은 제공된 상세 사항으로 제한되지 않는다. 본 발명을 구현하는 많은 대안적인 방법이 있다. 개시된 실시예는 예시적이며 제한적이지 않다.

Claims (20)

  1. 로봇 시스템으로서,
    통신 인터페이스; 및
    상기 통신 인터페이스에 결합된 프로세서를 포함하고, 상기 프로세서는:
    목적지 위치 상에 또는 목적지 위치 내에 쌓여질 복수의 품목들과 연관된 데이터를 상기 통신 인터페이스를 통해 수신하고;
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 품목들을 상기 목적지 위치 상에 또는 상기 목적지 위치 내에 쌓을 계획을 생성하고; 및
    상기 계획에 따라 상기 품목들을 픽업하고 상기 목적지 위치 상에 또는 상기 목적지 위치 내에 상기 품목들을 쌓도록 로봇 암을 제어함으로써 상기 계획을 적어도 부분적으로 구현하도록 구성되고,
    상기 구현은: 각각의 품목에 대하여
    상기 목적지 위치에서 해당 품목에 대한 목적지 위치의 제1 근사치로 상기 품목을 이동시키기 위해 하나 이상의 1차 센서를 사용하는 것; 및
    상기 품목을 최종 위치 내로 맞추기(snug) 위해 하나 이상의 2차 센서를 사용하는 것을 포함하는, 로봇 시스템.
  2. 제1항에 있어서,
    상기 목적지 위치는 팔레트, 박스, 또는 다른 리셉터클을 포함하는, 로봇 시스템.
  3. 제1항에 있어서,
    상기 복수의 품목들과 연관된 상기 데이터는 상기 품목들의 적어도 서브세트에 대한 센서 데이터를 포함하는, 로봇 시스템.
  4. 제3항에 있어서,
    상기 센서 데이터는 이미지 데이터, 중량 데이터, 힘 데이터, 크기 데이터, 치수 데이터 중 하나 이상을 포함하는, 로봇 시스템.
  5. 제1항에 있어서,
    상기 복수의 품목들과 연관된 상기 데이터는 상기 품목들의 적어도 서브세트에 대한 품목 및 품목 유형 데이터 중 하나 또는 둘 다를 포함하는, 로봇 시스템.
  6. 제5항에 있어서,
    상기 품목 및 상기 품목 유형 데이터 중 하나 또는 둘 모두는 광학 또는 다른 스캐너 출력을 포함하는, 로봇 시스템.
  7. 제1항에 있어서,
    상기 프로세서는 상기 품목들의 적어도 서브세트 각각에 대해 상기 품목에 대한 대응 모델을 결정함으로써 상기 계획을 적어도 부분적으로 생성하고 상기 모델을 사용하여 상기 품목에 대한 상기 계획을 결정하도록 구성되는, 로봇 시스템.
  8. 제7항에 있어서,
    상기 프로세서는 신규 품목 유형 또는 품목 속성을 검출하고 상기 신규 품목 유형 또는 상기 품목 속성을 반영하기 위해 품목 모델들의 라이브러리를 갱신하는 데이터를 생성 및 저장하도록 추가로 구성되는, 로봇 시스템.
  9. 제1항에 있어서,
    상기 프로세서는 상기 품목들의 적어도 서브세트의 속성을 결정하기 위해 상기 로봇 암을 사용하도록 추가로 구성되는, 로봇 시스템.
  10. 제1항에 있어서,
    상기 프로세서는 하나 이상의 품목에 대한 불안정성을 검출하고 결과적인 품목 스택을 보다 안정하게 만들기 위해 하나 이상의 품목의 배치 및 상기 계획 중 하나 또는 둘 다를 조정하도록 추가로 구성되는, 로봇 시스템.
  11. 제1항에 있어서,
    상기 프로세서는 상기 복수의 품목들의 서브세트를 포함하는 부분 스택에 대한 불안정성을 검출하고 상기 불안정성을 검출하는 것에 응답하여 자동으로 상기 부분 스택을 감싸도록 추가로 구성되는, 로봇 시스템.
  12. 제1항에 있어서,
    상기 복수의 품목들은 제1 복수의 품목들을 포함하고, 상기 프로세서는 제2 복수의 품목들과 연관된 데이터를 수신하고 상기 제1 복수의 품목들과 연관된 데이터 및 상기 제2 복수의 품목들과 연관된 데이터를 사용하여 상기 제1 및 제2 복수의 품목들을 포함하는 품목들을 상기 리셉터클 상에 또는 상기 리셉터클 내에 쌓기 위한 조정된 계획을 동적으로 결정하도록 추가로 구성되는, 로봇 시스템.
  13. 제1항에 있어서,
    상기 프로세서는 상기 리셉터클 상의 또는 상기 리셉터클 내의 목적지 위치로 이동되는 품목이 장애물을 만난 것을 검출하고 상기 장애물을 따라 또는 상기 장애물 주위로 가도록 상기 품목의 궤적을 조정하도록 추가로 구성되는, 로봇 시스템.
  14. 로봇을 제어하는 방법으로서,
    목적지 위치 상에 또는 목적지 위치 내에 쌓여질 복수의 품목들과 연관된 데이터를 통신 인터페이스를 통해 수신하는 단계;
    프로세서를 사용하여 상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 품목들을 상기 목적지 위치 상에 또는 상기 목적지 위치 내에 쌓을 계획을 생성하는 단계; 및
    상기 프로세서를 사용하여 상기 계획에 따라 상기 품목들을 픽업하고 상기 목적지 위치 상에 또는 상기 목적지 위치 내에 상기 품목들을 쌓도록 상기 로봇의 로봇 암을 제어함으로써 상기 계획을 적어도 부분적으로 구현하는 단계를 포함하고,
    상기 구현 단계는: 각각의 품목에 대하여
    상기 목적지 위치에서 해당 품목에 대한 목적지 위치의 제1 근사치로 상기 품목을 이동시키기 위해 하나 이상의 1차 센서를 사용하는 것; 및
    상기 품목을 최종 위치 내로 맞추기 위해 하나 이상의 2차 센서를 사용하는 것을 포함하는, 로봇을 제어하는 방법.
  15. 제14항에 있어서,
    상기 목적지 위치는 팔레트, 박스, 또는 다른 리셉터클을 포함하는, 로봇을 제어하는 방법.
  16. 제14항에 있어서,
    상기 복수의 품목들과 연관된 상기 데이터는 상기 품목들의 적어도 서브세트에 대한 센서 데이터를 포함하는, 로봇을 제어하는 방법.
  17. 제16항에 있어서,
    상기 센서 데이터는 이미지 데이터, 중량 데이터, 힘 데이터, 크기 데이터, 치수 데이터 중 하나 이상을 포함하는, 로봇을 제어하는 방법.
  18. 제14항에 있어서,
    상기 복수의 품목들과 연관된 상기 데이터는 상기 품목들의 적어도 서브세트에 대한 품목 및 품목 유형 데이터 중 하나 또는 둘 다를 포함하는, 로봇을 제어하는 방법.
  19. 제14항에 있어서,
    상기 프로세서는 상기 품목들의 적어도 서브세트 각각에 대해 상기 품목에 대한 대응 모델을 결정함으로써 적어도 부분적으로 상기 계획을 생성하고 상기 모델을 사용하여 상기 품목에 대한 상기 계획을 결정하도록 구성되는, 로봇을 제어하는 방법.
  20. 로봇을 제어하기 위한 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은 비일시적 컴퓨터 판독 가능 매체에 구현되고, 상기 컴퓨터 프로그램 제품은:
    목적지 위치 상에 또는 목적지 위치 내에 쌓여질 복수의 품목들과 연관된 데이터를 통신 인터페이스를 통해 수신하기 위한;
    상기 수신된 데이터에 적어도 부분적으로 기초하여 상기 품목들을 상기 목적지 위치 상에 또는 상기 목적지 위치 내에 쌓을 계획을 생성하기 위한; 및
    상기 계획에 따라 상기 품목들을 픽업하고 리셉터클 상에 또는 리셉터클 내에 상기 품목들을 쌓도록 상기 로봇의 로봇 암을 제어함으로써 상기 계획을 적어도 부분적으로 구현하기 위한;
    컴퓨터 명령어들을 포함하고,
    상기 구현은: 각각의 품목에 대하여
    상기 목적지 위치에서 해당 품목에 대한 목적지 위치의 제1 근사치로 상기 품목을 이동시키기 위해 하나 이상의 1차 센서를 사용하는 것; 및
    상기 품목을 최종 위치 내로 맞추기 위해 하나 이상의 2차 센서를 사용하는 것을 포함하는, 컴퓨터 프로그램 제품.
KR1020217030218A 2019-02-22 2019-11-06 로봇식 다품목 유형의 팔레타이징 및 디팔레타이징 KR102651187B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962809389P 2019-02-22 2019-02-22
US62/809,389 2019-02-22
US16/380,859 US10549928B1 (en) 2019-02-22 2019-04-10 Robotic multi-item type palletizing and depalletizing
US16/380,859 2019-04-10
PCT/US2019/060035 WO2020171859A1 (en) 2019-02-22 2019-11-06 Robotic multi-item type palletizing & depalletizing

Publications (2)

Publication Number Publication Date
KR20210137060A true KR20210137060A (ko) 2021-11-17
KR102651187B1 KR102651187B1 (ko) 2024-03-27

Family

ID=69230188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217030218A KR102651187B1 (ko) 2019-02-22 2019-11-06 로봇식 다품목 유형의 팔레타이징 및 디팔레타이징

Country Status (8)

Country Link
US (5) US10549928B1 (ko)
EP (1) EP3927635A4 (ko)
JP (2) JP7362755B2 (ko)
KR (1) KR102651187B1 (ko)
CN (2) CN113727926B (ko)
CA (1) CA3131186A1 (ko)
MX (1) MX2021009912A (ko)
WO (1) WO2020171859A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486009B1 (ko) 2022-06-23 2023-01-10 주식회사 대한엔지니어링 로봇팔을 이용한 디팔레타이징 자동화 시스템 및 방법

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6662836B2 (ja) * 2017-11-24 2020-03-11 ファナック株式会社 収容領域又は治具にワークを配置するワーク配置システム
JP6927006B2 (ja) * 2017-12-11 2021-08-25 株式会社ダイフク 物品搬送設備
AT520958A1 (de) * 2018-03-09 2019-09-15 Tgw Logistics Group Gmbh Robotersystem mit an Warentypen angepassten Bewegungsabläufen und Betriebsverfahren hierfür
US11004033B1 (en) * 2019-02-04 2021-05-11 Vecna Robotics, Inc. System and method of asynchronous and automated order fulfillment
JP7204513B2 (ja) * 2019-02-13 2023-01-16 株式会社東芝 制御装置及びプログラム
US10549928B1 (en) 2019-02-22 2020-02-04 Dexterity, Inc. Robotic multi-item type palletizing and depalletizing
US11741566B2 (en) 2019-02-22 2023-08-29 Dexterity, Inc. Multicamera image processing
US11312581B2 (en) * 2019-04-16 2022-04-26 Abb Schweiz Ag Object grasp system and method
US10647528B1 (en) 2019-05-31 2020-05-12 Mujin, Inc. Robotic system for palletizing packages using real-time placement simulation
US10696494B1 (en) 2019-05-31 2020-06-30 Mujin, Inc. Robotic system for processing packages arriving out of sequence
US10696493B1 (en) 2019-05-31 2020-06-30 Mujin, Inc. Robotic system with packing mechanism
US10618172B1 (en) 2019-05-31 2020-04-14 Mujin, Inc. Robotic system with error detection and dynamic packing mechanism
US10679379B1 (en) 2019-05-31 2020-06-09 Mujin, Inc. Robotic system with dynamic packing mechanism
US11077554B2 (en) * 2019-05-31 2021-08-03 Mujin, Inc. Controller and control method for robotic system
JP7204587B2 (ja) * 2019-06-17 2023-01-16 株式会社東芝 物体ハンドリング制御装置、物体ハンドリング装置、物体ハンドリング方法および物体ハンドリングプログラム
US11724880B2 (en) 2019-07-29 2023-08-15 Nimble Robotics, Inc. Storage systems and methods for robotic picking
US11738447B2 (en) 2019-07-29 2023-08-29 Nimble Robotics, Inc. Storage systems and methods for robotic picking
CN110480615B (zh) * 2019-08-30 2020-11-10 河南省机械设计研究院有限公司 机器人拆垛定位修正方法
US20210125052A1 (en) * 2019-10-24 2021-04-29 Nvidia Corporation Reinforcement learning of tactile grasp policies
CN113666130A (zh) * 2020-05-14 2021-11-19 泰科电子(上海)有限公司 自动码垛系统
JP2023542515A (ja) * 2020-09-23 2023-10-10 デクステリティ・インコーポレーテッド 速度制御ベースのロボットシステム
WO2022104161A2 (en) * 2020-11-13 2022-05-19 Armstrong Robotics, Inc. System for automated manipulation of objects using a vision-based collision-free motion plan
US20220152824A1 (en) * 2020-11-13 2022-05-19 Armstrong Robotics, Inc. System for automated manipulation of objects using a vision-based collision-free motion plan
US11932129B2 (en) 2020-12-21 2024-03-19 Nimble Robotics, Inc. Mobile robot having pneumatic charging system
JP2022124193A (ja) * 2021-02-15 2022-08-25 株式会社東芝 情報処理装置、情報処理方法、プログラム及びシステム
US20220288787A1 (en) * 2021-03-12 2022-09-15 Dexterity, Inc. Multi-pallet mixed-case robotic palletizer
US11897706B2 (en) 2021-03-30 2024-02-13 Dexterity, Inc. Robotic system with zone-based control
US20220315355A1 (en) * 2021-03-30 2022-10-06 Dexterity, Inc. Autonomous and safe integration of human task in robotic operation
US11981517B2 (en) 2021-03-30 2024-05-14 Dexterity, Inc. Robotic line kitting system safety features
WO2022221135A1 (en) * 2021-04-16 2022-10-20 Dexterity, Inc. Robotic foam dispenser
US20220402709A1 (en) * 2021-06-16 2022-12-22 Dexterity, Inc. State estimation using geometric data and vision system for palletizing
AT525233A1 (de) * 2021-06-30 2023-01-15 Tgw Logistics Group Gmbh Verbessertes Verfahren zum Beladen eines Zielladehilfsmittels und Lager- und Kommissioniersystem hierfür
JP2023063110A (ja) * 2021-10-22 2023-05-09 株式会社東芝 ピッキングシステム、ピッキング装置、制御装置、プログラム、及び方法
TWI776735B (zh) * 2021-11-15 2022-09-01 國立虎尾科技大學 棧板堆疊狀態檢測系統及其方法
CN114529155A (zh) * 2022-01-17 2022-05-24 湖南视比特机器人有限公司 工件动态码垛装框方法及系统
WO2023146886A1 (en) * 2022-01-31 2023-08-03 Dexterity, Inc. Packing and planning for tight incollapsible loads
US20230245036A1 (en) * 2022-01-31 2023-08-03 Dexterity, Inc. Optimization of package weight distribution
DE102022104554A1 (de) * 2022-02-25 2023-08-31 BEUMER Group GmbH & Co. KG Anordnung und Verfahren für die Einführung eines Rollbehälters in eine Rollbehälterbeladestation
US11932501B2 (en) * 2022-04-14 2024-03-19 Dexterity, Inc. Containerized robotic system
US20240017940A1 (en) * 2022-07-18 2024-01-18 Dexterity, Inc. Robotic gripper with support structure
CN115258509A (zh) * 2022-07-21 2022-11-01 京东科技控股股份有限公司 物品拣选方法及装置、计算机可读存储介质
KR102660657B1 (ko) * 2023-09-12 2024-04-26 한국생산기술연구원 적재물 하역용 로봇 장치 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5908283A (en) * 1996-11-26 1999-06-01 United Parcel Service Of Americia, Inc. Method and apparatus for palletizing packages of random size and weight
US20160272354A1 (en) * 2015-03-20 2016-09-22 Seiko Epson Corporation Packing apparatus and packing method
JP2016179821A (ja) * 2015-03-23 2016-10-13 セイコーエプソン株式会社 梱包装置、及び梱包方法
US20180162660A1 (en) * 2015-12-31 2018-06-14 Roi Industries Group, Inc. D/B/A Roi Machinery & Automation, Inc. Compact palletizer including a skeleton, subassembly, and stretch wrap system
US10207868B1 (en) * 2016-12-06 2019-02-19 Amazon Technologies, Inc. Variable compliance EOAT for optimization of GCU

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS595549B2 (ja) 1980-10-21 1984-02-06 新日本製鐵株式会社 タンディッシュ用耐火断熱性キャスタブル
US5501571A (en) * 1993-01-21 1996-03-26 International Business Machines Corporation Automated palletizing system
GB9918643D0 (en) 1999-08-06 1999-10-13 Canon Kk Geometry pipeline for computer graphics
CA2357271C (en) * 2001-03-30 2008-05-20 Axium Automation Inc. Gripping and transport clamp mounted at the end of a robotic arm and method for operating the same
US20020164067A1 (en) 2001-05-02 2002-11-07 Synapix Nearest neighbor edge selection from feature tracking
JP2006302195A (ja) 2005-04-25 2006-11-02 Toyota Motor Corp 画像処理方法及び画像処理装置
US20070280812A1 (en) * 2006-05-17 2007-12-06 Axium Inc. Tool and method for mixed palletizing/depalletizing
DE102007001263B4 (de) * 2007-01-08 2015-07-23 Kuka Roboter Gmbh Robotersystem zur Beladung von Lademitteln mit Stückguteinheiten
US7957583B2 (en) 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
US8930019B2 (en) 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
DE102011016663A1 (de) 2011-04-05 2012-10-11 How To Organize (H2O) Gmbh Vorrichtung und Verfahren zur Identifizierung von Instrumenten
US8903169B1 (en) 2011-09-02 2014-12-02 Adobe Systems Incorporated Automatic adaptation to image processing pipeline
US10216865B1 (en) * 2012-03-06 2019-02-26 Vecna Robotics, Inc. Monitoring one or more articles on a support surface
WO2013138594A1 (en) 2012-03-14 2013-09-19 Liqui-Box Corporation An adaptor for use with a valve fitment for dispensing fluids
US9315344B1 (en) * 2012-07-20 2016-04-19 Amazon Technologies, Inc. Container stacking configurations
DE102013003062B4 (de) * 2013-02-22 2014-10-30 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs bei einer Vorklimatisierung und Kraftfahrzeug
CA2951151A1 (en) 2014-06-04 2015-12-10 Intelligrated Headquarters Llc Truck unloader visualization
US9272417B2 (en) * 2014-07-16 2016-03-01 Google Inc. Real-time determination of object metrics for trajectory planning
US9327406B1 (en) 2014-08-19 2016-05-03 Google Inc. Object segmentation based on detected object-specific visual cues
JP5905549B1 (ja) 2014-09-16 2016-04-20 ファナック株式会社 バラ積みされた物品を取出す物品取出装置
US9492923B2 (en) * 2014-12-16 2016-11-15 Amazon Technologies, Inc. Generating robotic grasping instructions for inventory items
JP6486114B2 (ja) * 2015-01-16 2019-03-20 株式会社東芝 荷役装置
JP6140204B2 (ja) * 2015-02-06 2017-05-31 ファナック株式会社 ３次元センサを備えた搬送ロボットシステム
US9802317B1 (en) * 2015-04-24 2017-10-31 X Development Llc Methods and systems for remote perception assistance to facilitate robotic object manipulation
WO2017117517A1 (en) 2015-12-30 2017-07-06 The Johns Hopkins University System and method for medical imaging
US10124489B2 (en) * 2016-02-26 2018-11-13 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot
JP6378232B2 (ja) * 2016-03-17 2018-08-22 ファナック株式会社 複数の種類の物品を積み付けるための積み付けパターン計算装置および積み付け装置
EP3457682A1 (en) 2016-05-13 2019-03-20 Olympus Corporation Calibration device, calibration method, optical device, imaging device, projection device, measurement system and measurement method
US9811892B1 (en) 2016-06-30 2017-11-07 Apple Inc. Separating sub-band image data for processing and merging with unprocessed image data
JP6469061B2 (ja) * 2016-09-29 2019-02-13 ファナック株式会社 積み付けパターン計算装置及び積み付けシステム
US10109055B2 (en) 2016-11-21 2018-10-23 Seiko Epson Corporation Multiple hypotheses segmentation-guided 3D object detection and pose estimation
EP3349182A1 (en) 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
US10198829B2 (en) 2017-04-25 2019-02-05 Symbol Technologies, Llc Systems and methods for extrinsic calibration of a plurality of sensors
CN107088877A (zh) * 2017-06-02 2017-08-25 成都福莫斯智能系统集成服务有限公司 使用机器人进行堆垛的智能控制系统
US10894676B2 (en) * 2017-07-17 2021-01-19 Symbolic Llc Apparatus and method for building a pallet load
US10586418B2 (en) 2017-09-29 2020-03-10 Omnicell, Inc. Apparatuses, systems, and methods for the automated dispensing of articles
CN108010036B (zh) 2017-11-21 2020-01-21 江南大学 一种基于rgb-d相机的物体对称轴检测方法
CN109255813B (zh) 2018-09-06 2021-03-26 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
CN108972564B (zh) * 2018-09-20 2023-11-24 中国科学院合肥物质科学研究院 一种码垛机器人控制系统
US10678264B2 (en) 2018-10-10 2020-06-09 Midea Group Co., Ltd. Method and system for providing remote robotic control
KR102650494B1 (ko) 2018-10-30 2024-03-22 무진 아이엔씨 자동화된 패키지 등록 시스템, 디바이스 및 방법
US10549928B1 (en) * 2019-02-22 2020-02-04 Dexterity, Inc. Robotic multi-item type palletizing and depalletizing
US10906188B1 (en) 2019-10-25 2021-02-02 Dexterity, Inc. Singulation of arbitrary mixed items

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5908283A (en) * 1996-11-26 1999-06-01 United Parcel Service Of Americia, Inc. Method and apparatus for palletizing packages of random size and weight
US20160272354A1 (en) * 2015-03-20 2016-09-22 Seiko Epson Corporation Packing apparatus and packing method
JP2016179821A (ja) * 2015-03-23 2016-10-13 セイコーエプソン株式会社 梱包装置、及び梱包方法
US20180162660A1 (en) * 2015-12-31 2018-06-14 Roi Industries Group, Inc. D/B/A Roi Machinery & Automation, Inc. Compact palletizer including a skeleton, subassembly, and stretch wrap system
US10207868B1 (en) * 2016-12-06 2019-02-19 Amazon Technologies, Inc. Variable compliance EOAT for optimization of GCU

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486009B1 (ko) 2022-06-23 2023-01-10 주식회사 대한엔지니어링 로봇팔을 이용한 디팔레타이징 자동화 시스템 및 방법

Also Published As

Publication number Publication date
JP2022521002A (ja) 2022-04-04
CN113727926A (zh) 2021-11-30
EP3927635A4 (en) 2022-12-21
CN115502985A (zh) 2022-12-23
JP2023171915A (ja) 2023-12-05
KR102651187B1 (ko) 2024-03-27
US11851290B2 (en) 2023-12-26
WO2020171859A1 (en) 2020-08-27
EP3927635A1 (en) 2021-12-29
US10549928B1 (en) 2020-02-04
US20230143976A1 (en) 2023-05-11
JP7478301B2 (ja) 2024-05-02
US10994949B2 (en) 2021-05-04
US20210206587A1 (en) 2021-07-08
JP7362755B2 (ja) 2023-10-17
MX2021009912A (es) 2022-07-19
US20240158183A1 (en) 2024-05-16
CN115502985B (zh) 2024-04-05
CA3131186A1 (en) 2020-08-27
CN113727926B (zh) 2022-11-22
US11591169B2 (en) 2023-02-28
US20200270071A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
KR102651187B1 (ko) 로봇식 다품목 유형의 팔레타이징 및 디팔레타이징
US11806880B2 (en) Robotic handling of soft products in non-rigid packaging
JP7430319B2 (ja) ロボットアーム吸引制御機構を有するロボットシステムおよびその動作方法
JP2020111467A (ja) ロボットシステムの制御装置及び制御方法
US20220288787A1 (en) Multi-pallet mixed-case robotic palletizer
CN111421546A (zh) 机器人系统的控制装置以及控制方法
US11633864B2 (en) Polybag gripping suction cup
US20220297958A1 (en) Robotic palletization system with variable conveyor height
US20220331989A1 (en) Robotic foam dispenser
EP4319929A1 (en) Robotically-controlled structure to regulate item flow
CN115946107A (zh) 用于可打开对象的机器人抓持器总成和拾取对象的方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right