KR20230010246A - 카고 박스 추출 방법, 장치, 시스템, 로봇 및 저장 매체 - Google Patents

카고 박스 추출 방법, 장치, 시스템, 로봇 및 저장 매체 Download PDF

Info

Publication number
KR20230010246A
KR20230010246A KR1020227043533A KR20227043533A KR20230010246A KR 20230010246 A KR20230010246 A KR 20230010246A KR 1020227043533 A KR1020227043533 A KR 1020227043533A KR 20227043533 A KR20227043533 A KR 20227043533A KR 20230010246 A KR20230010246 A KR 20230010246A
Authority
KR
South Korea
Prior art keywords
cargo box
target
adjacent
image
interval
Prior art date
Application number
KR1020227043533A
Other languages
English (en)
Inventor
후이샹 리
잉 자오
주이-춘 청
Original Assignee
하이 로보틱스 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하이 로보틱스 씨오., 엘티디. filed Critical 하이 로보틱스 씨오., 엘티디.
Publication of KR20230010246A publication Critical patent/KR20230010246A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • B65G1/1375—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses the orders being assembled on a commissioning stacker-crane or truck
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/0492—Storage devices mechanical with cars adapted to travel in storage aisles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B65G2201/0235—Containers
    • B65G2201/025—Boxes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0233—Position of the article
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2209/00—Indexing codes relating to order picking devices in General
    • B65G2209/04—Indication location means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39094—Interference checking between robot and fixture
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40584—Camera, non-contact sensor mounted on wrist, indep from gripper

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예는 카고 박스 추출 방법, 장치, 시스템, 로봇 및 저장 매체를 제공하고, 상기 방법은 물류 로봇에 적용되며, 검출 이미지를 획득하되, 상기 검출 이미지는 타깃 카고 박스 및 이의 인접한 물체의 이미지를 포함하는 단계; 상기 검출 이미지에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 단계; 및 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면, 타깃 카고 박스의 추출을 수행하는 단계를 포함하여, 카고 박스 간격의 자동 검출을 구현하며, 검출 비용이 낮고 정확도가 높으며, 간격이 조건을 만족할 경우에만 피킹을 수행하므로 화물 추출의 안전성을 향상시키고 추출 과정에서 화물 파손 및 선반 덤핑 확률을 크게 줄인다.

Description

카고 박스 추출 방법, 장치, 시스템, 로봇 및 저장 매체
본 출원은 2020년 06월 12일에 중국특허국에 제출한, 출원번호가 202010536380.6이고, 출원의 명칭이 “카고 박스 추출 방법, 장치, 시스템, 로봇 및 저장 매체”인 중국특허출원의 우선권을 주장하는 바, 그 전부 내용은 참조로서 본 발명에 인용된다.
본 발명은 지능형 창고 보관(물류 창고,
Figure pct00001
) 기술분야에 관한 것으로, 특히 카고 박스 추출 방법, 장치, 시스템, 로봇 및 저장 매체에 관한 것이다.
물류 로봇은 지능형 운영체제를 사용하고, 시스템 명령을 통해 화물의 자동 추출 및 보관을 구현하며, 동시에 24시간 지속적으로 가동할 수 있어 수동 관리 및 조작을 대체하여 창고 보관 효율을 향상시키고 광범위하게 적용되며 주목을 받고 있다.
그러나, 선반의 진동 또는 인위적 조작으로 인해 카고 박스가 이의 창고 위치 내에서 편이가 발생하여 실질적인 박스 간격이 기설정값보다 작아지면서 물류 로봇이 화물을 추출하는데 위험이 존재하게 된다.
본 발명의 실시예는 물류 로봇에 설치된 이미지 센서에 대해 간격 검출을 수행하고, 간격이 조건을 만족할 경우에 피킹을 수행하여 피킹의 안전성을 향상시키는 카고 박스 추출 방법, 장치, 시스템, 로봇 및 저장 매체를 제공한다.
제1 양태에서, 본 발명의 실시예는 카고 박스 추출 방법을 제공하며, 상기 방법은 물류 로봇에 적용되고,
검출 이미지를 획득하되, 상기 검출 이미지는 타깃 카고 박스 및 이의 인접한 물체의 이미지를 포함하는 단계; 상기 검출 이미지에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 단계; 및 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면, 타깃 카고 박스의 추출을 수행하는 단계를 포함한다.
선택적으로, 상기 검출 이미지에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 단계는,
상기 검출 이미지에 대해 특징 추출을 수행하여 상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정하는 단계; 및 상기 타깃 영역과 상기 인접한 영역의 위치 관계에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 단계;를 포함한다.
선택적으로, 상기 검출 이미지는 포인트 클라우드 데이터로 구성된 이미지이고, 상기 타깃 영역과 상기 인접한 영역의 위치 관계에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 상기 단계는,
상기 타깃 영역의 포인트 클라우드 데이터의 좌표와 상기 인접한 영역의 포인트 클라우드 데이터의 좌표에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 단계를 포함한다.
선택적으로, 상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정한 이후, 상기 방법은,
상기 타깃 영역과 인접한 영역 사이의 인접한 포인트 클라우드 데이터의 포인트 클라우드 거리를 계산하는 단계; 및 상기 포인트 클라우드 거리에 따라 상기 타깃 영역과 인접한 영역 사이의 포인트 클라우드 데이터에 대해 클러스터링을 수행하고, 클러스터링 결과에 따라 상기 타깃 영역과 인접한 영역 사이에 장애물이 존재하는지 여부를 식별하는 단계를 더 포함하고; 상응하게, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면 상기 타깃 카고 박스의 추출을 수행하는 단계는, 장애물 식별 결과가 장애물이 존재하는 것이고, 및/또는 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하지 않으면 타깃 카고 박스의 추출을 수행하지 않는 단계; 및 장애물 식별 결과가 장애물이 존재하지 않는 것이고, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면 타깃 카고 박스의 추출을 수행하는 단계;를 포함한다.
선택적으로, 상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정한 이후, 상기 방법은,
상기 타깃 영역과 상기 인접한 영역 사이에 장애물이 존재하는지 여부를 식별하는 단계를 더 포함하고; 상응하게, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면 상기 타깃 카고 박스의 추출을 수행하는 단계는, 장애물 식별 결과가 장애물이 존재하는 것이고, 및/또는 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하지 않으면 타깃 카고 박스의 추출을 수행하지 않는 단계; 및 장애물 식별 결과가 장애물이 존재하지 않는 것이고, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면 타깃 카고 박스의 추출을 수행하는 단계;를 포함한다.
선택적으로, 상기 피킹 조건은 기설정된 폭 임계값 및 기설정된 깊이 임계값을 포함하고, 상기 카고 박스 간격은 간격 폭 및 간격 깊이를 포함하며, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하는 경우는,
상기 간격 폭이 상기 기설정된 폭 임계값보다 크고, 또한, 상기 간격 깊이가 상기 기설정된 깊이 임계값보다 큰 경우를 포함한다. 선택적으로, 상기 타깃 카고 박스의 검출 이미지를 획득하는 단계는,
상기 물류 로봇의 위치 정보 및 상기 타깃 카고 박스의 타깃 위치를 획득하는 단계; 및 상기 위치 정보와 상기 타깃 위치의 거리가 기설정된 조건을 만족할 경우, 상기 검출 이미지를 촬영하는 단계;를 포함한다.
선택적으로, 상기 타깃 카고 박스는 선반에 배치되고, 상기 인접한 물체의 개수는 2개로, 각각 상기 타깃 카고 박스의 좌우 양측에 위치하며, 상기 인접한 물체는, 상기 타깃 카고 박스와 인접한 2개의 다른 카고 박스, 또는 상기 타깃 카고 박스와 인접한 하나의 다른 카고 박스 및 상기 선반의 프레임을 포함한다.
제2 양태에서, 본 발명은,
검출 이미지를 획득하되, 상기 검출 이미지는 타깃 카고 박스 및 이의 인접한 물체의 이미지를 포함하는 검출 이미지 획득 모듈; 상기 검출 이미지에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 간격 결정 모듈; 및 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면 타깃 카고 박스의 추출을 수행하는 카고 박스 추출 모듈;을 포함하는 카고 박스 추출 장치를 더 제공한다.
선택적으로, 상기 간격 결정 모듈은,
상기 검출 이미지에 대해 특징 추출을 수행하여 상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정하는 타깃 영역 결정 유닛; 및 상기 타깃 영역과 상기 인접한 영역의 위치 관계에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 카고 박스 간격 결정 유닛;을 포함한다.
선택적으로, 상기 검출 이미지는 포인트 클라우드 데이터로 구성된 이미지이고, 상기 카고 박스 간격 결정 유닛은 구체적으로, 상기 타깃 영역의 포인트 클라우드 데이터의 좌표와 상기 인접한 영역의 포인트 클라우드 데이터의 좌표에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정한다.
선택적으로, 상기 카고 박스 추출 장치는,
상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정한 이후, 상기 타깃 영역과 인접한 영역 사이의 인접한 포인트 클라우드 데이터의 포인트 클라우드 거리를 계산하며; 상기 포인트 클라우드 거리에 따라 상기 타깃 영역과 인접한 영역 사이의 포인트 클라우드 데이터에 대해 클러스터링을 수행하고, 클러스터링 결과에 따라 상기 타깃 영역과 인접한 영역 사이에 장애물이 존재하는지 여부를 식별하는 제1 장애물 식별 모듈을 더 포함하고; 상응하게, 카고 박스 추출 모듈은 구체적으로, 장애물 식별 결과가 장애물이 존재하는 것이면 타깃 카고 박스의 추출을 수행하지 않고; 장애물 식별 결과가 장애물이 존재하지 않는 것이고, 및/또는 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하지 않으면 타깃 카고 박스의 추출을 수행하지 않으며; 장애물 식별 결과가 장애물이 존재하지 않는 것이고, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면 타깃 카고 박스의 추출을 수행한다.
선택적으로, 상기 카고 박스 추출 장치는,
상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정한 이후, 상기 타깃 영역과 상기 인접한 영역 사이에 장애물이 존재하는지 여부를 식별하는 제2 장애물 식별 모듈을 더 포함하고; 상응하게, 카고 박스 추출 모듈은 구체적으로, 장애물 식별 결과가 장애물이 존재하는 것이고, 및/또는 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하지 않으면 타깃 카고 박스의 추출을 수행하지 않고; 장애물 식별 결과가 장애물이 존재하지 않는 것이고, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면 타깃 카고 박스의 추출을 수행한다.
선택적으로, 상기 피킹 조건은 기설정된 폭 임계값 및 기설정된 깊이 임계값을 포함하고, 상기 카고 박스 간격은 간격 폭 및 간격 깊이를 포함하며, 상기 카고 박스 추출 모듈은 구체적으로,
상기 간격 폭이 상기 기설정된 폭 임계값보다 크고, 또한, 상기 간격 깊이가 상기 기설정된 깊이 임계값보다 크면, 상기 타깃 카고 박스의 추출을 수행한다.
선택적으로, 상기 검출 이미지 획득 모듈은 구체적으로,
상기 물류 로봇의 위치 정보 및 상기 타깃 카고 박스의 타깃 위치를 획득하고; 상기 위치 정보와 상기 타깃 위치의 거리가 기설정된 조건을 만족할 경우, 상기 검출 이미지를 촬영한다.
제3 양태에서, 본 발명은 창고 보관 시스템을 더 제공하며, 상기 시스템은, 물류 로봇, 선반 및 창고 관리 모듈을 포함하고; 여기서 상기 물류 로봇은 상기 창고 관리 모듈에 연결되어 창고 관리 모듈의 명령에 따라 이동하고 타깃 카고 박스의 추출 및/또는 보관을 수행하며, 상기 물류 로봇에는 이미지 센서가 설치되고, 상기 이미지 센서는 검출 이미지를 획득하며, 상기 검출 이미지는 타깃 카고 박스 및 이의 인접한 물체의 이미지를 포함하고, 상기 타깃 카고 박스는 상기 선반에 배치되며; 상기 창고 관리 모듈은 상기 검출 이미지를 수신하여 본 발명의 임의의 실시예에서 제공된 카고 박스 추출 방법을 수행한다.
선택적으로, 상기 이미지 센서는 상기 물류 로봇의 화물 추출 장치에 설치된다.
선택적으로, 상기 이미지 센서는 2D 카메라, 레이더 및 깊이 카메라 중 적어도 하나를 포함한다.
제4 양태에서, 본 발명은 적어도 하나의 프로세서 및 메모리를 포함하되; 상기 메모리에는 컴퓨터 실행 명령이 저장되고; 상기 적어도 하나의 프로세서는 상기 메모리에 저장된 컴퓨터 실행 명령을 실행하여, 상기 적어도 하나의 프로세서가 본 발명의 임의의 실시예에서 제공된 카고 박스 추출 방법을 수행하도록 하는 물류 로봇을 더 제공한다.
제5 양태에서, 본 발명은 컴퓨터 실행 명령이 저장되고, 상기 컴퓨터 실행 명령이 프로세서에 의해 실행될 경우, 본 발명의 임의의 실시예에서 제공된 카고 박스 추출 방법을 구현하는 컴퓨터 판독 가능 저장 매체를 더 제공한다.
본 발명의 실시예에서 제공된 카고 박스 추출 방법, 장치, 시스템, 로봇 및 저장 매체는, 물류 로봇에 대해, 타깃 카고 박스에 관한 검출 이미지를 획득하여 타깃 카고 박스 및 이의 인접한 물체의 간격을 검출함으로써 물류 로봇의 카고 박스의 획득 및 추출이 안전한지 여부를 결정하여, 카고 박스 간격의 자동 검출을 구현하며, 검출 비용이 낮고 배치가 간편하며 검출 정밀도가 높아 물류 로봇 조작의 안전성을 향상시키고, 화물 피킹 안전성을 보장하며, 화물 파손 및 선반 덤핑 확률을 줄인다.
여기서의 도면은 명세서에 병합되어 본 명세서의 일부분을 구성하고, 본 발명에 부합되는 실시예를 나타내며, 명세서와 함께 본 발명의 원리를 해석하기 위한 것이다.
도 1은 본 발명의 실시예에서 제공된 카고 박스 추출 방법의 일 응용 장면도이다.
도 2는 본 발명의 일 실시예에서 제공된 카고 박스 추출 방법의 흐름도이다.
도 3은 본 발명의 다른 실시예에서 제공된 카고 박스 추출 방법의 흐름도이다.
도 4는 본 발명의 또 다른 실시예에서 제공된 카고 박스 추출 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에서 제공된 카고 박스 추출 장치의 구조 모식도이다.
도 6은 본 발명의 일 실시예에서 제공된 창고 보관 시스템의 구조 모식도이다.
도 7은 본 발명의 일 실시예에서 제공된 물류 로봇의 구조 모식도이다.
상기 도면을 통해 본 발명의 명확한 실시예를 도시하였으며, 이하에서 더 상세하게 설명할 것이다. 이러한 도면과 문자 설명은 임의의 방식으로 본 발명의 구상 범위를 한정하려는 것이 아니라, 특정 실시예를 참조하여 당업자에게 본 발명의 개념을 설명하기 위한 것이다.
여기서, 예시적 실시예에 대해 상세하게 설명하고, 이를 첨부되는 도면에 예시적으로 나타냈다. 하기에서 첨부되는 도면에 대해 설명할 때 별도로 표시하지 않는 한, 상이한 도면의 동일한 숫자는 동일하거나 유사한 요소를 나타낸다. 이하 예시적 실시예에서 설명되는 실시형태는 본 발명과 일치한 모든 실시형태를 의미하는 것은 아니다. 반대로, 이들은 첨부된 특허청구범위에서 설명된, 본 발명의 일부 양태와 일치한 장치 및 방법에 대한 예일 뿐이다.
아래에 구체적인 실시예로 본 발명의 기술적 해결수단 및 본 발명의 기술적 해결수단이 상기 기술적 과제를 해결하는 방법에 대해 상세하게 설명한다. 아래 여러 구체적인 실시예는 서로 결합될 수 있고 동일하거나 유사한 개념 또는 과정은 일부 실시예에서 더 이상 반복 서술되지 않을 수 있다. 아래 도면을 결부하여 본 발명의 실시예에 대해 상세하게 설명한다.
아래에 본 발명의 실시예의 응용 장면에 대해 해석한다.
도 1은 본 발명의 실시예에서 제공된 카고 박스 추출 방법의 응용 장면도이고, 도 1에 도시된 바와 같이, 지능형 창고 보관 시스템(100)은 물류 로봇(110)을 사용하여 선반(120) 상의 타깃 카고 박스의 추출 및/또는 보관을 수행하며, 창고 관리 모듈(130)을 사용하여 물류 로봇(110)에 대한 경로 계획, 상태 모니터링 및 스케줄링 등을 수행하여 물류 로봇(110)이 설정된 위치로 이동하여 타깃 카고 박스의 추출 또는 보관을 수행하도록 하며, 창고 관리 모듈(130)에는 선반(120)의 각 창고 위치에 대한 보관 정보 및 타깃 카고 박스의 기본 정보가 저장되어 있어 창고 관리가 편리해진다.
물류 로봇을 통해 타깃 카고 박스를 추출하는 장면에서, 타깃 카고 박스와 주변의 다른 카고 박스 사이의 거리가 비교적 가까울 경우, 물류 로봇을 통해 타깃 카고 박스를 직접 추출하면 타깃 카고 박스 또는 다른 카고 박스가 파손될 수 있으며, 심지어 선반의 덤핑(무너져 내림) 및 파손을 초래한다. 이러한 문제를 해결하기 위해, 본 발명의 실시예는 물류 로봇에 이미지 센서를 설치하여, 이미지 센서를 통해 타깃 카고 박스의 검출 이미지를 획득할 수 있고, 상기 검출 이미지는 상기 타깃 카고 박스 및 이의 인접한 물체의 이미지를 포함할 수 있으며, 촬영된 검출 패턴 및 피킹 조건에 따라 타깃 카고 박스의 추출을 수행할지 여부를 결정함으로써 물류 로봇 조작의 안전성을 향상시키고 화물 파손 또는 선반 덤핑 확률을 줄인다.
도 2는 본 발명의 일 실시예에서 제공된 카고 박스 추출 방법의 흐름도이다. 상기 카고 박스 추출 방법은 물류 로봇 또는 창고 보관 시스템에 의해 수행될 수 있다. 도 2에 도시된 바와 같이, 본 실시예에서 제공된 카고 박스 추출 방법은 하기와 같은 단계들을 포함한다.
단계 S201에서, 검출 이미지를 획득한다.
여기서, 상기 검출 이미지는 상기 타깃 카고 박스 및 이의 인접한 물체의 이미지를 포함한다. 타깃 카고 박스는 즉 물류 로봇이 추출해야 할 카고 박스이다. 카고 박스에는 흔히 저장해야 하는 화물이 보관되어 있으며, 직물, 식품, 전자 제품, 건축 자재 등일 수 있다. 타깃 카고 박스는 또한 종이 박스 또는 다른 포장함일 수 있으며 본 발명은 이에 대해 한정하지 않는다. 인접한 물체는 타깃 카고 박스와 인접한 다른 카고 박스일 수 있고, 타깃 카고 박스가 선반 에지에 위치한 카고 박스일 경우, 인접한 물체는 선반의 프레임일 수 있다. 인접한 물체는 일반적으로 2개이며, 즉 타깃 카고 박스의 왼쪽 인접한 물체와 오른쪽 인접한 물체이다.
구체적으로, 2D 카메라, 레이더, 깊이 카메라 또는 캠과 같은 이미지 센서를 통해 타깃 카고 박스 간극의 검출 이미지를 촬영할 수 있다. 검출 이미지는 한 장일 수 있고 복수일 수도 있으며, 주로 이미지 센서의 시야 범위에 의해 결정된다. 검출 이미지에는 적어도 타깃 카고 박스 및 이의 인접한 물체의 이미지가 포함되며, 인접한 물체는 타깃 카고 박스(중간 위치에 위치할 경우)의 좌우 양측의 각각의 카고 박스일 수 있고, 카고 박스와 선반의 프레임일 수도 있다(에지 위치에 위치할 경우).
단계 S202에서, 상기 검출 이미지에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정한다.
여기서, 카고 박스 간격은 타깃 카고 박스와 이의 인접한 물체 사이의 거리 또는 상대적 위치 관계를 의미하고, 타깃 카고 박스와 이의 인접한 카고 박스 사이의 간격일 수 있으며, 타깃 카고 박스와 이의 인접한 선반의 프레임의 간격일 수도 있고, 또한 타깃 카고 박스와 이의 인접한 다른 물체 사이의 간격일 수 있다. 인접한 물체의 개수가 복수일 경우, 상기 검출 이미지에 따라 상기 타깃 카고 박스와 각각의 상기 인접한 물체의 카고 박스 간격을 결정하고, 상기 타깃 카고 박스와 각각의 상기 인접한 물체의 카고 박스 간격은 상기 타깃 카고 박스와 그 중 각 인접한 물체 사이의 간격을 포함할 수 있으며, 각각의 카고 박스 간격 중 최소값을 선택할 수도 있다. 카고 박스 간격은 타깃 카고 박스와 이의 인접한 물체의 간격의 폭을 포함할 수 있고, 간격의 깊이를 포함할 수도 있다.
선택적으로, 상기 타깃 카고 박스는 선반에 배치되고, 상기 인접한 물체의 개수는 2개로, 각각 상기 타깃 카고 박스의 좌우 양측에 위치하며, 상기 인접한 물체는 상기 타깃 카고 박스와 인접한 2개의 다른 카고 박스, 또는 상기 타깃 카고 박스와 인접한 하나의 다른 카고 박스 및 상기 선반의 프레임을 포함한다.
구체적으로, 타깃 카고 박스를 추출하기 이전에, 타깃 카고 박스의 위치, 타깃 카고 박스 및 이의 인접한 물체의 특징 정보, 예를 들어 윤곽, 형상, 특수 식별자, 색상 등을 획득할 수 있으며, 검출 이미지를 통해 특징 추출 또는 타깃 분할 등 알고리즘을 수행함으로써 타깃 카고 박스 및 이의 인접한 물체가 위치한 영역 또는 에지 정보를 식별하고, 따라서 타깃 카고 박스와 각각의 인접한 물체 사이의 픽셀 거리를 계산하며, 검출 이미지에 대응되는 이미지 센서의 촬영 파라미터 및 장착 정보에 따라 픽셀 거리에 대응되는 물리적 거리, 즉 카고 박스 간격을 결정할 수 있다.
또한, 타깃 카고 박스는 일반적으로 정육면체 형상으로, 이의 에지는 직선이고 기설정된 에지 식별 알고리즘을 기반으로 검출 이미지 중 타깃 카고 박스 및 인접한 물체의 에지 직선을 추출하고, 타깃 카고 박스의 에지 직선과 대응하는 인접한 물체의 에지 직선의 최소 간격을 계산하여 양자 사이의 카고 박스 간격의 폭으로 사용할 수 있다.
여기서, 기설정된 에지 식별 알고리즘은 Canny 알고리즘, Sobel 연산자 기반의 에지 검출 알고리즘, 허프 변환(Hough Transform) 기반의 직선 검출 또는 다른 자체 정의의 직선 에지 검출 알고리즘일 수 있다.
단계 S203에서, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면 상기 타깃 카고 박스의 추출을 수행한다.
여기서, 피킹 조건은 물류 로봇이 화물 추출을 수행할 때 만족해야 하는 조건을 의미하고, 구체적으로 타깃 카고 박스의 간격 조건, 즉 타깃 카고 박스의 카고 박스 간격이 만족해야 하는 조건이며, 일반적으로 카고 박스 간격 폭의 최소값을 포함하고, 카고 박스 간격 깊이의 최소값을 포함할 수도 있다.
구체적으로, 카고 박스 간격이 물류 로봇의 피킹 조건을 만족하면 물류 로봇이 타깃 카고 박스의 추출을 수행할 수 있는 것으로 결정하고, 반대로 만족하지 않으면 타깃 카고 박스의 추출을 수행하지 않는다.
본 실시예에서 제공된 카고 박스 추출 방법은, 물류 로봇에 대해, 타깃 카고 박스의 간극에 관한 검출 이미지를 획득하여 타깃 카고 박스 및 이의 인접한 물체의 간격을 검출함으로써 물류 로봇의 화물 추출이 안전한지 여부를 결정하여, 카고 박스 간격의 자동 검출을 구현하며, 검출 비용이 낮고 배치가 간편하며 검출 정밀도가 높아 물류 로봇 조작의 안전성을 향상시키고, 화물 피킹 안전성을 보장하며, 화물 파손 및 선반 덤핑 확률을 줄인다.
도 3은 본 발명의 다른 실시예에서 제공된 카고 박스 추출 방법의 흐름도이고, 도 3에 도시된 바와 같이, 본 실시예에서 제공된 카고 박스 추출 방법은 도 2에 도시된 실시예에서 제공된 카고 박스 추출 방법의 기초상에서, 단계 S201, 단계 S202 및 단계 S203에 대해 세부화하고, 단계 S201 이후에 장애물 식별 단계를 추가하였으며, 본 실시예에서 제공된 카고 박스 추출 방법은 하기와 같은 단계들을 포함할 수 있다.
단계 S301에서, 상기 물류 로봇의 위치 정보 및 상기 타깃 카고 박스의 타깃 위치를 획득한다.
여기서, 물류 로봇의 위치 정보는 구체적으로 위치 좌표와 같이 창고에서 물류 로봇의 위치 정보이다. 타깃 카고 박스의 타깃 위치는 타깃 카고 박스에 대응되는 창고 위치의 번호 및/또는 창고 중 창고 위치의 좌표일 수 있다.
구체적으로, 물류 로봇 중의 위치결정 장치를 통해 물류 로봇의 위치 정보를 실시간으로 모니터링하거나 수집할 수 있다. 각각의 카고 박스에 대응되는 창고 위치의 타깃 위치 및 카고 박스의 식별자 정보의 대응 관계를 미리 구축함으로써 타깃 카고 박스의 식별자 정보에 따라 타깃 카고 박스에 대응되는 창고 위치의 타깃 위치를 결정할 수 있다.
단계 S302에서, 상기 위치 정보와 상기 타깃 위치의 거리가 기설정된 조건을 만족할 경우, 상기 검출 이미지를 촬영한다.
구체적으로, 물류 로봇이 타깃 위치로 이동할 경우, 즉 물류 로봇의 위치 정보와 타깃 카고 박스의 타깃 위치가 중첩될 경우, 상기 타깃 카고 박스의 검출 이미지를 촬영할 수 있다. 또한, 물류 로봇의 위치 정보와 타깃 카고 박스의 타깃 위치의 거리가 기설정된 거리 임계값보다 작을 경우, 이미지 센서를 가동하여 타깃 카고 박스의 검출 이미지를 촬영할 수 있다. 여기서, 설정된 거리 임계값은 0.2m, 0.5m, 1m 또는 다른 값일 수 있고, 구체적으로 물류 로봇의 이동 속도, 타깃 카고 박스의 사이즈, 이미지 센서의 가동 시간 등 파라미터에 따라 결정될 수 있다.
물류 로봇이 타깃 카고 박스가 위치한 타깃 창고 위치에 근접할 경우, 이미지 센서를 미리 가동하여 검출 이미지를 촬영함으로써 이미지 수집 효율을 향상시킨다.
단계 S303에서, 상기 검출 이미지에 대해 특징 추출을 수행하여 상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정한다.
구체적으로, 윤곽 특징, 특수 식별자 특징, 색상 특징 등을 포함하는 타깃 카고 박스 및 이의 인접한 물체의 특징 정보를 미리 획득할 수 있으며, 특수 식별자 특징은 타깃 카고 박스 또는 인접한 물체의 바코드, 큐알 코드 등 식별자 정보일 수 있고, 하나의 특수한 구별을 위한 패턴 정보, 텍스처 정보 또는 문자 정보일 수도 있으며, 예를 들어 타깃 카고 박스의 고유한 제품 식별자, 제품 코드 등이다. 이로써 상기 특징 정보에 따라 검출 이미지에 대한 특징 추출을 수행함으로써 검출 이미지 중 타깃 카고 박스와 인접한 물체에 대응되는 영역을 식별한다.
또한, 딥러닝 알고리즘을 기반으로 검출 이미지에 대해 타깃 식별 및 분리를 수행하여, 상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정할 수 있다.
또한, 검출 이미지에 대해 특징 추출을 수행하기 이전에,
상기 검출 이미지에 대해 전처리를 수행하는 단계를 더 포함할 수 있다.
여기서, 상기 전처리는 컬러 이미지를 그레이스케일, 이진화, 이미지 필터링 중 하나 또는 다수로 전환하는 것을 포함한다.
구체적으로, 이미지 필터링 처리는 가우시안 필터링, 평균값 필터링, 중앙값 필터링과 같은 필터링 알고리즘을 적용하여 검출 이미지에 대해 노이즈를 줄이고 제거하는 것일 수 있다.
단계 S304에서, 상기 타깃 영역과 상기 인접한 영역의 위치 관계에 따라 상기 타깃 카고 박스와 각각의 상기 인접한 물체의 카고 박스 간격을 결정한다.
구체적으로, 타깃 카고 박스가 위치한 타깃 영역 및 각각의 인접한 물체에 대응되는 인접한 영역에 대해 타깃 특징 식별을 수행하여, 타깃 영역과 각각의 인접한 영역의 에지 위치를 결정하되, 여기서 타깃 특징은 각각의 카고 박스의 직선 에지, 카고 박스 표면의 특정 이미지 등일 수 있다. 따라서, 타깃 영역의 타깃 카고 박스의 에지 위치에 따라 타깃 카고 박스와 물류 로봇의 추출 간격을 결정할 수 있고, 타깃 카고 박스 및 인접한 물체의 에지 위치에 따라 타깃 카고 박스와 각각의 상기 인접한 물체의 카고 박스 간격을 결정한다.
단계 S305에서, 상기 타깃 영역과 상기 인접한 영역 사이에 장애물이 존재하는지 여부를 식별한다.
여기서, 장애물은 타깃 카고 박스와 이의 인접한 물체 사이에 위치한 물체를 의미하고, 타깃 카고 박스의 간극 중에 떨어진 물품, 또는 인위 조작 실수로 인해 나타난 물품일 수 있다.
구체적으로, 검출 이미지 중 타깃 카고 박스가 위치한 타깃 영역, 및 이의 인접한 물체가 위치한 인접한 영역을 결정한 이후, 양자 사이의 영역을 장애물 식별 영역으로 결정하고, 상기 장애물 식별 영역에 대해 장애물 식별을 수행하여 장애물이 존재하는지 여부를 결정한다.
구체적으로, 신경망 알고리즘을 기반으로 장애물 식별을 수행할 수 있고, 장애물 식별 영역에 대해 특징 추출을 수행할 수도 있으며, 특징 추출 결과에 면적이 설정된 값보다 큰 폐쇄 영역이 포함되는지 여부 또는 특정된 그래픽이 존재하는지 여부에 따라 장애물이 존재하는지 여부를 결정한다. 물론, 다른 알고리즘을 사용하여 장애물 식별을 수행할 수도 있으며, 본 발명은 이에 대해 한정하지 않는다.
장애물 식별 단계, 즉 단계 S305는 단계 S304 이전에 발생하거나 간격 검출(단계 S304) 단계와 병행하여 수행될 수도 있다.
단계 S306에서, 장애물 식별 결과가 장애물이 존재하고, 및/또는 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하지 않는 것이면, 타깃 카고 박스의 추출을 수행하지 않는다.
구체적으로, 장애물이 존재할 경우, 물류 로봇이 타깃 카고 박스의 추출을 수행하지 않도록 제어하는 동시에, “장애물이 존재합니다”, “장애물을 제거해주세요” 등과 같은 장애물 프롬프트 정보를 생성할 수도 있어 관련 인원이 상기 프롬프트 정보에 따라 장애물을 제거를 보는데 편리하도록 한다.
구체적으로, 장애물이 존재하지 않지만 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하지 않으면, 물류 로봇이 타깃 카고 박스의 추출을 수행하지 않도록 제어하는 동시에, “간격이 너무 작습니다” 등과 같은 간격 프롬프트 정보를 생성할 수도 있어 관련 인원이 상기 프롬프트 정보에 따라 카고 박스의 조정을 수행하는데 편리하도록 한다.
구체적으로, 장애물 식별 결과가 장애물이 존재하지 않는 것이면, 상기 카고 박스 간격이 모두 상기 물류 로봇의 피킹 조건을 만족하는지 여부를 판단하며; 피킹 조건을 만족하면 타깃 카고 박스의 추출을 수행하고; 피킹 조건을 만족하지 않으면 타깃 카고 박스의 추출을 수행하지 않으며, 간격 프롬프트 정보를 생성한다. 간격 프롬프트 정보에는 판단 결과, 기설정된 조건을 만족하지 않는 간격의 값 및 “인위적 개입을 수행하세요”, “간격이 너무 작습니다”, “카고 박스 간격이 안전 범위를 초과하였습니다” 등과 같은 대응하는 프롬프트 어구가 포함될 수 있다.
또한, 프롬프트 정보(간격 프롬프트 정보 및/또는 장애물 프롬프트 정보)를 사용자 단말, 창고 관리 모듈 또는 물류 로봇의 프로세서에 송신할 수 있고, 장애물이 존재하거나 카고 박스 간격 및 추출 간격이 물류 로봇의 피킹 조건을 만족하지 않으면, 물류 로봇이 타깃 카고 박스의 추출을 수행하지 않도록 제어한 이후에, 또한 사용자 단말, 창고 관리 모듈 또는 사용자가 로봇의 조작 인터페이스를 통해 송신한 스케줄링 명령을 수신할 수 있으며, 상기 스케줄링 명령에 따라 상기 물류 로봇을 제어한다.
여기서, 스케줄링 명령은 현장 대기 명령, 이동 명령, 현재 카고 박스 건너뛰기 명령 등을 포함할 수 있고, 상응하게, 스케줄링 명령이 현장 대기 명령인 경우, 물류 로봇이 현재 자세를 유지하도록, 즉 아무런 동작도 수행하지 않도록 제어하고; 스케줄링 명령이 이동 명령인 경우, 상기 이동 명령에 따라 물류 로봇이 타깃 지점으로 이동하도록 제어하며; 스케줄링 명령이 현재 카고 박스 건너뛰기 명령인 경우, 물류 로봇이 다음 타깃 카고 박스의 추출을 수행하도록, 즉 현재 타깃 카고 박스의 추출을 건너뛰도록 제어한다.
단계 S307에서, 장애물 식별 결과가 장애물이 존재하지 않는 것이고, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면, 상기 타깃 카고 박스의 추출을 수행한다.
선택적으로, 상기 피킹 조건은 기설정된 폭 임계값 및 기설정된 깊이 임계값을 포함하고, 상기 카고 박스 간격은 간격 폭 및 간격 깊이를 포함하며, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하는 경우는, 상기 간격 폭이 상기 기설정된 폭 임계값보다 크고, 또한, 상기 간격 깊이가 상기 기설정된 깊이 임계값보다 큰 경우를 포함한다.
여기서, 간격 깊이는 물류 로봇의 화물 추출 장치의 연장 방향으로의 간격의 길이를 의미한다. 기설정된 폭 임계값 및 기설정된 깊이 임계값은 물류 로봇의 화물 추출 장치에 따라 결정될 수 있고, 화물 추출 장치는 포크, 기계 암, 파지 장치 등일 수 있다. 예를 들어, 화물 추출 장치가 포크일 경우, 기설정된 폭 임계값은 포크의 사이즈에 따라 결정될 수 있고, 구체적으로, 기설정된 폭 임계값은 포크 암의 폭 사이즈에 일정한 안전 거리를 추가한 것으로, 예를 들어 포크 암 폭의 5% 또는 10%일 수 있고, 기설정된 깊이 임계값은 포크 암의 깊이 사이즈에 일정한 안전 거리를 추가한 것일 수 있다.
검출 이미지를 통해 카고 박스 간격에 장애물이 존재하는지 여부를 식별함으로써 검출의 전면성과 지능화 정도를 향상시키고, 물류 로봇의 피킹 안전성을 더 향상시킨다.
본 실시예에서, 물류 로봇의 위치 정보와 타깃 카고 박스의 타깃 위치의 거리를 통해 검출 이미지의 촬영을 트리거하여 이미지의 자동 촬영을 구현하고, 간격 검출의 자동화 정도를 향상시키며; 검출 이미지에 대한 특징 추출, 에지 검출 등 단계를 통해 타깃 카고 박스의 간격 중에 장애물이 존재하는지 여부, 및 타깃 카고 박스의 각각의 간격이 피킹 조건을 만족하는지 여부를 판단하여 피킹 전 타깃 카고 박스 상태의 자동 검출을 구현하고, 검출이 전면적이며 간편하므로 자동 피킹 안전성을 향상시킨다.
도 4는 본 발명의 또 다른 실시예에서 제공된 카고 박스 추출 방법의 흐름도이고, 본 실시예는 깊이 카메라 또는 레이더로 촬영된 검출 이미지에 대한 것이며, 상기 검출 이미지는 포인트 클라우드 데이터로 구성되고, 도 4에 도시된 바와 같이, 상기 카고 박스 추출 방법은 하기와 같은 단계를 포함한다.
단계 S401에서, 검출 이미지를 획득한다.
여기서, 상기 검출 이미지는 상기 타깃 카고 박스 및 이의 인접한 물체의 이미지를 포함하고, 상기 검출 이미지는 깊이 카메라 또는 레이더로 수집된 포인트 클라우드 데이터이다. 3D 카메라로도 지칭되는 깊이 카메라는 촬영 공간의 피사체 심도 거리를 검출할 수 있다. 포인트 클라우드 데이터는 픽셀의 그레이스케일 정보를 포함할 뿐만 아니라 상기 픽셀의 3차원 좌표 정보를 더 포함한다.
또한, 검출 이미지를 획득한 이후, 상기 검출 방법은,
상기 검출 이미지의 포인트 클라우드 데이터에 대해 샘플링 처리 및 노이즈 감소 처리를 수행하는 단계를 더 포함한다.
구체적으로, 샘플링 처리는 다운샘플링 처리, 업샘플링 처리 또는 균일 샘플링 처리일 수 있고, 노이즈 감소 처리에 사용되는 알고리즘은 양방향 필터링, 가우시안 필터링, 비닝 노이즈 제거, KD-Tree 알고리즘, 통과 필터링, 랜덤 샘플링 일관성 필터링 등일 수 있다.
단계 S402에서, 상기 검출 이미지에 대해 특징 추출을 수행하여 상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정한다.
단계 S403에서, 상기 타깃 영역과 인접한 영역 사이의 인접한 포인트 클라우드 데이터의 포인트 클라우드 거리를 계산한다.
여기서, 포인트 클라우드 거리는 2개의 포인트 클라우드 데이터에 대응되는 좌표 정보 간의 거리이다.
구체적으로, 타깃 영역과 인접한 영역 사이의 영역은 즉 타깃 카고 박스와 인접한 카고 박스 또는 선반 프레임의 간격이 위치한 영역이다. 포인트 클라우드 데이터의 좌표 정보에 따라 상기 영역 내 각각의 인접한 포인트의 포인트 클라우드 데이터 사이의 포인트 클라우드 거리를 계산한다.
단계 S404에서, 상기 포인트 클라우드 거리에 따라 상기 타깃 영역과 인접한 영역 사이의 포인트 클라우드 데이터에 대해 클러스터링을 수행하고, 클러스터링 결과에 따라 상기 타깃 영역과 인접한 영역 사이에 장애물이 존재하는지 여부를 식별한다.
구체적으로, 포인트 클라우드 거리가 기설정된 거리값보다 작은 포인트를 동일한 물체의 포인트 클라우드 데이터로 간주하여 클러스터링을 수행할 수 있다.
또한, 딥러닝 알고리즘을 기반으로 클러스터링 결과에 대해 물체 식별을 수행함으로써 식별 결과에 따라 장애물이 존재하는지 여부를 결정할 수도 있다.
구체적으로, 크러스터링 후, 타깃 영역과 인접한 영역 사이에 설정된 카테고리의 물체가 존재하면, 피킹 경로에 헬멧, 장갑과 같은 장애물이 존재하는 것으로 간주한다.
단계 S405에서, 상기 타깃 영역의 포인트 클라우드 데이터의 좌표와 상기 인접한 영역의 포인트 클라우드 데이터의 좌표에 따라 상기 타깃 카고 박스와 각각의 상기 인접한 물체의 카고 박스 간격을 결정한다.
구체적으로, 타깃 카고 박스는 왼쪽 인접한 물체와 오른쪽 인접한 물체를 포함하고, 왼쪽 인접한 물체는 왼쪽 인접한 영역에 대응하며 오른쪽 인접한 물체는 오른쪽 인접한 영역에 대응하고, 타깃 영역의 좌측면과 왼쪽 인접한 영역의 우측면의 포인트 클라우드 데이터의 평균 거리 또는 최소 거리에 따라 양자의 간격(카고 박스 간격의 폭)을 결정할 수 있으며, 대응하게 타깃 영역의 우측면과 왼쪽 인접한 영역의 좌측면의 포인트 클라우드 데이터의 평균 거리 또는 최소 거리에 따라 양자의 간격을 결정한다. 카고 박스 간격의 깊이의 경우, 타깃 영역과 인접한 영역 사이에 따라 카고 박스 간격의 깊이의 방향, 즉 물류 로봇의 화물 추출 장치의 연장 방향으로, 첫 번째 포인트 클라우드 데이터의 좌표를 계산할 수 있고, 계산된 카고 박스 간격 깊이가 타깃 카고 박스의 깊이보다 크면 타깃 카고 박스의 깊이를 카고 박스 간격의 깊이로 결정한다.
단계 S406에서, 장애물 식별 결과가 장애물이 존재하는 것이고, 및/또는 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하지 않으면 타깃 카고 박스의 추출을 수행하지 않는다.
단계 S407에서, 장애물 식별 결과가 장애물이 존재하지 않는 것이고, 또한, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면, 상기 타깃 카고 박스의 추출을 수행한다.
본 실시예에서, 깊이 카메라에 의해 수집된 타깃 카고 박스의 포인트 클라우드 데이터로 구성된 검출 이미지에 대해, 특징 추출을 통해 타깃 카고 박스와 인접한 물체의 영역을 결정하고, 따라서 상기 영역 내의 클라우드 포인트 좌표에 따라 간격 정보를 결정하며, 간격 정보에 따라 추출 조건을 만족하는지 여부를 판단하고, 클라우드 포인트 클러스터링을 통해 장애물이 존재하는지 여부를 판독함으로써 피킹 전 타깃 카고 박스 상태의 자동 검출을 구현하며, 검출이 전면적이고 간편하여 자동 피킹 안전성을 향상시킨다.
도 5는 본 발명의 일 실시예에서 제공된 카고 박스 추출 장치의 구조 모식도이고, 도 5에 도시된 바와 같이, 본 실시예에서 제공된 카고 박스 추출 장치는 검출 이미지 획득 모듈(510), 간격 결정 모듈(520) 및 카고 박스 추출 모듈(530)을 포함한다.
여기서, 검출 이미지 획득 모듈(510)은, 검출 이미지를 획득하되, 상기 검출 이미지는 타깃 카고 박스 및 이의 인접한 물체의 이미지를 포함하고; 간격 결정 모듈(520)은, 상기 검출 이미지에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하며; 카고 박스 추출 모듈(530)은, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면, 타깃 카고 박스의 추출을 수행한다.
선택적으로, 검출 이미지 획득 모듈(510)은 구체적으로,
상기 물류 로봇의 위치 정보 및 상기 타깃 카고 박스의 타깃 위치를 획득하고; 상기 위치 정보와 상기 타깃 위치의 거리가 기설정된 조건을 만족할 경우, 상기 검출 이미지를 촬영한다.
선택적으로, 간격 결정 모듈(520)은,
상기 검출 이미지에 대해 특징 추출을 수행하여 상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정하는 타깃 영역 결정 유닛; 및 상기 타깃 영역과 상기 인접한 영역의 위치 관계에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 카고 박스 간격 결정 유닛;을 포함한다.
선택적으로, 상기 검출 이미지는 포인트 클라우드 데이터로 구성된 이미지이고, 상기 카고 박스 간격 결정 유닛은 구체적으로, 상기 타깃 영역의 포인트 클라우드 데이터의 좌표와 상기 인접한 영역의 포인트 클라우드 데이터의 좌표에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정한다.
선택적으로, 상기 카고 박스 추출 장치는,
상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정한 이후, 상기 타깃 영역과 인접한 영역 사이의 인접한 포인트 클라우드 데이터의 포인트 클라우드 거리를 계산하며; 상기 포인트 클라우드 거리에 따라 상기 타깃 영역과 인접한 영역 사이의 포인트 클라우드 데이터에 대해 클러스터링을 수행하고, 클러스터링 결과에 따라 상기 타깃 영역과 인접한 영역 사이에 장애물이 존재하는지 여부를 식별하는 제1 장애물 식별 모듈을 더 포함하고; 상응하게, 카고 박스 추출 모듈(530)은 구체적으로, 장애물 식별 결과가 장애물이 존재하는 것이고, 및/또는 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하지 않으면 상기 타깃 카고 박스의 추출을 수행하지 않고; 장애물 식별 결과가 장애물이 존재하지 않는 것이고, 또한, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면, 상기 타깃 카고 박스의 추출을 수행한다.
선택적으로, 상기 카고 박스 추출 장치는,
상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정한 이후, 상기 타깃 영역과 상기 인접한 영역 사이에 장애물이 존재하는지 여부를 식별하는 제2 장애물 식별 모듈을 더 포함하고; 상응하게, 카고 박스 추출 모듈(530)은 구체적으로, 장애물 식별 결과가 장애물이 존재하는 것이고, 및/또는 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하지 않으면 상기 타깃 카고 박스의 추출을 수행하지 않고; 장애물 식별 결과가 장애물이 존재하지 않는 것이고, 또한, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면, 상기 타깃 카고 박스의 추출을 수행한다.
선택적으로, 상기 피킹 조건은 기설정된 폭 임계값 및 기설정된 깊이 임계값을 포함하고, 상기 카고 박스 간격은 간격 폭 및 간격 깊이를 포함하며, 카고 박스 추출 모듈(530)은 구체적으로,
상기 간격 폭이 상기 기설정된 폭 임계값보다 크고, 또한, 상기 간격 깊이가 상기 기설정된 깊이 임계값보다 크면, 상기 타깃 카고 박스의 추출을 수행한다.
도 6은 본 발명의 일 실시예에서 제공된 창고 보관 시스템의 구조 모식도이고, 도 6에 도시된 바와 같이, 상기 카고 박스의 추출 시스템은 물류 로봇(610), 선반(620) 및 창고 관리 모듈(630)을 포함한다.
여기서, 물류 로봇(610)은 창고 관리 모듈(630)에 연결되어 창고 관리 모듈(630)의 명령에 따라 이동하고 타깃 카고 박스(621)의 추출 및/또는 보관을 수행하며, 물류 로봇(610)에는 이미지 센서(611)가 설치되고, 이미지 센서(611)는 검출 이미지를 획득하며, 상기 검출 이미지는 타깃 카고 박스 및 이의 인접한 물체의 이미지를 포함하고, 타깃 카고 박스(621)는 선반에 배치되며; 창고 관리 모듈(630)은 상기 검출 이미지를 수신하여 본 발명의 임의의 실시예에서 제공된 카고 박스 추출 방법을 수행한다.
선택적으로, 이미지 센서(611)는 물류 로봇(610)의 화물 추출 장치에 설치된다.
여기서, 화물 추출 장치는 포크, 기계 암, 파지 장치 등일 수 있다. 이미지 센서(611)는 물품을 피킹하고 배치하는 영역을 향해야 한다.
선택적으로, 이미지 센서(611)는 2D 카메라, 레이더 및 깊이 카메라 중 적어도 하나를 포함한다.
구체적으로, 2D 카메라는 흑백 카메라 또는 컬러 카메라일 수 있고, 깊이 카메라는 3D 카메라라고도 하며, 쌍안 카메라, 구조광 기반 깊이 카메라 또는 광 비행시간법 기반 카메라일 수 있다.
도 7은 본 발명의 일 실시예에서 제공된 물류 로봇의 구조 모식도이고, 도 7에 도시된 바와 같이, 상기 물류 로봇은 메모리(710), 프로세서(720) 및 컴퓨터 프로그램을 포함한다.
여기서, 컴퓨터 프로그램은 메모리(710)에 저장되고, 프로세서(720)에 의해 실행되어 본 발명의 도 2 내지 도 4에 대응되는 실시예 중 어느 하나의 실시예에서 제공된 카고 박스 추출 방법을 구현하도록 구성된다.
여기서, 메모리(710) 및 프로세서(720)는 버스(730)를 통해 연결된다.
관련 설명은 도 2 내지 도 4의 단계에 대응되는 관련 설명과 효과를 대응하게 참조하여 이해될 수 있으며 여기서 더 이상 반복 서술하지 않는다.
구체적으로, 상기 물류 로봇은 이동 장치, 승강 플랫폼 및 화물 추출 장치 등을 더 포함하되, 여기서 상기 이동 장치와 승강 플랫폼은 제어 모듈의 이동에 따라 명령을 제어하여 타깃 위치의 설정된 높이로 이동하고; 상기 화물 추출 장치는 제어 모듈의 추출 화물 제어 명령에 따라 타깃 카고 박스의 추출을 수행한다. 타깃 카고 박스의 검출 이미지를 촬영하기 위한 이미지 센서가 더 포함될 수 있다. 프로세서(720)는 상기 검출 이미지를 수신하고 본 발명의 임의의 실시예에서 제공된 카고 박스 추출 방법을 수행하며, 결정 결과를 생성하는 카고 박스의 추출 모듈; 및 상기 이동 장치, 승강 플랫폼 및 카고 박스의 추출 모듈에 연결되어 타깃 카고 박스의 위치 정보에 따라 이동 제어 명령을 생성하여 상기 결정 결과를 수신하며, 상기 결정 결과가 상기 타깃 카고 박스의 추출을 수행하는 것일 경우 추출 화물 제어 명령을 생성하는 제어 모듈;을 포함한다.
본 발명의 일 실시예는 컴퓨터 프로그램이 저장되고, 컴퓨터 프로그램이 프로세서에 의해 실행되어 본 발명의 도 2 내지 도 4에 도시된 대응하는 실시예 중 어느 하나의 실시예에서 제공된 카고 박스 추출 방법을 구현하는 컴퓨터 판독 가능 저장 매체를 제공한다.
여기서, 컴퓨터 판독 가능 저장 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 기기 등일 수 있다.
본 발명에서 제공된 여러 실시예에서, 이해해야 할 것은, 개시된 장치 및 방법은 다른 방식으로 구현될 수 있다. 예를 들어, 이상 설명된 장치 실시예는 단지 예시적인 것이며, 예를 들어 모듈의 분할은 단지 논리적 기능 분할로, 실질적으로 구현 시 별도의 분할 방식이 있을 수 있고, 예를 들어 복수의 모듈 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징은 생략하거나 수행하지 않을 수 있다. 한편으로, 도시되거나 논의된 상호 사이의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스, 장치 또는 모듈을 통한 간접 커플링 또는 통신 연결일 수 있고, 전기적, 기계적 또는 다른 형태일 수 있다.
당업자는 명세서를 고려하여 여기에서 개시된 발명을 실시한 후, 본 발명의 다른 실시형태를 용이하게 생각해낼 수 있을 것이다. 본 발명은 본 발명의 임의의 변형, 용도 또는 적응성 변화를 포함하는 것으로 의도되며, 이러한 변형, 용도 또는 적응성 변화는 본 발명의 일반적인 원리를 따르고 본 발명에서 개시되지 않은 본 기술분야의 공지된 상식 또는 공통 기술수단을 포함한다. 명세서와 실시예는 단지 예시적인 것으로 간주되어야 하고, 본 발명의 진정한 범위 및 사상은 특허청구범위에 의해 결정된다.
본 발명은 상술한 내용 및 도면에 도시된 정밀 구조에 한정되지 않으며, 본 발명의 범위를 벗어나지 않는 전제하에 다양한 수정 및 변경이 이루어질 수 있음을 이해해야 한다. 본 발명의 범위는 첨부된 특허청구범위에 의해 한정된다.

Claims (15)

  1. 카고 박스 추출 방법으로서,
    상기 방법은 물류 로봇에 적용되고,
    검출 이미지를 획득하되, 상기 검출 이미지는 타깃 카고 박스 및 이의 인접한 물체의 이미지를 포함하는 단계;
    상기 검출 이미지에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 단계; 및
    상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면 상기 타깃 카고 박스의 추출을 수행하는 단계;를 포함하는 것을 특징으로 하는 카고 박스 추출 방법.
  2. 제1항에 있어서,
    상기 검출 이미지에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 단계는,
    상기 검출 이미지에 대해 특징 추출을 수행하여 상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정하는 단계; 및
    상기 타깃 영역과 상기 인접한 영역의 위치 관계에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 단계;를 포함하는 것을 특징으로 하는 카고 박스 추출 방법.
  3. 제2항에 있어서,
    상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정한 이후, 상기 방법은,
    상기 타깃 영역과 상기 인접한 영역 사이에 장애물이 존재하는지 여부를 식별하는 단계를 더 포함하고;
    상응하게, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면 상기 타깃 카고 박스의 추출을 수행하는 단계는,
    장애물 식별 결과가 장애물이 존재하지 않고, 또한, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면, 상기 타깃 카고 박스의 추출을 수행하는 단계를 포함하는 것을 특징으로 하는 카고 박스 추출 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 검출 이미지는 포인트 클라우드 데이터로 구성된 이미지이고, 상기 타깃 영역과 상기 인접한 영역의 위치 관계에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 단계는,
    상기 타깃 영역의 포인트 클라우드 데이터의 좌표와 상기 인접한 영역의 포인트 클라우드 데이터의 좌표에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 단계를 포함하는 것을 특징으로 하는 카고 박스 추출 방법.
  5. 제4항에 있어서,
    상기 검출 이미지 중 상기 타깃 카고 박스에 대응되는 타깃 영역 및 상기 인접한 물체에 대응되는 인접한 영역을 결정한 이후, 상기 방법은,
    상기 타깃 영역과 상기 인접한 영역 사이의 인접한 포인트 클라우드 데이터의 포인트 클라우드 거리를 계산하는 단계; 및
    상기 포인트 클라우드 거리에 따라 상기 타깃 영역과 인접한 영역 사이의 포인트 클라우드 데이터에 대해 클러스터링을 수행하고, 클러스터링 결과에 따라 상기 타깃 영역과 인접한 영역 사이에 장애물이 존재하는지 여부를 식별하는 단계;를 더 포함하며,
    상응하게, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면 상기 타깃 카고 박스의 추출을 수행하는 단계는,
    장애물 식별 결과가 장애물이 존재하지 않고, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면, 상기 타깃 카고 박스의 추출을 수행하는 단계를 포함하는 것을 특징으로 하는 카고 박스 추출 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 피킹 조건은 기설정된 폭 임계값 및 기설정된 깊이 임계값을 포함하고, 상기 카고 박스 간격은 간격 폭 및 간격 깊이를 포함하며, 상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하는 경우는,
    상기 간격 폭이 상기 기설정된 폭 임계값보다 크고, 또한, 상기 간격 깊이가 상기 기설정된 깊이 임계값보다 큰 경우를 포함하는 것을 특징으로 하는 카고 박스 추출 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 검출 이미지를 획득하는 단계는,
    이미지 센서를 통해 상기 타깃 카고 박스 간극에 관한 검출 이미지를 촬영하는 단계를 포함하는 것을 특징으로 하는 카고 박스 추출 방법.
  8. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 검출 이미지를 획득하는 단계는,
    상기 물류 로봇의 위치 정보 및 상기 타깃 카고 박스의 타깃 위치를 획득하는 단계; 및
    상기 위치 정보와 상기 타깃 위치의 거리가 기설정된 조건을 만족할 경우, 상기 검출 이미지를 촬영하는 단계;를 포함하는 것을 특징으로 하는 카고 박스 추출 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 타깃 카고 박스는 선반에 배치되고, 상기 인접한 물체는 상기 타깃 카고 박스와 인접한 2개의 다른 카고 박스, 또는 상기 타깃 카고 박스와 인접한 하나의 다른 카고 박스 및 상기 선반의 프레임을 포함하는 것을 특징으로 하는 카고 박스 추출 방법.
  10. 카고 박스 추출 장치로서,
    상기 장치는 물류 로봇에 적용되고,
    검출 이미지를 획득하되, 상기 검출 이미지는 타깃 카고 박스 및 이의 인접한 물체의 이미지를 포함하는 검출 이미지 획득 모듈;
    상기 검출 이미지에 따라 상기 타깃 카고 박스와 상기 인접한 물체의 카고 박스 간격을 결정하는 간격 결정 모듈; 및
    상기 카고 박스 간격이 상기 물류 로봇의 피킹 조건을 만족하면 타깃 카고 박스의 추출을 수행하는 카고 박스 추출 모듈;을 포함하는 것을 특징으로 하는 카고 박스 추출 장치.
  11. 창고 보관 시스템으로서,
    상기 시스템은 물류 로봇, 선반 및 창고 관리 모듈을 포함하고;
    상기 물류 로봇은 상기 창고 관리 모듈에 연결되어 창고 관리 모듈의 명령에 따라 이동하고 타깃 카고 박스의 추출 및/또는 보관을 수행하며, 상기 물류 로봇에는 이미지 센서가 설치되고, 상기 이미지 센서는 검출 이미지를 촬영하며, 상기 검출 이미지는 타깃 카고 박스 및 이의 인접한 물체의 이미지를 포함하고, 상기 타깃 카고 박스는 상기 선반에 배치되며;
    상기 창고 관리 모듈은 상기 검출 이미지를 수신하여 제1항 내지 제7항 중 어느 한 항에 따른 카고 박스 추출 방법을 수행하는 것을 특징으로 하는 창고 보관 시스템.
  12. 제11항에 있어서,
    상기 이미지 센서는 상기 물류 로봇의 화물 추출 장치에 설치되는 것을 특징으로 하는 창고 보관 시스템.
  13. 제11항 또는 제12항에 있어서,
    상기 이미지 센서는 2D 카메라, 레이더 및 깊이 카메라 중 적어도 하나를 포함하는 것을 특징으로 하는 창고 보관 시스템.
  14. 물류 로봇으로서,
    적어도 하나의 프로세서와 메모리를 포함하되;
    상기 메모리에는 컴퓨터 실행 명령이 저장되고;
    상기 적어도 하나의 프로세서는 상기 메모리에 저장된 컴퓨터 실행 명령을 실행하여 상기 적어도 하나의 프로세서가 제1항 내지 제9항 중 어느 한 항에 따른 카고 박스 추출 방법을 수행하도록 하는 것을 특징으로 하는 물류 로봇.
  15. 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 실행 명령이 저장되고, 상기 컴퓨터 실행 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제9항 중 어느 한 항에 따른 카고 박스 추출 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
KR1020227043533A 2020-06-12 2021-06-08 카고 박스 추출 방법, 장치, 시스템, 로봇 및 저장 매체 KR20230010246A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010536380.6A CN113264312A (zh) 2020-06-12 2020-06-12 货箱的提取方法、装置、系统、机器人和存储介质
CN202010536380.6 2020-06-12
PCT/CN2021/099008 WO2021249406A1 (zh) 2020-06-12 2021-06-08 货箱的提取方法、装置、系统、机器人和存储介质

Publications (1)

Publication Number Publication Date
KR20230010246A true KR20230010246A (ko) 2023-01-18

Family

ID=77227692

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227043533A KR20230010246A (ko) 2020-06-12 2021-06-08 카고 박스 추출 방법, 장치, 시스템, 로봇 및 저장 매체

Country Status (6)

Country Link
US (1) US20230108073A1 (ko)
EP (1) EP4159643A4 (ko)
JP (1) JP2023529878A (ko)
KR (1) KR20230010246A (ko)
CN (1) CN113264312A (ko)
WO (1) WO2021249406A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114701781A (zh) * 2022-03-25 2022-07-05 深圳市海柔创新科技有限公司 货箱存放方法、控制终端及仓储系统
CN114537950B (zh) * 2022-03-25 2023-03-24 深圳市海柔创新科技有限公司 智能仓储系统、货箱处理方法及存储介质
CN115508124B (zh) * 2022-11-22 2023-03-07 深圳市功夫机器人有限公司 仓储机器人工作性能测试方法、系统及终端
CN116038715A (zh) * 2023-02-23 2023-05-02 北京极智嘉科技股份有限公司 取箱方法、装置、机器人和存储介质
CN116374474B (zh) * 2023-03-30 2023-11-10 无锡雪浪数制科技有限公司 一种基于机器视觉的拣选智能决策系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009050792A1 (ja) * 2007-10-16 2009-04-23 Fujitsu Limited アライメント調整装置、ライブラリ装置及びアライメント調整方法
US9096375B2 (en) * 2009-04-10 2015-08-04 Symbotic, LLC Storage and retrieval system
CN107067206B (zh) * 2011-09-09 2021-01-12 西姆伯蒂克有限责任公司 用于运输和存储商品箱单元的系统及其方法
US9938092B2 (en) * 2014-10-03 2018-04-10 Wynright Corporation Perception-based robotic manipulation system and method for automated truck unloader that unloads/unpacks product from trailers and containers
US10071856B2 (en) * 2016-07-28 2018-09-11 X Development Llc Inventory management
US10207868B1 (en) * 2016-12-06 2019-02-19 Amazon Technologies, Inc. Variable compliance EOAT for optimization of GCU
WO2020006433A1 (en) * 2018-06-29 2020-01-02 Fast Global Solutions, Inc. Segmentation of boxes from a 3d point cloud for automatic unloading and loading
CN110815202B (zh) * 2018-08-07 2021-11-09 杭州海康机器人技术有限公司 障碍物检测方法及装置
CN109214348A (zh) * 2018-09-19 2019-01-15 北京极智嘉科技有限公司 一种障碍物检测方法、装置、设备及存储介质
CN109132313A (zh) * 2018-10-26 2019-01-04 北京旷视科技有限公司 物品移动系统、取货机器人、搬运机器人及方法
CN109753070A (zh) * 2019-01-16 2019-05-14 深圳市海柔创新科技有限公司 一种避障方法、装置及仓储机器人
CN110076777B (zh) * 2019-05-05 2020-11-27 北京云迹科技有限公司 一种取货方法及装置
CN110615223B (zh) * 2019-10-21 2020-10-23 兰剑智能科技股份有限公司 一种箱体调取装置及方法
CN110834897B (zh) * 2019-11-19 2021-05-28 兰剑智能科技股份有限公司 一种箱体的存放装置

Also Published As

Publication number Publication date
US20230108073A1 (en) 2023-04-06
CN113264312A (zh) 2021-08-17
JP2023529878A (ja) 2023-07-12
EP4159643A1 (en) 2023-04-05
EP4159643A4 (en) 2023-11-22
WO2021249406A1 (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
KR20230010246A (ko) 카고 박스 추출 방법, 장치, 시스템, 로봇 및 저장 매체
US20230106134A1 (en) Warehouse robot control method and apparatus, device, and readable storage medium
US9286538B1 (en) Adaptive 3D to 2D projection for different height slices and extraction of robust morphological features for 3D object recognition
CN112070838B (zh) 基于二维-三维融合特征的对象识别与定位方法及装置
US11625854B2 (en) Intelligent forklift and method for detecting pose deviation of container
JP5822255B2 (ja) 対象物識別装置及びプログラム
CN111260289A (zh) 一种基于视觉导航的微型无人机仓库盘点系统及方法
US10778902B2 (en) Sensor control device, object search system, object search method, and program
CN113213054A (zh) 取放货装置的调整方法、装置、设备、机器人及仓储系统
US20210216767A1 (en) Method and computing system for object recognition or object registration based on image classification
US20230381971A1 (en) Method and computing system for object registration based on image classification
EP4207068A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
CN116494253B (zh) 目标物体抓取位姿获取方法及机器人抓取系统
CN113128346A (zh) 起重机施工现场的目标识别方法、系统、装置及存储介质
CN112288038B (zh) 基于图像分类的物体识别或物体注册的方法及计算系统
CN114842223A (zh) 进出库识别方法、设备及计算机可读存储介质
KR101566448B1 (ko) 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
Massimo et al. A Smart vision system for advanced LGV navigation and obstacle detection
CN111340874B (zh) 一种图像语义分割和3d重建的货架防碰撞检测方法
CN117555308B (zh) 一种基于无人叉车的托盘回收方法、系统及存储介质
CN113436241B (zh) 一种采用深度信息的干涉校验方法及系统
CN116385533A (zh) 一种基于二维和三维成像的叉式agv目标位姿检测方法
KR20220089968A (ko) 철강제품용 태그 부착 시스템 및 방법
CN116228665A (zh) 端子检测方法、装置及计算机设备
CN113642453A (zh) 障碍物的检测方法、装置和系统