KR102636634B1 - 복수의 로봇암부를 이용한 상품 계산 로봇 장치 - Google Patents

복수의 로봇암부를 이용한 상품 계산 로봇 장치 Download PDF

Info

Publication number
KR102636634B1
KR102636634B1 KR1020220116917A KR20220116917A KR102636634B1 KR 102636634 B1 KR102636634 B1 KR 102636634B1 KR 1020220116917 A KR1020220116917 A KR 1020220116917A KR 20220116917 A KR20220116917 A KR 20220116917A KR 102636634 B1 KR102636634 B1 KR 102636634B1
Authority
KR
South Korea
Prior art keywords
product
robot arm
physical quantity
information
products
Prior art date
Application number
KR1020220116917A
Other languages
English (en)
Inventor
이현
Original Assignee
이현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이현 filed Critical 이현
Priority to KR1020220116917A priority Critical patent/KR102636634B1/ko
Priority to KR1020240018959A priority patent/KR20240038932A/ko
Application granted granted Critical
Publication of KR102636634B1 publication Critical patent/KR102636634B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B25J19/061—Safety devices with audible signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Manipulator (AREA)

Abstract

본 발명에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치는 결제를 위해 계산대 컨베이어의 상부 영역에 배치된 복수의 상품 각각의 상품 코드를 판독하여 고객별로 결제 금액 정보를 산출하는 복수의 로봇암부를 이용한 상품 계산 로봇 장치로서, 상품의 가격 정보를 포함하고 상품의 일측에 배치되는 상기 상품 코드가 판독되도록 상품을 파지하여 코드 판독부로 이동시키는 복수의 로봇암부; 상기 복수의 상품이 상부 영역에 배치된 상기 계산대 컨베이어를 촬영하여 컨베이어 이미지를 생성하는 촬영부; 및 상기 컨베이어 이미지로부터 상기 복수의 상품 각각의 물리량 정보를 획득하고, 상기 복수의 상품의 물리량 정보 각각이 상기 복수의 로봇암부 각각의 허용 물리량 조건을 만족하는지 여부를 판단하고, 상기 판단 결과에 대응하여 상기 복수의 상품 각각을 상기 복수의 로봇암부 중 어느 하나에 할당하는 프로세서;를 포함하고, 상기 복수의 로봇암부는 상기 복수의 상품 중에서 할당된 상품의 상기 상품 코드가 판독되도록 할당된 상품을 파지하여 상기 코드 판독부로 이동시킬 수 있다.

Description

복수의 로봇암부를 이용한 상품 계산 로봇 장치{Robot apparatus for cashing product using multiple robot arms}
본 발명은 복수의 로봇암부를 이용한 상품 계산 로봇 장치에 관한 것으로서, 더욱 상세하게는 복수의 로봇암부 각각이 파지할 수 있는 상품을 할당하여 상품의 상품 코드를 판독하고, 복수의 상품을 고객별로 분리하여 고객 각각의 결제 금액 정보를 산출할 수 있는 복수의 로봇암부를 이용한 상품 계산 로봇 장치에 관한 것이다.
로봇 이용의 증가에 따라, 단순 기능의 반복 수행을 넘어서 다양한 정보, 재미, 서비스를 제공할 수 있는 로봇에 대한 요구가 많아지고 있다.
이에 따라, 가정, 매장, 공공 장소 등에 배치되어 사람과 상호 소통이 가능한 커뮤니케이션 로봇이 개발되고 있다.
또한, 로봇을 이용한 다양한 서비스들이 제안되고 있는데, 종래 서비스는 서비스 지역을 이동하면서 현재위치에 따른 서비스를 제공할 수 있는 서비스 로봇과 서비스 로봇을 이용하는 서비스 시스템 및 서비스 로봇을 이용하는 서비스 시스템의 제어방법을 제안하고 있다.
하지만, 제안되고 서비스는 있는 로봇의 수, 종류가 증가하고 있음에도 불구하고, 한대의 로봇이 수행할 수 있는 동작과 서비스에 대해서 연구, 개발이 집중되고 있다.
따라서, 복수의 로봇을 이용하여 고객에게 다양한 서비스를 제공하고, 비용과 효율성 측면에서도 향상된 로봇 간 협업 시스템이 요구된다.
한국공개특허 제10-2018-0109107호
본 발명의 목적은, 파지할 수 있는 상품이 상이한 복수의 로봇암부를 이용하여 다양한 물리량을 갖는 상품을 파지하여 상품 코드를 판독함으로써, 무인으로 신속하고 정확하게 상품의 결제 금액을 산출할 수 있는 복수의 로봇암부를 이용한 상품 계산 로봇 장치를 제공함에 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치는 결제를 위해 계산대 컨베이어의 상부 영역에 배치된 복수의 상품 각각의 상품 코드를 판독하여 고객별로 결제 금액 정보를 산출하는 복수의 로봇암부를 이용한 상품 계산 로봇 장치로서, 상품의 가격 정보를 포함하고 상품의 일측에 배치되는 상기 상품 코드가 판독되도록 상품을 파지하여 코드 판독부로 이동시키는 복수의 로봇암부; 상기 복수의 상품이 상부 영역에 배치된 상기 계산대 컨베이어를 촬영하여 컨베이어 이미지를 생성하는 촬영부; 및 상기 컨베이어 이미지로부터 상기 복수의 상품 각각의 물리량 정보를 획득하고, 상기 복수의 상품의 물리량 정보 각각이 상기 복수의 로봇암부 각각의 허용 물리량 조건을 만족하는지 여부를 판단하고, 상기 판단 결과에 대응하여 상기 복수의 상품 각각을 상기 복수의 로봇암부 중 어느 하나에 할당하는 프로세서;를 포함하고, 상기 복수의 로봇암부는 상기 복수의 상품 중에서 할당된 상품의 상기 상품 코드가 판독되도록 할당된 상품을 파지하여 상기 코드 판독부로 이동시킬 수 있다.
바람직하게, 상기 프로세서는 상품의 물리량 정보를 결정하도록 훈련된 물리량 인공지능 모델에 상기 복수의 상품의 상품 이미지를 입력하여, 상기 복수의 상품 각각의 물리량 정보를 획득할 수 있다.
바람직하게, 상기 프로세서는 학습용 상품 이미지 및 상기 학습용 상품 이미지에 대응되는 학습용 물리량 정보를 이용하여 상기 물리량 인공지능 모델을 훈련시킬 수 있다.
바람직하게, 상기 물리량 정보는 상품의 부피 정보, 무게 정보, 폭 정보, 높이 정보 및 너비 정보 중 하나 이상을 포함할 수 있다.
바람직하게, 상기 프로세서는 상기 복수의 로봇암부 중 어느 하나의 로봇암부의 허용 물리량 조건이 나타내는 물리량 범위에 상기 복수의 상품 중 어느 하나의 상품의 물리량 정보가 나타내는 물리량이 포함되면, 해당 상품을 해당 로봇암부에 할당할 수 있다.
바람직하게, 상기 프로세서는 상기 복수의 로봇암부 각각의 이동 가능 영역을 설정하고, 상기 이동 가능 영역 내에 고객의 신체가 진입하는지 여부를 감지하고, 상기 이동 가능 영역 내에 고객의 신체가 진입함을 감지하면 로봇암부와 고객의 신체 간에 충돌 위험을 경고하는 위험 경고 메시지를 생성할 수 있다.
바람직하게, 상기 프로세서는 상기 복수의 로봇암부 중 어느 하나의 로봇암부에 의해 이동되는 상품이 결정되면, 이동이 결정된 상품의 상품 위치, 해당 로봇암부의 로봇암부 위치 및 코드 판독부의 판독부 위치에 기초하여 해당 로봇암부의 이동 경로 영역을 설정하고, 상기 이동 경로 영역 내에 고객의 신체가 진입하는지 여부를 감지하고, 상기 이동 경로 영역 내에 고객의 신체가 진입함을 감지하면 로봇암부와 고객의 신체 간에 충돌 위험을 경고하는 위험 경고 메시지를 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치, 코드 판독부, 상품 및 계산대를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치의 구성 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치가 결제 상품 영역을 설정하는 과정을 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치가 상품의 물리량 정보를 고려하여 상품을 코드 판독부로 이동시키는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치가 결제 금액을 안내하고 결제 수단의 종류를 입력 요청하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치가 결제 요청하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치가 결제 수단의 회수를 요청하는 과정을 설명하기 위한 도면이다.
도 9 및 도 10은 본 발명의 일 실시 예에 따른 상품 코드 판독을 이용한 상품 계산 로봇 장치가 위험 경고 메시지를 출력하는 과정을 설명하기 위한 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형 태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대 해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 작동, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현 은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는 (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중 요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성 요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합 한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것 만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성 (또는 설정)된 제어부"는 해당 작동을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 작동들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
특히, 본 명세서에서, “~장치”는 중앙처리장치(Central Processing Unit (CPU)), 애플리케이션 프로세서(Application Processor (AP)) 및 커뮤니케이션 프로세서(Communication Processor (CP)) 중 하나 이상을 포함할 수 있다.
본 명세서에서, “~장치”는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 작동하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, “~장치”는 기계 구동 장치, 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한 정하려는 의도가 아닐 수 있다. 단수의 표현은 컨텍스트 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 컨텍스트 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치, 코드 판독부, 상품 및 계산대(C)를 도시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치의 구성 블록도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치(100)는 매장 내 계산대(C)의 일측에 위치하고, 고객이 결제하고자 하는 상품을 계산대(C)의 계산대 컨베이어(CB)에 배치하면, 상품의 일측에 마련된 상품 코드가 판독되도록 상품을 이동 및 회전시켜 상품의 가격 정보를 획득하고, 동일한 고객이 계산대 컨베이어(CB)에 배치한 상품들만의 가격 정보를 합산하여 고객이 결제할 결제 금액 정보를 산출함으로써, 고객이 상품을 결제하도록 할 수 있다.
이때, 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치(100)는 고객이 상품을 결제하는 과정에서 고객이 수행해야 할 절차와 고객에게 안내되어야 하는 정보에 대한 메시지를 생성하여 출력할 수 있다.
한편, 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치(100)는 로봇암부(130)가 상품을 파지하여 이동시키도록 구성되되, 로봇암부(130)의 허용 물리량 조건에 따라 상품을 할당하고, 할당된 상품이 해당 로봇암부(130)에 의해 이동되도록 구성될 수 있다.
이때, 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치(100)는 로봇암부(130)이 고객과 충돌하지 않도록 메시지를 생성하여 출력할 수 있다.
한편, 매장 내 계산대(C)는 계산대 컨베이어(CB), 코드 판독부(CR) 및 포장 영역(P)를 포함할 수 있다.
계산대 컨베이어(CB)는 고객에 의해 선택된 복수의 상품과 고객별로 복수의 상품을 분리시키는 컨베이어 디바이더(CD)가 상부 영역에 배치될 수 있다.
이러한, 계산대 컨베이어(CB)는 상부 영역에 배치된 복수의 상품과 컨베이어 디바이더(CD)를 진행 방향으로 이동시킬 수 있다.
이때, 계산대 컨베이어(CB)는 일단에 물체 감지 센서를 구비하고 물체 감지 센서에 의해 일단에서 물체(상품 또는 컨베이어 디바이더)가 감지되면 복수의 상품 및 컨베이어 디바이더(CD)의 이동을 정지시킬 수 있다.
여기서, 진행 방향을 계산대 컨베이어(CB)의 타단에서 일단을 향하는 방향이고, 코드 판독부(CR)는 계산대 컨베이어(CB)의 타단 보다 일단에 더 근접하여 위치될 수 있다.
한편, 컨베이어 디바이더(CD)는 막대 형상으로 형성되고, 고객에 의해 복수의 상품이 고객별로 분리되도록 계산대 컨베이어(CB)의 상부 영역에 배치될 수 있다.
예를 들어, 고객 A에 의해 계산대 컨베이어(CB)의 상부 영역에 배치된 상품 A1, A2, A3와 고객 B에 의해 계산대 컨베이어(CB)의 상부 영역에 배치된 상품 B1, B2, B3 사이에는 컨베이어 디바이더(CD)가 배치되어 고객 A에 의해 계산대 컨베이어(CB)의 상부 영역에 배치된 상품 A1, A2, A3와 고객 B에 의해 계산대 컨베이어(CB)의 상부 영역에 배치된 상품 B1, B2, B를 분리시킬 수 있다.
코드 판독부(CR)는 컨베이어 디바이더(CD)와 포장 영역(P) 사이에 위치하여, 상품의 상품 코드를 판독함으로써, 상품의 가격 정보를 획득할 수 있다.
이를 위해, 코드 판독부(CR)는 QR코드 형식 또는 바코드 형식의 상품 코드를 판독할 수 있다.
구체적으로, 코드 판독부(CR)는 상품 코드가 바코드 형식인 경우, 상품 코드로부터 반사되는 가시광선을 입력받아 상품 코드를 판독하는 가시광선 상품 코드 판독 방식 및 상품 코드로부터 반사되는 적광을 입력받아 상품 코드를 판독하는 적광 상품 코드 판독 방식 중 하나 이상을 이용할 수 있으나, 상품 코드로부터 상품의 가격 정보를 획득하는 한, 판독 방식은 제한되지 않음을 유의한다.
한편, 상품 코드는 상품의 일측에 인쇄되거나 플라스틱 소재의 태그에 인쇄되어 상품의 일측에 마련될 수 있고, 해당 상품의 가격 정보가 부호화되어 표시될 수 있다.
이때, 상품 코드는 QR코드 형식 또는 바코드 형식일 수 있다.
상품 코드는 바코드 형식인 경우, 코드 11 방식, 코드 39 방식, 코드 93 방식, 코드 128 방식, UPC 방식, EAN 8 방식, EAN 13 방식, PDF 417 방식 및 데이터매트릭스 방식 중 어느 하나의 방식으로 형성될 수 있으나 상품의 가격 정보가 포함되는 한 코드 방식이 제한되지 않음을 유의한다.
이러한, 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치(100)는 촬영부(110), 프로세서(120), 로봇암부(130), 디스플레이(140), 스피커(150), 결제부(160), 통신부(170) 및 저장부(180)를 포함할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치가 결제 상품 영역을 설정하는 과정을 설명하기 위한 도면이다.
촬영부(110)는 복수의 상품 및 상술된 컨베이어 디바이더(CD)가 상부 영역에 배치된 계산대 컨베이어(CB)를 촬영하여 컨베이어 이미지를 생성할 수 있다.
이를 위해, 촬영부(110)는 이미지를 생성하는 카메라 모듈을 구비할 수 있다. 또한, 촬영부(110)는 물체에 대해 비전 센싱을 수행하는 비전 센싱 카메라 모듈을 구비할 수 있다.
프로세서(120)는 컨베이어 이미지로부터 컨베이어 디바이더(CD)의 디바이더 위치를 인식하고, 디바이더 위치에 기초하여 계산대 컨베이어(CB)의 상부 영역(CA) 중에서 결제 상품 영역(PA)을 설정할 수 있다.
구체적으로, 프로세서(120)는 디바이더 위치를 기준으로 상부 영역(CA)을 복수의 상품 영역(UA1, UA2)으로 구획하고, 복수의 상품 영역(UA1, UA2) 중에서 최선단에 위치한 상품 영역(UA1)을 결제 상품 영역(PA)으로 설정할 수 있다.
여기서, 최선단에 위치한 최선단에 위치한 상품 영역이란, 복수의 상품 영역(UA1, UA2) 중에서 계산대 컨베이어(CB)의 진행 방향을 기준으로 가장 선행하는 상품 영역(UA1, PA)을 의미할 수 있다.
한편, 프로세서(120)는 3차원 공간인 상부 영역(CA) 내에 디바이더 위치에 대응되는 가상의 평면을 형성하고, 가상의 평면에 의해 상부 영역(CA)으로부터 분할되는 영역을 복수의 상품 영역(UA1, UA2)으로 구획할 수 있다.
이때, 가상의 평면은 계산대 컨베이어(CB)의 상부면 즉, 상부 영역(CA)의 하부면에 직립하고, 가상의 평면과 계산대 컨베이어(CB)의 상부면이 접하는 직선과 계산대 컨베이어(CB)의 진행 방향이 이루는 각도는 컨베이어 디바이더(CD)와 계산대 컨베이어(CB)의 진행 방향이 이루는 각도와 동일하도록 형성될 수 있다.
프로세서(120)는 상부 영역(CA)에 배치된 컨베이어 디바이더(CD)의 개수 만큼 가상의 평면을 형성할 수 있다.
이에 따라, 프로세서(120)는 상부 영역(CA)에 배치된 컨베이어 디바이더(CD)가 1개인 경우 가상의 평면을 1개 형성하고, 2개의 상품 영역을 구획할 수 있다.
또한, 프로세서(120)는 상부 영역(CA)에 배치된 컨베이어 디바이더(CD)가 2개인 경우 가상의 평면을 2개 형성하고, 3개의 상품 영역을 구획할 수 있다.
이후, 프로세서(120)는 계산대 컨베이어(CB)의 진행 방향을 기준으로 복수의 상품 영역(UA1, UA2) 중에서 최선단에 위치한 상품 영역(UA1)을 결제 상품 영역(PA)으로 설정할 수 있다.
이러한, 프로세서(120)는 계산대 컨베이어(CB)가 진행 방향으로 복수의 상품 및 컨베이어 디바이더(CD)를 이동시킴에 따라, 미리 설정된 주기마다 결제 상품 영역(PA)의 설정을 보정할 수 있다.
한편, 프로세서(120)는 결제 상품 영역(PA) 내에 배치된 상품 중에서 로봇암부(130)에 의해 코드 판독부(CR)로 이동되어 상품 코드가 판독될 상품(이하, '이동 대상 상품'이라함)을 결정할 수 있다.
구체적으로, 프로세서(120)는 진행 방향을 기준으로 결제 상품 영역(PA) 내에 배치된 상품 중에서 최선단에 위치한 상품을 이동 대상 상품으로 결정할 수 있다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치가 상품의 물리량 정보를 고려하여 상품을 코드 판독부(CR)로 이동시키는 과정을 설명하기 위한 도면이다.
본 발명에 따른 로봇암부(130)는 복수일 수 있다. 프로세서(120)는 코드 판독부(CR)로 이동시키고자 하는 이동 대상 상품의 물리량 정보에 따라 복수의 로봇암부(130a, 130b) 중에서 이동 대상 상품을 코드 판독부(CR)로 이동시킬 어느 하나의 로봇암부를 결정할 수 있다.
이를 위해, 프로세서(120)는 컨베이어 이미지로부터 복수의 상품 각각의 물리량 정보를 획득할 수 있다.
구체적으로, 프로세서(120)는 컨베이어 이미지 중에서 이동 대상 상품의 상품 이미지를 추출하고, 이동 대상 상품의 상품 이미지를 상품의 물리량 정보를 결정하도록 훈련된 물리량 인공지능 모델에 이동 대상 상품의 상품 이미지를 입력하여, 이동 대상 상품의 물리량 정보를 획득할 수 있다.
이를 위해, 프로세서(120)는 학습용 상품 이미지 및 학습용 상품 이미지에 대응되는 학습용 물리량 정보를 이용하여 물리량 인공지능 모델을 훈련시킬 수 있다.
여기서, 물리량 인공지능 모델은 학습 데이터로써 학습용 상품 이미지 및 학습용 물리량 정보로 구성된 학습 데이터를 이용하여 훈련 및 학습되고, 입력 데이터인 상품 이미지에 대하여 결과 값으로 물리량 정보를 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
여기서, 인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함수값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 본 명세서에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
여기서, 물리량 정보는 상품(이동 대상 상품)의 부피 정보, 무게 정보, 폭 정보, 높이 정보 및 너비 정보 중 하나 이상을 포함할 수 있다.
이후, 프로세서(120)는 이동 대상 상품의 물리량 정보가 복수의 로봇암부(130a, 130b) 각각의 허용 물리량 조건 중 어느 로봇암부의 허용 물리량 조건에 만족하는지 여부를 판단할 수 있다.
여기서, 허용 물리량 조건은 로봇암부의 물체 이동 능력에 따라 로봇암부가 이동시킬 수 있는 물체의 물리량 범위를 나타낼 수 있다.
구체적으로, 프로세서(120)는 이동 대상 상품의 물리량 정보가 나타내는 물리량이 포함되는 물리량 범위를 나타내는 허용 물리량 조건의 로봇암부에 이동 대상 상품을 할당할 수 있다.
물리량 정보가 무게 정보이고, 제1 로봇암부(130a)의 허용 물리량 조건이 나타내는 물리량 범위가 0g 초과 1kg 미만이고, 제2 로봇암부(130b)의 허용 물리량 조건이 나타내는 물리량 범위가 0g 초과 2kg 미만인 예를 들어 설명하도록 한다.
도 4에 도시된 바와 같이, 프로세서(120)는 이동 대상 상품의 물리량 정보가 800g인 경우, 이동 대상 상품의 물리량 정보 800g이 포함되는 물리량 범위를 나타내는 허용 물리량 조건의 제1 로봇암부(130a)에 이동 대상 상품을 할당할 수 있다.
또한, 도 5에 도시된 바와 같이, 프로세서(120)는 이동 대상 상품의 물리량 정보가 1.5kg인 경우, 이동 대상 상품의 물리량 정보 1.5g이 포함되는 물리량 범위를 나타내는 허용 물리량 조건의 제2 로봇암부(130b)에 이동 대상 상품을 할당할 수 있다.
복수의 로봇암부(130a, 130b)는 결제 상품 영역(PA)에 배치되고 이동되는 것으로 결정된 이동 대상 상품이 할당되면 해당 이동 대상 상품의 상품 코드가 코드 판독부(CR)에 의해 판독되도록 이동 대상 상품을 파지하여 코드 판독부(CR)로 이동시킬 수 있다.
이후, 복수의 로봇암부(130a, 130b)는 상품 코드의 판독이 완료된 이동 대상 상품을 포장 영역(P)으로 이동시킬 수 있다. 여기서, 포장 영역(P)은 상품 코드의 판독이 완료되어 가격 정보가 프로세서(120)로 획득된 이동 대상 상품이 이동되는 영역으로, 고객에 의해 상품이 수령되는 영역일 수 있다.
이를 위해, 복수의 로봇암부(130a, 130b)는 프로세서(120)로부터 수신되는 제어 신호에 기초하여 작동에 제어될 수 있다. 이러한, 복수의 로봇암부(130a, 130b)는 지지부(J)에 일단이 고정된 로봇암(131) 및 로봇암(131)의 타단과 연결된 파지부(132) 각각을 포함할 수 있다.
이때, 지지부(J)는 하단이 계산대(C)와 인접한 지면에 고정되고, 상단에 로봇암(131)의 일단이 연결되어 움직이는 로봇암(131)을 지지할 수 있다.
또한, 파지부(132)는 집게 형상으로 형성되어 상품의 양측을 가압하여 상품을 파지하도록 구성될 수 있다.
이러한, 복수의 로봇암부(130a, 130b)는 프로세서(120)의 제어 신호에 따라 각각의 로봇암(131) 및 파지부(132)의 작동을 제어할 수 있다.
구체적으로, 복수의 로봇암부(130a, 130b)는 로봇암(131) 및 파지부(132)를 통해 이동 대상 상품의 부위를 파지하여 코드 판독부(CR)로 이동 대상 상품을 이동시킬 수 있다.
이후, 복수의 로봇암부(130a, 130b)는 이동 대상 상품을 이동 및 회전시켜 상품 코드가 코드 판독부(CR)와 대면되도록 할 수 있다.
이를 통해, 복수의 로봇암부(130a, 130b)는 직원이 직접 상품의 상품 코드를 코드 판독부(CR)로 이동시켜 상품 코드를 스캔하지 않더라도, 고객이 계산대(C)에 상품을 배치하기만 하면, 상품 코드를 가리지 않도록 상품을 파지하여 상품 코드가 판독되도록 함으로써, 상품 계산을 신속하고 노동력 소요없이 완료시킬 수 있다.
이를 위해, 복수의 로봇암부(130a, 130b)는 기계적인 움직임을 구현할 수 있도록 구성될 수 있다. 구체적으로, 복수의 로봇암부(130a, 130b)는 다양한 작업을 수행할 수 있는 하나 이상의 관절(또는 조인트), 링크, 기어 등을 구비할 수 있다. 이러한, 복수의 로봇암부(130a, 130b)는 복수의 조인트 및 복수의 조인트에 의해 서로 연결된 복수의 링크, 복수의 조인트를 회전시키는 구동 모터를 포함할 수 있다. 이때, 프로세서(120)는 구동 모터의 작동을 제어하여 복수의 로봇암부(130a, 130b)를 제어하고, 이를 통해, 복수의 로봇암부(130a, 130b)는 로봇암(131) 및 파지부(132)를 제어할 수 있다.
한편, 프로세서(120)는 결제 상품 영역(PA)에 배치되었던 상품의 상품 코드로부터 판독된 가격 정보를 합산하여 고객이 결제할 결제 금액을 나타내는 결제 금액 정보로 산출할 수 있다.
즉, 프로세서(120)는 동일한 결제 상품 영역(PA)에 배치되었다가 상품 코드가 판독된 상품의 가격 정보만을 합산하여 결제 금액 정보로 산출할 수 있다.
이를 통해, 프로세서(120)는 어느 하나의 고객에 의해 계산대 컨베이어(CB)에 배치된 상품들의 가격 정보만을 합산하여 결제 금액 정보로 산출할 수 있다.
프로세서(120)는 결제 상품 영역에 배치된 상품이 없는 경우, 즉, 결제 상품 영역에 배치된 모든 상품의 상품 코드가 판독된 경우, 고객의 회원 정보를 요청하는 회원 정보 요청 메시지를 생성할 수 있다.
이때, 회원 정보 요청 메시지는 음성 메시지 및 텍스트 메시지 중 어느 하나 이상일 수 있다.
이후, 디스플레이(140)는 텍스트 메시지인 회원 정보 요청 메시지를 출력할 수 있다. 또한, 스피커(150)는 음성 메시지인 회원 정보 요청 메시지를 출력할 수 있다.
여기서, 회원 정보는 매장에 회원으로 가입된 고객에 대한 정보로서, 고객 일련 번호, 고객 이름 정보, 고객 주소 정보 및 고객 포인트 정보를 포함할 수 있다.
이때, 고객은 고객 정보를 직접 입력부(미도시)에 입력하거나 회원 카드를 삽입하여 고객 정보를 제공할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치가 결제 금액을 안내하고 결제 수단의 종류를 입력 요청하는 과정을 설명하기 위한 도면이다.
프로세서(120)는 결제 상품 영역에 배치된 상품이 없는 경우, 즉, 결제 상품 영역에 배치된 모든 상품의 상품 코드가 판독된 경우, 결제 금액 정보가 나타내는 결제 금액을 안내하는 결제 금액 안내 메시지를 생성할 수 있다.
이때, 결제 금액 안내 메시지(M1)는 음성 메시지 및 텍스트 메시지 중 어느 하나 이상일 수 있다.
이후, 디스플레이(140)는 텍스트 메시지인 결제 금액 안내 메시지(M1)를 출력할 수 있다. 또한, 스피커(150)는 음성 메시지인 결제 금액 안내 메시지(M1)를 출력할 수 있다.
이를 통해, 고객은 자신이 결제해야 할 금액을 즉각적으로 확인할 수 있다.
한편, 프로세서(120)는 결제 상품 영역에 배치된 상품이 없는 경우, 결제 금액 정보가 나타내는 결제 금액을 결제할 결제 수단의 종류를 나타내는 결제 수단 정보의 입력을 요청하는 결제 수단 정보 요청 메시지를 생성할 수 있다.
여기서, 결제 수단 정보는 현금을 나타내거나 신용카드를 나타낼 수 있다.
이때, 결제 수단 정보 요청 메시지(M2)는 음성 메시지 및 텍스트 메시지 중 어느 하나 이상일 수 있다.
이후, 디스플레이(140)는 텍스트 메시지인 결제 수단 정보 요청 메시지(M2)를 출력할 수 있다. 또한, 스피커(150)는 음성 메시지인 결제 수단 정보 요청 메시지(M2)를 출력할 수 있다.
이를 통해, 고객은 자신이 결제할 결제 수단을 선택할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치가 결제 요청하는 과정을 설명하기 위한 도면이다.
프로세서(120)는 결제 수단 정보 요청 메시지에 대응하여 결제 수단 정보가 입력된 경우, 결제 수단 정보가 나타내는 결제 수단으로 결제를 요청하는 결제 요청 메시지(M3)를 생성할 수 있다.
이때, 결제 요청 메시지(M3는 음성 메시지 및 텍스트 메시지 중 어느 하나 이상일 수 있다.
이후, 디스플레이(140)는 텍스트 메시지인 결제 요청 메시지(M3)를 출력할 수 있다. 또한, 스피커(150)는 음성 메시지인 결제 요청 메시지(M3)를 출력할 수 있다.
한편, 결제부(160)는 결제 금액 정보가 나타내는 결제 금액만큼 고객으로부터 입력된 결제 수단으로 결제를 수행할 수 있다.
이를 위해, 결제부(160)는 신용카드로 결제 금액을 결제하는 신용카드 결제부(161) 및 현금을 투입받고 투입된 현금의 투입 금액을 인식하며 인출 요청된 인출 금액만큼의 현금을 인출시키는 현금 출입부(162)를 구비할 수 있다.
이때, 프로세서(120)는 결제 수단 정보가 나타내는 결제 수단이 현금이고, 현금 출입부(162)에 투입된 현금의 투입 금액에서 결제 금액 정보가 나타내는 결제 금액을 차감하여 금액차를 산출하고, 금액차를 안내하는 금액차 안내 메시지를 생성할 수 있다.
이후, 디스플레이(140)는 텍스트 메시지인 금액차 안내 메시지를 출력할 수 있다. 또한, 스피커(150)는 음성 메시지인 금액차 안내 메시지를 출력할 수 있다.
한편, 복수의 로봇암부(130a, 130b)는 결제 금액 정보의 결제 금액에 대한 결제가 완료되면, 결제 상품 영역(PA)에 최근접한 컨베이어 디바이더(CD)를 계산대 컨베이어(CB)의 상부 영역 외부로 배치시킬 수 있다.
이후, 프로세서(120)는 결제 상품 영역(PA)으로 설정된 상품 영역(UA1)과 이웃하는 상품 영역(UA2)을 결제 상품 영역으로 재설정할 수 있다.
즉, 프로세서(120)는 계산대 컨베이어(CB)의 진행 방향을 기준으로 결제 상품 영역(PA)으로 설정된 상품 영역(UA1)의 뒤에 위치하는 상품 영역(UA2)을 결제 상품 영역으로 재설정할 수 있다.
이를 통해, 프로세서(120)는 고객별로 상품의 결제 금액 정보를 산출할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치가 결제 수단의 회수를 요청하는 과정을 설명하기 위한 도면이다.
프로세서(120)는 고객이 제공한 결제 수단으로 결제 금액 정보가 나타내는 결제 금액의 결제가 완료되면, 결제 수단의 회수를 요청하는 결제 수단 회수 요청 메시지를 생성할 수 있다.
이때, 프로세서(120)는 앞서 획득된 결제 수단 종류 정보가 현금을 나타내는 경우, 현금 출입부(162)에 투입된 현금의 투입 금액에서 결제 금액 정보가 나타내는 결제 금액을 차감한 금액차가 양수의 금액인 경우에만 결제 수단 회수 요청 메시지를 생성할 수 있다.
한편, 프로세서(120)는 앞서 획득된 결제 수단 종류 정보가 신용카드를 나타내는 경우, 신용카드 결제부(161)에 신용카드가 삽입되었는지 여부를 확인하고 신용카드 결제부(161)에 신용카드가 삽입되어 있으면 결제 수단 회수 요청 메시지를 생성할 수 있다.
이때, 결제 수단 회수 요청 메시지(M4)는 음성 메시지 및 텍스트 메시지 중 어느 하나 이상일 수 있다.
이후, 디스플레이(140)는 텍스트 메시지인 결제 수단 회수 요청 메시지(M4)를 출력할 수 있다. 또한, 스피커(150)는 음성 메시지인 결제 수단 회수 요청 메시지(M4)를 출력할 수 있다.
도 9 및 도 10은 본 발명의 일 실시 예에 따른 상품 코드 판독을 이용한 상품 계산 로봇 장치가 위험 경고 메시지를 출력하는 과정을 설명하기 위한 도면이다.
프로세서(120)는 복수의 로봇암부(130a, 130b) 각각의 이동 가능 영역(MA)을 설정하고, 이동 가능 영역(MA) 내에 고객의 신체가 진입하는지 여부를 감지할 수 있다.
여기서, 이동 가능 영역(MA)는 복수의 로봇암부(130a, 130b)의 작동으로 복수의 로봇암부(130a, 130b)의 구성 요소 배치될 수 있는 공간을 의미할 수 있다.
프로세서(120)는 이동 가능 영역(MA)을 촬영한 제1 영역 이미지에서 고객의 신체(B)가 인식되면 이동 가능 영역(MA) 내에 고객의 신체가 진입한 것으로 감지하고, 로봇암부와 고객의 신체 간에 충돌 위험을 경고하는 위험 경고 메시지를 생성할 수 있다.
이때, 위험 경고 메시지(M5)는 음성 메시지 및 텍스트 메시지 중 어느 하나 이상일 수 있다.
이후, 디스플레이(140)는 텍스트 메시지인 위험 경고 메시지(M5)를 출력할 수 있다. 또한, 스피커(150)는 음성 메시지인 위험 경고 메시지(M5)를 출력할 수 있다.
한편, 프로세서(120)는 복수의 로봇암부 중 어느 하나의 로봇암부에 의해 이동되는 상품 즉, 이동 대상 상품이 결정되면, 이동이 결정된 상품의 상품 위치와 해당 로봇암부의 로봇암부 위치에 기초하여 해당 로봇암부의 이동 경로 영역(MP)를 설정할 수 있다.
여기서, 이동 경로 영역(MP)는 로봇암부가 이동 대상 상품을 파지하여 코드 판독부(CR)로 이동시키는 동안에 해당 로봇암부의 구성 요소가 배치되는 경로의 집합을 의미할 수 있다.
프로세서(120)는 이동 경로 영역(MP)을 촬영한 제2 영역 이미지에서 고객의 신체(B)가 인식되면 이동 경로 영역(MP) 내에 고객의 신체가 진입한 것으로 감지하고, 로봇암부와 고객의 신체 간에 충돌 위험을 경고하는 위험 경고 메시지를 생성할 수 있다.
한편, 다른 실시 예에 따른 프로세서(120)는 결제 상품 영역(PA)의 설정을 수행한 횟수에 기초하여 수수료를 산출할 수 있다.
보다 구체적으로, 다른 실시 예에 따른 프로세서(120)는 미리 설정된 주기 마다 미리 설정된 기간 동안에 결제 상품 영역(PA)의 설정을 수행한 횟수에 비례하여 수수료를 산출할 수 있다.
여기서, 미리 설정된 기간은 매장의 영업시간이고, 미리 설정된 주기는 하루일 수 있다.
예를 들어, 매장의 영업시간이 매일 오전 9시부터 오후 10시까지인 경우, 미리 설정된 기간은 매일 오전 9시부터 오후 10시까지이고, 다른 실시 예에 따른 프로세서(120)는 오전 9시부터 오후 10시까지의 수수료를 매일 산출할 수 있다.
한편, 다른 실시 예에 따른 프로세서(120)는 미리 설정된 기간 동안에 결제 상품 영역(PA)의 설정을 수행한 횟수에 단위 수수료를 적용하여 수수료를 산출할 수 있다.
여기서, 단위 수수료는 결제 상품 영역(PA)을 1회 설정할 때 책정되는 수수료를 의미할 수 있다.
예를 들어, 어느 하루의 미리 설정된 기간 동안에 다른 실시 예에 따른 프로세서(120)가 결제 상품 영역(PA)을 10회 설정하고, 단위 수수료가 100원인 경우, 다른 실시 예에 따른 프로세서(120)는 10회에 단위 수수료 100원을 곱하여 수수료를 1,000원으로 산출할 수 있다.
한편, 본 발명의 일 실시 예에 따른 복수의 로봇암부를 이용한 상품 계산 로봇 장치(100)는 상술된 기능을 수행하기 위해, 데이터, 정보 및 신호를 송수신하는 통신부(170) 및 데이터, 정보 및 신호를 저장하는 저장부(180)를 포함할 수 있다.
한편, 프로세서(120)는 상술된 각 구성 요소의 작동을 수행할 수 있으며, 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
프로세서(120)는 저장부(180)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상술된 각 구성 요소의 작동을 수행하도록 구성될 수 있다.
저장부(180)에는 프로세서(120)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 저장부(180)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
100 : 복수의 로봇암부를 이용한 상품 계산 로봇 장치
110 : 촬영부
120 : 프로세서
130 : 로봇암부
140: 디스플레이
150: 스피커
160: 결제부
170: 통신부
180: 저장부

Claims (7)

  1. 결제를 위해 계산대 컨베이어의 상부 영역에 배치된 복수의 상품 각각의 상품 코드를 판독하여 고객별로 결제 금액 정보를 산출하는 복수의 로봇암부를 이용한 상품 계산 로봇 장치에 있어서,
    상품의 가격 정보를 포함하고 상품의 일측에 배치되는 상기 상품 코드가 판독되도록 상품을 파지하여 코드 판독부로 이동시키는 복수의 로봇암부;
    상기 복수의 상품이 상부 영역에 배치된 상기 계산대 컨베이어를 촬영하여 컨베이어 이미지를 생성하는 촬영부; 및
    상기 컨베이어 이미지로부터 상기 복수의 상품 각각의 물리량 정보를 획득하고, 상기 복수의 상품의 물리량 정보 각각이 상기 복수의 로봇암부 각각의 허용 물리량 조건을 만족하는지 여부를 판단하고, 상기 판단 결과에 대응하여 상기 복수의 상품 각각을 상기 복수의 로봇암부 중 어느 하나에 할당하는 프로세서;를 포함하고,
    상기 복수의 로봇암부는
    상기 복수의 상품 중에서 할당된 상품의 상기 상품 코드가 판독되도록 할당된 상품을 파지하여 상기 코드 판독부로 이동시키고,
    상기 프로세서는
    상기 복수의 로봇암부 각각의 이동 가능 영역을 설정하고, 상기 이동 가능 영역 내에 고객의 신체가 진입하는지 여부를 감지하고, 상기 이동 가능 영역 내에 고객의 신체가 진입함을 감지하면 로봇암부와 고객의 신체 간에 충돌 위험을 경고하는 위험 경고 메시지를 생성하고,
    상기 프로세서는
    상기 복수의 로봇암부 중 어느 하나의 로봇암부에 의해 이동되는 상품이 결정되면, 이동이 결정된 상품의 상품 위치, 해당 로봇암부의 로봇암부 위치 및 코드 판독부의 판독부 위치에 기초하여 해당 로봇암부의 이동 경로 영역을 설정하고, 상기 이동 경로 영역 내에 고객의 신체가 진입하는지 여부를 감지하고, 상기 이동 경로 영역 내에 고객의 신체가 진입함을 감지하면 로봇암부와 고객의 신체 간에 충돌 위험을 경고하는 위험 경고 메시지를 생성하고,
    상기 프로세서는
    상기 계산대 컨베이어의 상부 영역에서, 상품을 선택한 고객별로 상기 복수의 상품을 분리시키는 컨베이어 디바이더의 디바이더 위치를 상기 컨베이어 이미지로부터 인식하고, 상기 디바이더 위치에 기초하여 상기 계산대 컨베이어의 상부 영역 중에서 결제 상품 영역을 설정하고,
    상기 프로세서는
    미리 설정된 기간 동안에 상기 결제 상품 영역의 설정을 수행한 횟수에 단위 수수료를 적용하여 미리 설정된 주기 마다 수수료를 산출하는 것을 특징으로 하는
    복수의 로봇암부를 이용한 상품 계산 로봇 장치.
  2. 제1항에 있어서,
    상기 프로세서는
    상품의 물리량 정보를 결정하도록 훈련된 물리량 인공지능 모델에 상기 복수의 상품의 상품 이미지를 입력하여, 상기 복수의 상품 각각의 물리량 정보를 획득하는 것을 특징으로 하는
    복수의 로봇암부를 이용한 상품 계산 로봇 장치.
  3. 제2항에 있어서,
    상기 프로세서는
    학습용 상품 이미지 및 상기 학습용 상품 이미지에 대응되는 학습용 물리량 정보를 이용하여 물리량 인공지능 모델을 훈련시키는 것을 특징으로 하는
    복수의 로봇암부를 이용한 상품 계산 로봇 장치.
  4. 제3항에 있어서,
    상기 물리량 정보는
    상품의 부피 정보, 무게 정보, 폭 정보, 높이 정보 및 너비 정보 중 하나 이상을 포함하는 것을 특징으로 하는
    복수의 로봇암부를 이용한 상품 계산 로봇 장치.
  5. 제1항에 있어서,
    상기 프로세서는
    상기 복수의 로봇암부 중 어느 하나의 로봇암부의 허용 물리량 조건이 나타내는 물리량 범위에 상기 복수의 상품 중 어느 하나의 상품의 물리량 정보가 나타내는 물리량이 포함되면, 해당 상품을 해당 로봇암부에 할당하는 것을 특징으로 하는
    복수의 로봇암부를 이용한 상품 계산 로봇 장치.
  6. 삭제
  7. 삭제
KR1020220116917A 2022-09-16 2022-09-16 복수의 로봇암부를 이용한 상품 계산 로봇 장치 KR102636634B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220116917A KR102636634B1 (ko) 2022-09-16 2022-09-16 복수의 로봇암부를 이용한 상품 계산 로봇 장치
KR1020240018959A KR20240038932A (ko) 2022-09-16 2024-02-07 이미지 기반 상품 무게를 추정하는 상품 계산 로봇 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220116917A KR102636634B1 (ko) 2022-09-16 2022-09-16 복수의 로봇암부를 이용한 상품 계산 로봇 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020240018959A Division KR20240038932A (ko) 2022-09-16 2024-02-07 이미지 기반 상품 무게를 추정하는 상품 계산 로봇 장치

Publications (1)

Publication Number Publication Date
KR102636634B1 true KR102636634B1 (ko) 2024-02-14

Family

ID=89896180

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220116917A KR102636634B1 (ko) 2022-09-16 2022-09-16 복수의 로봇암부를 이용한 상품 계산 로봇 장치
KR1020240018959A KR20240038932A (ko) 2022-09-16 2024-02-07 이미지 기반 상품 무게를 추정하는 상품 계산 로봇 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020240018959A KR20240038932A (ko) 2022-09-16 2024-02-07 이미지 기반 상품 무게를 추정하는 상품 계산 로봇 장치

Country Status (1)

Country Link
KR (2) KR102636634B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180076450A (ko) * 2016-12-28 2018-07-06 한국기계연구원 로봇의 충돌 방지 장치 및 방법
KR20180107391A (ko) * 2017-03-20 2018-10-02 전자부품연구원 학습 기반 물류 자동화 시스템, 장치 및 방법
KR20180109107A (ko) 2017-03-27 2018-10-08 (주)로직아이텍 매장 및 창고에서 활용할 수 있는 지능형 카트로봇장치
KR102333971B1 (ko) * 2021-09-28 2021-12-03 이현 바코드 자동 스캔을 이용한 상품 계산 장치
KR102362205B1 (ko) * 2021-07-21 2022-02-15 주식회사 코봇 스마트 물류 시스템용 자율 이동 로봇

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180076450A (ko) * 2016-12-28 2018-07-06 한국기계연구원 로봇의 충돌 방지 장치 및 방법
KR20180107391A (ko) * 2017-03-20 2018-10-02 전자부품연구원 학습 기반 물류 자동화 시스템, 장치 및 방법
KR20180109107A (ko) 2017-03-27 2018-10-08 (주)로직아이텍 매장 및 창고에서 활용할 수 있는 지능형 카트로봇장치
KR102362205B1 (ko) * 2021-07-21 2022-02-15 주식회사 코봇 스마트 물류 시스템용 자율 이동 로봇
KR102333971B1 (ko) * 2021-09-28 2021-12-03 이현 바코드 자동 스캔을 이용한 상품 계산 장치

Also Published As

Publication number Publication date
KR20240038932A (ko) 2024-03-26

Similar Documents

Publication Publication Date Title
Wankhede et al. Just walk-out technology and its challenges: A case of Amazon Go
KR102477544B1 (ko) 상품의 바코드 위치에 대응하여 상품 파지를 통한 자동 상품 계산 장치
CN109190705A (zh) 无人售货方法、装置及系统
CN109345260A (zh) 一种欺诈检测模型训练方法和装置及欺诈检测方法和装置
CN109070365A (zh) 物体操作装置及物体操作方法
KR20210040415A (ko) 물체 분류 방법 및 디바이스
WO2020190695A1 (en) Tracking rfid groups with spatio-temporal proximity
US11526871B2 (en) Cart robot
AU2019100428A4 (en) An intelligent in-store shopping platform for customers and retailers. With this, customers can select, scan, and pay for the products via smartphones and check-out of the store with minimal human intervention. The system uses hi-end technologies such as artificial intelligence for anti-shoplifting, automated decision making, Computer Vision, weighing techniques, electronic circuitry and RFID. The framework uses intricate IoT (Internet of Things) technology and self-learning algorithms, big data analytics, customer engagement and pattern analysis using data extraction and knowledge mining.
CN110097715A (zh) 商品管理服务器、自动收银系统及商品管理方法
KR102447549B1 (ko) Nft 기반 아트워크와 연계된 쥬얼리 거래 서비스 제공 방법, 장치 및 시스템
CN109190706A (zh) 无人售货方法、装置及系统
CN108805644A (zh) 贩售机的商品售卖方法以及贩售机
Cheng et al. Mixed traffic trajectory prediction using lstm–based models in shared space
CN112215167A (zh) 一种基于图像识别的智能商店控制方法和系统
KR102636634B1 (ko) 복수의 로봇암부를 이용한 상품 계산 로봇 장치
KR102623905B1 (ko) 상품 코드 판독을 이용한 상품 계산 로봇 장치
KR102541147B1 (ko) 블록체인 기반 매출채권 거래 플랫폼 서비스 제공 방법, 장치 및 시스템
KR102470154B1 (ko) 블록체인 기반 의료기기 거래 및 공유 플랫폼 서비스 제공 방법, 장치 및 시스템
CN106157045A (zh) 基于物流数据识别虚假交易的方法、装置及服务器
CN110188695A (zh) 购物动作决策方法及装置
WO2020175611A1 (ja) ゲート装置、ゲート装置の制御方法、及びプログラム
Singhi et al. Smart Shopping System for Billing Automation
KR102456400B1 (ko) 도소매 전자상거래를 위한 멀티 플랫폼 서비스 제공 방법, 장치 및 시스템
KR102532533B1 (ko) 클라우드 기반 배달 대행 정보 처리 관제 서비스 제공 방법, 장치 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant