KR20210033214A - 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법 - Google Patents

이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법 Download PDF

Info

Publication number
KR20210033214A
KR20210033214A KR1020190114672A KR20190114672A KR20210033214A KR 20210033214 A KR20210033214 A KR 20210033214A KR 1020190114672 A KR1020190114672 A KR 1020190114672A KR 20190114672 A KR20190114672 A KR 20190114672A KR 20210033214 A KR20210033214 A KR 20210033214A
Authority
KR
South Korea
Prior art keywords
food
customer
beverage
transfer robot
unit
Prior art date
Application number
KR1020190114672A
Other languages
English (en)
Other versions
KR102315615B1 (ko
Inventor
황성재
Original Assignee
주식회사 라운지랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라운지랩 filed Critical 주식회사 라운지랩
Priority to KR1020190114672A priority Critical patent/KR102315615B1/ko
Priority to PCT/KR2020/011022 priority patent/WO2021054622A1/ko
Priority to CN202080007645.1A priority patent/CN113287119B/zh
Publication of KR20210033214A publication Critical patent/KR20210033214A/ko
Priority to US17/370,112 priority patent/US20210342573A1/en
Application granted granted Critical
Publication of KR102315615B1 publication Critical patent/KR102315615B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0045—Manipulators used in the food industry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법이 개시된다. 본 발명의 일 실시예에 따르면, 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템에 있어서, 미리 정해진 영역의 이미지를 획득하는 복수의 카메라를 포함하는 이미지 획득부, 이미지 획득부가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리하는 처리부, 및 처리부의 제어 명령에 따라 상기 고객의 주문 정보를 획득하고, 주문된 식음료의 이송을 수행하는 이송 로봇을 포함한다.

Description

이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법{In-store food and beverage transport and collection system using image recognition and transport and collection method using the same}
본 발명은 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법에 관한 것으로, 보다 구체적으로는, 복수의 카메라를 이용하여 고객을 인식하고, 각 고객이 점유하는 테이블을 탐지하여, 이송 로봇을 이용해 해당 테이블에서 고객의 주문과 식음료를 서빙하는 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법에 관한 것이다.
로봇 기술이 발전함에 따라 무인 로봇이 음료나 요리 등을 제조하고 이를 이송시키는 기술이 개발되고 있다. 예를 들어, 커피 제조의 경우 생두부터 로스팅, 블랜딩, 그라인딩, 에스프레소 추출까지 자동으로 진행되고, 제조된 커피를 컵에 담아 원하는 위치에 이동시킬 수 있는 로봇이 개발되고 있다. 이러한 로봇을 이용하여, 식당, 레스토랑, 카페와 같은 매장에서 로봇이 주문한 음식을 이송하고, 취식이 완료된 식기를 수거하는 무인 서빙 서비스 기술의 전망이 대두되고 있다.
종래에 공개된 한국등록특허 10-1204418호를 참조하면, 음식이나 술을 판매하기 위한 각종 음식점에서 소비자가 식탁 위에 설치된 전자메뉴판을 통해 주문한 음식을 로봇이 로봇이동통로를 따라 식탁까지 배달할 수 있는 음식점에서 음식을 로봇으로 배달하는 시스템이 개시된 바 있으며, 한국등록특허 10-1759091호를 참조하면, 음식물 진열대에 배치된 음식물과 음료를 이송 로봇이 픽업 진열대까지 이송하는 시스템이 개시된 바 있다.
그러나 한국등록특허 10-1204418호는 테이블에 따라 주문 정보를 식별하여 로봇이 음식을 이송하므로, 주문을 수신하고, 음식물을 이송하는 과정에서 고객 정보가 배제되는 문제점이 있다. 고객 정보와 주문 정보를 결합하기 위해서는, 고객이 테이블의 전자 주문판에서 로그인을 하거나, 매장측에서 메뉴얼하게 일일이 정보를 결합하는 작업을 해야하는 문제점이 발생한다. 또한, 고객의 식사 완료에 따른 식기 수거는 오로지 사람이 해야하므로, 무인 서빙의 서비스를 완전히 구현하지 못하고 있다.
한국등록특허 10-1759091호의 경우, 무인 매장의 바람직한 실시예를 구현하였지만, 고객이 직접 픽업 진열대까지 가서 음식물을 가져와야 되는 문제점이 있다. 이 역시, 고객 셀프 서빙 서비스이므로 무인 서빙 서비스를 완전히 구현하지 못하고 있다고 할 수 있다.
KR 10-1204418 B1 (2012. 11. 19.) KR 10-1759091 B1 (2017. 07. 12.)
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 매장 내 전경 이미지를 획득하여, 매장 내의 상황에 대해 자동으로 판단하여 고객에 대응할 수 있는 매장 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 고객의 편의성 향상을 위해, 고객이 매장의 주문대에서 주문하고, 식음료를 픽업하는 불편함을 제거하는 매장 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 고객의 식사 및 식음 종료를 자동으로 인식하여, 식음료에 대하여 무료 리필 또는 추가 주문을 고객 요청없이 자동으로 제공하는 것이다.
또한, 본 발명의 목적은, 고객의 식사가 종료되면, 고객의 식기를 자동으로 수거할 수 있도록 하는 것이다.
본 발명의 일 실시예에 따르면, 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템에 있어서, 미리 정해진 영역의 이미지를 획득하는 복수의 카메라를 포함하는 이미지 획득부; 상기 이미지 획득부가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리하는 처리부; 및 상기 처리부의 제어 명령에 따라 상기 고객의 주문 정보를 획득하고, 상기 주문된 식음료의 이송을 수행하는 이송 로봇을 포함하는 매장 내 식음료 이송 및 수거 시스템을 제공할 수 있다.
여기서 상기 처리부는 상기 이미지 획득부가 획득한 고객의 얼굴 이미지를 분석하고 상기 고객을 식별하는 고객 인식부; 및 상기 고객 인식부가 식별한 고객을 상기 이미지 획득부가 획득한 이미지를 이용하여 추적하는 객체 추적부를 포함할 수 있다.
또한, 상기 처리부는 상기 고객의 얼굴 이미지와 상기 고객의 주문 정보를 매칭시키도록 구성된 주문 정보 매칭부를 더 포함할 수 있다.
또한, 상기 처리부는 상기 이미지 획득부가 획득한 이미지를 이용하여 상기 고객이 점유한 테이블 정보를 획득하기 위한 객체 추적부를 더 포함할 수 있다.
여기서, 상기 객체 추적부는 상기 고객이 테이블에 머무르는 시간이 미리 결정된 기준 이상인 경우에 상기 고객이 상기 테이블을 점유한 것으로 판단할 수 있다,
그리고 상기 처리부는 상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객의 주문 정보를 획득하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함할 수 있다.
또한, 상기 처리부는 상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객이 주문한 식음료를 이송하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함할 수 있다.
또한, 상기 처리부는 상기 이미지 획득부가 획득한 식음료의 이미지를 기초로 상기 고객의 식음 종료를 판단하도록 구성된 식음 종료 판단부; 및 상기 이송 로봇이 상기 식음 종료 판단부가 식음 종료로 판단한 테이블로 식기를 수거하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함할 수 있다.
여기서, 상기 식음 종료 판단부는 식사 시간, 남은 내용물의 양, 식 행위의 빈도, 식기가 놓인 형태, 상기 고객의 수거 요청 중 적어도 하나에 기초하여 상기 고객의 식음 종료를 판단할 수 있다.
또한, 상기 식음 종료 판단부는 식음 종료로 판단한 테이블의 미리 결정된 영역 내에 식기 도구의 배치 여부를 판단하고, 상기 이송 로봇 제어부는 상기 이송 로봇이 상기 미리 결정된 영역 내에 배치된 식기 도구를 수거하도록 제어 명령을 생성할 수 있다.
또한, 상기 이송 로봇 제어부는 상기 이송 로봇이 추가 주문을 받도록 상기 식음 종료로 판단한 테이블로 이동하도록 제어 명령을 생성할 수 있다.
그리고 상기 처리부는 식음 종료의 대상이 무료 리필이 가능한 대상인지 여부를 판단하도록 구성된 식음 종료 판단부 및 상기 식음 종료 판단부가 상기 식음 종료의 대상이 무료 리필이 가능한 것으로 판단한 경우, 상기 이송 로봇이 식음 종료된 대상을 이송하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함할 수 있다.
또한, 상기 처리부는 식음 종료의 대상이 유료 주문이 필요한 대상인지 여부를 판단하도록 구성된 식음 종료 판단부 및 상기 식음 종료 판단부가 상기 식음 종료의 대상이 유료 주문이 필요한 대상인 경우 이송 로봇이 추가 주문을 받을 수 있도록 상기 식음 종료로 판단한 테이블로 이동하는 제어 명령을 생성하는 이송 로봇 제어부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 방법에 있어서, 복수의 카메라를 포함하는 이미지 획득부가 미리 정해진 영역의 이미지를 획득하는 복수의 카메라를 포함하는 이미지 획득 단계; 처리부가 상기 이미지 획득부가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리하는 처리 단계; 및 이송 로봇이 상기 처리부의 제어 명령에 따라 상기 고객의 주문 정보를 획득하고, 상기 주문된 식음료의 이송을 수행하는 이송 단계를 포함하는 매장 내 식음료 이송 및 수거 방법을 제공할 수 있다.
여기서, 상기 처리 단계는 고객 인식부가 상기 이미지 획득부가 획득한 고객의 얼굴 이미지를 분석하고 상기 고객을 식별하는 고객 인식 단계; 및 객체 추적부가 상기 고객 인식부에 의해 식별된 고객을 상기 이미지 획득부가 획득한 이미지를 이용하여 추적하는 객체 추적 단계를 포함할 수 있다.
또한, 상기 처리 단계는 주문 정보 매칭부가 상기 고객의 얼굴 이미지와 상기 고객의 주문 정보를 매칭시키도록 구성된 주문 정보 매칭 단계를 더 포함할 수 있다.
또한, 상기 처리 단계는 객체 추적부가 상기 이미지 획득부에 의해 획득된 이미지를 이용하여 상기 고객이 점유한 테이블 정보를 획득하는 객체 추적 단계를 더 포함할 수 있다.
여기서, 상기 객체 추적 단계는 상기 객체 추적부가 상기 고객이 테이블에 머무르는 시간이 미리 결정된 기준 이상인 경우에 상기 고객이 상기 테이블을 점유한 것으로 판단할 수 있다.
그리고 상기 처리 단계는 상기 처리부가 상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객의 주문 정보를 획득하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함할 수 있다.
또한, 상기 처리 단계는 상기 처리부가 상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객이 주문한 식음료를 이송하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함할 수 있다.
또한, 상기 처리 단계는 식음 종료 판단부가 상기 이미지 획득부에 의해 획득된 식음료의 이미지를 기초로 상기 고객의 식음 종료를 판단하는 식음 종료 판단 단계; 및 상기 이송 로봇 제어부가 상기 이송 로봇이 식음 종료 판단 단계에서 식음 종료로 판단된 테이블로 식기를 수거하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함할 수 있다.
여기서, 상기 식음 종료 판단 단계는 상기 식음 종료 판단부가 식사 시간, 남은 내용물의 양, 식 행위의 빈도, 식기가 놓인 형태, 상기 고객의 수거 요청 중 적어도 하나에 기초하여 상기 고객의 식음 종료를 판단할 수 있다.
또한, 상기 식음 종료 판단 단계는 상기 식음 종료 판단부가 식음 종료로 판단한 테이블의 미리 결정된 영역 내의 식기 도구의 배치 여부를 판단하고, 상기 이송 로봇 제어 단계는 상기 이송 로봇 제어부가 상기 이송 로봇이 상기 미리 결정된 영역 내에 배치된 식기 도구를 수거하도록 제어 명령을 생성할 수 있다.
여기서 상기 이송 로봇 제어 단계는 상기 이송 로봇 제어부가 상기 이송 로봇이 추가 주문을 받도록 상기 식음 종료로 판단한 테이블로 이동하도록 제어 명령을 생성할 수 있다.
또한, 상기 처리 단계는 식음 종료 판단부가 식음 종료의 대상이 무료 리필이 가능한 대상인지 여부를 판단하는 식음 종료 판단 단계 및 상기 식음 종료 판단 단계에서 상기 식음 종료의 대상이 무료 리필이 가능한 것으로 판단한 경우, 이송 로봇 제어부가 상기 이송 로봇이 식음 종료된 대상을 이송하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함할 수 있다.
또한, 상기 처리 단계는 식음 종료 판단부가 식음 종료의 대상이 유료 주문이 필요한 대상인지 여부를 판단하는 식음 종료 판단 단계 및 상기 식음 종료 판단 단계에서 상기 식음 종료의 대상이 유료 주문이 필요한 대상인 경우. 이송 로봇 제어부가 상기 이송 로봇이 추가 주문을 받을 수 있도록 상기 식음 종료로 판단한 테이블로 이동하는 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 매장 내 식음료 이송 및 수거 시스템과 이송 및 수거 방법은, 매장 내 전경 이미지를 획득하여, 매장 내의 상황에 대해 자동으로 판단하여 고객에 대응할 수 있다.
또한, 고객이 직접 매장의 주문대로 이동하여 주문하고, 식음료를 픽업하는 불편함을 제거하여 고객의 편의성을 향상할 수 있다.
또한, 본 발명의 목적은 고객의 식사 및 식음 종료를 자동으로 인식하여, 식음료에 대하여 무료 리필 또는 추가 주문을 고객 요청없이 자동으로 제공할 수 있다.
또한, 본 발명의 목적은, 고객의 식사가 종료되면, 고객의 식기를 자동으로 수거할 수 있다.
도 1은 본 발명의 일 실시예에 따른 매장 내 식음료 이송 및 수거 시스템의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이송 로봇의 개략적인 외형을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 고객이 매장에 입장하고, 주문과 식사 그리고 이송 로봇이 식음료를 이송과 수거를 하는 모습을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 식음 종료 판단부가 판단하는 식기가 놓인 형태의 종류를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 테이블의 식기 수거 영역을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 매장 내 식음료 이송 및 수거 방법의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 분석을 이용하여 매장 내에서 고객을 식별 및 추적하는 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 이송 로봇을 이용하여 테이블에 주문한 식음료를 서빙하는 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예가 상세하게 설명된다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명의 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략되었다.
본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도로 사용된 것이 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 명세서에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 이하의 실시예들은 당 업계에서 평균적인 지식을 가진 자에게 보다 명확하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시예에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 매장 내 식음료 이송 및 수거 시스템의 개략적인 블록도이다.
도 1을 참조하여 설명하면, 이미식 인식을 이용한 매장 내 식음료 이송 및 수거 시스템(10)은, 이미지 획득부(100), 처리부(200) 및 이송 로봇(300)을 포함할 수 있다. 이미지 획득부(100)은 제1 카메라(110), 제2 카메라(120), ..., 제n 카메라가 포함되는 복수의 카메라가 포함될 수 있으며, 미리 정해진 영역의 이미지를 획득할 수 있다. 여기서, 미리 정해진 영역은 매장내 영역을 의미할 수 있으며, 매장 외부의 영역도 이미지 획득부(100)을 통해 이미지를 획득하는 영역이라면, 미리 정해진 영역일 수 있다. 즉, 미리 정해진 영역은 이미지 획득부(100)을 통해 이미지를 획득되는 영역일 수 있다.
처리부(200)는 이미지 획득부(100)가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리를 실행하도록 구성될 수 있다. 본 발명의 일 실시예에서, 처리부(200)는 고객 인식부(210), 객체 추적부(220), 주문 정보 매칭부(230), 이송 로봇 제어부(240) 또는 식음 종료 판단부(250) 중 적어도 하나이상 포함될 수 있다. 또한, 처리부(200)는 중앙 처리 장치(CPU), 어플리케이션 프로세서(AP) 등으로 구현될 수 있으며, 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있는 메모리를 내부에 포함하거나, 필요한 경우 외부 메모리와 통신하여 필요한 정보에 액세스하여 제어 명령을 생성, 처리 또는 실행할 수 있다.
고객 인식부(210)는 이미지 획득부(100)가 획득한 고객의 얼굴 이미지를 분석하고 고객을 식별할 수 있다. 고객 인식부(210)는 이미지 획득부(100)에서 획득하는 이미지를 분석하여, 고객의 이미지가 나타나면 고객의 이미지 중 얼굴 부위를 추적하여 객체화할 수 있다. 그 후, 객체화된 얼굴이 이전에 등록되어 관리되던 고객인지 아닌지 판별하고, 이전에 등록된 고객이면 해당 고객으로 인식하고, 이전에 등록된 고객이 아니면 새로운 고객 정보를 생성하여 하나의 고객의 식별 정보로 취급하도록 할 수 있다. 이미지 상에 나타나는 고객의 얼굴로 식별하므로, 매장측에서 수동으로 고객 계정을 조회하거나 관리할 필요가 없어질 수 있다.
또한, 고객 인식부(210)는 고객의 얼굴 이미지뿐 아니라, 고객의 옷 형태, 색상, 고객의 헤어스타일 또는 피부색과 같은 고객의 특징점을 이용하여, 해당 고객을 객체화할 수 있다.
객체 추적부(220)는 고객 인식부(210)가 식별한 고객을 이미지 획득부(100)가 획득한 이미지를 이용하여 추적할 수 있다. 객체 추적부(220)는 이미지 획득부(100)에서 획득하는 영상을 분석하여, 객체화된 고객의 얼굴을 해당 이미지 속에서 추적할 수 있다. 여기서 이미지는 이미지 획득부(100)에 포함된 제1 카메라(110), 제2 카메라(120), ..., 제n 카메라에서 획득되는 모든 이미지일 수 있다. 또한, 이미지는 정지 이미지 또는 연속된 이미지, 즉, 영상도 포함할 수 있다. 매장의 구조는 RGB-D(RGB-Depth)카메라 기반 SLAM(Simultaneous Localization And Mapping), 3D 라이다 기반 SLAM, 레이다 기반 SLAM 또는 관성센서/카메라/라이다/레이다 통합 3D SLAM을 이용하여 3차원 공간정보가 구축될 수 있고, 객체 추적부(220)는 3차원 공간정보를 이용하여, 추적하는 고객의 위치를 실시간으로 파악할 수 있다. 예컨대, 매장의 3차원 공간정보는 매장 내 테이블의 공간정보도 포함할 수 있으며, 이를 이용해 고객이 테이블로 이동하거나 테이블을 떠나는 상황을 판단할 수 있다. 이러한 판단은 고객의 이미지에서 획득하고 매장의 3차원 공간정보를 결합하여 분석해 도출하는 고객의 실시간 위치 정보와 테이블의 공간 정보로 객체 추적부(220)가 수행하는 것일 수 있다. 고객의 얼굴 이미지를 식별하여 매장 내 고객의 실시간 위치를 추적하므로 해당 고객의 동선을 파악할 수 있다. 또한, 객체 추적부(220)는 전술한 것과 같이 고객의 특징점, 즉, 고객의 옷 형태, 색상, 고객의 헤어스타일 또는 피부색을 이용하여, 해당 고객을 추적할 수 있다.
또한, 객체 추적부(220)는 고객의 테이블 점유 여부를 판단할 수 있다. 테이블 주변 소정의 공간에, 예를 들어 테이블과 테이블을 중심으로 약 1m의 반경을 가진 공간, 고객의 실시간 위치가 미리 정해진 일정 시간 이상 지속적으로 관측되면 해당 테이블을 고객이 점유한 것으로 판단하거나 간주할 수 있다. 고객이 점유하는 테이블을 이미지를 통해 자동으로 판단할 수 있으므로, 종래에 무인 매장에서 자주 등장하는 테이블에서의 주문 장치를 제거할 수 있다. 또한 고객 입장에서도 매장 측에서 고객의 동선을 파악하여 점유한 테이블을 인식하므로 자신이 앉은 테이블을 매장 측에 인지시킬 필요가 없어질 수 있다.
이와 같은 방식으로 객체 추적부(220)는 고객의 테이블 이탈 여부도 판단할 수 있다. 예컨대, 테이블을 중심으로 한 테이블의 공간에서 고객의 실시간 위치가 미리 정해진 일정 시간 이상 지속적으로 벗어나 있으면, 객체 추적부(220)는 해당 고객이 해당 테이블을 이탈했다고 판단하고, 해당 고객이 해당 테이블을 비점유하고 있는 것으로 판단할 수 있다. 이 경우, 어느 테이블을 점유하고 있는 고객이 잠시 동안 해당 테이블을 비워도 일정 시간 이내에 다시 해당 테이블로 돌아오면, 고객의 테이블 점유 상태는 해제되지 않을 수 있다.
여기서 점유 여부 판단 시 이용되는 기준 시간과 이탈 여부 판단 시 이용되는 기준 시간은 고객의 행동 패턴과 통계값에 기초하여 시스템 관리자가 설정하거나, 설정될 수 있다.
주문 정보 매칭부(230)는 고객의 얼굴 이미지와 고객의 주문 정보를 매칭시키도록 구성될 수 있다. 고객 인식부(210)가 고객의 이미지로 고객의 얼굴을 인식하여 고객 정보를 새롭게 생성(기존 고객 정보가 없는 경우)하거나 고객 정보를 불러올(기존 고객 정보가 등록되어 있는 경우) 수 있으며, 해당 고객이 주문한 주문 정보는 주문 정보 매칭부(230)가 해당 고객 정보에 할당하여 관리할 수 있다. 또한, 주문 정보 매칭부(230)는 객체 추적부(220)가 고객이 점유한 테이블을 판단한 경우, 해당 테이블의 정보와 고객의 주문 정보를 매칭할 수 있다. 예컨대, 테이블 식별 번호, 테이블의 매장 내 위치를 주문 정보와 매칭하여, 이송 로봇(300)이 해당 주문의 식음료를 이송할 때, 테이블의 위치를 이용할 수 있다.
이송 로봇 제어부(240)는 이송 로봇(300)을 제어하는 명령 신호를 생성하거나 이송 로봇(300)가 그 명령에 따라 수행하도록 하도록 이송 로봇(300)에 전송할 수 있다. 이송 로봇 제어부(240)는 객체 추적부(220)가 고객이 점유한 것으로 판단한 테이블로 이송 로봇(300)가 이동하고, 테이블에 위치한 고객의 주문을 받도록 하는 명령을 생성할 수 있다. 또한, 이송 로봇 제어부(240)는 해당 테이블로 주문한 식음료를 이송하도록 명령 신호를 생성할 수 있다. 이송 로봇(300)이 고객이 앉은 테이블 정보를 처리부(200)로부터 수신하여 이송하므로, 고객이 매장의 픽업대로 음식 및 음료를 가지러 올 필요가 없으므로 고객의 편의성이 향상될 수 있다. 또한, 매장 측에서도 매장 내에서 서빙하는 직원을 줄일 수 있어 매장 운영 비용을 절약할 수 있다.
식음 종료 판단부(250)는 이미지 획득부(100)가 획득한 이미지를 기초로 고객의 식음 종료를 판단할 수 있다. 여기서, 식음 종료 판단부(250)은 고객의 식사 행위의 지속 시간, 고객이 주문한 식음료의 남은 내용물의 양, 고객의 식 행위를 수행하는 빈도, 식 행위가 이뤄지는 테이블에 놓인 식기의 형태 중 적어도 하나 이상을 종합하여 판단할 수 있다. 또는, 식음 종료 판단부(250)은 고객의 수거 요청이 발생하면 고객의 식음이 종료했다고 판단할 수 있다.
또한, 식음 종료 판단부(250)은 고객의 해당 테이블의 미리 지정된 일부 영역에 식기 도구의 배치 여부를 판단하고, 이를 기초로 식음 종료를 판단할 수 있다. 예컨대, 식음 종료 판단부(250)은 테이블에 마련된 센서를 통해 미리 지정된 영역내의 식기 도구의 배치 여부를 감지하여 식음 종료를 판단할 수 있거나, 이미지 획득부(100)이 획득한 테이블의 이미지 분석을 통해 테이블의 해당 영역에 식기 도구 배치 여부를 판단하여 식음 종료를 판단할 수 있다.
또한, 식음 종료 판단부(250)은 테이블의 식음 종료의 대상이 무료 리필이 가능한 대상인지, 유료 주문이 필요한 대상인지의 여부를 판단할 수 있다. 여기서, 식음 종료의 대상은 테이블에 위치하고 고객이 식음 또는 식사하는 개별의 음료 또는 조리물, 물일 수 있다. 예컨대, 해당 테이블에서 고객이 조리된 음식은 식사 중이지만 물을 다 마신 상황이라면, 이 상황에서 식음 종료의 대상은 조리된 음식, 물일 수 있다. 이 상황에서 식음 종료 판단부(250)은 조리된 음식은 아직 식사 중이므로, 식음 종료가 되었다고 판단하지 않으며, 물은 식음 종료가 되었다고 판단할 수 있다. 여기서, 식음 종료 판단부(250)은 이미지 획득부(100)에서 지속적으로 획득하는 고객과 그 주변의 이미지를 이용하여, 해당 이미지에서 식음료의 이미지를 객체화하여, 해당 식음료의 객체 이미지에 따라 미리 설정된 유무료 식음료 기준을 기초로 판단할 수 있다.
이송 로봇 제어부(240)는 식음 종료 판단부(250)의 판단 결과에 따라 이송 로봇(300)의 더 제어 명령을 생성할 수 있다. 식음 종료 판단부(250)이 식음 종료로 판단한 테이블로 식기를 수거하도록 제어 명령을 생성하거나, 고객의 추가 주문을 받기 위해 식음 종료로 판단한 테이블로 이송 로봇(300)가 이동하는 제어 명령을 생성할 수도 있다. 또한, 식음 종료 판단부(250)이 식음 종료의 대상이 무료 리필이 가능한 식음료로 판단한 경우, 해당 식음 종료된 대상을 무료 리필을 수행하도록 제어 명령을 생성할 수 있거나, 식음 종료의 대상이 유료 주문이 필요한 경우, 고객에게 추가 주문을 받을 수 있도록 이송 로봇(300)을 해당 테이블로 이동하는 제어 명령을 생성할 수도 있다. 예컨대, 전술한 상황에서 식음 종료의 대상 중 물인 경우, 무료 리필이 가능한 대상이므로 물이 식음 종료되었다고 판단하는 즉시, 이송 로봇 제어부(240)가 이송 로봇(300)을 물을 이송하도록 해당 테이블로 이동하는 제어 명령을 생성할 수 있다.
매장 내에서 직원이 직접 테이블의 상황을 판단하고 서빙하는 것이 아니므로, 테이블의 식사 과정 또는 완료 과정에서의 고객의 요구 사항에 대한 대응이 어려울 수 있으나, 해당 상황을 이미지 분석을 통한 상황 판단을 수행하게 하여 이송 로봇(300)이 이에 대응할 수 있어 고객의 불편함을 덜 수 있고 고객의 추가 주문을 자연스럽게 유도할 수 있다.
이송 로봇(300)는 처리부(200)의 이송 로봇 제어부(240)의 제어 명령을 수신하여, 수신한 제어 명령을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 이송 로봇의 개략적인 외형을 나타낸 도면이다.
도 1 및 도 2를 참조하여 설명하면, 이송 로봇(300)는 이송 플레이트(310), 수거 플레이트(320), 통신부(330), 제어부(340), 센서부(350) 및 디스플레이(360)를 포함할 수 있다.
이송 플레이트(310)는 고객이 주문한 식음료가 위치할 수 있다. 일 실시예에서는, 고객이 손쉽게 주문한 식음료를 가져갈 수 있도록 이송 로봇(300)의 최상단에 위치할 수 있다. 이송 플레이트(310)의 하단부에는 수거 플레이트(320)가 마련될 수 있다. 수거 플레이트(320)은 다른 고객이 식사 또는 식음 후의 식기를 수거하기 위한 플레이트로 잔반과 같이 타 고객의 식사 또는 식음에 불편을 야기할 수 있으므로, 이송 로봇(300)의 타 부위에 가려 외부에 보이지 않도록 이송 로봇(300)의 중단에 마련될 수 있다. 또한, 이송 로봇(300)는 수거 플레이트(320)이 외부에 보이지 않도록 차단막(미도시)이 마련될 수 있고, 차단막은 수거 플레이트(320)를 가리도록 조작될 수 있다.
이송 로봇(300)는 통신부(330)를 통해 이송 로봇 제어부(240)의 제어 명령을 수신할 수 있다. 통신부(330)는 처리부(200)가 포함된 서버 또는 장치로부터 필요한 정보 또는 제어 명령 신호를 수신하거나 획득한 정보를 처리부(200)가 포함된 서버 또는 장치로 송신하도록 구성되며, 여기서, 네트워크는 유선 또는 무선으로 연결되는 네트워크일 수 있다. 또한, 네트워크는 처리부(200)가 포함된 서버 또는 장치와 이송 로봇(300)이 직접 연결된 네트워크일 수 있으며, 중계기가 생성한 사설 네트워크일 수도 있다. 그리고 네트워크는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간망인 통신망일 수 있으며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선망일 수 있다. 네트워크가 무선 통신망일 경우, 셀룰러 통신 또는 근거리 통신을 포함할 수 있다. 예컨대, 셀룰러 통신은 LTE(Long-Term Evolution), LTE-A(LTE Advanced), 5G(5th Generation), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), UMTS(Universal Mobile Telecommunications System), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 포함할 수 있다. 또한, 근거리 통신은 Wi-Fi(Wireless Fidelity), 블루투스(Bluetooth), 지그비(Zigbee) 또는 NFC(Near Field Communication) 등 적어도 하나를 포함할 수 있다. 그러나, 통신 방법은 이에 한정되는 것은 아니며 차후 개발되는 무선 통신의 기술도 포함될 수 있다.
제어부(340)는 통신부(330)로 수신한 이송 로봇 제어부(240)의 제어 명령을 수행하도록 이송 로봇(300) 이동 및 동작 제어를 처리하거나 이송 및 수거를 위한 이동을 수행하는 도중 발생하는 상황에 따른 위험도 판단, 위험도 판단에 기초한 이송 로봇(300)의 움직임 제어, 영상 처리 및 인식 동작과 관련된 각종 처리를 실행하도록 구성된다. 예컨대, 제어부(340)는 중앙 처리 장치(CPU), 어플리케이션 프로세서(AP) 등을 포함할 수 있으며, 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있는 메모리를 내부에 포함하거나 필요한 경우 외부 메모리와 통신하여 필요한 정보에 액세스할 수 있다.
센서부(350)는 이송 로봇(300)이 이송 및 수거 동작을 문제 없이 수행할 수 있도록 이송 로봇(300)의 주변 정보를 수집하도록 구성될 수 있다. 센서부(350)는 영상 센서, 무게 센서 또는 광감지 센서가 적어도 하나 이상 포함할 수 있다. 영상 센서는 예컨대, 투과형 광흡수변조기(EAM; Electro Absorption Modulator) 기반 TOF(Time Of Flight) 3차원 영상 센서일 수 있으나, 이에 제한되지 않는다. 영상 센서는 이송 로봇(300)의 주변부를 탐지하여, 이송 로봇(300)의 이동 시, 장애물을 효과적으로 회피할 수 있도록 할 수 있다. 무게 센서는 이송 플레이트(310) 또는 수거 플레이트(320)에 마련되어, 각 플레이트가 비어 있는지 식음료 또는 식기가 탑재되어 있는지 감지할 수 있다. 광감지 센서도 장애물 회피를 위한 센서로, MEMS 스캐너가 적용된 LiDAR(Light Detection And Ranging)일 수 있다. 일반적인 LiDAR 기술은 큰 전기모터로 직류 구동을 이용하여 스캐닝을 하므로 부피, 무게, 전력 소모량이 커서 이송 로봇(300)의 탑재에는 적합하지 않으나, MEMS 스캐너는 초소형 스캐너로 부피, 무게, 전력 소모를 크게 줄일 수 있어, 이송 로봇(300)에 적합할 수 있다. 이송 로봇(300)의 장애물 회피는 3차원 영상 센서와 LiDAR의 감지 신호를 융합하여 회피 알고리즘이 작동되므로, 다양한 충돌 변수를 갖고 있는 매장 내 환경에 적절할 수 있다.
디스플레이(360)는 고객이 주문을 할 수 있도록 매장의 메뉴를 고객에게 보여주거나, 고객의 입력을 통해 주문을 받도록 할 수 있다. 이를 위해, 디스플레이(360)는 터치 입력을 받을 수 있는 디스플레이일 수 있다.
도 3은 본 발명의 일 실시예에 따른 고객이 매장에 입장하고, 주문과 식사 그리고 이송 로봇이 식음료를 이송과 수거를 하는 모습을 개략적으로 나타낸 도면이다.
도 3을 참조하면, 매장에는 이미지 획득부(100), 즉, 제1 카메라(110), 제2 카메라(120), 제3 카메라(130) 등 복수의 카메라가 곳곳에 설치될 수 있다. 고객(C)이 이미지 획득부(100)의 이미지 시야로 들어오면, 고객 인식부(210)가 획득한 이미지에서 고객(C)의 얼굴 이미지를 분석하여, 고객(C)을 식별할 수 있다. 고객(C)이 식별되면, 객체 추적부(220)가 지속적으로 고객(C)을 추적할 수 있다. 또한, 객체 추적부(220)는 미리 구축된 매장의 3차원 공간정보를 이용하여 추적하는 고객(C)의 매장 내 위치를 실시간으로 파악할 수 있다.
여기서, 매장 내에 마련된 복수의 테이블(T)은 각각 독립적인 인식 영역(Z)을 가질 수 있다. 인식 영역(Z)은 객체 추적부(220)가 고객의 테이블 점유를 판단하는 기준 영역일 수 있다.예컨대, 고객(C)이 매장 내 어느 하나의 테이블(T)에 접근하고, 테이블(T)을 점유할 수 있다. 이때, 객체 추적부(220)는 고객(C)이 어느 하나의 테이블(T)의 인식 영역(Z)에 진입하고, 퇴장하기까지의 시간을 측정할 수 있다. 이 시간이 미리 정해진 기준 시간을 초과하면, 객체 추적부(220)는 고객(C)이 테이블(T)을 점유한 것으로 판단할 수 있다. 기준 시간은 설정하기에 따라 달라질 수 있다. 객체 추적부(220)가 고객(C)이 테이블(T)을 점유한 것으로 판단하면, 이송 로봇 제어부(240)가 이송 로봇(300)에게 제어 명령을 생성하여 전송하고, 이송 로봇(300)이 테이블(T)로 고객(C)에게 주문을 받기 위해 접근할 수 있다. 고객(C)은 접근한 이송 로봇(300)의 디스플레이(360)를 통해 식음료를 주문할 수 있으며, 이송 로봇(300)이 디스플레이(360)를 통해 받은 주문 정보는 이송 로봇(300)의 통신부(330)를 통해 처리부(200)로 전송될 수 있다. 처리부(200)의 주문 정보 매칭부(230)는 고객(C)의 식별된 얼굴 이미지와 전송된 주문 정보를 매칭하여 관리할 수 있다.
이송 로봇 제어부(240)는 이송 로봇(300)의 이송 플레이트(310)에 제조 또는 조리가 완료된 식음료가 얹혀지면, 고객(C)이 점유하고 있는 테이블(T)로 고객(C)이 주문한 식음료를 이송하도록 제어 명령을 생성하여, 이송 로봇(300)에 전송할 수 있다. 전송된 제어 명령에 따라 이송 로봇(300)는 테이블(T)로 이동할 수 있고, 고객(C)은 이송 플레이트(310)에 있는 식음료를 수령할 수 있다.
고객(C)이 식사 또는 음료를 마시는 동안, 이미지 획득부(100)는 지속적으로 테이블(T)의 이미지를 획득할 수 있다. 이미지 획득부(100)의 카메라는 테이블(T)의 천장에도 설치되어, 테이블(T)의 인식 영역(Z)의 이미지를 지속적으로 획득할 수 있다. 식음 종료 판단부(250)는 이미지 획득부(100)가 획득한 식사 또는 식음이 진행되는 테이블(T)의 식음료의 이미지를 기초로 식음 종료의 대상의 식음 종료를 판단할 수 있다. 여기서, 식음료의 이미지는 식음료의 남은 내용물의 양, 고객(C)의 식행위 빈도, 테이블(T)상에 식기가 놓인 형태 중 하나일 수 있다. 식음 종료 판단부(250)은 이외에 고객(C)의 식사 시간 또는 고객(C)의 수거 요청에 의해서도 고객(C)의 식음 종료를 판단할 수 있다. 식음 종료 판단부(250)이 고객(C)의 식음이 종료되었다고 판단하면, 이송 로봇 제어부(240)는 이송 로봇(300)가 테이블(T)로 이동하여, 식기를 수거하도록 제어 명령을 생성할 수 있으며, 이송 로봇(300)는 전송된 제어 명령에 따라 식기를 수거하도록 해당 테이블(T)로 이동할 수 있다.
또한, 식음 종료 판단부(250) 이미지 획득부(100)가 획득하는 테이블(T)의 이미지를 지속적으로 분석하여, 테이블(T)의 식음 종료 대상이 무료 리필이 가능한 대상인지, 유료 주문이 필요한 대상인지의 여부를 판단할 수 있다. 전술했듯이, 여기서, 식음 종료의 대상은 테이블(T)에 이송된 식음료 각각이 그 대상이며, 예컨대, 음료, 조리된 음식, 물 등이 그 대상일 수 있다. 식음 종료 판단부(250)가 고객이 식음 또는 식사를 하는 식음 종료의 대상 중 어느 하나가 식음 종료된 것으로 판단하면, 식음 종료 판단부(250)은 식음 종료된 대상의 무료 리필 또는 유료 주문 대상인지 판단 후, 이송 로봇 제어부(240)가 이송 로봇(300)을 제어하도록 제어 명령을 생성할 수 있다.
이송 로봇 제어부(240)는 식음 종료된 대상이 무료 리필이 가능한 대상이면, 이송 로봇(300)이 식음 종료된 대상을 이송하도록 제어 명령을 생성하여, 이송 로봇(300)에 전송할 수 있고, 식음 종료된 대상이 유료 주문이 필요하면, 추가 주문을 받을 수 있도록 이송 로봇(300)이 테이블(T)로 이동하도록 제어 명령을 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 식음 종료 판단부가 판단하는 식기가 놓인 형태의 종류를 나타낸 도면이다. 일 실시예에 있어서, 도 4(a)는 접시(401) 양 옆으로 평행하게 포크(402)와 나이프(403)가 독립적으로 놓인 모습을 나타낸 것이다. 식음 종료 판단부(250)은 이와 같은 식기의 형태를 인식하여 식사가 시작되는 상황으로 판단할 수 있다. 도 4(b)는 접시(401) 위로 포크(402)와 나이프(403)가 서로 다른 방향을 가르키며 놓인 모습을 나타낸 것이다. 식음 종료 판단부(250)은 이와 같은 식기의 형태는 식사가 진행중인 상황으로 판단할 수 있다. 도 4(c)는 접시(401)위로 포크(402)와 나이프(403)가 같은 방향을 가리키며 사선으로 놓인 모습을 나타낸 것이다. 식음 종료 판단부(250)은 이와 같은 식기의 형태는 식사가 종료된 상황으로 판단할 수 있다. 식음 종료 판단부(250)이 도 4(c)의 식기 형태를 인식하여, 테이블(T)의 식사가 종료되었다고 판단하면, 이송 로봇 제어부(240)가 이송 로봇(300)이 테이블(T)로 이동하도록 제어 명령을 생성할 수 있고, 이송 로봇(300)는 테이블(T)에 대하여 무료 리필, 추가 주문 또는 식기를 수거할 수 있도록 이동할 수 있다.
도 5는 본 발명의 일 실시예에 따른 테이블의 식기 수거 영역을 나타낸 도면이다.
도 5를 참조하면, 일 실시예에서, 테이블(T)에는 미리 정해진 식기 수거 영역(501)이 있을 수 있다. 여기서, 식기 수거 영역(501)은 이미지 획득부(100)가 획득하는 테이블(T)의 이미지 상에서, 식음 종료 판단부(250)가 인식하는 가상의 영역일 수 있다. 고객(C)이 식사 또는 식음을 완료하면, 식기를 식기 수거 영역(501)으로 옮겨놓을 수 있다. 식음 종료 판단부(250)은 식기 수거 영역(501)에 식기들의 배치 여부를 이미지 상에서 분석하여, 식기 수거 영역(501)에 식기가 배치된 것으로 판단하면 해당 테이블을 식음 종료로 판단할 수 있다. 또한, 식음 종료 판단부(250)은 테이블(T)에 마련된 센서(미도시)를 통해 식기 수거 영역(501)에 대한 식기의 배치 여부를 판단할 수 있다. 예컨대, 테이블(T)의 식기 수거 영역(501)에 감지 센서가 설치되고, 식음 종료 판단부(250)은 센서의 식기 수거 영역(501)에서의 감지 여부를 기초로 식기 수거 영역(501)의 식기 배치 여부를 판단할 수 있다.식음 종료 판단부(250)이 테이블(T)의 식음이 종료되었다고 판단하면, 이송 로봇 제어부(240)가 이송 로봇(300)이 테이블(T)로 이동하도록 제어 명령을 생성할 수 있고, 이송 로봇(300)는 테이블(T)에 대하여 무료 리필, 추가 주문 또는 식기를 수거할 수 있도록 이동할 수 있다.
이하는 본 발명의 일 실시예에 따른 매장 내 식음료 이송 및 수거 방법을 설명한다. 매장 내 식음료 이송 및 수거 방법은 전술한 매장 내 식음료 이송 및 수거 시스템에 의해 수행될 수 있다. 구체적인 용어 및 단어의 의미는 매장 내 식음료 이송 및 수거 시스템의 의미와 동일할 수 있으며, 중복되는 설명은 생략한다.
도 6은 본 발명의 일 실시예에 따른 매장 내 식음료 이송 및 수거 방법의 흐름도이다.
도 6을 참조하면, 일 실시예에 있어서, 매장 내 식음료 이송 및 수거 방법은 이미지 획득 단계(S100), 처리 단계(S200), 이송 단계(S300) 및 수거 단계(S400)를 포함할 수 있다.
이미지 획득 단계(S100)는 복수의 카메라를 포함하는 이미지 획득부가 미리 정해진 영역의 이미지를 획득하는 단계일 수 있다. 처리 단계(S200)는 처리부가 이미지 획득부가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리하는 단계일 수 있다. 이송 단계(S300)는 이송 로봇이 처리부의 제어 명령에 따라 고객의 주문 정보를 획득하고 주문된 식음료의 이송을 수행하는 단계일 수 있다. 수거 단계(S400)는 이송 로봇이 제어 명령에 따라 식기를 수거하기 위해 식음이 종료된 테이블로 이동하는 단계일 수 있다.
도 7은 본 발명의 일 실시예에 따른 이미지 분석을 이용하여 매장 내에서 고객을 식별 및 추적하는 방법의 흐름도이다.
도 7을 참조하면, 일 실시예에 있어서, 매장 내 식음료 이송 및 수거 방법은, 복수의 카메라를 포함하는 이미지 획득부가 매장 내 전경 또는 특정 영역의 이미지를 획득할 수 있다.(S710) 이미지 획득부에 의해 이미지가 획득되는 매장 내부로 고객이 입장하면, 고객 인식부가 고객의 얼굴 이미지를 분석하여 고객을 식별 또는 인식할 수 있다.(S720) 고객 인식부가 고객을 식별하면 객체 추적부가 이미지 획득부가 획득한 이미지에서 식별한 고객을 추적할 수 있다. 고객의 얼굴을 객체화시켜 매장의 이미지를 분석하여 고객의 실시간 위치를 추적하며, 이 과정에서 미리 구축된 매장의 3차원 공간 정보를 이용할 수 있다. 고객이 매장 내를 이동하다 테이블에 접근하면, 객체 추적부는 고객의 테이블 점유 여부를 판단할 수 있다. 고객의 테이블 점유 여부는 전술한 것과 같이 객체 추적부가 테이블의 인식 영역에서 고객이 머무르는 시간이 미리 결정된 기준 이상인 경우, 고객이 테이블을 점유한 것으로 판단할 수 있다. 예컨대, 미리 결정된 기준 시간이 1분이라고 가정하면, 고객이 테이블에서 1분 미만으로 머무르다가 테이블의 인식 영역에서 벗어나면 객체 추적부는 고객이 아직 테이블을 점유하지 않은 것으로 판단할 수 있다. 고객이 테이블의 인식 영역에서 1분 이상 머무르면, 객체 추적부는 고객이 해당 테이블을 점유한 것으로 판단할 수 있다.(S740) 객체 추적부가 고객이 테이블을 점유한 것으로 판단하면, 해당 테이블의 정보를 처리부가 획득할 수 있다. 획득된 테이블 정보는 테이블의 위치 또는 테이블의 식별 코드일 수 있으며, 이송 로봇은 획득된 테이블 정보에 기초하여 해당 테이블로 이동하여 주문을 수신하거나 주문된 식음료를 이송 또는 수거할 수 있다.(S750)
도 8은 본 발명의 일 실시예에 따른 이송 로봇을 이용하여 테이블에 주문한 식음료를 서빙하는 방법의 흐름도이다.
도 8을 참조하면, 매장 내 식음료 이송 및 수거 시스템은 고객으로부터 식음료의 주문 정보를 수신할 수 있다.(S810) 여기서, 고객은 테이블에 마련된 주문가능한 장치를 이용하여 주문할 수 있다. 여기서, 주문가능한 장치는 예컨대, 테이블에 매장 내 식음료 이송 및 수거 시스템과 네트워크로 연결된 태블릿PC일 수 있다. 또한, 테이블에 주문가능한 인터넷 사이트가 연결되는 QR코드가 테이블에 마련되어 있어, 고객이 소지하는 스마트 폰 또는 태블릿PC를 이용하여 QR코드를 인식하여, 해당 주문가능한 사이트에서 식음료를 주문할 수 있다. QR코드를 인식하면, 해당 테이블의 위치 정보 및 식별 정보도 자동으로 인식되어, 고객이 식음료를 주문하면 식음료 이송 및 수거 시스템에 자동으로 전송될 수 있다. 또한, 도 7에 도시된 실시예를 통해 매장 내에 마련된 이미지 획득부가 획득하는 이미지를 분석하여, 고객을 추적 후, 고객이 점유하는 테이블을 식음료 이송 및 수거 시스템의 처리부가 직접 판단할 수 있다. 이 경우, 고객이 점유한 것으로 판단한 테이블로 이송 로봇이 이동하여 고객의 주문을 수신할 수도 있다.
고객으로부터 주문 정보를 수신하면, 주문 정보 매칭부는 고객의 주문 정보를 고객이 점유한 테이블 정보 또는 고객의 얼굴 이미지를 매칭할 수 있다.(S820) 테이블정보와 주문 정보가 매칭되고, 주문된 식음료의 제조 및 조리가 완료되면, 이송 로봇 제어부가 고객이 점유한 테이블로 고객이 주문한 식음료를 이송하는 제어 명령을 생성할 수 있다.(S830) 이송 로봇은 전송된 제어 명령에 따라 식음로를 해당 테이블로 이송할 수 있다. 고객이 이송된 식음료를 식사 또는 식음을 하면, 식음 종료 판단부가 이미지 획득부가 획득한 해당 테이블의 이미지를 이용하거나, 테이블의 미리 정해진 영역의 식기 도구 배치 여부에 따라 식음 종료의 대상에 대한 식음 종료를 판단할 수 있다.(S840) 여기서, 식음 종료 판단부가 식음 종료의 대상에 대한 식음 종료를 판단하는 방법은 전술한 매장 내 식음료 이송 및 시스템의 식음 종료 판단부가 식음 종료를 판단하는 실시예와 동일하다.
식음 종료 판단부가 식음 종료의 대상 중 어느 하나에 대해 식음 종료라고 판단하면, 해당 식음 종료의 대상이 무료 리필 대상인지, 유료 주문 대상인지 판단할 수 있다.(S850) 이송 로봇 제어부는 해당 식음 종료의 대상이 무료 리필 대상이면, 식음 종료된 대상을 즉시 이송하도록 제어 명령을 생성할 수 있고, 이송 로봇은 전송된 제어 명령에 따라 식음 종료된 대상을 해당 테이블로 이송할 수 있다.(S860)
본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.
또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체 및 하나의 장소로부터 다른 장소로 컴퓨터 프로그램의 이송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM　또는 기타 광학디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스가능한 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다.
이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.
특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
100: 이미지 획득부 200: 처리부
210: 고객 인식부 220: 객체 추적부
230: 주문 정보 매칭부 240: 이송 로봇 제어부
250: 식음 종료 판단부 300: 이송 로봇
310: 이송 플레이트 320: 수거 플레이트
330: 통신부 340: 제어부
350: 센서부 360: 디스플레이

Claims (26)

  1. 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템에 있어서,
    미리 정해진 영역의 이미지를 획득하는 복수의 카메라를 포함하는 이미지 획득부;
    상기 이미지 획득부가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리하는 처리부; 및
    상기 처리부의 제어 명령에 따라 상기 고객의 주문 정보를 획득하고, 상기 주문된 식음료의 이송을 수행하는 이송 로봇
    을 포함하는 매장 내 식음료 이송 및 수거 시스템.
  2. 제1항에 있어서,
    상기 처리부는,
    상기 이미지 획득부가 획득한 고객의 얼굴 이미지를 분석하고 상기 고객을 식별하는 고객 인식부; 및
    상기 고객 인식부가 식별한 고객을 상기 이미지 획득부가 획득한 이미지를 이용하여 추적하는 객체 추적부를 포함하는 것인, 매장 내 식음료 이송 및 수거 시스템.
  3. 제2항에 있어서,
    상기 처리부는,
    상기 고객의 얼굴 이미지와 상기 고객의 주문 정보를 매칭시키도록 구성된 주문 정보 매칭부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  4. 제1항에 있어서,
    상기 처리부는,
    상기 이미지 획득부가 획득한 이미지를 이용하여 상기 고객이 점유한 테이블 정보를 획득하기 위한 객체 추적부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  5. 제4항에 있어서,
    상기 객체 추적부는,
    상기 고객이 테이블에 머무르는 시간이 미리 결정된 기준 이상인 경우에 상기 고객이 상기 테이블을 점유한 것으로 판단하는 것인, 매장 내 식음료 이송 및 수거 시스템.
  6. 제1항에 있어서,
    상기 처리부는,
    상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객의 주문 정보를 획득하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  7. 제1항에 있어서,
    상기 처리부는,
    상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객이 주문한 식음료를 이송하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  8. 제1항에 있어서,
    상기 처리부는,
    상기 이미지 획득부가 획득한 식음료의 이미지를 기초로 상기 고객의 식음 종료를 판단하도록 구성된 식음 종료 판단부; 및
    상기 이송 로봇이 상기 식음 종료 판단부가 식음 종료로 판단한 테이블로 식기를 수거하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  9. 제8항에 있어서,
    상기 식음 종료 판단부는,
    식사 시간, 남은 내용물의 양, 식 행위의 빈도, 식기가 놓인 형태, 상기 고객의 수거 요청 중 적어도 하나에 기초하여 상기 고객의 식음 종료를 판단하는 것인, 매장 내 식음료 이송 및 수거 시스템.
  10. 제8항에 있어서,
    상기 식음 종료 판단부는,
    식음 종료로 판단한 테이블의 미리 결정된 영역 내에 식기 도구의 배치 여부를 판단하고,
    상기 이송 로봇 제어부는,
    상기 이송 로봇이 상기 미리 결정된 영역 내에 배치된 식기 도구를 수거하도록 제어 명령을 생성하는 것인, 매장 내 식음료 이송 및 수거 시스템.
  11. 제8항에 있어서,
    상기 이송 로봇 제어부는,
    상기 이송 로봇이 추가 주문을 받도록 상기 식음 종료로 판단한 테이블로 이동하도록 제어 명령을 생성하는 것인, 매장 내 식음료 이송 및 수거 시스템.
  12. 제1항에 있어서,
    상기 처리부는,
    식음 종료의 대상이 무료 리필이 가능한 대상인지 여부를 판단하도록 구성된 식음 종료 판단부; 및
    상기 식음 종료 판단부가 상기 식음 종료의 대상이 무료 리필이 가능한 것으로 판단한 경우, 상기 이송 로봇이 식음 종료된 대상을 이송하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  13. 제1항에 있어서,
    상기 처리부는,
    식음 종료의 대상이 유료 주문이 필요한 대상인지 여부를 판단하도록 구성된 식음 종료 판단부; 및
    상기 식음 종료 판단부가 상기 식음 종료의 대상이 유료 주문이 필요한 대상인 경우 이송 로봇이 추가 주문을 받을 수 있도록 상기 식음 종료로 판단한 테이블로 이동하는 제어 명령을 생성하는 이송 로봇 제어부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  14. 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 방법에 있어서,
    복수의 카메라를 포함하는 이미지 획득부가 미리 정해진 영역의 이미지를 획득하는 이미지 획득 단계;
    처리부가 상기 이미지 획득부가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리하는 처리 단계; 및
    이송 로봇이 상기 처리부의 제어 명령에 따라 상기 고객의 주문 정보를 획득하고, 상기 주문된 식음료의 이송을 수행하는 이송 단계
    를 포함하는 매장 내 식음료 이송 및 수거 방법.
  15. 제14항에 있어서,
    상기 처리 단계는,
    고객 인식부가 상기 이미지 획득부에 의해 획득한 고객의 얼굴 이미지를 분석하고 상기 고객을 식별하는 고객 인식 단계; 및
    객체 추적부가 상기 고객 인식부에 의해 식별된 고객을 상기 이미지 획득부가 획득한 이미지를 이용하여 추적하는 객체 추적 단계를 포함하는 것인, 매장 내 식음료 이송 및 수거 방법.
  16. 제15항에 있어서,
    상기 처리 단계는,
    주문 정보 매칭부가 상기 고객의 얼굴 이미지와 상기 고객의 주문 정보를 매칭시키도록 구성된 주문 정보 매칭 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
  17. 제14항에 있어서,
    상기 처리 단계는,
    객체 추적부가 상기 이미지 획득부에 의해 획득된 이미지를 이용하여 상기 고객이 점유한 테이블 정보를 획득하는 객체 추적 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
  18. 제17항에 있어서,
    상기 객체 추적 단계는,
    상기 객체 추적부가 상기 고객이 테이블에 머무르는 시간이 미리 결정된 기준 이상인 경우에 상기 고객이 상기 테이블을 점유한 것으로 판단하는 것인, 매장 내 식음료 이송 및 수거 방법.
  19. 제17항에 있어서,
    상기 처리 단계는,
    상기 처리부가 상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객의 주문 정보를 획득하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
  20. 제17항에 있어서,
    상기 처리 단계는,
    상기 처리부가 상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객이 주문한 식음료를 이송하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
  21. 제14항에 있어서,
    상기 처리 단계는,
    식음 종료 판단부가 상기 이미지 획득부에 의해 획득된 식음료의 이미지를 기초로 상기 고객의 식음 종료를 판단하는 식음 종료 판단 단계; 및
    이송 로봇 제어부가 상기 이송 로봇이 식음 종료 판단 단계에서 식음 종료로 판단된 테이블로 식기를 수거하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
  22. 제21항에 있어서,
    상기 식음 종료 판단 단계는,
    상기 식음 종료 판단부가 식사 시간, 남은 내용물의 양, 식 행위의 빈도, 식기가 놓인 형태, 상기 고객의 수거 요청 중 적어도 하나에 기초하여 상기 고객의 식음 종료를 판단하는 것인, 매장 내 식음료 이송 및 수거 방법.
  23. 제21항에 있어서,
    상기 식음 종료 판단 단계는,
    상기 식음 종료 판단부가 식음 종료로 판단한 테이블의 미리 결정된 영역 내의 식기 도구의 배치 여부를 판단하고,
    상기 이송 로봇 제어 단계는,
    상기 이송 로봇 제어부가 상기 이송 로봇이 상기 미리 결정된 영역 내에 배치된 식기 도구를 수거하도록 제어 명령을 생성하는 것인, 매장 내 식음료 이송 및 수거 방법.
  24. 제21항에 있어서,
    상기 이송 로봇 제어 단계는,
    상기 이송 로봇 제어부가 상기 이송 로봇이 추가 주문을 받도록 상기 식음 종료로 판단한 테이블로 이동하도록 제어 명령을 생성하는 것인, 매장 내 식음료 이송 및 수거 방법.
  25. 제14항에 있어서,
    상기 처리 단계는,
    식음 종료 판단부가 식음 종료의 대상이 무료 리필이 가능한 대상인지 여부를 판단하는 식음 종료 판단 단계; 및
    상기 식음 종료 판단 단계에서 상기 식음 종료의 대상이 무료 리필이 가능한 것으로 판단한 경우, 이송 로봇 제어부가 상기 이송 로봇이 식음 종료된 대상을 이송하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
  26. 제14항에 있어서,
    상기 처리 단계는,
    식음 종료 판단부가 식음 종료의 대상이 유료 주문이 필요한 대상인지 여부를 판단하는 식음 종료 판단 단계; 및
    상기 식음 종료 판단 단계에서 상기 식음 종료의 대상이 유료 주문이 필요한 대상인 경우. 이송 로봇 제어부가 상기 이송 로봇이 추가 주문을 받을 수 있도록 상기 식음 종료로 판단한 테이블로 이동하는 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
KR1020190114672A 2019-09-18 2019-09-18 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법 KR102315615B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190114672A KR102315615B1 (ko) 2019-09-18 2019-09-18 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법
PCT/KR2020/011022 WO2021054622A1 (ko) 2019-09-18 2020-08-19 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법
CN202080007645.1A CN113287119B (zh) 2019-09-18 2020-08-19 利用图像识别的卖场内餐饮移送及回收系统和利用其的餐饮移送及回收方法
US17/370,112 US20210342573A1 (en) 2019-09-18 2021-07-08 In-store food and beverage transfer and collection system using image recognition and method of transferring and collecting food and beverage in store using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190114672A KR102315615B1 (ko) 2019-09-18 2019-09-18 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법

Publications (2)

Publication Number Publication Date
KR20210033214A true KR20210033214A (ko) 2021-03-26
KR102315615B1 KR102315615B1 (ko) 2021-10-21

Family

ID=74883227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190114672A KR102315615B1 (ko) 2019-09-18 2019-09-18 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법

Country Status (4)

Country Link
US (1) US20210342573A1 (ko)
KR (1) KR102315615B1 (ko)
CN (1) CN113287119B (ko)
WO (1) WO2021054622A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102331177B1 (ko) * 2021-08-05 2021-12-01 티오더 주식회사 매장에 구비된 태블릿을 통하여 주문 및 서빙하는 방법 및 그 시스템
WO2022232368A1 (en) * 2021-04-28 2022-11-03 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
WO2022246044A1 (en) * 2021-05-21 2022-11-24 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a patrolling robot
KR20230013589A (ko) * 2021-07-19 2023-01-26 베어 로보틱스, 인크. 서빙 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP2023020774A (ja) * 2021-07-28 2023-02-09 ベアー ロボティックス，インコーポレイテッド サービングロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
WO2023048341A1 (en) * 2021-09-24 2023-03-30 Lounge'lab Inc. Unmanned payment method using mobile robot and unmanned payment system using same

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230061901A (ko) 2021-10-29 2023-05-09 주식회사 사운드그래프 사물인식 인공지능을 활용한 픽업 안내 방법 및 시스템
CN114241667B (zh) * 2021-11-09 2023-07-14 上海景吾智能科技有限公司 调度机器人自主完成接货的服务方法及系统
CN114326716A (zh) * 2021-12-10 2022-04-12 深圳优地科技有限公司 清洁机器人的控制方法、清洁机器人及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133904A (ja) * 2002-08-13 2004-04-30 Masanobu Kujirada 飲食店用マーケティングデータ収集システム
KR101083700B1 (ko) * 2009-04-02 2011-11-16 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
KR101204418B1 (ko) 2009-04-13 2012-11-26 (주)아이엠테크놀로지 음식점에서 음식을 로봇으로 배달하는 시스템
KR101628115B1 (ko) * 2015-12-09 2016-06-08 곽재용 주문 결제 시스템
KR101759091B1 (ko) 2016-12-06 2017-07-18 김선홍 무인 음식점 시스템
KR20190092337A (ko) * 2019-06-07 2019-08-07 엘지전자 주식회사 서빙 로봇 및 그를 이용한 고객 접대 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3396204B2 (ja) * 2000-05-31 2003-04-14 株式会社くらコーポレーション 飲食店の飲食物供給システム
KR101062554B1 (ko) * 2009-07-28 2011-09-06 송세경 식당 홀의 모니터링 카메라를 이용한 영상처리 시스템 및 식당 통합 관리 시스템 그리고 그 영상처리 방법 및 그 식당 통합 관리 방법
GB201005873D0 (en) * 2010-04-08 2010-05-26 Compurants Ltd Big book A
JP2015138452A (ja) * 2014-01-23 2015-07-30 東芝テック株式会社 料理残量検出装置及びプログラム
US20160055598A1 (en) * 2014-08-25 2016-02-25 Purna Chander Ramini Restaurant Guest Service System And Method
WO2017006291A1 (en) * 2015-07-08 2017-01-12 Data Pranjal System for robot assisted restaurant service and a waiter robot
JP2019003360A (ja) * 2017-06-14 2019-01-10 大日本印刷株式会社 案内ロボット、席管理装置及びプログラム
CN109963114A (zh) * 2017-12-14 2019-07-02 湖南餐启科技有限公司 一种就餐检测装置、方法、服务器及系统
JP2019153070A (ja) * 2018-03-02 2019-09-12 東芝テック株式会社 情報処理装置、及び情報処理プログラム
CN109409765A (zh) * 2018-11-09 2019-03-01 江苏木盟智能科技有限公司 一种基于机器人的餐饮配送方法和系统
US11279042B2 (en) * 2019-03-12 2022-03-22 Bear Robotics, Inc. Robots for serving food and/or drinks
CN109993157A (zh) * 2019-05-06 2019-07-09 深圳前海微众银行股份有限公司 基于机器人的配送方法、装置、设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133904A (ja) * 2002-08-13 2004-04-30 Masanobu Kujirada 飲食店用マーケティングデータ収集システム
KR101083700B1 (ko) * 2009-04-02 2011-11-16 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
KR101204418B1 (ko) 2009-04-13 2012-11-26 (주)아이엠테크놀로지 음식점에서 음식을 로봇으로 배달하는 시스템
KR101628115B1 (ko) * 2015-12-09 2016-06-08 곽재용 주문 결제 시스템
KR101759091B1 (ko) 2016-12-06 2017-07-18 김선홍 무인 음식점 시스템
KR20190092337A (ko) * 2019-06-07 2019-08-07 엘지전자 주식회사 서빙 로봇 및 그를 이용한 고객 접대 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022232368A1 (en) * 2021-04-28 2022-11-03 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
WO2022246044A1 (en) * 2021-05-21 2022-11-24 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a patrolling robot
KR20220157829A (ko) * 2021-05-21 2022-11-29 베어 로보틱스, 인크. 패트롤링 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP2022179235A (ja) * 2021-05-21 2022-12-02 ベア ロボティクス インク パトロールロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
US11911906B2 (en) 2021-05-21 2024-02-27 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a patrolling robot
KR20230013589A (ko) * 2021-07-19 2023-01-26 베어 로보틱스, 인크. 서빙 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2023003766A1 (en) * 2021-07-19 2023-01-26 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
JP2023020774A (ja) * 2021-07-28 2023-02-09 ベアー ロボティックス，インコーポレイテッド サービングロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
KR102331177B1 (ko) * 2021-08-05 2021-12-01 티오더 주식회사 매장에 구비된 태블릿을 통하여 주문 및 서빙하는 방법 및 그 시스템
KR20230021553A (ko) * 2021-08-05 2023-02-14 티오더 주식회사 매장 내의 단말기를 통하여 주문 받는 시스템
WO2023048341A1 (en) * 2021-09-24 2023-03-30 Lounge'lab Inc. Unmanned payment method using mobile robot and unmanned payment system using same

Also Published As

Publication number Publication date
US20210342573A1 (en) 2021-11-04
WO2021054622A1 (ko) 2021-03-25
KR102315615B1 (ko) 2021-10-21
CN113287119B (zh) 2022-06-03
CN113287119A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
KR102315615B1 (ko) 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법
JP6980738B2 (ja) 食べ物および／または飲み物のサービングのためのロボット
JP6997159B2 (ja) 食べ物および／または飲み物のサービングのためのロボット
US20210321813A1 (en) Automatic dish serving system, a restaurant, an automatic system for a restaurant, an automatic dish serving method, a program and a storage medium
US11775983B2 (en) Method and system of providing service by controlling robot in service area, and robot implementing thereof
KR102312914B1 (ko) 기계화된 모바일 머천트리를 사용하여 상품 또는 서비스들을 판매하거나, 재활용 쓰레기를 수집하는 시스템 및 방법
AU2018282354A1 (en) Prompting method and apparatus
WO2019222246A1 (en) Systems and methods for automated storage and retrieval
US20200250737A1 (en) Location sensitive queues management
CN106897780A (zh) 一种智能化服务方法及装置
CN110555655A (zh) 送餐设备的控制方法、装置、设备及计算机可读存储介质
KR102510066B1 (ko) 매장 내의 단말기를 통하여 주문 받는 시스템
WO2021065610A1 (ja) データ処理装置、データ処理方法、ロボット
JP7238809B2 (ja) サーバ装置、制御装置、プログラム、移動店舗、及び情報処理システムの動作方法
US20230289706A1 (en) Automated local delivery center
JP2022179235A (ja) パトロールロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
JP7261833B2 (ja) サービングロボットを制御するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
US20230051618A1 (en) Control device, control method, and program
US11830311B1 (en) Automated pizza kitchen
CN109831403A (zh) 一种个人现场行为收集系统及方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)