KR102424316B1 - 셀프서비스형 식당용 셀프 결제 시스템 및 방법 - Google Patents

셀프서비스형 식당용 셀프 결제 시스템 및 방법 Download PDF

Info

Publication number
KR102424316B1
KR102424316B1 KR1020210152489A KR20210152489A KR102424316B1 KR 102424316 B1 KR102424316 B1 KR 102424316B1 KR 1020210152489 A KR1020210152489 A KR 1020210152489A KR 20210152489 A KR20210152489 A KR 20210152489A KR 102424316 B1 KR102424316 B1 KR 102424316B1
Authority
KR
South Korea
Prior art keywords
food
user
restaurant
terminal
self
Prior art date
Application number
KR1020210152489A
Other languages
English (en)
Inventor
윤종선
이병윤
Original Assignee
윤종선
이병윤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종선, 이병윤 filed Critical 윤종선
Priority to KR1020210152489A priority Critical patent/KR102424316B1/ko
Application granted granted Critical
Publication of KR102424316B1 publication Critical patent/KR102424316B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322—Aspects of commerce using mobile devices [M-devices]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/409—Device specific authentication in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)

Abstract

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 셀프서비스형 식당에서 사용자가 음식 메뉴를 결제하기 위한 셀프 결제 시스템은, 셀프서비스형 식당에서 취급하는 적어도 하나 이상의 음식 또는 상품에 대한 영상 정보 및 가격 정보를 포함하는 음식 정보의 등록이 이루어지는 운영자 단말, 상기 적어도 하나 이상의 음식 또는 상품 중 사용자가 선택한 음식 메뉴에 대한 결제가 이루어지는 사용자 단말, 딥 네트워크를 이용한 식당별 음식 식별 모델에 기초하여, 카메라를 통해 상기 음식 메뉴를 촬영한 영상 데이터 상에서 사용자가 선택한 음식 메뉴를 검출하고, 식별하도록 구성된 식당별 음식 스캔 단말, 및 상기 사용자 단말에 대응되는 사용자별 고유 식별코드를 등록하여 관리하고, 딥 네트워크를 이용하여 상기 운영자 단말로부터 등록된 상기 영상 정보에 기초하여 학습된 상기 식당별 음식 식별 모델을 생성하고, 생성된 식당별 음식 식별 모델을 대응되는 식당별 음식 스캔 단말로 전송하는 중앙 서버를 포함하고, 상기 음식 스캔 단말은, 상기 중앙 서버에 등록된 사용자 고유 식별키를 참조하여 매칭되는 사용자의 식별이 이루어지면, 식별된 음식 메뉴에 대해 상기 가격 정보를 참조하여, 비용 결제를 위한 가격 정보를 생성하여, 상기 가격 정보를 사용자 단말로 전송한다.

Description

셀프서비스형 식당용 셀프 결제 시스템 및 방법{SELF-CHECKOUT SYSTEM AND METHOD FOR SELF-SERVICE CAFETERIA}
본 발명은 셀프서비스형 식당용 셀프 결제 시스템 및 방법에 관한 것으로, 보다 상세하게는 딥러닝 기반의 객체 인식 기술을 활용하여 사용자별 음식 메뉴 정보를 검출하고, 이와 함께 검출된 사용자 정보를 매칭시켜 셀프 결제가 가능한 셀프서비스형 식당용 셀프 결제 시스템 및 방법에 관한 발명이다.
통상 상품을 구매할 수 있는 마트, 슈퍼마켓, 쇼핑센터, 편의점 등의 매장 또는 대학 식당과 같이 다양한 메뉴를 취급하여 사용자가 메뉴를 선택한 후, 계산이 이루어지는 셀프 서비스형 식당에서, 일반적으로는 사용자가 상품 내지 메뉴를 선택하여 계산대로 진입하면, 직원이 직접 상품의 바코드를 리더기로 스캔하거나, 메뉴를 일일히 확인하여 비용을 확정하고, 사용자가 제시하는 결제 수단(예컨대 신용카드, 현금 등)을 이용하여 금액을 결제하는 방식으로 이루어지게 된다.
특히, 셀프 서비스형 식당의 경우, 종래에는 제한된 메뉴로 운영되어 이용자의 메뉴 선택의 폭이 제한되었으나, 최근에는 선택가능한 메인 메뉴와 함께, 이용자의 선택에 의해 이와 곁들어 먹을 수 있는 다양한 추가 메뉴들을 취급하여, 이용자의 메뉴 선택의 폭이 늘어났고, 자기만의 스타일에 따라 골라 먹을 수 있다는 장점이 부각되면서, 대규모 식당뿐만 아니라 소규모 식당에서도 이러한 방식을 도입하여 현재 성행되고 있다.
한편, 이러한 방식을 도입하고 있는 식당에서는 보통 한명의 직원이 메인 메뉴 및 추가 메뉴들 각각에 미리 부여된 가격을 합산하여 비용을 청구하고 있다. 즉, 메뉴별 가격 정보를 알고 있는 직원이 일일히 메뉴 구성을 눈으로 확인하여, 직접 계산대에 입력하거나, 또는 계산대에 미리 준비된 메뉴별 바코드를 찍어 사용자별 최종 비용을 산출하고 있다.
최근에는 키오스크가 등장하여 사용자가 상품을 선택하고 직접 결제 수단을 투입하여 상품 금액을 지불함으로써 직원 없이도 쉽게 결제할 수 있는 무인 시스템을 도입하려 하고 있으나, 대학 식당처럼 넓은 공간에서 많은 사람이 여러 메뉴를 결제하는 것이 일반적인 환경에서는 무인 시스템 운영에 여러 가지 한계가 존재한다.
일 예로, 제한된 갯수의 키오스크에서 결제가 이루어지는 이상, 직원이 이용자별로 일일히 개별 결제를 진행하는 것과 처리 속도 면에서 크게 다르지 않으며, 넓은 영역에서의 이용자 분산을 위해 배식 라인에서 떨어진 영역에 키오스크를 배치할 경우, 사람을 대신하여 기계가 결제를 진행하다보니, 선택한 메뉴 중 일부를 누락시켜 낮은 비용으로 메뉴를 무단 취식하는 치팅(cheating) 사례가 발생될 수 있다는 문제가 있다.
따라서, 이러한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 딥러닝 알고리즘을 이용한 객체 인식 기술을 활용하여, 식당별 취급하는 메뉴에 대한 이미지 정보를 학습한 음식 식별 모델에 기초하여, 배식 라인에서 사용자별 음식 메뉴 정보를 빠르게 검출하고, 동시에 사용자 단말을 통해 사용자 정보를 식별하여, 음식 메뉴에 대한 최종 결제가 사용자 단말을 통해 이루어지는 셀프서비스형 식당용 셀프 결제 시스템 및 방법을 제공함에 있다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 셀프서비스형 식당에서 사용자가 음식 메뉴를 결제하기 위한 셀프 결제 시스템은, 셀프서비스형 식당에서 취급하는 적어도 하나 이상의 음식 또는 상품에 대한 영상 정보 및 가격 정보를 포함하는 음식 정보의 등록이 이루어지는 운영자 단말, 상기 적어도 하나 이상의 음식 또는 상품 중 사용자가 선택한 음식 메뉴에 대한 결제가 이루어지는 사용자 단말, 딥 네트워크를 이용한 식당별 음식 식별 모델에 기초하여, 카메라를 통해 상기 음식 메뉴를 촬영한 영상 데이터 상에서 사용자가 선택한 음식 메뉴를 검출하고, 식별하도록 구성된 식당별 음식 스캔 단말, 및 상기 사용자 단말에 대응되는 사용자별 고유 식별코드를 등록하여 관리하고, 딥 네트워크를 이용하여 상기 운영자 단말로부터 등록된 상기 영상 정보에 기초하여 학습된 상기 식당별 음식 식별 모델을 생성하고, 생성된 식당별 음식 식별 모델을 대응되는 식당별 음식 스캔 단말로 전송하는 중앙 서버를 포함하고, 상기 음식 스캔 단말은, 상기 중앙 서버에 등록된 사용자 고유 식별키를 참조하여 매칭되는 사용자의 식별이 이루어지면, 식별된 음식 메뉴에 대해 상기 가격 정보를 참조하여, 비용 결제를 위한 가격 정보를 생성하여, 상기 가격 정보를 사용자 단말로 전송한다.
본 발명의 일 실시예에 있어서, 상기 사용자 고유 식별키는 사용자 단말을 통해 사용자의 회원가입이 이루어지면, 상기 중앙 서버에서 사용자별로 생성될 수 있다.
본 발명의 일 실시예에 있어서, 상기 사용자 고유 식별키는 QR 코드일 수 있다.
본 발명의 일 실시예에 있어서, 상기 음식 스캔 단말은, 등록된 사용자 고유 식별키를 참조하여 매칭되는 사용자의 식별이 이루어지면, 상기 카메라를 통한 음식 메뉴의 식별을 위한 음식 메뉴 스캔 기능을 활성화시킬 수 있다.
본 발명의 일 실시예에 있어서, 상기 중앙 서버는, 상기 운영자 단말로부터 등록된 적어도 하나 이상의 음식 또는 상품에 대한 영상 정보에 대한 데이터 증강 처리를 거쳐 상기 식당별 음식 식별 모델을 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 중앙 서버는, 클라우드 서버일 수 있다.
본 발명의 일 실시예에 있어서, 상기 식당별 음식 식별 모델은, 딥 네트워크를 이용하여 식당별 취급하는 음식에 대한 영상 정보에 기초하여 생성된 제1 식별 모델과 시중에서 판매되는 상품에 대한 영상 정보에 기초하여 생성된 제2 식별 모델을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제2 식별 모델은 공공 데이터인 상품별 영상 정보를 활용하여 생성될 수 있다.
본 발명의 일 실시예에 있어서, 상기 음식 스캔 단말은, 상기 음식 메뉴를 상면에서 촬영하도록 카메라가 하면을 향하게 지지대에 의해 설치될 수 있다.
본 발명의 일 실시예에 있어서, 상기 음식 스캔 단말은, 스마트폰일 수 있다.
종래의 셀프서비스형 식당에서는 최종 결제를 위해 이용자별 음식 메뉴를 직원가 일일이 확인해야 하는 불편이 있었으나, 본 발명의 일 실시예에 따른 셀프서비스형 식당용 셀프 결제 시스템은 배식 라인에서 직원이 별도로 확인할 필요없이 음식 메뉴 정보 검출 및 사용자 단말을 통해 사용자 정보를 식별하고, 이를 매칭시켜, 최종 결제는 자동으로 또는 사용자에 의해 자리에서 이루어지도록 한다. 이에 따라, 사용자 편의성을 향상시킬 수 있고, 넓은 공간에서 많은 사람이 여러 메뉴를 결제하는 것이 일반적인 환경에서 사용자를 분산시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 셀프 결제 시스템을 설명하기 위한 블록도이다.
도 2는 도 1의 음식 스캔 단말을 설명하기 위한 블록도이다.
도 3는 도 1의 중앙 서버를 설명하기 위한 블록도이다.
도 4는 사용자 단말을 통해 결제가 이루어지는 것을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 셀프 결제 방법을 설명하기 위한 플로우차트이다.
이하, 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 바람직한 실시예를 상세히 설명한다. 다만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예로 한정되지 않는다. 또한, 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 동일한 참조번호를 부여한다. 또한, 본 명세서에서 어떤 구성요소가 다른 구성요소에 "연결"되어 있다거나, "접속"되어 있다고 할 때, 이는 양 구성이 "직접적으로" 연결되어 있는 경우뿐 아니라, 그 사이에 다른 구성이 개재하여 연결되어 있는 경우도 포함하며, 또한, "물리적으로" 연결되어 있는 경우뿐만 아니라, "기능적 또는 통신적으로" 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 셀프 결제 시스템을 설명하기 위한 블록도이다. 도 2는 도 1의 음식 스캔 단말을 설명하기 위한 블록도이다. 도 3은 도 1의 중앙 서버를 설명하기 위한 블록도이다.
도 1 내지 도 3을 참조하면, 본 발명의 셀프 결제 시스템(1000)은, 적어도 하나 이상의 셀프 서비스형 식당을 이용하고자 하는 다수의 사용자가 자신이 원하는 음식을 선택한 후, 자신의 사용자 단말을 이용하여 고유의 식별키를 통해 사용자임을 인증한 후, 선택한 음식에 대한 결제 정보를 제공받아 결제를 진행할 수 있도록 구성된다. 예를 들어, 상기 셀프 결제 시스템(1000)은 적어도 하나 이상의 운영자가 운영하는 셀프 서비스형 매장 또는 식당(이하, 셀프 서비스형 매장 또는 식당을 "식당"으로 간략히 칭한다.)에서 사용자가 선택가능한 형태로 다수의 음식 메뉴를 취급하는 식당에 적용되거나, 또는 셀프 서비스형 식당에서 이미 운영 중인 다른 결제 서비스와 제휴를 맺은 형태로 사용자와 다른 결제 서비스를 중개하는 형태로 서비스를 제공할 수도 있다.
상기 셀프 결제 시스템(1000)은 사용자 단말(100), 셀프 서비스형 식당을 운영하는 운영자 단말(200), 식당 내에 음식 메뉴 및 사용자 식별 정보를 스캔하도록 구성된 음식 스캔 단말(300) 및 상기 운영자 단말(200)을 통해 운영자가 식당에서 취급하는 하나 이상의 음식 또는 상품에 대한 데이터가 등록되고, 상기 사용자 단말(100)을 통해 자신의 사용자 고유 식별키를 등록하거나, 또는 회원가입에 의해 자동으로 생성되는 고유 식별키를 통해 자신이 선택한 음식에 대한 결제 정보를 제공받아 결제를 진행할 수 있도록 지원하는 중앙 서버(400)를 포함한다.
상기 사용자 단말(100)은 상기 셀프 결제 시스템(1000)이 적용된 식당에서 적어도 하나 이상의 음식 또는 상품을 구매하여 취식하고자 하는 개인(이하, '사용자'라 칭함.)이 소유하고 있는 휴대용 단말로서, 사용자가 웹(Web), 앱(Application) 또는 웹앱의 형태로 상기 네트워크(10)를 통해 상기 중앙 서버(400)에 통신 접속하여 신규 가입 또는 로그인을 수행하고, 자신의 사용자 고유 식별키를 등록하거나, 또는 이와 달리 신규 가입에 의해 사용자별로 자동으로 생성되는 고유 식별키가 등록된다. 예를 들어, 사용자는 자신의 고유 식별키로 카드, 토큰 등의 물리적 수단의 일련 코드를 입력할 수 있으며, 사용자 인증을 통해 부여되는 바코드 또는 QR 코드가 등록될 수 있다.
즉, 사용자는 사용자 단말(100)에 등록된 자신의 고유의 식별키를 이용하여, 식당에서 자신을 인증하고, 원하는 음식 또는 상품에 대한 결제를 위한 결제 정보를 사용자 단말로 제공받는다. 한편, 사용자임을 인증하는 방법으로, 고유 식별키로 카드, 토큰 등의 물리적 수단의 일련 코드를 사용자 단말에 등록한 경우, 해당 물리적 수단을 통해 후술할 음식 스캔 단말(300)에 근거리 통신, 예를 들어, NFC, 또는 RFID 등을 통한 스캔으로 사용자임을 인증할 수 있다. 또는, 신규 가입 후, 사용자 인증을 통해 부여되는 바코드 또는 QR 코드를 음식 스캔 단말(300)의 카메라에 스캔함으로써, 사용자임을 인증할 수 있다. 즉, 본 실시예에 따른 셀프 계산 시스템은, 사용자가 선택한 음식의 결제를 위해 해당 음식을 결제할 사용자를 확정하기 위한 절차로서, 사용자 식별코드를 통한 사용자 인증 절차를 포함한다.
상기 사용자 단말(100)은 사용자가 선택한 음식 또는 상품에 대한 결제 정보를 제공받도록 구성된다. 구체적으로, 음식 스캔 단말(300)은 사용자가 선택한 음식 또는 상품을 스캔하고, 사용자 인증을 절차를 거쳐 해당 음식 또는 상품에 대한 가격정보를 사용자에 매칭시키도록 구성된다. 이에 따라, 상기 사용자 단말은 상기 스캔 단말(300)로부터 또는 이에 대한 매칭 정보를 중앙 서버(400)에 송신함으로써, 상기 중앙 서버(400)로부터 해당 결제 정보를 수신할 수 있다.
사용자는 사용자 단말(100)을 이용하여 수신한 결제 정보에 기초하여 결제를 진행할 수 있다. 예를 들어, 사용자로부터 결제 요청이 있으면, 사용자 단말(100)은 결제 대행사의 서버와 통신하도록 구성된다. 상기 결제 대행사 서버는, 예를 들어, 카드사, 휴대폰 폰빌 등의 서버 또는 별도 제휴한 통신사의 서버일 수 있다. 즉, 사용자는 사용자 단말(100)을 통해, 자신이 선택한 음식 또는 상품을 결제를 할 수 있거나, 사용자가 셀프 결제 시스템(1000)에서 이용가능한 포인트를 선결제하고, 서비스를 이용함에 있어 포인트를 소비하도록 할 수도 있다.
예를 들어, 결제 대행사와 제휴하여 사용자 단말(100)로부터의 인증 또는 결제 요청이 있을 때, 결제 대행사의 서버와 연동된 클라이언트 프로그램과 에이피아이 등을 통하여 인증 또는 결제 정보를 결제 대행사의 서버로 전송하여, 결제 대행사의 서버에서 인증 및 결제 절차를 수행하고, 인증 및 결제 절차가 완료되면 해당 결제 대행사 서버에 고객의 식별코드(사용자 고유 식별키), 음식 메뉴 식별코드(식당별 음식 메뉴 식별키), 결제 금액, 결제 시간 등의 인증 또는 결제 정보가 저장된다. 이러한 인증과 결제 성공 신호를 받아, 고객 DB(20) 또는 별도의 결제 DB에 동일한 정보를 저장시킨다.
본 실시예에 따른 셀프 결제 시스템(1000)은 사용자는 사용자 단말(100)을 이용하여 수신한 결제 정보에 기초하여 결제를 진행하는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 사용자는 셀프 결제 시스템(1000)에 신규 가입하는 과정에서 적어도 하나 이상의 결제 수단을 사전에 등록할 수 있으며, 결제 정보의 수신과 함께, 자동으로 결제가 진행되도록 할 수도 있다. 상기 결제 정보는 상기 셀프 결제 시스템(1000)과 연동되는 애플리케이션에서 알림 형태로 제공받을 수 있으며, 해당 애플리케이션에서 결제를 진행할 수 있지만, 이와 달리, 문자 형태로, 또는 SNS로 결제 정보를 수신받을 수 있으며, 결제는 SNS 상의 포인트, 페이 또는 사용자 단말에서 구동되는 별도의 결제 애플리케이션을 통해 이루어질 수도 있다.
또한, 사용자는 상기 사용자 단말(100)을 통해 취식한 음식 메뉴에 대한 평점 등을 입력하거나 또는 선호하는 음식 정보를 입력할 수 있다. 해당 정보는 상기 중앙 서버(400)에 누적하여 저장된 후, 해당 식당별 운영자 단말(200)로 정보를 전송할 수 있다.
상기 운영자 단말(200)은 적어도 하나 이상의 음식 또는 상품을 취급하는 식당을 운영하는 개인 또는 업체(이파, '운영자'라 칭함.)가 소유하고 있는 컴퓨터나 휴대용 단말로서, 운영자가 웹(Web), 앱(Application) 또는 웹앱의 형태로 상기 네트워크(10)를 통해 상기 중앙 서버(400)에 통신 접속하여 신규 가입 또는 로그인을 수행하고, 운영하는 식당에서 취급하는 음식 메뉴로서 적어도 하나 이상의 음식 또는 상품에 대한 데이터를 입력하여 중앙 서버(400)에 등록하도록 구성된다. 음식 또는 상품에 대한 데이터는 후술하는 중앙 서버(400)의 음식 정보 관리부(430)와 관련하여 상세히 설명하도록 한다.
한편, 상기 운영자 단말(200)은 사용자의 결제 정보에 기초하여, 식당별 매출, 음식 또는 상품별 판매수량, 등 통계 내지 분석 정보를 상기 중앙 서버(400)로부터 전송받을 수 있으며, 상기 사용자 단말(100)을 통해 입력된 취식한 음식 메뉴에 대한 평점 또는 선호하는 음식 정보는 피드백 형태로 해당 식당별 운영자 단말(200)로 전송될 수 있다.
여기서, 운영자 단말(200)일 수 있는 컴퓨터는 예를 들어, 웹브라우저(WEB Browser)가 탑재된 데스크톱(desktop), 랩톱(laptop), 테블릿 PC(Tablet PC) 등을 포함하고, 사용자 단말(100) 및 운영자 단말(200)일 수 있는 휴대용 단말은 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smartphone), PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같이 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
또한, 상기 사용자 단말(100), 상기 운영자 단말(200), 음식 스캔 단말(300) 및 상기 중앙 서버(400) 간을 연결하는 네트워크(10)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet), Mobile WiMAX, HSDPA(High Speed Downlink Packet Access) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 음식 스캔 단말(300)의 블록도가 도시된다. 상기 음식 스캔 단말(300)은, 카메라를 통해 사용자가 선택한 음식을 스캔하고, 사용자 단말(100)의 사용자 고유의 식별키 예를 들어, QR 코드를 스캔하고, 미리 학습된 식당별 음식 식별 모델에 기초하여 사용자가 선택한 음식 메뉴를 식별하고, 함께 식별된 사용자의 사용자 단말로 식별된 음식에 대한 총 비용에 대한 가격 정보를 송신하도록 구성된다.
상기 음식 스캔 단말(300)은 카메라부를 통해 배식 라인을 통해 이동되는 사용자별 트레이에 상에 놓여진 음식 또는 상품을 촬영하고, 이에 따라 획득된 영상 데이터를 기초로 음식 메뉴를 검출하도록 구성된다. 예를 들어, 상기 음식 스캔 단말(300)은 도 1에 도시된 바와 같이 배식 라인의 최종부에 지지대를 통해 카메라부(310)가 하면을 촬영하도록 설치되어 이동하는 음식 메뉴를 상면에서 촬영하도록 구성될 수 있다. 사용자는 배식 라인을 따라 원하는 음식 또는 상품을 자신의 트레이 안에 담고 이동하며, 배식 라인은 적어도 하나 이상으로 구성될 수 있다. 이 경우, 상기 음식 스캔 단말(300)은 배식 라인에 갯수에 대응하여 식당 내 배치될 수 있다.
상기 음식 스캔 단말(300)은 딥 러닝 알고리즘을 이용한 객체 인식 기술을 활용하여 카메라부를 통해 입력되는 영상 데이터 내의 음식 메뉴를 검출하고, 판단하도록 구성된다. 또한, 상기 음식 스캔 단말(300)은 도 4에 도시된 바와 같이 영상 데이터에 하나의 음식 메뉴가 포함된 경우뿐만 아니라 영상 데이터 내에 복수의 음식 메뉴가 포함된 경우에도, 한번에 복수의 음식 메뉴를 검출할 수 있다. 여기서, 검출되는 음식 메뉴는 학습 가능한 일정한 형태를 갖는 음식 메뉴로서, 규격 및 종류를 불문한다.
이를 위해, 상기 음식 스캔 단말(300)은 카메라부(310), 사용자 식별부(330), 음식 판단부(350), 및 가격 정보 생성부(370)를 포함한다.
상기 카메라부(310)는 음식 메뉴의 상면에서 촬영하도록 구성된다. 예를 들어, 상기 카메라부(310)은, 도 1에 도시된 바와 같이 배식 라인의 상부에 배치되어 배식 라인을 통해 이동하는 트레이 내의 음식 메뉴를 실시간으로 촬영함으로써 음식 또는 상품이 포함된 영상 데이터를 획득하도록 구성된다. 구체적으로, 상기 카메라부(310)은 1초에 다수의 프레임(이미지)을 처리 가능하도록 구성되어, 적어도 하나의 프레임이 포함된 영상 데이터를 획득하도록 구성되며, 획득된 영상 데이터를 상기 카메라부(310)과 연결된 상기 음식 판단부(350)로 출력하도록 구성된다. 예를 들어, 상기 영상 데이터는 동영상과 같이 사용자의 눈에 보여지게 되는 움직이는 영상의 데이터일 수 있다. 이 경우, 당해 영상 데이터에는 재생시간의 흐름에 따라 음식 또는 상품과 관련된 프레임뿐만 아니라 제품들 간의 사이 영역과 같이, 음식 또는 상품과 무관한 다양한 형상의 프레임이 포함될 수 있다. 또는, 이와 달리, 음식 또는 상품과 관련된 영상 데이터만을 효과적으로 얻기 위하여, 상기 카메라부(310)은 별도의 감지 센서 등을 통해 배식 라인을 따라 이동되는 트레이가 카메라부의 아래에 위치될 때, 제품을 촬영하도록 구성될 수도 있다.
또한, 상기 카메라부(310)은 선명한 영상 데이터를 획득하기 위하여, 자동 초점(Auto-focus) 기능, 자동 플레쉬 기능을 포함하도록 구성될 수 있다. 이에 따라, 상기 카메라부(310)가 선명한 영상 데이터를 획득함에 있어, 식당 환경으로부터의 영향을 최소화할 수 있으며, 영상 데이터 내에서 객체를 높은 신뢰도로 검출할 수 있다.
또한, 상기 음식 스캔 단말(300)은, 하나의 카메라부(310)로부터 획득된 영상 데이터로부터 음식 메뉴를 검출하는 것을 도시하고 있으나, 이에 한정되지 않는다. 예를 들어, 상기 카메라부(310)은 배식 라인별로 시점을 달리하여 복수 개가 설치될 수 있으며, 상기 음식 스캔 단말(300)은 중앙 시스템으로서 복수의 카메라부로부터 획득된 영상 데이터들을 동시에 처리하도록 구성될 수 있다.
상기 사용자 식별부(330)는 사용자가 사용자 단말(100)을 통해 사용자 인증 절차를 거치면, 인증된 정보를 기초로 사용자를 식별하도록 구성된다. 구체적으로, 사용자는 자신의 사용자 단말(100)의 화면에 자신의 고유 식별키인 QR 코드를 출력하고, 해당 QR 코드를 상기 카메라부(310)에 스캔시킴으로써 사용자 인증(체크인)을 수행할 수 있다. 상기 카메라부(310)는 상기 음식 영상으로부터 음식 메뉴를 스캔함과 동시에 사용자의 QR 코드를 스캔하여 사용자를 식별할 수 있다. 즉, 상기 사용자 식별부(330)는, 상기 중앙 서버에 등록된 사용자 고유 식별키를 참조하여 매칭되는 사용자의 식별을 수행할 수 있다.
또는, 이와 달리 QR 코드를 스캔한한 후, 음식 영상으로부터 음식 메뉴를 스캔할 수 있다. 이 경우, 카메라부(310)에 사용자 단말의 QR 코드가 스캔되면, 음식 메뉴 스캔 기능이 활성화되어, 음식 영상에 대한 음식 메뉴의 상면에서 스캔한 영상을 후술하는 음식 판단부(350)에 전달하도록 구성될 수 있다.
한편, 상기 사용자 식별부(330)는 QR 코드가 아닌 다른 인증 수단을 통해 사용자를 인식할 수 있다. 예를 들어, NFC, RFID, 블루투스(BLUETOOTH)와 같은 근거리 무선 통신을 통해, 사용자 단말로부터 사용자를 인식할 수 있다. 구체적으로, 상기 사용자 식별부(330)는 상기 음식 스캔 단말(300)의 근거리 무선 통신을 이용하여, 상기 사용자 단말(100)로부터 사용자 고유 식별키를 수신하고, 수신한 사용자 고유 식별키를 상기 네트워크(10)를 통해 상기 중앙 서버(400)로 송신하여, 상기 중앙 서버(400)로부터 사용자 매칭 여부를 수신하여 사용자를 식별하도록 구성된다.
또한, 상기 사용자 식별부(330)는 상기 사용자 단말(100)로부터 상기 사용자 고유 식별키를 수신하면, 상기 음식 스캔 단말(300)의 고유의 스캔 모듈 식별키도 함께 상기 네트워크(10)를 통해 상기 중앙 서버(400)로 송신할 수 있다. 이에 따라, 상기 중앙 서버(400)는 스캔 모듈 식별키를 통해 사용자의 접근 내지 이용을 시도한 식당을 식별할 수 있으며, 해당 정보는 사용자의 서비스 이용에 대한 분석에 활용될 수 있다.
상기 음식 판단부(350)는, 딥 러닝 알고리즘을 이용하여 학습한 음식 식별 모델을 통해 운영자가 등록한 음식 또는 상품인 객체를 검출하도록 구성된다. 예를 들어, 상기 음식 판단부(350)는 상기 카메라부(310)로부터 입력된 영상 데이터에 대해 일정 시간 간격으로 객체를 자동으로 검출하고, 검출된 객체에 대해 딥 네트워크를 이용한 추적 기술을 적용함으로써 실시간 처리를 행하고, 객체가 검색되는 영역을 최소화하는 방법을 적용하여 딥 네트워크를 설계하고 트레이닝하도록 구성될 수 있다. 상기 딥 네트워크는 DNN(Deep Neural Network) 기반의 딥 러닝 알고리즘에 따른 신경 회로망일 수 있으며, 해당 신경 회로망은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성된다. 여기서의, 상기 딥 네트워크는 DNN 이외의 다른 신경망이 적용될 수도 있으며, 일례로, CNN(Convolution Neural Network)이나 RNN(Recurrent Neural Network)과 같은 신경망이 적용될 수도 있다.
상기 딥 러닝 알고리즘을 이용한 음식 식별 모델의 생성은 상기 중앙 서버(400)에서 이루어지며, 식당별 생성된 상기 음식 식별 모델은 상기 음식 스캔 단말(300)로 전송된다. 즉, 상기 음식 판단부(350)는 상기 중앙 서버(400)로부터 수신된 음식 식별 모델에 기초하여, 음식 또는 상품인 객체를 검출하고, 동시에 식별하도록 구성된다.
상기 음식 판단부(350)는 입력된 영상 데이터 중 적어도 하나의 프레임으로부터 객체를 검출하도록 구성된다. 예를 들어, 상기 음식 판단부(350)는 영상 데이터의 연속된 복수의 프레임 또는 이들로부터 랜덤으로 추출된 일정 개수 이상의 프레임에 대해, 동영상 기반의 딥 네트워크를 적용하여 객체를 검출할 수 있다. 이 경우, 인접하는 프레임들로부터 검출되는 객체의 움직임을 추적할 수 있으며, 또한 프레임별로 복수의 객체가 포함된 경우에도, 각 객체 별로 움직임을 추적할 수도 있다. 또는 이와 달리, 상기 음식 판단부(350)는 입력된 영상 데이터 중 대표 프레임을 선정하고, 당해 대표 프레임을 기초로 이미지 기반의 딥 네트워크를 적용하여 객체를 검출할 수도 있다. 예를 들어, 상기 대표 프레임은, 별도의 감지 센서 등을 통해 라인을 통해 이동되는 제품이 상기 카메라부(310)의 바로 아래에 위치될 때, 획득되는 프레임일 수 있다. 즉, 사용자 식별부(330)로부터 사용자 식별이 완료된 시점에서의 상기 카메라부(310)로부터 입력된 영상이 대표 프레임으로 취급될 수 있다.
또한, 도시되진 않았으나, 상기 카메라부(310)로부터 획득된 영상 데이터는 상기 음식 판단부(350)에 입력되기 전, 그레이(Gray) 변환 및 평활화(Equalize) 처리 등이 되도록 구성될 수 있다. 여기서, 그레이 변환은 3채널 색상을 가진 이미지를 gray scale의 이미지로 바꾸는 것인데 이는 평활화 처리를 효과적으로 하기 위한 것이며, 평활화 처리는 조명 또는 플레쉬에 의해 이미지의 밝기 분포가 치우친 것을 넓은 영역에 거쳐 분포하도록 넓혀 주기 위한 것으로, 즉, 밝기 분포를 넓히기 위함이다. 이에 따라, 영상 데이터 내에서 음식 메뉴를 높은 신뢰도로 검출할 수 있다. 한편, 상기 영상 데이터에는 공지의 다양한 이미지 처리 기법 역시 적용될 수 있으며, 이에 대해서는 자세한 설명을 생략한다. 아울러, 상기 영상 데이터는 상기 음식 판단부(350)에 입력되기 전에 처리되는 것을 예로 설명하였으나, 이에 한정되진 않는다. 예를 들어, 상기 음식 판단부(350)가 영상 데이터 내에서 음식 메뉴를 검출한 이후, 음식 메뉴를 식별하기 위해서 해당 영상 데이터를 처리하도록 구성될 수도 있다.
상기 음식 판단부(350)는 딥 네트워크를 이용하여 상기 카메라부(310)로부터 입력된 영상 데이터에 대해 자동으로 음식 메뉴를 검출하도록 구성되며, 검출된 음식 메뉴의 위치 정보, 크기 정보, 그리고 검출의 신뢰도 값 등을 출력하도록 구성될 수 있다. 아울러, 상기 음식 판단부(350)는 상기 카메라부(310)로부터 촬영되는 음식 메뉴의 크기를 사전에 모르기 때문에 영상 데이터에서 미리 설정된 스케일들 각각에서 음식 메뉴 영역을 검색하면서 음식 메뉴 존재 유무를 확인하여, 음식 메뉴를 검출하도록 구성된다. 즉, 도 4와 같이, 음식 메뉴가 검출되면 테두리에 해당하는 검출 영역을 표시하도록 한다.
또한, 상기 음식 판단부(350)에서 딥 네트워크를 통해 검출된 음식 메뉴를 추출하고, 자동으로 추출된 음식 메뉴를 식별하도록 구성된다. 예를 들어, 상기 음식 판단부(350)는 음식 메뉴를 식별하기 전, 당해 영상 데이터에 포함된 음식 메뉴의 기울기 또는 음식 메뉴의 위치 및 크기 정보에 기초하여 추출된 음식 메뉴의 회전 변환 또는 크기 변환을 수행하여, 음식 메뉴의 식별을 효과적으로 수행할 수 있도록 구성될 수 있다.
한편, 본 실시예에 따른 음식 판단부(350)는 음식 스캔 단말(300)의 카메라(310)로부터 입력되는 영상 데이터에 기초하여, 음식 메뉴를 검출하고, 식별하는 것을 예로 설명하였으나, 이에 한정되지 않는다. 후술하는 중앙 서버(400)와의 통신을 통해 일부 프로세스는 상기 중앙 서버(400)에서 처리될 수 있다. 예를 들어, 상기 음식 스캔 단말(300)은 사용자 식별이 완료된 후, 음식 메뉴를 포함하는 영상을 상기 중앙 서버(400)로 전송하고, 상기 중앙 서버에서 음식 식별 모델에 기초하여, 음식 메뉴를 검출하고 식별한 후, 식별된 음식 메뉴 정보를 상기 음식 스캔 단말(300)에 전송하여 최종 음식을 판단할 수도 있다. 또는 이와 달리, 음식 메뉴의 검출은 음식 스캔 단말(300)에서 이루어지고, 음식 메뉴 식별은 중앙 서버(400)에서 이루어질 수 있다. 또는 이와 달리, 음식 메뉴의 검출과 동시에 식별이 이루어질 수도 있다.
상기 결제 정보 생성부(370)는, 사용자별 선택한 음식 또는 상품에 대한 음식 메뉴 식별이 이루어지면, 해당 음식 메뉴에 대한 총 비용을 산출하여 결제 정보를 생성하도록 구성된다. 해당 결제 정보는 식별된 사용자의 사용자 단말(100)로 전송되며, 이에 따라 사용자 단말(100) 상에서 결제가 이루어지도록 한다. 이 때, 총 비용 산출은 운영자로부터 등록된 음식 또는 상품별 가격 정보에 기초한다.
한편, 본 실시예에 따른 결제 정보는 음식 스캔 단말(300)에서 생성되는 것을 예로 설명하였으나, 이에 한정되지 않는다. 후술하는 중앙 서버(400)에서 식별된 음식 메뉴 정보에 기초하여 산출되어, 상기 음식 스캔 단말(300) 또는 사용자 단말(100)로 전송될 수도 있다.
본 실시예에 따른 음식 스캔 단말(300)의 구성들 중 적어도 하나 및 이들을 제어하기 위한 구성은 하드웨어 구성(hardware component), 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component) 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), FLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 특히, 상기 음식 판단부(350)는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 상기 음식 스캔 단말(300)에 탑재될 수도 있다.
소프트웨어적인 구현에 의하면, 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있으며, 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 음식 스캔 단말(300)의 메모리에 저장되고, 별도의 제어부에 의해 실행될 수 있다. 특히, 상기 음식 판단부(350)는 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
본 실시예에 따른 음식 스캔 단말(300)은 상기 카메라부(310)가 배식 라인의 상부에 배치되어 배식 라인을 통해 이동되는 음식 메뉴를 촬영하도록 구성된 것을 예로 설명하였으나, 이에 한정되지 않는다. 상기 음식 스캔 단말(300)은 스마트폰 등과 같이 카메라를 포함하는 단말 장치로서, 운영자에 의해 조작되는 핸드 헬드 방식의 단말 장치일 수도 있다.
이하, 도 3을 참조하여 본 실시예에 따른 중앙 서버(400)를 상세하게 설명한다.
상기 중앙 서버(400)는 고객 관리부(410), 음식 정보 관리부(430), 및 음식 식별 모델 생성부(450)를 포함한다.
상기 고객 관리부(410)는 상기 셀프 결제 시스템(1000)을 이용하여 셀프 서비스형 식당에서 선택한 음식 또는 상품을 구매하고자 하는 사용자 및 셀프 서비스형 식당을 운영하는 운영자를 고객으로서 등록하고 관리한다. 예를 들어, 상기 고객 관리부(410)는 사용자의 등록 정보를 저장하고 관리하는 사용자 관리 모듈, 및 운영자의 등록 정보를 저장하고 관리하는 운영자 관리 모듈을 포함할 수 있다.
상기 사용자 관리 모듈은 상기 사용자 단말(100)로부터 입력되는 사용자의 성명, 주민등록번호, 주소, 연락처 등의 기본 정보를 등록받아 고객 DB(20)에 저장하고 관리하도록 구성된다. 상기 사용자 관리 모듈은 사용자별로 식별코드를 부여하며, 이에 매칭시켜 상기 중앙 서버(400)에서 사용자가 결제한 음식 또는 상품에 대한 결제 정보 및 식당 이용 정보를 누적하여 저장하도록 구성된다.
상기 사용자 관리 모듈은, 사용자가 상기 셀프 결제 시스템(1000)에 회원가입을 하면, 사용자의 고유의 식별키인 QR 코드를 생성하며, 생성된 QR 코드는 사용자 단말(100)로 전송한다. 즉, 상기 사용자 관리 모듈은 사용자별로 고유한 사용자 고유 식별키를 생성하고, 관리하도록 구성된다. 예를 들어, 상기 사용자 관리 모듈은 사용자별로 사용자 고유 식별키를 생성하고, 고객 DB(20) 상의 사용자 정보에 매칭하여 상기 사용자 고유 식별키를 저장하여 관리하도록 구성될 수 있다. 사용자 고유 식별키인 사용자별 QR 코드는 사용 기한이 정해져 있어 정기적으로 변경될 수 있으며, 변경 시 사용자 인증절차를 거쳐 사용자 단말(100)로 전송할 수 있다.
상기 사용자 고유 식별키는 사용자가 상기 중앙 서버(400)에 신상 정보를 입력하고 회원 가입을 함으로써, 순차적으로 부여될 수 있으며, 또는 사용자의 고유의 정보 예를 들어, 사용자 고유의 비밀 번호, 또는 휴대폰 번호, 또는 사용자 단말 고유의 일련 코드 등에 기초하여 생성될 수 있다.
상기 운영자 관리 모듈은 상기 운영자 단말(200)로부터 입력되는 운영자의 성명, 주민등록번호, 주소, 연락처 등의 기본 정보 또는 업체인 경우, 업체명, 사업자등록번호, 주소, 연락처 등의 기본 정보를 등록받아 고객 DB(20)에 저장하고 관리하도록 구성된다. 상기 운영자 관리 모듈은, 운영자 또는 운영하는 식당에 대해 운영자 식별 코드를 부여하며, 상기 중앙 서버(400)에 운영자가 등록한 음식 또는 상품의 명칭, 영상 정보 및 음식 가격 정보를 포함하는 데이터를 상기 운영자 식별 코드와 매칭시켜 저장한다. 상기 음식 또는 상품의 명칭, 즉, 리스트 정보는 상기 고객 DB(20)에 함께 저장될 수 있다. 한편, 함께 입력되는 음식 영상 정보 및 음식 가격 정보는 각각 운영자의 식별코드와 매칭시켜 음식 영상 DB(30) 및 음식 가격 DB(40)에 저장하고 관리된다.
또한, 본 발명의 일 실시예는 고객 관리부(410)가 사용자 및 운영자를 고객 DB(20)에 저장하고 관리하는 것을 예로 들어 설명하였으나, 이에 한정되지 않으며, 각각 별도의 DB를 통해 관리할 수도 있다. 또한, 본 실시예는 사용자 및 운영자를 구분해서 서로 다른 모듈에서 정보를 관리하는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 상기 고객 관리부(410)는 고객을 구분없이 등록하고 통합하여 관리할 수도 있다. 이 경우, 상기 고객 관리부(410)는, 사용자 및 운영자가 상기 중앙 서버(400)로 접속하고 로그인을 수행하면, 접속한 자가 고객인지 여부를 확인하고, 고객임을 확인하면, 접속한 자가 사용자인지 또는 운영자인지 여부에 따라, 그에 대응되는 서비스를 제공받도록 사용자 단말(100) 및 운영자 단말(200)에 표시되는 인터페이스를 전환시킬 수도 있다.
상기 음식 정보 관리부(430)는 운영자 단말(200)로부터 운영자가 운영하는 셀프 서비스형 식당에서 취급하는 음식 또는 상품이 속하는 대분류, 중분류, 소분류에 따른 제품군 정보, 해당 음식 또는 상품의 영상 정보, 및 가격 정보를 등록하여 관리하도록 구성된다.
여기서, 음식은 사용자가 1회 식사에서 선택가능한 메인 메뉴, 곁들어 먹을 수 있는 추가 메뉴들을 포함하며, 예를 들어, 볶음밥을 메인 메뉴로 하는 경우, 사용자의 선택에 의한 빵, 치킨 조각, 구체적으로, 닭다리, 닭날개 등의 부위, 샐러드 등을 포함할 수 있으며, 사용자는 1인용 또는 2인용 이상의 다수의 음식을 선택할 수 있다. 상품은 식사 대용 또는 음식과 곁들어 먹을 수 있는 메뉴일 수 있으며, 예를 들어, 편의점, 카페테리아 등에서 취급되는 각종 상품 또는 시중에서 판매되는 상품, 예를 들어, 포장된 빵, 우유, 음료수, 등을 포함할 수 있다.
상기 음식 또는 상품에 대한 데이터는 각 음식 또는 상품에 대한 명칭, 영상 정보, 가격 정보 등을 포함한다. 상기 영상 정보는 운영하는 식당에 설치된 음식 스캔 단말(300)의 카메라 화상 시점과 동일한 시점의 영상을 포함한다. 이는, 해당 영상 정보는 데이터 증강 처리를 거쳐 음식 식별 모델을 생성하기 위한 데이터로 활용되며, 음식 스캔 단말(300)의 카메라 화상 시점에 따라 인식률이 다르기 때문에, 학습되는 영상의 시점을 해당 시점에 강인하게 하기 위함으로, 해당 시점은 예를 들어, 음식을 위에서 아래로 내려다 보는 시점일 수 있다. 다만, 이는 2D 객체 인식 기술을 상정한 것으로, 3D 객체 인식 기술의 경우, 음식 스캔 단말(300)의 카메라 화상 시점에 구애됨 없이, 음식을 식별하기 위하여, 상기 영상 정보는 모든 시점에 대한 음식 영상 또는 적어도 미리 정해진 정면, 후면, 좌측, 우측, 상부에서 바로본 영상을 포함할 수 있다.
상기 음식 또는 상품에 대한 데이터 입력을 위해 운영자 단말(200)로부터 각 음식 또는 상품에 대한 명칭이 입력되면, 해당 운영자 단말의 식당 식별코드와 매칭되어, 각 음식 또는 상품에 대한 식별코드가 생성되고 관리된다. 즉, 해당 식별 코드는 식당별로 서로 다르게 부여될 수 있고, 또는 음식명 또는 상품명에 따라 동일한 식별코드가 부여될 수 있다. 이에 따라, 동일 상품에 해당되는 경우, 운영자는 동일한 상품에 대한 데이터를 추가 입력할 필요가 없다.
상기 음식 또는 상품에 대한 영상은 각 음식 또는 상품에 대한 식별코드와 매칭되어 음식 영상 DB(30)에 저장되어 관리되며, 식당별 음식 식별 모델 학습을 위해 사용된다. 음식은 여러 식재료의 조합으로 이루어지기 때문에, 그릇에 담긴 상태에서 여러 식재료의 위치, 음식의 양, 색깔 등에 따라 다르게 식별될 수 있기 때문에, 신뢰도 높은 식별을 위해 운영자 단말에 다수의 영상의 등록을 요청할 수 있으며, 식당별 취급하는 음식 메뉴에 변화가 있는 경우, 운영자 단말(200)로부터 음식 식별 모델을 업데이트하기 위한 영상 정보를 추가로 제공받거나, 또는 음식 스캔 단말(300)로부터 해당 음식이 스캔된 영상을 제공받을 수 있다. 한편, 음식에 대한 영상은 동일 음식이라도 식당별로 구성을 달리하므로, 식당별 운영자 단말(200)을 통해 데이터를 수신하여 저장하는 것을 원칙으로 하나, 상품에 대한 영상은 일반적으로 시중에서 판매되는 상품에 해당되는 경우, 식별 모델 학습을 위한 데이터 입력을 생략할 수 있다. 이 경우, 운영자는 운영자 단말(200)을 통해 영상 입력에 앞서, 상품을 검색할 수 있고, 충분한 데이터를 통해 식별 모델이 생성된 상품의 경우는 운영자에게 피드백을 주어, 영상 입력을 생략할 수 있다.
상기 음식 또는 상품에 대한 가격 정보는 각 음식 또는 상품에 대한 식별코드와 매칭되어 음식 가격 DB(40)에 저장되어 관리되며, 해당 정보는 중앙 서버(400)에서 관리하거나, 또는 식당별 음식 스캔 단말(300)로 송신하여 관리될 수 있다. 이에 따라, 사용자가 선택한 음식이 상기 음식 스캔 단말(300)에 의해 식별되면, 해당 음식별 가격을 합산한 총 비용을 산출할 수 있다.
상기 음식 또는 상품에 대한 가격 정보 역시 식당별로 구성을 달리하므로, 식당별 운영자 단말(200)을 통해 데이터를 수신하여 저장하는 것을 원칙으로 하나, 상품의 경우, 일반적으로 시중에서 판매되는 소비자가가 정해진 경우, 가격 정보의입력을 생략할 수 있다. 또한, 동일 음식의 경우, 다른 식당에서 정한 가격 정보에 대한 평균 가격을 제시할 수도 있다.
상기 음식 식별 모델 생성부(450)는 딥 러닝에 기반하여 식당별로 취급하는 음식 영상을 학습한 음식 식별 모델을 생성하도록 구성된다. 예를 들어, 상기 음식 식별 모델 생성부(450)는 식당별 식당 식별 코드와 매칭되어 저장된 음식 영상을 학습하여, 식당별 음식 식별 모델을 생성하도록 구성된다. 즉, 식당별 음식 식별 모델의 생성을 위해 식당별 음식 영상은 적어도 하나 이상의 영상을 포함하며, 상기 음식 식별 모델 생성부(450)는 음식 영상 DB(30)에 저장된 영상을 데이터 증강 처리를 거쳐 학습을 위한 다수의 음식 영상을 생성한다.
해당 다수의 음식 영상은 학습 데이터 세트로 하여, 지도학습(Supervised Learning)을 실행할 수 있다. 운영자 단말로부터 제공받은 음식 영상에 대해 반복적으로 학습 데이터 세트를 얻고, 이를 반복하여 학습을 수행할 수 있다. 즉, 운영자가 여러 시점에 따라 획득한 음식 영상을 제공하는 경우, 2차원 또는 3차원의 음식 영상이 학습된 음식 식별 모델을 학습시킬 수 있으며, 또한, 특정의 시점에서의 2차원의 음식 영상이 학습된 음식 식별 모델을 학습시키기 위해서는, 학습 데이터 세트는 특정 시점에서의 2차원의 음식 영상일 것이 요구된다.
이와 달리, 인공지능 학습은 비지도 학습 형태로 이루어질 수 있으며, 또는 이와 달리, 부분 지도 학습이 이루어질 수 있다.
상기 음식 식별 모델 생성부(450)는 영상 데이터에 대해 일정 시간 간격으로 객체를 자동으로 검출하고, 검출된 객체에 대해 딥 네트워크를 이용한 추적 기술을 적용함으로써 실시간 처리를 행하고, 객체가 검색되는 영역을 최소화하는 방법을 적용하여 딥 네트워크를 설계하고 트레이닝하여, 음식 식별 모델을 생성할 수 있다. 상기 딥 네트워크는 DNN(Deep Neural Network) 기반의 딥 러닝 알고리즘에 따른 신경 회로망일 수 있으며, 해당 신경 회로망은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성된다. 여기서의, 상기 딥 네트워크는 DNN 이외의 다른 신경망이 적용될 수도 있으며, 일례로, CNN(Convolution Neural Network)이나 RNN(Recurrent Neural Network)과 같은 신경망이 적용될 수도 있다.
상기 음식 식별 모델 생성부(450)에서 생성된 음식 식별 모델은 대응되는 식당별 음식 스캔 단말(300)로 전송된다. 즉, 상기 음식 판단부(350)는 상기 중앙 서버(400)로부터 수신된 음식 식별 모델에 기초하여, 음식 또는 상품인 객체를 검출하고, 동시에 식별하도록 구성된다.
한편, 상기 음식 식별 모델 생성부(450)는 식당별로 취급하는 음식과 상품에 대해 각각의 영상을 학습하여 음식 식별 모델을 생성할 수 있으며, 이와 달리, 음식 및 상품 각각에 대하여 식별 모델을 생성할 수 있다. 이는, 음식의 경우, 각 식당별 고유의 특성이 있기 때문에, 각 식당에서만 취급될 수 있는 식별 모델의 학습이 요구되나, 상품의 경우는, 시중에서 판매하는 제품으로 이루어지기 때문에, 모든 식당에서 공통으로 취급될 수 있어 하나의 식별 모델을 생성하고 관리할 수 있기 때문이다. 후자의 경우, 상기 음식 식별 모델 생성부(450)는 식당별 음식에 대한 다수의 식별 모델과 상품에 대한 하나의 식별 모델을 생성하고 관리하도록 구성된다. 이 경우, 상품에 대한 식별 모델은 공공 데이터인 상품별 영상 정보를 활용하여 생성될 수 있다. 즉, 식당별 대응되는 음식에 대한 식별 모델과 상품에 대한 공통의 식별 모델이 대응되는 식당별 음식 스캔 단말(300)로 전송된다. 이에, 각 식당별 음식 스캔 단말(300)은 음식에 대한 식별 모델과 상품에 대한 공통의 식별 모델을 동시에 또는 순차적으로 적용하여, 사용자가 선택한 음식 또는 상품에 대한 식별을 하도록 구성된다.
또한, 상기 음식 식별 모델 생성부(450)는, 식당별 음식 또는 상품의 추가 내지 변경되는 경우, 운영자 단말(200)로부터 영상 정보를 추가로 제공받거나, 또는 음식 스캔 단말(300)로부터 변화 내지 추가된 음식에 대한 스캔된 영상을 제공받아 대응되는 음식 식별 모델을 업데이트 진행할 수 있다.
본 실시예에 따른 셀프 결제 시스템(1000)은 음식 스캔 단말(300)과 중앙 서버(400)로 구현되는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 상기 셀프 결제 시스템(1000)은 하나의 음식 메뉴 판독 단말로서 구현될 수 있으며, 이 때, 상기 음식 메뉴 판독 단말은 카메라를 포함하며, 동시에 영상처리를 행할 수 있는 일련의 단말일 수 있으며, 예를 들어, 스마트폰, 태블릿 PC, 이동 전화기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 카메라, 또는 웨어러블 장치 중 적어도 하나일 수 있다. 또는, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 셋톱 박스, 홈 오토메이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플 TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 또는 캠코더 중 적어도 하나일 수 있다. 또는, 방송 수신 기능뿐만 아니라 유무선 통신 장치 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 모션(motion) 인식 리모콘 등 보다 사용에 편리한 인터페이스 등을 지원하는 Connected TV일 수 있다. 한편, 이와 달리, 상기 중앙 서버(400)는 클라우드 서버로 구현될 수 있다.
본 발명의 일 실시예에 따른 셀프서비스형 식당용 셀프 결제 시스템은 배식 라인에서 직원이 별도로 확인할 필요없이 음식 메뉴 정보 검출 및 사용자 단말을 통해 사용자 정보를 식별하고, 이를 매칭시켜, 최종 결제는 자동으로 또는 사용자에 의해 자리에서 이루어지도록 한다. 이에 따라, 사용자 편의성을 향상시킬 수 있고, 넓은 공간에서 많은 사람이 여러 메뉴를 결제하는 것이 일반적인 환경에서 사용자를 분산시킬 수 있다.
이하, 도 5를 참조하여, 본 발명의 일 실시예에 따른 셀프 결제 방법을 설명한다.
도 5는 본 발명의 일 실시예에 따른 셀프 결제 방법을 설명하기 위한 플로우차트이다.
도 1 내지 도 5를 참조하면, 먼저 사용자가 셀프 결제 시스템(1000)이 제공하는 셀프서비스형 식당에서의 결제 서비스를 이용하기 위해 사용자 단말(100)을 통해 중앙 서버(400)에 접속하고 회원으로 가입하면서 ID, 비밀 번호 등 신상정보를 입력하도록 한다(S100).
이후, 중앙 서버(400)는 사용자별로 고유한 사용자 고유 식별키를 생성하도록 구성된다(S200). 예를 들어, 사용자별로 사용자 고유 식별키를 생성하고, 사용자 정보에 매칭하여 상기 사용자 고유 식별키를 저장하여 관리하도록 구성될 수 있다. 상기 사용자 고유 식별키는 사용자가 상기 중앙 서버(400)에 신상 정보를 입력하고 회원 가입을 함으로써, 순차적으로 부여될 수 있으며, 또는 사용자의 고유의 정보 예를 들어, ID, 비밀 번호, 사용자 고유의 비밀 번호, 또는 휴대폰 번호, 또는 사용자 단말 고유의 일련 코드 등에 기초하여 생성될 수 있다.
예를 들어, 사용자는 자신의 고유 식별키로 카드, 토큰 등의 물리적 수단의 일련 코드를 입력할 수 있으며, 사용자 인증을 통해 부여되는 바코드 또는 QR 코드가 등록될 수 있다. 상기 중앙 서버(400)에서 생성된 고유 식별키는 사용자 단말(100)로 전송되어, 사용자가 사용자 단말(100)을 통해 사용자임을 인증할 수 있도록 한다.
이후, 사용자는 식당의 배식 라인을 따라 자신이 원하는 음식 또는 상품이 포함된 음식 메뉴를 선택하여 트레이에 담고, 배식 라인의 최종점에 배치된 음식 스캔 단말(300)에 자신의 고유의 식별키를 통해 사용자임을 인증한다(S300).
사용자가 자신의 고유의 식별키를 통해 사용자 인증 절차를 거치면, 상기 음식 스캔 단말(300)은 인증된 정보를 기초로 사용자를 식별하도록 구성된다. 구체적으로, 사용자는 자신의 사용자 단말(100)의 화면에 자신의 고유 식별키인 QR 코드를 출력하고, 해당 QR 코드를 상기 카메라부(310)에 스캔시킴으로써 사용자 인증(체크인)을 수행할 수 있다. 상기 카메라부(310)는 상기 음식 영상으로부터 음식 메뉴를 스캔함과 동시에 사용자의 QR 코드를 스캔하여 사용자를 식별할 수 있다.
이후, 상기 음식 스캔 단말(300)은 상기 카메라부(310)를 통해 사용자가 선택한 음식 메뉴가 담긴 트레이를 스캔하여 음식 또는 상품의 정보를 식별한다(S400). 상기 음식 메뉴의 스캔은 사용자 고유의 식별키의 인증과 동시에 이루어지거나, 이와 달리 사용자 고유의 식별키의 인증이 완료한 후, 음식 메뉴를 스캔할 수 있다. 이 경우, 사용자 고유의 식별키의 인증이 완료되면, 상기 음식 스캔 단말(300)의 음식 메뉴 스캔 기능이 활성화될 수 있다.
상기 음식 스캔 단말(300)은, 딥 러닝 알고리즘을 이용하여 학습한 음식 식별 모델을 통해 운영자가 등록한 음식 또는 상품인 객체를 검출하도록 구성된다. 예를 들어, 상기 음식 스캔 단말(300)은 상기 카메라부(310)로부터 입력된 영상 데이터에 대해 일정 시간 간격으로 객체를 자동으로 검출하고, 검출된 객체에 대해 딥 네트워크를 이용한 추적 기술을 적용함으로써 실시간 처리를 행하고, 객체가 검색되는 영역을 최소화하는 방법을 적용하여 딥 네트워크를 설계하고 트레이닝하도록 구성될 수 있다. 상기 딥 네트워크는 DNN(Deep Neural Network) 기반의 딥 러닝 알고리즘에 따른 신경 회로망일 수 있으며, 해당 신경 회로망은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성된다. 여기서의, 상기 딥 네트워크는 DNN 이외의 다른 신경망이 적용될 수도 있으며, 일례로, CNN(Convolution Neural Network)이나 RNN(Recurrent Neural Network)과 같은 신경망이 적용될 수도 있다.
상기 딥 러닝 알고리즘을 이용한 음식 식별 모델의 생성은 상기 중앙 서버(400)에서 이루어지며, 식당별 생성된 상기 음식 식별 모델은 상기 음식 스캔 단말(300)로 전송된다. 즉, 상기 음식 스캔 단말(300)은 상기 중앙 서버(400)로부터 수신된 음식 식별 모델에 기초하여, 음식 또는 상품인 객체를 검출하고, 동시에 식별하도록 구성된다.
구체적으로, 상기 음식 스캔 단말(300)은 입력된 영상 데이터 중 적어도 하나의 프레임으로부터 객체를 검출하도록 구성된다. 예를 들어, 영상 데이터의 연속된 복수의 프레임 또는 이들로부터 랜덤으로 추출된 일정 개수 이상의 프레임에 대해, 동영상 기반의 딥 네트워크를 적용하여 객체를 검출할 수 있다. 이 경우, 인접하는 프레임들으로부터 검출되는 객체의 움직임을 추적할 수 있으며, 또한 프레임별로 복수의 객체가 포함된 경우에도, 각 객체 별로 움직임을 추적할 수도 있다. 또는 이와 달리, 상기 음식 스캔 단말(300)은 입력된 영상 데이터 중 대표 프레임을 선정하고, 당해 대표 프레임을 기초로 이미지 기반의 딥 네트워크를 적용하여 객체를 검출할 수도 있다. 예를 들어, 상기 대표 프레임은, 별도의 감지 센서 등을 통해 배식 라인을 통해 이동되는 트레이가 상기 카메라부(310)의 바로 아래에 위치될 때, 획득되는 프레임일 수 있다. 또는, 사용자 식별이 완료된 시점에서의 상기 카메라부(310)로부터 입력된 영상이 대표 프레임으로 취급될 수 있다.
상기 음식 스캔 단말(300)은 딥 네트워크를 통해 검출된 음식 메뉴를 추출하고, 자동으로 추출된 음식 메뉴를 식별하도록 구성된다. 예를 들어, 음식 메뉴를 식별하기 전, 당해 영상 데이터에 포함된 음식 메뉴의 기울기 또는 음식 메뉴의 위치 및 크기 정보에 기초하여 추출된 음식 메뉴의 회전 변환 또는 크기 변환을 수행하여, 음식 메뉴의 식별을 효과적으로 수행할 수 있도록 구성될 수 있다.
이후, 식별된 사용자별 선택한 음식 또는 상품에 대한 음식 메뉴 식별이 완료되면, 해당 음식 메뉴에 대한 총 비용을 산출하여 결제 정보를 생성하고, 이를 식별된 사용자의 사용자 단말(100)로 전송한다(S500). 이에 따라 사용자 단말(100) 상에서 결제가 이루어지도록 한다(S600). 이 때, 총 비용 산출은 운영자로부터 등록된 음식 또는 상품별 가격 정보에 기초한다.
사용자는 사용자 단말(100)을 이용하여 수신한 결제 정보에 기초하여 결제를 진행할 수 있다. 예를 들어, 사용자로부터 결제 요청이 있으면, 사용자 단말(100)은 결제 대행사의 서버와 통신하도록 구성된다. 상기 결제 대행사 서버는, 예를 들어, 카드사, 휴대폰 폰빌 등의 서버 또는 별도 제휴한 통신사의 서버일 수 있다. 즉, 사용자는 사용자 단말(100)을 통해, 자신이 선택한 음식 또는 상품을 결제를 할 수 있거나, 사용자가 셀프 결제 시스템(1000)에서 이용가능한 포인트를 선결제하고, 서비스를 이용함에 있어 포인트를 소비하도록 할 수도 있다.
예를 들어, 결제 대행사와 제휴하여 사용자 단말(100)로부터의 인증 또는 결제 요청이 있을 때, 결제 대행사의 서버와 연동된 클라이언트 프로그램과 에이피아이 등을 통하여 인증 또는 결제 정보를 결제 대행사의 서버로 전송하여, 결제 대행사의 서버에서 인증 및 결제 절차를 수행하고, 인증 및 결제 절차가 완료되면 해당 결제 대행사 서버에 고객의 식별코드(사용자 고유 식별키), 음식 메뉴 식별코드(식당별 음식 메뉴 식별키), 결제 금액, 결제 시간 등의 인증 또는 결제 정보가 저장된다. 이러한 인증과 결제 성공 신호를 받아, 고객 DB(20) 또는 별도의 결제 DB에 동일한 정보를 저장시킨다.
본 실시예에 따른 셀프 결제 시스템(1000)은 사용자는 사용자 단말(100)을 이용하여 수신한 결제 정보에 기초하여 결제를 진행하는 것을 예로 설명하였으나, 이에 한정되지 않는다. 예를 들어, 사용자는 셀프 결제 시스템(1000)에 신규 가입하는 과정에서 적어도 하나 이상의 결제 수단을 사전에 등록할 수 있으며, 결제 정보의 수신과 함께, 자동으로 결제가 진행되도록 할 수도 있다. 상기 결제 정보는 상기 셀프 결제 시스템(1000)과 연동되는 애플리케이션에서 알림 형태로 제공받을 수 있으며, 해당 애플리케이션에서 결제를 진행할 수 있지만, 이와 달리, 문자 형태로, 또는 SNS로 결제 정보를 수신받을 수 있으며, 결제는 SNS 상의 포인트, 페이 또는 사용자 단말에서 구동되는 별도의 결제 애플리케이션을 통해 이루어질 수도 있다.
본 발명의 일 실시예에 따른 셀프 결제 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1000: 셀프 결제 시스템
100: 사용자 단말
200: 운영자 단말
300: 음식 스캔 단말
310: 카메라부
330: 사용자 식별부
350: 음식 판단부
370: 결제 정보 생성부
400: 중앙 서버
410: 고객 관리부
430: 음식 정보 관리부
450: 음식 식별 모델 생성부

Claims (10)

  1. 셀프서비스형 식당에서 사용자가 음식 메뉴를 결제하기 위한 셀프 결제 시스템으로서,
    셀프서비스형 식당에서 취급하는 적어도 하나 이상의 음식 또는 상품에 대한 영상 정보 및 가격 정보를 포함하는 음식 정보 의 등록이 이루어지는 운영자 단말;
    상기 적어도 하나 이상의 음식 또는 상품 중 사용자가 선택한 음식 메뉴에 대한 결제가 이루어지는 사용자 단말;
    딥 네트워크를 이용한 식당별 음식 식별 모델에 기초하여, 카메라를 통해 상기 음식 메뉴를 촬영한 영상 데이터 상에서 사용자가 선택한 음식 메뉴를 검출하고, 식별하도록 구성된 식당별 음식 스캔 단말; 및
    상기 사용자 단말에 대응되는 사용자별 고유 식별코드를 등록하여 관리하고, 딥 네트워크를 이용하여 상기 운영자 단말로부터 등록된 상기 영상 정보에 기초하여 학습된 상기 식당별 음식 식별 모델을 생성하는 음식 식별 모델 생성부를 포함하고, 생성된 식당별 음식 식별 모델을 대응되는 식당별 음식 스캔 단말로 전송하는 중앙 서버를 포함하고,
    상기 음식 스캔 단말은, 상기 중앙 서버에 등록된 사용자 고유 식별키를 참조하여 매칭되는 사용자 식별을 수행하고, 사용자의 식별이 이루어지면, 식별된 음식 메뉴에 대해 상기 가격 정보를 참조하여, 비용 결제를 위한 가격 정보를 생성하여, 상기 가격 정보를 사용자 단말로 전송하고,
    상기 식당별 음식 식별 모델은, 딥 네트워크를 이용하여 식당별 취급하는 음식에 대해 상기 운영자 단말로부터 제공받은 영상 정보에 기초하여 생성된 제1 식별 모델과 시중에서 판매되는 상품에 대해 공공 데이터인 상품별 영상 정보에 기초하여 생성된 제2 식별 모델을 포함하고,
    상기 음식 식별 모델 생성부는, 영상 정보에 대해 음식 또는 상품을 자동으로 검출하고, 검출된 음식 또는 상품에 대해 딥 네트워크를 이용한 추적 기술을 적용함으로써 처리를 행하고, 음식 또는 상품이 검색되는 영역을 최소화하는 방법을 적용하여 딥 네트워크를 설계하고 트레이닝하여, 식당별 음식에 대해서는 식당별 상기 제1 식별 모델을 생성하여 관리하고, 상품에 대해서는 식당별 공통으로 취급되는 하나의 상기 제2 식별 모델을 생성하여 관리하고,
    식당별 상기 제1 식별 모델은 상기 제2 식별 모델과 함께 대응되는 식당별 상기 음식 스캔 단말로 전송되며,
    식당별 상기 음식 스캔 단말은 상기 제1 식별 모델 및 상기 제2 식별 모델을 동시에 또는 순차적으로 적용하여, 사용자가 선택한 음식 또는 상품에 대한 식별을 하도록 구성되는 것을 특징으로 하는 것을 특징으로 하는 셀프 결제 시스템.
  2. 제1 항에 있어서,
    상기 사용자 고유 식별키는 사용자 단말을 통해 사용자의 회원가입이 이루어지면, 상기 중앙 서버에서 사용자별로 생성되는 것을 특징으로 하는 셀프 결제 시스템.
  3. 제2 항에 있어서,
    상기 사용자 고유 식별키는 QR 코드인 것을 특징으로 하는 셀프 결제 시스템.
  4. 제1 항에 있어서,
    상기 음식 스캔 단말은, 등록된 사용자 고유 식별키를 참조하여 매칭되는 사용자의 식별이 이루어지면, 상기 카메라를 통한 음식 메뉴의 식별을 위한 음식 메뉴 스캔 기능을 활성화시키는 것을 특징으로 하는 셀프 결제 시스템.
  5. 제1 항에 있어서,
    상기 중앙 서버는, 상기 운영자 단말로부터 등록된 적어도 하나 이상의 음식 또는 상품에 대한 영상 정보에 대한 데이터 증강 처리를 거쳐 상기 식당별 음식 식별 모델을 생성하는 것을 특징으로 하는 셀프 결제 시스템.
  6. 제1 항에 있어서,
    상기 중앙 서버는, 클라우드 서버인 것을 특징으로 하는 셀프 결제 시스템.
  7. 삭제
  8. 삭제
  9. 제1 항에 있어서,
    상기 음식 스캔 단말은, 상기 음식 메뉴를 상면에서 촬영하도록 카메라가 하면을 향하게 지지대에 의해 설치되는 것을 특징으로 하는 셀프 결제 시스템.
  10. 제9 항에 있어서,
    상기 음식 스캔 단말은, 스마트폰인 것을 특징으로 하는 셀프 결제 시스템.
KR1020210152489A 2021-11-08 2021-11-08 셀프서비스형 식당용 셀프 결제 시스템 및 방법 KR102424316B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210152489A KR102424316B1 (ko) 2021-11-08 2021-11-08 셀프서비스형 식당용 셀프 결제 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210152489A KR102424316B1 (ko) 2021-11-08 2021-11-08 셀프서비스형 식당용 셀프 결제 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102424316B1 true KR102424316B1 (ko) 2022-07-22

Family

ID=82606047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210152489A KR102424316B1 (ko) 2021-11-08 2021-11-08 셀프서비스형 식당용 셀프 결제 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102424316B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080011332A (ko) * 2008-01-07 2008-02-01 주식회사 비즈모델라인 고유코드를 이용한 무인 자동화 결제처리 방법
KR20110122006A (ko) * 2010-05-03 2011-11-09 한국과학기술원 식당 정산 시스템
KR20160150419A (ko) * 2015-06-22 2016-12-30 주식회사 아이씨비 바코드를 이용한 결제 방법 및 시스템
KR102124568B1 (ko) * 2019-11-06 2020-06-18 주식회사 라스컴 인공지능과 빅데이터를 이용한 이미지 인식 기반 무인 결제 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080011332A (ko) * 2008-01-07 2008-02-01 주식회사 비즈모델라인 고유코드를 이용한 무인 자동화 결제처리 방법
KR20110122006A (ko) * 2010-05-03 2011-11-09 한국과학기술원 식당 정산 시스템
KR20160150419A (ko) * 2015-06-22 2016-12-30 주식회사 아이씨비 바코드를 이용한 결제 방법 및 시스템
KR102124568B1 (ko) * 2019-11-06 2020-06-18 주식회사 라스컴 인공지능과 빅데이터를 이용한 이미지 인식 기반 무인 결제 시스템

Similar Documents

Publication Publication Date Title
US11238655B2 (en) Offline shopping guide method and apparatus
US11847689B2 (en) Dynamic customer checkout experience within an automated shopping environment
US20210365979A1 (en) Providing Hands-Free Data for Interactions
EP3529763B1 (en) Offline user identification
US10482664B1 (en) Augmented and virtual reality system and method for conducting transactions
EP3374915B1 (en) Facial template and token pre-fetching in hands free service requests
US11057390B2 (en) Systems for providing electronic items having customizable locking mechanism
US20160321633A1 (en) Identifying consumers via facial recognition to provide services
US20200184444A1 (en) Method and system for anonymous checkout in a store
US20130019284A1 (en) Automated web based applications with a wireless communication device
US11830287B2 (en) Method and system for customizing user experience
US20200356796A1 (en) Motion Based Account Recognition
US11651407B2 (en) Mirrored display and proximal control of autonomous retail systems
US20130275262A1 (en) Multi-party transaction system with collective purchases
CN108805644A (zh) 贩售机的商品售卖方法以及贩售机
US11663594B2 (en) Systems and methods for location based account integration and electronic authentication
JP2020087093A (ja) 自動販売機決済システム、自動販売機、顔認証サーバ、自動販売機決済方法及びプログラム
KR20200024438A (ko) 매장 무인 판매 시스템
KR102424316B1 (ko) 셀프서비스형 식당용 셀프 결제 시스템 및 방법
US20230123576A1 (en) Method and system for anonymous checkout in a store
US11727404B2 (en) Systems and methods for use in network interactions
JP2021131661A (ja) 情報処理装置、および、情報処理方法
TR2022008003A2 (tr) Akilli servi̇s ve ödeme si̇stemi̇

Legal Events

Date Code Title Description
GRNT Written decision to grant