KR20220055168A - 무인 매장에서 자동 결제 방법 및 그것을 구현하는 무인 매장 플랫폼 장치 - Google Patents

무인 매장에서 자동 결제 방법 및 그것을 구현하는 무인 매장 플랫폼 장치 Download PDF

Info

Publication number
KR20220055168A
KR20220055168A KR1020200139367A KR20200139367A KR20220055168A KR 20220055168 A KR20220055168 A KR 20220055168A KR 1020200139367 A KR1020200139367 A KR 1020200139367A KR 20200139367 A KR20200139367 A KR 20200139367A KR 20220055168 A KR20220055168 A KR 20220055168A
Authority
KR
South Korea
Prior art keywords
product
image
unmanned store
user
shopping
Prior art date
Application number
KR1020200139367A
Other languages
English (en)
Inventor
송형준
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020200139367A priority Critical patent/KR20220055168A/ko
Publication of KR20220055168A publication Critical patent/KR20220055168A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3274—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being displayed on the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3276—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection

Abstract

본 발명은 적어도 하나의 프로세스에 의해 동작하는 플랫폼 장치가 무인 매장에서 상품을 결제하는 방법으로서, 무인 매장의 입구에서 입장하고자 하는 사용자를 인식하고 사용자의 결제 수단 정보를 인증하여 무인 매장의 출입을 승인하는 단계, 사용자가 무인 매장 내 쇼핑 도구와 함께 이동하면, 사용자와 쇼핑 도구를 서로 매칭시키고, 쇼핑 도구에 장착된 하나 이상의 카메라로부터 쇼핑 도구의 상단 또는 중간 영역에 위치하는 상품이 촬영된 이미지들을 수신하는 단계, 이미지들에 기초하여 해당 상품의 전체 이미지와 바코드 영역 이미지를 추출하고, 해당 상품의 전체 이미지와 바코드 영역 이미지를 하나 이상의 이미지 판별기에 입력하여 상기 상품을 추정하는 단계, 이미지들에 기초하여 시간에 따른 상품의 위치 변화에 따라 쇼핑 도구의 내부에 위치하는 상품에 대한 쇼핑 도구의 리스트를 생성하는 단계 그리고 수신한 이미지에 기초하여 쇼핑 도구 내부의 상품이 무인 매장 밖으로 이동하면, 결제 수단 정보로 리스트에 포함된 상품들의 대금 결제를 수행하는 단계를 포함한다.

Description

무인 매장에서 자동 결제 방법 및 그것을 구현하는 무인 매장 플랫폼 장치{AUTOMATIC PAYMENT METHOD IN UNMANNED STORES AND UNMANNED STORE PLATFORM APPARATUS IMPLEMENTING THE SAME METHOD}
본 발명은 무인 매장에서 자동 결제 방법 및 그것을 구현하는 무인 매장 플랫폼 장치에 관한 것이다.
최근에는 매장에서 직원 도움 없이 제품 선택과 결제까지 고객이 스스로 처리하는 무인 매장이 증가하고 있다.
이러한 무인 매장은 직원의 손을 거쳐 매장이 운영되던 기존의 운영 방식에 비해 인건비 절약과 직원의 부재로 인한 매장 운영 시간이 보다 자유롭기 때문에 많은 매장에서 무인 매장으로 전환하고 있다.
다만, 현재의 대다수 무인 매장에서는 직원의 부재로 인해 고객이 직접 무인 결제 기기를 통해 구매 상품에 대한 바코드를 찍고 계산하기 때문에 고객으로 하여금 불편함을 초래한다. 그리고 미숙한 고객에 의한 해당 무인 결제 기기의 잦은 고장으로 인해 보수 비용이 증가하고 계산 지연으로 인한 문제점들이 발생한다.
이러한 상황을 개선하여 실질적인 고객의 편의성을 향상시키기 위한 계산 과정의 신속함과 같은 무인 매장의 장점을 확보하기 위해서, 비대면 ICT(Information and Communications Technologies) 기술의 기반으로 별도의 절차 없이 자동으로 구매 상품을 판단하여 결제까지 이어지는 기술들이 개발되고 있다.
구체적으로 개별적인 사용자를 인식하기 위해 정맥 인식을 수행한 후, 상품 결제를 위한 특정 앱을 사용하거나 임시로 발급된 QR 코드를 통해 다각도의 수많은 카메라와 센서들을 통해 구매자와 구매자 상품을 식별하여 등록된 구매자의 카드로 결제하는 등의 기술이 개발되고 있다.
하지만, 이러한 정맥 인식 기술은 바이오 인증 동의서를 확인해야 하고, 수많은 카메라와 센서들을 무인 매장에 설치하여 관리해야 하기 때문에 많은 투자 및 관리 비용이 요구된다.
그러므로 카트에 장착되는 카메라와 무선망을 활용하여 설치하는 장비를 최소화하면서 고객과 구매하는 상품의 인식율을 높이는 기술이 요구된다.
해결하고자 하는 과제는 무인 매장에서 사용자가 상품을 임의의 각도로 쇼핑 도구에 담는 과정을 촬영한 이미지에 기초하여 해당 상품의 바코드 영역을 추출하고, 바코드 영역을 통해 상품을 추정하는 무인 매장 플랫폼 장치를 제공하는 것이다.
해결하고자 하는 과제는 무인 매장에서 사용자에 의해 쇼핑 도구에 담긴 상품에 대한 리스트를 생성하고, 미리 인증된 사용자의 결재 수단을 이용하여 해당 리스트에 대응하는 대금을 자동으로 결제하는 자동 결제 방법 및 무인 매장 플랫폼 장치를 제공하는 것이다.
본 발명의 하나의 실시예에 따른 적어도 하나의 프로세스에 의해 동작하는 플랫폼 장치가 무인 매장에서 상품을 결제하는 방법으로서, 결제 수단 정보의 인증을 통해 무인 매장의 출입이 승인된 사용자와 사용자가 선택한 쇼핑 도구를 매칭시키고, 쇼핑 도구에 장착된 하나 이상의 카메라로부터 쇼핑 도구의 상단 또는 중간 영역에 위치하는 상품이 촬영된 하나 이상의 이미지를 수신하는 단계, 이미지에 기초하여 상품의 전체 이미지와 바코드 영역 이미지를 추출하고, 상품의 전체 이미지와 바코드 영역 이미지를 하나 이상의 이미지 판별기에 입력하여 상품을 추정하는 단계, 상품을 쇼핑 도구의 리스트에 기록하여 업데이트하는 단계, 그리고 쇼핑 도구 내부의 상품이 무인 매장 밖으로 이동하면, 결제 수단 정보로 리스트에 대응하는 대금 결제를 수행하는 단계를 포함한다.
무인 매장의 입구에 장착된 카메라로부터 사용자의 얼굴과 결제 수단을 촬영한 이미지를 수신하면, 해당 이미지에서 특징점을 추출하여 사용자를 인식하고, 결제 수단 정보를 추출하여, 결제 수단의 사용 가능 여부에 따라 무인 매장의 출입을 승인하는 단계를 더 포함할 수 있다.
상품이 촬영된 하나 이상의 이미지를 수신하는 단계는, 쇼핑 도구가 일정 시간 이상의 정지 상태에서 이동하는 경우, 구동되는 카메라로부터 사용자를 포함한 이미지를 수신하면, 사용자를 포함한 이미지에서 인식한 사용자 여부를 확인하고, 사용자와 쇼핑 도구를 서로 매칭시킬 수 있다.
상품을 추정하는 단계는, 이미지에서 상품의 전체 이미지를 추출하여 복수개의 그리드 영역에 배치하고 그리드마다 복수개의 해상도를 가지는 이미지 정보를 생성하는 단계, 그리고 이미지 정보에 포함된 바코드 추정 확률이 임계치 이상인 그리드들의 그룹을 바코드 영역 이미지로 추출하는 단계를 포함할 수 있다.
이미지 정보를 생성하는 단계는, 상품에 기초하여 그리드의 중심점 x좌표, y좌표, 넓이, 높이, 물체일 확률, 바코드 영역에 대한 확률, 그리고 무인 매장에 배치되는 상품일 확률 중에서 하나 이상의 정보를 생성할 수 있다.
상품을 추정하는 단계는, 바코드 영역 이미지를 1차원 합성곱 블록에 입력하여 획득한 결과값과 상품의 전체 이미지를 1차원 분류기에 입력하여 제1 상품 식별자를 출력하는 단계, 바코드 영역 이미지를 2차원 합성곱 블록에 입력하여 획득한 결과값과 상품의 전체 이미지를 2차원 분류기에 입력하여 제2 상품 식별자를 출력하는 단계, 그리고 제1 상품 식별자와 제2 상품 식별자에 기초하여 상품을 추정할 수 있다.
업데이트하는 단계는, 이미지 정보에 포함된 이미지 상의 상품의 위치의 변화에 기초하여 상품이 향하는 방향을 추정하고, 방향이 쇼핑 도구의 외부에서 내부로의 방향인 경우에 상품을 기록하여 쇼핑 도구의 리스트를 업데이트하고, 방향이 쇼핑 도구 내부에서 외부로의 방향인 경우에 상품을 제외하여 쇼핑 도구의 리스트를 업데이트할 수 있다.
무인 매장 내부에 장착된 카메라들을 통해 무인 매장의 내부 이미지를 수신하는 단계를 더 포함하고, 업데이트하는 단계는, 무인 매장의 내부 이미지에 기초하여 사용자의 위치를 확인하여 상품이 진열된 위치와 매칭되면, 해당 상품을 포함하여 리스트를 생성할 수 있다.
본 발명의 하나의 실시예에 따른 무인 매장 플랫폼 장치로서, 메모리, 그리고 메모리에 로드된 프로그램의 명령들(instructions)을 실행하는 적어도 하나의 프로세서를 포함하고, 프로그램은 무인 매장에 설치된 하나 이상의 매장 카메라와 쇼핑 도구에 장착된 하나 이상의 카메라로부터 촬영된 이미지를 수신하는 기능, 수신한 이미지 중에서 쇼핑 도구의 상단 영역 또는 중간 영역에서 위치하는 상품이 포함된 이미지를 선택하여 이미지에서 상품의 전체 이미지와 바코드 영역 이미지를 추출하는 기능, 상품의 전체 이미지와 바코드 영역 이미지에 기초하여 하나 이상의 이미지 판별기를 통해 상품을 추정하는 기능 그리고 상품의 이동 방향에 기초하여 쇼핑 도구 외부에서 내부로 이동하는 상품인 경우, 쇼핑 도구의 리스트에 기록하고 쇼핑 도구의 내부에서 외부로 이동하는 상품인 경우, 쇼핑 도구의 리스트에서 제외하는 기능을 실행하도록 기술된 명령들을 포함한다.
이미지를 추출하는 기능은, 상품의 전체 이미지를 추출하면, 상품의 전체 이미지를 복수개의 그리드 영역에 배치하여 각각의 그리드마다 바코드로 인식될 확률을 산출하고, 확률값이 임계치 이상인 그리드들을 코드 영역 이미지로 선택할 수 있다.
상품을 추정하는 기능은, 바코드 영역 이미지를 1차원 합성곱 블록에 입력하여 획득한 결과값과 상품의 전체 이미지를 1차원 분류기에 입력하여 제1 상품 식별자를 획득하고 바코드 영역 이미지를 2차원 합성곱 블록에 입력하여 획득한 결과값과 상품의 전체 이미지를 2차원 분류기에 입력하여 제2 상품 식별자를 획득하면, 제1 상품 식별자와 제2 상품 식별자에 각각의 가중치를 적용하여 최종 획득된 상품 식별자로 상품을 추정할 수 있다.
무인 매장의 입구에 장착된 카메라의 촬영 이미지에 기초하여 사용자를 인식하고, 결제 수단 정보를 인증하는 기능, 사용자가 쇼핑 도구를 선택하여 이동하면, 쇼핑 도구에 장착된 카메라를 통해 사용자가 포함된 이미지를 수신하는 기능, 사용자가 포함된 이미지에 기초하여 사용자를 인식하고, 사용자와 쇼핑 도구와 매칭하는 기능, 그리고 매장 카메라 또는 쇼핑 도구에 장착된 카메라로부터 수신한 이미지에 기초하여 쇼핑 도구의 상품이 무인 매장 밖으로 이동하면, 결제 수단 정보로 쇼핑 도구의 리스트에 대응하는 대금 결제를 수행하는 기능를 실행하도록 기술된 명령들을 더 포함할 수 있다.
실시예에 따르면 특화된 딥러닝 알고리즘을 통해 쇼핑 도구에 담기는 상품의 각도 또는 상품의 자세 등에 따라 바코드 인식율의 오류를 개선함으로써, 무인 매장에서의 사용자 구매 리스트를 정확하게 생성할 수 있다.
실시간으로 촬영된 이미지를 통해 구매자 인식에서부터 구매 상품 리스트 생성, 구매 상품 리스트의 자동 결제까지 수행하여 무인 매장을 이용하는 사용자의 편의성을 향상시킬 수 있다.
실시예에 따르면, 무선 전송이 가능한 카메라로 5G의 무선망을 통해 촬영된 이미지들을 무인 매장 플랫폼 장치에 전송하면, 무인 매장 플랫폼 장치에서 사용자 인증, 매장 출입, 구매 리스트, 그리고 자동 결제를 수행하여 무인 매장을 관리함으로써, 무인 매장을 구축하기 위한 설비 비용이나 운영 비용을 절감하면서도 관리자와 사용자의 편의성을 확보할 수 있다.
도 1은 본 발명의 실시예에 따른 무인 매장에서 구매 과정을 나타내는 예시도이다.
도 2는 본 발명의 실시예에 따른 무인 매장의 출입 여부를 결정하는 방법을 나타내는 흐름도이다.
도 3은 본 발명의 실시예에 따른 무인 매장에서 자동 결제 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시예에 따른 카트 내 상품을 촬영하는 과정을 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따른 상품 이미지에서 바코드 추정 이미지를 추출하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 바코드 판별 과정을 나타낸 구조도이다.
도 7은 본 발명의 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 발명에서 설명하는 장치들은 적어도 하나의 프로세서, 메모리 장치, 통신 장치 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 본 발명의 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 도면들을 참고로 설명한 본 발명의 동작 방법을 구현한 명령어(instructions)를 포함하고, 프로세서와 메모리 장치 등의 하드웨어와 결합하여 본 발명을 실행한다.
본 명세서에서 "전송 또는 제공"은 직접적인 전송 또는 제공하는 것뿐만 아니라 다른 장치를 통해 또는 우회 경로를 이용하여 간접적으로 전송 또는 제공도 포함할 수 있다.
본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.
도 1은 본 발명의 실시예에 따른 무인 매장에서 구매 과정을 나타내는 예시도이다.
도 1에 도시한 바와 같이, 무인 매장(100)에는 사용자 인증 카메라(110), 매장 카메라(120), 그리고 카트 카메라 (130)가 설치되어 있다.
여기서, 무인 매장(100) 내 설치된 카메라들은 통신모듈과 메모리를 구비된 카메라들로, 실시간으로 촬영된 영상을 메모리에 저장한 후, 연결되는 5G 통신망을 통해 무인 매장 플랫폼 장치(200)로 전송한다.
예를 들어, 카메라들의 통신모듈은 무인 매장 플랫폼 장치(200)와의 5G 통신망 중에서 28GHz 주파수를 통해 고화질의 대용량 이미지를 빠르게 전송할 수 있다. 다만, 5G 통신망의 28GHz 대역에서 발생하는 끊김에 기초하여 데이터 손실을 최소화하기 위해 실시간으로 촬영된 영상을 저장한 후, 연결이 확인되면 즉시 저장된 영상을 무인 매장 플랫폼 장치(200)로 전송할 수 있다.
사용자 인증 카메라(110)는 무인 매장 입구에 설치되어 있고, 사용자 인증 카메라(110)와 연계하여 안내 디스플레이(미도시함) 또는 안내 스피커(미도시함)가 더 설치될 수 있다.
사용자 인증 카메라(110)는 무인 매장으로 입장하고자 하는 사용자의 얼굴과 사용자의 결제 수단을 촬영한다.
사용자 인증 카메라(110)에 매장으로 진입하고자 하는 사용자가 인식되면, 연결되는 안내 디스플레이 또는 안내 스피커를 통해 사용자 인증을 위한 절차를 안내할 수 있다. 예를 들어, 사용자 인증 카메라(110)를 향해 응시할 것을 요청하거나 결제 수단의 촬영을 요청을 안내 디스플레이에 표시하거나 안내 스피커로 음성을 송출할 수 있다.
그리고 사용자 인증 카메라(110)는 촬영된 사용자 이미지와 결제 수단 이미지를 무인 매장 플랫폼 장치(200)로 전송한다. 이때, 사용자 인증 카메라(110)는 촬영된 이미지를 암호화하여 무인매장 플랫폼 장치(200)에 전송할 수 있다.
그러면, 무인 매장 플랫폼 장치(200)가 사용자 인식과 결제 수단의 인증에 따른 출입 여부를 결정하고, 결정된 결과를 포함하는 신호를 안내 디스플레이 또는 무인 매장의 기존 전산 시스템에 전송할 수 있다.
예를 들어, 안내 디스플레이 또는 무인 매장의 기존 전산 시스템은 무인 매장 플랫폼 장치(200)로부터 무인 매장(100)의 출입을 승인하는 신호를 수신하면, 무인 매장 입장을 유도하는 메시지가 출력되거나 무인 매장의 출입구가 자동 오픈될 수 있다.
그리고 무인 매장(100) 내부에는 하나 이상의 매장 카메라(120)들이 설치되어 있어 매장 내 전체적인 사용자의 동선을 매장 카메라(120)로 촬영할 수 있다. 매장 카메라(120)는 무인 매장(100)의 넓은 영역에 대응하여 전체적인 화면을 촬영하며, 촬영된 이미지를 무인 매장 플랫폼 장치(200)로 전송한다.
여기서 매장 카메라(120)는 무인 매장 내부의 크기에 기초하여 개수가 설정될 수 있으며, 무인 매장의 구조에 기초하여 설치되는 위치가 각각 다르게 설정될 수 있다.
이외에도 매장 카메라(120)는 배치된 상품의 위치, 상태, 수량 등을 체크할 수 있도록 매장 전반적인 상황을 촬영할 수 있다.
그리고 카트 카메라(130)는 쇼핑 카트에 장착되어 카트의 상단 영역을 촬영한다. 카트 카메라(130)는 쇼핑 카트 이외에도 장바구니와 같이 구매 상품을 담는 쇼핑 도구에 장착될 수 있다. 다시 말해, 카트 카메라(130)는 쇼핑 도구에 장착된 카메라를 의미한다.
또한, 카트 카메라(130)는 서로 상이한 위치에 하나 이상이 장착되거나, 360도 회전이 가능할 수 있다.
카트 카메라(130)는 일정한 시간동안 정지된 상황에서 일정한 움직임이 발생하면 자동으로 구동하여 이미지를 촬영할 수 있다. 이때, 카트 카메라(130)는 카트의 움직임에 의해 구동되면 카트를 이동시키는 사용자를 촬영할 수 있다.
예를 들어, 카트 카메라(130)는 카트를 기준으로 360 회전하며 촬영하거나 촬영 각도를 미리 설정된 각도로 변경하여 촬영한 후, 다시 촬영 각도를 변경하여 기존의 촬영 각도로 변경할 수 있다. 여기서, 기존의 촬영 각도는 카트의 상단 영역 또는 중간 영역을 촬영하기 위한 각도이고, 미리 설정된 각도는 카트를 이동시키는 사용자를 촬영하기 위한 카트 위치 이상의 높이를 촬영하기 위한 각도를 의미한다.
그리고 카트 카메라(130)는 카트의 상단 영역 또는 중간 영역을 촬영함으로써, 카트 내부로 담기는 상품을 촬영하거나 카트 외부로 반출되는 상품을 촬영한다. 그리고 카트 카메라(130)는 촬영된 상품 이미지를 무인 매장 플랫폼 장치(200)로 전송한다.
이처럼 무인 매장(100)에서의 사용자 인증 카메라(110), 매장 카메라(120), 그리고 카트 카메라 (130)들이 촬영한 이미지를 무인 매장 플랫폼 장치(200)에 전송하면, 무인 매장 플랫폼 장치(200)에서 수신된 촬영 이미지를 분석하여, 사용자 인식, 결제 수단 인식, 구매 상품 리스트 생성 그리고 해당 구매 상품 리스트의 결제 진행 및 완료할 수 있다.
예를 들어, 무인 매장 플랫폼 장치(200)는 무인 매장(100)의 입구에서 사용자의 얼굴과 결제 수단 이미지를 통해 사용자의 신원을 확인하고, 결제 수단의 사용 가능 여부를 확인할 수 있다. 그리고 사용자의 신원 확인과 결제 가능한 카드를 확인하면, 무인 매장(100)의 출입을 승인할 수 있다.
반면, 무인 매장(100)마다 출입 승인 방법을 달리 설정할 수 있다. 예를 들어, 무인 매장 플랫폼 장치(200)에서 제공하는 어플리케이션이나 웹 페이지를 통해 사용자 정보를 통한 회원가입 및 인증을 수행하면, 사용자마다 출입을 위한 임시 ID를 제공할 수 있다. 그러면 사용자는 해당 임시 ID를 통해서도 무인 매장(100)을 출입할 수 있다. 여기서, 임시 ID는 NFC tag가 될 수도 있고 임시로 생성된 QR 코드 등으로 구현될 수 있다.
이처럼 무인 매장 플랫폼 장치(200)가 무인 매장으로의 출입을 승인한 후, 사용자가 무인 매장에 진입하면, 무인 매장 플랫폼 장치(200)는 매장 카메라(120)로부터 수신한 매장 이미지에서 사용자를 인식하고, 사용자의 동선을 추적할 수 있다.
그리고 무인 매장 플랫폼 장치(200)는 무인 매장(100)의 카트 카메라(130)를 통해 촬영한 상품 이미지를 수집하면, 해당 상품 영상에 대해 바코드 인식에 특화된 딥러닝 알고리즘을 이용하여 해당 상품의 바코드를 인식한다.
상세하게는 무인 매장 플랫폼 장치(200)는 YOLO 알고리즘과 딥러닝(CNN)을 통한 분류기를 이용하여 상품의 바코드를 인식한다. 이러한 수행 단계는 단일 이미지를 통해 분류를 수행할 때, 발생할 수 있는 불확실성을 해소하기 위함이다.
무인 매장 플랫폼 장치(200)는 해당 상품의 바코드에 기초하여 해당 상품의 종류, 이름, 가격 등을 추정하고, 사용자에 대한 상품 구매 리스트를 생성한다.
한편, 무인 매장 플랫폼 장치(200)는 사용자 인증 카메라(110)의 촬영 이미지에 기초하여 사용자의 체형 또는 안면의 특징점을 추출하고, 매장 카메라(120) 또는 카트 카메라(130)를 통해 수신한 매장 이미지에서 추출된 특징점들과 매칭하여 사용자를 인식할 수 있다.
그리고 무인 매장 플랫폼 장치(200)는 매장 카메라(120)의 촬영 이미지와 카트 카메라(130)의 촬영 이미지에서 동일한 사용자를 인식하면, 인식된 사용자와 카트 카메라(130)에서 촬영한 이미지 그리고 매장 카메라(120)의 촬영 이미지를 그룹핑하여 저장할 수 있다.
그리고 무인 매장 플랫폼 장치(200)는 그룹핑된 이미지들을 이용하여 카트에 담기는 상품을 확인할 수 있다.
예를 들어, 무인 매장 플랫폼 장치(200)는 카트 카메라(130)의 촬영 이미지에 기초하여 해당 상품을 추정하면 사용자와 연계된 카트의 리스트를 생성하기 전에, 매장 카메라(120)의 촬영 이미지를 통해 실제 사용자가 해당 상품이 진열된 곳에서 위치하거나 해당 상품을 선택하였는지를 확인할 수 있다.
이처럼 무인 매장 플랫폼 장치(200)는 무인 매장의 복수 개의 카메라들로부터 광대역 무선 통신을 통해 촬영된 이미지들을 수신하여 사용자의 상품 구매 리스트를 반복적으로 업데이트할 수 있다.
그리고 무인 매장 플랫폼 장치(200)는 해당 상품 구매 리스트를 업데이트하는 과정에서 판단의 기준이 되는 영상을 별도로 데이터베이스에 저장할 수 있다.
또한, 무인 매장 플랫폼 장치(200)는 매장 카메라(120)의 촬영 이미지와 카트 카메라(130)의 촬영 이미지에 기초하여 사용자의 위치가 무인 매장(100)의 쇼핑 영역(무인 매장)에 위치하는지 또는 쇼핑 영역(무인 매장)을 벗어나는 지를 확인할 수 있다.
여기서, 무인 매장(100)의 쇼핑 영역은 판매하고자 하는 상품이 진열된 영역으로, 실제 사용자가 진열된 상품 중에서 하나의 상품을 선택하여 카트에 담을 수 있는 공간을 의미한다.
무인 매장 플랫폼 장치(200)는 사용자가 카트를 가지고 쇼핑 영역을 벗어나거나 카트 카메라(130)의 촬영 이미지에 기초하여 해당 상품들이 무인 매장 밖으로 옮겨지는 경우, 사용자의 쇼핑이 완료됨을 추정하여 해당 상품 구매 리스트에 대응한 금액을 사용자의 결제 수단을 통해 청구할 수 있다.
이때, 결제 청구는 일정 시간이 지나면 승인으로 간주되어 자동으로 결제되거나 결제 수단의 서버에서 사용자의 단말에 승인 신호를 받은 후에 결제가 완료될 수 있다.
이때, 무인 매장 플랫폼 장치(200)는 사용자가 상품을 쇼핑 영역 이외의 영역에 두고 무인 매장을 벗어나는 경우, 사용자가 카트 내부에 상품 일부를 버려두고 무인 매장을 벗어나는 경우에서는 각 상품의 유실이나 파손 위험성에 기초하여 해당 상품에 대한 금액을 청구할 수 있다.
예를 들어, 상품이 공산품의 경우 무인 매장에서의 무인 카메라(120)의 촬영 이미지에 기초하여 해당 상품의 유실 여부에 기초하여 추가적으로 금액을 청구하거나 온도 또는 습도에 민감한 농산물인 경우, 사용자가 무인 매장을 벗어나는 즉시 금액을 청구할 수 있다.
이러한 금액 청구 구성은 추후에 관리자에 의해 용이하게 변경 및 설정 가능하다.
한편, 무인 매장 플랫폼 장치(200)는 서비스를 제공하는 무인 매장 별로 매장 고유 ID, 그리고 각 매장 고유 ID에 연동하여, 사용자 인증 카메라(110), 매장 카메라(120), 그리고 카트 카메라 (130)들의 고유 ID, 같은 영역을 촬영하는 카메라들의 그룹핑 정보, 카메라들의 설치 위치, 촬영 각도, 수신되는 이미지의 크기 등이 저장된 데이터베이스를 관리할 수 있다.
이와 더불어, 무인 매장 플랫폼 장치(200)는 무인 매장 별로 판매하는 판매 상품 리스트, 상품 크기, 바코드 위치 정보, 재고 상황 등이 저장된 데이터베이스를 관리할 수 있다.
예를 들어, 무인 매장 플랫폼 장치(200)는 같은 영역을 촬영한 이미지들을 그룹핑하여 매장에서의 상품 재고 파악을 수행할 수 있다.
그리고 무인 매장 플랫폼 장치(200)는 무인 매장마다 출입한 사용자 인증 정보, 결제 정보, 구매 확정된 리스트 정보 등이 포함된 고객 정보들을 암호화하여 저장된 데이터베이스를 관리할 수 있다.
이때, 무인 매장 플랫폼 장치(200)는 외부 결제 수단 서버와 연동하거나 통신사 서버 등과 연동하여 결제를 요청하거나 결제 내역을 해당 사용자의 단말에 전송할 수 있다.
이와 같은 무인 매장 플랫폼 장치(200)는 본 발명의 동작을 위한 명령어들(instructions)을 포함하는 소프트웨어 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체, 컴퓨팅 장치, 서버 등으로 구현될 수 있다.
이하에서는 도 2를 이용하여 무인 매장 플랫폼 장치(200)의 사용자 인증을 통한 무인 매장의 출입을 승인하는 과정에 대해서 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 무인 매장의 출입 여부를 결정하는 방법을 나타내는 흐름도이다.
도 2에 도시한 바와 같이, 무인 매장 플랫폼 장치(200)는 사용자 얼굴 이미지와 결제 수단 이미지 수신한다(S110).
무인 매장 플랫폼 장치(200)는 무인 매장(100) 입구에 위치하는 사용자 인증 카메라(110)로부터 사용자를 정면으로 촬영한 얼굴 이미지와 결제 수단 정면을 촬영한 이미지를 수신할 수 있다.
이때, 사용자 얼굴 이미지와 결제 수단 이미지는 각각의 영상으로 수신하거나 사용자가 결제 수단을 들고 있는 하나의 이미지를 수신할 수 있다.
여기서, 결제 수단은 신용카드 또는 하이브리드 카드와 같이, 후불제 카드를 의미하지만 반드시 이에 한정하는 것은 아니다. 예를 들어, 금액이 확인되는 선불 카드나 미리 등록된 핸드폰을 통한 결제, 앱카드 등 결제 가능한 수단을 인증 가능한 경우를 모두 포함한다.
다음으로 무인 매장 플랫폼 장치(200)는 얼굴 이미지에서 특징점을 추출한다(S120).
무인 매장 플랫폼 장치(200)는 사용자를 인식하기 위해 얼굴 영역을 추출하고, 해당 얼굴 영역에서 특징점을 추출하여 사용자의 안면 인식을 수행할 수 있다. 이때, 무인 매장 플랫폼 장치(200)는 사용자 안면 이미지 이외에도 사용자의 전신을 촬영한 이미지를 수신하면, 사용자의 전신에 기초하여 특징점을 추출할 수 있다. 그리고 무인 매장 플랫폼 장치(200)는 추출한 특징점은 해당 얼굴 영역에서의 특징점과 함께, 저장되어 추후에 무인 매장 내부에서 사용자의 동선을 확인하거나 추적할 때 이용될 수 있다.
그리고 무인 매장 플랫폼 장치(200)는 추출된 특징점에 기초하여 암호화된 고객 DB에 매칭되는 데이터를 검색(S130)하여 매칭 데이터 여부를 확인한다(S140).
이때, 무인 매장 플랫폼 장치(200)는 해당 무인 매장(100)을 이용하는 고객에 한정하여 고객 DB를 관리될 수 있고, 무인 매장(100)이 체인점이거나 연계 운영되거나 미리 설정된 조건에 따라 그룹핑된 무인 매장(100)들간에 고객 DB를 공유할 수 있다.
무인 매장 플랫폼 장치(200)는 동일한 데이터가 고객 DB에 저장되어 있는 경우, 해당 고객 데이터를 선택한다(S150). 그리고 무인 매장 플랫폼 장치(200)는 선택한 고객 데이터에 현재 시점의 무인 매장 ID, 진입하고자 하는 날짜, 시점 등을 연동하여 저장할 수 있다.
반면에, 무인 매장 플랫폼 장치(200)는 동일한 데이터가 고객 DB에 저장되어 있지 않은 경우, 새로운 고객 데이터 생성한다(S160).
무인 매장 플랫폼 장치(200)는 사용자의 얼굴 특징점들, 무인 매장 ID, 진입하고자 하는 날짜, 시점 등을 포함하여 고객 데이터를 생성할 수 있다.
다음으로 무인 매장 플랫폼 장치(200)는 촬영된 결제 수단의 사용 가능 여부를 확인한다(S170).
무인 매장 플랫폼 장치(200)는 결제 수단의 이미지를 통해 해당 결제 수단에 대한 정보를 추출한다. 예를 들어, 무인 매장 플랫폼 장치(200)는 결제 수단이 카드인 경우, 이미지에서 결제 수단의 카드사, 카드 종류, 카드 번호, 사용 기간(년도와 월), 카드 사용자 명 등을 추출할 수 있다.
그리고 무인 매장 플랫폼 장치(200)는 해당 결제 수단의 카드사 서버에 접속하여 해당 카드가 실제 사용 가능한지를 확인할 수 있다. 이때, 무인 매장 플랫폼 장치(200)는 결제 수단의 사용이 가능하다면, 해당 고객 데이터에 연동하여 해당 결제 수단 정보를 저장할 수 있다.
무인 매장 플랫폼 장치(200)는 사용자를 인식하고 결재 수단이 인증되면, 무인 매장 입장을 승인하는 메시지를 해당 무인 매장(100)의 안내 디스플레이에 전송한다(S190).
안내 디스플레이는 무인 매장으로의 입장 안내 메시지를 표시하며, 자동으로 무인 매장의 출입을 위해 문을 오픈할 수 있다.
한편, 무인 매장 플랫폼 장치(200)는 해당 결제 수단의 외부 카드 서버로부터 사용 불가능 메시지를 수신하여 해당 카드 사용이 불가능하면, 무인 매장(100)의 안내 디스플레이로 다른 결제 수단 이미지를 요청을 하고 무인 매장 입장을 불승인한다(S200).
무인 매장(100)의 안내 디스플레이를 통해 카드 재확인을 요청하거나 입장이 불가하다는 메시지를 표시할 수 있다.
이때, 해당 결제 수단이 도난 카드로 신고된 카드인 경우, 무인 매장 플랫폼 장치(200)는 해당 범죄 신고 센터의 서버로 신고할 수 있다. 그리고 무인 매장 플랫폼 장치(200)는 해당 카드사 서버로부터 수신한 도난 카드 메시지와 촬영된 사용자 얼굴 이미지, 해당 무인 매장의 위치, 해당 날짜와 시점 등을 포함하여 신고할 수 있다.
이처럼 무인 매장 플랫폼 장치(200)는 사용자에 대한 정보를 생성하여 고객 데이터를 확보하고, 결제 가능한 카드를 확인하면, 무인 매장 입장에 대해 승인하고, 고객 데이터 미확보 또는 결제 불가능한 카드로 확인되면, 무인 매장 입장에 대해 불승인한다.
한편, 무인 매장 플랫폼 장치(200)는 S150 단계에서 저장된 고객 DB에 결제 수단 또는 결제 수단이 저장된 경우라면 저장된 결제 수단 또는 결제 수단이 유효한지 확인할 수 있다. 무인 매장 플랫폼 장치(200)는 결제 수단 또는 결제 수단이 유효하다면, 결제 수단 이미지를 수신하지 않아도 무인 매장(100)의 입장을 승인할 수 있다.
이하에서는 도 3을 이용하여 무인 매장 플랫폼 장치(200)가 무인 매장을 이용하는 사용자에게 자동으로 결제 서비스를 제공하는 방법에 대해서 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 무인 매장에서 자동 결제 방법을 나타낸 흐름도이다.
무인 매장 플랫폼 장치(200)는 카트 카메라(130)로부터 수신한 사용자 얼굴 이미지에 기초하여 사용자와 해당 카트와 매칭하여 저장한다(S210).
무인 매장 플랫폼 장치(200)는 사용자가 카트와 함께 이동하는 경우, 해당 카트 카메라(130)의 촬영된 이미지에 기초하여 사용자를 인식한다. 그러면 무인 매장 플랫폼 장치(200)는 해당 사용자에 대응하는 고객 데이터와 해당 카트 ID를 매칭하여 저장한다. 이때, 무인 매장 플랫폼 장치(200)는 해당 사용자를 나타내는 고객 데이터 ID와 카트 ID를 연계하여 새로운 테이블을 생성할 수 있다. 그러면 무인 매장 플랫폼 장치(200)는 새로운 테이블에 시간 별로 카트 카메라(130)로부터 수신한 이미지, 이미지를 촬영한 시간 또는 이미지를 수신한 시간, 이미지에서 인식한 상품 품목, 상품 개수 등을 저장할 수 있다.
이러한 데이터들은 데이터베이스에 바로 저장되거나, 별도의 저장소에 임시적으로 저장 가능하다.
다음으로 무인 매장 플랫폼 장치(200)는 카트 카메라(130)로부터 상품의 이미지를 수신한다(S220).
카트 카메라(130)는 카트의 상단 영역 또는 중간 영역을 촬영함으로써, 카트 외부에서 내부로 또는 내부에서 외부로 상품이 이동하는 과정을 실시간으로 촬영한다.
카트 카메라(130)는 사용자에 의해 상품이 카트 내부에 담기는 과정을 촬영하는 것으로 실제 상품이 카트 중간 영역에 위치하는 이미지들을 획득한다.
그리고 카트 카메라(130)는 촬영된 이미지들을 메모리에 저장하고 5G로 무인 매장 플랫폼 장치(200)에 전송한다. 이때, 무인 매장 플랫폼 장치(200)는 해당 카트 카메라(130)의 고유 ID를 이용하여 동일 카트에 장착된 카메라들의 이미지들을 그룹핑할 수 있다.
한편, 카트 카메라(130)뿐만 아니라 매장 카메라(120)도 동일하게 촬영된 영상을 실시간 또는 일정한 주기에 따라 무인 매장 플랫폼 장치(200)에 전송할 수 있다.
무인 매장 플랫폼 장치(200)는 상품 이미지에서 바코드를 인식한다(S230).
무인 매장 플랫폼 장치(200)는 바코드 인식을 위한 특화된 딥러닝 알고리즘을 이용할 수 있다.
상세하게는 무인 매장 플랫폼 장치(200)는 수신된 이미지들 중에서 바코드로 인식된 확률이 높은 영역을 바코드 영역 이미지로 추출하고, 해당 바코드 영역 이미지에서 복수개의 이미지 판별기와 바코드 범위 한정기를 통해 바코드 중에서 일정 범위를 한정함으로써 최종적으로 특정 상품을 추정할 수 있다.
예를 들어, 무인 매장 플랫폼 장치(200)는 사물 검출 처리 속도가 빠른 YOLO (You Only Look Once) v3를 사용할 수 있으나, 반드시 이에 한정하는 것은 아니다.
YOLO 알고리즘은 이동하는 물체를 구별하고 인식하는 일반적인 open source 기술로, 이미지 해상도 및 카메라의 성능에 따라 입력 데이터의 사이즈는 변화될 수 있다. 그리고 YOLO 알고리즘은 정지 화면 또는 실시간 영상에서 사전 학습된 물체에 대해서 인지하고 그 물체의 분류와 화면/영상 내의 위치를 실시간으로 표시한다.
무인 매장 플랫폼 장치(200)는 YOLO 알고리즘을 이용하여 수신한 상품이 포함된 이미지에서 해당 상품을 인식한다.
상세하게는 무인 매장 플랫폼 장치(200)는 YOLO 알고리즘을 통해 수신한 이미지에서 상품의 전체 이미지를 추출하고, 해당 상품의 전체 이미지에서 바코드 영역일 확률이 높은 이미지를 추출할 수 있다.
이때, 무인 매장 플랫폼 장치(200)는 해당 상품을 추정하기 위해 카트에 장착된 카트 카메라(130)의 개수에 기초하여 다양한 각도에서의 이미지 또는 하나의 카트 카메라(130)를 통한 복수 개의 이미지 또는 매장 카메라(120)를 통해 수집한 이미지 등과 같이 복수개의 이미지를 이용할 수 있다.
이처럼 무인 매장 플랫폼 장치(200)는 YOLO 알고리즘을 통해 바코드로 추정 확률이 높은 이미지와 상품의 전체 이미지를 획득한다.
상세하게는, 무인 매장 플랫폼 장치(200)는 상품의 전체 이미지를 그리드 영역에 배치하고, 그리드 영역마다 각 복수개의 상이한 해상도를 가지는 Box를 생성한다. 그리고 해당 BOX마다 생성되는 이미지 정보에 기초하여 바코드로 추정 확률이 높은 이미지들을 선택한다.
여기서, 각 box 마다 생성되는 이미지 정보는 상품 이미지에 기초하여 상기 그리드의 중심점 x좌표, y좌표, 넓이, 높이, 물체일 확률, 바코드 영역에 대한 확률, 그리고 상기 무인 매장에 배치되는 상품일 확률 중에서 하나 이상의 정보를 포함한다.
이처럼 상품 이미지 및 상품의 바코드 영역을 추출하면 무인 매장 플랫폼 장치(200)는 CNN(convolution neural network)으로 이뤄진 판별기를 이용하여 해당 상품을 판별한다.
이때, 바코드는 좌우 방향으로 일정한 축들이 늘어서 있는 흑선으로 이뤄져 있기 때문에, 바코드를 정확하게 인식하기 위해서는 2차원 합성곱 블록도와 1차원 합성곱 블록도를 함께 이용한다.
무인 매장 플랫폼 장치(200)는 2차원 합성곱 블록도와 1차원 합성곱 블록도에서 각각 획득되는 결과에 대해 가중치를 적용하여 해당 상품을 추정한다. 여기서 가중치는 2차원 합성곱 블록도와 1차원 합성곱 블록도의 결과 중 어느 것을 더 많이 이용할지 결정할 수 있다.
그리고 해당 이미지들을 통해 무인 매장 플랫폼 장치(200)는 상품의 위치 변화가 위에서 아래 방향인지 확인한다(S240).
다시 말해, 무인 매장 플랫폼 장치(200)는 상품을 포함하는 연속되는 이미지에서 상품의 위치의 변화에 기초하여 해당 상품이 카트에 담기는 것인지 외부로 반출되는 것인지 확인할 수 있다.
일반적으로 카트 카메라(130)의 위치가 카트 손잡이와 유사한 높이에 장착되기 때문에 위에서 아래로 향하는 방향으로 상품의 위치가 변화하면 해당 상품이 카트에 담는 과정으로 추정할 수 있다.
한편, 카트 카메라(130)가 카트 바닥면 설치되어 위를 향하여 이미지를 촬영하는 경우에는 무인 매장 플랫폼 장치(200)는 연속적으로 촬영된 이미지 상에서 상품의 크기가 커지는 지, 또는 작아지는 지를 판단할 수 있다. 이러한 판단 기준은 카트 카메라(130)가 설치된 위치에 기초하여 각각 설정 및 변경될 수 있다.
이에, 무인 매장 플랫폼 장치(200)는 상품의 위치 변화가 위에서 아래 방향으로 촬영이 되면 카트에 담겨진 상품으로 인식(S250)하고, 상품의 위치 변화가 아래에서 위 방향으로 촬영이 되면 카트에서 반출되는 상품으로 인식한다(S260).
다음으로 무인 매장 플랫폼 장치(200)는 인식한 상품의 이동에 따라 카트의 리스트를 업데이트 한다(S270).
무인 매장 플랫폼 장치(200)는 상품이 카트 내부로 이동함을 확인하면 카트의 리스트에 해당 상품을 기록한다. 반대로 카트 외부로 이동하면, 카트의 리스트에서 해당 상품을 삭제한다.
무인 매장 플랫폼 장치(200)는 카트 위치 또는 사용자의 위치가 쇼핑 영역 내부에 위치하는지를 반복적으로 확인한다. 그리고 무인 매장 플랫폼 장치(200)는 카트 또는 사용자가 쇼핑 영역 내부에 있는 경우, S220 단계로 회귀하여 카트 카메라(130)로부터 이미지를 수신한다.
반면에, 무인 매장 플랫폼 장치(200)는 카트 또는 사용자의 위치가 쇼핑 영역 내부에 있지 않은 경우, 사용자가 무인 매장에서 구매를 완료하고 이동한 것으로 추정할 수 있다.
무인 매장 플랫폼 장치(200)는 미리 인증된 결제 수단으로 해당 카트의 리스트에 대응하는 대금의 결제를 요청한다(S290).
무인 매장 플랫폼 장치(200)는 촬영된 결제 수단의 카드사로 해당 카트의 리스트에 따른 판매 총액에 대해 결제를 요청한다. 이에 결제 수단사의 서버는 해당 결제 요청에 대응하여 연동되는 사용자 단말(미도시함)에 해당 결제 요청 사항을 팝업과 같은 알림 메시지를 전송한다.
이때, 해당 결제 요청 메시지는 일정한 시간에 기초하여 사용자 단말로부터 승인을 받지 않더라도 자동으로 결제로 진행될 수 있다.
그러면, 무인 매장 플랫폼 장치(200)는 결제 승인에 따라 상품 구매 확정한다(S300). 그리고 무인 매장 플랫폼 장치(200)는 확정된 상품 구매 리스트와 관련 데이터들을 고객 데이터에 연동하여 저장할 수 있다.
이하에서는 도 4 내지 도 6을 통해 카트 카메라(130)가 촬영한 이미지에서 상품의 바코드를 인식하는 과정에 대해서 상세하게 설명한다.
도 4는 본 발명의 실시예에 따른 카트 내 상품을 촬영하는 과정을 설명하기 위한 예시도이다.
도 4에 도시한 바와 같이, 사용자가 카트에 상품을 담을 때, 카트 카메라(131, 132)는 해당 상품이 포함된 이미지를 촬영한다. 이때, 카트 카메라(131, 132)는 해당 카트 상측 또는 측면에 설치되어 해당 상품이 카트에 담기는 순간을 연속적으로 촬영한다.
예를 들어, 카트 카메라(131, 132)는 사용자가 상품을 선택하여 카트 내부로 옮기는 과정을 촬영한다.
이때, 카트 카메라(131, 132)는 각각 내부 메모리에 실시간 촬영된 이미지를 저장하고 통신 모듈을 통해 무인 매장 플랫폼 장치(200)로 촬영된 이미지를 전송한다.
이때, 무인 매장 플랫폼 장치(200)는 카트 카메라(131,132) 각각으로부터 촬영 이미지를 수신하지만, 각 카트 카메라 고유 ID에 기초하여 하나의 카트 내부를 촬영한 이미지로 분류할 수 있다.
그리고 무인 매장 플랫폼 장치(200)는 해당 이미지들을 함께 분석하여 해당 상품의 시간에 따른 진행 방향이 외부에서 카트 내부로 이동한 것인지 확인하고, 해당 상품의 바코드를 인식하여 해당 상품이 포함하도록 카트의 리스트를 업데이트한다.
이때, 반대로 해당 상품의 시간에 따른 진행 방향이 카트 내부에서 외부로 이동하는 경우, 해당 상품의 바코드를 인식하여 해당 상품이 제외되도록 카트의 리스트를 업데이트한다.
도 5는 본 발명의 실시예에 따른 상품 이미지에서 바코드 추정 이미지를 추출하는 과정을 설명하기 위한 예시도이다.
도 5의 (a)는 바코드의 일반적인 구조를 나타내고, (b)는 촬영된 이미지에서의 상품 식별자를 추출하는 방법을 설명하기 위한 예시도이다.
도 5의 (a)에서와 같이, 바코드는 국가코드, 제조업체 코드, 자체 상품 코드(상품 식별자), 검증 코드 등의 결합으로 형성되어 있다.
이에 해당 상품을 인식하기 위해서는 먼저, 바코드 영역 이미지를 확인하고, 바코드 영역 이미지 중에서 자체 상품 코드(상품 식별자)를 추출해야 한다.
도 5의 (b)에서는 상품을 포함한 이미지가 전체 M x M 으로 쪼개져있는 그리드 상에서 A 영역을 중심으로 큰 사각형 범위로 나타난다.
무인 매장 플랫폼 장치(200)는 복수개의 해상도에 대해 분류를 수행하는 YOLO 알고리즘을 이용한다. 예를 들어, 무인 매장 플랫폼 장치(300)는 해당 상품 이미지에 대해 3개의 해상도를 고려하여 3개의 Box(Box1, Box2, Box3)로 분류한다. 여기서, Box의 개수가 많아질수록 분류 정확도를 향상될 수 있으며, 분류 정확도에 기초하여 Box의 개수는 추후에 상황에 따라 용이하게 변경 가능하다.
각각의 Box에는 순서대로 해당 물체의 중심점 x 좌표, y 좌표, 넓이, 높이, 물체일 확률(p(obj)), 바코드 영역에 대한 확률(p(c0)), 매장 내 각 상품일 확률(p(c1))??(p(cN))이 기재된다.
여기서, 매장 내 각 상품일 확률에 대해서는 총 상품의 수를 나타내는 N이 입력될 수 있으며, 일반적으로 진열되는 상품의 수를 N으로 설정 가능하다.
이처럼 해당 상품 이미지의 각 그리드마다 3개의 Box가 생성되면, 무인 매장 플랫폼 장치(200)는 각 Box 별로 산출된 바코드 영역에 대한 확률(p(c0))을 추출하여 해당 그리드에 바코드가 포함되는지를 확인한다.
여기서, 무인 매장 플랫폼 장치(200)는 3개의 Box의 산출된 바코드 영역에 대한 확률(p(c0))이 모두 일정 값 이상을 가지는 경우 해당 그리드 영역을 바코드 추정 이미지로 추출할 수 있다.
이에 따라, 도 5의 (b)에서 A 영역에 대해서는 (P(c0))이 매우 낮은 값이 되며, B 영역에 대해서는 (P(c0))이 매우 높은 값을 가지게 된다.
그러므로 무인 매장 플랫폼 장치(200)는 바코드 영역을 정확하게 인식하기 위해 (P(c0))값이 가장 높은 값을 가지거나 임계치보다 큰 값을 가지는 그리드 영역들을 추출하여 바코드 추정 이미지로 추출할 수 있다. 여기서, 바코드 영역 이미지는 국가코드, 제조업체 코드, 자체 상품 코드(상품 식별자), 검증 코드를 포함하는 바코드 전체 영역을 의미한다.
다만, 상품이 카트에 담기는 상황이므로 촬영 이미지에서 해당 상품의 바코드 전체 영역이 포함되지 않을 수 있기 때문에, 촬영 이미지에 포함된 바코드 전체 영역을 의미한다.
도 6은 본 발명의 실시예에 따른 바코드 판별 과정을 나타낸 구조도이다.
도 6에 도시한 바와 같이, 무인 매장 플랫폼 장치(200)는 YOLO 알고리즘을 이용하여 바코드 영역 이미지와 상품의 전체 이미지를 1차로 판별한다.
그리고 바코드 확률이 가장 높은 이미지(P(c0))와 상품의 전체 이미지를 상품 판별기의 입력값으로 이용한다.
상세하게는 상품 판별기는 ResNet이라고 하는 CNN (convolution neural network) 2개를 활용한다.
여기서, ResNet은 합성곱 (convolution) 블록과 풀링 (pooling)을 수행하는 수 많은 층을 쌓고 중간 중간 합성곱 블록을 생략한 연결을 추가함으로써 많은 층을 쌓은 딥러닝 구조이다.
무인 매장 플랫폼 장치(200)는 2차원 합성곱 블록 (Conv 2차원)와 1차원 합성곱 블록을 함께 사용한다.
카메라를 통해 촬영된 영상의 경우에 촬영된 이미지 상에서의 상품이나 바코드의 회전과 같이, 이미지 정보가 가로 축이 아닌 상하 축에서도 분포될 수 있기 때문에 2차원 합성곱 블록 (Conv 2차원)와 1차원 합성곱 블록(Conv 1차원)를 각각 사용한다.
무인 매장 플랫폼 장치(200)는 바코드 영역 이미지를 입력하여 2 차원 합성곱 블록 (Conv 2D)와 1차원 합성곱 블록(Conv 1D)을 통해 획득한 결과값을 바코드 분류기인 각 2차원 분류기와 1차원 분류기에 입력한다. 여기서, 1차원 분류기와 2차원 분류기는 바코드 영역 중에서 상품 식별자를 나타내는 영역을 한정한다.
앞서 도 5의 (a)에 대응하여 설명한 바와 같이, 바코드는 총 13 자리의 십진수로 이뤄져 있기 때문에 10의 13승 개의 카테고리로 분류할 수 있다. 그러므로 시스템의 메모리 연산량 등에 부담을 최소화하기 위해 무인 매장 플랫폼 장치(200)는 바코드의 범위 중에서 상품 식별자를 의미하는 상품 코드 영역을 한정한다.
상세하게는 1차원 분류기(1D 분류기)는 1차원 합성곱 블록 (Conv 1차원)을 통해 획득한 결과값과 상품의 전체 이미지를 입력값으로 하고, 2차원 분류기(2D 분류기)는 2차원 합성곱 블록 (Conv 2차원)을 통해 획득한 결과값과 판별한 상품의 전체 이미지를 입력값으로 한다.
무인 매장 플랫폼 장치(200)는 이후 1차원 분류기와 2차원 분류기의 결과에 대해 가중치(
Figure pat00001
λ, lambda))를 통해 결과값을 합하여 상품 식별자를 추출한다. 가중치는 1차원 분류기와 2차원 분류기의 결과 중 어느 것을 더 많이 이용할지 결정할 수 있다.
가중치는 딥러닝의 파라미터(hyper-parameter)로 다양한 상품의 바코드 영역을 추출하는 학습을 수행하면서 최적의 값으로 산출된 값으로 설정된다.
다시 말해, 다양한 상품에 대해서 동일한 값이 적용되는 경우, 1차원 이미지와 2차원 이미지로부터 특정 바코드 영역이 추출될 확률을 최대화하는 수치로 설정된다.
그리고 무인 매장 플랫폼 장치(200)는 추출된 상품 식별자를 상품 판별기에 입력하여 상품의 정보를 확인할 수 있다.
여기서, 상품 판별기는 무인 매장(100)내 진열되어 있는 상품들의 바코드 정보에 해당 인식된 바코드 정보와 매칭되는 데이터를 검색하여 특정 상품을 판별한다.
이에 무인 매장 플랫폼 장치(200)는 판별한 특정 상품에 연계되어 저장된 데이터로부터 상품의 종류, 이름, 가격, 유통기한, 매장에 남은 개수 등 상품 정보를 확인할 수 있다.
도 7은 본 발명의 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다
도 7에 도시한 바와 같이, 컴퓨팅 장치(300)의 하드웨어는 적어도 하나의 프로세서(310), 메모리(320), 스토리지(330), 통신 인터페이스(340)를 포함할 수 있고, 버스를 통해 연결될 수 있다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 컴퓨팅 장치(300)는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.
프로세서(310)는 컴퓨팅 장치(300)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(310)일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다. 메모리(320)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(310)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(320)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다. 스토리지(330)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 통신 인터페이스(340)는 유/무선 통신 모듈일 수 있다.
실시예에 따르면 무선 전송이 가능한 카메라로 5G의 무선망을 통해 촬영된 영상을 보내면, 무인 매장 플랫폼 장치를 통해 무인 매장을 관리함으로써, 무인 매장을 구축하기 위한 설비 비용이나 운영 비용을 절감하면서도 무인 매장에 따른 편의성을 확보할 수 있다. 실시예에 따르면, 일반 카메라를 통해 촬영된 고화질의 영상을 바코드 인식에 특화된 딥러닝 구조를 이용하여 상품의 바코드 인식률을 향상시키며 이에 따른 정확한 구매 목록을 생성할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (12)

  1. 적어도 하나의 프로세스에 의해 동작하는 플랫폼 장치가 무인 매장에서 상품을 결제하는 방법으로서,
    결제 수단 정보의 인증을 통해 상기 무인 매장의 출입이 승인된 사용자와 상기 사용자가 선택한 쇼핑 도구를 매칭시키고, 상기 쇼핑 도구에 장착된 하나 이상의 카메라로부터 상기 쇼핑 도구의 상단 또는 중간 영역에 위치하는 상품이 촬영된 하나 이상의 이미지를 수신하는 단계,
    상기 이미지에 기초하여 상기 상품의 전체 이미지와 바코드 영역 이미지를 추출하고, 상기 상품의 전체 이미지와 상기 바코드 영역 이미지를 하나 이상의 이미지 판별기에 입력하여 상기 상품을 추정하는 단계,
    상기 상품을 상기 쇼핑 도구의 리스트에 기록하여 업데이트하는 단계, 그리고
    상기 쇼핑 도구 내부의 상품이 상기 무인 매장 밖으로 이동하면, 상기 결제 수단 정보로 상기 리스트에 대응하는 대금 결제를 수행하는 단계
    를 포함하는 상품 결제 방법.
  2. 제1항에서,
    상기 무인 매장의 입구에 장착된 카메라로부터 상기 사용자의 얼굴과 결제 수단을 촬영한 이미지를 수신하면, 해당 이미지에서 특징점을 추출하여 사용자를 인식하고, 상기 결제 수단 정보를 추출하여, 상기 결제 수단의 사용 가능 여부에 따라 상기 무인 매장의 출입을 승인하는 단계를 더 포함하는 상품 결제 방법.
  3. 제2항에서,
    상기 상품이 촬영된 하나 이상의 이미지를 수신하는 단계는,
    상기 쇼핑 도구가 일정 시간 이상의 정지 상태에서 이동하는 경우, 구동되는 상기 카메라로부터 상기 사용자를 포함한 이미지를 수신하면, 상기 사용자를 포함한 이미지에서 인식한 사용자 여부를 확인하고, 상기 사용자와 상기 쇼핑 도구를 서로 매칭시키는 상품 결제 방법.
  4. 제1항에서,
    상기 상품을 추정하는 단계는,
    상기 이미지에서 상품의 전체 이미지를 추출하여 복수개의 그리드 영역에 배치하고 그리드마다 복수개의 해상도를 가지는 이미지 정보를 생성하는 단계, 그리고
    상기 이미지 정보에 포함된 바코드 추정 확률이 임계치 이상인 그리드들의 그룹을 상기 바코드 영역 이미지로 추출하는 단계
    를 포함하는 상품 결제 방법.
  5. 제4항에서,
    상기 이미지 정보를 생성하는 단계는,
    상기 상품에 기초하여 상기 그리드의 중심점 x좌표, y좌표, 넓이, 높이, 물체일 확률, 바코드 영역에 대한 확률, 그리고 상기 무인 매장에 배치되는 상품일 확률 중에서 하나 이상의 정보를 생성하는 상품 결제 방법.
  6. 제4항에서,
    상기 상품을 추정하는 단계는,
    상기 바코드 영역 이미지를 1차원 합성곱 블록에 입력하여 획득한 결과값과 상기 상품의 전체 이미지를 1차원 분류기에 입력하여 제1 상품 식별자를 출력하는 단계,
    상기 바코드 영역 이미지를 2차원 합성곱 블록에 입력하여 획득한 결과값과 상기 상품의 전체 이미지를 2차원 분류기에 입력하여 제2 상품 식별자를 출력하는 단계, 그리고
    상기 제1 상품 식별자와 상기 제2 상품 식별자에 기초하여 상기 상품을 추정하는 상품 결제 방법.
  7. 제3항에서,
    상기 업데이트하는 단계는,
    상기 이미지 정보에 포함된 이미지 상의 상품의 위치의 변화에 기초하여 상기 상품이 향하는 방향을 추정하고,
    상기 방향이 상기 쇼핑 도구의 외부에서 내부로의 방향인 경우에 상기 상품을 기록하여 상기 쇼핑 도구의 리스트를 업데이트하고, 상기 방향이 상기 쇼핑 도구 내부에서 외부로의 방향인 경우에 상기 상품을 제외하여 상기 쇼핑 도구의 리스트를 업데이트하는 상품 결제 방법.
  8. 제7항에서,
    상기 무인 매장 내부에 장착된 카메라들을 통해 무인 매장의 내부 이미지를 수신하는 단계를 더 포함하고,
    상기 업데이트하는 단계는,
    상기 무인 매장의 내부 이미지에 기초하여 상기 사용자의 위치를 확인하여 상기 상품이 진열된 위치와 매칭되면, 상기 해당 상품을 포함하여 상기 리스트를 생성하는 상품 결제 방법.
  9. 무인 매장 플랫폼 장치로서,
    메모리, 그리고
    상기 메모리에 로드된 프로그램의 명령들(instructions)을 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 프로그램은
    무인 매장에 설치된 하나 이상의 매장 카메라와 쇼핑 도구에 장착된 하나 이상의 카메라로부터 촬영된 이미지를 수신하는 기능,
    수신한 이미지 중에서 상기 쇼핑 도구의 상단 영역 또는 중간 영역에서 위치하는 상품이 포함된 이미지를 선택하여 상기 이미지에서 상기 상품의 전체 이미지와 바코드 영역 이미지를 추출하는 기능,
    상기 상품의 전체 이미지와 상기 바코드 영역 이미지에 기초하여 하나 이상의 이미지 판별기를 통해 상기 상품을 추정하는 기능 그리고
    상기 상품의 이동 방향에 기초하여 상기 쇼핑 도구 외부에서 내부로 이동하는 상품인 경우, 상기 쇼핑 도구의 리스트에 기록하고 상기 쇼핑 도구의 내부에서 외부로 이동하는 상품인 경우, 상기 쇼핑 도구의 리스트에서 제외하는 기능
    을 실행하도록 기술된 명령들을 포함하는 무인 매장 플랫폼 장치.
  10. 제9항에서,
    상기 이미지를 추출하는 기능은,
    상기 상품의 전체 이미지를 추출하면, 상기 상품의 전체 이미지를 복수개의 그리드 영역에 배치하여 각각의 그리드마다 바코드로 인식될 확률을 산출하고, 확률값이 임계치 이상인 그리드들을 상기 바코드 영역 이미지로 선택하는 무인 매장 플랫폼 장치.
  11. 제10항에서,
    상기 상품을 추정하는 기능은,
    상기 바코드 영역 이미지를 1차원 합성곱 블록에 입력하여 획득한 결과값과 상기 상품의 전체 이미지를 1차원 분류기에 입력하여 제1 상품 식별자를 획득하고
    상기 바코드 영역 이미지를 2차원 합성곱 블록에 입력하여 획득한 결과값과 상기 상품의 전체 이미지를 2차원 분류기에 입력하여 제2 상품 식별자를 획득하면,
    상기 제1 상품 식별자와 제2 상품 식별자에 각각의 가중치를 적용하여 최종 획득된 상품 식별자로 상기 상품을 추정하는 무인 매장 플랫폼 장치.
  12. 제11항에서,
    상기 무인 매장의 입구에 장착된 카메라의 촬영 이미지에 기초하여 사용자를 인식하고, 결제 수단 정보를 인증하는 기능,
    상기 사용자가 쇼핑 도구를 선택하여 이동하면, 상기 쇼핑 도구에 장착된 카메라를 통해 상기 사용자가 포함된 이미지를 수신하는 기능,
    상기 사용자가 포함된 이미지에 기초하여 사용자를 인식하고, 상기 사용자와 상기 쇼핑 도구와 매칭하는 기능, 그리고
    상기 매장 카메라 또는 상기 쇼핑 도구에 장착된 카메라로부터 수신한 이미지에 기초하여 상기 쇼핑 도구의 상품이 상기 무인 매장 밖으로 이동하면, 상기 결제 수단 정보로 상기 쇼핑 도구의 리스트에 대응하는 대금 결제를 수행하는 기능
    를 실행하도록 기술된 명령들을 더 포함하는 무인 매장 플랫폼 장치.
KR1020200139367A 2020-10-26 2020-10-26 무인 매장에서 자동 결제 방법 및 그것을 구현하는 무인 매장 플랫폼 장치 KR20220055168A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200139367A KR20220055168A (ko) 2020-10-26 2020-10-26 무인 매장에서 자동 결제 방법 및 그것을 구현하는 무인 매장 플랫폼 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200139367A KR20220055168A (ko) 2020-10-26 2020-10-26 무인 매장에서 자동 결제 방법 및 그것을 구현하는 무인 매장 플랫폼 장치

Publications (1)

Publication Number Publication Date
KR20220055168A true KR20220055168A (ko) 2022-05-03

Family

ID=81591031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200139367A KR20220055168A (ko) 2020-10-26 2020-10-26 무인 매장에서 자동 결제 방법 및 그것을 구현하는 무인 매장 플랫폼 장치

Country Status (1)

Country Link
KR (1) KR20220055168A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385723A (zh) * 2023-04-11 2023-07-04 特斯联科技集团有限公司 基于室内定位的智能零售系统和方法
CN116471384A (zh) * 2023-06-20 2023-07-21 深圳市泽威信息科技有限公司 无人值守商店监控系统的控制方法及控制装置
CN117455595A (zh) * 2023-11-07 2024-01-26 浙江云伙计科技有限公司 一种基于视觉ai的无人智能值守方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385723A (zh) * 2023-04-11 2023-07-04 特斯联科技集团有限公司 基于室内定位的智能零售系统和方法
CN116385723B (zh) * 2023-04-11 2023-09-15 特斯联科技集团有限公司 基于室内定位的智能零售系统和方法
CN116471384A (zh) * 2023-06-20 2023-07-21 深圳市泽威信息科技有限公司 无人值守商店监控系统的控制方法及控制装置
CN116471384B (zh) * 2023-06-20 2023-12-12 深圳市泽威信息科技有限公司 无人值守商店监控系统的控制方法及控制装置
CN117455595A (zh) * 2023-11-07 2024-01-26 浙江云伙计科技有限公司 一种基于视觉ai的无人智能值守方法及系统

Similar Documents

Publication Publication Date Title
KR20220055168A (ko) 무인 매장에서 자동 결제 방법 및 그것을 구현하는 무인 매장 플랫폼 장치
US20220398591A1 (en) Systems and methods for biometric transaction management
CN109215254B (zh) 实体店铺应用系统、用户信息处理方法及装置
US20180302414A1 (en) Wireless authentication based on location data
KR102333347B1 (ko) 스마트 스토어 중계 시스템 및 방법
US11830287B2 (en) Method and system for customizing user experience
US20230282055A1 (en) Low-cost apparatus and method for distributed remote collection of electronic devices for value
JP7264401B2 (ja) 会計方法、装置及びシステム
WO2019127618A1 (zh) 结算方法、装置和系统
KR102334095B1 (ko) 사용자 단말기를 이용한 결제 방법 및 결제 시스템
WO2021125357A1 (ja) 情報処理システム
CN105844460A (zh) 一种手机刷脸支付系统的构成
JP2022539920A (ja) 視覚及び重力感知に基づく商品と顧客とのマッチ方法及び装置
CN111178860A (zh) 无人便利店的结算方法、装置、设备及存储介质
US20230005348A1 (en) Fraud detection system and method
US20230306428A1 (en) Multi-Computer System with Dynamic Authentication for Optimized Queue Management Based on Facial Recognition
US11816668B2 (en) Dynamic contactless payment based on facial recognition
US10609156B2 (en) Data transfer, over session or connection, and between computing device and server associated with one or more routing networks in response to detecting activity
EP3989105B1 (en) Embedded device based detection system
US10798007B2 (en) Data transfer, over session or connection, and between computing device and server associated with a routing network for modifying one or more parameters of the routing network
RU2710925C1 (ru) Способ обработки пользовательских данных для выполнения платежной транзакции
US10716060B2 (en) Data transfer between computing device and user device at different locations and over session or connection to display one or more routing networks to use
US10601934B2 (en) Data transfer, over session or connection, and between computing device and one or more servers for transmitting data to a third party computing device
US20230306496A1 (en) Multi-Computer System for Optimized Queue Management Based on Facial Recognition
KR102374068B1 (ko) 블록체인 기반 얼굴인식 결제 서비스 제공 시스템