KR102346166B1 - 매대 감지 및 무인결제 서비스 제공 방법 및 장치 - Google Patents

매대 감지 및 무인결제 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
KR102346166B1
KR102346166B1 KR1020210065691A KR20210065691A KR102346166B1 KR 102346166 B1 KR102346166 B1 KR 102346166B1 KR 1020210065691 A KR1020210065691 A KR 1020210065691A KR 20210065691 A KR20210065691 A KR 20210065691A KR 102346166 B1 KR102346166 B1 KR 102346166B1
Authority
KR
South Korea
Prior art keywords
product
real
object recognition
store
server
Prior art date
Application number
KR1020210065691A
Other languages
English (en)
Other versions
KR102346166B9 (ko
Inventor
신동화
현재혁
Original Assignee
(주)트리플렛
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)트리플렛 filed Critical (주)트리플렛
Priority to KR1020210065691A priority Critical patent/KR102346166B1/ko
Application granted granted Critical
Publication of KR102346166B1 publication Critical patent/KR102346166B1/ko
Publication of KR102346166B9 publication Critical patent/KR102346166B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/12—Payment architectures specially adapted for electronic shopping systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 기술은 매대 감지 및 무인결제 서비스 제공 방법 및 장치에 관한 것이다. 본 기술의 서버와 통신하며 매장 내 무인결제를 지원하는 장치의 매대 감지 및 무인결제 서비스 제공 방법은, 입력영상으로부터 판단되는 매대 앞쪽 끝선, 매대 뒤쪽 끝선 및 상품 객체 인식 영역을 기초로 하나 이상의 상품 진열영역들을 정의하는 단계; 상기 상품 진열영역에 대한 상기 상품 객체 인식 영역의 비율을 이용하여 실시간 잔여량을 계산하는 단계; 및 상기 실시간 잔여량 계산에 이용된 상기 상품 객체 인식 영역으로부터 관심영역을 추출하고 상기 서버로 전송하여 상기 관심영역에 대해 가장 유사도가 높은 이미지를 상품DB에서 탐색하는 상기 서버로부터 상품정보를 수신하는 단계;를 포함하되, 상기 입력영상으로부터 사람 인식 이벤트가 발생된 시점으로부터 소정의 시간 내에 상기 계산된 실시간 잔여량에 변화가 발생하였는지를 판단하는 단계; 상기 실시간 잔여량 변화가 발생한 상기 상품 진열영역에 대한 상기 상품정보 및 상기 실시간 잔여량 변화에 상응하는 상품개수를 매장 입장 고객의 쇼핑목록으로 생성하는 단계; 및 상기 쇼핑목록에 대해 결제를 처리하는 단계;를 더 포함한다. 본 기술은 다양한 진열 환경 및 종류의 상품을 영상 인식을 이용하여 실시간 재고 파악 및 무인결제에 활용할 수 있는 새로운 시스템을 제공할 수 있다.

Description

매대 감지 및 무인결제 서비스 제공 방법 및 장치{Method and device for detecting shop-stand and providing unmanned payment service}
본 발명은 매대 감지 및 무인결제 서비스 제공 방법 및 장치에 관한 것으로, 보다 구체적으로는 영상 처리를 통한 매대 감지 및 무인결제 서비스 제공 방법 및 장치에 관한 것이다.
오프라인 매장 관리를 보다 효율적으로 운영하기 위해 다양한 기술이 존재한다.
그 중 하나는 영상 처리를 통하여 구매자의 행동을 분석하는 것이다. 예를 들어, 대한민국 공개특허공보 제10-2020-0106795호(발명명칭: 매장 관리 시스템 및 방법)는 오프라인 매장 내에서 상품이 진열되는 적어도 하나의 선반 및 그 선반에 접근하는 사용자를 촬영하는 카메라; 상기 카메라에서 촬영된 촬영 영상을 수집하는 영상 수집부; 상기 수집된 촬영 영상을 분석하여, 상기 사용자의 시선을 추정하고, 상기 사용자의 손의 위치를 인식하여 상품의 피킹 또는 반납의 행동을 분석하는 영상 분석부; 상기 오프라인 매장 내의 결제 단말로부터 결제 정보를 수집하는 결제 정보 수집부; 상기 적어도 하나의 선반의 식별정보와, 상기 적어도 하나의 선반 위의 적어도 하나의 분석 대상 영역의 정보와, 각 분석 대상 영역에 진열되는 상품의 정보를 저장하는 선반 등록부; 상기 추정된 사용자의 시선과, 상기 상품의 피킹 또는 반납의 행동과, 상기 결제 정보를 기초로, 시선 대비 피킹 전환률 또는 피킹 대비 구매 전환율의 통계 정보를 계산하는 통계 계산부; 및 상기 통계 정보를 상기 오프라인 매장의 매장 관리자의 단말로 전송하는 통계 정보 제공부를 보여준다.
위 선행특허는 오프라인 매장에서 물건 구매와 관련한 사용자의 시선, 행동 등을 모두 분석하는 것으로서, 정확도는 별론, 데이터 처리량이 과대하다.
매대 감지에 인공지능 학습을 결합한 기술도 존재한다. 대한민국 등록특허공보 제10-2215899호(발명명칭: 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치)는 전자 장치가 매대에 진열된 상품을 식별하는 방법으로서, 상기 매대 및 상기 매대 상에 진열된 상품을 촬영함으로써 획득되는 상품 진열 이미지를 획득하는 단계; 및 상기 획득된 상품 진열 이미지를, 상기 상품이 진열될 영역을 포함하는 적어도 하나의 매대 이미지 및 상기 적어도 하나의 매대 이미지에 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성된 증강 학습 이미지에 기초하여 학습되는 인공 지능 모델에 입력함으로써, 상기 상품 진열 이미지에 포함된 상품을 식별하는 단계;를 보여준다.
그러나 상기 인공지능을 결합한 종래기술의 경우에도, 시장에 존재하는 모든 상품들에 대해 학습해야 해서 자주 변하는 포장지에 빠르게 대응하지 못하는 한계가 존재한다. 실제 오프라인 매장에서는 상품이 진열되는 위치도 점주의 의사에 따라 수시로 변하게 되는데, 이를 적시에 반영하지 못하는 문제점도 도출된다.
본 발명의 발명자는 이러한 문제점들을 해결하기 위하여 오랫동안 연구하고 시행착오를 거친 끝에 본 발명을 완성하기에 이르렀다.
본 발명의 실시예는 다양한 진열 환경 및 종류의 상품을 영상 인식을 이용하여 실시간 재고 파악 및 무인결제에 활용할 수 있는 매대 감지 및 무인결제 서비스 제공 시스템을 제공한다.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.
본 발명의 실시예에 따른 서버와 통신하며 매장 내 무인결제를 지원하는 장치의 매대 감지 및 무인결제 서비스 제공 방법은, 입력영상으로부터 판단되는 매대 앞쪽 끝선, 매대 뒤쪽 끝선 및 상품 객체 인식 영역을 기초로 하나 이상의 상품 진열영역들을 정의하는 단계; 상기 상품 진열영역에 대한 상기 상품 객체 인식 영역의 비율을 이용하여 실시간 잔여량을 계산하는 단계; 및 상기 실시간 잔여량 계산에 이용된 상기 상품 객체 인식 영역으로부터 관심영역을 추출하고 상기 서버로 전송하여 상기 관심영역에 대해 가장 유사도가 높은 이미지를 상품DB에서 탐색하는 상기 서버로부터 상품정보를 수신하는 단계;를 포함하되, 상기 입력영상으로부터 사람 인식 이벤트가 발생된 시점으로부터 소정의 시간 내에 상기 계산된 실시간 잔여량에 변화가 발생하였는지를 판단하는 단계; 상기 실시간 잔여량 변화가 발생한 상기 상품 진열영역에 대한 상기 상품정보 및 상기 실시간 잔여량 변화에 상응하는 상품개수를 매장 입장 고객의 쇼핑목록으로 생성하는 단계; 및 상기 쇼핑목록에 대해 결제를 처리하는 단계;를 더 포함할 수 있다.
상기 상품 객체 인식 영역은 인식할 객체가 박스형, 백형 및 실린더형 중 어느 하나의 형상에 속한다는 정보를 포함할 수 있다.
상기 상품 객체 인식 영역은 상기 입력영상에 대해 상품 객체 인식 프로세스를 진행하는 상기 서버로부터 수신할 수 있다.
상기 상품 진열영역은 상기 매대 앞쪽 끝선, 상기 매대 뒤쪽 끝선 및 상기 상품 객체 인식 영역의 세로선에 의해 정의되는 닫힌 영역일 수 있다.
상기 계산하는 단계 이전에, 상기 입력영상 내에 사람이 존재하는 것으로 판단되는 경우 사람의 바운딩 박스 좌표를 저장하는 단계;를 포함하고, 상기 계산하는 단계는, 상기 상품 진열영역들 중 상기 바운딩 박스와 중첩되는 상품 진열영역을 제외한 나머지 상품 진열영역에 대해 상기 실시간 잔여량을 계산할 수 있다.
상기 수신하는 단계 이후에, 상기 수신된 상품정보가 이전 프레임에서 수신된 상품정보와 달라진 경우 오진열 알림을 발생하는 단계;를 더 포함할 수 있다.
상기 생성하는 단계 이전에, 매장 입장 고객 정보를 수집하는 단계; 및 상기 매장 입장 고객 정보에 대응하는 객체를 트래킹하는 단계;를 더 포함하고, 상기 생성하는 단계는, 상기 트래킹된 객체와 상기 실시간 잔여량 변화가 발생한 상기 상품 진열영역이 서로 기설정된 거리 이내에 존재할 때에 상기 트래킹된 객체의 쇼핑목록으로 생성할 수 있다.
상기 트래킹된 객체가 매장 내 결제구역에 위치하는 것으로 판단되는 경우, 상기 쇼핑목록을 상기 트래킹된 객체의 상기 매장 입장 고객 정보에 상응하는 계정으로 전송하여, 결제 진행에 대해 컨펌을 수신할 수 있다.
상기 상품 진열영역에 대해 상기 계산된 실시간 잔여량과 상기 수신된 상품정보를 연계한 그래픽 사용자 인터페이스를 디스플레이부를 통해 표시하는 단계;를 포함할 수 있다.
또한 본 발명의 실시예에 따른 서버와 통신하며 매장 내 무인결제를 지원하는 장치로서, 입력영상으로부터 판단되는 매대 앞쪽 끝선, 매대 뒤쪽 끝선 및 상품 객체 인식 영역을 기초로 하나 이상의 상품 진열영역들을 정의하는 상품 진열영역 정의부; 상기 상품 진열영역에 대한 상기 상품 객체 인식 영역의 비율을 이용하여 실시간 잔여량을 계산하는 실시간 잔여량 계산부; 및 상기 실시간 잔여량 계산에 이용된 상기 상품 객체 인식 영역으로부터 관심영역을 추출하고 상기 서버로 전송하여 상기 관심영역에 대해 가장 유사도가 높은 이미지를 상품DB에서 탐색하는 상기 서버로부터 상품정보를 수신하는 상품정보 수신부;를 포함하되, 상기 입력영상으로부터 사람 인식 이벤트가 발생된 시점으로부터 소정의 시간 내에 상기 계산된 실시간 잔여량에 변화가 발생하였는지를 판단하는 실시간 잔여량 변화 발생 판단부; 상기 실시간 잔여량 변화가 발생한 상기 상품 진열영역에 대한 상기 상품정보 및 상기 실시간 잔여량 변화에 상응하는 상품개수를 매장 입장 고객의 쇼핑목록으로 생성하는 쇼핑목록 생성부; 및 상기 쇼핑목록에 대해 결제를 처리하는 결제 처리부;를 더 포함할 수 있다.
본 기술은 다양한 진열 환경 및 종류의 상품을 영상 인식을 이용하여 실시간 재고 파악 및 무인결제에 활용할 수 있는 새로운 시스템을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 매대 감지 및 무인결제 서비스 제공 시스템의 전체적인 구성을 도시하는 도면이다.
도 2는 본 발명의 실시예에 따른 매장 내 구비된 카메라와 매대 및 매대에 진열된 상품 상호간의 위치 관계를 개락적으로 도시하는 도면이다.
도 3은 본 발명의 실시예에 따른 무인결제 지원 장치의 상세한 구성을 도시하는 도면이다.
도 4는 본 발명의 실시예에 따른 무인결제 지원 장치의 매대 감지 및 무인결제 서비스 제공 방법을 시간의 흐름에 따라 도시한 순서도이다.
도 5는 본 발명의 실시예에 따른 상품 진열영역을 정의하는 단계를 보다 상세하게 도시하는 순서도이다.
도 6은 본 발명의 실시예에 따른 상품 진열영역을 정의를 위해 입력영상을 분석하는 과정을 상세하게 도시하는 도면이다.
도 7은 본 발명의 실시예에 따른 실시간 잔여량을 계산하는 단계를 보다 상세하게 도시하는 순서도이다.
도 8은 본 발명의 실시예에 따른 실시간 잔여량 계산을 위해 입력영상을 분석하는 과정을 상세하게 도시하는 도면이다.
도 9는 본 발명의 실시예에 따른 사람의 바운딩 박스가 존재할 때의 실시간 잔여량을 판단하는 과정을 보다 상세하게 도시하는 도면이다.
도 10은 본 발명의 실시예에 따른 트래킹된 객체에 대해 쇼핑목록 생성하는 과정을 보다 상세하게 도시하는 도면이다.
첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.
이하에서는, 본 발명의 가장 바람직한 실시예가 설명된다. 도면에 있어서, 두께와 간격은 설명의 편의를 위하여 표현된 것이며, 실제 물리적 두께에 비해 과장되어 도시될 수 있다. 본 발명을 설명함에 있어서, 본 발명의 요지와 무관한 공지의 구성은 생략될 수 있다. 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
도 1은 본 발명의 실시예에 따른 매대 감지 및 무인결제 서비스 제공 시스템의 전체적인 구성을 도시하는 도면이다.
그리고, 도 2는 본 발명의 실시예에 따른 매장 내 구비된 카메라와 매대 및 매대에 진열된 상품 상호간의 위치 관계를 개략적으로 도시하는 도면이다.
먼저, 도 1을 참조하면, 본 발명의 실시예에 따른 매대 감지 및 무인결제 서비스 제공 시스템은 서버(10), 이용자 단말기(20) 및 매장 내 무인결제 지원 장치(100)를 포함한다.
서버(10)는 매대 감지 및 무인결제 서비스를 제공하는 회사 내에 구비된 것일 수 있다. 서버의 위치가 이에 한정되지 않는다. 서버는 상품DB를 갖고서, 무인결제 지원 장치(100)가 문의해오는 여러 이미지들에 대해 가장 유사한 상품정보를 찾아 회신한다. 상품DB는 서버의 저장소(미도시) 또는 서버가 접속 가능한 클라우드(미도시)에 저장될 수 있다. 상품DB는 적어도 매장에서 판매하는 상품들에 대한 상품정보를 포함한다. 상품정보는 해당 제품에 대해 결제를 가능하게 하는 정확한 상품의 명칭을 포함한다. 상품DB는 정기적으로 업데이트되어 제조사 사정에 따라 상품의 포장지가 변경되더라도 정확한 상품정보를 찾을 수 있도록 한다.
이를 위해 서버는 인공지능 기계학습을 이용할 수 있다. 매장에서 판매될 상품을 학습하는 데에는 CNN(Convolution Neural Network, 합성곱신경망) 알고리즘이 적합할 수 있다. 본 발명이 이에 한정되지는 않는다.
신경망 학습은 매장 내에서 판매되는 개별 상품이 무엇인지를 인식하는 데에 필요한 정보에 대해 이루어질 수 있다.
또한 본 발명의 실시예에 따르면 신경망 학습은 개별 상품이 어떤 패키지 유형을 갖는지를 인식하는 데에 관해서도 이루어진다.
본 발명의 실시예에 따르면, 상품DB는 상품정보를 카테고리별로 분류하여 DB화될 수 있다. 카테고리는 상품의 형상에 따른 것으로서, 박스(Box)형, 백(Bag)형 및 실린더(Cylinder)형의 3가지 핵심 모양을 전제로 한다. 박스형은 일반적인 육면체의 과자 상자를, 백형은 봉투에 담긴 견과류 포장지를, 실린더형은 음료수 페트병을 생각하면 된다. 이외에도 3가지 핵심 모양은 다양한 상품의 형상을 대표할 수 있다. 즉, 상품DB는 개별 상품들에 대한 상품정보를 포함하되, 상품정보는 상품의 형상에 따른 3가지 카테고리별로 분류하여 저장된다.
이와 같이 본 발명에서는 개별 상품뿐만 아니라 개별 상품들이 패키지 유형별로 분류된 상위 카테고리에 대해서도 학습한 결과를 이용한다. 그래서, 본 발명의 실시예에 따르면, 에지단(Edge, 도 7 참조)에서는 상위 카테고리에 대해 학습한 결과만을 입력영상 분석에 주로 활용할 수 있고, 서버단(Server, 도 7 참조)은 개별 상품들에 대해 학습한 결과를 주로 활용할 수 있다. 에지단과 서버단으로 자원을 나누어서 활용한다. 이는 서버단 부하를 줄인다. 한편, 학습은 서버에서 이루어지면 되고, 무인결제 지원 장치는 서버로부터 학습 결과를 제공받아 이용할 수 있다.
무인결제 지원 장치(100)는 매장 내에 구비될 수 있다. 무인결제 지원 장치의 위치가 이에 한정되는 것은 아니다. 무인결제 지원 장치(100)는 매장 내 카메라(CA)로부터 입력영상을 제공받는다. 제공받은 입력영상을 분석하여 상품 진열영역에 진열된 상품의 실시간 잔여량을 계산하고, 그 상품이 무엇인지를 서버로 문의하여 상품정보가 실시간 잔여량과 함께 표시되도록 한다. 매대 감지의 기능이다. 즉, 재고 관리 기능이라 할 수 있다. 또한, 실시간 잔여량에 변화가 생긴 상품에 대해 쇼핑목록을 생성하고 무인결제가 이루어질 수 있도록 한다. 무인결제의 기능이다.
도 2를 참조하면, 매장 내에 카메라(CA)가 구비된다. 매장은 편의점, 마트 등일 수 있다. 카메라는 매대(STD)에 진열된 상품(P)을 촬상한다. 도면에서는 CCTV인 것으로 도시되나, 이에 한정되지 않는다.
한편, 본 발명에서는 카메라(CA)와 무인결제 지원 장치(100)가 서로 별개의 구성요소인 것으로 설명하나, 이들은 서로 일체일 수도 있다. 즉, 무인결제 지원 장치가 도면에 도시된 카메라(CA)에 임베디드된 것일 수도 있다.
또한 도면에서는 설명의 편의를 위해 상품이 실린더 형태(음료캔일 수 있다)의 1종류만이 진열된 것으로 가정하나, 다른 형태의 다양한 상품이 진열될 수 있다.
이용자 단말기(20)는 스마트폰, 휴대폰, PDA 등일 수 있다. 매장을 출입하는 이용자(USER)가 자신의 단말기를 통해 본 발명의 실시예에 따른 무인결제 서비스를 제공받을 수 있다.
서버(10), 이용자 단말기(20) 및 무인결제 지원 장치(100)는 네트워크를 통해 서로 연결될 수 있다. 네크워크는 유무선 통신 네트워크이다.
본 발명의 실시예에 따르면, 기존의 무인결제를 위해 바코드 리더기로 구매할 상품마다 바코드를 읽어들이는 불편함을 해소한다. 매장 이용자가 물건을 집어서 매장을 나가면 영상처리를 기반으로 자동으로 결제가 이루어진다. 계산대 앞에서 결제를 기다리고 현금이나 카드를 꺼내는 번거로움이 없다.
이하, 도 3 내지 도 10을 참조하여 보다 상세히 살펴본다.
도 3은 본 발명의 실시예에 따른 무인결제 지원 장치의 상세한 구성을 도시하는 도면이다.
그리고, 도 4는 본 발명의 실시예에 따른 무인결제 지원 장치의 매대 감지 및 무인결제 서비스 제공 방법을 시간의 흐름에 따라 도시한 순서도이다.
도 3을 참조하면, 무인결제 지원 장치(100)는 상품 진열영역 정의부(110), 실시간 잔여량 계산부(120), 상품정보 수신부(130), 실시간 잔여량 변화 발생 판단부(140), 쇼핑목록 생성부(150) 및 결제 처리부(160)를 포함할 수 있다. 그리고, 도 4를 참조하면, 매대 감지 및 무인결제 서비스 제공 방법은 상품 진열영역을 정의하는 단계(S110), 실시간 잔여량을 계산하는 단계(S120), 상품정보를 수신하는 단계(S130), 실시간 잔여량 변화 발생을 판단하는 단계(S140), 쇼핑목록으로 생성하는 단계(S150) 및 결제를 처리하는 단계(S160)를 포함할 수 있다. 후술하는 바와 같이 단계들(S110 내지 S130)은 주로 매대 감지에 관한다. 단계들(S140 내지 S160)은 주로 무인결제에 관한다.
먼저, 단계(S110)에서 상품 진열영역 정의부(110)는 입력영상으로부터 판단되는 매대 앞쪽 끝선, 매대 뒤쪽 끝선 및 상품 객체 인식 영역을 기초로 하나 이상의 상품 진열영역들을 정의한다.
보다 상세하게, 도 5 및 도 6을 참조한다.
도 5는 본 발명의 실시예에 따른 상품 진열영역을 정의하는 단계를 보다 상세하게 도시하는 순서도이다.
그리고, 도 6은 본 발명의 실시예에 따른 상품 진열영역을 정의를 위해 입력영상을 분석하는 과정을 상세하게 도시하는 도면이다.
도 5에 도시된 바와 같이, 상품 진열영역을 정의하는 단계(S110)는 카메라(CA)로부터 영상을 입력받는 단계(S111), 선반 끝선을 인식하는 단계(S112), 상품 객체 인식 영역을 확인하는 단계(S113) 및 상품 진열영역을 정의하는 단계(S114)를 포함할 수 있다.
먼저, 도 6a에 도시된 바와 같이, 단계들(S111 및 S112)에서는 상품 진열영역 정의부(110)가 카메라로부터 얻은 입력영상으로부터 매대 앞쪽 끝선(L_FE)과 매대 뒤쪽 끝선(L_RE)을 인식한다. 입력영상으로부터 매대를 인식하되, 매대의 선반마다 앞쪽 끝선과 뒤쪽 끝선을 인식하기 위한 알려진 다양한 영상 처리 기술들이 활용될 수 있다. 다양한 매대와 선반의 형상으로부터 앞쪽 끝선과 뒤쪽 끝선을 인식하기 위해 인공지능 학습이 이루어질 수도 있다.
그리고, 도 6b에 도시된 바와 같이, 단계(S113)에서는 상품 진열영역 정의부(110)가 상품 객체 인식 영역(OR1, OR2, OR3, OR4)을 확인한다.
본 발명의 실시예에 따른 상품 객체 인식 영역은 입력영상으로부터 객체 인식 기술을 활용하여 상품을 인식한 영역을 의미한다. 도면에서는 4개의 음료캔들을 객체로서 인식함으로써, 상품 객체 인식 영역이 4개가 존재한다(OR1, OR2, OR3, OR4). 입력영상으로부터 객체를 인식하기 위한 알려진 다양한 영상 처리 기술들이 활용될 수 있다. 다양한 매대와 선반의 형상에 진열되는 상품을 인식하기 위해 인공지능 학습이 이루어질 수도 있다.
이때, 상품 객체 인식 영역의 최외곽 좌측 세로선이 도면에서 L_LO로, 최외곽 우측 세로선이 도면에서 L_RO로 참조된다.
한편, 상품 객체 인식 영역은 무인결제 지원 장치에서 수행된 결과일 수도 있고, 서버에서 수행된 결과일 수도 있다. 전자의 경우 에지단(도 5, Edge)에서 수행되는 것이고, 후자의 경우 서버단(도 5, Server)에서 수행되는 것이다. 다만, 본 발명에서는 상품 객체 인식 영역을 제공받기 위해 에지단이 서버단으로 요청하고, 상품 객체 인식을 서버단에서 수행하여 에지단으로 결과를 제공하는 실시예를 중심으로 설명하기로 한다.
이어서, 도 6c에 도시된 바와 같이, 단계(S114)에서는 상품 진열영역 정의부(110)가 하나 이상의 상품 진열영역(STR)을 정의한다.
상세하게, 단계(S112)에서 인식된 매대 끝선들과, 단계(S113)에서 확인된 상품 객체 인식 영역을 기초로 정의한다. 보다 상세하게, 매대 앞쪽 끝선(L_FE), 매대 뒤쪽 끝선(L_RE), 같은 카테고리로 분류되는 상품 객체 인식 영역의 최외곽 좌측 세로선(L_LO) 및 같은 카테고리로 분류되는 상품 객체 인식 영역의 최외곽 우측 세로선(L_RO)에 의해 정의되는 닫힌 영역을 상품 진열영역(STR)으로 정의한다. 본 발명에서 같은 카테고리로 분류되는 상품 객체 인식 영역은 간단히, '동종의 상품 객체 인식 영역'으로 참조될 수 있다. 이와 같이 동종의 상품 객체 인식 영역으로 그룹화하는 것은, 상품 진열영역의 개수를 줄임으로써 보다 효율적이고 빠른 실시간 잔여량 계산을 가능하게 한다. 후술한다.
한편, 도면에서는 1종류의 상품 객체 인식 영역만이 도시되지만, 본 발명이 이에 한정되지 않으며, 그 옆에는 다른 종류, 일례로, 박스형의 상품 객체 인식 영역이 존재할 수도 있고, 이는 다른 상품 진열영역을 정의한다. 비슷하게, 백형의 상품 객체 인식 영역이 존재할 수도 있고, 이는 다른 상품 진열 영역을 정의할 수도 있다. 어느 경우나, 같은 카테고리로 분류되면 하나의 상품 진열영역을 도출한다.
단계(S120)에서 실시간 잔여량 계산부(120)는 상품 진열영역에 대한 상품 객체 인식 영역의 비율을 기초로 실시간 잔여량을 계산한다.
보다 상세하게, 도 7 및 도 8을 참조한다.
도 7은 본 발명의 실시예에 따른 실시간 잔여량을 계산하는 단계를 보다 상세하게 도시하는 순서도이다.
그리고, 도 8은 본 발명의 실시예에 따른 실시간 잔여량 계산을 위해 입력영상을 분석하는 과정을 상세하게 도시하는 도면이다.
도 7에 도시된 바와 같이, 실시간 잔여량을 계산하는 단계(S120)는 카메라(CA)로부터 영상을 입력받는 단계(S121), 입력영상으로부터 모션 감지를 확인하는 단계(S122), 입력영상으로부터 사람 감지를 확인하는 단계(S123), 사람 영역을 기억하는 단계(S124), 상품 객체 인식 영역을 확인하는 단계(S125), 실시간 잔여량을 판단하는 단계(S126), 이미지 유사도를 검색하는 단계(S127), 실시간 잔여량 및 상품정보를 노출하는 단계(S128) 및 오진열 판단 단계(S129)를 포함할 수 있다.
먼저, 단계들(S121 및 S122)에서는 실시간 잔여량 계산부(120)가 카메라로부터 얻은 입력영상으로부터 모션 감지를 확인한다. 입력영상으로부터 모션 감지를 위한 알려진 다양한 영상 처리 기술들이 활용될 수 있다.
확인 결과, 모션이 감지된 경우 후속 단계(S123)로 이어진다. 감지되지 않은 경우 이전 단계(S121)로 돌아간다.
이어서, 단계(S123)에서는 실시간 잔여량 계산부(120)가 입력영상으로부터 사람 감지를 확인한다. 입력영상으로부터 사람 감지를 위한 알려진 다양한 영상 처리 기술들이 활용될 수 있다.
확인 결과, 사람이 감지된 경우 사람 영역을 기억하는 단계(S124)로 이어진다. 이어지는 단계들에서 사람 영역을 실시간 잔여량 판단에서 제외하기 위함이다. 감지되지 않은 경우 단계(S124) 없이 바로 상품 객체 인식 영역을 확인하는 단계(S125)로 이어진다.
단계(S124)에서는 입력영상 내에 사람이 존재하는 것으로 판단됨에 따라, 사람의 바운딩 박스 좌표를 저장한다. 바운딩 박스는 인식된 객체에 외접하는 것일 수 있다.
단계(S125)에서는 상품 객체 인식 영역을 확인한다. 도 6에서 상술한 예로 들면, 입력영상으로부터 OR1, OR2, OR3, OR4를 확인할 수 있다. 상품 객체 인식 영역을 확인하는 것은 도 6에서 상술한 것과 동일하게 수행될 수 있다.
단계(S126)에서는 실시간 잔여량 계산부(120)가 입력영상에서 상품 진열영역에 대한 상품 객체 인식 영역의 비율을 기초로 실시간 잔여량을 판단한다. 여기서 상품 진열영역은 도 5 및 도 6에서 상술한 과정을 통해 얻어진 정보를 읽어들인 것일 수 있다.
도 8을 참조하면, 실시간 잔여량 계산부는 상품 진열영역(STR)에 대해 상품 객체 인식 영역(OR1, OR3, OR4)의 비율을 도출할 수 있다. 도면에서는 대략 0.5 미만의 비율이 도출된다. 0.4인 실시예를 가정하면, 실시간 잔여량을 4개로 판단할 수 있다. 만약 그 비율이 0.1인 경우에는 실시간 잔여량을 1개로 판단할 수 있다. 다르게는, 0.7인 경우에는 실시간 잔여량을 7개로 판단할 수 있다. 또는, 0.9인 경우에는 실시간 잔여량을 9개로 판단할 수 있다.
이를 위해, 실시간 잔여량 계산부는 정의된 상품 진열영역에 대해 몇 개의 상품 객체 인식 영역이 존재할 수 있는지에 대한 데이터셋을 보유할 수 있다. 이는 상품 진열영역을 정의할 때에 함께 생성될 수 있다. 상품 진열영역을 정의할 때에는 매대 끝선들 사이에 몇 개의 상품 객체 인식 영역이 존재하는지를 알 수 있기 때문이다.
상기에서는 하나의 상품 진열영역에 대해 실시간 잔여량이 계산되는 실시예를 중심으로 설명하였으나, 이에 한정되지 않으며, 여러 개의 상품 진열영역 각각에 대해 실시간 잔여량이 상술한 바와 동일한 방식으로 계산될 수 있다.
한편, 단계(S124)를 통해 사람의 바운딩 박스 좌표가 저장되어 있는 경우에는, 단계(S126)에서는 상품 진열영역들 중 바운딩 박스와 중첩되는 상품 진열영역을 제외한 나머지 상품 진열영역에 대해 실시간 잔여량이 계산될 수 있다. 이하 도 9를 참조하여 보다 상세히 살펴본다.
도 9는 본 발명의 실시예에 따른 사람의 바운딩 박스가 존재할 때의 실시간 잔여량을 판단하는 과정을 보다 상세하게 도시하는 도면이다.
도 9를 참조하면, 상술한 단계들(S111 내지 S114)을 통해 입력영상으로부터 여러 개의 상품 진열영역들이 정의될 수 있다. 좌측 위부터 순서대로, STR1, STR2, STR3, STR4, STR5, STR6, STR7, STR8, STR9, STR10으로 참조된다. 그리고, 상술한 단계들(S121 내지 S124)을 통해 입력영상 내에 사람이 존재하는 것으로 판단된 상황이다. 감지된 사람이 도면에서 PO로, 감지된 사람의 바운딩 박스가 도면에서 B_PO로 참조된다.
이때, 실시간 잔여량을 판단하는 단계(S126)에서는 상품 진열영역들 중 사람의 바운딩 박스와 중첩되는 상품 진열영역을 제외한 나머지 상품 진열영역에 대해 실시간 잔여량을 판단한다. 도면에서는 B_PO와 중첩되는 STR9과 STR10을 제외하고 판단하게 된다. 다만 이는 실시간으로 입력되는 입력영상 중 어느 하나의 프레임에 대해 수행되는 것이므로, 일정 시간 이후에는 STR9 및 STR10에 대해서도 실시간 잔여량이 판단될 수 있고, 따라서, 매대에 진열된 상품들에 대해 실시간 잔여량을 계산함에 있어서 빠트리는 수량 없이 정확한 계산이 가능하다.
계속하여, 도 3 및 도 4를 참조하면, 단계(S130)에서 상품정보 수신부(130)는 실시간 잔여량 계산에 이용된 상품 객체 인식 영역으로부터 관심영역(POI)을 추출하고 서버(10)로 전송하여 관심영역에 대해 가장 유사도가 높은 이미지를 상품DB에서 탐색하는 서버로부터 상품정보를 수신한다.
보다 상세하게, 도 7을 다시 참조하면, 단계(S130)는 실시간 잔여량 계산에 이용된 상품 객체 인식 영역으로부터 관심영역을 추출하고 서버로 전송하여 서버(Server, 도 7)단에서 이미지 유사도 검색이 수행되도록 한다(S131). 상술한 바와 같이, 서버(10)는 상품DB를 가지므로, 상품정보 수신부가 보내온 이미지에 가장 유사한 상품정보를 회신해줄 수 있다.
이를 수신한 상품정보 수신부는 상기 단계(S126)에서 판단된 해당 상품 진열영역에 대한 실시간 잔여량과 상기 단계(S131)를 통해 수신한 상품정보를 저장할 수 있다(S132). 이때, 저장한 정보는 매장 관리자 단말장치(미도시)의 화면을 통해 표시될 수 있다. 매장 관리자가 재고를 관리할 수 있도록 한다. 예를 들어, 상품 진열영역에 대해 실시간 잔여량과 상품정보가 상품별 개수를 확인할 수 있도록 리스트화되어 화면 소정의 영역에 GUI 형태로 표시될 수 있다.
또한 상품정보 수신부는 입력되는 여러 프레임으로부터 상술한 단계들을 수행하면서, 수신된 상품정보가 이전 프레임에서 수신된 상품정보와 달라진 경우 오진열 알림을 발생할 수 있다(S133).
이하, 무인결제가 이루어지는 과정을 보다 상세히 살펴본다.
도 3 및 도 4를 참조하면, 단계(S140)에서 실시간 잔여량 변화 발생 판단부(140)는 입력영상으로부터 사람 인식 이벤트가 발생된 시점으로부터 소정의 시간 내에 상기 단계(S120)에서 계산된 실시간 잔여량에 변화가 발생하였는지를 판단한다.
사람 인식 이벤트는 상술한 사람 감지를 확인하는 단계(S123)에 의해 수행될 수 있다. 즉, 카메라(CA)로부터 얻은 입력영상으로부터 사람 감지가 확인된 경우 사람 인식 이벤트가 발생한 것으로 볼 수 있다.
소정의 시간은 대략 5~20초일 수 있다. 이는 후술하는 바와 같이, 사람 인식 이벤트를 발생시킨 매장 이용자에 대해 쇼핑목록을 생성하기 위한 것으로서, 이보다 긴 경우 다른 이용자의 쇼핑목록과 구분이 어려워지기 때문이다.
이어서, 단계(S150)에서 쇼핑목록 생성부(150)는 실시간 잔여량 변화가 발생한 상품 진열영역에 대한 상품정보 및 실시간 잔여량 변화에 상응하는 상품개수를 매장 입장 고객의 쇼핑목록으로 생성한다.
쇼핑목록은 무인결제 지원 장치에 의해 생성되는 것이나, 매장 이용자의 단말기(20)에서 실행되는 애플리케이션으로도 확인이 가능하도록 서버가 장치와 이용자 단말기 사이에 통신 역할을 할 수 있다. 애플리케이션은 본 발명의 실시예에 따른 서비스 제공을 위한 것일 수 있다.
한편, 쇼핑목록 생성을 위해서는 매장 이용자의 식별이 필요하고, 이를 위해 다음 단계들이 더 수행될 수 있다. 매장 입장 고객 정보를 수집하는 단계 및 수집된 매장 입장 고객 정보에 대응하는 객체를 트래킹하는 단계가 수행될 수 있다. 이들은 쇼핑목록 생성부에 의해 수행되어도 되지만, 무인결제 지원 장치 내 다른 요소에 의해 수행될 수도 있다. 후자의 실시예를 가정한다.
상세하게, 수집하는 단계는 매장 이용자의 매장 입장시 얼굴 인식 정보, 또는 단말기에서 실행되는 애플리케이션 QR코드 인식을 통해 이루어질 수 있다. 또는 매장 이용자의 단말기와의 통신을 통해서도 정보를 수집할 수 있다. 매장은 본 발명의 실시예에 따른 서비스가 제공되는 전용 편의점이나 마트일 수 있다.
수집하는 단계는 매장 내 구비된 수집부(미도시)를 통해 수행될 수 있다. 수집부는 매장 출입구에 설치될 수 있다.
트래킹하는 단계는 매장 입장 고객을 Short-term Tracking 재인식 기술을 이용해 수행될 수 있다. 이에 한정되지 않으며, 영상 내에서 특정된 객체를 추적하기 위한 다양한 기술이 적용될 수 있다.
트래킹하는 단계는 매장 내 구비된 별도의 추적부(미도시)를 통해 수행될 수 있다. 추적부는 매장 전체에 대해 객체를 추적할 수 있도록 필요한 곳에 하나 이상이 설치될 수 있다.
본 발명의 실시예에 따르면, 단계(S150)는 상기 트래킹된 객체와 상기 실시간 잔여량 변화가 발생한 상기 상품 진열영역이 서로 기설정된 거리 이내에 존재할 때에 상기 트래킹된 객체의 쇼핑목록으로 생성할 수 있다.
상술한 단계(S140)에서 사람 인식 이벤트는 실시간 잔여량에 변화가 발생하였는지를 판단하기 위한 개시 조건일 수 있다. 반면, 단계(S150)에서 트래킹된 객체는 쇼핑목록을 생성하기 위한 매장 이용자를 식별하기 위함임을 주목한다.
기설정된 거리는 트래킹된 객체가 화면 내에서 차지하는 영역의 길이에 상응할 수 있다. 일례로, 그 길이가 d인 경우, 기설정된 거리는 d의 3배수에 해당하는 3d일 수 있다. 이는 트래킹된 객체, 즉, 매장 이용자가 유효하게 집은 물건으로 볼 수 있는 거리 내의 상품만을 유효한 것으로 처리하기 위함이다. 예를 들어, 도 10에 도시된 바와 같이, 매장 내 트래킹된 객체가 2개(TR1, TR2)가 있을 때, 매장 내 여러 매대들(STD1, STD2, STD3) 중 어느 한 매대(STD1)에 대해 정의된 여러 상품 진열영역들 중 실시간 잔여량 변화가 발생한 상품 진열영역(STR_V)으로부터 트래킹된 객체의 길이의 3배수 이내에 있는 객체(TR1)에 대해 쇼핑목록을 생성할 수 있다. 반대로, 트래킹된 객체의 길이 대비 매우 멀리 떨어진 객체(TR2)에 대해서는 쇼핑목록이 생성되지 않는다.
한편 상술한 쇼핑목록 생성 처리를 위해, 상품 진열영역이 매장 내 여러 매대들 중 어디에 위치하는지를 도 10에 도시된 바와 같은 매장 전체 영상에 대한 위치로서 인식 가능한 것이 바람직하다. 즉, 정의된 여러 상품 진열영역들은 모두 매장 전체 평면 영상에 대해 배치가 가능하다.
계속하여, 도 3 및 도 4를 참조하면, 단계(S160)에서 결제 처리부(160)는 상기 단계(S150)에서 생성된 쇼핑목록에 대해 결제를 처리한다.
단계(S160)는 무인결제를 보다 원활히 처리하기 위해, 상기 단계(S150)에서 생성된 쇼핑목록을 갖는 트래킹된 객체가 매장을 퇴장한 것으로 판단된 경우, 해당 트래킹된 객체의 매장 입장 고객 정보에 상응하는 계정에 대해 결제를 처리할 수 있다. 결제수단은 미리 등록된 신용카드일 수도 있고, 미리 충전된 포인트일 수도 있다. 매장 퇴장은 매장 출입구에 구비된 수집부를 통해 판단 가능하다.
또한 단계(S160)는 구매자 확인 과정을 더 수행할 수 있다. 일례로, 상기 단계(S150)에서 생성된 쇼핑목록을 갖는 트래킹된 객체가 매장 내 결제구역(CASH, 도 10)에 일정 시간 이상 위치한 것으로 판단된 경우, 해당 트래킹된 객체의 매장 입장 고객 정보에 상응하는 계정으로 상기 생성된 쇼핑목록을 전송하여 매장 이용자가 자신의 단말기를 통해 집은 물건이 맞는지를 확인하도록 할 수 있다. 일종의 장바구니를 확인하는 과정이라 볼 수 있다.
이를 통해 매장 이용자로부터 쇼핑목록에 대해 컨펌을 수신할 수 있고, 컨펌을 수신한 후 상술한 바와 같이 해당 트래킹된 객체에 대해 매장 퇴장이 감지되면, 결제를 처리하도록 할 수 있다.
상술한 본 발명의 실시예에 따르면, 유사 이미지 검색을 제외한 대부분의 판단을 에지단에서 진행함을 확인할 수 있다. 이는 서버 부하 감소 및 비용 절감을 유도한다.
또한, 상품 진열영역 정의 등 많은 영상 처리 과정을 수행함에 있어서, 상품 객체 인식을 위해 최하위 SKU단위로 인식하는 것이 아니라, 추상화된 대표 형상으로 인식(즉, 개별 상품 인식이 아닌, 단일 클래스로 인식)함으로써, SKU가 추가되더라도 추상화된 대표 형상에 해당하는 이상 추가 학습이 불필요함을 확인할 수 있다. 이는 매장 판대 상품의 본연의 특성상 잦은 상품 패키지 변경에 신속한 대응이 가능하다.
또한, 상품 진열영역을 영상 처리 과정을 통해 자동 감지함으로써, 상품의 진열 상태가 일시적으로 흐트러지더라도 정확한 잔여량 계산이 가능하다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
10 : 서버
20 : 이용자 단말기
100 : 매장 내 무인결제 지원 장치
110 : 상품 진열영역 정의부
120 : 실시간 잔여량 계산부
130 : 상품정보 수신부
140 : 실시간 잔여량 변화 발생 판단부
150 : 쇼핑목록 생성부
160 : 결제 처리부

Claims (10)

  1. 서버와 통신하며 매장 내 무인결제를 지원하는 장치의 매대 감지 및 무인결제 서비스 제공 방법으로서,
    입력영상으로부터 판단되는 매대 앞쪽 끝선, 매대 뒤쪽 끝선 및 상품 객체 인식 영역을 기초로 하나 이상의 상품 진열영역들을 정의하는 단계;
    상기 상품 진열영역에 대한 상기 상품 객체 인식 영역의 비율을 이용하여 실시간 잔여량을 계산하는 단계; 및
    상기 실시간 잔여량 계산에 이용된 상기 상품 객체 인식 영역으로부터 관심영역을 추출하고 상기 서버로 전송하여 상기 관심영역에 대해 가장 유사도가 높은 이미지를 상품DB에서 탐색하는 상기 서버로부터 상품정보를 수신하는 단계;를 포함하되,
    상기 입력영상으로부터 사람 인식 이벤트가 발생된 시점으로부터 소정의 시간 내에 상기 계산된 실시간 잔여량에 변화가 발생하였는지를 판단하는 단계;
    상기 실시간 잔여량 변화가 발생한 상기 상품 진열영역에 대한 상기 상품정보 및 상기 실시간 잔여량 변화에 상응하는 상품개수를 매장 입장 고객의 쇼핑목록으로 생성하는 단계; 및
    상기 쇼핑목록에 대해 결제를 처리하는 단계;를 더 포함하며,
    상기 상품 객체 인식 영역은 인식할 객체가 박스형, 백형 및 실린더형 중 어느 하나의 형상에 속한다는 정보를 포함하고, 상기 상품 진열영역은 상기 매대 앞쪽 끝선, 상기 매대 뒤쪽 끝선 및 상기 상품 객체 인식 영역의 세로선에 의해 정의되는 닫힌 영역이며, 상기 상품 객체 인식 영역의 세로선은, 같은 형상에 속하는 객체에 대한 상품 객체 인식 영역의 최외곽 좌측 세로선 및 최외곽 우측 세로선을 포함하되,
    상기 서버는 상기 상품DB를 포함하고, 상기 상품DB에는 개별 상품들에 대한 상기 상품정보가 저장되되, 상기 상품정보는 개별 상품의 형상에 따른 박스형, 백형 및 실린더형의 적어도 3가지의 카테고리별로 분류되어 저장되며,
    이로써 상기 수신하는 단계에서 상기 장치는 상기 관심영역만을 전송하여도 상기 관심영역에 대해 가장 유사도가 높은 이미지의 상품정보를 수신하게 되는 것을 특징으로 하는, 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 상품 객체 인식 영역은 상기 입력영상에 대해 상품 객체 인식 프로세스를 진행하는 상기 서버로부터 수신하는, 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 계산하는 단계 이전에,
    상기 입력영상 내에 사람이 존재하는 것으로 판단되는 경우 사람의 바운딩 박스 좌표를 저장하는 단계;를 포함하고,
    상기 계산하는 단계는, 상기 상품 진열영역들 중 상기 바운딩 박스와 중첩되는 상품 진열영역을 제외한 나머지 상품 진열영역에 대해 상기 실시간 잔여량을 계산하는, 방법.
  6. 제1항에 있어서,
    상기 수신하는 단계 이후에,
    상기 수신된 상품정보가 이전 프레임에서 수신된 상품정보와 달라진 경우 오진열 알림을 발생하는 단계;를 더 포함하는, 방법.
  7. 제1항에 있어서,
    상기 생성하는 단계 이전에,
    매장 입장 고객 정보를 수집하는 단계; 및
    상기 매장 입장 고객 정보에 대응하는 객체를 트래킹하는 단계;를 더 포함하고,
    상기 생성하는 단계는, 상기 트래킹된 객체와 상기 실시간 잔여량 변화가 발생한 상기 상품 진열영역이 서로 기설정된 거리 이내에 존재할 때에 상기 트래킹된 객체의 쇼핑목록으로 생성하는, 방법.
  8. 제7항에 있어서,
    상기 트래킹된 객체가 매장 내 결제구역에 위치하는 것으로 판단되는 경우,
    상기 쇼핑목록을 상기 트래킹된 객체의 상기 매장 입장 고객 정보에 상응하는 계정으로 전송하여, 결제 진행에 대해 컨펌을 수신하는, 방법.
  9. 제1항에 있어서,
    상기 상품 진열영역에 대해 상기 계산된 실시간 잔여량과 상기 수신된 상품정보를 연계한 그래픽 사용자 인터페이스를 디스플레이부를 통해 표시하는 단계;를 포함하는, 방법.
  10. 서버와 통신하며 매장 내 무인결제를 지원하는 장치로서,
    입력영상으로부터 판단되는 매대 앞쪽 끝선, 매대 뒤쪽 끝선 및 상품 객체 인식 영역을 기초로 하나 이상의 상품 진열영역들을 정의하는 상품 진열영역 정의부;
    상기 상품 진열영역에 대한 상기 상품 객체 인식 영역의 비율을 이용하여 실시간 잔여량을 계산하는 실시간 잔여량 계산부; 및
    상기 실시간 잔여량 계산에 이용된 상기 상품 객체 인식 영역으로부터 관심영역을 추출하고 상기 서버로 전송하여 상기 관심영역에 대해 가장 유사도가 높은 이미지를 상품DB에서 탐색하는 상기 서버로부터 상품정보를 수신하는 상품정보 수신부;를 포함하되,
    상기 입력영상으로부터 사람 인식 이벤트가 발생된 시점으로부터 소정의 시간 내에 상기 계산된 실시간 잔여량에 변화가 발생하였는지를 판단하는 실시간 잔여량 변화 발생 판단부;
    상기 실시간 잔여량 변화가 발생한 상기 상품 진열영역에 대한 상기 상품정보 및 상기 실시간 잔여량 변화에 상응하는 상품개수를 매장 입장 고객의 쇼핑목록으로 생성하는 쇼핑목록 생성부; 및
    상기 쇼핑목록에 대해 결제를 처리하는 결제 처리부;를 더 포함하되,
    상기 상품 객체 인식 영역은 인식할 객체가 박스형, 백형 및 실린더형 중 어느 하나의 형상에 속한다는 정보를 포함하고, 상기 상품 진열영역은 상기 매대 앞쪽 끝선, 상기 매대 뒤쪽 끝선 및 상기 상품 객체 인식 영역의 세로선에 의해 정의되는 닫힌 영역이며, 상기 상품 객체 인식 영역의 세로선은, 같은 형상에 속하는 객체에 대한 상품 객체 인식 영역의 최외곽 좌측 세로선 및 최외곽 우측 세로선을 포함하되,
    상기 서버는 상기 상품DB를 포함하고, 상기 상품DB에는 개별 상품들에 대한 상기 상품정보가 저장되되, 상기 상품정보는 개별 상품의 형상에 따른 박스형, 백형 및 실린더형의 적어도 3가지의 카테고리별로 분류되어 저장되며,
    이로써 상기 상품정보 수신부는 상기 관심영역만을 전송하여도 상기 관심영역에 대해 가장 유사도가 높은 이미지의 상품정보를 수신하게 되는 것을 특징으로 하는, 장치.
KR1020210065691A 2021-05-21 2021-05-21 매대 감지 및 무인결제 서비스 제공 방법 및 장치 KR102346166B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210065691A KR102346166B1 (ko) 2021-05-21 2021-05-21 매대 감지 및 무인결제 서비스 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210065691A KR102346166B1 (ko) 2021-05-21 2021-05-21 매대 감지 및 무인결제 서비스 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR102346166B1 true KR102346166B1 (ko) 2022-01-04
KR102346166B9 KR102346166B9 (ko) 2023-03-23

Family

ID=79342277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210065691A KR102346166B1 (ko) 2021-05-21 2021-05-21 매대 감지 및 무인결제 서비스 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102346166B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210004818A (ko) * 2019-07-03 2021-01-13 인하대학교 산학협력단 매장 내 자동 결제 방법, 시스템 및 프로그램
KR102229829B1 (ko) * 2019-11-03 2021-03-18 박진석 인공지능 무인 매대 결제 시스템
KR20210033695A (ko) * 2019-09-19 2021-03-29 디카모 주식회사 재고 파악 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210004818A (ko) * 2019-07-03 2021-01-13 인하대학교 산학협력단 매장 내 자동 결제 방법, 시스템 및 프로그램
KR20210033695A (ko) * 2019-09-19 2021-03-29 디카모 주식회사 재고 파악 방법 및 시스템
KR102229829B1 (ko) * 2019-11-03 2021-03-18 박진석 인공지능 무인 매대 결제 시스템

Also Published As

Publication number Publication date
KR102346166B9 (ko) 2023-03-23

Similar Documents

Publication Publication Date Title
JP7422792B2 (ja) 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
CN108846621B (zh) 一种基于策略模块的库存管理系统
CN111415461B (zh) 物品识别方法及系统、电子设备
KR20200022341A (ko) 무인 상점 관리 방법 및 시스템
CN109726759B (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
CN111222870B (zh) 结算方法、装置和系统
CN101268478A (zh) 采用视频分析检测可疑活动的方法及装置
EP4075399A1 (en) Information processing system
EP3901841A1 (en) Settlement method, apparatus, and system
KR20170082299A (ko) 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법
CN111263224A (zh) 视频处理方法、装置及电子设备
CN115552493A (zh) 产品识别系统和方法
CN110998592A (zh) 用于零售系统的非规范扫描
CN110689389A (zh) 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端
CN111260685B (zh) 视频处理方法、装置及电子设备
CN112991379B (zh) 一种基于动态视觉的无人售货方法及系统
JP2023504871A (ja) 不正検出システムおよび方法
KR102346166B1 (ko) 매대 감지 및 무인결제 서비스 제공 방법 및 장치
CN116452636A (zh) 一种基于目标跟踪的无人售货柜动态商品识别方法及相关装置
CN112207828A (zh) 一种基于5g网络的零售机器人控制方法及系统
CN110443946B (zh) 售货机、物品种类的识别方法和装置
EP3474183A1 (en) System for tracking products and users in a store
KR102612284B1 (ko) 카트레일을 이용한 자동결제 서비스 제공 방법 및 시스템
CN115565117B (zh) 数据处理方法、装置、设备及存储介质
JP2024037466A (ja) 情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]