KR102525235B1

KR102525235B1 - 매장 시스템의 서버 및 매장 시스템의 제어 방법

Info

Publication number: KR102525235B1
Application number: KR1020220113549A
Authority: KR
Inventors: 임정환; 김현석
Original assignee: 농업협동조합중앙회
Priority date: 2022-09-07
Filing date: 2022-09-07
Publication date: 2023-04-26

Abstract

매장 시스템의 서버 및 매장 시스템의 제어 방법이 개시된다. 본 발명의 일 측면에 따른 매장 시스템의 서버는, 적어도 하나의 센서로부터 신호 정보를 수신하는 통신부, 및 센서로부터 수신된 신호 정보에 기초하여 사용자 객체에 레이블링을 하고, 사용자 객체를 추적하면서 행위를 식별하거나 식별하도록 지원하며, 식별된 행위에 기초하여 사용자 객체에 상응하는 구매 예정 상품 정보를 생성하는 프로세서를 포함하되, 프로세서는, 레이블링 정보에 기초하여 매장단말을 통해 상품 결제 요청을 한 사용자 객체를 식별하거나 식별하도록 지원함으로써, 구매 예정 상품에 대한 무인 결제가 이루어지도록 할 수 있다.

Description

매장 시스템의 서버 및 매장 시스템의 제어 방법{SERVER OF STORE SYSTEM AND CONTROL METHOD OF STORE SYSTEM}

본 발명은 매장 시스템의 서버 및 매장 시스템의 제어 방법에 관한 것으로서, 보다 상세하게는 매장 구축에 대한 비용을 줄일 수 있고, 매장 내부에 진입하기 전에 자신의 결제 정보를 등록하지 않아도 사용자가 출구 쪽으로 이동하는 경우 사용자의 구매 상품을 자동으로 보여주어 무인 결제를 수행할 수 있도록 하는 매장 시스템의 서버 및 매장 시스템의 제어 방법에 관한 것이다.

최근에는 미래형 매장, 언텍트(untact) 매장 등과 같은 미래형 공간 실험에 나선 매장이 등장하고 있다. 업종에 따라 시도하는 형태도 다르고, 다양한 고객 수요에 맞춰 기능을 더하거나, 경영 효율을 높일 목적으로 영업에 필요한 핵심 기능만을 남기고 서비스를 제공하고 있다. 또한, 서비스를 제공받은 고객이 체험을 거쳐 물건을 자연스럽게 구매하도록 유도하는 점도 특징이며, 데이터를 활용해 비용을 낮추고 매출을 올리는 것을 기본으로 하고 있다.

그 예로, 직원이 직접 결제처리를 하는 것에서 고객이 셀프 결제를 하는 셀프 매장, 여기서 더 나아가 직원 없이 영상이나 센서 정보를 활용한 무인 매장까지 확대되고 있는 상황이다. 또한, 코로나의 확산으로 인한 비대면 거래의 선호 현상, 상주 직원의 인건비 부담 등의 이유로 인해 무인 매장의 설치 및 이용이 급격하게 증가하고 있다.

이러한 무인 매장은 물품을 구매한 사용자의 양심적인 결제에 대한 신뢰를 기반으로 하여 운영되는 무인 매장과, 사용자에 대한 신뢰에 기반하지 않고 사용자의 매장 내에서의 행동을 AI를 통해 분석함으로써 구매 물품에 대한 자동 결제가 실행되도록 하는 무인 매장으로 크게 구분할 수 있다.

한편, 이와 같은 인공 지능형 무인 매장의 경우에는 아마존, 신세계 등의 대기업이 진출해 있음을 통해서도 알 수 있듯이, 시스템 구축에 상당한 비용과 기간이 소요된다는 한계가 있을 뿐만 아니라, 사용자가 매장 내부에 진입하기 전에 자신의 결제 정보를 먼저 시스템에 등록해야 한다는 번거로움을 감수해야 한다는 문제가 있다.

따라서, 무인 매장 구축에 대한 비용을 줄일 수 있고, 매장 내부에 진입하기 전에 자신의 결제 정보를 등록하지 않아도 사용자가 출구 쪽으로 이동하는 경우 사용자의 구매 상품을 자동으로 보여주어 무인 결제를 수행할 수 있도록 하는 기술 개발이 필요한 실정이다.

본 발명의 배경기술은 대한민국 등록특허공보 제10-1888922호(2018.08.09. 등록)의 '매장용 고객 관리 및 고객 행동 분석 시스템'에 개시되어 있다.

본 발명은 전술한 문제점을 개선하기 위하여 안출된 것으로, 본 발명의 목적은 무인 매장 구축에 대한 비용을 줄일 수 있고, 매장 내부에 진입하기 전에 자신의 결제 정보를 등록하지 않아도 사용자가 출구 쪽으로 이동하는 경우 사용자의 구매 상품을 자동으로 보여주어 무인 결제를 수행할 수 있도록 하는 매장 시스템의 서버 및 매장 시스템의 제어 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 측면에 따른 매장 시스템의 서버는, 적어도 하나의 센서로부터 신호 정보를 수신하는 통신부, 및 상기 센서로부터 수신된 신호 정보에 기초하여 사용자 객체에 레이블링을 하고, 상기 사용자 객체를 추적하면서 행위를 식별하거나 식별하도록 지원하며, 상기 식별된 행위에 기초하여 상기 사용자 객체에 상응하는 구매 예정 상품 정보를 생성하는 프로세서를 포함하되, 상기 프로세서는, 레이블링 정보에 기초하여 매장단말을 통해 상품 결제 요청을 한 사용자 객체를 식별하거나 식별하도록 지원함으로써, 상기 구매 예정 상품에 대한 무인 결제가 이루어지도록 할 수 있다.

본 발명에서 상기 프로세서는, 제1 센서로부터 수신된 신호 정보 및 기 정의된 제1 피처 정보를 이용하여 객체의 종류를 판단하여 사용자 객체로서 레이블링하거나 레이블링 하도록 지원하고, 소정의 시간 간격으로 연속하여 상기 레이블링된 사용자 객체의 위치를 추적하며, 제2 센서로부터 수신된 신호 정보 및 기 정의된 제2 피처 정보를 이용하여 상기 레이블링된 사용자 객체의 자세를 식별하거나 식별하도록 지원함으로써, 3차원 공간에서 레이블링된 사용자가 정해진 위치에서 특정한 행위를 하는지 식별하도록 지원할 수 있다.

본 발명에서 상기 프로세서는, 상기 레이블링된 사용자 객체에 상응하는 피처 그룹의 중심 위치를 기초로 상기 레이블링된 사용자의 위치 이동을 추적하거나 추적하도록 지원할 수 있다.

본 발명에서 상기 프로세서는, 소정 시간 내에 제3 센서로부터 수신된 무게 변화량 정보를 이용하여 피킹(picking) 또는 레잉 백(laying back)되는 상품을 식별하거나 식별하도록 지원하고, 상기 피킹(picking) 또는 레잉 백(laying back) 이벤트가 발생되면, 제2 센서로부터 수신된 신호 정보 및 제2 피처 정보를 이용하여 상기 사용자 객체의 행위를 식별하거나 식별하도록 지원할 수 있다.

본 발명에서 제2 센서로부터 수신된 신호 정보를 자세 인식 모델에 적용하여 상기 사용자 객체의 자세를 검출하고, 상기 검출된 자세가 상품을 피킹하는 자세인 경우, 제4 센서로부터 수신된 신호 정보에 기초하여 피킹된 상품을 검출하거나 검출하도록 지원하고, 상기 검출된 상품 정보에 상응하는 구매 예정 상품 정보를 생성하여 상기 레이블링된 사용자 객체와 매칭할 수 있다.

본 발명에서 상기 프로세서는, 제3 센서로부터 수신된 무게 변화량 정보 및 상기 제4 센서로부터 수신된 신호 정보에 기초하여 상기 피킹된 상품의 위치를 판단하여, 상기 판단된 위치에 대응되는 상품 정보를 포함하는 상기 구매 예정 상품 정보를 생성하되, 상기 무게 변화량 정보는 상기 상품이 위치한 상품 수납부의 무게 밸런스 정보를 포함할 수 있다.

본 발명에서 상기 프로세서는, 제2 센서로부터 수신된 신호 정보를 자세 인식 모델에 적용하여 상기 사용자 객체의 자세를 검출하고, 상기 검출된 자세가 상품을 피킹하는 자세인 경우, 상기 제2 센서로부터 수신된 신호 정보 또는 이를 가공한 정보로부터 상품 이미지를 획득하고, 상기 상품 이미지에 대한 픽셀 데이터를 해시값으로 변환한 해시값에 기초하여 상기 구매 예정 상품 정보를 생성할 수 있다.

본 발명에서 상기 프로세서는, 상기 제2 센서로부터 수신된 신호 정보 또는 이를 가공한 정보로부터 상품 이미지가 획득되고, 바운딩 박스를 이용하여 상기 상품 이미지에 포함된 서브 이미지가 머신러닝으로 학습되어 상품 분류 모듈이 준비된 상태에서, 상기 사용자 객체가 상품을 피킹하는 것으로 판단되는 경우, 상기 상품 분류 모듈에, 새롭게 획득된 상품 이미지에 포함된 서브 이미지 정보를 입력하여 상기 사용자 객체에 의하여 피킹된 대상이 상품인지를 판단하거나 판단하도록 지원하고, 상품으로 판단된 경우에 한하여 변환된 해시값에 기초하여 상기 구매 예정 상품 정보를 생성하거나 생성하도록 지원할 수 있다.

본 발명에서 상기 프로세서는, 상기 레이블링된 사용자 객체가 상기 매장단말로부터 기 설정된 일정 거리 이내에 위치하는 경우, 상기 사용자 객체와 매칭된 구매 예정 상품에 대한 리스트 및 산출된 결제 예정 금액이 상기 매장단말의 화면 상에 표시되도록 지원하여, 상기 매장단말을 통한 결제 요청으로 상기 구매 예정 상품에 대한 결제가 이루어지면, 결제 결과를 처리하거나 처리하도록 지원할 수 있다.

본 발명에서 상기 프로세서는, 상기 매장단말을 통한 결제 요청으로 상기 구매 예정 상품에 대한 결제가 이루어지면, 결제 결과를 수신하여 상기 사용자 객체에 대한 레이블링을 해제하고 상기 사용자 객체와 매핑된 구매 예정 상품에 대한 정보를 삭제할 수 있다.

본 발명에서 상기 프로세서는, 각각 상이하게 레이블링된 복수의 사용자 객체가 상기 매장단말로부터 기 설정된 일정 거리 이내에 위치하는 경우, 상기 복수의 사용자 객체 각각에 매칭된 구매 예정 상품에 대한 리스트를 하나의 리스트로 통합하고, 통합된 리스트에 대한 산출된 전체 결제 예정 금액이 상기 매장단말의 화면 상에 표시되도록 지원하여, 여러 사용자 객체의 일괄 결제를 지원할 수 있다.

본 발명에서 상기 프로세서 또는 상기 매장단말은, 상기 구매 예정 상품에 대한 결제 완료 시, 매장의 엑시트 게이트(exit gate)가 자동으로 열리도록 지원할 수 있다.

본 발명의 다른 측면에 따른 매장 시스템의 제어 방법은, 프로세서가 센서로부터 수신된 신호 정보에 기초하여 사용자 객체에 레이블링을 하고, 상기 사용자 객체를 추적하면서 행위를 식별하거나 식별하도록 지원하는 단계, 상기 프로세서가 상기 식별된 행위에 기초하여 상기 사용자 객체에 상응하는 구매 예정 상품 정보를 생성하는 단계, 및 상기 프로세서가, 레이블링 정보에 기초하여 매장단말을 통해 상품 결제 요청을 한 사용자 객체를 식별하거나 식별하도록 지원함으로써, 상기 구매 예정 상품에 대한 무인 결제가 이루어지도록 하는 단계를 포함한다.

본 발명은 상기 행위를 식별하거나 식별하도록 지원하는 단계에서, 상기 프로세서는, 제1 센서로부터 수신된 신호 정보 및 기 정의된 제1 피처 정보를 이용하여 객체의 종류를 판단하여 사용자 객체로서 레이블링하거나 레이블링 하도록 지원하고 소정의 시간 간격으로 연속하여 상기 레이블링된 사용자 객체의 위치를 추적하며, 제2 센서로부터 수신된 신호 정보 및 기 정의된 제2 피처 정보를 이용하여 상기 레이블링된 사용자 객체의 자세를 식별하거나 식별하도록 지원함으로써, 3차원 공간에서 레이블링된 사용자가 정해진 위치에서 특정한 행위를 하는지 식별하도록 지원할 수 있다.

본 발명은 상기 행위를 식별하거나 식별하도록 지원하는 단계에서, 상기 프로세서는, 제2 센서로부터 수신된 신호 정보를 자세 인식 모델에 적용하여 상기 사용자 객체의 자세를 검출하고, 상기 구매 예정 상품 정보를 생성하는 단계에서, 상기 검출된 자세가 상품을 피킹하는 자세인 경우, 상기 프로세서는 제4 센서로부터 수신된 신호 정보에 기초하여 피킹된 상품을 검출하거나 검출하도록 지원하고, 상기 검출된 상품 정보에 상응하는 구매 예정 상품 정보를 생성하여 상기 레이블링된 사용자 객체와 매칭할 수 있다.

본 발명은 상기 구매 예정 상품 정보를 생성하는 단계에서, 상기 검출된 자세가 상품을 피킹하는 자세인 경우, 상기 프로세서는 제3 센서로부터 수신된 무게 변화량 정보 및 제4 센서로부터 수신된 신호 정보에 기초하여 상기 피킹된 상품의 위치를 판단하여, 상기 판단된 위치에 대응되는 상품 정보를 포함하는 상기 구매 예정 상품 정보를 생성하고, 상기 무게 변화량 정보는 상기 상품이 위치한 상품 수납부의 무게 밸런스 정보를 포함할 수 있다.

본 발명은 상기 행위를 식별하거나 식별하도록 지원하는 단계에서, 상기 프로세서는, 제2 센서로부터 수신된 신호 정보를 자세 인식 모델에 적용하여 상기 사용자 객체의 자세를 검출하고, 상기 구매 예정 상품 정보를 생성하는 단계에서, 상기 검출된 자세가 상품을 피킹하는 자세인 경우, 제2 센서로부터 수신된 신호 정보 또는 이를 가공한 정보로부터 상품 이미지를 획득하고, 상기 상품 이미지에 대한 픽셀 데이터를 해시값으로 변환한 해시값에 기초하여 상기 구매 예정 상품 정보를 생성할 수 있다.

본 발명은 상기 구매 예정 상품에 대한 무인 결제가 이루어지도록 하는 단계에서, 상기 프로세서는, 상기 레이블링된 사용자 객체가 상기 매장단말로부터 기 설정된 일정 거리 이내에 위치하는 경우, 상기 사용자 객체와 매칭된 구매 예정 상품에 대한 리스트 및 산출된 결제 예정 금액이 상기 매장 단말의 화면 상에 표시되도록 지원하여, 상기 매장단말을 통한 결제 요청으로 상기 구매 예정 상품에 대한 결제가 이루어지면, 결제 결과를 처리하거나 처리하도록 지원할 수 있다.

본 발명은 상기 구매 예정 상품에 대한 무인 결제가 이루어지도록 하는 단계에서, 상기 프로세서는, 상기 매장단말을 통한 결제 요청으로 상기 구매 예정 상품에 대한 결제가 이루어지면, 결제 결과를 수신하여 상기 사용자 객체에 대한 레이블링을 해제하고 상기 사용자 객체와 매핑된 구매 예정 상품에 대한 정보를 삭제할 수 있다.

본 발명은 상기 구매 예정 상품에 대한 무인 결제가 이루어지도록 하는 단계에서, 각각 상이하게 레이블링된 복수의 사용자 객체가 상기 매장단말로부터 기 설정된 일정 거리 이내에 위치하는 경우, 상기 프로세서는 상기 복수의 사용자 객체 각각에 매칭된 구매 예정 상품에 대한 리스트를 하나의 리스트로 통합하고, 통합된 리스트에 대한 산출된 전체 결제 예정 금액이 상기 매장단말의 화면 상에 표시되도록 지원하여, 여러 사용자 객체의 일괄 결제를 지원할 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 더 제공될 수 있다.

본 발명의 일 실시예에 따른 매장 시스템의 서버 및 매장 시스템의 제어 방법은, 매장 내부에 진입하기 전에 자신의 결제 정보를 등록하지 않아도 사용자가 출구 쪽으로 이동하는 경우 사용자의 구매 상품을 자동으로 보여주어 무인 결제를 수행할 수 있게 함으로써, 사용자의 개인정보가 노출되는 것을 방지할 수 있다.

본 발명의 일 실시예에 따른 매장 시스템의 서버 및 매장 시스템의 제어 방법은, 라이다 센서를 이용하여 고객을 검출 및 추적함으로써, 데이터 처리를 줄이고, 이로 인해 고객의 검출 및 추적 속도를 빠르게 할 수 있으며, 라이다 센서를 이용한 고객 검출 및 추적 시, 딥러닝을 사용하지 않음으로써, 컴퓨팅 파워를 절약할 수 있다.

본 발명의 일 실시예에 따른 매장 시스템의 서버 및 매장 시스템의 제어 방법은, 라이다 센서를 이용하여 고객 검출 및 추적이 불가능한 상황이 발생한 경우에만 촬영장치를 구동시켜 촬영장치를 통해 획득된 영상 데이터를 이용하여 고객 검출 및 추적을 수행함으로써, 고객 검출 정확성을 향상시킬 수 있고, 컴퓨팅 파워를 제한적으로 사용할 수 있다.

본 발명의 일 실시예에 따른 매장 시스템의 서버 및 매장 시스템의 제어 방법은, 딥러닝 기반으로 상품 이미지를 학습하여 상품 여부만을 식별함으로써, 저해상도의 촬영장치를 이용할 수 있고, 이로 인해 무인 매장의 구축비용을 절감할 수 있다.

본 발명의 일 실시예에 따른 매장 시스템의 서버 및 매장 시스템의 제어 방법은, 상품 이미지의 해시값으로 실제 상품 명칭을 판단함으로써, 상품명을 판단하기 위한 계산 비용을 줄일 수 있고, 이로 인해 컴퓨팅 파워를 절약할 수 있다.

한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.

도 1은 본 발명의 일 실시예에 따른 매장 시스템을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 제1 센서 및 제3 센서의 설치 위치를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 매장의 상품 수납부를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 제3 센서에 기초하여 상품을 판별하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 서버의 구성을 개략적으로 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 매장 시스템의 제어 방법을 설명하기 위한 도면이다.

이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 매장 시스템의 서버 및 매장 시스템의 제어 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.

또한, 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 매장 시스템을 개략적으로 나타낸 블록도, 도 2는 본 발명의 일 실시예에 따른 제1 센서 및 제3 센서의 설치 위치를 설명하기 위한 예시도, 도 3은 본 발명의 일 실시예에 따른 매장의 상품 수납부를 설명하기 위한 예시도, 도 4는 본 발명의 일 실시예에 따른 제3 센서에 기초하여 상품을 판별하는 방법을 설명하기 위한 예시도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 매장 시스템은 제1 센서(100), 제2 센서(200), 제3 센서(300), 서버(400) 및 매장단말(500)을 포함한다.

제1 센서(100)는 객체의 종류 및 위치를 판단하기 위한 센싱 데이터를 획득하고, 획득된 센싱 데이터를 포함하는 신호 정보를 서버(400)로 전송할 수 있다. 여기서, 신호 정보는 제1 센서(100)의 식별정보, 센싱 데이터 등을 포함할 수 있다. 이러한 제1 센서(100)는 예컨대, 라이다 센서, 레이더 센서, 영상 센서, 초음파 센서, 적외선 센서 등을 포함할 수 있고, 제1 센서(100)는 하나 또는 두 개 이상의 센서로 구성될 수 있다.

제1 센서(100)는 제1-1 센서 및 제1-2 센서를 포함할 수 있다. 이때, 제1-1 센서는 제1-2 센서에 비해 동일한 객체에 대해 저용량 신호 정보를 획득할 수 있다. 예를 들어, 제1-1 센서가 라이다 센서이면, 제1-2 센서는 동일 객체에 대해 제1-1 센서보다 더 많은 용량의 신호 정보를 획득할 수 있는 RGB 센서일 수 있다.

제1 센서(100)는 매장 내에 설치되고, 객체에 대한 센싱 데이터를 획득할 수 있다. 제1 센서(100)는 도 2에 도시된 바와 같이 매장의 천장에 설치될 수 있다.

예를 들어, 제1 센서(100)가 라이다 센서인 경우, 라이다 센서(100)는 객체에 대한 라이다 데이터인 포인트 클라우드(point cloud)를 획득하여 서버(400)로 전송할 수 있다. 예를 들어, 라이다 센서(100)는 905 ㎚ 내지 1550 ㎚의 파장을 갖는 원형의 단일 레이저 펄스를 객체로 조사한 후, 측정 범위 내에 있는 객체에서 반사된 레이저 펄스가 되돌아온 시간을 측정하여, 라이다 센서(100)로부터 객체까지의 거리, 객체의 방향, 속도, 물질 분포 및 농도 특성 등과 같이 객체에 대한 정보를 센싱할 수 있다. 여기서, 객체란, 라이다 센서(100)가 설치된 매장에 존재하는 사람, 사물 등일 수 있으나, 실시 예는 객체의 특정한 종류에 국한되지 않는다.

제2 센서(200)는 객체의 자세를 식별하기 위한 센싱 데이터를 획득하고, 획득된 센싱 데이터를 포함하는 신호 정보를 서버(400)로 전송할 수 있다. 여기서, 신호 정보는 제2 센서(200)의 식별정보, 센싱 데이터 등을 포함할 수 있다.

이러한 제2 센서(200)는 영상 센서(예: 카메라, RGB카메라, 딥러닝카메라, Depth카메라 등), 라이다 센서, 레이더 센서, 초음파 센서, 적외선 센서 등을 포함할 수 있고, 제2 센서(200)는 제1 센서(100)와 동일할 수도 있고 다를 수도 있다. 이하에서는 설명의 편의를 위해 제2 센서(200)가 영상 데이터를 획득하는 센서인 경우를 예로 하여 설명하기로 한다.

제2 센서(200)는 매장 내에 설치되고, 영상 데이터를 획득하여 서버(400)로 전송할 수 있다. 제2 센서(200)는 온 상태로 유지하여 영상 데이터를 획득할 수 있다. 또한, 제2 센서(200)는 평상시 오프상태로 동작하다가 서버(400)로부터 구동 온 신호 수신 시 동작하여 영상 데이터를 획득할 수도 있다.

제2 센서(200)는 매장의 천장 또는 상품을 진열하는 상품 수납부(20)에 설치될 수 있다. 제2 센서(200)는 상품 수납부(20)에서 사용자(10)의 모습 및 상품 수납부(20)에 진열된 상품들을 촬영할 수 있는 화각을 가지도록 설치될 수 있다. 제2 센서(200)는 상품 수납부(20)마다 하나씩 설치될 수도 있고, 사용자 및 상품 수납부(20)를 모두 촬영할 수 있는 적절한 위치에 설치될 수도 있다. 제2 센서(200)는 매장 내의 특정 영역을 촬영하도록 고정되어 있을 수도 있으며, 매장내의 다양한 영역을 촬영하도록 회전되도록 설치될 수도 있다. 제2 센서(200)는 촬영되는 영상이 매장 내에 미리 지정한 벡터에 해당하는 예외 공간을 제외하고 사각 지대가 없도록 중첩되어 설치될 수 있다.

매장에 설치되는 상품 수납부(20)는 도 3에 도시된 바와 같이 다양한 상품을 보관 및 진열할 수 있도록 복수의 층과 열로 구성될 수 있다. 이때, 상품 수납부(20)는 상품의 종류, 포장 상태, 크기에 따라 각 층 또는 열의 배열 간격이 조절될 수 있는 선반 형태를 가질 수 있으며, 다양한 상품들을 진열할 수 있으면 되고 이들 형태로 제한되지 않는다.

제3 센서(300)는 무게 변화량을 감지하는 센서일 수 있다.

제3 센서(300)는 상품을 보관 또는 진열하는 적어도 하나의 상품 수납부(20)에 설치되어, 상품 수납부(20)의 무게 변화량을 감지하고, 무게 변화량 정보를 서버(400)로 전송할 수 있다. 여기서, 무게 변화량 정보는 상품이 위치한 상품 수납부(20)의 무게 밸런스 정보를 포함할 수 있다.

제3 센서(300)는 상품 수납부(20)의 무게 변화가 감지된 경우, 무게 변화량 정보를 서버(400)로 전송할 수 있다. 또한, 제3 센서(300)는 상품 수납부(20)의 무게 변화가 감지된 경우, 제2 센서(200) 또는 해당 제3 센서(300)가 설치된 위치의 일정 거리 내에 있는 제2 센서(200)를 구동시키기 위한 이벤트 트리거 신호를 서버(400)로 전송할 수도 있다. 여기서, 이벤트 트리거 신호는 제3 센서 식별정보, 무게 변화량, 무게값 등을 포함할 수 있다.

이러한 제3 센서(300)는 각 상품 수납부(20)에 일정 개수 설치될 수 있다. 예를 들면, 제3 센서(300)는 각 상품 수납부(20)의 양끝에 각각 1개씩 설치될 수 있다. 예컨대, 상품 수납부(20)의 제1 끝에는 제3-1 센서(300a), 제2 끝에는 제3-2 센서(300b)가 설치될 수 있다. 동일한 무게의 상품이라도 상품의 위치에 따라 제3-1 센서(300a) 및 제3-2 센서(300b)에서 감지된 무게는 서로 상이할 수 있다. 즉, 사용자(10)에 의해 집어진(즉, 피킹(picking)된) 상품의 위치에 따라 제3 센서(300)에 기울기가 생길 수 있고, 그 기울기에 따라 동일한 무게의 상품일지라도 제제3-1 센서(300a) 및 제3-2 센서(300b)의 값에는 차이가 있다.

예를 들어, 도 4에 도시된 바와 같이 5개의 동일한 상품이 상품 수납부(20)에 진열된 경우에 대해 설명하기로 한다. 5개의 상품 중에서 중앙에 위치하는 상품이 피킹된 경우, 제3-1 센서(300a)는 50g짜리 상품이 피킹된 것으로 감지할 수 있고, 제3-2 센서(300b)는 50g짜리 상품이 피킹된 것으로 감지할 수 있다. 그러나 최좌측의 상품이 피킹된 경우, 제3-1 센서(300a)는 48g짜리 상품이 피킹된 것으로 감지할 수 있고, 제3-1 센서(300b)는 52g짜리 상품이 피킹된 것으로 감지할 수 있다.

제3-1 센서(300a) 및 제3-2 센서(300b)에 의해 측정된 무게 변화량(또는 무게값)은 사용자(10)에 의해 집어진(피킹된) 상품의 위치 및 상품명을 판별하는데 이용될 수 있다.

한편, 제3 센서(300)를 이용해도 상품 판별에 오차가 있을 수 있다. 이에, 도 1에는 도시하지 않았으나, 매장 시스템은 상품 수납부(20)의 상하단에 설치된 제4 센서(미도시)를 더 포함할 수 있다. 제4 센서는 사용자에 의해 피킹된 상품을 판별하기 위한 데이터를 센싱하고, 그 센싱 데이터를 포함하는 신호 정보를 서버로 전송할 수 있다. 여기서, 신호 정보는 제4 센서의 식별정보, 센싱 데이터 등을 포함할 수 있다.

제4 센서는 사용자(10)의 손(팔)이 들어오고 나가는 것을 센싱하고 이에 관한 센싱 데이터를 포함하는 신호 정보를 서버(400)로 전송함으로써, 사용자(10)에 의해 집어진(피킹된) 상품의 판단에 추가적으로 이용될 수 있다. 즉, 제4 센서를 통해 감지된 사용자(10)의 손이 들어온 위치와 제3 센서(300)의 무게 변화량 정보를 통해 판단된 상품의 위치가 대응하면, 서버(400)는 해당 위치의 상품이 집어졌다고(즉, 피킹되었다고) 판단할 수 있다. 이처럼 제4 센서는 제2 센서(200) 및 제3 센서(300)를 통해 판단된 상품 판별에 대한 정확도를 높이기 위해 보완적으로 사용될 수 있다.

이러한 제4 센서는 적외선 센서, 영상 센서(예: 카메라, RGB카메라, 딥러닝카메라, Depth카메라 등), 라이다 센서, 레이더 센서, 초음파 센서 등을 포함할 수 있다.

서버(400)는 제1 센서(100)로부터 수신된 신호 정보에 기초하여 사용자 객체(10)에 레이블링을 하고, 사용자 객체(10)를 추적하면서 행위를 식별하거나 식별하도록 지원하며, 식별된 행위에 기초하여 사용자 객체(10)에 상응하는 구매 예정 상품 정보를 생성할 수 있다.

또한, 서버(400)는 레이블링 정보에 기초하여 매장단말을 통해 상품 결제 요청을 한 사용자 객체(10)를 식별하거나 식별하도록 지원함으로써, 구매 예정 상품에 대한 무인 결제가 이루어지도록 할 수 있다.

또한, 서버(400)는 제1 센서(100)로부터 수신된 신호 정보 및 기 정의된 제1 피처 정보를 이용하여 객체의 종류를 판단하여 사용자 객체(10)로서 레이블링하거나 레이블링 하도록 지원하고 소정의 시간 간격으로 연속하여 레이블링된 사용자 객체(10)의 위치를 추적할 수 있다.

또한, 서버(400)는 제2 센서(200)로부터 수신된 신호 정보 및 기 정의된 제2 피처 정보를 이용하여 레이블링된 사용자 객체(10)의 자세를 식별하거나 식별하도록 지원함으로써, 3차원 공간에서 레이블링된 사용자가 정해진 위치에서 특정한 행위를 하는지 식별하도록 지원할 수 있다.

또한, 서버(400)는 제3 센서(300)로부터 수신된 무게 변화량 정보를 이용하여 피킹(picking) 또는 레잉 백(laying back)되는 상품을 식별하거나 식별하도록 지원하고, 피킹(picking) 또는 레잉 백(laying back) 이벤트가 발생되면, 제2 센서(200)로부터 수신된 신호 정보 및 제2 피처 정보를 이용하여 사용자 객체(10)의 행위를 식별하거나 식별하도록 지원할 수 있다.

또한, 서버(400)는 제2 센서(200)로부터 수신된 신호 정보를 자세 인식 모델에 적용하여 객체의 자세를 검출하고, 검출된 자세가 상품을 피킹하는 자세인 경우, 제4 센서로부터 수신된 신호 정보에 기초하여 피킹된 상품을 검출하거나 검출하도록 지원하고, 검출된 상품 정보에 상응하는 구매 예정 상품 정보를 생성하여 레이블링된 사용자 객체(10)와 매칭할 수 있다.

서버(400)는, 레이블링된 사용자 객체(10)가 매장단말(500)로부터 기 설정된 일정 거리 이내에 위치하는 경우, 사용자 객체(10)와 매칭된 구매 예정 상품에 대한 리스트 및 산출된 결제 예정 금액이 매장단말(500의 화면 상에 표시되도록 지원하여, 매장단말(500)을 통한 결제 요청으로 구매 예정 상품에 대한 결제가 이루어지면, 결제 결과를 처리하거나 처리하도록 지원할 수 있다.

이러한 서버(400)에 대한 상세한 설명은 도 5를 참조하기로 한다.

매장단말(500)은 매장의 출구측에 설치되고, 서버(400)로부터 결제 요청 신호 수신 시, 사용자 객체(10)와 매칭된 구매 예정 상품에 대한 리스트 및 산출된 결제 예정 금액을 화면상에 출력하고, 해당 사용자(10)에 의해 결제가 이루어지도록 할 수 있다. 매장단말(500)은 예컨대, 키오스크 등으로 구현될 수 있다.

매장단말(500)은 통신망을 통해 서버(400)와 연결되어, 서버(400)로부터 구매 상품 리스트 및 결제 금액을 출력하기 위하여 디스플레이를 포함할 수 있다.

서버(400) 또는 매장단말(500)은 구매 예정 상품에 대한 결제 완료 시, 매장의 엑시트 게이트(exit gate)가 자동으로 열리도록 지원할 수 있다.

도 5는 본 발명의 일 실시예에 따른 서버의 구성을 개략적으로 나타낸 블록도이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 서버(400)는 통신회로(410), 메모리(420), 데이터베이스(430) 및 프로세서(440)를 포함한다.

통신회로(410)는 통신망과 연동하여 제1 센서(100), 제2 센서(200), 제3 센서(300), 제4 센서(미도시) 및 매장단말(500) 중 적어도 하나와의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 특히, 통신회로(410)는 제1 센서(100)로부터 라이다 데이터를 수신하고, 제2 센서(200)로부터 영상 데이터를 수신하며, 제3 센서(300)로부터 무게 변화량 정보를 수신하고, 구매 상품 리스트 및 결제 금액을 포함하는 결제 요청 신호를 매장단말(500)로 전송하는 역할을 수행할 수 있다. 또한 통신회로(410)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다. 또한, 통신회로(410)는 근거리 통신모듈, 무선 통신모듈, 이동통신 모듈, 유선 통신모듈 등 다양한 형태로 구현될 수 있다.

메모리(420)는 서버(400)의 동작과 관련된 데이터들을 저장하는 구성이다. 특히, 메모리(420)에는 라이다 데이터에 기초하여 사용자(10)를 검출 및 추적하고, 제3 센서(300)를 통해 무게 변화 감지 시, 영상 데이터에 기초하여 사용자(10)의 상품 피킹 및 반납 중 적어도 하나의 이벤트를 식별하고, 식별된 이벤트에 기초하여 사용자(10)의 구매 상품 리스트에 생성하며, 구매 상품 리스트에 포함된 구매 상품에 대한 결제 금액을 산출하는 어플리케이션(프로그램 또는 애플릿) 등이 저장될 수 있으며, 저장되는 정보들은 필요에 따라 프로세서(440)에 의해 취사선택될 수 있다. 즉, 메모리(420)에는 서버(400)의 구동을 위한 운영 체제나 어플리케이션(프로그램 또는 애플릿)의 실행 과정에서 발생되는 여러 종류의 데이터가 저장된다. 이때, 메모리(420)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다. 또한, 메모리(420)는 프로세서(440)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(420)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

데이터베이스(430)는 매장에 설치된 각 상품 수납부(20)의 식별정보 및 위치, 각 상품 수납부(20)에 보관 또는 진열되는 상품 정보, 각 상품 수납부(20)에 배치되는 제3 센서 정보 등을 저장할 수 있다. 여기서, 상품 정보는 각 상품 수납부(20)에 보관 또는 진열되는 상품의 명칭, 위치, 무게, 상품 이미지, 상품 이미지의 RGB값, 해시값, 가격 등을 포함할 수 있다. 제3 센서 정보는 제3 센서(300)의 식별정보, 위치 등을 포함할 수 있다.

또한, 데이터베이스(430)는 매장에 설치되는 제2 센서(200)의 식별정보, 위치 등을 포함하는 제2 센서 정보를 저장할 수 있다.

또한, 데이터베이스(430)는 매장의 출구에 설치되는 매장단말(500)의 식별정보, 위치 등을 저장할 수 있다.

프로세서(440)는 서버(400)의 전반적인 동작을 제어하는 구성으로, 집적 회로, 시스템 온 칩, 또는 모바일 AP로 구현될 수 있다.

프로세서(440)는 제1 센서(100) 또는 제2 센서(200)로부터 수신된 신호 정보에 기초하여 사용자 객체(10)에 레이블링을 하고, 사용자 객체(10)를 추적하면서 행위를 식별하거나 식별하도록 지원하며, 식별된 행위에 기초하여 사용자 객체(10)에 상응하는 구매 예정 상품 정보를 생성할 수 있다.

프로세서(440)는 제1 센서(100)로부터 수신된 신호 정보 및 기 정의된 제1 피처 정보를 이용하여 객체의 종류를 판단하여 사용자 객체(10)로서 레이블링하거나 레이블링 하도록 지원하고, 소정의 시간 간격으로 연속하여 레이블링된 사용자 객체(10)의 위치를 추적하며, 제2 센서(200)로부터 수신된 신호 정보 및 기 정의된 제2 피처 정보를 이용하여 레이블링된 사용자 객체(10)의 자세를 식별하거나 식별하도록 지원함으로써, 3차원 공간에서 레이블링된 사용자가 정해진 위치에서 특정한 행위를 하는지 식별하도록 지원할 수 있다.

또한, 프로세서(440)는 제3 센서(300)로부터 수신된 무게 변화량 정보를 이용하여 피킹(picking) 또는 레잉 백(laying back)되는 상품을 식별하거나 식별하도록 지원하고, 피킹(picking) 또는 레잉 백(laying back) 이벤트가 발생되면, 제2 센서(200)로부터 수신된 신호 정보 및 제2 피처 정보를 이용하여 사용자 객체(10)의 행위를 식별하거나 식별하도록 지원할 수 있다.

또한, 프로세서(440)는 제2 센서(200)로부터 수신된 신호 정보를 자세 인식 모델에 적용하여 객체의 자세를 검출하고, 검출된 자세가 상품을 피킹하는 자세인 경우, 제4 센서로부터 수신된 신호 정보에 기초하여 피킹된 상품을 검출하거나 검출하도록 지원하고, 검출된 상품 정보에 상응하는 구매 예정 상품 정보를 생성하여 레이블링된 사용자 객체(10)와 매칭할 수 있다.

또한, 프로세서(440)는 레이블링 정보에 기초하여 매장단말(500)을 통해 상품 결제 요청을 한 사용자 객체(10)를 식별하거나 식별하도록 지원함으로써, 구매 예정 상품에 대한 무인 결제가 이루어지도록 할 수 있다.

이하, 프로세서(440)의 동작에 대해 구체적으로 설명하기로 한다.

프로세서(440)는 제1 센서(100)로부터 수신된 신호 정보 또는 이를 가공한 정보를 기 정의된 제1 피처 정보에 기초하여 클러스터링(clustering)함으로써 객체의 종류를 판단하거나 판단하도록 지원할 수 있다.

예를 들면, 프로세서(440)는 제1 센서(100)를 통해 획득한 객체에 대한 복수의 점으로 구성된 라이다 데이터인 포인트 클라우드 데이터를 미리 정한 규칙에 따라 의미 있는 단위로 클러스터링하고, 클러스터링된 포인트 클라우드 데이터를 대상으로 윤곽선을 생성하며, 하나의 윤곽선을 하나의 객체로 검출할 수 있다. 이때, 프로세서(440)는 그리드 기반 군집화 또는 밀도 기반 군집화 방법 등을 적용하여 포인트 클라우드 데이터를 그룹핑하여 객체의 외곽 형태를 군집화할 수 있다. 제1 센서(100)에서 감지된 결과는 복수의 점이며, 각 점은 위치(또는, 좌표)에 대한 정보만을 갖는다. 따라서, 프로세서(440)는 제1 센서(100)에서 센싱된 복수의 점을 의미있는 형상 단위로 그룹핑하고, 그룹핑된 결과인 클러스터(cluster)를 생성할 수 있다.

그런 후, 프로세서(440)는 검출된 객체를 기 학습된 객체 인식 모델에 적용하여 사용자 객체(10)를 검출할 수 있다. 이때, 프로세서(440)는 머신러닝으로 미리 정의된 제1 피처 정보에 기초하여 객체들 중에서 사람인 사용자 객체(10)를 분류할 수 있다. 객체 인식 모델은 분류(classification) 또는 군집화(clustering)를 위한 기계학습(machine learning) 알고리즘에 기초하여 생성된 것일 수 있다.

예를 들면, 프로세서(440)는 검출된 객체 중에서 "지름 20센티 내의 구"를 "사람 머리"로 검출할 수 있다.

사용자 객체(10)가 검출되면, 프로세서(440)는 사용자 객체(10)로서 레이블링하거나 레이블링 하도록 지원하고, 소정의 시간 간격으로 연속하여 레이블링된 사용자 객체(10)의 위치를 추적할 수 있다. 이때, 프로세서(440)는 레이블링된 사용자 객체(10)에 상응하는 피처 그룹의 중심 위치를 기초로 레이블링된 사용자의 위치 이동을 추적하거나 추적하도록 지원할 수 있다. 예를 들면, 프로세서(440)는 사람 머리의 중심점을 기준으로 이동 속도 및 방향을 추적함으로써, 사용자(10)의 이동 위치(움직임)를 추적할 수 있다. 즉, 프로세서(440)는 사용자(10)의 머리 중심점을 사용자 객체(10)를 추적하기 위한 특이점으로 선택할 수 있다. 여기서, 특이점은 추적 대상을 추적하기 위해 선정한 사용자 객체(10)의 특정 부분을 의미할 수 있다. 제1 센서(100)는 객체 전체가 아닌 특이점만을 추적함으로써 추적 대상을 구분할 수 있으며, 추적대상의 속도, 진행방향과 같은 사항을 지속적으로 추적할 수 있게 된다. 시간에 따라 이동한 머리 중심점을 순차적으로 연결하면 이동하는 사용자 객체(10)의 방향과 속도를 산출할 수 있고, 이를 통해 사용자 객체(10)의 위치 이동을 지속적으로 추적할 수 있다. 이러한 특이점의 선정으로 인해 전체에 비해 대상을 구분할 수 있는 최소 부위만 추적함으로써 종래에 비해 장시간 정밀하게 추적할 수 있다. 또한, 특이점을 이용한 추적의 경우 최소 범위만 지속적인 감지를 수행함으로써 분석에 의한 처리가 감소하여 복수의 객체를 같은 시간에 멀티 추적하는 것이 가능해지게 된다.

제1 센서(100)를 이용하여 사용자 객체(10)를 검출 및 추적함으로써, 데이터 처리가 많이 필요하지 않고, 이로 인해 사용자 객체(10)의 검출 및 추적 속도를 빠르게 할 수 있다. 또한, 제1 센서(100)를 이용한 사용자 객체(10) 검출 및 추적 시, 딥러닝을 사용하지 않음으로써, 컴퓨팅 파워를 절약할 수 있다.

한편, 제1 센서(100)는 동일한 객체에 대해 서로 다른 용량의 신호 정보를 획득하는 제1-1센서 및 제1-2센서를 포함할 수 있다. 이하에서는 설명의 편의를 위해, 동일한 객체에 대해 제1-1 센서가 제1-2 센서에 비해 저용량 신호 정보를 획득하는 것으로 설명하기로 한다.

이 경우, 프로세서(440)는 제1-1센서로부터 수신된 신호 정보 또는 이를 가공한 정보와, 제1 피처 정보를 이용하여 객체의 종류 및 위치 중 적어도 하나에 대한 판단을 할 수 있다. 이때, 제1-1 센서로부터의 신호 정보로부터 객체 식별에 실패하거나, 가방, 아이, 풍선, 물체 등으로 식별정보가 부여된 사용자 객체(10)(또는 트래킹 객체)가 갑자기 생기거나 사라지는 경우 등의 오류가 발생할 수 있다. 이러한 오류 발생 시, 프로세서(440)는 제1-2 센서로부터 수신된 신호 정보 또는 이를 가공한 정보와, 기 정의된 제1 피처 정보를 딥러닝으로 학습한 분류모듈을 이용하여 객체의 종류 및 위치 중 적어도 하나를 판단하거나 판단하도록 지원할 수 있다.

또한, 제1 센서(100)로부터의 신호 정보로부터 객체 식별에 실패하거나, 가방, 아이, 풍선, 물체 등으로 식별정보가 부여된 사용자 객체(10)(또는 트래킹 객체)가 갑자기 생기거나 사라지는 경우 등의 오류도 발생할 수 있다. 이런 경우 프로세서(440)는 제1 센서(100)를 이용하여 객체 검출 및 추적하는 것이 불가능할 수 있다. 이처럼 제1 센서(100)에 의한 객체 검출 오류가 발생하는 경우, 프로세서(200)는 제2 센서(200)로부터 수신된 신호 정보 또는 이를 가공한 정보와, 기 정의된 제1 피처 정보를 딥러닝으로 학습한 분류모듈을 이용하여 객체의 종류 및 위치 중 적어도 하나를 판단하거나 판단하도록 지원할 수도 있다. 즉, 제1 센서(100)에 의한 객체 검출 오류가 발생하는 경우, 프로세서(440)는 제2 센서(200)를 통해 획득된 영상 데이터에 기초하여 사용자 객체(10)를 검출 및 추적할 수 있다. 이때, 프로세서(440)는 항상 구동되고 있는 제2 센서(200)로부터 영상 데이터를 수신하여 사용자 객체(10)를 검출 및 추적할 수 있다. 또한, 프로세서는 객체 검출 오류 발생 시 사용자 객체(10)의 현재 위치(즉, 사용자 객체(10)의 위치가 추적된 마지막 위치)로부터 기 설정된 일정 거리 이내에 위치하는 제2 센서(200)를 구동시킬 수도 있다. 또한, 프로세서(440)는 사용자 객체(10)의 위치와 상관없이 매장내의 제2 센서(200)를 모두 구동시킬 수도 있다. 그런 후, 프로세서(440)는 구동된 제2 센서(200)를 통해 획득된 영상 데이터에 기 학습된 객체 인식 모델을 적용하여 사용자 객체(10)를 검출할 수 있고, 멀티뷰 지오메트리를 적용하여 사용자 객체(10)의 위치를 추적할 수도 있다. 여기서, 객체 인식 모델은 딥러닝에 기초하여 생성된 것일 수 있다. 멀티뷰 지오메트리는 3차원 공간에서 매장내 사람의 위치를 실시간으로 추적하는 기술로, 제2 센서(200)를 통해 획득된 영상 데이터를 활용하여 2차원 좌표 정보를 3차원 좌표 정보로 변환하고, 딥러닝 이미지 판별 기술을 이용하여 사용자 객체(10)를 인식 및 추적할 수 있다.

본 발명의 다른 실시예에 따르면, 제1 센서(100)가 상이한 위치에 설치된 제1-a 센서 및 제1-b 센서를 포함하는 경우, 프로세서(440)는 제1-a 센서로부터 수신된 신호 정보 및 제1-b 센서로부터 수신된 신호 정보를 이용하여 3차원 공간상에서 사용자 객체(10)의 위치를 판단하거나 판단하도록 지원할 수도 있다. 여기서, 제1-a 센서 및 제1-b 센서는 영상 센서, 라이다 센서, 레이더 센서, 초음파 센서, 적외선 센서 중 적어도 하나일 수 있다.

본 발명의 실시예에서는 멀티뷰 지오메트리를 이용하여 객체를 추적하는 것으로 설명하였으나, 프로세서(440)는 영상 프레임의 변화에 따라 경계상자의 이동을 인식하여 추적하는 경계상자 기반, 물체의 위치와 속도를 기반으로 추적을 모델링하고 가우시안 분포를 통해 물체의 뒤 프레임에서의 위치와 속도를 추측하는 칼만 필터 객체 추적 알고리즘 등 다양한 객체 추적 알고리즘을 적용할 수 있다.

상술한 바와 같이 제1 센서(100)를 이용하여 사용자 객체(10) 검출 및 추적이 불가능한 상황이 발생한 경우에만 제2 센서(200)를 통해 획득된 영상 데이터를 이용하여 사용자 객체(10) 검출 및 추적을 수행함으로써, 사용자 객체(10) 검출 정확성을 향상시킬 수 있고, 컴퓨팅 파워를 제한적으로 사용할 수 있다.

제1 센서(100)로부터 수신된 신호 및 기 정의된 제1 피처 정보를 이용하여 객체의 종류가 판단되면, 프로세서(440)는 레이블링된 사용자 객체(10)에 상응하는 피처 그룹의 중심 위치를 기초로 레이블링된 사용자의 위치 이동을 추적하거나 추적하도록 지원할 수 있다.

제1 센서(100) 또는 제2 센서(200)를 이용하여 사용자 객체(10)의 위치 이동을 추적하는 중에, 소정 시간 내에 제3 센서(300)로부터 무게 변화량 정보가 수신되면, 프로세서(440)는 수신된 무게 변화량 정보를 이용하여 피킹(picking) 또는 레잉 백(laying back)되는 상품을 식별하거나 식별하도록 지원하고, 피킹(picking) 또는 레잉 백(laying back) 이벤트가 발생되면, 제2 센서(200)로부터 수신된 신호 정보 및 기 정의된 제2 피처 정보를 이용하여 레이블링된 사용자 객체(10)의 행위를 식별하거나 식별하도록 지원할 수 있다.

예를 들어, 제3 센서(300)가 제3-1 센서(300a) 및 제3-2 센서(300b)를 포함하는 경우, 프로세서(440)는 소정 시간 내에 제3-1 센서(300a) 및 제3-2 센서(300b) 각각으로부터 수신된 무게 변화량 정보를 이용하여 피킹(picking) 또는 레잉 백(laying back)되는 상품을 식별하거나 식별하도록 지원할 수 있다. 여기서, 무게 변화량 정보는 상품이 위치한 상품 수납부(20)의 무게 밸런스 정보를 포함할 수 있다.

즉, 사용자 객체(10)의 위치 이동을 추적하는 중에, 제3 센서(300)로부터 무게 변화량 정보가 수신되면, 프로세서(440)는 피킹(picking) 또는 레잉 백(laying back) 이벤트가 발생한 것으로 판단할 수 있다. 피킹(picking) 또는 레잉 백(laying back) 이벤트가 발생되면, 프로세서(440)는 제2 센서(200)로부터 수신된 신호 정보 또는 이를 가공한 정보와, 기 정의된 제2 피처 정보를 딥러닝으로 학습한 분류모듈을 이용하여 레이블링된 사용자 객체(10)의 행위를 식별하거나 식별하도록 지원할 수 있다.

또한, 피킹(picking) 또는 레잉 백(laying back) 이벤트가 발생되면, 사용자 객체(10)에 의한 이벤트인지와 상품 판별을 정확하게 하기 위해, 프로세서(440)는 제2 센서(200)를 구동시킬 수도 있다. 구체적으로, 제3 센서(300)로부터 무게 변화량 정보가 수신되면, 프로세서(440)는 무게 변화량 정보에 포함된 제3 센서 식별정보에 기초하여 제3 센서(300)의 위치를 확인하고, 제3 센서(300)의 위치로부터 일정 거리 내에 위치하는 사용자 객체(10)를 식별할 수 있다. 이때, 제3 센서(300)로부터 일정 거리 내에 위치하는 사용자 객체(10)는 다수일 수 있으므로, 프로세서(440)는 다수의 사용자 객체(10) 중에서 상품을 피킹한 사용자 객체(10)와 피킹된 상품의 종류를 정확히 판별할 필요가 있다.

이에, 프로세서(440)는 구동된 제2 센서(300)로부터 신호 정보를 수신하거나, 제2 센서를 구동시킨 후 구동된 제2 센서(200)로부터 신호 정보를 수신하고, 수신한 신호 정보를 미리 학습된 자세 인식 모델에 적용하여 사용자 객체(10)의 자세(또는 액션, 모션, 행위)를 인식할 수 있다. 자세 인식 모델은 사람 목을 중심으로 다양한 상반신의 자세를 미리 정의한 모델로, 딥러닝, 서포트 벡터 머신(support vector machine), 신경망(neural network) 중 적어도 하나에 기초하여 생성된 것일 수 있다. 또한, 자세 인식 모델은 분류(classification) 또는 군집화(clustering)를 위한 기계학습(machine learning) 알고리즘에 기초하여 생성된 것일 수도 있다.

프로세서(440)는 제2 센서(200)로부터의 신호 정보를 자세 인식 모델에 적용함으로써, 사용자 객체(10)가 상품 수납부(20) 내의 상품을 손에 들어(피킹하여) 카트 등에 넣었는지 또는 레잉 백(laying back) 하였는지 등의 행위를 분석하고, 이에 관한 행위 데이터를 레이블링된 사용자 객체(10)와 매핑할 수 있다. 또한, 레잉 백(laying back) 행위의 경우 상품을 쥔 손을 상품 수납부(20) 안으로 넣고 상품 수납부(20) 밖으로 나왔을 때 상품이 손에서 없어진 상황을 파악하여 분석할 수 있다.

자세 인식 모델을 통해 검출된 자세가 상품을 피킹(즉, 상품을 잡는 행위)하는 자세인 경우, 프로세서(440)는 상품 피킹 이벤트로 판단하고, 피킹된 상품의 종류 등을 포함하는 상품 정보를 판별할 수 있다. 이때, 프로세서(440)는 고객(10)에 의해 피킹된(집어진) 물체가 상품인지를 판단하고, 상품인 경우 상품 정보(상품 종류, 상품명 등을 포함함)를 판단할 수 있다.

즉, 사용자 객체(10)의 자세가 물건을 피킹하는 자세일지라도 피킹된 물체가 상품이 아닐 수 있다. 이에, 프로세서(440)는 제2 센서(200)를 통해 획득된 영상 데이터를 분석하여 물체 이미지를 획득하고, 획득된 영상 데이터를 분석하여 물체 이미지를 검출하며, 검출된 물체 이미지를 기 학습된 상품 이미지 모델에 적용하여 물체 이미지가 상품을 나타내는지를 판단할 수 있다. 여기서, 상품 이미지 모델은 딥러닝 기반으로 생성된 모델로서, 물체 이미지의 상품 여부를 식별하는데 이용될 수 있다. 상품 이미지 모델은 각 상품 이미지에 대해 다양한 각도에서의 바운딩 박스를 생성하고, 그 바운딩 박스를 학습함으로써 생성된 모델일 수 있다. 프로세서(440)는 영상 데이터에서 물체 이미지를 획득하고, 획득된 물체 이미지를 상품 이미지 모델에 적용하여 물체 이미지가 상품을 나타내는지를 판단할 수 있다.

이처럼 프로세서(440)는 딥러닝 기반으로 상품 이미지를 학습하여 상품 여부만을 식별함으로써, 저해상도의 제2 센서(200)를 이용할 수 있고, 이로 인해 무인 매장의 구축비용을 절감할 수 있다.

사용자 객체(10)의 자세가 상품을 피킹(즉, 상품을 잡는 행위)하는 자세이고, 피킹한 물체가 상품을 나타내면, 프로세서(440)는 상품 이미지의 해시값 또는 제3 센서(300)에 의해 측정된 무게 변화량 정보에 기초하여 피킹된 상품의 상품 정보를 판별할 수 있다.

먼저, 상품 이미지의 해시값을 이용하여 피킹된 상품의 상품 정보를 판별하는 방법에 대해 설명하기로 한다. 이 경우, 프로세서(440)는 제2 센서(200)로부터 수신된 신호 정보 또는 이를 가공한 정보로부터 상품 이미지를 획득하고, 상품 이미지에 대한 픽셀 데이터를 해시값으로 변환한 해시값에 기초하여 상품 정보를 판별할 수 있으며, 판별된 상품 정보를 포함하는 구매 예정 상품 정보를 생성할 수 있다. 즉, 제2 센서(200)로부터 수신된 신호 정보 또는 이를 가공한 정보로부터 상품 이미지가 획득되고, 바운딩 박스를 이용하여 상품 이미지에 포함된 서브 이미지가 머신러닝으로 학습되어 상품 분류 모듈이 준비된 상태에서, 사용자 객체(10)가 상품을 피킹하는 것으로 판단되는 경우, 프로세서(440)는 상품 분류 모듈에, 새롭게 획득된 상품 이미지에 포함된 서브 이미지 정보를 입력하여 사용자 객체(10)에 의하여 피킹된 대상이 상품인지를 판단하거나 판단하도록 지원하고, 상품으로 판단된 경우에 한하여 변환된 해시값에 기초하여 구매 예정 상품 정보를 생성하거나 생성하도록 지원할 수 있다. 여기서, 서브 이미지는 개별 상품 이미지를 의미할 수 있다. 상품 이미지의 해시값으로 실제 상품 정보(예: 상품명)를 판단함으로써, 상품 정보를 판단하기 위한 계산 비용을 줄일 수 있고, 이로 인해 컴퓨팅 파워를 절약할 수 있다.

다음으로, 제3 센서(300)에 의해 측정된 무게 변화량 정보에 기초하여 피킹된 상품 정보를 판별하는 방법에 대해 설명하기로 한다. 이 경우, 프로세서(440)는 제3 센서(300)로부터 수신된 무게 변화량 정보에 기초하여 피킹된 상품의 위치를 판단하고, 판단된 위치에 대응되는 상품 정보를 포함하는 구매 예정 상품 정보를 생성할 수 있다. 여기서, 무게 변화량 정보는 상품이 위치한 상품 수납부의 무게 밸런스 정보를 포함하고, 프로세서(440)는 무게 밸런스 정보에 기초하여 피킹된 상품의 위치를 판단할 수 있으며, 그 위치에 대응되는 상품 정보(상품명)을 데이터베이스(430)로부터 획득할 수 있다.

상품을 보관 또는 진열하는 상품 수납부(20)의 양 끝에는 제3-1 센서(300a) 및 제3-2 센서(300b)가 배치될 수 있다. 이에, 동일한 무게의 상품이라도 상품의 위치에 따라 제3-1 센서(300a) 및 제3-2 센서(300b)에서 감지된 무게는 서로 상이할 수 있다. 즉, 피킹된 상품의 위치에 따라 제3 센서(300)에 기울기가 생길 수 있고, 그 기울기에 따라 동일한 무게의 상품일지라도 제3-1 센서(300a) 및 제3-2 센서(300b)의 무게값에는 차이가 있다. 이에, 프로세서(440)는 제3-1 센서(300a) 및 제3-2 센서(300b)에서 측정된 무게에 기초하여, 피킹된 상품의 위치를 확인할 수 있고, 그 위치에 대응되는 상품 정보를 데이터베이스(430)로부터 획득할 수 있다.

또한 프로세서(440)는 제3 센서(300)에 의해 측정된 무게 변화량 정보와 상품 이미지의 해시값을 조합하여 피킹된 상품 정보(상품명, 상품 종류)를 판별할 수도 있다. 이 경우, 프로세서(440)는 제3-2 센서(300a) 및 제3-2 센서(300b)에서 측정된 무게에 기초하여, 피킹된 상품의 위치를 확인할 수 있고, 확인된 상품 수납부(20)의 위치에 매칭된 해시값을 데이터베이스(430)로부터 획득하며, 획득된 해시값에 대응하는 상품 정보를 해당 상품의 상품 정보로 판단할 수 있다. 즉, 상품 수납부(20)에는 상품의 위치가 정해져 있고, 상품의 무게에 기초하여 상품의 위치를 파악할 수 있으므로, 프로세서(440)는 상품의 위치에 매칭된 해시값으로 상품 정보를 판단할 수 있다.

상술한 바와 같이 프로세서(440)는 상품 이미지의 해시값뿐만 아니라 상품 수납부(20) 내에 설치된 무게 센서(300)의 측정값을 함께 활용하여 상품 수납부(20)에서 피킹된(집어진) 상품 정보(상품명)을 판단할 수 있다.

그러나, 제2 센서(200)를 통해 촬영된 상품 이미지의 해시값 또는 제3 센서(300)의 측정값에 기초하여 상품 정보(상품명)을 판별하는 데는 오차가 있을 수 있다.

이에, 매장 시스템은 상품 수납부(20)의 상하단에 제4 센서(미도시)를 설치하고, 프로세서(440)는 제4 센서를 통해 사용자(10)가 상품을 집는 행위를 검출하고, 피킹된(집어진) 상품 정보를 판단할 수도 있다. 제4 센서는 사용자(10)의 손(팔)이 들어오고 나가는 것을 센싱하고 이에 관한 센싱 정보를 서버(400)로 전송함으로써, 사용자(10)에 의해 집어진(피킹된) 상품의 판단에 추가적으로 이용될 수 있다.

즉, 프로세서는(440)는 제3 센서(300)로부터 수신된 무게 변화량 정보 및 제4 센서로부터 수신된 신호 정보에 기초하여 피킹된 상품의 위치를 판단하고, 판단된 위치에 대응되는 상품 정보를 판별할 수 있다. 여기서, 무게 변화량 정보는 상품이 위치한 상품 수납부의 무게 밸런스 정보를 포함하고, 프로세서(440)는 무게 밸런스 정보 및 제4 센서로부터 수신된 신호 정보에 기초하여 피킹된 상품의 위치를 판단할 수 있으며, 그 위치에 대응되는 상품 정보(예: 상품명)를 데이터베이스(430)로부터 획득할 수 있다. 구체적으로, 제4 센서를 통해 감지된 사용자 객체(10)의 손이 들어온 위치와 제3 센서(300)의 무게 변화량 정보를 통해 판단된 상품의 위치가 대응하면, 프로세서(440)는 해당 위치의 상품이 집어졌다고(즉, 피킹되었다고) 판단할 수 있다. 이처럼 제4 센서는 제2 센서(200) 및 제3 센서(300)를 통해 판단된 상품 판별에 대한 정확도를 높이기 위해 보완적으로 사용될 수 있다.

사용자 객체(10)에 의해 피킹된(집어진) 상품 정보가 판별되면, 프로세서(440)는 판별된 상품 정보에 상응하는 구매 예정 상품 정보를 생성할 수 있다. 그런 후, 프로세서(440)는 구매 예정 상품 정보를 사용자 객체(10)와 매칭하여 저장할 수 있다. 프로세서(440)는 사용자 객체(10)가 상품을 피킹할 때마다 구매 예정 상품 정보를 갱신할 수 있다.

상술한 바와 같이 프로세서(440)는 제2 센서(200)로부터 수신된 신호 정보를 자세 인식 모델에 적용하여 상기 객체의 자세를 검출하고, 검출된 자세가 상품을 피킹하는 자세인 경우, 제4 센서로부터 수신된 신호 정보에 기초하여 피킹된 상품을 검출하거나 검출하도록 지원하고, 검출된 상품 정보에 상응하는 구매 예정 상품 정보를 생성하여 레이블링된 사용자 객체(10)와 매칭할 수 있다.

사용자 객체(10)의 위치 이동을 추적하는 중에, 레이블링된 사용자 객체(10)가 매장단말(500)로부터 기 설정된 일정 거리 이내에 위치하는 경우, 프로세서(440)는 사용자 객체(10)와 매칭된 구매 예정 상품에 대한 리스트 및 산출된 결제 예정 금액이 매장단말(500)의 화면 상에 표시되도록 지원하여, 매장단말(500)을 통한 결제 요청으로 구매 예정 상품에 대한 결제가 이루어지면, 결제 결과를 처리하거나 처리하도록 지원할 수 있다.

사용자 객체(10)는 매장단말(500)에 출력되는 구매 예정 상품 리스트와 결제 예정 금액을 확인하고, 결제를 수행할 수 있다. 즉, 사용자(10)가 결제 존에 위치했을 때 매장단말(500)은 사용자 객체(10)와 매칭된 구매 예정 상품 리스트 및 결제 예정 금액을 출력할 수 있고, 사용자 객체(10)는 본인의 결제수단을 이용하여 무인 결제를 수행할 수 있다. 이처럼 사용자 객체(10)는 자신이 피킹한 상품을 출구 근처에 설치된 매장단말(500)을 통해 무인 결제를 수행할 수 있다.

프로세서(440)는 매장단말(500)을 통한 결제 요청으로 구매 예정 상품에 대한 결제가 이루어지면, 결제 결과를 수신하여 사용자 객체(10)에 대한 레이블링을 해제하고 사용자 객체(10)와 매핑된 구매 예정 상품에 대한 정보를 삭제할 수 있다.

또한, 각각 상이하게 레이블링된 복수의 사용자 객체(10)가 매장단말(500)로부터 기 설정된 일정 거리 이내에 위치하는 경우, 프로세서(440)는 복수의 사용자 객체(10) 각각에 매칭된 구매 예정 상품에 대한 리스트를 하나의 리스트로 통합하고, 통합된 리스트에 대한 산출된 전체 결제 예정 금액이 매장단말(500)의 화면 상에 표시되도록 지원하여, 여러 사용자 객체의 일괄 결제를 지원할 수 있다.

프로세서(440)는 구매 예정 상품에 대한 결제 완료 시, 매장의 엑시트 게이트(exit gate)가 자동으로 열리도록 지원할 수 있다.

또한, 제3 센서(300)를 통해 무게 변화는 감지되었으나, 제2 센서(200)를 통해 획득된 영상 데이터에서 무게 변화가 감지된 상품 수납부(20)(무게 변화가 감지된 제3 센서(300)가 설치된 상품 수납부(20))에 빈 공간이 없는 경우, 프로세서(440)는 상품의 위치가 변경되었다고 판단할 수 있다. 이 경우, 프로세서(440)는 기 설정된 관리자 단말로 상품 위치 변경 알림 정보를 전송할 수 있다. 여기서, 상품 위치 변경 알림 정보는 상품 수납부 식별정보, 위치 등을 포함할 수 있다. 관리자 단말은 예컨대, 이동 전화기, 스마트 폰(smart phone), 태블릿 (tablet) PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라 (digital still camera), 디지털 비디오카메라 (digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), 모바일 인터넷 장치(mobile internet device(MID)), 인터넷 태블릿, 또는 e-북(e-book) 등으로 구현될 수 있다.

도 6은 본 발명의 일 실시예에 따른 매장 시스템의 제어 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 서버(400)는 제1 센서(100)를 통해 획득된 신호 정보에 기초하여 사용자 객체(10)를 검출하고(S602), 검출된 사용자 객체(10)의 위치 이동을 추적한다(S604). 이때, 서버(400)는 제1 센서(100)를 통해 획득한 객체에 대한 복수의 점으로 구성된 라이다 데이터인 포인트 클라우드 데이터를 미리 정한 규칙에 따라 의미있는 단위로 클러스터링하고, 클러스터링된 포인트 클라우드 데이터를 대상으로 윤곽선을 생성하며, 하나의 윤곽선을 하나의 객체로 검출할 수 있다. 그런 후, 서버(400)는 검출된 객체를 기 학습된 객체 인식 모델에 적용하여 사용자 객체(10)를 검출할 수 있다. 사용자 객체(10)가 검출되면, 서버(400)는 검출된 사용자객체(10)에 레이블링을 수행할 수 있고, 해당 사용자 객체(10)의 위치 이동을 추적할 수 있다. 이때, 서버(400)는 레이블링된 사용자 객체(10)에 상응하는 피처 그룹의 중심 위치를 기초로 레이블링된 사용자 객체(10)의 위치 이동을 추적하거나 추적하도록 지원할 수 있다.

S604 단계를 수행하는 중에, 제3 센서(300)로부터 무게 변화량 정보가 수신되면(S606), 서버(400)는 제2 센서(200)로부터 영상 데이터를 수신하고(S608), 수신한 영상 데이터를 미리 학습된 자세 인식 모델에 적용하여 사용자(10)의 자세(또는 액션, 모션, 행위)를 인식한다(S610).

사용자(10)의 자세가 상품을 피킹(즉, 상품을 잡는 행위)하는 자세이면(S612), 서버(400)는 상품 이미지의 해시값 또는 무게 센서(300)에 의해 측정된 무게값에 기초하여 피킹된 상품 정보를 판별한다(S614). 이때, 서버(400)는 사용자 객체(10)에 의해 피킹된(집어진) 물체가 상품인지를 판단하고, 상품인 경우 상품명 등의 상품 정보를 판단할 수 있다. 즉, 사용자 객체(10)의 자세가 물건을 피킹하는 자세일지라도 피킹된 물체가 상품이 아닐 수 있다. 이에, 서버(400)는 제2 센서(200)를 통해 촬영된 영상 데이터를 분석하여 물체 이미지를 획득하고, 획득된 물체 이미지를 기 학습된 상품 이미지 모델에 적용하여 해당 물체가 상품인지를 판단할 수 있다. 사용자 객체(10)의 자세가 상품을 피킹(즉, 상품을 잡는 행위)하는 자세이고, 피킹한 물체가 상품을 나타내면, 서버(400)는 상품 이미지의 해시값 또는 제3 센서(300)에 의해 측정된 무게 변화량 정보에 기초하여 피킹된 상품 정보를 판별할 수 있다. 예를 들면, 서버(400)는 제2 센서(200)로부터 수신된 신호 정보 또는 이를 가공한 정보로부터 상품 이미지를 획득하고, 상품 이미지에 대한 픽셀 데이터를 해시값으로 변환한 해시값에 기초하여 상품 정보를 판별할 수 있다. 또한, 서버(400)는 제3 센서(300)로부터 수신된 무게 변화량 정보 및 제4 센서로부터 수신된 신호 정보에 기초하여 피킹된 상품의 위치를 판단하고, 판단된 위치에 대응되는 상품 정보를 데이터베이스(430)로부터 획득함으로써, 실제 상품 정보를 확인할 수 있다.

사용자(10)에 의해 피킹된(집어진) 상품의 상품 정보가 판별되면, 서버(400)는 상품 정보에 상응하는 구매 예정 상품 정보를 생성하고(S616), 레이블링된 사용자 객체(10)와 매칭하여 저장한다(S618). 서버(400)는 사용자 객체(10)가 상품을 피킹할 때마다 구매 예정 상품 정보를 갱신할 수 있다.

사용자 객체(10)의 위치 이동을 추적하는 중에, 사용자(10)가 매장단말(500)로부터 일정 거리 이내(결제 존)에 위치하게 되면(S620), 서버(400)는 레이블링 정보에 기초하여 매장단말을 통해 상품 결제 요청을 한 사용자 객체(10)를 식별하거나 식별하도록 지원함으로써, 구매 예정 상품에 대한 무인 결제가 이루어지도록 한다(S622). 즉, 레이블링된 사용자 객체(10)가 매장단말(500)로부터 기 설정된 일정 거리 이내에 위치하는 경우, 서버(400)는 사용자 객체(10)와 매칭된 구매 예정 상품에 대한 리스트 및 산출된 결제 예정 금액이 매장단말(500)의 화면 상에 표시되도록 지원하여, 매장단말(500)을 통한 결제 요청으로 구매 예정 상품에 대한 결제가 이루어지면, 결제 결과를 처리하거나 처리하도록 지원할 수 있다.

사용자 객체(10)는 매장단말(500)에 출력되는 구매 예정 상품 리스트와 결제 예정 금액을 확인하고, 결제를 수행할 수 있다. 즉, 사용자 객체(10)가 결제 존에 위치했을 때 매장단말(500)은 사용자 식별정보에 대응하는 구매 예정 상품 리스트 및 결제 금액을 출력할 수 있고, 사용자 객체(10)는 본인의 결제수단을 이용하여 무인 결제를 수행할 수 있다.

상술한 바와 같이 본 발명의 일 실시예에 따른 매장 시스템의 서버 및 매장 시스템의 제어 방법은, 라이다 센서를 이용하여 고객을 검출 및 추적함으로써, 데이터 처리를 줄이고, 이로 인해 고객의 검출 및 추적 속도를 빠르게 할 수 있으며, 라이다 센서를 이용한 고객 검출 및 추적 시, 딥러닝을 사용하지 않음으로써, 컴퓨팅 파워를 절약할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.

100 : 제1 센서
200 : 제2 센서
300 : 제3 센서
400 : 서버
410 : 통신회로
420 : 메모리
430 : 데이터베이스
400 : 프로세서
500 : 매장단말

Claims

적어도 하나의 센서로부터 객체의 종류를 파악하고 트래킹을 지원하기 위한 신호 정보를 수신하는 통신부; 및
상기 센서로부터 수신된 신호 정보에 기초하여 사람으로 식별된 사용자 객체에 레이블링을 하고, 상기 사용자 객체를 추적하면서 행위를 식별하거나 식별하도록 지원하며, 상기 식별된 행위에 기초하여 상기 사용자 객체에 상응하는 구매 예정 상품 정보를 생성하는 프로세서를 포함하되,
상기 프로세서는,
레이블링 정보에 기초하여 매장단말을 통해 상품 결제 요청을 한 사용자 객체를 식별하거나 식별하도록 지원함으로써, 상기 레이블링된 사용자 객체와 매칭된 상기 구매 예정 상품에 대한 무인 결제가 이루어지도록 하되, 상기 사용자 객체와 매칭된 구매 예정 상품에 대한 리스트는 상기 레이블링 정보를 기초로 하고,
상기 레이블링된 사용자 객체가 상기 매장단말로부터 기 설정된 일정 거리 이내에 위치하는 경우, 상기 사용자 객체와 매칭된 구매 예정 상품에 대한 리스트 및 산출된 결제 예정 금액이 상기 매장단말의 화면 상에 표시되도록 지원하는 것을 특징으로 하는, 매장 시스템의 서버.
제1항에 있어서,
상기 프로세서는,
제1 센서로부터 수신된 신호 정보 및 기 정의된 제1 피처 정보를 이용하여 객체의 종류를 판단하여 사용자 객체로서 레이블링하거나 레이블링 하도록 지원하고, 소정의 시간 간격으로 연속하여 상기 레이블링된 사용자 객체의 위치를 추적하며,
제2 센서로부터 수신된 신호 정보 및 기 정의된 제2 피처 정보를 이용하여 상기 레이블링된 사용자 객체의 자세를 식별하거나 식별하도록 지원함으로써, 3차원 공간에서 레이블링된 사용자가 정해진 위치에서 특정한 행위를 하는지 식별하도록 지원하는 것을 특징으로 하는, 매장 시스템의 서버.
제2항에 있어서,
상기 프로세서는,
상기 레이블링된 사용자 객체에 상응하는 피처 그룹의 중심 위치를 기초로 상기 레이블링된 사용자의 위치 이동을 추적하거나 추적하도록 지원하는 것을 특징으로 하는, 매장 시스템의 서버.
제1항에 있어서,
상기 프로세서는,
소정 시간 내에 제3 센서로부터 수신된 무게 변화량 정보를 이용하여 피킹(picking) 또는 레잉 백(laying back)되는 상품을 식별하거나 식별하도록 지원하고, 상기 피킹(picking) 또는 레잉 백(laying back) 이벤트가 발생되면, 제2 센서로부터 수신된 신호 정보 및 제2 피처 정보를 이용하여 상기 사용자 객체의 행위를 식별하거나 식별하도록 지원하는 것을 특징으로 하는, 매장 시스템의 서버.
제1항에 있어서,
상기 프로세서는,
제2 센서로부터 수신된 신호 정보를 자세 인식 모델에 적용하여 상기 사용자 객체의 자세를 검출하고, 상기 검출된 자세가 상품을 피킹하는 자세인 경우,
제4 센서로부터 수신된 신호 정보에 기초하여 피킹된 상품을 검출하거나 검출하도록 지원하고,
상기 검출된 상품 정보에 상응하는 구매 예정 상품 정보를 생성하여 상기 레이블링된 사용자 객체와 매칭하는 것을 특징으로 하는, 매장 시스템의 서버.
제5항에 있어서,
상기 프로세서는,
제3 센서로부터 수신된 무게 변화량 정보 및 상기 제4 센서로부터 수신된 신호 정보에 기초하여 상기 피킹된 상품의 위치를 판단하여, 상기 판단된 위치에 대응되는 상품 정보를 포함하는 상기 구매 예정 상품 정보를 생성하되,
상기 무게 변화량 정보는 상기 상품이 위치한 상품 수납부의 무게 밸런스 정보를 포함하는 것을 특징으로 하는 매장 시스템의 서버.
제1항에 있어서,
상기 프로세서는,
제2 센서로부터 수신된 신호 정보를 자세 인식 모델에 적용하여 상기 사용자 객체의 자세를 검출하고, 상기 검출된 자세가 상품을 피킹하는 자세인 경우,
상기 제2 센서로부터 수신된 신호 정보 또는 이를 가공한 정보로부터 상품 이미지를 획득하고, 상기 상품 이미지에 대한 픽셀 데이터를 해시값으로 변환한 해시값에 기초하여 상기 구매 예정 상품 정보를 생성하는 것을 특징으로 하는, 매장 시스템의 서버.
제7항에 있어서,
상기 프로세서는,
상기 제2 센서로부터 수신된 신호 정보 또는 이를 가공한 정보로부터 상품 이미지가 획득되고, 바운딩 박스를 이용하여 상기 상품 이미지에 포함된 서브 이미지가 머신러닝으로 학습되어 상품 분류 모듈이 준비된 상태에서,
상기 사용자 객체가 상품을 피킹하는 것으로 판단되는 경우,
상기 상품 분류 모듈에, 새롭게 획득된 상품 이미지에 포함된 서브 이미지 정보를 입력하여 상기 사용자 객체에 의하여 피킹된 대상이 상품인지를 판단하거나 판단하도록 지원하고,
상품으로 판단된 경우에 한하여 변환된 해시값에 기초하여 상기 구매 예정 상품 정보를 생성하거나 생성하도록 지원하는, 매장 시스템의 서버.
제1항에 있어서,
상기 프로세서는,
상기 매장단말을 통한 결제 요청으로 상기 구매 예정 상품에 대한 결제가 이루어지면, 결제 결과를 처리하거나 처리하도록 지원하는 것을 특징으로 하는, 매장 시스템의 서버.
제9항에 있어서,
상기 프로세서는,
상기 매장단말을 통한 결제 요청으로 상기 구매 예정 상품에 대한 결제가 이루어지면, 결제 결과를 수신하여 상기 사용자 객체에 대한 레이블링을 해제하고 상기 사용자 객체와 매핑된 구매 예정 상품에 대한 정보를 삭제하는 것을 특징으로 하는, 매장 시스템의 서버.
제1항에 있어서,
상기 프로세서는,
각각 상이하게 레이블링된 복수의 사용자 객체가 상기 매장단말로부터 기 설정된 일정 거리 이내에 위치하는 경우, 상기 복수의 사용자 객체 각각에 매칭된 구매 예정 상품에 대한 리스트를 하나의 리스트로 통합하고, 통합된 리스트에 대한 산출된 전체 결제 예정 금액이 상기 매장단말의 화면 상에 표시되도록 지원하여,
여러 사용자 객체의 일괄 결제를 지원하는 것을 특징으로 하는, 매장 시스템의 서버.
제1항에 있어서,
상기 프로세서 또는 상기 매장단말은,
상기 구매 예정 상품에 대한 결제 완료 시, 매장의 엑시트 게이트(exit gate)가 자동으로 열리도록 지원하는 것을 특징으로 하는, 매장 시스템의 서버.
프로세서가 센서로부터 수신된 객체의 종류를 파악하고 트래킹을 지원하기 위한 신호 정보에 기초하여 사람으로 식별된 사용자 객체에 레이블링을 하고, 상기 사용자 객체를 추적하면서 행위를 식별하거나 식별하도록 지원하는 단계;
상기 프로세서가 상기 식별된 행위에 기초하여 상기 사용자 객체에 상응하는 구매 예정 상품 정보를 생성하는 단계; 및
상기 프로세서가, 레이블링 정보에 기초하여 매장단말을 통해 상품 결제 요청을 한 사용자 객체를 식별하거나 식별하도록 지원함으로써, 상기 레이블링된 사용자 객체와 매칭된 상기 구매 예정 상품에 대한 무인 결제가 이루어지도록 하는 단계를 포함하되, 상기 사용자 객체와 매칭된 구매 예정 상품에 대한 리스트는 상기 레이블링 정보를 기초로 하고,
상기 구매 예정 상품에 대한 무인 결제가 이루어지도록 하는 단계에서,
상기 프로세서는, 상기 레이블링된 사용자 객체가 상기 매장단말로부터 기 설정된 일정 거리 이내에 위치하는 경우, 상기 사용자 객체와 매칭된 구매 예정 상품에 대한 리스트 및 산출된 결제 예정 금액이 상기 매장단말의 화면 상에 표시되도록 지원하는 것을 특징으로 하는, 매장 시스템의 제어 방법.
제13항에 있어서,
상기 행위를 식별하거나 식별하도록 지원하는 단계에서,
상기 프로세서는, 제1 센서로부터 수신된 신호 정보 및 기 정의된 제1 피처 정보를 이용하여 객체의 종류를 판단하여 사용자 객체로서 레이블링하거나 레이블링 하도록 지원하고 소정의 시간 간격으로 연속하여 상기 레이블링된 사용자 객체의 위치를 추적하며,
제2 센서로부터 수신된 신호 정보 및 기 정의된 제2 피처 정보를 이용하여 상기 레이블링된 사용자 객체의 자세를 식별하거나 식별하도록 지원함으로써, 3차원 공간에서 레이블링된 사용자가 정해진 위치에서 특정한 행위를 하는지 식별하도록 지원하는 것을 특징으로 하는, 매장 시스템의 제어 방법.
제13항에 있어서,
상기 행위를 식별하거나 식별하도록 지원하는 단계에서,
상기 프로세서는, 제2 센서로부터 수신된 신호 정보를 자세 인식 모델에 적용하여 상기 사용자 객체의 자세를 검출하고,
상기 구매 예정 상품 정보를 생성하는 단계에서,
상기 검출된 자세가 상품을 피킹하는 자세인 경우, 상기 프로세서는 제4 센서로부터 수신된 신호 정보에 기초하여 피킹된 상품을 검출하거나 검출하도록 지원하고,
상기 검출된 상품 정보에 상응하는 구매 예정 상품 정보를 생성하여 상기 레이블링된 사용자 객체와 매칭하는 것을 특징으로 하는, 매장 시스템의 제어 방법.
제15항에 있어서,
상기 구매 예정 상품 정보를 생성하는 단계에서,
상기 검출된 자세가 상품을 피킹하는 자세인 경우, 상기 프로세서는 제3 센서로부터 수신된 무게 변화량 정보 및 제4 센서로부터 수신된 신호 정보에 기초하여 상기 피킹된 상품의 위치를 판단하여, 상기 판단된 위치에 대응되는 상품 정보를 포함하는 상기 구매 예정 상품 정보를 생성하고,
상기 무게 변화량 정보는 상기 상품이 위치한 상품 수납부의 무게 밸런스 정보를 포함하는 것을 특징으로 하는, 매장 시스템의 제어 방법.
제13항에 있어서,
상기 행위를 식별하거나 식별하도록 지원하는 단계에서,
상기 프로세서는, 제2 센서로부터 수신된 신호 정보를 자세 인식 모델에 적용하여 상기 사용자 객체의 자세를 검출하고,
상기 구매 예정 상품 정보를 생성하는 단계에서,
상기 검출된 자세가 상품을 피킹하는 자세인 경우, 제2 센서로부터 수신된 신호 정보 또는 이를 가공한 정보로부터 상품 이미지를 획득하고, 상기 상품 이미지에 대한 픽셀 데이터를 해시값으로 변환한 해시값에 기초하여 상기 구매 예정 상품 정보를 생성하는 것을 특징으로 하는, 매장 시스템의 제어 방법.
제13항에 있어서,
상기 구매 예정 상품에 대한 무인 결제가 이루어지도록 하는 단계에서,
상기 프로세서는, 상기 매장단말을 통한 결제 요청으로 상기 구매 예정 상품에 대한 결제가 이루어지면, 결제 결과를 처리하거나 처리하도록 지원하는 것을 특징으로 하는, 매장 시스템의 제어 방법.
제18항에 있어서,
상기 구매 예정 상품에 대한 무인 결제가 이루어지도록 하는 단계에서,
상기 프로세서는, 상기 매장단말을 통한 결제 요청으로 상기 구매 예정 상품에 대한 결제가 이루어지면, 결제 결과를 수신하여 상기 사용자 객체에 대한 레이블링을 해제하고 상기 사용자 객체와 매핑된 구매 예정 상품에 대한 정보를 삭제하는 것을 특징으로 하는, 매장 시스템의 제어 방법.
제13항에 있어서,
상기 구매 예정 상품에 대한 무인 결제가 이루어지도록 하는 단계에서,
각각 상이하게 레이블링된 복수의 사용자 객체가 상기 매장단말로부터 기 설정된 일정 거리 이내에 위치하는 경우, 상기 프로세서는 상기 복수의 사용자 객체 각각에 매칭된 구매 예정 상품에 대한 리스트를 하나의 리스트로 통합하고, 통합된 리스트에 대한 산출된 전체 결제 예정 금액이 상기 매장단말의 화면 상에 표시되도록 지원하여,
여러 사용자 객체의 일괄 결제를 지원하는 것을 특징으로 하는, 매장 시스템의 제어 방법.