KR20210004818A - 매장 내 자동 결제 방법, 시스템 및 프로그램 - Google Patents

Abstract

본 발명은 무인 점포 서비스에 적용되는 매장 내 자동 결제 방법 및 그 시스템에 관한 것으로, 에고센트릭 영상을 활용하여 기존에 설치되는 수 많은 고정 카메라로부터 과도하게 영상을 수집하는 부담을 줄일 뿐만 아니라, 컴퓨터 계산능력 오버헤드를 줄이고, 무인 점포 시스템의 설치비 및 운영비를 획기적으로 줄일 수 있다. 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법은, 이동 단말기가 에고센트릭 영상을 수집하는 단계; 상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상으로부터 구매 대상 상품을 검출하는 단계; 상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계; 상기 복수의 장치들 중 적어도 하나 이상의 장치는 상기 신뢰도가 기 설정된 임계치 이상인 경우, 상기 구매 대상 상품을 사용자의 선택 상품 리스트에 등록하는 단계를 포함할 수 있다.

Description

매장 내 자동 결제 방법, 시스템 및 프로그램 {The method, the system and the program of In-store automatic payment}

본 발명은 매장 내 자동 결제 방법, 시스템 및 프로그램에 관한 것으로, 시각장애인에게도 적용될 수 있는 무인 점포 운영 서비스에 적용되는 기술이다.

최근 들어 글로벌 유통업체들이 무인 점포 서비스를 제공하고 있다. 아직은 대부분의 유통업체가 소규모 무인 점포를 운영하는 시험적인 단계이지만, 중국의 빙고박스는 과감하게 무인 점포를 상용화하고 프렌차이즈 사업을 진행하고 있다. 빙고박스는 2018년도에 약 500여개의 점포를 운영하였고, 미국의 아마존사는 '아마존고'라는 무인 점포 시스템을 운영 중에 있으며, 2021년까지 3000개의 점포를 확장하려는 계획을 갖고 있다. 아마존고는 50평의 매장에서 총 200개의 카메라를 설치하고, QR코드를 통해 출입관리를 한다.

아마존고(AmazonGo)로 대표되는 무인 점포 시스템은 사람 없이도 매장에서 상품을 구매할 수 있는 시스템이다. 소비자가 구매하고자 하는 상품을 스마트 매대에서 파지하면 자동으로 체크되고 이를 들고 매장을 나가면 자동으로 결제된다.

도 1은 아마존고와 같은 종래의 무인 점포를 운용하는 방법의 개념도이다.

도 1에 도시된 바와 같이, 이러한 매장 내 자동 결제 시스템은 매장의 카메라 트러스트(30)에 고정 설치된 약 200대의 카메라들을 통해 이루어진다. 보다 구체적으로, 매장 내 설치된 고정 카메라(31 내지 36)가 사용자에 대한 영상을 촬영하여 클라우드 서비스 서버(10)에 전송하면, 서버(10)가 영상을 분석하여 사용자가 구매하려는 상품을 확인한다.

즉, 도 1에 따른 결제 시스템에서는 상품의 자동 결제 정확도는 카메라 장치들의 수와 밀접하게 관련된다. 그 결과, 많은 카메라들이 매장내에 설치되어야 하므로, 설치비 및 운영비가 많이 든다. 그리고 현재의 무인 점포 시스템은 무인 점포 내에 입장 가능한 인원이 제한되어 있는 단점이 있다.

최근 우리나라도 이마트 24가 무인 점포 서비스를 시범 운영하고 있는데, 15평의 매장에 39대의 카메라를 설치하여, 설치비 및 운영비가 상당히 많이 들기 때문에 효율성이 높지 않은 문제점이 있다.

또한 기존 무인 점포 시스템은 길을 찾는데 어려움이 있는 시각장애인 또는 노약자에 대한 배려가 매우 부족하다. 이에 무인 점포 시스템에서 시각 장애인과 같은 사회적 약자를 안전하게 상품이 위치한 곳까지 안내하는 기술은 복지국가로 발전하는 과정에 필요한 기술이다.

KR 등록특허 제10-0988754호 KR 등록 특허 제10-2019-0093788호 US 등록특허 제10176456호

본 발명은 상기 문제점을 해결하기 위해 안출된 것으로서, 에고센트릭 영상을 활용하여 기존에 설치되는 수 많은 정보입력장치(예컨대, 고정 카메라)로부터 과도하게 영상을 수집하는 부담을 줄일 뿐만 아니라, 컴퓨터 계산 능력 오버헤드를 줄이고, 결제 지연시간을 줄이고, 무인 점포 시스템의 설치비 및 운영비를 획기적으로 줄일 수 있는 매장 내 자동 결제 방법 및 그 시스템을 제공하고자 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 매장 내 자동 결제 방법은 정보처리장치, 정보입력장치, 정보출력장치 및 이동 단말기 중 적어도 어느 하나 이상을 포함하는 시스템을 이용하여 수행되는 것으로,

이동 단말기가 에고센트릭 영상을 수집하는 단계;

상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상으로부터 구매 대상 상품을 검출하는 단계;

상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계;

상기 복수의 장치들 중 적어도 하나 이상의 장치는 상기 신뢰도가 기 설정된 임계치 이상인 경우, 상기 구매 대상 상품을 사용자의 선택 상품 리스트에 등록하는 단계를 포함할 수 있다.

본 발명의 다른 실시예에 따른 매장 내 자동 결제 방법은,

상기 정보처리장치가 상기 이동 단말기, 사용자 앱 또는 사용자의 고유 ID에 기초하여 구매 대상 상품 정보를 결정하는 단계;

상기 이동 단말기가 상기 정보처리장치로부터 매장 실내 지도, 상기 지도 상에서 상기 구매 대상 상품이 위치한 제1 위치 정보를 수신하는 단계;

상기 정보처리장치가 상기 복수의 장치들 중 적어도 하나 이상의 장치를 이용하여 상기 이동 단말기에 실내 내비게이션을 제공하는 단계;

상기 이동 단말기가 에고센트릭 영상을 수집하는 단계;

상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상으로부터 상기 구매 대상 상품을 검출하는 단계;

상기 복수의 장치들 중 적어도 하나 이상의 장치가 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계;

상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 신뢰도에 기초하여, 상기 구매 대상 상품을 선택 상품 리스트에 등록하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따라 상기 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계는,

상기 정보처리장치가 상기 신뢰도가 최적이 될 수 있는 위치로 상기 이동 단말기에 디바이스 초점 내비게이션을 제공하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 매장 내 자동 결제 방법은,

상기 정보처리장치가 수집된 영상으로부터 사용자의 손 위치를 추적하여 사용자의 손 위치가 기 설정된 위치인 경우인지 판단하는 단계를 더 포함하고, 사용자의 손 위치가 기 설정된 위치인 경우, 상기 구매 대상 상품을 선택 상품 리스트에 등록하고, 상기 기 설정된 위치는 사용자의 손이 상품을 용이하게 집을 수 있는 거리이다.

본 발명의 일 실시예에 따른 일 실시예에 따른 매장내 자동 결제 방법은,

상기 정보처리장치가 상기 고정 카메라에서 촬영한 영상을 수신하여 사용자의 구매의사를 판단하는 단계를 더 포함하고,

상기 사용자의 구매의사를 판단하는 단계는, 영상으로부터 손의 상태 및 손의 동작, 사람의 상태 및 사람의 동작을 인식함으로써 판단할 수 있다.

본 발명의 일 실시예에 따른 디바이스 초점 내비게이션은 강화 학습을 통해 구매 대상 상품을 인식을 위한 최적의 위치로 상기 이동 단말기를 안내하는 것을 특징으로 할 수 있다.

본 발명의 일 실시예에 따른 매장 내 자동 결제 방법의 상기 신뢰도를 산출하는 단계는, 복수의 장치들 중 적어도 하나 이상의 장치가 객체 검출기의 협업 필터링 방법과 고속 적응적 학습 방법을 적용하는 단계를 더 포함하여, 상기 구매 대상 상품에 대한 객체 검출의 신뢰도를 높일 수 있다.

본 발명의 일 실시예에 따라 디바이스 초점 내비게이션을 제공하는 단계는 상기 정보처리 장치 또는 상기 이동 단말기가 상기 에고센트릭 영상에서 검출된 상품의 제2 위치 정보에 기초하여 상기 이동 단말기의 제3 위치 정보를 수신하는 단계 ;

상기 정보처리장치 또는 상기 이동 단말기가 상기 이동 단말기의 제3 위치 정보와 상기 상품의 제2 위치 정보를 비교하여 상기 이동 단말기에 디바이스 초점 내비게이션을 제공하는 단계;를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 매장 내 자동 결제 방법은,

상기 정보처리장치가 상기 정보입력장치 또는 상기 이동단말기로부터 수집한 영상을 이용하여 사용자의 구매의사를 판단하는 단계를 더 포함하고,

상기 사용자의 구매의사를 판단하는 단계는, 영상으로부터 손의 상태 및 손의 동작, 사람의 상태 및 사람의 동작을 인식함으로써 판단할 수 있다.

본 발명의 일 실시예에 따른 상기 디바이스 초점 내비게이션은 강화 학습과 같은 최적화 알고리즘을 통해 구매 대상 상품을 인식을 위한 최적의 위치로 상기 이동 단말기를 안내하는 것을 특징으로 할 수 있다.

본 발명의 일 실시예에 따른 상기 디바이스 초점 내비게이션은 물체 검출 알고리즘과 강화학습 알고리즘을 통해 수행될 수 있다.

본 발명의 일 실시예에 따른 매장 내 자동 결제 프로그램은 프로세서와 결합되어 컴퓨터로 판독가능한 기록 매체에 저장된 프로그램으로, 상기 프로세서는 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법의 일련의 과정을 수행하는 것이다.

본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 그 시스템은 기존의 운영 중인 무인 점포에 설치되는 고정 카메라와 같은 정보입력장치의 수를 획기적으로 줄일 수 있다.

따라서 본 발명은 고정 카메라의 수를 획기적으로 줄임으로써 과도하게 영상을 수집하는 부담과 컴퓨터 계산능력 오버헤드를 줄이고, 결제지연시간을 줄이며, 나아가, 무인 점포 시스템의 설치비 및 운영비를 획기적으로 줄일 수 있다.

예컨대 종래의 무인 점포 시스템인 '아마존 고'는, 현재 약 200여 대의 카메라를 사용하고 있으며, 수많은 카메라를 사용하는 만큼 설치 및 운영 비용이 높으며, 복잡한 컴퓨테이션이 요구되기 때문에 사용자가 매장을 떠난 후 10분 내지 15분 정도 결제시간이 지연되는 단점이 있고, 기존에 소수의 카메라를 사용하여 운영 중인 무인 점포 시스템은 완전 자동화가 불가능한 문제점을 가지고 있다.

반면, 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 그 시스템은 '아마존 고'보다 상대적으로 매우 적은 수의 고정된 카메라를 사용하더라도 기존에 제공되는 것과 동등한 품질의 서비스를 제공할 수 있다.

나아가 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 시스템은 시각장애인과 노약자 등 사회적 약자가 매장 내에서 편리하게 상품을 구매할 수 있도록 보조할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 종래의 무인 점포를 운용하는 방법의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 시스템이 사용되는 환경을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 매장 내 자동 결제 시스템의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법의 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 매장 내 자동 결제 방법의 순서도이다.
도 6은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션을 나타내는 개념도이다.
도 7은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션을 수행하는 학습 네트워크를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션에 따른 출력 방향을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션에 따른 시나리오를 나타낸다.
도 10은 본 발명의 일 실시예에 따라 사용자의 구매 의사를 판단하는 방법의 순서도를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션의 고 신뢰도를 갖는 예측을 보장하기 위한 고속 적응적 학습의 개념도이다.
도 12는 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션의 고 신뢰도를 갖는 예측을 보장하기 위한 방법의 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, "제 1"및 "제 2"라는 용어는 본 명세서에서 구별 목적으로만 사용되며, 어떠한 방식으로도 서열 또는 우선 순위를 나타내거나 예상하는 것을 의미하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.

명세서 전체에서, '에고센트릭'은 '개인 중심'이라는 뜻을 의미하는데 디지털 콘텐츠를 수식할 때 주로 사용되는 용어이다. 예컨대, 에고센트릭 영상은 이동 단말기에서 촬영된 1인칭 시점의 영상을 일컫는 것을 의미한다.

그리고 명세서 전체에서, 이동 단말기는 스마트 워치나 스마트 글라스와 같은 웨어러블 디바이스 또는 스마트 폰으로, 사용자가 소지하고 있는 디바이스를 의미할 수 있다. 따라서, 상기 에고센트릭 영상은 상기 이동 단말기에서 촬영된 1인칭 시점 영상으로 사용자가 구매하려는 상품을 인식하기 위한 최적 위치에서 촬영된 영상을 일컫는다.

본 발명의 명세서 전체에서 “상품”이라 함은, 물건 또는 물품 뿐만 아니라 서비스 상품 또는 서비스표를 포함한다. 예컨대, 서비스 상품 또는 서비스표는 미용실 로고 등을 의미한다. 따라서, 본 발명은 물건 또는 물품의 구매에만 적용되는 것이 아니라, 서비스를 받는 매장에서도 적용될 수 있다.

명세서 및 청구범위 전체에서, 신뢰도란 검출 신뢰도를 뜻하며 물체 검출 알고리즘에 의해 검출된 상품 영역 안에 해당 상품이 있을 확률을 의미한다.

명세서 및 청구범위 전체에서, 검출(객체 탐지)이란 컴퓨터 비전과 이미지 처리와 관련된 컴퓨터 기술로서, 디지털 이미지와 비디오로부터 특정한 클래스의 시맨틱 객체 인스턴스(예: 인간, 건물, 자동차) 감지를 나타낸다.

명세서 및 청구범위 전체에서 EER(Expected Error Reduction)이란, 모델의 일반화 오류를 줄이기 위한 데이터 포인트를 레이블하는 능동학습의 쿼리 전략을 의미한다.

명세서 및 청구범위 전체에서 정보처리장치는 촬영된 영상에 대한 영상 정보처리나 상품 정보 처리 등을 수행하는 장치로, 예컨대, 시스템의 중앙 서버를 포함할 수 있으며, 본 명세서에서 정보처리장치는 중앙 서버를 실시예로 하여 설명된다.

명세서 및 청구범위 전체에서 정보입력장치는 카메라와 같은 외부 정보를 수신하는 장치를 포함할 수 있으며, 정보출력장치는 음성 신호, 진동, 디스플레이, LED, 햅틱 장치 등을 포함할 수 있다. 본 명세서에서 정보입력장치는 카메라를 실시예로 하여 설명된다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 2는 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 시스템이 사용되는 환경을 나타내고, 도 3은 본 발명의 일 실시예에 따른 매장 내 자동 결제 시스템의 블록도이다.

도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 매장 내 자동 결제 시스템은 중앙 서버(100), 이동 단말기(200) 및 고정 카메라(300)를 포함할 수 있다.

도 2에 도시된 무인 점포 환경에서는 복수의 고정 카메라(300)가 각 매대에 설치되고, 사용자는 이동 단말기(200)를 휴대하고 있으며, 중앙 서버(100)는 1대가 설치되어 상기 복수의 고정 카메라(300)로부터 영상을 수신하고 상기 이동 단말기(200)로부터 에고센트릭 영상 및 사용자 정보를 수신하며 내비게이션 정보를 상기 이동 단말기(200)로 전송할 수 있다.

본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 그 시스템은 사용자의 이동 단말기(200)를 활용하여 에고센트릭 환경을 구현함으로써, 사용자 의사가 중앙 서버(100)로 정확히 전송되도록 할 수 있다.

즉, 본 발명의 일 실시예에 따른 방법 및 시스템은 에고 센트릭 영상을 통한 사용자의 1인칭 중심의 정확한 액션 및 객체 인식을 가능하게 하여, 무인 점포에서 사용자의 구매의사가 중앙 서버(100)로 정확히 전달될 수 있다.

도 1에 도시된 바와 같이 현재의 무인 점포에 설치된 카메라(31 내지 36)는 트러스트(30)에 고정되어 있기 때문에, 카메라가 커버 가능한 영역이 제한적이지만, 도 2에 도시된 본 발명의 일 실시예에 따른 에고센트릭 결제 환경에서는 이동 단말기(200)가 사용자가 매장 내에서 이동함에 따라 직접 이동하면서, 에고센트릭 영상을 촬영하기 때문에, 무인 점포 시스템에서 필요한 카메라 개수와 결제 지연 시간을 종래 방식에 비하여 획기적으로 줄일 수 있다.

한편, 본 발명의 일 실시예에 따른 매장 내 자동 결제 시스템은 필요에 따라 다른 데이터 입력 장치를 더 포함할 수 있다. 예를 들면, 상품을 인식하거나 에고센트릭 영상 촬영의 최적 위치를 찾는 수단을 강화하기 위하여, 무게 센서, 적외선 센서 또는 터치 센서 등이 더 설치될 수 있다.

본 발명의 일 실시예에 따른 매장 내 자동 결제 시스템은 중앙 서버(100), 이동 단말기(200) 및 고정 카메라(300)를 포함할 수 있는데, 중앙 서버(100)는 매장 내 자동 결제 시스템의 전체적인 운영을 담당할 수 있으며, 사용자의 매장 내 구매 상품에 대한 자동 결제를 지원할 수 있다.

본 발명의 일 실시예에 따른 이동 단말기(200)는 사용자에게 매장내에서의 이동 경로 및 디바이스 초점 내비게이션을 제공할 수 있으며, 에고센트릭 영상을 촬영할 수 있다. 이동 경로 제공은 일종의 실내 내비게이션 서비스이고, 디바이스 초점 내비게이션은 사용자가 구매하려는 상품이 선반에 위치한 정확한 지점으로 사용자의 이동단말기를 가이드하는 서비스를 지칭할 수 있다.

본 발명의 일 실시예에 따른 디바이스 초점 내비게이션에 관하여는 도 6 내지 도 9을 참조하여 후술한다.

본 발명의 일 실시예에 따른 이동 단말기(200)는 사용자가 소유하는 스마트폰 등의 휴대용 통신 기기, 컴퓨터, 휴대용 멀티미디어, 휴대용 의료 기기, 카메라, 스마트 워치, 구글 글라스 등의 웨어러블 기기 일 수 있다. 또한 무인 점포에서 특히 매장 입구에서 사용자에게 제공되는 단말기일 수도 있다.

본 발명의 일 실시예에 따른 이동 단말기(200)는 단말기에 설치된 앱(application) 형태의 프로그램을 통해 중앙 서버(100)로부터 정보를 제공받아 사용자에게 이동 경로를 제공하고, 구매할 제품이 위치한 스마트 매대 앞까지 안내하며, 디바이스 초점 내비게이션을 사용자에게 제공할 수 있다.

본 발명의 일 실시예에 따른 고정 카메라(300)는 매장 내에 설치되어 매장내 영상을 촬영할 수 있다. 본 발명의 일 실시예에 따른 고정 카메라의 수는 약 200대의 고정 카메라가 필요한 아마존고에 비해 현저히 적어, 고정비 및 운영비를 크게 절감할 수 있다. 본 발명의 일 실시예에 따른 고정 카메라(300)는 CCTV(closed circuit television)를 사용할 수 있다. 고정 카메라(300)는 렌즈, 이미지 센서, 이미지 시그널 프로세서 또는 플래시를 포함한다. 사용자가 스마트 매대에서 구매할 상품을 파지하는 경우, 고정 카메라(300)에서 제공하는 정보에 의해 사용자의 구매의사가 판단될 수 있고, 상기 판단된 구매의사에 따라 해당 상품을 사용자의 선택 상품 리스트에 넣을 수 있다.

도 3을 참조하여 본 발명의 일 실시예에 따른 매장 내 자동 결제 시스템의 세부 구성을 보다 구체적으로 설명한다.

도 3의 블록도는 매장 내 자동 결제 시스템(1000)을 예시하기 위한 것이며, 본 발명이 여기에 한정되는 것은 아니다. 따라서 매장 내 자동 결제 시스템(1000)을 다른 형태로도 변형될 수 있다.

도 3에 도시한 바와 같이, 중앙 서버(100)는 입력 모듈(101), 통신 모듈(103), 메모리(105) 및 프로세서(107)를 포함할 수 있다. 이외에, 중앙 서버(100)는 다른 부품을 더 포함할 수 있다. 이하에서는 중앙 서버(100)에 포함된 각 부품들을 좀더 상세하게 설명한다.

입력 모듈(101)은 중앙 서버(100)에 포함된 다른 부품들에 사용되는 명령 또는 데이터를 입력할 수 있다. 입력 모듈(101)은 입력부, 센서부 및 인터페이스부를 포함한다. 입력부로는 마이크로폰, 마우스 또는 키보드를 사용한다. 운영자는 입력부를 통해 입력 모듈(101)에 직접적으로 명령 또는 데이터를 입력할 수 있다. 센서부는 주변 환경을 감지하여 데이터를 생성한다. 인터페이스부는 고정 카메라(300)와의 상호 작용으로 영상 데이터를 고정 카메라(300)로부터 수신한다. 인터페이스부는 예를 들어 블루투스(bluetooth) 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication, NFC), WLAN 통신, 지그비(Zigbee) 통신, 적외선(Infrared Data Association, IrDA) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, WIFI 통신, RFID(Radio Frequency Identification) 통신 등의 통신 기술을 이용하여 고정 카메라(300)로부터 데이터를 수신할 수 있다.

한편, 통신 모듈(103)은 중앙 서버(100)와 외부 장치(미도시)와의 통신을 수행한다. 통신 모듈(103)은 중앙 서버(100)와 외부 장치와의 통신 채널을 생성한다. 그 결과, 중앙 서버(100)는 통신 채널을 통하여 외부 장치와 통신할 수 있다. 통신 모듈(103)은 유선 또는 무선 모두 가능하다. 통신 모듈(103)이 무선인 경우, 원거리 통신망 또는 근거리 통신망을 통해 외부 장치와 통신할 수 있다.

메모리(105)는 분산 데이터 입력부로서 기능한다. 즉, 메모리(105)는 고정 카메라(300) 또는 이동 단말기(200)에서 취득되는 영상을 포함하는 데이터와 매장내 지도 정보를 저장한다. 또한 메모리(105)는 본 발명의 일 실시예에 따른 매장 내 자동 결제 프로그램을 저장한다. 이외에, 이동 카메라, 무게 센서, 터치 센서 또는 적외선 센서 등으로부터 입력되는 데이터를 저장할 수도 있다. 메모리(105)로서 휘발성 메모리 또는 비휘발성 메모리를 사용한다. 메모리(105)를 이용해 매장내 배치도를 저장해 사용자의 상품 안내에 사용한다.

프로세서(107)는 메모리(105)에 저장된 본 발명의 일 실시예에 따른 매장 내 자동 결제 프로그램을 실행한다. 프로그램 실행에 따라 중앙 서버(100)에 포함된 부품들을 제어하고 데이터 처리 또는 연산을 수행할 수 있다. 또한, 프로세서(107)는 입력 모듈(101)을 통하여 고정 카메라(300)와 연결된다. 프로세서(107)는 통신 모듈(103)을 통하여 매장내의 이동 단말기(200)과 통신할 수 있다. 프로세서(107)는 메모리(105)의 매장내 지도에 기반하여 매장내에서 이동 단말기(200)의 목적지, 즉 사용자가 구매하려는 상품이 위치한 매대까지의 이동 경로를 선정한다. 그리고 프로세서(107)는 이동 경로에 따른 지도 정보를 이동 단말기(200)에 제공하고, 사용자가 상품이 위치한 매대까지 오면, 사용자에게 디바이스 초점 내비게이션도 제공한다. 프로세서(107)는 고정 카메라(300)를 이용하여 매장내 영상을 획득하고, 이를 모니터링해 이동 단말기(200)의 이동 경로상에서의 장애물을 검출한다. 매장내에는 다양한 제품들과 다른 사용자들이 위치하므로, 많은 장애물들이 존재한다. 따라서 구매하려는 제품이 위치한 곳까지 이동 단말기(200)만 쳐다보는 사용자를 안전하게 안내하기 위해 프로세서(107)가 이동 단말기(200)을 통해 장애물에 대한 정보를 제공한다.

그리고 본 발명의 일 실시예에 따른 이동 단말기(200)는 카메라 유닛(201), 입력 유닛(203), 출력 유닛(205), 통신 유닛(207), 메모리(208) 및 프로세서(209)를 포함한다. 이외에, 이동 단말기(200)는 다른 부품들을 더 포함할 수 있다. 이하에서는 이동 단말기(200)에 포함된 각 부품들을 좀더 상세하게 설명한다.

카메라 유닛(201)을 이용하여 사용자는 이동하는 중에 주위의 영상을 촬영한다. 이를 위해 카메라 유닛(201)은 렌즈, 이미지 센서, 이미지 시그널 프로세서 또는 플래시를 포함한다. 카메라 유닛(201)은 사용자의 몸에 착용되는 형태로 사용될 수 있다. 카메라 유닛(201)으로서 에고센트릭 카메라를 사용한다. 에고센트릭 카메라는 다수의 고정 카메라들을 대체할 수 있으므로, 사용되는 고정 카메라들의 수를 크게 줄일 수 있다. 고정 카메라(300)는 매장 내에 고정되어 있으므로, 커버 영역이 제한되고 사각이 존재하는 반면, 에고 센트릭 환경하에서는 카메라 유닛(201)과 센서 유닛(210)을 포함하는 이동 단말기(200)가 사용자 이동에 따라 직접 이동함으로써 사각지대를 줄일 뿐만 아니라 이를 통한 액션 인식을 통해 사용자의 구매 의사를 보다 정확히 판단할 수 있을 뿐만 아니라 도난 행위를 방지할 수 있다. 또한, 에고센트릭 환경하에서는 이동 단말기(200)가 수집한 액션 데이터를 통해 사용자의 구매 패턴 등을 분석하여 선호하는 제품을 좀더 정확히 추천할 수도 있다. 매장내 자동 결제 시스템(은 ASSL(Active Semi-Supervised Learning) 알고리즘 기술을 이용하여 다른 기술에 비해 그 운영 비용을 최소화할 수 있다.

입력 유닛(203)을 통해서는 이동 단말기(200) 내에서 사용될 명령이나 데이터가 입력된다. 입력 유닛(203)은 이동 단말기(200)에 포함된 입력 유닛(203) 이외의 부품들에 사용되는 명령 또는 데이터를 입력할 수 있다. 입력 유닛(203)은 마이크로폰, 마우스 또는 키보드를 사용한다. 운영자는 입력 유닛(203)을 통해 명령 또는 데이터를 직접 입력할 수 있다. 입력 유닛(203)은 마이크로폰, 키보드 또는 키패드일 수 있다.

출력 유닛(205)은 이동 단말기(200)의 외부로 정보를 제공한다. 출력 유닛(205)은 표시부 또는 오디오부를 포함한다. 표시부는 정보를 시각적으로 제공한다. 표시부는 디스플레이를 그 예로 들 수 있다. 오디오부는 정보를 청각적으로 제공한다. 표시부는 터치를 감지하도록 설정된 터치 회로 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로일 수 있다.

이동 단말기(200)는 통신 유닛(207)을 통해 중앙 서버(100) 등의 외부 장치(미도시)와 작동 명령 또는 데이터를 주고 받을 수 있다. 통신 유닛(207)은 이동 단말기(200)와 외부 장치 사이에 통신 채널을 형성한다. 통신 유닛(207)은 메모리(205) 또는 프로세서(207)와 연결된다. 통신 유닛(207)은 유선 또는 무선일 수 있다. 무선은 원거리 또는 근거리 통신망일 수 있다.

메모리(208)는 이동 단말기(200)의 각 부품들에 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(208)는 매장 내 지도 정보를 저장하거나, 앱 형태의 매장 내 자동 결제 프로그램을 저장한다. 메모리(208)은 휘발성 또는 비휘발성 메모리일 수 있다.

프로세서(209)는 메모리(208)에 저장된 프로그램을 실행한다. 프로세서(209)는 이동 단말기(200)에 포함된 부품들을 제어하거나 데이터를 처리하거나 연산을 수행할 수 있다. 프로세서(209)는 매장내에서 통신 유닛(207)을 통해 중앙 서버(100)와 통신한다. 프로세서(209)는 중앙 서버(100)를 통해 구매 제품까지의 이동 경로와 이에 대응하는 지도 정보를 파악할 수 있다. 그리고 프로세서(209)은 이동 경로와 지도 정보를 이용해 매장내 내비게이션 서비스 및 디바이스 초점 내비게이션 서비스를 제공할 수 있다. 프로세서(209)는 출력 유닛(205)을 통해 매장내 내비게이션 서비스와 관련된 UI(user interface)를 제공한다. 프로세서(209)는 매장내 내비게이션 서비스를 제공하면서 카메라 유닛(201)을 통해 촬영되는 영상을 모니터링할 수 있어서 이동 경로 상에서 장애물을 검출하고, 출력 유닛(205)을 통해 장애물에 대한 알람을 발생시킬 수 있다.

도 4는 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법의 순서도이다.

본 발명의 일 실시예에 따른 매장 내 자동 결제 방법은 사용자가 매장에서 이동할 때 가지고 다니는 이동 단말기를 이용하여 에고센트릭 영상을 촬영하고, 에고 센트릭 영상으로부터 상품을 검출 인식하여, 상기 이동 단말기를 최적의 신뢰도를 산출할 수 있는 위치로 가이드함으로써, 선택 상품 리스트에 상품을 등록시키는 것을 특징으로 한다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법은 이동 단말기가 에고센트릭 영상을 수집하는 단계(S110); 상기 에고센트릭 영상으로부터 구매 대상 상품을 검출하는 단계(S120); 상기 예측된 신뢰도가 기 설정된 임계치를 넘는지 산출하는 단계(S130); 상기 신뢰도가 임계치보다 낮으면 신뢰도가 최적이 될 수 있는 위치로 상기 이동 단말기를 이동시키도록 디바이스 초점 내비게이션을 제공하는 단계(S140); 사용자의 구매 의사를 판단하는 단계(S150) 및 상기 신뢰도가 임계치 이상이고, 구매의사가 판단되는 경우, 상기 상품을 사용자의 선택 상품 리스트에 등록하는 단계(S160)를 포함할 수 있다. 이 경우 사용자가 선택 상품 리스트 등록을 인지할 수 있도록 이동단말기는 사용자에게 정보출력장치을 통하여 통보할 수 있다. 정보출력 장치는, 음성, 신호, 진동, 디스플레이, LED, 햅틱을 포함할 수 있다.

한편, 예측된 신뢰도가 기 설정된 임계치를 넘는지 산출하는 단계(S130)는, 영상을 수집하는 이동 단말기가 웨어러블 디바이스인 경우, 사용자의 손 위치를 추적하여 사용자의 손이 상품을 용이하게 집을 수 있는 거리에 위치한 경우인지 판단하는 단계를 더 포함할 수 있다.

상품이 배치된 선반대에서 사용자가 이동 단말기를 이용해 에고센트릭 영상을 촬영할 때, 이동 단말기의 위치를 상품 신뢰도가 최적인 위치로 이동시키도록 가이드하는 것을 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션이라 지칭할 수 있다.

이동 단말기가 스마트폰인 경우, 사용자가 손으로 스마트폰을 잡고 있기 때문에, 이러한 경우에서 디바이스 초점 내비게이션은 핸드 내비게이션이라 지칭될 수도 있다.

본 발명의 일 실시예에 따라 디바이스 초점 내비게이션을 제공하는 매장 내 자동 결제 시스템 및 그 방법은 종래 무인 점포 시스템에 비하여 고정 카메라의 수를 획기적으로 줄일 수 있다. 촬영된 상품 이미지의 품질이 뛰어나지 않아 상품의 인식이 잘 안 될 가능성이 높은데, 이를 보완하기 위해서 종래의 기술인 '아마존 고' 는 천장에 수 백대의 고정 카메라를 설치하여 상품 인식의 정확성을 높이고 있다.

반면, 본 발명은 사용자가 소지하는 이동 단말기를 상품 신뢰도가 최적인 위치로 이동시키도록 가이드함으로써, 구매하는 상품의 이미지 품질을 높일 수 있다. 따라서, 본 발명은 사용자가 소지하는 이동 단말기를 통해 상품 검출을 수행하기 때문에, 매장에 수많은 고정 카메라를 설치할 필요가 없어 무인 점포 시스템 설치비 및 유지비를 획기적으로 줄일 수 있다. 또한, 처리해야되는 영상 및 센서 정보가 줄어들기 때문에 본 발명은 종래의 방법보다 결제지연 시간을 획기적으로 줄일 수 있고, 지각 장애인이나 지각능력이 떨어지는 고령자 등 사회약자에 용이한 상품선택의 도구로 제공될 수 있다.

본 발명의 일 실시예에 따른 디바이스 초점 내비게이션은 도 6 내지 도 9를 참조하여 후술한다.

도 5는 본 발명의 다른 실시예에 따른 매장 내 자동 결제 방법의 순서도이다.

도 4에서 선술한 실시예는 사용자가 직접 선반대에 이동하여 상품을 구매하는 실시예를 설명하였고, 도 5에서는 앱에서 추천된 상품 또는 사용자가 앱에서 미리 선택한 상품을 구매하는 실시예를 포함하여 설명한다.

도 5에서 설명되는 실시예에 따른 매장 내 자동 결제 방법의 전체적인 순서는 다음의 단계를 포함할 수 있다.

우선, 사용자가 매장 입구를 통과하면 사용자의 이동 단말기를 통해 사용자 고유 ID가 활성화된다(S210). 상기 사용자 고유 ID는 이동 단말기에 설치된 앱 상에 기록된 것일 수 있다. 즉, 본 발명에 따른 시스템은 사용자가 무인 점포에 입장하면 사용자에 부여된 고유식별자를 인식한다.

그리고 본 발명의 일 실시예에 따른 중앙 서버가 상기 고유 ID 에 기초하여 구매 대상 상품 정보를 획득할 수 있다(S220). 구매 대상 상품은 사용자의 고유 ID에 기초하여 앱에서 추천된 상품이거나 사용자가 직접 입력하여 위시 리스트 등에 저장된 상품이 될 수 있다.

그리고 이동 단말기가 중앙 서버로부터 매장 실내 지도를 수신하고 상기 실내 지도 상에서 구매 대상 상품의 제1 위치 정보 및 이동 경로를 수신할 수 있다(S230).

본 발명의 일 실시예에 따른 제1 위치 정보는 매장 실내 지도에서 상기 구매 대상 상품이 위치한 매대의 번호 및 매대의 층 번호, 매대의 섹션 번호 등을 포함할 수 있다.

본 발명에 따른 시스템은 이동 단말기에 실내 내비게이션을 제공할 수 있다(S240). 본 발명의 일 실시예에 따른 실내 내비게이션은 구매 대상 상품의 제1 위치로 사용자가 따라 갈 수 있도록 이동 경로를 이동 단말기를 통해 사용자에게 알리는 서비스인데, 화면으로 표시되거나 시각 장애인을 위해서는 시각장애인이 인지할 수 있는 음성, 진동, 햅틱, 신호 등으로 출력될 수 있다.

본 발명의 일 실시예에 따른 실내 내비게이션은 이동 경로 상에 장애물도 사용자에게 알릴 수 있다. 따라서 사용자가 구매 대상 상품이 위치한 상기 제1 위치로 따라가는 중에 장애물을 회피할 수 있다. 예를 들면, 장애물은 타사용자 또는 쌓아놓은 상품들을 들 수 있다. 사용자가 실내 내비게이션이 표시된 단말기만 쳐다보고 이동하므로, 장애물에 쉽게 충돌할 수 있다. 따라서 중앙 서버와 사용자 단말기의 상호 작용에 의해 장애물 회피가 필요하다.

중앙 서버는 매장에 설치된 고정 카메라를 통하여 매장내 영상을 취득하고 이 영상으로부터 장애물을 감지한다. 만약, 중앙 서버가 이전 단계(S230)에서 이동 경로를 결정할 때 장애물이 이동 경로상에 존재하지 않다가 장애물이 이동 경로 상의 현재 위치로 이동할 수도 있다. 중앙 서버의 프로세서는 이러한 케이스에서도 이동 경로 상의 장애물을 감지할 수 있다.

한편, 사용자가 가지고 있는 이동 단말기도 실내 내비게이션 제공 단계(S240)에서 장애물을 감지한다. 즉, 이동 단말기는 매장 내 내비게이션 서비스를 제공하면서 카메라 유닛(201)(도 3에 도시)을 통하여 이동 경로를 모니터링해 장애물을 감지한다. 만약 이동 단말기가 장애물을 감지한 경우, 실내 내비게이션 제공 단계(S240)에서 이동 단말기는 경고를 표시한다. 경고 표시 후에 관련 조치가 이루어진 경우, 이동 단말기는 다시 매장내 영상을 촬영한다. 이러한 중앙 서버와 이동 단말기의 효과적인 상호 작용 프로세스로 인하여 사용자가 장애물과 충돌하는 불상사를 미연에 방지할 수 있다.

본 발명의 일 실시예에 따른 실내 내비게이션은 매장 내의 장애물, 예를 들면 다른 사용자들을 탐지하고 충돌 위험을 미리 예측하여 경고할 수 있을 뿐만 아니라 이동 단말기를 적극적으로 이용해 매장 내에 설치되는 고정 카메라들의 수를 크게 줄일 수 있다. 매장 내에서 쇼핑하는 사용자들은 전부 이동 단말기만 보고 이동하기 때문에 상호 충돌할 가능성이 높다. 따라서 이동 단말기를 통해 장애물, 예를 들면 타사용자들을 표시하여 이러한 위험성을 경고하여 그 문제점을 사전에 차단한다. 특히, 이러한 실내 내비게이션은 장애인 또는 노약자처럼 이동 경로를 찾기가 어려운 분들을 도울 수 있다.

사용자가 상기 실내 내비게이션을 따라 상품이 위치한 곳까지 도달하면, 사용자는 이동 단말기를 이용하여 에고센트릭 영상을 촬영한다(S250). 본 발명의 일 실시예에 따른 에고센트릭 영상은 사용자의 이동 단말기를 이용하여 매대에 위치한 상품에 대하여 촬영하는 영상을 의미한다.

본 발명의 일 실시예에 따른 시스템은 촬영한 에고센트릭 영상에서 상품을 검출하여(S260) 이미지 상에서 상품에 대한 신뢰도가 임계치 이상인지 판단한다(S262). 한편, 예측된 신뢰도가 기 설정된 임계치를 넘는지 판단하는 단계(S262)는, 영상을 수집하는 이동 단말기가 웨어러블 디바이스인 경우, 사용자의 손 위치를 추적하여 사용자의 손이 상품을 용이하게 집을 수 있는 거리에 위치한 경우인지 판단하는 단계를 더 포함할 수 있다.

그리고 본 발명의 일 실시예에 따른 시스템은 상기 신뢰도가 임계치보다 낮으면 신뢰도가 최적이 될 수 있는 위치로 상기 이동 단말기를 이동시키도록 디바이스 초점 내비게이션을 제공하고(S270)하고, 상기 신뢰도가 임계치 이상이면 사용자의 구매 의사를 판단하여(S280) 상기 상품을 사용자의 선택 상품 리스트에 등록할 수 있다(S290).

본 발명의 일 실시예에 다른 시스템은 사용자가 구매할 상품이 더 있는지 확인하여(S292), 구매할 상품이 더 있으면 상기 실내 내비게이션 제공 단계(S240) 또는 에고센트릭 영상을 촬영하는 단계(S250)로 이동 하여 상술한 단계들을 다시 수행한다.

사용자가 직접 매대에 이동하여(S298) 즉석에서 구매할 상품을 결정하는 경우(S298-1)에는 에고센트릭 영상을 촬영하는 단계(S250)부터 시작하여 도 4에 선술한 단계들을 수행한다. 사용자가 앱상의 추천 리스트나 위시 리스트에 있는 상품을 더 구매하는 경우(S298-2)에는 실내 내비게이션 제공하는 단계(S240)부터 도 5에 선술한 단계들을 수행한다.

한편, 본 발명의 일 실시예에 따라 사용자의 구매 의사를 판단하여 상기 상품을 사용자의 선택 상품 리스트에 등록하는 단계(S280, S290)는 아래의 과정들을 더 포함할 수 있다.

무게 센서, 적외선 센서 또는 터치 센서 등의 복수의 분산 데이터 입력 장치가 수집된 데이터를 이용하여 사용자가 품목등록 전환 영역에 들어온 것을 감지한다. 품목등록 전환 영역이란, 사용자가 매대에서 고른 상품을 매대의 진열품목 리스트에서 삭제하고 사용자의 선택 상품 리스트에 등록시키는 영역으로, 매대 앞 소정의 길이까지를 의미할 수 있다.

그리고 고정 카메라, 이동 단말기의 카메라 유닛, 무게 센서, 터치 센서 또는 적외선 센서들로부터 수신하는 데이터를 이용하여 사용자가 상품을 집고 드는 행동이 인식되면 상기 상품을 선택 상품 리스트에 등록하고, 매대의 진열품목 리스트에서 상기 상품을 삭제한다.

한편, 상품을 사용자의 선택 상품 리스트에 등록하는 방법은 사용자가 이동 단말기에서 촬영된 이미지를 선택했을 때, 검출된 상품의 세부정보를 사용자에게 보여주고 사용자가 해당 상품이 맞는지 확인하면 상기 상품을 선택 상품 리스트에 등록하는 단계를 더 포함할 수 있다.

그리고 본 발명의 일 실시예에 따라 사용자 퇴장 정보를 수신하여(S294) 장바구니에 등록된 상품을 자동으로 결제하는 방법(S296)은 다음의 과정들을 포함할 수 있다.

중앙 서버는 적어도 하나 이상의 분산 데이터 입력장치를 이용하여 사용자가 매장에서 쇼핑을 마치고 무인 카운터 영역에 도착하는 것을 감지하고, 상기 무인 카운터 영역에 있는 상품의 무게, 모양, 색깔, 텍스쳐, 또는 크기와 같은 특징들을 인식한다.

중앙 서버는 상기 인식된 특징 정보를 사용자 ID의 선택 상품 리스트에 등록된 상품 정보와 비교하여, 비교 내용이 일치하면 상기 선택 상품 리스트에 등록된 상품에 대한 결제를 자동으로 실행한다.

도 6은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션을 나타내는 개념도이다.

디바이스 초점 내비게이션을 제공하는 단계는, 상기 중앙 서버 또는 상기 이동 단말기의 프로세서가 에고센트릭 영상에서 검출된 상품의 영상 내에서의 위치 좌표(제2 위치 정보라 지칭함)를 획득하고, 상기 위치 좌표 정보에 기초하여 이동 단말기의 영상 내에서의 위치 좌표 정보(제3 위치 정보라 지칭함)를 획득하는 단계를 포함하고,

그리고 중앙 서버 또는 이동 단말기의 프로세서는 이동 단말기의 상기 제3 위치 정보와 상기 상품의 제2 위치 정보를 비교하여 상기 이동 단말기에 디바이스 초점 내비게이션을 제공하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 디바이스 초점 내비게이션은 사용자에게 상기 구매 대상 상품이 배치된 진열대 상에서의 상품 위치로 정확하게 이동 단말기를 좌우/상하/각도 등 을 안내하는 것이다. 즉, 디바이스 초점 내비게이션은 이동 단말기의 카메라 유닛이 구매 대상 상품이 최적의 신뢰도로 검출될 수 있고 사용자의 손이 구매 대상 상품을 용이하게 집을 수 있는 거리에 위치시키기 위해 가이드 하는 것을 의미한다.

도 6을 참조하여, 촬영된 에고센트릭 영상을 이용하여 디바이스 초점 내비게이션을 제공하는 방법을 설명한다.

사용자가 실제 매대의 선반을 향하여 에고센트릭 영상(a)을 촬영하면, 선반과 상품의 위치를 세밀하게 표시한 맵 형태의 정보(b)가 이동 단말기에 표시된다.

실제 매대(a)에서 사용자의 위치(61a)와 구매 대상 상품의 위치(62a)가 서로 이격되어 있다. 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션은 프로세서가 에고센트릭 영상을 분석하여 매대 맵(b) 상에서 구매 대상 상품의 위치(62b)와 카메라 유닛의 위치(61b)를 산출한다. 매대 맵(b) 상에서 카메라 유닛의 위치(61b)는 카메라 유닛의 정면에 인식된 상품의 위치로 파악될 수 있으며, 사용자의 위치를 의미한다.

프로세서는 카메라 유닛의 정면에 인식된 상품과 매대 맵(b) 상에 표시된 상품의 위치를 비교하고 매칭한다. 예를 들어, 실제 매대(a)의 노란 음료가 카메라 유닛에 포착된 경우, 프로세서는 매대 맵(b) 상에 표시된 상품과 매칭한 결과, 현재 카메라 유닛의 위치가 5번(61b) 앞 인 것을 알 수 있고, 상기 사용자의 위치 정보(61b)를 산출할 수 있다.

프로세서는 상기 산출된 사용자의 위치 정보 값을 이용하여 구매 대상 상품이 있는 위치(62b)까지 카메라 유닛이 이동해야하는 방향과 거리를 산출하여, 사용자에게 제공할 수 있다. 예컨대 위, 아래, 좌우, 대각선 방향 등이 제시될 수 있고, 맵 상의 거리와 실제 거리 비율을 계산하여 이동 거리도 제시될 수 있다.

상기 디바이스 초점 내비게이션에 따라 카메라 유닛이 유도된 위치로 이동하면, 중앙 서버 또는 이동 단말기의 프로세서는 에고센트릭 영상을 다시 획득하여 신뢰도를 산출한다.

상기 신뢰도가 임계치 이하인 경우, 프로세서는 다시 디바이스 초점 내비게이션을 실시한다. 상기 신뢰도가 기 설정된 임계치를 넘어서면 해당 상품을 선택 상품 리스트에 추가할 수 있다.

도 7은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션을 수행하는 학습 네트워크를 나타내고, 도 8은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션에 따른 출력 방향을 나타내며, 도 9는 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션에 따른 시나리오를 나타낸다. 도 7 내지 도 9를 참조하여 디바이스 초점 내비게이션을 수행하는 구체적인 알고리즘에 대하여 설명한다.

디바이스 초점 내비게이션은 강화 학습과 같은 최적화 알고리즘을 통해 구매 대상 상품을 인식을 위한 최적의 위치로 상기 이동 단말기를 안내하고, 물체 검출 알고리즘 및 내비게이션 알고리즘을 이용하는 것을 특징으로 한다. 도 7을 참조하면, 에고센트릭 영상이 프로세서에 입력된다(S71). 그리고 상기 에고센트릭 영상으로부터 특징이 추출된 (S73) 다음, Q값 근사가 수행된다(S75). 그리고 이동 단말기가 이동해야 할 방향을 출력한다(S77).

본 발명의 일 실시예에서 사용된 강화 학습에 대하여 구체적으로 설명한다.

본 발명의 일 실시예에 따른 디바이스 초점 내비게이션은 적절한 일련의 행동들을 지시해 특정 성능 이상으로 목표 객체(예컨대, 상품)가 검출되도록 시점을 변경하게 하는 것이다. 이러한 목적을 달성하기 위해서 강화 학습 알고리즘의 에이전트는 앞으로 받을 보상의 기댓값이 최대가 되도록 행동을 해야 한다. 에이전트가 그 목표를 달성할 수 있는 일련의 행동을 취하도록 하는 정책을 찾는 것이 강화 학습의 목표이다. 상태 변환 확률 함수가 없고 포상 함수가 데이터에 의존하기에 즉, 본 발명의 일 실시예에서 해결하고자 하는 과제는 Model-free 상태인 강화 학습 문제로 정의할 수 있으며, 심층 Q-학습을 이용하여 해결될 수 있다.

심층 Q 네트워크는 강화 학습 방법 중 하나로서, 기존 Q-학습은 계산된 Q 값을 Q-table로 구성하여 에이전트가 취해있는 상태에 대해 가장 큰 Q 값을 주는 행동을 하였지만, 심층 Q 네트워크는 심층 인공 신경망을 이용하여 Q 값을 근사한다. 심층 Q 네트워크를 통해 이미지를 입력으로 받아 에이전트가 하게 될 행동을 확률적으로 계산하여 출력한다. 이때 쓰이는 네트워크는 크게 두 부분으로 나눠진다. 이미지를 입력 받아 특징을 추출하는 합성곱 네트워크와 추출된 특징을 이용하여 Q 함수의 근사함수로 작동하여 행동에 대한 근사된 Q 값을 출력하는 네트워크로 구분된다. 에이전트는 학습된 네트워크를 통해 근사된 Q 값 중 가장 큰 Q 값을 가지는 행동을 선택하게 된다.

강화 학습을 이용 하여 객체 검출을 하기 위해서는, 객체 검출을 마르코브 결정 문제로 정의해야 한다. 마르코브 결정 문제는 (S, A, P, R) 총 4가지 요소로 정의된다. S는 상태의 집합, A는 에이전트가 할 수 있는 행동들의 집합, P는 상태 간 변환될 수 있는 확률함수, R은 에이전트가 행동을 취했을 때 기존의 상태에서 다른 상태로 변환이 되는데, 그에 대한 피드백으로 받는 포상에 대한 함수이다. 본 명세서에서는, 어떤 상태에서 다른 상태로 변환되는 것, 즉 P는 상태 변환 확률변수가 아닌 심층 Q 네트워크의 결과값인 Q 값에 의해 결정된다. 상세한 정의는 도 8을 참조하여 아래와 같이 설명된다.

<행동의 정의>

에이전트는 매 시점마다 결정을 내려야 한다. 이는 MDP에서 행동이라 한다. 에이전트가 행동을 취하게 되면 에이전트가 환경에서 취하던 상태는 새로운 상태로 바뀌게 되며 그 행동의 결과로 에이전트는 새로운 상태로 변환되며, 그에 따른 보상 혹은 패널티를 받게 된다. DQN을 응용한 많은 연구들은 게임이나 바둑 등에서 큰 성과를 이루었지만, 실제 세계에 적용하는데 있어 다른 방향이 제시되어야 한다. 실제 세계에서 움직이는 행동은 연속적이지만 본 명세서에서는 행동을 이산적이라 가정한다. 이동방향은 목표 객체를 잘 검출하기 위한 시점(Viewpoint)을 찾아가도록 하는 방향정보를 나타낸다. 이동방향은 한 번 행동 할 때 카메라가 움직이는 방향을 나타내며 사람이 휴대한 핸드폰을 촬영을 위해 움직일 때 pitch와 roll은 거의 변화가 없다가 가정하여서, 수집된 정보는 6 DoF(Degrees of freedom) 중 4 DoF를 사용한다. 따라서 본 명세서에서는 전(S88), 후(S84), 좌(S82), 우(S87), 상(S81), 하(S85)의 x, y, z 좌표와, 시계방향회전(S83), 반시계방향회전(S86)의 yaw 값의 총 4개 값을 사용하는 4 DoF 사용한다(도 8 참고). 이동거리는 한 번 행동을 취할 때 이동방향 쪽으로 이동하는 거리를 나타낸다. 이동거리는 {짧게, 중간, 길게}로 표현하며, 각각의 길이는 실험에 의해 정의한다. 본 명세서에서는 사용자가 카메라를 최적의 시점으로 유도하기위해 이동방향과 이동거리를 제공하도록 한다. MDP에서 이동방향과 이동거리를 행동으로 정의한다.

목표 객체(80)를 검출인식하는 과정에서 최적의 위치산정을 위하여 카메라의 이동은 0.5cm, 1cm, 2cm 단위로 측정하고, 진행방향을 기준으로 회전은 시계방향은 +5°, +10°, +15°단위로 측정하고, 반시계방향은 -5°, -10°, -15°단위로 측정한다.

본 발명의 일 실시예에서는 카메라 이동을 위해 행동

은 다음과 같이 수집한다.

은 안드로이드 폰의 accelerometer 센서값 S를 기준으로 다음과 같이 정의하였다.

와

는 실험에 의해 결정된다.

도 9를 참조하여 최적의 객체 검출 시점을 찾아가는 시나리오를 설명하면 다음과 같다.

카메라가 출발점(91)에 있고, 목표 객체가 (90)위치에 있을 때, 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션은 {전진, short} (d1), {우측, short}(d2), {전진, long}(d3),{우측, middle}(d4), {반시계방향 10°}, {전진, middle} 순서로 가이드할 수 있다.

도 10은 본 발명의 일 실시예에 따라 사용자의 구매 의사를 판단하는 방법의 순서도를 나타낸다.

도 10을 참조하여, 도 4 및 도 5에서 서술한 사용자의 구매의사를 판단하는 방법을 설명한다.

이동 단말기 또는 고정 카메라가 촬영한 영상에서 손 내밀기 동작을 인식한다(S300). 그리고 사용자의 이동 단말기로 에고센트릭 영상을 획득한다(S310). 프로세서는 에고센트릭 영상으로부터 획득한 이미지를 분석하여 구매 대상 상품을 검출하고(S320), 손 당기기 동작을 인식(S330)하면, 구매의사로 인식하여 상기 상품을 선택 상품 리스트에 등록한다(S340).

도 11은 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션의 고 신뢰도를 갖는 예측을 보장하기 위한 고속 적응적 학습의 개념도이다.

레이블이 지정되지 않은 데이터 세트의 실제 레이블을 사전에 알 수가 없기 때문에, 손실 측정 함수가 정의되여 새로운 레이블이 추정될 수 있다. 최악의 경우, 또는 최상의 경우를 모두 고려하여 현재 모델의 적정 boundary를 선택하는 방법이 개발될 수 있다. 이를 바탕으로 예상되는 오류가 측정되고 학습 효율을 최적화하기 위한 목적 함수가 정의되어, 이 목적 함수를 최소화하는 데이터가 선택될 수 있다. 이 방법을 바탕으로 ASSL 알고리즘은, 목적 함수를 계산할 때 레이블이 지정되지 않은 모든 데이터를 고려하여, 확장될 수 있다. 기존의 딥러닝 모델의 재학습 방법은 레이블이 지정되지 않은 모든 데이터와 가능한 모든 레이블을 검토하기 때문에 많은 계산이 필요하다. 이를 최소화하기 위해 소규모 Bin 단위의 고속 적응적 ASSL 학습을 수행하는 방법이 제안될 것이다.

도 12는 본 발명의 일 실시예에 따른 디바이스 초점 내비게이션의 고 신뢰도를 갖는 예측을 보장하기 위한 방법의 순서도이다.

도 11에서 상술한 적응적 학습 알고리즘을 기반으로, 객체 분류 문제의 불확실성 해결을 위해서 일반적으로 사용하는 Forward Batch Learning에서 탈피하여 Forward Learning과 Rollback Learning을 결합하는 상품 객체 검출의 신뢰도 예측을 고도화 하는 객체 검출기는 협업 필터링 방법과 고속 적응적 학습 방법으로 구성할 수 있다.

검출기의 정확성을 최적화하기 위해 학습 데이터에 대해 Uncertainty filtering, Diversity filtering과 Confidence filtering을 포함하는 협업 필터링을 다음과 같이 적용하여 확률적으로 보다 많은 유효한 레이블이 있는 데이터를 추출한다.

1. Uncertainty criteria를 정하고 불확실성이 높은 데이터를 샘플링 하는 단계로 다음과 같이 수식으로 표현된다.

는 전체 데이터셋이며,

는 가능한 레이블 종류이다.

2. Diversity criteria를 정하고 상기 데이터로부터 추출한 특징간에 유클리디안 거리를 계산하여 diversity가 최대인 데이터를 샘플링하는 단계는 다음과 같이 수식으로 표현된다.

는

의 내림차순을 나타내며,

는 데이터 x에 대한 현재 CNN 검출기 모델의 성능이다.

3. Confidence criteria를 정하고 상기 데이터로부터 높은 신뢰도를 지닌 데이터만 샘플링 하는 단계는 다음과 같이 수식으로 표현된다.

적응적 ASSL 학습 방법을 적용하기 위하여, 구매 대상 상품에 대해 이미지를 수집하고, 수집된 데이터 이용하여 검출기 모델을 신속하고 적응적으로 학습하는 단계는 EER 학습 프로세스와 빈(Bin) 기반 ASSL을 결합하여서 실시한다. 결합된 프로세스는 레이블된 데이터 중 의심스러운 데이터를 조사해서 제거하는 롤백 제거 단계; 포워드 재선택 기반의 학습이나 롤백 재레이블링 기반의 학습을 통해서 롤백 빈 기반 ASSL을 진행하는 프로세스로 구성된다. 이 결합 프로세스의 기술적인 내용은 다음에 기술한다.

)

는 레이블된 학습 데이터세트를 나타내고, U

는 레이블이 없는 데이터세트를 나타낸다. 여기서 m<<n이다. 만약 선택된 샘플 x의 레이블이 y라면, LD에 추가하고 이를

로 나타낸다. 협업 샘플링 후

는 현재 배치 데이터세트를 나타낸다.

는 빈 기반 SSL의 고신뢰도의 배치 단위 데이터 세트를 나타낸다.

의 사이즈는 신뢰도 파라미터 γ로 제한하며 이를 넘으면 신뢰 샘플 선택 프로세스가 중지된다.

는 다음 식을 만족하는 샘플로 초기화된다.

,

.

고신뢰도 샘플링 전략은

에서 샘플을 선택하는데, 다음의 측정식을 이용한다. 현재 심층 특징 공간의 거리 측정식에 의해

에 추가한다.

,

여기서

는 깊은 피처 공간에서 두 샘플

와

사이의 유클리드 거리이다. 검출기는

의 고신뢰도 샘플에서 생성된 빈 시퀀스를 사용하여 재훈련 된다.

고신뢰도 샘플은 빈 단위로 나눠지며 빈 풀

로 정의된다.

검출기 모델 및 EER 모델을 초기화는 다음과 같이 수행한다.

는 LD로부터 만들어진 EER 모델을 나타내고,

는

로부터 만들어진 EER 모델을 의미한다.

ASSL에서는 레이블이 지정되지 않은 데이터 샘플 풀이 각 학습 단계에 사용된다. 단계 i에 대해, 빈

를 고려하여 다음과 같이 표현된다.

(2)

여기서 첫 번째 항은 현재 모델의 레이블 정보를 나타내고 두 번째 항은

모델의 레이블이 없는 데이터풀

의 예상 엔트로피의 합이다.

협업 샘플링을 적용한 후, 빈 데이터 세트에 반복적으로 식.(2)를 적용하여 의사 레이블 세트

을 결정할 수 있다. 그러나

의 각 데이터 샘플에 대한 모델을 구성하려면 여전히 많은 계산 오버 헤드가 필요하다. 따라서 식. (2)는 다음과 같이 의사 레이블이 지정된 세트

의 선택된 샘플에 대한 모델을 구성하여 근사된다.

, (3)

여기서 첫 번째 항은 의사 레이블이 지정된 세트

의 선택된 샘플에 대한 현재 모델의 레이블 정보를 나타내고 두 번째 항은 가중치 모델인

의 레이블이 없는 데이터

에 대한 예상 엔트로피의 합이다. 레이블이

, 인 샘플

를 선택하고 LD에 추가하여

로 나타낸다.

각 빈 기반 ASSL 단계에서 신뢰도 점수는 현재 CNN 검출기에 의해 의사 샘플에 할당된다. 레이블이 지정된 데이터

은 처음에 CNN 검출기 모델

및 EER 모델

을 초기화하는 데 사용된다.

는 유효 데이터를 사용하여

에 의해 계산된다. 각 빈에 대해 각각

를 사용하여 CNN 검출기 모델

를 만든다.

은

, 즉

에 의해 계산된 빈의 점수 중 최대 정확도를 나타낸다. 즉,

. 성능이 향상되면, (즉

,

및

를 수행하여 다음 단계로 넘어간다.

단계에서 각 빈마다 CNN 모델

를

를 사용하여 각각 구축하고,

로 갱신한다. 검출기 모델을 적응적 학습하는 단계는 다음의 세 경우로 나뉜다. Case 1)

, Case 2)

, and Case 3)

, 여기서 Acc는 τ는 탐사 잠재성에 대한 허용 한계치이다.

Case 1.

인 경우, 다음 스텝을 위해 최고의 빈을 선택하고 다음과 같이 업데이트한다.

and

;

;

. 여기서 bin pool

는 선택된 빈을 제거함으로써 축소된다.

Case 2.

인 경우 다음을 수행한다.

1) 롤백 학습 프로세서는 아래식을 이용해서

로부터 제거될 샘플을 찾는다.

제거를 위한 롤백 샘플은 다음과 같이 분류 모델을 사용하여 마지막 의사 레이블이 지정된 샘플의 빈에서만 선택된다.

(5)

여기서

는 재 선택 과정에서 제거할 롤백 샘플을 나타낸다. 선택한 롤백 샘플이 각각

로 의사 레이블이 붙어 있고 LD에서 제거된

인 경우, 차 집합

으로 표현된다.

2) 재라벨링 샘플을 찾아서, 식.(7)을 기반으로 하는 롤백 학습 프로세스를 사용하여

에서 새로운 라벨을 할당한다.

각 재레이블된 후보자에 대한 모델의 계산은 계산 오버 헤드를 고려하여, 다음과 같이

에서 재레이블된 후보자 풀의 관점에서 재레이블 롤백 학습 프로세스를 다음과 같이 수행한다.

(7)

여기서

) 유사 레이블 x에 y가 할당된 것을 나타낸다. Z는 정규화 상수이며 다음에 의해 계산된다.

여기서

이다.

3) 식.(3) 식을 기반으로 EER 순방향 학습 프로세스를 사용하여 재 선택에 의해

를 업데이트한다.

Case 3. 인 경우 오라클이

의 잘못 레이블 된 데이터를 레이블링하며, 다음과 같은 수식에 따라 모델이 업데이트 된다.

,

.

Case 2.의 롤백 프로세스는 Oracle 라벨링 단계를 크게 줄일 수 있다.

는 시간 t에서

및

을 학습하는 데 사용되는 학습 데이터 세트

을 만드는 데 사용된다. 이 프로세스는 수렴될 때까지 반복된다.

마지막으로, 롤백 빈 기반 SSL은 두 가지 모델 f와 g와 확대된 레이블이 지정된 데이터 집합 LD를 생성한다. EER 기반 롤백 학습과 빈 기반 SSL의 조합은 동적으로 변화하는 환경에서 노이지한 스트리밍 샘플로부터도 빠르고 적응적인 물체 검출기를 생성하게 된다.

상기 포워드-롤백 학습 과정은

또는

또는 제한된 시간까지 반복된다.

조건이 충족되면

,

,

and

로 갱신한다.

한편, 본 발명의 일 실시예에 따른 매장 내 자동 결제 방법 및 시스템은 무인 점포/편의점에 적용될 수 있는데 이에 한정되는 것은 아니며, 푸드 코트, 카페, 식당, 미용실, 실내 게임장 등 서비스 상품에도 적용될 수 있다.

그리고 상품을 제공하는 장소가 분산되어 있는 경우, 자동 결제 시점은 일괄적으로 설정되거나 사용자가 원하는 시점, 또는 특정 지점에서 한번 이상으로 설정될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 중앙 서버
200 : 이동 단말기
300 : 고정 카메라
1000 : 매장 내 자동 결제 시스템

Claims (9)

1. 정보처리장치, 정보입력장치, 정보출력장치 및 이동 단말기 중 적어도 어느 하나 이상을 포함하는 시스템의 매장 내 자동 결제 방법에 있어서,
   이동 단말기가 에고센트릭 영상을 수집하는 단계;
   상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상으로부터 구매 대상 상품을 검출하는 단계;
   상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계;
   상기 복수의 장치들 중 적어도 하나 이상의 장치는 상기 신뢰도가 기 설정된 임계치 이상인 경우, 상기 구매 대상 상품을 사용자의 선택 상품 리스트에 등록하는 단계를 포함하는 매장 내 자동 결제 방법.
2. 정보처리장치, 정보입력장치, 정보출력장치 및 이동 단말기로 구성되는 복수의 장치들 중 적어도 어느 하나 이상을 포함하는 시스템의 매장 내 자동 결제 방법에 있어서,
   상기 정보처리장치가 상기 이동 단말기, 사용자 앱 또는 사용자의 고유 ID에 기초하여 구매 대상 상품 정보를 결정하는 단계;
   상기 이동 단말기가 상기 정보처리장치로부터 매장 실내 지도, 상기 지도 상에서 상기 구매 대상 상품이 위치한 제1 위치 정보를 수신하는 단계;
   상기 정보처리장치가 상기 복수의 장치들 중 적어도 하나 이상의 장치를 이용하여 상기 이동 단말기에 실내 내비게이션을 제공하는 단계;
   상기 이동 단말기가 에고센트릭 영상을 수집하는 단계;
   상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 에고센트릭 영상으로부터 상기 구매 대상 상품을 검출하는 단계;
   상기 복수의 장치들 중 적어도 하나 이상의 장치가 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계;
   상기 복수의 장치들 중 적어도 하나 이상의 장치가 상기 신뢰도에 기초하여, 상기 구매 대상 상품을 선택 상품 리스트에 등록하는 단계를 포함하는 매장 내 자동 결제 방법.
3. 제1항 또는 제2항에 있어서,
   상기 에고센트릭 영상에서 상기 구매 대상 상품에 대한 신뢰도를 산출하는 단계는,
   상기 정보처리장치가 상기 신뢰도가 최적이 될 수 있는 위치로 상기 이동 단말기에 디바이스 초점 내비게이션을 제공하는 단계를 더 포함하는 매장 내 자동 결제 방법.
4. 제1항 또는 제2항에 있어서,
   상기 정보처리장치는 수집된 영상으로부터 사용자의 손 위치를 추적하여 사용자의 손 위치가 기 설정된 위치인 경우인지 판단하는 단계를 더 포함하고, 사용자의 손 위치가 기 설정된 위치인 경우, 상기 구매 대상 상품을 선택 상품 리스트에 등록하고,
   상기 기 설정된 위치는 사용자의 손이 상품을 용이하게 집을 수 있는 거리인 것인 매장 내 자동 결제 방법.
   
5. 제1항 또는 제2항에 있어서,
   상기 정보처리장치가 상기 정보입력장치 또는 상기 이동단말기로부터 수집한 영상을 이용하여 사용자의 구매의사를 판단하는 단계를 더 포함하고,
   상기 사용자의 구매의사를 판단하는 단계는, 영상으로부터 손의 상태 및 손의 동작, 사람의 상태 및 사람의 동작을 인식함으로써 판단하는 매장 내 자동 결제 방법.
6. 제3항에 있어서,
   상기 디바이스 초점 내비게이션은 강화 학습을 통해 구매 대상 상품을 인식을 위한 최적의 위치로 상기 이동 단말기를 안내하는 것을 특징으로 하는 매장 내 자동 결제 방법.
7. 제1항 또는 제2항에 있어서,
   상기 신뢰도를 산출하는 단계는,
   복수의 장치들 중 적어도 하나 이상의 장치가 객체 검출기의 협업 필터링 방법과 고속 적응적 학습 방법을 적용하는 단계를 더 포함하여,
   상기 구매 대상 상품에 대한 객체 검출의 신뢰도를 높이는 매장 내 자동 결제 방법.
   
8. 제3항에 있어서,
   상기 디바이스 초점 내비게이션을 제공하는 단계는,
   상기 정보처리장치 또는 상기 이동 단말기가 상기 에고센트릭 영상에서 검출된 상품의 제2 위치 정보에 기초하여 상기 이동 단말기의 제3 위치 정보를 수신 또는 산출하는 단계 ;
   상기 정보처리장치 또는 상기 이동 단말기가 상기 이동 단말기의 제3 위치 정보와 상기 상품의 제2 위치 정보를 비교하여 상기 이동 단말기에 디바이스 초점 내비게이션을 제공하는 단계;를 더 포함하는 매장 내 자동 결제 방법.
9. 제3항에 있어서,
   상기 디바이스 초점 내비게이션은 물체 검출 알고리즘과 강화학습 알고리즘을 통해 수행되는 것인, 매장 내 자동 결제 방법.

Images