KR20230015618A

KR20230015618A - 무인 결제 시스템

Info

Publication number: KR20230015618A
Application number: KR1020210096967A
Authority: KR
Inventors: 정영훈; 이도한
Original assignee: 주식회사 히타치엘지 데이터 스토리지 코리아
Priority date: 2021-07-23
Filing date: 2021-07-23
Publication date: 2023-01-31
Also published as: KR102655145B1; JP2023016799A

Abstract

이 명세서는 무인 결제 시스템에 관한 것이다. 일 실시예에 따른 무인 결제 시스템은, 물품과 관련된 식별 정보를 입력하기 위한 물품 스캔부; 식별 정보의 입력 전의 물품이 놓이는 제1 영역, 식별 정보의 입력이 이루어지는 제2 영역 및 식별 정보의 입력 후의 물품이 놓이는 제3 영역으로 구성되는 선반을 촬영하여 거리 정보를 포함하는 이미지를 출력하기 위한 3D 카메라; 물품 스캔부가 출력하는 식별 정보를 서버에 전송하고 해당 물품에 대한 가격과 이름을 포함하는 물품 정보를 수신하기 위한 통신부; 및 이미지를 근거로 선반의 제1 내지 제3 영역에 놓이는 하나 이상의 물품의 점유 부피를 계산하고, 제1 내지 제3 영역에서 하나 이상의 물품의 점유 부피의 변동과 물품 스캔부를 통한 물품에 대한 식별 정보 입력을 근거로 물품 스캔의 이상 여부를 판단하기 위한 제어부를 포함하여 구성될 수 있다.

Description

무인 결제 시스템 {Unmanned payment system}

이 명세서는 무인 결제 시스템에 관한 것으로, 더욱 구체적으로 무인 결제 시스템에서 물품의 손실을 방지하는 장치와 방법에 관한 것이다.

최근 대형 마트에 결제 대기 라인을 줄이고 고객 편의를 향상시키기 위하여 무인 결제 창구가 설치되고 있다. 또한, 관리자가 없이 무인 결제 시스템만으로 운영되는 무인 점포도 증가하고 있다.

이와 같은 무인 결제 시스템이 사용자에게 편의성을 제공하는 반면, 구매자가 물품의 일부를 누락시켜 손실이 발생할 여지가 많다. 이러한 손실을 없애거나 줄이려는 노력이 진행되고 있다. 예를 들어, 물품의 중량을 연계하는 시스템이나 물품의 영상을 이용하는 시스템 등이 시도되고 있다.

하지만, 물품의 중량을 이용하는 시스템은 중량 측정을 위한 저울 장치가 물품을 구매 전에 놓는 선반과 구매 후에 놓는 선반 등에 설치되어야 하는 어려움, 물품의 중량을 사전에 측정해서 저장해야 하는 문제, 물품의 중량 범위가 넓어 정확한 중량 측정이 쉽지 않고 정확한 중량 측정을 위해서는 저울 장치의 가격이 올라가는 문제, 무게 측정 장치를 주기적으로 캘리브레이션 해야 하고 쉽게 고장나는 문제점 등이 있다. 또한, 농수산물이나 식료품 같이 물품마다 중량이 일정하지 않는 물품에는 적용하지 못하는 문제가 있다.

또한, 카메라를 이용하여 물품의 영상을 촬영하는 시스템에서는, 물품을 잘 인식하기 위해 각 물품에 대해서 여러 방향에서 미리 이미지를 촬영하고 촬영한 이미지를 러닝 모델로 학습시켜야 한다. 하지만, 조명이나 촬영 각도에 따라 물품이 제대로 인식되지 못하거나 인식하는 데 시간이 많이 걸려 물품을 제대로 제때 식별하지 못하고, 또한 물품의 개수가 증가할수록 물품마다 러닝 모델을 훈련시키는 데 비용이 많이 들고 효율성 관점에서 타당하지 않아, 카메라를 이용한 방법은 무인 결제 시스템에 실제로 적용되지 못하고 있다.

또한, 영상을 녹화하고 사후에 녹화한 영상을 분석하여 손실을 파악할 수도 있는데, 이 경우에도 손실이 발생한 이후에야 손실을 확인할 수 있고, 또한 녹화한 영상을 분석하는 데 시간과 비용이 많이 드는 문제가 있다.

이 명세서는, 이러한 상황을 감안한 것으로, 이 명세서의 목적은 무인 결제 시스템에서 효과적으로 손실을 확인하고 방지하는 방법을 제공하는 데 있다.

상기한 과제를 실현하기 위한 본 발명의 일 실시예에 따른 무인 결제 시스템은, 물품과 관련된 식별 정보를 입력하기 위한 물품 스캔부; 식별 정보의 입력 전의 물품이 놓이는 제1 영역, 식별 정보의 입력이 이루어지는 제2 영역 및 식별 정보의 입력 후의 물품이 놓이는 제3 영역으로 구성되는 선반을 촬영하여 거리 정보를 포함하는 이미지를 출력하기 위한 3D 카메라; 물품 스캔부가 출력하는 식별 정보를 서버에 전송하고 해당 물품에 대한 가격과 이름을 포함하는 물품 정보를 수신하기 위한 통신부; 및 이미지를 근거로 선반의 제1 내지 제3 영역에 놓이는 하나 이상의 물품의 점유 부피를 계산하고, 제1 내지 제3 영역에서 하나 이상의 물품의 점유 부피의 변동과 물품 스캔부를 통한 물품에 대한 식별 정보 입력을 근거로 물품 스캔의 이상 여부를 판단하기 위한 제어부를 포함하여 구성되는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 무인 결제 시스템은, 식별 정보 입력 전의 물품이 놓이는 제1 영역, 식별 정보의 입력이 이루어지는 제2 영역 및 식별 정보의 입력 후의 물품이 놓이는 제3 영역으로 구성되는 선반을 촬영하여 거리 정보를 포함하도록 출력되는 이미지를 분석하는 단계; 이미지 분석을 통해 제1 내지 제3 영역에서 물품의 점유 부피를 계산하는 단계; 및 제1 내지 제3 영역 중 적어도 하나의 영역에서 물품의 점유 부피에 변동이 발생할 때, 점유 부피의 변동과 물품 스캔부를 통한 물품에 대한 식별 정보 입력을 근거로 물품 스캔의 이상 여부를 판단하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

따라서, 무인 결제 시스템에서 결제를 위한 스캔 없이 물품이 반출되는 것을 쉽고 간편하게 감지하게 되고, 이에 따라 매출의 손실을 줄일 수 있게 된다.

또한, 물품 인식을 위한 별도의 사전 학습을 필요로 하지 않아 실제 현장에 바로 적용할 수 있다.

또한, 카메라 영상을 이용하고 러닝 모델을 학습시키는 방법에 비해 낮은 비용으로도 더 높은 인식률로 시스템을 구현할 수 있다.

도 1은 무인 결제 시스템을 구성하는 선반의 영역을 도시한 것이고,
도 2는 무인 결제 시스템에서 물품을 스캔하고 결제하는 각 단계에서 구매자의 행동을 도시한 것이고,
도 3a 내지 도 3c는 구매자가 물품을 계산 전 적치 영역(Z1)에서 스캔 영역(Z2)을 거쳐 스캔 후 적치 영역(Z3)에 이동시키는 과정을 도시한 것이고,
도 4는 이 명세서에 따른 무인 결제 시스템의 구성을 기능 블록으로 도시한 것이고,
도 5는 무인 결제 시스템의 영상 분석부의 구체적인 구성을 기능 블록으로 도시한 것이고,
도 6은 구매자가 물품을 결제하는 과정에서 발생하는 이벤트를 구분하여 각 이벤트의 발생 조건을 구체적으로 설명한 표이고,
도 7은 도 6에 설명한 각 이벤트의 발생을 무인 결제 시스템을 구성하는 선반의 각 영역에서의 공간 점유율의 변화로 표현한 것이고,
도 8a 내지 도 8c는 실제 3D 뎁쓰 카메라를 이용하여 선반을 촬영한 이미지를 무인 결제와 관련한 이벤트를 구성하는 각 동작마다 구분하여 도시한 것이고,
도 9는 이 명세서에 따른 무인 결제 방법에 대한 동작 흐름도를 도시한 것이고,
도 10은 물품 스캔 이상 여부를 판단하는 방법에 대한 동작 흐름도를 도시한 것이다.

이하, 무인 결제 시스템에 대한 실시예를 첨부하는 도면에 의거하여 상세히 설명한다.

도 1은 무인 결제 시스템을 구성하는 선반의 영역을 도시한 것이고, 도 2는 무인 결제 시스템에서 물품을 스캔하고 결제하는 각 단계에서 구매자의 행동을 도시한 것이고, 도 3a 내지 도 3c는 구매자가 물품을 계산 전 적치 영역(Z1)에서 스캔 영역(Z2)을 거쳐 스캔 후 적치 영역(Z3)에 이동시키는 과정을 도시한 것이다.

구입한 물품을 구매자 스스로 결제하기 위한 결제 시스템은, 구입한 물품을 올려 놓는 제1 영역(Z1), 구입한 물품의 식별 정보, 즉 물품의 포장지에 인쇄된 바코드나 QR 코드를 스캔하는 제2 영역(Z2) 및 식별 정보가 스캔된 물품을 결제가 완료되기 전까지 올려 놓는 제3 영역(Z3)으로 구성되는 선반 및 제2 영역(Z2)에서 물품을 스캔하기 위한 스캐너(SCANNER)를 구매자 인터페이스로 포함한다.

또한, 결제 시스템은, 식별 정보를 스캔한 물품의 이름과 가격을 표시하기 위한 디스플레이와 물품 스캔이 끝난 물품을 결제하기 위한 결제 수단 등을 더 포함할 수 있다.

구매자는, 해당 매장에서 구매한 물품을 무인 결제 시스템을 통해 결제하기 위해 시스템으로 접근하고(Entrance), 도 3a와 같이 구매하기 위해 카트나 바구니에 담은 물품을 선반의 제1 영역(Z1)에 쌓고(Loading), 도 3b와 같이 제1 영역(Z1)에 쌓인 물품을 하나씩 제2 영역(Z2)에 옮겨 물품의 포장지에 인쇄된 바코드 등을 스캐너로 스캔하고(Scanning), 도 3C와 같이 스캔이 완료된 물품을 제3 영역(Z3)에 쌓는다. 구매자는 제1 영역(Z1)에 쌓은 각 물품에 대해 스캔 동작을 반복하여 물품을 모두 스캔하여 제3 영역(Z3)에 쌓으면, 스캔한 물품에 대한 대금을 결제하고, 대금 결제가 완료된 물품을 모두 제 3 영역(Z3)으로부터 바구니나 카트에 옮긴(Unloading) 후 시스템으로부터 퇴장한다(Exit).

무인 결제 시스템이 적발하고자 하는 구매자의 부정 행위는 제1 영역(Z1)에 쌓은 물품을 제2 영역(Z2)에서 스캔하지 않고 제3 영역(Z3)으로 이동하는 것이다. 즉, 구매자가 제1 영역(Z1)에 있는 물품을 아예 스캔하지 않고 바로 제3 영역(Z3)으로 옮기거나 제1 영역(Z1)에 있는 둘 이상의 물건을 동시에 옮기면서 하나 이상의 물건에 대해 스캔을 하지 않고 둘 이상의 물건을 제3 영역(Z3)으로 옮기면서 부정 행위를 할 수 있다.

앞서 설명한 것과 같이, 물품의 중량을 이용하는 시스템이나 카메라로 물품의 이미지로 촬영하는 시스템 모두 이러 저러한 문제가 있어서 실제 시스템에 적용되지 못하고 있다. 특히 최근에 물품의 이미지로 딥 러닝 모델을 학습시켜 이용하려는 시도가 계속되고 있지만, 상품의 종류가 많고 새로운 상품이 꾸준히 유입되는 마트 등에서 물품 인식률이 떨어지고 인식 속도가 낮고, 또한 인식률을 올리고 인식 속도를 높이기 위해서는 고가의 카메라, 서버 등을 사용해야 해서 비용이 매우 증가하기 때문에, 실제 제품으로는 출시되지 못하고 있다.

일반 RBG 카메라는 높은 해상도로 2차원의 영상 데이터를 캡쳐 하고 이를 이미 학습된 인공지능 모델에 입력하므로, 큰 용량의 영상 데이터를 처리해야 하기 때문에, 시스템에 부하가 많이 걸린다.

반면, TOF 카메라나 3D 스테레오 카메라는, 일반 RGB 카메라보다는 해상도가 낮지만, 이미지의 각 포인트까지의 거리 정보를 얻을 수 있기 때문에, 연속되는 포인트의 거리 정보를 이용하여 물품의 면, 모서리, 꼭지점 등의 형상과 관련된 특징을 추출할 수 있고, 이를 근거로 해당 물품이 차지하는 부피를 계산 또는 추정할 수 있다.

이 명세서의 무인 결제 시스템은, 3D 카메라의 특성을 이용하여 물품의 부피를 계산하고, 스캔 이전 물품의 부피 변동과 스캔 이후 물품의 부피 변동의 차이 및 스캔 동작에 동기하여, 물품에 대한 스캔 동작 없이 물품을 반출하는 구매자의 부정 행위를 검출할 수 있다.

무인 결제 시스템은, 구매자가 제1 영역(Z1)에 있는 물품을 옮겨 제3 영역(Z3)에 쌓는 과정을 하나의 이벤트로 관리하고, 제2 영역(Z2)에서의 스캔 동작과 이벤트를 동기하여 구매자의 부정 행위 여부를 판단할 수 있다.

도 4는 이 명세서에 따른 무인 결제 시스템의 구성을 기능 블록으로 도시한 것이고, 도 5는 무인 결제 시스템의 영상 분석부의 구체적인 구성을 기능 블록으로 도시한 것이다.

무인 결제 시스템(1)은, 거리 정보를 포함하는 이미지로 물품을 촬영하고 물품의 바코드를 스캔하고 및 지불 정보를 입력 받기 위한 입력부(10), 입력부(10)가 촬영한 물품에 대해 이미지를 분석하여 물품의 점유 부피를 계산하고 선반에서 물품의 부피의 변동을 검출하고 이를 바코드 스캔과 연계하여 부정 행위에 의한 물품의 도난을 판단하기 위한 제어부(20), 스캔한 물품의 이름과 가격 및 결제할 전체 물품의 가격 등을 화면이나 소리로 출력하기 위한 출력부(30) 및 스캔한 물품의 이름과 가격을 서버에 문의하여 수신하고 지불 정보를 결제 서버에 전송하여 결제 인증에 대한 정보를 받기 위한 통신부(40)를 포함하여 구성될 수 있다.

입력부(10)는, 선반에 놓인 물품을 3D로 촬영하기 위한 카메라(110), 물품을 식별하기 위해 식별 정보를 스캔하기 위한 물품 스캔부(120) 및 구매한 물품에 대한 대금을 지불하기 위한 지불 정보를 입력하기 위한 지불 정보 입력부(130)를 포함하여 구성될 수 있다. 입력부(10)는 무인 결제 시스템(1)을 이용하여 구매 물품에 대한 결제를 진행하는 구매자의 행동을 촬영하기 위한 2D 카메라를 더 포함할 수 있다.

카메라(110)로는 이미지를 구성하는 각 포인트까지의 거리 정보를 2차원의 이미지 데이터와 함께 제공하는 3D 뎁쓰 카메라를 채용할 수 있는데, 3D 스테레오 카메라나 TOF 카메라가 이에 해당할 수 있다.

물품 스캔부(120)는 물품의 포장지나 물품에 인쇄된 식별 정보나 코드, 예를 들어 바코드, QR 코드, 데이터 메트릭스 등을 읽기 위한 장치로, 구매자가 손으로 들고 코드를 스캔하는 형태나 선반의 제2 영역(Z2)의 바닥에 설치되는 형태로 구현될 수 있다. 또는, 물품 스캔부(120)는, RF 신호를 이용할 수도 있는데, RF 신호를 방출하고 방출된 RF 신호에 대응하여 물품이 반사 신호로 RF 신호를 출력하면 이를 물품에 대한 식별 정보로 검출할 수도 있다.

제어부(20)는 카메라(110)가 선반의 제1 내지 제3 영역(Z1, Z2, Z3)을 촬영한 이미지를 분석하여 선반 위에 놓인 물품이 차지하는 점유 부피를 계산하고 물품의 이동에 따른 부피의 변동을 검출하기 위한 영상 분석부(210) 및 영상 분석부(210)가 분석한 물품의 부피 변동을 물품 스캔부(120)과 연계하여 물품이 스캔 없이 선반의 제1 영역(Z1)에서 제3 영역(Z3)이나 구매자의 바구니나 카트로 바로 옮겨지는지 판단하는 스캔 이상 판단부(220)를 포함할 수 있다.

출력부(30)는, 구매자가 물품을 스캔할 때마다 해당 물품의 이름과 가격을 표시하고 전체 물품의 총 결제 가격을 표시하고 물품 스캔에 이상이 발생할 때 이를 알리는 경고 문구를 표시하기 위한 디스플레이(310) 및 물품 스캔에 대응하는 소리를 출력하고 물품 스캔에 이상이 발생할 때 이를 경고하는 소리를 출력하기 위한 스피커(320)를 포함하여 구성될 수 있다.

영상 분석부(210)는, 카메라(110)가 촬영하여 출력하는, 거리 정보를 포함하는, 이미지를 이용하여 선반을 구성하는 각 영역, 즉 제1 내지 제3 영역(Z1, Z2, Z3) 각각에서 물품이 차지하는 점유 부피를 계산하는 부피 계산부(211), 카메라(110)가 출력하는 둘 이상의 이미지를 이용하여 제1 내지 제3 영역(Z1, Z2, Z3)에서 발생하는 움직임을 검출하는 움직임 검출부(212) 및 움직임 검출부(212)에 의해 움직임이 검출될 때 부피 계산부(211)가 출력하는 각 영역에서의 물품의 점유 부피를 근거로 각 영역에서 물품의 점유 부피의 변동을 계산하고 물품의 이동에 해당하는 이벤트인지 결정하고 이벤트를 생성하기 위한 이벤트 생성부(213)를 포함할 수 있다.

도 2와 도 3을 참조하여 설명한 것과 같이, 구매자는, 무인 결제 시스템에 입장하여 물품을 제1 영역(Z1)에 적치하고, 각 물품에 대해 제2 영역(Z2)에서 해당 물품의 바코드나 QR 코드를 스캔한 후 제3 영역(Z3)에 쌓는 동작을 수행하고 제1 영역(Z1)에 있는 마지막 물품까지 이를 반복하고, 제1 영역(Z1)이 빈 상태가 되고 제3 영역(Z3)에 구매한 모든 물품이 쌓이면 신용 카드 등을 이용하여 결제를 하고 결제가 완료되면 제3 영역(Z3)의 물품을 구매자의 바구니나 카트에 옮긴다.

이벤트 생성부(213)는 무인 결제 시스템에서 구매자의 정상적인 행동 패턴에 따라 몇 가지 이벤트를 생성할 수 있는데, 무인 결제 시스템에서 발생하는 이벤트와 관련하여 도 6과 도 7을 참조하여 설명한다.

도 6은 구매자가 물품을 결제하는 과정에서 발생하는 이벤트를 구분하여 각 이벤트의 발생 조건을 구체적으로 설명한 표이고, 도 7은 도 6에 설명한 각 이벤트의 발생을 무인 결제 시스템을 구성하는 선반의 각 영역에서의 공간 점유율의 변화로 표현한 것이다.

구매자의 무인 결제는 구매자가 무인 결제 시스템에 등장하는 등장 이벤트(EVT-E)로 시작할 수 있다. 영상 분석부(210)의 움직임 검출부(212)가 선반 부근에 사람이 등장하여(Entrance) 카메라(110)가 촬영한 영상에서 움직임을 검출하면, 이벤트 생성부(213)는 등장 이벤트(EVT-E)를 생성할 수 있다. 즉, 이벤트 생성부(213)는 선반의 제1 영역(Z1)과 제3 영역(Z3)이 비어 있고 제2 영역(Z2)에는 아무런 변화가 없는 상태에서 선반 바깥에서 움직임이 검출되면, 등장 이벤트(EVT-E)를 생성할 수 있다.

등장 이벤트(EVT-E)가 생성된 상태에서 움직임 검출부(212)가 선반의 제1 영역(Z1)에서 움직임을 검출하고 부피 계산부(211)가 제1 영역(Z1)에서 물품이 차지하는 점유 부피를 계산하되 시간이 경과하면서 점유 부피가 증가하면, 이벤트 생성부(213)는 구매자가 구매한 물품을 선반의 제1 영역(Z1), 즉 스캔 전 영역에 적치하는 동작을 가리키는 로딩 이벤트(EVT-L)를 생성할 수 있다. 이 때, 선반의 제2 영역(Z2)에는 아무런 변화가 없고(No Change) 제3 영역(Z3)은 비어 있는(Empty) 상태여야 한다. 이벤트 생성부(213)는 선반의 제1 영역(Z1)에서 물품의 점유 부피의 증가가 멈출 때까지 로딩 이벤트(EVT-L)를 유지할 수 있다. 로딩 이벤트(EVT-L)가 종료할 때 제1 영역(Z1)에서 계산되는 부피가 구매자가 구매한 물품의 부피에 해당한다. 도 7에서 제1 영역(Z1)에 적치된 전체 물품의 점유 부피는 A에 해당한다.

로딩 이벤트(EVT-L) 진행 중에 선반의 제3 영역(Z3)에 점유 부피가 계산되면, 스캔 이상 판단부(220)는 이를 스캔 이상, 즉 부정 행위로 간주하여 출력부(30)를 통해 경고할 수 있다.

로딩 이벤트(EVT-L)가 진행되는 동안 구매자는 매장에서 선택한 물품들을 담은 바구니나 카트에서 물품을 선반의 제1 영역(Z1)으로 순차적으로 옮기는데, 부피 계산부(211)는 구매자가 바구니로부터 제1 영역(Z1)으로 물품을 옮길 때마다 해당 물품의 부피를 계산할 수 있다.

또한, 부피 계산부(211)는, 로딩 이벤트(EVT-L)가 진행되면서 물품이 제1 영역(Z1)에 순차적으로 쌓이는 동안 제1 영역(Z1)에서의 계산되는 부피의 변동을 고려하여, 로딩 이벤트(EVT-L)가 종료할 때 제1 영역(Z1)에 쌓인 전체 물품의 점유 부피를 계산할 수 있다.

또한, 부피 계산부(211)는, 로딩 이벤트(EVT-L)가 종료할 때 제1 영역(Z1)에 쌓이는 전체 물품의 점유 부피를 계산하되, 로딩 이벤트(EVT-L) 중 물품을 옮기면서 계산한 각 물품의 부피를 이용하여 전체 물품의 점유 부피를 보정할 수 있다. 또한, 부피 계산부(211)는 구매자가 물품을 옮기는 동안 물품의 부피를 계산할 때 물품을 옮기는 구매자의 손의 부피를 고려하여 물품의 점유 부피를 보정할 수 있다.

로딩 이벤트(EVT-L)가 종료된 이후, 구매자는 선반의 제1 영역(Z1)에 쌓인 물품을 순차적으로 제2 영역(Z2)에서 물품 스캐너(120)를 통해 스캔하고 이를 다시 제3 영역(Z3)으로 이동시키는데, 이벤트 생성부(213)는 각 물품을 스캔하여 제3 영역(Z3)으로 이동하는 동작을 스캔 이벤트(EVT-S)로 생성할 수 있다.

스캔 이벤트(EVT-S)에서, 제1 영역(Z1)에 쌓인 물품의 부피는 스캔하는 물품의 부피만큼 감소하고, 제2 영역(Z2)에서는 구매자가 스캐너(120)를 조작하여 물품을 스캔하고 스캔한 물품을 제3 영역(Z3)으로 이동시키므로 부피의 변화가 발생하고(Change), 제3 영역(Z3)에는 새로운 물품이 더해지므로 물품의 부피가 증가한다.

이벤트 생성부(213)는, 카메라(110)가 선반을 촬영하여 출력하는 연속되는 이미지를 이용하여 부피 계산부(211)가 제1 및 제3 영역(Z1, Z3)에서의 계산하는 부피와 움직임 검출부(212)가 제2 영역(Z2)에서 검출하는 움직임을 근거로 스캔 이벤트(EVT-S)로 판정하고, 각 물품의 이동에 대해 스캔 이벤트(EVT-S)를 생성할 수 있다.

도 6과 도 7에서 첫 번째 물품의 스캔에 대해 스캔1 이벤트(EVT-S1)가 생성되고 마지막 물품의 스캔에 대해 스캔F 이벤트(EVT-SF)가 생성되는데, 스캔F 이벤트(EVT-SF)의 결과로 제3 영역(Z3)의 물품의 점유 부피(A)는, 로딩 이벤트(EVT-L) 이후 제1 영역(Z1)의 물품의 점유 부피(A)와 같거나 소정의 기준 값 이하의 차이가 되어야 한다.

스캔 이벤트(EVT-S1 ~ EVT-SF)가 진행되는 동안, 도 7에 도시한 것과 같이, 제1 영역(Z1)에서 물품의 점유 부피는 계단 형태로 감소하고, 제2 영역(Z2)에서는 스캔이 진행되는 동안 잠깐 부피가 감지되고, 제3 영역(Z3)에서는 물품의 점유 부피가 계산 형태로 증가한다.

스캔 이벤트(EVT-S1 ~ EVT-SF)가 진행되는 동안, 즉 제1 영역(Z1)에서 부피가 줄고 제3 영역(Z3)에서 부피가 증가하지만, 물품 스캔부(120)에서 바코드나 QR 코드와 같은 해당 물품의 식별 정보의 입력이 없어 아무런 출력이 발생하지 않으면, 스캔 이상 판단부(220)는 구매자가 결제를 위한 물품 스캔 동작을 하지 않고 물품을 스캔 이후의 공간, 즉 제3 영역(Z3)으로 이동시킨 것으로 간주하고, 스캔 이상 또는 구매자의 부정 행위로 판단하여 출력부(30)를 통해 경고 메시지나 경고음을 출력할 수 있다.

또한, 스캔 이상 판단부(220)는, 각 스캔 이벤트 이후 제1 및 제3 영역(Z1, Z3)에서의 부피 변동의 차이, 즉 제1 영역(Z1)에서의 부피 감소와 제3 영역(Z3)에서의 부피 증가의 차이가 기준 값 이상일 때도, 스캔 이상 또는 구매자의 부정 행위로 판단하여 출력부(30)를 통해 경고 메시지나 경고음을 출력할 수 있다.

마지막 스캔 이벤트(EVT-SF)가 종료된 후, 구매자가 지불 정보 입력부(130)에 신용 카드나 스마트 폰의 NFC 기능을 이용하여 결제를 진행하여 결제 서버로부터 결제가 인증되면, 무인 결제 시스템(1)은 결제 완료를 알리는 내용을 출력부(30)에 출력하고 또한 프린터(미도시)를 통해 종이로 출력하거나 구매자의 스마트 폰에 결제 내용을 메시지로 전달할 수 있다.

이후 구매자가 제3 영역(Z3)에 쌓인 물품을 바구니나 카트에 옮기는 언로딩 동작을 수행하면, 이벤트 생성부(213)는 언로딩 이벤트(EVT-U)를 생성한다. 이벤트 생성부(213)는 부피 계산부(211)과 움직임 검출부(212)로부터 제1 영역(Z1)의 점유 부피가 없고(Empty) 제2 영역(Z2)에 변화가 없고 제3 영역(Z3)의 점유 부피가 줄어드는 것을 확인하고 언로딩 이벤트(EVT-U)를 생성하되, 제3 영역(Z3)에서 점유 부피가 없어질 때까지 언로딩 이벤트(EVT-U)를 유지할 수 있다.

이후 이벤트 생성부(213)는, 움직임 검출부(212)를 통해 구매자가 카메라(110)가 출력하는 이미지에서 사라지는 것(Exit)을 검출할 때, 퇴장 이벤트(EVT-X)를 생성하여, 한 명의 구매자에 의한 물품의 결제 절차를 마무리할 수 있다.

도 8a 내지 도 8c는 실제 3D 뎁쓰 카메라를 이용하여 선반을 촬영한 이미지를 무인 결제와 관련한 이벤트를 구성하는 각 동작마다 구분하여 도시한 것이다.

도 8a에서는 구매자가 2개의 물품을 제1 영역(Z1)에 놓고 있고, 도 8b에서는 구매자가 제1 영역(Z1)에 있는 물품 중에서 하나를 제2 영역(Z2)으로 옮겨 바코드 스캔 동작을 수행하고 있고, 도 8c에서는 구매자가 스캔이 완료된 물품을 제3 영역(Z3)에 옮기고 있다.

3D 뎁쓰 카메라(110)는 촬영하는 이미지를 구성하는 각 포인트까지의 거리 정보를 제공한다. 도 8a 내지 도 8c에서는 카메라(110)는 촬영한 이미지를 재구성하여 표시하고 있는데, 고정된 배경에 대해서는 거리와 관련된 정보를 이미지에 표시하지 않고, 배경과 분리된 객체에 대해서만 등고선이나 격자 형태로 거리 정보를 표시하고 있다.

영상 분석부(210)는, 3D 뎁쓰 카메라(110)가 출력하는 이미지에서 배경과 분리되는 대상에 대한 거리 정보를 이용하여, 대상의 형상과 관련된 특징을 추출하고 이를 이용하여 해당 대상의 부피를 계산할 수 있다.

도 9는 이 명세서에 따른 무인 결제 방법에 대한 동작 흐름도를 도시한 것이다.

카메라(110)이 무인 결제 시스템의 선반을 촬영한 이미지를 출력하면, 제어부(20)의 영상 분석부(210)(이후 편의를 고려하여 영상 분석부(210)나 스캔 이상 판단부(220)의 동작은 제어부(20)가 동작하는 것으로 설명함)는 선반의 제1 내지 제3 영역(Z1, Z2, Z3)의 이미지를 분석한다(S910).

제어부(20)는, 카메라(110)가 출력하는 이미지에 포함된 거리 정보를 이용하여 제1 내지 제3 영역(Z1, Z2, Z3)에서 물품의 점유 부피를 계산한다(S920).

제어부(20)는, 제1 내지 제3 영역(Z1, Z2, Z3)에서 점유 부피의 변동이 있는지 여부를 확인한다(S930).

제어부(20)는, 제1 내지 제3 영역(Z1, Z2, Z3)에서 점유 부피의 변동이 있으면(S930에서 YES), 각 영역에서의 점유 변동에 대응하는 이벤트를 생성 또는 설정하는데(S940), 도 6과 도 7을 참조하여 설명하였듯이 제1 내지 제3 영역(Z1, Z2, Z3)에서 점유 부피의 조건에 따라 등장 이벤트(EVT-E), 로딩 이벤트(EVT-L), 스캔 이벤트(EVT-S), 언로딩 이벤트(EVT-U), 및 퇴장 이벤트(EVT-X) 중 하나를 생성할 수 있다.

제어부(20)는, 설정되거나 생성된 이벤트를 물품 스캔부(120)에서의 물품 스캔 동작과 연계하여 물품 스캔에 이상이 있는지 여부를 판단하고 물품 스캔에 이상이 있을 때 출력부(30)를 통해 알릴 수 있다(S950).

제어부(20)는, 제1 영역(Z1)의 점유 부피가 0인지 확인하여 물품 스캔이 종료되었는지 판단하고(S960), 물품 스캔이 종료되었다고 판단하면(S960에서 YES) 구매자가 결제를 진행하도록 안내할 수 있다(S970).

도 10은 물품 스캔 이상 여부를 판단하는 방법에 대한 동작 흐름도를 도시한 것으로, 도 10은 스캔 이벤트(EVT-S) 때 발생하는 스캔 이상에 대한 동작을 설명한다.

제어부(20)는 스캔 이벤트(EVT-S)가 진행되는 동안 물품 스캔부(120)를 통한 물품의 식별 정보를 스캔하는 동작이 있었는지 확인한다(S1010).

스캔 이벤트(EVT-S)는 제1 영역(Z1)의 점유 부피가 감소하고 제3 영역(Z3)의 점유 부피가 증가할 때 설정 또는 생성되는데, 해당 스캔 이벤트(EVT-S) 때 물품 스캔이 발생하지 않으면(S1010에서 NO), 제어부(20)는 물품 스캔 이상 또는 구매자의 부정 행위로 판단하고 이를 경고하는 메시지나 경고음을 출력부(30)를 통해 출력할 수 있다(S1040).

제어부(20)는, 스캔 이벤트(EVT-S) 때 물품 스캔이 발생하는 경우에도(S1010에서 YES), 스캔 이벤트 이후 제1 및 제3 영역(Z1, Z3)에서의 부피 변동의 차이, 즉 제1 영역(Z1)에서의 부피 감소와 제3 영역(Z3)에서의 부피 증가의 차이가 기준 값 이상인지 여부를 확인한다(S1020).

제1 및 제3 영역(Z1, Z3)에서의 부피 변동의 차이가 기준 값 이상일 때(S1020에서 YES), 제어부(20)는 물품 스캔 이상 또는 구매자의 부정 행위로 판단하고 이를 경고하는 메시지나 경고음을 출력부(30)를 통해 출력할 수 있다(S1040).

제1 및 제3 영역(Z1, Z3)에서의 부피 변동의 차이가 기준 값보다 작을 때(S1020에서 NO), 제어부(20)는 물품 스캔이 정상적으로 이루어졌다고 판단하고 다음 이벤트로 진행할 수 있다.

이와 같이 무인 결제 시스템에 3D 카메라를 적용하여 물품의 점유 부피를 계산하고, 점유 부피의 변동과 스캔 동작을 연계하여 구매자가 물품 스캔 없이 물품을 반출하는 부정 행위를 효과적을 적발할 수 있게 된다.

2D 카메라를 사용하고 학습 모델을 적용하는 시스템에 비해 적은 비용으로 구현할 수 있고, 또한 물품마다 사전 학습을 할 필요가 없어서 현장에 바로 적용할 수 있다.

이 명세서에 기재된 무인 결제 시스템 및 무인 결제 방법은 아래와 같이 설명될 수 있다.

일 실시예에 따른 무인 결제 시스템은, 물품과 관련된 식별 정보를 입력하기 위한 물품 스캔부; 식별 정보의 입력 전의 물품이 놓이는 제1 영역, 식별 정보의 입력이 이루어지는 제2 영역 및 식별 정보의 입력 후의 물품이 놓이는 제3 영역으로 구성되는 선반을 촬영하여 거리 정보를 포함하는 이미지를 출력하기 위한 3D 카메라; 물품 스캔부가 출력하는 식별 정보를 서버에 전송하고 해당 물품에 대한 가격과 이름을 포함하는 물품 정보를 수신하기 위한 통신부; 및 이미지를 근거로 선반의 제1 내지 제3 영역에 놓이는 하나 이상의 물품의 점유 부피를 계산하고, 제1 내지 제3 영역에서 하나 이상의 물품의 점유 부피의 변동과 물품 스캔부를 통한 물품에 대한 식별 정보 입력을 근거로 물품 스캔의 이상 여부를 판단하기 위한 제어부를 포함하여 구성될 수 있다.

일 실시예에서, 제어부는, 제1 영역이 빈 공간에서 물품으로 채워지고 제2 영역에서 식별 정보의 입력이 없고 제3 영역이 빈 공간인 상황을 로딩 이벤트로 생성하고, 제1 영역에서 물품의 점유 부피가 줄고 제2 영역에서 부피 변동이 발생하고 제3 영역에서 물품의 점유 부피가 증가하는 상황을 스캔 이벤트로 생성하고, 제1 영역이 빈 공간이고 제2 영역에서 부피 변동이 없고 제3 영역에 있는 물품이 비워지는 상황을 언로딩 이벤트로 생성할 수 있다.

일 실시예에서, 제어부는, 스캔 이벤트에 식별 정보의 입력이 없으면 물품 스캔에 이상이 있다고 판단할 수 있다.

일 실시예에서, 제어부는 스캔 이벤트에 제1 영역에서의 점유 부피의 변동과 제3 영역에서의 점유 부피의 변동의 차이가 기준 값 이상일 때 물품 스캔에 이상이 있다고 판단할 수 있다.

일 실시예에서, 제어부는 로딩 이벤트가 진행하는 동안 제1 영역에서 촬영되는 이미지의 변동을 근거로 구매자가 구매한 전체 물품의 점유 부피를 계산할 수 있다.

일 실시예에서, 제어부는, 로딩 이벤트가 진행하는 동안 순차적으로 제1 영역으로 이동하는 각 물품의 점유 부피를 계산하고, 로딩 이벤트 종료된 이후 제1 영역에서 촬영되는 이미지를 근거로 계산한 전체 물품의 점유 부피를 계산된 각 물품의 점유 부피의 합을 이용하여 보정할 수 있다.

일 실시예에서, 식별 정보는, 물품의 표면에 표시되는 바코드 또는 QR 코드 및 물품 스캔부에서 방사되는 RF 신호에 대한 응답으로 물품이 출력하는 RF 신호 중 하나로부터 검출될 수 있다.

일 실시예에서, 구매한 물품의 대금 지불을 위한 지불 정보를 입력하기 위한 지불 정보 입력부; 및 구매자가 물품 스캔부를 통해 식별 정보를 입력한 물품에 대한 가격과 물품 정보를 표시하고 제어부로부터 전송되는 물품 스캔의 이상을 알리는 경고를 화면이나 소리로 출력하기 위한 출력부를 더 포함하고, 통신부는 지불 정보 입력부를 통해 입력되는 지불 정보를 지불 서버에 전송하고 지불 서버로부터 지불 정보에 대응하여 지불 확인 정보를 수신할 수 있다.

다른 실시예에 따른 무인 결제 방법은, 식별 정보 입력 전의 물품이 놓이는 제1 영역, 식별 정보의 입력이 이루어지는 제2 영역 및 식별 정보의 입력 후의 물품이 놓이는 제3 영역으로 구성되는 선반을 촬영하여 거리 정보를 포함하도록 출력되는 이미지를 분석하는 단계; 이미지 분석을 통해 제1 내지 제3 영역에서 물품의 점유 부피를 계산하는 단계; 및 제1 내지 제3 영역 중 적어도 하나의 영역에서 물품의 점유 부피에 변동이 발생할 때, 점유 부피의 변동과 물품 스캔부를 통한 물품에 대한 식별 정보 입력을 근거로 물품 스캔의 이상 여부를 판단하는 단계를 포함하여 이루어질 수 있다.

일 실시예에서, 무인 결제 방법은, 제1 영역이 빈 공간에서 물품으로 채워지고 제2 영역에서 식별 정보의 입력이 없고 제3 영역이 빈 공간인 상황을 로딩 이벤트로 생성하고, 제1 영역에서 물품의 점유 부피가 줄고 제2 영역에서 부피 변동이 발생하고 제3 영역에서 물품의 점유 부피가 증가하는 상황을 스캔 이벤트로 생성하고, 제1 영역이 빈 공간이고 제2 영역에서 부피 변동이 없고 제3 영역에 있는 물품이 비워지는 상황을 언로딩 이벤트로 생성하는 단계를 더 포함하여 이루어질 수 있다.

일 실시예에서, 판단하는 단계는 스캔 이벤트에 식별 정보의 입력이 없으면 물품 스캔에 이상이 있다고 판단할 수 있다.

일 실시예에서, 판단하는 단계는 스캔 이벤트에 제1 영역에서의 점유 부피의 변동과 제3 영역에서의 점유 부피의 변동의 차이가 기준 값 이상일 때 물품 스캔에 이상이 있다고 판단할 수 있다.

일 실시예에서, 계산하는 단계는 로딩 이벤트가 진행하는 동안 제1 영역에서 촬영되는 이미지의 변동을 근거로 구매자가 구매한 전체 물품의 점유 부피를 계산할 수 있다.

일 실시예에서, 계산하는 단계는, 로딩 이벤트가 진행하는 동안 순차적으로 제1 영역으로 이동하는 각 물품의 점유 부피를 계산하고, 로딩 이벤트 종료된 이후 제1 영역에서 촬영되는 이미지를 근거로 계산한 전체 물품의 점유 부피를 계산된 각 물품의 점유 부피의 합을 이용하여 보정할 수 있다.

일 실시예에서, 무인 결제 방법은, 스캔 이벤트 때 물품 스캔부를 통해 식별 정보가 입력된 물품에 대한 가격과 물품 정보를 표시하는 단계; 물품 스캔에 이상이 발생하였다고 판단되었을 때 이를 화면이나 소리로 출력하는 단계; 및 물품 스캔에 이상이 발생하지 않은 상태로 제1 영역이 빈 영역으로 바뀔 때, 결제를 진행하는 단계를 더 포함하여 이루어질 수 있다.

본 발명은 기재된 실시예들에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서, 그러한 수정예 또는 변형예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이다.

1: 무인 결제 시스템 10: 입력부
20: 제어부 30: 출력부
40: 통신부 110: 카메라
120: 물품 스캔부 130: 지불 정보 입력부
210: 영상 분석부 211: 부피 계산부
212: 움직임 검출부 213: 이벤트 생성부
220: 스캔 이상 판단부 310: 디스플레이
320: 스피커

Claims

물품과 관련된 식별 정보를 입력하기 위한 물품 스캔부;
상기 식별 정보의 입력 전의 물품이 놓이는 제1 영역, 상기 식별 정보의 입력이 이루어지는 제2 영역 및 상기 식별 정보의 입력 후의 물품이 놓이는 제3 영역으로 구성되는 선반을 촬영하여 거리 정보를 포함하는 이미지를 출력하기 위한 3D 카메라;
상기 물품 스캔부가 출력하는 식별 정보를 서버에 전송하고 해당 물품에 대한 가격과 이름을 포함하는 물품 정보를 수신하기 위한 통신부; 및
상기 이미지를 근거로 상기 선반의 제1 내지 제3 영역에 놓이는 하나 이상의 물품의 점유 부피를 계산하고, 상기 제1 내지 제3 영역에서 상기 하나 이상의 물품의 점유 부피의 변동과 상기 물품 스캔부를 통한 물품에 대한 식별 정보 입력을 근거로 상기 물품 스캔의 이상 여부를 판단하기 위한 제어부를 포함하여 구성되는 무인 결제 시스템.
제1 항에 있어서,
상기 제어부는, 상기 제1 영역이 빈 공간에서 물품으로 채워지고 상기 제2 영역에서 상기 식별 정보의 입력이 없고 상기 제3 영역이 빈 공간인 상황을 로딩 이벤트로 생성하고, 상기 제1 영역에서 물품의 점유 부피가 줄고 상기 제2 영역에서 부피 변동이 발생하고 상기 제3 영역에서 물품의 점유 부피가 증가하는 상황을 스캔 이벤트로 생성하고, 상기 제1 영역이 빈 공간이고 상기 제2 영역에서 부피 변동이 없고 상기 제3 영역에 있는 물품이 비워지는 상황을 언로딩 이벤트로 생성하는 것을 특징으로 하는 무인 결제 시스템.
제2 항에 있어서,
상기 제어부는, 상기 스캔 이벤트에 상기 식별 정보의 입력이 없으면 상기 물품 스캔에 이상이 있다고 판단하는 것을 특징으로 하는 무인 결제 시스템.
제2 항에 있어서,
상기 제어부는 상기 스캔 이벤트에 상기 제1 영역에서의 점유 부피의 변동과 상기 제3 영역에서의 점유 부피의 변동의 차이가 기준 값 이상일 때 상기 물품 스캔에 이상이 있다고 판단하는 것을 특징으로 하는 무인 결제 시스템.
제2 항에 있어서,
상기 제어부는 상기 로딩 이벤트가 진행하는 동안 상기 제1 영역에서 촬영되는 이미지의 변동을 근거로 구매자가 구매한 전체 물품의 점유 부피를 계산하는 것을 특징으로 하는 무인 결제 시스템.
제5 항에 있어서,
상기 제어부는, 상기 로딩 이벤트가 진행하는 동안 순차적으로 상기 제1 영역으로 이동하는 각 물품의 점유 부피를 계산하고, 상기 로딩 이벤트 종료된 이후 상기 제1 영역에서 촬영되는 이미지를 근거로 계산한 상기 전체 물품의 점유 부피를 상기 계산된 각 물품의 점유 부피의 합을 이용하여 보정하는 것을 특징으로 하는 무인 결제 시스템.
제1 항에 있어서,
상기 식별 정보는, 물품의 표면에 표시되는 바코드 또는 QR 코드 및 상기 물품 스캔부에서 방사되는 RF 신호에 대한 응답으로 물품이 출력하는 RF 신호 중 하나로부터 검출되는 것을 특징으로 하는 무인 결제 시스템.
제1 항에 있어서,
구매한 물품의 대금 지불을 위한 지불 정보를 입력하기 위한 지불 정보 입력부; 및
구매자가 상기 물품 스캔부를 통해 식별 정보를 입력한 물품에 대한 가격과 물품 정보를 표시하고 상기 제어부로부터 전송되는 물품 스캔의 이상을 알리는 경고를 화면이나 소리로 출력하기 위한 출력부를 더 포함하고,
상기 통신부는 상기 지불 정보 입력부를 통해 입력되는 지불 정보를 지불 서버에 전송하고 상기 지불 서버로부터 상기 지불 정보에 대응하여 지불 확인 정보를 수신하는 것을 특징으로 하는 무인 결제 시스템.
식별 정보 입력 전의 물품이 놓이는 제1 영역, 상기 식별 정보의 입력이 이루어지는 제2 영역 및 상기 식별 정보의 입력 후의 물품이 놓이는 제3 영역으로 구성되는 선반을 촬영하여 거리 정보를 포함하도록 출력되는 이미지를 분석하는 단계;
상기 이미지 분석을 통해 상기 제1 내지 제3 영역에서 물품의 점유 부피를 계산하는 단계; 및
상기 제1 내지 제3 영역 중 적어도 하나의 영역에서 물품의 점유 부피에 변동이 발생할 때, 상기 점유 부피의 변동과 물품 스캔부를 통한 물품에 대한 식별 정보 입력을 근거로 상기 물품 스캔의 이상 여부를 판단하는 단계를 포함하여 이루어지는 무인 결제 방법.
제9 항에 있어서,
상기 제1 영역이 빈 공간에서 물품으로 채워지고 상기 제2 영역에서 상기 식별 정보의 입력이 없고 상기 제3 영역이 빈 공간인 상황을 로딩 이벤트로 생성하고, 상기 제1 영역에서 물품의 점유 부피가 줄고 상기 제2 영역에서 부피 변동이 발생하고 상기 제3 영역에서 물품의 점유 부피가 증가하는 상황을 스캔 이벤트로 생성하고, 상기 제1 영역이 빈 공간이고 상기 제2 영역에서 부피 변동이 없고 상기 제3 영역에 있는 물품이 비워지는 상황을 언로딩 이벤트로 생성하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 무인 결제 방법.
제10 항에 있어서,
상기 판단하는 단계는, 상기 스캔 이벤트에 상기 식별 정보의 입력이 없으면 상기 물품 스캔에 이상이 있다고 판단하는 것을 특징으로 하는 무인 결제 방법.
제10 항에 있어서,
상기 판단하는 단계는, 상기 스캔 이벤트에 상기 제1 영역에서의 점유 부피의 변동과 상기 제3 영역에서의 점유 부피의 변동의 차이가 기준 값 이상일 때 상기 물품 스캔에 이상이 있다고 판단하는 것을 특징으로 하는 무인 결제 방법.
제10 항에 있어서,
상기 계산하는 단계는, 상기 로딩 이벤트가 진행하는 동안 상기 제1 영역에서 촬영되는 이미지의 변동을 근거로 구매자가 구매한 전체 물품의 점유 부피를 계산하는 것을 특징으로 하는 무인 결제 방법.
제13 항에 있어서,
상기 계산하는 단계는, 상기 로딩 이벤트가 진행하는 동안 순차적으로 상기 제1 영역으로 이동하는 각 물품의 점유 부피를 계산하고, 상기 로딩 이벤트 종료된 이후 상기 제1 영역에서 촬영되는 이미지를 근거로 계산한 상기 전체 물품의 점유 부피를 상기 계산된 각 물품의 점유 부피의 합을 이용하여 보정하는 것을 특징으로 하는 무인 결제 방법.
제9 항에 있어서,
상기 스캔 이벤트 때 상기 물품 스캔부를 통해 식별 정보가 입력된 물품에 대한 가격과 물품 정보를 표시하는 단계;
상기 물품 스캔에 이상이 발생하였다고 판단되었을 때 이를 화면이나 소리로 출력하는 단계; 및
상기 물품 스캔에 이상이 발생하지 않은 상태로 상기 제1 영역이 빈 영역으로 바뀔 때, 결제를 진행하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 무인 결제 방법.