KR102581701B1 - 매장의 결제 서비스를 제공하는 전자 장치 및 방법 - Google Patents
매장의 결제 서비스를 제공하는 전자 장치 및 방법 Download PDFInfo
- Publication number
- KR102581701B1 KR102581701B1 KR1020230050004A KR20230050004A KR102581701B1 KR 102581701 B1 KR102581701 B1 KR 102581701B1 KR 1020230050004 A KR1020230050004 A KR 1020230050004A KR 20230050004 A KR20230050004 A KR 20230050004A KR 102581701 B1 KR102581701 B1 KR 102581701B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- trigger
- product
- data
- processor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000003993 interaction Effects 0.000 claims description 69
- 230000008859 change Effects 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 description 14
- 230000036544 posture Effects 0.000 description 11
- 238000013480 data collection Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/14—Payment architectures specially adapted for billing systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G3/00—Weighing apparatus characterised by the use of elastically-deformable members, e.g. spring balances
- G01G3/12—Weighing apparatus characterised by the use of elastically-deformable members, e.g. spring balances wherein the weighing element is in the form of a solid body stressed by pressure or tension during weighing
- G01G3/14—Weighing apparatus characterised by the use of elastically-deformable members, e.g. spring balances wherein the weighing element is in the form of a solid body stressed by pressure or tension during weighing measuring variations of electrical resistance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/203—Inventory monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0639—Item locations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 매장의 결제 서비스를 제공하는 전자 장치 및 방법을 개시한다. 상기 매장의 결제 서비스를 제공하는 전자 장치는, 프로세서 및 메모리를 포함하고, 메모리는, 실행되었을 때 프로세서로 하여금: 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터 각각에 대해, 복수의 2차원 포즈 데이터를 생성하고, 복수의 2차원 포즈 데이터 각각을 결합하여, 3차원 포즈 데이터를 생성하고, 3차원 포즈 데이터를 트래킹하는 트래킹 데이터를 생성하고, 트리거 시점 및 트리거가 발생된 위치를 포함하는 트리거 데이터를 식별하고, 트리거 시점 및 트리거가 발생된 상기 위치 중 적어도 하나에 기반하여, 트리거와 관련된 복수의 상품 중 적어도 어느 하나를 식별하고, 트리거 시점을 포함하는 제1 시간 구간에 대응되는 상기 트래킹 데이터의 제1 트래킹 데이터를 식별하고, 제1 트래킹 데이터에 기반하여 사용자 후보군을 식별하고, 사용자 후보군에 대해 제1 신뢰도를 계산하고, 제1 신뢰도에 기반하여, 트리거와 관련된 사용자가 제1 사용자임을 식별하고, 제1 사용자의 가상 장바구니에 대해 트리거와 관련한 업데이트를 수행한다.
Description
본 발명은 매장의 결제 서비스를 제공하는 전자 장치 및 방법에 관한 것으로, 구체적으로 무인 결제 서비스를 제공하는 매장에서 무인 결제 서비스를 제공하는 전자 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 무인 매장의 수가 증가함에 따라 결제 무인화가 필수적으로 요구되고 있다. 결제 무인화를 위해, 매장을 이용하는 어떤 사용자가 어떤 상품을 구매하려 하는지에 대한 파악이 중요하다.
어떤 사용자가 어떤 상품을 구매하고자 하는지 파악하기 위해, 특수 카메라(예: LiDAR 또는 Depth camera)를 이용하여 사용자 및 상품을 식별하는 경우, 특수 카메라에서 얻은 결과인 이미지에만 의존하여 파악의 정확도가 낮을 수 있고, 특수 카메라로 인해 높은 비용이 요구되어 경제적이지 않은 문제점이 있을 수 있다.
또한, 어떤 사용자가 어떤 상품을 구매하고자 하는지 파악하기 위해, 범용 카메라(예: RGB 카메라)를 이용하여 사용자 및 상품을 식별하는 경우, 카메라에 대한 비용적인 측면에서는 효율적일 수 있으나, 결과에 대한 정확도가 낮아 일반 카메라를 이용한 판단 결과에 대해 사람이 추가적으로 체크해야 하는 경우가 생길 수도 있다.
따라서, 범용 카메라를 이용하면서도 어떤 사용자가 어떤 상품을 구매하고자 하는지 파악한 결과에 대한 정확도를 향상시킬 수 있는 기술에 대한 니즈가 존재하였다.
본 발명의 목적은, 무인 매장에서 어떤 사용자가 어떤 상품을 구매하고자 하는지 파악한 결과에 대한 정확도를 향상시킬 수 있는 매장의 결제 서비스를 제공하는 전자 장치 및 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치에 있어서, 프로세서 및 상기 프로세서에 작동적으로(operatively) 연결된 메모리를 포함하고, 상기 메모리는, 실행되었을 때 상기 프로세서로 하여금: 상기 매장 내의 복수의 이미지 센서로부터 복수의 이미지 데이터를 수신하고, 상기 복수의 이미지 데이터에 적어도 하나의 사용자가 포함된 것에 기반하여, 상기 복수의 이미지 데이터 각각에 대해, 상기 적어도 하나의 사용자 각각의 관절 위치 및 상기 적어도 하나의 사용자 각각의 자세를 추정한, 복수의 2차원 포즈 데이터를 생성하고, 상기 복수의 2차원 포즈 데이터 각각을 결합하여, 상기 적어도 하나의 사용자 각각에 대해 매칭되는, 상기 적어도 하나의 사용자 각각에 대한 3차원 포즈 데이터를 생성하여, 상기 매장 내에서 상기 적어도 하나의 사용자 각각의 움직임에 따라 상기 적어도 하나의 사용자 각각에 대한 상기 3차원 포즈 데이터를 트래킹하는 트래킹 데이터를 생성하고, 상기 매장에 진열된 복수의 상품 중 적어도 어느 하나가 선반으로부터 제거되거나 상기 선반에 추가되는 트리거가 발생된 트리거 시점, 및 상기 트리거가 발생된 위치를 포함하는 트리거 데이터를 식별하고, 상기 트리거 시점 및 상기 트리거가 발생된 상기 위치 중 적어도 하나에 기반하여, 상기 트리거와 관련된 상기 복수의 상품 중 적어도 어느 하나를 식별하고, 상기 트리거 시점을 포함하는 제1 시간 구간에 대응되는 상기 트래킹 데이터의 제1 트래킹 데이터를 식별하고, 상기 제1 트래킹 데이터에 기반하여 상기 적어도 하나의 사용자 중 적어도 일부에 대해 사용자 후보군을 식별하고, 상기 사용자 후보군에 포함된 상기 적어도 일부의 사용자 각각에 대해, 제1 신뢰도를 계산하고, 상기 제1 신뢰도에 기반하여, 상기 트리거와 관련된 사용자가 제1 사용자임을 식별하고, 상기 제1 사용자의 가상 장바구니에 대해 상기 트리거와 관련한 업데이트를 수행하도록 하는 인스트럭션들(instructions)을 저장한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 트리거와 관련된 상기 선반에 대한 선반 이미지 데이터로, 상기 트리거 시점에서의 상기 선반 이미지 데이터를 식별하고, 상기 제1 시간 구간에서, 상기 사용자 후보군과 관련된 상품 검출 이미지 데이터를 식별하고, 상기 선반 이미지 데이터, 상기 상품 검출 이미지 데이터 및 상기 트리거가 발생된 상기 위치 중 적어도 하나에 기반하여, 상기 트리거와 관련된 상기 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 제1 사용자 식별 방식 및 제2 사용자 식별 방식 중 적어도 하나를 이용하여, 상기 제1 사용자를 식별하고, 상기 제1 사용자 식별 방식은, 상기 제1 트래킹 데이터에 기반하여, 상기 트리거와 관련된 상기 선반에 접근하였는지 여부를 기준으로 상기 사용자 후보군을 식별하고, 상기 제2 사용자 식별 방식은, 상기 제1 트래킹 데이터에서 상기 복수의 상품 중 적어도 하나와 상호작용한 제1 상호작용 정보를 식별하고, 상기 제1 상호작용 정보에 기반하여 상기 사용자 후보군을 식별한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 선반 상에 상기 제1 상품이 진열되는 제1 플레이트에 연결된 제1 무게 센서와 제2 상품이 진열되는 제2 플레이트에 연결된 제2 무게 센서 중 상기 제1 무게 센서에 의해 탐지된 무게 변화를 더 포함하는 상기 트리거 데이터를 식별하고, 상기 트리거가 발생된 상기 위치인 상기 제1 무게 센서의 위치, 및 상기 제1 플레이트에 대한 이미지를 포함하는 선반 이미지 데이터 중 적어도 하나에 기반하여, 상기 트리거와 관련된 상기 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 제1 상품이 진열되는 제1 플레이트 및 제2 상품이 진열되는 제2 플레이트를 포함하는 상기 선반과 연결된 무게 센서에 의해 탐지된 무게 변화와, 상기 복수의 이미지 데이터에 기반한 제2 상호작용 정보 중 적어도 하나를 더 포함하는 상기 트리거 데이터를 식별하고, 상기 제1 사용자 식별 방식이 이용되는 경우, 상기 제1 트래킹 데이터 및 상기 트리거 데이터를 기초로, 상기 사용자 후보군을 식별하고, 상기 제2 사용자 식별 방식이 이용되는 경우, 상기 적어도 하나의 사용자 각각이 들고 있는 상기 복수의 상품 중 적어도 하나의 종류 및 개수를 식별한 결과와, 상기 복수의 상품 중 적어도 하나의 종류 및 상기 개수가 변화하였는지 여부를 포함하는 상기 제1 상호작용 정보에 기반하여, 상기 사용자 후보군을 식별하도록 한다.
또한, 상기 선반 이미지 데이터는, 제2 시간 구간의 시작 시점에서의 제1 선반 이미지 데이터와 상기 제2 시간 구간의 종료 시점에서의 제2 선반 이미지 데이터를 포함하고, 상기 인스트럭션들은, 상기 프로세서가, 제1 상품 식별 방식 및 제2 상품 식별 방식 중 적어도 하나를 이용하여, 상기 제1 상품을 식별하고, 상기 제1 상품 식별 방식은, 상기 무게 센서에 의해 탐지된 상기 무게 변화, 및 상기 제1 선반 이미지 데이터와 상기 제2 선반 이미지 데이터의 비교 결과 중 적어도 하나에 기반하여, 상품 변화 위치를 추정하고, 상기 상품 변화 위치 및 상기 무게 변화에 기반하여, 상기 제1 상품 및 상기 제2 상품 각각에 대한 제2 신뢰도를 계산하고, 상기 제2 신뢰도에 기반하여 상기 복수의 상품 중 적어도 어느 하나가 상기 제1 상품을 포함하는 것을 식별하도록 하고, 상기 제2 상품 식별 방식은, 상기 상품 검출 이미지 데이터에 기반하여 상기 사용자 후보군 각각이 들고 있는 상품의 종류 및 개수를 식별한 결과와, 상기 비교 결과 중 적어도 하나에 기반하여, 상품 변화 여부를 추정하고, 상기 상품 변화 여부에 기반하여, 상기 제1 상품 및 상기 제2 상품 각각에 대한 상기 제2 신뢰도를 계산하고, 상기 제2 신뢰도에 기반하여 상기 복수의 상품 중 적어도 어느 하나가 상기 제1 상품을 포함하는 것을 식별한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 복수의 이미지 데이터에 기반하여, 상기 선반과 상기 적어도 하나의 사용자 중 상기 적어도 일부와 상호작용이 발생한 경우 상기 상호작용의 시점, 상기 상호작용이 발생된 위치 및 상기 상호작용의 주체인 상기 제1 사용자에 대한 정보를 포함하는 제3 상호작용 정보 식별하여, 상기 제3 상호작용 정보를 더 포함하는 트리거 데이터를 식별하고, 상기 제1 사용자 식별 방식이 이용되는 경우, 상기 트리거 데이터의 상기 제3 상호작용 정보에 기반하여 상기 사용자 후보군을 식별하고, 상기 제2 사용자 식별 방식이 이용되는 경우, 상기 제3 상호작용 정보에 기반하여, 상기 제1 트래킹 데이터에서 상기 제1 상호작용 정보를 식별하고, 상기 제1 상호작용 정보에 기반하여 상기 사용자 후보군을 식별하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 제1 상품 식별 방식 및 제2 상품 식별 방식 중 적어도 하나를 이용하여, 상기 제1 상품을 식별하고, 상기 제1 상품 식별 방식은, 제2 시간 구간의 시작 시점에서의 제1 선반 이미지 데이터와 상기 제2 시간 구간의 종료 시점에서의 제2 선반 이미지 데이터의 비교 결과에 기반하여, 상품 변화 위치를 추정하고, 상기 상품 변화 위치에 대응되는 제3 선반 이미지 데이터 및 상기 트리거가 발생된 시점에 기반하여, 상기 트리거와 관련된 상기 복수의 상품 중 적어도 어느 하나가 상기 제1 상품을 포함하는 것을 식별하고, 상기 제2 상품 식별 방식은, 상기 상품 검출 이미지 데이터에 기반하여 상기 사용자 후보군 각각이 들고 있는 상품의 종류 및 개수를 식별한 결과, 및 상기 비교 결과 중 적어도 하나에 기반하여, 상품 변화 여부를 추정하고, 상기 상품 변화 여부에 기반하여, 상기 제1 상품 및 상기 제2 상품 각각에 대한 제2 신뢰도를 계산하고, 상기 제2 신뢰도에 기반하여 상기 복수의 상품 중 적어도 어느 하나가 상기 제1 상품을 포함하는 것을 식별하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 복수의 이미지 센서로부터 수신되는 선반 이미지 데이터, 상기 복수의 이미지 센서로부터 수신되는 상기 적어도 하나의 사용자가 포함된 사용자 이미지 데이터 및 상기 선반과 연결된 무게 센서로부터 수신되는 무게 데이터 중 적어도 하나에 기반하여, 상기 선반 상의 상기 복수의 상품에 변화가 있었는지 여부를 판단하고, 상기 판단을 기초로 상기 트리거 데이터의 유효성을 판단하도록 한다.
본 발명의 실시예에 따른 매장의 결제 서비스를 제공하는 방법은, 상기 매장 내의 복수의 이미지 센서로부터 복수의 이미지 데이터를 수신하는 단계, 상기 복수의 이미지 데이터에 적어도 하나의 사용자가 포함된 것에 기반하여, 상기 복수의 이미지 데이터 각각에 대해, 상기 적어도 하나의 사용자 각각의 관절 위치 및 상기 적어도 하나의 사용자 각각의 자세를 추정한, 복수의 2차원 포즈 데이터를 생성하는 단계, 상기 복수의 2차원 포즈 데이터 각각을 결합하여, 상기 적어도 하나의 사용자 각각에 대해 매칭되는, 상기 적어도 하나의 사용자 각각에 대한 3차원 포즈 데이터를 생성하여, 상기 매장 내에서 상기 적어도 하나의 사용자 각각의 움직임에 따라, 상기 적어도 하나의 사용자 각각에 대한 상기 3차원 포즈 데이터를 트래킹하는 트래킹 데이터를 생성하는 단계, 상기 매장에 진열된 복수의 상품 중 적어도 어느 하나가 선반으로부터 제거되거나 상기 선반에 추가되는 트리거가 발생된 트리거 시점, 및 상기 트리거가 발생된 위치를 포함하는 트리거 데이터를 식별하는 단계, 상기 트리거 시점 및 상기 트리거가 발생된 상기 위치 중 적어도 하나에 기반하여, 상기 트리거와 관련된 상기 복수의 상품 중 적어도 어느 하나를 식별하는 단계, 상기 트리거 시점을 포함하는 제1 시간 구간에 대응되는 상기 트래킹 데이터의 제1 트래킹 데이터를 식별하는 단계, 상기 제1 트래킹 데이터에 기반하여 상기 적어도 하나의 사용자 중 적어도 일부에 대해 사용자 후보군을 식별하는 단계, 상기 사용자 후보군에 포함된 상기 적어도 일부의 사용자 각각에 대해, 제1 신뢰도를 계산하는 단계, 상기 제1 신뢰도에 기반하여, 상기 트리거와 관련된 사용자가 제1 사용자임을 식별하는 단계 및 상기 제1 사용자의 가상 장바구니에 대해 상기 트리거와 관련한 업데이트를 수행하는 단계를 포함한다.
본 발명의 매장의 결제 서비스를 제공하는 전자 장치 및 방법은, 매장 내에서 사용자에 대응되는 3차원 포즈 데이터를 트래킹한 결과와 트리거가 발생된 시점을 기초로 구매 행위의 사용자 및 상품을 식별하여, 사용자 및 사용자가 구매하고자 하는 상품을 식별한 결과에 대한 정확도를 향상시키고, 결제 오류 가능성을 감소시킬 수 있다.
본 발명의 매장의 결제 서비스를 제공하는 전자 장치 및 방법은, 매장 내에서 사용자에 대응되는 3차원 포즈 데이터를 트래킹한 결과, 트리거가 발생된 시점 및 무게 센서로부터 얻은 데이터를 기초로 구매 행위의 사용자 및 상품을 식별하여, 사용자 및 사용자가 구매하고자 하는 상품을 식별한 결과에 대한 정확도를 향상시키고, 결제 오류 가능성을 감소시킬 수 있다.
상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치의 동작을 설명하기 위한 순서도이다.
도 3은 도 2의 동작 S103 및 동작 S105를 설명하기 위한 순서도이다.
도 4a 및 도 4b는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치의 동작을 설명하기 위한 도면이다.
도 5는 도 2의 동작 S109를 설명하기 위한 순서도이다.
도 6a 및 도 6b는 도 2의 동작 S111 및 동작 S113을 설명하기 위한 순서도이다.
도 7은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 8은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 9는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 순서도이다.
도 10은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 11은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 12 및 도 13은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 순서도이다.
도 14는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 15 및 도 16은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 순서도이다.
도 17은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치의 동작을 설명하기 위한 순서도이다.
도 3은 도 2의 동작 S103 및 동작 S105를 설명하기 위한 순서도이다.
도 4a 및 도 4b는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치의 동작을 설명하기 위한 도면이다.
도 5는 도 2의 동작 S109를 설명하기 위한 순서도이다.
도 6a 및 도 6b는 도 2의 동작 S111 및 동작 S113을 설명하기 위한 순서도이다.
도 7은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 8은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 9는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 순서도이다.
도 10은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 11은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 12 및 도 13은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 순서도이다.
도 14는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 15 및 도 16은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 순서도이다.
도 17은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 방법을 설명하기 위한 순서도이다.
본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.
본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.
이하에서 도 1 내지 도 6b를 참조하여 본 발명의 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치에 대해 설명한다.
도 1은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치(100)는, 프로세서(110) 및 메모리(120)를 포함할 수 있다.
매장의 결제 서비스를 제공하는 전자 장치(100)에는, 하나 이상의 다른 구성요소(예: 통신 모듈)가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다.
매장의 결제 서비스를 제공하는 전자 장치(100)는 센서 모듈(200)과 통신할 수 있다. 센서 모듈(200)은 매장 내에 설치될 수 있다. 센서 모듈(200)은 적어도 하나의 종류의 센서를 포함할 수 있다. 예를 들어 센서 모듈(200)은 매장 내에 설치된, 적어도 하나의 이미지 센서 및 적어도 하나의 무게 센서를 포함할 수 있다.
메모리(120)는, 매장의 결제 서비스를 제공하는 전자 장치(100)의 적어도 하나의 구성요소(예: 프로세서(110))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(120)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
메모리(120)는 매장의 결제 서비스를 제공하는 전자 장치(100)에 포함된 구성요소들의 동작과 연관된 명령, 정보 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는, 실행 시에, 프로세서(110)가 본 문서에 기재된 다양한 동작을 수행할 수 있도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
프로세서(110)는 매장의 결제 서비스를 제공하는 전자 장치(100)의 전반적인 기능을 수행하기 위하여 메모리(120)와 작동적으로(operatively) 연결될(coupled) 수 있다. 프로세서(110)는 예를 들어, 하나 이상의 프로세서를 포함할 수 있다. 하나 이상의 프로세서는 예를 들어, 이미지 시그널 프로세서(image signal processor, ISP), 애플리케이션 프로세서(application processor, AP), 또는 통신 프로세서(communication processor, CP)를 포함할 수 있다.
프로세서(110)는, 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(110)에 연결된 매장의 결제 서비스를 제공하는 전자 장치(100)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(110)는 다른 구성요소(예: 센서 모듈(200) 또는 통신 모듈)로부터 수신된 명령 또는 데이터를 메모리(120)에 로드하고, 메모리(120)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 메모리(120)에 저장할 수 있다. 프로그램은 메모리(120)에 소프트웨어로서 저장될 수 있다.
프로세서(110)는 데이터 수집 모듈(111), 사용자 추적 모듈(113), 트리거 생성 모듈(115), 최종 결정 모듈(117) 및 업데이트 모듈(119)을 포함할 수 있다. 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 또한 프로세서(110)에 포함된 모듈들 중 어느 하나(예: 데이터 수집 모듈(111))는, 별도의 회로(예: 통신 모듈)로 구현되거나, 다른 회로(예: 통신 모듈)에 포함될 수도 있음은 물론이다.
이하에서 도 2 내지 도 6b를 참조하여 프로세서(110)에 포함된 모듈들의 동작에 대해 구체적으로 설명한다. 도 2는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치의 동작을 설명하기 위한 순서도이다. 도 3은 도 2의 동작 S103 및 동작 S105를 설명하기 위한 순서도이다. 도 4a 및 도 4b는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치의 동작을 설명하기 위한 도면이다. 도 5는 도 2의 동작 S109를 설명하기 위한 순서도이다. 도 6a 및 도 6b는 도 2의 동작 S111 및 동작 S113을 설명하기 위한 순서도이다.
도 1 및 도 2를 참조하면, 프로세서(110)(예: 데이터 수집 모듈(111))는 복수의 이미지 센서로부터 복수의 이미지 데이터를 수신할 수 있다(S101).
복수의 이미지 센서는, 센서 모듈(200)에 포함될 수 있다. 복수의 이미지 센서 각각은 매장 내에서 서로 다른 방향 및/또는 서로 다른 각도로 설치된 것일 수 있다. 또한 복수의 이미지 센서 각각은 매장 내에서 서로 다른 일정 영역을 서로 다른 방향 및/또는 서로 다른 각도로 촬영한 복수의 이미지 데이터를 생성할 수 있다.
복수의 이미지 센서로부터 수신되는 복수의 이미지 데이터는, 매장 내에 있는 적어도 하나의 사용자를 포함할 수 있다. 경우에 따라 복수의 이미지 데이터는, 적어도 하나의 사용자 뿐만 아니라, 매장 내의 선반 및 선반에 진열된 복수의 상품을 포함할 수 있다.
프로세서(110)(예: 사용자 추적 모듈(113))는, 복수의 이미지 데이터에 적어도 하나의 사용자가 포함된 것에 기반하여 3차원 포즈 데이터를 생성할 수 있다(S103). 프로세서(110)(예: 사용자 추적 모듈(113))는 3차원 포즈 데이터를 트래킹하는 트래킹 데이터를 생성할 수 있다(S105).
도 1, 도 2 및 도 3을 참조하면 프로세서(110)(예: 사용자 추적 모듈(113))는 3차원 포즈 데이터를 생성(S103)하고 트래킹 데이터를 생성(S105)하기 위해, 먼저 복수의 2차원 포즈 데이터를 생성할 수 있다(S201).
프로세서(110)는 복수의 이미지 데이터 각각에 대해 적어도 하나의 사용자를 식별할 수 있다. 예를 들어 프로세서(110)는 매장 내의 적어도 하나의 사용자로서, 제1 사용자, 제2 사용자 및 제3 사용자를 식별할 수 있다.
프로세서(110)는 적어도 하나의 사용자 각각의 관절 위치 및 적어도 하나의 사용자 각각의 자세를 추정한 복수의 2차원 포즈 데이터를 생성할 수 있다. 예를 들어 프로세서(110)는, 복수의 이미지 데이터 각각에 대해, 각각에 포함된 적어도 하나의 사용자 각각의 관절 위치 및 자세를 추정하여, 복수의 이미지 데이터 각각에 대응되는 복수의 2차원 포즈 데이터를 생성할 수 있다.
예를 들어 프로세서(110)는 복수의 이미지 데이터 중 제1 이미지 데이터에 포함된 제1 사용자, 제2 사용자 및 제3 사용자 각각의 관절 위치 및 자세를 추정한 2차원의 제1 포즈 데이터를 생성할 수 있다. 또한 프로세서(110)는 복수의 이미지 데이터 중 제2 이미지 데이터에 포함된 제1 사용자 내지 제3 사용자 각각의 관절 위치 및 자세를 추정한 2차원의 제2 포즈 데이터를 생성할 수 있다. 복수의 2차원 포즈 데이터는, 2차원의 제1 포즈 데이터 및 2차원의 제2 포즈 데이터를 포함할 수 있다. 이러한 방식으로, 프로세서(110)는 복수의 이미지 데이터 각각에 대응되는 복수의 2차원 포즈 데이터를 생성할 수 있다.
프로세서(110)(예: 사용자 추적 모듈(113))는 복수의 2차원 포즈 데이터에 기반하여 적어도 하나의 사용자 각각에 대한 3차원 포즈 데이터를 생성할 수 있다(S203).
프로세서(110)는 복수의 2차원 포즈 데이터 각각을 결합하여, 적어도 하나의 사용자 각각에 대해 매칭되는 3차원 포즈 데이터를 생성할 수 있다. 3차원 포즈 데이터는, 적어도 하나의 사용자 각각에 대해 생성될 수 있다.
예를 들어 프로세서(110)는 2차원의 제1 포즈 데이터 및 2차원의 제2 포즈 데이터 각각에서 식별된 제1 사용자의 관절 위치 및 자세 추정 결과를 결합하여, 제1 사용자에 대한 3차원 포즈 데이터를 생성할 수 있다. 또한 프로세서(110)는 2차원의 제1 포즈 데이터 및 2차원의 제2 포즈 데이터 각각에서 식별된 제2 사용자의 관절 위치 및 자세 추정 결과를 결합하여, 제2 사용자에 대한 3차원 포즈 데이터를 생성할 수 있다. 또한 프로세서(110)는 2차원의 제1 포즈 데이터 및 2차원의 제2 포즈 데이터 각각에서 식별된 제3 사용자의 관절 위치 및 자세 추정 결과를 결합하여, 제3 사용자에 대한 3차원 포즈 데이터를 생성할 수 있다.
프로세서(110)(예: 사용자 추적 모듈(113))는 3차원 포즈 데이터를 트래킹하는 트래킹 데이터를 생성할 수 있다(S205). 3차원 포즈 데이터를 생성하고(S203) 3차원 포즈 데이터를 트래킹하는 것(S205)은 동시에 수행될 수 있다. 즉 프로세서(110)는 3차원 포즈 데이터를 생성하여 3차원 포즈 데이터를 트래킹하는 트래킹 데이터를 생성할 수 있다.
프로세서(110)는 매장 내에서 적어도 하나의 사용자 각각의 움직임에 따라, 적어도 하나의 사용자 각각에 대해 생성된 3차원 포즈 데이터를 트래킹(tracking)하는 트래킹 데이터를 생성할 수 있다.
도 4a 및 도 4b를 참조하면, 트래킹 데이터는 매장 내에서 제1 사용자의 3차원 포즈 데이터(311), 제2 사용자의 3차원 포즈 데이터(312) 및 제3 사용자의 3차원 포즈 데이터(313)를 시간의 흐름에 따라 트래킹한 결과를 포함할 수 있다. 프로세서(110)는 같은 시간에서, 다양한 각도 및 방향으로 얻어진 이미지 데이터를 센서 모듈(200)로부터 수신할 수 있고, 상기 이미지 데이터는 3차원 포즈 데이터를 포함할 수 있다.
프로세서(110)는 적어도 하나의 사용자 각각에 대한 3차원 포즈 데이터에 대해 아이디를 설정할 수 있다. 예를 들어 트래킹 데이터에서, 제1 사용자는 제1 아이디(321)로 식별되고, 제2 사용자는 제2 아이디(322)로 식별되고, 제3 사용자는 제3 아이디(323)로 식별될 수 있다. 프로세서(110)는 적어도 하나의 사용자 각각에 대한 아이디 및 아이디와 연관된 3차원 포즈 데이터를, 시간의 흐름에 따라 매장 내에서 트래킹하여 트래킹 데이터를 생성할 수 있다.
트래킹 데이터는, 매장 내에서 3차원 포즈 데이터의 움직임에 대한 정보와, 시간 정보를 포함할 수 있다. 예를 들어 트래킹 데이터는 제1 사용자의 3차원 포즈 데이터(311)를 시간의 흐름에 따라 매장 내에서 트래킹한 결과를 포함하고, 프로세서(110)는 트래킹 데이터에 기반하여 특정 시점(예: 트리거 시점)에서 제1 사용자가 선반(300)에 대해 어떠한 자세를 취하였는지, 또는 특정 시점(예: 트리거 시점)에서 제1 사용자의 자세에 기반하여 제1 사용자가 상품을 들고 있는지 여부 등을 식별할 수 있다.
도 1 및 도 2를 참조하면, 프로세서(110)(예: 트리거 생성 모듈(115))는 트리거 시점 및 트리거가 발생된 위치를 포함하는 트리거 데이터를 식별할 수 있다(S107).
트리거는 예를 들어, 매장에 진열된 복수의 상품 중 적어도 어느 하나가 선반으로부터 제거되거나, 선반에 추가되는 사건일 수 있다.
도 4a를 참조하면, 제1 사용자가 제1 상품(331)을 선반(300)에 진열된 제1 상품 그룹(301)으로부터 집어 들어 제1 상품(331)이 선반(300)으로부터 제거된 것은, 트리거라고 할 수 있다. 프로세서(110)는 트리거가 발생된 것을 기초로, 트리거가 발생된 시점 및 트리거가 발생된 위치를 포함하는 트리거 데이터를 식별할 수 있다.
트리거는 예를 들어 센서 모듈(200)에 의해 식별될 수 있다. 예를 들어 프로세서(110)는 센서 모듈(200)의 이미지 센서로부터 얻어진 이미지 데이터에 기반하여, 어떤 사용자가 어떤 상품을 집어 들었다는 트리거가 발생된 것을 식별할 수 있다. 예를 들어 프로세서(110)는 센서 모듈(200)의 무게 센서로부터 얻어진 무게 변화에 기반하여, 어떤 사용자가 어떤 상품을 집어 들었다는 트리거가 발생된 것을 식별할 수 있다.
몇몇 실시예에서 프로세서(110)는, 트리거 데이터에 대한 유효성을 판단할 수 있다. 프로세서(110)는, 복수의 이미지 센서로부터 수신되는 선반 이미지 데이터, 복수의 이미지 센서로부터 수신되는 적어도 하나의 사용자가 포함된 사용자 이미지 데이터 및 선반과 연결된 무게 센서로부터 수신되는 무게 데이터 중 적어도 하나에 기반하여, 선반 상의 복수의 상품에 변화가 있었는지 여부를 판단할 수 있다. 프로세서(110)는 판단 결과를 기초로, 트리거 데이터의 유효성을 판단할 수 있다. 예를 들어 프로세서(110)는 선반에 진열된 상품을 어떤 사용자가 건드려서 무게 센서에는 변화가 탐지 되었으나 선반에 추가되거나 선반으로부터 제거되지는 않아서, 실질적인 트리거가 발생되지 않은 경우, 트리거 데이터를 무효로 판단할 수 있다.
도 1 및 도 2를 참조하면, 프로세서(110)(예: 최종 결정 모듈(117))는 트리거 데이터에 기반하여, 제1 상품을 식별할 수 있다(S109).
프로세서(110)는 트리거 시점 및 트리거가 발생된 위치 중 적어도 하나에 기반하여, 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다.
도 5를 참조하면, 프로세서(110)(예: 최종 결정 모듈(117))는 트리거 시점에서의 선반 이미지 데이터, 상품 검출 이미지 데이터 및 트리거가 발생된 위치 중 적어도 하나에 기반하여, 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다(S301, S302, S303).
예를 들어 프로세서(110)는 트리거와 관련된 상품을 식별하기 위해, 트리거 시점에서의 선반 이미지 데이터에 대한 이미지 처리를 이용하여 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다. 프로세서(110)는, 선반 이미지 데이터에 기반하여 상품을 식별하고자 하는 경우, 먼저 선반 이미지 데이터를 식별할 수 있다(S301).
선반 이미지 데이터는, 매장에 설치된 복수의 선반 중 트리거와 관련된 선반에 대한 이미지 데이터로서, 트리거 시점에서의 선반 이미지 데이터일 수 있다. 예를 들어 도 4a와 같이, 제1 사용자가 제1 상품(331)을 선반(300)으로부터 집어 든 트리거가 발생된 시점에서 촬영된 선반(300)에 대한 선반 이미지 데이터가 센서 모듈(200)로부터 생성될 수 있다. 프로세서(110)는 트리거와 관련되고 트리거 시점에서의 선반 이미지 데이터를 센서 모듈(200)로부터 수신할 수 있다.
프로세서(110)는 예를 들어, 상기 선반 이미지 데이터에 대해 이미지 처리 방법(예: 객체 탐지(Object detection), 이미지 세그멘테이션(segmention) 및 이미지 분류(classification) 중 적어도 하나)을 이용하여, 어떤 사용자가 제1 상품(331)을 선반(300)으로부터 집어 들거나 선반(300)에 다시 내려 놓은 것을 식별할 수 있다.
또 다른 예로 프로세서(110)는, 상품 검출 이미지 데이터에 기반하여 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다. 상품 검출 이미지 데이터는 예를 들어, 사용자 후보군과 관련된 것일 수 있다. 프로세서(110)는, 후술할 제1 트래킹 데이터에 기반하여 적어도 하나의 사용자 중 적어도 일부에 대해 사용자 후보군을 식별할 수 있다. 프로세서(110)는, 상품 검출 이미지 데이터에 기반하여, 사용자 후보군 각각이 들고 있는 상품의 종류 및 개수를 식별한 결과에 기반하여, 상품 변화 여부를 추정할 수 있다. 프로세서(110)는, 상품 변화 여부에 기반하여, 상품에 대한 신뢰도를 계산하고, 계산된 신뢰도에 기반하여 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다. 프로세서(110)는 상품 변화 여부를 추정하기 위해, 후술할 제1 선반 이미지 데이터와, 제2 선반 이미지 데이터의 비교 결과에 더 기반하여 판단할 수 있다.
또 다른 예로 프로세서(110)는 트리거가 발생된 위치에 기반하여 위치에 대응되는 선반에 진열된 상품을 식별함으로써, 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다. 트리거가 발생된 위치에 기반하여 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별하는 경우, 프로세서(110)는 미리 저장된 상품 진열 위치에 대한 정보를 기초로 트리거가 발생된 위치에 대응되는 선반의 위치에 진열된 상품을 식별함으로써, 제1 상품을 식별할 수 있다.
또 다른 예로 프로세서(110)는 선반 이미지 데이터, 상품 검출 이미지 데이터 및 트리거가 발생된 위치 모두에 기반하여, 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다.
몇몇 실시예에서 프로세서(110)는, 선반 이미지 데이터에 기반하여 상품이 식별된 결과에 대한 신뢰도와, 상품 검출 이미지 데이터에 기반하여 상품이 식별된 결과에 대한 신뢰도와, 트리거가 발생된 위치에 기반하여 상품이 식별된 결과에 대한 신뢰도를 계산할 수 있다. 프로세서(110)는 계산된 각각의 신뢰도에 기반하여, 가장 높은 신뢰도가 계산된 결과를 기초로 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다.
도 1 및 도 2를 참조하면, 프로세서(110)(예: 최종 결정 모듈(117))는, 제1 트래킹 데이터를 식별할 수 있다(S111). 프로세서(110)(예: 최종 결정 모듈(117))는, 제1 트래킹 데이터에 기반하여 제1 사용자를 식별할 수 있다(S113). 프로세서(110)가 복수의 상품 중 적어도 어느 하나를 식별하는 단계(S109, S301, S302, S303)와, 제1 사용자를 식별하는 단계(S111, S113, S115)는 동시에 수행될 수도 있고, 순차적으로 수행될 수도 있다.
도 1, 도 2, 도 4a, 도 4b, 도 6a 및 도 6b를 참조하면, 프로세서(110)(예: 최종 결정 모듈(117))는, 트리거 시점을 포함하는 제1 시간 구간에 대응되는 트래킹 데이터의 제1 트래킹 데이터를 식별할 수 있다(S401).
제1 트래킹 데이터는 트래킹 데이터의 일부분일 수 있다. 제1 트래킹 데이터는, 트리거 시점 이전의 일정 시간과 트리거 시점 이후의 일정 시간을 포함하는 제1 시간 구간에서의 트래킹 데이터의 일부분일 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는, 제1 사용자 식별 방식 및 제2 사용자 식별 방식 중 적어도 하나를 이용하여, 제1 사용자를 식별할 수 있다. 프로세서(110)는, 제1 트래킹 데이터에 기반하여 적어도 하나의 사용자 중 적어도 일부를 사용자 후보군으로 식별할 수 있다.
예를 들어 프로세서(110)는, 제1 사용자 식별 방식 및 제2 사용자 식별 방식 중 적어도 하나를 이용하여, 적어도 하나의 사용자(예: 제1 사용자, 제2 사용자 및 제3 사용자) 중 제1 사용자 및 제2 사용자를 사용자 후보군으로 식별할 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는, 제1 사용자 식별 방식을 이용하는 경우, 제1 트래킹 데이터에 기반하여 트리거와 관련된 선반(300)에 접근하였는지 여부를 기준으로 사용자 후보군을 식별할 수 있다(S403). 트리거와 관련된 선반(300)은, 매장에 설치된 복수의 선반 중 트리거가 발생된 위치에 대응되는 선반일 수 있다. 프로세서(110)는 선반(300)으로부터 일정 거리만큼 떨어진 영역까지 경계(340)를 설정하고, 제1 트래킹 데이터에서 경계(340) 안에 위치한 적어도 일부의 사용자(예: 제1 사용자 및 제2 사용자)를 식별하여 사용자 후보군으로 결정할 수 있다. 또 다른 예로 프로세서(110)는, 제1 트래킹 데이터에서, 선반(300)으로 손을 뻗은 사용자를 식별하여, 사용자 후보군을 결정할 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는, 제2 사용자 식별 방식을 이용하는 경우, 먼저 제1 트래킹 데이터에서 복수의 상품 중 적어도 하나와 상호작용한 제1 상호작용 정보를 식별할 수 있다(S405). 복수의 상품 중 적어도 하나는, 상품에 대한 식별이 우선하여 수행된 경우 제1 상품일 수 있다. 또는 복수의 상품 중 적어도 하나는, 상품에 대한 식별이 수행되기 전인 경우 복수의 상품 중 어느 사용자와 상호작용이 발생된 상품을 모두 포함할 수 있다. 프로세서(110)는 제1 트래킹 데이터에서 복수의 상품 중 적어도 하나를 선반(300)으로부터 집어 들거나 선반(300)에 올려 놓은 상호작용이 발생하였음을 식별하고, 제1 상호작용 정보를 생성할 수 있다.
제1 상호작용 정보는 예를 들어, 복수의 상품 중 적어도 하나와 상호작용한 사용자에 대한 정보, 상호작용 시점, 및 상호작용 위치 중 적어도 하나를 포함할 수 있다. 제1 상호작용 정보는 예를 들어, 적어도 하나의 사용자 각각이 들고 있는 복수의 상품 중 적어도 하나의 종류 및 개수를 식별한 결과를 포함할 수 있다. 제1 상호작용 정보는 예를 들어, 적어도 하나의 사용자 각각이 들고 있는 복수의 상품 중 적어도 하나의 종류 및 개수가 변화하였는지 여부를 포함할 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는 제1 상호작용 정보에 기반하여, 사용자 후보군을 식별할 수 있다(S407). 프로세서(110)는 제1 상호작용 정보를 기초로, 제1 트래킹 데이터에서 적어도 하나의 사용자 각각이 손에 들고 있는 상품의 종류 및/또는 개수의 변화를 식별하여, 사용자 후보군을 식별할 수 있다. 예를 들어 프로세서(110)는 제1 트래킹 데이터에서 제1 사용자가 제1 상품(331)을 손에 들고 있는 정보(즉, 제1 상호작용 정보)에 기반하여, 제1 사용자를 사용자 후보군에 포함시킬 수 있다. 만약 제2 사용자도 제1 상품(331)과 상호작용(예: 제1 상품(331)을 집어 들거나, 다시 선반(300)에 올려 놓는 경우)이 있었다면, 프로세서(110)는 제2 사용자도 제1 사용자와 함께 사용자 후보군에 포함시킬 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는 사용자 후보군을 식별한 후, 사용자 후보군에 포함된 적어도 일부의 사용자 각각에 대해 제1 신뢰도를 계산할 수 있다(S409). 예를 들어, 사용자 후보군에 제1 사용자 및 제2 사용자가 포함된 경우, 프로세서(110)는 제1 사용자가 제1 상품(331)의 트리거와 관련된 사용자일 확률에 대한 신뢰도를 계산하고, 제2 사용자가 제1 상품(331)의 트리거와 관련된 사용자일 확률에 대한 신뢰도를 계산할 수 있다. 제1 신뢰도는, 제1 사용자가 제1 상품(331)의 트리거와 관련된 사용자일 확률에 대한 신뢰도 및 제2 사용자가 제1 상품(331)의 트리거와 관련된 사용자일 확률에 대한 신뢰도를 포함할 수 있다.
신뢰도는 예를 들어, 제1 트래킹 데이터의 프레임마다, 사용자 후보군에 포함된 적어도 일부의 사용자 각각에 대해 계산될 수 있다. 예를 들어 특정 프레임에 대한 신뢰도는, 트리거 시점에 해당되는 제1 트래킹 데이터의 프레임과 특정 프레임이 얼마나 가까운지 여부, 사용자 후보군에 포함된 사용자들 간의 거리, 및 사용자 후보군의 사용자 각각과 제1 상품(331)간의 거리 중 적어도 하나에 기반하여 계산될 수 있다. 예를 들어 도 4b에서, 제1 사용자에 대한 신뢰도는 제2 사용자에 대한 신뢰도보다 높게 계산될 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는 제1 신뢰도에 기반하여, 트리거와 관련된 사용자가 제1 사용자임을 식별할 수 있다(S411). 예를 들어 프로세서(110)는 도 4b에서 제1 사용자에 대한 신뢰도가 제2 사용자에 대한 신뢰도보다 높게 계산된 것에 기반하여, 제1 사용자가 트리거와 관련된 사용자임을 식별할 수 있다. 다시 말해서 프로세서(110)는, 제1 사용자가 제1 상품(331)을 선반(300)으로부터 집어 든 사용자임을 식별할 수 있다.
도 1 및 도 2를 참조하면, 프로세서(110)(예: 최종 결정 모듈(117))는, 제1 사용자의 가상 장바구니에 대해 트리거와 관련한 업데이트를 수행할 수 있다(S115). 프로세서(110)는 트리거가 발생된 것이 제1 사용자 및 제1 상품과 관련 있음으로 결정된 것에 기반하여, 제1 사용자의 가상 장바구니를 업데이트할 수 있다. 예를 들어 프로세서(110)는 트리거가 제1 상품이 선반으로부터 제거된 것인 경우, 제1 사용자의 가상 장바구니에 제1 상품을 추가하는 업데이트를 수행할 수 있다. 예를 들어 프로세서(110)는 트리거가 제1 상품이 선반에 추가된 것인 경우, 제1 사용자의 가상 장바구니로부터 제1 상품을 제거하는 업데이트를 수행할 수 있다.
이하에서 도 7, 도 8 및 도 9를 참조하여 본 발명의 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치에 대해 설명한다. 설명의 명확성을 위해 앞서 설명한 것과 중복되는 것은 생략한다.
도 7은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다. 도 8은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다. 도 9는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 순서도이다.
도 7, 도 8 및 도 9를 참조하면, 매장의 결제 서비스를 제공하는 전자 장치(도 1의 100)의 프로세서(110)는, 센서 모듈(200)의 이미지 센서(210) 및 무게 센서(220) 각각으로부터 데이터를 수신할 수 있다. 이미지 센서(210) 및 무게 센서(220)는 매장 내에 설치된 것일 수 있다. 이미지 센서(210)는 매장 내의 선반(300)을 포함한 복수의 선반을 다양한 각도 및 방향으로 촬영한 이미지 데이터를 생성할 수 있다. 무게 센서(220)는 선반(300)의 플레이트에 연결되어, 플레이트의 무게 변화를 탐지할 수 있다. 무게 센서(220)는 예를 들어 제1 무게 센서(1011) 및 제2 무게 센서(1012)를 포함할 수 있다.
예를 들어 매장 내의 선반(300)은, 제1 플레이트(1001) 및 제2 플레이트(1002)를 포함할 수 있다. 제1 플레이트(1001) 및 제2 플레이트(1002) 각각에 복수의 상품이 진열될 수 있다. 제1 플레이트(1001)는 제1 무게 센서(1011)와 연결되고, 제2 플레이트(1002)는 제2 무게 센서(1012)와 연결될 수 있다. 도면에서 하나의 플레이트에 하나의 무게 센서가 연결되는 것으로 도시하였으나 이에 제한되는 것은 아니다. 예를 들어, 하나의 플레이트에 복수개의 무게 센서가 연결될 수 있다.
매장 내의 선반의 어느 플레이트에 어느 상품이 진열되었는지에 대한 정보는, 미리 저장되어 있을 수 있다. 예를 들어 제1 플레이트(1001)에 제1 상품이 진열되고, 제2 플레이트(1002)에 제2 상품이 진열 되었다는 정보는, 미리 저장되어 있는 정보일 수 있다.
프로세서(110)(예: 데이터 수집 모듈(111))는, 이미지 센서(210)로부터 제1 플레이트(1001)에 대한 이미지를 포함하는 선반 이미지 데이터를 수신할 수 있다. 프로세서(110)는 이미지 센서(210)로부터 다른 플레이트에 대한 이미지를 포함하는 선반 이미지 데이터를 수신할 수 있음은 물론이다. 선반 이미지 데이터는, 무게 변화가 탐지된 제1 무게 센서(1011)가 위치하는 선반(300)에 대한 이미지 데이터일 수 있다.
프로세서(110)(예: 트리거 생성 모듈(115))는, 제1 무게 센서(1011)에 의해 탐지된 제1 플레이트(1001)의 무게 변화 정보를 무게 센서(220)로부터 수신하고, 무게 변화 정보를 트리거 데이터에 더 포함시킬 수 있다(S501). 예를 들어 도 2를 참조하여 설명한 트리거 데이터(S107)는, 무게 변화 정보를 더 포함할 수 있다. 예를 들어 트리거 데이터는, 트리거가 발생된 시점, 트리거가 발생된 위치, 및 제1 플레이트(1001)의 무게가 변화되었다는 무게 변화 정보를 포함할 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는, 제1 플레이트에 대한 이미지를 포함하는 선반 이미지 데이터 및 제1 무게 센서의 위치(즉, 트리거가 발생된 위치) 중 적어도 하나에 기반하여, 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다(S503). 예를 들어 도 5를 참조하여 설명한 선반 이미지 데이터(S301)는, 제1 무게 센서의 위치에 기반하여 트리거와 관련된 선반이 식별됨으로써 얻어질 수 있다.
예를 들어 프로세서(110)는, 무게 변화가 발생한 제1 무게 센서의 위치(즉, 트리거가 발생된 위치)를 기초로, 트리거와 관련된 상품이 제1 상품임을 식별할 수 있다. 프로세서(110)는, 트리거 데이터에 포함된 무게 변화 정보를 기초로 제1 플레이트(1001)에 무게 변화가 탐지되었음을 식별하고, 제1 플레이트(1001)에 제1 상품이 진열되었다는 미리 저장된 정보에 기반하여, 트리거와 관련된 상품이 제1 상품임을 식별할 수 있다.
또 다른 예로 프로세서(110)는, 트리거 데이터의 무게 변화 정보에 기반하여 트리거가 발생된 위치가 제1 플레이트(1001)임이 식별된 것을 기초로, 트리거 시점에서의 제1 플레이트(1001)에 대한 이미지를 포함하는 선반 이미지 데이터에 대한 이미지 처리를 이용하여, 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다.
만약 제1 상품이 제1 플레이트(1001)가 아닌 제2 플레이트(1002)에 잘못 진열되어 있는 경우, 사용자가 제2 플레이트(1002)로부터 제1 상품을 집어 들면, 무게 변화 정보에 기반하여 프로세서(110)는 트리거와 관련된 복수의 상품 중 적어도 어느 하나로 제1 상품이 아닌 제2 상품을 식별할 수 있다. 이 경우, 선반 이미지 데이터에 더 기반하여 상품을 식별한다면, 프로세서(110)에 의해 식별되는 상품에 대한 신뢰도는 향상될 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는, 도 2의 동작 S111 및 동작 S113을 참조하여 설명한 바와 같이, 트리거와 관련된 사용자를 식별할 수 있다.
이하에서 도 10 내지 도 13b를 참조하여 본 발명의 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치에 대해 설명한다. 설명의 명확성을 위해 앞서 설명한 것과 중복되는 것은 생략한다.
도 10은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다. 도 11은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다. 도 12, 도 13a 및 도 13b는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 순서도이다.
도 10 및 도 11을 참조하면, 매장의 결제 서비스를 제공하는 전자 장치(도 1의 100)의 프로세서(110)는, 센서 모듈(200)의 이미지 센서(210) 및 무게 센서(220) 각각으로부터 데이터를 수신할 수 있다. 프로세서(110)(예: 트리거 생성 모듈(115))은, 트리거 데이터 생성 시 이미지 센서(210)로부터 얻은 데이터를 더 이용할 수 있다.
예를 들어 매장 내의 선반(300)은, 제1 플레이트(1001) 및 제2 플레이트(1002)를 포함할 수 있다. 제1 플레이트(1001) 및 제2 플레이트(1002) 각각에 복수의 상품이 진열될 수 있다. 제1 플레이트(1001) 및 제2 플레이트(1002)는 제1 무게 센서(1011)와 연결될 수 있다.
프로세서(110)(예: 데이터 수집 모듈(111))는, 이미지 센서(210)로부터 제1 선반 이미지 데이터와 제2 선반 이미지 데이터를 포함하는 선반 이미지 데이터를 수신할 수 있다. 선반 이미지 데이터는, 무게 변화가 탐지된 제1 무게 센서(1011)의 위치와 관련된 선반(300)에 대한 이미지 데이터일 수 있다.
도 10, 도 11 및 도 12를 참조하면, 프로세서(110)(예: 데이터 수집 모듈(111) 및 트리거 생성 모듈(115))는, 트리거와 관련된 사용자를 식별하기 위해, 먼저 제1 무게 센서(1011)로부터 수신되는 무게 변화 및 이미지 센서(210)로부터 수신되는 복수의 이미지 데이터로부터 식별된 제2 상호작용 정보 중 적어도 하나를 더 포함하는 트리거 데이터를 식별할 수 있다(S601).
프로세서(110)는 제1 무게 센서(1011)로부터 무게 변화를 수신함으로써, 무게 변화의 시점, 무게가 변화된 위치, 및 무게 변화에 따른 상품의 추가 또는 제거 여부 중 적어도 하나를 트리거 데이터에 포함시킬 수 있다.
프로세서(110)는 선반 이미지 데이터로부터, 선반에 상품이 올려 놓아지거나 선반으로부터 상품이 제거되는 제2 상호작용이 발생되었음을 식별할 수 있다. 프로세서(110)는 제2 상호작용이 발생된 시점, 제2 상호작용이 발생된 위치 및 제2 상호작용의 주체인 사용자에 대한 정보를 포함하는 제2 상호작용 정보를 식별할 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는, 제1 트래킹 데이터 및 트리거 데이터를 기초로, 사용자 후보군을 식별할 수 있다(S603). 프로세서(110)는 제1 트래킹 데이터에서 제2 상호작용이 발생된 위치 및/또는 제2 상호작용의 주체인 사용자를 식별함으로써, 식별된 사용자를 사용자 후보군에 포함시킬 수 있다. 예를 들어 프로세서(110)는 제1 트래킹 데이터에서, 무게 변화의 위치 또는 제2 상호작용이 발생된 위치를 식별하고, 상기 위치에 손이 근접한 적어도 하나의 사용자를 식별하여 사용자 후보군에 포함시킬 수 있다.
프로세서(110)는 사용자 후보군에 포함된 적어도 일부의 사용자 각각에 대해 제1 신뢰도를 계산하고(S409), 제1 신뢰도에 기반하여 트리거와 관련된 사용자가 제1 사용자임을 식별할 수 있다(S411).
도 10, 도 11 및 도 13a를 참조하면, 프로세서(110)(예: 최종 결정 모듈(117))는, 트리거와 관련된 상품을 식별하기 위해, 먼저 무게 센서에 의해 탐지된 무게 변화(즉, 트리거가 발생된 위치), 및 트리거 시점을 기준으로 얻은 제1 선반 이미지 데이터와 제2 선반 이미지 데이터의 비교 결과 중 적어도 하나에 기반하여, 상품 변화 위치를 추정할 수 있다(S701).
선반 이미지 데이터는, 제2 시간 구간의 시작 시점에서의 제1 선반 이미지 데이터와, 제2 시간 구간의 종료 시점에서의 제2 선반 이미지를 포함할 수 있다. 제2 시간 구간은 제1 시간 구간과 상이한 시간 구간일 수 있다. 그러나 이에 제한되는 것은 아니고, 필요에 따라 제1 시간 구간과 제2 시간 구간은 동일한 시간 구간을 지칭할 수도 있다.
예를 들어 프로세서(110)는 제1 무게 센서(1011)로부터 수신한 무게 변화 데이터에 기반하여, 제1 무게 센서(1011)와 연결된 선반(300)을 식별할 수 있다. 예를 들어 프로세서(110)는, 복수의 무게 센서 각각에 대한 위치 및 무게 변화 데이터에 기반하여, 실제로 무게 변화가 발생된 위치를 계산할 수 있다. 복수의 무게 센서는, 매장 내에 위치하는 복수개의 무게 센서일 수 있다. 예를 들어 복수의 무게 센서는, 동일한 선반(예: 선반(300)) 내에 설치된 것일 수 있다.
또한 프로세서(110)는, 트리거 발생 전인 제1 선반 이미지 데이터와 트리거 발생 후인 제2 선반 이미지 데이터를 비교하여 선반(300)에서의 상품의 변화를 식별함으로써, 상품이 변화된 상품 변화 위치를 식별할 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는, 상품 변화 위치 및 무게 변화에 기반하여, 제1 상품 및 제2 상품 각각에 대한 제2 신뢰도를 계산할 수 있다(S703).
예를 들어 프로세서(110)는 무게 변화 및 상품 변화 위치에 기반하여, 선반(300)에 진열된 제1 상품 및 제2 상품을 상품 후보군으로 식별할 수 있다. 프로세서(110)는 제1 상품에 대한 신뢰도를 계산하고, 제2 상품에 대한 신뢰도를 계산할 수 있다. 제2 신뢰도는, 제1 상품에 대한 신뢰도 및 제2 상품에 대한 신뢰도를 포함할 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는, 제2 신뢰도에 기반하여 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다(S705). 예를 들어 프로세서(110)는 제1 상품에 대한 신뢰도가 제2 상품에 대한 신뢰도보다 높은 것에 기반하여, 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다.
도 10, 도 11 및 도 13b를 참조하면, 프로세서(110)(예: 최종 결정 모듈(117))는, 트리거와 관련된 상품을 식별하기 위해, 먼저 상품 검출 이미지를 기초로, 사용자 후보군 각각이 들고 있는 상품의 종류 및 개수를 식별한 결과와, 제1 선반 이미지 데이터와 제2 선반 이미지 데이터의 비교 결과 중 적어도 하나에 기반하여, 상품 변화 여부를 추정할 수 있다(S702).
프로세서(110)는 상품 검출 이미지를 기초로, 사용자 후보군 각각이 들고 있는 상품의 종류 및 개수를 식별할 수 있다. 또한, 프로세서(110)는 상품 검출 이미지를 기초로, 사용자 후보군 각각이 들고 있는 상품의 종류 및 개수의 변화 여부를 식별할 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는, 상품 변화 여부에 기반하여, 제1 상품 및 제2 상품 각각에 대한 제2 신뢰도를 계산할 수 있다(S704).
이하에서 도 13b, 도 14 내지 도 16을 참조하여 본 발명의 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치에 대해 설명한다. 설명의 명확성을 위해 앞서 설명한 것과 중복되는 것은 생략한다.
도 14는 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 도면이다. 도 15 및 도 16은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 전자 장치를 설명하기 위한 순서도이다.
도 14 및 도 15를 참조하면, 매장의 결제 서비스를 제공하는 전자 장치(도 1의 100)의 프로세서(110)는, 센서 모듈(200)의 이미지 센서(210)로부터 데이터를 수신할 수 있다.
프로세서(110)(예: 데이터 수집 모듈(111) 및 트리거 생성 모듈(115))는, 이미지 센서(210)로부터 수신되는 복수의 이미지 데이터에 기반하여, 제3 상호작용 정보를 식별하고, 제3 상호작용 정보를 트리거 데이터에 포함시킬 수 있다(S801). 예를 들어 프로세서(110)는, 복수의 이미지 데이터에 기반하여, 선반과 적어도 하나의 사용자(예: 제1 내지 제3 사용자) 중 적어도 일부(예: 제1 사용자)와 상호작용이 발생하였음을 식별할 수 있다. 프로세서(110)는 상호작용이 발생된 시점, 상호작용이 발생된 위치 및 상호작용의 주체인 제1 사용자에 대한 정보를 포함하는 제3 상호작용 정보를 식별하고, 제3 상호작용 정보를 트리거 데이터에 더 포함시킬 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는, 제1 사용자 식별 방식을 이용하는 경우, 트리거 데이터의 제3 상호작용 정보에 기반하여 사용자 후보군을 식별할 수 있다(S803). 제3 상호작용 정보에 이미 상호작용의 주체인 제1 사용자에 대한 정보가 포함되어 있으므로, 프로세서(110)는 제1 사용자를 포함하는 사용자 후보군을 식별할 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는, 제2 사용자 식별 방식을 이용하는 경우, 먼저 트리거 데이터의 제3 상호작용 정보에 기반하여, 제1 트래킹 데이터에서 제1 상호작용 정보를 식별할 수 있다(S805). 제3 상호작용 정보에 이미 상호작용과 관련된 정보들이 포함되어 있으므로, 프로세서(110)는 제2 사용자 식별 방식에서 이용되는 제1 상호작용 정보(제1 상품과 상호작용한 사용자에 대한 정보, 상호작용 시점, 및 상호작용 위치 중 적어도 하나를 포함하는 정보)를 트리거 데이터에 기반하여 식별할 수 있다.
프로세서(110)는 제1 상호작용 정보에 기반하여 사용자 후보군을 식별할 수 있다(S407).
프로세서(110)는 사용자 후보군에 포함되는 적어도 일부의 사용자 각각에 대해 제1 신뢰도를 계산하고(S409), 제1 신뢰도에 기반하여 트리거와 관련된 사용자가 제1 사용자임을 식별할 수 있다(S411).
도 14 및 도 16을 참조하면, 프로세서(110)(예: 최종 결정 모듈(117))는, 트리거 시점을 기준으로 얻은 제1 선반 이미지 데이터와 제2 선반 이미지 데이터의 비교 결과 중 적어도 하나에 기반하여, 상품 변화 위치를 추정할 수 있다(S901).
프로세서(110)(예: 최종 결정 모듈(117))는, 상품 변화 위치에 대응되는 제3 선반 이미지 데이터 및 트리거가 발생된 시점에 기반하여, 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다(S903). 예를 들어 프로세서(110)는 제3 선반 이미지 데이터에 대한 이미지 처리를 이용하여 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다. 또는 예를 들어 프로세서(110)는, 트리거가 발생된 시점과 관련된 제1 트래킹 데이터에서, 사용자가 손에 들고 있는 상품의 변화를 식별함으로써, 트리거와 관련된 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별할 수 있다.
도 13b 및 도 14를 참조하면, 또 다른 예에서 프로세서(110)(예: 최종 결정 모듈(117))는, 트리거와 관련된 상품을 식별하기 위해, 먼저 상품 검출 이미지를 기초로, 사용자 후보군 각각이 들고 있는 상품의 종류 및 개수를 식별한 결과와, 제1 선반 이미지 데이터와 제2 선반 이미지 데이터의 비교 결과 중 적어도 하나에 기반하여, 상품 변화 여부를 추정할 수 있다(S702).
프로세서(110)는 상품 검출 이미지를 기초로, 사용자 후보군 각각이 들고 있는 상품의 종류 및 개수를 식별할 수 있다. 또한, 프로세서(110)는 상품 검출 이미지를 기초로, 사용자 후보군 각각이 들고 있는 상품의 종류 및 개수의 변화 여부를 식별할 수 있다.
프로세서(110)(예: 최종 결정 모듈(117))는, 상품 변화 여부에 기반하여, 제1 상품 및 제2 상품 각각에 대한 제2 신뢰도를 계산할 수 있다(S704).
이하에서 도 17을 참조하여, 본 발명의 실시예에 따른 매장의 결제 서비스를 제공하는 방법에 대해 설명한다. 설명의 명확성을 위해 앞서 설명한 것과 중복되는 것은 생략한다.
도 17은 본 발명의 몇몇 실시예에 따른 매장의 결제 서비스를 제공하는 방법을 설명하기 위한 순서도이다.
이하에서는 도 1의 매장의 결제 서비스를 제공하는 전자 장치(100)가 도 17의 프로세스를 수행하는 것을 가정한다. 매장의 결제 서비스를 제공하는 전자 장치(100)에 의해 수행되는 것으로 기술된 동작은 상기 매장의 결제 서비스를 제공하는 전자 장치(100)의 프로세서(110)에 의해 수행(혹은, 실행)될 수 있는 인스트럭션(명령어)들로 구현될 수 있다. 상기 인스트럭션들은, 예를 들어, 컴퓨터 기록 매체 또는 도 1의 매장의 결제 서비스를 제공하는 전자 장치(100)의 메모리(120)에 저장될 수 있다.
도 17을 참조하면, 매장의 결제 서비스를 제공하는 방법은, 매장 내의 복수의 이미지 센서로부터 다양한 각도 및 방향에 대한 복수의 이미지 데이터를 수신하는 단계(S1001)를 포함할 수 있다.
매장의 결제 서비스를 제공하는 방법은, 복수의 이미지 데이터 각각에 대해, 복수의 2차원 포즈 데이터를 생성하는 단계(S1003)를 포함할 수 있다.
매장의 결제 서비스를 제공하는 방법은, 복수의 2차원 포즈 데이터 각각을 결합하여, 적어도 하나의 사용자 각각에 대한 3차원 포즈 데이터를 생성하는 단계(S1005)를 포함할 수 있다.
매장의 결제 서비스를 제공하는 방법은, 매장 내에서 적어도 하나의 사용자 각각의 움직임에 따라, 적어도 하나의 사용자 각각에 대한 3차원 포즈 데이터를 트래킹하는 트래킹 데이터를 생성하는 단계(S1007)를 포함할 수 있다.
매장의 결제 서비스를 제공하는 방법은, 트리거가 발생된 트리거 시점, 및 트리거가 발생된 위치를 포함하는 트리거 데이터를 식별하는 단계(S1009)를 포함할 수 있다.
매장의 결제 서비스를 제공하는 방법은, 트리거 시점 및 트리거가 발생된 상기 위치 중 적어도 하나에 기반하여, 트리거와 관련된 복수의 상품 중 적어도 어느 하나를 식별하는 단계(S1011)를 포함할 수 있다.
매장의 결제 서비스를 제공하는 방법은, 트리거 시점을 포함하는 제1 시간 구간에 대응되는 트래킹 데이터의 제1 트래킹 데이터를 식별하는 단계(S1013)를 포함할 수 있다.
매장의 결제 서비스를 제공하는 방법은, 제1 트래킹 데이터에 기반하여 적어도 하나의 사용자 중 적어도 일부에 대해 사용자 후보군을 식별하는 단계(S1015)를 포함할 수 있다.
매장의 결제 서비스를 제공하는 방법은, 사용자 후보군에 포함된 적어도 일부의 사용자 각각에 대해, 제1 신뢰도를 계산하고, 제1 신뢰도에 기반하여, 트리거와 관련된 사용자가 제1 사용자임을 식별하는 단계(S1017)를 포함할 수 있다.
매장의 결제 서비스를 제공하는 방법은, 제1 사용자의 가상 장바구니에 대해 트리거와 관련한 업데이트를 수행하는 단계(S1019)를 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 매장의 결제 서비스를 제공하는 전자 장치(100))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(120))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 매장의 결제 서비스를 제공하는 전자 장치(100))의 프로세서(예: 프로세서(110))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (10)
- 매장의 결제 서비스를 제공하는 전자 장치에 있어서,
프로세서; 및
상기 프로세서에 작동적으로(operatively) 연결된 메모리를 포함하고,
상기 메모리는, 실행되었을 때 상기 프로세서로 하여금:
상기 매장 내의 복수의 이미지 센서로부터 복수의 이미지 데이터를 수신하고,
상기 복수의 이미지 데이터에 적어도 하나의 사용자가 포함된 것에 기반하여, 상기 복수의 이미지 데이터 각각에 대해, 상기 적어도 하나의 사용자 각각의 관절 위치 및 상기 적어도 하나의 사용자 각각의 자세를 추정한, 복수의 2차원 포즈 데이터를 생성하고,
상기 복수의 2차원 포즈 데이터 각각을 결합하여, 상기 적어도 하나의 사용자 각각에 대해 매칭되는, 상기 적어도 하나의 사용자 각각에 대한 3차원 포즈 데이터를 생성하여, 상기 매장 내에서 상기 적어도 하나의 사용자 각각의 움직임에 따라 상기 적어도 하나의 사용자 각각에 대한 상기 3차원 포즈 데이터를 시간의 흐름에 따라 트래킹하는 트래킹 데이터로, 상기 3차원 포즈 데이터의 움직임에 관한 정보 및 시간 정보를 포함하는 트래킹 데이터를 생성하고,
상기 매장에 진열된 복수의 상품 중 적어도 어느 하나가 선반으로부터 제거되거나 상기 선반에 추가되는 트리거가 발생된 트리거 시점, 및 상기 트리거가 발생된 위치를 포함하는 트리거 데이터를 식별하고,
상기 트리거 시점 및 상기 트리거가 발생된 상기 위치 중 적어도 하나에 기반하여, 상기 트리거와 관련된 상기 복수의 상품 중 적어도 어느 하나를 식별하고,
상기 트래킹 데이터 중 상기 트리거 시점을 포함하는 제1 시간 구간에 대응되는 데이터인 제1 트래킹 데이터를 식별하고,
상기 제1 트래킹 데이터에 포함된 상기 적어도 하나의 사용자 중 적어도 일부에 대해 사용자 후보군을 식별하고,
상기 사용자 후보군에 포함된 상기 적어도 일부의 사용자 각각에 대해, 제1 신뢰도를 계산하고,
상기 제1 신뢰도에 기반하여, 상기 트리거와 관련된 사용자가 제1 사용자임을 식별하고,
상기 제1 사용자의 가상 장바구니에 대해 상기 트리거와 관련한 업데이트를 수행하고,
상기 제1 신뢰도는, 상기 제1 트래킹 데이터의 프레임마다, 상기 사용자 후보군에 포함된 상기 적어도 일부의 사용자 각각에 대해 계산되고,
상기 제1 신뢰도는,
상기 제1 트래킹 데이터의 제1 프레임과 상기 트리거 시점에 해당되는 제1 트래킹 데이터의 트리거 프레임이 얼마나 가까운지 여부, 상기 적어도 일부의 사용자 각각과 상기 복수의 상품 중 상기 적어도 어느 하나 사이의 거리, 및 상기 적어도 일부의 사용자 각각과 상기 트리거가 발생된 상기 위치 사이의 거리 중 적어도 하나에 기반하여 계산되도록 하는 인스트럭션들(instructions)을 저장하는
매장의 결제 서비스를 제공하는 전자 장치.
- 제1 항에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
상기 트리거와 관련된 상기 선반에 대한 선반 이미지 데이터로, 상기 트리거 시점에서의 상기 선반 이미지 데이터를 식별하고,
상기 제1 시간 구간에서, 상기 사용자 후보군과 관련된 상품 검출 이미지 데이터를 식별하고,
상기 선반 이미지 데이터, 상기 상품 검출 이미지 데이터 및 상기 트리거가 발생된 상기 위치 중 적어도 하나에 기반하여, 상기 트리거와 관련된 상기 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별하도록 하는
매장의 결제 서비스를 제공하는 전자 장치.
- 제2 항에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
제1 사용자 식별 방식 및 제2 사용자 식별 방식 중 적어도 하나를 이용하여, 상기 제1 사용자를 식별하고,
상기 제1 사용자 식별 방식은,
상기 제1 트래킹 데이터에 기반하여, 상기 트리거와 관련된 상기 선반에 접근하였는지 여부를 기준으로 상기 사용자 후보군을 식별하고,
상기 제2 사용자 식별 방식은,
상기 제1 트래킹 데이터에서 상기 복수의 상품 중 적어도 하나와 상호작용한 제1 상호작용 정보를 식별하고,
상기 제1 상호작용 정보에 기반하여 상기 사용자 후보군을 식별하는,
매장의 결제 서비스를 제공하는 전자 장치.
- 제3 항에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
상기 선반 상에 상기 제1 상품이 진열되는 제1 플레이트에 연결된 제1 무게 센서와 제2 상품이 진열되는 제2 플레이트에 연결된 제2 무게 센서 중 상기 제1 무게 센서에 의해 탐지된 무게 변화를 더 포함하는 상기 트리거 데이터를 식별하고,
상기 트리거가 발생된 상기 위치인 상기 제1 무게 센서의 위치, 및 상기 제1 플레이트에 대한 이미지를 포함하는 선반 이미지 데이터 중 적어도 하나에 기반하여, 상기 트리거와 관련된 상기 복수의 상품 중 적어도 어느 하나가 제1 상품을 포함하는 것을 식별하도록 하는
매장의 결제 서비스를 제공하는 전자 장치.
- 제3 항에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
상기 제1 상품이 진열되는 제1 플레이트 및 제2 상품이 진열되는 제2 플레이트를 포함하는 상기 선반과 연결된 무게 센서에 의해 탐지된 무게 변화와, 상기 복수의 이미지 데이터에 기반한 제2 상호작용 정보 중 적어도 하나를 더 포함하는 상기 트리거 데이터를 식별하고,
상기 제1 사용자 식별 방식이 이용되는 경우, 상기 제1 트래킹 데이터 및 상기 트리거 데이터를 기초로, 상기 사용자 후보군을 식별하고,
상기 제2 사용자 식별 방식이 이용되는 경우, 상기 적어도 하나의 사용자 각각이 들고 있는 상기 복수의 상품 중 적어도 하나의 종류 및 개수를 식별한 결과와, 상기 복수의 상품 중 적어도 하나의 종류 및 상기 개수가 변화하였는지 여부를 포함하는 상기 제1 상호작용 정보에 기반하여, 상기 사용자 후보군을 식별하도록 하는
매장의 결제 서비스를 제공하는 전자 장치.
- 제5 항에 있어서,
상기 선반 이미지 데이터는,
제2 시간 구간의 시작 시점에서의 제1 선반 이미지 데이터와
상기 제2 시간 구간의 종료 시점에서의 제2 선반 이미지 데이터를 포함하고,
상기 인스트럭션들은, 상기 프로세서가,
제1 상품 식별 방식 및 제2 상품 식별 방식 중 적어도 하나를 이용하여, 상기 제1 상품을 식별하고,
상기 제1 상품 식별 방식은,
상기 무게 센서에 의해 탐지된 상기 무게 변화, 및 상기 제1 선반 이미지 데이터와 상기 제2 선반 이미지 데이터의 비교 결과 중 적어도 하나에 기반하여, 상품 변화 위치를 추정하고,
상기 상품 변화 위치 및 상기 무게 변화에 기반하여, 상기 제1 상품 및 상기 제2 상품 각각에 대한 제2 신뢰도를 계산하고, 상기 제2 신뢰도에 기반하여 상기 복수의 상품 중 적어도 어느 하나가 상기 제1 상품을 포함하는 것을 식별하도록 하고,
상기 제2 상품 식별 방식은,
상기 상품 검출 이미지 데이터를 기초로, 상기 사용자 후보군 각각이 들고 있는 상품의 종류 및 개수를 식별한 결과와, 상기 비교 결과 중 적어도 하나에 기반하여, 상품 변화 여부를 추정하고,
상기 상품 변화 여부에 기반하여, 상기 제1 상품 및 상기 제2 상품 각각에 대한 상기 제2 신뢰도를 계산하고,
상기 제2 신뢰도에 기반하여 상기 복수의 상품 중 적어도 어느 하나가 상기 제1 상품을 포함하는 것을 식별하는
매장의 결제 서비스를 제공하는 전자 장치.
- 제3 항에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
상기 복수의 이미지 데이터에 기반하여, 상기 선반과 상기 적어도 하나의 사용자 중 상기 적어도 일부와 상호작용이 발생한 경우 상기 상호작용의 시점, 상기 상호작용이 발생된 위치 및 상기 상호작용의 주체인 상기 제1 사용자에 대한 정보를 포함하는 제3 상호작용 정보 식별하여, 상기 제3 상호작용 정보를 더 포함하는 트리거 데이터를 식별하고,
상기 제1 사용자 식별 방식이 이용되는 경우, 상기 트리거 데이터의 상기 제3 상호작용 정보에 기반하여 상기 사용자 후보군을 식별하고,
상기 제2 사용자 식별 방식이 이용되는 경우,
상기 제3 상호작용 정보에 기반하여, 상기 제1 트래킹 데이터에서 상기 제1 상호작용 정보를 식별하고,
상기 제1 상호작용 정보에 기반하여 상기 사용자 후보군을 식별하도록 하는
매장의 결제 서비스를 제공하는 전자 장치.
- 제7 항에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
제1 상품 식별 방식 및 제2 상품 식별 방식 중 적어도 하나를 이용하여, 상기 제1 상품을 식별하고,
상기 제1 상품 식별 방식은,
제2 시간 구간의 시작 시점에서의 제1 선반 이미지 데이터와 상기 제2 시간 구간의 종료 시점에서의 제2 선반 이미지 데이터의 비교 결과에 기반하여, 상품 변화 위치를 추정하고,
상기 상품 변화 위치에 대응되는 제3 선반 이미지 데이터 및 상기 트리거가 발생된 시점에 기반하여, 상기 트리거와 관련된 상기 복수의 상품 중 적어도 어느 하나가 상기 제1 상품을 포함하는 것을 식별하도록 하고,
상기 제2 상품 식별 방식은,
상기 상품 검출 이미지 데이터를 기초로 상기 사용자 후보군 각각이 들고 있는 상품의 종류 및 개수를 식별한 결과, 및 상기 비교 결과 중 적어도 하나에 기반하여, 상품 변화 여부를 추정하고,
상기 상품 변화 여부에 기반하여, 상기 제1 상품 및 상기 제2 상품 각각에 대한 제2 신뢰도를 계산하고, 상기 제2 신뢰도에 기반하여 상기 복수의 상품 중 적어도 어느 하나가 상기 제1 상품을 포함하는 것을 식별하는
매장의 결제 서비스를 제공하는 전자 장치.
- 제1 항에 있어서,
상기 인스트럭션들은, 상기 프로세서가,
상기 복수의 이미지 센서로부터 수신되는 선반 이미지 데이터, 상기 복수의 이미지 센서로부터 수신되는 상기 적어도 하나의 사용자가 포함된 사용자 이미지 데이터 및 상기 선반과 연결된 무게 센서로부터 수신되는 무게 데이터 중 적어도 하나에 기반하여, 상기 선반 상의 상기 복수의 상품에 변화가 있었는지 여부를 판단하고,
상기 판단을 기초로 상기 트리거 데이터의 유효성을 판단하도록 하는
매장의 결제 서비스를 제공하는 전자 장치.
- 매장의 결제 서비스를 제공하는 방법에 있어서,
상기 매장의 결제 서비스를 제공하는 방법을 수행하는 장치에 포함된 프로세서가, 상기 매장 내의 복수의 이미지 센서로부터 복수의 이미지 데이터를 수신하는 단계;
상기 프로세서가, 상기 복수의 이미지 데이터에 적어도 하나의 사용자가 포함된 것에 기반하여, 상기 복수의 이미지 데이터 각각에 대해, 상기 적어도 하나의 사용자 각각의 관절 위치 및 상기 적어도 하나의 사용자 각각의 자세를 추정한, 복수의 2차원 포즈 데이터를 생성하는 단계;
상기 프로세서가, 상기 복수의 2차원 포즈 데이터 각각을 결합하여, 상기 적어도 하나의 사용자 각각에 대해 매칭되는, 상기 적어도 하나의 사용자 각각에 대한 3차원 포즈 데이터를 생성하여, 상기 매장 내에서 상기 적어도 하나의 사용자 각각의 움직임에 따라 상기 적어도 하나의 사용자 각각에 대한 상기 3차원 포즈 데이터를 시간의 흐름에 따라 트래킹하는 트래킹 데이터로, 상기 3차원 포즈 데이터의 움직임에 관한 정보 및 시간 정보를 포함하는 트래킹 데이터를 생성하는 단계;
상기 프로세서가, 상기 매장에 진열된 복수의 상품 중 적어도 어느 하나가 선반으로부터 제거되거나 상기 선반에 추가되는 트리거가 발생된 트리거 시점, 및 상기 트리거가 발생된 위치를 포함하는 트리거 데이터를 식별하는 단계;
상기 프로세서가, 상기 트리거 시점 및 상기 트리거가 발생된 상기 위치 중 적어도 하나에 기반하여, 상기 트리거와 관련된 상기 복수의 상품 중 적어도 어느 하나를 식별하는 단계;
상기 프로세서가, 상기 트래킹 데이터 중 상기 트리거 시점을 포함하는 제1 시간 구간에 대응되는 데이터인 제1 트래킹 데이터를 식별하는 단계;
상기 프로세서가, 상기 제1 트래킹 데이터에 포함된 상기 적어도 하나의 사용자 중 적어도 일부에 대해 사용자 후보군을 식별하는 단계;
상기 프로세서가, 상기 사용자 후보군에 포함된 상기 적어도 일부의 사용자 각각에 대해, 제1 신뢰도를 계산하는 단계;
상기 프로세서가, 상기 제1 신뢰도에 기반하여, 상기 트리거와 관련된 사용자가 제1 사용자임을 식별하는 단계; 및
상기 프로세서가, 상기 제1 사용자의 가상 장바구니에 대해 상기 트리거와 관련한 업데이트를 수행하는 단계를 포함하고,
상기 제1 신뢰도는, 상기 제1 트래킹 데이터의 프레임마다, 상기 사용자 후보군에 포함된 상기 적어도 일부의 사용자 각각에 대해 계산되고,
상기 제1 신뢰도는, 상기 제1 트래킹 데이터의 제1 프레임과 상기 트리거 시점에 해당되는 제1 트래킹 데이터의 트리거 프레임이 얼마나 가까운지 여부, 상기 적어도 일부의 사용자 각각과 상기 복수의 상품 중 상기 적어도 어느 하나 사이의 거리, 및 상기 적어도 일부의 사용자 각각과 상기 트리거가 발생된 상기 위치 사이의 거리 중 적어도 하나에 기반하여 계산되는,
매장의 결제 서비스를 제공하는 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230050004A KR102581701B1 (ko) | 2023-04-17 | 2023-04-17 | 매장의 결제 서비스를 제공하는 전자 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230050004A KR102581701B1 (ko) | 2023-04-17 | 2023-04-17 | 매장의 결제 서비스를 제공하는 전자 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102581701B1 true KR102581701B1 (ko) | 2023-09-26 |
Family
ID=88190773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230050004A KR102581701B1 (ko) | 2023-04-17 | 2023-04-17 | 매장의 결제 서비스를 제공하는 전자 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102581701B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102154720B1 (ko) * | 2019-08-06 | 2020-09-10 | 농업협동조합중앙회 | 점포 내의 선반에 비치된 아이템의 구매자를 식별하는 방법 및 그 전자장치 |
| KR20220136050A (ko) * | 2021-03-30 | 2022-10-07 | 와이폴라리스 주식회사 | 사람의 3d좌표를 생성하고 3d좌표의 타당성을 검토하는 장치 및 방법 |
| KR102451378B1 (ko) * | 2021-11-08 | 2022-10-07 | 오더퀸 주식회사 | 무인 매장 관리 시스템 |
| JP2023014207A (ja) * | 2019-12-19 | 2023-01-26 | 株式会社Touch To Go | 情報処理システム |
-
2023
- 2023-04-17 KR KR1020230050004A patent/KR102581701B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102154720B1 (ko) * | 2019-08-06 | 2020-09-10 | 농업협동조합중앙회 | 점포 내의 선반에 비치된 아이템의 구매자를 식별하는 방법 및 그 전자장치 |
| JP2023014207A (ja) * | 2019-12-19 | 2023-01-26 | 株式会社Touch To Go | 情報処理システム |
| KR20220136050A (ko) * | 2021-03-30 | 2022-10-07 | 와이폴라리스 주식회사 | 사람의 3d좌표를 생성하고 3d좌표의 타당성을 검토하는 장치 및 방법 |
| KR102451378B1 (ko) * | 2021-11-08 | 2022-10-07 | 오더퀸 주식회사 | 무인 매장 관리 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110335316B (zh) | 基于深度信息的位姿确定方法、装置、介质与电子设备 | |
| CN110349213B (zh) | 基于深度信息的位姿确定方法、装置、介质与电子设备 | |
| JP7248689B2 (ja) | 自動販売方法および装置、ならびにコンピュータ可読記憶媒体 | |
| EP3620966A1 (en) | Object detection method and apparatus for object detection | |
| CN110782483B (zh) | 基于分布式相机网络的多视图多目标跟踪方法及系统 | |
| CN109727288A (zh) | 用于单目同时定位与地图构建的系统和方法 | |
| JP6731097B2 (ja) | 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体 | |
| JP2019096294A (ja) | 視差推定装置及び方法 | |
| KR102057531B1 (ko) | 제스처를 이용하여 데이터를 송수신하는 모바일 기기들 | |
| US9269018B2 (en) | Stereo image processing using contours | |
| EP3404513A1 (en) | Information processing apparatus, method, and program | |
| US20220130175A1 (en) | Method and apparatus for detecting liveness based on phase difference | |
| CN115249356B (zh) | 识别方法、装置、设备及存储介质 | |
| CN111788533A (zh) | 基于立体视觉的车辆姿态估计的方法和系统 | |
| CN112233148A (zh) | 目标运动的估计方法、设备及计算机存储介质 | |
| CN115588045A (zh) | 移动设备的定位方法、装置、电子设备及存储介质 | |
| CN113689508B (zh) | 点云标注方法、装置、存储介质及电子设备 | |
| CN113129249A (zh) | 基于深度视频的空间平面检测方法及其系统和电子设备 | |
| CN114782510A (zh) | 目标物体的深度估计方法和装置、存储介质、电子设备 | |
| KR102581701B1 (ko) | 매장의 결제 서비스를 제공하는 전자 장치 및 방법 | |
| US20210042903A1 (en) | Electronic device and method of identifying false image of object attributable to reflection in indoor environment thereof | |
| US20170147873A1 (en) | Motion recognition method and motion recognition device | |
| US20230130674A1 (en) | Computer-readable recording medium storing learning program, learning method, and information processing apparatus | |
| JP2022176481A (ja) | 同定プログラム、同定方法、および情報処理装置 | |
| Xia et al. | YOLO-Based Semantic Segmentation for Dynamic Removal in Visual-Inertial SLAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |