KR20240052544A - 상품의 결제 정보를 생성하는 전자 디바이스 및 전자 디바이스의 동작 방법 - Google Patents

상품의 결제 정보를 생성하는 전자 디바이스 및 전자 디바이스의 동작 방법 Download PDF

Info

Publication number
KR20240052544A
KR20240052544A KR1020220132735A KR20220132735A KR20240052544A KR 20240052544 A KR20240052544 A KR 20240052544A KR 1020220132735 A KR1020220132735 A KR 1020220132735A KR 20220132735 A KR20220132735 A KR 20220132735A KR 20240052544 A KR20240052544 A KR 20240052544A
Authority
KR
South Korea
Prior art keywords
product
electronic device
payment information
shopping cart
user
Prior art date
Application number
KR1020220132735A
Other languages
English (en)
Inventor
안태욱
오주효
이건희
이소라
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220132735A priority Critical patent/KR20240052544A/ko
Publication of KR20240052544A publication Critical patent/KR20240052544A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3278—RFID or NFC payments by means of M-devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/405—Establishing or using transaction specific rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

개시된 실시예에 따른 쇼핑 카트에 설치되어 결제 정보를 생성하는 전자 디바이스(100)는 촬영부(110), 하나 이상의 인스트럭션을 포함하는 메모리(120) 및 하나 이상의 프로세서(130)를 포함하고, 상기 하나 이상의 프로세서(130)는 상기 하나 이상의 인스트럭션을 실행하여, 상기 촬영부에 의해 촬영된 사용자의 동작에 대한 이미지를 획득하고, 상기 수신된 이미지에서 사용자가 임의의 객체를 잡는 동작이 검출되면, 상기 임의의 객체를 상품으로 판단하고, 상기 상품이 상기 쇼핑 카트의 미리 설정된 경계를 통과하여 상기 쇼핑 카트의 내부로 진입하는지 여부에 기초하여 상기 상품에 대한 결제 정보를 생성할 수 있다.

Description

상품의 결제 정보를 생성하는 전자 디바이스 및 전자 디바이스의 동작 방법{An electronic device for generating payment information of a product and an operating method of the electronic device}
개시된 실시예는 상품의 결제 정보를 생성하는 전자 디바이스 및 전자 디바이스의 동작 방법에 관한 것으로 더욱 상세하게는 쇼핑 카트에 설치되어 상품의 결제 정보를 생성하는 전자 디바이스 및 전자 디바이스의 동작 방법에 관한 것이다.
쇼핑 카트에서 자동으로 결제 정보를 생성하는 방법은 상품의 무게를 감지하거나, RFID 통신 방법에 의하여 상품을 식별하고 식별된 상품을 결제하는 방법이 존재한다.
그러나, 상술한 종래의 방법들은 상품이 변경되는 경우에도 기존의 상품으로 결제 정보를 생성하고, 상품의 무게를 기준으로 상품을 식별하기 때문에 결제 정보 생성시 오류가 발생하는 문제점이 존재한다.
개시된 실시예에 따른 쇼핑 카트에 설치되어 결제 정보를 생성하는 전자 디바이스(100)는 촬영부(110), 하나 이상의 인스트럭션을 포함하는 메모리(120) 및 하나 이상의 프로세서(130)를 포함할 수 있다.
일 실시예에 따른 전자 디바이스(100)는 상기 하나 이상의 프로세서(130)는 상기 하나 이상의 인스트럭션을 실행하여, 상기 촬영부에 의해 촬영된 사용자의 동작에 대한 이미지를 획득할 수 있다.
일 실시예에 따른 전자 디바이스(100)는 상기 수신된 이미지에서 사용자가 임의의 객체를 잡는 동작이 검출되면, 상기 임의의 객체를 상품으로 판단할 수 있다.
일 실시예에 따른 전자 디바이스(100)는 상기 상품이 상기 쇼핑 카트의 미리 설정된 경계를 통과하여 상기 쇼핑 카트의 내부로 진입하는지 여부에 기초하여 상기 상품에 대한 결제 정보를 생성할 수 있다.
개시된 실시예에 따른 쇼핑 카트에 설치되어 결제 정보를 생성하는 전자 디바이스(100)의 동작 방법은 사용자의 동작이 촬영된 이미지를 획득하는 단계(310)를 포함할 수 있다.
일 실시예에 따른 전자 디바이스의 동작 방법은, 상기 이미지에서 사용자가 임의의 객체를 잡는 동작이 검출되면 상기 임의의 객체를 상품으로 판단하는 단계(330)를 포함할 수 있다.
일 실시예에 따른 전자 디바이스의 동작 방법은, 상기 상품이 상기 쇼핑 카트의 미리 설정된 경계를 통과하여 상기 쇼핑 카트의 내부로 진입하는 것으로 판단되면 상기 상품에 대한 결제 정보를 생성하는 단계(350)를 포함할 수 있다.
개시된 실시예에 따른 전자 디바이스(100)의 동작 방법은 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체에 저장되어 제공될 수 있다.
도 1은 개시된 실시예에 따른 전자 디바이스가 쇼핑 카트에 설치된 것을 도시한 것이다.
도 2는 개시된 실시예에 따른 전자 디바이스의 블록도이다.
도 3은 개시된 실시예에 따른 전자 디바이스의 동작 방법의 흐름도이다.
도 4는 개시된 실시예에 따른 전자 디바이스의 동작 방법에 있어서 상품의 결제 정보를 삭제하는 과정의 흐름도이다.
도 5는 개시된 실시예에 따른 프로세서가 다양한 쇼핑 카트들을 학습하는 것을 설명하기 위한 도면이다.
도 6은 개시된 실시예에 따른 전자 디바이스의 동작 방법에 있어서 다양한 쇼핑 카트들의 형태를 학습하는 과정을 도시한 흐름도이다.
도 7 및 도 8은 개시된 실시예에 따른 쇼핑 카트들을 도시한 것이다.
도 9는 개시된 실시예에 따른 프로세서가 임의의 객체를 학습하는 과정을 도시한 것이다.
도 10은 개시된 실시예에 따른 외부의 충전 장치에서 전자 디바이스가 분리되는 것을 도시한 것이다.
도 11은 개시된 실시예에 따른 전자 디바이스에 결제 정보가 생성된 것을 도시한 것이다.
도 12는 개시된 실시예에 따른 전자 디바이스에 직접 결제 알림이 표시된 것을 도시한 것이다.
도 13은 개시된 실시예에 따른 전자 디바이스의 동작 방법의 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서의 실시예에서 "사용자"라는 용어는 시스템, 기능 또는 동작을 제어하는 사람을 의미하며, 개발자, 관리자 또는 설치 기사를 포함할 수 있다.
도 1은 개시된 실시예에 따른 전자 디바이스(100)가 쇼핑 카트(200)에 설치된 것을 도시한 것이다.
도 1을 참조하면 일 실시예에 따른 전자 디바이스(100)는 쇼핑 카트(200)에 설치되어 쇼핑 카트(200) 내부로 진입하는 상품들에 대한 결제 정보를 생성할 수 있다. 예를 들면, 전자 디바이스(100)는 쇼핑 카트(200)의 손잡이 상단에 거치되는 방식으로 설치될 수 있다. 다만, 전자 디바이스(100)가 설치되는 방법은 이에 한정되는 것은 아니고, 쇼핑 카트(200)에 거치될 수 있는 다양한 지점에 설치되는 방법을 포함할 수 있다.
쇼핑 카트(200)에 들어오는 상품들의 결제 정보를 생성하기 위하여, 일 실시예에 따른 전자 디바이스(100)는 사용자가 손으로 잡은 임의의 객체를 상품으로 판단하고, 임의의 객체가 상품으로 판단되면 쇼핑 카트(200)의 미리 설정된 경계를 통과하는지 여부를 판단할 수 있다. 일 실시예에 따른 전자 디바이스(100)는 사용자의 동작을 촬영하고, 임의의 객체를 트래킹(Tracking)함으로써 상품을 정확히 식별하고, 상품에 대한 결제 정보를 생성 또는 삭제할 수 있다.
도 2는 개시된 실시예에 따른 전자 디바이스(100)의 블록도이다.
도 2를 참조하면, 개시된 실시예에 다른 전자 디바이스(100)는 촬영부(110), 메모리(120), 프로세서(130), 디스플레이(140), 배터리부(150) 및 결제부(160)를 포함할 수 있다.
일 실시예에 따른 촬영부(110)는 사용자의 동작을 촬영할 수 있다. 예를 들면, 촬영부(110)는 사용자가 임의의 객체를 손으로 잡는 동작을 촬영하고, 임의의 객체를 촬영할 수 있다. 촬영부(110)는 적어도 하나의 카메라를 포함할 수 있다. 예를 들어, 촬영부(110)는 서로 다른 화각을 갖는 복수개의 카메라를 포함할 수 있다. 여기서, 서로 다른 화각을 갖는다는 것은, 화각을 다르게 설정함으로서 서로 다른 카메라의 화각이 서로 달라지는 것을 의미할 수 있다. 또는, 서로 다른 화각을 갖는다는 것은 서로 다른 두 개의 카메라 각각의 화각의 범위가 서로 다르다는 것을 의미할 수도 있다. 예를 들어, 촬영부(110)는 표준 카메라(예를 들어, 화각이 40도 내지 60도 범위를 갖는 카메라), 망원 카메라(예를 들어, 화각이 40도 이하가 되는 카메라), 광각 카메라(예를 들어, 화각의 범위가 60 내지 80도의 범위를 갖는 카메라), 광학 줌(zoom)이 가능한 카메라(예를 들어, 카메라의 렌즈를 물리적으로 조절하여 화각의 범위가 60 내지 80도의 범위 내로 조절이 가능한 카메라) 및 디지털 줌((예를 들어, 촬영 범위를 디지털 적으로 조절이 가능한 카메라)이 가능한 카메라 중 적어도 하나를 포함할 수 있다. 또한, 표준 카메라는 1배 줌으로 설정된 카메라가 될 수 있으며, '일반 카메라'라 칭할 수 있다. 또한, 망원 카메라, 광학 카메라, 광학 줌이 가능한 카메라, 및 디지털 줌이 가능한 카메라는 설계 및/또는 제품 사양에 따라서 매우 다양하게 존재할 수 있다. 또한, 광학 줌 및 디지털 줌의 기능 및 상세 구성은 이미지 센서 분야에서 자명한 사항이므로, 상세 설명은 생략한다.
일 실시예에 따른 메모리(120)는 적어도 하나 이상의 인스트럭션을 포함할 수 있다. 메모리(120)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 예를 들면, 메모리(120)는 임의의 객체를 상품으로 판단하기 위한 복수의 인스트럭션들과 상품들의 결제 정보 생성을 위한 복수의 인스트럭션들을 포함할 수 있다.
일 실시예에 따른 전자 디바이스(100)는 하나 이상의 프로세서(130)를 포함할 수 있다. 일 실시예에 따른 프로세서(130)는 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행하여 촬영된 사용자의 동작에 대한 이미지를 수신하고, 수신된 이미지에서 사용자가 임의의 객체을 잡는 동작이 검출되면, 임의의 객체를 상품으로 판단할 수 있다. 일 실시예에 따른 프로세서(130)는 임의의 객체가 상품으로 판단되는 경우, 상품이 쇼핑 카트(200)의 미리 설정된 경계를 통과하여 쇼핑 카트(200)의 내부로 진입하는지 여부에 기초하여 상품에 대한 결제 정보를 생성할 수 있다.
일 실시예에 따른 프로세서(130)는 전자 디바이스(100)가 외부의 충전 장치로부터 분리되어 쇼핑 카트(200)에 설치되면 결제 정보를 생성하기 위한 동작을 수행할 수 있다.
예를 들면, 프로세서(130)는 임의의 객체가 상품으로 판단된 경우, 상품이 쇼핑 카트(200)의 미리 설정된 경계를 통과하는지 여부를 판단하고, 상품이 미리 설정된 경계를 통과하는 것으로 판단되면 상품에 대한 결제 정보를 생성할 수 있다. 일 실시예에 따른 미리 설정된 경계는 쇼핑카트(200)로 상품이 진입하는 경우 통과하는 기준 면일 수 있으나 이에 한정되지 않는다. 일 실시예에 따른 전자 디바이스(100)는 쇼핑카트(200)의 경계면들을 학습할 수 있는데, 전자 디바이스(100)가 쇼핑 카트의 경계면을 학습하는 과정은 도 5 및 도 6에서 상세히 설명한다.
일 실시예에 따른 프로세서(130)는 촬영부(110)에서 촬영된 이미지 또는 영상을 수신하고, 수신된 이미지 또는 영상에 사용자가 임의의 객체를 손으로 잡은 것으로 판단되면, 임의의 객체를 상품으로 결정하고 임의의 객체를 트래킹(Tracking)할 수 있다. 임의의 객체를 트래킹(Tracking) 한다는 것은 임의의 객체의 동선을 촬영하고, 임의의 객체의 이미지를 학습하는 것을 포함할 수 있다. 예를 들면, 프로세서(130)는 임의의 객체의 이미지를 학습하고, 임의의 객체에 상품의 식별 표지가 존재하는 경우 임의의 객체에 대한 상품 정보를 학습할 수 있다. 식별 표지는 상품의 바코드, 큐알코드(QR code), 가격 정보 또는 상표일 수 있으나 이에 한정되는 것은 아니다. 일 실시예에 따른 프로세서(130)는 임의의 객체가 상품으로 판단되면 상품에 고유의 아이디(ID)를 부여할 수 있다. 프로세서(130)는 임의의 객체를 상품으로 학습하고, 고유의 아이디를 부여함으로써 사용자가 동일한 상품을 중복하여 잡은 경우, 신속하고 정확한 결제 정보를 생성할 수 있다.
일 실시예에 따른 프로세서(130)는 사용자가 손으로 잡은 임의의 객체를 상품으로 판단하고, 상품에 대한 결제 정보를 생성할 수 있다. 예를 들면, 상품이 복수인 경우 프로세서(130)는 복수의 상품들에 대한 결제 정보를 각각 생성할 수 있고, 상품이 미리 설정된 경계를 통과하여 쇼핑 카트(200) 외부로 나가는 경우 프로세서(130)는 결제 정보에서 외부로 나간 상품의 정보를 삭제할 수 있다.
일 실시예에 따른 프로세서(130)는 임의의 객체에 상품의 식별 표지가 존재하는 경우 임의의 객체를 상품으로 결정할 수 있다. 임의의 객체가 상품으로 결정되고, 상품에 존재하는 식별 표지로부터 상품의 가격 정보를 추출할 수 있는 경우, 프로세서(130)는 상품에 대한 결제 정보를 생성할 수 있다. 그러나, 상품에 대한 가격정보를 추출할 수 없거나 상품에 대한 식별을 실패하는 경우 프로세서(130)는 상품에 대한 확인 메시지를 생성할 수 있다. 예를 들면, 프로세서(130)는 임의의 객체에 상품의 식별 표지가 없는 경우 또는 임의의 객체에 표시된 식별 표지로부터 상품의 가격 정보를 추출할 수 없는 경우, 상품을 식별할 수 없는 것으로 판단하고 상품에 대한 확인 메시지를 생성할 수 있다. 또한, 임의의 객체가 상품으로는 판단되지만 상품의 가격 정보를 추출할 수 없는 경우, 프로세서(130)는 직접 결제 메시지를 생성할 수 있다.
일 실시예에 따른 디스플레이(140)는 프로세서(130)로부터 생성한 결제 정보, 상품 확인 메세지 또는 상품에 대한 직접 결제 메시지를 수신하고, 표시할 수 있다. 예를 들면, 프로세서(130)가 복수의 상품들에 대하여 결제 정보를 생성한 경우, 디스플레이(140)는 복수의 상품들에 대한 각각의 결제 정보 및 통합 결제 정보를 표시할 수 있다. 복수의 상품들에 대한 각각의 결제 정보는 개별 상품들의 가격을 포함할 수 있다. 복수의 상품들에 대한 통합 결제 정보는 개별 상품들의 가격을 합친 전체 가격을 포함할 수 있다.
일 실시예에 따른 프로세서(130)가 사용자가 손으로 잡은 임의의 객체를 상품으로 식별하지 못하는 경우, 프로세서(130)는 임의의 객체에 대한 상품 확인 메시지를 생성할 수 있고, 디스플레이(140)는 상품 확인 메시지를 수신하고, 표시할 수 있다. 또한, 일 실시예에 따른 프로세서(130)가 사용자가 손으로 잡은 임의의 객체를 상품으로 식별하지 못하는 경우 또는 상품의 가격을 판단할 수 없는 경우 프로세서(130)는 임의의 객체에 대한 상품 확인 메시지 및 개별 상품에 대한 직접 결제 메시지를 생성할 수 있고, 디스플레이(140)는 상품 확인 메시지 및 직접 결제 메세지를 수신하고, 표시할 수 있다.
일 실시예에 따른 디스플레이(140)는 터치 스크린(Touch screen)형태로 구현될 수 있다. 예를 들면, 디스플레이(140)는 상품들에 대한 결제 정보, 상품 확인 메시지 또는 상품 직접 결제 메시지를 표시하고, 표시된 메시지들에 대한 사용자의 응답을 수신할 수 있다. 일 실시예예 따른 사용자의 응답은 디스플레이(140)에 표시된 항목에 대한 터치 형태 또는 음성 인식 형태일 수 있으나, 이에 한정되지 않는다.
도 3은 개시된 실시예에 따른 전자 디바이스(100)의 동작 방법의 흐름도이다.
도 3을 참조하면, 일 실시예에 따른 전자 디바이스(100)는 사용자의 동작이 촬영된 이미지를 수신할 수 있다(310). 예를 들면, 전자 디바이스(100)의 촬영부(110)는 사용자가 임의의 객체를 손으로 잡는 동작을 촬영하고, 촬영된 이미지를 프로세서(130)에 전달할 수 있다.
일 실시예에 따른 전자 디바이스(100)는 사용자의 동작이 촬영된 이미지를 수신하고, 수신된 이미지에서 사용자가 임의의 객체를 잡는 동작을 검출할 수 있다(320). 예를 들면, 전자 디바이스(100)의 프로세서는 촬영된 이미지에서 임의의 객체를 트래킹(Tracking)함으로써 사용자가 임의의 객체 손으로 잡는 동작을 검출할 수 있다. 일 실시예에 따른 임의의 객체에 대한 트래킹(Tracking)은 임의의 객체의 동작을 관심 영역으로 설정하여 포착하는 것을 의미한다.
예를 들면, 임의의 객체에 대한 트래킹(Tracking)은 손-객체 상관 모델(Hand-Object Interaction Model)에 기반하여 수행될 수 있다. 손-객체 상관 모델(Hand-Object Interaction Model)은 사용자의 손이 움직이는 영역을 관심영역으로 설정하고, 사용자가 손에 의하여 임의의 객체를 잡는 경우에만 임의의 객체를 검출하는 모델을 의미한다. 일 실시예에 따른 임의의 객체는 식품, 문구, 완구, 옷, 잡화, 화장품, 가구 또는 가전제품 등 일상생활에서 통상의 수요자가 마트에서 발견할 수 있는 상품들을 포함할 수 있다.
수신된 이미지에서 사용자가 임의의 객체를 잡는 동작이 검출되면, 일 실시예에 따른 전자 디바이스(100)는 임의의 객체를 상품으로 판단할 수 있다(330). 그러나, 수신된 이미지에서 사용자가 임의의 객체를 잡는 동작이 검출되지 않으면, 일 실시예에 따른 전자 디바이스(100)는 이미지에 상품이 존재하지 않는 것으로 판단하고 계속하여 사용자의 동작이 촬영된 이미지를 수신할 수 있다. 수신된 이미지에서 사용자가 임의의 객체를 잡는 동작이 검출되면, 일 실시예에 따른 전자 디바이스(100)는 임의의 객체를 상품으로 학습할 수 있다. 학습 결과, 사용자가 잡은 임의의 객체가 학습된 데이터에 존재하는 상품으로 판단되면, 상품에 고유의 아이디(ID)를 부여할 수 있다. 예를 들면, 제1 사용자가 잡은 임의의 객체가 제2 사용자에 의하여 이미 구매되었던 상품인 경우, 전자 디바이스(100)는 제1 사용자가 잡은 임의의 객체를 상품으로 판단하고 곧바로 트래킹(Tracking)할 수 있다.
임의의 객체가 상품으로 판단되면, 일 실시예에 따른 전자 디바이스(100)는 상품이 미리 설정된 경계를 통과하여 쇼핑 카트 내부로 진입하는지 여부를 판단할 수 있다(340). 예를 들면, 전자 디바이스(100)는 쇼핑 카트의 입구를 경계면으로 설정할 수 있다. 쇼핑 카트의 입구를 경계면으로 설정하기 위하여 전자 디바이스(100)는 쇼핑 카트들의 다양한 형태를 학습할 수 있다. 일 실시예에 따른 전자 디바이스(100)는 딥러닝(Deep Learning)에 의하여 쇼핑 카트들의 다양한 형태를 학습할 수 있다. 또한, 일 실시예에 따른 전자 디바이스(100)가 처음 접하는 쇼핑카트인 경우, 미리 설정된 경계는 사용자 설정에 의하여 정하여질 수 있다.
상품이 미리 설정된 경계를 통과하여 쇼핑 카트의 내부로 진입한 것으로 판단되면, 일 실시예에 따른 전자 디바이스(100)는 상품에 대한 결제 정보를 생성할 수 있다(350). 예를 들면, 전자 디바이스(100)는 상품이 미리 설정된 경계를 통과하는 경우, 상품의 가격을 추출하고 상품의 가격 정보가 반영된 결제 정보를 생성할 수 있다. 미리 설정된 경계를 통과한 상품이 복수인 경우, 일 실시예에 따른 전자 디바이스(100)는 복수의 상품들의 가격을 모두 반영한 결제 정보를 생성할 수 있다. 예를 들면, 상품이 복수인 경우, 전자 디바이스(100)는 상품들의 가격의 합을 사용자가 결제해야 하는 금액으로 결정할 수 있다. 또한, 일 실시예에 따른 전자 디바이스(100)는 상품이 복수인 경우, 상품들 각각의 가격을 표시한 결제 정보를 생성할 수 있다. 일 실시예에 따른 전자 디바이스(100)는 디스플레이(140)에 생성된 결제 정보를 표시할 수 있다.
도 4는 개시된 실시예에 따른 전자 디바이스(100)의 동작 방법에 있어서 상품의 결제 정보를 삭제하는 과정의 흐름도이다.
도 4를 참조하면, 일 실시예에 따른 전자 디바이스(100)는 사용자가 쇼핑 카트(200) 내부의 상품을 잡았는지 여부를 판단할 수 있다(410). 예를 들면, 전자 디바이스(100)의 프로세서(130)는 촬영부(110)가 촬영한 이미지를 수신하고, 수신된 이미지에서 사용자가 쇼핑 카트(200) 내부의 상품을 잡는 동작을 검출할 수 있다. 촬영된 이미지에서 사용자가 쇼핑 카트(200) 내부의 상품을 잡는 동작을 수행하는 경우, 전자 디바이스(100)는 사용자가 잡은 상품을 트래킹(Tracking)할 수 있다. 예를 들면, 촬영된 이미지에서 사용자가 쇼핑 카트(200) 내부의 상품을 잡는 동작을 수행하는 경우, 전자 디바이스(100)는 사용자가 잡은 상품의 동선을 추적할 수 있다.
사용자가 쇼핑 카트(200) 내부의 상품을 잡은 것으로 판단되면, 전자 디바이스(100)는 상품이 미리 설정된 경계를 통과하여 외부로 나가는지 여부를 판단할 수 있다(420). 일 실시예에 따른 미리 설정된 경계는 도 3의 실시예에서 설명한 것과 같을 수 있다.
상품이 미리 설정된 경계를 통과하여 쇼핑 카트(200)의 외부로 나간 것으로 판단되면, 전자 디바이스(100)는 결제 정보를 삭제할 수 있다(430). 예를 들면, 상품이 미리 설정된 경계를 통과하여 쇼핑 카트(200)의 외부로 나간 것으로 판단되면, 전자 디바이스(100)는 생성된 결제 목록에서 외부로 나간 상품을 삭제하고, 외부로 나간 상품의 가격을 차감한 결제 금액을 생성할 수 있다.
그러나, 사용자가 쇼핑 카트(200) 내부의 상품을 잡은 것으로 판단되나, 상품이 미리 설정된 경계를 통과하여 쇼핑 카트(200)의 외부로 나가지 않은 것으로 판단되면, 전자 디바이스(100)는 결제 정보를 유지할 수 있다(440). 예를 들면, 상품이 미리 설정된 경계를 통과하여 쇼핑 카트(200)의 외부로 나가지 않은 것으로 판단되면, 전자 디바이스(100)는 생성된 결제 목록 및 결제 금액을 유지할 수 있다.
도 5는 개시된 실시예에 따른 프로세서(130)가 다양한 쇼핑 카트들을 학습하는 것을 설명하기 위한 도면이다.
도 5를 참조하면, 전자 디바이스(100)의 프로세서(130)는 다양한 쇼핑 카트들을 학습할 수 있다. 예를 들면, 전자 디바이스는 제1 카트(201, Cart#1), 제2 카트(202, Cart#2), 제3 카트(203, Cart#3) 및 제4 카트(204, Cart#4)를 빅데이터 화 하고, 미리 정해진 딥러닝(Deep Learning)에 의하여 학습할 수 있다. 일 실시예에 따른 프로세서(130)는 제1 딥러닝 모델(131, Deep Learning Model#1)을 활용하여 다양한 쇼핑 카트들을 학습할 수 있다. 다만, 프로세서(130)가 학습하는 쇼핑카트들은 이에 한정되는 것은 아니고, 복수의 쇼핑 카트들(201, 202, 203, 204 ···, 20n)을 포함할 수 있다. 프로세서(130)에 의하여 다양한 쇼핑 카트들의 형태를 학습함으로써, 일 실시예에 따른 전자 디바이스(100)는 새로운 형태의 쇼핑 카트가 제시된 경우에도 쇼핑 카트의 입구를 경계로 설정하고 상품의 결제 정보를 생성할 수 있다.
도 6은 개시된 실시예에 따른 전자 디바이스(100)의 동작 방법에 있어서 다양한 쇼핑 카트들의 형태를 학습하는 과정을 도시한 흐름도이다.
도 6을 참조하면, 쇼핑 카트들의 형태를 학습하기 위하여 일 실시예에 따른 전자 디바이스(100)는 경계면을 학습할 수 있다(610). 예를 들면, 전자 디바이스(100)는 쇼핑 카트의 입구를 경계면으로 설정하고, 학습할 수 있다.
쇼핑 카트들의 경계면이 학습되면, 일 실시예에 따른 전자 디바이스(100)는 쇼핑 카트에서 경계면을 분리할 수 있다(620). 예를 들면, 전자 디바이스(100)는 쇼핑 카트의 입구의 형태만을 분리하고, 입구의 형태들을 학습할 수 있다.
쇼핑 카트의 경계면이 분리되면, 일 실시예에 따른 전자 디바이스(100)는 결제 정보 생성을 위한 기준 경계를 설정할 수 있다(630). 예를 들면, 전자 디바이스(100)는 분리된 쇼핑 카트의 경계면을 3차원 모델화하고, 설정된 경계면을 통과하는 상품들에 대한 결제 정보를 생성할 수 있다.
도 7 및 도 8은 개시된 실시예에 따른 쇼핑 카트들을 도시한 것이다.
도 7을 참조하면, 일 실시예에 따른 쇼핑 카트(201)는 사용자가 미는 동작 또는 당기는 동작을 통하여 이동시킬 수 있는 형태로 구성될 수 있다. 쇼핑 카트(201)가 사용자의 미는 동작 또는 당기는 동작에 의하여 이동 가능한 형태로 구현되는 경우, 미리 설정된 경계는 쇼핑 카트(201)의 상부 입구일 수 있다. 다만, 쇼핑 카트(201)의 형태는 이에 한정되는 것은 아니고, 쇼핑 카트(201)의 입구는 상품이 출입 할 수 있는 다른 부분을 포함할 수 있다.
도 8을 참조하면, 일 실시예에 따른 쇼핑 카트(202)는 사용자가 손으로 파지하여 드는 동작에 의하여 이동시킬 수 있는 형태로 구성될 수 있다. 쇼핑 카트(202)가 사용자가 손으로 파지하여 드는 동작에 의하여 이동시킬 수 있는 형태로 구현되는 경우, 미리 설정된 경계는 쇼핑 카트(202)의 상부 입구일 수 있다. 다만, 쇼핑 카트(202)의 형태는 이에 한정되는 것은 아니고, 쇼핑 카트(202)의 입구는 상품이 출입 할 수 있는 다른 부분을 포함할 수 있다.
도 9는 개시된 실시예에 따른 프로세서(130)가 임의의 객체를 학습하는 과정을 도시한 것이다.
도 9를 참조하면, 전자 디바이스(100)의 프로세서(130)는 다양한 객체를 학습할 수 있다. 예를 들면, 전자 디바이스(100)는 제1 객체(10, Object#1), 제2 객체(11, Object#2), 제3 객체(12, Object#3) 및 제4 객체(13, Object#4)를 빅데이터 화 하고, 딥러닝(Deep Learning)에 의하여 학습할 수 있다.
일 실시예에 따른 프로세서(130)는 제2 딥러닝 모델(132, Deep Learning Model#2)을 활용하여 다양한 객체들을 학습할 수 있다. 일 실시예에 따른 프로세서(130)는 객체들(10, 11, 12, 13)을 트래킹(Tracking)함으로써 객체들(10, 11, 12, 13)을 학습할 수 있다. 예를 들면, 프로세서(130)는 촬영된 이미지에서 사용자가 손으로 잡은 객체들을 상품으로 판단하고, 사용자가 손으로 잡은 객체들의 이미지, 가격, 유통기한, 또는 상품 정보를 학습할 수 있다. 다만, 프로세서(130)가 학습하는 객체들은 이에 한정되는 것은 아니고, 복수의 객체들(10, 11, 12, 13 ···, 1n)을 포함할 수 있으며, 객체의 다른 정보들을 더 학습할 수 있다. 다양한 객체들을 학습함으로써, 일 실시예에 따른 전자 디바이스(100)는 임의의 객체의 이미지에 기초하여 상품인지 여부를 판단하고, 사용자가 임의의 객체를 파지하는 동시에 상품 정보를 파악할 수 있다.
도 10은 개시된 실시예에 따른 외부의 충전 장치(300)에서 전자 디바이스(100)가 분리되는 것을 도시한 것이다.
도 10을 참조하면, 일 실시예에 따른 전자 디바이스(100)는 외부 충전 장치(300)에서 충전될 수 있다. 예를 들면, 사용자가 물품의 구매를 위해 마트(Mart)를 방문하는 경우, 사용자는 외부 충전 장치(300)에서 충전이 완료된 전자 디바이스(100)를 분리하고 쇼핑 카트(200)에 설치할 수 있다. 외부 충전 장치(300)에서 분리되고 쇼핑 카트에 설치되면, 전자 디바이스(100)는 상품들의 결제 정보 생성을 위한 동작을 수행할 수 있다.
도 11은 개시된 실시예에 따른 전자 디바이스(100)에 결제 정보가 생성된 것을 도시한 것이다.
도 11을 참조하면, 일 실시예에 따른 임의의 객체(10)가 쇼핑 카트(200)의 미리 설정된 경계(Check Boundary)를 통과하여 쇼핑 카트(100)의 내부로 진입하는 경우, 전자 디바이스(100)는 결제 정보를 디스플레이(140)에 표시할 수 있다. 예를 들면, 전자 디바이스(100)는 상품이 복수인 경우 제1 상품(Item1)에 대한 결제 정보 및 제2 상품(Item2)에 대한 결제 정보를 생성하고, 생성된 결제 정보를 디스플레이(140)에 표시할 수 있다. 일 실시예에 따른 결제 정보에는 상품의 이름, 상품의 수량 또는 상품의 금액이 포함될 수 있으나 이에 한정되는 것은 아니고, 상품의 다양한 정보를 더 포함할 수 있다. 또한, 전자 디바이스(100)는 제1 상품(Item1) 및 제2 상품(Item2)의 금액의 합을 결제 정보로 생성할 수 있다.
도 12는 개시된 실시예에 따른 전자 디바이스(100)에 직접 결제 알림이 표시된 것을 도시한 것이다.
도 12를 참조하면, 사용자가 손으로 잡은 임의의 객체를 상품으로 식별하지 못하는 경우, 전자 디바이스(100)는 임의의 객체에 대한 상품 확인 메시지를 생성할 수 있고, 디스플레이(140)는 상품 확인 메시지를 수신하고, 표시할 수 있다. 또한, 사용자가 손으로 잡은 임의의 객체를 상품으로 식별하지 못하는 경우 또는 상품의 가격을 판단할 수 없는 경우, 전자 디바이스(100)는 임의의 객체에 대한 상품 확인 메시지 및 개별 상품에 대한 직접 결제 메시지를 생성할 수 있고, 디스플레이(140)는 상품 확인 메시지 및 직접 결제 메세지를 수신하고, 표시할 수 있다. 예를 들면, 전자 디바이스(100)는 디스플레이(140)에 "직접 상품의 바코드를 스캔하라(Please Scan barcode!)"라는 메시지를 표시할 수 있다. 디스플레이(140)에 직접 결제 요청이 표시되는 경우, 사용자는 상품(10)을 쇼핑 카트(200) 내부에서 꺼내고, 촬영부(110)에 직접 바코드를 인식시킴으로써 상품(10)을 결제할 수 있다.
도 13은 개시된 실시예에 따른 전자 디바이스(100)의 동작 방법의 흐름도이다.
도 13을 참조하면, 외부의 충전 장치(300)에서 전자 디바이스(100)가 분리되어 쇼핑 카트(200)에 설치되는 경우, 상품에 대한 결제 정보 생성을 시작한다(1000).
일 실시예에 따른 전자 디바이스(100)는 사용자가 임의의 객체를 잡았는지 여부를 판단할 수 있다(1010). 예를 들면, 전자 디바이스(100)의 촬영부(110)는 사용자의 동작을 촬영하고, 프로세서(130)는 촬영부(110)가 촬영한 이미지를 수신할 수 있다. 촬영부(110)로부터 이미지가 수신되면, 프로세서(130)는 수신된 이미지에서 사용자가 임의의 객체를 손으로 잡은 동작을 검출할 수 있다.
사용자가 임의의 객체를 잡은 것으로 판단되면, 전자 디바이스(100)는 임의의 객체가 상품으로 식별 가능한지 여부를 판단한다(1020). 예를 들면, 사용자가 잡은 임의의 객체가 이미 학습된 상품인 경우, 전자 디바이스(100)는 임의의 객체를 상품으로 판단할 수 있다.
임의의 객체가 상품으로 판단되면, 전자 디바이스(100)는 상품에 대한 고유의 아이디(ID)를 부여할 수 있다(1030). 예를 들면, 임의의 객체가 상품으로 판단되면, 전자 디바이스(100)는 상품에 대한 식별 번호 또는 식별 바코드 번호를 부여할 수 있다. 다만, 전자 디바이스(100)가 상품에 아이디(ID)를 부여하는 방법은 이에 한정되는 것은 아니다.
상품에 아이디(ID)가 부여되면, 전자 디바이스(100)는 상품에 대한 결제 정보를 생성할 수 있다(1040). 일 실시예에 따른 결제 정보에는 상품의 이름, 상품의 수량 또는 상품의 금액이 포함될 수 있으나 이에 한정되는 것은 아니고, 상품의 다양한 정보를 더 포함할 수 있다.
그러나, 임의의 객체가 상품으로 식별 불가능한 경우, 전자 디바이스(100)는 상품에 대한 확인 메시지를 생성할 수 있다(1050). 예를 들면, 임의의 객체가 상품으로 식별되지 않는 경우, 전자 디바이스(100)는 임의의 객체가 구매하려는 상품인지 여부를 묻는 메시지 또는 상품에 대한 개별 정보를 입력하라는 메시지를 생성할 수 있다. 상품에 대한 개별 정보는 상품의 가격 정보를 포함할 수 있으며, 상품에 표시된 바코드에 의하여 입력될 수 있다.
상품에 대한 확인 메시지가 생성되면, 전자 디바이스(100)는 상품에 대한 직접 결제 메시지를 생성할 수 있다(1060). 예를 들면, 전자 디바이스(100)는 디스플레이(140)에 "직접 상품의 바코드를 스캔하라(Please Scan barcode!)"라는 메시지를 표시할 수 있다. 디스플레이(140)에 직접 결제 요청이 표시되는 경우, 사용자는 상품(10)을 쇼핑 카트(200) 내부에서 꺼내고, 촬영부(110)에 직접 바코드를 인식시킴으로써 상품(10)을 결제할 수 있다.
개시된 실시예에 따른 쇼핑 카트에 설치되어 결제 정보를 생성하는 전자 디바이스(100)는 촬영부(110), 하나 이상의 인스트럭션을 포함하는 메모리(120) 및 하나 이상의 프로세서(130)를 포함할 수 있다.
일 실시예에 따른 전자 디바이스(100)는 상기 하나 이상의 프로세서(130)는 상기 하나 이상의 인스트럭션을 실행하여, 상기 촬영부에 의해 촬영된 사용자의 동작에 대한 이미지를 획득할 수 있다.
일 실시예에 따른 전자 디바이스(100)는 상기 수신된 이미지에서 사용자가 임의의 객체를 잡는 동작이 검출되면, 상기 임의의 객체를 상품으로 판단할 수 있다.
일 실시예에 따른 전자 디바이스(100)는 상기 상품이 상기 쇼핑 카트의 미리 설정된 경계를 통과하여 상기 쇼핑 카트의 내부로 진입하는지 여부에 기초하여 상기 상품에 대한 결제 정보를 생성할 수 있다.
일 실시예에 따른 하나 이상의 프로세서(130)는, 상품이 복수인 경우 복수의 상품들에 대한 결제 정보를 생성할 수 있다.
일 실시예에 따른 하나 이상의 프로세서(130)는, 상품이 미리 설정된 경계를 통과하여 쇼핑 카트의 외부로 나가는 것으로 판단되면 결제 정보를 삭제할 수 있다.
일 실시예에 따른 하나 이상의 프로세서(130)는, 사용자가 잡은 임의의 객체를 트래킹(Tracking)하고, 임의의 객체에 대한 이미지 정보를 학습할 수 있다.
일 실시예에 따른 하나 이상의 프로세서(130)는, 임의의 객체를 상품으로 판단하면, 상품에 고유의 아이디(ID)를 부여할 수 있다.
일 실시예에 따른 하나 이상의 프로세서(130)는, 미리 정해진 딥러닝(Deep Learning) 모델을 활용하여 쇼핑 카트의 경계 면을 학습할 수 있다.
일 실시예에 따른 하나 이상의 프로세서(130)는, 외부의 충전 장치에서 전자 디바이스가 분리되어 쇼핑 카트에 설치되는 경우 상품에 대한 결제 정보 생성을 시작할 수 있다.
일 실시예에 따른 하나 이상의 프로세서(130)는, 상품에 대한 식별을 실패하는 경우 상품에 대한 확인 메시지를 생성할 수 있다.
일 실시예에 따른 하나 이상의 프로세서(130)는, 상품의 가격이 식별되지 않는 경우 상품에 대한 직접 결제 메세지를 생성할 수 있고, 디스플레이(140)는 직접 결제 메세지를 표시할 수 있다.
일 실시예에 따른 전자 디바이스(100)는 생성된 결제 정보에 기초하여 상품들에 대한 결제를 진행하는 결제부(160)를 더 포함할 수 있다.
개시된 실시예에 따른 쇼핑 카트에 설치되어 결제 정보를 생성하는 전자 디바이스(100)의 동작 방법은 사용자의 동작이 촬영된 이미지를 획득하는 단계(310)를 포함할 수 있다.
일 실시예에 따른 전자 디바이스의 동작 방법은, 상기 이미지에서 사용자가 임의의 객체를 잡는 동작이 검출되면 상기 임의의 객체를 상품으로 판단하는 단계(330)를 포함할 수 있다.
일 실시예에 따른 전자 디바이스의 동작 방법은, 상기 상품이 상기 쇼핑 카트의 미리 설정된 경계를 통과하여 상기 쇼핑 카트의 내부로 진입하는 것으로 판단되면 상기 상품에 대한 결제 정보를 생성하는 단계(350)를 포함할 수 있다.
일 실시예에 따른 상품에 대한 결제 정보를 생성하는 단계(350)는, 상품이 복수인 경우 복수의 상품들에 대한 결제 정보를 생성하는 것을 포함할 수 있다.
일 실시예에 따른 상품에 대한 결제 정보를 생성하는 단계(350)는, 상품이 미리 설정된 경계를 통과하여 쇼핑 카트의 외부로 나가는 는 것으로 판단되면 결제 정보를 삭제하는 것을 포함할 수 있다.
일 실시예에 따른 임의의 객체를 상품으로 판단하는 단계(330)는, 사용자 잡은 임의의 객체를 트래킹(Tracking)하고, 임의의 객체에 대한 이미지 정보를 학습하는 것을 포함할 수 있다.
일 실시예에 따른 임의의 객체를 상품으로 판단하는 단계(330)는, 임의의 객체를 상품으로 판단하면, 상품에 고유의 아이디(ID)를 부여하는 것을 포함할 수 있다.
일 실시예에 따른 상품에 대한 결제 정보를 생성하는 단계(350)는, 미리 정해진 딥러닝(Deep Learning) 모델을 활용하여 쇼핑 카트의 경계 면을 학습하는 것을 포함할 수 있다.
일 실시예에 따른 상품에 대한 결제 정보를 생성하는 단계(350)는, 외부의 충전 장치에서 전자 디바이스가 분리되어 쇼핑 카트에 설치되는 경우, 상품에 대한 결제 정보 생성을 시작하는 것을 포함할 수 있다.
일 실시예에 따른 상품에 대한 결제 정보를 생성하는 단계(350)는, 상품에 대한 식별을 실패하는 경우 상품에 대한 확인 메시지를 생성하는 것을 포함할 수 있다.
일 실시예에 따른 상품에 대한 결제 정보를 생성하는 단계(350)는, 상품의 가격이 식별되지 않는 경우 상품에 대한 직접 결제 메세지를 생성하는 단계를 포함하고, 직접 결제 메시지를 표시하는 단계를 더 포함할 수 있다.
개시된 실시예에 따른 전자 디바이스(100)의 동작 방법은 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체에 저장되어 제공될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
100: 전자 디바이스
110: 촬영부
120: 메모리
130: 프로세서
140: 디스플레이
150: 배터리부
160: 결제부
200: 쇼핑카트

Claims (20)

  1. 쇼핑 카트에 설치되어 결제 정보를 생성하는 전자 디바이스에 있어서,
    촬영부(110);
    하나 이상의 인스트럭션을 포함하는 메모리(120); 및
    하나 이상의 프로세서(130)를 포함하고, 상기 하나 이상의 프로세서(130)는 상기 하나 이상의 인스트럭션을 실행하여,
    상기 촬영부에 의해 촬영된 사용자의 동작에 대한 이미지를 획득하고,
    상기 수신된 이미지에서 사용자가 임의의 객체를 잡는 동작이 검출되면, 상기 임의의 객체를 상품으로 판단하고,
    상기 상품이 상기 쇼핑 카트의 미리 설정된 경계를 통과하여 상기 쇼핑 카트의 내부로 진입하는지 여부에 기초하여 상기 상품에 대한 결제 정보를 생성하는 전자 디바이스.
  2. 제1 항에 있어서,
    상기 하나 이상의 프로세서(130)는,
    상기 상품이 복수인 경우 복수의 상품들에 대한 결제 정보를 생성하는 전자 디바이스.
  3. 제1 항 또는 제2 항에 있어서,
    상기 하나 이상의 프로세서(130)는,
    상품이 상기 미리 설정된 경계를 통과하여 상기 쇼핑 카트의 외부로 나가는 는 것으로 판단되면 결제 정보를 삭제하는 전자 디바이스.
  4. 제1 항 내지 제3 항 중 적어도 한 항에 있어서,
    상기 하나 이상의 프로세서(130)는,
    상기 사용자가 잡은 임의의 객체를 트래킹(Tracking)하고, 상기 임의의 객체에 대한 이미지 정보를 학습하는 전자 디바이스.
  5. 제1 항 내지 제4 항 중 적어도 한 항에 있어서,
    상기 하나 이상의 프로세서(130)는,
    상기 임의의 객체를 상품으로 판단하면, 상기 상품에 고유의 아이디(ID)를 부여하는 전자 디바이스.
  6. 제1 항 내지 제5 항 중 적어도 한 항에 있어서,
    상기 하나 이상의 프로세서(130)는,
    미리 정해진 딥러닝(Deep Learning) 모델을 활용하여 상기 쇼핑 카트의 경계 면을 학습하는 전자 디바이스.
  7. 제1 항 내지 제6 항 중 적어도 한 항에 있어서,
    상기 하나 이상의 프로세서(130)는,
    상기 외부의 충전 장치에서 상기 전자 디바이스가 분리되어 상기 쇼핑 카트에 설치되는 경우 상기 상품에 대한 결제 정보 생성을 시작하는 전자 디바이스.
  8. 제1 항 내지 제7 항 중 적어도 한 항에 있어서,
    상기 하나 이상의 프로세서(130)는,
    상기 상품에 대한 식별을 실패하는 경우 상기 상품에 대한 확인 메시지를 생성하는 전자 디바이스.
  9. 제1 항 내지 제8 항 중 적어도 한 항에 있어서,
    상기 하나 이상의 프로세서(130)가 생성한 메시지를 표시하는 디스플레이(140)를 더 포함하고,
    상기 하나 이상의 프로세서(130)는,
    상기 상품의 가격이 식별되지 않는 경우 상기 상품에 대한 직접 결제 메세지를 생성하고,
    상기 디스플레이(140)는,
    상기 직접 결제 메세지를 표시하는 전자 디바이스.
  10. 제1 항 내지 제9 항 중 적어도 한 항에 있어서,
    상기 생성된 결제 정보에 기초하여 상기 상품들에 대한 결제를 진행하는 결제부(160)를 더 포함하는 전자 디바이스.
  11. 쇼핑 카트에 설치되어 결제 정보를 생성하는 전자 디바이스의 동작 방법에 있어서,
    사용자의 동작이 촬영된 이미지를 획득하는 단계(310);
    상기 이미지에서 사용자가 임의의 객체를 잡는 동작이 검출되면 상기 임의의 객체를 상품으로 판단하는 단계(330); 및
    상기 상품이 상기 쇼핑 카트의 미리 설정된 경계를 통과하여 상기 쇼핑 카트의 내부로 진입하는 것으로 판단되면 상기 상품에 대한 결제 정보를 생성하는 단계(350)를 포함하는 전자 디바이스의 동작 방법.
  12. 제11 항에 있어서,
    상기 상품에 대한 결제 정보를 생성하는 단계(350)는,
    상기 상품이 복수인 경우 복수의 상품들에 대한 결제 정보를 생성하는 것을 포함하는 전자 디바이스의 동작 방법.
  13. 제11 항 또는 제12 항에 있어서,
    상기 상품에 대한 결제 정보를 생성하는 단계(350)는,
    상품이 상기 미리 설정된 경계를 통과하여 상기 쇼핑 카트의 외부로 나가는 는 것으로 판단되면 결제 정보를 삭제하는 것을 포함하는 전자 디바이스의 동작 방법.
  14. 제11 항 내지 제13 항 중 적어도 한 항에 있어서,
    상기 임의의 객체를 상품으로 판단하는 단계(330)는,
    상기 사용자가 잡은 임의의 객체를 트래킹(Tracking)하고, 상기 임의의 객체에 대한 이미지 정보를 학습하는 것을 포함하는 전자 디바이스의 동작 방법.
  15. 제11 항 내지 제14 항 중 적어도 한 항에 있어서,
    상기 임의의 객체를 상품으로 판단하는 단계(330)는,
    상기 임의의 객체를 상품으로 판단하면, 상기 상품에 고유의 아이디(ID)를 부여하는 것을 포함하는 전자 디바이스의 동작 방법.
  16. 제11 항 내지 제15 항 중 적어도 한 항에 있어서,
    상기 상품에 대한 결제 정보를 생성하는 단계(350)는,
    미리 정해진 딥러닝(Deep Learning) 모델을 활용하여 상기 쇼핑 카트의 경계 면을 학습하는 것을 포함하는 전자 디바이스의 동작 방법.
  17. 제11 항 내지 제16 항 중 적어도 한 항에 있어서,
    상기 상품에 대한 결제 정보를 생성하는 단계(350)는,
    상기 외부의 충전 장치에서 상기 전자 디바이스가 분리되어 상기 쇼핑 카트에 설치되는 경우, 상기 상품에 대한 결제 정보 생성을 시작하는 것을 포함하는 전자 디바이스의 동작 방법.
  18. 제11 항 내지 제17 항 중 적어도 한 항에 있어서,
    상기 상품에 대한 결제 정보를 생성하는 단계(350)는,
    상기 상품에 대한 식별을 실패하는 경우 상기 상품에 대한 확인 메시지를 생성하는 것을 포함하는 전자 디바이스의 동작 방법.
  19. 제11 항 내지 제18 항 중 적어도 한 항에 있어서,
    상기 상품에 대한 결제 정보를 생성하는 단계(350)는,
    상기 상품의 가격이 식별되지 않는 경우 상기 상품에 대한 직접 결제 메세지를 생성하는 단계를 포함하고,
    상기 직접 결제 메시지를 표시하는 단계를 더 포함하는 전자 디바이스.
  20. 제11 항 내지 제19 항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020220132735A 2022-10-14 2022-10-14 상품의 결제 정보를 생성하는 전자 디바이스 및 전자 디바이스의 동작 방법 KR20240052544A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220132735A KR20240052544A (ko) 2022-10-14 2022-10-14 상품의 결제 정보를 생성하는 전자 디바이스 및 전자 디바이스의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220132735A KR20240052544A (ko) 2022-10-14 2022-10-14 상품의 결제 정보를 생성하는 전자 디바이스 및 전자 디바이스의 동작 방법

Publications (1)

Publication Number Publication Date
KR20240052544A true KR20240052544A (ko) 2024-04-23

Family

ID=90881253

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220132735A KR20240052544A (ko) 2022-10-14 2022-10-14 상품의 결제 정보를 생성하는 전자 디바이스 및 전자 디바이스의 동작 방법

Country Status (1)

Country Link
KR (1) KR20240052544A (ko)

Similar Documents

Publication Publication Date Title
JP6261197B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP7448065B2 (ja) 店舗装置、店舗システム、店舗管理方法、プログラム
WO2019165892A1 (zh) 自动售货方法、装置和计算机可读存储介质
JP6176257B2 (ja) 商品情報処理装置、そのデータ処理方法、およびプログラム
US20210312772A1 (en) Storefront device, storefront management method, and program
JPWO2019181499A1 (ja) 店舗管理装置および店舗管理方法
CN110866429A (zh) 漏扫识别方法、装置、自助收银终端及系统
CN109979130A (zh) 一种商品自动识别和结算售货柜、方法以及系统
TWI684925B (zh) 自動建立物件辨識模型的方法
JP2020060889A (ja) 無人店舗システムおよびサーバ
US11475657B2 (en) Machine learning algorithm trained to identify algorithmically populated shopping carts as candidates for verification
US11379903B2 (en) Data processing method, device and storage medium
JP7298594B2 (ja) 店舗管理装置および店舗管理方法、プログラム
WO2014020794A1 (ja) 情報処理装置及び画面設定方法
JP7384516B2 (ja) 情報処理装置、商品推薦方法、プログラム、及びシステム
JP2022048234A (ja) 情報処理システム、顧客特定装置、情報処理方法及びプログラム
WO2019165895A1 (zh) 自动售货方法和系统以及自动售货装置和自动贩售机
JP6261060B2 (ja) 情報処理装置
JP2012108805A (ja) 試着システム
CN114267106A (zh) 一种身份识别方法、装置及设备
JP2024015277A (ja) 情報提供装置及びその制御プログラム
JP2023504871A (ja) 不正検出システムおよび方法
KR20240052544A (ko) 상품의 결제 정보를 생성하는 전자 디바이스 및 전자 디바이스의 동작 방법
US20220005009A1 (en) Apparatus, method for controlling the same, and storage medium
JP2016062564A (ja) 情報処理装置及び情報処理プログラム