KR102636635B1

KR102636635B1 - Cart apparatus for paymenting unattended using vision sensing and system for paymenting unattended using the same

Info

Publication number: KR102636635B1
Application number: KR1020230080038A
Authority: KR
Inventors: 이현
Original assignee: 이현
Priority date: 2023-06-22
Filing date: 2023-06-22
Publication date: 2024-02-13
Also published as: KR102653182B1

Abstract

본 발명에 따른 비전 센싱을 이용한 무인 결제 카트 장치는 상품이 수용되는 수용 공간을 형성하는 카트 프레임; 상기 수용 공간의 상부 영역으로 사용자의 신체 및 상품 중 하나 이상이 진입하는 것을 감지하고, 상기 수용 공간의 상부 영역으로 진입했던 사용자의 신체 및 상품 중 하나 이상이 상기 수용 공간의 상부 영역으로부터 이탈하는 것을 감지하는 감지 센서; 상기 수용 공간 및 상기 수용 공간의 상부 영역 중 하나 이상을 촬영하여 촬영 이미지를 생성하는 카메라; 및 상기 진입이 감지된 진입 시점부터 상기 이탈이 감지된 이탈 시점까지의 상품 반출입 기간 동안에 생성된 촬영 이미지로부터 상품 이미지를 식별하고, 식별된 상기 상품 이미지에 기초하여 상기 수용 공간에 수용된 상품의 상품 정보를 결정하고, 상기 상품 정보를 취합하여 결제 상품 목록으로 생성하는 프로세서;를 포함할 수 있다.An unmanned payment cart device using vision sensing according to the present invention includes a cart frame forming a receiving space for receiving products; Detecting the entry of one or more of the user's body and products into the upper region of the receiving space, and detecting that one or more of the user's body and products that entered the upper region of the receiving space escape from the upper region of the receiving space A detection sensor that detects; a camera that generates a captured image by photographing at least one of the accommodating space and an upper area of the accommodating space; and identifying product images from captured images generated during the product carry-in and out period from the point of entry at which the entry is detected to the point of departure at which the departure is detected, and product information of the product accommodated in the accommodation space based on the identified product image. It may include a processor that determines, collects the product information, and generates a list of payment products.

Description

Unmanned payment cart device using vision sensing and unmanned payment system using the same {Cart apparatus for payment unattended using vision sensing and system for payment unattended using the same}

본 발명은 비전 센싱을 이용한 무인 결제 카트 장치 및 이를 이용한 무인 결제 시스템에 관한 것으로서, 더욱 상세하게는 카트에 형성된 수용 공간의 상부 영역에 대해 상품이 진입 또는 이탈하는 것을 감지하고, 진입 시점부터 이탈 시점까지의 상품 반출입 기간 동안의 촬영 이미지로부터 상품 이미지를 식별하여 결제 상품 목록을 생성함으로써, 무인으로 상품 결제를 수행할 수 있는 비전 센싱을 이용한 무인 결제 카트 장치 및 이를 이용한 무인 결제 시스템에 관한 것이다.The present invention relates to an unmanned payment cart device using vision sensing and an unmanned payment system using the same. More specifically, it detects the entry or exit of a product into the upper area of the receiving space formed in the cart, and detects the entry or exit point of the product from the point of entry to the point of departure. It relates to an unmanned payment cart device using vision sensing that can perform product payment unmanned by identifying product images from images taken during the product import/export period and generating a list of payment products, and to an unmanned payment system using the same.

일반적으로, 백화점이나 대형 할인점 등에서는 매장 관리의 효율성 증대와 고객의 쇼핑 편의 증진을 위하여 매장에 전시된 모든 상품에 바코드를 부착하여 계산을 보다 바른 시간에 처리할 수 있도록 되어 있다.In general, department stores and large discount stores attach barcodes to all products displayed in the store to increase the efficiency of store management and improve customer shopping convenience, so that checkout can be processed in a more timely manner.

이렇게 각 상품에 부착된 바코드에는 그 상품의 명칭, 포장 규격, 가격 등에 대한 정보가 수록되어 있으며, 이러한 바코드가 부착된 각 상품을 고객이 쇼핑 카트에 담아서 계산대로 이동하여 고객이 구매한 상품값을 계산하기 위해서는 각 상품에 부착된 바코드를 바코드 리더로 읽어서 상품의 종류, 가격 등에 대한 정보를 파악하여 자동으로 상품값을 계산하도록 되어 있다.The barcode attached to each product contains information about the product's name, packaging specifications, price, etc., and the customer places each product with this barcode in the shopping cart, moves to the checkout counter, and pays the price of the product the customer purchased. To calculate, the barcode attached to each product is read with a barcode reader to obtain information about the type and price of the product and automatically calculate the product price.

그런데, 대형 할인점의 경우에는 할인점을 이용하는 고객의 수가 많고, 특히 쇼핑객이 많이 몰리는 시간에는 계산대에서 계산을 위하여 기다리는 고객의 수가 너무 많아서 고객이 기다리는 시간이 길어지는 문제점이 있었다.However, in the case of large discount stores, the number of customers using the discount stores is large, and especially during times when many shoppers are crowded, the number of customers waiting to pay at the checkout counter is too large, so there is a problem in that customers wait for a long time.

그리고, 할인점 매장에 전시된 각 상품들에는 그 상품의 명칭 가격이 표시되어 있는 경우가 대부분이지만, 경우에 따라서는 가격이 표시되지 않은 상품이 진열대에 진열되는 경우도 있어서 고객이 그 상품의 구매를 망설이는 경우가 많다.In most cases, the name and price of each product displayed at a discount store are displayed, but in some cases, products without prices are displayed on the shelf, which prevents customers from purchasing the product. There is often hesitation.

이러한 문제를 해결하기 위해서, 종래에는 쇼핑 카트에 장착된 이동용 바코드 계산 시스템이 고안되었는 바, 상품에 부착된 바코드의 정보를 판독하는 바코드 리더를 통해 판독된 상품 정보를 디스플레이를 통해 고객에게 표시해 주고, 스피커를 통해 음성 안내를 출력하며, 키 패드를 통해 상품 정보 판독 및 계산을 위한 조작을 행하고, 바코드 리더를 이용하여 파악한 고객이 구입한 상품에 대한 데이터를 송신부를 통해 계산대의 수신부로 송신하는 기술이 개시되어 있다.In order to solve this problem, a mobile barcode calculation system mounted on a shopping cart has been devised. Product information read through a barcode reader that reads information on the barcode attached to the product is displayed to the customer through a display. This technology outputs voice guidance through a speaker, reads product information and performs calculations through a keypad, and transmits data about the product purchased by the customer using a barcode reader to the receiver of the checkout counter through the transmitter. It has been disclosed.

그러나, 상술한 선행문헌에 개시된 기술에서는 사용자가 의도적으로 도난 등을 위해 바코드를 표시하지 않고 추가 수량이나 물품을 카트에 담더라도 확인할 수 있는 방법이 없다.However, in the technology disclosed in the above-mentioned prior literature, there is no way to confirm even if the user intentionally puts an additional quantity or item into the cart without displaying a barcode for theft or the like.

또한, 의도적이 아니라고 하더라도 동행하는 일행이나 아이와 같이 바코드 리더로 스캔하지 않고 카트에 담게 되면, 의도치 않게 도난 의심을 받을 수 있다. In addition, even if it is not intentional, if you put something in your cart without scanning it with a barcode reader along with your companion or child, you may be suspected of theft.

이에 따라, 쇼핑 카트에 상품을 담는 동작만으로도 상품을 자동으로 계산할 수 있는 기술이 요구되고 있다.Accordingly, there is a demand for technology that can automatically calculate products just by putting them in a shopping cart.

한국공개특허 제10-2014-0122629호Korean Patent Publication No. 10-2014-0122629

본 발명의 목적은, 카트에 형성된 수용 공간의 상부 영역에 대해 상품이 진입 또는 이탈하는 것을 감지하고, 진입 시점부터 이탈 시점까지의 상품 반출입 기간 동안의 촬영 이미지로부터 상품 이미지를 식별하여 결제 상품 목록을 생성함으로써, 무인으로 상품 결제를 수행할 수 있는 비전 센싱을 이용한 무인 결제 카트 장치 및 이를 이용한 무인 결제 시스템을 제공하고자 한다.The purpose of the present invention is to detect the entry or exit of a product into the upper area of the receiving space formed in the cart, identify product images from images taken during the product entry and exit period from the point of entry to the point of departure, and create a list of payment products. By creating an unmanned payment cart device using vision sensing that can perform product payment unmanned, we aim to provide an unmanned payment system using the same.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the objects mentioned above, and other objects and advantages of the present invention that are not mentioned can be understood by the following description and will be more clearly understood by the examples of the present invention. Additionally, it will be readily apparent that the objects and advantages of the present invention can be realized by the means and combinations thereof indicated in the patent claims.

본 발명에 따른 비전 센싱을 이용한 무인 결제 카트 장치는 상품이 수용되는 수용 공간을 형성하는 카트 프레임; 상기 수용 공간의 상부 영역으로 사용자의 신체 및 상품 중 하나 이상이 진입하는 것을 감지하고, 상기 수용 공간의 상부 영역으로 진입했던 사용자의 신체 및 상품 중 하나 이상이 상기 수용 공간의 상부 영역으로부터 이탈하는 것을 감지하는 감지 센서; 상기 수용 공간 및 상기 수용 공간의 상부 영역 중 하나 이상을 촬영하여 촬영 이미지를 생성하는 카메라; 및 상기 진입이 감지된 진입 시점부터 상기 이탈이 감지된 이탈 시점까지의 상품 반출입 기간 동안에 생성된 촬영 이미지로부터 상품 이미지를 식별하고, 식별된 상기 상품 이미지에 기초하여 상기 수용 공간에 수용된 상품의 상품 정보를 결정하고, 상기 상품 정보를 취합하여 결제 상품 목록으로 생성하는 프로세서;를 포함할 수 있다.An unmanned payment cart device using vision sensing according to the present invention includes a cart frame forming a receiving space for receiving products; Detecting the entry of one or more of the user's body and products into the upper region of the receiving space, and detecting that one or more of the user's body and products that entered the upper region of the receiving space escape from the upper region of the receiving space A detection sensor that detects; a camera that generates a captured image by photographing one or more of the accommodating space and an upper area of the accommodating space; and identifying product images from captured images generated during the product carry-in/out period from the point of entry at which the entry is detected to the point of departure at which the departure is detected, and product information of the product accommodated in the accommodation space based on the identified product image. It may include a processor that determines, collects the product information, and generates a list of payment products.

상기 프로세서는 상기 카트 프레임이 결제 영역에 위치하면 상품의 결제를 수행할 수 있는 결제 장치로 상기 결제 상품 목록을 송신하도록 통신부를 제어할 수 있다.The processor may control the communication unit to transmit the payment product list to a payment device capable of performing payment for the product when the cart frame is located in the payment area.

상기 프로세서는 상기 진입이 감지된 진입 시점에 생성된 촬영 이미지로부터 제1 상품의 상품 이미지가 식별되고 상기 이탈이 감지된 이탈 시점에 생성된 촬영 이미지로부터 상기 제1 상품의 상품 이미지가 식별되지 않으면, 상기 상품 반출입 기간 동안에 생성된 촬영 이미지 중 적어도 하나의 촬영 이미지로부터 식별된 상기 제1 상품의 상품 이미지를 분석하여 상기 제1 상품의 제1 상품 정보를 결정하고, 상기 제1 상품 정보를 상기 결제 상품 목록에 추가시킬 수 있다.If the processor identifies the product image of the first product from the captured image generated at the point of entry at which the entry was detected and the product image of the first product is not identified from the captured image generated at the point of departure at which the departure was detected, The first product information of the first product is determined by analyzing the product image of the first product identified from at least one captured image among the captured images generated during the product carrying-in/out period, and the first product information is converted to the payment product. It can be added to the list.

상기 프로세서는 상기 진입이 감지된 진입 시점에 생성된 촬영 이미지로부터 식별되지 않았던 제2 상품의 상품 이미지가 상기 이탈이 감지된 이탈 시점에 생성된 촬영 이미지로부터 식별되면, 상기 상품 반출입 기간 동안에 생성된 촬영 이미지 중 적어도 하나의 촬영 이미지로부터 식별된 상기 제2 상품의 상품 이미지를 분석하여 상기 제2 상품의 제2 상품 정보를 결정하고, 상기 제2 상품 정보를 상기 결제 상품 목록에서 삭제시킬 수 있다.If the product image of the second product, which was not identified from the captured image generated at the point of entry at which the entry was detected, is identified from the captured image generated at the point of departure at which the departure was detected, the processor determines the photographed image generated during the product carry-in/out period. The product image of the second product identified from at least one captured image among the images may be analyzed to determine second product information of the second product, and the second product information may be deleted from the payment product list.

상기 프로세서는 상기 진입이 감지된 진입 시점에 생성된 촬영 이미지로부터 제3 상품의 상품 이미지가 식별되며 상기 이탈이 감지된 이탈 시점에 생성된 촬영 이미지로부터 상기 제3 상품의 상품 이미지가 식별되지 않고, 상기 진입이 감지된 진입 시점에 생성된 촬영 이미지로부터 식별되지 않았던 제4 상품의 상품 이미지가 상기 이탈이 감지된 이탈 시점에 생성된 촬영 이미지로부터 식별되면, 상기 상품 반출입 기간 동안에 생성된 촬영 이미지 중 적어도 하나의 촬영 이미지로부터 식별된 상기 제3 상품의 상품 이미지와 상기 제4 상품의 상품 이미지를 각각 분석하여 상기 제3 상품의 제3 상품 정보와 상기 제4 상품의 제4 상품 정보 각각을 결정하고, 상기 제3 상품 정보를 상기 결제 상품 목록에 추가시키고, 상기 제4 상품 정보를 상기 결제 상품 목록에서 삭제시킬 수 있다.The processor identifies the product image of the third product from the captured image generated at the entry point when the entry was detected, and the product image of the third product is not identified from the captured image generated at the exit point when the departure was detected, If the product image of the fourth product, which was not identified from the captured image generated at the time of entry when the entry was detected, is identified from the captured image generated at the time of departure when the departure was detected, at least one of the captured images created during the product carrying-in/out period By analyzing the product image of the third product and the product image of the fourth product identified from one captured image, respectively, determine third product information of the third product and fourth product information of the fourth product, The third product information can be added to the payment product list, and the fourth product information can be deleted from the payment product list.

상기 프로세서는 상기 진입이 감지된 진입 시점에 생성된 촬영 이미지로부터 식별된 상품 이미지가 없고 상기 이탈이 감지된 이탈 시점에 생성된 촬영 이미지로부터 식별된 상품 이미지도 없으면, 상기 결제 상품 목록을 유지시킬 수 있다.The processor may maintain the list of payment products if there is no product image identified from the captured image generated at the point of entry at which the entry was detected and there is no product image identified from the captured image generated at the point of departure at which the departure was detected. there is.

본 발명에 따른 비전 센싱을 이용한 무인 결제 카트 장치를 이용한 무인 결제 시스템은 상기 비전 센싱을 이용한 무인 결제 카트 장치; 및 결제 영역 내에서 상기 비전 센싱을 이용한 무인 결제 카트 장치가 감지되면, 상기 비전 센싱을 이용한 무인 결제 카트 장치로 결제 상품 목록을 요청하는 목록 요청 신호와 사용자의 결제 정보를 요청하는 결제 정보 요청 신호를 송신하고, 상기 비전 센싱을 이용한 무인 결제 카트 장치로부터 상기 결제 상품 목록과 상기 결제 정보가 수신되면, 상기 결제 상품 목록에 포함된 상품 정보와 상기 결제 정보를 이용하여 결제를 수행하는 결제 장치;를 포함할 수 있다.An unmanned payment system using an unmanned payment cart device using vision sensing according to the present invention includes the unmanned payment cart device using vision sensing; And when the unmanned payment cart device using the vision sensing is detected within the payment area, a list request signal for requesting a list of payment products from the unmanned payment cart device using the vision sensing and a payment information request signal for requesting the user's payment information. Transmits, and when the payment product list and the payment information are received from the unmanned payment cart device using the vision sensing, a payment device that performs payment using the product information included in the payment product list and the payment information; can do.

본 발명에 따르면 카트에 형성된 수용 공간의 상부 영역에 대해 상품이 진입 또는 이탈하는 것을 감지하고, 진입 시점부터 이탈 시점까지의 상품 반출입 기간 동안의 촬영 이미지로부터 상품 이미지를 식별하여 결제 상품 목록을 생성함으로써, 무인으로 상품 결제를 정확하고 신속하게 수행할 수 있다.According to the present invention, the entry or exit of a product is detected in the upper area of the receiving space formed in the cart, and a list of payment products is generated by identifying product images from images taken during the product entry and exit period from the point of entry to the point of departure. , Product payments can be made accurately and quickly unmanned.

도 1은 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치를 이용한 무인 결제 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치를 이용한 무인 결제 시스템의 구성 블록도이다.
도 3 및 도 4는 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치에서 결제 정보를 획득하는 과정을 도시한 도면이다.
도 5 및 도 6은 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치에 상품이 반입되는 과정을 도시한 도면이다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치에서 상품이 반출되는 과정을 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치를 이용한 무인 결제 시스템을 통해 무인 결제가 수행되는 과정을 설명하기 위한 도면이다.Figure 1 is a diagram illustrating an unmanned payment system using an unmanned payment cart device using vision sensing according to an embodiment of the present invention.
Figure 2 is a block diagram of an unmanned payment system using an unmanned payment cart device using vision sensing according to an embodiment of the present invention.
Figures 3 and 4 are diagrams illustrating a process of obtaining payment information from an unmanned payment cart device using vision sensing according to an embodiment of the present invention.
Figures 5 and 6 are diagrams illustrating a process in which products are loaded into an unmanned payment cart device using vision sensing according to an embodiment of the present invention.
Figures 7 and 8 are diagrams illustrating a process in which products are taken out of an unmanned payment cart device using vision sensing according to an embodiment of the present invention.
FIG. 9 is a diagram illustrating a process in which unmanned payment is performed through an unmanned payment system using an unmanned payment cart device using vision sensing according to an embodiment of the present invention.

이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형 태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대 해서는 유사한 참조 부호가 사용될 수 있다. Hereinafter, various embodiments of the present invention are described with reference to the accompanying drawings. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include various modifications, equivalents, and/or alternatives to the embodiments of the present invention. In connection with the description of the drawings, similar reference signs may be used for similar components.

본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 작동, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다. In this document, expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of the corresponding feature (e.g., numerical value, function, operation, or component such as a part). , and does not rule out the existence of additional features.

본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현 은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는 (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다. In this document, expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together. . For example, “A or B,” “at least one of A and B,” or “at least one of A or B” (1) includes at least one A, (2) includes at least one B, or (3) It can refer to all cases including both at least one A and at least one B.

본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중 요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.As used herein, expressions such as "first", "second", "first", or "second" may modify various elements in any order and/or importance, and may refer to one element. It is only used to distinguish from other components and does not limit the components. For example, a first user device and a second user device may represent different user devices regardless of order or importance. For example, a first component may be renamed a second component without departing from the scope of rights described in this document, and similarly, the second component may also be renamed to the first component.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성 요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다. A component (e.g., a first component) is “(operatively or communicatively) coupled with/to” another component (e.g., a second component). When “connected to” is mentioned, it should be understood that any component may be directly connected to the other component or may be connected through another component (e.g., a third component). On the other hand, when a component (e.g., a first component) is referred to as being “directly connected” or “directly connected” to another component (e.g., a second component), it is said that the component and the other component are It may be understood that no other components (e.g., third components) exist between components.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합 한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것 만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성 (또는 설정)된 제어부"는 해당 작동을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 작동들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다. The expression "configured to" used in this document may be used depending on the context, for example, "suitable for," "having the capacity to." )", "designed to", "adapted to", "made to", or "capable of". . The term “configured (or set) to” may not necessarily mean “specifically designed to” in hardware. Instead, in some contexts, the expression “a device configured to” may mean that the device is “capable of” working with other devices or components. For example, the phrase "control configured (or set) to perform operations A, B, and C" means that a dedicated processor (e.g., an embedded processor) to perform those operations, or by executing one or more software programs stored in memory, , may refer to a general-purpose processor (e.g., CPU or application processor) capable of performing the corresponding operations.

특히, 본 명세서에서, “~장치”는 중앙처리장치(Central Processing Unit (CPU)), 애플리케이션 프로세서(Application Processor (AP)) 및 커뮤니케이션 프로세서(Communication Processor (CP)) 중 하나 이상을 포함할 수 있다. In particular, in this specification, “~device” may include one or more of a central processing unit (CPU), an application processor (AP), and a communication processor (CP). .

본 명세서에서, “~장치”는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 작동하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, “~장치”는 기계 구동 장치, 스마트폰, 태블릿 PC, 데스크톱, 노트북, 로봇 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.In this specification, “~device” refers to all types of hardware devices including at least one processor, and depending on the embodiment, it may be understood as encompassing software configurations operating on the hardware device. For example, “~device” can be understood as including, but is not limited to, mechanical drive devices, smartphones, tablet PCs, desktops, laptops, robots, and user clients and applications running on each device. no.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한 정하려는 의도가 아닐 수 있다. 단수의 표현은 컨텍스트 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 컨텍스트 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다. Terms used in this document are merely used to describe specific embodiments and may not be intended to limit the scope of other embodiments. Singular expressions may include plural expressions, unless the context clearly indicates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by a person of ordinary skill in the technical field described in this document. Among the terms used in this document, terms defined in general dictionaries may be interpreted to have the same or similar meaning as the meaning they have in the context of related technology, and unless clearly defined in this document, they may be interpreted in an ideal or excessively formal sense. It is not interpreted. In some cases, even terms defined in this document cannot be interpreted to exclude embodiments of this document.

도 1은 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치를 이용한 무인 결제 시스템을 도시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치를 이용한 무인 결제 시스템의 구성 블록도이다.Figure 1 is a diagram showing an unmanned payment system using an unmanned payment cart device using vision sensing according to an embodiment of the present invention, and Figure 2 is a diagram showing an unmanned payment cart device using vision sensing according to an embodiment of the present invention. This is a block diagram of the unmanned payment system used.

도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치를 이용한 무인 결제 시스템은 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100) 및 결제 장치(200)를 포함할 수 있다.1 and 2, an unmanned payment system using an unmanned payment cart device using vision sensing according to an embodiment of the present invention is an unmanned payment cart device 100 using vision sensing according to an embodiment of the present invention. and a payment device 200.

본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100)는 카트 프레임(170)에 의해 형성된 수용 공간에 수용된 상품들의 상품 정보를 취합하여 결제 상품 목록으로 생성할 수 있다.The unmanned payment cart device 100 using vision sensing according to an embodiment of the present invention can collect product information on products accommodated in the receiving space formed by the cart frame 170 and create a list of payment products.

이때, 비전 센싱을 이용한 무인 결제 카트 장치(100)는 비전 센싱을 이용하여 수용 공간에 수용된 상품들의 상품 정보를 결정하고, 결정된 상품 정보를 취합하여 결제 상품 목록으로 생성할 수 있다.At this time, the unmanned payment cart device 100 using vision sensing may determine product information of products accommodated in the receiving space using vision sensing, collect the determined product information, and create a list of payment products.

이때, 비전 센싱을 이용한 무인 결제 카트 장치(100)는 상품을 식별할 수 있는 상품 식별 정보 및 상품의 가격을 나타내는 상품 가격 정보가 포함된 상품 정보를 결정할 수 있다.At this time, the unmanned payment cart device 100 using vision sensing can determine product information including product identification information for identifying the product and product price information indicating the price of the product.

이후, 비전 센싱을 이용한 무인 결제 카트 장치(100)는 매장 내에 정해진 결제 영역에 위치하는 경우, 현재 수용 공간에 수용된 상품들만의 상품 정보가 취합된 결제 상품 목록을 결제 장치(200)로 송신할 수 있다.Afterwards, when the unmanned payment cart device 100 using vision sensing is located in a designated payment area within the store, it can transmit to the payment device 200 a list of payment products in which product information is collected only for products currently accommodated in the receiving space. there is.

또한, 비전 센싱을 이용한 무인 결제 카트 장치(100)는 매장 내에 정해진 결제 영역에 위치하는 경우, 사용자의 결제 정보를 결제 장치(200)로 송신할 수 있다.Additionally, the unmanned payment cart device 100 using vision sensing may transmit the user's payment information to the payment device 200 when located in a designated payment area within the store.

이를 위해, 비전 센싱을 이용한 무인 결제 카트 장치(100)는 사용자에 의해 사용이 시작되면 최우선으로 사용자의 결제 정보를 획득할 수 있다.To this end, when the unmanned payment cart device 100 using vision sensing begins to be used by the user, it can obtain the user's payment information as a top priority.

이어서, 결제 장치(200)는 결제 영역에 위치한 비전 센싱을 이용한 무인 결제 카트 장치(100)로부터 결제 정보와 결제 상품 목록을 수신하고, 결제 정보와 결제 상품 목록을 이용하여 현재 수용 공간에 수용된 상품들만에 대해서 결제를 수행할 수 있다.Subsequently, the payment device 200 receives payment information and a list of payment products from the unmanned payment cart device 100 using vision sensing located in the payment area, and uses the payment information and payment product list to select only the products currently accommodated in the receiving space. Payment can be made for .

이하, 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100)에 대해 구체적으로 설명하도록 한다.Hereinafter, the unmanned payment cart device 100 using vision sensing according to an embodiment of the present invention will be described in detail.

도 3 및 도 4는 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치에서 결제 정보를 획득하는 과정을 도시한 도면이다.Figures 3 and 4 are diagrams illustrating a process of obtaining payment information from an unmanned payment cart device using vision sensing according to an embodiment of the present invention.

도 3 및 도 4를 더 참조하면, 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100)는 사용자에 의해 사용이 시작되면, 사용자로부터 결제 정보를 획득할 수 있다.Referring further to FIGS. 3 and 4 , when the unmanned payment cart device 100 using vision sensing according to an embodiment of the present invention begins to be used by the user, it can obtain payment information from the user.

이를 위해, 프로세서(130)는 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100)에 사용자로부터 사용 요청이 입력되면 디스플레이(140)가 사용자에게 결제 정보를 요청함을 알리는 요청 정보를 표시하도록 디스플레이(140)를 제어할 수 있다.To this end, the processor 130 sends a request notifying that the display 140 requests payment information from the user when a use request is input from the user to the unmanned payment cart device 100 using vision sensing according to an embodiment of the present invention. The display 140 can be controlled to display information.

이후, 사용자의 선택에 따라 다양한 방식으로 사용자의 결제 정보가 획득될 수 있다.Afterwards, the user's payment information can be obtained in various ways depending on the user's selection.

구체적으로, 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100)의 입력부에 도 3에 도시된 바와 같이, 사용자의 신용카드(C)가 태깅 또는 삽입되어 결제 정보로써 신용카드 정보가 획득될 수 있다.Specifically, as shown in FIG. 3, the user's credit card (C) is tagged or inserted into the input unit of the unmanned payment cart device 100 using vision sensing according to an embodiment of the present invention, and the credit card is used as payment information. Information can be obtained.

이를 위해, 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100)의 입력부는 신용카드(C)가 태깅되거나 삽입되면 신용카드 정보가 수신되는 신용카드 모듈을 구비할 수 있다.To this end, the input unit of the unmanned payment cart device 100 using vision sensing according to an embodiment of the present invention may be provided with a credit card module that receives credit card information when the credit card C is tagged or inserted.

또한, 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100)의 입력부에 도 4에 도시된 바와 같이, 사용자의 스마트폰(H)이 태깅되어 결제 정보로써 신용카드 정보가 획득될 수 있다.In addition, as shown in FIG. 4, the user's smartphone (H) is tagged at the input unit of the unmanned payment cart device 100 using vision sensing according to an embodiment of the present invention, and credit card information is obtained as payment information. It can be.

이를 위해, 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100)의 입력부는 스마트폰(H)와 근거리무선통신을 통해 신용카드 정보를 수신할 수 있는 통신 모듈을 구비할 수 있다.To this end, the input unit of the unmanned payment cart device 100 using vision sensing according to an embodiment of the present invention may be equipped with a communication module capable of receiving credit card information through a smartphone (H) and short-range wireless communication. there is.

한편, 다른 실시 예에 따른 프로세서(130)는 결제 정보가 획득되면, 가결제의 수행을 요청하는 가결제 요청 신호와 함께 결제 정보가 결제 장치(200)로 송신되도록 통신부(150)를 제어할 수 있다.Meanwhile, when payment information is obtained, the processor 130 according to another embodiment may control the communication unit 150 so that the payment information is transmitted to the payment device 200 along with a provisional payment request signal requesting performance of the provisional payment. there is.

이후, 결제 장치(200)는 가결제 요청 신호와 함께 결제 정보가 수신되면 결제 정보를 이용하여 가결제 금액에 대해 결제를 수행하고, 수행된 결제를 취소하는 결제 취소를 수행할 수 있다.Thereafter, when payment information is received along with the provisional payment request signal, the payment device 200 may perform payment for the provisional payment amount using the payment information and perform payment cancellation to cancel the performed payment.

이때, 결제 장치(200)는 가결제 금액에 대한 결제의 수행 결과를 비전 센싱을 이용한 무인 결제 카트 장치(100)로 송신할 수 있다.At this time, the payment device 200 may transmit the payment performance result for the provisional payment amount to the unmanned payment cart device 100 using vision sensing.

이어서, 다른 실시 예에 따른 프로세서(130)는 가결제 금액에 대한 결제의 수행 결과가 결제 불가를 나타내면, 사용자에게 결제 정보를 요청함을 알리는 요청 정보를 재표시하도록 디스플레이(140)를 제어할 수 있다.Subsequently, the processor 130 according to another embodiment may control the display 140 to redisplay request information notifying the user that payment information is requested when the result of payment for the provisional payment amount indicates payment is impossible. there is.

이를 통해, 다른 실시 예에 따른 프로세서(130)는 결제가 가능한 사용자의 결제 정보를 획득할 수 있다.Through this, the processor 130 according to another embodiment can obtain payment information of a user capable of making a payment.

도 5 및 도 6은 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치에 상품이 반입되는 과정을 도시한 도면이다.Figures 5 and 6 are diagrams illustrating a process in which products are loaded into an unmanned payment cart device using vision sensing according to an embodiment of the present invention.

도 5 및 도 6을 더 참조하면, 감지 센서(110)는 카트 프레임(170)에 의해서 형성되고 상품이 수용되는 공간인 수용 공간(S)의 상부 영역(S')으로 사용자의 신체 및 상품 중 하나 이상이 진입하는 것을 감지할 수 있다.Referring further to FIGS. 5 and 6, the detection sensor 110 is formed by the cart frame 170 and is located in the upper area (S') of the receiving space (S), which is a space where products are accommodated. It is possible to detect more than one entry.

여기서, 수용 공간(S)은 카트 프레임(170)을 구성하는 카트 측벽(W)과 카트 바닥(F)에 의해 형성되는 공간을 의미할 수 있다.Here, the accommodation space (S) may mean a space formed by the cart side wall (W) and the cart bottom (F) constituting the cart frame 170.

한편, 감지 센서(110)는 상기 수용 공간(S)의 상부 영역(S')으로 진입했던 사용자의 신체 및 상품 중 하나 이상이 상기 수용 공간(S)의 상부 영역(S')으로부터 이탈하는 것을 감지할 수 있다.Meanwhile, the detection sensor 110 detects that at least one of the user's body and the product that entered the upper area (S') of the receiving space (S) leaves the upper area (S') of the receiving space (S). It can be detected.

이를 위해, 감지 센서(110)는 카트 측벽(W)의 상부 모서리에 배치되어 상술된 진입과 이탈을 감지할 수 있다.To this end, the detection sensor 110 is placed at the upper edge of the cart side wall (W) and can detect the above-described entry and exit.

이러한, 감지 센서(110)는 적외선 감지 센서로 구현될 수 있다.This detection sensor 110 may be implemented as an infrared detection sensor.

또한, 감지 센서(110)는 진입과 이탈 각각의 감지 결과를 프로세서(130)로 출력할 수 있다.Additionally, the detection sensor 110 may output the detection results of each entry and exit to the processor 130.

카메라(120)는 상기 수용 공간(S) 및 상기 수용 공간(S)의 상부 영역(S') 중 하나 이상을 촬영하여 촬영 이미지를 생성할 수 있다.The camera 120 may generate a captured image by photographing one or more of the accommodation space (S) and the upper area (S') of the accommodation space (S).

카메라(120)는 촬영 이미지를 생성하는한 그 종류가 제한되지 않는다.The type of camera 120 is not limited as long as it generates captured images.

카메라(120)는 생성된 촬영 이미지를 프로세서(130)로 출력할 수 있다.The camera 120 may output the generated captured image to the processor 130.

프로세서(130)는 상기 진입이 감지된 진입 시점부터 상기 이탈이 감지된 이탈 시점까지의 상품 반출입 기간 동안에 생성된 촬영 이미지로부터 상품 이미지를 식별하고, 식별된 상기 상품 이미지에 기초하여 상기 수용 공간에 수용된 상품의 상품 정보를 결정하고, 상기 상품 정보를 취합하여 결제 상품 목록으로 생성할 수 있다.The processor 130 identifies a product image from a photographed image generated during the product carrying-out period from the entry point at which the entry is detected to the departure point at which the departure is detected, and stores the product accommodated in the receiving space based on the identified product image. The product information of the product can be determined, the product information can be collected, and a list of payment products can be created.

구체적으로, 프로세서(130)는 도 5에 도시된 바와 같이, 상기 진입이 감지된 진입 시점에 생성된 촬영 이미지로부터 제1 상품(P)의 상품 이미지가 식별되고, 도 6에 도시된 바와 같이, 상기 이탈이 감지된 이탈 시점에 생성된 촬영 이미지로부터 상기 제1 상품(P)의 상품 이미지가 식별되지 않으면, 상기 상품 반출입 기간 동안에 생성된 촬영 이미지 중 적어도 하나의 촬영 이미지로부터 식별된 상기 제1 상품(P)의 상품 이미지를 분석하여 상기 제1 상품의 제1 상품 정보를 결정할 수 있다.Specifically, as shown in FIG. 5, the processor 130 identifies the product image of the first product (P) from the captured image generated at the entry point when the entry is detected, and as shown in FIG. 6, If the product image of the first product (P) is not identified from the captured image generated at the time of departure when the departure is detected, the first product identified from at least one captured image among the captured images generated during the product carrying-in/out period By analyzing the product image of (P), the first product information of the first product can be determined.

이를 위해, 프로세서(130)는 사물 식별 알고리즘 또는 사물 식별 인공지능 모델을 이용하여 촬영 이미지로부터 상품 이미지를 식별할 수 있다.To this end, the processor 130 may identify a product image from a captured image using an object identification algorithm or an object identification artificial intelligence model.

여기서, 상품 이미지를 식별함이란 촬영 이미지 내에 포함된 상품 이미지를 다른 이미지와 구분지음을 의미할 수 있다.Here, identifying a product image may mean distinguishing the product image included in the captured image from other images.

한편, 프로세서(130)는 사물 분석 알고리즘 또는 사물 분석 인공지능 모델을 이용하여 상품 반출입 기간 동안에 생성된 촬영 이미지 중 적어도 하나의 촬영 이미지로부터 식별된 상품 이미지를 분석하여 해당 상품의 상품 정보를 결정할 수 있다.Meanwhile, the processor 130 uses an object analysis algorithm or an object analysis artificial intelligence model to analyze a product image identified from at least one of the captured images generated during the product import/exit period to determine product information for the product. .

여기서, 상품 이미지를 분석하여 상품 정보를 결정함이란, 식별된 상품 이미지에서 바코드 이미지, 상품 모델명 이미지, 상품 이름 이미지, 상품 용량 이미지 및 상품 형태 정보 중 하나 이상을 추출하고, 추출된 정보에 대응되는 상품의 상품 식별 정보와 상품 가격 정보를 상품 정보로 지정함을 의미할 수 있다.Here, determining product information by analyzing the product image means extracting one or more of the barcode image, product model name image, product name image, product capacity image, and product form information from the identified product image, and This may mean designating the product identification information and product price information of the product as product information.

즉, 진입 시점과 이탈 시점에 생성된 촬영 이미지로부터 상품 이미지가 식별되더라도, 식별된 상품 이미지로부터 해당 상품의 정보를 결정하기에는 식별된 상품 이미지가 분석이 불가한 경우, 프로세서(130)는 상품 반출입 기간 동안에 생성된 촬영 이미지로부터 상품 이미지를 식별하고, 상품 반출입 기간 동안에 생성된 촬영 이미지로부터 식별된 상품 이미지를 분석하여 해당 상품의 상품 정보를 결정할 수 있다.That is, even if the product image is identified from the captured images generated at the entry and exit points, if the identified product image cannot be analyzed to determine the information of the product from the identified product image, the processor 130 determines the product import/export period. The product image can be identified from the captured image generated during the product import/exit period, and the product image identified from the captured image generated during the product import/export period can be analyzed to determine the product information of the product.

이어서 설명하면, 프로세서(130)는 상품 반출입 기간 동안에 생성된 촬영 이미지 중 적어도 하나의 촬영 이미지로부터 식별된 상기 제1 상품(P)의 상품 이미지를 분석하여 상기 제1 상품(P)의 제1 상품 정보를 결정하고, 상기 제1 상품 정보를 상기 결제 상품 목록에 추가시킬 수 있다.Next, the processor 130 analyzes the product image of the first product (P) identified from at least one captured image among the captured images generated during the product carrying-in/out period to determine the first product of the first product (P). Information may be determined, and the first product information may be added to the payment product list.

즉, 프로세서(130)는 진입 시점에 상부 영역(S') 내로 진입한 것으로 확인된 제1 상품(P)이 이탈 시점에는 상부 영역(S')로부터 이탈하지 않은 것으로 확인되면, 제1 상품(P)이 수용 공간(S)에 수용된 것으로 판단하여 제1 상품 정보를 상기 결제 상품 목록에 추가시킬 수 있다.That is, if the processor 130 determines that the first product (P), which has been confirmed to have entered the upper area (S') at the time of entry, has not left the upper area (S') at the time of departure, the first product (P) It is determined that P) is accommodated in the receiving space (S), and the first product information can be added to the payment product list.

한편, 프로세서(130)는 디스플레이(140)를 제어하여 결제 상품 목록을 표시하고, 결제 상품 목록이 변경될 때 마다 결제 상품 목록이 갱신되어 표시되도록 디스플레이(140)를 제어할 수 있다.Meanwhile, the processor 130 may control the display 140 to display a list of payment products, and control the display 140 so that the list of payment products is updated and displayed whenever the list of payment products is changed.

도 7 및 도 8은 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치에서 상품이 반출되는 과정을 도시한 도면이다.Figures 7 and 8 are diagrams illustrating a process in which products are taken out of an unmanned payment cart device using vision sensing according to an embodiment of the present invention.

도 7 및 도 8을 더 참조하면, 프로세서(130)는 도 7에 도시된 바와 같이, 상기 진입이 감지된 진입 시점에 생성된 촬영 이미지로부터 식별되지 않았던 제2 상품의 상품 이미지가, 도 8에 도시된 바와 같이, 기 이탈이 감지된 이탈 시점에 생성된 촬영 이미지로부터 식별되면, 상기 상품 반출입 기간 동안에 생성된 촬영 이미지 중 적어도 하나의 촬영 이미지로부터 식별된 상기 제2 상품(P)의 상품 이미지를 분석하여 상기 제2 상품(P)의 제2 상품 정보를 결정할 수 있다.Referring further to FIGS. 7 and 8, the processor 130, as shown in FIG. 7, generates a product image of the second product that was not identified from the captured image generated at the point of entry at which the entry was detected, as shown in FIG. 8. As shown, if the departure is identified from the captured image generated at the time of the detected departure, the product image of the second product (P) identified from at least one captured image among the captured images generated during the product carry-in/out period By analyzing, the second product information of the second product (P) can be determined.

이후, 프로세서(130)는 상품 반출입 기간 동안에 생성된 촬영 이미지 중 적어도 하나의 촬영 이미지로부터 식별된 상기 제2 상품(P)의 상품 이미지를 분석하여 상기 제2 상품(P)의 제2 상품 정보를 결정하고, 상기 제1 상품 정보를 상기 결제 상품 목록에서 삭제시킬 수 있다.Thereafter, the processor 130 analyzes the product image of the second product (P) identified from at least one captured image among the captured images generated during the product carrying-in/out period to provide second product information of the second product (P). After making the decision, the first product information may be deleted from the payment product list.

즉, 프로세서(130)는 진입 시점에 상부 영역(S') 내로 진입하지 않은 것으로 확인된 제2 상품(P)이 이탈 시점에는 상부 영역(S')로부터 이탈한 것으로 확인되면, 수용 공간(S)에 수용되었던 제2 상품(P)이 수용 공간(S)으로부터 이탈된 것으로 판단하여 제2 상품 정보를 상기 결제 상품 목록에서 삭제시킬 수 있다.That is, if the processor 130 determines that the second product (P), which has been confirmed not to have entered the upper area (S') at the time of entry, has left the upper area (S') at the time of departure, the processor 130 determines that the second product (P) has left the upper area (S') at the time of departure. ), it is determined that the second product (P) that was accommodated in the space (S) has escaped from the accommodation space (S), and the second product information can be deleted from the payment product list.

한편, 프로세서(130)는 상기 진입이 감지된 진입 시점에 생성된 촬영 이미지로부터 제3 상품(P)의 상품 이미지가 식별되며 상기 이탈이 감지된 이탈 시점에 생성된 촬영 이미지로부터 상기 제3 상품(P)의 상품 이미지가 식별되지 않고, 상기 진입이 감지된 진입 시점에 생성된 촬영 이미지로부터 식별되지 않았던 제4 상품(P)의 상품 이미지가 상기 이탈이 감지된 이탈 시점에 생성된 촬영 이미지로부터 식별되면, 상기 상품 반출입 기간 동안에 생성된 촬영 이미지 중 적어도 하나의 촬영 이미지로부터 식별된 상기 제3 상품(P)의 상품 이미지와 상기 제4 상품(P)의 상품 이미지를 각각 분석하여 상기 제3 상품(P)의 제3 상품 정보와 상기 제4 상품(P)의 제4 상품 정보 각각을 결정할 수 있다.Meanwhile, the processor 130 identifies the product image of the third product (P) from the captured image generated at the point of entry when the entry was detected, and the third product (P) from the captured image generated at the point of departure when the departure was detected. The product image of P) was not identified, and the product image of the fourth product (P), which was not identified from the captured image generated at the time of entry when the entry was detected, was identified from the captured image generated at the time of departure when the departure was detected. Then, the product image of the third product (P) and the product image of the fourth product (P) identified from at least one captured image among the captured images generated during the product import/export period are analyzed respectively to determine the third product ( The third product information of P) and the fourth product information of the fourth product (P) can be determined, respectively.

즉, 프로세서(130)는 진입 시점에 상부 영역(S') 내로 진입한 것으로 확인된 제3 상품(P)이 이탈 시점에는 상부 영역(S')로부터 이탈하지 않은 것으로 확인되면, 제3 상품(P)이 수용 공간(S)에 수용된 것으로 판단하여 제1 상품 정보를 상기 결제 상품 목록에 추가시킬 수 있다.That is, if the processor 130 confirms that the third product (P), which was confirmed to have entered the upper area (S') at the time of entry, did not leave the upper area (S') at the time of departure, the processor 130 determines that the third product (P) It is determined that P) is accommodated in the receiving space (S), and the first product information can be added to the payment product list.

또한, 즉, 프로세서(130)는 진입 시점에 상부 영역(S') 내로 진입하지 않은 것으로 확인된 제4 상품(P)이 이탈 시점에는 상부 영역(S')로부터 이탈한 것으로 확인되면, 수용 공간(S)에 수용되었던 제4 상품(P)이 수용 공간(S)으로부터 이탈된 것으로 판단하여 제4 상품 정보를 상기 결제 상품 목록에서 삭제시킬 수 있다.In addition, if the processor 130 determines that the fourth product (P), which has been confirmed not to have entered the upper area (S') at the time of entry, has left the upper area (S') at the time of departure, the processor 130 It is determined that the fourth product (P) that was accommodated in (S) has escaped from the accommodation space (S), and the fourth product information can be deleted from the payment product list.

한편, 프로세서(130)는 상기 진입이 감지된 진입 시점에 생성된 촬영 이미지로부터 식별된 상품 이미지가 없고 상기 이탈이 감지된 이탈 시점에 생성된 촬영 이미지로부터 식별된 상품 이미지도 없으면, 상기 결제 상품 목록을 유지시킬 수 있다.Meanwhile, if there is no product image identified from the captured image generated at the time of entry at which the entry was detected and there is no product image identified from the captured image generated at the time of departure at which the departure was detected, the processor 130 lists the payment product. can be maintained.

즉, 프로세서(130)는 진입 시점에 상부 영역(S') 내로 진입한 상품이 없고 이탈 시점에 상부 영역(S')로부터 이탈한 상품도 없는 것으로 확인되면, 결제 상품 목록에서 상품 정보를 추가하거나 삭제하지 않고 유지시킬 수 있다.That is, if the processor 130 confirms that no product entered the upper area (S') at the time of entry and that no product left the upper area (S') at the time of departure, it adds product information to the payment product list or You can keep it without deleting it.

이를 통해, 프로세서(130)는 수용 공간(S)에 상품이 반입되어 수용되거나 반출될 때 마다 해당 상품들의 상품 정보들을 결제 상품 목록에서 추가 또는 삭제하여 결제 상품 목록에 포함된 상품 정보의 상품과 수용 공간(S)에 수용된 상품 간을 동기화시킬 수 있다.Through this, the processor 130 adds or deletes the product information of the corresponding products from the payment product list each time a product is brought in and accepted or taken out of the receiving space (S), so that the product and acceptance of the product information included in the payment product list are performed. Products accommodated in space (S) can be synchronized.

도 9는 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치를 이용한 무인 결제 시스템을 통해 무인 결제가 수행되는 과정을 설명하기 위한 도면이다.FIG. 9 is a diagram illustrating a process in which unmanned payment is performed through an unmanned payment system using an unmanned payment cart device using vision sensing according to an embodiment of the present invention.

이후, 상기 프로세서(130)는 상기 카트 프레임(170)이 결제 영역(CR)에 위치하면 상품의 결제를 수행할 수 있는 결제 장치(200)로 상기 결제 상품 목록을 송신하도록 통신부(150)를 제어할 수 있다.Thereafter, the processor 130 controls the communication unit 150 to transmit the payment product list to the payment device 200 that can perform payment for the product when the cart frame 170 is located in the payment area (CR). can do.

이를 위해, 통신부(150)는 결제 장치(200)와 근거리 무선 통신을 수행할 수 있다.To this end, the communication unit 150 may perform short-range wireless communication with the payment device 200.

한편, 통신부(150)는 결제 상품 목록과 함께 사용자로부터 획득된 사용자의 결제 정보를 결제 장치(200)로 송신할 수 있다.Meanwhile, the communication unit 150 may transmit the user's payment information obtained from the user along with the payment product list to the payment device 200.

이때, 결제 장치(200)는 감지 센서(210)를 통해 비전 센싱을 이용한 무인 결제 카트 장치(100)가 결제 영역(CR) 내에 위치하는지를 감지할 수 있다.At this time, the payment device 200 may detect whether the unmanned payment cart device 100 using vision sensing is located within the payment area CR through the detection sensor 210.

이후, 결제 장치(200)는 결제 영역(CR) 내에서 상기 비전 센싱을 이용한 무인 결제 카트 장치(100)가 감지되면, 통신부(230)를 제어하여 상기 비전 센싱을 이용한 무인 결제 카트 장치(100)로 결제 상품 목록을 요청하는 목록 요청 신호와 사용자의 결제 정보를 요청하는 결제 정보 요청 신호를 송신하도록 할 수 있다.Thereafter, when the payment device 200 detects the unmanned payment cart device 100 using the vision sensing within the payment area (CR), the payment device 200 controls the communication unit 230 to detect the unmanned payment cart device 100 using the vision sensing. A list request signal requesting a list of payment products and a payment information request signal requesting the user's payment information can be transmitted.

이어서, 결제 장치(200)는 비전 센싱을 이용한 무인 결제 카트 장치(100)로부터 상기 결제 상품 목록과 상기 결제 정보가 수신되면, 상기 결제 상품 목록에 포함된 상품 정보와 상기 결제 정보를 이용하여 결제를 수행할 수 있다.Subsequently, when the payment product list and the payment information are received from the unmanned payment cart device 100 using vision sensing, the payment device 200 makes a payment using the product information and the payment information included in the payment product list. It can be done.

최종적으로, 결제 장치(200)는 결제 상품 목록에 포함된 상품 정보 모두가 결제되면 게이트(G)를 개방하는 개방 신호를 게이트(G)에 송신하여 게이트(G)가 개방되도록 할 수 있다.Finally, the payment device 200 may transmit an open signal to the gate G to open the gate G when all product information included in the payment product list is paid.

한편, 도 1 및 도 2를 다시 참조하면, 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100)는, 감지 센서(110), 카메라(120), 프로세서(130), 디스플레이(140), 통신부(150), 저장부(160) 및 카트 프레임(170)을 포함할 수 있다.Meanwhile, referring again to FIGS. 1 and 2, the unmanned payment cart device 100 using vision sensing according to an embodiment of the present invention includes a detection sensor 110, a camera 120, a processor 130, and a display. It may include (140), a communication unit 150, a storage unit 160, and a cart frame 170.

프로세서(130)는 저장부(160)에 저장된 각종 프로그램을 이용하여 비전 센싱을 이용한 무인 결제 카트 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(130)는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 및 버스로 구성될 수 있다. 이때, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.The processor 130 can control the overall operation of the unmanned payment cart device 100 using vision sensing using various programs stored in the storage unit 160. The processor 130 may be comprised of RAM, ROM, a graphics processing unit, a main CPU, first to n interfaces, and a bus. At this time, RAM, ROM, graphics processing unit, main CPU, first to n interfaces, etc. may be connected to each other through a bus.

RAM은 O/S 및 어플리케이션 프로그램을 저장한다. 구체적으로, 비전 센싱을 이용한 무인 결제 카트 장치(100)가 부팅되면 O/S가 RAM에 저장되고, 사용자가 선택한 각종 어플리케이션 데이터가 RAM에 저장될 수 있다.RAM stores O/S and application programs. Specifically, when the unmanned payment cart device 100 using vision sensing is booted, the O/S is stored in RAM, and various application data selected by the user may be stored in RAM.

ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 저장부(160)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 저장부(160)에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.ROM stores a set of instructions for booting the system. When a turn-on command is input and power is supplied, the main CPU copies the O/S stored in the storage unit 160 to RAM according to the command stored in the ROM, executes the O/S, and boots the system. When booting is complete, the main CPU copies various application programs stored in the storage unit 160 to RAM and executes the application programs copied to RAM to perform various operations.

메인 CPU는 저장부(160)에 액세스하여, 저장부(160)에 저장된 OS를 이용하여 부팅을 수행한다. 그리고, 메인 CPU는 저장부(160)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.The main CPU accesses the storage unit 160 and performs booting using the OS stored in the storage unit 160. And, the main CPU performs various operations using various programs, contents, data, etc. stored in the storage unit 160.

제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 제1 내지 n 인터페이스 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.The first to n interfaces are connected to the various components described above. One of the first to n interfaces may be a network interface connected to an external device through a network.

한편, 프로세서(130)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.Meanwhile, the processor 130 may include one or more cores (not shown) and a graphics processing unit (not shown) and/or a connection path (e.g., bus, etc.) for transmitting and receiving signals with other components. You can.

한편, 프로세서(130)는 프로세서(130) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(130)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.Meanwhile, the processor 130 includes random access memory (RAM) (not shown) and read-only memory (ROM) that temporarily and/or permanently store signals (or data) processed within the processor 130. , not shown) may be further included. Additionally, the processor 130 may be implemented in the form of a system on chip (SoC) that includes at least one of a graphics processing unit, RAM, and ROM.

저장부(160)는 비전 센싱을 이용한 무인 결제 카트 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.The storage unit 160 may store various programs and data necessary for the operation of the unmanned payment cart device 100 using vision sensing. Memory can be implemented as non-volatile memory, volatile memory, flash-memory, hard disk drive (HDD), or solid state drive (SSD).

저장부(160)에는 프로세서(130)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 저장부(160)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.The storage unit 160 may store programs (one or more instructions) for processing and controlling the processor 130. Programs stored in the storage unit 160 may be divided into a plurality of modules according to their functions.

통신부(150)는 다른 장치와 통신을 수행할 수 있다. 특히, 통신부(150)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC칩, 저전력 블루투스 칩(BLE 칩) 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(1th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.The communication unit 150 can communicate with other devices. In particular, the communication unit 150 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, an NFC chip, and a low-energy Bluetooth chip (BLE chip). At this time, the Wi-Fi chip, Bluetooth chip, and NFC chip communicate in the LAN method, WiFi method, Bluetooth method, and NFC method, respectively. When using a Wi-Fi chip or Bluetooth chip, various connection information such as SSID and session key are first transmitted and received, and various information can be transmitted and received after establishing a communication connection using this. A wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, ZigBee, 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), and 5G (1st Generation).

결제 장치(200)는, 감지 센서(210), 프로세서(220), 통신부(230) 및 저장부(240)를 포함할 수 있다.The payment device 200 may include a detection sensor 210, a processor 220, a communication unit 230, and a storage unit 240.

프로세서(220)는 저장부(240)에 저장된 각종 프로그램을 이용하여 결제 장치(200)의 전반적인 동작을 제어할 수 있다. 프로세서(220)는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 및 버스로 구성될 수 있다. 이때, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.The processor 220 can control the overall operation of the payment device 200 using various programs stored in the storage unit 240. The processor 220 may be comprised of RAM, ROM, a graphics processing unit, a main CPU, first to n interfaces, and a bus. At this time, RAM, ROM, graphics processing unit, main CPU, first to n interfaces, etc. may be connected to each other through a bus.

ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 저장부(240)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 저장부(240)에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.ROM stores a set of instructions for booting the system. When a turn-on command is input and power is supplied, the main CPU copies the O/S stored in the storage unit 240 to RAM according to the command stored in the ROM, executes the O/S, and boots the system. When booting is complete, the main CPU copies various application programs stored in the storage unit 240 to RAM and executes the application programs copied to RAM to perform various operations.

메인 CPU는 저장부(240)에 액세스하여, 저장부(240)에 저장된 OS를 이용하여 부팅을 수행한다. 그리고, 메인 CPU는 저장부(240)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.The main CPU accesses the storage unit 240 and performs booting using the OS stored in the storage unit 240. And, the main CPU performs various operations using various programs, contents, data, etc. stored in the storage unit 240.

한편, 프로세서(220)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.Meanwhile, the processor 220 may include one or more cores (not shown) and a graphics processing unit (not shown) and/or a connection path (e.g., bus, etc.) for transmitting and receiving signals with other components. You can.

한편, 프로세서(220)는 프로세서(220) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(220)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.Meanwhile, the processor 220 includes RAM (Random Access Memory, not shown) and ROM (Read-Only Memory) that temporarily and/or permanently store signals (or data) processed within the processor 220. , not shown) may be further included. Additionally, the processor 220 may be implemented in the form of a system on chip (SoC) including at least one of a graphics processing unit, RAM, and ROM.

저장부(240)는 비전 센싱을 이용한 무인 결제 카트 장치(100)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 메모리는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.The storage unit 240 may store various programs and data necessary for the operation of the unmanned payment cart device 100 using vision sensing. Memory can be implemented as non-volatile memory, volatile memory, flash-memory, hard disk drive (HDD), or solid state drive (SSD).

저장부(240)에는 프로세서(220)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 저장부(240)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.The storage unit 240 may store programs (one or more instructions) for processing and controlling the processor 220. Programs stored in the storage unit 240 may be divided into a plurality of modules according to their functions.

통신부(230)는 다른 장치와 통신을 수행할 수 있다. 특히, 통신부(230)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC칩, 저전력 블루투스 칩(BLE 칩) 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 LAN 방식, WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신 하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(1th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.The communication unit 230 can communicate with other devices. In particular, the communication unit 230 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, an NFC chip, and a low-energy Bluetooth chip (BLE chip). At this time, the Wi-Fi chip, Bluetooth chip, and NFC chip communicate in the LAN method, WiFi method, Bluetooth method, and NFC method, respectively. When using a Wi-Fi chip or Bluetooth chip, various connection information such as SSID and session key are first transmitted and received, and various information can be transmitted and received after establishing a communication connection using this. A wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, ZigBee, 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), and 5G (1st Generation).

이하, 본 발명의 다른 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100)에 대해 설명하도록 한다.Hereinafter, an unmanned payment cart device 100 using vision sensing according to another embodiment of the present invention will be described.

본 발명의 다른 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100)는 본 발명의 일 실시 예에 따른 비전 센싱을 이용한 무인 결제 카트 장치(100) 대비, 무게 센서(180)를 더 포함하고 프로세서(130)의 역할이 부가될 뿐 다른 구성요소는 동일하므로 반복되는 설명은 생략하도록 한다.The unmanned payment cart device 100 using vision sensing according to another embodiment of the present invention further includes a weight sensor 180 compared to the unmanned payment cart device 100 using vision sensing according to an embodiment of the present invention. Since the role of the processor 130 is only added and other components are the same, repeated descriptions will be omitted.

무게 센서(180)는 상기 수용 공간(S)의 하부에 인가되는 무게인 수용 무게를 측정할 수 있다.The weight sensor 180 can measure the accommodation weight, which is the weight applied to the lower part of the accommodation space (S).

이후, 무게 센서(180)는 측정된 수용 무게를 프로세서(130)로 출력할 수 있다.Thereafter, the weight sensor 180 may output the measured accommodated weight to the processor 130.

프로세서(130)는 상술된 상기 진입이 감지된 진입 시점부터 상기 이탈이 감지된 이탈 시점까지의 상품 반출입 기간 동안에 상기 수용 무게의 무게 변화에 기초하여 상품 이미지를 식별할지 여부를 판단할 수 있다.The processor 130 may determine whether to identify the product image based on the weight change in the storage weight during the product carrying-in/out period from the entry point at which the entry is detected to the departure point at which the departure is detected.

구체적으로, 프로세서(130)는 상기 수용 무게의 무게 변화가 기준 무게 변화를 초과하면 상기 상품 이미지를 식별할 수 있다.Specifically, the processor 130 may identify the product image when the weight change in the accepted weight exceeds the reference weight change.

반대로, 프로세서(130)는 상기 수용 무게의 무게 변화가 기준 무게 변화를 초과하지 않으면 상기 상품 이미지를 식별하지 않을 수 있다.Conversely, the processor 130 may not identify the product image if the weight change in the accepted weight does not exceed the reference weight change.

이후, 프로세서(130)는 상기 상품 이미지를 식별하는 것으로 판단되면, 일 실시 예에 따른 프로세서(130)와 동일하게, 상기 상품 반출입 기간 동안에 생성된 촬영 이미지로부터 상기 상품 이미지를 식별하고, 식별된 상기 상품 이미지에 기초하여 상기 수용 공간에 수용된 상품의 상품 정보를 결정하고, 상기 상품 정보를 취합하여 결제 상품 목록으로 생성할 수 있다.Thereafter, when it is determined that the product image is identified, the processor 130 identifies the product image from the captured image generated during the product carrying-in and out period, in the same manner as the processor 130 according to one embodiment, and identifies the identified product image. Based on the product image, product information of the product accommodated in the receiving space may be determined, and the product information may be collected to create a payment product list.

이하, 프로세서(130)가 결제 상품 목록으로 생성하는 과정은 동일하므로 반복되는 설명은 생략하도록 한다.Hereinafter, the process of creating a payment product list by the processor 130 is the same, so repeated descriptions will be omitted.

한편, 다른 실시 예에 따른 프로세서(130)는 통신부(150)를 제어하여 결제 상품 목록과 결제 정보를 결제 장치(200)로 송신한 경우, 결제 상품 목록에 포함된 상품 정보에 기초하여 결제 단축 시간을 산출할 수 있다.Meanwhile, when the processor 130 according to another embodiment controls the communication unit 150 to transmit the payment product list and payment information to the payment device 200, the payment reduction time is based on the product information included in the payment product list. can be calculated.

구체적으로, 다른 실시 예에 따른 프로세서(130)는 결제 장치(200)로 송신된 결제 상품 목록에 포함된 상품 정보의 개수를 결제 상품 개수로 산출하고, 결제 상품 개수에 단위 결제 시간을 적용하여 수동 결제 시간을 산출하며, 수동 결제 시간에서 자동 결제 시간을 차감하여 상술된 결제 단축 시간으로 산출할 수 있다.Specifically, the processor 130 according to another embodiment calculates the number of product information included in the payment product list transmitted to the payment device 200 as the number of payment products, and applies the unit payment time to the number of payment products to manually The payment time can be calculated by subtracting the automatic payment time from the manual payment time to calculate the payment shortening time described above.

여기서, 단위 결제 시간은 수용 공간에 수용된 상품이 계산원에 의해 수동으로 결제되는 경우 상품 1개당 소요되는 시간이고, 자동 결제 시간은 수용 공간에 수용된 상품 모두가 본 발명에 따른 비전 센싱을 이용한 무인 결제 카트 장치를 이용한 무인 결제 시스템에 의해 결제되는데 소요되는 시간일 수 있다.Here, the unit payment time is the time required for each product when the products accommodated in the receiving space are manually paid by a cashier, and the automatic payment time is the time taken for each product when all products accommodated in the receiving space are paid for by an unmanned payment cart using vision sensing according to the present invention. This may be the time it takes to make a payment using an unmanned payment system using a device.

즉, 다른 실시 예에 따른 프로세서(130)는 계산원에 의해 수용 공간에 수용된 상품이 결제되는데 소요되는 시간인 수동 결제 시간에서 본 발명에 따른 비전 센싱을 이용한 무인 결제 카트 장치를 이용한 무인 결제 시스템에 의해 수용 공간에 수용된 상품이 결제되는데 소요되는 시간인 자동 결제 시간을 차감하여 결제 단축 시간으로 산출할 수 있다.That is, the processor 130 according to another embodiment is an unmanned payment system using an unmanned payment cart device using vision sensing according to the present invention in the manual payment time, which is the time required for the product accommodated in the receiving space by the cashier to be paid. The payment shortening time can be calculated by deducting the automatic payment time, which is the time it takes for products accommodated in the storage space to be paid.

한편, 또 다른 실시 예에 따른 프로세서(130)는 결제 단축 시간이 산출될 때마다, 결제 단축 시간에 기초하여 자동 결제 수수료를 산출할 수 있다.Meanwhile, the processor 130 according to another embodiment may calculate an automatic payment fee based on the shortened payment time every time the shortened payment time is calculated.

구체적으로, 또 다른 실시 예에 따른 프로세서(130)는 결제 단축 시간이 산출되면, 결제 단축 시간에 자동 결제 수수료 단가를 적용하여 자동 결제 수수료로 산출할 수 있다.Specifically, when the shortened payment time is calculated, the processor 130 according to another embodiment may calculate the automatic payment fee by applying the automatic payment fee unit price to the shortened payment time.

한편, 또 다른 실시 예에 따른 프로세서(130)는 통신부(150)를 통해 결제 정보와 결제 상품 목록이 결제 장치(200)로 송신될 때 마다, 결제 검증 회차인지 여부를 확인할 수 있다.Meanwhile, the processor 130 according to another embodiment may check whether it is a payment verification round each time payment information and a list of payment products are transmitted to the payment device 200 through the communication unit 150.

구체적으로, 또 다른 실시 예에 따른 프로세서(130)는 통신부(150)를 통해 결제 정보와 결제 상품 목록이 결제 장치(200)로 송신될 때 마다, 무작위 번호 생성 알고리즘을 통해 미리 설정된 번호 범위 내에서 무작위로 번호를 생성시키고, 해당 생성된 번호가 미리 설정된 기준 번호이면 결제 검증 회차인 것으로 확인할 수 있다.Specifically, whenever payment information and a list of payment products are transmitted to the payment device 200 through the communication unit 150, the processor 130 according to another embodiment generates a number within a preset number range through a random number generation algorithm. A number is randomly generated, and if the generated number is a preset standard number, it can be confirmed that it is a payment verification round.

반대로, 또 다른 실시 예에 따른 프로세서(130)는 무작위 번호 생성 알고리즘을 통해 무작위로 생성된 번호가 미리 설정된 기준 번호가 아니면 결제 검증 회차가 아닌 것으로 확인할 수 있다.Conversely, the processor 130 according to another embodiment may confirm that it is not a payment verification round if the number randomly generated through the random number generation algorithm is not a preset reference number.

이후, 또 다른 실시 예에 따른 프로세서(130)는 결제 검증 회차인 것으로 확인되면, 본 발명에 따른 비전 센싱을 이용한 무인 결제 카트 장치를 이용한 무인 결제 시스템에 의해 수행된 상품의 결제가 계산원에 의해 검사되도록 고객의 이동을 유도하는 이동 안내 정보를 디스플레이(140)가 표시하도록 디스플레이(140)를 제어할 수 있다.Thereafter, if it is confirmed that the processor 130 according to another embodiment is a payment verification round, the payment of the product performed by the unmanned payment system using the unmanned payment cart device using vision sensing according to the present invention is inspected by the cashier. The display 140 can be controlled so that the display 140 displays movement guidance information that encourages the customer to move as much as possible.

이를 통해, 본 발명에 따른 비전 센싱을 이용한 무인 결제 카트 장치를 이용한 무인 결제 시스템에 의해 수행된 상품의 결제를 계산원이 검사할 수 있다.Through this, the cashier can inspect the payment of the product performed by the unmanned payment system using the unmanned payment cart device using vision sensing according to the present invention.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.So far, the present invention has been examined with a focus on preferred embodiments. A person skilled in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative rather than a restrictive perspective. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present invention.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.As described above, although the present invention has been described with limited examples and drawings, the present invention is not limited thereto, and the technical idea of the present invention and the following will be understood by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of equivalence of the patent claims to be described.

100 : 비전 센싱을 이용한 무인 결제 카트 장치 및 이를 이용한 무인 결제 시스템
200 : 결제 장치100: Unmanned payment cart device using vision sensing and unmanned payment system using the same
200: Payment device

Claims

In the unmanned payment cart device,
A cart frame forming a receiving space where goods are accommodated;
Detecting the entry of one or more of the user's body and products into the upper region of the receiving space, and detecting that one or more of the user's body and products that entered the upper region of the receiving space escape from the upper region of the receiving space A detection sensor that detects;
a camera that generates a captured image by photographing one or more of the accommodating space and an upper area of the accommodating space; and
Identify product images from captured images generated during the product entry/exit period from the point of entry at which the entry is detected to the point of departure at which the departure is detected, and obtain product information of the product accommodated in the accommodation space based on the identified product image. A processor that determines, collects the product information, and creates a list of payment products;
The processor is
When the cart frame is located in the payment area, control the communication unit to transmit the payment product list to a payment device capable of performing payment for the product,
The processor is
If the product image of the first product is identified from the captured image generated at the point of entry when the entry is detected and the product image of the first product is not identified from the captured image created at the point of departure when the departure is detected, the product is carried out Determine the first product information of the first product by analyzing the product image of the first product identified from at least one captured image among the captured images generated during the period, and add the first product information to the payment product list And
The processor is
If the product image of the second product, which was not identified from the captured image generated at the point of entry when the entry was detected, is identified from the captured image generated at the time of departure when the departure was detected, at least one of the captured images created during the product carrying-in/out period Analyzing the product image of the second product identified from one captured image, determining second product information of the second product, and deleting the second product information from the payment product list,
The processor is
The number of product information included in the payment product list is calculated as the number of payment products, the manual payment time is calculated by applying the unit payment time to the number of payment products, and the automatic payment time is subtracted from the manual payment time to shorten payment. Calculated by time,
The unit payment time is
This is the time required for each product when the product accommodated in the storage space is paid for manually by the cashier,
The automatic payment time is
This is the time taken for all products accommodated in the receiving space to be paid for by an unmanned payment system including the unmanned payment cart device and the payment device,
The processor is
Calculate the automatic payment fee by applying the automatic payment fee unit price to the payment shortening time,
The processor is
Each time the payment product list is transmitted to the payment device, a number is randomly generated within a preset number range through a random number generation algorithm, and if the generated number is a preset standard number, it is confirmed that it is a payment verification round, If it is confirmed that it is the payment verification round, the display is controlled to display movement guidance information that induces the customer to move so that the payment of the product performed by the unmanned payment system is inspected by the cashier.
Unmanned payment cart device using vision sensing.

delete

According to paragraph 1,
The processor is
The product image of the third product is identified from the captured image generated at the point of entry when the entry is detected, and the product image of the third product is not identified from the captured image created at the point of departure when the departure is detected, and the product image of the third product is not identified, and the product image of the third product is not identified If the product image of the fourth product, which was not identified from the captured image generated at the detected point of entry, is identified from the captured image generated at the point of departure when the departure was detected, at least one of the captured images generated during the product carrying-in/out period is captured. The product image of the third product and the product image of the fourth product identified from the image are respectively analyzed to determine third product information of the third product and fourth product information of the fourth product, and the third product Characterized by adding product information to the payment product list and deleting the fourth product information from the payment product list
Unmanned payment cart device using vision sensing.

According to paragraph 1,
The processor is
If there is no product image identified from the captured image generated at the point of entry at which the entry was detected and there is no product image identified from the captured image generated at the point of departure at which the departure was detected, the payment product list is maintained.
Unmanned payment cart device using vision sensing.

An unmanned payment cart device using vision sensing according to any one of claims 1, 5, and 6; and
When an unmanned payment cart device using vision sensing is detected within the payment area, a list request signal requesting a list of payment products and a payment information request signal requesting the user's payment information are transmitted to the unmanned payment cart device using vision sensing. And, when the payment product list and the payment information are received from the unmanned payment cart device using the vision sensing, a payment device that performs payment using the product information included in the payment product list and the payment information; characterized by
An unmanned payment system using an unmanned payment cart device using vision sensing.