KR102449325B1 - Unmanned payment device with overlap prevention function through conveyor control - Google Patents

Unmanned payment device with overlap prevention function through conveyor control Download PDF

Info

Publication number
KR102449325B1
KR102449325B1 KR1020210183364A KR20210183364A KR102449325B1 KR 102449325 B1 KR102449325 B1 KR 102449325B1 KR 1020210183364 A KR1020210183364 A KR 1020210183364A KR 20210183364 A KR20210183364 A KR 20210183364A KR 102449325 B1 KR102449325 B1 KR 102449325B1
Authority
KR
South Korea
Prior art keywords
conveyor
product
products
unit
payment device
Prior art date
Application number
KR1020210183364A
Other languages
Korean (ko)
Inventor
노성운
오승진
Original Assignee
주식회사 인피닉
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인피닉 filed Critical 주식회사 인피닉
Priority to KR1020210183364A priority Critical patent/KR102449325B1/en
Application granted granted Critical
Publication of KR102449325B1 publication Critical patent/KR102449325B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G13/00—Roller-ways
    • B65G13/11—Roller frames
    • B65G13/12—Roller frames adjustable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G37/00—Combinations of mechanical conveyors of the same kind, or of different kinds, of interest apart from their application in particular machines or use in particular manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera

Abstract

The present invention discloses an unmanned payment device with an overlap prevention function through conveyor control, which performs unmanned payment by recognizing a product based on an image captured using a vision sensor in an unmanned store. The device includes: a transfer unit including a plurality of conveyors for moving a plurality of products; a photographing unit disposed on a path of the conveying unit and photographing a plurality of products moving by the conveying unit; and a controller for recognizing the plurality of products through an image captured by the photographing unit and controlling at least one of the speed and direction of each of the plurality of conveyors with respect to overlapping products among the plurality of products.

Description

컨베이어 제어를 통한 겹침 방지 기능을 갖는 무인 결제 장치{Unmanned payment device with overlap prevention function through conveyor control}Unmanned payment device with overlap prevention function through conveyor control

본 발명은 비전(vision) 센서 기반의 무인 결제 장치에 관한 것이다. 더욱 상세하게는, 무인 점포에서 비전 센서를 이용하여 촬영된 영상을 기반으로 상품을 인식하여 무인 결제를 수행하도록 하기 위한 컨베이어 제어를 통한 겹침 방지 기능을 갖는 무인 결제 장치에 관한 것이다.The present invention relates to an unmanned payment device based on a vision sensor. More particularly, it relates to an unmanned payment device having an overlap prevention function through a conveyor control for recognizing a product based on an image photographed using a vision sensor in an unmanned store and performing an unattended payment.

인공지능(AI)은 인간의 학습능력, 추론능력 및 지각능력 등의 일부 또는 전부를 컴퓨터 프로그램을 이용하여 인공적으로 구현하는 기술을 의미한다. 인공지능(AI)과 관련하여, 기계 학습(machine learning)은 다수의 파라미터로 구성된 모델을 이용하여 주어진 데이터로 파라미터를 최적화하는 학습을 의미한다. Artificial intelligence (AI) refers to a technology that artificially implements some or all of human learning ability, reasoning ability, and perception ability using computer programs. In relation to artificial intelligence (AI), machine learning refers to learning to optimize parameters with given data using a model composed of multiple parameters.

한편, 무인 점포(unmanned store)는 상품의 결제 및 관리를 수행하는 판매자 매장 내에 존재하지 않고 소비자가 구입을 원하는 물건을 가져와 직접 결제하는 점포를 말한다. On the other hand, an unmanned store refers to a store that does not exist in a seller's store that performs payment and management of goods, but directly pays for goods that consumers want to purchase.

최근 들어, IT(Information Technology) 산업기술의 발달, 인건비 상승과 심야 시간대의 효율적인 운영 등의 이유로 무인 점포에 대한 관심이 높아지고 있는 추세다. 이와 같은, 무인 점포는 주로 커피 전문점, 아이스크림 전문점 등과 같이 고객의 다양한 니즈를 반영하지 않아도 되는 상품을 취급하는 매장에서 제한적으로 적용되고 있으나, 최근 그 적용 영역이 확대되고 있다.Recently, interest in unmanned stores is increasing due to the development of IT (Information Technology) industrial technology, increase in labor costs, and efficient operation during late night hours. Such unmanned stores have been limitedly applied to stores handling products that do not need to reflect the various needs of customers, such as coffee shops and ice cream shops, but their application area has recently been expanded.

이와 같은, 무인 점포 내에는 고객이 구매하고자 하는 상품을 직접 결제할 수 있는 무인 셀프 결제기(예를 들어, 키오스크 등)가 설치되어 있으며, 무인 점포 내에 비치되어 있는 각종 제품과 무인 셀프 결제기의 도난이나 파손 등을 감시하기 위해 폐쇄 회로 텔레비전(Closed Circuit TeleVision, CCTV)이 설치되어 있다.In such an unmanned store, an unmanned self-pay machine (eg, a kiosk, etc.) that allows customers to directly pay for the product they want to purchase is installed, Closed Circuit Television (CCTV) is installed to monitor theft or damage.

일반적으로, 무인 셀프 결제기는 상품의 포장재에 구비된 바코드 또는 QR 코드를 스캔하고, 스캔된 바코드 또는 QR 코드를 통해 상품을 인식하고, 인식된 상품의 정보를 이용하여 결제를 진행하게 된다.In general, an unmanned self-payer scans a barcode or QR code provided on a packaging material of a product, recognizes a product through the scanned barcode or QR code, and proceeds with payment using the recognized product information.

이와 같은 바코드 또는 QR 코드를 이용한 상품 인식 방식의 무인 셀프 결제기는 판매상이 판매 장소에 존재하지 않고 소비자가 구입을 원하는 물건을 가져와서 직접 결제할 수는 있으나, 바코드 또는 QR 코드를 이용하여 상품을 인식하기 때문에, 바코드 또는 QR 코드가 부여되지 않은 공산품 이외의 상품(비정형 분야)에 대해서는 적용이 힘든 문제점이 있었다.Such unmanned self-paying machines that recognize products using barcodes or QR codes do not exist at the sales place and consumers can bring the items they want to purchase and pay directly, but they recognize products using barcodes or QR codes. Therefore, there is a problem that it is difficult to apply to products other than industrial products (atypical fields) to which barcodes or QR codes are not given.

대한민국 공개특허공보 제10-2020-0023990호, ‘무인 점포의 결제 처리 시스템, 방법 및 컴퓨터 프로그램’, (2020.03.06. 공개)Republic of Korea Patent Publication No. 10-2020-0023990, ‘Payment processing system, method and computer program for unmanned stores’, (published on March 6, 2020)

본 발명의 일 목적은 무인 점포에서 비전 센서를 이용하여 촬영된 영상을 기반으로 상품을 인식하여 무인 결제를 수행하도록 하기 위한 컨베이어 제어를 통한 겹침 방지 기능을 갖는 무인 결제 장치를 제공하는 것이다.An object of the present invention is to provide an unmanned payment device having an overlap prevention function through conveyor control for recognizing a product based on an image photographed using a vision sensor in an unmanned store and performing unattended payment.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 바와 같은 기술적 과제를 달성하기 위하여, 본 발명은 무인 결제 장치를 제안한다. 상기 장치는 복수의 상품을 이동시키는 복수의 컨베이어를 포함하는 이송부, 상기 이송부의 경로 상에 배치되어, 상기 이송부에 의해 이동하는 복수의 상품을 촬영하는 촬영부 및 상기 촬영부를 통해 촬영된 영상을 통해 상기 복수의 상품을 인식하고, 상기 복수의 상품 중 겹쳐진 상품에 대하여 상기 복수의 컨베이어 각각의 속도 및 방향 중 적어도 하나를 제어하는 제어부를 포함할 수 있다.In order to achieve the technical problem as described above, the present invention proposes an unmanned payment device. The apparatus includes a transfer unit including a plurality of conveyors for moving a plurality of products, a photographing unit that is disposed on the path of the conveying unit, and a photographing unit for photographing a plurality of products moving by the conveying unit, and the image captured through the photographing unit. It may include a controller for recognizing the plurality of products, and controlling at least one of a speed and a direction of each of the plurality of conveyors with respect to the overlapping products among the plurality of products.

구체적으로, 상기 이송부는 상기 복수의 상품이 투입되는 투입 영역에 구비되는 제1 컨베이어, 상기 제1 컨베이어로부터 일정 간격 이격되어 배치되는 제2 컨베이어 및 상기 제1 컨베이어 및 상기 제2 컨베이어 사이에 구비되어, 상기 복수의 상품의 겹침을 방지하는 겹침방지롤러를 포함할 수 있다.Specifically, the transfer unit is provided between a first conveyor provided in the input region into which the plurality of products are put, a second conveyor spaced apart from the first conveyor by a predetermined interval, and the first conveyor and the second conveyor. , It may include an anti-overlapping roller to prevent the overlap of the plurality of products.

상기 촬영부는 상기 제1 컨베이어 상에 배치되어, 상기 제1 컨베이어를 통해 이동하는 복수의 상품을 촬영하는 제1 촬영부 및 상기 제2 컨베이어 상에 배치되어, 상기 제1 컨베이어로부터 전달되어 제2 컨베이어를 통해 이동하는 복수의 상품을 촬영하는 제2 촬영부를 포함할 수 있다.The photographing unit is disposed on the first conveyor, is disposed on the first photographing unit and the second conveyor for photographing a plurality of products moving through the first conveyor, and is transmitted from the first conveyor to the second conveyor It may include a second photographing unit for photographing a plurality of products moving through the.

상기 제어부는 상기 제1 촬영부를 통해 촬영된 영상을 분석하여 상기 복수의 상품이 겹쳐진 것으로 판단되면, 상기 제2 컨베이어의 속도를 상기 제1 컨베이어의 속도보다 빠르게 제어할 수 있다.When it is determined that the plurality of products overlap by analyzing the image captured by the first photographing unit, the control unit may control the speed of the second conveyor to be faster than the speed of the first conveyor.

상기 제어부는 상기 제1 촬영부를 통해 촬영된 영상을 분석하여 상기 복수의 상품이 겹쳐진 것으로 판단되면, 상기 제2 컨베이어의 방향을 상기 제1 컨베이어의 방향과 반대로 제어할 수 있다.When it is determined that the plurality of products overlap by analyzing the image captured by the first photographing unit, the controller may control the direction of the second conveyor to be opposite to the direction of the first conveyor.

상기 겹침 방지 롤러는 상기 제1 컨베이어 및 상기 제2 컨베이어와 단차를 갖도록 돌출되어 배치될 수 있다.The overlap prevention roller may be disposed to protrude to have a step difference with the first conveyor and the second conveyor.

상기 제어부는 상기 제1 촬영부를 통해 촬영된 영상을 분석하여 상기 복수의 상품이 겹쳐진 것으로 판단되면, 상기 겹침방지롤러의 방향 및 속도 중 적어도 하나를 제어할 수 있다.When it is determined that the plurality of products overlap by analyzing the image captured by the first photographing unit, the control unit may control at least one of a direction and a speed of the overlapping prevention roller.

상기 장치는 탄성력을 가지며, 상기 제1 컨베이어를 따라 이동하는 복수의 상품의 경로 상에 위치하여, 상기 제1 컨베이어 내에서 복수의 상품에 대한 이동 경로를 변경하는 적어도 하나의 바리케이드를 더 포함할 수 있다.The device may further include at least one barricade having an elastic force and being positioned on a path of a plurality of products moving along the first conveyor to change a movement path for a plurality of products in the first conveyor. have.

상기 제어부는 상기 제1 촬영부를 통해 촬영된 영상을 분석하여, 상품의 크기를 측정하고, 상품의 크기에 따라 상기 바리케이드의 탄성력을 제어할 수 있다.The control unit may analyze the image captured by the first photographing unit, measure the size of the product, and control the elastic force of the barricade according to the size of the product.

상기 이송부는 상기 복수의 상품을 이동시키는 제1 컨베이어 및 상기 복수의 상품이 이동하는 방향에 대하여 수직하게 상기 제1 컨베이어와 밀착 배치되는 제2 컨베이어를 포함할 수 있다.The transfer unit may include a first conveyor for moving the plurality of products, and a second conveyor disposed in close contact with the first conveyor perpendicular to a direction in which the plurality of products move.

상기 제어부는 상기 촬영부를 통해 촬영된 영상을 분석하여 상기 복수의 상품이 겹치진 것으로 판단되면, 상기 제1 컨베이어 및 상기 제2 컨베이어의 속도 및 방향 중 적어도 하나를 제어할 수 있다.When it is determined that the plurality of products overlap by analyzing the image captured by the photographing unit, the control unit may control at least one of a speed and a direction of the first conveyor and the second conveyor.

본 발명의 실시 예들에 따르면, 복수의 상품 중 겹쳐진 상품에 대하여 복수의 컨베이어의 속도 및 방향 중 적어도 하나를 제어함으로써, 겹쳐진 상품을 분리시켜 상품 인식이 용이하도록 할 수 있다.According to embodiments of the present invention, by controlling at least one of the speed and direction of the plurality of conveyors with respect to the overlapping product among the plurality of products, the overlapping product may be separated to facilitate product recognition.

도 1은 본 발명의 다양한 실시 예에 따른 무인 결제 시스템을 나타낸 개략도이다.
도 2는 본 발명의 다양한 실시 예에 따른 무인 결제 장치를 나타낸 개략도이다.
도 3은 본 발명의 다양한 실시 예에 따른 무인 결제 장치의 논리적 구성도이다.
도 4는 본 발명의 다양한 실시 예에 따른 무인 결제 장치의 하드웨어 구성도이다.
도 5는 본 발명의 일 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.
도 6은 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.
도 7 및 도 8은 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.
도 9는 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.
도 10은 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.
도 11은 본 발명의 또 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.
도 12는 본 발명의 일 실시 예에 따른 무인 결제 방법을 설명하기 위한 순서도이다.1 is a schematic diagram illustrating an unattended payment system according to various embodiments of the present disclosure.
2 is a schematic diagram illustrating an unmanned payment device according to various embodiments of the present disclosure.
3 is a logical configuration diagram of an unmanned payment device according to various embodiments of the present disclosure.
4 is a hardware configuration diagram of an unmanned payment device according to various embodiments of the present disclosure.
5 is an exemplary diagram for explaining an unmanned payment apparatus according to an embodiment of the present invention.
6 is an exemplary view for explaining an unmanned payment device according to another embodiment of the present invention.
7 and 8 are exemplary views for explaining an unmanned payment apparatus according to another embodiment of the present invention.
9 is an exemplary diagram for explaining an unmanned payment apparatus according to another embodiment of the present invention.
10 is an exemplary diagram for explaining an unmanned payment apparatus according to another embodiment of the present invention.
11 is an exemplary diagram for explaining an unmanned payment apparatus according to another embodiment of the present invention.
12 is a flowchart illustrating an unattended payment method according to an embodiment of the present invention.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that technical terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. In addition, the technical terms used in this specification should be interpreted in the meaning generally understood by those of ordinary skill in the art to which the present invention belongs, unless otherwise defined in this specification, and excessively inclusive. It should not be construed as a human meaning or in an excessively reduced meaning. In addition, when the technical terms used in this specification are incorrect technical terms that do not accurately express the spirit of the present invention, they should be understood by being replaced with technical terms that can be correctly understood by those skilled in the art. In addition, general terms used in the present invention should be interpreted as defined in advance or according to the context before and after, and should not be interpreted in an excessively reduced meaning.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, as used herein, the singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "consisting of" or "having" should not be construed as necessarily including all of the various components or various steps described in the specification, and some components or some of the steps are included. It should be construed that it may not, or may further include additional components or steps.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다. Also, terms including ordinal numbers such as first, second, etc. used herein may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but another component may exist in between. On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that no other element is present in the middle.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying drawings, but the same or similar components are given the same reference numerals regardless of the reference numerals, and the redundant description thereof will be omitted. In addition, in the description of the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, it should be noted that the accompanying drawings are only for easy understanding of the spirit of the present invention, and should not be construed as limiting the spirit of the present invention by the accompanying drawings. The spirit of the present invention should be construed as extending to all changes, equivalents, or substitutes other than the accompanying drawings.

한편 무인 셀프 결제기는 상품의 포장재에 구비된 바코드 또는 QR 코드를 스캔하고, 스캔된 바코드 또는 QR 코드를 통해 상품을 인식하고, 인식된 상품의 정보를 이용하여 결제를 진행하게 된다.Meanwhile, the unmanned self-pay machine scans a barcode or QR code provided on the packaging material of a product, recognizes a product through the scanned barcode or QR code, and proceeds with payment using the recognized product information.

이와 같은 바코드 또는 QR 코드를 이용한 상품 인식 방식의 무인 셀프 결제기는 판매상이 판매 장소에 존재하지 않고 소비자가 구입을 원하는 물건을 가져와서 직접 결제할 수는 있으나, 바코드 또는 QR 코드를 이용하여 상품을 인식하기 때문에, 바코드 또는 QR 코드가 부여되지 않은 공산품 이외의 상품(비정형 분야)에 대해서는 적용이 힘든 문제점이 있었다.Such unmanned self-paying machines that recognize products using barcodes or QR codes do not exist at the sales place and consumers can bring the items they want to purchase and pay directly, but they recognize products using barcodes or QR codes. Therefore, there is a problem that it is difficult to apply to products other than industrial products (atypical fields) to which barcodes or QR codes are not given.

이러한 어려움을 극복하기 위하여, 본 발명은 무인 점포에서 비전 센서를 이용하여 촬영된 영상을 기반으로 상품을 인식하고, 인식된 상품의 결제를 수행할 수 있는 수단들을 제안하고자 한다.In order to overcome these difficulties, the present invention intends to propose means for recognizing a product based on an image captured using a vision sensor in an unmanned store and performing payment for the recognized product.

도 1은 본 발명의 다양한 실시예에 따른 무인 결제 시스템을 나타낸 개략도이다.1 is a schematic diagram illustrating an unmanned payment system according to various embodiments of the present invention.

도 1을 참조하면, 본 발명의 다양한 실시예에 따른 무인 결제 시스템(400)은 무인 결제 장치(100) 및 고객 인식 장치(300)를 포함하여 구성될 수 있다.Referring to FIG. 1 , an unmanned payment system 400 according to various embodiments of the present disclosure may include an unmanned payment device 100 and a customer recognition device 300 .

한편, 무인 결제 시스템(400)이 적용되는 무인 점포에는 신선 제품 보관용 냉동/냉장고, 디저트류 진열 공간, 비건 및 유기농 상품 진열 공간, 냉장식품 진열 공간, 신제품 진열 공간, 실온 보관 제품 진열 공간 무인 결제 장치(100)가 진열될 공간 등으로 구성될 수 있다. 여기서 무인 점포에 비치되는 상품들은 바코드 또는 QR 코드가 부여되지 않은 공산품 이외의 상품이 될 수 있다.On the other hand, in unmanned stores to which the unmanned payment system 400 is applied, unmanned payment for fresh product storage freezer/refrigeration, dessert display space, vegan and organic product display space, refrigerated food display space, new product display space, room temperature storage product display space The device 100 may be configured as a space in which to be displayed. Here, the products provided in the unmanned store may be products other than industrial products to which barcodes or QR codes are not assigned.

각각의 구성 요소에 대하여 설명하면, 무인 결제 장치(100)는 구매자가 무인 점포에 입장하여, 원하는 상품을 선택한 후에, 특정 공간에 선택한 상품을 올려 놓게 되면, 구매자가 선택된 상품을 인식하여, 상품과 관련한 결제 정보를 추출하고, 추출된 결제 정보를 통해 결제를 수행할 수 있다. When explaining each component, the unmanned payment device 100 recognizes the selected product by the purchaser when the buyer enters the unmanned store, selects the desired product, and then places the selected product in a specific space, and recognizes the product and the product. Related payment information may be extracted, and payment may be performed through the extracted payment information.

구체적으로, 무인 결제 장치(100)는 비전(vision) 센서를 통해 촬영된 영상에서 상품의 형상 정보를 식별하여 해당 상품을 인식할 수 있다. 여기서 비전 센서는 카메라의 일종으로 사람의 눈처럼 상품의 형태, 크기, 패턴 등을 판별할 수 있도록 특정 영역의 영상을 생성할 수 있다. 이러한 비전 센서는 카메라(camera), 라이다(lidar), 레이더(radar) 및 초음파 센서(ultrasonic sensor) 중 적어도 하나가 될 수 있다. 바람직하게, 비전 센서는 상품의 영상과 거리 정보를 획득할 수 있는 뎁스 카메라(depth camera)가 될 수 있다.Specifically, the unmanned payment device 100 may recognize the corresponding product by identifying shape information of the product from an image captured through a vision sensor. Here, the vision sensor is a kind of camera, and like the human eye, it can generate an image of a specific area so that the shape, size, pattern, etc. of a product can be determined. The vision sensor may be at least one of a camera, a lidar, a radar, and an ultrasonic sensor. Preferably, the vision sensor may be a depth camera capable of acquiring an image of a product and distance information.

특징적으로, 무인 결제 장치(100)는 무인 결제 장치(100)는 인공 지능(Artificial Intelligence, AI)을 기반으로 비전 센서로부터 촬영된 영상을 분석하여, 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식할 수 있다. 이때 무인 결제 장치(100)는 사전에 학습된 분류기(classifier)를 이용하여 사전에 정의된 상품에 대한 형상 정보 중 매칭되는 형상 정보를 갖는 상품을 인식할 수 있다. 이때 분류기는 무인 결제 장치(100)를 통해 자체적으로 학습될 수 있다.Characteristically, the unmanned payment device 100 analyzes the image photographed from the vision sensor based on artificial intelligence (AI), and the unmanned payment device 100 analyzes the image captured by the vision sensor through the shape information of the product included in the image. product can be recognized. In this case, the unmanned payment apparatus 100 may recognize a product having matching shape information among shape information of a predefined product by using a pre-learned classifier. In this case, the classifier may be learned by itself through the unmanned payment device 100 .

여기서, 무인 결제 장치(100)는 촬영된 영상 및 영상에 포함된 상품까지의 거리를 통해 해당 상품의 높이 값을 측정하고, 측정된 높이 값을 통해 해당 상품을 인식할 수 있다.Here, the unmanned payment device 100 may measure the height value of the corresponding product through the photographed image and the distance to the product included in the image, and recognize the corresponding product through the measured height value.

한편 비전 센서를 통해 상품을 인식하는 경우, 적어도 하나의 고정된 지점에서 촬영된 영상을 기반으로 상품을 인식하기 때문에, 겹쳐진 상품에 대한 고려가 필요하다.Meanwhile, when a product is recognized through a vision sensor, since the product is recognized based on an image captured at at least one fixed point, it is necessary to consider overlapping products.

이에 따라, 무인 결제 장치(100)는 인식된 상품의 높이 값을 측정하고, 측정된 높이 값과 해당 상품에 대하여 사전에 미리 저장된 높이 값을 비교하고, 측정된 높이 값이 사전에 미리 저장된 높이 값보다 큰 경우, 상품이 겹쳐진 것으로 판단할 수 있다.Accordingly, the unmanned payment device 100 measures the height value of the recognized product, compares the measured height value with a height value stored in advance with respect to the product, and the measured height value is a height value stored in advance If it is larger, it can be determined that the products overlap.

또한 무인 결제 장치(100)는 겹쳐진 상품에 대하여 상품을 이동시키는 복수의 컨베이어의 속도 및 방향 중 적어도 하나를 제어하여 상품이 겹쳐진 상태로 인식되는 것을 방지할 수 있다. 한편 상품의 겸침 방지를 위한 구체적인 구성은 도 7 내지 도 11을 통해 구체적으로 설명하도록 한다.In addition, the unmanned payment apparatus 100 may control at least one of the speeds and directions of a plurality of conveyors for moving the products with respect to the overlapping products to prevent the products from being recognized as overlapping. On the other hand, a detailed configuration for preventing the dip of the product will be described in detail with reference to FIGS. 7 to 11 .

또한, 무인 결제 장치(100)는 상기와 같이 인식된 상품에 대하여, 2차 촬영을 실시하고, 2차 촬영을 통해 획득한 영상을 통해 인식된 상품의 검증을 수행할 수 있다.In addition, the unmanned payment apparatus 100 may perform a secondary photographing of the recognized product as described above, and verify the recognized product through an image obtained through the secondary photographing.

이러한 무인 결제 장치(100)는 인식된 상품에 대하여 현금 결제, 카드 결제 등의 결제를 수행할 수 있다. 여기서 무인 결제 장치(100)는 카드 결제를 수행하는 경우, 통신망을 통해 카드사 서버와 보안 회선, 공용 유선 통신망 또는 이동 통신망 중 하나 이상이 조합된 네트워크를 이용하여 데이터를 송수신하여 결제를 수행할 수 있다.The unmanned payment apparatus 100 may perform payment such as cash payment or card payment for the recognized product. Here, when the unmanned payment device 100 performs card payment, the payment can be performed by transmitting and receiving data using a network in which one or more of a card company server and a security line, a public wired communication network, or a mobile communication network are combined through a communication network. .

예를 들어, 공용 유선 통신망에는 이더넷(ethernet), 디지털가입자선(x Digital Subscriber Line, xDSL), 광동축 혼합망(Hybrid Fiber Coax, HFC), 광가입자망(Fiber To The Home, FTTH)가 포함될 수 있으나, 이에 한정되는 것도 아니다. 그리고, 이동 통신망에는 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 와이드 밴드 코드 분할 다중 접속(Wideband CDMA, WCDMA), 고속 패킷 접속(High Speed Packet Access, HSPA), 롱텀 에볼루션(Long Term Evolution, LTE), 5세대 이동통신(5th generation mobile telecommunication)가 포함될 수 있으나, 이에 한정되는 것은 아니다.For example, public wired networks include Ethernet, x Digital Subscriber Line (xDSL), Hybrid Fiber Coax (HFC), and Fiber To The Home (FTTH). However, it is not limited thereto. In addition, mobile communication networks include Code Division Multiple Access (CDMA), Wideband CDMA, WCDMA, High Speed Packet Access (HSPA), Long Term Evolution, LTE) and 5th generation mobile telecommunication may be included, but are not limited thereto.

다음 구성으로, 고객 인식 장치(300)는 무인 점포에 입장한 구매자를 촬영하고, 촬영된 영상을 통해 구매자의 행동을 인식하여, 구매자의 이상 행동을 판단할 수 있다.With the following configuration, the customer recognition device 300 may photograph a buyer entering the unmanned store, recognize the buyer's behavior through the captured image, and determine the buyer's abnormal behavior.

또한 고객 인식 장치(300)는 무인 점포 내의 영상을 촬영하고, 누적 저장하여 관리할 수 있다.In addition, the customer recognition device 300 may photograph an image in an unmanned store, accumulate and store it and manage it.

이와 같은, 일 실시예에 따른 무인 결제 시스템(400)의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 둘 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현되거나, 하나의 구성 요소가 실제 물리적 환경에서는 서로 분리되어 구현될 수 있을 것이다.As such, since the components of the unmanned payment system 400 according to an embodiment are merely functionally distinct elements, two or more components are implemented by being integrated with each other in an actual physical environment, or one component is actually In a physical environment, they may be implemented separately from each other.

이하 본 발명의 다양한 실시예에 따른 무인 결제 장치에 대하여 상세히 설명하도록 한다.Hereinafter, an unmanned payment device according to various embodiments of the present invention will be described in detail.

도 2는 본 발명의 다양한 실시예에 따른 무인 결제 장치를 나타낸 개략도이다.2 is a schematic diagram illustrating an unmanned payment device according to various embodiments of the present disclosure.

도 2를 참조하면, 본 발명의 다양한 실시예에 따른 무인 결제 장치(100)는 본체(110), 이송부(120) 및 촬영부(130)를 포함하여 구성될 수 있다.Referring to FIG. 2 , the unmanned payment apparatus 100 according to various embodiments of the present disclosure may include a main body 110 , a transfer unit 120 , and a photographing unit 130 .

본체(110)는 무인 결제 장치(100)의 몸체를 구성하며, 이송부(120) 및 촬영부(130)를 설치하기 위한 공간을 형성할 수 있다. 여기서 본체(110)는 육면체 형상으로 형성된 것으로 도시하지만, 내부에 무인 결제 장치(100)를 구동하기 위한 하드웨어 들이 삽입될 공간과, 이송부(120) 및 촬영부(130)를 설치하기 위한 공간을 형성할 수 있는 다양한 형태로 형성될 수 있다.The main body 110 constitutes the body of the unmanned payment device 100 , and may form a space for installing the transfer unit 120 and the photographing unit 130 . Here, the main body 110 is shown to be formed in a hexahedral shape, but a space for inserting hardware for driving the unmanned payment device 100 therein, and a space for installing the transfer unit 120 and the photographing unit 130 are formed. It can be formed in a variety of possible shapes.

이송부(120)는 구매자가 구매하고자 하는 상품을 올려 놓으면, 촬영부(130)를 통해 상품을 인식할 수 있도록 촬영부(130) 방향으로 상품을 이동시킬 수 있다.The transfer unit 120 may move the product in the direction of the photographing unit 130 so that the product can be recognized through the photographing unit 130 when the purchaser places the product to be purchased.

이러한, 이송부(120)는 상품을 이동시킬 수 있도록 컨베이어를 포함할 수 있다. 여기서 컨베이어는 벨트 컨베이어(belt conveyor), 나사 컨베이어(screw conveyor), 버킷 컨베이어(bucket conveyor), 롤러 컨베이어(roller conveyor), 트롤리 컨베이어(trolley conveyor) 등 상품을 이동시킬 수 있는 다양한 컨베이어가 적용될 수 있다. The transfer unit 120 may include a conveyor to move the product. As the conveyor, various conveyors capable of moving goods, such as a belt conveyor, a screw conveyor, a bucket conveyor, a roller conveyor, and a trolley conveyor, may be applied. .

또한, 이송부(120)는 복수의 컨베이어로 구성되고, 겹쳐진 상품에 대하여 복수의 컨베이어의 속도 및 방향 중 적어도 하나를 달리하여 겹쳐진 상품을 분리시킬 수 있다.In addition, the conveying unit 120 may be configured with a plurality of conveyors, and may separate the overlapped products by changing at least one of a speed and a direction of the plurality of conveyors with respect to the overlapping products.

또한, 이송부(120)는 복수의 컨베이어로 구성되고, 겹쳐진 상품에 대하여 복수의 컨베이어 사이의 단차를 달리하여 겹쳐진 상품을 분해시킬 수 있다.In addition, the conveying unit 120 may be configured with a plurality of conveyors, and may disassemble the overlapped products by varying the level between the plurality of conveyors with respect to the overlapping products.

한편 상품의 겹침을 방지할 수 있는 이송부(120)의 다양한 실시 예에 대해서는 도 7 내지 도 11을 참조하여 후술하도록 한다.On the other hand, various embodiments of the transfer unit 120 capable of preventing overlapping of goods will be described later with reference to FIGS. 7 to 11 .

촬영부(130)는 이송부(120)를 통해 이동하는 적어도 하나의 상품을 인식하기 위하여, 상품을 촬영하여 영상을 생성할 수 있다. 이러한 촬영부(130)는 이송부(120)에 의해 상품이 이동되는 경로 상에 위치할 수 있다. The photographing unit 130 may generate an image by photographing the product in order to recognize at least one product moving through the transfer unit 120 . The photographing unit 130 may be located on a path through which the product is moved by the transfer unit 120 .

여기서, 촬영부(130)는 적어도 하나의 비전 센서를 포함하여 구성될 수 있다. 비전 센서는 카메라(camera), 라이다(lidar), 레이더(radar) 및 초음파 센서(ultrasonic sensor) 중 적어도 하나가 될 수 있다. 바람직하게, 비전 센서는 상품의 영상과 거리 정보를 획득할 수 있는 뎁스 카메라(depth camera)가 될 수 있다.Here, the photographing unit 130 may be configured to include at least one vision sensor. The vision sensor may be at least one of a camera, a lidar, a radar, and an ultrasonic sensor. Preferably, the vision sensor may be a depth camera capable of acquiring an image of a product and distance information.

예를 들어, 촬영부(130)는 적어도 하나의 상품의 상부에 구비된 메인 비전 센서(vision sensor) 및 적어도 하나의 상품의 측부에 구비된 보조 비전 센서를 통해 이송부(120)에 올려진 상품을 촬영하여 영상을 생성할 수 있다.For example, the photographing unit 130 captures the product mounted on the transfer unit 120 through a main vision sensor provided on the upper portion of the at least one product and an auxiliary vision sensor provided on the side of the at least one product. You can create an image by taking a picture.

도 3은 본 발명의 다양한 실시 예에 따른 무인 결제 장치의 논리적 구성도이다.3 is a logical configuration diagram of an unmanned payment device according to various embodiments of the present disclosure.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 무인 결제 장치(100)는 통신부(205), 입출력부(210), 저장부(215), 상품 인식부(220), 겹침 방지부(225) 및 상품 결제부(230)를 포함하여 구성될 수 있다.As shown in FIG. 3 , the unmanned payment apparatus 100 according to an embodiment of the present invention includes a communication unit 205 , an input/output unit 210 , a storage unit 215 , a product recognition unit 220 , and an overlap prevention unit. 225 and may be configured to include a product payment unit 230 .

이와 같은, 무인 결제 장치(100)의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 둘 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현되거나, 하나의 구성 요소가 실제 물리적 환경에서는 서로 분리되어 구현될 수 있을 것이다.As such, the components of the unmanned payment device 100 merely represent functionally distinct elements, so that two or more components are implemented by being integrated with each other in an actual physical environment, or one component is separated from each other in an actual physical environment and can be implemented.

각각의 구성 요소에 대하여 설명하면, 통신부(205)는 인식된 상품의 결제를 위하여, 카드, 포인트 등을 이용하여 결제를 수행할 경우, 외부의 카드사 서버, 포인트 제공 서버 등과 데이터를 송수신할 수 있다.For each component, the communication unit 205 may transmit/receive data to and from an external card company server, a point providing server, etc. when a payment is performed using a card or point for payment of a recognized product. .

구체적으로 통신부(205)는 결제를 수행할 인식된 상품에 대한 결제 정보를 외부로 송신하고, 상품 결제에 따른 결제 처리 결과를 수신할 수 있다.In more detail, the communication unit 205 may transmit payment information on a recognized product for which payment is to be performed to the outside, and receive a payment processing result according to product payment.

다음 구성으로, 입출력부(210)는 사용자 인터페이스(UI)를 통해 사용자로부터 신호를 입력 받거나 연산 결과를 외부로 출력할 수 있다.With the following configuration, the input/output unit 210 may receive a signal from a user through a user interface (UI) or output an operation result to the outside.

구체적으로, 입출력부(210)는 구매하고자 하는 상품에 대한 인식 결과를 화면을 통해 출력하고, 인식된 상품에 대한 결제 정보를 화면을 통해 출력하고, 결제를 완료한 후에 결제 처리 정보를 화면을 통해 출력할 수 있다.Specifically, the input/output unit 210 outputs the recognition result of the product to be purchased through the screen, outputs payment information for the recognized product through the screen, and after completing the payment, displays the payment processing information through the screen can be printed out.

저장부(215)는 무인 결제 장치(100)의 동작에 필요한 데이터를 저장할 수 있다.The storage unit 215 may store data necessary for the operation of the unmanned payment apparatus 100 .

구체적으로, 저장부(215)는 상품을 인식하기 위한 프로그램, 겹쳐진 상품을 분리시키기 위하여 이송부를 제어하기 위한 프로그램, 상품 결제를 수행하기 위한 프로그램을 저장하기 위한 버퍼(buffer)를 포함하여 구성될 수 있다.Specifically, the storage unit 215 may be configured to include a program for recognizing a product, a program for controlling the transfer unit to separate overlapping products, and a buffer for storing a program for performing product payment. have.

상품 인식부(220)는 인공 지능(Artificial Intelligence, AI)을 기반으로 촬영된 영상을 분석하여, 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식할 수 있다. 여기서, 상품 인식부(220)는 사전에 학습된 분류기(classifier)를 이용하여 사전에 정의된 상품에 대한 형상 정보 중 매칭되는 형상 정보를 갖는 상품을 인식할 수 있다. 이때 사전에 학습된 분류기는 메인 비전 센서 및 보조 비전 센서를 이용하여 학습을 위한 상품을 회전시키면서 연속적으로 촬영된 영상을 기반으로 학습될 수 있다. 또한 사전에 학습된 분류기는 복수의 상품이 겹쳐진 상태에서 촬영된 영상을 통해 학습될 수 있다.The product recognition unit 220 may analyze the captured image based on artificial intelligence (AI) and recognize the corresponding product through shape information on the product included in the image. Here, the product recognition unit 220 may recognize a product having matching shape information among shape information of a predefined product by using a pre-learned classifier. In this case, the pre-learned classifier may be learned based on images continuously captured while rotating the product for learning using the main vision sensor and the auxiliary vision sensor. In addition, the pre-learned classifier may be learned through an image captured in a state in which a plurality of products are overlapped.

또한, 상품 인식부(220)는 촬영된 영상 및 영상에 포함된 상품까지의 거리를 통해 해당 상품의 높이 값을 측정하고, 측정된 높이 값을 통해 해당 상품을 인식할 수 있다. Also, the product recognition unit 220 may measure the height value of the corresponding product through the photographed image and the distance to the product included in the image, and recognize the corresponding product through the measured height value.

또한, 상품 인식부(220)는 인식된 상품의 높이 값을 측정하고, 측정된 높이 값과 해당 상품에 대하여 사전에 미리 저장된 높이 값을 비교하고, 측정된 높이 값이 사전에 미리 저장된 높이 값보다 큰 경우, 상품이 겹쳐진 것으로 판단할 수 있다.In addition, the product recognition unit 220 measures the height value of the recognized product, compares the measured height value with a height value stored in advance for the product, and the measured height value is higher than the height value stored in advance. If it is large, it can be determined that the products overlap.

또한, 상품 인식부(220)는 인식된 상품에 대한 영상을 2차 촬영하고, 2차 촬영된 영상에서 상품에 대한 경계값을 추출하고, 추출된 경계값을 통해 인식된 상품을 검증할 수 있다. 여기서 상품 인식부(220)는 2차 촬영된 영상에서 각 픽셀(pixel)에 대한 RGB 값을 검출하고, 검출된 RGB 값을 통해 상품에 대한 경계값을 추출할 수 있다.In addition, the product recognition unit 220 may take a second image of the recognized product, extract a boundary value for the product from the secondary photographed image, and verify the recognized product through the extracted boundary value. . Here, the product recognition unit 220 may detect an RGB value for each pixel in the secondary photographed image, and extract a boundary value for the product through the detected RGB value.

또한, 상품 인식부(220)는 1차 촬영된 영상의 상품 중 인식되지 않는 상품이 존재하는 경우, 해당 상품이 포함된 이미지를 출력하려 사용자에게 알릴 수 있다. 이때, 상품 인식부(220)는 인식되지 않는 상품이 포함된 이미지를 출력하되, 인식되지 않은 상품을 제외한 영역을 음영 처리하여 출력할 수 있다.Also, when there is an unrecognized product among the products of the first photographed image, the product recognition unit 220 may notify the user to output an image including the product. In this case, the product recognition unit 220 may output an image including an unrecognized product, but shade an area excluding the unrecognized product to output it.

또한, 상품 인식부(220)는 상품에 해당되지 않는 물건이 사전에 학습된 분류기(classifier)를 이용하여, 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 해당 상품을 인식에서 제외시킬 수 있다.In addition, the product recognition unit 220 uses a pre-learned classifier for an object that does not correspond to a product, and when an object that does not correspond to the product is included in the first photographed image, the product recognizes the product. can be excluded.

다음 구성으로, 겹침 방지부(225)는 촬영부를 통해 촬영된 영상을 통해 복수의 상품을 인식하고, 복수의 상품 중 겹쳐진 상품에 대하여 복수의 컨베이어 각각의 속도 및 방향 중 적어도 하나를 제어할 수 있다.With the following configuration, the overlap prevention unit 225 may recognize a plurality of products through the image captured by the photographing unit, and control at least one of the speed and direction of each of the plurality of conveyors with respect to the overlapping products among the plurality of products. .

또한 겹침 방지부(225)는 제1 촬영부를 통해 촬영된 영상을 분석하여 복수의 상품이 겹쳐진 것으로 판단되면, 제2 컨베이어의 속도를 제1 컨베이어의 속도보다 빠르게 제어할 수 있다.In addition, the overlap prevention unit 225 may control the speed of the second conveyor faster than the speed of the first conveyor when it is determined that a plurality of products are overlapped by analyzing the image captured by the first photographing unit.

또한 겹침 방지부(225)는 제1 촬영부를 통해 촬영된 영상을 분석하여 복수의 상품이 겹쳐진 것으로 판단되면, 제2 컨베이어의 방향을 제1 컨베이어의 방향과 반대로 제어할 수 있다.In addition, the overlap prevention unit 225 may control the direction of the second conveyor to be opposite to the direction of the first conveyor when it is determined that a plurality of products overlap by analyzing the image captured by the first photographing unit.

또한 겹침 방지부(225)는 제1 촬영부를 통해 촬영된 영상을 분석하여 복수의 상품이 겹쳐진 것으로 판단되면, 겹침방지롤러의 방향 및 속도 중 적어도 하나를 제어할 수 있다.Also, the overlap prevention unit 225 may control at least one of a direction and a speed of the overlap prevention roller when it is determined that a plurality of products are overlapped by analyzing the image photographed through the first photographing unit.

또한 겹침 방지부(225)는 제1 촬영부를 통해 촬영된 영상을 분석하여, 상품의 크기를 측정하고, 상품의 크기에 따라 상기 바리케이드의 탄성력을 제어할 수 있다.In addition, the overlap prevention unit 225 may analyze the image captured through the first photographing unit, measure the size of the product, and control the elastic force of the barricade according to the size of the product.

또한 겹침 방지부(225)는 촬영부를 통해 촬영된 영상을 통해 복수의 상품을 인식하고, 겹쳐진 상품에 대하여 복수의 컨베이어의 단차를 제어할 수 있다.Also, the overlap prevention unit 225 may recognize a plurality of products through an image captured by the photographing unit, and control the steps of the plurality of conveyors with respect to the overlapping products.

또한 겹침 방지부(225)는 복수의 롤러 컨베이어의 인접한 롤러 축이 서로 엇갈리도록 왕복 제어할 수 있다.Also, the overlap prevention unit 225 may reciprocally control adjacent roller axes of the plurality of roller conveyors to cross each other.

또한 겹침 방지부(225)는 제1 촬영부를 통해 영상을 통해 복수의 상품에 대한 겹쳐짐 여부를 판단하고, 판단 결과 겹쳐진 상품이 존재하는 경우 복수의 컨베이어의 단차를 제어할 수 있다.In addition, the overlap prevention unit 225 may determine whether the plurality of products overlap through the image through the first photographing unit, and control the step difference of the plurality of conveyors when overlapping products exist as a result of the determination.

또한 겹침 방지부(225)는 제1 촬영부를 통해 영상을 통해 복수의 상품에 대한 겹쳐짐 여부를 판단하고, 판단 결과 겹쳐진 상품이 존재하는 경우 겹침방지롤러의 속도 및 방향 중 적어도 하나를 제어할 수 있다.In addition, the overlap prevention unit 225 determines whether a plurality of products overlap through the image through the first photographing unit, and when there is an overlapping product as a result of the determination, at least one of the speed and direction of the overlap prevention roller can be controlled. have.

다음 구성으로, 상품 결제부(230)는 인식이 완료된 상품 또는 인식된 후 검증이 완료된 상품에 대하여 결제를 수행할 수 있다.With the following configuration, the product payment unit 230 may perform payment for a recognized product or a recognized and verified product.

도 4는 본 발명의 다양한 실시 예에 따른 무인 결제 장치의 하드웨어 구성도이다.4 is a hardware configuration diagram of an unmanned payment device according to various embodiments of the present disclosure.

도 4에 도시된 바와 같이, 무인 결제 장치(100)는 프로세서(Processor, 250), 메모리(Memory, 255), 송수신기(Transceiver, 260), 입출력장치(Input/output device, 265), 데이터 버스(Bus, 270) 및 스토리지(Storage, 275)를 포함하여 구성될 수 있다. 4, the unmanned payment device 100 includes a processor (Processor, 250), a memory (Memory, 255), a transceiver (Transceiver, 260), an input/output device (Input/output device, 265), a data bus ( Bus, 270 may be configured to include and storage (Storage, 275).

프로세서(250)는 메모리(255)에 상주된 본 발명의 실시예들에 따른 방법이 구현된 소프트웨어(280a)에 따른 명령어를 기초로, 무인 결제 장치(100)의 동작 및 기능을 구현할 수 있다. 메모리(255)에는 본 발명의 실시예들에 따른 방법이 구현된 소프트웨어(280a)가 상주(loading)될 수 있다.The processor 250 may implement the operation and function of the unmanned payment apparatus 100 based on the instruction according to the software 280a in which the method according to the embodiments of the present invention is implemented residing in the memory 255 . The memory 255 may be loaded with software 280a in which methods according to embodiments of the present invention are implemented.

송수신기(260)는 인식된 상품의 결제를 위하여, 카드, 포인트 등을 이용하여 결제를 수행할 경우, 외부의 카드사 서버, 포인트 제공 서버 등과 데이터를 송수신할 수 있다. 즉 송수신기(260)는 결제를 수행할 인식된 상품에 대한 결제 정보를 외부로 송신하고, 상품 결제에 따른 결제 처리 결과를 수신할 수 있다.The transceiver 260 may transmit/receive data to and from an external card company server, a point providing server, and the like when payment is performed using a card or points for payment of the recognized product. That is, the transceiver 260 may transmit payment information on a recognized product for which payment is to be performed to the outside and receive a payment processing result according to product payment.

데이터 버스(270)는 프로세서(250), 메모리(255), 송수신기(260), 입출력장치(265) 및 스토리지(275)와 연결되어, 각각의 구성 요소 사이가 서로 데이터를 전달하기 위한 이동 통로의 역할을 수행할 수 있다.The data bus 270 is connected to the processor 250 , the memory 255 , the transceiver 260 , the input/output device 265 , and the storage 275 . can play a role.

스토리지(275)는 본 발명의 실시예들에 따른 방법이 구현된 소프트웨어(280a)의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API), 라이브러리(library) 파일, 리소스(resource) 파일 등을 저장할 수 있다. 스토리지(275)는 본 발명의 실시예들에 따른 방법이 구현된 소프트웨어(280b) 및 데이터베이스(285)를 저장할 수 있다.The storage 275 stores an application programming interface (API), a library file, a resource file, etc. necessary for the execution of the software 280a in which the method according to the embodiments of the present invention is implemented. can be saved The storage 275 may store the software 280b and the database 285 in which the method according to the embodiments of the present invention is implemented.

본 발명의 일 실시 예에 따르면, 메모리(255)에 상주되거나 또는 스토리지(275)에 저장된 센서들의 제어 방법을 구현하기 위한 소프트웨어(280a, 280b)는 프로세서(250)가 적어도 하나의 상품을 촬영하고, 인공 지능(Artificial Intelligence, AI)을 기반으로 촬영된 영상을 분석하여, 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식하고, 인식된 상품에 대하여 결제를 수행하기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.According to an embodiment of the present invention, the software (280a, 280b) for implementing the control method of the sensors resident in the memory 255 or stored in the storage 275 is the processor 250 shooting at least one product and , to analyze the captured image based on artificial intelligence (AI), recognize the product through shape information about the product included in the image, and perform payment on the recognized product, It can be a written computer program.

또한 본 발명의 다른 실시 예에 따르면, 적어도 하나의 상품에 대한 영상을 1차 촬영하고, 인공 지능(Artificial Intelligence, AI)을 기반으로 1차 촬영된 영상을 분석하여, 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식하고, 인식된 상품에 대한 영상을 2차 촬영하고, 2차 촬영된 영상에서 상품에 대한 경계값을 추출하고, 추출된 경계값을 통해 인식된 상품을 검증하고, 검증이 완료된 상품에 대하여 결제를 수행하기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.In addition, according to another embodiment of the present invention, an image of at least one product is first photographed, and the first photographed image is analyzed based on artificial intelligence (AI), and information about the product included in the image is obtained. Recognize the product through shape information, take a second image of the recognized product, extract the boundary value for the product from the secondary photographed image, verify the recognized product through the extracted boundary value, It may be a computer program recorded on a recording medium in order to perform a payment for a product for which verification has been completed.

또한 본 발명의 다른 실시 예에 따르면, 촬영부를 통해 촬영된 영상을 통해 복수의 상품을 인식하고, 복수의 상품 중 겹쳐진 상품에 대하여 복수의 컨베이어 각각의 속도 및 방향 중 적어도 하나를 제어하기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.In addition, according to another embodiment of the present invention, in order to recognize a plurality of products through the image taken through the photographing unit, and to control at least one of the speed and direction of each of the plurality of conveyors with respect to the overlapping product among the plurality of products, record It may be a computer program recorded on a medium.

또한 본 발명의 또 다른 실시 예에 따르면, 촬영부를 통해 촬영된 영상을 통해 복수의 상품을 인식하고, 겹쳐진 상품에 대하여 복수의 컨베이어의 단차를 제어하기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.Also, according to another embodiment of the present invention, a computer program recorded on a recording medium may be used to recognize a plurality of products through an image captured by the photographing unit and to control the steps of a plurality of conveyors with respect to overlapping products. have.

보다 구체적으로, 프로세서(250)는 ASIC(Application-Specific Integrated Circuit), 다른 칩셋(chipset), 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리(255)는 ROM(Read-Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 송수신기(260)는 유무선 신호를 처리하기 위한 베이스밴드 회로를 포함할 수 있다. 입출력장치(265)는 키보드(keyboard), 마우스(mouse), 및/또는 조이스틱(joystick) 등과 같은 입력 장치 및 액정표시장치(Liquid Crystal Display, LCD), 유기 발광 다이오드(Organic LED, OLED) 및/또는 능동형 유기 발광 다이오드(Active Matrix OLED, AMOLED) 등과 같은 영상 출력 장치 프린터(printer), 플로터(plotter) 등과 같은 인쇄 장치를 포함할 수 있다. More specifically, the processor 250 may include an application-specific integrated circuit (ASIC), another chipset, a logic circuit, and/or a data processing device. The memory 255 may include read-only memory (ROM), random access memory (RAM), flash memory, memory cards, storage media, and/or other storage devices. The transceiver 260 may include a baseband circuit for processing wired and wireless signals. The input/output device 265 includes an input device such as a keyboard, a mouse, and/or a joystick, and a liquid crystal display (LCD), an organic light emitting diode (OLED) and/or an input device such as a joystick. Alternatively, an image output device such as an active matrix OLED (AMOLED) may include a printing device such as a printer or a plotter.

본 명세서에 포함된 실시 예가 소프트웨어로 구현될 경우, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리(255)에 상주되고, 프로세서(250)에 의해 실행될 수 있다. 메모리(255)는 프로세서(250)의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서(250)와 연결될 수 있다.When the embodiment included in this specification is implemented as software, the above-described method may be implemented as a module (process, function, etc.) that performs the above-described function. Modules reside in memory 255 and may be executed by processor 250 . The memory 255 may be internal or external to the processor 250 , and may be coupled to the processor 250 by various well-known means.

도 4에 도시된 각 구성요소는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.Each component shown in FIG. 4 may be implemented by various means, for example, hardware, firmware, software, or a combination thereof. In the case of implementation by hardware, an embodiment of the present invention provides one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), FPGAs ( Field Programmable Gate Arrays), a processor, a controller, a microcontroller, a microprocessor, etc. may be implemented.

또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한, 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, in the case of implementation by firmware or software, an embodiment of the present invention is implemented in the form of a module, procedure, function, etc. that performs the functions or operations described above, and is stored in a recording medium readable through various computer means. can be recorded. Here, the recording medium may include a program command, a data file, a data structure, etc. alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. For example, the recording medium includes a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical recording medium such as a compact disk read only memory (CD-ROM), a digital video disk (DVD), and a floppy disk. magneto-optical media, such as a disk, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions may include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those generated by a compiler. Such hardware devices may be configured to operate as one or more software to perform the operations of the present invention, and vice versa.

이하 본 발명의 다양한 실시 예에 따른 무인 결제 장치에 대하여 예시도를 참조하여 구체적으로 설명하도록 한다. 한편 본 발명의 다양한 실시 예에 따른 무인 결제 장치들은 일부 구성을 제외하고는 서로 실질적으로 동일한 구성을 갖는다. 따라서 동일한 구성에 대해서는 동일한 참조 부호를 부여하도록 한다.Hereinafter, an unmanned payment device according to various embodiments of the present invention will be described in detail with reference to exemplary drawings. Meanwhile, the unmanned payment devices according to various embodiments of the present disclosure have substantially the same configuration as each other except for some configurations. Therefore, the same reference numerals are assigned to the same components.

도 5는 본 발명의 일 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.5 is an exemplary diagram for explaining an unmanned payment apparatus according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시 예에 따른 무인 결제 장치의 촬영부(130)는 비전 센서를 설치하기 위한 공간을 형성하는 프레임(131), 프레임(131)의 내측면에 적어도 하나의 상품의 상부에 구비된 메인 비전 센서(131a) 및 적어도 하나의 상품의 측부에 구비된 보조 비전 센서(131b)를 포함할 수 있다.Referring to FIG. 5 , the photographing unit 130 of the unmanned payment device according to an embodiment of the present invention includes a frame 131 that forms a space for installing a vision sensor, and at least one on the inner surface of the frame 131 . It may include a main vision sensor 131a provided on the upper portion of the product and an auxiliary vision sensor 131b provided on the side of at least one product.

여기서 메인 비전 센서(131a)는 다양한 각도에서 상품을 촬영할 수 있도록 좌우로 이동 가능하게 구성될 수 있다. 보조 비전 센서(131b)는 다양한 각도에서 상품을 촬영할 수 있도록 상하로 이동 가능하게 구성될 수 있다.Here, the main vision sensor 131a may be configured to be movable left and right so as to photograph a product from various angles. The auxiliary vision sensor 131b may be configured to be movable up and down to photograph a product from various angles.

즉 촬영부(130)는 상부에 메인 비전 센서(131a)가 배치되고, 측부에 보조 비전 센서(131b)가 배치되며, 메인 비전 센서(131a) 및 보조 비전 센서(131b)가 각각 좌우 또는 상하로 이동 가능하게 구성함으로써, 다양한 각도에서 상품을 촬영하여 영상을 생성함에 따라, 학습 효율을 높일 수 있고, 상품 인식에 대한 정확성을 높일 수 있다.That is, in the photographing unit 130 , the main vision sensor 131a is disposed on the upper portion, the auxiliary vision sensor 131b is disposed on the side portion, and the main vision sensor 131a and the auxiliary vision sensor 131b are horizontally or vertically respectively. By configuring it to be movable, as an image is generated by photographing a product from various angles, it is possible to increase learning efficiency and increase the accuracy of product recognition.

또한 촬영부(130)는 학습을 수행하는 경우, 상품을 배치하는 영역(132)이 회전되도록 구성될 수 있다. 즉 촬영부(130)는 메인 비전 센서(131a) 및 보조 비전 센서(131b)를 통해 상품을 촬영하면서, 상품을 배치하는 영역(132)을 회전시킴으로써, 다양한 각도에서 상품을 촬영하여 영상을 생성함에 따라, 학습 효율을 높일 수 있고, 상품 인식에 대한 정확성을 높일 수 있다.In addition, the photographing unit 130 may be configured to rotate the area 132 for arranging the product when learning is performed. That is, the photographing unit 130 captures the product through the main vision sensor 131a and the auxiliary vision sensor 131b and rotates the area 132 for arranging the product, thereby capturing the product from various angles to generate an image. Accordingly, it is possible to increase the learning efficiency and increase the accuracy of product recognition.

도 6은 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.6 is an exemplary view for explaining an unmanned payment device according to another embodiment of the present invention.

도 6을 참조하면, 본 발명의 다른 실시 예에 따른 무인 결제 장치는 이송부(120)의 경로 상에 설치되는 제1 촬영부(130`) 및 제2 촬영부(130)를 포함하여 구성될 수 있다.Referring to FIG. 6 , the unmanned payment device according to another embodiment of the present invention may be configured to include a first photographing unit 130 ′ and a second photographing unit 130 installed on the path of the transfer unit 120 . have.

즉, 본 발명의 다른 실시 예에 따른 무인 결제 장치는 제1 촬영부(130`)를 통해 적어도 하나의 상품에 대한 영상을 촬영하고, 제2 촬영부(130)를 통해 1차 촬영된 적어도 하나의 상품을 2차 촬영할 수 있다.That is, the unmanned payment device according to another embodiment of the present invention captures an image of at least one product through the first photographing unit 130 ′, and at least one first photographed through the second photographing unit 130 . You can take a second photo of your product.

무인 결제 장치는 인공 지능(Artificial Intelligence, AI)을 기반으로 제1 촬영부(130`)에 의해 촬영된 영상을 분석하여, 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식하고, 제2 촬영부(130)에 의해 촬영된 영상에서 상품에 대한 경계값을 추출하고, 1차 촬영을 통해 인식된 상품과, 2차 촬영을 통해 경계값이 추출된 상품을 비교하여 결제 여부를 결정할 수 있다.The unmanned payment device analyzes the image captured by the first photographing unit 130 ′ based on artificial intelligence (AI), recognizes the product through shape information about the product included in the image, and 2 It is possible to determine whether to pay by extracting a boundary value for a product from the image captured by the photographing unit 130, and comparing the product recognized through the first photographing and the product from which the boundary value is extracted through the secondary photographing have.

여기서 무인 결제 장치는 2차 촬영된 영상에서 각 픽셀(pixel)에 대한 RGB 값을 검출하고, 검출된 RGB 값을 통해 상품에 대한 경계값을 추출할 수 있다.Here, the unmanned payment device may detect an RGB value for each pixel in the secondary photographed image, and extract a boundary value for a product through the detected RGB value.

또한 무인 결제 장치는 1차 촬영을 통해 인식된 상품과, 2차 촬영을 통해 경계값이 추출된 상품의 개수를 비교하고, 개수가 동일한 경우 결제를 수행하도록 할 수 있다.In addition, the unmanned payment device may compare the number of products recognized through the first photographing and the products from which the boundary value is extracted through the second photographing, and if the number is the same, the payment may be performed.

또한 무인 결제 장치는 1차 촬영을 통해 인식된 상품과, 2차 촬영을 통해 경계값이 추출된 상품의 위치를 비교하고, 위치가 동일한 경우 결제를 수행하도록 할 수 있다.In addition, the unmanned payment device may compare the location of the product recognized through the first photographing and the product from which the boundary value is extracted through the second photographing, and if the location is the same, the payment may be performed.

또한 무인 결제 장치는 1차 촬영된 영상에 상품 중 인식되지 않는 상품이 존재하는 경우, 해당 상품이 포함된 이미지를 출력할 수 있다.In addition, when an unrecognized product exists among the products in the first photographed image, the unmanned payment device may output an image including the product.

또한 무인 결제 장치는 인식되지 않는 상품이 포함된 이미지를 출력하되, 인식되지 않은 상품을 제외한 영역을 음영 처리하여 출력할 수 있다.In addition, the unmanned payment device may output an image including an unrecognized product, but may output an area excluding the unrecognized product by shading.

또한 무인 결제 장치는 상품에 해당되지 않는 물건이 사전에 학습된 분류기(classifier)를 이용하여, 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 해당 상품을 인식에서 제외시킬 수 있다.In addition, the unmanned payment device may exclude the product from recognition when an object that does not correspond to the product is included in the first captured image by using a classifier that has been learned in advance. .

또한 무인 결제 장치는 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 알림 신호를 출력할 수 있다.In addition, the unmanned payment device may output a notification signal when an object that does not correspond to the product is included in the first photographed image.

도 7 및 도 8은 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.7 and 8 are exemplary views for explaining an unmanned payment apparatus according to another embodiment of the present invention.

도 7 및 도 8을 참조하면, 본 발명의 다른 실시 예에 따른 무인 결제 장치는 복수의 상품이 투입되는 투입 영역에 구비되는 제1 컨베이어(121), 제1 컨베이어(121)로부터 일정 간격 이격되어 배치되는 제2 컨베이어(122) 및 제1 컨베이어(121) 및 제2 컨베이어(122) 사이에 구비되어, 복수의 상품의 겹침을 방지하는 겹침방지롤러(123)를 포함하여 구성될 수 있다. 여기서 겹침 방지 롤러(123)는 제1 컨베이어(121) 및 제2 컨베이어(122)와 단차를 갖도록 돌출되어 배치될 수 있다.7 and 8 , the unmanned payment device according to another embodiment of the present invention is spaced apart from the first conveyor 121 and the first conveyor 121 provided in the input region into which a plurality of products are put. It is provided between the second conveyor 122 and the first conveyor 121 and the second conveyor 122 to be disposed, and may include an anti-overlapping roller 123 to prevent overlapping of a plurality of products. Here, the overlapping prevention roller 123 may be disposed to protrude to have a step difference with the first conveyor 121 and the second conveyor 122 .

또한 무인 결제 장치는 제1 컨베이어(121) 상에 배치되어, 제1 컨베이어(121)를 통해 이동하는 복수의 상품을 촬영하는 제1 촬영부(133) 및 제2 컨베이어(122) 상에 배치되어, 제1 컨베이어(121)로부터 전달되어 제2 컨베이어(122)를 통해 이동하는 복수의 상품을 촬영하는 제2 촬영부(133)를 포함할 수 있다.In addition, the unmanned payment device is disposed on the first conveyor 121 and is disposed on the first photographing unit 133 and the second conveyor 122 for photographing a plurality of products moving through the first conveyor 121 , , may include a second photographing unit 133 for photographing a plurality of products delivered from the first conveyor 121 and moving through the second conveyor 122 .

여기서 무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 분석하여 복수의 상품이 겹쳐진 것으로 판단되면, 제2 컨베이어(122)의 속도를 제1 컨베이어(121)의 속도보다 빠르게 제어할 수 있다.Here, the unmanned payment device analyzes the image captured by the first photographing unit 133 and when it is determined that a plurality of products are overlapped, the speed of the second conveyor 122 can be controlled faster than the speed of the first conveyor 121 . can

또한 무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 분석하여 복수의 상품이 겹쳐진 것으로 판단되면, 제2 컨베이어(122)의 방향을 제1 컨베이어(121)의 방향과 반대로 제어할 수 있다.In addition, the unmanned payment device analyzes the image captured through the first photographing unit 133 and when it is determined that a plurality of products are overlapped, the direction of the second conveyor 122 is controlled opposite to the direction of the first conveyor 121 . can

또한 무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 분석하여 복수의 상품이 겹쳐진 것으로 판단되면, 겹침방지롤러(123)의 방향 및 속도 중 적어도 하나를 제어할 수 있다.In addition, the unmanned payment device may control at least one of the direction and speed of the overlapping prevention roller 123 when it is determined that a plurality of products overlap by analyzing the image captured by the first photographing unit 133 .

이와 같이, 본 발명의 또 다른 실시예에 따른 무인 결제 장치는 복수의 상품 중 겹쳐진 상품에 대하여 제1 컨베이어(121), 제2 컨베이어(122) 및 겹침방지롤러(123)의 중 적어도 하나의 속도 및 방향 중 적어도 하나를 제어함으로써, 상품 인식이 용이하도록 상품의 겹침을 방지할 수 있다.In this way, the unmanned payment device according to another embodiment of the present invention has at least one speed of the first conveyor 121 , the second conveyor 122 , and the overlapping prevention roller 123 for overlapping products among a plurality of products. And by controlling at least one of the direction, it is possible to prevent the overlap of the products to facilitate product recognition.

도 9는 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.9 is an exemplary diagram for explaining an unmanned payment apparatus according to another embodiment of the present invention.

도 9를 참조하면, 본 발명의 다른 실시 예에 따른 무인 결제 장치는 탄성력을 가지며, 컨베이어(120)를 따라 이동하는 복수의 상품의 경로 상에 위치하여, 컨베이어(120) 내에서 복수의 상품에 대한 이동 경로를 변경하는 적어도 하나의 바리케이드(124)를 포함하여 구성될 수 있다.Referring to FIG. 9 , the unmanned payment device according to another embodiment of the present invention has elastic force, is located on a path of a plurality of products moving along the conveyor 120 , and is applied to a plurality of products within the conveyor 120 . It may be configured to include at least one barricade 124 for changing the moving path for the.

즉 무인 결제 장치는 상품이 투입되면, 바리케이드(124)를 통해 상품의 이동 경로를 변경하여, 겹쳐진 상품을 분리시킬 수 있다.That is, when the product is input, the unmanned payment device may change the movement path of the product through the barricade 124 to separate the overlapped product.

이때 본 발명의 다른 실시 예에 따른 무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 분석하여, 상품의 크기를 측정하고, 상품의 크기에 따라 바리케이드의 탄성력을 제어할 수 있다.At this time, the unmanned payment device according to another embodiment of the present invention may analyze the image captured through the first photographing unit 133, measure the size of the product, and control the elasticity of the barricade according to the size of the product.

도 10은 본 발명의 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.10 is an exemplary diagram for explaining an unmanned payment apparatus according to another embodiment of the present invention.

도 10을 참조하면, 본 발명의 다른 실시 예에 따른 무인 결제 장치는 복수의 상품을 이동시키는 제1 컨베이어(121`) 및 복수의 상품이 이동하는 방향에 대하여 수직하게 제1 컨베이어(121`)와 밀착 배치되는 제2 컨베이어(122`)를 포함할 수 있다.Referring to FIG. 10 , an unmanned payment device according to another embodiment of the present invention includes a first conveyor 121 ′ for moving a plurality of products and a first conveyor 121 ′ perpendicular to a direction in which the plurality of products move. It may include a second conveyor 122 ′ disposed in close contact with the .

여기서 제1 컨베이어(121`) 및 제2 컨베이어(122`)는 제1 촬영부(133)에 의해 촬영된 영상을 통해 겹쳐진 상품이 없을 경우, 동일한 방향으로 동일한 속도로 상품을 이송시킬 수 있다.Here, the first conveyor 121 ′ and the second conveyor 122 ′ may transport the product in the same direction at the same speed when there is no overlapping product through the image captured by the first photographing unit 133 .

무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 분석하여 복수의 상품이 겹치진 것으로 판단되면, 제1 컨베이어(121`) 및 제2 컨베이어(122`)의 속도 및 방향 중 적어도 하나를 제어하여 겹쳐진 상품을 분리시킬 수 있다.When the unmanned payment device analyzes the image captured through the first photographing unit 133 and determines that a plurality of products overlap, at least one of the speeds and directions of the first conveyor 121 ′ and the second conveyor 122 ′. By controlling one, you can separate overlapping products.

도 11은 본 발명의 또 다른 실시 예에 따른 무인 결제 장치를 설명하기 위한 예시도이다.11 is an exemplary diagram for explaining an unmanned payment apparatus according to another embodiment of the present invention.

도 11을 참조하면, 본 발명의 또 다른 실시 예에 따른 무인 결제 장치는 복수의 상품을 투입하는 투입 영역에 구비되는 제1 컨베이어(121``), 제1 컨베이어(121``)로부터 투입된 복수의 상품을 촬영부(130)를 통해 촬영하는 스캔 영역에 구비되는 제2 컨베이어(122``) 및 제2 컨베이어(122``)로부터 촬영이 완료되어 배출되는 복수의 상품을 적재하는 적재부(123``)를 포함하여 구성될 수 있다.Referring to FIG. 11 , an unmanned payment device according to another embodiment of the present invention includes a first conveyor 121 ″ and a plurality of inputs from the first conveyor 121 ″, which are provided in an input area for putting a plurality of products. A loading unit ( 123``).

여기서 제1 컨베이어(121``)는 복수의 상품을 이동시키는 복수의 롤러 컨베이어(roller conveyor)를 포함할 수 있다. 또한 제1 컨베이어(121``)는 인접한 롤러 축의 높이가 상이하게 배치될 수 있다.Here, the first conveyor 121 ″ may include a plurality of roller conveyors for moving a plurality of products. Also, the first conveyor 121 ″ may have different heights of adjacent roller shafts.

무인 결제 장치는 제1 컨베이어(121``)의 인접한 롤러 축이 서로 엇갈리도록 왕복 제어하여, 겹쳐진 상품을 분리시킬 수 있다. 즉 무인 결제 장치는 롤러 축을 상하로 왕복 제어하되, 인접한 롤러 축이 서로 엇갈리도록 하여 상품을 유동시킴에 따라, 겹쳐진 상품을 분리시킬 수 있다.The unmanned payment device may reciprocally control adjacent roller axes of the first conveyor 121 ″ to cross each other, thereby separating overlapping products. That is, the unmanned payment device reciprocates the roller shafts up and down, but the adjacent roller shafts intersect each other to move the products, so that the overlapping products can be separated.

제2 컨베이어의(122``)는 제1 컨베이어(121``)의 보다 낮은 위치에 배치될 수 있다. 이를 통해 제1 컨베이어(121``)로부터 제2 컨베이어(122``)로 이동하는 상품이 단차에 의해 제2 컨베이어(122``)로 낙하하면서, 겹쳐진 상품이 분리되도록 할 수 있다.The second conveyor 122 ″ may be disposed at a lower position of the first conveyor 121 ″. Through this, the product moving from the first conveyor 121 ″ to the second conveyor 122 ″ may fall onto the second conveyor 122 ″ by a step difference, so that the overlapping products are separated.

또한 무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 통해 복수의 상품에 대한 겹쳐짐 여부를 판단하고, 판단 결과 겹쳐진 상품이 존재하는 경우 제1 컨베이어(121``) 또는 제2 컨베이어(122``)의 단차를 제어할 수 있다.In addition, the unmanned payment device determines whether a plurality of products overlap or not through the image captured by the first photographing unit 133 , and if there is an overlapping product as a result of the determination, the first conveyor 121 `` or the second The level difference of the conveyor 122'' can be controlled.

또한 무인 결제 장치는 도시되지는 않지만, 제1 컨베이어(121``) 또는 제2 컨베이어(122``) 사이에 구비되어, 복수의 상품의 겹침을 방지하는 겹침방지롤러를 더 포함할 수 있다. 여기서, 무인 결제 장치는 제1 촬영부(133)를 통해 촬영된 영상을 통해 복수의 상품에 대한 겹쳐짐 여부를 판단하고, 판단 결과 겹쳐진 상품이 존재하는 경우 겹침방지롤러의 속도 및 방향 중 적어도 하나를 제어할 수 있다.In addition, although not shown, the unmanned payment device may further include an anti-overlapping roller provided between the first conveyor 121 ″ or the second conveyor 122 ″ to prevent overlapping of a plurality of products. Here, the unmanned payment device determines whether a plurality of products overlap with each other through the image captured by the first photographing unit 133, and when there is an overlapping product as a result of the determination, at least one of the speed and direction of the overlapping prevention roller can control

도 12는 본 발명의 일 실시 예에 따른 무인 결제 방법을 설명하기 위한 순서도이다.12 is a flowchart illustrating an unattended payment method according to an embodiment of the present invention.

도 12를 참조하면, 먼저 무인 결제 장치는 구매자가 구매하고자 하는 상품을 촬영한다(S100). 구체적으로, 무인 결제 장치는 구매자가 구매하고자 하는 상품을 이송부에 올려 놓으면, 이송부를 구동시켜 상품을 이동시키고, 이동되는 상품을 촬영부를 통해 촬영할 수 있다.Referring to FIG. 12 , first, the unmanned payment device takes a picture of a product that a buyer wants to purchase ( S100 ). Specifically, when the unmanned payment device puts the product the buyer wants to purchase on the transfer unit, the transfer unit may be driven to move the product, and the moving product may be photographed through the photographing unit.

다음으로, 무인 결제 장치는 촬영된 영상을 통해 상품을 인식할 수 있다(S200). 즉 무인 결제 장치는 인공 지능(Artificial Intelligence, AI)을 기반으로 촬영된 영상을 분석하여, 영상에 포함된 상품에 대한 형상 정보를 통해 해당 상품을 인식할 수 있다. 여기서, 무인 결제 장치는 사전에 학습된 분류기(classifier)를 이용하여 사전에 정의된 상품에 대한 형상 정보 중 매칭되는 형상 정보를 갖는 상품을 인식할 수 있다. 이때 사전에 학습된 분류기는 메인 비전 센서 및 보조 비전 센서를 이용하여 학습을 위한 상품을 회전시키면서 연속적으로 촬영된 영상을 기반으로 학습될 수 있다. 또한 사전에 학습된 분류기는 복수의 상품이 겹쳐진 상태에서 촬영된 영상을 통해 학습될 수 있다.Next, the unmanned payment device may recognize the product through the captured image (S200). That is, the unmanned payment device may analyze the captured image based on artificial intelligence (AI) and recognize the corresponding product through shape information about the product included in the image. Here, the unmanned payment device may recognize a product having matching shape information among shape information of a predefined product by using a pre-learned classifier. In this case, the pre-learned classifier may be learned based on images continuously captured while rotating the product for learning using the main vision sensor and the auxiliary vision sensor. In addition, the pre-learned classifier may be learned through an image captured in a state in which a plurality of products are overlapped.

또한, 무인 결제 장치는 촬영된 영상 및 영상에 포함된 상품까지의 거리를 통해 해당 상품의 높이 값을 측정하고, 측정된 높이 값을 통해 해당 상품을 인식할 수 있다. In addition, the unmanned payment device may measure the height value of the corresponding product through the photographed image and the distance to the product included in the image, and recognize the corresponding product through the measured height value.

또한, 무인 결제 장치는 인식된 상품의 높이 값을 측정하고, 측정된 높이 값과 해당 상품에 대하여 사전에 미리 저장된 높이 값을 비교하고, 측정된 높이 값이 사전에 미리 저장된 높이 값보다 큰 경우, 상품이 겹쳐진 것으로 판단할 수 있다.In addition, the unmanned payment device measures the height value of the recognized product, compares the measured height value with a height value stored in advance for the product, and when the measured height value is greater than the height value stored in advance, It can be judged that the products overlap.

다음으로, 무인 결제 장치는 인식된 상품에 대한 영상을 2차 촬영하고, 2차 촬영된 영상에서 상품에 대한 경계값을 추출하고, 추출된 경계값을 통해 인식된 상품을 검증할 수 있다(S300). 여기서, 상품 인식부는 2차 촬영된 영상에서 각 픽셀(pixel)에 대한 RGB 값을 검출하고, 검출된 RGB 값을 통해 상품에 대한 경계값을 추출할 수 있다.Next, the unmanned payment device may take a second image of the recognized product, extract a boundary value for the product from the secondary photographed image, and verify the recognized product through the extracted boundary value (S300) ). Here, the product recognition unit may detect an RGB value for each pixel in the secondary photographed image, and extract a boundary value for the product through the detected RGB value.

또한, 무인 결제 장치는 1차 촬영된 영상의 상품 중 인식되지 않는 상품이 존재하는 경우, 해당 상품이 포함된 이미지를 출력하려 사용자에게 알릴 수 있다. 이때, 무인 결제 장치는 인식되지 않는 상품이 포함된 이미지를 출력하되, 인식되지 않은 상품을 제외한 영역을 음영 처리하여 출력할 수 있다.In addition, when an unrecognized product exists among the products of the first photographed image, the unmanned payment device may notify the user to output an image including the product. In this case, the unmanned payment device may output an image including an unrecognized product, but may output an area excluding the unrecognized product by shading.

또한, 무인 결제 장치는 상품에 해당되지 않는 물건이 사전에 학습된 분류기(classifier)를 이용하여, 1차 촬영된 영상에 상기 상품에 해당되지 않는 물건이 포함되는 경우 해당 상품을 인식에서 제외시킬 수 있다.In addition, the unmanned payment device can exclude the product from recognition when the object that does not fall under the product includes an object that does not correspond to the product in the first captured image using a pre-learned classifier. have.

그리고, 무인 결제 장치는 인식이 완료된 상품 또는 인식된 후 검증이 완료된 상품에 대하여 결제를 수행할 수 있다(S400).In addition, the unmanned payment device may perform payment for a recognized product or a recognized and verified product ( S400 ).

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으나, 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 선정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.As described above, although preferred embodiments of the present invention have been disclosed in the present specification and drawings, it is in the technical field to which the present invention pertains that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein. It is obvious to those with ordinary knowledge. In addition, although specific terms have been used in the present specification and drawings, these are only used in a general sense to easily describe the technical contents of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. Accordingly, the foregoing detailed description should not be construed as restrictive in all respects but as exemplary. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are included in the scope of the present invention.

100: 무인 결제 장치 110: 본체
120: 이송부 130: 촬영부
205: 통신부 210: 입출력부
215: 저장부 220: 상품 인식부
225: 겹침 방지부 230: 상품 결제부
300: 고객 인식 장치 400: 무인 결제 시스템100: unmanned payment device 110: main body
120: transfer unit 130: photographing unit
205: communication unit 210: input/output unit
215: storage unit 220: product recognition unit
225: overlap prevention unit 230: product payment unit
300: customer recognition device 400: unmanned payment system

Claims (10)

복수의 상품을 이동시키는 복수의 컨베이어를 포함하는 이송부;
상기 이송부의 경로 상에 배치되어, 상기 이송부에 의해 이동하는 복수의 상품을 촬영하는 촬영부; 및
상기 촬영부를 통해 촬영된 영상을 통해 상기 복수의 상품을 인식하고, 상기 복수의 상품 중 겹쳐진 상품에 대하여 상기 복수의 컨베이어 각각의 속도 및 방향 중 적어도 하나를 제어하는 제어부를 포함하는 것을 특징으로 하고,
상기 이송부는
상기 복수의 상품이 투입되는 투입 영역에 구비되는 제1 컨베이어;
상기 제1 컨베이어로부터 일정 간격 이격되어 배치되는 제2 컨베이어; 및
상기 제1 컨베이어 및 상기 제2 컨베이어 사이에 구비되어, 상기 겹쳐진 상품의 분리를 유도하는 겹침방지롤러를 포함하는 것을 특징으로 하며,
상기 겹침방지롤러는
상기 제1 컨베이어 및 상기 제2 컨베이어 사이에서 단차를 갖도록 배치되되, 중심부의 최상단의 위치가 상기 제1 컨베이어 및 상기 제2 컨베이어의 이송면보다 높게 배치된 것을 특징으로 하고,
상기 촬영부는
상기 상품에 대한 영상 및 상기 영상에 포함된 상품까지의 거리(depth)를 측정하는 비전 센서(vision sensor)를 포함하는 것을 특징으로 하며,
상기 제어부는,
상기 촬영된 영상 및 상기 영상에 포함된 상품까지의 거리를 통해 해당 상품의 높이 값을 측정하고, 측정된 높이 값과 해당 상품에 대하여 사전에 미리 저장된 높이 값을 비교하고, 상기 측정된 높이 값이 상기 사전에 미리 저장된 높이 값보다 큰 경우, 상품이 겹쳐진 것으로 판단하는 것을 특징으로 하는, 겹침 방지 기능을 갖는 무인 결제 장치.
a transfer unit including a plurality of conveyors for moving a plurality of products;
a photographing unit disposed on the path of the conveying unit to photograph a plurality of products moving by the conveying unit; and
Recognizing the plurality of products through the image taken through the photographing unit, characterized in that it comprises a control unit for controlling at least one of the speed and direction of each of the plurality of conveyors with respect to the overlapping product among the plurality of products,
the transfer unit
a first conveyor provided in an input area into which the plurality of products are put;
a second conveyor spaced apart from the first conveyor by a predetermined interval; and
It is provided between the first conveyor and the second conveyor, characterized in that it comprises an anti-overlapping roller for inducing separation of the overlapping product,
The anti-overlap roller
Disposed to have a step difference between the first conveyor and the second conveyor, characterized in that the uppermost position of the center is disposed higher than the transfer surfaces of the first conveyor and the second conveyor,
the filming unit
It characterized in that it comprises a vision sensor (vision sensor) for measuring the image of the product and the distance (depth) to the product included in the image,
The control unit is
Measure the height value of the product through the distance to the product included in the photographed image and the image, compare the measured height value with the height value stored in advance for the product, and the measured height value is When it is greater than the previously stored height value, the unmanned payment device having an overlap prevention function, characterized in that it is determined that the product is overlapped.
 제1 항에 있어서, 상기 촬영부는
상기 제1 컨베이어 상에 배치되어, 상기 제1 컨베이어를 통해 이동하는 복수의 상품을 촬영하는 제1 촬영부; 및
상기 제2 컨베이어 상에 배치되어, 상기 제1 컨베이어로부터 전달되어 제2 컨베이어를 통해 이동하는 복수의 상품을 촬영하는 제2 촬영부를 포함하는 것을 특징으로 하는, 겹침 방지 기능을 갖는 무인 결제 장치.
According to claim 1, wherein the photographing unit
a first photographing unit disposed on the first conveyor to photograph a plurality of products moving through the first conveyor; and
and a second photographing unit disposed on the second conveyor to photograph a plurality of products transferred from the first conveyor and moving through the second conveyor.
 제1 항에 있어서, 상기 제어부는
상기 촬영부를 통해 촬영된 영상을 분석하여 상기 복수의 상품이 겹쳐진 것으로 판단되면, 상기 제2 컨베이어의 방향을 상기 제1 컨베이어의 방향과 반대로 제어하는 것을 특징으로 하는, 겹침 방지 기능을 갖는 무인 결제 장치.
According to claim 1, wherein the control unit
When it is determined that the plurality of products overlap by analyzing the image captured by the photographing unit, the unmanned payment device having an overlap prevention function, characterized in that the second conveyor controls the direction opposite to that of the first conveyor .
 제1 항에 있어서, 상기 제어부는
상기 촬영부를 통해 촬영된 영상을 분석하여 상기 복수의 상품이 겹쳐진 것으로 판단되면, 상기 제2 컨베이어의 속도를 상기 제1 컨베이어의 속도보다 빠르게 제어하는 것을 특징으로 하는, 겹침 방지 기능을 갖는 무인 결제 장치.
According to claim 1, wherein the control unit
When it is determined that the plurality of products overlap by analyzing the image captured by the photographing unit, the unmanned payment device having an overlap prevention function, characterized in that the speed of the second conveyor is controlled faster than the speed of the first conveyor .
 제1 항에 있어서, 제어부는
상기 촬영부를 통해 촬영된 영상을 분석하여 상기 복수의 상품이 겹쳐진 것으로 판단되면, 상기 겹침방지롤러의 방향 및 속도 중 적어도 하나를 제어하는 것을 특징으로 하는, 겹침 방지 기능을 갖는 무인 결제 장치.
The method of claim 1, wherein the control unit
When it is determined that the plurality of products overlap by analyzing the image captured by the photographing unit, at least one of a direction and a speed of the overlap prevention roller is controlled.
 제1 항에 있어서,
탄성력을 가지며, 상기 제1 컨베이어를 따라 이동하는 복수의 상품의 경로 상에 위치하여, 상기 제1 컨베이어 내에서 복수의 상품에 대한 이동 경로를 변경하는 적어도 하나의 바리케이드를 더 포함하는 것을 특징으로 하는, 겹침 방지 기능을 갖는 무인 결제 장치.
The method of claim 1,
At least one barricade having an elastic force and being positioned on a path of a plurality of products moving along the first conveyor to change a movement path for a plurality of products in the first conveyor, characterized in that it further comprises , an unattended payment device with an overlap prevention function.
 제6 항에 있어서, 상기 제어부는
상기 촬영부를 통해 촬영된 영상을 분석하여, 상품의 크기를 측정하고, 상품의 크기에 따라 상기 바리케이드의 탄성력을 제어하는 것을 특징으로 하는, 겹침 방지 기능을 갖는 무인 결제 장치.
The method of claim 6, wherein the control unit
An unmanned payment device with an overlap prevention function, characterized in that by analyzing the image taken through the photographing unit, measuring the size of the product, and controlling the elastic force of the barricade according to the size of the product.
 제1 항에 있어서, 상기 이송부는
상기 복수의 상품을 이동시키는 제1 컨베이어; 및
상기 복수의 상품이 이동하는 방향에 대하여 수직하게 상기 제1 컨베이어와 밀착 배치되는 제2 컨베이어를 포함하고,
상기 제어부는
상기 촬영부를 통해 촬영된 영상을 분석하여 상기 복수의 상품이 겹치진 것으로 판단되면, 상기 제1 컨베이어 및 상기 제2 컨베이어의 속도 및 방향 중 적어도 하나를 제어하는 것을 특징으로 하는, 겹침 방지 기능을 갖는 무인 결제 장치.According to claim 1, wherein the transfer unit
a first conveyor for moving the plurality of products; and
and a second conveyor disposed in close contact with the first conveyor perpendicular to the direction in which the plurality of products move,
the control unit
When it is determined that the plurality of products overlap by analyzing the image captured by the photographing unit, at least one of the speed and direction of the first conveyor and the second conveyor is controlled, characterized in that it has an overlap prevention function Unmanned payment device. 삭제delete 삭제delete
KR1020210183364A 2021-12-21 2021-12-21 Unmanned payment device with overlap prevention function through conveyor control KR102449325B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210183364A KR102449325B1 (en) 2021-12-21 2021-12-21 Unmanned payment device with overlap prevention function through conveyor control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210183364A KR102449325B1 (en) 2021-12-21 2021-12-21 Unmanned payment device with overlap prevention function through conveyor control

Publications (1)

Publication Number Publication Date
KR102449325B1 true KR102449325B1 (en) 2022-10-04

Family

ID=83600507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210183364A KR102449325B1 (en) 2021-12-21 2021-12-21 Unmanned payment device with overlap prevention function through conveyor control

Country Status (1)

Country Link
KR (1) KR102449325B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101807205B1 (en) * 2017-06-28 2017-12-08 주식회사 코리아세븐 Unattended payment device, Method for controlling the device, computer program for executing the method, and Apparatus for controlling the device
KR20190006812A (en) * 2017-07-11 2019-01-21 씨제이대한통운 (주) Method and apparatus for aligning goods, and parcel automatic classification system for the same
KR102044125B1 (en) * 2019-07-25 2019-11-12 임흥준 Self-checkout apparatus of controlling conveying of goods
KR20200023990A (en) 2018-08-27 2020-03-06 주식회사 코리아세븐 Method, system and computer program of payment for unattended store
KR20210098001A (en) * 2020-01-31 2021-08-10 (주)로봇플러스 Alignment and transmission device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101807205B1 (en) * 2017-06-28 2017-12-08 주식회사 코리아세븐 Unattended payment device, Method for controlling the device, computer program for executing the method, and Apparatus for controlling the device
KR20190006812A (en) * 2017-07-11 2019-01-21 씨제이대한통운 (주) Method and apparatus for aligning goods, and parcel automatic classification system for the same
KR20200023990A (en) 2018-08-27 2020-03-06 주식회사 코리아세븐 Method, system and computer program of payment for unattended store
KR102044125B1 (en) * 2019-07-25 2019-11-12 임흥준 Self-checkout apparatus of controlling conveying of goods
KR20210098001A (en) * 2020-01-31 2021-08-10 (주)로봇플러스 Alignment and transmission device

Similar Documents

Publication Publication Date Title
KR102433004B1 (en) Artificial intelligence-based unmanned payment device and method
US10540551B2 (en) Generation of two-dimensional and three-dimensional images of items for visual recognition in checkout apparatus
JP5984096B2 (en) Method and mechanism for identifying an object
US9367770B2 (en) Methods and arrangements for identifying objects
CA2888153C (en) Methods and arrangements for identifying objects
CA3035710A1 (en) User interface for object detection and labeling
CN106952402A (en) A kind of data processing method and device
KR102300176B1 (en) Purchasing­transaction recognition system and method thereof
GB2537405B (en) A POS Terminal
KR102637070B1 (en) Goods sales system using sensors and method thereof
US11776673B2 (en) System and method for augmented reality detection of loose pharmacy items
CN113468914B (en) Method, device and equipment for determining purity of commodity
US20220067436A1 (en) Systems and methods for building image databases to facilitate computer vision-based consumer product identification
CA3162267A1 (en) Smart movable closure system for cooling cabinet
KR102586911B1 (en) Intelligent Marketing and Advertising Platform
US20180189726A1 (en) Systems and methods for monitoring and restocking merchandise
CN112313660A (en) Automated product storage cabinet for inventory control
KR102449325B1 (en) Unmanned payment device with overlap prevention function through conveyor control
KR102433003B1 (en) Unmanned payment device with overlap prevention function using conveyor steps
KR102454539B1 (en) Unmanned payment device and method for performing verification
JP5674933B2 (en) Method and apparatus for locating an object in a warehouse
KR102476496B1 (en) Method for identify product through artificial intelligence-based barcode restoration and computer program recorded on record-medium for executing method therefor
KR102469015B1 (en) Method for identify product using multiple camera with different wavelength ranges and computer program recorded on record-medium for executing method therefor
KR102476498B1 (en) Method for identify product through artificial intelligence-based complex recognition and computer program recorded on record-medium for executing method therefor
KR102476493B1 (en) Apparatus for product identification and method using the same

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant