KR102120092B1 - Shopping cart using artificial intelligence and method for detecting product - Google Patents

Shopping cart using artificial intelligence and method for detecting product Download PDF

Info

Publication number
KR102120092B1
KR102120092B1 KR1020190094102A KR20190094102A KR102120092B1 KR 102120092 B1 KR102120092 B1 KR 102120092B1 KR 1020190094102 A KR1020190094102 A KR 1020190094102A KR 20190094102 A KR20190094102 A KR 20190094102A KR 102120092 B1 KR102120092 B1 KR 102120092B1
Authority
KR
South Korea
Prior art keywords
product
barcode
area
recognition
shopping cart
Prior art date
Application number
KR1020190094102A
Other languages
Korean (ko)
Inventor
김현배
Original Assignee
주식회사 딥파인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥파인 filed Critical 주식회사 딥파인
Priority to KR1020190094102A priority Critical patent/KR102120092B1/en
Priority to PCT/KR2019/016751 priority patent/WO2021025237A1/en
Application granted granted Critical
Publication of KR102120092B1 publication Critical patent/KR102120092B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B5/00—Accessories or details specially adapted for hand carts
    • B62B5/0096—Identification of the cart or merchandise, e.g. by barcodes or radio frequency identification [RFID]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B3/00—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor
    • B62B3/14—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor characterised by provisions for nesting or stacking, e.g. shopping trolleys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Handcart (AREA)

Abstract

The present invention provides a shopping cart which includes: an recognizing part generating images of products positioned in a recognizing area through a plurality of cameras, detecting a bar code area corresponding to the images through a convolution neural network, and generating bar code information corresponding to the bar code area; a communication part transmitting the bar code information to a server through the network; and a transport part transporting the products to a storing area when the bar code information of the products is generated.

Description

인공 지능을 이용하는 쇼핑 카트 및 상품 인식 방법{SHOPPING CART USING ARTIFICIAL INTELLIGENCE AND METHOD FOR DETECTING PRODUCT}A shopping cart and product recognition method using artificial intelligence {SHOPPING CART USING ARTIFICIAL INTELLIGENCE AND METHOD FOR DETECTING PRODUCT}

본 발명은 쇼핑 카트에 관한 것으로, 더욱 상세하게는 인공 지능을 이용하여 자동으로 쇼핑 카트에 든 상품을 인식하는 것에 관한 것이다.The present invention relates to a shopping cart, and more particularly, to automatically recognize a product in a shopping cart using artificial intelligence.

마트를 이용하는 소비자들이 불편을 겪는 대표적인 예로는 계산을 하기 위해 오랜 시간 줄을 서야 하는 불편함이다.A typical example of inconvenience for consumers using marts is the inconvenience of waiting in a long time to perform calculations.

계산을 하기 위한 대기 시간을 줄이기 위해 상품에 RFID 태그를 부착하여 빠른 계산을 하는 등의 기술이 고안되고 있지만, 태그를 모든 상품에 부착하는 것은 시간 및 금전적인 비용이 발생한다.In order to reduce the waiting time for calculation, technologies such as fast calculation by attaching an RFID tag to a product have been devised, but attaching the tag to all products incurs time and money.

따라서, 일반적인 마트에서는 점원이 상품에 미리 인쇄되거나 부착되어 있는 바코드를 바코드 리더를 통해 인식하여 계산하는 방식을 고수하고 있다.Therefore, in a typical mart, the salesman adheres to a method of recognizing and calculating a barcode pre-printed or attached to the product through a barcode reader.

대한민국 공개 특허 제 2013-0119665호Republic of Korea Patent No. 2013-0119665

본 발명이 해결하고자 하는 기술적 과제는 인공 지능을 이용하는 쇼핑 카트 및 쇼핑 카트 제어 방법을 제공하는 것이다.The technical problem to be solved by the present invention is to provide a shopping cart and a shopping cart control method using artificial intelligence.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problem to be achieved by the present invention is not limited to the technical problems mentioned above, and other technical problems not mentioned can be clearly understood by those skilled in the art from the following description. There will be.

본 발명의 일 측면에 따르면, 복수의 카메라를 통해 인식 영역에 위치하는 상품의 이미지를 생성하고, 컨볼루션 신경망(Convolution Neural Network)을 통해 상기 이미지로부터 바코드 영역을 검출하고, 상기 바코드 영역에 대응하는 바코드 정보를 생성하는 인식부; 상기 바코드 정보를 네트워크를 통해 서버로 전송하는 통신부; 및 상기 상품의 바코드 정보가 생성되는 경우, 상기 상품을 보관 영역으로 운반하는 운반부;를 포함하는 쇼핑 카트가 제공된다.According to an aspect of the present invention, an image of a product located in a recognition area is generated through a plurality of cameras, a barcode area is detected from the image through a convolutional neural network, and the barcode area is A recognition unit generating barcode information; A communication unit transmitting the barcode information to a server through a network; And a transport unit for transporting the product to a storage area when barcode information of the product is generated.

상기 인식부는 상기 인식 영역에 장착된 무게 센서를 통해 측정된 무게가 지정된 수치 이상인 경우, 상기 이미지를 생성할 수 있다.The recognition unit may generate the image when the weight measured by the weight sensor mounted on the recognition area is greater than or equal to a specified value.

각 상기 카메라는 상이한 방향으로 상기 상품을 촬영할 수 있다.Each of the cameras can photograph the product in different directions.

상기 인식부는 상기 이미지로부터 후보 바코드 영역을 검출하고, 상기 후보 바코드 영역을 상기 컨볼루션 신경망에 입력하여 상기 후보 바코드 영역이 바코드 영역의 클래스로 분류되는 확률인 인식률을 산출하고, 상기 후보 바코드 영역 중 인식률이 가장 높은 후보 바코드 영역을 상기 바코드 영역으로 검출할 수 있다.The recognition unit detects a candidate barcode area from the image, inputs the candidate barcode area into the convolutional neural network, calculates a recognition rate that is a probability that the candidate barcode area is classified into a class of barcode areas, and recognizes the recognition rate among the candidate barcode areas The highest candidate barcode area can be detected as the barcode area.

상기 인식부는 상기 바코드 영역에 상응하는 인식률이 지정된 임계값 이하인 경우, 점검 메시지를 생성할 수 있다.The recognition unit may generate a check message when the recognition rate corresponding to the barcode area is less than or equal to a specified threshold.

상기 쇼핑 카트는 상기 인식 영역에서 상기 보관 영역으로 운반된 상기 상품에 가해지는 충격을 완화하는 그물망을 포함하는 보관부를 더 포함할 수 있다.The shopping cart may further include a storage unit including a mesh for alleviating the impact on the product carried from the recognition area to the storage area.

상기 보관부는 상기 상품의 무게에 따라 상기 그물망의 높이를 조절할 수 있다.The storage unit may adjust the height of the mesh according to the weight of the product.

상기 보관 영역 내에는 보관 용기가 수납되고, 상기 운반부는 상기 상품을 상기 인식 영역에서 상기 보관 용기 내로 운반할 수 있다.A storage container is stored in the storage area, and the transport unit may transport the product from the recognition area into the storage container.

본 발명의 다른 측면에 따르면, 쇼핑 카트가 상품을 인식하는 방법에 있어서, 복수의 카메라를 통해 인식 영역에 위치하는 상품의 이미지를 생성하는 단계; 컨볼루션 신경망(Convolution Neural Network)을 통해 상기 이미지에 대응하는 바코드 영역을 검출하는 단계; 상기 바코드 영역에 대응하는 바코드 정보를 생성하는 단계; 상기 바코드 정보를 네트워크를 통해 서버로 전송하는 단계; 및 상기 상품의 바코드 정보가 생성되는 경우, 상기 상품을 보관 영역으로 운반하는 단계;를 포함하는 상품 인식 방법이 제공된다.According to another aspect of the present invention, a method for a shopping cart to recognize a product, comprising: generating an image of the product located in the recognition area through a plurality of cameras; Detecting a barcode area corresponding to the image through a convolutional neural network; Generating barcode information corresponding to the barcode area; Transmitting the barcode information to a server through a network; And when the barcode information of the product is generated, transporting the product to a storage area.

상기 복수의 카메라를 통해 인식 영역에 위치하는 상품의 이미지를 생성하는 단계는 상기 인식 영역에 장착된 무게 센서를 통해 측정된 무게가 지정된 수치 이상인 경우, 상기 이미지를 생성하는 단계일 수 있다.The generating of the image of the product located in the recognition area through the plurality of cameras may be the step of generating the image when the weight measured by the weight sensor mounted in the recognition area is greater than or equal to a specified value.

각 상기 카메라는 상이한 방향으로 상기 상품을 촬영할 수 있다.Each of the cameras can photograph the product in different directions.

상기 컨볼루션 신경망을 통해 상기 이미지에 대응하는 바코드 영역을 검출하는 단계는, 상기 이미지로부터 후보 바코드 영역을 검출하는 단계; 상기 후보 바코드 영역을 상기 컨볼루션 신경망에 입력하여 상기 후보 바코드 영역이 바코드 영역의 클래스로 분류되는 확률인 인식률을 산출하는 단계; 및 상기 후보 바코드 영역 중 인식률이 가장 높은 후보 바코드 영역을 상기 바코드 영역으로 검출하는 단계를 포함할 수 있다.The step of detecting a barcode area corresponding to the image through the convolutional neural network includes: detecting a candidate barcode area from the image; Inputting the candidate barcode region into the convolutional neural network to calculate a recognition rate that is a probability that the candidate barcode region is classified into a class of barcode regions; And detecting a candidate barcode area having the highest recognition rate among the candidate barcode areas as the barcode area.

상기 상품 인식 방법은 상기 바코드 영역에 상응하는 인식률이 지정된 임계값 이하인 경우, 점검 메시지를 생성하는 단계를 더 포함할 수 있다.The product recognition method may further include generating a check message when the recognition rate corresponding to the barcode area is less than or equal to a specified threshold.

상기 상품 인식 방법은 상기 인식 영역에서 상기 보관 영역으로 운반된 상기 상품에 가해지는 충격을 완화하는 그물망의 높이를 상기 상품의 무게에 따라 조절하는 단계를 더 포함할 수 있다.The product recognition method may further include adjusting a height of a mesh net for alleviating the impact on the product carried from the recognition area to the storage area according to the weight of the product.

본 발명의 또 다른 측면에 따르면, 상기 상품 인식 방법을 실행하는 컴퓨터 프로그램이 저장된 컴퓨터가 판독 가능한 기록매체가 제공된다.According to another aspect of the present invention, a computer readable recording medium storing a computer program for executing the product recognition method is provided.

본 발명의 실시예에 따르면, 자동으로 쇼핑 카트에 담겨진 상품을 인식할 수 있다.According to an embodiment of the present invention, it is possible to automatically recognize a product in a shopping cart.

또한, 본 발명의 일 실시예에 따르면, 쇼핑 카트에 담겨진 상품의 가격을 자동으로 산출하고, 각 상품의 결재를 진행할 수 있다.In addition, according to an embodiment of the present invention, it is possible to automatically calculate the price of a product contained in a shopping cart and proceed with payment of each product.

또한, 본 발명의 일 실시예에 따르면, 쇼핑 카트에 담겨진 상품을 자동으로 패킹할 수 있다.In addition, according to an embodiment of the present invention, it is possible to automatically pack the products contained in the shopping cart.

도 1은 본 발명의 일 실시예에 따른 쇼핑 카트의 구성을 나타내는 도면.
도 2는 본 발명의 일 실시예에 따른 쇼핑 카트의 외형을 나타내는 도면.
도 3은 본 발명의 일 실시예에 따른 쇼핑 카트의 인식 영역을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 쇼핑 카트가 인식하는 바코드와 그 인식률을 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 쇼핑 카트가 상품을 인식하는 방법을 예시한 순서도.1 is a view showing the configuration of a shopping cart according to an embodiment of the present invention.
2 is a view showing the appearance of a shopping cart according to an embodiment of the present invention.
3 is a diagram illustrating a recognition area of a shopping cart according to an embodiment of the present invention.
4 is a view illustrating a barcode and a recognition rate recognized by a shopping cart according to an embodiment of the present invention.
5 is a flowchart illustrating a method of recognizing a product by a shopping cart according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, the present invention will be described with reference to the accompanying drawings. However, the present invention may be implemented in various different forms, and thus is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts irrelevant to the description are omitted, and like reference numerals are assigned to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.Throughout the specification, when a part is "connected (connected, contacted, coupled)" with another part, it is not only "directly connected" but also "indirectly connected" with another member in between. "It also includes the case where it is. Also, when a part “includes” a certain component, this means that other components may be further provided instead of excluding other components, unless otherwise stated.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, terms such as “include” or “have” are intended to indicate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, and that one or more other features are present. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 쇼핑 카트의 구성을 나타내는 도면이다. 도 2는 본 발명의 일 실시예에 따른 쇼핑 카트의 외형을 나타내는 도면이다. 도 3은 본 발명의 일 실시예에 따른 쇼핑 카트의 인식 영역을 예시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 쇼핑 카트가 인식하는 바코드와 그 인식률을 예시한 도면이다.1 is a view showing the configuration of a shopping cart according to an embodiment of the present invention. 2 is a view showing the appearance of a shopping cart according to an embodiment of the present invention. 3 is a diagram illustrating a recognition area of a shopping cart according to an embodiment of the present invention. 4 is a view illustrating a barcode and a recognition rate recognized by a shopping cart according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 쇼핑 카트는 통신부(110), 인식부(120), 운반부(130) 및 보관부(140)를 포함한다.Referring to FIG. 1, a shopping cart according to an embodiment of the present invention includes a communication unit 110, a recognition unit 120, a transport unit 130, and a storage unit 140.

통신부(110)는 지정된 프로토콜을 통해 외부 서버와 데이터를 주고 받는다. 이 때, 외부 서버는 쇼핑 카드에 담긴 상품의 구매를 진행하는 서버일 수 있다.The communication unit 110 exchanges data with an external server through a designated protocol. At this time, the external server may be a server that proceeds with the purchase of the product contained in the shopping card.

인식부(120)는 쇼핑 카트에 상품을 촬영하여 이미지를 생성하고, 생성된 이미지를 컨볼루션 신경망(Convolution Neural Network)을 이용하여 이미지 중 바코드에 해당하는 영역(이하, 바코드 영역이라 지칭)을 인식하고, 바코드 영역에 따른 바코드 정보를 생성한다. 인식부(120)는 각 이미지에 대해 지정된 방식에 따른 전처리 과정을 수행하고, 각 이미지로부터 상품에 해당하는 객체 영역을 추출하고, 객체 영역 중 바코드 영역이라 추정되는 영역인 후보 바코드 영역을 추출한다. 예를 들어, 인식부(120)는 객체 영역 중 인접한 픽셀의 값이 급격하게 변하는 엣지(edge)가 연속으로 나타나는 영역을 검출하는 등의 미리 지정된 방식을 통해 후보 바코드 영역을 검출할 수 있다. 인식부(120)는 후보 바코드 영역을 미리 훈련된 컨볼루션 신경망에 입력하여 후보 바코드 영역 중 바코드 영역의 클래스(class)로 가장 높은 확률로 분류되는 영역을 바코드 영역으로 검출할 수 있다. 인식부(120)는 컨볼루션 신경망을 통해 후보 바코드 영역 중 도 4와 같이 바코드 영역을 검출하고, 바코드 영역의 클래스로 분류되는 확률을 나타내는 인식률을 산출한다. 이 때, 인식부(120)는 도 2의 210과 같이 상품이 위치할 수 있는 인식 영역을 포함하고, 해당 인식 영역 내에 놓여진 상품을 촬영하여 이미지를 생성하는 복수의 카메라를 포함할 수 있다. 이때, 복수의 카메라는 도3과 같이 서로 다른 방향으로 상품을 촬영하여 이미지를 생성할 수 있다. 또한, 인식부(120)는 인식 영역의 하단에 무게 센서를 구비하여 인식 영역에 상품이 위치하는 경우, 상술한 카메라를 작동하여 이미지를 생성하도록 할 수 있다. 이 때, 각 카메라는 상품을 복수의 방향에서 촬영하기 때문에 각 카메라에서 촬영된 이미지 중 하나 이상은 바코드를 촬영한 이미지일 수 있다. 또한, 복수의 카메라는 멀티채널을 구성하여 쇼핑 카트에 담기는 상품을 360도로 사각지대 없이 촬영하여 이미지를 생성할 수 있다. 예를 들면, 인식 영역을 가상의 육면체로 가정하였을 경우, 인식부(120)의 복수의 카메라는 육면체의 모든 방향(전후좌우상하)에서 촬영하여 이미지를 생성할 수 있다.The recognition unit 120 photographs a product in a shopping cart to generate an image, and recognizes an area corresponding to a barcode (hereinafter referred to as a barcode area) among the images using a convolutional neural network. Then, barcode information according to the barcode area is generated. The recognition unit 120 performs a pre-processing process according to a designated method for each image, extracts an object area corresponding to the product from each image, and extracts a candidate barcode area, which is an area estimated as a barcode area, from among the object areas. For example, the recognition unit 120 may detect a candidate barcode area through a predetermined method such as detecting an area in which an edge in which an adjacent pixel value rapidly changes among object areas is continuously displayed. The recognition unit 120 may input a candidate barcode region into a pre-trained convolutional neural network to detect a region classified as the highest probability among the barcode regions of the candidate barcode region as a barcode region. The recognition unit 120 detects a barcode area of the candidate barcode area as shown in FIG. 4 through a convolutional neural network, and calculates a recognition rate indicating a probability classified into a class of barcode areas. At this time, the recognition unit 120 may include a recognition area in which a product may be located, as illustrated in 210 of FIG. 2, and may include a plurality of cameras that capture an image placed in the recognition area and generate an image. At this time, the plurality of cameras may generate images by photographing products in different directions as shown in FIG. 3. In addition, the recognition unit 120 may be provided with a weight sensor at the bottom of the recognition area to generate an image by operating the above-described camera when a product is located in the recognition area. At this time, since each camera photographs a product in a plurality of directions, at least one of the images photographed by each camera may be an image photographing a barcode. In addition, a plurality of cameras can be configured to create an image by capturing a product in a shopping cart 360 degrees without a blind spot by configuring a multi-channel. For example, when the recognition area is assumed to be a virtual hexahedron, the plurality of cameras of the recognition unit 120 may generate an image by photographing in all directions (front, rear, top, bottom, up, and down) of the cube.

인식부(120)는 각 상품에 대한 바코드 정보를 통신부(110)를 통해 외부 서버로 전송할 수 있다. 외부 서버는 바코드 정보를 통해 해당 쇼핑 카트를 이용한 사용자가 구매한 상품의 가격을 산출하고, 해당 상품의 결재를 수행할 수 있다. 또한, 인식부(120)는 인식률이 지정된 임계값 이하인 경우, 해당 상품에 대한 사용자의 점검이 필요함을 알리는 점검 메시지를 외부 서버로 전송할 수 있다. 따라서, 외부 서버는 키오스크 등의 단말을 통해 사용자에게 점검 메시지에 상응하는 상품의 정보를 표시하여 사용자가 직접 구매한 상품이 맞는지 확인하도록 할 수 있다. The recognition unit 120 may transmit barcode information for each product to an external server through the communication unit 110. The external server may calculate a price of a product purchased by a user using the corresponding shopping cart through barcode information and perform payment of the corresponding product. In addition, when the recognition rate is less than or equal to a specified threshold, the recognition unit 120 may transmit a check message indicating that the user needs to check the corresponding product to an external server. Accordingly, the external server may display information of the product corresponding to the inspection message to the user through a terminal such as a kiosk, so that the user can check whether the purchased product is correct.

운반부(130)는 모터의 동력을 통해 인식 영역에 위치하는 바코드 정보의 생성이 완료된 상품을 인식 영역의 하단에 위치한 보관 영역으로 운반한다.The transport unit 130 transports the product, which has generated the barcode information located in the recognition area, through the power of the motor to the storage area located at the bottom of the recognition area.

보관부(140)는 장바구니 등의 보관 용기를 수납할 수 있는 보관 영역(도 2의 220)을 포함하여 상품이 인식 영역으로부터 보관 영역으로 운반되는 경우, 상품이 보관 용기에 수납되도록 한다. 보관부(140)는 인식 영역에서 보관 영역으로 운반된 상품에 대한 충격을 완화시키는 그물을 포함할 수 있고, 해당 그물의 높이를 조절하는 높이 조절 모듈을 포함할 수 있다. 예를 들어, 보관부(140)는 인식된 상품의 무게가 무거울 수록 그물의 높이가 더 낮도록 높이 조절 모듈을 제어할 수 있다. 따라서, 보관부(140)는 보관 용기에 인식된 상품이 보관 용기에 수납되도록 하고, 사용자는 보관 용기를 통해 간편하게 구매한 상품을 회수할 수 있다.The storage unit 140 includes a storage area (220 in FIG. 2) capable of storing a storage container such as a shopping cart so that when the product is transported from the recognition area to the storage area, the product is stored in the storage container. The storage unit 140 may include a net for alleviating the impact on the goods transported from the recognition area to the storage area, and may include a height adjustment module that adjusts the height of the net. For example, the storage unit 140 may control the height adjustment module so that the height of the net is lower as the weight of the recognized product is heavier. Accordingly, the storage unit 140 allows products recognized in the storage container to be stored in the storage container, and the user can easily retrieve the purchased product through the storage container.

한편, 본 발명의 일 실시예에 따른 쇼핑 카트는 통신부(110)를 통해 외부 서버로부터 기상 정보를 수신하고 수신한 기상 정보를 이용하여 상품을 추천 및/또는 평가하는 상품 추천부(미도시)를 더 포함할 수 있다.On the other hand, the shopping cart according to an embodiment of the present invention receives a weather information from an external server through the communication unit 110 and a product recommendation unit (not shown) that recommends and/or evaluates products using the received weather information. It may further include.

여기서, 상품 추천부는 기상 정보를 이용하여 지정된 식품에 대한 구매를 추천하거나, 기상 정보에 따라 바코드 정보의 생성이 완료된 상품에 대한 소비평가를 수행할 수 있다. 예를 들면, 특정 과일 원산지의 기상 정보를 수신하여 해당 과일의 수확 및/또는 품질이 풍작 및/또는 기준치 이상인 것으로 판단한 경우, 상품 추천부는 제철 과일로 해당 과일에 대한 구매를 추천하거나, 해당 과일에 대한 바코드 정보의 생성이 완료된 경우 해당 과일에 대한 소비(구매)가 현명한 것으로 평가할 수 있다.Here, the product recommendation unit may recommend purchasing the specified food using weather information, or perform consumption evaluation of the product whose barcode information has been generated according to the weather information. For example, if it is determined that the harvest and/or quality of the fruit is higher than the harvest and/or the reference value by receiving weather information of a specific fruit origin, the product recommendation unit recommends purchasing the fruit as a seasonal fruit, or When the creation of barcode information for the completed is completed, it can be evaluated that consumption (purchase) of the corresponding fruit is wise.

또한, 특정 쌀 원산지의 기상 정보를 수신하여 해당 쌀의 수확 및/또는 품질이 흉작 및/또는 기준치 이하인 것으로 판단한 경우, 상품 추천부는 해당 쌀에 대한 구매를 추천하지 않거나, 해당 쌀에 대한 바코드 정보의 생성이 완료된 경우 해당 쌀에 대한 소비(구매)가 현명하지 않은 것으로 평가할 수 있다.In addition, if it is determined that the harvest and/or quality of the rice is less than the standard and/or the reference value by receiving the weather information of the specific rice origin, the product recommendation unit does not recommend the purchase of the rice or the barcode information of the rice. When the production is completed, it can be evaluated that consumption (purchase) of the rice is not wise.

이러한 상품 추천부는 별도의 표시장치를 이용하여 구매 추천 정보 및/또는 소비평가를 출력할 수 있다. 또한 상품 추천부는 통신부(110)를 통해 구매 추천 정보 및/또는 소비평가를 외부 서버로 송신하고, 외부 서버를 통해 소비자(사용자)에게 구매 추천 정보 및/또는 소비평가를 제공할 수 있다. 예를 들면, 상품 추천부는 구매 추천 정보 및/또는 소비평가를 점검 메시지에 포함시키거나 별도의 메시지로 외부 서버로 송신할 수 있다.The product recommendation unit may output purchase recommendation information and/or consumption evaluation using a separate display device. In addition, the product recommendation unit may transmit purchase recommendation information and/or consumption evaluation to the external server through the communication unit 110 and provide purchase recommendation information and/or consumption evaluation to the consumer (user) through the external server. For example, the product recommendation unit may include purchase recommendation information and/or consumption evaluation in an inspection message or transmit it to an external server as a separate message.

도 5는 본 발명의 일 실시예에 따른 쇼핑 카트가 상품을 인식하는 방법을 예시한 순서도이다. 이하 설명하는 각 단계는 도 1을 참조하여 상술한 쇼핑 카트를 구성하는 각 기능부를 통해 수행되는 과정이나 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 쇼핑 카트로 통칭하도록 한다.5 is a flowchart illustrating a method of recognizing a product by a shopping cart according to an embodiment of the present invention. Each step described below will be referred to as FIG. 1 to refer to the subject of each step as a shopping cart for a concise and clear description of a process or invention performed through each functional unit constituting the shopping cart described above.

도 5를 참조하면, 단계 510에서 쇼핑 카트는 인식 영역에 구비된 무게 센서를 통해 무게를 측정한다. Referring to FIG. 5, in step 510, the shopping cart measures weight through a weight sensor provided in the recognition area.

단계 520에서 쇼핑 카트는 단계 510에서 측정한 무게가 지정된 수치 이상인지 판단한다.In step 520, the shopping cart determines whether the weight measured in step 510 is greater than or equal to a specified value.

단계 520에서 무게가 지정된 수치 미만인 경우, 쇼핑 카트는 단계 510의 과정을 반복 수행한다.If the weight is less than the specified value in step 520, the shopping cart repeats the process of step 510.

단계 520에서 무게가 지정된 수치 이상인 경우, 단계 530에서 쇼핑 카트는 상품을 촬영하여 이미지를 생성한다. 이 때, 쇼핑 카트는 인식 영역을 상이한 방향에서 촬영하는 복수의 카메라를 통해 각 방향에 상응하는 복수의 이미지를 생성할 수 있다.If the weight is greater than or equal to the specified value in step 520, in step 530, the shopping cart photographs the product to generate an image. At this time, the shopping cart may generate a plurality of images corresponding to each direction through a plurality of cameras photographing the recognition area in different directions.

단계 540에서 쇼핑 카트는 이미지로부터 후보 바코드 영역을 검출한다. 예를 들어, 쇼핑 카트는 이미지에 대해 지정된 전처리 과정을 수행하고, 전처리된 이미지에서 상품에 해당하는 객체 영역을 검출하고, 객체 영역에서 후보 바코드 영역을 검출할 수 있다. In step 540, the shopping cart detects a candidate barcode area from the image. For example, the shopping cart may perform a designated pre-processing process for an image, detect an object area corresponding to a product in the pre-processed image, and detect a candidate barcode area in the object area.

단계 550에서 쇼핑 카트는 미리 훈련된 컨볼루션 신경망에 후보 바코드 영역을 입력하여 각 후보 바코드 영역에 대한 인식률을 검출하고, 인식률이 가장 높은 후보 바코드 영역을 바코드 영역으로 검출한다.In step 550, the shopping cart detects a recognition rate for each candidate barcode area by inputting a candidate barcode area in a pre-trained convolutional neural network, and detects the candidate barcode area having the highest recognition rate as a barcode area.

단계 560에서 쇼핑 카트는 바코드 영역에 상응하는 인식률이 임계값 이하인지 판단한다.In step 560, the shopping cart determines whether the recognition rate corresponding to the barcode area is below a threshold.

단계 560에서 바코드 영역에 상응하는 인식률이 임계값을 초과하는 경우, 단계 570에서 쇼핑 카트는 바코드 영역의 바코드를 인식하여 바코드 정보를 생성한다.If the recognition rate corresponding to the barcode area exceeds the threshold in step 560, in step 570, the shopping cart recognizes the barcode in the barcode area to generate barcode information.

단계 560에서 바코드 영역에 상응하는 인식률이 임계값 이하인 경우, 단계 580에서 쇼핑 카트는 해당 상품의 확인이 필요함을 나타내는 점검 메시지를 생성한다. 이 때, 점검 메시지는 바코드 영역의 바코드를 포함할 수 있다.If the recognition rate corresponding to the barcode area is less than or equal to the threshold in step 560, the shopping cart generates a check message in step 580 indicating that the product needs to be checked. At this time, the inspection message may include a barcode in the barcode area.

단계 590에서 쇼핑 카트는 모터를 제어하여 상품을 인식 영역에서 보관 영역으로 운반한다. 이 때, 쇼핑 카트는 보관 영역에 위치하는 그물망의 높이를 상품의 무게에 따라 제어할 수 있다.In step 590, the shopping cart controls the motor to transport the product from the recognition area to the storage area. At this time, the shopping cart can control the height of the net positioned in the storage area according to the weight of the product.

단계 595에서 쇼핑 카트는 바코드 정보 및 점검 메시지를 외부 서버로 전송한다.In step 595, the shopping cart sends barcode information and a check message to an external server.

따라서, 본 발명의 일 실시예에 따른 쇼핑 카트는 상품에 별도의 전자태그를 사용하지 않으면서 점원이 바코드 리더를 사용하는 작업 없이 소비자가 구매하려는 상품을 자동 인식하여 외부 서버를 통해 인식된 상품의 가격을 산출하고, 상품의 결재를 수행할 수 있다.Accordingly, a shopping cart according to an embodiment of the present invention automatically recognizes a product that a consumer intends to purchase without using a barcode reader by a clerk without using a separate electronic tag for the product. You can calculate the price and perform the payment of the product.

상술한 본 발명의 실시 예들은 다양한 수단을 통해 구현될 수 있다. 본 발명의 실시 예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 실시 예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시 예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다. 또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. 더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.The above-described embodiments of the present invention can be implemented through various means. Embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof. For implementation by hardware, methods according to embodiments of the present invention include one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), It can be implemented by field programmable gate arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, and the like. In the case of implementation by firmware or software, the method according to embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. A computer program in which software code or the like is recorded may be stored in a computer-readable recording medium or memory unit and driven by a processor. The memory unit is located inside or outside the processor, and can exchange data with the processor by various known means. Also, combinations of each block of the block diagram and each step of the flowchart attached to the present invention may be performed by computer program instructions. Since these computer program instructions may be mounted on an encoding processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, the instructions performed through the encoding processor of a computer or other programmable data processing equipment may be used in each block of the block diagram or In each step of the flowchart, means are created to perform the functions described. These computer program instructions can also be stored in computer readable or computer readable memory that can be oriented to a computer or other programmable data processing equipment to implement a function in a particular way, so that computer readable or computer readable memory The instructions stored in it are also possible to produce an article of manufacture containing instructions means for performing the functions described in each step of each block or flowchart of the block diagram. Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so a series of operational steps are performed on a computer or other programmable data processing equipment to create a process that is executed by the computer to generate a computer or other programmable data. It is also possible for instructions to perform processing equipment to provide steps for performing the functions described in each block of the block diagram and in each step of the flowchart. In addition, each block or step may represent a module, segment, or part of code that includes one or more executable instructions for executing a specified logical function. It should also be noted that in some alternative embodiments, the functions mentioned in blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be executed substantially simultaneously, or it is also possible that the blocks or steps are sometimes performed in reverse order depending on the corresponding function.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art to which the present invention pertains will appreciate that the present invention may be implemented in other specific forms without changing its technical spirit or essential features. Therefore, the embodiments described above should be understood as illustrative in all respects and not restrictive. The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be interpreted to be included in the scope of the present invention. .

110: 통신부
120: 인식부
130: 운반부
140: 보관부
210: 인식 영역
220: 보관 영역110: communication department
120: recognition unit
130: transport
140: storage
210: recognition area
220: storage area

Claims (15)

상품을 인식하는 쇼핑 카트에 있어서,
복수의 카메라를 통해 인식 영역에 위치하는 상품의 이미지를 생성하고, 컨볼루션 신경망(Convolution Neural Network)을 통해 상기 이미지에 대응하는 바코드 영역을 검출하고, 상기 바코드 영역에 대응하는 바코드 정보를 생성하는 인식부;
상기 바코드 정보를 네트워크를 통해 서버로 전송하는 통신부;
상기 상품의 바코드 정보가 생성되는 경우, 상기 상품을 보관 영역으로 운반하는 운반부; 및
상기 통신부를 통해 외부로부터 기상 정보를 수신하고, 수신한 기상 정보를 이용하여 상품을 평가 및 추천하는 상품 추천부;를 포함하되,
상기 상품 추천부는,
지정된 상품의 원산지의 기상 정보를 수신하여 해당 상품의 수확 및 품질을 판단하여 지정된 상품에 대한 구매 추천 정보를 출력하고, 상기 기상 정보에 따라 바코드 정보의 생성이 완료된 상품에 대하여 소비평가를 출력하여 소비자에게 상기 구매 추천 정보 및 소비평가를 제공하는 쇼핑 카트.
In the shopping cart to recognize the product,
Recognition that generates an image of a product located in the recognition area through a plurality of cameras, detects a barcode area corresponding to the image through a convolutional neural network, and generates barcode information corresponding to the barcode area part;
A communication unit transmitting the barcode information to a server through a network;
When the barcode information of the product is generated, a transport unit for transporting the product to the storage area; And
Includes a product recommendation unit for receiving weather information from the outside through the communication unit, and evaluating and recommending the product using the received weather information.
The product recommendation unit,
It receives the weather information of the origin of the specified product, judges the harvest and quality of the product, outputs purchase recommendation information for the specified product, and outputs a consumption evaluation for the product whose barcode information has been generated according to the weather information. Shopping cart providing the above purchase recommendation information and consumption evaluation.
제1항에 있어서,
상기 인식부는 상기 인식 영역에 장착된 무게 센서를 통해 측정된 무게가 지정된 수치 이상인 경우, 상기 이미지를 생성하는 것을 특징으로 하는 쇼핑 카트.
According to claim 1,
The recognizing unit generates the image when the weight measured by the weight sensor mounted in the recognition area is greater than or equal to a specified value.
제1항에 있어서,
각 상기 카메라는 상이한 방향으로 상기 상품을 촬영하는 것을 특징으로 하는 쇼핑 카트.
According to claim 1,
Each of the cameras is a shopping cart, characterized in that to shoot the product in different directions.
제1 항에 있어서,
상기 인식부는 상기 이미지로부터 후보 바코드 영역을 검출하고, 상기 후보 바코드 영역을 상기 컨볼루션 신경망에 입력하여 상기 후보 바코드 영역이 바코드 영역의 클래스로 분류되는 확률인 인식률을 산출하고, 상기 후보 바코드 영역 중 인식률이 가장 높은 후보 바코드 영역을 상기 바코드 영역으로 검출하는 것을 특징으로 하는 쇼핑 카트.
According to claim 1,
The recognition unit detects a candidate barcode area from the image, inputs the candidate barcode area into the convolutional neural network, calculates a recognition rate that is a probability that the candidate barcode area is classified into a class of barcode areas, and recognizes the recognition rate among the candidate barcode areas A shopping cart characterized by detecting the highest candidate barcode area as the barcode area.
제4항에 있어서,
상기 인식부는 상기 바코드 영역에 상응하는 인식률이 지정된 임계값 이하인 경우, 점검 메시지를 생성하는 것을 특징으로 하는 쇼핑 카트.
The method of claim 4,
The recognition unit generates a check message when the recognition rate corresponding to the barcode area is less than or equal to a specified threshold, a shopping cart.
제1항에 있어서,
상기 인식 영역에서 상기 보관 영역으로 운반된 상기 상품에 가해지는 충격을 완화하는 그물망을 포함하는 보관부
를 더 포함하는 쇼핑 카트.
According to claim 1,
Storage unit including a mesh for alleviating the impact applied to the product carried from the recognition area to the storage area
A shopping cart comprising more.
제6항에 있어서,
상기 보관부는 상기 상품의 무게에 따라 상기 그물망의 높이를 조절하는 것을 특징으로 하는 쇼핑 카트.
The method of claim 6,
The storage unit is a shopping cart, characterized in that for adjusting the height of the mesh according to the weight of the product.
제1 항에 있어서,
상기 보관 영역 내에는 보관 용기가 수납되고,
상기 운반부는 상기 상품을 상기 인식 영역에서 상기 보관 용기 내로 운반하는 것을 특징으로 하는 쇼핑 카트.
According to claim 1,
A storage container is stored in the storage area,
A shopping cart characterized in that the transport unit transports the product from the recognition area into the storage container.
쇼핑 카트가 상품을 인식하는 방법에 있어서,
복수의 카메라를 통해 인식 영역에 위치하는 상품의 이미지를 생성하는 단계;
컨볼루션 신경망(Convolution Neural Network)을 통해 상기 이미지에 대응하는 바코드 영역을 검출하는 단계;
상기 바코드 영역에 대응하는 바코드 정보를 생성하는 단계;
상기 바코드 정보를 네트워크를 통해 서버로 전송하는 단계; 및
상기 상품의 바코드 정보가 생성되는 경우, 상기 상품을 보관 영역으로 운반하는 단계;를 포함하되,
외부로부터 기상 정보를 수신하고, 수신한 기상 정보를 이용하여 상품을 평가 및 추천하는 단계를 더 포함하고,
상기 상품을 평가 및 추천하는 단계에서는,
지정된 상품의 원산지의 기상 정보를 수신하여 해당 상품의 수확 및 품질을 판단하여 지정된 상품에 대한 구매 추천 정보를 출력하고, 상기 기상 정보에 따라 바코드 정보의 생성이 완료된 상품에 대하여 소비평가를 출력하여 소비자에게 상기 구매 추천 정보 및 소비평가를 제공하는 상품 인식 방법.
A method for a shopping cart to recognize a product,
Generating an image of a product located in the recognition area through a plurality of cameras;
Detecting a barcode area corresponding to the image through a convolutional neural network;
Generating barcode information corresponding to the barcode area;
Transmitting the barcode information to a server through a network; And
When the barcode information of the product is generated, the step of transporting the product to the storage area; includes,
Further comprising the step of receiving weather information from the outside, and evaluating and recommending the product using the received weather information,
In the step of evaluating and recommending the product,
It receives the weather information of the origin of the specified product, judges the harvest and quality of the product, outputs purchase recommendation information for the specified product, and outputs a consumption evaluation for the product whose barcode information has been generated according to the weather information. A product recognition method that provides the purchase recommendation information and consumption evaluation.
제9항에 있어서,
상기 복수의 카메라를 통해 인식 영역에 위치하는 상품의 이미지를 생성하는 단계는 상기 인식 영역에 장착된 무게 센서를 통해 측정된 무게가 지정된 수치 이상인 경우, 상기 이미지를 생성하는 단계인 것을 특징으로 하는 상품 인식 방법.
The method of claim 9,
The step of generating an image of a product located in the recognition area through the plurality of cameras is a step of generating the image when the weight measured by the weight sensor mounted in the recognition area is greater than or equal to a specified value. Recognition method.
제9항에 있어서,
각 상기 카메라는 상이한 방향으로 상기 상품을 촬영하는 것을 특징으로 하는 상품 인식 방법.
The method of claim 9,
Each camera is a product recognition method, characterized in that for taking the product in a different direction.
제9 항에 있어서,
상기 컨볼루션 신경망을 통해 상기 이미지에 대응하는 바코드 영역을 검출하는 단계는,
상기 이미지로부터 후보 바코드 영역을 검출하는 단계;
상기 후보 바코드 영역을 상기 컨볼루션 신경망에 입력하여 상기 후보 바코드 영역이 바코드 영역의 클래스로 분류되는 확률인 인식률을 산출하는 단계; 및
상기 후보 바코드 영역 중 인식률이 가장 높은 후보 바코드 영역을 상기 바코드 영역으로 검출하는 단계
를 포함하는 것을 특징으로 하는 상품 인식 방법.
The method of claim 9,
The step of detecting the barcode area corresponding to the image through the convolutional neural network,
Detecting a candidate barcode area from the image;
Inputting the candidate barcode region into the convolutional neural network to calculate a recognition rate that is a probability that the candidate barcode region is classified into a class of barcode regions; And
Detecting a candidate barcode area having the highest recognition rate among the candidate barcode areas as the barcode area
Product recognition method comprising a.
제12항에 있어서,
상기 바코드 영역에 상응하는 인식률이 지정된 임계값 이하인 경우, 점검 메시지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 상품 인식 방법.
The method of claim 12,
And if the recognition rate corresponding to the barcode area is less than or equal to a specified threshold, generating a check message.
제9항에 있어서,
상기 인식 영역에서 상기 보관 영역으로 운반된 상기 상품에 가해지는 충격을 완화하는 그물망의 높이를 상기 상품의 무게에 따라 조절하는 단계를 더 포함하는 것을 특징으로 하는 상품 인식 방법.
The method of claim 9,
And adjusting the height of the mesh net for alleviating the impact on the product carried from the recognition area to the storage area according to the weight of the product.
제9항 내지 제14항 중 어느 하나의 방법을 실행하는 컴퓨터 프로그램이 저장된 컴퓨터가 판독 가능한 기록매체.
A computer-readable recording medium storing a computer program executing any one of claims 9 to 14.
KR1020190094102A 2019-08-02 2019-08-02 Shopping cart using artificial intelligence and method for detecting product KR102120092B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190094102A KR102120092B1 (en) 2019-08-02 2019-08-02 Shopping cart using artificial intelligence and method for detecting product
PCT/KR2019/016751 WO2021025237A1 (en) 2019-08-02 2019-11-29 Shopping cart and product recognition method thereof, system and method for providing shopping service using same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190094102A KR102120092B1 (en) 2019-08-02 2019-08-02 Shopping cart using artificial intelligence and method for detecting product

Publications (1)

Publication Number Publication Date
KR102120092B1 true KR102120092B1 (en) 2020-06-09

Family

ID=71082000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190094102A KR102120092B1 (en) 2019-08-02 2019-08-02 Shopping cart using artificial intelligence and method for detecting product

Country Status (1)

Country Link
KR (1) KR102120092B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102323796B1 (en) * 2020-11-11 2021-11-09 텔코웨어 주식회사 Smart shopping cart, shopping system using the smart shopping cart and method for purchasing product using the smart shopping cart
WO2023191371A1 (en) * 2022-03-29 2023-10-05 주식회사 날비컴퍼니 Method and system for image-based barcode recognition
CN117422937A (en) * 2023-12-18 2024-01-19 成都阿加犀智能科技有限公司 Intelligent shopping cart state identification method, device, equipment and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08142871A (en) * 1994-11-17 1996-06-04 Kokusai Electric Co Ltd Shopping cart and shopping cart system
JP2005122609A (en) * 2003-10-20 2005-05-12 Mitsubishi Electric Corp Device for recognizing photographed object
KR20130119665A (en) 2012-04-24 2013-11-01 장종기 Automatic calculation cart for the use of low price electronic signal identification tag
JP2015232517A (en) * 2014-06-10 2015-12-24 大和製衡株式会社 Article regulation device and combination balance including the same
US20180108101A1 (en) * 2016-10-17 2018-04-19 Confirm, Inc. System and method for classification and authentication of identification documents using a machine learning based convolutional neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08142871A (en) * 1994-11-17 1996-06-04 Kokusai Electric Co Ltd Shopping cart and shopping cart system
JP2005122609A (en) * 2003-10-20 2005-05-12 Mitsubishi Electric Corp Device for recognizing photographed object
KR20130119665A (en) 2012-04-24 2013-11-01 장종기 Automatic calculation cart for the use of low price electronic signal identification tag
JP2015232517A (en) * 2014-06-10 2015-12-24 大和製衡株式会社 Article regulation device and combination balance including the same
US20180108101A1 (en) * 2016-10-17 2018-04-19 Confirm, Inc. System and method for classification and authentication of identification documents using a machine learning based convolutional neural network

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102323796B1 (en) * 2020-11-11 2021-11-09 텔코웨어 주식회사 Smart shopping cart, shopping system using the smart shopping cart and method for purchasing product using the smart shopping cart
WO2023191371A1 (en) * 2022-03-29 2023-10-05 주식회사 날비컴퍼니 Method and system for image-based barcode recognition
CN117422937A (en) * 2023-12-18 2024-01-19 成都阿加犀智能科技有限公司 Intelligent shopping cart state identification method, device, equipment and storage medium
CN117422937B (en) * 2023-12-18 2024-03-15 成都阿加犀智能科技有限公司 Intelligent shopping cart state identification method, device, equipment and storage medium

Similar Documents

Publication Publication Date Title
US11403887B2 (en) Evaluating image values
US10853702B2 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
US11074637B2 (en) Self-checkout arrangements
KR102120092B1 (en) Shopping cart using artificial intelligence and method for detecting product
US10540551B2 (en) Generation of two-dimensional and three-dimensional images of items for visual recognition in checkout apparatus
US20210117948A1 (en) Mobile device platform for automated visual retail product recognition
WO2019165892A1 (en) Automatic vending method and apparatus, and computer-readable storage medium
US10290031B2 (en) Method and system for automated retail checkout using context recognition
CN105448000A (en) Merchandise item registration apparatus, and merchandise item registration method
JP6549558B2 (en) Sales registration device, program and sales registration method
US11669738B2 (en) Context-aided machine vision
CN109353397B (en) Commodity management method, device and system, storage medium and shopping cart
US11776673B2 (en) System and method for augmented reality detection of loose pharmacy items
KR102476496B1 (en) Method for identify product through artificial intelligence-based barcode restoration and computer program recorded on record-medium for executing method therefor
EP3629276A1 (en) Context-aided machine vision item differentiation
CN207624043U (en) Commodity clearance equipment and purchase system
CN109003155A (en) Self-service system and method
KR102469015B1 (en) Method for identify product using multiple camera with different wavelength ranges and computer program recorded on record-medium for executing method therefor
KR102274773B1 (en) System and method for providing shopping service
US11798064B1 (en) Sensor-based maximum-likelihood estimation of item assignments
KR102476498B1 (en) Method for identify product through artificial intelligence-based complex recognition and computer program recorded on record-medium for executing method therefor
KR102476493B1 (en) Apparatus for product identification and method using the same
US20240203217A1 (en) Product Verification System
JP6702461B2 (en) Product registration device, settlement system, program, and control method
CA3126193A1 (en) Method and apparatus for anomaly detection in self-checkout retail environments

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant