WO2019226021A1 - Smart shopping cart and shopping management system using same - Google Patents

Smart shopping cart and shopping management system using same Download PDF

Info

Publication number
WO2019226021A1
WO2019226021A1 PCT/KR2019/006285 KR2019006285W WO2019226021A1 WO 2019226021 A1 WO2019226021 A1 WO 2019226021A1 KR 2019006285 W KR2019006285 W KR 2019006285W WO 2019226021 A1 WO2019226021 A1 WO 2019226021A1
Authority
WO
WIPO (PCT)
Prior art keywords
cart
shopping
goods
central server
image
Prior art date
Application number
PCT/KR2019/006285
Other languages
French (fr)
Korean (ko)
Inventor
성준경
Original Assignee
주식회사 비즈니스인사이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비즈니스인사이트 filed Critical 주식회사 비즈니스인사이트
Publication of WO2019226021A1 publication Critical patent/WO2019226021A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B3/00—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor
    • B62B3/14—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor characterised by provisions for nesting or stacking, e.g. shopping trolleys
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B5/00—Accessories or details specially adapted for hand carts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Definitions

  • the present invention relates to a shopping service using artificial intelligence technology, and more particularly, to a smart shopping cart and a shopping management system using the same that recognizes a list of products in a customer's shopping cart in real time.
  • the related art has a problem in that when a plurality of customers are crowded and overlapped at a specific location, the overlapped customer's purchase list is not properly recognized in image recognition of the shopping product.
  • the technical problem to be solved by the present invention is to provide a smart shopping cart and a shopping management system using the same that can recognize a product contained in a customer's shopping cart in real time to check the purchase list of the shopping product.
  • Smart shopping cart for storing goods; First image sensors installed in the cart to collect image data of shopping goods loaded on or taken out of the cart and transmit the image data to a central server; Separate second image sensors for photographing the display rack; An electronic scale installed in the cart that measures the weight of the cart containing the shopping goods and transmits the weight to the central server; And receiving product information of the shopping goods transmitted from the central server as a result of recognizing the shopping goods based on the image data of the shopping goods, the weight of the cart and the entry / exit information of the goods in the display rack. It includes; cart terminal installed in the cart to display a list of them.
  • the second image sensors are used to detect entry / exit information of goods in the display rack, and the second image sensors and the electronic scale may fail to recognize the shopping product in which the first image sensors are loaded into or taken out of the cart. It is used as an auxiliary function in case, the entry and exit information of the goods, the weight change of the card and the image data of the shopping goods are used to recognize the shopping goods, the cart terminal is the product cost detection information from the central server When is received, a notification message indicating that there is an unrecognized product is sent.
  • a shopping management system includes a customer terminal installed with a shopping store application to support a customer login and shopping product list inquiry; First image sensors installed on a cart, a cart terminal, and an electronic scale, wherein the first image sensors are used to collect the image data of the shopping goods in the cart, and the electronic scale is used to A smart shopping cart measuring weight and displaying a list of shopping products in the cart using the cart terminal; Separate second image sensors for photographing the display rack; And recognizing a list of shopping goods in the cart by extracting features of shopping goods based on the image data of the shopping goods, checking whether the shopping goods are detected based on the weight of the cart and entry / exit information of the goods, A central server transmitting product information of the shopping goods to the cart terminal and the customer terminal as a result of recognizing the shopping goods based on the image data of the shopping goods, the weight of the cart, and the entry / exit information of the product; It includes.
  • the second image sensors are used to detect entry / exit information of the product in the display rack, and the second image sensors and the electronic scale fail to recognize the shopping product in which the first image sensors are loaded into or taken out of the cart.
  • it is used as an auxiliary function in preparation, the entry and exit information of the product, the weight change of the card and the image data of the shopping goods are used to recognize the shopping goods, the cart terminal is the product cost detection information from the central server When is received, a notification message indicating that there is an unrecognized product is sent.
  • the first image sensors for collecting image data of the shopping goods loaded on or taken out of the cart the second image sensors used to detect the entry and exit information of the goods on the shelf, the weight change of the cart
  • the recognition rate of the shopping products can be improved by using the electronic scale to recognize the shopping products.
  • the first image sensors detect whether or not the shopping product is detected by using the information about the entry / exit of the merchandise in the display rack and the weight change of the cart, the error due to the non-sensing of the first image sensors can be reduced.
  • the cart terminal or the customer terminal installed in the cart in real time to collect the customer's movement (movement path) data in the store, provided as the basic data for improving the layout and merchandise display of the area with high concentration of the movement of the store It can be used as a means to reduce the shopping stress of customers due to congestion and to design an efficient copper wire.
  • FIG. 1 is a view showing a smart shopping cart according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a shopping management system using a smart shopping cart according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of the cart terminal shown in FIG.
  • FIG. 1 is a view showing a smart shopping cart 10 according to an embodiment of the present invention.
  • the smart shopping cart 10 includes a cart 11 for storing a shopping product of a customer, first image sensors 12 installed on the cart 11, a cart terminal 14, and an electronic scale ( 16).
  • the first image sensors 12 collect image data of shopping goods loaded on or taken out of the cart 11 in real time. At least one of the first image sensors 12 may be installed in the cart 11 to photograph the shopping goods at various angles at different positions.
  • At least one first image sensor 12 may be installed at an edge of the cart 11.
  • a urethane protective bumper may be installed at the edge of the cart to prevent damage or foreign matters of the first image sensors 12 mounted on the cart 11, and the first image sensors 12 may be formed of the bumper. It can be mounted on some.
  • the first image sensors 12 transmit image data of shopping goods collected at angles of different positions to the central server 20 (shown in FIG. 2), respectively.
  • the central server 20 may recognize shopping goods in a cart by extracting features of goods from image data collected using the deep learning AI technology.
  • the central server 20 checks whether the shopping goods are detected based on the weight of the cart and the entry / exit information of the goods.
  • the central server 20 recognizes the shopping goods based on the image data of the shopping goods, the weight of the cart and the entry / exit information of the goods, and displays the product information of the shopping goods among the cart terminal 14 and the customer terminal 30.
  • a detailed description of the deep learning artificial intelligence technology is omitted.
  • the cart terminal 14 communicates with the central server 20 and displays a list of shopping goods recognized by the central server 20 on the display unit.
  • the cart terminal 14 may be installed on the handle of the cart 11, but is not limited thereto.
  • the cart terminal 14 may recognize the membership card or the customer by sensing an image so that the customer can log in.
  • the cart terminal 14 may recognize the credit card so that the customer can pay for the shopping goods, and when the payment is completed, the payment completion indicator may be turned on.
  • the detailed configuration of the cart terminal 14 will be described with reference to FIG. 3.
  • the electronic balance 16 is installed in the cart 11 and measures the weight change.
  • the electronic scale 16 may be installed at the bottom of the cart 11, but is not limited thereto.
  • the electronic scale 16 measures the weight of the measured cart 11 to the central server 20 when a change such as the weight of the cart is evidenced or reduced by being contained or taken out of the cart 11 is detected. It can be configured to transmit.
  • the electronic balance may be configured with a plurality of weight sensors to evenly detect the weight of the cart.
  • the electronic scale 16 transmits the weight of the cart 11 to the central server 20, and the central server 20 recognizes shopping goods based on the image data collected by the first image sensors 12. By comparing the weight of the shopping cart with the list of shopping goods, it is possible to check whether the shopping goods are correctly recognized.
  • the electronic scale 16 may be used as a means for reducing the error due to the product ratio recognition of the first image sensors 12 by measuring the weight change of the goods in the cart.
  • the second image sensors 50 (shown in FIG. 2) may be used to photograph goods on the shelves to detect entry and exit information of the goods on the shelves, and the second image sensors 50 and the electronic scale 16.
  • the first image sensors 12 may be used as an auxiliary function in case of failing to recognize a shopping product loaded on or taken out of the cart.
  • Each of the first image sensors 12, the cart terminal 14, and the electronic scale 16 installed in the smart shopping cart 10 may have a unique number for identification.
  • the first image sensors 12, the cart terminal 14, and the electronic scale 16 of the smart shopping cart 10 may be assigned a unique number for identification from the central server 20 at initialization.
  • the smart shopping cart 10 collects the image data of the shopping goods that the customers put in the cart in real time through the first image sensors 12 mounted on the cart, and the central server 20 uses the deep learning artificial intelligence technology. Recognize the goods by extracting the features of the goods from the image data of the shopping goods collected by using.
  • image data detected at more various positions and angles is required.
  • various image data of shopping goods in a cart may be collected through the first image sensors 12 installed at various positions and angles of the cart rim.
  • one of the first image sensors 12 may be mounted as an image camera rotated 360 degrees so as to accurately collect image data contained in or taken out of the cart 11. Can be.
  • the second image sensors 50 may be used to detect entry and exit information of goods in the display rack.
  • the second image sensors may provide the central server 20 with input and output information of goods in the display rack.
  • the second image sensors 50 may be installed above the display rack.
  • the second image sensors 50 may be installed in a cart.
  • the second image sensors 50 may autonomously drive in the display rack to detect entry / exit information of goods.
  • the second image sensors 50 and the electronic scale 16 may be used as an auxiliary function in case of failing to recognize a shopping product loaded on or taken out of a cart.
  • the present invention to solve the problem of power consumption, as another embodiment, when the electronic scale 16 detects a change in the weight of the cart, the first image sensors 12 collects information of the shopping goods in the cart It can be configured to transmit to the central server 20.
  • the shopping cart is loaded on the cart by the low scale scale 16 including the plurality of weight sensors, and when the weight change event of the cart occurs, the first image sensors 12 installed on the cart are images of the shopping goods.
  • the present embodiment can distinguish between the change in weight due to the movement of the cart and the change in weight when the goods are loaded on the cart.
  • a continuous weight change over a period of time may be handled while the cart is in motion, and a sudden weight change outside the pattern may be treated as goods loaded or taken out of the cart.
  • FIG. 2 is a block diagram of a shopping management system using a smart shopping cart according to an embodiment of the present invention.
  • the shopping management system includes a customer terminal 30, a smart shopping cart 10, second image sensors 50, and a central server 20.
  • the customer terminal 30 supports a login of a customer and a list of shopping goods through an installed shopping store application.
  • the shopping store application may include a location measurement and collection function utilizing the customer terminal Mac information or beacon technology obtained the customer's consent.
  • the smart shopping cart 10 collects image data of shopping goods in the cart by using the first image sensors 12 installed in the cart and transmits the image data to the central server 20, and uses the electronic scale 16 of the cart. The weight is measured and transmitted to the central server 20. Then, the smart shopping cart 10 displays a list of shopping products in the cart using the cart terminal 14 installed in the cart.
  • the central server 20 extracts features of shopping goods based on image data collected by the first image sensors 12 of the smart shopping cart 10 to recognize a list of shopping goods in the cart, Check whether or not the shopping goods are detected based on the weight of the cart measured by the electronic scale 16 of 10) and the entry / exit information of the goods in the display rack detected by the second image sensors 50, and the image data of the shopping goods,
  • the shopping list is transmitted to at least one of the cart terminal 14 and the customer terminal 30 as a result of recognizing the shopping products based on the weight change of the cart and the entry / exit information of the product.
  • the central server 20 includes an image recognition module 22, a payment module 24, and a copper wire collecting module 26.
  • the module may be a program unit that divides a program for each function, an algorithm for performing a corresponding function, or a computer-based hardware device for performing a corresponding function.
  • the image recognition module 22 may characterize the shopping goods from the image data collected by the first image sensors 12 using the deep learning artificial intelligence technology that recognizes the situation information about the atypical multi-content image, the image, the text, and the like.
  • the shopping goods are recognized using the extracted shopping goods features.
  • the image recognition module 22 may recognize various shopping goods on a cart by extracting various features of the goods including at least one or more of a shape and size, text, logo, capacity, and packing unit of the goods from the collected image data. have.
  • the image recognition module 22 compares the weight of the cart with a list of the recognized shopping goods to check whether the first image sensors detect the goods, and if it is determined that there is no detected goods, smart image non-detection information. It transfers to the cart terminal 14 of the shopping cart 10.
  • the image recognition module 22 may support a process of analyzing the image sensing data and logging in when the data sensing the image of the customer is received from the smart shopping cart 10.
  • the payment module 24 processes payment of shopping goods when payment information about shopping goods is received from at least one of the smart shopping cart 10 and the customer terminal 30. This means that as soon as the customer utilizes a credit card card reader or a dedicated application mounted on the cart, there is no need to go to the POS checkout counter after the final confirmation of the list of shopping products displayed on the cart terminal 14 or the customer terminal 30 in the final payment stage. Enable payment.
  • the list of shopping products in the cart is automatically displayed so that payment can be made.
  • the copper wire collecting module 26 collects the copper wire data of the customer by identifying a location in the store of the customer from at least one of the cart terminal 14 and the customer terminal 30 of the smart shopping cart 10. In addition, the copper collecting module 26 collects the shopping data of the customers in real time and systematically database the customer shopping experience, purchase patterns, location-based information, etc. through data accumulation.
  • the central server 20 automatically accumulates all the shopping related data collected in the transaction database of the customer when the customer completes shopping and payment.
  • the central server 20 may provide a solution for marketing activities such as segmentation according to the characteristics of the shopping customer, customized product recommendation for CRM, and effective promotion by analyzing big data related to shopping behavior.
  • the central server 20 includes an image recognition module 22, a payment module 24, and a copper wire collecting module 26, the image recognition module 22 and payment
  • the module 24 and the copper wire collecting module 26 may be configured as separate servers that perform each function, and may be configured to recognize shopping items, process payments, and collect copper wire data of customers in connection with the central server 20. Can be.
  • the present embodiment may check the list of shopping goods directly loaded by the customer through the application of the cart terminal 14 or the customer terminal 30. At this time, you need to log in before putting the product in the cart. If you use the dashboard as a cart terminal, you can log in with the barcode recognition of the membership card you have.
  • the pre-installed application for exclusive use of the store is automatically driven and informs the user to log in directly. You can log in through a dedicated application.
  • the present embodiment does not need to go to the POS checkout after checking the list of shopping products displayed on the cart terminal 14 or the customer terminal 30 in the final payment step, and uses a credit card card reader or a dedicated application mounted on the cart. As soon as the payment is possible, the green light indicating that the payment is completed on the cart terminal 14 is completed.
  • the customer may pay by automatically displaying a list of shopping products loaded on the cart.
  • the present embodiment uses the electronic scale 16 installed at the bottom of the cart to check whether the image of the product is recognized without omission. For example, when a product is put in a cart, the weight of the cart is increased, but the image recognition module 22 using the deep learning artificial intelligence technology does not recognize the image of the product even though the product is loaded in the cart. If not displayed in the cart terminal 14 or through the dedicated application of the customer terminal 30 can be sent an alarm message that the 'unrecognized product (purchase list not registered)'. Then, the first image sensor is guided to detect the unrecognized product again so that the cart cart product list is finally confirmed and accurate payment is made.
  • the present embodiment is equipped with a location measurement and collection function utilizing the mobile terminal Mac information or beacon technology obtained by the mobile terminal 14 of the car or the customer's consent, and thus, the shopping path of the customer in the store.
  • it can be detected in real time how the flow of shopping flow or congestion changes and can be used as data for efficient management of store moving.
  • Wi-Fi-linked mobile-only application you will make a purchase payment at the POS checkout.You can check the location of the POS checkout where the payment was made and check the customer's payment information. In addition to the basic information, it can be used to database the existing transaction history data.
  • FIG. 3 is a block diagram of the cart terminal 14 shown in FIG.
  • the cart terminal 14 includes a login unit 41, a communication unit 42, a display unit 46, a payment unit 48, and a controller 44.
  • the login unit 41 recognizes the customer by recognizing the membership card of the customer or by sensing the image of the customer.
  • the login unit 41 may be configured as a barcode reader or a third image sensor for logging in.
  • the communication unit 42 relays communication with the central server 42.
  • the display unit 46 displays a list of shopping products and lights up a green light when the payment is completed.
  • the payment completion indicator may be installed around the cart terminal 14 to display a 'payment completed customer' by blinking green when payment is completed.
  • the payment unit 48 recognizes a credit card for payment of the shopping goods of the customer.
  • the controller 44 controls the communication unit 2 to transmit the login information to the central server 20 when the membership card of the customer is recognized by the login unit 41, and the shopping goods information loaded on the cart from the central server 20 is stored. If received, the display unit 46 is controlled to display a list of shopping items, and when the credit card is recognized by the payment unit 48, the communication unit 42 is controlled to transmit the payment information to the central server 20, and the central server ( When the payment processing completion is received from 20), the display unit 46 is controlled to display the payment completion indicator.
  • the first image sensors 12 collecting image data of shopping goods loaded on or taken out of the cart, and the second image sensors used to detect entry / exit information of the goods on the shelves ( 50) Since the shopping products are recognized using the electronic scale 16 that detects a change in the weight of the cart, the recognition rate of the shopping products may be improved.
  • the error due to the non-sensing of the first image sensors 12 may be reduced.
  • the cart terminal 14 or the customer terminal 30 installed in the cart to collect the real-time traffic (movement path) data of the customer in the store, to improve the layout and display of goods in the area with high traffic density of the store It can be used as a basic data for the company, and can be used as a means for reducing the shopping stress of customers due to store congestion and for efficient copper wire design.

Abstract

Disclosed in the present invention is a smart shopping cart. The smart shopping cart comprises: a cart configured to receive shopping items; first image sensors installed on the cart and configured to collect image data of the shopping items being placed in or taken out of the cart and to transmit the image data to a central server; additional second image sensors configured to capture an image of a display rack; an electric scale installed on the cart and configured to measure the weight of the cart loaded with the shopping items and to transmit the weight to the central server; and a cart terminal installed on the cart and configured to receive product information of the shopping items, transferred from the central server as a result of having recognized the shopping items on the basis of the image data of the shopping items, the weight of the cart, and incoming/outgoing information of items on the display rack, and to display a list of the shopping items.

Description

스마트 쇼핑 카트 및 이를 이용한 쇼핑 관리 시스템Smart Shopping Cart and Shopping Management System Using It
본 발명은 인공지능 기술을 활용한 쇼핑 서비스에 관한 것으로, 더 상세하게는 고객의 쇼핑 카트에 담긴 상품 목록을 실시간으로 인식하는 스마트 쇼핑 카트 및 이를 이용한 쇼핑 관리 시스템에 관한 것이다.The present invention relates to a shopping service using artificial intelligence technology, and more particularly, to a smart shopping cart and a shopping management system using the same that recognizes a list of products in a customer's shopping cart in real time.
최근, 고객 특성에 따른 세분화와 맞춤형 제품 추천, 효과적인 프로모션 등의 마케팅 활동을 위해서 고객들의 쇼핑 데이터를 실시간으로 수집하고 축적하여 고객들의 쇼핑 패턴이나 경험들을 데이터베이스화하고, 쇼핑 행태 관련 빅데이터를 분석하려는 수요가 점차 증가하고 있다.Recently, the company has collected and accumulated shopping data of customers in real time for marketing activities such as segmentation, customized product recommendation, and effective promotion according to the characteristics of customers, to make database of shopping patterns and experiences of customers, and to analyze big data related to shopping behavior. Demand is increasing.
현재 인공지능 기술을 활용한 쇼핑 서비스가 시범적으로 선보여지고 있으며, 자율주행 카트나 할인품목 추천, 상품위치 안내, RFID/NFC를 이용한 결제 등 쇼핑 도우미로서 활용되고 있다. Currently, shopping service using artificial intelligence technology is being demonstrated and used as a shopping assistant such as autonomous carts, discount items recommendation, product location guide, and payment using RFID / NFC.
그런데, 종래 기술은 특정 위치에서 다수의 고객들이 밀집되어 중복으로 겹쳐 있는 경우에는 쇼핑 상품의 영상 인식에 있어서 겹쳐진 고객의 구매 목록을 제대로 인식하지 못하는 문제점을 가지고 있다. However, the related art has a problem in that when a plurality of customers are crowded and overlapped at a specific location, the overlapped customer's purchase list is not properly recognized in image recognition of the shopping product.
본 발명이 해결하고자 하는 기술적 과제는 고객의 쇼핑 카트에 담긴 상품을 인식하여 쇼핑 상품의 구매 목록을 실시간으로 확인할 수 있는 스마트 쇼핑 카트 및 이를 이용한 쇼핑 관리 시스템을 제공하는데 있다.The technical problem to be solved by the present invention is to provide a smart shopping cart and a shopping management system using the same that can recognize a product contained in a customer's shopping cart in real time to check the purchase list of the shopping product.
본 발명의 일 실시예에 따른 스마트 쇼핑 카트는, 쇼핑 상품을 담기 위한 카트; 상기 카트에 실리거나 꺼내지는 쇼핑 상품들의 영상 데이터를 수집하고 중앙 서버에 전송하는 상기 카트에 설치된 제1 영상 센서들; 진열대를 촬영하는 별도의 제2 영상 센서들; 상기 쇼핑 상품들이 실린 상기 카트의 무게를 측정하여 상기 중앙 서버에 전송하는 상기 카트에 설치된 전자 저울; 및 상기 쇼핑 상품들의 상기 영상 데이터와 상기 카트의 무게, 및 상기 진열대 내 상품의 입출입 정보를 기반으로 상기 쇼핑 상품들을 인식한 결과로서 상기 중앙 서버로부터 전송되는 상기 쇼핑 상품들의 상품 정보를 수신하고 쇼핑 상품들의 목록을 표시하는 상기 카트에 설치된 카트 단말기;을 포함한다. 상기 제2 영상 센서들은 상기 진열대 내 상품의 입출입 정보를 감지하는데 이용되고, 상기 제2 영상 센서들과 상기 전자 저울은 상기 제1 영상 센서들이 상기 카트에 실리거나 꺼내지는 상기 쇼핑 상품 인식에 실패할 경우 대비한 보조 기능으로 이용되며, 상기 상품의 입출입 정보와 상기 카드의 무게 변화 및 상기 쇼핑 상품들의 상기 영상 데이터는 상기 쇼핑 상품들을 인식하는데 이용되고, 상기 카트 단말기는 상기 중앙 서버로부터 상품 비 감지 정보가 수신되면 인식되지 않은 상품이 있음을 알리는 알림 메시지를 송출한다.Smart shopping cart according to an embodiment of the present invention, a shopping cart for storing goods; First image sensors installed in the cart to collect image data of shopping goods loaded on or taken out of the cart and transmit the image data to a central server; Separate second image sensors for photographing the display rack; An electronic scale installed in the cart that measures the weight of the cart containing the shopping goods and transmits the weight to the central server; And receiving product information of the shopping goods transmitted from the central server as a result of recognizing the shopping goods based on the image data of the shopping goods, the weight of the cart and the entry / exit information of the goods in the display rack. It includes; cart terminal installed in the cart to display a list of them. The second image sensors are used to detect entry / exit information of goods in the display rack, and the second image sensors and the electronic scale may fail to recognize the shopping product in which the first image sensors are loaded into or taken out of the cart. It is used as an auxiliary function in case, the entry and exit information of the goods, the weight change of the card and the image data of the shopping goods are used to recognize the shopping goods, the cart terminal is the product cost detection information from the central server When is received, a notification message indicating that there is an unrecognized product is sent.
본 발명의 일 실시예에 따른 쇼핑 관리 시스템은, 쇼핑 매장 어플리케이션이 설치되어 고객의 로그인과 쇼핑 상품들 목록 조회를 지원하는 고객 단말기; 카트에 설치된 제1 영상 센서들, 카트 단말기, 및 전자 저울을 포함하고, 상기 제1 영상 센서들을 이용하여 상기 카트 내의 상기 쇼핑 상품들의 상기 영상 데이터를 수집하며, 상기 전자 저울을 이용하여 상기 카트의 무게를 측정하며, 상기 카트 단말기를 이용하여 상기 카트 내의 쇼핑 상품들의 목록을 표시하는 스마트 쇼핑 카트; 진열대를 촬영하는 별도의 제2 영상 센서들; 및 상기 쇼핑 상품들의 영상 데이터를 기반으로 쇼핑 상품들의 특징을 추출하여 상기 카트 내의 쇼핑 상품들의 목록을 인식하고, 상기 쇼핑 상품들의 감지 여부를 상기 카트의 무게, 상품의 입출입 정보를 기반으로 체크하며, 상기 쇼핑 상품들의 상기 영상 데이터, 상기 카트의 무게, 및 상기 상품의 입출입 정보를 기반으로 상기 쇼핑 상품들을 인식한 결과로서 상기 쇼핑 상품들의 상품 정보를 상기 카트 단말기와 상기 고객 단말기에 전송하는 중앙 서버;를 포함한다. 상기 제2 영상 센서들은 상기 진열대 내 상기 상품의 입출입 정보를 감지하는데 이용되고, 상기 제2 영상 센서들과 상기 전자 저울은 상기 제1 영상 센서들이 상기 카트에 실리거나 꺼내지는 상기 쇼핑 상품 인식에 실패할 경우 대비한 보조 기능으로 이용되며, 상기 상품의 입출입 정보와 상기 카드의 무게 변화 및 상기 쇼핑 상품들의 영상 데이터는 상기 쇼핑 상품들을 인식하는데 이용되고, 상기 카트 단말기는 상기 중앙 서버로부터 상품 비 감지 정보가 수신되면 인식되지 않은 상품이 있음을 알리는 알림 메시지를 송출한다.A shopping management system according to an embodiment of the present invention includes a customer terminal installed with a shopping store application to support a customer login and shopping product list inquiry; First image sensors installed on a cart, a cart terminal, and an electronic scale, wherein the first image sensors are used to collect the image data of the shopping goods in the cart, and the electronic scale is used to A smart shopping cart measuring weight and displaying a list of shopping products in the cart using the cart terminal; Separate second image sensors for photographing the display rack; And recognizing a list of shopping goods in the cart by extracting features of shopping goods based on the image data of the shopping goods, checking whether the shopping goods are detected based on the weight of the cart and entry / exit information of the goods, A central server transmitting product information of the shopping goods to the cart terminal and the customer terminal as a result of recognizing the shopping goods based on the image data of the shopping goods, the weight of the cart, and the entry / exit information of the product; It includes. The second image sensors are used to detect entry / exit information of the product in the display rack, and the second image sensors and the electronic scale fail to recognize the shopping product in which the first image sensors are loaded into or taken out of the cart. In addition, it is used as an auxiliary function in preparation, the entry and exit information of the product, the weight change of the card and the image data of the shopping goods are used to recognize the shopping goods, the cart terminal is the product cost detection information from the central server When is received, a notification message indicating that there is an unrecognized product is sent.
본 발명의 실시예에 따르면, 카트에 실리거나 꺼내지는 쇼핑 상품들의 영상 데이터를 수집하는 제1 영상 센서들, 진열대 내 상품의 입출입 정보를 감지하는데 이용되는 제2 영상 센서들, 카트의 무게 변화를 감지하는 전자 저울을 이용하여 쇼핑 상품들을 인식하므로 쇼핑 상품들의 인식율을 향상시킬 수 있다.According to an embodiment of the present invention, the first image sensors for collecting image data of the shopping goods loaded on or taken out of the cart, the second image sensors used to detect the entry and exit information of the goods on the shelf, the weight change of the cart The recognition rate of the shopping products can be improved by using the electronic scale to recognize the shopping products.
또한, 진열대 내 상품의 입출입 정보와 카트의 무게 변화를 이용하여 제1 영상 센서들의 쇼핑 상품 감지 여부를 확인하므로 제1 영상 센서들의 비 감지로 인한 오차를 줄일 수 있다.In addition, since the first image sensors detect whether or not the shopping product is detected by using the information about the entry / exit of the merchandise in the display rack and the weight change of the cart, the error due to the non-sensing of the first image sensors can be reduced.
또한, 카트에 설치된 카트 단말기 또는 고객 단말기를 이용하여 고객의 매장 내 동선(이동경로) 데이터를 실시간으로 수집하여, 매장의 동선 밀집도가 큰 구역의 레이아웃이나 상품 진열 등의 개선을 위한 기초 데이터로 제공할 수 있고, 매장 혼잡으로 인한 고객들의 쇼핑 스트레스를 줄이고 효율적인 동선 설계를 위한 수단으로 활용할 수 있다.In addition, by using the cart terminal or the customer terminal installed in the cart in real time to collect the customer's movement (movement path) data in the store, provided as the basic data for improving the layout and merchandise display of the area with high concentration of the movement of the store It can be used as a means to reduce the shopping stress of customers due to congestion and to design an efficient copper wire.
도 1은 본 발명의 일 실시예에 따른 스마트 쇼핑 카트를 나타낸 도면이다.1 is a view showing a smart shopping cart according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 스마트 쇼핑 카트를 이용한 쇼핑 관리 시스템의 블록도이다.2 is a block diagram of a shopping management system using a smart shopping cart according to an embodiment of the present invention.
도 3은 도 2에 도시된 카트 단말기의 블록도이다.3 is a block diagram of the cart terminal shown in FIG.
이하, 첨부한 도면들을 참고하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예에 대하여 상세히 설명하기로 한다. 각 도면에 제시된 참조부호들 중 동일한 참조부호는 동일한 부재를 나타낸다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The same reference numerals among the reference numerals shown in each drawing represent the same members.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted. Terms such as 'first' and 'second' may be used to describe various components, but the components are not limited by the terms, and the terms are only used to distinguish one component from another component. Used.
도 1은 본 발명의 일 실시예에 따른 스마트 쇼핑 카트(10)를 나타낸 도면이다.1 is a view showing a smart shopping cart 10 according to an embodiment of the present invention.
도 1을 참고하면, 스마트 쇼핑 카트(10)는 고객의 쇼핑 상품을 담기 위한 카트(11), 카트(11)에 설치되는 제1 영상 센서들(12), 카트 단말기(14) 및 전자 저울(16)을 포함한다.Referring to FIG. 1, the smart shopping cart 10 includes a cart 11 for storing a shopping product of a customer, first image sensors 12 installed on the cart 11, a cart terminal 14, and an electronic scale ( 16).
제1 영상 센서들(12)은 카트(11)에 실리거나 꺼내지는 쇼핑 상품들의 영상 데이터를 실시간으로 수집한다. 이러한 제1 영상 센서들(12)은 서로 다른 위치의 다양한 각도에서 쇼핑 상품들을 촬영할 수 있도록 적어도 하나 이상이 카트(11)에 설치될 수 있다. The first image sensors 12 collect image data of shopping goods loaded on or taken out of the cart 11 in real time. At least one of the first image sensors 12 may be installed in the cart 11 to photograph the shopping goods at various angles at different positions.
일례로, 제1 영상 센서들(12)은 적어도 하나 이상이 카트(11)의 테두리에 설치될 수 있다. 또한, 카트(11)에 장착된 제1 영상센서들(12)의 파손이나 이물질 방지를 위해 카트의 테두리에 우레탄 재질의 보호 범퍼가 설치될 수 있으며 제1 영상 센서들(12)은 상기 범퍼의 일부에 장착될 수 있다.For example, at least one first image sensor 12 may be installed at an edge of the cart 11. In addition, a urethane protective bumper may be installed at the edge of the cart to prevent damage or foreign matters of the first image sensors 12 mounted on the cart 11, and the first image sensors 12 may be formed of the bumper. It can be mounted on some.
제1 영상 센서들(12)은 서로 다른 위치의 각도에서 수집한 쇼핑 상품들의 영상 데이터를 중앙 서버(20, 도 2에 도시)에 각각 전송한다. 중앙 서버(20)는 딥 러닝 인공지능 기술을 이용하여 수집된 영상 데이터로부터 상품들의 특징들을 추출함으로써 카트에 담긴 쇼핑 상품들을 인식할 수 있다. 그리고, 중앙 서버(20)는 쇼핑 상품들의 감지 여부를 카트의 무게 및 상품의 입출입 정보를 기반으로 체크한다. 그리고, 중앙 서버(20)는 쇼핑 상품들의 영상 데이터, 카트의 무게 및 상품의 입출입 정보를 기반으로 쇼핑 상품들을 인식한 결과로서 쇼핑 상품들의 상품 정보를 카트 단말기(14)와 고객 단말기(30) 중 적어도 하나에 전송할 수 있다. 본 실시예에서는 딥 러닝 인공지능 기술에 대한 상세한 설명은 생략한다.The first image sensors 12 transmit image data of shopping goods collected at angles of different positions to the central server 20 (shown in FIG. 2), respectively. The central server 20 may recognize shopping goods in a cart by extracting features of goods from image data collected using the deep learning AI technology. The central server 20 checks whether the shopping goods are detected based on the weight of the cart and the entry / exit information of the goods. In addition, the central server 20 recognizes the shopping goods based on the image data of the shopping goods, the weight of the cart and the entry / exit information of the goods, and displays the product information of the shopping goods among the cart terminal 14 and the customer terminal 30. Can transmit to at least one. In this embodiment, a detailed description of the deep learning artificial intelligence technology is omitted.
카트 단말기(14)는 중앙 서버(20)와 통신을 수행하고, 중앙 서버(20)가 인식한 쇼핑 상품들의 목록을 표시부에 표시한다. 일례로, 카트 단말기(14)는 카트(11)의 손잡이에 설치될 수 있으나, 이에 한정되는 것은 아니다. 이러한 카트 단말기(14)는 고객이 로그인할 수 있도록 맴버쉽 카드나 고객을 이미지 센싱함으로써 인식할 수 있다. 또한, 카트 단말기(14)는 고객이 쇼핑 상품들을 결제할 수 있도록 신용카드를 인식할 수 있으며, 결제 완료 시 결제 완료 표시등을 점등할 수 있다. 카트 단말기(14)의 세부 구성은 도 3에서 설명하기로 한다.The cart terminal 14 communicates with the central server 20 and displays a list of shopping goods recognized by the central server 20 on the display unit. In one example, the cart terminal 14 may be installed on the handle of the cart 11, but is not limited thereto. The cart terminal 14 may recognize the membership card or the customer by sensing an image so that the customer can log in. In addition, the cart terminal 14 may recognize the credit card so that the customer can pay for the shopping goods, and when the payment is completed, the payment completion indicator may be turned on. The detailed configuration of the cart terminal 14 will be described with reference to FIG. 3.
전자 저울(16)은 카트(11)에 설치되어 무게 변화를 측정한다. 일례로, 전자 저울(16)은 카트(11)의 하단에 설치될 수 있으나, 이에 한정되는 것은 아니다. 그리고, 전자 저울(16)은 카트(11)에 상품이 담아지거나 꺼내짐에 의해 카트의 무게가 증거하거나 감소하는 등의 변화가 감지되면 측정된 카트(11)의 무게를 중앙 서버(20)에 전송하는 것으로 구성할 수 있다. The electronic balance 16 is installed in the cart 11 and measures the weight change. For example, the electronic scale 16 may be installed at the bottom of the cart 11, but is not limited thereto. The electronic scale 16 measures the weight of the measured cart 11 to the central server 20 when a change such as the weight of the cart is evidenced or reduced by being contained or taken out of the cart 11 is detected. It can be configured to transmit.
일례로, 전자 저울은 카트의 무게를 골고루 감지하기 위하여 복수개의 중량 센서들로 구성할 수 있다.In one example, the electronic balance may be configured with a plurality of weight sensors to evenly detect the weight of the cart.
전자 저울(16)은 카트(11)의 무게를 중앙 서버(20)에 전송하고, 중앙 서버(20)는 제1 영상 센서들(12)에 의해 수집된 영상 데이터를 기반으로 쇼핑 상품들을 인식하고, 쇼핑 상품들의 목록과 카트(11)의 무게를 비교하여 쇼핑 상품들을 정확히 인식하였는지 여부를 확인할 수 있다. The electronic scale 16 transmits the weight of the cart 11 to the central server 20, and the central server 20 recognizes shopping goods based on the image data collected by the first image sensors 12. By comparing the weight of the shopping cart with the list of shopping goods, it is possible to check whether the shopping goods are correctly recognized.
즉, 전자 저울(16)은 카트에 담긴 상품들의 무게 변화를 측정하여 제1 영상 센서들(12)의 상품 비 인지로 인한 오차를 줄이기 위한 수단으로 활용될 수 있다. 또한, 제2 영상 센서들(50, 도 2에 도시)은 진열대 내 상품들을 촬영하여 진열대 내 상품의 입출입 정보를 감지하는데 이용될 수 있고, 제2 영상 센서들(50)과 전자 저울(16)은 제1 영상 센서들(12)이 카트에 실리거나 꺼내지는 쇼핑 상품 인식에 실패할 경우 대비한 보조 기능으로 이용될 수 있다.That is, the electronic scale 16 may be used as a means for reducing the error due to the product ratio recognition of the first image sensors 12 by measuring the weight change of the goods in the cart. In addition, the second image sensors 50 (shown in FIG. 2) may be used to photograph goods on the shelves to detect entry and exit information of the goods on the shelves, and the second image sensors 50 and the electronic scale 16. The first image sensors 12 may be used as an auxiliary function in case of failing to recognize a shopping product loaded on or taken out of the cart.
스마트 쇼핑 카트(10)에 설치되는 제1 영상 센서들(12), 카트 단말기(14) 및 전자 저울(16)은 식별을 위한 고유 번호가 각각 설정될 수 있다. 일례로, 스마트 쇼핑 카트(10)의 제1 영상 센서들(12), 카트 단말기(14) 및 전자 저울(16)은 초기화 시 중앙 서버(20)로부터 식별을 위한 고유 번호가 부여될 수 있다.Each of the first image sensors 12, the cart terminal 14, and the electronic scale 16 installed in the smart shopping cart 10 may have a unique number for identification. For example, the first image sensors 12, the cart terminal 14, and the electronic scale 16 of the smart shopping cart 10 may be assigned a unique number for identification from the central server 20 at initialization.
이와 같이 스마트 쇼핑 카트(10)는 카트에 장착된 제1 영상 센서들(12)을 통해서 고객들이 카트에 담은 쇼핑 상품의 영상 데이터를 실시간으로 수집하고, 중앙 서버(20)는 딥러닝 인공지능 기술을 이용하여 수집된 쇼핑 상품들의 영상 데이터에서 상품들의 특징들을 추출하여 상품들을 인식한다. As such, the smart shopping cart 10 collects the image data of the shopping goods that the customers put in the cart in real time through the first image sensors 12 mounted on the cart, and the central server 20 uses the deep learning artificial intelligence technology. Recognize the goods by extracting the features of the goods from the image data of the shopping goods collected by using.
여기서, 인공지능 기술의 상품 인식 성능을 높이기 위해서는 보다 다양한 위치와 각도에서 감지한 영상 데이터가 필요하다. 본 실시예는 카트 테두리의 다양한 위치와 각도에 설치된 제1 영상 센서들(12)을 통해서 카트에 담긴 쇼핑 상품의 다양한 영상 데이터를 수집할 수 있다. Here, in order to increase the product recognition performance of the artificial intelligence technology, image data detected at more various positions and angles is required. According to the present embodiment, various image data of shopping goods in a cart may be collected through the first image sensors 12 installed at various positions and angles of the cart rim.
한편, 도 1에는 도시하지 않았으나, 상품이 카트(11)에 담아지거나 꺼내지는 영상 데이터를 정확히 수집할 수 있도록 제1 영상 센서들(12) 중 하나를 360도로 회전하는 영상 카메라로 장착하여 구성할 수 있다. Meanwhile, although not shown in FIG. 1, one of the first image sensors 12 may be mounted as an image camera rotated 360 degrees so as to accurately collect image data contained in or taken out of the cart 11. Can be.
그리고, 카트(11)에 설치된 제1 영상 센서들(12)이 특정 상품 인식에 실패할 경우를 대비한 보조 기능으로 진열대를 촬영하는 별도의 제2 영상 센서들(50)를 활용한 진열대 내 상품의 입출입 정보와 카트(11)에 설치된 전저 저울(16)을 통한 무게 변환 감지 기능을 활용할 수 있다.In addition, goods in the shelf using separate second image sensors 50 photographing the display stand as an auxiliary function in case the first image sensors 12 installed in the cart 11 fail to recognize a specific product. It is possible to take advantage of the weight conversion detection function through the entry and exit information and the electric scale 16 installed in the cart (11).
제2 영상 센서들(50)은 진열대 내 상품의 입출입 정보를 감지하는데 이용될 수 있다. 제2 영상 센서들은 진열대 내 상품의 입출입 정보를 중앙 서버(20)에 제공할 수 있다. 일례로, 제2 영상 센서들(50)은 진열대 상부에 설치될 수 있다. 다른 일례로, 제2 영상 센서들(50)은 카트에 설치될 수 있다. 또 다른 일례로, 제2 영상 센서들(50)은 진열대 내에서 자율 주행하여 상품의 입출입 정보를 감지할 수 있다. 이러한 제2 영상 센서들(50)과 전자 저울(16)은 카트에 실리거나 꺼내지는 쇼핑 상품 인식에 실패할 경우 대비한 보조 기능으로 이용될 수 있다.The second image sensors 50 may be used to detect entry and exit information of goods in the display rack. The second image sensors may provide the central server 20 with input and output information of goods in the display rack. For example, the second image sensors 50 may be installed above the display rack. As another example, the second image sensors 50 may be installed in a cart. As another example, the second image sensors 50 may autonomously drive in the display rack to detect entry / exit information of goods. The second image sensors 50 and the electronic scale 16 may be used as an auxiliary function in case of failing to recognize a shopping product loaded on or taken out of a cart.
한편, 본 발명은 소비전력의 문제를 해결하기 위해 다른 실시예로서, 전자 저울(16)이 카트의 무게 변화를 감지할 때 제1 영상 센서들(12)이 카트 내의 쇼핑 상품들의 정보를 수집하여 중앙 서버(20)에 전송하는 것으로 구성할 수 있다.On the other hand, the present invention to solve the problem of power consumption, as another embodiment, when the electronic scale 16 detects a change in the weight of the cart, the first image sensors 12 collects information of the shopping goods in the cart It can be configured to transmit to the central server 20.
일례로, 쇼핑 상품들이 카트에 실어졌는지를 다수의 중량 센서들을 포함하는 전저 저울(16)로 감지하고, 카트의 무게 변화 이벤트 발생 시 카트에 설치된 제1 영상 센서들(12)이 쇼핑 상품들의 이미지를 처리하는 것으로 구성할 수 있다. 이와 같이 카트의 무게에 대한 이벤트 발생 시 상품들의 이미지를 처리하므로 소비 전력 문제를 해결할 수 있다.In one example, the shopping cart is loaded on the cart by the low scale scale 16 including the plurality of weight sensors, and when the weight change event of the cart occurs, the first image sensors 12 installed on the cart are images of the shopping goods. Can be configured to process As such, when the event of the weight of the cart occurs, the image of the goods is processed, thereby solving the power consumption problem.
또한, 본 실시예는 카트의 이동으로 인한 무게 변화와 상품이 카트에 실어졌을 때의 무게 변화를 구분할 수 있다. 일례로, 일정 시간 동안의 연속적 무게 변화는 카트의 이동 중으로 처리하고, 패턴을 벗어나는 갑작스런 무게 변화는 카트에 상품이 실어지거나 꺼내진 것으로 처리할 수 있다.In addition, the present embodiment can distinguish between the change in weight due to the movement of the cart and the change in weight when the goods are loaded on the cart. In one example, a continuous weight change over a period of time may be handled while the cart is in motion, and a sudden weight change outside the pattern may be treated as goods loaded or taken out of the cart.
도 2는 본 발명의 일 실시예에 따른 스마트 쇼핑 카트를 이용한 쇼핑 관리 시스템의 블록도이다.2 is a block diagram of a shopping management system using a smart shopping cart according to an embodiment of the present invention.
도 2를 참고하면, 쇼핑 관리 시스템은 고객 단말기(30), 스마트 쇼핑 카트(10), 제2 영상 센서들(50) 및 중앙 서버(20)를 포함한다.Referring to FIG. 2, the shopping management system includes a customer terminal 30, a smart shopping cart 10, second image sensors 50, and a central server 20.
고객 단말기(30)는 설치된 쇼핑 매장 어플리케이션을 통해서 고객의 로그인과 쇼핑 상품들 목록 조회를 지원한다. 여기서, 쇼핑 매장 어플리케이션은 고객의 동의를 획득한 고객 단말기 맥(Mac) 정보나 비콘(Beacon) 기술을 활용한 위치 측정 및 수집 기능을 포함할 수 있다.The customer terminal 30 supports a login of a customer and a list of shopping goods through an installed shopping store application. Here, the shopping store application may include a location measurement and collection function utilizing the customer terminal Mac information or beacon technology obtained the customer's consent.
스마트 쇼핑 카트(10)는 카트에 설치된 제1 영상 센서들(12)을 이용하여 카트 내의 쇼핑 상품들의 영상 데이터를 수집하여 중앙 서버(20)에 전송하고, 전자 저울(16)을 이용하여 카트의 무게를 측정하여 중앙 서버(20)에 전송한다. 그리고, 스마트 쇼핑 카트(10)는 카트에 설치된 카트 단말기(14)를 이용하여 카트 내의 쇼핑 상품들의 목록을 표시한다.The smart shopping cart 10 collects image data of shopping goods in the cart by using the first image sensors 12 installed in the cart and transmits the image data to the central server 20, and uses the electronic scale 16 of the cart. The weight is measured and transmitted to the central server 20. Then, the smart shopping cart 10 displays a list of shopping products in the cart using the cart terminal 14 installed in the cart.
중앙 서버(20)는 스마트 쇼핑 카트(10)의 제1 영상 센서들(12)에서 수집한 영상 데이터를 기반으로 쇼핑 상품들의 특징을 추출하여 카트 내의 쇼핑 상품들의 목록을 인식하고, 스마트 쇼핑 카트(10)의 전자 저울(16)에서 측정한 카트의 무게와 제2 영상 센서들(50)에서 감지한 진열대 내 상품의 입출입 정보를 기반으로 쇼핑 상품들의 감지 여부를 체크하며, 쇼핑 상품들의 영상 데이터, 카트의 무게 변화, 및 상품의 입출입 정보를 기반으로 쇼핑 상품들을 인식한 결과로서 쇼핑 상품들의 목록을 카트 단말기(14)와 고객 단말기(30) 중 적어도 하나에 전송한다.The central server 20 extracts features of shopping goods based on image data collected by the first image sensors 12 of the smart shopping cart 10 to recognize a list of shopping goods in the cart, Check whether or not the shopping goods are detected based on the weight of the cart measured by the electronic scale 16 of 10) and the entry / exit information of the goods in the display rack detected by the second image sensors 50, and the image data of the shopping goods, The shopping list is transmitted to at least one of the cart terminal 14 and the customer terminal 30 as a result of recognizing the shopping products based on the weight change of the cart and the entry / exit information of the product.
중앙 서버(20)는 이미지 인식 모듈(22), 결제 모듈(24), 및 동선 수집 모듈(26)을 포함한다. 여기서, 모듈은 프로그램을 기능별로 구분한 프로그램 단위 또는 해당 기능을 수행하는 알고리즘이거나 해당 기능을 수행하는 컴퓨터 기반의 하드웨어 장치 일 수 있다.The central server 20 includes an image recognition module 22, a payment module 24, and a copper wire collecting module 26. Here, the module may be a program unit that divides a program for each function, an algorithm for performing a corresponding function, or a computer-based hardware device for performing a corresponding function.
이미지 인식 모듈(22)은 비정형 멀티 콘텐츠 영상, 이미지, 텍스트 등에 대한상황 정보를 인식하는 딥 러닝 인공지능 기술을 이용하여 제1 영상 센서들(12)에 의해 수집된 영상 데이터로부터 쇼핑 상품들의 특징을 추출하고, 추출된 쇼핑 상품들의 특징을 이용하여 쇼핑 상품들을 인식한다. The image recognition module 22 may characterize the shopping goods from the image data collected by the first image sensors 12 using the deep learning artificial intelligence technology that recognizes the situation information about the atypical multi-content image, the image, the text, and the like. The shopping goods are recognized using the extracted shopping goods features.
이러한 이미지 인식 모듈(22)은 수집된 영상 데이터에서 상품의 형상과 크기, 텍스트, 로고, 용량, 포장 단위 중 적어도 하나 이상을 포함하는 상품의 다양한 특징들을 추출하여 카트에 실린 쇼핑 상품들을 인식할 수 있다.The image recognition module 22 may recognize various shopping goods on a cart by extracting various features of the goods including at least one or more of a shape and size, text, logo, capacity, and packing unit of the goods from the collected image data. have.
그리고, 이미지 인식 모듈(22)은 카트의 무게와 인식된 쇼핑 상품들의 목록을 비교하여 제1 영상 센서들의 상품 감지 여부를 확인하고, 감지되지 않은 상품이 있는 경우로 확인되면 상품 비 감지 정보를 스마트 쇼핑 카트(10)의 카트 단말기(14)에 전송한다.The image recognition module 22 compares the weight of the cart with a list of the recognized shopping goods to check whether the first image sensors detect the goods, and if it is determined that there is no detected goods, smart image non-detection information. It transfers to the cart terminal 14 of the shopping cart 10.
그리고, 이미지 인식 모듈(22)은 스마트 쇼핑 카트(10)로부터 고객을 이미지 센싱한 데이터가 수신되면, 이미지 센싱 데이터를 분석하여 로그인 처리하는 과정을 지원할 수 있다.The image recognition module 22 may support a process of analyzing the image sensing data and logging in when the data sensing the image of the customer is received from the smart shopping cart 10.
결제 모듈(24)은 스마트 쇼핑 카트(10)와 고객 단말기(30) 중 적어도 하나로부터 쇼핑 상품들에 대한 결제 정보가 수신되면 쇼핑 상품들의 결제를 처리한다. 이는 고객이 최종 결제 단계에서 카트 단말기(14) 또는 고객 단말기(30)에 표시된 쇼핑 상품들의 목록을 최종 확인 후 POS 계산대까지 갈 필요가 없이 카트에 장착된 신용카드 카드 인식기 또는 전용 어플리케이션을 활용한 즉시 결제를 가능하게 한다. The payment module 24 processes payment of shopping goods when payment information about shopping goods is received from at least one of the smart shopping cart 10 and the customer terminal 30. This means that as soon as the customer utilizes a credit card card reader or a dedicated application mounted on the cart, there is no need to go to the POS checkout counter after the final confirmation of the list of shopping products displayed on the cart terminal 14 or the customer terminal 30 in the final payment stage. Enable payment.
또 따른 결제 방법으로 고객이 카트 단말기(14) 또는 고객 단말기(30)에 표시된 구매상품 일련번호를 매장 POS 계산대에 제시하면 카트에 실린 쇼핑 상품들의 목록을 자동으로 표시하여 결제 할 수 있도록 한다. In addition, as a payment method, when the customer presents the purchase product serial number displayed on the cart terminal 14 or the customer terminal 30 to the store POS checkout, the list of shopping products in the cart is automatically displayed so that payment can be made.
동선 수집 모듈(26)은 스마트 쇼핑 카트(10)의 카트 단말기(14)와 고객 단말기(30) 중 적어도 하나로부터 고객의 매장 내 위치를 파악하여 고객의 동선 데이터를 수집한다. 그리고, 동선 수집 모듈(26)은 고객들의 쇼핑 데이터를 실시간으로 수집하고 데이터 축적을 통하여 고객 쇼핑 경험이나 구매 패턴, 위치기반 정보 등을 체계적으로 데이터베이스화한다. The copper wire collecting module 26 collects the copper wire data of the customer by identifying a location in the store of the customer from at least one of the cart terminal 14 and the customer terminal 30 of the smart shopping cart 10. In addition, the copper collecting module 26 collects the shopping data of the customers in real time and systematically database the customer shopping experience, purchase patterns, location-based information, etc. through data accumulation.
그리고, 중앙 서버(20)는 고객이 쇼핑과 결제를 완료하면 수집된 쇼핑 관련 모든 데이터를 고객의 거래 내역(Transaction) 데이터베이스에 자동으로 축적한다. 이러한 중앙 서버(20)는 쇼핑 행태 관련 빅데이터 분석으로 쇼핑 고객의 특성에 따른 세분화와 CRM을 위한 맞춤형 제품 추천, 효과적인 프로모션 등의 마케팅 활동을 위한 솔루션을 제공할 수 있다.The central server 20 automatically accumulates all the shopping related data collected in the transaction database of the customer when the customer completes shopping and payment. The central server 20 may provide a solution for marketing activities such as segmentation according to the characteristics of the shopping customer, customized product recommendation for CRM, and effective promotion by analyzing big data related to shopping behavior.
한편, 도 2의 실시예는 중앙 서버(20)가 이미지 인식 모듈(22), 결제 모듈(24), 및 동선 수집 모듈(26)을 포함하는 것으로 구성하고 있으나, 이미지 인식 모듈(22), 결제 모듈(24), 및 동선 수집 모듈(26)을 각 기능을 수행하는 별도의 서버로 구성하고 중앙 서버(20)와 연계하여 쇼핑 상품들을 인식하고 결제 처리하며 고객의 동선 데이터를 수집하는 것으로 구성할 수 있다. Meanwhile, although the embodiment of FIG. 2 is configured such that the central server 20 includes an image recognition module 22, a payment module 24, and a copper wire collecting module 26, the image recognition module 22 and payment The module 24 and the copper wire collecting module 26 may be configured as separate servers that perform each function, and may be configured to recognize shopping items, process payments, and collect copper wire data of customers in connection with the central server 20. Can be.
그리고, 본 실시예는 고객이 직접 카트에 실린 쇼핑 상품들의 목록을 카트 단말기(14) 또는 고객 단말기(30)의 어플리케이션을 통해 확인할 수 있다. 이때 카트에 상품을 담기 전에 로그인을 해야 하며, 로그인 방법으로 카트 단말기인 대시보드를 사용할 경우 고객이 소지하고 있는 멤버쉽 카드의 바코드 인식으로 로그인할 수 있다. In addition, the present embodiment may check the list of shopping goods directly loaded by the customer through the application of the cart terminal 14 or the customer terminal 30. At this time, you need to log in before putting the product in the cart. If you use the dashboard as a cart terminal, you can log in with the barcode recognition of the membership card you have.
또 다른 방법으로 멤버쉽 카드가 없거나 스마트폰과 같은 고객 단말기(30)를 이용하고자 하는 고객의 경우는 해당 매장에 진입하게 되면 미리 설치된 매장 전용 어플리케이션이 자동으로 구동되어 로그인할 것인지를 알려주고, 고객이 직접 전용 어플리케이션을 통해 로그인할 수 있다. Alternatively, if the customer does not have a membership card or wants to use the customer terminal 30, such as a smartphone, when entering the store, the pre-installed application for exclusive use of the store is automatically driven and informs the user to log in directly. You can log in through a dedicated application.
그리고, 본 실시예는 최종 결제 단계에서 카트 단말기(14) 또는 고객 단말기(30)에 표시된 쇼핑 상품들의 목록을 최종 확인 후 POS 계산대까지 갈 필요가 없이 카트에 장착된 신용카드 카드 인식기 혹은 전용 어플리케이션을 활용한 즉시 결제가 가능함과 동시에 결제 완료 후 카트 단말기(14)에 결제가 완료되었다는 녹색 표시를 점등한다. In addition, the present embodiment does not need to go to the POS checkout after checking the list of shopping products displayed on the cart terminal 14 or the customer terminal 30 in the final payment step, and uses a credit card card reader or a dedicated application mounted on the cart. As soon as the payment is possible, the green light indicating that the payment is completed on the cart terminal 14 is completed.
또 다른 방법으로 대 카트 단말기(14) 또는 고객 단말기(30)에 표시된 구매상품 일련번호를 매장 POS 계산대에 제시하면 카트에 실린 쇼핑 상품들의 목록을 자동으로 표시하여 고객이 결제 할 수 있다. As another method, when the purchase product serial number displayed on the counter cart terminal 14 or the customer terminal 30 is presented to the store POS checkout counter, the customer may pay by automatically displaying a list of shopping products loaded on the cart.
그리고, 본 실시예는 상품의 영상을 빠짐없이 인지했는지를 확인하기 위해 카트 하단에 설치되는 전자 저울(16)을 이용한다. 예를 들어 카트에 상품을 담았을 때 카트 무게가 증가하게 되는데, 카트에 상품을 담았는데도 불구하고 딥러닝 인공지능 기술을 이용하는 이미지 인식 모듈(22)이 상품의 영상을 인식하지 못하여 카트 장바구니 상품 목록에 표시되지 않는 경우에는 카트 단말기(14) 또는 고객 단말기(30)의 전용 어플리케이션을 통하여 '인식되지 않은 상품(구매 목록 미등록)있다'고 알람 메시지를 송출해 줄 수 있다. 그리고, 인식되지 않은 상품을 제1 영상 센서들이 다시 감지할 수 있도록 안내하여 카트 장바구니 상품 목록을 최종 확정하고 정확한 결제가 이루어지도록 한다. In addition, the present embodiment uses the electronic scale 16 installed at the bottom of the cart to check whether the image of the product is recognized without omission. For example, when a product is put in a cart, the weight of the cart is increased, but the image recognition module 22 using the deep learning artificial intelligence technology does not recognize the image of the product even though the product is loaded in the cart. If not displayed in the cart terminal 14 or through the dedicated application of the customer terminal 30 can be sent an alarm message that the 'unrecognized product (purchase list not registered)'. Then, the first image sensor is guided to detect the unrecognized product again so that the cart cart product list is finally confirmed and accurate payment is made.
그리고, 본 실시예는 카의 단말기(14) 또는 고객의 동의를 획득한 핸드폰 맥(Mac) 정보나 비콘(Beacon) 기술을 활용한 위치 측정 및 수집 기능을 장착하여, 매장 내 고객의 쇼핑 이동경로를 위치 데이터 형태로 실시간으로 수집하고, 이를 통해 매장 내 동선의 흐름 경로와 매장 혼잡도를 파악할 수 있다. 매대/진열대에 변화를 주었거나 레이아웃을 재구성한 경우에 쇼핑 동선 흐름이나 혼잡도가 어떻게 변하는지를 실시간으로 탐지하여 매장 동선의 효율적 관리를 위한 데이터로 활용할 수 있다. In addition, the present embodiment is equipped with a location measurement and collection function utilizing the mobile terminal Mac information or beacon technology obtained by the mobile terminal 14 of the car or the customer's consent, and thus, the shopping path of the customer in the store. Can be collected in the form of location data in real time, and can be used to understand the flow path and congestion of the moving lines in the store. In the case of changing the shelves / shelves or reorganizing the layout, it can be detected in real time how the flow of shopping flow or congestion changes and can be used as data for efficient management of store moving.
또한, 매장 혼잡에 따른 고객의 쇼핑 스트레스를 최소화하고 매장 레이아웃을 효율적으로 관리하는데 유용한 데이터를 확보할 수 있다. 또한, 와이파이 연동 모바일 전용 어플리케이션을 사용하지 않는 경우에는 POS 계산대에서 구매 결제를 하게 되는데, 결제가 이루어진 POS 계산대 위치를 파악하여 고객의 결제 정보를 확인할 수 있으며 멤버쉽 회원인 경우 회원 ID를 기반으로 고객의 기본 정보와 더불어 기존 거래 내역 데이터와 연동하여 데이터베이스화 하는데 활용될 수 있다. In addition, it is possible to obtain data useful for minimizing the shopping stress of the customer due to congestion and efficiently managing the store layout. In addition, if you do not use the Wi-Fi-linked mobile-only application, you will make a purchase payment at the POS checkout.You can check the location of the POS checkout where the payment was made and check the customer's payment information. In addition to the basic information, it can be used to database the existing transaction history data.
도 3은 도 2에 도시된 카트 단말기(14)의 블록도이다.3 is a block diagram of the cart terminal 14 shown in FIG.
도 3을 참고하면, 카트 단말기(14)는 로그인부(41), 통신부(42), 표시부(46), 결제부(48) 및 제어부(44)를 포함한다.Referring to FIG. 3, the cart terminal 14 includes a login unit 41, a communication unit 42, a display unit 46, a payment unit 48, and a controller 44.
로그인부(41)는 고객의 맴버쉽 카드를 인식하여 고객을 인식하거나 고객을 이미지 센싱함으로써 고객을 인식한다. 일례로, 로그인 부(41)는 바코드 인식기, 또는 로그인 용 제3 영상 센서로 구성할 수 있다. The login unit 41 recognizes the customer by recognizing the membership card of the customer or by sensing the image of the customer. For example, the login unit 41 may be configured as a barcode reader or a third image sensor for logging in.
통신부(42)는 중앙 서버(42)와 통신을 중계한다. The communication unit 42 relays communication with the central server 42.
표시부(46)는 쇼핑 상품들의 목록을 표시하고 결제 완료 시 결제 완료 표시등을 녹색으로 점등한다. 일례로, 결제 완료 표시등은 카트 단말기(14)의 둘레에 설치되어 결제 완료 시 녹색 등 점멸로 '결제완료고객'을 표시할 수 있다.The display unit 46 displays a list of shopping products and lights up a green light when the payment is completed. For example, the payment completion indicator may be installed around the cart terminal 14 to display a 'payment completed customer' by blinking green when payment is completed.
결제부(48)는 고객의 쇼핑 상품들의 결제를 위해 신용카드를 인식한다.The payment unit 48 recognizes a credit card for payment of the shopping goods of the customer.
제어부(44)는 로그인부(41)로부터 고객의 맴버쉽 카드가 인식되면 로그인 정보를 중앙 서버(20)에 송신하도록 통신부(2)를 제어하고, 중앙 서버(20)로부터 카트에 실린 쇼핑 상품 정보가 수신되면 쇼핑 상품들의 목록들을 표시하도록 표시부(46)를 제어하며, 결제부(48)로부터 신용카드가 인식되면 결제 정보를 중앙 서버(20)에 송신하도록 통신부(42)를 제어하고, 중앙 서버(20)로부터 결제처리 완료가 수신되면 결제 완료 표시등을 표시하도록 표시부(46)를 제어한다.The controller 44 controls the communication unit 2 to transmit the login information to the central server 20 when the membership card of the customer is recognized by the login unit 41, and the shopping goods information loaded on the cart from the central server 20 is stored. If received, the display unit 46 is controlled to display a list of shopping items, and when the credit card is recognized by the payment unit 48, the communication unit 42 is controlled to transmit the payment information to the central server 20, and the central server ( When the payment processing completion is received from 20), the display unit 46 is controlled to display the payment completion indicator.
이와 같이 본 발명의 실시예에 따르면, 카트에 실리거나 꺼내지는 쇼핑 상품들의 영상 데이터를 수집하는 제1 영상 센서들(12), 진열대 내 상품의 입출입 정보를 감지하는데 이용되는 제2 영상 센서들(50), 카트의 무게 변화를 감지하는 전자 저울(16)를 이용하여 쇼핑 상품들을 인식하므로 쇼핑 상품들의 인식율을 향상시킬 수 있다.As described above, according to an exemplary embodiment of the present invention, the first image sensors 12 collecting image data of shopping goods loaded on or taken out of the cart, and the second image sensors used to detect entry / exit information of the goods on the shelves ( 50) Since the shopping products are recognized using the electronic scale 16 that detects a change in the weight of the cart, the recognition rate of the shopping products may be improved.
또한, 진열대 내 상품의 입출입 정보와 카트의 무게 변화를 이용하여 제1 영상 센서들(12)의 쇼핑 상품 감지 여부를 확인하므로 제1 영상 센서들(12)의 비 감지로 인한 오차를 줄일 수 있다.In addition, by checking whether the first image sensors 12 detect the shopping goods by using the information about the entry / exit of the merchandise in the display rack and the weight change of the cart, the error due to the non-sensing of the first image sensors 12 may be reduced. .
또한, 카트에 설치된 카트 단말기(14) 또는 고객 단말기(30)를 이용하여 고객의 매장 내 동선(이동경로) 데이터를 실시간으로 수집하여, 매장의 동선 밀집도가 큰 구역의 레이아웃이나 상품 진열 등의 개선을 위한 기초 데이터로 제공할 수 있고, 매장 혼잡으로 인한 고객들의 쇼핑 스트레스를 줄이고 효율적인 동선 설계를 위한 수단으로 활용할 수 있다.In addition, by using the cart terminal 14 or the customer terminal 30 installed in the cart to collect the real-time traffic (movement path) data of the customer in the store, to improve the layout and display of goods in the area with high traffic density of the store It can be used as a basic data for the company, and can be used as a means for reducing the shopping stress of customers due to store congestion and for efficient copper wire design.
본 발명은 도면들에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이들로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

Claims (7)

  1. 쇼핑 상품을 담기 위한 카트;A cart for storing shopping goods;
    상기 카트에 실리거나 꺼내지는 쇼핑 상품들의 영상 데이터를 수집하고 중앙 서버에 전송하는 상기 카트에 설치된 복수 개의 제1 영상 센서들;A plurality of first image sensors installed in the cart to collect image data of shopping goods loaded on or taken out of the cart and transmit the image data to a central server;
    진열대를 촬영하는 별도의 제2 영상 센서들;Separate second image sensors for photographing the display rack;
    상기 쇼핑 상품들이 실린 상기 카트의 무게를 측정하여 상기 중앙 서버에 전송하는 상기 카트에 설치된 전자 저울; 및 고객을 이미지 센싱함으로써 고객을 인식하는 로그인 용 제3 영상 센서를 포함하고, 고객을 이미지 센싱한 데이터를 상기 중앙 서버에 전송하며, 상기 중앙 서버로부터 상기 이미지 센싱한 데이터의 분석에 기초한 로그인 처리 결과를 수신하고, 상기 쇼핑 상품들의 상기 영상 데이터, 상기 카트의 무게, 및 상기 진열대 내 상품의 입출입 정보를 기반으로 상기 쇼핑 상품들을 인식한 결과로서 상기 중앙 서버로부터 전송되는 상기 쇼핑 상품들의 상품 정보를 수신하고 쇼핑 상품들의 목록을 표시하는 상기 카트에 설치된 카트 단말기;을 포함하고,An electronic scale installed in the cart that measures the weight of the cart containing the shopping goods and transmits the weight to the central server; And a third image sensor for logging in to recognize the customer by sensing an image of the customer, and transmitting the image sensing data of the customer to the central server, and logging in based on an analysis of the image sensed data from the central server. And receiving product information of the shopping goods transmitted from the central server as a result of recognizing the shopping goods based on the image data of the shopping goods, the weight of the cart, and the entry / exit information of the goods in the display rack. And a cart terminal installed in the cart for displaying a list of shopping goods.
    상기 제2 영상 센서들은 상기 진열대 내 상기 상품의 입출입 정보를 감지하는데 이용되고,The second image sensors are used to detect entry and exit information of the product in the display rack,
    상기 제2 영상 센서들과 상기 전자 저울은 상기 제1 영상 센서들이 상기 카트에 실리거나 꺼내지는 상기 쇼핑 상품 인식에 실패할 경우 대비한 보조 기능으로 이용되며, The second image sensors and the electronic scale are used as an auxiliary function in case the first image sensors fail to recognize the shopping goods loaded on or taken out of the cart.
    상기 상품의 입출입 정보와 상기 카드의 무게 변화 및 상기 쇼핑 상품들의 상기 영상 데이터는 상기 중앙 서버가 상기 쇼핑 상품들을 인식하는데 이용되고,The entry / exit information of the goods, the weight change of the card and the image data of the shopping goods are used by the central server to recognize the shopping goods,
    상기 카트 단말기는 상기 중앙 서버로부터 상품 비 감지 정보가 수신되면 인식되지 않은 상품이 있음을 알리는 알림 메시지를 송출하며,The cart terminal transmits a notification message indicating that there is an unrecognized product when the product ratio detection information is received from the central server.
    상기 제1 영상 센서들, 상기 전자 저울 및 상기 카트 단말기 각각은 초기화 시 상기 중앙 서버로부터 식별을 위한 고유 번호가 부여되고, 상기 고유 번호를 이용하여 상기 중앙 서버와 직접 통신을 수행하고,Each of the first image sensors, the electronic scale, and the cart terminal is assigned a unique number for identification from the central server at initialization, and directly communicates with the central server using the unique number.
    상기 제1 영상 센서들은 서로 다른 위치와 각도에서 상기 카트에 실리거나 꺼내지는 상기 쇼핑 상품들을 촬영하며, 상기 제1 영상 센서들 각각은 자신에게 부여된 상기 고유 번호를 이용하여 상기 쇼핑 상품들의 상기 영상 데이터를 상기 중앙 서버에 전송하며,The first image sensors photograph the shopping goods loaded on or taken out of the cart at different positions and angles, and each of the first image sensors uses the unique number assigned to the image of the shopping goods. Send data to the central server,
    상기 전자 저울은 측정된 상기 카트의 무게에 변화가 감지될 때 자신에게 부여된 상기 고유 번호를 이용하여 측정된 상기 카트의 무게를 상기 중앙 서버에 전송하고,The electronic scale transmits the weight of the cart measured to the central server using the unique number assigned to the electronic scale when a change in the weight of the measured cart is detected.
    상기 카트 단말기는 상기 중앙 서버로부터 결제처리 완료가 수신되면 결제 완료 표시등을 점등하는 스마트 쇼핑 카트.The cart terminal is a smart shopping cart that lights up the payment completion indicator when the payment processing completion is received from the central server.
  2. 제 1 항에 있어서, 상기 카트 단말기는, According to claim 1, The cart terminal,
    고객을 인식하는 로그인부;Login unit for recognizing the customer;
    상기 중앙 서버와 통신하는 통신부;A communication unit communicating with the central server;
    상기 쇼핑 상품들의 목록을 표시하고 결제 완료 시 상기 결제 완료 표시등을 표시하는 표시부;A display unit which displays a list of the shopping products and displays the payment completion indicator when the payment is completed;
    신용카드를 인식하는 결제부; 및A payment unit recognizing a credit card; And
    상기 로그인부로부터 고객의 맴버쉽 카드가 인식되면 로그인 정보를 상기 중앙 서버로 송신하도록 상기 통신부를 제어하고, 상기 중앙 서버로부터 상기 카트에 실린 상기 쇼핑 상품들의 상품 정보가 수신되면 쇼핑 상품들의 목록들을 표시하도록 상기 표시부를 제어하며, 상기 결제부로부터 신용카드가 인식되면 결제 정보를 상기 중앙 서버에 송신하도록 상기 통신부를 제어하고, 상기 중앙 서버로부터 결제처리 완료가 수신되면 상기 결제 완료 표시등을 표시하도록 상기 표시부를 제어하는 제어부;Control the communication unit to transmit login information to the central server when the membership card of the customer is recognized from the login unit, and display list of shopping products when product information of the shopping products loaded in the cart is received from the central server. The display unit controls the communication unit to transmit payment information to the central server when a credit card is recognized by the payment unit, and displays the payment completion indicator when the payment processing completion is received from the central server. A control unit for controlling;
    를 포함하는 스마트 쇼핑 카트.Smart shopping cart containing.
  3. 제 2 항에 있어서, 상기 로그인부는The method of claim 2, wherein the login unit
    맴버쉽 카드를 인식함으로써 상기 고객을 인식하는 스마트 쇼핑 카트.A smart shopping cart that recognizes the customer by recognizing a membership card.
  4. 쇼핑 매장 어플리케이션이 설치되어 고객의 로그인과 쇼핑 상품들 목록 조회를 지원하는 고객 단말기;A customer terminal installed with a shopping store application to support a login of a customer and a list of shopping goods;
    카트에 실리거나 꺼내지는 쇼핑 상품들의 영상 데이터를 수집하고 중앙 서버에 전송하는 카트에 설치된 복수 개의 제1 영상 센서들, 고객을 이미지 센싱함으로써 고객을 인식하는 로그인 용 영상 센서를 포함하고, 고객을 이미지 센싱한 데이터를 상기 중앙 서버에 전송하며, 상기 중앙 서버로부터 상기 이미지 센싱한 데이터의 분석에 기초한 로그인 처리 결과를 수신하고, 상기 쇼핑 상품들의 상기 영상 데이터, 상기 카트의 무게, 및 상기 진열대 내 상품의 입출입 정보를 기반으로 상기 쇼핑 상품들을 인식한 결과로서 상기 중앙 서버로부터 전송되는 상기 쇼핑 상품들의 상품 정보를 수신하고 쇼핑 상품들의 목록을 표시하는 상기 카트에 설치된 카트 단말기, 및 상기 쇼핑 상품들이 실린 상기 카트의 무게를 측정하여 상기 중앙 서버에 전송하는 상기 카트에 설치된 전자 저울을 포함하는 스마트 쇼핑 카트; A plurality of first image sensors installed in a cart that collects and transmits image data of shopping goods carried in or out of a cart and transmits them to a central server, and includes an image sensor for login that recognizes a customer by sensing an image of the customer, and images the customer. And transmits the sensed data to the central server, receives a login processing result based on the analysis of the image sensed data from the central server, and transmits the image data of the shopping goods, the weight of the cart, and the merchandise in the display rack. A cart terminal installed in the cart that receives product information of the shopping goods transmitted from the central server as a result of recognizing the shopping goods based on entry / exit information, and displays a list of shopping goods, and the cart containing the shopping goods To measure the weight of the transmission to the central server A smart shopping cart including an electronic scale installed in the cart;
    진열대를 촬영하는 별도의 제2 영상 센서들; 및Separate second image sensors for photographing the display rack; And
    상기 쇼핑 상품들의 상기 영상 데이터를 기반으로 쇼핑 상품들의 특징을 추출하여 상기 카트 내의 쇼핑 상품들의 목록을 인식하고, 상기 쇼핑 상품들의 감지 여부를 상기 카트의 무게, 및 상기 상품의 입출입 정보를 기반으로 체크하며, 상기 쇼핑 상품들의 상기 영상 데이터, 상기 카트의 무게, 및 상기 상품의 입출입 정보를 기반으로 상기 쇼핑 상품들을 인식한 결과로서 상기 쇼핑 상품들의 상품 정보를 상기 카트 단말기와 상기 고객 단말기 중 적어도 하나에 전송하는 중앙 서버;를 포함하고,The list of shopping goods in the cart is recognized by extracting features of shopping goods based on the image data of the shopping goods, and whether the shopping goods are detected is checked based on the weight of the cart and the entry / exit information of the goods. And as a result of recognizing the shopping goods based on the image data of the shopping goods, the weight of the cart, and the entry / exit information of the goods, the product information of the shopping goods to at least one of the cart terminal and the customer terminal. A central server for transmitting;
    상기 제2 영상 센서들은 상기 진열대 내 상품의 입출입 정보를 감지하는데 이용되고,The second image sensors are used to detect entry and exit information of goods in the display rack,
    상기 제2 영상 센서들과 상기 전자 저울은 상기 제1 영상 센서들이 상기 카트에 실리거나 꺼내지는 상기 쇼핑 상품 인식에 실패할 경우 대비한 보조 기능으로 이용되며, The second image sensors and the electronic scale are used as an auxiliary function in case the first image sensors fail to recognize the shopping goods loaded on or taken out of the cart.
    상기 상품의 입출입 정보와 상기 카드의 무게 변화 및 상기 쇼핑 상품들의 상기 영상 데이터는 상기 쇼핑 상품들을 인식하는데 이용되고,Entrance and exit information of the goods, weight change of the card and the image data of the shopping goods are used to recognize the shopping goods,
    상기 카트 단말기는 상기 중앙 서버로부터 상품 비 감지 정보가 수신되면 인식되지 않은 상품이 있음을 알리는 알림 메시지를 송출하며,The cart terminal transmits a notification message indicating that there is an unrecognized product when the product ratio detection information is received from the central server.
    상기 제1 영상 센서들, 상기 전자 저울 및 상기 카트 단말기 각각은 초기화 시 상기 중앙 서버로부터 식별을 위한 고유 번호가 부여되고, 상기 고유 번호를 이용하여 상기 중앙 서버와 직접 통신을 수행하고,Each of the first image sensors, the electronic scale, and the cart terminal is assigned a unique number for identification from the central server at initialization, and directly communicates with the central server using the unique number.
    상기 제1 영상 센서들은 서로 다른 위치와 각도에서 상기 카트에 실리거나 꺼내지는 상기 쇼핑 상품들을 촬영하며, 상기 제1 영상 센서들 각각은 자신에게 부여된 상기 고유 번호를 이용하여 상기 쇼핑 상품들의 상기 영상 데이터를 상기 중앙 서버에 전송하며,The first image sensors photograph the shopping goods loaded on or taken out of the cart at different positions and angles, and each of the first image sensors uses the unique number assigned to the image of the shopping goods. Send data to the central server,
    상기 전자 저울은 측정된 상기 카트의 무게에 변화가 감지될 때 자신에게 부여된 상기 고유 번호를 이용하여 측정된 상기 카트의 무게를 상기 중앙 서버에 전송하고,The electronic scale transmits the weight of the cart measured to the central server using the unique number assigned to the electronic scale when a change in the weight of the measured cart is detected.
    상기 카트 단말기는 상기 중앙 서버로부터 상기 카트에 실린 상기 쇼핑 상품들의 상품 정보가 수신되면 상기 쇼핑 상품들의 목록들을 표시하고, 상기 중앙 서버로부터 결제처리 완료가 수신되면 결제 완료 표시등을 점등하며,The cart terminal displays the list of the shopping goods when the product information of the shopping goods loaded on the cart is received from the central server, and when the payment processing completion is received from the central server, the payment completion indicator lights up.
    상기 중앙 서버는 상기 카트 단말기로부터 고객의 상기 이미지 센싱 데이터를 수신하고 상기 이미지 센싱 데이터를 분석하여 고객의 로그인 처리를 수행하며, 상기 스마트 쇼핑 카트와 상기 고객 단말기 중 적어도 하나로부터 상기 쇼핑 상품들에 대한 결제 정보가 수신되면 상기 쇼핑 상품들에 대한 결제를 처리하는 쇼핑 관리 시스템.The central server receives the image sensing data of the customer from the cart terminal and analyzes the image sensing data to perform a login process of the customer, and the at least one of the smart shopping cart and the customer terminal for the shopping goods. The shopping management system that processes payment for the shopping goods when payment information is received.
  5. 제 4 항에 있어서, 상기 중앙 서버는, The method of claim 4, wherein the central server,
    상기 스마트 쇼핑 카트의 상기 제1 영상 센서들에 의해 수집된 상기 영상 데이터에서 상품의 형상과 크기, 텍스트, 로고, 용량, 포장 단위 중 적어도 하나 이상을 포함하는 상품들의 특징들을 추출하고, 추출된 상품들의 특징들을 분석하여 카트에 실린 쇼핑 상품들을 인식하며, 상기 카트 단말기로부터 수신되는 고객의 상기 이미지 센싱 데이터를 분석하여 로그인 처리하는 이미지 인식 모듈; 및From the image data collected by the first image sensors of the smart shopping cart to extract the features of the product including at least one or more of the shape and size of the product, text, logo, capacity, packaging unit, extracted product An image recognition module for recognizing shopping goods carried in a cart by analyzing features of the customer, and analyzing and logging in the image sensing data of a customer received from the cart terminal; And
    상기 스마트 쇼핑 카트와 상기 고객 단말기 중 적어도 하나로부터 상기 쇼핑 상품들에 대한 결제 정보가 수신되면 결제를 처리하는 결제 모듈;을 포함하는 쇼핑 관리 시스템.And a payment module configured to process a payment when payment information regarding the shopping goods is received from at least one of the smart shopping cart and the customer terminal.
  6. 제 5 항에 있어서, 상기 이미지 인식 모듈은, The image recognition module of claim 5, wherein the image recognition module comprises:
    상기 카트의 무게와 인식된 상기 쇼핑 상품들의 목록을 비교하여 상기 제1 영상 센서들의 상품 감지 여부를 확인하고, 감지되지 않은 상품이 있는 경우로 확인되면 상품 비 감지 정보를 상기 스마트 쇼핑 카트의 상기 카트 단말기에 전송하는 쇼핑 관리 시스템.The weight of the cart is compared with the list of the recognized shopping goods to determine whether the first image sensors detect the goods, and if it is determined that there is a product that is not detected, the product ratio detection information is included in the cart of the smart shopping cart. Shopping management system to send to the terminal.
  7. 제 5 항에 있어서, 상기 중앙 서버는, The method of claim 5, wherein the central server,
    상기 스마트 쇼핑 카트의 상기 카트 단말기와 상기 고객 단말기 중 적어도 하나로부터 고객의 매장 내 위치를 파악하여 고객의 동선 데이터를 수집하는 동선 수집 모듈;을 더 포함하는 쇼핑 관리 시스템.And a moving line collecting module configured to collect a moving line data of a customer by identifying a location in a store of the customer from at least one of the cart terminal and the customer terminal of the smart shopping cart.
PCT/KR2019/006285 2018-05-25 2019-05-24 Smart shopping cart and shopping management system using same WO2019226021A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180059940A KR101994205B1 (en) 2018-05-25 2018-05-25 Smart shopping cart and shopping management system using the same
KR10-2018-0059940 2018-05-25

Publications (1)

Publication Number Publication Date
WO2019226021A1 true WO2019226021A1 (en) 2019-11-28

Family

ID=68098393

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/006285 WO2019226021A1 (en) 2018-05-25 2019-05-24 Smart shopping cart and shopping management system using same

Country Status (2)

Country Link
KR (1) KR101994205B1 (en)
WO (1) WO2019226021A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178265A (en) * 2019-12-30 2020-05-19 北京每日优鲜电子商务有限公司 Commodity identification method and device
WO2021137219A1 (en) * 2019-12-30 2021-07-08 Shopic Technologies Ltd. System and method for fast checkout using a portable computerized device
WO2021148988A1 (en) * 2020-01-24 2021-07-29 Imagr Holdings Limited Recommendation platform for physical retail environment
CN113191834A (en) * 2020-01-14 2021-07-30 阿里巴巴集团控股有限公司 Commodity object publishing and identifying method and device, electronic equipment and storage medium
US20220157134A1 (en) * 2020-11-19 2022-05-19 Ebay Inc. Automated shopping cart
WO2023198182A1 (en) * 2022-04-14 2023-10-19 烟台创迹软件有限公司 Method and system for confirming number of products in shopping cart, and storage medium

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102395387B1 (en) * 2020-09-04 2022-05-12 선문대학교 산학협력단 Autonomous Driving Cart Apparatus
KR102323796B1 (en) * 2020-11-11 2021-11-09 텔코웨어 주식회사 Smart shopping cart, shopping system using the smart shopping cart and method for purchasing product using the smart shopping cart
KR102548941B1 (en) * 2021-02-05 2023-06-27 동의대학교 산학협력단 Payment system and method using smart cart
KR20220123867A (en) 2021-03-02 2022-09-13 주식회사 넥스트케이 Apparatus for Providing Smart Retail Service and Driving Method Thereof
KR102330366B1 (en) * 2021-04-28 2021-11-23 주식회사 농협유통 Payment processing method and system in store using smart Cart
KR102636635B1 (en) * 2023-06-22 2024-02-13 이현 Cart apparatus for paymenting unattended using vision sensing and system for paymenting unattended using the same
KR102636636B1 (en) * 2023-06-22 2024-02-13 이현 Cart apparatus for paymenting unattended using vision sensing, weight sensing and system for paymenting unattended using the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090000751A (en) * 2007-03-29 2009-01-08 주식회사 키스컴 Movable shopping management apparatus and shopping management system
KR101288980B1 (en) * 2012-11-06 2013-07-22 신태균 System and method for payment buying goods using cart
KR20150024984A (en) * 2013-08-27 2015-03-10 경북대학교 산학협력단 Real-time EPD shopping cart and shopping cart server system
US20160300455A1 (en) * 2013-10-03 2016-10-13 Digitized Concepts, Llc Apparatus, System, and Method for Self-Service Shopping
EP3267407A1 (en) * 2016-07-05 2018-01-10 Dominique Berard Shopping container, shopping infrastructure and related method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090000751A (en) * 2007-03-29 2009-01-08 주식회사 키스컴 Movable shopping management apparatus and shopping management system
KR101288980B1 (en) * 2012-11-06 2013-07-22 신태균 System and method for payment buying goods using cart
KR20150024984A (en) * 2013-08-27 2015-03-10 경북대학교 산학협력단 Real-time EPD shopping cart and shopping cart server system
US20160300455A1 (en) * 2013-10-03 2016-10-13 Digitized Concepts, Llc Apparatus, System, and Method for Self-Service Shopping
EP3267407A1 (en) * 2016-07-05 2018-01-10 Dominique Berard Shopping container, shopping infrastructure and related method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178265A (en) * 2019-12-30 2020-05-19 北京每日优鲜电子商务有限公司 Commodity identification method and device
WO2021137219A1 (en) * 2019-12-30 2021-07-08 Shopic Technologies Ltd. System and method for fast checkout using a portable computerized device
CN113191834A (en) * 2020-01-14 2021-07-30 阿里巴巴集团控股有限公司 Commodity object publishing and identifying method and device, electronic equipment and storage medium
WO2021148988A1 (en) * 2020-01-24 2021-07-29 Imagr Holdings Limited Recommendation platform for physical retail environment
US20220157134A1 (en) * 2020-11-19 2022-05-19 Ebay Inc. Automated shopping cart
CN114550386A (en) * 2020-11-19 2022-05-27 电子湾有限公司 Automatic shopping cart
WO2023198182A1 (en) * 2022-04-14 2023-10-19 烟台创迹软件有限公司 Method and system for confirming number of products in shopping cart, and storage medium

Also Published As

Publication number Publication date
KR101994205B1 (en) 2019-09-30

Similar Documents

Publication Publication Date Title
WO2019226021A1 (en) Smart shopping cart and shopping management system using same
US11599932B2 (en) System and methods for shopping in a physical store
WO2020103487A1 (en) Self-service settlement method and device and storage medium
US20150242863A1 (en) Electronic apparatus and method
CN108140209B (en) Information processing apparatus, information processing method, and recording medium having program stored therein
CN109726759B (en) Unmanned vending method, device, system, electronic equipment and computer readable medium
JP7295216B2 (en) Open self-service sales method and system based on customer location positioning
US20180268391A1 (en) Information processing device, information processing method, and recording medium storing program
WO2016171319A1 (en) Method and device for recommending in-store product by using visible light communication
KR101873540B1 (en) Apparatus for Collecting Recyclable Materials and Method for Collecting Recyclable Materials thereof
KR101888922B1 (en) System for Management of Customer and Customer Behavior Analysis
CN113205636B (en) Unmanned retail system and unmanned retail method
US11126958B2 (en) System and method for picking and purchasing goods
WO2012046937A1 (en) System and method for managing food waste collection
WO2012093801A2 (en) Medical service system using rfid
CN106503761A (en) Drawing system and method are sentenced in article safety check
CN104778618A (en) Shopping and storing device
EP3905175A1 (en) Computer vision system for assisting the sale of goods sold by weight
KR102165868B1 (en) System and method for automatically classifying consumer goods
WO2022173090A1 (en) System based on user activity analysis and context awareness using artificial intelligence
CN107818466B (en) Shopping mall self-service settlement reflective film mark leak detection prevention method and system device thereof
CN103198285A (en) Scanner, method and system for processing images in an imaging based optical code scanner
WO2022173023A1 (en) Position detection system
WO2022080879A1 (en) Unmanned payment system
CN107622606A (en) A kind of self-help shopping is paid and checking information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19808161

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19808161

Country of ref document: EP

Kind code of ref document: A1