WO2021025237A1 - Shopping cart and product recognition method thereof, system and method for providing shopping service using same - Google Patents

Shopping cart and product recognition method thereof, system and method for providing shopping service using same Download PDF

Info

Publication number
WO2021025237A1
WO2021025237A1 PCT/KR2019/016751 KR2019016751W WO2021025237A1 WO 2021025237 A1 WO2021025237 A1 WO 2021025237A1 KR 2019016751 W KR2019016751 W KR 2019016751W WO 2021025237 A1 WO2021025237 A1 WO 2021025237A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
information
barcode
shopping
recognition
Prior art date
Application number
PCT/KR2019/016751
Other languages
French (fr)
Korean (ko)
Inventor
김현배
Original Assignee
주식회사 딥파인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190094103A external-priority patent/KR102274773B1/en
Priority claimed from KR1020190094102A external-priority patent/KR102120092B1/en
Application filed by 주식회사 딥파인 filed Critical 주식회사 딥파인
Publication of WO2021025237A1 publication Critical patent/WO2021025237A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B3/00—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor
    • B62B3/14—Hand carts having more than one axis carrying transport wheels; Steering devices therefor; Equipment therefor characterised by provisions for nesting or stacking, e.g. shopping trolleys
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62B—HAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B5/00—Accessories or details specially adapted for hand carts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions

Definitions

  • the present invention relates to a shopping cart and a product recognition method thereof, and to a system and method for providing a shopping service using the same, and more particularly, to automatically recognize products in a shopping cart using artificial intelligence, and to provide advertisements related to shopping and to shop.
  • a shopping cart providing data, a method for recognizing a product thereof, and a system and method for providing a shopping service using the same.
  • a representative example of the inconvenience of consumers who use marts is the inconvenience of having to wait in line for a long time to check out.
  • a store clerk adheres to a method of recognizing and calculating a barcode that is printed or attached to a product through a barcode reader.
  • system of a general mart is at the level of displaying events or special products unilaterally provided by the mart offline or posting them online, and cannot provide advertisement information related to the products that consumers are currently purchasing in the mart.
  • the technical problem to be solved by the present invention is to provide a shopping cart and a product recognition method thereof, and a system and method for providing a shopping service using the same.
  • an image of a product located in a recognition area is generated through a plurality of cameras, a barcode area is detected from the image through a convolution neural network, and a barcode area corresponding to the bar code area is generated.
  • the recognition unit may generate the image when the weight measured by the weight sensor mounted in the recognition area is equal to or greater than a specified value.
  • Each of the cameras can photograph the product in a different direction.
  • the recognition unit detects a candidate barcode region from the image, inputs the candidate barcode region into the convolutional neural network, calculates a recognition rate, which is a probability that the candidate barcode region is classified as a class of the barcode region, and calculates a recognition rate among the candidate barcode regions. This highest candidate barcode region can be detected as the barcode region.
  • the recognition unit may generate a check message when the recognition rate corresponding to the barcode area is less than or equal to a specified threshold.
  • the shopping cart may further include a storage unit including a net for mitigating an impact applied to the product carried from the recognition area to the storage area.
  • the storage unit may adjust the height of the net according to the weight of the product.
  • a storage container is accommodated in the storage area, and the transport unit may transport the product from the recognition area into the storage container.
  • a method for a shopping cart to recognize a product comprising: generating an image of a product positioned in a recognition area through a plurality of cameras; Detecting a barcode region corresponding to the image through a convolution neural network; Generating barcode information corresponding to the barcode area; Transmitting the barcode information to a server through a network; And when barcode information of the product is generated, transporting the product to a storage area.
  • the generating of the image of the product located in the recognition area through the plurality of cameras may be a step of generating the image when the weight measured by the weight sensor mounted in the recognition area is greater than or equal to a specified value.
  • Each of the cameras can photograph the product in a different direction.
  • the detecting of a barcode region corresponding to the image through the convolutional neural network may include: detecting a candidate barcode region from the image; Inputting the candidate barcode region into the convolutional neural network to calculate a recognition rate that is a probability that the candidate barcode region is classified as a class of the barcode region; And detecting a candidate barcode region having the highest recognition rate among the candidate barcode regions as the barcode region.
  • the product recognition method may further include generating a check message when the recognition rate corresponding to the barcode area is less than or equal to a specified threshold value.
  • the product recognition method may further include adjusting a height of a net for mitigating an impact applied to the product carried from the recognition area to the storage area according to the weight of the product.
  • a computer-readable recording medium storing a computer program for executing the product recognition method.
  • a shopping cart for generating barcode information of a purchased product;
  • a shopping data server that generates consumer purchase information according to the barcode information;
  • an advertisement server that detects recommended product information corresponding to the product according to the consumer purchase information, generates advertisement information according to the recommended product information, and provides it to a terminal.
  • the advertisement server analyzes the big data of the shopping data server through a natural language processing (NLP) algorithm, selects a recommended product related to the consumer purchase information according to a preset relationship, and selects information on the selected recommended product. It is possible to detect information on recommended products.
  • NLP natural language processing
  • the shopping data server may collect product information corresponding to each product and consumer information corresponding to a consumer, respectively, and update shopping data in a database through big data analysis.
  • the consumer information may include purchase pattern information in which the consumer purchase information is accumulated, and online behavior data of a consumer.
  • the shopping data server may provide the shopping data to the terminal.
  • a method for providing a shopping service by a shopping service providing system comprising: generating barcode information of a product purchased by a shopping cart; Generating, by a shopping data server, consumer purchase information according to the barcode information; And detecting, by an advertisement server, recommended product information corresponding to the product according to the consumer purchase information, generating advertisement information according to the recommended product information, and providing the advertisement information to a terminal.
  • the step of the advertisement server detecting recommended product information corresponding to the product according to the consumer purchase information, generating advertisement information according to the recommended product information, and providing the advertisement information to the terminal, wherein the advertisement server Analyzing data through a natural language processing (NLP) algorithm, selecting a recommended product associated with the consumer purchase information according to a preset association, and detecting recommended product information, which is information on the selected recommended product. can do.
  • NLP natural language processing
  • the shopping service providing method may further include the step of collecting, by the shopping data server, product information corresponding to each product and consumer information corresponding to a consumer, respectively, and updating shopping data in a database through big data analysis.
  • the consumer information may include purchase pattern information in which the consumer purchase information is accumulated, and online behavior data of a consumer.
  • the shopping service providing method may further include providing, by the shopping data server, the shopping data to a terminal.
  • a computer-readable recording medium storing a computer program for executing the shopping service providing method.
  • a product currently being purchased by a consumer can be recognized immediately.
  • an advertisement related to a product related to a product purchased by the consumer may be provided to the consumer.
  • FIG. 1 is a view showing the configuration of a shopping cart according to an embodiment of the present invention.
  • FIG. 2 is a view showing the appearance of a shopping cart according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a recognition area of a shopping cart according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a barcode recognized by a shopping cart and a recognition rate thereof according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of recognizing a product by a shopping cart according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a shopping service providing system according to another embodiment of the present invention.
  • FIG. 7 is a view showing the configuration of a shopping cart according to another embodiment of the present invention.
  • FIG. 8 is a view showing the appearance of a shopping cart according to another embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a recognition area of a shopping cart according to another embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a barcode recognized by a shopping cart and a recognition rate thereof according to another embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a process of providing a shopping service by a shopping service providing system according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a method of recognizing a product by a shopping cart according to another embodiment of the present invention.
  • 1 is a view showing the configuration of a shopping cart according to an embodiment of the present invention.
  • 2 is a view showing the appearance of a shopping cart according to an embodiment of the present invention.
  • 3 is a diagram illustrating a recognition area of a shopping cart according to an embodiment of the present invention.
  • 4 is a diagram illustrating a barcode recognized by a shopping cart and a recognition rate thereof according to an embodiment of the present invention.
  • a shopping cart includes a communication unit 110, a recognition unit 120, a transport unit 130, and a storage unit 140.
  • the communication unit 110 exchanges data with an external server through a specified protocol.
  • the external server may be a server that purchases products contained in the shopping card.
  • the recognition unit 120 creates an image by photographing a product in a shopping cart, and recognizes an area corresponding to a barcode (hereinafter referred to as a barcode area) among the images using a convolution neural network. And, it generates barcode information according to the barcode area.
  • the recognition unit 120 performs a pre-processing process according to a designated method for each image, extracts an object area corresponding to a product from each image, and extracts a candidate barcode area, which is an area estimated to be a barcode area among the object areas.
  • the recognition unit 120 may detect the candidate barcode region through a predetermined method, such as detecting a region in which an edge in which a value of an adjacent pixel rapidly changes rapidly appears among the object region.
  • the recognition unit 120 may input the candidate barcode region into a pretrained convolutional neural network to detect an region classified as a barcode region with the highest probability among the candidate barcode regions as a class of the barcode region.
  • the recognition unit 120 detects a barcode region as shown in FIG. 4 among candidate barcode regions through a convolutional neural network, and calculates a recognition rate indicating a probability of being classified as a class of the barcode region.
  • the recognition unit 120 may include a recognition area in which a product may be located, as shown in 210 of FIG. 2, and may include a plurality of cameras that photograph a product placed in the recognition area to generate an image. In this case, the plurality of cameras may generate images by photographing products in different directions as shown in FIG. 3.
  • the recognition unit 120 may include a weight sensor at the bottom of the recognition area to generate an image by operating the above-described camera when a product is located in the recognition area.
  • a weight sensor at the bottom of the recognition area to generate an image by operating the above-described camera when a product is located in the recognition area.
  • each camera photographs the product in a plurality of directions
  • one or more of the images photographed by each camera may be an image photographed by a barcode.
  • a plurality of cameras may configure a multi-channel to generate an image by photographing a product in a shopping cart at 360 degrees without a blind spot.
  • the recognition area is assumed to be a virtual hexahedron
  • a plurality of cameras of the recognition unit 120 may generate an image by photographing in all directions (front, rear, left, right, top and bottom) of the hexahedron.
  • the recognition unit 120 may transmit barcode information for each product to an external server through the communication unit 110.
  • the external server may calculate a price of a product purchased by a user using a corresponding shopping cart through barcode information, and may perform payment for the product.
  • the recognition unit 120 may transmit a check message indicating that the user needs to check the product to an external server.
  • the external server may display product information corresponding to the check message to the user through a terminal such as a kiosk to check whether the product directly purchased by the user is correct.
  • the transport unit 130 transports the product on which the generation of barcode information located in the recognition area has been completed through the power of a motor to a storage area located at the bottom of the recognition area.
  • the storage unit 140 includes a storage area (220 in FIG. 2) for storing a storage container such as a shopping cart so that when a product is transported from the recognition area to the storage area, the product is stored in the storage container.
  • the storage unit 140 may include a net that mitigates an impact on the product carried from the recognition area to the storage area, and may include a height adjustment module that adjusts the height of the net.
  • the storage unit 140 may control the height adjustment module so that the height of the net is lower as the weight of the recognized product is heavier. Accordingly, the storage unit 140 allows the product recognized in the storage container to be stored in the storage container, and the user can easily retrieve the purchased product through the storage container.
  • the shopping cart includes a product recommendation unit (not shown) that receives weather information from an external server through the communication unit 110 and recommends and/or evaluates products using the received weather information. It may contain more.
  • the product recommendation unit may recommend purchase for a designated food using weather information, or may perform consumption evaluation on a product for which barcode information has been generated according to the weather information. For example, when it is determined that the harvest and/or quality of the fruit is greater than or equal to the standard value by receiving weather information of a specific fruit origin, the product recommendation unit recommends the purchase of the fruit as a seasonal fruit or When the creation of the barcode information for the fruit is completed, the consumption (purchase) of the fruit can be evaluated as wise.
  • the product recommendation department does not recommend purchasing the rice or bar code information for the rice.
  • the consumption (purchase) of the rice can be evaluated as unwise.
  • Such a product recommendation unit may output purchase recommendation information and/or consumption evaluation using a separate display device.
  • the product recommendation unit may transmit purchase recommendation information and/or consumption evaluation to an external server through the communication unit 110, and may provide purchase recommendation information and/or consumption evaluation to a consumer (user) through the external server.
  • the product recommendation unit may include purchase recommendation information and/or consumption evaluation in the inspection message or transmit a separate message to an external server.
  • FIG. 5 is a flowchart illustrating a method of recognizing a product by a shopping cart according to an embodiment of the present invention.
  • a shopping cart for the purpose of concise and clear description of the invention or the process performed by each functional unit constituting the shopping cart described above with reference to FIG. 1.
  • step 510 the shopping cart measures the weight through a weight sensor provided in the recognition area.
  • step 520 the shopping cart determines whether the weight measured in step 510 is equal to or greater than a specified value.
  • step 520 If the weight is less than the specified value in step 520, the shopping cart repeats the process of step 510.
  • the shopping cart photographs the product and generates an image.
  • the shopping cart may generate a plurality of images corresponding to each direction through a plurality of cameras that photograph the recognition area in different directions.
  • the shopping cart detects a candidate barcode area from the image.
  • the shopping cart may perform a pre-processing process designated for an image, detect an object area corresponding to a product in the preprocessed image, and detect a candidate barcode area in the object area.
  • the shopping cart detects a recognition rate for each candidate barcode area by inputting a candidate barcode area to a pretrained convolutional neural network, and detects a candidate barcode area having the highest recognition rate as a barcode area.
  • step 560 the shopping cart determines whether the recognition rate corresponding to the barcode area is less than or equal to a threshold value.
  • step 560 when the recognition rate corresponding to the barcode area exceeds the threshold value, in step 570, the shopping cart recognizes the barcode in the barcode area to generate barcode information.
  • step 560 if the recognition rate corresponding to the barcode area is less than or equal to the threshold value, in step 580, the shopping cart generates a check message indicating that the product needs to be checked.
  • the check message may include a barcode of a barcode area.
  • the shopping cart controls the motor to transport the product from the recognition area to the storage area.
  • the shopping cart may control the height of the net located in the storage area according to the weight of the product.
  • step 595 the shopping cart transmits barcode information and a check message to an external server.
  • the shopping cart automatically recognizes the product that the consumer wants to purchase without using a separate electronic tag for the product and without the operation of the clerk using a barcode reader, and You can calculate prices and pay for products.
  • FIG. 11 is a diagram illustrating a shopping service providing system according to an embodiment of the present invention.
  • a shopping service providing system includes a shopping cart 610, an advertisement server 620, and a shopping data server 630.
  • the shopping cart 610 generates barcode information by recognizing a barcode of a product currently purchased by a consumer in an offline store, and transmits the barcode information to the shopping data server 630.
  • the shopping cart 610 will be described in detail later with reference to FIG. 12.
  • the shopping data server 630 generates consumer purchase information including basic information such as a price of a product purchased by a user through the shopping cart 610, a manufacturer, and a display position of the product corresponding to the barcode information.
  • the shopping data server 630 transmits consumer purchase information to the advertisement server 620.
  • the advertisement server 620 detects recommended product information corresponding to the consumer purchase information from the shopping data server 630. For example, the advertisement server 620 analyzes big data stored in the shopping data server 630 through a natural language processing (NLP) algorithm, and selects recommended products related to consumer purchase information according to a preset relationship. Then, recommended product information, which is information on the selected recommended product, may be detected from the shopping data server 630. The advertisement server 620 transmits advertisement information including recommended product information to the consumer terminal 10. Accordingly, when a consumer purchases a product through the shopping cart 610, the consumer may check advertisement information that provides a product that has been purchased and a recommended product based on his or her past purchase pattern, and the user's online behavior.
  • NLP natural language processing
  • the shopping data server 630 stores shopping data including at least one of product information, which is information related to a product such as product price, basic information such as a manufacturer, and product display position, a purchase pattern of a consumer, and online behavior data of a consumer. Save it.
  • product information which is information related to a product such as product price, basic information such as a manufacturer, and product display position, a purchase pattern of a consumer, and online behavior data of a consumer. Save it.
  • the shopping data server 630 receives and stores product information from each vendor terminal 20, stores a purchase pattern in which consumer purchase information is accumulated, and receives online behavior data from the consumer terminal 10 You can store consumer information such as saving.
  • the shopping data server 630 may update shopping data in the database through big data analysis after receiving product information or consumer information from each terminal.
  • the shopping data server 630 transmits the shopping data to the terminal.
  • the shopping data server 630 provides sales information of own/other companies' products as a product manufacturer, and provides shopping data such as product information, marketing statistics, and customer information-based sales statistics related to each product as an advertising agency. And, it is possible to provide the retailer with shopping data such as the order of purchase of products by the consumer and the time the consumer stays in each region within the store.
  • the advertisement server 620 may receive weather information from the outside and provide purchase recommendation information for recommending and/or evaluating a product using the received weather information to the consumer terminal 10.
  • the purchase recommendation information may recommend a purchase for a designated food using weather information, or may reflect a consumption evaluation for a product for which barcode information has been generated in the shopping cart 610 according to the weather information. For example, when it is determined that the harvest and/or quality of the fruit is greater than or equal to the standard value by receiving weather information of a specific fruit origin, the advertisement server 620 recommends purchasing the fruit as a seasonal fruit, or When the generation of barcode information on the fruit is completed, purchase recommendation information for evaluating that consumption (purchase) of the fruit is wise may be provided to the consumer terminal 10.
  • the product recommendation department does not recommend purchasing the rice or bar code information for the rice.
  • purchase recommendation information for evaluating that consumption (purchase) of the rice is not wise may be provided to the consumer terminal 10.
  • FIG. 7 is a diagram showing the configuration of a shopping cart according to an embodiment of the present invention.
  • 8 is a view showing the appearance of a shopping cart according to an embodiment of the present invention.
  • 9 is a diagram illustrating a recognition area of a shopping cart according to an embodiment of the present invention.
  • 10 is a diagram illustrating a barcode recognized by a shopping cart and a recognition rate thereof according to an embodiment of the present invention.
  • a shopping cart includes a communication unit 710, a recognition unit 720, a transport unit 730, and a storage unit 740.
  • the communication unit 710 exchanges data with the shopping data server 630 through a specified protocol.
  • the recognition unit 720 creates an image by photographing a product in a shopping cart, and recognizes an area corresponding to a barcode (hereinafter referred to as a barcode area) among the images using a convolution neural network. And, it generates barcode information according to the barcode area.
  • the recognition unit 720 performs a preprocessing process according to a designated method for each image, extracts an object area corresponding to a product from each image, and extracts a candidate barcode area, which is an area estimated to be a bar code area, from among the object areas.
  • the recognition unit 720 may detect the candidate barcode region through a predetermined method, such as detecting a region in which an edge in which a value of an adjacent pixel rapidly changes rapidly appears among the object region.
  • the recognition unit 720 may input the candidate barcode region into a pretrained convolutional neural network to detect an region classified as a barcode region with the highest probability among the candidate barcode regions as a class of the barcode region.
  • the recognition unit 720 detects a barcode region as shown in FIG. 10 among candidate barcode regions through a convolutional neural network, and calculates a recognition rate indicating a probability of being classified as a class of the barcode region.
  • the recognition unit 720 may include a recognition area in which a product may be located, as shown in 810 of FIG. 8, and may include a plurality of cameras that photograph a product placed in the recognition area to generate an image.
  • the plurality of cameras may generate images by photographing products in different directions as shown in 910 of FIG. 9.
  • the recognition unit 720 may include a weight sensor at a lower portion of the recognition area to generate an image by operating the above-described camera when a product is located in the recognition area.
  • a plurality of cameras may configure a multi-channel to generate an image by photographing a product in a shopping cart at 360 degrees without a blind spot.
  • the recognition area is assumed to be a virtual hexahedron
  • a plurality of cameras of the recognition unit 120 may generate images by photographing in all directions (front, rear, left, right, top and bottom) of the hexahedron.
  • the recognition unit 720 may transmit barcode information for each product to the shopping data server 630 through the communication unit 710.
  • the payment server connected to the shopping data server 630 may calculate a price of a product purchased by a user using a corresponding shopping cart through barcode information, and perform payment for the product.
  • the recognition unit 720 may transmit a check message indicating that the user needs to check the product to an external server.
  • the external server may display product information corresponding to the check message to the user through a terminal such as a kiosk to check whether the product directly purchased by the user is correct.
  • the transport unit 730 transports the product on which the generation of barcode information located in the recognition area is completed through the power of the motor to the storage area located at the bottom of the recognition area.
  • the storage unit 740 includes a storage area (820 in FIG. 8) in which a storage container such as a shopping cart can be stored, so that when a product is transported from the recognition area to the storage area, the product is stored in the storage container.
  • the storage unit 740 may include a net that mitigates an impact on the product carried from the recognition area to the storage area, and may include a height adjustment module that adjusts the height of the net.
  • the storage unit 740 may control the height adjustment module so that the height of the net is lower as the weight of the recognized product is heavier. Accordingly, the storage unit 740 allows the product recognized in the storage container to be stored in the storage container, and the user can easily retrieve the purchased product through the storage container.
  • the shopping cart includes a product recommendation unit (not shown) that receives weather information from an external server through the communication unit 710 and recommends and/or evaluates products using the received weather information. It may contain more.
  • the product recommendation unit may recommend purchase for a designated food using weather information, or may perform consumption evaluation on a product for which barcode information has been generated according to the weather information. For example, when it is determined that the harvest and/or quality of the fruit is greater than or equal to the standard value by receiving weather information of a specific fruit origin, the product recommendation unit recommends the purchase of the fruit or barcode information on the fruit. When the production of the fruit is completed, the consumption (purchase) of the fruit can be evaluated as wise.
  • the product recommendation department does not recommend purchasing the rice or When the production is complete, the consumption (purchase) of the rice can be evaluated as unwise.
  • Such a product recommendation unit may output purchase recommendation information and/or consumption evaluation using a separate display device.
  • the product recommendation unit transmits purchase recommendation information and/or consumption evaluation to the shopping data server 630 through the communication unit 710, and purchase recommendation information and/or purchase recommendation information to the consumer (user) through the advertisement server 620 that analyzed these information. /Or can provide a consumption appraisal.
  • FIG. 11 is a flowchart illustrating a process of providing a shopping service by a shopping service providing system according to an embodiment of the present invention.
  • step 1110 the shopping cart 610 generates barcode information.
  • the process of generating the barcode information will be described in detail later with reference to FIG. 12.
  • step 1120 the shopping cart 610 transmits the barcode information to the shopping data server 630.
  • the shopping data server 630 generates consumer purchase information including a price of a product purchased by a user corresponding to the barcode information, basic information such as a manufacturer, and a display position of the product. .
  • step 1140 the shopping data server 630 transmits consumer purchase information to the advertisement server 620.
  • the advertisement server 620 selects a recommended product related to consumer purchase information by referring to a database of the shopping data server 630 according to a preset criterion, and requests the recommended product information to the shopping data server 630.
  • step 1160 the shopping data server 630 transmits the recommended product information to the advertisement server 620.
  • step 1170 the advertisement server 620 generates advertisement information including recommended product information and transmits it to the consumer terminal 10.
  • the shopping data server 630 updates the database through big data analysis.
  • the shopping data server 630 may continuously collect consumer-related information such as products and consumer purchase information from a terminal or other server, and process the collected data into shopping data through big data analysis. have.
  • the shopping data server 630 receives a request for shopping data from the vendor terminal 20.
  • the shopping data server 630 may receive a request for shopping data from the consumer terminal 10.
  • step 1195 the shopping data server 630 transmits the shopping data to the vendor terminal 20.
  • FIG. 12 is a flowchart illustrating a method of recognizing a product by a shopping cart according to an embodiment of the present invention.
  • a shopping cart for the purpose of concise and clear explanation of the invention or the process performed by each functional unit constituting the shopping cart described above with reference to FIG. 12.
  • each step of FIG. 12 corresponds to step 1110 described above in FIG. 11.
  • step 1210 the shopping cart measures the weight through a weight sensor provided in the recognition area.
  • step 1220 the shopping cart determines whether the weight measured in step 1210 is equal to or greater than the specified value.
  • step 1220 If the weight is less than the specified value in step 1220, the shopping cart repeats the process of step 1210.
  • the shopping cart photographs the product and generates an image in step 1230.
  • the shopping cart may generate a plurality of images corresponding to each direction through a plurality of cameras photographing the recognition area in different directions.
  • the shopping cart detects a candidate barcode area from the image.
  • the shopping cart may perform a pre-processing process designated for an image, detect an object area corresponding to a product in the preprocessed image, and detect a candidate barcode area in the object area.
  • the shopping cart detects a recognition rate for each candidate barcode area by inputting a candidate barcode area to a pretrained convolutional neural network, and detects a candidate barcode area having the highest recognition rate as a barcode area.
  • step 1260 the shopping cart determines whether the recognition rate corresponding to the barcode area is less than or equal to a threshold value.
  • step 1260 when the recognition rate corresponding to the barcode area exceeds the threshold value, in step 1270, the shopping cart recognizes the barcode of the barcode area to generate barcode information.
  • step 1260 if the recognition rate corresponding to the barcode area is less than or equal to the threshold value, in step 1280, the shopping cart generates a check message indicating that the product needs to be checked.
  • the check message may include a barcode in the barcode area.
  • the shopping cart controls the motor to transport the product from the recognition area to the storage area.
  • the shopping cart may control the height of the net located in the storage area according to the weight of the product.
  • step 1295 the shopping cart transmits the barcode information and a check message to the shopping data server 630.
  • the shopping cart calculates the price of the recognized product by automatically recognizing the product that the consumer wants to purchase without the operation of the clerk using a barcode reader without using a separate electronic tag for the product. , You can pay for the product.
  • Embodiments of the present invention can be implemented through various means. Embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
  • the method according to embodiments of the present invention includes one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), It can be implemented by field programmable gate arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, and the like.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs field programmable gate arrays
  • processors controllers, microcontrollers, microprocessors, and the like.
  • firmware or software the method according to the embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above.
  • a computer program in which software codes and the like are recorded may be stored in a computer-readable recording medium or a memory unit and driven by a processor.
  • the memory unit may be located inside or outside the processor, and may exchange data with the processor through various known means.
  • combinations of each block of the block diagram attached to the present invention and each step of the flowchart may be performed by computer program instructions. Since these computer program instructions can be mounted on the encoding processor of a general-purpose computer, special purpose computer or other programmable data processing equipment, the instructions executed by the encoding processor of the computer or other programmable data processing equipment are each block of the block diagram or Each step of the flow chart will create a means to perform the functions described.
  • These computer program instructions can also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular way, so that the computer-usable or computer-readable memory It is also possible to produce an article of manufacture in which the instructions stored in the block diagram contain instruction means for performing the functions described in each block of the block diagram or each step of the flowchart.
  • Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment.
  • each block or each step may represent a module, segment, or part of code containing one or more executable instructions for executing a specified logical function.
  • functions mentioned in blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially simultaneously, or the blocks or steps may sometimes be performed in the reverse order depending on the corresponding function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

The present invention provides a shopping cart comprising: a recognition unit which generates an image of a product located in a recognition area through a plurality of cameras, detects a barcode area corresponding to the image through a convolution neural network, and generates barcode information corresponding to the barcode area; a communication unit for transmitting the barcode information to a server through a network; and a transport unit for transporting the product to a storage area when the barcode information of the product is generated. In addition, the present invention provides a system for providing a shopping service, comprising: a shopping cart for generating barcode information of a purchased product; a shopping data server for generating a consumer's purchase information according to the barcode information; and an advertisement server for detecting recommended product information corresponding to the product according to the consumer's purchase information, generating advertisement information according to the recommended product information, and providing the advertisement information to a terminal.

Description

쇼핑 카트 및 그의 상품 인식 방법, 이를 이용한 쇼핑 서비스 제공 시스템 및 방법Shopping cart and its product recognition method, system and method for providing shopping service using the same
본 발명은 쇼핑 카트 및 그의 상품 인식 방법, 이를 이용한 쇼핑 서비스 제공 시스템 및 방법에 관한 것으로, 더욱 상세하게는 인공 지능을 이용하여 자동으로 쇼핑 카트에 든 상품을 인식하고, 쇼핑에 관련한 광고 제공 및 쇼핑 데이터를 제공하는 쇼핑 카트 및 그의 상품 인식 방법, 이를 이용한 쇼핑 서비스 제공 시스템 및 방법에 관한 것이다.The present invention relates to a shopping cart and a product recognition method thereof, and to a system and method for providing a shopping service using the same, and more particularly, to automatically recognize products in a shopping cart using artificial intelligence, and to provide advertisements related to shopping and to shop. A shopping cart providing data, a method for recognizing a product thereof, and a system and method for providing a shopping service using the same.
마트를 이용하는 소비자들이 불편을 겪는 대표적인 예로는 계산을 하기 위해 오랜 시간 줄을 서야 하는 불편함이다.A representative example of the inconvenience of consumers who use marts is the inconvenience of having to wait in line for a long time to check out.
계산을 하기 위한 대기 시간을 줄이기 위해 상품에 RFID 태그를 부착하여 빠른 계산을 하는 등의 기술이 고안되고 있지만, 태그를 모든 상품에 부착하는 것은 시간 및 금전적인 비용이 발생한다.In order to reduce the waiting time for calculation, a technology such as attaching an RFID tag to a product to perform fast calculation has been devised, but attaching the tag to all products takes time and money.
따라서, 일반적인 마트에서는 점원이 상품에 미리 인쇄되거나 부착되어 있는 바코드를 바코드 리더를 통해 인식하여 계산하는 방식을 고수하고 있다.Therefore, in general marts, a store clerk adheres to a method of recognizing and calculating a barcode that is printed or attached to a product through a barcode reader.
또한, 일반적인 마트의 시스템은 마트에서 일방적으로 제공하는 이벤트나 기획 상품 등을 오프라인으로 디스플레이하거나 온라인에 게시하는 수준일 뿐, 소비자가 마트 내에서 현재 구매하고 있는 상품과 연관된 광고 정보를 제공하지 못한다.In addition, the system of a general mart is at the level of displaying events or special products unilaterally provided by the mart offline or posting them online, and cannot provide advertisement information related to the products that consumers are currently purchasing in the mart.
본 발명이 해결하고자 하는 기술적 과제는 쇼핑 카트 및 그의 상품 인식 방법, 이를 이용한 쇼핑 서비스 제공 시스템 및 방법을 제공하는 것이다.The technical problem to be solved by the present invention is to provide a shopping cart and a product recognition method thereof, and a system and method for providing a shopping service using the same.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved by the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned can be clearly understood by those of ordinary skill in the technical field to which the present invention belongs from the following description. There will be.
본 발명의 일 측면에 따르면, 복수의 카메라를 통해 인식 영역에 위치하는 상품의 이미지를 생성하고, 컨볼루션 신경망(Convolution Neural Network)을 통해 상기 이미지로부터 바코드 영역을 검출하고, 상기 바코드 영역에 대응하는 바코드 정보를 생성하는 인식부; 상기 바코드 정보를 네트워크를 통해 서버로 전송하는 통신부; 및 상기 상품의 바코드 정보가 생성되는 경우, 상기 상품을 보관 영역으로 운반하는 운반부;를 포함하는 쇼핑 카트가 제공된다.According to an aspect of the present invention, an image of a product located in a recognition area is generated through a plurality of cameras, a barcode area is detected from the image through a convolution neural network, and a barcode area corresponding to the bar code area is generated. A recognition unit for generating barcode information; A communication unit for transmitting the barcode information to a server through a network; And a transport unit for transporting the product to a storage area when barcode information of the product is generated.
상기 인식부는 상기 인식 영역에 장착된 무게 센서를 통해 측정된 무게가 지정된 수치 이상인 경우, 상기 이미지를 생성할 수 있다.The recognition unit may generate the image when the weight measured by the weight sensor mounted in the recognition area is equal to or greater than a specified value.
각 상기 카메라는 상이한 방향으로 상기 상품을 촬영할 수 있다.Each of the cameras can photograph the product in a different direction.
상기 인식부는 상기 이미지로부터 후보 바코드 영역을 검출하고, 상기 후보 바코드 영역을 상기 컨볼루션 신경망에 입력하여 상기 후보 바코드 영역이 바코드 영역의 클래스로 분류되는 확률인 인식률을 산출하고, 상기 후보 바코드 영역 중 인식률이 가장 높은 후보 바코드 영역을 상기 바코드 영역으로 검출할 수 있다.The recognition unit detects a candidate barcode region from the image, inputs the candidate barcode region into the convolutional neural network, calculates a recognition rate, which is a probability that the candidate barcode region is classified as a class of the barcode region, and calculates a recognition rate among the candidate barcode regions. This highest candidate barcode region can be detected as the barcode region.
상기 인식부는 상기 바코드 영역에 상응하는 인식률이 지정된 임계값 이하인 경우, 점검 메시지를 생성할 수 있다.The recognition unit may generate a check message when the recognition rate corresponding to the barcode area is less than or equal to a specified threshold.
상기 쇼핑 카트는 상기 인식 영역에서 상기 보관 영역으로 운반된 상기 상품에 가해지는 충격을 완화하는 그물망을 포함하는 보관부를 더 포함할 수 있다.The shopping cart may further include a storage unit including a net for mitigating an impact applied to the product carried from the recognition area to the storage area.
상기 보관부는 상기 상품의 무게에 따라 상기 그물망의 높이를 조절할 수 있다.The storage unit may adjust the height of the net according to the weight of the product.
상기 보관 영역 내에는 보관 용기가 수납되고, 상기 운반부는 상기 상품을 상기 인식 영역에서 상기 보관 용기 내로 운반할 수 있다.A storage container is accommodated in the storage area, and the transport unit may transport the product from the recognition area into the storage container.
본 발명의 다른 측면에 따르면, 쇼핑 카트가 상품을 인식하는 방법에 있어서, 복수의 카메라를 통해 인식 영역에 위치하는 상품의 이미지를 생성하는 단계; 컨볼루션 신경망(Convolution Neural Network)을 통해 상기 이미지에 대응하는 바코드 영역을 검출하는 단계; 상기 바코드 영역에 대응하는 바코드 정보를 생성하는 단계; 상기 바코드 정보를 네트워크를 통해 서버로 전송하는 단계; 및 상기 상품의 바코드 정보가 생성되는 경우, 상기 상품을 보관 영역으로 운반하는 단계;를 포함하는 상품 인식 방법이 제공된다.According to another aspect of the present invention, there is provided a method for a shopping cart to recognize a product, the method comprising: generating an image of a product positioned in a recognition area through a plurality of cameras; Detecting a barcode region corresponding to the image through a convolution neural network; Generating barcode information corresponding to the barcode area; Transmitting the barcode information to a server through a network; And when barcode information of the product is generated, transporting the product to a storage area.
상기 복수의 카메라를 통해 인식 영역에 위치하는 상품의 이미지를 생성하는 단계는 상기 인식 영역에 장착된 무게 센서를 통해 측정된 무게가 지정된 수치 이상인 경우, 상기 이미지를 생성하는 단계일 수 있다.The generating of the image of the product located in the recognition area through the plurality of cameras may be a step of generating the image when the weight measured by the weight sensor mounted in the recognition area is greater than or equal to a specified value.
각 상기 카메라는 상이한 방향으로 상기 상품을 촬영할 수 있다.Each of the cameras can photograph the product in a different direction.
상기 컨볼루션 신경망을 통해 상기 이미지에 대응하는 바코드 영역을 검출하는 단계는, 상기 이미지로부터 후보 바코드 영역을 검출하는 단계; 상기 후보 바코드 영역을 상기 컨볼루션 신경망에 입력하여 상기 후보 바코드 영역이 바코드 영역의 클래스로 분류되는 확률인 인식률을 산출하는 단계; 및 상기 후보 바코드 영역 중 인식률이 가장 높은 후보 바코드 영역을 상기 바코드 영역으로 검출하는 단계를 포함할 수 있다.The detecting of a barcode region corresponding to the image through the convolutional neural network may include: detecting a candidate barcode region from the image; Inputting the candidate barcode region into the convolutional neural network to calculate a recognition rate that is a probability that the candidate barcode region is classified as a class of the barcode region; And detecting a candidate barcode region having the highest recognition rate among the candidate barcode regions as the barcode region.
상기 상품 인식 방법은 상기 바코드 영역에 상응하는 인식률이 지정된 임계값 이하인 경우, 점검 메시지를 생성하는 단계를 더 포함할 수 있다.The product recognition method may further include generating a check message when the recognition rate corresponding to the barcode area is less than or equal to a specified threshold value.
상기 상품 인식 방법은 상기 인식 영역에서 상기 보관 영역으로 운반된 상기 상품에 가해지는 충격을 완화하는 그물망의 높이를 상기 상품의 무게에 따라 조절하는 단계를 더 포함할 수 있다.The product recognition method may further include adjusting a height of a net for mitigating an impact applied to the product carried from the recognition area to the storage area according to the weight of the product.
본 발명의 또 다른 측면에 따르면, 상기 상품 인식 방법을 실행하는 컴퓨터 프로그램이 저장된 컴퓨터가 판독 가능한 기록매체가 제공된다.According to another aspect of the present invention, there is provided a computer-readable recording medium storing a computer program for executing the product recognition method.
본 발명의 또 다른 측면에 따르면, 구매된 상품의 바코드 정보를 생성하는 쇼핑 카트; 상기 바코드 정보에 따른 소비자 구매 정보를 생성하는 쇼핑 데이터 서버; 및 상기 소비자 구매 정보에 따라 상기 상품에 대응하는 추천 상품 정보를 검출하고, 상기 추천 상품 정보에 따른 광고 정보를 생성하여 단말로 제공하는 광고 서버;를 포함하는 쇼핑 서비스 제공 시스템이 제공된다.According to another aspect of the present invention, a shopping cart for generating barcode information of a purchased product; A shopping data server that generates consumer purchase information according to the barcode information; And an advertisement server that detects recommended product information corresponding to the product according to the consumer purchase information, generates advertisement information according to the recommended product information, and provides it to a terminal.
상기 광고 서버는 상기 쇼핑 데이터 서버의 빅데이터를 자연어 처리(NLP: Natural Language Processing) 알고리즘을 통해 분석하여 미리 설정된 연관 관계에 따라 상기 소비자 구매 정보와 연관된 추천 상품을 선정하고, 선정된 추천 상품의 정보인 추천 상품 정보를 검출할 수 있다.The advertisement server analyzes the big data of the shopping data server through a natural language processing (NLP) algorithm, selects a recommended product related to the consumer purchase information according to a preset relationship, and selects information on the selected recommended product. It is possible to detect information on recommended products.
상기 쇼핑 데이터 서버는 각 상품에 대응하는 상품 정보 및 소비자에 대응하는 소비자 정보를 각각 수집하고, 빅데이터 분석을 통해 데이터베이스의 쇼핑 데이터를 갱신할 수 있다.The shopping data server may collect product information corresponding to each product and consumer information corresponding to a consumer, respectively, and update shopping data in a database through big data analysis.
상기 소비자 정보는 상기 소비자 구매 정보를 누적한 구매 패턴 정보, 소비자의 온라인 행동 데이터를 포함할 수 있다.The consumer information may include purchase pattern information in which the consumer purchase information is accumulated, and online behavior data of a consumer.
상기 쇼핑 데이터 서버는 상기 쇼핑 데이터를 단말로 제공할 수 있다.The shopping data server may provide the shopping data to the terminal.
본 발명의 또 다른 측면에 따르면, 쇼핑 서비스 제공 시스템이 쇼핑 서비스를 제공하는 방법에 있어서, 쇼핑 카트가 구매된 상품의 바코드 정보를 생성하는 단계; 쇼핑 데이터 서버가 상기 바코드 정보에 따른 소비자 구매 정보를 생성하는 단계; 및 광고 서버가 상기 소비자 구매 정보에 따라 상기 상품에 대응하는 추천 상품 정보를 검출하고, 상기 추천 상품 정보에 따른 광고 정보를 생성하여 단말로 제공하는 단계;를 포함하는 쇼핑 서비스 제공 방법이 제공된다.According to another aspect of the present invention, there is provided a method for providing a shopping service by a shopping service providing system, the method comprising: generating barcode information of a product purchased by a shopping cart; Generating, by a shopping data server, consumer purchase information according to the barcode information; And detecting, by an advertisement server, recommended product information corresponding to the product according to the consumer purchase information, generating advertisement information according to the recommended product information, and providing the advertisement information to a terminal.
상기 광고 서버가 상기 소비자 구매 정보에 따라 상기 상품에 대응하는 추천 상품 정보를 검출하고, 상기 추천 상품 정보에 따른 광고 정보를 생성하여 단말로 제공하는 단계는, 상기 광고 서버가 상기 쇼핑 데이터 서버의 빅데이터를 자연어 처리(NLP: Natural Language Processing) 알고리즘을 통해 분석하여 미리 설정된 연관 관계에 따라 상기 소비자 구매 정보와 연관된 추천 상품을 선정하고, 선정된 추천 상품의 정보인 추천 상품 정보를 검출하는 단계를 포함할 수 있다.The step of the advertisement server detecting recommended product information corresponding to the product according to the consumer purchase information, generating advertisement information according to the recommended product information, and providing the advertisement information to the terminal, wherein the advertisement server Analyzing data through a natural language processing (NLP) algorithm, selecting a recommended product associated with the consumer purchase information according to a preset association, and detecting recommended product information, which is information on the selected recommended product. can do.
상기 쇼핑 서비스 제공 방법은 상기 쇼핑 데이터 서버가 각 상품에 대응하는 상품 정보 및 소비자에 대응하는 소비자 정보를 각각 수집하고, 빅데이터 분석을 통해 데이터베이스의 쇼핑 데이터를 갱신하는 단계를 더 포함할 수 있다.The shopping service providing method may further include the step of collecting, by the shopping data server, product information corresponding to each product and consumer information corresponding to a consumer, respectively, and updating shopping data in a database through big data analysis.
상기 소비자 정보는 상기 소비자 구매 정보를 누적한 구매 패턴 정보, 소비자의 온라인 행동 데이터를 포함할 수 있다.The consumer information may include purchase pattern information in which the consumer purchase information is accumulated, and online behavior data of a consumer.
상기 쇼핑 서비스 제공 방법은 상기 쇼핑 데이터 서버가 상기 쇼핑 데이터를 단말로 제공하는 단계를 더 포함할 수 있다.The shopping service providing method may further include providing, by the shopping data server, the shopping data to a terminal.
본 발명의 또 다른 측면에 따르면, 상기 쇼핑 서비스 제공 방법을 실행하는 컴퓨터 프로그램이 저장된 컴퓨터가 판독 가능한 기록매체가 제공된다.According to another aspect of the present invention, there is provided a computer-readable recording medium storing a computer program for executing the shopping service providing method.
본 발명의 실시예에 따르면, 자동으로 쇼핑 카트에 담겨진 상품을 인식할 수 있다.According to an embodiment of the present invention, it is possible to automatically recognize products contained in a shopping cart.
또한, 본 발명의 실시예에 따르면, 쇼핑 카트에 담겨진 상품의 가격을 자동으로 산출하고, 각 상품의 결재를 진행할 수 있다.In addition, according to an embodiment of the present invention, it is possible to automatically calculate the price of products contained in the shopping cart, and to proceed with payment for each product.
또한, 본 발명의 실시예에 따르면, 쇼핑 카트에 담겨진 상품을 자동으로 패킹할 수 있다.In addition, according to an embodiment of the present invention, it is possible to automatically pack products contained in a shopping cart.
본 발명의 실시예에 따르면, 현재 소비자가 구매하고 있는 상품을 바로 인식할 수 있다.According to an embodiment of the present invention, a product currently being purchased by a consumer can be recognized immediately.
또한, 본 발명의 실시예에 따르면, 소비자가 구매하고 있는 상품과 관련된 상품에 관한 광고를 소비자에게 제공할 수 있다.In addition, according to an embodiment of the present invention, an advertisement related to a product related to a product purchased by the consumer may be provided to the consumer.
또한, 본 발명의 실시예에 따르면, 광고 기획사, 상품 제조사, 유통업체 등의 업자들에게 소비자의 쇼핑에 관련한 데이터를 제공할 수 있다.In addition, according to an embodiment of the present invention, it is possible to provide data related to consumer shopping to businesses such as advertising agency, product manufacturer, and distribution company.
도 1은 본 발명의 일 실시예에 따른 쇼핑 카트의 구성을 나타내는 도면.1 is a view showing the configuration of a shopping cart according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 쇼핑 카트의 외형을 나타내는 도면.2 is a view showing the appearance of a shopping cart according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 쇼핑 카트의 인식 영역을 예시한 도면.3 is a diagram illustrating a recognition area of a shopping cart according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 쇼핑 카트가 인식하는 바코드와 그 인식률을 예시한 도면.4 is a diagram illustrating a barcode recognized by a shopping cart and a recognition rate thereof according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 쇼핑 카트가 상품을 인식하는 방법을 예시한 순서도.5 is a flowchart illustrating a method of recognizing a product by a shopping cart according to an embodiment of the present invention.
도 6은 본 발명의 다른 실시예에 따른 쇼핑 서비스 제공 시스템을 예시한 도면.6 is a diagram illustrating a shopping service providing system according to another embodiment of the present invention.
도 7은 본 발명의 다른 실시예에 따른 쇼핑 카트의 구성을 나타내는 도면. 7 is a view showing the configuration of a shopping cart according to another embodiment of the present invention.
도 8은 본 발명의 다른 실시예에 따른 쇼핑 카트의 외형을 나타내는 도면.8 is a view showing the appearance of a shopping cart according to another embodiment of the present invention.
도 9는 본 발명의 다른 실시예에 따른 쇼핑 카트의 인식 영역을 예시한 도면.9 is a diagram illustrating a recognition area of a shopping cart according to another embodiment of the present invention.
도 10은 본 발명의 다른 실시예에 따른 쇼핑 카트가 인식하는 바코드와 그 인식률을 예시한 도면.10 is a diagram illustrating a barcode recognized by a shopping cart and a recognition rate thereof according to another embodiment of the present invention.
도 11은 본 발명의 일 실시예에 따른 쇼핑 서비스 제공 시스템이 쇼핑 서비스를 제공하는 과정을 예시한 흐름도.11 is a flowchart illustrating a process of providing a shopping service by a shopping service providing system according to an embodiment of the present invention.
도 12는 본 발명의 다른 실시예에 따른 쇼핑 카트가 상품을 인식하는 방법을 예시한 순서도.12 is a flowchart illustrating a method of recognizing a product by a shopping cart according to another embodiment of the present invention.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, the present invention will be described with reference to the accompanying drawings. However, the present invention may be implemented in various different forms, and therefore is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are assigned to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.Throughout the specification, when a part is said to be "connected (connected, contacted, bonded)" with another part, it is not only "directly connected", but also "indirectly connected" with another member in the middle. "Including the case. In addition, when a part "includes" a certain component, this means that other components may be further provided, not excluding other components, unless specifically stated to the contrary.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance the possibility.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 쇼핑 카트의 구성을 나타내는 도면이다. 도 2는 본 발명의 일 실시예에 따른 쇼핑 카트의 외형을 나타내는 도면이다. 도 3은 본 발명의 일 실시예에 따른 쇼핑 카트의 인식 영역을 예시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 쇼핑 카트가 인식하는 바코드와 그 인식률을 예시한 도면이다.1 is a view showing the configuration of a shopping cart according to an embodiment of the present invention. 2 is a view showing the appearance of a shopping cart according to an embodiment of the present invention. 3 is a diagram illustrating a recognition area of a shopping cart according to an embodiment of the present invention. 4 is a diagram illustrating a barcode recognized by a shopping cart and a recognition rate thereof according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 쇼핑 카트는 통신부(110), 인식부(120), 운반부(130) 및 보관부(140)를 포함한다.Referring to FIG. 1, a shopping cart according to an embodiment of the present invention includes a communication unit 110, a recognition unit 120, a transport unit 130, and a storage unit 140.
통신부(110)는 지정된 프로토콜을 통해 외부 서버와 데이터를 주고 받는다. 이 때, 외부 서버는 쇼핑 카드에 담긴 상품의 구매를 진행하는 서버일 수 있다.The communication unit 110 exchanges data with an external server through a specified protocol. In this case, the external server may be a server that purchases products contained in the shopping card.
인식부(120)는 쇼핑 카트에 상품을 촬영하여 이미지를 생성하고, 생성된 이미지를 컨볼루션 신경망(Convolution Neural Network)을 이용하여 이미지 중 바코드에 해당하는 영역(이하, 바코드 영역이라 지칭)을 인식하고, 바코드 영역에 따른 바코드 정보를 생성한다. 인식부(120)는 각 이미지에 대해 지정된 방식에 따른 전처리 과정을 수행하고, 각 이미지로부터 상품에 해당하는 객체 영역을 추출하고, 객체 영역 중 바코드 영역이라 추정되는 영역인 후보 바코드 영역을 추출한다. 예를 들어, 인식부(120)는 객체 영역 중 인접한 픽셀의 값이 급격하게 변하는 엣지(edge)가 연속으로 나타나는 영역을 검출하는 등의 미리 지정된 방식을 통해 후보 바코드 영역을 검출할 수 있다. 인식부(120)는 후보 바코드 영역을 미리 훈련된 컨볼루션 신경망에 입력하여 후보 바코드 영역 중 바코드 영역의 클래스(class)로 가장 높은 확률로 분류되는 영역을 바코드 영역으로 검출할 수 있다. 인식부(120)는 컨볼루션 신경망을 통해 후보 바코드 영역 중 도 4와 같이 바코드 영역을 검출하고, 바코드 영역의 클래스로 분류되는 확률을 나타내는 인식률을 산출한다. 이 때, 인식부(120)는 도 2의 210과 같이 상품이 위치할 수 있는 인식 영역을 포함하고, 해당 인식 영역 내에 놓여진 상품을 촬영하여 이미지를 생성하는 복수의 카메라를 포함할 수 있다. 이때, 복수의 카메라는 도3과 같이 서로 다른 방향으로 상품을 촬영하여 이미지를 생성할 수 있다. 또한, 인식부(120)는 인식 영역의 하단에 무게 센서를 구비하여 인식 영역에 상품이 위치하는 경우, 상술한 카메라를 작동하여 이미지를 생성하도록 할 수 있다. 이 때, 각 카메라는 상품을 복수의 방향에서 촬영하기 때문에 각 카메라에서 촬영된 이미지 중 하나 이상은 바코드를 촬영한 이미지일 수 있다. 또한, 복수의 카메라는 멀티채널을 구성하여 쇼핑 카트에 담기는 상품을 360도로 사각지대 없이 촬영하여 이미지를 생성할 수 있다. 예를 들면, 인식 영역을 가상의 육면체로 가정하였을 경우, 인식부(120)의 복수의 카메라는 육면체의 모든 방향(전후좌우상하)에서 촬영하여 이미지를 생성할 수 있다.The recognition unit 120 creates an image by photographing a product in a shopping cart, and recognizes an area corresponding to a barcode (hereinafter referred to as a barcode area) among the images using a convolution neural network. And, it generates barcode information according to the barcode area. The recognition unit 120 performs a pre-processing process according to a designated method for each image, extracts an object area corresponding to a product from each image, and extracts a candidate barcode area, which is an area estimated to be a barcode area among the object areas. For example, the recognition unit 120 may detect the candidate barcode region through a predetermined method, such as detecting a region in which an edge in which a value of an adjacent pixel rapidly changes rapidly appears among the object region. The recognition unit 120 may input the candidate barcode region into a pretrained convolutional neural network to detect an region classified as a barcode region with the highest probability among the candidate barcode regions as a class of the barcode region. The recognition unit 120 detects a barcode region as shown in FIG. 4 among candidate barcode regions through a convolutional neural network, and calculates a recognition rate indicating a probability of being classified as a class of the barcode region. In this case, the recognition unit 120 may include a recognition area in which a product may be located, as shown in 210 of FIG. 2, and may include a plurality of cameras that photograph a product placed in the recognition area to generate an image. In this case, the plurality of cameras may generate images by photographing products in different directions as shown in FIG. 3. In addition, the recognition unit 120 may include a weight sensor at the bottom of the recognition area to generate an image by operating the above-described camera when a product is located in the recognition area. In this case, since each camera photographs the product in a plurality of directions, one or more of the images photographed by each camera may be an image photographed by a barcode. In addition, a plurality of cameras may configure a multi-channel to generate an image by photographing a product in a shopping cart at 360 degrees without a blind spot. For example, when the recognition area is assumed to be a virtual hexahedron, a plurality of cameras of the recognition unit 120 may generate an image by photographing in all directions (front, rear, left, right, top and bottom) of the hexahedron.
인식부(120)는 각 상품에 대한 바코드 정보를 통신부(110)를 통해 외부 서버로 전송할 수 있다. 외부 서버는 바코드 정보를 통해 해당 쇼핑 카트를 이용한 사용자가 구매한 상품의 가격을 산출하고, 해당 상품의 결재를 수행할 수 있다. 또한, 인식부(120)는 인식률이 지정된 임계값 이하인 경우, 해당 상품에 대한 사용자의 점검이 필요함을 알리는 점검 메시지를 외부 서버로 전송할 수 있다. 따라서, 외부 서버는 키오스크 등의 단말을 통해 사용자에게 점검 메시지에 상응하는 상품의 정보를 표시하여 사용자가 직접 구매한 상품이 맞는지 확인하도록 할 수 있다. The recognition unit 120 may transmit barcode information for each product to an external server through the communication unit 110. The external server may calculate a price of a product purchased by a user using a corresponding shopping cart through barcode information, and may perform payment for the product. In addition, when the recognition rate is less than or equal to a specified threshold, the recognition unit 120 may transmit a check message indicating that the user needs to check the product to an external server. Accordingly, the external server may display product information corresponding to the check message to the user through a terminal such as a kiosk to check whether the product directly purchased by the user is correct.
운반부(130)는 모터의 동력을 통해 인식 영역에 위치하는 바코드 정보의 생성이 완료된 상품을 인식 영역의 하단에 위치한 보관 영역으로 운반한다.The transport unit 130 transports the product on which the generation of barcode information located in the recognition area has been completed through the power of a motor to a storage area located at the bottom of the recognition area.
보관부(140)는 장바구니 등의 보관 용기를 수납할 수 있는 보관 영역(도 2의 220)을 포함하여 상품이 인식 영역으로부터 보관 영역으로 운반되는 경우, 상품이 보관 용기에 수납되도록 한다. 보관부(140)는 인식 영역에서 보관 영역으로 운반된 상품에 대한 충격을 완화시키는 그물을 포함할 수 있고, 해당 그물의 높이를 조절하는 높이 조절 모듈을 포함할 수 있다. 예를 들어, 보관부(140)는 인식된 상품의 무게가 무거울 수록 그물의 높이가 더 낮도록 높이 조절 모듈을 제어할 수 있다. 따라서, 보관부(140)는 보관 용기에 인식된 상품이 보관 용기에 수납되도록 하고, 사용자는 보관 용기를 통해 간편하게 구매한 상품을 회수할 수 있다.The storage unit 140 includes a storage area (220 in FIG. 2) for storing a storage container such as a shopping cart so that when a product is transported from the recognition area to the storage area, the product is stored in the storage container. The storage unit 140 may include a net that mitigates an impact on the product carried from the recognition area to the storage area, and may include a height adjustment module that adjusts the height of the net. For example, the storage unit 140 may control the height adjustment module so that the height of the net is lower as the weight of the recognized product is heavier. Accordingly, the storage unit 140 allows the product recognized in the storage container to be stored in the storage container, and the user can easily retrieve the purchased product through the storage container.
한편, 본 발명의 일 실시예에 따른 쇼핑 카트는 통신부(110)를 통해 외부 서버로부터 기상 정보를 수신하고 수신한 기상 정보를 이용하여 상품을 추천 및/또는 평가하는 상품 추천부(미도시)를 더 포함할 수 있다.Meanwhile, the shopping cart according to an embodiment of the present invention includes a product recommendation unit (not shown) that receives weather information from an external server through the communication unit 110 and recommends and/or evaluates products using the received weather information. It may contain more.
여기서, 상품 추천부는 기상 정보를 이용하여 지정된 식품에 대한 구매를 추천하거나, 기상 정보에 따라 바코드 정보의 생성이 완료된 상품에 대한 소비평가를 수행할 수 있다. 예를 들면, 특정 과일 원산지의 기상 정보를 수신하여 해당 과일의 수확 및/또는 품질이 풍작 및/또는 기준치 이상인 것으로 판단한 경우, 상품 추천부는 제철 과일로 해당 과일에 대한 구매를 추천하거나, 해당 과일에 대한 바코드 정보의 생성이 완료된 경우 해당 과일에 대한 소비(구매)가 현명한 것으로 평가할 수 있다.Here, the product recommendation unit may recommend purchase for a designated food using weather information, or may perform consumption evaluation on a product for which barcode information has been generated according to the weather information. For example, when it is determined that the harvest and/or quality of the fruit is greater than or equal to the standard value by receiving weather information of a specific fruit origin, the product recommendation unit recommends the purchase of the fruit as a seasonal fruit or When the creation of the barcode information for the fruit is completed, the consumption (purchase) of the fruit can be evaluated as wise.
또한, 특정 쌀 원산지의 기상 정보를 수신하여 해당 쌀의 수확 및/또는 품질이 흉작 및/또는 기준치 이하인 것으로 판단한 경우, 상품 추천부는 해당 쌀에 대한 구매를 추천하지 않거나, 해당 쌀에 대한 바코드 정보의 생성이 완료된 경우 해당 쌀에 대한 소비(구매)가 현명하지 않은 것으로 평가할 수 있다.In addition, when it is determined that the harvest and/or quality of the rice is poor and/or below the standard value by receiving weather information of a specific rice origin, the product recommendation department does not recommend purchasing the rice or bar code information for the rice. When the production is complete, the consumption (purchase) of the rice can be evaluated as unwise.
이러한 상품 추천부는 별도의 표시장치를 이용하여 구매 추천 정보 및/또는 소비평가를 출력할 수 있다. 또한 상품 추천부는 통신부(110)를 통해 구매 추천 정보 및/또는 소비평가를 외부 서버로 송신하고, 외부 서버를 통해 소비자(사용자)에게 구매 추천 정보 및/또는 소비평가를 제공할 수 있다. 예를 들면, 상품 추천부는 구매 추천 정보 및/또는 소비평가를 점검 메시지에 포함시키거나 별도의 메시지로 외부 서버로 송신할 수 있다.Such a product recommendation unit may output purchase recommendation information and/or consumption evaluation using a separate display device. In addition, the product recommendation unit may transmit purchase recommendation information and/or consumption evaluation to an external server through the communication unit 110, and may provide purchase recommendation information and/or consumption evaluation to a consumer (user) through the external server. For example, the product recommendation unit may include purchase recommendation information and/or consumption evaluation in the inspection message or transmit a separate message to an external server.
도 5는 본 발명의 일 실시예에 따른 쇼핑 카트가 상품을 인식하는 방법을 예시한 순서도이다. 이하 설명하는 각 단계는 도 1을 참조하여 상술한 쇼핑 카트를 구성하는 각 기능부를 통해 수행되는 과정이나 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 쇼핑 카트로 통칭하도록 한다.5 is a flowchart illustrating a method of recognizing a product by a shopping cart according to an embodiment of the present invention. Each of the steps described below will be collectively referred to as a shopping cart for the purpose of concise and clear description of the invention or the process performed by each functional unit constituting the shopping cart described above with reference to FIG. 1.
도 5를 참조하면, 단계 510에서 쇼핑 카트는 인식 영역에 구비된 무게 센서를 통해 무게를 측정한다. Referring to FIG. 5, in step 510, the shopping cart measures the weight through a weight sensor provided in the recognition area.
단계 520에서 쇼핑 카트는 단계 510에서 측정한 무게가 지정된 수치 이상인지 판단한다.In step 520, the shopping cart determines whether the weight measured in step 510 is equal to or greater than a specified value.
단계 520에서 무게가 지정된 수치 미만인 경우, 쇼핑 카트는 단계 510의 과정을 반복 수행한다.If the weight is less than the specified value in step 520, the shopping cart repeats the process of step 510.
단계 520에서 무게가 지정된 수치 이상인 경우, 단계 530에서 쇼핑 카트는 상품을 촬영하여 이미지를 생성한다. 이 때, 쇼핑 카트는 인식 영역을 상이한 방향에서 촬영하는 복수의 카메라를 통해 각 방향에 상응하는 복수의 이미지를 생성할 수 있다.If the weight is greater than or equal to the specified value in step 520, in step 530, the shopping cart photographs the product and generates an image. In this case, the shopping cart may generate a plurality of images corresponding to each direction through a plurality of cameras that photograph the recognition area in different directions.
단계 540에서 쇼핑 카트는 이미지로부터 후보 바코드 영역을 검출한다. 예를 들어, 쇼핑 카트는 이미지에 대해 지정된 전처리 과정을 수행하고, 전처리된 이미지에서 상품에 해당하는 객체 영역을 검출하고, 객체 영역에서 후보 바코드 영역을 검출할 수 있다. In step 540, the shopping cart detects a candidate barcode area from the image. For example, the shopping cart may perform a pre-processing process designated for an image, detect an object area corresponding to a product in the preprocessed image, and detect a candidate barcode area in the object area.
단계 550에서 쇼핑 카트는 미리 훈련된 컨볼루션 신경망에 후보 바코드 영역을 입력하여 각 후보 바코드 영역에 대한 인식률을 검출하고, 인식률이 가장 높은 후보 바코드 영역을 바코드 영역으로 검출한다.In step 550, the shopping cart detects a recognition rate for each candidate barcode area by inputting a candidate barcode area to a pretrained convolutional neural network, and detects a candidate barcode area having the highest recognition rate as a barcode area.
단계 560에서 쇼핑 카트는 바코드 영역에 상응하는 인식률이 임계값 이하인지 판단한다.In step 560, the shopping cart determines whether the recognition rate corresponding to the barcode area is less than or equal to a threshold value.
단계 560에서 바코드 영역에 상응하는 인식률이 임계값을 초과하는 경우, 단계 570에서 쇼핑 카트는 바코드 영역의 바코드를 인식하여 바코드 정보를 생성한다.In step 560, when the recognition rate corresponding to the barcode area exceeds the threshold value, in step 570, the shopping cart recognizes the barcode in the barcode area to generate barcode information.
단계 560에서 바코드 영역에 상응하는 인식률이 임계값 이하인 경우, 단계 580에서 쇼핑 카트는 해당 상품의 확인이 필요함을 나타내는 점검 메시지를 생성한다. 이 때, 점검 메시지는 바코드 영역의 바코드를 포함할 수 있다.In step 560, if the recognition rate corresponding to the barcode area is less than or equal to the threshold value, in step 580, the shopping cart generates a check message indicating that the product needs to be checked. In this case, the check message may include a barcode of a barcode area.
단계 590에서 쇼핑 카트는 모터를 제어하여 상품을 인식 영역에서 보관 영역으로 운반한다. 이 때, 쇼핑 카트는 보관 영역에 위치하는 그물망의 높이를 상품의 무게에 따라 제어할 수 있다.In step 590, the shopping cart controls the motor to transport the product from the recognition area to the storage area. In this case, the shopping cart may control the height of the net located in the storage area according to the weight of the product.
단계 595에서 쇼핑 카트는 바코드 정보 및 점검 메시지를 외부 서버로 전송한다.In step 595, the shopping cart transmits barcode information and a check message to an external server.
따라서, 본 발명의 일 실시예에 따른 쇼핑 카트는 상품에 별도의 전자태그를 사용하지 않으면서 점원이 바코드 리더를 사용하는 작업 없이 소비자가 구매하려는 상품을 자동 인식하여 외부 서버를 통해 인식된 상품의 가격을 산출하고, 상품의 결재를 수행할 수 있다.Therefore, the shopping cart according to an embodiment of the present invention automatically recognizes the product that the consumer wants to purchase without using a separate electronic tag for the product and without the operation of the clerk using a barcode reader, and You can calculate prices and pay for products.
도 11은 본 발명의 일 실시예에 따른 쇼핑 서비스 제공 시스템을 예시한 도면이다.11 is a diagram illustrating a shopping service providing system according to an embodiment of the present invention.
도 11을 참조하면, 본 발명의 일 실시예에 따른 쇼핑 서비스 제공 시스템은 쇼핑 카트(610), 광고 서버(620) 및 쇼핑 데이터 서버(630)를 포함한다.Referring to FIG. 11, a shopping service providing system according to an embodiment of the present invention includes a shopping cart 610, an advertisement server 620, and a shopping data server 630.
쇼핑 카트(610)는 소비자가 오프라인 매장에서 현재 구매하는 상품의 바코드를 인식하여 바코드 정보를 생성하여 쇼핑 데이터 서버(630)로 전송한다. 쇼핑 카트(610)에 대해서는 추후 도 12를 참조하여 상세히 설명하도록 한다.The shopping cart 610 generates barcode information by recognizing a barcode of a product currently purchased by a consumer in an offline store, and transmits the barcode information to the shopping data server 630. The shopping cart 610 will be described in detail later with reference to FIG. 12.
쇼핑 데이터 서버(630)는 바코드 정보에 대응하는 사용자가 쇼핑 쇼핑 카트(610)를 통해 구매한 상품의 가격, 제조사 등의 기본 정보 및 상품의 진열 위치를 포함하는 소비자 구매 정보를 생성한다. 쇼핑 데이터 서버(630)는 광고 서버(620)로 소비자 구매 정보를 전송한다.The shopping data server 630 generates consumer purchase information including basic information such as a price of a product purchased by a user through the shopping cart 610, a manufacturer, and a display position of the product corresponding to the barcode information. The shopping data server 630 transmits consumer purchase information to the advertisement server 620.
광고 서버(620)는 소비자 구매 정보에 대응하는 추천 상품 정보를 쇼핑 데이터 서버(630)로부터 검출한다. 예를 들어, 광고 서버(620)는 쇼핑 데이터 서버(630)에 저장된 빅데이터를 자연어 처리(NLP: Natural Language Processing) 알고리즘을 통해 분석하여 미리 설정된 연관 관계에 따라 소비자 구매 정보와 연관된 추천 상품을 선정하고, 선정된 추천 상품의 정보인 추천 상품 정보를 쇼핑 데이터 서버(630)로부터 검출할 수 있다. 광고 서버(620)는 추천 상품 정보를 포함하는 광고 정보를 소비자 단말(10)로 전송한다. 따라서, 소비자는 쇼핑 카트(610)를 통해 상품을 구매하는 경우, 구매한 상품 및 자신의 과거 구매 패턴, 사용자의 온라인 행동 등에 기반한 추천 상품을 제시하는 광고 정보를 확인할 수 있다.The advertisement server 620 detects recommended product information corresponding to the consumer purchase information from the shopping data server 630. For example, the advertisement server 620 analyzes big data stored in the shopping data server 630 through a natural language processing (NLP) algorithm, and selects recommended products related to consumer purchase information according to a preset relationship. Then, recommended product information, which is information on the selected recommended product, may be detected from the shopping data server 630. The advertisement server 620 transmits advertisement information including recommended product information to the consumer terminal 10. Accordingly, when a consumer purchases a product through the shopping cart 610, the consumer may check advertisement information that provides a product that has been purchased and a recommended product based on his or her past purchase pattern, and the user's online behavior.
쇼핑 데이터 서버(630)는 상품의 가격, 제조사 등의 기본 정보, 상품의 진열 위치 등의 상품과 관련된 정보인 상품 정보, 소비자의 구매 패턴 및 소비자의 온라인 행동 데이터 중 하나 이상을 포함하는 쇼핑 데이터를 저장한다. 예를 들어, 쇼핑 데이터 서버(630)는 각 업자 단말(20)로부터 상품 정보를 수신하여 저장하고, 소비자 구매 정보를 누적한 구매 패턴을 저장하고, 소비자 단말(10)로부터 온라인 행동 데이터를 수신하여 저장하는 등의 소비자 정보를 저장할 수 있다. 쇼핑 데이터 서버(630)는 각 단말로부터 상품 정보 또는 소비자 정보를 수신한 뒤 빅데이터 분석을 통해 데이터베이스의 쇼핑 데이터를 갱신할 수 있다. 쇼핑 데이터 서버(630)는 소비자 단말(10) 및 업자 단말(20)로부터 쇼핑 데이터를 요청받는 경우, 해당 쇼핑 데이터를 단말로 전송한다. 예를 들어, 쇼핑 데이터 서버(630)는 상품 제조사로 자/타사의 상품의 판매 정보를 제공하고, 광고 기획사로 각 상품에 연관된 상품 정보, 마케팅 통계, 고객 정보 기반 매출 통계 등의 쇼핑 데이터를 제공하고, 유통 업체에 소비자의 상품 구매 순서, 소비자가 매장 내의 각 지역에 머무르는 시간 등의 쇼핑 데이터를 제공할 수 있다.The shopping data server 630 stores shopping data including at least one of product information, which is information related to a product such as product price, basic information such as a manufacturer, and product display position, a purchase pattern of a consumer, and online behavior data of a consumer. Save it. For example, the shopping data server 630 receives and stores product information from each vendor terminal 20, stores a purchase pattern in which consumer purchase information is accumulated, and receives online behavior data from the consumer terminal 10 You can store consumer information such as saving. The shopping data server 630 may update shopping data in the database through big data analysis after receiving product information or consumer information from each terminal. When the shopping data server 630 receives a request for shopping data from the consumer terminal 10 and the vendor terminal 20, the shopping data server 630 transmits the shopping data to the terminal. For example, the shopping data server 630 provides sales information of own/other companies' products as a product manufacturer, and provides shopping data such as product information, marketing statistics, and customer information-based sales statistics related to each product as an advertising agency. And, it is possible to provide the retailer with shopping data such as the order of purchase of products by the consumer and the time the consumer stays in each region within the store.
한편, 광고 서버(620)는 외부로부터 기상 정보를 수신하고 수신한 기상 정보를 이용하여 상품을 추천 및/또는 평가하는 구매 추천 정보를 소비자 단말(10)로 제공할 수 있다.Meanwhile, the advertisement server 620 may receive weather information from the outside and provide purchase recommendation information for recommending and/or evaluating a product using the received weather information to the consumer terminal 10.
여기서, 구매 추천 정보는 기상 정보를 이용하여 지정된 식품에 대한 구매를 추천하거나, 기상 정보에 따라 쇼핑 카트(610)에서 바코드 정보의 생성이 완료된 상품에 대한 소비평가를 반영할 수 있다. 예를 들면, 특정 과일 원산지의 기상 정보를 수신하여 해당 과일의 수확 및/또는 품질이 풍작 및/또는 기준치 이상인 것으로 판단한 경우, 광고 서버(620)는 제철 과일로 해당 과일에 대한 구매를 추천하거나, 해당 과일에 대한 바코드 정보의 생성이 완료된 경우 해당 과일에 대한 소비(구매)가 현명한 것으로 평가하는 구매 추천 정보를 소비자 단말(10)로 제공할 수 있다.Here, the purchase recommendation information may recommend a purchase for a designated food using weather information, or may reflect a consumption evaluation for a product for which barcode information has been generated in the shopping cart 610 according to the weather information. For example, when it is determined that the harvest and/or quality of the fruit is greater than or equal to the standard value by receiving weather information of a specific fruit origin, the advertisement server 620 recommends purchasing the fruit as a seasonal fruit, or When the generation of barcode information on the fruit is completed, purchase recommendation information for evaluating that consumption (purchase) of the fruit is wise may be provided to the consumer terminal 10.
또한, 특정 쌀 원산지의 기상 정보를 수신하여 해당 쌀의 수확 및/또는 품질이 흉작 및/또는 기준치 이하인 것으로 판단한 경우, 상품 추천부는 해당 쌀에 대한 구매를 추천하지 않거나, 해당 쌀에 대한 바코드 정보의 생성이 완료된 경우 해당 쌀에 대한 소비(구매)가 현명하지 않은 것으로 평가하는 구매 추천 정보를 소비자 단말(10)로 제공할 수 있다.In addition, when it is determined that the harvest and/or quality of the rice is poor and/or below the standard value by receiving weather information of a specific rice origin, the product recommendation department does not recommend purchasing the rice or bar code information for the rice. When the generation is completed, purchase recommendation information for evaluating that consumption (purchase) of the rice is not wise may be provided to the consumer terminal 10.
도 7은 본 발명의 일 실시예에 따른 쇼핑 카트의 구성을 나타내는 도면이다. 도 8은 본 발명의 일 실시예에 따른 쇼핑 카트의 외형을 나타내는 도면이다. 도 9는 본 발명의 일 실시예에 따른 쇼핑 카트의 인식 영역을 예시한 도면이다. 도 10은 본 발명의 일 실시예에 따른 쇼핑 카트가 인식하는 바코드와 그 인식률을 예시한 도면이다.7 is a diagram showing the configuration of a shopping cart according to an embodiment of the present invention. 8 is a view showing the appearance of a shopping cart according to an embodiment of the present invention. 9 is a diagram illustrating a recognition area of a shopping cart according to an embodiment of the present invention. 10 is a diagram illustrating a barcode recognized by a shopping cart and a recognition rate thereof according to an embodiment of the present invention.
도 7을 참조하면, 본 발명의 일 실시예에 따른 쇼핑 카트는 통신부(710), 인식부(720), 운반부(730) 및 보관부(740)를 포함한다.Referring to FIG. 7, a shopping cart according to an embodiment of the present invention includes a communication unit 710, a recognition unit 720, a transport unit 730, and a storage unit 740.
통신부(710)는 지정된 프로토콜을 통해 쇼핑 데이터 서버(630)와 데이터를 주고 받는다.The communication unit 710 exchanges data with the shopping data server 630 through a specified protocol.
인식부(720)는 쇼핑 카트에 상품을 촬영하여 이미지를 생성하고, 생성된 이미지를 컨볼루션 신경망(Convolution Neural Network)을 이용하여 이미지 중 바코드에 해당하는 영역(이하, 바코드 영역이라 지칭)을 인식하고, 바코드 영역에 따른 바코드 정보를 생성한다. 인식부(720)는 각 이미지에 대해 지정된 방식에 따른 전처리 과정을 수행하고, 각 이미지로부터 상품에 해당하는 객체 영역을 추출하고, 객체 영역 중 바코드 영역이라 추정되는 영역인 후보 바코드 영역을 추출한다. 예를 들어, 인식부(720)는 객체 영역 중 인접한 픽셀의 값이 급격하게 변하는 엣지(edge)가 연속으로 나타나는 영역을 검출하는 등의 미리 지정된 방식을 통해 후보 바코드 영역을 검출할 수 있다. 인식부(720)는 후보 바코드 영역을 미리 훈련된 컨볼루션 신경망에 입력하여 후보 바코드 영역 중 바코드 영역의 클래스(class)로 가장 높은 확률로 분류되는 영역을 바코드 영역으로 검출할 수 있다. 인식부(720)는 컨볼루션 신경망을 통해 후보 바코드 영역 중 도 10와 같이 바코드 영역을 검출하고, 바코드 영역의 클래스로 분류되는 확률을 나타내는 인식률을 산출한다. 이 때, 인식부(720)는 도 8의 810과 같이 상품이 위치할 수 있는 인식 영역을 포함하고, 해당 인식 영역 내에 놓여진 상품을 촬영하여 이미지를 생성하는 복수의 카메라를 포함할 수 있다. 이 때, 복수의 카메라는 도 9의 910과 같이 서로 다른 방향으로 상품을 촬영하여 이미지를 생성할 수 있다. 또한, 인식부(720)는 인식 영역의 하단에 무게 센서를 구비하여 인식 영역에 상품이 위치하는 경우, 상술한 카메라를 작동하여 이미지를 생성하도록 할 수 있다. 이 때, 각 카메라는 상품을 복수의 방향에서 촬영하기 때문에 각 카메라에서 촬영된 이미지 중 하나 이상은 바코드를 촬영한 이미지일 수 있다. 또한, 복수의 카메라는 멀티채널을 구성하여 쇼핑 카트에 담기는 상품을 360도로 사각지대 없이 촬영하여 이미지를 생성할 수 있다. 예를 들면, 인식 영역을 가상의 육면체로 가정하였을 경우, 인식부(120)의 복수의 카메라는 육면체의 모든 방향(전후좌우상하)에서 촬영하여 이미지를 생성할 수 있다.The recognition unit 720 creates an image by photographing a product in a shopping cart, and recognizes an area corresponding to a barcode (hereinafter referred to as a barcode area) among the images using a convolution neural network. And, it generates barcode information according to the barcode area. The recognition unit 720 performs a preprocessing process according to a designated method for each image, extracts an object area corresponding to a product from each image, and extracts a candidate barcode area, which is an area estimated to be a bar code area, from among the object areas. For example, the recognition unit 720 may detect the candidate barcode region through a predetermined method, such as detecting a region in which an edge in which a value of an adjacent pixel rapidly changes rapidly appears among the object region. The recognition unit 720 may input the candidate barcode region into a pretrained convolutional neural network to detect an region classified as a barcode region with the highest probability among the candidate barcode regions as a class of the barcode region. The recognition unit 720 detects a barcode region as shown in FIG. 10 among candidate barcode regions through a convolutional neural network, and calculates a recognition rate indicating a probability of being classified as a class of the barcode region. In this case, the recognition unit 720 may include a recognition area in which a product may be located, as shown in 810 of FIG. 8, and may include a plurality of cameras that photograph a product placed in the recognition area to generate an image. In this case, the plurality of cameras may generate images by photographing products in different directions as shown in 910 of FIG. 9. In addition, the recognition unit 720 may include a weight sensor at a lower portion of the recognition area to generate an image by operating the above-described camera when a product is located in the recognition area. In this case, since each camera photographs the product in a plurality of directions, one or more of the images photographed by each camera may be an image photographed by a barcode. In addition, a plurality of cameras may configure a multi-channel to generate an image by photographing a product in a shopping cart at 360 degrees without a blind spot. For example, when the recognition area is assumed to be a virtual hexahedron, a plurality of cameras of the recognition unit 120 may generate images by photographing in all directions (front, rear, left, right, top and bottom) of the hexahedron.
인식부(720)는 각 상품에 대한 바코드 정보를 통신부(710)를 통해 쇼핑 데이터 서버(630)로 전송할 수 있다. 쇼핑 데이터 서버(630)와 연결된 결제 서버는 바코드 정보를 통해 해당 쇼핑 카트를 이용한 사용자가 구매한 상품의 가격을 산출하고, 해당 상품의 결재를 수행할 수 있다. 또한, 인식부(720)는 인식률이 지정된 임계값 이하인 경우, 해당 상품에 대한 사용자의 점검이 필요함을 알리는 점검 메시지를 외부 서버로 전송할 수 있다. 따라서, 외부 서버는 키오스크 등의 단말을 통해 사용자에게 점검 메시지에 상응하는 상품의 정보를 표시하여 사용자가 직접 구매한 상품이 맞는지 확인하도록 할 수 있다. The recognition unit 720 may transmit barcode information for each product to the shopping data server 630 through the communication unit 710. The payment server connected to the shopping data server 630 may calculate a price of a product purchased by a user using a corresponding shopping cart through barcode information, and perform payment for the product. In addition, when the recognition rate is less than or equal to a specified threshold, the recognition unit 720 may transmit a check message indicating that the user needs to check the product to an external server. Accordingly, the external server may display product information corresponding to the check message to the user through a terminal such as a kiosk to check whether the product directly purchased by the user is correct.
운반부(730)는 모터의 동력을 통해 인식 영역에 위치하는 바코드 정보의 생성이 완료된 상품을 인식 영역의 하단에 위치한 보관 영역으로 운반한다.The transport unit 730 transports the product on which the generation of barcode information located in the recognition area is completed through the power of the motor to the storage area located at the bottom of the recognition area.
보관부(740)는 장바구니 등의 보관 용기를 수납할 수 있는 보관 영역(도 8의 820)을 포함하여 상품이 인식 영역으로부터 보관 영역으로 운반되는 경우, 상품이 보관 용기에 수납되도록 한다. 보관부(740)는 인식 영역에서 보관 영역으로 운반된 상품에 대한 충격을 완화시키는 그물을 포함할 수 있고, 해당 그물의 높이를 조절하는 높이 조절 모듈을 포함할 수 있다. 예를 들어, 보관부(740)는 인식된 상품의 무게가 무거울 수록 그물의 높이가 더 낮도록 높이 조절 모듈을 제어할 수 있다. 따라서, 보관부(740)는 보관 용기에 인식된 상품이 보관 용기에 수납되도록 하고, 사용자는 보관 용기를 통해 간편하게 구매한 상품을 회수할 수 있다.The storage unit 740 includes a storage area (820 in FIG. 8) in which a storage container such as a shopping cart can be stored, so that when a product is transported from the recognition area to the storage area, the product is stored in the storage container. The storage unit 740 may include a net that mitigates an impact on the product carried from the recognition area to the storage area, and may include a height adjustment module that adjusts the height of the net. For example, the storage unit 740 may control the height adjustment module so that the height of the net is lower as the weight of the recognized product is heavier. Accordingly, the storage unit 740 allows the product recognized in the storage container to be stored in the storage container, and the user can easily retrieve the purchased product through the storage container.
한편, 본 발명의 일 실시예에 따른 쇼핑 카트는 통신부(710)를 통해 외부 서버로부터 기상 정보를 수신하고 수신한 기상 정보를 이용하여 상품을 추천 및/또는 평가하는 상품 추천부(미도시)를 더 포함할 수 있다.Meanwhile, the shopping cart according to an embodiment of the present invention includes a product recommendation unit (not shown) that receives weather information from an external server through the communication unit 710 and recommends and/or evaluates products using the received weather information. It may contain more.
여기서, 상품 추천부는 기상 정보를 이용하여 지정된 식품에 대한 구매를 추천하거나, 기상 정보에 따라 바코드 정보의 생성이 완료된 상품에 대한 소비평가를 수행할 수 있다. 예를 들면, 특정 과일 원산지의 기상 정보를 수신하여 해당 과일의 수확 및/또는 품질이 풍작 및/또는 기준치 이상인 것으로 판단한 경우, 상품 추천부는 해당 과일에 대한 구매를 추천하거나, 해당 과일에 대한 바코드 정보의 생성이 완료된 경우 해당 과일에 대한 소비(구매)가 현명한 것으로 평가할 수 있다.Here, the product recommendation unit may recommend purchase for a designated food using weather information, or may perform consumption evaluation on a product for which barcode information has been generated according to the weather information. For example, when it is determined that the harvest and/or quality of the fruit is greater than or equal to the standard value by receiving weather information of a specific fruit origin, the product recommendation unit recommends the purchase of the fruit or barcode information on the fruit. When the production of the fruit is completed, the consumption (purchase) of the fruit can be evaluated as wise.
또한, 특정 쌀 원산지의 기상 정보를 수신하여 해당 쌀의 수확 및/또는 품질이 흉작 및/또는 기준치 이하인 것으로 판단한 경우, 상품 추천부는 해당 쌀에 대한 구매를 추천하지 않거나, 해당 쌀에 대한 바코드 정보의 생성이 완료된 경우 해당 쌀에 대한 소비(구매)가 현명하지 않은 것으로 평가할 수 있다.In addition, when it is determined that the harvest and/or quality of the rice is poor and/or below the standard value by receiving weather information of a specific rice origin, the product recommendation department does not recommend purchasing the rice or When the production is complete, the consumption (purchase) of the rice can be evaluated as unwise.
이러한 상품 추천부는 별도의 표시장치를 이용하여 구매 추천 정보 및/또는 소비평가를 출력할 수 있다. 또한 상품 추천부는 통신부(710)를 통해 구매 추천 정보 및/또는 소비평가를 쇼핑 데이터 서버(630)로 송신하고, 이들 정보를 분석한 광고 서버(620)를 통해 소비자(사용자)에게 구매 추천 정보 및/또는 소비평가를 제공할 수 있다.Such a product recommendation unit may output purchase recommendation information and/or consumption evaluation using a separate display device. In addition, the product recommendation unit transmits purchase recommendation information and/or consumption evaluation to the shopping data server 630 through the communication unit 710, and purchase recommendation information and/or purchase recommendation information to the consumer (user) through the advertisement server 620 that analyzed these information. /Or can provide a consumption appraisal.
도 11은 본 발명의 일 실시예에 따른 쇼핑 서비스 제공 시스템이 쇼핑 서비스를 제공하는 과정을 예시한 흐름도이다.11 is a flowchart illustrating a process of providing a shopping service by a shopping service providing system according to an embodiment of the present invention.
도 11을 참조하면, 단계 1110에서 쇼핑 카트(610)는 바코드 정보를 생성한다. 바코드 정보를 생성하는 과정은 추후 도 12를 참조하여 상세히 설명하도록 한다.Referring to FIG. 11, in step 1110, the shopping cart 610 generates barcode information. The process of generating the barcode information will be described in detail later with reference to FIG. 12.
단계 1120에서 쇼핑 카트(610)는 바코드 정보를 쇼핑 데이터 서버(630)로 전송한다.In step 1120, the shopping cart 610 transmits the barcode information to the shopping data server 630.
단계 1130에서 쇼핑 데이터 서버(630)는 바코드 정보에 대응하는 사용자가 쇼핑 쇼핑 카트(610)를 통해 구매한 상품의 가격, 제조사 등의 기본 정보 및 상품의 진열 위치를 포함하는 소비자 구매 정보를 생성한다.In step 1130, the shopping data server 630 generates consumer purchase information including a price of a product purchased by a user corresponding to the barcode information, basic information such as a manufacturer, and a display position of the product. .
단계 1140에서 쇼핑 데이터 서버(630)는 소비자 구매 정보를 광고 서버(620)로 전송한다.In step 1140, the shopping data server 630 transmits consumer purchase information to the advertisement server 620.
단계 1150에서 광고 서버(620)는 소비자 구매 정보에 연관된 추천 상품을 미리 설정된 기준에 따라 쇼핑 데이터 서버(630)의 데이터베이스를 참조하여 선정하고, 추천 상품 정보를 쇼핑 데이터 서버(630)로 요청한다.In step 1150, the advertisement server 620 selects a recommended product related to consumer purchase information by referring to a database of the shopping data server 630 according to a preset criterion, and requests the recommended product information to the shopping data server 630.
단계 1160에서 쇼핑 데이터 서버(630)는 추천 상품 정보를 광고 서버(620)로 전송한다.In step 1160, the shopping data server 630 transmits the recommended product information to the advertisement server 620.
단계 1170에서 광고 서버(620)는 추천 상품 정보를 포함하는 광고 정보를 생성하여 소비자 단말(10)로 전송한다. In step 1170, the advertisement server 620 generates advertisement information including recommended product information and transmits it to the consumer terminal 10.
단계 1180에서 쇼핑 데이터 서버(630)는 빅데이터 분석을 통해 데이터베이스를 갱신하다. 예를 들어, 쇼핑 데이터 서버(630)는 지속적으로 단말이나 타 서버로부터 상품과 소비자 구매 정보 등의 소비자와 연관된 정보를 수집할 수 있고, 수집된 데이터를 빅데이터 분석을 통해 쇼핑 데이터로 가공할 수 있다.In step 1180, the shopping data server 630 updates the database through big data analysis. For example, the shopping data server 630 may continuously collect consumer-related information such as products and consumer purchase information from a terminal or other server, and process the collected data into shopping data through big data analysis. have.
단계 1190에서 쇼핑 데이터 서버(630)는 업자 단말(20)로부터 쇼핑 데이터를 요청받는다. 또는 쇼핑 데이터 서버(630)는 소비자 단말(10)로부터 쇼핑 데이터를 요청 받을 수 있다.In step 1190, the shopping data server 630 receives a request for shopping data from the vendor terminal 20. Alternatively, the shopping data server 630 may receive a request for shopping data from the consumer terminal 10.
단계 1195에서 쇼핑 데이터 서버(630)는 쇼핑 데이터를 업자 단말(20)로 전송한다.In step 1195, the shopping data server 630 transmits the shopping data to the vendor terminal 20.
도 12는 본 발명의 일 실시예에 따른 쇼핑 카트가 상품을 인식하는 방법을 예시한 순서도이다. 이하 설명하는 각 단계는 도 12를 참조하여 상술한 쇼핑 카트를 구성하는 각 기능부를 통해 수행되는 과정이나 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 쇼핑 카트로 통칭하도록 한다. 또한, 도 12의 각 단계는 도 11에서 상술한 단계 1110에 해당한다.12 is a flowchart illustrating a method of recognizing a product by a shopping cart according to an embodiment of the present invention. Each of the steps described below will be collectively referred to as a shopping cart for the purpose of concise and clear explanation of the invention or the process performed by each functional unit constituting the shopping cart described above with reference to FIG. 12. In addition, each step of FIG. 12 corresponds to step 1110 described above in FIG. 11.
도 12를 참조하면, 단계 1210에서 쇼핑 카트는 인식 영역에 구비된 무게 센서를 통해 무게를 측정한다. Referring to FIG. 12, in step 1210, the shopping cart measures the weight through a weight sensor provided in the recognition area.
단계 1220에서 쇼핑 카트는 단계 1210에서 측정한 무게가 지정된 수치 이상인지 판단한다.In step 1220, the shopping cart determines whether the weight measured in step 1210 is equal to or greater than the specified value.
단계 1220에서 무게가 지정된 수치 미만인 경우, 쇼핑 카트는 단계 1210의 과정을 반복 수행한다.If the weight is less than the specified value in step 1220, the shopping cart repeats the process of step 1210.
단계 1220에서 무게가 기정된 수치 이상인 경우, 단계 1230에서 쇼핑 카트는 상품을 촬영하여 이미지를 생성한다. 이 때, 쇼핑 카트는 인식 영역을 상이한 방향에서 촬영하는 복수의 카메라를 통해 각 방향에 상응하는 복수의 이미지를 생성할 수 있다.If the weight is greater than or equal to the predetermined value in step 1220, the shopping cart photographs the product and generates an image in step 1230. In this case, the shopping cart may generate a plurality of images corresponding to each direction through a plurality of cameras photographing the recognition area in different directions.
단계 1240에서 쇼핑 카트는 이미지로부터 후보 바코드 영역을 검출한다. 예를 들어, 쇼핑 카트는 이미지에 대해 지정된 전처리 과정을 수행하고, 전처리된 이미지에서 상품에 해당하는 객체 영역을 검출하고, 객체 영역에서 후보 바코드 영역을 검출할 수 있다. In step 1240, the shopping cart detects a candidate barcode area from the image. For example, the shopping cart may perform a pre-processing process designated for an image, detect an object area corresponding to a product in the preprocessed image, and detect a candidate barcode area in the object area.
단계 1250에서 쇼핑 카트는 미리 훈련된 컨볼루션 신경망에 후보 바코드 영역을 입력하여 각 후보 바코드 영역에 대한 인식률을 검출하고, 인식률이 가장 높은 후보 바코드 영역을 바코드 영역으로 검출한다.In step 1250, the shopping cart detects a recognition rate for each candidate barcode area by inputting a candidate barcode area to a pretrained convolutional neural network, and detects a candidate barcode area having the highest recognition rate as a barcode area.
단계 1260에서 쇼핑 카트는 바코드 영역에 상응하는 인식률이 임계값 이하인지 판단한다.In step 1260, the shopping cart determines whether the recognition rate corresponding to the barcode area is less than or equal to a threshold value.
단계 1260에서 바코드 영역에 상응하는 인식률이 임계값을 초과하는 경우, 단계 1270에서 쇼핑 카트는 바코드 영역의 바코드를 인식하여 바코드 정보를 생성한다.In step 1260, when the recognition rate corresponding to the barcode area exceeds the threshold value, in step 1270, the shopping cart recognizes the barcode of the barcode area to generate barcode information.
단계 1260에서 바코드 영역에 상응하는 인식률이 임계값 이하인 경우, 단계 1280에서 쇼핑 카트는 해당 상품의 확인이 필요함을 나타내는 점검 메시지를 생성한다. 이 때, 점검 메시지는 바코드 영역의 바코드를 포함할 수 있다.In step 1260, if the recognition rate corresponding to the barcode area is less than or equal to the threshold value, in step 1280, the shopping cart generates a check message indicating that the product needs to be checked. In this case, the check message may include a barcode in the barcode area.
단계 1290에서 쇼핑 카트는 모터를 제어하여 상품을 인식 영역에서 보관 영역으로 운반한다. 이 때, 쇼핑 카트는 보관 영역에 위치하는 그물망의 높이를 상품의 무게에 따라 제어할 수 있다.In step 1290, the shopping cart controls the motor to transport the product from the recognition area to the storage area. In this case, the shopping cart may control the height of the net located in the storage area according to the weight of the product.
단계 1295에서 쇼핑 카트는 바코드 정보 및 점검 메시지를 쇼핑 데이터 서버(630)로 전송한다.In step 1295, the shopping cart transmits the barcode information and a check message to the shopping data server 630.
따라서, 본 발명의 일 실시예에 따른 쇼핑 카트는 상품에 별도의 전자태그를 사용하지 않으면서 점원이 바코드 리더를 사용하는 작업 없이 소비자가 구매하려는 상품을 자동 인식하여 인식된 상품의 가격을 산출하고, 상품의 결재를 수행할 수 있다.Accordingly, the shopping cart according to an embodiment of the present invention calculates the price of the recognized product by automatically recognizing the product that the consumer wants to purchase without the operation of the clerk using a barcode reader without using a separate electronic tag for the product. , You can pay for the product.
상술한 본 발명의 실시 예들은 다양한 수단을 통해 구현될 수 있다. 본 발명의 실시 예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 실시 예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시 예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다. 또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. 더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.The above-described embodiments of the present invention can be implemented through various means. Embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof. In the case of implementation by hardware, the method according to embodiments of the present invention includes one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), It can be implemented by field programmable gate arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, and the like. In the case of implementation by firmware or software, the method according to the embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. A computer program in which software codes and the like are recorded may be stored in a computer-readable recording medium or a memory unit and driven by a processor. The memory unit may be located inside or outside the processor, and may exchange data with the processor through various known means. In addition, combinations of each block of the block diagram attached to the present invention and each step of the flowchart may be performed by computer program instructions. Since these computer program instructions can be mounted on the encoding processor of a general-purpose computer, special purpose computer or other programmable data processing equipment, the instructions executed by the encoding processor of the computer or other programmable data processing equipment are each block of the block diagram or Each step of the flow chart will create a means to perform the functions described. These computer program instructions can also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular way, so that the computer-usable or computer-readable memory It is also possible to produce an article of manufacture in which the instructions stored in the block diagram contain instruction means for performing the functions described in each block of the block diagram or each step of the flowchart. Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment. It is also possible for the instructions to perform the processing equipment to provide steps for performing the functions described in each block of the block diagram and each step of the flowchart. In addition, each block or each step may represent a module, segment, or part of code containing one or more executable instructions for executing a specified logical function. It should also be noted that in some alternative embodiments, functions mentioned in blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially simultaneously, or the blocks or steps may sometimes be performed in the reverse order depending on the corresponding function.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art to which the present invention pertains will be able to understand that the present invention can be implemented in other specific forms without changing the technical spirit or essential features. Therefore, the embodiments described above are illustrative in all respects and should be understood as non-limiting. The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. .

Claims (26)

  1. 상품을 인식하는 쇼핑 카트에 있어서,In a shopping cart that recognizes a product,
    복수의 카메라를 통해 인식 영역에 위치하는 상품의 이미지를 생성하고, 컨볼루션 신경망(Convolution Neural Network)을 통해 상기 이미지에 대응하는 바코드 영역을 검출하고, 상기 바코드 영역에 대응하는 바코드 정보를 생성하는 인식부; Recognition of generating an image of a product located in a recognition area through a plurality of cameras, detecting a barcode area corresponding to the image through a convolution neural network, and generating barcode information corresponding to the barcode area part;
    상기 바코드 정보를 네트워크를 통해 서버로 전송하는 통신부; 및A communication unit for transmitting the barcode information to a server through a network; And
    상기 상품의 바코드 정보가 생성되는 경우, 상기 상품을 보관 영역으로 운반하는 운반부;When the barcode information of the product is generated, a transport unit that transports the product to a storage area;
    를 포함하는 쇼핑 카트.A shopping cart containing.
  2. 제1항에 있어서,The method of claim 1,
    상기 인식부는 상기 인식 영역에 장착된 무게 센서를 통해 측정된 무게가 지정된 수치 이상인 경우, 상기 이미지를 생성하는 것을 특징으로 하는 쇼핑 카트.And the recognition unit generates the image when the weight measured by the weight sensor mounted in the recognition area is equal to or greater than a specified value.
  3. 제1항에 있어서,The method of claim 1,
    각 상기 카메라는 상이한 방향으로 상기 상품을 촬영하는 것을 특징으로 하는 쇼핑 카트.Each of the cameras photographing the product in a different direction.
  4. 제1 항에 있어서,The method of claim 1,
    상기 인식부는 상기 이미지로부터 후보 바코드 영역을 검출하고, 상기 후보 바코드 영역을 상기 컨볼루션 신경망에 입력하여 상기 후보 바코드 영역이 바코드 영역의 클래스로 분류되는 확률인 인식률을 산출하고, 상기 후보 바코드 영역 중 인식률이 가장 높은 후보 바코드 영역을 상기 바코드 영역으로 검출하는 것을 특징으로 하는 쇼핑 카트.The recognition unit detects a candidate barcode region from the image, inputs the candidate barcode region into the convolutional neural network to calculate a recognition rate, which is a probability that the candidate barcode region is classified as a class of the barcode region, and calculates a recognition rate among the candidate barcode regions. The shopping cart, characterized in that the highest candidate barcode region is detected as the barcode region.
  5. 제4항에 있어서,The method of claim 4,
    상기 인식부는 상기 바코드 영역에 상응하는 인식률이 지정된 임계값 이하인 경우, 점검 메시지를 생성하는 것을 특징으로 하는 쇼핑 카트.And the recognition unit generates a check message when a recognition rate corresponding to the barcode area is less than or equal to a specified threshold.
  6. 제1항에 있어서,The method of claim 1,
    상기 인식 영역에서 상기 보관 영역으로 운반된 상기 상품에 가해지는 충격을 완화하는 그물망을 포함하는 보관부Storage unit comprising a net for mitigating the impact applied to the product carried from the recognition area to the storage area
    를 더 포함하는 쇼핑 카트.A shopping cart further comprising.
  7. 제6항에 있어서,The method of claim 6,
    상기 보관부는 상기 상품의 무게에 따라 상기 그물망의 높이를 조절하는 것을 특징으로 하는 쇼핑 카트.The storage unit, a shopping cart, characterized in that to adjust the height of the net according to the weight of the product.
  8. 제1 항에 있어서,The method of claim 1,
    상기 보관 영역 내에는 보관 용기가 수납되고, A storage container is accommodated in the storage area,
    상기 운반부는 상기 상품을 상기 인식 영역에서 상기 보관 용기 내로 운반하는 것을 특징으로 하는 쇼핑 카트.And the transport unit transports the product from the recognition area into the storage container.
  9. 쇼핑 카트가 상품을 인식하는 방법에 있어서,In a method for a shopping cart to recognize a product,
    복수의 카메라를 통해 인식 영역에 위치하는 상품의 이미지를 생성하는 단계;Generating an image of a product located in the recognition area through a plurality of cameras;
    컨볼루션 신경망(Convolution Neural Network)을 통해 상기 이미지에 대응하는 바코드 영역을 검출하는 단계;Detecting a barcode region corresponding to the image through a convolution neural network;
    상기 바코드 영역에 대응하는 바코드 정보를 생성하는 단계;Generating barcode information corresponding to the barcode area;
    상기 바코드 정보를 네트워크를 통해 서버로 전송하는 단계; 및Transmitting the barcode information to a server through a network; And
    상기 상품의 바코드 정보가 생성되는 경우, 상기 상품을 보관 영역으로 운반하는 단계;Transporting the product to a storage area when barcode information of the product is generated;
    를 포함하는 상품 인식 방법.Product recognition method comprising a.
  10. 제9항에 있어서,The method of claim 9,
    상기 복수의 카메라를 통해 인식 영역에 위치하는 상품의 이미지를 생성하는 단계는 상기 인식 영역에 장착된 무게 센서를 통해 측정된 무게가 지정된 수치 이상인 경우, 상기 이미지를 생성하는 단계인 것을 특징으로 하는 상품 인식 방법.The step of generating the image of the product positioned in the recognition area through the plurality of cameras comprises generating the image when the weight measured by the weight sensor mounted in the recognition area is equal to or greater than a specified value. Recognition method.
  11. 제9항에 있어서,The method of claim 9,
    각 상기 카메라는 상이한 방향으로 상기 상품을 촬영하는 것을 특징으로 하는 상품 인식 방법.The product recognition method, characterized in that each of the cameras photographs the product in a different direction.
  12. 제9 항에 있어서,The method of claim 9,
    상기 컨볼루션 신경망을 통해 상기 이미지에 대응하는 바코드 영역을 검출하는 단계는,The step of detecting a barcode region corresponding to the image through the convolutional neural network,
    상기 이미지로부터 후보 바코드 영역을 검출하는 단계;Detecting a candidate barcode area from the image;
    상기 후보 바코드 영역을 상기 컨볼루션 신경망에 입력하여 상기 후보 바코드 영역이 바코드 영역의 클래스로 분류되는 확률인 인식률을 산출하는 단계; 및Inputting the candidate barcode region into the convolutional neural network to calculate a recognition rate, which is a probability that the candidate barcode region is classified as a class of the barcode region; And
    상기 후보 바코드 영역 중 인식률이 가장 높은 후보 바코드 영역을 상기 바코드 영역으로 검출하는 단계Detecting a candidate barcode region having the highest recognition rate among the candidate barcode regions as the barcode region
    를 포함하는 것을 특징으로 하는 상품 인식 방법.Product recognition method comprising a.
  13. 제12항에 있어서,The method of claim 12,
    상기 바코드 영역에 상응하는 인식률이 지정된 임계값 이하인 경우, 점검 메시지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 상품 인식 방법.And generating an inspection message when the recognition rate corresponding to the barcode area is less than or equal to a specified threshold value.
  14. 제9항에 있어서,The method of claim 9,
    상기 인식 영역에서 상기 보관 영역으로 운반된 상기 상품에 가해지는 충격을 완화하는 그물망의 높이를 상기 상품의 무게에 따라 조절하는 단계를 더 포함하는 것을 특징으로 하는 상품 인식 방법.And adjusting a height of a net for mitigating an impact applied to the product carried from the recognition area to the storage area according to the weight of the product.
  15. 제9항 내지 제14항 중 어느 하나의 방법을 실행하는 컴퓨터 프로그램이 저장된 컴퓨터가 판독 가능한 기록매체.A computer-readable recording medium in which a computer program for executing any one of claims 9 to 14 is stored.
  16. 구매된 상품의 바코드 정보를 생성하는 쇼핑 카트;A shopping cart for generating barcode information of the purchased product;
    상기 바코드 정보에 따른 소비자 구매 정보를 생성하는 쇼핑 데이터 서버; 및A shopping data server that generates consumer purchase information according to the barcode information; And
    상기 소비자 구매 정보에 따라 상기 상품에 대응하는 추천 상품 정보를 검출하고, 상기 추천 상품 정보에 따른 광고 정보를 생성하여 단말로 제공하는 광고 서버;An advertisement server that detects recommended product information corresponding to the product according to the consumer purchase information, generates advertisement information according to the recommended product information, and provides it to a terminal;
    를 포함하는 쇼핑 서비스 제공 시스템.Shopping service providing system comprising a.
  17. 제16항에 있어서,The method of claim 16,
    상기 광고 서버는 상기 쇼핑 데이터 서버의 빅데이터를 자연어 처리(NLP: Natural Language Processing) 알고리즘을 통해 분석하여 미리 설정된 연관 관계에 따라 상기 소비자 구매 정보와 연관된 추천 상품을 선정하고, 선정된 추천 상품의 정보인 추천 상품 정보를 검출하는 것을 특징으로 하는 쇼핑 서비스 제공 시스템.The advertisement server analyzes the big data of the shopping data server through a natural language processing (NLP) algorithm, selects a recommended product related to the consumer purchase information according to a preset relationship, and selects information on the selected recommended product. A shopping service providing system, characterized in that detecting information on recommended products.
  18. 제16항에 있어서,The method of claim 16,
    상기 쇼핑 데이터 서버는 각 상품에 대응하는 상품 정보 및 소비자에 대응하는 소비자 정보를 각각 수집하고, 빅데이터 분석을 통해 데이터베이스의 쇼핑 데이터를 갱신하는 것을 특징으로 하는 쇼핑 서비스 제공 시스템.The shopping data server collects product information corresponding to each product and consumer information corresponding to the consumer, respectively, and updates shopping data in a database through big data analysis.
  19. 제18항에 있어서,The method of claim 18,
    상기 소비자 정보는 상기 소비자 구매 정보를 누적한 구매 패턴 정보, 소비자의 온라인 행동 데이터를 포함하는 것을 특징으로 하는 쇼핑 서비스 제공 시스템.The consumer information is a shopping service providing system, characterized in that it includes purchase pattern information accumulated the consumer purchase information and online behavior data of the consumer.
  20. 제18항에 있어서,The method of claim 18,
    상기 쇼핑 데이터 서버는 상기 쇼핑 데이터를 요청받는 경우, 상기 요청에 대응하는 상기 쇼핑 데이터를 단말로 제공하는 것을 특징으로 하는 쇼핑 서비스 제공 시스템. The shopping data server, when receiving a request for the shopping data, provides the shopping data corresponding to the request to a terminal.
  21. 쇼핑 서비스 제공 시스템이 쇼핑 서비스를 제공하는 방법에 있어서,In the method for the shopping service providing system to provide a shopping service,
    쇼핑 카트가 구매된 상품의 바코드 정보를 생성하는 단계;Generating barcode information of products for which the shopping cart has been purchased;
    쇼핑 데이터 서버가 상기 바코드 정보에 따른 소비자 구매 정보를 생성하는 단계; 및Generating, by a shopping data server, consumer purchase information according to the barcode information; And
    광고 서버가 상기 소비자 구매 정보에 따라 상기 상품에 대응하는 추천 상품 정보를 검출하고, 상기 추천 상품 정보에 따른 광고 정보를 생성하여 단말로 제공하는 단계;Detecting, by an advertisement server, recommended product information corresponding to the product according to the consumer purchase information, generating advertisement information according to the recommended product information, and providing it to a terminal;
    를 포함하는 쇼핑 서비스 제공 방법.Shopping service providing method comprising a.
  22. 제21항에 있어서,The method of claim 21,
    상기 광고 서버가 상기 소비자 구매 정보에 따라 상기 상품에 대응하는 추천 상품 정보를 검출하고, 상기 추천 상품 정보에 따른 광고 정보를 생성하여 단말로 제공하는 단계는,The step of the advertisement server detecting recommended product information corresponding to the product according to the consumer purchase information, generating advertisement information according to the recommended product information, and providing it to a terminal,
    상기 광고 서버가 상기 쇼핑 데이터 서버의 빅데이터를 자연어 처리(NLP: Natural Language Processing) 알고리즘을 통해 분석하여 미리 설정된 연관 관계에 따라 상기 소비자 구매 정보와 연관된 추천 상품을 선정하고, 선정된 추천 상품의 정보인 추천 상품 정보를 검출하는 단계The advertisement server analyzes the big data of the shopping data server through a natural language processing (NLP) algorithm, selects a recommended product related to the consumer purchase information according to a preset relationship, and information on the selected recommended product Detecting information on recommended products
    를 포함하는 것을 특징으로 하는 쇼핑 서비스 제공 방법.Shopping service providing method comprising a.
  23. 제21항에 있어서,The method of claim 21,
    상기 쇼핑 데이터 서버가 각 상품에 대응하는 상품 정보 및 소비자에 대응하는 소비자 정보를 각각 수집하고, 빅데이터 분석을 통해 데이터베이스의 쇼핑 데이터를 갱신하는 단계를 더 포함하는 것을 특징으로 하는 쇼핑 서비스 제공 방법.And the shopping data server collecting product information corresponding to each product and consumer information corresponding to the consumer, respectively, and updating shopping data in a database through big data analysis.
  24. 제23항에 있어서,The method of claim 23,
    상기 소비자 정보는 상기 소비자 구매 정보를 누적한 구매 패턴 정보, 소비자의 온라인 행동 데이터를 포함하는 것을 특징으로 하는 쇼핑 서비스 제공 방법.Wherein the consumer information includes purchase pattern information accumulating the consumer purchase information and online behavior data of the consumer.
  25. 제23항에 있어서,The method of claim 23,
    상기 쇼핑 데이터 서버가 상기 쇼핑 데이터를 요청받는 경우, 상기 요청에 대응하는 상기 쇼핑 데이터를 단말로 제공하는 것을 특징으로 하는 쇼핑 서비스 제공 방법. When the shopping data server receives a request for the shopping data, the shopping service providing method, characterized in that for providing the shopping data corresponding to the request to a terminal.
  26. 제21항 내지 제25항 중 어느 하나의 방법을 실행하는 컴퓨터 프로그램이 저장된 컴퓨터가 판독 가능한 기록매체.A computer-readable recording medium in which a computer program for executing any one of claims 21 to 25 is stored.
PCT/KR2019/016751 2019-08-02 2019-11-29 Shopping cart and product recognition method thereof, system and method for providing shopping service using same WO2021025237A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020190094103A KR102274773B1 (en) 2019-08-02 2019-08-02 System and method for providing shopping service
KR1020190094102A KR102120092B1 (en) 2019-08-02 2019-08-02 Shopping cart using artificial intelligence and method for detecting product
KR10-2019-0094102 2019-08-02
KR10-2019-0094103 2019-08-02

Publications (1)

Publication Number Publication Date
WO2021025237A1 true WO2021025237A1 (en) 2021-02-11

Family

ID=74502744

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/016751 WO2021025237A1 (en) 2019-08-02 2019-11-29 Shopping cart and product recognition method thereof, system and method for providing shopping service using same

Country Status (1)

Country Link
WO (1) WO2021025237A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882370A (en) * 2022-07-07 2022-08-09 西安超嗨网络科技有限公司 Intelligent commodity identification method and device, terminal and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08142871A (en) * 1994-11-17 1996-06-04 Kokusai Electric Co Ltd Shopping cart and shopping cart system
JP2005122609A (en) * 2003-10-20 2005-05-12 Mitsubishi Electric Corp Device for recognizing photographed object
KR20070089563A (en) * 2006-02-28 2007-08-31 후지쯔 가부시끼가이샤 Information terminal apparatus, method of controlling the same, computer product, and information output system
JP2015232517A (en) * 2014-06-10 2015-12-24 大和製衡株式会社 Article regulation device and combination balance including the same
KR20170021454A (en) * 2015-08-18 2017-02-28 주식회사 엠젠플러스 Individual products through big data analysis using information collected on the basis of the user's media recommended methods and product recommendation system
US20180108101A1 (en) * 2016-10-17 2018-04-19 Confirm, Inc. System and method for classification and authentication of identification documents using a machine learning based convolutional neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08142871A (en) * 1994-11-17 1996-06-04 Kokusai Electric Co Ltd Shopping cart and shopping cart system
JP2005122609A (en) * 2003-10-20 2005-05-12 Mitsubishi Electric Corp Device for recognizing photographed object
KR20070089563A (en) * 2006-02-28 2007-08-31 후지쯔 가부시끼가이샤 Information terminal apparatus, method of controlling the same, computer product, and information output system
JP2015232517A (en) * 2014-06-10 2015-12-24 大和製衡株式会社 Article regulation device and combination balance including the same
KR20170021454A (en) * 2015-08-18 2017-02-28 주식회사 엠젠플러스 Individual products through big data analysis using information collected on the basis of the user's media recommended methods and product recommendation system
US20180108101A1 (en) * 2016-10-17 2018-04-19 Confirm, Inc. System and method for classification and authentication of identification documents using a machine learning based convolutional neural network

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882370A (en) * 2022-07-07 2022-08-09 西安超嗨网络科技有限公司 Intelligent commodity identification method and device, terminal and storage medium

Similar Documents

Publication Publication Date Title
US20220414713A1 (en) Information collection system, electronic shelf label, electronic pop advertising, and character information display device
CN102831730B (en) Sales data processing apparatus
CN108520194A (en) Kinds of goods sensory perceptual system based on imaging monitor and kinds of goods cognitive method
WO2016167484A1 (en) Apparatus for appraising article
WO2016171319A1 (en) Method and device for recommending in-store product by using visible light communication
US20080319835A1 (en) Information system and information processing apparatus
CN109726759B (en) Unmanned vending method, device, system, electronic equipment and computer readable medium
WO2012093744A1 (en) System and method for analyzing a moving line in which rfid technology and imaging technology are combined
US20040262391A1 (en) Apparatus, method, and system for positively identifying an item
WO2019143217A1 (en) Self-checkout device to which hybrid product recognition technology is applied
WO2022145614A1 (en) Livestock weight estimation system and method using livestock barn image
CN108376447A (en) The remote weighing platform intervened with delayed fraud
US20210357658A1 (en) System and method for detecting scan irregularities at self-checkout terminals
JP2010055248A (en) Sales information generation system with clientele
WO2018225939A1 (en) Method, device, and computer program for providing image-based advertisement
WO2022035141A1 (en) Method and system for verifying whether barcode is scanned
JP2016218821A (en) Marketing information use device, marketing information use method and program
WO2021025237A1 (en) Shopping cart and product recognition method thereof, system and method for providing shopping service using same
WO2021071121A1 (en) Image-based purchasing behavior recognition system and method
WO2024005368A1 (en) Meter-reading service system and method
CN113808107B (en) Image recommendation method, device, electronic equipment and storage medium
WO2022030717A1 (en) Smart shopping cart having automatic opening/closing cover linked with product scanning, and smart shopping method using same
JP7092205B2 (en) Customer information registration device
WO2017039369A1 (en) Device for processing payment information by using mobile terminal, and system and method therefor
JP6605822B2 (en) Customer information system and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19940595

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19940595

Country of ref document: EP

Kind code of ref document: A1