KR102616999B1 - Automated unmanned liquor sales system and sales data collection device using vision technology - Google Patents
Automated unmanned liquor sales system and sales data collection device using vision technology Download PDFInfo
- Publication number
- KR102616999B1 KR102616999B1 KR1020230126981A KR20230126981A KR102616999B1 KR 102616999 B1 KR102616999 B1 KR 102616999B1 KR 1020230126981 A KR1020230126981 A KR 1020230126981A KR 20230126981 A KR20230126981 A KR 20230126981A KR 102616999 B1 KR102616999 B1 KR 102616999B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- liquor
- module
- information
- payment
- Prior art date
Links
- 238000005516 engineering process Methods 0.000 title description 14
- 238000013480 data collection Methods 0.000 title description 4
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims abstract description 47
- 235000013334 alcoholic beverage Nutrition 0.000 claims abstract description 44
- 238000010191 image analysis Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 19
- 238000010801 machine learning Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000003068 static effect Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000001476 alcoholic effect Effects 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000012358 sourcing Methods 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/006—Details of the software used for the vending machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1413—1D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 주류를 자동으로 판매하는 주류 판매 시스템으로서, 주류가 저장되는 공간이 마련되며, 사용자에 의해 개폐 가능한 도어부를 포함하는 주류저장고; 사용자에 의해 선택된 주류를 식별하기 위해, 상기 주류의 용기 중 적어도 일부면에 미리 형성된 식별코드를 인식함으로써, 상기 주류정보를 확인하는, 식별코드인식모듈; 상기 주류의 식별코드에 대응되어 미리 저장된 주류정보를 DB모듈부터 로딩하고, 상기 주류정보에 대응되는 결제정보를 생성하며, 사용자가 선택한 결제수단을 통해 최종결제가 수행되도록 형성된 결제처리부를 포함하는, 결제모듈; 상기 주류저장고 외측에 구비되는 이미지촬영모듈로서, 사용자가 상기 주류저장고로부터 주류를 인출하여 상기 식별코드인식모듈에 상기 주류를 태깅하는 이동경로 상에 구비되거나 또는 상기 주류저장고 내부를 촬영하도록 구비되어, 상기 주류에 대한 적어도 하나의 촬영이미지를 획득하는 이미지촬영모듈; 및 상기 이미지촬영모듈로부터 획득된 촬영이미지를 전처리하여 대상이미지를 생성하되, 상기 대상이미지에 포함된 주류의 외관 중 적어도 일부를 미리 설정된 방식으로 분석함으로써, 상기 대상이미지 상의 상기 주류에 대한 상태정보를 추출하는 이미지분석모듈로서, 상기 식별코드인식모듈에 의해 인식된 주류정보를 기반으로, 상기 상태정보에 대응되는 기준이미지를 DB모듈로부터 로딩하고, 상기 대상이미지 및 기준이미지를 미리 설정된 방식으로 비교 분석함으로써, 상호 매칭 여부를 판단하는, 이미지분석모듈; 을 포함하고, 상기 결제모듈은, 상기 이미지분석모듈에 의해, 상기 대상이미지 및 기준이미지가 상호 매칭되는 경우에, 상기 결제처리부가 활성화되도록 설정된, 주류 판매 시스템에 관한 것이다.The present invention is a liquor vending system that automatically sells liquor, comprising: a liquor storage room provided with a space for storing liquor, and including a door that can be opened and closed by a user; An identification code recognition module that verifies the alcoholic beverage information by recognizing an identification code preformed on at least a portion of the container of the alcoholic beverage to identify the alcoholic beverage selected by the user; A payment processing unit configured to load pre-stored alcoholic beverage information corresponding to the identification code of the alcoholic beverage from the DB module, generate payment information corresponding to the alcoholic beverage information, and perform the final payment through the payment method selected by the user, Payment module; An image capturing module provided outside the liquor storage, which is provided on a movement path where a user withdraws alcohol from the liquor storage and tags the alcohol to the identification code recognition module, or is provided to photograph the inside of the liquor storage, An image capturing module that acquires at least one captured image of the liquor; and preprocessing the captured image obtained from the image capturing module to generate a target image, and analyzing at least part of the appearance of the liquor included in the target image in a preset manner to generate status information about the liquor on the target image. An image analysis module that extracts, based on the mainstream information recognized by the identification code recognition module, loads a reference image corresponding to the status information from the DB module, and compares and analyzes the target image and the reference image in a preset manner. an image analysis module that determines whether there is a mutual match; It relates to an alcohol sales system, wherein the payment module is set to activate the payment processing unit when the target image and the reference image match each other by the image analysis module.
Description
본 발명은 비전기술을 이용한 자동화 무인 주류 판매 시스템 및 판매 데이터 수집 장치에 관한 것이다.The present invention relates to an automated unmanned liquor sales system and sales data collection device using vision technology.
무인판매점은 전 세계적으로 확산 중이며, 최근 세계적으로 유행했던 코로나 바이러스로 인해, 무인판매점에 대한 확산은 점점 가속화될 것으로 예상된다. Unmanned stores are spreading around the world, and due to the recent coronavirus pandemic, the spread of unmanned stores is expected to accelerate.
대표적으로 최근 미국의 아마존이 무인판매점 아마존고(Amazon GO)를 선보이고 있으며, 아마존고에서는 카메라와 센서로 소비자가 어떤 상품을 고르는지 인식하고 아마존 앱으로 결제까지 진행하고 있다. 중국에서는 RFID 태그를 활용한 무인 편의점도 확장추세에 있으며, 일본도 고용 인력 부족으로 정부 주도하에 무인 편의점을 늘리고 있다. For example, Amazon in the U.S. has recently introduced an unmanned store called Amazon GO, which uses cameras and sensors to recognize which products consumers are selecting and even processes payments through the Amazon app. In China, unmanned convenience stores using RFID tags are also on the rise, and Japan is also increasing the number of unmanned convenience stores under the leadership of the government due to a shortage of employed people.
이러한 무인판매점 시장의 성장에 맞춰, 무인판매점에 필수적인 무인판매 시스템 역시 향후 폭발적인 성장할 것으로 예상되며, 시장 성장에 맞춰, 다양한 소비자의 니즈를 충족시키기 위한 무인 판매 시스템에 대한 기술 개발이 진행되고 있다. In line with the growth of the unmanned retail market, the unmanned sales system, which is essential for unmanned stores, is also expected to grow explosively in the future, and in line with the market growth, technology development for the unmanned sales system is in progress to meet the needs of various consumers.
이와 관련된 종래기술로는 한국등록특허 제10-1919916호가 개시된다. The prior art related to this is disclosed in Korean Patent No. 10-1919916.
상품 또는 서비스를 제공하는 무인판매기에 내장되어 각종 신호를 처리하고 제어 명령을 전송하는 마이크로프로세서와 무인판매기 내부로 상품 또는 서비스 제공에 대한 대금으로 투입되는 동전이나 지폐를 인식할 수 있는 대금인식장치 사이에, 간단하게 탈부착 할 수 있는 결제신호 전달장치를 연결하고 사용자의 스마트 결제를 위한 사용자 단말기에 구비되는 비인증결제방식 전자카드를 포함한 전자결제수단을 이용하여 결제 신호 전달장치와 무선통신을 수행하며 무인판매기에서 제공하는 상품 또는 서비스에 대한 대금을 호환성 있게 결제함으로써, 현금없이 편리하게 결제할 수 있는 스마트 결제를 위한 사용자단말기, 무인판매기, 결제서버 및 이를 이용한 무인 판매기 결제 방법이 개시되어 있다. Between a microprocessor built into an unmanned vending machine that processes various signals and transmits control commands, and a payment recognition device that can recognize coins or bills inserted into the unmanned vending machine as payment for the provision of products or services. It connects a payment signal transmission device that can be easily attached and detached and performs wireless communication with the payment signal transmission device using electronic payment methods, including an unauthenticated payment method electronic card provided in the user terminal for smart payment. A user terminal, an unmanned vending machine, a payment server, and a payment method for an unmanned vending machine using the same are disclosed for smart payment that allows convenient payment without cash by compatible payment for products or services provided by the vending machine.
다만, 최근에는 단순히 스마트 결제뿐만 아니라, 무인판매점 또는 무인판매기의 효율적인 관리를 위한 기술의 필요성이 매우 높아졌다. 특히, 판매되는 제품을 보다 정확하게 식별하기 위해, 이미지 분석 및 기계학습이 적용된 기술의 수요가 높아지고 있다. However, recently, the need for technology not only for smart payments but also for efficient management of unmanned stores or unmanned vending machines has greatly increased. In particular, the demand for technologies using image analysis and machine learning is increasing to more accurately identify products being sold.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 자동화 관리 솔루션이 탑재되는 주류 판매 시스템을 제공하고자 한다. The purpose of the present invention to solve the above problems is to provide a liquor sales system equipped with an automated management solution.
특히, 이미지 분석과 같은 비전기술을 적용하고, 소비자가 이용하는 과정에서 자연스럽게 기계학습을 수행함으로써, 보다 효율적이고, 신뢰성 높은 주류 판매 시스템을 제공하고자 한다. In particular, we aim to provide a more efficient and reliable liquor sales system by applying vision technology such as image analysis and naturally performing machine learning during consumer use.
다양한 실시예들에서 이루고자 하는 기술적 과제들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 다양한 실시예들로부터 당해 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.The technical challenges to be achieved in the various embodiments are not limited to the matters mentioned above, and other technical challenges not mentioned may be considered by those skilled in the art from the various embodiments described below. It can be.
본 발명은 비전기술을 활용한 자동화 무인 주류 판매 시스템 및 판매 데이터 수집 장치에 관한 것으로, 다음과 같은 원리로 과제를 해결할 수 있다.The present invention relates to an automated unmanned liquor sales system and sales data collection device using vision technology, and can solve the problem using the following principles.
본 시스템은 비전기술을 활용하여 무인 주류 판매기 내부와 외부에서 발생하는 데이터를 수집할 수 있다. 내부에 설치된 카메라는 주류 상품의 진열 상태와 재고를 모니터링하고, 외부에 설치된 카메라는 사용자가 주류 판매기와 상호작용할 때 발생하는 데이터를 촬영할 수 있다. 이로써 주류 상품의 위치, 상태, 판매량, 사용자 행동 등 다양한 정보를 수집할 수 있다.This system utilizes vision technology to collect data generated inside and outside the unmanned liquor vending machine. Cameras installed inside monitor the display status and inventory of alcohol products, and cameras installed outside can capture data generated when users interact with alcohol vending machines. This allows you to collect a variety of information, including the location, condition, sales volume, and user behavior of alcoholic products.
수집된 데이터는 주류유통플랫폼(B2B)과 연동되어 실시간으로 전송된다. 주류유통플랫폼은 이 데이터를 종합적으로 분석하여 매장별, 상권별, 시즌별로 잘 나가는 상품과 적정 재고량을 도출할 수 있다. 또한, 경쟁 시장 분석, 가격 조절, 소비자 선호도 예측 등을 통해 최적의 상품 관리 전략을 수립할 수 있다.The collected data is linked to the mainstream distribution platform (B2B) and transmitted in real time. Liquor distribution platforms can comprehensively analyze this data to derive popular products and appropriate inventory levels by store, commercial district, and season. In addition, optimal product management strategies can be established through competitive market analysis, price control, and consumer preference prediction.
주류유통플랫폼은 분석 결과를 기반으로 각 무인 주류 판매기에 명령을 전달하여 자동으로 상품 소싱과 재고 조절을 수행할 수 있다. 이로써 각 매장은 최적의 상품을 공급하고, 소비자에게 더 나은 서비스를 제공할 수 있다.The liquor distribution platform can automatically perform product sourcing and inventory control by sending commands to each unmanned liquor vending machine based on the analysis results. This allows each store to supply optimal products and provide better service to consumers.
무인 주류 판매기 사용자의 반응 및 행동 데이터를 분석하여 소비자 경험을 향상시키는 데 기여할 수 있다. 예를 들어, 사용자의 선호도를 파악하여 추천 상품을 제안하거나, 사용자 행동 패턴을 분석하여 주류 판매기의 배치 위치를 최적화할 수 있다.By analyzing reaction and behavior data of users of unmanned alcohol vending machines, it can contribute to improving consumer experience. For example, recommended products can be suggested by identifying user preferences, or the placement of alcohol vending machines can be optimized by analyzing user behavior patterns.
이러한 원리를 통해 본 발명은 비전기술을 활용하여 무인 주류 판매 시스템을 효율적으로 운영하고, 판매 데이터를 수집하여 유통 효율성을 높이며, 소비자와 소매업체 간의 상호작용을 개선하는 자동화된 솔루션을 제공할 수 있다.Through these principles, the present invention utilizes vision technology to efficiently operate an unmanned liquor sales system, collect sales data to increase distribution efficiency, and provide an automated solution that improves interaction between consumers and retailers. .
또한 본 발명은 주류를 자동으로 판매하는 주류 판매 시스템으로서, 주류가 저장되는 공간이 마련되며, 사용자에 의해 개폐 가능한 도어부를 포함하는 주류저장고; 사용자에 의해 선택된 주류를 식별하기 위해, 상기 주류의 용기 중 적어도 일부면에 미리 형성된 식별코드를 인식함으로써, 상기 주류정보를 확인하는, 식별코드인식모듈; 상기 주류의 식별코드에 대응되어 미리 저장된 주류정보를 DB모듈부터 로딩하고, 상기 주류정보에 대응되는 결제정보를 생성하며, 사용자가 선택한 결제수단을 통해 최종결제가 수행되도록 형성된 결제처리부를 포함하는, 결제모듈; 상기 주류저장고 외측에 구비되는 이미지촬영모듈로서, 사용자가 상기 주류저장고로부터 주류를 인출하여 상기 식별코드인식모듈에 상기 주류를 태깅하는 이동경로 상에 구비되거나 또는 상기 주류저장고 내부를 촬영하도록 구비되어, 상기 주류에 대한 적어도 하나의 촬영이미지를 획득하는 이미지촬영모듈; 및 상기 이미지촬영모듈로부터 획득된 촬영이미지를 전처리하여 대상이미지를 생성하되, 상기 대상이미지에 포함된 주류의 외관 중 적어도 일부를 미리 설정된 방식으로 분석함으로써, 상기 대상이미지 상의 상기 주류에 대한 상태정보를 추출하는 이미지분석모듈로서, 상기 식별코드인식모듈에 의해 인식된 주류정보를 기반으로, 상기 상태정보에 대응되는 기준이미지를 DB모듈로부터 로딩하고, 상기 대상이미지 및 기준이미지를 미리 설정된 방식으로 비교 분석함으로써, 상호 매칭 여부를 판단하는, 이미지분석모듈; 을 포함하고, 상기 결제모듈은, 상기 이미지분석모듈에 의해, 상기 대상이미지 및 기준이미지가 상호 매칭되는 경우에, 상기 결제처리부가 활성화되도록 설정된, 주류 판매 시스템을 제공할 수 있다. In addition, the present invention is a liquor vending system that automatically sells liquor, comprising: a liquor storage room provided with a space for storing liquor, and including a door that can be opened and closed by the user; An identification code recognition module that verifies the alcoholic beverage information by recognizing an identification code preformed on at least a portion of the container of the alcoholic beverage to identify the alcoholic beverage selected by the user; A payment processing unit configured to load pre-stored alcoholic beverage information corresponding to the identification code of the alcoholic beverage from the DB module, generate payment information corresponding to the alcoholic beverage information, and perform the final payment through the payment method selected by the user, Payment module; An image capturing module provided outside the liquor storage, which is provided on a movement path where a user withdraws alcohol from the liquor storage and tags the alcohol to the identification code recognition module, or is provided to photograph the inside of the liquor storage, An image capturing module that acquires at least one captured image of the liquor; and preprocessing the captured image obtained from the image capturing module to generate a target image, and analyzing at least part of the appearance of the liquor included in the target image in a preset manner to generate status information about the liquor on the target image. An image analysis module that extracts, based on the mainstream information recognized by the identification code recognition module, loads a reference image corresponding to the status information from the DB module, and compares and analyzes the target image and the reference image in a preset manner. an image analysis module that determines whether there is a mutual match; It includes, and the payment module may provide an alcohol sales system in which the payment processing unit is set to be activated when the target image and the reference image are matched with each other by the image analysis module.
또한, 상기 이미지분석모듈은, 상기 촬영이미지 중 사용자의 신체 및 배경에 대한 부분을 미리 설정된 방식으로 제거하는, 전처리부; 상기 촬영이미지 중 상기 주류의 특징영역을 추출하고, 상기 특징영역을 이용하여 상기 주류의 X축, Y축 및 Z축 방향의 기울기를 연산함으로써, 상기 주류의 기울기정보를 획득하는, 상태정보연산부; 상기 식별코드인식모듈과 연동되며, 상기 식별코드에 대응되는 주류정보에 대한 입체이미지를 DB모듈로부터 로딩하고, 상기 입체이미지 중 상기 상태정보연산부의 기울기정보에 대응되는 기준이미지를 추출하는, 기준이미지생성부; 및 상기 촬영이미지 및 기준이미지를 미리 설정된 방식으로 비교 분석하여, 상호 유사도를 판단하는 유사판단부; 를 포함할 수 있다. In addition, the image analysis module includes a preprocessor that removes portions of the user's body and background from the captured image in a preset manner; a state information calculation unit configured to obtain tilt information of the mainstream by extracting a feature area of the mainstream from the captured image and calculating slopes in the X-axis, Y-axis, and Z-axis directions of the mainstream using the feature region; A reference image that is linked to the identification code recognition module, loads a three-dimensional image for mainstream information corresponding to the identification code from the DB module, and extracts a reference image corresponding to the tilt information of the state information calculation unit from the three-dimensional image. generation unit; and a similarity determination unit that compares and analyzes the captured image and the reference image in a preset manner to determine their degree of similarity. may include.
또한, 상기 상태정보연산부는, 상기 촬영이미지 중 상기 주류의 높이값 및 직경값을 연산함으로써, 상기 주류의 용량정보를 획득하도록 구성되며, 상기 기준이미지생성부는, 상기 용량정보를 더 고려하여, 상기 용량정보에 대응되는 입체이미지를 DB모듈로부터 로딩하도록 구성되되, 상기 DB모듈에 다른 용량정보로 구분되는 주류에 한하여 수행될 수 있다. In addition, the state information calculation unit is configured to obtain capacity information of the main stream by calculating a height value and a diameter value of the main stream among the captured images, and the reference image generator further considers the capacity information, It is configured to load a three-dimensional image corresponding to the capacity information from the DB module, but can only be performed for the mainstream that is classified by other capacity information in the DB module.
또한, 상기 특징영역은 미리 설정된 제1차 내지 제n차 특징영역을 포함하며, 상기 상태정보연산부는, 제k차 특징영역의 추출을 실패하면, 제k+1차 특징영역의 추출을 수행하도록 설정될 수 있다(여기서, k는 자연수로써, 1≤k≤n). In addition, the feature region includes preset 1st to nth feature regions, and the state information calculation unit is configured to extract the k+1th feature region if extraction of the kth feature region fails. It can be set (where k is a natural number, 1≤k≤n).
또한, 상기 이미지분석모듈은, 상기 주류저장고 내부를 실시간으로 촬영하여 획득되는 내부이미지를 기반으로, 임의의 주류가 인출되기 직전의 제1 내부이미지와 인출된 직후의 제2 내부이미지의 변화를 감지하는 변화감지부; 를 더 포함하고, 상기 변화감지부는, 상기 제1 및 제2 내부이미지를 미리 설정된 방식으로 분석하여, 상기 인출된 주류정보를 확인할 수 있다. In addition, the image analysis module detects changes in the first internal image immediately before any alcoholic beverage is withdrawn and the second internal image immediately after any alcoholic beverage is withdrawn, based on the internal image obtained by photographing the interior of the liquor storage unit in real time. a change detection unit; It may further include, wherein the change detection unit analyzes the first and second internal images in a preset manner to confirm the retrieved mainstream information.
또한, 상기 결제모듈은, 상기 주류저장고로부터 인출한 주류를 임시로 보관하기 위해, 상기 주류를 올려놓을 수 있도록 형성된 지지대를 포함하는 결제대기용 보관부; 를 더 포함하며, 상기 이미지촬영모듈은, 상기 결제대기용 보관부에 위치된 주류에 대한 정적이미지를 더 획득하되, 상기 이미지분석모듈에 의해, 상기 대상이미지 및 기준이미지가 상호 비유사하다고 판단된 경우에, 상기 정적이미지를 촬영하도록 설정될 수 있다. In addition, the payment module includes: a payment waiting storage unit including a support formed to place the alcoholic beverages on top of them in order to temporarily store the alcoholic beverages withdrawn from the liquor storage; It further includes, wherein the image capturing module further acquires a static image of the liquor located in the payment waiting storage unit, wherein the image analysis module determines that the target image and the reference image are dissimilar to each other. In this case, it may be set to capture the static image.
또한, 상기 이미지촬영모듈로부터 획득된 촬영이미지를 입력정보로 하고, 상기 식별코드인식모듈에 의해 확인된 주류정보를 출력정보로 하는 학습 데이터셋을 기반으로 기계학습을 수행하는 합성곱 신경망(Convolutional Neural Network, CNN)을 포함하는 기계학습모듈; 을 더 포함하며, 상기 기계학습모듈은, 상기 결제모듈과 연동되어 상기 주류정보에 대응되는 결제정보가 최종결제되는 촬영이미지를 대상으로 기계학습이 자동으로 수행될 수 있다. In addition, a convolutional neural network that performs machine learning based on a learning dataset that uses the captured image acquired from the image capture module as input information and the mainstream information confirmed by the identification code recognition module as output information. Machine learning module including Network, CNN); It further includes, wherein the machine learning module is linked with the payment module, so that machine learning can be automatically performed on the captured image in which payment information corresponding to the mainstream information is finally settled.
또한, 상기 이미지분석모듈은, 상기 결제모듈에 의해 결제정보가 최종결제되는 촬영이미지를 대상으로, 상기 상태정보연산부에 의해, 상기 촬영이미지의 기울기정보를 획득하되, 상기 기울기정보를 메타정보로 상기 촬영이미지에 매핑하여 정적이미지를 생성하며, 상기 정적이미지는 DB모듈로 전달되어 저장될 수 있다. In addition, the image analysis module acquires tilt information of the captured image by the state information calculation unit for the captured image whose payment information is finally settled by the payment module, and converts the tilt information into meta information. A static image is created by mapping it to a captured image, and the static image can be transmitted to the DB module and stored.
또한 본 발명은 전술한 주류 판매 시스템을 이용한 방법으로서, (a) 주류저장고의 도어부가 개방되어 사용자에 의해 선택된 주류가 인출되는 단계; (b) 상기 주류가 상기 결제대기용 보관부로 이동되는 단계로서, 이미지촬영모듈에 의해, 상기 주류가 인출되어 이동하는 과정에서 상기 주류에 대한 촬영이미지가 획득되는 단계; (c) 전처리부에 의해 상기 촬영이미지가 전처리되는 단계로서, 상기 촬영이미지 중 상기 주류를 제외한 나머지 영역 및 주류 영역이 구분되는 단계; (d) 상태정보연산부에 의해, 상기 주류 영역에 대한 상태정보가 추출되는 단계로서, 상기 주류의 미리 설정된 특징영역이 추출되는 단계; (e) 상기 특징영역을 기반으로, 상기 촬영이미지 상의 주류에 대한 기울기정보가 연산되되, 상기 기울기정보는 상기 주류의 X축, Y축 및 Z축 방향의 기울기를 포함하는, 단계; (f) 기준이미지생성부에 의해, 상기 주류의 외관에 형성된 식별코드에 대응되는 주류정보에 대한 입체이미지가 DB모듈로부터 로딩되며, 상기 입체이미지가 미리 설정된 방식으로 가공됨으로써, 상기 상태정보연산부의 기울기정보에 대응되는 기준이미지가 생성되는, 단계; (g) 상기 촬영이미지의 주류 영역과 상기 기준이미지가 미리 설정된 방식으로 비교 분석되어, 상호 유사도가 판단되는 단계; 를 포함하는, 방법을 제공할 수 있다.In addition, the present invention is a method using the above-described liquor sales system, comprising the steps of: (a) opening the door of the liquor storage unit to withdraw the liquor selected by the user; (b) moving the alcoholic beverage to the payment waiting storage unit, wherein a photographed image of the alcoholic beverage is obtained in the process of withdrawing and moving the alcoholic beverage by an image capturing module; (c) pre-processing the captured image by a pre-processing unit, wherein a remaining area excluding the main stream and a mainstream area of the captured image are distinguished; (d) extracting state information for the mainstream area by a state information calculation unit, wherein a preset feature area of the mainstream is extracted; (e) calculating slope information for the mainstream on the captured image based on the feature area, wherein the tilt information includes tilts in the X-axis, Y-axis, and Z-axis directions of the mainstream; (f) By the reference image generation unit, a three-dimensional image of liquor information corresponding to the identification code formed on the exterior of the liquor is loaded from the DB module, and the three-dimensional image is processed in a preset manner, so that the state information calculation unit Generating a reference image corresponding to the tilt information; (g) comparing and analyzing the mainstream area of the captured image and the reference image in a preset manner to determine their degree of similarity; A method including a may be provided.
본 발명은 자동화 관리 솔루션이 탑재되는 주류 판매 시스템을 제공함으로써, 무인으로 운영되는 최적화된 시스템을 제공한다. The present invention provides an optimized system that operates unmanned by providing a liquor sales system equipped with an automated management solution.
특히, 이미지 분석과 같은 비전기술을 적용하고, 소비자가 이용하는 과정에서 자연스럽게 기계학습을 수행함으로써, 보다 효율적이고, 신뢰성 높은 주류 판매 시스템을 제공할 수 있다. In particular, by applying vision technology such as image analysis and naturally performing machine learning during consumer use, a more efficient and reliable liquor sales system can be provided.
다양한 실시예로부터 얻을 수 있는 효과들은 이상에서 언급된 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 이하의 상세한 설명을 기반으로 당해 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다.Effects that can be obtained from various embodiments are not limited to the effects mentioned above, and other effects not mentioned can be clearly derived and understood by those skilled in the art based on the detailed description below. It can be.
본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 본 발명의 일 실시예에 따른 주류 판매 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 주류 판매 시스템의 전체 구성도이다.
도 3은 본 발명의 일 실시예에 따른 주류 판매 시스템의 이미지분석모듈을 이용한 프로세스를 개략적으로 설명하는 모식도이다.
도 4는 본 발명의 일 실시예예 따른 주류 판매 시스템을 이용한 방법의 순서도이다.
도 5는 본 발명의 일 실시예예 따른 주류 판매 시스템의 기계학습모듈을 이용한 프로세스를 개략적으로 설명하는 모식도이다.
도 6은 본 발명의 일 실시예예 따른 주류 판매 시스템의 변환감지부를 이용한 프로세스를 개략적으로 설명하는 모식도이다.
도 7의 (a) 및 (b)는 본 발명의 일 실시예예 따른 주류 판매 시스템의 변화감지부를 이용하여, 주류저장고 내부의 주류를 식별한 상태를 나타낸다.
도 8의 (a) 내지 (c)는 본 발명의 일 실시예예 따른 주류 판매 시스템의 변화감지부를 이용하여, 주류저장고 내부의 주류가 인출된 직후의 상태를 나타낸다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.The above-described and other aspects, features and benefits of certain preferred embodiments of the present invention will become more apparent from the following description taken in conjunction with the accompanying drawings.
1 is a conceptual diagram of an alcohol sales system according to an embodiment of the present invention.
Figure 2 is an overall configuration diagram of an alcohol sales system according to an embodiment of the present invention.
Figure 3 is a schematic diagram schematically explaining a process using an image analysis module of an alcohol sales system according to an embodiment of the present invention.
Figure 4 is a flowchart of a method using an alcohol sales system according to an embodiment of the present invention.
Figure 5 is a schematic diagram schematically explaining a process using a machine learning module of an alcohol sales system according to an embodiment of the present invention.
Figure 6 is a schematic diagram schematically explaining a process using a conversion detection unit of an alcohol sales system according to an embodiment of the present invention.
Figures 7 (a) and (b) show a state in which alcohol inside the liquor storage is identified using the change detection unit of the liquor sales system according to an embodiment of the present invention.
Figures 8 (a) to (c) show the state immediately after the liquor is withdrawn from the liquor storage using the change detection unit of the liquor sales system according to an embodiment of the present invention.
It should be noted that throughout the drawings, like reference numerals are used to illustrate identical or similar elements, features and structures.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. While describing each drawing, similar reference numerals are used for similar components.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, B, etc. may be used to describe various components, but the components should not be limited by the terms. Terms are used only to distinguish one component from another. For example, a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention. The term “and/or” includes any of a plurality of related stated items or a combination of a plurality of related stated items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this application are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless explicitly defined in the present application, should not be interpreted in an ideal or excessively formal sense. No.
본 발명은 비전기술을 활용한 자동화 무인 주류 판매 시스템 및 판매 데이터 수집 장치에 관한 것으로, 다음과 같은 원리로 과제를 해결할 수 있다.The present invention relates to an automated unmanned liquor sales system and sales data collection device using vision technology, and can solve the problem using the following principles.
본 시스템은 비전기술을 활용하여 무인 주류 판매기 내부와 외부에서 발생하는 데이터를 수집할 수 있다. 내부에 설치된 카메라는 주류 상품의 진열 상태와 재고를 모니터링하고, 외부에 설치된 카메라는 사용자가 주류 판매기와 상호작용할 때 발생하는 데이터를 촬영할 수 있다. 이로써 주류 상품의 위치, 상태, 판매량, 사용자 행동 등 다양한 정보를 수집할 수 있다.This system utilizes vision technology to collect data generated inside and outside the unmanned liquor vending machine. Cameras installed inside monitor the display status and inventory of alcohol products, and cameras installed outside can capture data generated when users interact with alcohol vending machines. This allows you to collect a variety of information, including the location, condition, sales volume, and user behavior of alcoholic products.
수집된 데이터는 주류유통플랫폼(B2B)과 연동되어 실시간으로 전송된다. 주류유통플랫폼은 이 데이터를 종합적으로 분석하여 매장별, 상권별, 시즌별로 잘 나가는 상품과 적정 재고량을 도출할 수 있다. 또한, 경쟁 시장 분석, 가격 조절, 소비자 선호도 예측 등을 통해 최적의 상품 관리 전략을 수립할 수 있다.The collected data is linked to the mainstream distribution platform (B2B) and transmitted in real time. Liquor distribution platforms can comprehensively analyze this data to derive popular products and appropriate inventory levels by store, commercial district, and season. In addition, optimal product management strategies can be established through competitive market analysis, price control, and consumer preference prediction.
주류유통플랫폼은 분석 결과를 기반으로 각 무인 주류 판매기에 명령을 전달하여 자동으로 상품 소싱과 재고 조절을 수행할 수 있다. 이로써 각 매장은 최적의 상품을 공급하고, 소비자에게 더 나은 서비스를 제공할 수 있다.The liquor distribution platform can automatically perform product sourcing and inventory control by sending commands to each unmanned liquor vending machine based on the analysis results. This allows each store to supply optimal products and provide better service to consumers.
무인 주류 판매기 사용자의 반응 및 행동 데이터를 분석하여 소비자 경험을 향상시키는 데 기여할 수 있다. 예를 들어, 사용자의 선호도를 파악하여 추천 상품을 제안하거나, 사용자 행동 패턴을 분석하여 주류 판매기의 배치 위치를 최적화할 수 있다.By analyzing reaction and behavior data of users of unmanned alcohol vending machines, it can contribute to improving consumer experience. For example, recommended products can be suggested by identifying user preferences, or the placement of alcohol vending machines can be optimized by analyzing user behavior patterns.
이러한 원리를 통해 본 발명은 비전기술을 활용하여 무인 주류 판매 시스템을 효율적으로 운영하고, 판매 데이터를 수집하여 유통 효율성을 높이며, 소비자와 소매업체 간의 상호작용을 개선하는 자동화된 솔루션을 제공할 수 있다.Through these principles, the present invention utilizes vision technology to efficiently operate an unmanned liquor sales system, collect sales data to increase distribution efficiency, and provide an automated solution that improves interaction between consumers and retailers. .
도 1은 본 발명의 일 실시예에 따른 주류 판매 시스템의 개념도이며, 도 2는 본 발명의 일 실시예에 따른 주류 판매 시스템의 전체 구성도이다. Figure 1 is a conceptual diagram of an alcohol sales system according to an embodiment of the present invention, and Figure 2 is an overall configuration diagram of an alcohol sales system according to an embodiment of the present invention.
도 1 및 2를 참조하여, 본 발명의 일 실시예에 따른 주류 판매 시스템에 대해 설명한다. 본원에서는 '주류'를 대상으로 설명하나, 주류뿐만 아니라, 본 발명의 원리가 적용될 수 있는 대상이라면, 모든 종류의 제품에 적용 가능함을 미리 명시한다. With reference to FIGS. 1 and 2, a liquor sales system according to an embodiment of the present invention will be described. Although the description herein refers to 'alcoholic beverages', it is specified in advance that it can be applied to all types of products, as long as it is an object to which the principles of the present invention can be applied, as well as alcoholic beverages.
주류 판매 시스템은 주류저장고(110), 이미지촬영모듈(120), 식별코드인식모듈(130), 결제모듈(140), 이미지분석모듈(150), 기계학습모듈(160) 및 DB모듈(170)을 포함한다. 결제모듈(140)은 네트워크망을 통해 금융거래서비스(300)와 연결될 수 있다. 이 때, 금융거래서비스(300)는 은행계좌, 신용카드, 직불카드, 포인트카드 등과 같은 공지된 모든 종류의 금융거래를 포함한다. The liquor sales system includes a liquor storage unit (110), an image shooting module (120), an identification code recognition module (130), a payment module (140), an image analysis module (150), a machine learning module (160), and a DB module (170). Includes. The
도 1에는 주류저장고(110)의 일 예시가 도시된다. 주류저장고(110)는 다단으로 구성될 수 있으며, 내부에 보관된 주류를 냉각시키기 위한 냉각수단(미도시)이 구비될 수 있다. 도 1과 같이, 주류저장고(110)는 주류의 종류를 달리하여, 한 쌍으로 구비될 수 있으며, 그 사이에는 키오스크가 배치될 수 있다. 키오스크는 디스플레이모듈(200)이 구비되어, 사용자에게 주류정보 및 결제정보를 제공할 수 있으며, 터치패널로 구성되어 사용자의 조작이 간편하게 구성될 수 있다. Figure 1 shows an example of a
식별코드인식모듈(130)은 사용자에 의해 선택된 주류를 식별하기 위해, 주류의 용기 중 적어도 일부면에 미리 형성된 식별코드를 인식함으로써, 주류정보를 확인하도록 형성된다. 일 예시로써, 식별코드는 바코드로 구성될 수 있고, 식별코드센싱부(131)를 포함할 수 있다. 식별코드센싱부(131)는 키오스크에 고정된 형태로 구성될 수도 있으나, 사용자에 의해 이동 조작이 가능한 형태로 구성될 수 있다. 식별코드인식모듈(130)은 통신모듈(132)을 포함하는데, 이는 확인된 식별코드에 대응되는 주류정보를 확인하기 위함이다. The identification
이미지촬영모듈(120)은 공지된 모든 촬영수단을 포함하며, 주류저장고(110)의 내부를 촬영하는 제1 카메라(121)와 외부를 촬영하는 제2 카메라(122)로 구분될 수 있다. 제1 및 제2 카메라(121, 122)의 개수나 설치위치는 관리자 또는 설계자의 선택에 따라 적절하게 변경될 수 있다. The
일 예로, 주류저장고(110) (및/또는 냉장고)의 외부 및/또는 내부에 설치된 이미지 촬영 모듈(120) (및/또는 카메라)은 사용자가 상기 주류저장고(110) (및/또는 냉장고)로부터 주류를 인출하는 과정 또는 주류저장고(110) (및/또는 냉장고) 내부를 촬영하는 과정 중에서 상기 주류에 대한 하나 이상의 촬영 이미지를 취득할 수 있다. 이 이미지 촬영 모듈(120) (및/또는 카메라)은 주류저장고(110) (및/또는 냉장고) 내부 및 외부의 모든 각도와 위치에서 주류를 정확하게 촬영할 수 있으며, 이 촬영된 이미지를 이후의 처리나 식별 과정에 활용할 수 있다. 즉, 사용자가 주류를 인출하거나 주류저장고(110) (및/또는 냉장고)를 열어보는 순간, 이미지 촬영 모듈(120) (및/또는 카메라)은 그 순간의 주류 상태나 식별코드에 대한 정보를 획득하기 위해 활성화되며, 이를 통해 주류저장고(110) (및/또는 냉장고) 내부와 외부의 주류 상태를 정확하게 파악할 수 있다.As an example, the image capture module 120 (and/or camera) installed outside and/or inside the liquor storage 110 (and/or refrigerator) allows the user to access the liquor storage 110 (and/or refrigerator). One or more captured images of the liquor may be acquired during the process of withdrawing the liquor or photographing the inside of the liquor storage 110 (and/or refrigerator). This image capture module 120 (and/or camera) can accurately photograph liquor from all angles and positions inside and outside the liquor storage 110 (and/or refrigerator), and uses the captured images for later processing or processing. It can be used in the identification process. That is, the moment the user withdraws alcohol or opens the liquor storage 110 (and/or refrigerator), the image capturing module 120 (and/or camera) acquires information about the status or identification code of the liquor at that moment. It is activated to accurately determine the state of liquor inside and outside the liquor storage 110 (and/or refrigerator).
일 예로, 이미지 촬영 모듈(120) (및/또는 카메라)은 주류저장고(110) (및/또는 냉장고) 내부와 외부에 다음과 같이 설치될 수 있다.As an example, the image capturing module 120 (and/or camera) may be installed inside and outside the liquor storage 110 (and/or refrigerator) as follows.
주류저장고(110) (및/또는 냉장고) 내부 설치: 이미지 촬영 모듈(120) (및/또는 카메라) 중 하나 또는 그 이상은 주류저장고(110) (및/또는 냉장고) 내부에 위치하여, 주류가 주류저장고(110) (및/또는 냉장고) 내부에 보관될 때 주류를 촬영할 수 있다. 이 모듈(120) (및/또는 카메라)은 주류병 또는 주류별 섹션과 같은 주류가 저장되는 위치 주변에 배치될 수 있다. 주류별로 모듈(카메라)을 설치하면 각 주류에 대한 촬영 이미지를 얻을 수 있어, 주류의 상태와 양을 정확하게 모니터링할 수 있다.Installation inside the liquor storage 110 (and/or refrigerator): One or more of the image capture modules 120 (and/or cameras) are located inside the liquor storage 110 (and/or refrigerator), Alcohol can be photographed when stored inside the liquor storage 110 (and/or refrigerator). This module 120 (and/or camera) may be placed around a location where alcohol is stored, such as a liquor bottle or liquor-specific section. By installing a module (camera) for each liquor, you can obtain captured images for each liquor, allowing you to accurately monitor the condition and amount of liquor.
주류저장고(110) (및/또는 냉장고) 외부 설치: 나머지 이미지 촬영 모듈(120) (및/또는 카메라)은 주류저장고(110) (및/또는 냉장고) 외부에 설치될 수 있다. 이 모듈(120) (및/또는 카메라)은 주류저장고(110) (및/또는 냉장고)의 문 밖이나 뚜껑 위 등에 배치되어, 주류저장고(110) (및/또는 냉장고)를 열거나 주류를 인출할 때 주류병이나 주류 패키지를 촬영할 수 있다. 이렇게 외부에 설치된 모듈(120) (및/또는 카메라)들은 사용자가 주류저장고(110) (및/또는 냉장고)를 사용하는 모든 과정을 감시하고, 주류 식별코드 또는 주류의 상태를 확인하기 위해 활용될 수 있다.Installation outside the liquor storage 110 (and/or refrigerator): The remaining image capture module 120 (and/or camera) may be installed outside the liquor storage 110 (and/or refrigerator). This module 120 (and/or camera) is placed outside the door or on the lid of the liquor storage 110 (and/or refrigerator) to open the liquor storage 110 (and/or refrigerator) or withdraw alcohol. When doing this, you can take pictures of liquor bottles or liquor packages. These externally installed modules 120 (and/or cameras) can be used to monitor all processes in which the user uses the liquor storage 110 (and/or refrigerator) and to check the liquor identification code or status of the liquor. You can.
이렇게 내부와 외부에 설치된 이미지 촬영 모듈(120) (및/또는 카메라)들은 주류저장고(110) (및/또는 냉장고)의 모든 부분을 커버하여 주류의 상태와 위치를 정확하게 파악하며, 이 정보를 활용하여 주류저장고(110) (및/또는 냉장고) 내 주류 관리 및 추적을 효율적으로 수행할 수 있다.The image capture modules 120 (and/or cameras) installed inside and outside the liquor storage 110 (and/or refrigerator) cover all parts of the liquor storage 110 (and/or the refrigerator) to accurately determine the state and location of the liquor and utilize this information. Thus, liquor management and tracking within the liquor storage 110 (and/or refrigerator) can be efficiently performed.
제1 카메라(121)는 주류저장고(110)의 내부를 촬영하여, 실시간 주류저장고(110) 내부의 상태를 확인하도록 구성된다. 미리 설정된 주기로 내부이미지를 획득하여, 이미지분석모듈(150)의 변화감지부(155)를 통해 분석이 되도록 설정된다. 내부이미지의 변화 감지를 위해, 해당 이미지 내에서 객체인 주류를 식별하도록 구성될 수 있으며, 공지된 모든 영상분석 방식이 적용될 수 있다. 제1 카메라(121) 및 변화감지부(155)를 이용한 주류 인식 과정은 후술하도록 한다. The
제2 카메라(122)는 주류저장고(110)의 외측을 촬영하도록 구성된다. 사용자가 주류저장고(110)로부터 주류를 인출하여 식별코드인식모듈(130)에 주류를 태깅하는 이동경로 상에 구비될 수 있다. The
전술한 바와 같이, 식별코드센싱부(131)는 키오스크에 고정된 형태로 구성될 수도 있으나, 사용자에 의해 이동 조작이 가능한 형태(예로, 바코드스캐너)로 구성될 수 있는 바, 주류저장고(110)와 키오스크 사이의 위치 또는 결제대기용 보관부(142) 상에 위치되도록 설계될 수 있다. As described above, the identification
제2 카메라(122)를 통해 인출되는 주류에 대한 촬영이미지를 획득하며, 획득된 촬영이미지는 이미지분석모듈(150)을 통해 객체가 식별되어 주류의 상태정보가 추출되도록 형성된다. A photographed image of the liquor retrieved through the
결제모듈(140)은 결제정보생성부(141), 결제대기용 보관부(142), 결제처리부(143)를 포함한다. 결제처리부(143)는 키오스크(200)를 통해 사용자가 선택한 결제수단으로 결제가 수행되도록 한다. 결제수단은 신용카드, 직불카드, 포인트카드 뿐만 아니라, 스마트기기를 이용한 RFID(radio frequency identification), NFC(near field communication) 방식으로 결제 가능하다. The
결제대기용 보관부(142)는 결제 예정인 주류를 사용자가 임시로 올려놓는 공간을 제공한다. 이를 위해, 지지대를 포함한다. 이미지촬영모듈(120)은 제3 카메라(미도시)를 포함할 수 있으며, 제3 카메라를 이용하여 결제대기용 보관부(142)에 위치된 주류의 정적이미지를 획득할 수 있다. 제2 카메라(122)는 주류저장고(110)로부터 인출되는 상태를 캡쳐하여 '촬영이미지'로 규정하는데 반해, 제3 카메라는 지지대 상에 위치된 주류를 촬영하는 바, '정적이미지'로 달리 규정하여 설명한다. The payment waiting
결제정보생성부(141)는 식별코드센싱부(131)로부터 확인된 주류정보에 대응되는 결제정보를 생성한다. 사용자가 복수의 주류를 선택하는 경우, 선택된 주류들이 누적된 결제정보가 생성됨으로써, 한 번에 결제가 수행될 수 있다. The payment
이미지분석모듈(150)은 전처리부(151), 상태정보연산부(152), 기준이미지생성부(153), 유사판단부(154) 및 변화감지부(155)를 포함한다. The
도 3은 본 발명의 일 실시예에 따른 주류 판매 시스템의 이미지분석모듈을 이용한 프로세스를 개략적으로 설명하는 모식도이다. 이미지분석모듈(150)의 설명을 위해, 도 3을 함께 참조한다. Figure 3 is a schematic diagram schematically explaining a process using an image analysis module of an alcohol sales system according to an embodiment of the present invention. For a description of the
전처리부(151)는 촬영이미지 중 사용자의 신체 및 배경에 대한 부분을 미리 설정된 방식으로 제거할 수 있다. 이를 위해, 1차적으로 전체 객체를 식별하고, 식별된 전체 객체 내에서 사용자의 신체(특히, 손가락 등)를 제거할 수 있다. 전처리부(151)를 통해, 촬영이미지 내의 주류의 종류를 정확하게 판단할 수 있다. 본 발명은 무인으로 사용될 수 있기 때문에, 주류의 종류를 정확하게 판단하는 것은 매우 중요하다. 주류의 종류를 정확하게 판단하여야, 주류의 결제정보를 정확하게 생성할 수 있고, 주류저장고(110) 내의 재고정보를 정확하게 판단할 수 있기 때문이다. The
상태정보연산부(152)는 촬영이미지(P1) 중 주류의 특징영역(A)을 추출하고, 특징영역(A)을 이용하여 주류의 X축, Y축 및 Z축 방향의 기울기를 연산하도록 구성된다. 특징영역(A)은 미리 설정된 영역으로써, 촬영이미지(P1) 상의 주류에 대한 상태정보를 추출하기 위한 기준으로 이해될 수 있다. 여기서, 상태정보는 기울기정보, 높이값 및 직경값을 포함할 수 있다. 상태정보는 기준이미지생성부(153)에서 기준이미지를 생성하는 과정에서 사용될 수 있다. The state
본원에서는 설명의 편의를 위해, 주류가 '캔용기'인 경우를 예시로 들어 설명하나, 캔 이외에, 다른 용기 형태에도 모두 적용될 수 있다. For convenience of explanation, herein, the case where the alcoholic beverage is a 'can container' is used as an example, but it can be applied to all other container types other than cans.
특징영역(A)은 주류의 전체 영역 중 탭과 리벳을 포함하는 캔뚜껑과 개구로 설정될 수 있다. 즉, 캔뚜껑 및 개구는 편심된 형태로 구성되는 바, 이들의 연장방향을 통해, 주류의 기울기정보를 연산할 수 있다. The feature area (A) can be set as the can lid and opening including tabs and rivets among the entire area of the liquor. That is, the can lid and opening are configured in an eccentric form, and the tilt information of the mainstream can be calculated through their extension direction.
일 예시로써, 촬영이미지(P1) 상의 특징영역의 연장라인을 추출하도록 구성된다. 연장라인은 X축방향의 X라인(Sx), Y축방향의 Y라인(Sy) 및 Z축방향의 Z라인(Sz)으로 구성되며, 이들이 기준축(X축, Y축 및 Z축)과 형성하는 각도를 각각 연산하여 기울기정보를 연산할 수 있다. As an example, it is configured to extract an extension line of the feature area on the captured image (P1). The extension line consists of the X line (Sx) in the Tilt information can be calculated by calculating each forming angle.
또한, 동일한 종류의 주류라고 하더라도, 서로 용량이 다를 수 있다. 용량이 상이하면, 결제정보가 달라질 수 있는 바, 용량정보를 함께 식별하도록 구성될 수 있다. 촬영이미지(P1) 상의 주류에 대한 용량정보를 획득하기 위해, 높이값(h) 및 직경값(d1)을 연산할 수 있으며, 높이값(h) 및 직경값(d1)의 비율을 연산하여, 용량정보를 판단할 수 있다. Additionally, even if the liquor is of the same type, its capacity may be different. If the capacity is different, the payment information may be different, so it can be configured to identify the capacity information together. In order to obtain capacity information about the mainstream on the captured image (P1), the height value (h) and diameter value (d1) can be calculated, and the ratio of the height value (h) and diameter value (d1) can be calculated, Capacity information can be determined.
DB모듈(170)에는 판매되는 주류에 대한 입체이미지가 미리 저장될 수 있고, 동일한 종류의 주류라고 하더라도, 용량정보가 상이한 경우에는, 용량정보 각각에 대응되는 입체이미지가 구분되어 저장될 수 있다. In the
한편, 특징영역(A)은 미리 설정된 제1차 내지 제n차 특징영역을 포함할 수 있다. 본원에서는 제1차 특징영역을 캔뚜껑 및 개구 측 영역으로 설정한 것을 기준으로 설명한다. 사용자가 주류를 인출하는 과정에서 제1차 특징영역을 가리는 경우, 이미지분석모듈(150)에 의한 전처리 및 이미지분석이 어려운 바, 제2차 특징영역을 식별하도록 구성된다. Meanwhile, the feature region A may include preset first to nth feature regions. In this application, the description is based on the first feature area being set as the can lid and opening side area. If the user obscures the first feature area in the process of retrieving the main image, preprocessing and image analysis by the
본원에 따른 주류 판매 시스템은, 촬영이미지(P1)의 상태정보를 확인하고, 기준이미지와 비교하므로, 특정 주류에만 포함된 구성을 특징영역으로 설정하는 것은 바람직하지 않고, 모든 주류에 공통적으로 포함된 구성을 특징영역으로 설정하는 것이 필요하다. Since the alcohol sales system according to the present application checks the status information of the photographed image (P1) and compares it with the reference image, it is not desirable to set the configuration included only in specific alcoholic beverages as a feature area, and it is not desirable to set the configuration included only in specific alcoholic beverages as a feature area, and It is necessary to set the configuration as a feature area.
도 4는 본 발명의 일 실시예예 따른 주류 판매 시스템을 이용한 방법의 순서도이다. 도 4를 참조하여, 이미지분석모듈(150)을 이용하여 임의의 주류에 대해 식별이 수행되는 과정을 설명한다. Figure 4 is a flowchart of a method using an alcohol sales system according to an embodiment of the present invention. Referring to FIG. 4, the process of identifying any alcoholic beverage using the
본 방법은 단계(S110) 내지 단계(S170)을 포함한다. The method includes steps S110 to S170.
단계(S110)는 주류저장고(110)의 도어부가 개방되어 사용자에 의해 선택된 주류가 인출되는 단계이다. Step (S110) is a step in which the door of the
단계(S120)는 주류가 상기 결제대기용 보관부(142)로 이동되는 단계로서, 이미지촬영모듈(120)(특히, 제2 카메라(122)임)에 의해, 주류가 인출되어 이동하는 과정에서 주류에 대한 촬영이미지가 획득되는 단계이다. Step (S120) is a step in which alcoholic beverages are moved to the
여기서, 촬영이미지는 복수로 획득될 수 있으며, 후술하는 특징영역이 가장 명확하게 현출된 촬영이미지를 사용하도록 설정될 수 있다. Here, a plurality of captured images can be acquired, and the feature area described later can be set to use the captured image in which the feature area is most clearly revealed.
단계(S130)는 전처리부(151)에 의해 촬영이미지가 전처리되는 단계로서, 촬영이미지 중 상기 주류를 제외한 나머지 영역 및 주류 영역이 구분되는 단계이다. Step S130 is a step in which the captured image is pre-processed by the
단계(S140)는 상태정보연산부(152)에 의해, 주류 영역에 대한 상태정보가 추출되는 단계로서, 먼저, 주류의 미리 설정된 특징영역이 추출되는 과정이 필요하다. Step S140 is a step in which state information about the mainstream area is extracted by the state
단계(S150)는 특징영역을 기반으로, 상기 촬영이미지 상의 주류에 대한 기울기정보가 연산되는 단계이다. 이 때, 기울기정보는 상기 주류의 X축, Y축 및 Z축 방향의 기울기를 포함한다. 후술하는 바와 같이, 입체이미지를 상기의 기울기정보로 회전함으로써, 기준이미지를 추출하기 위함이다. Step S150 is a step in which gradient information for the mainstream on the captured image is calculated based on the feature area. At this time, the tilt information includes tilts in the mainstream X-axis, Y-axis, and Z-axis directions. As will be described later, the purpose is to extract a reference image by rotating the three-dimensional image using the above tilt information.
단계(S160)는 기준이미지생성부(153)에 의해, 주류의 외관에 형성된 식별코드에 대응되는 주류정보에 대한 입체이미지가 DB모듈(170)로부터 로딩되며, 입체이미지가 미리 설정된 방식으로 가공됨으로써, 상태정보연산부(152)의 기울기정보에 대응되는 기준이미지가 생성되는 단계이다. 즉, 기준이미지는 3D파일 형식으로 구성된 입체이미지 중에서 특정 각도(기울기정보에 매칭)로 배치된 상태를 추출한 이미지로 이해될 수 있다. In step S160, a three-dimensional image of liquor information corresponding to the identification code formed on the exterior of the liquor is loaded from the
단계(S170)는 촬영이미지의 주류 영역과 기준이미지가 미리 설정된 방식으로 비교 분석되어, 상호 유사도가 판단되는 단계이다. 2개의 이미지 각각의 객체를 비교하는 것은 공지된 모든 방식이 적용될 수 있다. 일 예시로써, 동일한 픽셀단위로 각각을 구분하여, 대응되는 좌표의 픽셀 각각을 개별적으로 비교하여, 미리 설정된 기준값 이하일 경우에는 유사하다고 판단하고, 이를 초과할 경우에는 비유사로 판단할 수 있다. Step S170 is a step in which the mainstream area of the captured image and the reference image are compared and analyzed in a preset manner to determine their degree of similarity. All known methods can be applied to compare objects in two images. As an example, each pixel can be divided into units of the same pixel, and each pixel of the corresponding coordinate can be individually compared. If it is less than a preset standard value, it can be judged to be similar, and if it exceeds it, it can be judged to be dissimilar.
이 때, '비유사'로 판단된 경우에는, 식별코드인식모듈(130)의 인식오류일 수 있는 바, 결제처리부를 비활성화 시킬 수 있다. 식별코드인식모듈(130)로부터 제공된 주류정보와 이미지분석모듈(150)로부터 제공된 주류정보가 서로 일치하지 않는 경우이므로, 결제처리를 보류하고, 사용자에게 식별코드센싱부(131)의 재수행 등을 키오스크를 통해 알림을 제공할 수 있다.At this time, if it is determined to be 'dissimilar', it may be a recognition error in the identification
도 5는 본 발명의 일 실시예예 따른 주류 판매 시스템의 기계학습모듈을 이용한 프로세스를 개략적으로 설명하는 모식도이다. Figure 5 is a schematic diagram schematically explaining a process using a machine learning module of an alcohol sales system according to an embodiment of the present invention.
도 5를 참조하여 기계학습을 수행하는 과정을 설명한다. 이미지분석모듈(150)은 결제모듈(140)에 의해 결제정보가 최종결제되는 촬영이미지를 학습정보로 사용한다. 임의의 촬영이미지가 이미지분석모듈(150)과 식별코드인식모듈(130)에 의해 특정 주류에 대한 것으로 검증된 촬영이미지를 학습정보로 활용하는 것이다. 이는 별도로 사용자 또는 설계자에 의한 전처리 과정을 생략할 수 있는 효과가 있다. 사용자(또는 구매자)에 의해 자연스럽게 학습정보가 수집되어 누적될 수 있다. 이는 DB모듈(170)로 실시간 업데이트되어 저장됨으로써, 이미지분석모듈(150)의 신뢰성을 지속적으로 향상시킬 수 있다. The process of performing machine learning will be described with reference to Figure 5. The
일 예시로써, 상태정보연산부(152)에 의해, 획득된 촬영이미지의 기울기정보를 메타정보로 매핑하여 정적이미지를 생성한다. 이후에, 다시 동일한 기울기정보를 갖는 촬영이미지가 이미지분석모듈(150)에 의해 출력되는 경우, 이전의 정적이미지를 바로 로딩할 수 있는 바, 입체이미지에 대한 가공 작업이 생략될 수도 있으며, 입체이미지를 통한 기준이미지 및 정적이미지를 모두 사용하여 보다 정확한 이미지 분석이 가능하다.As an example, the state
도 6은 본 발명의 일 실시예예 따른 주류 판매 시스템의 변환감지부를 이용한 프로세스를 개략적으로 설명하는 모식도이고, 도 7의 (a) 및 (b)는 본 발명의 일 실시예예 따른 주류 판매 시스템의 변화감지부를 이용하여, 주류저장고 내부의 주류를 식별한 상태를 나타낸다. 도 8의 (a) 내지 (c)는 본 발명의 일 실시예예 따른 주류 판매 시스템의 변화감지부를 이용하여, 주류저장고 내부의 주류가 인출된 직후의 상태를 나타낸다. Figure 6 is a schematic diagram schematically explaining a process using a change detection unit of the liquor sales system according to an embodiment of the present invention, and Figures 7 (a) and (b) show changes in the liquor sales system according to an embodiment of the present invention. Indicates the state of identifying alcohol inside the liquor storage unit using the detection unit. Figures 8 (a) to (c) show the state immediately after the liquor is withdrawn from the liquor storage using the change detection unit of the liquor sales system according to an embodiment of the present invention.
도 6 내지 8을 참조하여, 본 발명의 일 실시예예 따른 주류 판매 시스템의 변화감지부(155)를 이용하는 다른 실시예에 대해 개략적으로 설명한다. 6 to 8, another embodiment using the
변화감지부(155)는 주류저장고(110) 내부를 실시간으로 촬영하여 획득되는 내부이미지를 기반으로, 임의의 주류가 인출되기 직전의 제1 내부이미지와 인출된 직후의 제2 내부이미지의 변화를 감지하도록 구성된다. The
제1 내부이미지를 대상으로 각각의 주류에 대해 식별을 수행하도록 구성된다. 도 7 및 8에는 주류 각각을 식별하여 고유값을 부여한 상태를 나타낸다. 각각의 고유값을 이용하여, 주류정보를 구분할 수 있다. It is configured to perform identification for each liquor targeting the first internal image. Figures 7 and 8 show the state in which each mainstream is identified and given a unique value. Using each unique value, mainstream information can be distinguished.
사용자가 특정 주류를 인출하는 경우, 인출 직전 및 직후의 이미지 상태가 달라지는 것을 이용하는 원리이다. 이는 주류저장고(110) 내부에 별도로 구비된 제1 카메라(121)를 이용하여 수행될 수 있으며, 제1 카메라(121)는 도어부의 개폐를 센싱하며, 도어부가 개방된 경우 활성화되도록 구성될 수 있다. 물론, 설계자에 의해 미리 설정된 주기로 주류저장고(110) 내부를 모니터링하도록 구성되는 것이 바람직하다. This principle utilizes the fact that when a user withdraws a specific liquor, the image state immediately before and after withdrawal changes. This can be performed using the
변화감지부(155)를 이용하여 인출된 주류정보를 확인하고, 해당 주류정보와 식별코드인식모듈(130)을 통해 확인된 주류정보가 상호 일치하는지 판단한다. 상호 일치하는 경우에는, 제1 및 제2 내부이미지 중 차이가 발생된 식별영역은 학습정보로 활용하도록 설정될 수 있다. The retrieved liquor information is checked using the
또한 제1 및 제2 내부이미지에서 사용자(ex 고객)의 신체(ex 손)가 식별되는 경우에 주류의 인출이 발생하는 경우로써 식별할 수 있다. 일 예로, 전술한 바와 같이 사용자의 신체가 식별되는 경우에만, 주류의 인출을 식별하거나 주류의 인출이 되었다고 판단할 수도 있다.Additionally, when the body (ex. hand) of the user (ex. customer) is identified in the first and second internal images, it can be identified as a case where withdrawal of liquor occurs. For example, as described above, only when the user's body is identified, the withdrawal of alcoholic beverages may be identified or it may be determined that the withdrawal of alcoholic beverages has occurred.
본 발명에 따른 주류 판매 시스템은 별도의 서버와 연동될 수 있으며, 상기 서버는 재고정보를 확인하고, 미리 설정된 주문조건을 통해, 자동으로 특정 주류에 대한 발주신청을 수행하도록 구성될 수 있다. 또한, 본 발명에 따른 주류 판매 시스템은 사용자 단말(또는 관리자 단말)가 연동되어 어플리케이션을 통해 상태, 현황, 재고정보 등이 모두 확인될 수 있다. The alcohol sales system according to the present invention can be linked to a separate server, and the server can be configured to check inventory information and automatically perform an order request for specific alcohol through preset order conditions. In addition, the liquor sales system according to the present invention is linked to a user terminal (or an administrator terminal) so that status, status, inventory information, etc. can all be confirmed through the application.
사용자 단말은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등을 포함할 수 있다.User terminals capable of communication include desktop computers, laptop computers, laptops, smart phones, tablet PCs, mobile phones, and smart watches. ), smart glass, e-book reader, PMP (portable multimedia player), portable game console, navigation device, digital camera, DMB (digital multimedia broadcasting) player, digital voice recorder (digital) It may include an audio recorder, a digital audio player, a digital video recorder, a digital video player, a PDA (Personal Digital Assistant), etc.
전술한 본 발명에 따른 바람직한 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The preferred embodiments of the present invention described above may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. Computer-readable media may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on a computer-readable medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the computer software art.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer-readable media may include hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions may include machine language code such as that created by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The above-described hardware device may be configured to operate with at least one software module to perform the operations of the present invention, and vice versa.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다. Additionally, the above-described method or device may be implemented by combining all or part of its components or functions, or may be implemented separately.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been described above with reference to preferred embodiments, those skilled in the art may make various modifications and changes to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that you can do it.
110: 주류저장고
120: 이미지촬영모듈 130: 식별코드인식모듈
140: 결제모듈 150: 이미지분석모듈
160: 기계학습모듈 170: DB모듈
200: 디스플레이모듈 300: 금융거래서비스110: Liquor storage
120: Image shooting module 130: Identification code recognition module
140: Payment module 150: Image analysis module
160: Machine learning module 170: DB module
200: Display module 300: Financial transaction service
Claims (5)
주류가 저장되는 공간이 마련되며, 사용자에 의해 개폐 가능한 도어부를 포함하는 주류저장고;
사용자에 의해 선택된 주류를 식별하기 위해, 상기 주류의 용기 중 적어도 일부면에 미리 형성된 식별코드를 인식하는, 식별코드인식모듈;
상기 주류의 식별코드에 대응되어 미리 저장된 주류정보를 DB모듈부터 로딩하고, 상기 주류정보에 대응되는 결제정보를 생성하며, 사용자가 선택한 결제수단을 통해 최종결제가 수행되도록 형성된 결제처리부를 포함하는, 결제모듈;
상기 주류저장고 외측에 구비되는 이미지촬영모듈로서, 사용자가 상기 주류저장고로부터 주류를 인출하여 상기 식별코드인식모듈에 상기 주류를 태깅하는 이동경로 상에 구비되거나 또는 상기 주류저장고 내부를 촬영하도록 구비되어, 상기 주류에 대한 적어도 하나의 촬영이미지를 획득하는 이미지촬영모듈; 및
상기 이미지촬영모듈로부터 획득된 촬영이미지를 전처리하여 대상이미지를 생성하되, 상기 대상이미지에 포함된 주류의 외관 중 적어도 일부를 미리 설정된 방식으로 분석함으로써, 상기 대상이미지 상의 상기 주류에 대한 상태정보를 추출하는 이미지분석모듈로서, 상기 식별코드인식모듈에 의해 인식된 주류정보를 기반으로, 상기 상태정보에 대응되는 기준이미지를 DB모듈로부터 로딩하고, 상기 대상이미지 및 기준이미지를 미리 설정된 방식으로 비교 분석함으로써, 상호 매칭 여부를 판단하는, 이미지분석모듈; 을 포함하고,
상기 결제모듈은,
상기 이미지분석모듈에 의해, 상기 대상이미지 및 기준이미지가 상호 매칭되는 경우에, 상기 결제처리부가 활성화되도록 설정되고,
상기 이미지분석모듈은,
상기 촬영이미지 중 사용자의 신체 및 배경에 대한 부분을 미리 설정된 방식으로 제거하는, 전처리부;
상기 촬영이미지 중 상기 주류의 특징영역을 추출하고, 상기 특징영역을 이용하여 상기 주류의 X축, Y축 및 Z축 방향의 기울기를 연산함으로써, 상기 주류의 기울기정보를 획득하는, 상태정보연산부;
상기 식별코드인식모듈과 연동되며, 상기 식별코드에 대응되는 주류정보에 대한 입체이미지를 DB모듈로부터 로딩하고, 상기 입체이미지 중 상기 상태정보연산부의 기울기정보에 대응되는 기준이미지를 추출하는, 기준이미지생성부; 및
상기 촬영이미지 및 기준이미지를 미리 설정된 방식으로 비교 분석하여, 상호 유사도를 판단하는 유사판단부; 를 포함하는, 주류 판매 시스템. An alcohol sales system that automatically sells alcohol,
A liquor storage unit provided with a space for storing liquor and including a door that can be opened and closed by the user;
An identification code recognition module that recognizes an identification code preformed on at least a portion of the container of the alcoholic beverage to identify the alcoholic beverage selected by the user;
A payment processing unit configured to load pre-stored alcoholic beverage information corresponding to the identification code of the alcoholic beverage from the DB module, generate payment information corresponding to the alcoholic beverage information, and perform the final payment through the payment method selected by the user, Payment module;
An image capturing module provided outside the liquor storage, which is provided on a movement path where a user withdraws alcohol from the liquor storage and tags the alcohol to the identification code recognition module, or is provided to photograph the inside of the liquor storage, An image capturing module that acquires at least one captured image of the liquor; and
A target image is generated by pre-processing the captured image obtained from the image capturing module, and by analyzing at least part of the appearance of the liquor included in the target image in a preset manner, state information about the liquor on the target image is extracted. As an image analysis module, based on the mainstream information recognized by the identification code recognition module, a reference image corresponding to the status information is loaded from the DB module, and the target image and the reference image are compared and analyzed in a preset manner. , an image analysis module that determines whether there is a mutual match; Including,
The payment module is,
When the target image and the reference image match each other by the image analysis module, the payment processing unit is set to be activated,
The image analysis module is,
a pre-processing unit that removes portions of the user's body and background from the captured image in a preset manner;
a state information calculation unit configured to obtain tilt information of the mainstream by extracting a feature area of the mainstream from the captured image and calculating slopes in the X-axis, Y-axis, and Z-axis directions of the mainstream using the feature region;
A reference image that is linked to the identification code recognition module, loads a three-dimensional image for mainstream information corresponding to the identification code from the DB module, and extracts a reference image corresponding to the tilt information of the state information calculation unit from the three-dimensional image. generation unit; and
a similarity determination unit that compares and analyzes the captured image and the reference image in a preset manner to determine their degree of similarity; Including alcohol sales system.
상기 상태정보연산부는,
상기 촬영이미지 중 상기 주류의 높이값 및 직경값을 연산함으로써, 상기 주류의 용량정보를 획득하도록 구성되며,
상기 기준이미지생성부는,
상기 용량정보를 더 고려하여, 상기 용량정보에 대응되는 입체이미지를 DB모듈로부터 로딩하도록 구성되되, 상기 DB모듈에 다른 용량정보로 구분되는 주류에 한하여 수행되는, 주류 판매 시스템. According to claim 1,
The status information operation unit,
It is configured to obtain capacity information of the mainstream by calculating the height value and diameter value of the mainstream among the captured images,
The reference image generator,
A liquor sales system that further considers the capacity information and is configured to load a three-dimensional image corresponding to the capacity information from a DB module, and is performed only for alcoholic beverages classified by different capacity information in the DB module.
상기 특징영역은 미리 설정된 제1차 내지 제n차 특징영역을 포함하며,
상기 상태정보연산부는,
제k차 특징영역의 추출을 실패하면, 제k+1차 특징영역의 추출을 수행하도록 설정된(여기서, k는 자연수로써, 1≤k≤n), 주류 판매 시스템. According to claim 1,
The feature area includes preset first to nth order feature areas,
The status information operation unit,
If extraction of the kth feature area fails, the liquor sales system is set to perform extraction of the k+1st feature area (where k is a natural number, 1≤k≤n).
상기 이미지분석모듈은,
상기 주류저장고 내부를 실시간으로 촬영하여 획득되는 내부이미지를 기반으로, 임의의 주류가 인출되기 직전의 제1 내부이미지와 인출된 직후의 제2 내부이미지의 변화를 감지하는 변화감지부; 를 더 포함하고,
상기 변화감지부는,
상기 제1 및 제2 내부이미지를 미리 설정된 방식으로 분석하여, 상기 인출된 주류정보를 확인하는, 주류 판매 시스템.According to claim 1,
The image analysis module is,
A change detection unit that detects changes in the first internal image just before any alcoholic beverage is withdrawn and the second internal image immediately after any alcoholic beverage is withdrawn, based on the internal image acquired by photographing the interior of the liquor storage unit in real time; It further includes,
The change detection unit,
An alcohol sales system that analyzes the first and second internal images in a preset manner and confirms the retrieved alcohol information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230126981A KR102616999B1 (en) | 2023-09-22 | 2023-09-22 | Automated unmanned liquor sales system and sales data collection device using vision technology |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230126981A KR102616999B1 (en) | 2023-09-22 | 2023-09-22 | Automated unmanned liquor sales system and sales data collection device using vision technology |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102616999B1 true KR102616999B1 (en) | 2023-12-27 |
Family
ID=89377490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230126981A KR102616999B1 (en) | 2023-09-22 | 2023-09-22 | Automated unmanned liquor sales system and sales data collection device using vision technology |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102616999B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726277A (en) * | 2024-02-08 | 2024-03-19 | 酒仙网络科技股份有限公司 | Wine information management method and system based on intelligent storage |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110129312A (en) * | 2010-05-25 | 2011-12-01 | 주식회사 비즈모델라인 | System for relaying payment between different display, personal device and program |
| KR101919916B1 (en) | 2017-08-24 | 2018-11-19 | 주식회사 페이오티 | User terminal for smart payment, self-service machine, payment server and the method for payment of self-service machine |
| KR20210088905A (en) * | 2020-01-07 | 2021-07-15 | 하나시스 주식회사 | Un-manned sell system and sell method using the same |
| KR102334095B1 (en) * | 2021-04-13 | 2021-12-02 | 주식회사 고스트패스 | Payment method and payment system using user terminal |
| KR20230109332A (en) * | 2022-01-13 | 2023-07-20 | 주식회사 무잉 | Apparatus and method for managing unmanned stores |
-
2023
- 2023-09-22 KR KR1020230126981A patent/KR102616999B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110129312A (en) * | 2010-05-25 | 2011-12-01 | 주식회사 비즈모델라인 | System for relaying payment between different display, personal device and program |
| KR101919916B1 (en) | 2017-08-24 | 2018-11-19 | 주식회사 페이오티 | User terminal for smart payment, self-service machine, payment server and the method for payment of self-service machine |
| KR20210088905A (en) * | 2020-01-07 | 2021-07-15 | 하나시스 주식회사 | Un-manned sell system and sell method using the same |
| KR102334095B1 (en) * | 2021-04-13 | 2021-12-02 | 주식회사 고스트패스 | Payment method and payment system using user terminal |
| KR20230109332A (en) * | 2022-01-13 | 2023-07-20 | 주식회사 무잉 | Apparatus and method for managing unmanned stores |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726277A (en) * | 2024-02-08 | 2024-03-19 | 酒仙网络科技股份有限公司 | Wine information management method and system based on intelligent storage |
| CN117726277B (en) * | 2024-02-08 | 2024-04-26 | 酒仙网络科技股份有限公司 | Wine information management method and system based on intelligent storage |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11100481B2 (en) | Image authentication and security system and method | |
| US11934613B1 (en) | Systems and methods for generating a position based user interface | |
| US11113381B2 (en) | Providing an augmented reality overlay to secure input data | |
| KR102616999B1 (en) | Automated unmanned liquor sales system and sales data collection device using vision technology | |
| CN109409220A (en) | Business bootstrap technique, device and storage medium based on recognition of face | |
| CN109345375B (en) | Suspicious money laundering behavior identification method and device | |
| EP3580713A1 (en) | Systems and methods for biometric transaction management | |
| US20140361075A1 (en) | Image Capture and Identification System and Process | |
| US11749049B2 (en) | Systems and methods for visual verification | |
| US20150278812A1 (en) | Biometric matching system using input biometric sample | |
| US20180374101A1 (en) | Facial biometrics card emulation for in-store payment authorization | |
| WO2018137136A1 (en) | Vending machine and operation method thereof | |
| US20190318331A1 (en) | Methods for determining user experience (ux) effectiveness of atms | |
| CN115552493A (en) | Product identification system and method | |
| US20180253707A1 (en) | Automated Transaction System and Method | |
| CN103324275B (en) | User identification system and the method for identification user | |
| JP2014074972A (en) | Personal authentication supporting system with face image | |
| US11954668B2 (en) | Automatic teller machine system for authenticating a user device | |
| Ranjitha et al. | Multi-Account Embedded ATM Card with Face Recognition Security System | |
| CN110443946A (en) | Vending machine, the recognition methods of type of goods and device | |
| CN110598555A (en) | Image processing method, device and equipment | |
| KR102624459B1 (en) | Electronic payment method and ststem based on face recognition | |
| US20220188814A1 (en) | Appending local contextual information to a record of a remotely generated record log | |
| US20240086921A1 (en) | Payment terminal providing biometric authentication for certain credit card transactions | |
| CN113052237A (en) | Target object detection method and device and server |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |