KR102645291B1 - 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치 - Google Patents

상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치 Download PDF

Info

Publication number
KR102645291B1
KR102645291B1 KR1020190136438A KR20190136438A KR102645291B1 KR 102645291 B1 KR102645291 B1 KR 102645291B1 KR 1020190136438 A KR1020190136438 A KR 1020190136438A KR 20190136438 A KR20190136438 A KR 20190136438A KR 102645291 B1 KR102645291 B1 KR 102645291B1
Authority
KR
South Korea
Prior art keywords
product
vending machine
beverage
image
smart vending
Prior art date
Application number
KR1020190136438A
Other languages
English (en)
Other versions
KR20210051320A (ko
Inventor
한창호
한정수
양명직
최영우
Original Assignee
선문대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선문대학교 산학협력단 filed Critical 선문대학교 산학협력단
Priority to KR1020190136438A priority Critical patent/KR102645291B1/ko
Publication of KR20210051320A publication Critical patent/KR20210051320A/ko
Application granted granted Critical
Publication of KR102645291B1 publication Critical patent/KR102645291B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/006—Details of the software used for the vending machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1452—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on positionally close symbols, e.g. amount sign or URL-specific characters
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F11/00—Coin-freed apparatus for dispensing, or the like, discrete articles
    • G07F11/02—Coin-freed apparatus for dispensing, or the like, discrete articles from non-movable magazines
    • G07F11/38—Coin-freed apparatus for dispensing, or the like, discrete articles from non-movable magazines in which the magazines are horizontal
    • G07F11/42—Coin-freed apparatus for dispensing, or the like, discrete articles from non-movable magazines in which the magazines are horizontal the articles being delivered by motor-driven means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/001—Interfacing with vending machines using mobile or wearable devices
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/002—Vending machines being part of a centrally controlled network of vending machines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Electromagnetism (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치에 관한 것으로, 스마트 자판기 내 인입되는 음료 상품의 영상을 획득하는 영상 획득부; 획득된 음료 상품의 영상을 토대로 상품 수량을 파악하는 상품 수량 파악부; 획득된 음료 상품의 영상으로부터 유통기한 이미지를 추출하여, 유통 기한을 파악하는 유동 기한 파악부; 획득된 음료 상품의 영상으로부터 바코드 이미지를 추출하여, 제품 정보를 파악하는 제품 정보 파악부; 사용자가 기 설정된 거리 범위 이내로 스마트 자판기에 접근하여 사용자 단말을 통해 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 활성화시키면, 스마트 자판기 내 구비된 음료 상품의 리스트를 사용자 단말에 제공하는 음료 상품 리스트 제공부; 및 사용자가 제공된 음료 상품의 리스트를 토대로 사용자 단말을 통해 입력한 음료 상품에 대한 선택 정보가 수신되면, 스마트 자판기의 모터를 제어하여 스마트 자판기에서 해당 음료 상품이 인출되도록 하는 음료 상품 인출 제어부;를 포함한다.

Description

상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치{Smart vending machine management device that works with applications that can provide product information and order products}
본 발명은 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치에 관한 것으로, 보다 자세하게는 스마트 자판기 내 인입되는 음료 상품으로부터 획득된 음료 상품의 영상을 토대로 상품 수량, 유통 기한 및 제품 정보를 파악하고, 상품 정보 제공 및 상품 주문이 가능한 어플리케이션이 활성화된 사용자 단말에 제공된 음료 상품의 리스트를 토대로 음료 상품에 대한 선택 정보가 수신되면, 스마트 자판기의 모터를 제어하여 스마트 자판기에서 해당 음료 상품이 인출되도록 하는 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치에 관한 것이다.
자동판매기는 사람의 개입 없이 고객에게 상품을 판매하는 장치로써, 점포 유지에 따른 인건비와 공간 비용을 대폭 절감할 수 있는 장점과 판매 과정의 편리성, 관리의 용이성 등의 장점 때문에 꾸준히 그 영역을 확대해 왔다.
오늘날 자동판매기는 승차권, 음료, 과자, 기호식품, 1회 용품, 생필품, 장난감, 도서, 화장품 등 다양한 부문에 적용되고 있으며, 앞으로도 편리한 유통방식의 하나로써 확고한 지위를 유지할 것으로 예측된다.
그러나 한편으로는 자동판매기를 통해 구매하는 상품에 대한 고객의 불안감이나 불신이 존재하는 것도 사실이며, 특히 음식이나 음료 등 먹거리의 경우 이러한 불안감은 더욱 높아진다. 이러한 불안감이나 불신의 주요 원인으로는 식품 안전성에 관한 것을 꼽을 수 있는데, 재료 및 상품의 철저한 유통기한 관리, 자동판매기 내의 위생 관리 및 청결 유지 등이 그에 대한 해결책이라 할 수 있다.
자동판매기에서 판매하는 식품 및 음료의 안전성이 보장되지 않으면 상품을 구매한 고객의 건강과 생명이 위험에 노출되게 되고, 고객은 이에 대한 불안감과 불만을 느낄 수 있고, 구매자와 판매자 사이에 소송 등 법적 분쟁이 발생할 수도 있으며, 이와 같이 잠재고객들의 불안감이 고조되거나 식품 안전성을 침해하는 사건이 반복됨에 따라 자동판매기를 통한 매출이 하락하거나 어느 수준 이상 성장할 수 없는 한계점이 상존하게 되고, 관련산업 또한 부진하게 되는 악순환이 불가피하다.
이와 관련하여, 한국공개특허 제2018-0118495호는 "자동판매기 제어 시스템 및 방법"에 관하여 개시하고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 발명된 것으로서, 스마트 자판기 내 인입되는 음료 상품으로부터 획득된 음료 상품의 영상을 토대로 상품 수량, 유통 기한 및 제품 정보를 파악하는 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은 사용자가 기 설정된 거리 범위 이내로 스마트 자판기에 접근하여 사용자 단말을 통해 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 활성화시키면, 스마트 자판기 내 구비된 음료 상품의 리스트를 사용자 단말에 제공하고, 제공된 음료 상품의 리스트를 토대로 사용자 단말을 통해 입력한 음료 상품에 대한 선택 정보가 수신되면, 스마트 자판기의 모터를 제어하여 스마트 자판기에서 해당 음료 상품이 인출되도록 하는 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치를 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치는 스마트 자판기 내 인입되는 음료 상품의 영상을 획득하는 영상 획득부; 획득된 음료 상품의 영상을 토대로 상품 수량을 파악하는 상품 수량 파악부; 획득된 음료 상품의 영상으로부터 유통기한 이미지를 추출하여, 유통 기한을 파악하는 유동 기한 파악부; 획득된 음료 상품의 영상으로부터 바코드 이미지를 추출하여, 제품 정보를 파악하는 제품 정보 파악부; 사용자가 기 설정된 거리 범위 이내로 스마트 자판기에 접근하여 사용자 단말을 통해 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 활성화시키면, 스마트 자판기 내 구비된 음료 상품의 리스트를 사용자 단말에 제공하는 음료 상품 리스트 제공부; 및 사용자가 제공된 음료 상품의 리스트를 토대로 사용자 단말을 통해 입력한 음료 상품에 대한 선택 정보가 수신되면, 스마트 자판기의 모터를 제어하여 스마트 자판기에서 해당 음료 상품이 인출되도록 하는 음료 상품 인출 제어부;를 포함한다.
또한, 상기 상품 수량 파악부는 획득된 음료 상품의 영상으로부터 음료 상품의 바닥 이미지를 추출하여 흑백으로 변환시키고, 흑백으로 변환된 음료 상품의 바닥 이미지를 이진화시킨 후 검출되는 에지 영역으로부터 원을 검출하고, 검출된 원의 크기 및 개수를 토대로 상품 수량을 파악하는 것을 특징으로 한다.
또한, 상기 유통 기한 파악부는 획득된 음료 상품의 영상으로부터 음료 상품의 바닥 이미지를 추출하여 흑백으로 변환시키고, 흑백으로 변환된 음료 상품의 바닥 이미지를 이진화시킨 후 검출되는 에지 영역으로부터 원을 검출하고, 검출된 원에서 ROI(Region of Interest) 영역을 설정한 뒤 설정된 ROI 영역에서 유통 기한이 기재된 영역의 유통 기한 이미지를 추출하여 유통 기한을 파악하는 것을 특징으로 한다.
또한, 상기 제품 정보 파악부는 획득된 음료 상품의 영상으로부터 음료 상품의 바코드 이미지를 추출하여 이진화시킨 후, 바코드의 시작점과 끝점을 파악하여 구한 검은색 선과 흰색 선의 간격을 토대로 바코드 길이와 수의 비율을 이용하여 해당 데이터를 입력받고 기 설정된 데이터와 비교하여 제품 정보를 파악하는 것을 특징으로 한다.
또한, 관리자가 관리자 단말을 통해 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 활성화시키면, 스마트 자판기 내 구비된 음료 상품의 수량, 유통 기한 및 제품 정보 중 적어도 어느 하나를 포함하는 제품 보유 현황 정보, 스마트 자판기에서 판매된 음료 상품의 순서, 종류, 개수, 금액 및 시간 중 적어도 어느 하나를 포함하는 제품 판매 현황 정보 및 상품 정보 제공 및 상품 주문이 가능한 어플리케이션에 가입된 회원 정보를 관리자 단말에 제공하는 스마트 자판기 정보 제공부를 포함하는 것을 특징으로 한다.
상기의 목적을 달성하기 위한 본 발명에 따른 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치는 스마트 자판기 내 인입되는 음료 상품으로부터 획득된 음료 상품의 영상을 토대로 상품 수량, 유통 기한 및 제품 정보를 파악할 수 있습니다.
또한, 본 발명은 사용자가 기 설정된 거리 범위 이내로 스마트 자판기에 접근하여 사용자 단말을 통해 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 활성화시키면, 스마트 자판기 내 구비된 음료 상품의 리스트를 사용자 단말에 제공하고, 제공된 음료 상품의 리스트를 토대로 사용자 단말을 통해 입력한 음료 상품에 대한 선택 정보가 수신되면, 스마트 자판기의 모터를 제어하여 스마트 자판기에서 해당 음료 상품이 인출될 수 있습니다.
도 1은 본 발명에 따른 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치의 구성을 설명하기 위한 도면이다.
도 3 내지 도 12는 본 발명에 따른 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치의 실시예를 설명하기 위한 도면이다.
도 13 내지 도 15는 본 발명에서 사용자 단말에서 활성화되는 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 설명하기 위한 도면이다.
도 16 내지 도 19은 본 발명에서 관리자 단말에서 활성화되는 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 시스템의 구성을 설명하기 위한 도면이다.
도 1을 참조하여 설명하면, 본 발명에 따른 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 시스템(10)은 크게 스마트 자판기(20), 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 사용자 단말(30) 또는 관리자 단말(40) 및 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치(100)를 포함한다.
스마트 자판기(20)는 외관은 아크릴판을 이용하여 덮어주었고, 앞면 하단에는 음료수 배출구를 만들어 음료 나오는 공간이 구비되어 있다. 그리고 상단 또는 내부에는 카메라가 부착되어 있어 자판기 내부를 촬영할 수 있도록 제작되었다. 그리고 사용자 단말을 통해 음료 상품에 대한 선택 정보가 수신되면, 스마트 자판기의 모터를 제어하여 스마트 자판기에서 해당 음료 상품을 인출시키기 위해 아두이노 UNO 보드를 사용하였다. 즉, 아두이노 UNO 보드와 사용자 단말 또는 관리자 단말가 근거리 무선 기술을 통해 데이터를 주고 받을 수 있게 되고, 아두이노 UNO 보드 창에서 데이터를 보내거나 사용자 단말 또는 관리자 단말에서 데이터를 보내 모터를 제어할 수 있게 된다.
상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 사용자 단말(30)은 사용자가 기 설정된 거리 범위 이내로 스마트 자판기(10)에 접근하여 사용자 단말을 통해 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 활성화시키면, 화면 상에 스마트 자판기(10) 내 구비된 음료 상품의 리스트를 제공받을 수 있다.
상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 관리자 단말(40)은 관리자가 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 활성화시키면, 스마트 자판기(10) 내 구비된 음료 상품의 수량, 유통 기한 및 제품 정보 중 적어도 어느 하나를 포함하는 제품 보유 현황 정보, 스마트 자판기(10)에서 판매된 음료 상품의 순서, 종류, 개수, 금액 및 시간 중 적어도 어느 하나를 포함하는 제품 판매 현황 정보 및 상품 정보 제공 및 상품 주문이 가능한 어플리케이션에 가입된 회원 정보를 제공받을 수 있다.
상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치(100)는 스마트 자판기(10) 내 인입되는 음료 상품으로부터 획득된 음료 상품의 영상을 토대로 상품 수량, 유통 기한 및 제품 정보를 파악하고, 상품 정보 제공 및 상품 주문이 가능한 어플리케이션이 활성화된 사용자 단말(20)에 제공된 음료 상품의 리스트를 토대로 음료 상품에 대한 선택 정보가 수신되면, 스마트 자판기(10)의 모터를 제어하여 스마트 자판기(10)에서 해당 음료 상품이 인출되도록 한다.
도 2는 본 발명에 따른 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치의 구성을 설명하기 위한 도면이고, 도 3 내지 도 12는 본 발명에 따른 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치의 실시예를 설명하기 위한 도면이고, 도 13 내지 도 15는 본 발명에서 사용자 단말에서 활성화되는 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 설명하기 위한 도면이고, 도 16 내지 도 19은 본 발명에서 관리자 단말에서 활성화되는 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 설명하기 위한 도면이다.
도 2를 참조하여 설명하면, 본 발명에 따른 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치(100)는 크게 영상 획득부(110), 상품 수량 파악부(120), 유통 기한 파악부(130), 제품 정보 파악부(140), 음료 상품 리스트 제공부(150), 음료 상품 인출 제어부(160) 및 스마트 자판기 정보 제공부(170)를 포함한다.
영상 획득부(110)는 스마트 자판기 내 인입되어 스마트 자판기에 구비된 카메라로부터 촬영되는 음료 상품의 영상을 획득한다.
상품 수량 파악부(120)는 획득된 음료 상품의 영상을 토대로 상품 수량을 파악한다.
상품 수량 파악부(120)는 획득된 음료 상품의 영상으로부터 음료 상품의 바닥 이미지를 추출하여 흑백으로 변환시키고, 흑백으로 변환된 음료 상품의 바닥 이미지를 이진화시킨 후 검출되는 에지 영역으로부터 원을 검출하고, 검출된 원의 크기 및 개수를 토대로 상품 수량을 파악한다. 이때, 원을 검출하는 이유는 음료수 캔의 모양을 인식하기 위함이다.
보다 자세하게, 상품 수량 파악부(120)는 도 3에 도시된 바와 같이 추출된 음료 상품의 바닥 이미지를 cvtColor 함수를 이용하여 흑백 영상으로 변환시킨다. cvtColor 함수는 첫 번째 인수로 지정된 영상을 세 번째 인수 형식으로 바꾼 영상을 두 번째 인수로 돌려주는 형식이다. 그 다음, 도 4에 도시된 바와 같이 흑백으로 변환된 음료 상품의 바닥 이미지를 이진화시킨다. 이진화하는 과정에서 잡음이 발생하게 된다. 따라서 도 5에 도시된 바와 같이 Morphology 와 Blur 기능을 사용하여 잡음을 제거한다. Morphology 기능에는 침식과 팽창 기능이 있는데 침식과 팽창만을 사용하기에는 문제점이 있기 때문에 침식과 팽창을 연이어 사용하는 열림과 닫힘 연산을 이용할 수 있다. 그 다음 도 6에 도시된 바와 같이 에지를 검출하여 검출된 원의 중심점 좌표를 구하고, 구해진 좌표를 통해어 도 7과 같이 원의 지름 값을 구할 수 있다. 구해진 지름 값을 바탕으로 70~80 크기의 원과 80~90 크기의 원을 구분하여 도 8와 같이 각각의 개수를 파악할 수 있다.
유통 기한 파악부(130)는 획득된 음료 상품의 영상으로부터 유통기한 이미지를 추출하여, 유통 기한을 파악한다.
유통 기한 파악부(130)는 획득된 음료 상품의 영상으로부터 음료 상품의 바닥 이미지를 추출하여 흑백으로 변환시키고, 흑백으로 변환된 음료 상품의 바닥 이미지를 이진화시킨 후 검출되는 에지 영역으로부터 원을 검출하고, 검출된 원에서 ROI(Region of Interest) 영역을 설정한 뒤 설정된 ROI 영역에서 유통 기한이 기재된 영역의 유통 기한 이미지를 추출하여 유통 기한을 파악한다.
보다 자세하게, 유통 기한 파악부(130)는 음료 상품을 확인 후 circles 를 ROI 영역으로 설정하고, 설정된 ROI 영역 내에 유통 기한이 기재된 부분의 영역을 섬출하여 Mat에 저장해주고 이미지를 불러와 도 9과 같이 확인할 수 있다.
제품 정보 파악부(140)는 획득된 음료 상품의 영상으로부터 바코드 이미지를 추출하여, 제품 정보를 파악한다.
제품 정보 파악부(140)는 획득된 음료 상품의 영상으로부터 음료 상품의 바코드 이미지를 추출하여 이진화시킨 후, 바코드의 시작점과 끝점을 파악하여 구한 검은색 선과 흰색 선의 간격을 토대로 바코드 길이와 수의 비율을 이용하여 해당 데이터를 입력받고 기 설정된 데이터와 비교하여 제품 정보를 파악한다.
보다 자세하게, 제품 정보 파악부(140)는 음료 상품의 영상을 흑백으로 변환시킨 후 approxPolyDP 함수를 이용하여 선분을 간략화한 후 도 10에 도시된 바와 같이 4개의 꼭지점을 갖는 도형을 검출한다. 그 후 도 11과 같이 특정 영역과 특정 모서리 개수만큼 검출하고, 검출된 사각형들 중 가장 큰 영역의 사각형을 검출하여 바코드 영역만을 검출한다. 이후 사각형 정렬 과정을 거쳐 기울어진 영상을 반듯한 영상이 되도록 와핑 작업을 해준다. 이후 시작점과 끝점을 구하고 바코드 간격을 구한 다음 인식률의 정확도를 높여주기 위하여 9개의 지점의 step을 비교하여 계산을 한다. 계산 결과를 토대로 길이를 코드 수로 나눈 비율과 step의 비율을 비교하여 0 과 1 코드로 변환시킨다. 변환된 코드와 기 저장된 LGR 코드를 비교하여 도 12과 같이 바코드를 인식한다.
음료 상품 리스트 제공부(150)는 사용자가 기 설정된 거리 범위 이내로 스마트 자판기에 접근하여 사용자 단말을 통해 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 활성화시키면, 스마트 자판기 내 구비된 음료 상품의 리스트를 사용자 단말에 제공한다.
이와 관련하여, 상품 정보 제공 및 상품 주문이 가능한 어플리케이션은 사용자 단말에 최초로 활성화되면 도 13와 같은 초기화면이 제공된다. 그 후 사용자가 스마트 자판기에서 음료 상품을 구매할 수 있도록 도 14와 같은 회원가입 화면 및 도 15과 같은 구매 화면이 제공된다. 도 15과 같은 구매 화면에서 사용자가 구매 개수를 입력 후 구매하기 버튼을 누르면 근거리 무선 기술을 통해 아두이노 UNO 보드의 모터를 제어하여 스마트 자판기 내에서 음료 상품이 인출되도록 한다.
음료 상품 인출 제어부(160)는 사용자가 제공된 음료 상품의 리스트를 토대로 사용자 단말을 통해 입력한 음료 상품에 대한 선택 정보가 수신되면, 스마트 자판기의 모터를 제어하여 스마트 자판기에서 해당 음료 상품이 인출되도록 한다.
판매 정보 파악부(170)는 사용자 단말로부터 수신된 음료 상품에 대한 선택 정보를 토대로 스마트 자판기에서 해당 음료 상품이 인출되면, 해당 음료 상품의 종류, 개수, 금액 및 시간중 적어도 어느 하나를 포함하는 제품 판매 정보를 파악한다.
스마트 자판기 정보 제공부(180)는 관리자가 관리자 단말을 통해 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 활성화시키면, 스마트 자판기 내 구비된 음료 상품의 수량, 유통 기한 및 제품 정보 중 적어도 어느 하나를 포함하는 제품 보유 현황 정보, 스마트 자판기에서 판매된 음료 상품의 순서, 종류, 개수, 금액 및 시간 중 적어도 어느 하나를 포함하는 제품 판매 현황 정보 및 상품 정보 제공 및 상품 주문이 가능한 어플리케이션에 가입된 회원 정보를 관리자 단말에 제공한다.
이와 관련하여, 상품 정보 제공 및 상품 주문이 가능한 어플리케이션은 관리자 단말에 최초로 활성화되면 도 16과 같은 로그인 화면이 제공된다. 로그인 되면 관리자 페이지에서는 실시간으로 도 17과 같이 자판기 내부 상황, 도 18과 같이 판매랑 정보 및 도 19와 같이 회원 정보를 볼 수 있다. 도 18과 같이 판매량 정보가 제공되면, 자판기의 음료수가 제한적이기 때문에 판매량을 보고 캔별로 매출을 확인하고, 판매 시간대와 팔리지 않는 음료수에 대하여 관리가 가능하다. 그리고 도 19와 같이 회원 정보가 제공되면 어느 회원이 가입했는지 확인할 수 있다.
이상 본 명세서에서 설명한 기능적 동작과 본 주제에 관한 실시형태들은 본 명세서에서 개시한 구조들 및 그들의 구조적인 등가물을 포함하여 디지털 전자 회로나 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 또는 이들 중 하나 이상이 조합에서 구현 가능하다.
본 명세서에서 기술하는 주제의 실시형태는 하나 이상이 컴퓨터 프로그램 제품, 다시 말해 데이터 처리 장치에 의한 실행을 위하여 또는 그 동작을 제어하기 위하여 유형의 프로그램 매체상에 인코딩되는 컴퓨터 프로그램 명령에 관한 하나 이상이 모듈로서 구현될 수 있다. 유형의 프로그램 매체는 전파형 신호이거나 컴퓨터로 판독 가능한 매체일 수 있다. 전파형 신호는 컴퓨터에 의한 실행을 위하여 적절한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위하여 생성되는 예컨대 기계가 생성한 전기적, 광학적 또는 전자기 신호와 같은 인공적으로 생성된 신호이다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조합 또는 이들 중 하나 이상이 조합일 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 또는 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 또는 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 또는 컴퓨터 환경에서 이용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다.
컴퓨터 프로그램은 파일 장치의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 또는 다중의 상호 작용하는 파일(예컨대, 하나 이상이 모듈, 하위 프로그램 또는 코드의 일부를 저장하는 파일) 내에, 또는 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상이 스크립트) 내에 저장될 수 있다.
컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
부가적으로, 본 특허문헌에서 기술하는 논리 흐름과 구조적인 블록도는 개시된 구조적인 수단의 지원을 받는 대응하는 기능과 단계의 지원을 받는 대응하는 행위 및/또는 특정한 방법을 기술하는 것으로, 대응하는 소프트웨어 구조와 알고리즘과 그 등가물을 설정하는 데에도 사용 가능하다.
본 명세서에서 기술하는 프로세스와 논리 흐름은 수신 데이터 상에서 동작하고 출력을 생성함으로써 기능을 수행하기 위하여 하나 이상이 컴퓨터 프로그램을 실행하는 하나 이상이 프로그래머블 프로세서에 의하여 수행 가능하다.
컴퓨터 프로그램의 실행에 적합한 프로세서는, 예컨대 범용 및 특수 목적의 마이크로프로세서 양자 및 어떤 형태의 디지털 컴퓨터의 어떠한 하나 이상이 프로세서라도 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리 또는 양자로부터 명령어와 데이터를 수신할 것이다.
컴퓨터의 핵심적인 요소는 명령어와 데이터를 저장하기 위한 하나 이상이 메모리 장치 및 명령을 수행하기 위한 프로세서이다. 또한, 컴퓨터는 일반적으로 예컨대 자기, 자기 광학 디스크나 광학 디스크와 같은 데이터를 저장하기 위한 하나 이상이 대량 저장 장치로부터 데이터를 수신하거나 그것으로 데이터를 전송하거나 또는 그러한 동작 둘 다를 수행하기 위하여 동작가능 하도록 결합되거나 이를 포함할 것이다. 그러나, 컴퓨터는 그러한 장치를 가질 필요가 없다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다.
따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
100 : 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치
110 : 영상 획득부
120 : 상품 수량 파악부
130 : 유통 기한 파악부
140 : 제품 정보 파악부
150 : 음료 상품 리스트 제공부
160 : 음료 상품 인출 제어부
170 : 판매 정보 파악부
180 : 스마트 자판기 정보 제공부

Claims (5)

  1. 스마트 자판기 내 인입되는 음료 상품의 영상을 획득하는 영상 획득부;
    획득된 음료 상품의 영상을 토대로 상품 수량을 파악하는 상품 수량 파악부;
    획득된 음료 상품의 영상으로부터 유통기한 이미지를 추출하여, 유통 기한을 파악하는 유동 기한 파악부;
    획득된 음료 상품의 영상으로부터 바코드 이미지를 추출하여, 제품 정보를 파악하는 제품 정보 파악부;
    사용자가 기 설정된 거리 범위 이내로 스마트 자판기에 접근하여 사용자 단말을 통해 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 활성화시키면, 스마트 자판기 내 구비된 음료 상품의 리스트를 사용자 단말에 제공하는 음료 상품 리스트 제공부; 및
    사용자가 제공된 음료 상품의 리스트를 토대로 사용자 단말을 통해 입력한 음료 상품에 대한 선택 정보가 수신되면, 스마트 자판기의 모터를 제어하여 스마트 자판기에서 해당 음료 상품이 인출되도록 하는 음료 상품 인출 제어부;를 포함하며,
    상기 상품 수량 파악부는 획득된 음료 상품의 영상으로부터 음료 상품의 바닥 이미지를 추출하여 흑백으로 변환시키고, 흑백으로 변환된 음료 상품의 바닥 이미지를 이진화시킨 후 검출되는 에지 영역으로부터 원을 검출하고, 검출된 원의 크기 및 개수를 토대로 상품 수량을 파악하는 것을 특징으로 하는 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 유통 기한 파악부는 획득된 음료 상품의 영상으로부터 음료 상품의 바닥 이미지를 추출하여 흑백으로 변환시키고, 흑백으로 변환된 음료 상품의 바닥 이미지를 이진화시킨 후 검출되는 에지 영역으로부터 원을 검출하고, 검출된 원에서 ROI(Region of Interest) 영역을 설정한 뒤 설정된 ROI 영역에서 유통 기한이 기재된 영역의 유통 기한 이미지를 추출하여 유통 기한을 파악하는 것을 특징으로 하는 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치.
  4. 제1항에 있어서,
    상기 제품 정보 파악부는 획득된 음료 상품의 영상으로부터 음료 상품의 바코드 이미지를 추출하여 이진화시킨 후, 바코드의 시작점과 끝점을 파악하여 구한 검은색 선과 흰색 선의 간격을 토대로 바코드 길이와 수의 비율을 이용하여 해당 데이터를 입력받고 기 설정된 데이터와 비교하여 제품 정보를 파악하는 것을 특징으로 하는 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치.
  5. 제1항에 있어서,
    관리자가 관리자 단말을 통해 상품 정보 제공 및 상품 주문이 가능한 어플리케이션을 활성화시키면, 스마트 자판기 내 구비된 음료 상품의 수량, 유통 기한 및 제품 정보 중 적어도 어느 하나를 포함하는 제품 보유 현황 정보, 스마트 자판기에서 판매된 음료 상품의 순서, 종류, 개수, 금액 및 시간 중 적어도 어느 하나를 포함하는 제품 판매 현황 정보 및 상품 정보 제공 및 상품 주문이 가능한 어플리케이션에 가입된 회원 정보를 관리자 단말에 제공하는 스마트 자판기 정보 제공부를 포함하는 것을 특징으로 하는 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치.
KR1020190136438A 2019-10-30 2019-10-30 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치 KR102645291B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190136438A KR102645291B1 (ko) 2019-10-30 2019-10-30 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190136438A KR102645291B1 (ko) 2019-10-30 2019-10-30 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치

Publications (2)

Publication Number Publication Date
KR20210051320A KR20210051320A (ko) 2021-05-10
KR102645291B1 true KR102645291B1 (ko) 2024-03-07

Family

ID=75918437

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190136438A KR102645291B1 (ko) 2019-10-30 2019-10-30 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치

Country Status (1)

Country Link
KR (1) KR102645291B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102606311B1 (ko) * 2023-07-20 2023-11-24 서경무 사용자 선호도 기반 캡슐 자판기 정보 제공 장치 및방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041371A (ja) * 2013-08-23 2015-03-02 株式会社ダイフク 物品情報認識装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577817B (zh) * 2012-07-24 2017-03-01 阿里巴巴集团控股有限公司 表单识别方法与装置
KR20160085726A (ko) * 2016-03-22 2016-07-18 계명대학교 산학협력단 자동판매기
KR102051655B1 (ko) * 2016-08-04 2019-12-04 주식회사 미라클솔루션 통합 이미지의 인식에 기초하여 상품 정보를 제공하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041371A (ja) * 2013-08-23 2015-03-02 株式会社ダイフク 物品情報認識装置

Also Published As

Publication number Publication date
KR20210051320A (ko) 2021-05-10

Similar Documents

Publication Publication Date Title
US20210073537A1 (en) Systems and methods for imaging identification information
US10475032B2 (en) Systems and methods for tokenless authentication of consumers during payment transactions
KR101951819B1 (ko) 배달 대행 정보 제공 방법, 장치 및 컴퓨터-판독가능 기록매체
WO2019001363A1 (zh) 实体店铺应用系统、用户信息处理方法及装置
JP2016192087A (ja) 精算システム、精算装置、プログラム、及び精算方法
JP2020060889A (ja) 無人店舗システムおよびサーバ
US20160321639A1 (en) Customer management system, customer management apparatus and customer management method
WO2019076010A1 (zh) 一种商品扫码设备
KR102645291B1 (ko) 상품 정보 제공 및 상품 주문이 가능한 어플리케이션과 연동되는 스마트 자판기 관리 장치
US9406059B1 (en) Checkout imaging mechanism
JP2022009877A (ja) 管理装置及びプログラム
JP6443184B2 (ja) 精算システム、商品登録装置、精算装置、プログラム、及び精算方法
Hsu et al. New generation artificial intelligent vending machine system based on LoRaWan IOT network
JP2019164448A (ja) 情報処理システム、情報処理方法及びプログラム
CN114267106A (zh) 一种身份识别方法、装置及设备
US20150025955A1 (en) System for enrollment of customers into company loyalty programs
CA3043447C (en) A data extraction system and method
CN110807660A (zh) 基于生物识别的票据数据处理方法、系统、设备及介质
US20220092573A1 (en) Portable terminal and information processing method for a portable terminal
WO2020195738A1 (ja) 情報処理装置、処理方法と記録媒体
CN107862521A (zh) 一种基于物联网的超市购物支付系统及方法
JP5987736B2 (ja) 精算装置、精算システム、精算方法およびプログラム
JP2016133922A (ja) 情報処理装置及びプログラム
JP2019053761A (ja) 精算システム、商品登録装置、及び精算方法
JP2018147445A (ja) 情報処理装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant