KR102410634B1 - 인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템 - Google Patents

인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR102410634B1
KR102410634B1 KR1020210137782A KR20210137782A KR102410634B1 KR 102410634 B1 KR102410634 B1 KR 102410634B1 KR 1020210137782 A KR1020210137782 A KR 1020210137782A KR 20210137782 A KR20210137782 A KR 20210137782A KR 102410634 B1 KR102410634 B1 KR 102410634B1
Authority
KR
South Korea
Prior art keywords
image
displayed
product
products
user
Prior art date
Application number
KR1020210137782A
Other languages
English (en)
Inventor
박진석
Original Assignee
도시공유플랫폼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도시공유플랫폼 주식회사 filed Critical 도시공유플랫폼 주식회사
Priority to KR1020210137782A priority Critical patent/KR102410634B1/ko
Application granted granted Critical
Publication of KR102410634B1 publication Critical patent/KR102410634B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)

Abstract

일실시예에 따르면, 장치에 의해 수행되는, 인공지능을 기반으로 무인 판매 서비스를 제공하는 방법에 있어서, 적어도 하나 이상의 카메라를 통해, 무인 판매기에 진열되어 있는 상품들에 대한 촬영이 수행되고 있는 경우, 제1 시점에 상기 상품들을 촬영하여 생성된 제1 이미지를 획득하는 단계; 상기 제1 시점 이후, 상기 상품들이 진열되어 있는 위치에서 어느 시점에, 제1 사용자에 의해 상기 진열되어 있는 상품들 중 적어도 하나의 위치에 변화가 생긴 것으로 확인되고, 제2 시점에 상기 제1 사용자가 상기 상품들이 진열되어 있는 위치를 벗어난 것으로 확인되면, 상기 제2 시점에 상기 상품들을 촬영하여 생성된 제2 이미지를 획득하는 단계; 상기 제1 이미지 및 상기 제2 이미지를 매칭하여, 매칭 결과를 생성하는 단계; 상기 매칭 결과를 상기 인공 신경망에 입력하고, 상기 인공 신경망의 입력에 대한 결과에 기초하여, 출력 신호를 획득하는 단계; 상기 출력 신호를 기초로, 상기 제1 시점에 상기 무인 판매기에 진열되어 있는 상품들과 상기 제2 시점에 상기 무인 판매기에 진열되어 있는 상품들을 비교하여, 상기 제1 사용자가 상기 무인 판매기에서 가져간 제1 상품을 인식하는 단계; 및 상기 제1 사용자의 결제 수단을 통해 상기 제1 상품의 가격에 대한 결제를 수행하는 단계를 포함하는, 인공지능 기반 무인 판매 서비스 제공 방법이 제공된다.

Description

인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템 {METHOD, DEVICE AND SYSTEM FOR PROVIDING UNATTENDED SALES SERVICE BASED ON ARTIFICIAL INTELLIGENCE}
아래 실시예들은 인공지능을 기반으로 무인 판매 서비스를 제공하기 위한 기술에 관한 것이다.
일반적으로 매장에서 상품을 구매하기 위해서는 구매자가 구매하고자 하는 상품을 선택하고, 선택한 상품의 계산을 위해 계산대 등 계산장소로 상품을 가지고 간 상태에서 이를 판매하고 있는 판매자에게 비용을 지불하여 구매하는 방식을 채택하고 있다.
예를 들어, 편의점에서 커피를 구매하고자 하는 경우, 구매자는 편의점에서 구매하고자 하는 커피를 냉장고 등의 상품수납부에서 취득한 후, 이를 계산대로 들고간 뒤 판매자에게 전달해주고, 판매자가 해당 상품에 대한 가격정보를 바코드 등을 활용하여 확인한 후, 확인된 가격에 대한 금액을 결제하여 구매자에게 다시 전달하면, 상품의 구입단계가 종료된다.
그런데, 상기와 같은 상품 구매 방식의 경우, 판매자가 필수적으로 매대에 대기하고 있어야 하기 때문에, 판매자가 사정 상 자리를 비우는 경우에는 상품을 구매할 수 없는 문제가 있다.
또한, 구매자가 단시간에 많이 몰리거나 계산을 위한 계산대가 한 군데만 존재하는 경우에는, 구매자가 상품을 구매하기 위해 장시간 대기해야 하는 문제가 있다.
이에 따라, 이러한 문제를 극복하기 위하여 상품판매처에서는 키오스크 등 다양한 무인 판매 장치를 설치하여, 구매자가 판매자에게 상품을 직접 가져가지 않고, 무인 판매 장치를 활용하여 바로 상품을 구매할 수 있는 상황이 늘어나고 있는 실정이다.
하지만, 무인 판매 장치를 이용하더라도, 구매자가 직접 바코드 등을 활용하여 구매 상품을 하나씩 인식시켜야 하는 과정을 필요로 한다.
따라서, 구매자가 상품을 인식시키는 과정 없이, 구매자가 상품을 가져가는 것만으로, 구매한 상품을 인식하여 결제까지 처리할 수 있는 무인 판매 서비스에 대한 연구가 요구된다.
한국등록특허 제10-2124568호 한국등록특허 제10-2179614호 한국등록특허 제10-2222158호 한국공개특허 제10-2021-0010598호
일실시예에 따르면, 적어도 하나 이상의 카메라를 통해, 무인 판매기에 진열되어 있는 상품들에 대한 촬영이 수행되고 있는 경우, 제1 시점에 상품들을 촬영하여 생성된 제1 이미지를 획득하고, 제1 시점 이후, 상품들이 진열되어 있는 위치에서 어느 시점에, 제1 사용자에 의해 진열되어 있는 상품들 중 적어도 하나의 위치에 변화가 생긴 것으로 확인되고, 제2 시점에 제1 사용자가 상품들이 진열되어 있는 위치를 벗어난 것으로 확인되면, 제2 시점에 상품들을 촬영하여 생성된 제2 이미지를 획득하고, 제1 이미지 및 제2 이미지를 매칭하여, 매칭 결과를 생성하고, 매칭 결과를 인공 신경망에 입력하고, 인공 신경망의 입력에 대한 결과에 기초하여, 출력 신호를 획득하고, 출력 신호를 기초로, 제1 시점에 무인 판매기에 진열되어 있는 상품들과 제2 시점에 무인 판매기에 진열되어 있는 상품들을 비교하여, 제1 사용자가 무인 판매기에서 가져간 제1 상품을 인식하고, 제1 사용자의 결제 수단을 통해 제1 상품의 가격에 대한 결제를 수행하는, 인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템을 제공하기 위한 것을 그 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
일실시예에 따르면, 장치에 의해 수행되는, 인공지능을 기반으로 무인 판매 서비스를 제공하는 방법에 있어서, 적어도 하나 이상의 카메라를 통해, 무인 판매기에 진열되어 있는 상품들에 대한 촬영이 수행되고 있는 경우, 제1 시점에 상기 상품들을 촬영하여 생성된 제1 이미지를 획득하는 단계; 상기 제1 시점 이후, 상기 상품들이 진열되어 있는 위치에서 어느 시점에, 제1 사용자에 의해 상기 진열되어 있는 상품들 중 적어도 하나의 위치에 변화가 생긴 것으로 확인되고, 제2 시점에 상기 제1 사용자가 상기 상품들이 진열되어 있는 위치를 벗어난 것으로 확인되면, 상기 제2 시점에 상기 상품들을 촬영하여 생성된 제2 이미지를 획득하는 단계; 상기 제1 이미지 및 상기 제2 이미지를 매칭하여, 매칭 결과를 생성하는 단계; 상기 매칭 결과를 상기 인공 신경망에 입력하고, 상기 인공 신경망의 입력에 대한 결과에 기초하여, 출력 신호를 획득하는 단계; 상기 출력 신호를 기초로, 상기 제1 시점에 상기 무인 판매기에 진열되어 있는 상품들과 상기 제2 시점에 상기 무인 판매기에 진열되어 있는 상품들을 비교하여, 상기 제1 사용자가 상기 무인 판매기에서 가져간 제1 상품을 인식하는 단계; 및 상기 제1 사용자의 결제 수단을 통해 상기 제1 상품의 가격에 대한 결제를 수행하는 단계를 포함하는, 인공지능 기반 무인 판매 서비스 제공 방법이 제공된다.
상기 인공지능 기반 무인 판매 서비스 제공 방법은, 상기 제1 상품의 외관을 여러 각도로 촬영하여 생성된 복수의 이미지를 획득하는 단계; 상기 복수의 이미지 각각에서 상기 제1 상품의 라벨이 표시된 라벨 영역이 지정되면, 상기 복수의 이미지 각각에서 상기 라벨 영역의 이미지를 추출하는 단계; 및 상기 라벨 영역의 이미지를 기초로, 상기 제1 상품의 라벨을 통해 상기 제1 상품을 인식하여 상기 무인 판매기에 진열되어 있는 상기 제1 상품의 수량을 파악하도록, 상기 인공 신경망을 학습시키는 단계를 더 포함하며, 상기 출력 신호를 획득하는 단계는, 상기 제1 이미지를 인코딩 하여 제1 입력 신호를 생성하는 단계; 상기 제1 입력 신호를 인공 신경망에 입력하고, 상기 인공 신경망의 입력에 대한 결과에 기초하여, 제1 출력 신호를 획득하는 단계; 상기 제2 이미지를 인코딩 하여 제2 입력 신호를 생성하는 단계; 및 상기 제2 입력 신호를 상기 인공 신경망에 입력하고, 상기 인공 신경망의 입력에 대한 결과에 기초하여, 제2 출력 신호를 획득하는 단계를 포함하며, 상기 제1 상품을 인식하는 단계는, 상기 제1 출력 신호를 기초로, 상기 제1 시점에 상기 무인 판매기에 진열되어 있는 상기 제1 상품의 수량인 제1 수량을 확인하는 단계; 상기 제2 출력 신호를 기초로, 상기 제2 시점에 상기 무인 판매기에 진열되어 있는 상기 제1 상품의 수량인 제2 수량을 확인하는 단계; 및 상기 제1 수량 및 상기 제1 수량을 비교하여, 상기 제1 수량 및 상기 제2 수량이 상이한 것으로 확인되면, 상기 제1 수량에서 상기 제2 수량을 차감한 제3 수량을 산출하고, 상기 제1 사용자가 상기 제1 상품을 상기 제3 수량만큼 가져간 것으로 인식하는 단계를 포함할 수 있다.
상기 인공지능 기반 무인 판매 서비스 제공 방법은, 상기 무인 판매기에 구비된 복수의 선반 중 제1 선반의 말단에 설치된 복수의 센서를 통해 상기 제1 선반의 각 칸에 진열되어 있는 상품들과 상기 제1 선반의 말단 간의 이격 거리가 측정되고 있는 경우, 제1 칸에 설치된 제1 센서에서 측정된 센싱 정보를 기반으로, 상기 제1 칸에 진열되어 있는 상기 제1 상품과 상기 제1 칸의 말단 간의 이격 거리인 제1 이격 거리를 확인하는 단계; 상기 제1 칸의 길이에서 상기 제1 이격 거리를 차감한 값으로, 상기 제1 칸에서 상기 제1 상품이 진열되어 있는 제1 구역의 길이를 산출하는 단계; 상기 제1 구역의 길이를 상기 제1 상품의 길이로 나눈 값으로, 상기 제1 칸에 진열되어 있는 상기 제1 상품의 수량을 산출하는 단계; 및 상기 제1 선반의 전면부에 설치된 디스플레이에 상기 제1 상품에 대한 상품 정보가 표시되도록 제어하는 단계를 더 포함할 수 있다.
상기 인공지능 기반 무인 판매 서비스 제공 방법은, 상기 무인 판매기에 배치된 복수의 선반 중 제2 선반에 담배들이 진열되어 있는 경우, 상기 제2 선반과 연결된 리더기에 사용자 식별 정보가 입력되면, 상기 입력된 사용자 식별 정보를 통해 상기 제1 사용자를 식별하는 단계; 상기 제1 사용자를 식별한 결과, 상기 제1 사용자가 성인으로 확인되면, 상기 제2 선반을 개폐하는 제1 도어의 잠금을 해제하여 개방되도록 제어하는 단계; 상기 리더기에 상기 사용자 식별 정보가 재인식되면, 상기 제1 도어를 폐쇄하여 잠금되도록 제어하는 단계; 및 상기 제1 도어의 개방 이전에 진열된 담배들과 상기 제1 도어의 폐쇄 이후에 진열된 담배들을 비교하여, 상기 제1 사용자가 가져간 담배의 종류 및 수량을 확인하는 단계를 더 포함할 수 있다.
상기 인공지능 기반 무인 판매 서비스 제공 방법은, 상기 제1 시점에 상기 상점 내에 배치된 LED 전광판의 촬영으로 생성된 제1-1 이미지를 획득하는 단계; 상기 LED 전광판에 표시되는 영상에서 상기 제1 시점에 표시되는 것으로 설정되어 있는 영상의 이미지를 제1-2 이미지로 획득하는 단계; 상기 제1-1 이미지 및 상기 제1-2 이미지를 비교하여, 상기 제1 시점의 영상에서 차이가 있는 영역이 있는지 여부를 확인하는 단계; 상기 제1-1 이미지 및 상기 제1-2 이미지를 비교한 결과, 상기 제1 시점의 영상에서 차이가 있는 영역으로 제1 영역이 확인되면, 상기 LED 전광판에서 상기 제1 영역의 디스플레이를 담당하고 있는 제1 LED 모듈에 문제가 있는 것으로 판단하는 단계; 상기 제1 LED 모듈에 문제가 있는 것으로 판단되면, 상기 제2 시점에 상기 LED 전광판의 촬영으로 생성된 제2-1 이미지를 획득하는 단계; 상기 LED 전광판에 표시되는 영상에서 상기 제2 시점에 표시되는 것으로 설정되어 있는 영상의 이미지를 제2-2 이미지로 획득하는 단계; 상기 제2-1 이미지 및 상기 제2-2 이미지를 비교하여, 상기 제2 시점의 영상에서 차이가 있는 영역이 있는지 여부를 확인하는 단계; 상기 제2-1 이미지 및 상기 제2-2 이미지를 비교한 결과, 상기 제2 시점의 영상에서 차이가 있는 영역으로 상기 제1 영역이 확인되지 않으면, 상기 제1 LED 모듈에 일시적인 문제가 발생한 것으로 판단하는 단계; 상기 제2-1 이미지 및 상기 제2-2 이미지를 비교한 결과, 상기 제2 시점의 영상에서 차이가 있는 영역으로 상기 제1 영역이 확인되면, 상기 제1 LED 모듈에 고장이 발생한 것으로 판단하는 단계; 및 상기 제1 LED 모듈에 고장이 발생한 것으로 판단되면, 상기 제1 LED 모듈에 대한 유지 보수 필요 알림 메시지를 관리자 단말로 전송하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 적어도 하나 이상의 카메라를 통해, 무인 판매기에 진열되어 있는 상품들에 대한 촬영이 수행되고 있는 경우, 제1 시점에 상품들을 촬영하여 생성된 제1 이미지를 획득하고, 제1 시점 이후, 상품들이 진열되어 있는 위치에서 어느 시점에, 제1 사용자에 의해 진열되어 있는 상품들 중 적어도 하나의 위치에 변화가 생긴 것으로 확인되고, 제2 시점에 제1 사용자가 상품들이 진열되어 있는 위치를 벗어난 것으로 확인되면, 제2 시점에 상품들을 촬영하여 생성된 제2 이미지를 획득하고, 제1 이미지 및 제2 이미지를 매칭하여, 매칭 결과를 생성하고, 매칭 결과를 인공 신경망에 입력하고, 인공 신경망의 입력에 대한 결과에 기초하여, 출력 신호를 획득하고, 출력 신호를 기초로, 제1 시점에 무인 판매기에 진열되어 있는 상품들과 제2 시점에 무인 판매기에 진열되어 있는 상품들을 비교하여, 제1 사용자가 무인 판매기에서 가져간 제1 상품을 인식하고, 제1 사용자의 결제 수단을 통해 제1 상품의 가격에 대한 결제를 수행함으로써, 구매자가 상품을 인식시키는 과정 없이, 구매자가 상품을 가져가는 것만으로, 구매한 상품을 인식하여 결제까지 처리할 수 있는 무인 판매 서비스를 제공할 수 있는 효과가 있다.
한편, 실시예들에 따른 효과들은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 일실시예에 따른 인공지능을 기반으로 무인 판매 서비스를 제공하는 과정을 설명하기 위한 순서도이다.
도 3은 일실시예에 따른 사용자의 이동을 추적하는 과정을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 인공 신경망의 학습 과정을 설명하기 위한 순서도이다.
도 5는 일실시예에 따른 상품의 수량을 확인하는 과정을 설명하기 위한 순서도이다.
도 6은 일실시예에 따른 무인 판매기에 구비된 제1 선반을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 사용자 인증을 통해 담배를 판매하는 과정을 설명하기 위한 순서도이다.
도 8은 일실시예에 따른 LED 전광판에서 제1 영역의 디스플레이를 담당하고 있는 제1 LED 모듈에 문제가 있는지 여부를 분석하는 과정을 설명하기 위한 순서도이다.
도 9는 일실시예에 따른 제1 영역 및 제1 LED 모듈을 설명하기 위한 도면이다.
도 10은 일실시예에 따른 LED 모듈에 고장이 있는지 여부를 분석하는 과정을 설명하기 위한 순서도이다.
도 11은 일실시예에 따른 인공 신경망을 설명하기 위한 도면이다.
도 12는 일실시예에 따른 장치의 구성의 예시도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 상품으로 구현될 수 있다.
도 1은 일실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 일실시예에 따른 시스템은 복수의 카메라(10), 무인 판매기(20) 및 장치(30)를 포함할 수 있다.
먼저, 복수의 카메라(10)는 상점 내에 설치되어, 설치된 구역에 대한 촬영을 수행하는 기기로, 제1 카메라(11), 제2 카메라(12) 등을 포함할 수 있다.
복수의 카메라(10)는 무인 판매기(20)에 진열되어 있는 상품들을 여러 각도에서 촬영할 수 있으며, 예를 들어, 제1 카메라(11)는 무인 판매기(20)의 좌측 상단에서 무인 판매기(20)에 진열되어 있는 상품들을 촬영하고, 제2 카메라(12)는 무인 판매기(20)의 우측 상단에서 무인 판매기(20)에 진열되어 있는 상품들을 촬영할 수 있다.
복수의 카메라(10) 각각은 감시 구역 내의 이동 객체 검출 기능을 가지는 모션 디텍터 카메라, 열 감지를 가지는 적외선 카메라, 객체 영상을 촬영하는 고화질 RGB 카메라, 보다 신뢰성이 있는 레이더가 부착된 카메라, 자동추적을 수행하기 위한 팬틸트 카메라, IP 통신을 수행할 수 있는 네트워크 카메라 등의 조합으로 이루어질 수 있다.
복수의 카메라(100)는 장치(30)와 네트워크를 통해 연결될 수 있으며, 장치(30)로부터 수신된 제어 신호에 의해 동작할 수 있다.
무인 판매기(20)는 상점 내에 배치되어, 무인 판매기(20) 내부에 판매를 위한 상품들이 진열될 수 있다.
무인 판매기(20)는 복수의 선반을 구비하여, 각 선반에 상품들이 배치될 수 있다.
무인 판매기(20)는 장치(30)와 네트워크를 통해 연결될 수 있으며, 장치(30)로부터 수신된 제어 신호에 의해 동작할 수 있다.
장치(30)는 장치(30)를 이용하여 서비스를 제공하는 자 내지 단체가 보유한 자체 서버일수도 있고, 클라우드 서버일 수도 있고, 분산된 노드(node)들의 p2p(peer-to-peer) 집합일 수도 있다. 장치(30)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 장치(30)는 추론 기능을 수행하는 적어도 하나 이상의 인공 신경망을 구비할 수 있다. 장치(30)는 복수의 카메라(10), 무인 판매기(20)와 유무선으로 통신하도록 구성될 수 있다.
장치(30)는 복수의 카메라(10) 및 무인 판매기(20)에 설치된 센서를 이용하여, 무인 판매기(20)에 진열되어 있는 상품들의 현황과 재고를 인식할 수 있다.
장치(30)는 복수의 카메라(10)를 통해 상품의 라벨을 다방면으로 촬영한 후, 이를 딥러닝을 통해 학습시킬 수 있다. 즉, 상품의 외관을 여러 각도로 다수 촬영한 후, 판매자나 운영자에 의해 상품 라벨의 일부 영역(예를 들면, 담배갑의 상단부, 음료수 병의 뚜껑 상단 등 소정의 영역)이 지정되면, 인공지능이 이를 인식하여 상품의 수량, 제고, 상태 등을 상품의 종류에 따라 각각 판단할 수 있다.
사용자가 상품을 선택하고 구매한 이후에는 인공지능이 무인 판매기(20)에 진열되어 있는 모든 상품을 일일이 재확인하여, 구매 전후를 비교하여 판매된 상품이 현재 존재하지 않고 있다는 것을 인식할 수 있다.
장치(30)는 관리 서버와 연결되어, 장치(30)가 딥러닝을 통해 파악한 상품의 현황, 재고 등에 대한 상품 정보를 관리 서버로 전송하여, 관리 서버에서도 상품 정보를 습득하고 관리할 수 있다.
도 2는 일실시예에 따른 인공지능을 기반으로 무인 판매 서비스를 제공하는 과정을 설명하기 위한 순서도이다.
도 2를 참조하면, 먼저, S201 단계에서, 장치(30)는 제1 시점에 무인 판매기(20)에 진열되어 있는 상품들을 촬영하여 생성된 제1 이미지를 획득할 수 있다.
구체적으로, 상점 내에는 적어도 하나 이상의 카메라가 설치되어 있으며, 상점 내에는 무인 판매기(20)가 배치되어 있다. 상점 내에 설치된 적어도 하나 이상의 카메라는 무인 판매기(20)에 진열되어 있는 상품들에 대한 촬영을 수행할 수 있다. 예를 들어, 제1 카메라(11) 단독으로 무인 판매기(20)에 진열되어 있는 상품들에 대한 촬영을 수행할 수 있으며, 제1 카메라(11) 및 제2 카메라(12)가 동시에 무인 판매기(20)에 진열되어 있는 상품들에 대한 촬영을 수행할 수 있다. 제1 카메라(11) 및 제2 카메라(12)가 동시에 무인 판매기(20)에 진열되어 있는 상품들에 대한 촬영을 수행할 때에는 제1 카메라(11)와 제2 카메라(12)의 촬영 각도가 상이하게 설정되어 있어, 제1 카메라(11)는 제1 측면에서 무인 판매기(20)에 진열되어 있는 상품들에 대한 촬영을 수행하고, 제2 카메라(12)는 제2 측면에서 무인 판매기(20)에 진열되어 있는 상품들에 대한 촬영을 수행할 수 있다.
장치(30)는 상점 내에 설치된 적어도 하나 이상의 카메라를 통해, 무인 판매기(20)에 진열되어 있는 상품들에 대한 촬영이 수행되고 있는 경우, 제1 시점에 상품들을 촬영하여 생성된 이미지를 제1 이미지로 획득할 수 있다. 이때, 장치(30)는 복수의 카메라를 통해 무인 판매기(20)에 진열되어 있는 상품들에 대한 촬영이 수행되고 있는 경우, 제1 시점에 여러 각도에서 상품들을 촬영하여 생성된 복수의 이미지를 조합하여 제1 이미지로 획득할 수 있다.
복수의 카메라(10) 각각은 영상 촬영을 위한 Full HD(High Definition) 화질의 카메라 장비로서, 30내지 60프레임을 기준으로 하는 촬영 장비일 수 있다. 카메라는 노출, 셔터스피드, 감도를 자동으로 조절할 수 있으며, 사용자의 편의에 따라 수동 조절이 가능할 수 있다.
S202 단계에서, 장치(30)는 제1 시점 이후에, 제1 사용자가 상품들이 진열되어 있는 위치로 이동하였는지 여부를 확인할 수 있다. 즉, 장치(30)는 제1 사용자가 상품들이 진열된 무인 판매기(20)가 있는 위치로 이동하였는지 여부를 확인할 수 있다.
S202 단계에서 장치(30)는 제1 사용자가 무인 판매기(20)가 있는 위치가 아니라 다른 위치로 이동한 것이 확인되면, S201 단계로 되돌아가, 장치(30)는 제1 사용자가 다른 위치로 이동한 시점에, 무인 판매기(20)에 진열되어 있는 상품들을 촬영하여 생성된 이미지를 제1 이미지로 다시 획득할 수 있다.
S202 단계에서 장치(30)는 제1 사용자가 무인 판매기(20)가 있는 위치로 이동한 것이 확인되면, S203 단계에서, 장치(30)는 기준 시간 내에, 제1 사용자에 의해 진열되어 있는 상품들 중 적어도 하나의 위치에 변화가 생겼는지 여부를 확인할 수 있다. 여기서, 기준 시간은 실시예에 따라 상이하게 설정될 수 있다.
즉, 장치(30)는 제1 사용자가 무인 판매기(20)가 있는 위치로 이동한 후, 무인 판매기(20)에 진열된 상품들 중 일부를 건드린 경우, 진열되어 있는 상품들의 위치에 변화가 생기는지 여부를 확인할 수 있다. 이를 위해, 상점에 설치된 카메라들 중 어느 하나는 제1 사용자를 촬영하고 있고, 다른 하나는 진열되어 있는 상품들을 촬영하고 있다. 이를 통해, 장치(30)는 제1 사용자의 촬영으로 생성된 영상을 기초로, 제1 사용자의 행동을 분석하여, 제1 사용자가 진열되어 있는 상품을 만지는지 여부를 확인하고, 제1 사용자가 진열되어 있는 상품을 만진 것으로 확인되면, 진열된 상품들의 촬영으로 생성된 영상을 기초로, 진열되어 있는 상품들의 위치에 변화가 생겼는지 여부를 확인할 수 있다.
S203 단계에서 무인 판매기(20)에 진열되어 있는 상품들의 위치에 변화가 생기지 않은 것으로 확인되면, S201 단계로 되돌아가, 장치(30)는 제1 사용자가 무인 판매기(20)가 있는 위치에서 벗어나 다른 위치로 이동한 시점에, 무인 판매기(20)에 진열되어 있는 상품들을 촬영하여 생성된 이미지를 제1 이미지로 다시 획득할 수 있다.
S203 단계에서 어느 시점에 무인 판매기(20)에 진열되어 있는 상품들의 위치에 변화가 생긴 것으로 확인되면, S204 단계에서, 장치(30)는 제1 사용자가 상품들이 진열되어 있는 위치를 벗어났는지 여부를 확인할 수 있다. 즉, 장치(30)는 제1 사용자가 상품들이 진열된 무인 판매기(20)가 있는 위치에서 벗어났는지 여부를 확인할 수 있다.
장치(30)는 제1 사용자가 상품들이 진열되어 있는 위치를 벗어날 때까지, S204 단계를 반복하여 수행할 수 있다.
S204 단계에서 제2 시점에 제1 사용자가 상품들이 진열되어 있는 위치를 벗어난 것으로 확인되면, S205 단계에서, 장치(30)는 제2 시점에 무인 판매기(20)에 진열되어 있는 상품들을 촬영하여 생성된 제2 이미지를 획득할 수 있다. 이때, 장치(30)는 제1 사용자가 상품들이 진열된 무인 판매기(20)가 있는 위치에서 벗어나 다른 위치로 이동한 시점을 제2 시점으로 설정하여, 제2 시점에 무인 판매기(20)에 진열되어 있는 상품들을 촬영하여 생성된 제2 이미지를 획득할 수 있다. 이와 관련된 자세한 설명은 도 3을 참조하여 후술하기로 한다.
즉, 제1 사용자가 상품들이 진열되어 있는 위치로 이동한 후, 제1 사용자에 의해 진열되어 있는 상품들 중 적어도 하나의 위치에 변화가 생기게 되면, 제1 사용자가 상품들이 진열되어 있는 위치를 벗어난 경우, 장치(30)는 진열되어 있는 상품들의 확인을 위해, 진열되어 있는 상품들을 다시 촬영하여 제2 이미지를 획득할 수 있다.
S206 단계에서, 장치(30)는 제1 이미지 및 제2 이미지를 매칭하여, 매칭 결과를 생성할 수 있다. 즉, 장치(30)는 제1 사용자가 방문하기 전에 획득된 제1 이미지와 제1 사용자가 방문한 후에 획득된 제2 이미지를 매칭하여, 매칭 결과를 생성할 수 있다.
S207 단계에서, 장치(30)는 매칭 결과를 인공 신경망에 입력할 수 있다.
장치(30)는 매칭 결과를 인공 신경망에 입력할 때, 복수의 입력 신호를 생성하여 인공 신경망에 입력할 수 있다.
장치(30)는 제1 이미지를 인코딩 하여 제1 입력 신호를 생성하고, 제2 이미지를 인코딩 하여 제2 입력 신호를 생성할 수 있다.
구체적으로, 장치(30)는 제1 이미지의 픽셀을 색 정보로 인코딩 하여 제1 입력 신호를 생성하고, 제2 이미지의 픽셀을 색 정보로 인코딩 하여 제2 입력 신호를 생성할 수 있다. 색 정보는 RGB 색상 정보, 명도 정보, 채도 정보를 포함할 수 있으나, 이에 국한하지 않는다. 장치(30)는 색 정보를 수치화된 값으로 환산할 수 있으며, 이 값을 포함한 데이터 시트 형태로 이미지를 인코딩할 수 있다.
장치(30)는 제1 입력 신호가 생성되면 제1 입력 신호를 인공 신경망에 입력하고, 제2 입력 신호가 생성되면 제2 입력 신호를 인공 신경망에 입력할 수 있다.
일실시예에 따르면, 인공 신경망은 컨볼루션 신경망으로 구현되어, 컨볼루션 신경망은 특징 추출 신경망과 분류 신경망으로 구성되어 있으며, 특징 추출 신경망은 입력 신호를 컨볼루션 계층과 풀링 계층을 차례로 쌓아 진행한다. 컨볼루션 계층은 컨볼루션 연산, 컨볼루션 필터 및 활성함수를 포함하고 있다. 컨볼루션 필터의 계산은 대상 입력의 행렬 크기에 따라 조절되나 일반적으로 9X9 행렬을 사용한다. 활성 함수는 일반적으로 ReLU 함수, 시그모이드 함수, 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 풀링 계층은 입력의 행렬 크기를 줄이는 역할을 하는 계층으로, 특정 영역의 픽셀을 묶어 대표값을 추출하는 방식을 사용한다. 풀링 계층의 연산에는 일반적으로 평균값이나 최대값을 많이 사용하나 이에 한정하지 않는다. 해당 연산은 정방 행렬을 사용하여 진행되는데, 일반적으로 9X9 행렬을 사용한다. 컨볼루션 계층과 풀링 계층은 해당 입력이 차이를 유지한 상태에서 충분히 작아질 때까지 번갈아 반복 진행된다.
일실시예에 따르면, 분류 신경망은 은닉층과 출력층을 가지고 있다. 인공지능 기반의 무인 판매 서비스를 위한 컨볼루션 신경망에서는 일반적으로 은닉층이 3개 이상 존재하며, 각 은닉층의 노드는 100개로 지정하나 경우에 따라 그 이상으로 정할 수 있다. 은닉층의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 컨볼루션 신경망의 출력층 노드는 총 50개로 할 수 있다. 컨볼루션 신경망에 대한 자세한 설명은 도 11을 참조하여 후술한다.
S208 단계에서, 장치(30)는 컨볼루션 신경망인 인공 신경망의 입력의 대한 결과에 기초하여, 인공 신경망의 출력값인 출력 신호를 획득할 수 있다.
구체적으로, 장치(30)는 제1 입력 신호를 인공 신경망에 입력한 경우, 인공 신경망의 입력에 대한 결과에 기초하여, 제1 출력 신호를 획득하고, 제2 입력 신호를 인공 신경망에 입력한 경우, 인공 신경망의 입력에 대한 결과에 기초하여, 제2 출력 신호를 획득할 수 있다.
일실시예에 따르면, 컨볼루션 신경망의 50개 출력층 노드는 상위 25개의 출력층 노드와 하위 25개의 출력층 노드를 포함할 수 있다. 컨볼루션 신경망의 50개 출력층 노드 중 상위 25개의 출력층 노드는 상품의 종류를 지시할 수 있다. 하위 25개의 노드는 상위 25개의 노드에 대응하는 상품의 수량을 지시할 수 있다. 컨볼루션 신경망의 출력에 관한 자세한 설명은 도 11을 참조하여 후술한다.
S209 단계에서, 장치(30)는 출력 신호를 기초로, 제1 시점에 무인 판매기(20)에 진열되어 있는 상품들과 제2 시점에 상기 무인 판매기(20)에 진열되어 있는 상품들을 비교하여, 제1 사용자가 무인 판매기(20)에서 가져간 제1 상품을 인식할 수 있다. 즉, 장치(30)는 제1 시점에 무인 판매기(20)에 진열되어 있는 상품들의 종류 및 수량과, 제2 시점에 무인 판매기(20)에 진열되어 있는 상품들의 종류 및 수량을 비교하여, 제2 시점에 없어진 상품을 제1 사용자가 가져간 제1 상품으로 인식할 수 있다.
구체적으로, 장치(30)는 제1 입력 신호의 입력으로 제1 출력 신호가 획득되면, 제1 출력 신호를 기초로, 제1 시점에 무인 판매기(20)에 진열되어 있는 상품의 종류 및 수량을 확인할 수 있으며, 제2 입력 신호의 입력으로 제2 출력 신호가 획득되면, 제2 출력 신호를 기초로, 제2 시점에 무인 판매기(20)에 진열되어 있는 상품의 종류 및 수량을 확인할 수 있다.
이후, 장치(30)는 제1 시점과 제2 시점 간에 상품 별로 수량 차이가 있는지 여부를 확인할 수 있으며, 제1 상품의 수량이 차이가 있는 것으로 확인되면, 제1 시점에 무인 판매기(20)에 진열되어 있는 제1 상품의 수량을 제1 수량으로 확인하고, 제2 시점에 무인 판매기(20)에 진열되어 있는 제1 상품의 수량을 제2 수량으로 확인할 수 있다.
예를 들어, 제1 시점에 제1 상품이 5개, 제2 상품이 4개 진열되어 있는 것으로 확인되고, 제2 시점에 제1 상품이 4개, 제2 상품이 4개 진열되어 있는 것으로 확인되면, 장치(30)는 제1 시점과 제2 시점 간에 제1 상품의 수량이 차이가 있는 것으로 확인하여, 제1 시점에 진열되어 있는 제1 상품의 수량인 5개를 제1 수량으로 확인하고, 제2 시점에 진열되어 있는 제1 상품의 수량인 4개를 제2 수량으로 확인할 수 있다.
이후, 장치(30)는 제1 수량 및 제2 수량을 비교하여, 제1 수량 및 제2 수량이 상이한 것으로 확인되면, 제1 수량에서 제2 수량을 차감하여 제3 수량을 산출하고, 제1 사용자가 제1 상품을 제3 수량만큼 가져간 것으로 인식할 수 있다.
예를 들어, 제1 수량이 5개이고, 제2 수량이 4개인 경우, 장치(30)는 제3 수량을 1개로 산출하고, 제1 사용자가 제1 상품을 1개 가져간 것으로 인식할 수 있다.
S210 단계에서, 장치(30)는 제1 사용자가 무인 판매기(20)에서 제1 상품을 가져간 것으로 인식되면, 제1 사용자의 결제 수단을 통해 제1 상품의 가격에 대한 결제를 수행할 수 있다.
구체적으로, 제1 사용자가 상점에 입장할 때, 제1 사용자의 생체 정보, 제1 사용자가 사용하는 단말의 식별 정보, 제1 사용자가 소지한 결제 수단의 식별 정보 중 어느 하나가 상점 입구에 설치된 리더기에 입력될 수 있으며, 장치(30)는 리더기에 입력된 정보를 기초로, 제1 사용자의 결제 수단을 확인할 수 있다.
이후, 제1 사용자가 무인 판매기(20)에서 제1 상품을 가져간 상태로 상점에서 퇴장한 것이 확인되면, 장치(30)는 제1 사용자의 결제 수단을 통해 제1 상품의 가격에 대한 결제를 수행할 수 있다. 이때, 장치(30)는 제1 사용자가 제1 상품을 복수개 가져간 것으로 인식된 경우, 제1 상품의 가격에 가져간 수량을 곱한 값으로 결제를 수행할 수 있다.
도 3은 일실시예에 따른 사용자의 이동을 추적하는 과정을 설명하기 위한 도면이다.
구체적으로, 복수의 카메라(10) 중 일부는 무인 판매기(20)에 진열되어 있는 상품들에 대한 촬영을 수행하고 있고, 복수의 카메라(10) 중 일부는 상점의 내부에서 이동하고 있는 사용자들에 대한 촬영을 수행하고 있다. 이때, 사용자들에 대한 촬영을 수행하는 카메라는 감시 구역 내에서 이동 객체 검출 기능을 가지는 모션 디텍터 카메라로 구현될 수 있다.
도 3의 (a)에 도시된 바와 같이, 제1 시점에 제1 사용자(310)가 상점에 입장하면, 장치(30)는 제1 사용자(310)의 촬영으로 생성된 영상 정보를 기초로, 상점의 내부에서 제1 사용자(310)가 이동하고 있는 위치를 추적하여 분석할 수 있다. 이때, 장치(30)는 제1 시점에 무인 판매기(20)에 진열되어 있는 상품들을 촬영하여 생성된 제1 이미지를 획득할 수 있다.
도 3의 (b)에 도시된 바와 같이, 제1 사용자(310)가 무인 판매기(20)가 있는 위치로 이동하면, 장치(30)는 제1 사용자(310)의 이동 위치를 추적하여, 제1 사용자(310)가 무인 판매기(20)가 있는 위치로 이동한 것을 파악할 수 있다.
도 3의 (c)에 도시된 바와 같이, 제1 사용자(310)가 무인 판매기(20)가 있는 위치에서 기준 시간 이상 머무르다 제2 시점에 무인 판매기(20)가 있는 위치를 벗어나 다른 위치로 이동하면, 장치(30)는 제1 사용자(310)가 무인 판매기(20)가 있는 위치에서 벗어나 다른 위치로 이동한 제2 시점에 무인 판매기(20)에 진열되어 있는 상품들을 촬영하여 생성된 제2 이미지를 획득할 수 있다.
도 4는 일실시예에 따른 인공 신경망의 학습 과정을 설명하기 위한 순서도이다.
도 4를 참조하면, 먼저, S401 단계에서, 장치(30)는 제1 상품의 외관을 여러 각도로 촬영하여 생성된 복수의 이미지를 획득할 수 있다.
구체적으로, 복수의 카메라(10)는 무인 판매기(20)에 진열되어 있는 상품들 각각의 외관을 여러 각도로 촬영하여 복수의 이미지를 생성할 수 있으며, 장치(30)는 복수의 카메라(10)로부터 복수의 이미지를 획득할 수 있다.
S402 단계에서, 장치(30)는 복수의 이미지 각각에서 제1 상품의 라벨이 표시된 라벨 영역이 지정되면, 복수의 이미지 각각에서 라벨 영역의 이미지를 추출할 수 있다.
구체적으로, 제1 각도에서 제1 상품의 외관을 촬영하여 제0-1 이미지가 획득되고, 제2 각도에서 제1 상품의 외관을 촬영하여 제0-2 이미지가 획득된 경우, 장치(30)는 제0-1 이미지 및 제0-2 이미지가 관리자 단말의 화면에 표시되도록, 관리자 단말의 동작을 제어할 수 있으며, 제0-1 이미지에서 제1 상품의 라벨이 표시된 라벨 영역이 지정되고, 제0-2 이미지에서 제1 상품의 라벨이 표시된 라벨 영역이 지정되면, 장치(30)는 제0-1 이미지에서 지정된 라벨 영역의 이미지를 추출하고, 제0-2 이미지에서 지정된 라벨 영역의 이미지를 추출할 수 있다.
즉, 복수의 카메라(10)를 통해 상품의 외관을 다방면으로 촬영한 후, 판매자나 운영자에 의해 상품 라벨의 일부 영역(예를 들면, 담배갑의 상단부, 음료수 병의 뚜껑 상단 등 소정의 영역)이 지정되면, 지정된 라벨 영역의 이미지를 추출할 수 있다.
S403 단계에서, 장치(30)는 추출된 라벨 영역의 이미지를 기초로, 제1 상품의 라벨을 통해 제1 상품을 인식할 수 있도록 인공 신경망을 학습시키고, 이를 통해, 무인 판매기(20)에 진열되어 있는 제1 상품의 수량을 파악할 수 있도록 인공 신경망을 학습시킬 수 있다.
즉, 장치(30)는 제1 상품의 라벨을 통해 제1 상품을 인식할 수 있도록, 다양한 각도에서 촬영된 제1 상품의 이미지를 기초로, 인공 신경망을 학습시킬 수 있다. 이때, 장치(30)는 무인 판매기(20)에 진열되어 있는 상품 별로 획득된 이미지를 기초로, 인공 신경망을 학습시킬 수 있다. 이를 통해, 인공 신경망은 무인 판매기(20)에 진열되어 있는 상품들 각각의 종류, 수량, 상태 등을 인식하여 파악할 수 있게, 딥러닝을 통해 학습될 수 있다.
도 5는 일실시예에 따른 상품의 수량을 확인하는 과정을 설명하기 위한 순서도이고, 도 6은 일실시예에 따른 무인 판매기에 구비된 제1 선반을 설명하기 위한 도면이다.
도 5를 참조하면, S501 단계에서, 장치(30)는 무인 판매기(20)에 구비된 복수의 선반 중 제1 선반의 제1 칸에 설치된 제1 센서로부터 센싱 정보를 획득할 수 있다.
구체적으로, 도 6에 도시된 바와 같이, 제1 선반은 제1 칸, 제2 칸 및 제3 칸으로 구분되어 있고, 제1 선반의 말단에는 복수의 센서가 칸 별로 설치되어 있다. 제1 칸에는 제1 센서(611)가 설치되어 있고, 제2 칸에는 제2 센서(612)가 설치되어 있고, 제3 칸에는 제3 센서(613)가 설치되어 있다. 제1 칸에는 제1 상품(621)들이 진열되어 있고, 제2 칸에는 제2 상품(622)들이 진열되어 있고, 제3 칸에는 제3 상품(623)들이 진열되어 있다. 이때, 복수의 센서 각각은 거리 센서로 구현될 수 있다.
제1 선반의 말단에 칸 별로 설치된 복수의 센서는 제1 선반의 각 칸에 진열되어 있는 상품들과 제1 선반의 말단 간의 이격 거리를 측정하여, 센싱 정보를 생성할 수 있다. 여기서, 센싱 정보는 센서가 설치되어 있는 선반의 말단과 선반에 진열되어 있는 상품들 중 가장 뒤에 진열되어 있는 상품 간의 이격 거리에 대한 정보를 포함할 수 있다.
제1 칸에 설치된 제1 센서(611)는 제1 칸에 진열되어 있는 제1 상품(621)들 중 가장 뒤에 진열되어 있는 제1 상품과 제1 선반의 말단 간의 이격 거리를 측정하여, 센싱 정보를 생성할 수 있다.
제2 칸에 설치된 제2 센서(612)는 제2 칸에 진열되어 있는 제2 상품(622)들 중 가장 뒤에 진열되어 있는 제1 상품과 제1 선반의 말단 간의 이격 거리를 측정하여, 센싱 정보를 생성할 수 있다.
제3 칸에 설치된 제3 센서(613)는 제3 칸에 진열되어 있는 제3 상품(623)들 중 가장 뒤에 진열되어 있는 제1 상품과 제1 선반의 말단 간의 이격 거리를 측정하여, 센싱 정보를 생성할 수 있다.
S502 단계에서, 장치(30)는 제1 칸에 설치된 제1 센서로부터 센싱 정보를 획득하면, 제1 센서에서 측정된 센싱 정보를 기반으로, 제 1 칸에 진열되어 있는 제1 상품과 제1 칸의 말단 간의 이격 거리인 제1 이격 거리를 확인할 수 있다.
구체적으로, 도 6에 도시된 바와 같이, 제1 센서(611)는 제1 칸에 진열되어 있는 제1 상품(621)들 중 가장 뒤에 진열되어 있는 제1 상품과 제1 선반의 말단 간의 이격 거리인 제1 이격 거리(632)를 측정하여, 센싱 정보를 생성할 수 있으며, 장치(30)는 제1 센서(611)로부터 센싱 정보를 수신하면, 수신된 센싱 정보를 기반으로, 제1 이격 거리(632)를 확인할 수 있다.
S503 단계에서, 장치(30)는 제1 칸의 길이에서 제1 이격 거리를 차감한 값으로, 제1 칸에서 제1 상품이 진열되어 있는 제1 구역의 길이를 산출할 수 있다.
구체적으로, 도 6에 도시된 바와 같이, 장치(30)는 데이터베이스에 저장된 무인 판매기(20)에 대한 정보를 조회하여, 제1 칸의 길이(631)를 확인하고, 제1 센서(611)에서 측정된 센싱 정보를 기반으로, 제1 이격 거리(632)를 확인할 수 있으며, 제1 칸의 길이(631)에서 제1 이격 거리(632)를 차감한 값으로, 제1 구역의 길이(633)를 산출할 수 있다.
예를 들어, 제1 칸의 길이(631)가 60cm이고, 제1 이격 거리(632)가 20cm인 경우, 장치(30)는 제1 구역의 길이(633)를 40cm로 산출할 수 있다.
S504 단계에서, 장치(30)는 제1 구역의 길이를 제1 상품의 길이로 나눈 값으로, 제1 칸에 진열되어 있는 제1 상품의 수량을 산출할 수 있다.
구체적으로, 도 6에 도시된 바와 같이, 장치(30)는 데이터베이스에 저장된 상품 정보를 조회하여, 제1 상품의 길이(634)를 확인하고, 제1 구역의 길이(633)를 제1 상품의 길이(634)로 나눈 값으로, 제1 칸에 진열되어 있는 제1 상품(621)의 수량을 산출할 수 있다.
예를 들어, 제1 상품의 길이(634)가 5cm이고, 제1 구역의 길이(633)가 40cm인 경우, 장치(30)는 제1 칸에 진열되어 있는 제1 상품(621)의 수량을 8개로 산출할 수 있다.
S505 단계에서, 장치(30)는 제1 선반의 전면부에 설치된 디스플레이에 제1 상품에 대한 상품 정보가 표시되도록 제어할 수 있다. 이때, 상품 정보는 상품명, 상품의 특징, 유통기한, 수량 등에 대한 정보를 포함할 수 있다.
구체적으로, 장치(30)는 제1 칸에 진열되어 제1 상품의 수량이 파악되고, 제2 칸에 진열되어 있는 제2 상품의 수량이 파악되고, 제3 칸에 진열되어 있는 제3 상품의 수량이 파악되면, 제1 칸의 전면부에 설치된 디스플레이에 제1 상품에 대한 상품 정보가 표시되도록 제어하고, 제2 칸의 전면부에 설치된 디스플레이에 제2 상품에 대한 상품 정보가 표시되도록 제어하고, 제3 칸의 전면부에 설치된 디스플레이에 제3 상품에 대한 상품 정보가 표시되도록 제어할 수 있다.
도 7은 일실시예에 따른 사용자 인증을 통해 담배를 판매하는 과정을 설명하기 위한 순서도이다.
도 7을 참조하면, 먼저, S701 단계에서, 장치(30)는 리더기에 입력된 사용자 식별 정보를 획득할 수 있다.
구체적으로, 무인 판매기(20)에 배치된 복수의 선반 중 제2 선반에는 담배들이 진열되어 있고, 제2 선반과 연결된 리더기에 RFID, 바코드 등을 통해 사용자 식별 정보가 입력되면, 장치(30)는 리더기에 입력된 사용자 식별 정보를 획득할 수 있다.
S702 단계에서, 장치(30)는 사용자 식별 정보를 통해 제1 사용자를 식별할 수 있다.
S703 단계에서, 장치(30)는 제1 사용자를 식별한 결과, 제1 사용자가 성인인지 여부를 확인할 수 있다.
S703 단계에서 제1 사용자가 성인이 아닌 것으로 확인되면, S701 단계로 되돌아가, 장치(30)는 리더기에 입력된 사용자 식별 정보를 다시 획득할 수 있다.
S703 단계에서 제1 사용자가 성인으로 확인되면, S704 단계에서, 장치(30)는 제2 선반을 개폐하는 제1 도어의 잠금을 해제하여 개방되도록, 제1 도어의 동작을 제어할 수 있다. 이때, 장치(30)는 제1 도어의 잠금만 해제하여 수동으로 제1 도어가 개방되도록 제어할 수 있으며, 제1 도어의 잠금이 해제되면서 자동으로 제1 도어가 개방되도록 제어할 수도 있다.
제1 도어의 개방 이후 제1 사용자가 제2 선반에 진열되어 있는 담배를 꺼내서 가져갈 수 있으며, 제2 선반과 연결된 리더기에 사용자 식별 정보가 재인식되면, S705 단계에서, 장치(30)는 리더기에 재인식된 사용자 식별 정보를 획득할 수 있다.
S706 단계에서, 장치(30)는 재인식된 사용자 식별 정보를 통해 제1 사용자가 다시 식별되면, 제2 선반에 대한 이용을 완료한 것으로 판단하여, 개방되어 있는 제1 도어를 폐쇄하여 잠금되도록 제어할 수 있다.
즉, 장치(30)는 제1 도어가 폐쇄되어 있는 상태에서 제1 사용자의 식별 정보가 인식되면, 제1 사용자가 제2 선반을 이용하기 위해 사용자 식별 정보를 인식시킨 것으로 판단하여, 제1 도어가 개방되도록 제어할 수 있으며, 제1 도어가 개방되어 있는 상태에서 제1 사용자의 식별 정보가 인식되면, 제1 사용자가 제2 선반에 대한 이용을 종료하기 위해 사용자 식별 정보를 인식시킨 것으로 판단하여, 제1 도어가 폐쇄되도록 제어할 수 있다.
S707 단계에서, 장치(30)는 제1 도어의 개방 이전에 진열된 담배들과 제1 도어의 폐쇄 이후에 진열된 담배들을 비교하여, 제1 사용자가 가져간 담배가 있는지 여부를 확인할 수 있다.
S707 단계에서 제1 사용자가 가져간 담배가 있는 것으로 확인되면, S708 단계에서, 장치(30)는 제1 사용자가 가져간 담배의 종류 및 수량을 확인할 수 있다. 이때, 장치(30)는 제1 도어의 개방 이전에 제2 선반에 진열되어 있는 담배들을 촬영하여 생성된 이미지를 제3 이미지로 획득하고, 제1 도어의 폐쇄 이후에 제2 선반에 진열되어 있는 담배들을 촬영하여 생성된 이미지를 제4 이미지로 획득한 후, 제3 이미지 및 제4 이미지를 인공 신경망에 입력하여, 인공 신경망으로부터 출력 신호를 획득할 수 있으며, 획득된 출력 신호를 기초로, 제1 사용자가 제2 선반에서 가져간 담배의 종류 및 수량을 인식할 수 있다.
도 8은 일실시예에 따른 LED 전광판에서 제1 영역의 디스플레이를 담당하고 있는 제1 LED 모듈에 문제가 있는지 여부를 분석하는 과정을 설명하기 위한 순서도이고, 도 9는 일실시예에 따른 제1 영역 및 제1 LED 모듈을 설명하기 위한 도면이다.
도 8을 참조하면, 먼저, S801 단계에서, 장치(30)는 제1 시점에 LED 전광판에 대한 촬영으로 생성된 제1-1 이미지를 획득할 수 있다.
구체적으로, 상점 내에는 LED 전광판이 배치되어 있으며, LED 전광판에 영상 정보가 디스플레이 되고 있는 상태에서, 복수의 카메라(10) 중 일부는 LED 전광판의 상태를 모니터링하기 위해, 미리 설정된 기간마다 LED 전광판에 대한 촬영을 수행할 수 있다. 예를 들어, 제2 카메라(12)는 제1 시점에 LED 전광판에 대한 촬영을 수행하여, 제1-1 이미지를 생성할 수 있다. 여기서, 제1-1 이미지는 제1 시점에 LED 전광판의 촬영으로 생성된 이미지이다.
S802 단계에서, 장치(30)는 제1 시점에 LED 전광판에 표시되는 영상의 이미지를 제1-2 이미지로 획득할 수 있다. 즉, 장치(30)는 LED 전광판에 표시되는 영상에서 제1 시점에 표시되는 것으로 설정되어 있는 영상의 이미지를 제1-2 이미지로 획득할 수 있다.
구체적으로, 장치(30)는 데이터베이스에 저장된 영상 정보를 기초로, LED 전광판에 영상 정보가 디스플레이 되도록 제어할 수 있고, 제1 시점에 영상의 어느 부분이 LED 전광판에 표시되었는지 확인하여, 제1 시점에 LED 전광판에 표시되는 영상의 이미지를 확인할 수 있으며, 제1 시점에 표시된 것으로 확인된 영상의 이미지를 제1-2 이미지로 획득할 수 있다.
S803 단계에서, 장치(30)는 제1-1 이미지 및 제1-2 이미지를 비교할 수 있다.
구체적으로, 제1-1 이미지는 제1 시점에 LED 전광판에 실제로 표시된 영상의 이미지이고, 제1-2 이미지는 제1 시점에 LED 전광판에 표시되기로 설정된 영상의 이미지인데, 장치(30)는 제1-1 이미지 및 제1-2 이미지를 영역별로 비교하여, 서로 동일한지 여부를 확인할 수 있다.
S804 단계에서, 장치(30)는 제1-1 이미지 및 제1-2 이미지를 비교한 결과, 제1 시점의 영상에서 차이가 있는 영역이 있는지 여부를 확인할 수 있다.
S804 단계에서 차이가 있는 영역이 있는 것으로 확인되면, S805 단계에서, 장치(30)는 제1 시점의 영상에서 차이가 있는 영역으로 제1 영역을 확인할 수 있다. 즉, 도 9의 (a)에 도시된 바와 같이, 장치(30)는 제1-1 이미지 및 제1-2 이미지를 비교한 결과, 제1 영역(910)을 차이가 있는 영역으로 검출할 수 있다.
S806 단계에서, 장치(30)는 LED 전광판에서 제1 영역(910)의 디스플레이를 담당하고 있는 제1 LED 모듈을 확인할 수 있다. 즉, 도 9의 (b)에 도시된 바와 같이, 장치(30)는 LED 전광판(920)에서 제1 영역(910)의 디스플레이를 담당하고 있는 LED 모듈을 제1 LED 모듈(930)로 확인할 수 있다.
S807 단계에서, 장치(30)는 제1 LED 모듈(930)에 문제가 있는 것으로 판단할 수 있다. 이때, 장치(30)는 제1 LED 모듈(930)에 문제가 발생한 것만 파악할 수 있으며, 추후, 제1 LED 모듈(930)에 발생한 문제가 일시적인 오류로 발생한 문제인지 또는 고장으로 발생한 문제인지 확인될 수 있다. 이와 관련된 자세한 설명은 도 10을 참조하여 후술하기로 한다.
한편, S804 단계에서 차이가 있는 영역이 없는 것으로 확인되면, S808 단계에서, 장치(30)는 LED 전광판에 문제가 없는 것으로 판단할 수 있다. 즉, 장치(30)는 제1-1 이미지 및 제1-2 이미지를 비교한 결과, 동일한 것으로 확인되면, LED 전광판에 문제가 없는 것으로 판단할 수 있다.
도 10은 일실시예에 따른 LED 모듈에 고장이 있는지 여부를 분석하는 과정을 설명하기 위한 순서도이다.
도 10을 참조하면, 먼저, S1001 단계에서, 장치(30)는 제1-1 이미지 및 제1-2 이미지를 비교한 결과, 제1 시점의 영상에서 제1 영역(910)이 차이가 있는 영역으로 확인되어, 제1 영역(910)의 디스플레이를 담당하고 있는 제1 LED 모듈(930)에 문제가 있는 것으로 판단할 수 있다.
S1002 단계에서, 장치(30)는 제2 시점에 LED 전광판에 대한 촬영으로 생성된 제2-1 이미지를 획득할 수 있다. 여기서, 제2 시점은 제1 시점으로부터 미리 설정된 기간이 지난 후를 의미할 수 있다.
예를 들어, LED 전광판에 영상 정보가 디스플레이 된 시작부터 5초 후의 시점이 제1 시점이고, 제1 시점으로부터 10초 후의 시점이 제2 시점인 경우, 복수의 카메라(10) 중 일부는 LED 전광판에 영상 정보가 디스플레이 된 시작부터 5초 후에 LED 전광판에 대한 촬영을 수행하여 제1-1 이미지를 생성하고, 제1 시점으로부터 10초 후에 LED 전광판에 대한 촬영을 수행하여 제2-1 이미지를 생성할 수 있다. 이때, 장치(30)는 제1 시점에 LED 전광판에 대한 촬영으로 생성된 제1-1 이미지를 복수의 카메라(10)로부터 수신하고, 제2 시점에 LED 전광판에 대한 촬영으로 생성된 제2-1 이미지를 복수의 카메라(10)로부터 수신할 수 있다.
S1003 단계에서, 장치(30)는 제2 시점에 LED 전광판에 표시되는 영상의 이미지를 제2-2 이미지로 획득할 수 있다. 즉, 장치(30)는 LED 전광판에 표시되는 영상에서 제2 시점에 표시되는 것으로 설정되어 있는 영상의 이미지를 제2-2 이미지로 획득할 수 있다.
S1004 단계에서, 장치(30)는 제2-1 이미지 및 제2-2 이미지를 비교할 수 있다.
구체적으로, 제2-1 이미지는 제2 시점에 LED 전광판에 실제로 표시된 영상의 이미지이고, 제2-2 이미지는 제2 시점에 LED 전광판에 표시되기로 설정된 영상의 이미지인데, 장치(30)는 제2-1 이미지 및 제2-2 이미지를 영역별로 비교하여, 서로 동일한지 여부를 확인할 수 있다.
S1005 단계에서, 장치(30)는 제2-1 이미지 및 제2-2 이미지를 비교한 결과, 제2 시점의 영상에서 차이가 있는 영역이 있는지 여부를 확인할 수 있으며, 제2 시점의 영상에서 차이가 있는 영역으로 제1 영역(910)이 있는지 여부를 확인할 수 있다.
S1005 단계에서 제2 시점의 영상에서 차이가 있는 영역으로 제1 영역(910)이 확인되면, S1006 단계에서, 장치(30)는 제1 LED 모듈(930)에 고장이 발생한 것으로 판단할 수 있다.
즉, 장치(30)는 제1 시점의 영상에서 차이가 있는 영역으로 제1 영역(910)이 확인되고, 제2 시점의 영상에서도 차이가 있는 영역으로 제1 영역(910)이 확인되면, 제1 LED 모듈(930)의 문제 상태가 제1 기간 동안 유지된 것으로 분석하여, 제1 LED 모듈(930)에 고장이 발생한 것으로 판단할 수 있다. 여기서, 제1 기간은 제1 시점부터 제2 시점까지의 기간을 의미할 수 있다.
S1007 단계에서, 장치(30)는 제1 LED 모듈(930)에 고장이 발생하여, 제1 LED 모듈(930)에 대한 유지 보수가 필요하다는 것을 알려주는 알림 메시지를 관리자 단말로 전송할 수 있다.
한편, S1005 단계에서 제2 시점의 영상에서 차이가 있는 영역으로 제1 영역(910)이 확인되지 않으면, S1008 단계에서, 장치(30)는 제1 LED 모듈(930)에 일시적인 문제가 발생한 것으로 판단하여, 제1 LED 모듈(930)에 고장이 발생하지 않은 것으로 판단할 수 있다.
도 11은 일실시예에 따른 인공 신경망을 설명하기 위한 도면이다.
일실시예에 따르면, 장치(30)는 복수의 카메라(10)를 통한 촬영으로 생성된 이미지를 인코딩 하여 입력 신호를 생성할 수 있으며, 인공 신경망(1101)은 입력 신호를 입력으로 하고, 상품의 종류(1102) 및 상품의 수량(1103)을 출력으로 할 수 있다.
일실시예에 따른 인코딩은 이미지의 픽셀 별 색 정보를 수치화된 데이터 시트 형태로 저장하는 방식으로 이뤄질 수 있는데, 색 정보는 하나의 픽셀이 가지고 있는 RGB 색상, 명도 정보, 채도 정보를 포함할 수 있으나, 이에 국한하지 않는다.
일실시예에 따르면, 인공 신경망(1101)은 컨볼루션 신경망으로 구현되어, 인공 신경망(1101)은 특징 추출 신경망(1110)과 분류 신경망(1120)으로 구성될 수 있으며, 특징 추출 신경망(1110)은 무인 판매기(20)에 진열된 상품들을 촬영한 이미지에서 상품과 배경을 분리하는 작업을 수행할 수 있으며, 분류 신경망(1120)은 그로부터 상품을 종류별로 분류하고, 상품의 종류별로 각각의 수량을 파악하는 작업을 수행할 수 있다. 특징 추출 신경망(1110)이 상품과 배경과 구분하는 방법은, 이미지를 인코딩한 입력 신호의 데이터 시트로부터 색 정보의 각 값들의 변화가 한 픽셀을 포함하는 8개의 픽셀 중 6개 이상에서 30% 이상의 변화가 생긴 것으로 감지되는 픽셀들의 묶음을 상품과 배경의 경계로 삼을 수 있으나, 이에 국한하지 않는다.
일실시예에 따르면, 특징 추출 신경망(1110)은 입력 신호를 컨볼루션 계층과 풀링 계층을 차례로 쌓아 진행한다. 컨볼루션 계층은 컨볼루션 연산, 컨볼루션 필터 및 활성함수를 포함하고 있다. 컨볼루션 필터의 계산은 대상 입력의 행렬 크기에 따라 조절되나 일반적으로 9X9 행렬을 사용한다. 활성 함수는 일반적으로 ReLU 함수, 시그모이드 함수, 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 풀링 계층은 입력의 행렬 크기를 줄이는 역할을 하는 계층으로, 특정 영역의 픽셀을 묶어 대표값을 추출하는 방식을 사용한다. 풀링 계층의 연산에는 일반적으로 평균값이나 최대값을 많이 사용하나 이에 한정하지 않는다. 해당 연산은 정방 행렬을 사용하여 진행되는데, 일반적으로 9X9 행렬을 사용한다. 컨볼루션 계층과 풀링 계층은 해당 입력이 차이를 유지한 상태에서 충분히 작아질 때까지 번갈아 반복 진행된다.
일실시예에 따른 분류 신경망(1120)은 특징 추출 신경망(1110)을 통해 배경으로부터 구분된 상품을 그 형태 및 연속성에 따라 종류를 구분하고, 상품의 수량(1103)을 종류별로 파악할 수 있다. 상품의 비교를 위해 데이터베이스에 저장된 정보들을 활용할 수 있다. 분류 신경망(1120)은 상품의 종류(1102)를 파악하는 작업을 우선으로 하며, 파악된 상품의 형태 및 크기에 따라 상품의 수량(1103) 파악을 용이하도록 할 수 있다.
일실시예에 따르면, 분류 신경망(1120)은 은닉층과 출력층을 가지고 있다. 장치(30) 내의 인공 신경망(1101)에서는 일반적으로 은닉층이 5개 이상 존재하며, 각 은닉층의 노드는 80개로 지정하나 경우에 따라 그 이상으로 정할 수 있다. 은닉층의 활성함수는 ReLU 함수, 시그모이드 함수 및 tanh 함수 등을 사용하나 이에 한정하지 않는다. 인공 신경망(1101)의 출력층 노드는 총 50개로 할 수 있다.
일실시예에 따른 인공 신경망(1101)의 출력은 출력층의 50개 노드 중 상위 25개의 노드는 상품의 종류(1102)를 지시할 수 있고, 하위 25개의 노드는 상위 노드에 각각 대응하는 상품의 수량(1103)을 지시할 수 있다. 상위 25개의 노드와 하위 25개의 노드를 대응시키는 방식은 상위 n번 째 노드와 하위 n번 째 노드를 대응시키는 방식으로, 전체에서 n번 째 노드가 전체에서 25+n번 째 노드에 대응하는 방식으로 진행될 수 있다. 예를 들어, 1번 째 노드는 26번 째 노드에 대응하며, 2번 째 노드는 27번 째 노드에, 10번 째 노드는 35번 째 노드에, 25번 재 노드는 50번 째 노드에 대응하는 방식으로 진행될 수 있다. 상품의 종류(1102)는 상품에 대응하는 코드 정보로 출력될 수 있으나, 이에 국한하지 않는다. 인공 신경망(1101)의 50개의 출력층 노드 중 출력값이 없는 출력층 노드는 숫자 ‘0’을 그 출력값으로 출력할 수 있다. 상위 25개의 노드 중에 이 숫자 ‘0’이 포함되는 노드들은 해당하는 상품이 없는 것으로 간주될 수 있다. 만약 분류된 상품의 종류가 25개 이상일 경우, 남은 상품은 미리 생성한 출력값이 모두 처리된 후 이어서 자동으로 처리될 수 있다.
일실시예에 따르면, 인공 신경망(1101)은 관리자가 인공 신경망(1101)에 따른 상품 파악의 문제점 발견 시 사용자에 의해 입력된 수정 정답에 의해 생성되는 제1 학습 신호를 전달받아 학습할 수 있다. 인공 신경망(1101)에 따른 상품 파악의 문제점은 상품의 종류(1102) 및 상품의 수량(1103)에 문제가 있는 경우를 의미할 수 있다.
일실시예에 따른 제1 학습 신호는 정답과 출력값의 오차를 바탕으로 만들어지며, 경우에 따라 델타를 이용하는 SGD나 배치 방식 혹은 역전파 알고리즘을 따르는 방식을 사용할 수 있다. 본 제1 학습 신호에 의해 인공 신경망(1101)은 기존의 가중치를 수정해 학습을 수행하며, 경우에 따라 모멘텀을 사용할 수 있다. 오차의 계산에는 비용함수가 사용될 수 있는데, 비용함수로 Cross entropy 함수를 사용할 수 있다.
도 12는 일실시예에 따른 장치의 구성의 예시도이다.
일실시예에 따른 장치(30)는 프로세서(31) 및 메모리(32)를 포함한다. 프로세서(31)는 도 1 내지 도 11을 참조하여 전술된 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 11을 참조하여 전술된 적어도 하나의 방법을 수행할 수 있다. 장치(30)를 이용하는 자 또는 단체는 도 1 내지 도 11을 참조하여 전술된 방법들 일부 또는 전부와 관련된 서비스를 제공할 수 있다.
메모리(32)는 전술된 방법들과 관련된 정보를 저장하거나 전술된 방법들을 구현하는 프로그램을 저장할 수 있다. 메모리(32)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(31)는 프로그램을 실행하고, 장치(30)를 제어할 수 있다. 프로세서(31)에 의하여 실행되는 프로그램의 코드는 메모리(32)에 저장될 수 있다. 장치(30)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 유무선 통신을 통해 데이터를 교환할 수 있다.
장치(30)는 인공 신경망을 학습시키거나, 학습된 인공 신경망을 이용하는데 사용될 수 있다. 메모리(32)는 학습 중인 또는 학습된 인공 신경망을 포함할 수 있다. 프로세서(31)는 메모리(32)에 저장된 인공 신경망 알고리즘을 학습시키거나 실행시킬 수 있다. 인공 신경망을 학습시키는 장치(30)와 학습된 인공 신경망을 이용하는 장치(30)는 동일할 수도 있고 개별적일 수도 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (3)

  1. 장치에 의해 수행되는, 인공지능을 기반으로 무인 판매 서비스를 제공하는 방법에 있어서,
    적어도 하나 이상의 카메라를 통해, 무인 판매기에 진열되어 있는 상품들에 대한 촬영이 수행되고 있는 경우, 제1 시점에 상기 상품들을 촬영하여 생성된 제1 이미지를 획득하는 단계;
    상기 제1 시점 이후, 상기 상품들이 진열되어 있는 위치에서 어느 시점에, 제1 사용자에 의해 상기 진열되어 있는 상품들 중 적어도 하나의 위치에 변화가 생긴 것으로 확인되고, 제2 시점에 상기 제1 사용자가 상기 상품들이 진열되어 있는 위치를 벗어난 것으로 확인되면, 상기 제2 시점에 상기 상품들을 촬영하여 생성된 제2 이미지를 획득하는 단계;
    상기 제1 이미지 및 상기 제2 이미지를 매칭하여, 매칭 결과를 생성하는 단계;
    상기 매칭 결과를 인공 신경망에 입력하고, 상기 인공 신경망의 입력에 대한 결과에 기초하여, 출력 신호를 획득하는 단계;
    상기 출력 신호를 기초로, 상기 제1 시점에 상기 무인 판매기에 진열되어 있는 상품들과 상기 제2 시점에 상기 무인 판매기에 진열되어 있는 상품들을 비교하여, 상기 제1 사용자가 상기 무인 판매기에서 가져간 제1 상품을 인식하는 단계;
    상기 제1 사용자의 결제 수단을 통해 상기 제1 상품의 가격에 대한 결제를 수행하는 단계;
    상기 무인 판매기에 배치된 복수의 선반 중 제2 선반에 담배들이 진열되어 있는 경우, 상기 제2 선반과 연결된 리더기에 사용자 식별 정보가 입력되면, 상기 입력된 사용자 식별 정보를 통해 상기 제1 사용자를 식별하는 단계;
    상기 제1 사용자를 식별한 결과, 상기 제1 사용자가 성인으로 확인되면, 상기 제2 선반을 개폐하는 제1 도어의 잠금을 해제하여 개방되도록 제어하는 단계;
    상기 리더기에 상기 사용자 식별 정보가 재인식되면, 상기 제1 도어를 폐쇄하여 잠금되도록 제어하는 단계;
    상기 제1 도어의 개방 이전에 진열된 담배들과 상기 제1 도어의 폐쇄 이후에 진열된 담배들을 비교하여, 상기 제1 사용자가 가져간 담배의 종류 및 수량을 확인하는 단계;
    상기 제1 시점에 상점 내에 배치된 LED 전광판의 촬영으로 생성된 제1-1 이미지를 획득하는 단계;
    상기 LED 전광판에 표시되는 영상에서 상기 제1 시점에 표시되는 것으로 설정되어 있는 영상의 이미지를 제1-2 이미지로 획득하는 단계;
    상기 제1-1 이미지 및 상기 제1-2 이미지를 비교하여, 상기 제1 시점의 영상에서 차이가 있는 영역이 있는지 여부를 확인하는 단계; 및
    상기 제1-1 이미지 및 상기 제1-2 이미지를 비교한 결과, 상기 제1 시점의 영상에서 차이가 있는 영역으로 제1 영역이 확인되면, 상기 LED 전광판에서 상기 제1 영역의 디스플레이를 담당하고 있는 제1 LED 모듈에 문제가 있는 것으로 판단하는 단계를 포함하는,
    인공지능 기반 무인 판매 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 제1 상품의 외관을 여러 각도로 촬영하여 생성된 복수의 이미지를 획득하는 단계;
    상기 복수의 이미지 각각에서 상기 제1 상품의 라벨이 표시된 라벨 영역이 지정되면, 상기 복수의 이미지 각각에서 상기 라벨 영역의 이미지를 추출하는 단계; 및
    상기 라벨 영역의 이미지를 기초로, 상기 제1 상품의 라벨을 통해 상기 제1 상품을 인식하여 상기 무인 판매기에 진열되어 있는 상기 제1 상품의 수량을 파악하도록, 상기 인공 신경망을 학습시키는 단계를 더 포함하며,
    상기 출력 신호를 획득하는 단계는,
    상기 제1 이미지를 인코딩 하여 제1 입력 신호를 생성하는 단계;
    상기 제1 입력 신호를 인공 신경망에 입력하고, 상기 인공 신경망의 입력에 대한 결과에 기초하여, 제1 출력 신호를 획득하는 단계;
    상기 제2 이미지를 인코딩 하여 제2 입력 신호를 생성하는 단계; 및
    상기 제2 입력 신호를 상기 인공 신경망에 입력하고, 상기 인공 신경망의 입력에 대한 결과에 기초하여, 제2 출력 신호를 획득하는 단계를 포함하며,
    상기 제1 상품을 인식하는 단계는,
    상기 제1 출력 신호를 기초로, 상기 제1 시점에 상기 무인 판매기에 진열되어 있는 상기 제1 상품의 수량인 제1 수량을 확인하는 단계;
    상기 제2 출력 신호를 기초로, 상기 제2 시점에 상기 무인 판매기에 진열되어 있는 상기 제1 상품의 수량인 제2 수량을 확인하는 단계; 및
    상기 제1 수량 및 상기 제1 수량을 비교하여, 상기 제1 수량 및 상기 제2 수량이 상이한 것으로 확인되면, 상기 제1 수량에서 상기 제2 수량을 차감한 제3 수량을 산출하고, 상기 제1 사용자가 상기 제1 상품을 상기 제3 수량만큼 가져간 것으로 인식하는 단계를 포함하는,
    인공지능 기반 무인 판매 서비스 제공 방법.
  3. 제1항에 있어서,
    상기 무인 판매기에 구비된 복수의 선반 중 제1 선반의 말단에 설치된 복수의 센서를 통해 상기 제1 선반의 각 칸에 진열되어 있는 상품들과 상기 제1 선반의 말단 간의 이격 거리가 측정되고 있는 경우, 제1 칸에 설치된 제1 센서에서 측정된 센싱 정보를 기반으로, 상기 제1 칸에 진열되어 있는 상기 제1 상품과 상기 제1 칸의 말단 간의 이격 거리인 제1 이격 거리를 확인하는 단계;
    상기 제1 칸의 길이에서 상기 제1 이격 거리를 차감한 값으로, 상기 제1 칸에서 상기 제1 상품이 진열되어 있는 제1 구역의 길이를 산출하는 단계;
    상기 제1 구역의 길이를 상기 제1 상품의 길이로 나눈 값으로, 상기 제1 칸에 진열되어 있는 상기 제1 상품의 수량을 산출하는 단계; 및
    상기 제1 선반의 전면부에 설치된 디스플레이에 상기 제1 상품에 대한 상품 정보가 표시되도록 제어하는 단계를 더 포함하는,
    인공지능 기반 무인 판매 서비스 제공 방법.
KR1020210137782A 2021-10-15 2021-10-15 인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템 KR102410634B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210137782A KR102410634B1 (ko) 2021-10-15 2021-10-15 인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210137782A KR102410634B1 (ko) 2021-10-15 2021-10-15 인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR102410634B1 true KR102410634B1 (ko) 2022-06-22

Family

ID=82216584

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210137782A KR102410634B1 (ko) 2021-10-15 2021-10-15 인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR102410634B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102436273B1 (ko) * 2022-06-17 2022-08-25 (주) 인터마인즈 인공지능 기반의 비전 인식을 이용한 재고 판단 방법 및 이를 위한 무인판매장치
CN116363795A (zh) * 2023-03-22 2023-06-30 湖南云数信息科技有限公司 售货柜、管理方法及存储介质
CN116471384A (zh) * 2023-06-20 2023-07-21 深圳市泽威信息科技有限公司 无人值守商店监控系统的控制方法及控制装置
CN117929392A (zh) * 2024-03-15 2024-04-26 深圳华龙讯达信息技术股份有限公司 基于智慧数据分析的烟包外观成像检测系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190075468A (ko) * 2017-12-21 2019-07-01 전종하 자동판매기
US20200013190A1 (en) * 2019-07-26 2020-01-09 Lg Electronics Inc. Apparatus and method for recognizing object in image
KR102124568B1 (ko) 2019-11-06 2020-06-18 주식회사 라스컴 인공지능과 빅데이터를 이용한 이미지 인식 기반 무인 결제 시스템
KR102179614B1 (ko) 2020-08-24 2020-11-18 (주) 인터마인즈 무인 판매 방법 및 시스템
KR20210010598A (ko) 2021-01-14 2021-01-27 (주)버텍스아이디 무인결제시스템
KR102222158B1 (ko) 2020-09-28 2021-03-03 주식회사 굿플레이스 무인 매장의 상품 판매 서비스 제공 방법, 서버 및 컴퓨터프로그램
KR102258810B1 (ko) * 2021-01-22 2021-06-02 하나시스 주식회사 성인인증이 필요한 제품판매용 무인판매시스템
KR20210088905A (ko) * 2020-01-07 2021-07-15 하나시스 주식회사 무인판매 시스템 및 이를 활용한 무인판매방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190075468A (ko) * 2017-12-21 2019-07-01 전종하 자동판매기
US20200013190A1 (en) * 2019-07-26 2020-01-09 Lg Electronics Inc. Apparatus and method for recognizing object in image
KR102124568B1 (ko) 2019-11-06 2020-06-18 주식회사 라스컴 인공지능과 빅데이터를 이용한 이미지 인식 기반 무인 결제 시스템
KR20210088905A (ko) * 2020-01-07 2021-07-15 하나시스 주식회사 무인판매 시스템 및 이를 활용한 무인판매방법
KR102179614B1 (ko) 2020-08-24 2020-11-18 (주) 인터마인즈 무인 판매 방법 및 시스템
KR102222158B1 (ko) 2020-09-28 2021-03-03 주식회사 굿플레이스 무인 매장의 상품 판매 서비스 제공 방법, 서버 및 컴퓨터프로그램
KR20210010598A (ko) 2021-01-14 2021-01-27 (주)버텍스아이디 무인결제시스템
KR102258810B1 (ko) * 2021-01-22 2021-06-02 하나시스 주식회사 성인인증이 필요한 제품판매용 무인판매시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102436273B1 (ko) * 2022-06-17 2022-08-25 (주) 인터마인즈 인공지능 기반의 비전 인식을 이용한 재고 판단 방법 및 이를 위한 무인판매장치
CN116363795A (zh) * 2023-03-22 2023-06-30 湖南云数信息科技有限公司 售货柜、管理方法及存储介质
CN116471384A (zh) * 2023-06-20 2023-07-21 深圳市泽威信息科技有限公司 无人值守商店监控系统的控制方法及控制装置
CN116471384B (zh) * 2023-06-20 2023-12-12 深圳市泽威信息科技有限公司 无人值守商店监控系统的控制方法及控制装置
CN117929392A (zh) * 2024-03-15 2024-04-26 深圳华龙讯达信息技术股份有限公司 基于智慧数据分析的烟包外观成像检测系统及方法

Similar Documents

Publication Publication Date Title
KR102410634B1 (ko) 인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템
CN108053204B (zh) 自动结算方法及售卖设备
US10229322B2 (en) Apparatus, methods and computer products for video analytics
US11790433B2 (en) Constructing shopper carts using video surveillance
WO2019165892A1 (zh) 自动售货方法、装置和计算机可读存储介质
JP2020053019A (ja) 自律店舗追跡システム
CN207148879U (zh) 一种自助购物门店和自助购物系统
JP6342039B1 (ja) 商品を管理するためのシステム、方法、及びプログラム
CN108460908A (zh) 自动售货方法和系统以及自动售货装置和自动贩售机
WO2021125357A1 (ja) 情報処理システム
WO2019001363A1 (zh) 实体店铺应用系统、用户信息处理方法及装置
TWI809044B (zh) 商店管理裝置以及商店管理方法
JP7264401B2 (ja) 会計方法、装置及びシステム
CN110162948A (zh) 用于执行组合认证的方法和设备
CN111222870B (zh) 结算方法、装置和系统
US20190327451A1 (en) Video image analysis apparatus and video image analysis method
WO2019165895A1 (zh) 自动售货方法和系统以及自动售货装置和自动贩售机
EP3748565A1 (en) Environment tracking
JP7416594B2 (ja) 店舗管理装置、店舗管理システム及び店舗管理方法
JP2018206372A (ja) 商品を管理するためのシステム、方法、及びプログラム
CN108052928A (zh) 一种用户信用度评价方法、装置及电子设备
EP3629276A1 (en) Context-aided machine vision item differentiation
Hsu et al. New generation artificial intelligent vending machine system based on LoRaWan IOT network
US20210019724A1 (en) Information processing system, information processing method, and storage medium
KR102620264B1 (ko) 인공지능 모델을 이용하여 분석된 무인 매장 고객 행동 분석 결과를 표현하는 방법 및 장치, 그리고 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant