KR102596695B1

KR102596695B1 - 무인 매장 운영 시스템 및 무인 매장 관리 방법

Info

Publication number: KR102596695B1
Application number: KR1020210051698A
Authority: KR
Inventors: 조정민
Original assignee: 조정민
Priority date: 2021-04-21
Filing date: 2021-04-21
Publication date: 2023-10-31
Also published as: KR20220145072A

Abstract

무인 관제를 실행하는 다수의 매장에 대한 화상 정보를 표시하고, 다수의 고객에 대해 단말기를 통한 화상 정보에 따라 관제 담당자가 실시간으로 응대 및 처리를 용이하게 실행할 수 있는 무인 매장 운영 시스템 및 무인 매장 관리 방법에 관한 것으로, 다수의 매장의 각각의 출입문 입구 부분에 장착되어 출입문의 제어를 지원하기 위해 마련된 제1 단말기, 다수의 매장의 각각의 출입문을 인식할 수 있고, 매장의 내부를 관리하기 위해 마련된 제2 단말기, 다수의 매장의 각각의 내부에 마련되어 매장 내에서의 불편 사항 및 문의 사항을 지원하는 제3 단말기, 상기 매장을 운영하는 운용자용의 운영자 단말기, 네트워크를 통해 상기 제1 단말기, 제2 단말기, 제3 단말기와 각각 접속되고, 상기 제1 단말기, 제2 단말기, 제3 단말기를 통해 전송된 화상 정보에 대응하여 실시간으로 입장 고객 관리를 안내하는 관리 서버, 상기 관리 서버를 통해 상기 제1 단말기, 제2 단말기 및 제3 단말기로부터의 화상 정보를 각각 표시하는 표시 모듈, 상기 제1 단말기, 제2 단말기 및 제3 단말기 중의 어느 하나의 작동에 따라 상기 제1 단말기, 제2 단말기 및 제3 단말기에서의 음성 정보 및 화상 정보를 실시간으로 상기 관리 서버로 전송하는 IP-PBX를 포함하는 구성을 마련하여, 무인 매장의 관리를 효율적으로 실행할 수 있다.

Description

무인 매장 운영 시스템 및 무인 매장 관리 방법{Unmanned store operation system and unmanned store management method}

본 발명은 무인 매장 운영 시스템 및 무인 매장 관리 방법에 관한 것으로, 특히 무인 관제를 실행하는 다수의 매장에 대한 화상 정보를 표시하고, 다수의 고객에 대해 단말기를 통한 화상 정보에 따라 관제 담당자가 실시간으로 응대 및 처리를 용이하게 실행할 수 있는 무인 매장 운영 시스템 및 무인 매장 관리 방법에 관한 것이다.

인터넷의 발달과 경제 발전의 영향으로 사회에 다양한 문화가 보급되면서 다양한 상품과 서비스를 제공하는 매장들이 생겨나고 있다. 이러한 매장의 관리자는 매장에서 수행되어야 할 다양한 업무를 결정하고 이를 도울 수 있는 직원을 고용하여 사업을 영위하는 경우가 많다.

예를 들어, 전국 각각의 곳에 널리 보급되어 있는 PC 방에는 필요한 프로그램을 내부에 저장하여 사용하는 복수의 PC와 PC 방 전체를 관리하는 근무자가 필수적이다. PC 방을 이용하고자 하는 이용자는 PC 방에 입실한 후, 사용중이지 않는 PC를 사용하는 방식으로 이용한다. 물론 PC의 사용 비용은 후불이다.

사용자는 자신이 선택한 PC에 저장되어 있는 프로그램을 확인하여, 필요한 프로그램이 이미 설치되어 있는 경우에는 그대로 사용하면 되지만, 필요한 프로그램이 자신이 선택한 PC에 설치되어있지 않는 경우에는 인터넷망 또는 근무자인 PC 방 운영자로부터 필요한 프로그램을 자신의 선택한 PC에 직접 설치하여 사용한다.

또, PC 방에 놓여있는 PC 자체 또는 PC 방 관리시스템은 사용자가 컴퓨터를 사용하는 시간을 계산하며, 사용자가 PC의 사용을 종료한 후에 그 비용을 정산하여 청구하고, 사용자는 PC 방의 퇴실 전에 근무자에게 비용을 지급함으로써 이들 사이의 경제활동은 종료된다. 한편, PC 방을 이용하는 사용자가 사용 등에 관해 불만이 있을 때에는, 카운터에 있는 운영자 또는 근무자에게 이를 통지하고, 근무자는 불만을 확인한 후 적절한 조치를 취하거나 경우에 따라서는 일정한 금액을 해당 사용자에게 환불한다. 따라서, PC 방을 운용할 때, PC 및 PC 방을 관리하는 별도의 인원인 근무자가 필요하게 된다는 단점이 있었다.

또한, 편의점, 식당, PC 방, 인터넷 노래방, DVD 방 등과 같이 서비스를 제공하는 매장 관리에서 포스 단말기를 사용한다. 이러한 포스 단말기는 관리자, 직원 또는 아르바이트 등이 사용하며, 이와 같은 단말기를 사용하기 위한 직원을 위한 비용이 증가한다.

이에 따라 최근에는 편의점, PC 방, 노래방 등에서는 무인 관리화도 진행되고 있다. 이러한 무인 매장의 운영에서는 방범 및 보안이 매우 중요한 요소이며, 매장이 오픈된 시간 동안 CCTV를 통한 관찰 및 마감 시간 이후의 움직임에 대한 분석 및 이를 통한 신고 과정 등이 있을 수 있다.

이러한 기술의 일 예가 하기 문헌 1 내지 3 등에 개시되어 있다.

예를 들어, 하기 특허문헌 1에는 무인 매장의 주요 시설물 주변으로 중첩되게 설치되어 상기 무인 매장을 실시간 촬영하는 360도 카메라, 상기 360도 카메라를 통해 획득한 실시간 촬영 데이터에 기초하여, 사용자를 식별 및 추적하고, 상기 무인 매장 내에서 발생하는 이벤트에 대하여 감지, 추적 및 대응을 수행하는 통합 서버, 상기 서버로부터 획득한 상기 실시간 촬영 데이터를 저장하고, 상기 무인 매장의 상기 사용자에 대한 사용자 식별 정보를 저장하는 데이터베이스, 상기 서버로부터 상기 이벤트 발생 시 이벤트 발생 신호를 전송받는 운영자 휴대용 단말 및 상기 이벤트 발생 시 상기 이벤트 발생 신호에 기초하여, 상기 서버에 의해 제어되는 도어 개폐 설비, 방재 설비 및 도난 벨을 포함한 보안 조절 장치를 포함하는 무인 매장 운영을 위한 방범 및 보안 관리 시스템에 대해 개시되어 있다.

또, 하기 특허문헌 2에는 매장 내의 특정 위치에 각각 설치되는 적어도 하나의 카메라, 상기 카메라에 의해 실시간으로 획득되는 영상을 분석하여 매장 내의 이상 상황 이벤트 발생 여부를 분석하는 분석부 및 상기 매장의 출입 관리 시스템과 연동되어 상기 매장이 무인 상태로 운영되는 방법 모드인 경우 상기 분석부가 동작되도록 제어하는 프로세서를 포함하고, 상기 프로세서가 이상 상황 이벤트 발생시, 상기 프로세서로의 접속이 가능한 임시 계정을 서버 또는 보안 요원 단말기로 전송하도록 제어하는 매장 관제 장치에 대해 개시되어 있다.

한편, 하기 특허문헌 3에는 각 PC 방에 각각 고정 설치되어 고객의 얼굴을 촬영하고, 촬영된 얼굴 영상을 PC 방 식별자 또는 단말 식별자와 함께 전송하기 위한 PC 방 단말기, 상기 PC 방 단말기로부터 얼굴 영상 및 PC 방 식별자 또는 단말 식별자를 수신받아, 얼굴 영상에서 얼굴 특징점을 추출하고, 추출된 얼굴 특징점을 고객 식별자로 식별화시키고, 고객 식별자를 얼굴 영상 및 PC 방 식별자 또는 단말 식별자와 함께 등록하여 PC 방 무인 관제를 수행하기 위한 PC 방 무인 관제 서버 및 상기 PC 방 무인 관제 서버로부터 전달되는 고객 식별자, 얼굴 영상 및 PC 방 식별자 또는 단말 식별자를 데이터베이스화시켜 저장해 두기 위한 데이터베이스를 포함하는 PC 방 무인 관제 시스템에 대해 개시되어 있다.

대한민국 등록특허공보 제10-2234555호(2021.03.25 등록) 대한민국 등록특허공보 제10-2132086호(2020.07.02 등록) 대한민국 공개특허공보 제2020-0104041호(2020.09.03 공개)

상술한 바와 같은 특허문헌 1에서는 사용자가 무인 매장으로부터 식별 태그가 장착된 물품과 함께 360도 카메라의 화각 밖으로 이동할 경우, 360도 카메라를 통해 촬영된 촬영 데이터를 이벤트 중 도난에 해당하는 도난 촬영 데이터로 서버가 분류할 수 있지만, 입장 고객을 관리할 수 없다는 문제가 있었다.

또, 상기 특허문헌 2에는 출입 관리 시스템과 연동되어 매장이 무인 상태로 운영 중인 경우에만 매장 관제를 위해 동작할 수 있는 기술에 대해 개시되어 있지만, 출입 관리 시스템에 대한 기술이 개시되어 있지 않으며, 다수의 매장을 각각 연동하여 관리할 수 있는 기술에 대해서는 개시되어 있지 않았다.

한편, 상기 특허문헌 3에 개시된 기술은 본 발명자가 개발하여 고객의 얼굴을 촬영하여 얼굴 특징점을 추출해서 고객 식별자로 식별화시켜 PC방 무인 관제를 수행하는 기술로서, PC 방 무인 관제 서버가 PC 방 단말기를 통해 고객을 안내하는 구조에 대해 개시되어 있지만, 특정의 PC 방에서 특정 고객에만 적용 가능하므로, 다수의 매장에서 다수의 고객에 대해 적용하는 경우, 관제 서버의 용량을 증대시켜야 하며, 관제를 위한 비용이 증가하는 문제가 있었다.

또한, 상술한 특허문헌에 개시된 기술에서는 관제 서버 등에서만 실행되므로, 고객의 상태를 정확하게 파악할 수 없을 뿐만 아니라, 다수의 매장에서 다수의 고객에 대해 용이하게 적용할 수 없다는 문제도 있었다.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으로서, 실시간 원격 무인 관제를 통한 출입문 제어, 실시간 고객 응대, 고객의 무단 입출 관리, POS기 및 키오스크 원격제어, 원격 실시간 방송, CCTV 통제 및 AI에 의한 학습에 의해 매장에 근무자가 상주하는 것과 동일한 시스템을 구축하여 표시하고, 표시 상태의 변경에 따라 실시간으로 고객 응대를 실행할 수 있는 무인 매장 운영 시스템 및 무인 매장 관리 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 표시 모듈에 표시된 제1 단말기, 제2 단말기, 제3 단말기의 화상의 표시 부분에 테두리 색상 변경을 실행하여 관제 담당자가 실시간으로 용이하게 인식하여 고객 응대 및 처리를 실행할 수 있는 무인 매장 운영 시스템 및 무인 매장 관리 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 고객이 한 번의 고객 정보 등록에 의해 다른 매장에서의 출입을 원활하게 실행할 수 있는 무인 매장 운영 시스템 및 무인 매장 관리 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 매장 내의 냉난방기, 방송 장비, 음료수와 같은 물품 보관함 등의 관리를 원격지에서 용이하게 실행할 수 있는 무인 매장 운영 시스템 및 무인 매장 관리 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 무인 매장에서 음료수와 같은 물품 보관함에서 물품의 손실을 최소화할 수 있는 무인 매장 운영 시스템 및 무인 매장 관리 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명에 따른 무인 매장 운영 시스템은 다수의 매장의 각각의 출입문 입구 부분에 장착되어 출입문의 제어를 지원하기 위해 마련된 제1 단말기, 다수의 매장의 각각의 출입문을 인식할 수 있고, 매장의 내부를 관리하기 위해 마련된 제2 단말기, 다수의 매장의 각각의 내부에 마련되어 매장 내에서의 불편 사항 및 문의 사항을 지원하는 제3 단말기, 상기 매장을 운영하는 운용자용의 운영자 단말기, 네트워크를 통해 상기 제1 단말기, 제2 단말기, 제3 단말기와 각각 접속되고, 상기 제1 단말기, 제2 단말기, 제3 단말기를 통해 전송된 화상 정보에 대응하여 실시간으로 입장 고객 관리를 안내하는 관리 서버, 상기 관리 서버를 통해 상기 제1 단말기, 제2 단말기 및 제3 단말기로부터의 화상 정보를 각각 표시하는 표시 모듈, 상기 제1 단말기, 제2 단말기 및 제3 단말기 중의 어느 하나의 작동에 따라 상기 제1 단말기, 제2 단말기 및 제3 단말기에서의 음성 정보 및 화상 정보를 실시간으로 상기 관리 서버로 전송하는 IP-PBX(Internet Protocol Private Branch Exchange)를 포함하고, 상기 표시 모듈에는 상기 IP-PBX를 통해 전송된 상기 제1 단말기, 제2 단말기 및 제3 단말기로부터의 화상 정보가 실시간으로 동시에 표시되는 것을 특징으로 한다.

또 본 발명에 따른 무인 매장 운영 시스템에서, 상기 매장에 대한 정보 및 입장 고객에 대한 정보를 저장하는 데이터베이스를 더 포함하는 것을 특징으로 한다.

또 본 발명에 따른 무인 매장 운영 시스템에서, 상기 제1 단말기, 제2 단말기, 제3 단말기는 각각 SIP(Session Initiation Protocol) 인터컴을 포함하고, 상기 제2 단말기는 인체를 감지하는 감지 센서를 포함하고, 매장 내에 설치된 CCTV와 연동되며, 상기 제3 단말기는 매장의 내부에 마련된 POS(Point Of Sales) 단말기 또는 키오스크에 설치되는 것을 특징으로 한다.

또 본 발명에 따른 무인 매장 운영 시스템에서, 상기 관리 서버는 상기 제1 단말기의 카메라에 의해 촬영된 고객의 신분증 및 얼굴 부분의 화상 정보를 관리하는 고객 관리 모듈, 상기 제1 단말기, 제2 단말기, 제3 단말기가 장착된 매장에 대한 정보를 관리하는 매장 관리 모듈, 상기 제1 단말기, 제2 단말기, 제3 단말기로부터의 송수신 정보에 따라 실시간으로 입장 고객 관리를 안내하는 단말기 관리 모듈, 상기 IP-PBX를 통해 전송된 상기 제1 단말기, 제2 단말기 및 제3 단말기로부터의 화상 정보를 실시간으로 동시에 상기 표시 모듈에 표시하도록 관리하는 표시 관리 모듈, 상기 제1 단말기 또는 제2 단말기로부터 전송된 고객의 화상 정보를 학습하여 상기 데이터베이스에 저장하는 학습 모듈, 상기 매장에 설치된 IoT 기기에 대한 정보를 관리하는 IoT 관리 모듈을 포함하는 것을 특징으로 한다.

또 본 발명에 따른 무인 매장 운영 시스템에서, 상기 매장은 PC 방, 노래방, 실내 골프 연습장, 무인 판매점 중의 어느 하나인 것을 특징으로 한다.

또 본 발명에 따른 무인 매장 운영 시스템에서, 상기 표시 모듈에는 10개의 매장에서 전송된 제1 단말기의 화상 정보, 5개의 매장에서 전송된 제2 단말기의 화상 정보, 5개의 매장에서 전송된 제3 단말기의 화상 정보가 표시되는 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위해 본 발명에 따른 무인 매장 관리 방법은 (a) 매장의 각각의 출입문 입구 부분에 마련되는 제1 단말기, 매장의 내부를 관리하기 위해 마련된 제2 단말기, 매장 내에서의 불편 사항 및 문의 사항을 지원하는 제3 단말기(300)를 설치하고, 음성 정보 및 화상 정보를 실시간으로 관리 서버로 전송하기 위한 IP-PBX를 마련하는 단계, (b) 표시 모듈에 상기 제1 단말기, 제2 단말기 및 제3 단말기로부터의 화상 정보를 표시하는 단계, (c) 상기 제1 단말기에서 고객의 호출 신호에 따라 상기 표시 모듈에 표시된 상기 제1 단말기의 화상의 표시 부분에 테두리 색상 변경하고, 고객의 신분증 또는 얼굴 인식을 위한 촬영을 안내하는 안내 단계, (d) 상기 단계 (c)에서의 안내에 따라 상기 제1 단말기에서 고객의 신분증 또는 얼굴을 촬영하고, 촬영된 화상 정보에 따라 상기 관리 서버에서 정상적인 고객인가 판단하는 단계, (e) 상기 단계 (d)에서 정상 고객으로 판정되면 매장의 출입문을 개방하고, 데이터베이스에 고객 정보를 등록하는 단계를 포함하고, 상기 표시 모듈에는 10개의 매장에서 전송된 제1 단말기의 화상 정보, 5개의 매장에서 전송된 제2 단말기의 화상 정보, 5개의 매장에서 전송된 제3 단말기의 화상 정보가 표시되는 것을 특징으로 한다.

또 본 발명에 따른 무인 매장 관리 방법에서, (f) 제2 단말기에서 상기 단계 (e)에 의해 출입한 고객 이외의 다른 고객의 출입이 있는지 감지하는 단계, (g) 상기 단계 (f)에서 다른 고객의 출입으로 판단되면, 상기 표시 모듈에 표시된 상기 제2 단말기의 화상의 표시 부분에 테두리 색상 변경하고, 상기 제2 단말기를 통해 이상 상태를 안내하는 단계, (h) 상기 단계 (g)에서의 이상 상태를 운영자 단말기에 통지하는 단계를 더 포함하는 것을 특징으로 한다.

또 본 발명에 따른 무인 매장 관리 방법에서, 상기 관리 서버에서는 상기 단계 (c)에서의 고객 정보로서 촬영된 화상 정보의 얼굴 이미지로부터 특징 벡터를 추출하여 데이터베이스에 저장하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 무인 매장 운영 시스템 및 무인 매장 관리 방법에 의하면, 제1 단말기, 제2 단말기, 제3 단말기를 통해 전송된 화상 정보를 실시간으로 표시하고, 화상 정보의 변경 상태를 표시하는 것에 의해, 무인 매장의 관리를 용이하며 효율적으로 실행할 수 있다는 효과가 얻어진다.

또 본 발명에 따른 무인 매장 운영 시스템 및 무인 매장 관리 방법에 의하면, 제1 단말기 또는 제2 단말기로부터 전송된 고객의 화상 정보를 학습하여 데이터베이스에 저장하는 학습 모듈을 마련하는 것에 의해, 고객의 초상권에 대한 문제를 해결할 수 있다는 효과가 얻어진다.

또 본 발명에 따른 무인 매장 운영 시스템 및 무인 매장 관리 방법에 의하면, 다수의 매장에서 전송되는 제1 단말기, 제2 단말기, 제3 단말기를 통한 화상 정보를 하나의 표시 모듈에 마련하는 것에 의해, 관제 담당자가 다수의 무인 매장에 대해 실시간으로 고객 응대 및 처리를 용이하게 실행할 수 있다는 효과도 얻어진다.

또 본 발명에 따른 무인 매장 운영 시스템 및 무인 매장 관리 방법에 의하면, 제2 단말기가 인체를 감지하는 감지 센서를 구비하고, 매장 내에 설치된 CCTV와 연동되는 구성을 실현하여, 무인 매장에서 비정상적인 고객 출입을 차단함과 동시에 물품의 손실을 최소화할 수 있다는 효과도 얻어진다.

도 1은 본 발명에 따른 무인 매장 운영 시스템에서의 화상 처리에 적용되는 CNN(Convolutional Neural Network) 구조의 일 예를 나타내는 도면,
도 2는 본 발명이 적용되는 일 예로서 PC 방에 대한 무인 매장 운영 시스템의 개념도,
도 3은 본 발명에 따른 무인 매장 운영 시스템의 구성도,
도 4는 도 3에 도시된 제1 단말기의 구성 블록도,
도 5는 도 3에 도시된 제2 단말기의 구성 블록도,
도 6은 도 3에 도시된 관리 서버의 구성 블록도,
도 7은 도 3에 도시된 데이터베이스의 구성 블록도,
도 8은 도 3에 도시된 표시 모듈에서의 표시 상태를 나타내는 도면,
도 9는 도 8에 도시된 제1 단말기에 관한 매장 정보의 표시 변경의 일 예를 나타내는 도면,
도 10은 도 8에 도시된 제2 단말기 및 제3 단말기에 관한 매장 정보의 표시 변경의 일 예를 나타내는 도면,
도 11은 도 8에 도시된 매장 현황 및 제1 단말기 내지 제3 단말기의 상태 표시를 설명하기 위한 도면,
도 12는 본 발명에 따른 무인 매장 운영 시스템이 적용된 매장에 입장하는 고객을 관리하는 과정을 설명하기 위한 흐름도.

본 발명의 상기 및 그 밖의 목적과 새로운 특징은 본 명세서의 기술 및 첨부 도면에 의해 더욱 명확하게 될 것이다.

본원에서 사용하는 용어 "입장 고객"은 PC 방, 노래방, 실내 골프 연습장, 무인 판매점과 같은 매장을 사용하기 위해 입장하는 고객을 의미하고, "출입문 입구 부분"은 고객이 외부에서 매장으로 진입하기 위한 출입문의 부분을 의미하며, "단말기"는 유무선 또는 중계기 등을 통해 관리 서버와 연결되고, 관리 서버에 의해 제어되는 기기를 의미한다.

또, 본원에서 사용하는 "화상 정보"는 입장 고객의 얼굴 부분을 단말기로 촬영한 정보 또는 입장 고객을 확인 할 수 있는 신분증의 촬영 정보를 의미한다.

또한, 본원에서 사용하는 "딥러닝 모듈"은 CNN(Convolutional Neural Network) 구조를 기반으로 마련될 수 있으며, 이 CNN은 인공 신경 회로망(ANN, Artificial Neural Networks)의 일종이며, 인공 신경 회로망은 신경 뉴런(Neuron) 구조를 본떠 만든 것으로 뉴런과 뉴런 사이의 시냅스(Synapse)의 연결 구조를 본떠 패턴이나 알고리즘을 학습할 수 있도록 만들어진 망으로써, 예를 들어 도 1에 도시된 바와 같이, 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer) 형태를 기본으로 각 층의 방식에 따라 다양한 종류로 나눌 수 있다. 즉 CNN은 입력, 특징 추출, 특징을 위치변경이나 왜곡에 따라 변함이 없게 처리, 분류 및 출력하도록 구성된다.

다음에 본 발명에 따른 무인 매장 운영 시스템의 개념에 대해 도 2에 따라 설명한다. 도 2는 본 발명이 적용되는 일 예로서 PC 방에 대한 무인 매장 운영 시스템의 개념도 이다.

도 2에 도시된 바와 같이, 본 발명에 따른 무인 매장 운영 시스템이 PC 방에 적용되는 경우, 다수의 PC 방(PC 방 #1, PC 방 #2, …, PC 방 #n)이 네트 워크를 통해, IP-PBX(Internet Protocol Private Branch Exchange) 또는 PBX에 연결된다. 이 IP-PBX는 통신망을 통해 관리 서버와 연결되며, 다수의 PC 방에 각각 연결되도록 마련될 수도 있다. 또, 통신망은 네트워크일 수도 있으며, 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속기간망인 통신망일 수도 있으며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선망일 수도 있다. 통신망이 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식, 3G LTE망, 4G망, 5G망 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수도 있다.

상술한 IP-PBX는 다수의 PC 방에서의 각각의 단말기에 대응하여 실시간으로 음성 정보 및 화상 정보를 관리 서버로 전송하여 관리 PC의 디스플레이부에서 표시되게 할 수 있다. 관리 PC는 다수의 PC 방에 대응하여 마련될 수 있도록, 하나의 관리 PC가 다수의 PC 방을 관리하도록 구성될 수도 있다.

또, 상기 IP-PBX와 관리 서버는 예를 들어, 관리자 PC에 접속되고, 관리자 PC에서 다수의 관리 PC를 제어하도록 구성될 수도 있다. 또한, 도 2에서는 예시적으로 PC 방의 구성으로 설명하였지만, 이에 한정되는 것은 아니고 노래방, 실내 골프 연습장, 무인 판매점과 같은 매장에도 적용할 수 있다.

이하, 본 발명에 따른 실시 예를 도면에 따라서 설명한다.

도 3은 본 발명에 따른 무인 매장 운영 시스템의 구성도이다.

본 발명에 따른 무인 매장 운영 시스템은 도 3에 도시된 바와 같이, 다수의 매장의 각각의 출입문 입구 부분에 장착되어 출입문의 제어를 지원하기 위해 마련된 제1 단말기(100), 다수의 매장의 각각의 출입문을 인식할 수 있고, 매장의 내부를 관리하기 위해 마련된 제2 단말기(200), 다수의 매장의 각각의 내부에 마련되어 매장 내에서의 불편 사항 및 문의 사항을 지원하는 제3 단말기(300), 상기 매장을 운영하는 운용자용의 운영자 단말기(400), 네트워크를 통해 상기 제1 단말기(100), 제2 단말기(200), 제3 단말기(300)와 각각 접속되고, 상기 제1 단말기(100), 제2 단말기(200), 제3 단말기(300)를 통해 전송된 화상 정보에 대응하여 실시간으로 입장 고객 관리를 안내하는 관리 서버(500), 상기 매장에 대한 정보 및 입장 고객에 대한 정보를 저장하는 데이터베이스(600), 상기 제1 단말기(100), 제2 단말기(200), 제3 단말기(300)를 통한 화상 정보를 각각 표시하는 표시 모듈(700), 상기 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300) 중의 어느 하나의 작동에 따라 상기 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300)에서의 음성 정보 및 화상 정보를 실시간으로 상기 관리 서버로 전송하는 IP-PBX(800)를 포함할 수 있다.

또, 본 발명에 따른 무인 매장 운영 시스템에서는 관리자 단말기로서 도 2에 도시된 바와 같은 관리자 PC를 포함할 수도 있다. 또한, 상술한 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300)는 하나의 매장에 마련될 수 있고, 매장 내에 마련된 IP-PBX(800)와 연동하여 작동할 수도 있다.

상기 제1 단말기(100)는 음성 통화 및 영상 전송 기능을 구비한 SIP(Session Initiation Protocol) 인터컴을 포함하고, 도 4에 도시된 바와 같이, 송수신부(110), 카메라(120), 호출부(130), 스피커(140), 마이크(150)를 구비할 수 있다. 도 4는 도 3에 도시된 제1 단말기의 구성 블록도 이다.

상기 송수신부(110)는 매장에 출입하기 위한 고객이 호출부(130)를 작동시키는 경우, IP-PBX(800)를 통해 관리 서버(500)로 호출 신호를 전송하기 위해 마련되고, 카메라(120)는 고객의 신분증 및 얼굴 인식을 위해 마련된다. 상기 스피커(140)와 마이크(150)는 고객과 관리 서버(500)와의 통화를 위해 마련된다. 예를 들어, 고객이 마스크를 착용하고 호출부(130)를 작동시킨 경우, 스피커(140)를 통해 관리 서버(500)는 "마스크를 벗어주세요"와 같은 안내 음성을 송출할 수 있다.

이와 같은 관리 서버(500)에서의 안내 음성은 카메라(120)를 통해 촬영된 고객의 얼굴 부분에 대한 화상 정보에서 눈, 코, 입과 같은 특징점이 촬영되지 않은 경우, 관리 서버(500)에서 자동으로 실행될 수 있다. 상기 카메라(120)에 의해 촬영된 화상 정보에서 유효 입장 고객, 예를 들어 고객의 신분증에 의해 성인으로 판정된 경우, 관리 서버(500)에서의 제어에 의해 출입문이 자동으로 개방된다. 이와 같은 고객의 신분증에 의한 성인 판단은 신분증에 기재된 생년월일에 대한 통상의 문자 인식 프로그램으로 용이하게 실현할 수 있다.

한편, 상기 제1 단말기(100)의 카메라(120)에서 촬영된 고객의 얼굴 부분에 대한 정보는 종래의 기술과 같은 단순 그림 파일로서 JPEG, PNG, GIF와 같은 파일로 등록이 되는 것이 아니고, 촬영된 화상 정보의 얼굴 이미지로부터 특징 벡터를 추출하여 저장된다. 즉, 본 발명에 따른 무인 매장 운영 시스템에서는 화상 정보에서 특징 벡터를 추출하여 저장하므로 고객의 초상권에 대한 문제를 해결할 수도 있다.

또, 상기 제1 단말기(100)의 카메라(120)에서 촬영된 고객의 얼굴 부분에 대한 화상 정보는 특징 벡터로 추출되어 데이터베이스(600)에 저장된다. 따라서, 본 발명에 따른 무인 매장 운영 시스템이 마련된 제1 매장인 PC 방의 제1 단말기(100)를 통해 생성된 고객의 화상 정보가 데이터베이스(600)에 저장되고, 데이터베이스(600)에 저장된 고객이 본 발명에 따른 무인 매장 운영 시스템을 적용하는 제2 매장인 노래방에 입장하는 경우, 노래방의 제1 단말기의 카메라에 의한 고객의 확인만으로 출입문을 개방시킬 수 있다. 또한, 본 발명에 따른 무인 매장 운영 시스템에서는 제1 매장에서의 고객의 화상 정보가 벡터 방식으로 저장되어 운영되므로, 제2 매장에서는 고객이 마스크를 착용하여도 제1 매장에 등록된 고객으로 용이하게 인식할 수 있게 된다.

상기 제2 단말기(200)는 상기 제1 단말기(100)와 같이, 음성 통화 및 영상 전송 기능을 구비한 SIP(Session Initiation Protocol) 인터컴을 포함하고, 매장 내에 설치된 CCTV와 연동되며, 도 5에 도시된 바와 같이, 송수신부(110), 카메라(120), 감지부(130), 스피커(140), 마이크(150)를 구비할 수 있다. 도 5는 도 3에 도시된 제2 단말기의 구성 블록도 이다.

상기 감지부(160)는 제1 단말기(100)를 통한 입장이 아니고, 입장 고객이 매장 내에서 임의로 출입문을 열어 준다든지 바깥에서 한 명을 봤는데 숨어 있다가 몰래 들어올 경우 감지하기 위해 마련되며, 제2 단말기(200)의 카메라(120)를 통해 촬영된 화상 정보에 의해 관리 서버(500)에서 확인 가능하게 하기 위해 마련된다. 즉, 제1 단말기(100)가 작동되지 않고 고객이 입장하는 경우, 감지부(160)에 의해 인체의 움직임이 감지되면, 관리 서버(500)는 제2 단말기(200)의 스피커(140)를 통해 통한 안내 방송 등 수시 멘트로 통제 가능하게 한다.

또 상기 제2 단말기(200)는 매장에 설치된 CCTV와 연동하여 실시간 모니터링으로 음료수와 같은 물품 보관함에서 불법으로 음료, 스낵 등을 인출하는 것을 감지하므로, 무인 매장에서의 경제적 손실을 방지할 수도 있다.

상기 제3 단말기(300)도 음성 통화 및 영상 전송 기능을 구비한 SIP(Session Initiation Protocol) 인터컴을 포함하고, 제1 단말기(100)와 동일한 구성으로 이루어질 수 있다. 이 제3 단말기(300)는 예를 들어, 매장의 내부에 마련된 POS(Point Of Sales) 단말기 또는 키오스크에 설치되어, 매장에 익숙하지 않은 고객으로서, 나이가 많으신 고객 등의 여러 가지 불편 상황이 발생할 경우, 호출부인 벨을 누르면 관리 서버(500)에 마련된 관제 센터 직원과 1:1 응대로 문제를 해결하기 위해 마련된다.

상기 운영자 단말기(400)는 매장을 운영하는 운영자가 사용하는 단말기로서, 예를 들어 네트워크를 통해 관리 서버(500)와 데이터 통신을 할 수 있는 통신 기능을 구비한 것이며, 스마트폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet PC), 플렉시블 단말기(Flexible Terminal) 등과 같은 다양한 단말기를 적용할 수 있다. 관리 서버(500)는 매장 내의 비상 상황 등이 발생된 것으로 판단되면, 상기 제1 단말기(100), 제2 단말기(200), 제3 단말기(300)에 의한 촬영된 매장 내의 상태 정보를 운영자 단말기(400) 또는 경찰서 등에 마련된 관제 시스템으로 전송할 수 있다.

상기 네트워크는 제1 단말기(100), 제2 단말기(200), 제3 단말기(300) 및 운영자 단말기(400)의 각각과 IP-PBX(800) 및 관리 서버(500) 사이에서 무선 통신을 구축하기 위한 것으로서, 무선랜(Wireless LAN:WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등을 적용할 수 있다. 그러나 이에 한정되는 것은 아니며, 무선 통신 기술의 발전에 따라 중계를 통해 다양하게 응용 실시할 수 있다.

또 상기 설명에서는 제1 단말기(100), 제2 단말기(200), 제3 단말기(300) 및 IP-PBX(800)와 관리 서버(500)의 통신 관계를 각각 분리하여 설명하였지만, 이에 한정되는 것은 아니고, 상기 제1 단말기(100), 제2 단말기(200), 제3 단말기(300) 및 IP-PBX(800)가 연동하여 관리 서버(500)와의 통신 상태를 유지하도록 마련될 수도 있다. 즉, 상기 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300)는 IP-PBX(800)를 통해 관리 서버(500)와의 통신 상태가 유지되며, 제1 단말기(100), 제2 단말기(200). 제3 단말기(300) 중의 어느 하나의 작동에 따라 IP-PBX(800)가 연동하여 관리 서버(500)와의 통신 상태로 유지된다.

또한, 상기 설명에서는 제1 단말기(100), 제2 단말기(200), 제3 단말기(300)가 각각 독립적으로 작동하는 구조로 설명하였지만, 이에 한정되는 것은 아니고, 매장에 설치된 IoT 기기와 연동하여 작동할 수도 있다. 즉, 예를 들어, 제2 단말기(200)가 매장 내에 마련된 CCTV, 냉난방기, 방송 장비, 음료수와 같은 물품 보관함 등과 연동하여 관리 서버(500)에 의해 제어되는 구조를 마련할 수도 있다. 이를 위해 상기 제2 단말기(200)는 매장 내에 마련된 CCTV, 냉난방기, 방송 장비, 음료수와 같은 물품 보관함 등과 유무선 통신을 위해 연결될 수도 있다.

상기 관리 서버(500)는 통상의 서버 구조로 마련되고 네트워크에 연결되어 제1 단말기(100), 제2 단말기(200), 제3 단말기(300) 및 운영자 단말기(400)로 매장 이용 안내 정보 등을 제공하고, 고객의 화상 정보를 관리한다. 이러한 관리 서버(500)는 일종의 웹서버, 웹서비스 서버, 모바일 웹서버 또는 어플 서버로서 역할을 하도록 구축되는 것이 바람직하다. 또, 운영자 단말기(400)에 매장 상태 정보 등을 제공하기 위한 웹페이지를 제공할 수도 있다.

상기 관리 서버(500)에 대해서는 도 6을 참조하여 설명한다.

도 6은 도 3에 도시된 관리 서버의 구성 블록도 이다.

본 발명에 따른 무인 매장 운영 시스템의 관리 서버(500)는 도 6에 도시된 바와 같이, IP-PBX(800)를 통해 상기 제1 단말기(100), 제2 단말기(200), 제3 단말기(300), 운영자 단말기(400) 및 데이터베이스(300)와 유무선으로 정보를 송신 또는 수신할 수 있는 송수신 모듈(510), 상기 제1 단말기(100)의 카메라(120)에 의해 촬영된 고객의 신분증 및 얼굴 부분의 화상 정보를 관리하는 고객 관리 모듈(520), 상기 제1 단말기(100), 제2 단말기(200), 제3 단말기(300)가 장착된 매장에 대한 정보를 관리하는 매장 관리 모듈(530), 상기 제1 단말기(100), 제2 단말기(200), 제3 단말기(300)로부터의 송수신 정보에 따라 실시간으로 입장 고객 관리를 안내하는 단말기 관리 모듈(540), 상기 운영자 단말기(400)에 대한 정보를 관리하는 운영자 관리 모듈(550), 상기 IP-PBX(800)를 통해 전송된 상기 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300)로부터의 화상 정보를 실시간으로 동시에 상기 표시 모듈(700)에 표시되도록 관리하는 표시 관리 모듈(560), 상기 제1 단말기(100) 또는 제2 단말기(200)로부터 전송된 고객의 화상 정보를 학습하여 상기 데이터베이스(600)에 저장하는 학습 모듈(570), 상기 매장에 설치된 IoT 기기에 대한 정보를 관리하는 IoT 관리 모듈(580)을 포함할 수 있다.

상기 송수신 모듈(510)은 통상의 송수신 모듈로 이루어지고, 상기 네트워크 및 IP-PBX(800)를 이용하여 상기 제1 단말기(100), 제2 단말기(200), 제3 단말기(300), 운영자 단말기(400) 및 데이터베이스(300)와 유무선으로 매장 관리 정보의 송수신을 실행할 수 있도록 마련되며, 특정의 통신 모듈에 한정되는 것은 아니다.

상기 고객 관리 모듈(520)은 제1 단말기(100)에 의해 촬영된 매장에 최초로 입장하는 고객(제1 매장 입장 고객)의 화상 정보를 관리하고 데이터베이스(600)에 저장하며, 다른 매장(제2 매장)에서 입장하는 제1 매장의 고객이 상기 데이터베이스(600)에 저장된 경우, 제1 단말기(100)에서의 화상 정보와 데이터베이스(600)에 저장된 고객 정보의 확인으로만 제2 매장에 입장할 수 있도록 관리한다. 또 상기 고객 관리 모듈(520)에서는 예를 들어, 성인 전용 매장인 경우, 제1 단말기(100)에서 촬영된 고객의 신분증 또는 화상 정보를 기준으로 하여 입장이 가능한 정상적인 고객인가를 판단한다.

상기 매장 관리 모듈(530)은 매장의 종류, 예를 들어 매장의 종류로서 PC 방, 노래방, 실내 골프 연습장, 무인 판매점의 매장에 대한 정보, 각각의 매장이 본 발명에 따른 무인 매장 운영 시스템에 연동되어 가입된 매장인가 등에 대한 정보를 관리하며, 상기 단말기 관리 모듈(540)은 각각의 매장에 설치된 제1 단말기(100), 제2 단말기(200), 제3 단말기(300)의 설치 위치에 대한 정보 및 기능에 대한 정보를 관리한다.

상기 운영자 관리 모듈(550)은 상기 데이터베이스(600)에 저장된 운영자 단말기(400)를 사용하는 매장의 운영자의 성명, 주소, 전화번호 및 회원 가입 기간을 관리하고, 매장이 위치한 위치 정보를 관리한다.

상기 표시 관리 모듈(560)은 상기 제1 단말기(100), 제2 단말기(200), 제3 단말기(300)에서 각각 전송된 화상 정보가 표시 모듈(700)에 표시될 수 있는 조건 예를 들어, 표시 모듈(700)에 10개의 매장에서 전송된 제1 단말기(100)의 화상 정보, 5개의 매장에서 전송된 제2 단말기(200)의 화상 정보, 5개의 매장에서 전송된 제3 단말기(300)의 화상 정보를 표시할 수 있는 조건, 각각의 매장에서의 이벤트 목록, 매장 현황 및 제1 내지 제3 단말기의 상태, 음소거, 화면 캡처, 문 열림 버튼의 클릭 후 딜레이 타임설정 조건 등에 관한 정보를 관리한다.

상기 학습 모듈(570)은 상기 제1 단말기(100), 제2 단말기(200) 또는 제3 단말기(300)에서 전송된 화상 정보에 대해 딥러닝 모듈을 적용하여 학습하고 데이터베이스(600)에 저장하기 위해 마련된다. 상기 학습 모듈(570)에서는 예를 들어, 제1 단말기(100)에 의해 촬영된 화상 정보가 등록 요청된 이미지인 경우, 얼굴 인식 모델을 적용하여 얼굴 이미지를 추출하고, 추출된 얼굴 이미지로부터 복수개의 특징 벡터를 생성하고, 각 고객별로 복수개의 특징 벡터, 고객의 식별정보 및 고객이 출입할 수 있는 매장에 대한 정보를 포함하는 고객의 출입권한정보로 구성된 어레이를 생성하고, 생성된 어레이들을 머지하여 어레이 파일을 생성하여 고객의 화상 정보를 학습할 수 있다.

즉, 학습 모듈(570)은 고객의 얼굴 이미지 추출로서, 도 1에 도시된 바와 같은 컨벌루션 신경망(Convolutional Neural Network: CNN)을 기반으로 구성되어 입력 이미지로부터 얼굴 영역이 포함된 얼굴 이미지를 추출하기 위해, 제1 뎁스(Depth)를 갖는 제1 신경망 네트워크를 이용하여 복수개의 입력 이미지들의 피쳐맵을 생성하고, 이 피쳐맵를 기초로 복수개의 입력 이미지들 중 얼굴 영역이 포함된 복수개의 제1 서브 입력 이미지들을 1차적으로 선별하며, 제1 뎁스보다 깊은 제2 뎁스를 갖는 제2 신경망 네트워크를 이용하여 상기 복수개의 제1 서브 입력 이미지의 피쳐맵을 생성하고, 상기 제2 신경망 네트워크를 통해 생성된 피쳐맵을 기초로 상기 복수개의 제1 서브 입력 이미지들 중 얼굴영역이 포함된 복수개의 제2 서브 입력 이미지들을 2차적으로 선별하며, 상기 제2 뎁스보다 깊은 제3 뎁스를 갖는 제3 신경망 네트워크를 이용하여 상기 복수개의 제2 서브 입력 이미지의 피쳐맵을 생성하고, 상기 제3 신경망 네트워크를 통해 생성된 피쳐맵을 기초로 상기 복수개의 제2 서브 입력 이미지들 중 얼굴영역이 포함된 얼굴이미지를 선별하여 학습할 수 있다.

또, 상기 학습 모듈(570)은 고객의 얼굴에 대한 얼굴 이미지 추출부에 복수개의 도 1에 도시된 바와 같은 딥러닝 모듈을 적용하여 학습 이미지를 입력하여 학습 이미지가 얼굴 영역을 포함할 확률 값, 얼굴 영역의 좌표 및 랜드 마크 좌표를 산출하고, 산출된 확률 값, 얼굴 영역의 좌표 및 랜드 마크 좌표를 역전파(Back Propagation) 알고리즘에 따라 상기 얼굴 이미지 추출부에 피드백하여 얼굴이미지 추출에 적용된 컨벌루션 필터들의 필터계수 및 가중치 중 적어도 하나를 갱신하는 학습을 실행할 수도 있다.

상술한 바와 같이, 본 발명에 따른 관리 서버(500)의 학습 모듈(570)에서는 고객의 얼굴 이미지에서 얼굴의 특징을 인식 가능하게 하는 특징 벡터를 추출하는 벡터 추출 알고리즘을 적용하여 얼굴 인식 정확도를 높일 수 있으며, 데이터베이스(600)에 저장되는 고객의 화상 정보에 대한 저장 용량을 저감할 수 있다.

상기 IoT 관리 모듈(580)은 제2 단말기(200)와 연동하여 매장에 설치된 전기 전자기기인 CCTV, 냉난방기, 방송 장비, 음료수와 같은 물품 보관함 등을 관리 서버(500)에서 원격으로 제어하기 위해 마련된다.

상술한 관리 서버(500)의 구성에서는 고객 관리 모듈(520), 매장 관리 모듈(530), 단말기 관리 모듈(540), 운영자 관리 모듈(550), 표시 관리 모듈(560), 학습 모듈(570), IoT 관리 모듈(580)을 각각 분리된 구성으로 설명하였지만, 이에 한정되는 것은 아니고 프로그램에 의한 일련의 연속된 작동으로 실현될 수도 있다.

상기 데이터베이스(600)는 도 6에 도시된 바와 같이, 매장의 종류, 위치 등에 대한 정보를 저장하는 매장 정보 DB(610), 상기 제1 단말기(100), 제2 단말기(200), 제3 단말기(300) 및 운영자 단말기(400)에 대한 정보를 저장하는 단말기 정보 DB(620), 상기 제1 단말기(100), 제2 단말기(200), 제3 단말기(300)를 통한 안내 정보를 저장하는 안내 정보 DB(630), 고객에 대한 정보를 저장하는 고객 정보 DB(640), 제1 단말기(100)에서 촬영된 고객의 얼굴 이미지에 대한 벡터 정보를 저장하는 벡터 정보 DB(650), 매장에 설치된 IoT의 기기에 대한 정보를 저장하는 IoT 정보 DB(660), 운영자의 전화번호, 주소 등에 대한 정보를 저장하는 운영자 정보 DB(670), 표시 모듈(700)에 표시된 매장의 상태 정보를 저장하는 상태 정보 DB(680)를 포함할 수 있다. 도 7은 도 3에 도시된 데이터베이스의 구성 블록도 이다.

이와 같은 데이터베이스(600)의 구성은 바람직한 일 실시 예일 뿐이며, 구체적인 장치를 개발하는 데 있어서, 접근 및 검색의 용이성 및 효율성 등을 감안하여 데이터베이스 구축이론에 의하여 다른 구조로 구성될 수 있다.

상기 표시 모듈(700)은 도 8에 도시된 바와 같은 디스플레이부를 포함하며, 다수의 매장의 상태를 표시할 수 있다. 도 8은 도 3에 도시된 표시 모듈에서의 표시 상태를 나타내는 도면이다. 이와 같은 표시 모듈(700)은 도 2에 도시된 바와 같은 관리 PC의 디스플레이부일 수 있다.

한편, 도 8에서는 표시 모듈(700)에는 10개의 매장에서 전송된 제1 단말기의 화상 정보(출입구에 마련된 고객의 출입 상태 정보), 5개의 매장에서 전송된 제2 단말기의 화상 정보(매장 내의 화상 정보), 5개의 매장에서 전송된 제3 단말기의 화상 정보(헬프 상태 정보), 각각의 매장에서의 이벤트 목록, 매장 현황 및 제1 내지 제3 단말기의 상태 표시, 음소거, 화면 캡처, 문 열림 버튼의 클릭 후 딜레이 타임설정 등의 설정 버튼이 표시된 구조를 나타내었지만, 이에 한정되는 것은 아니고 매장의 상태에 따라 화상 정보의 표시를 변경할 수 있다.

또, 각각의 단말기에 대한 화상 정보에 대해서는 도 8에 도시된 바와 같이, 제1 단말기에 관한 매장 정보가 표시된 매장 현황에 대해 음소거, 화면 캡처, 통화 종료, 문 열림의 메뉴가 마련되고, 제2 단말기에 관한 매장 정보가 표시된 매장 현황에 대해 음소거, 화면 캡처, 통화 종료, 방송의 메뉴가 마련되고, 제3 단말기에 관한 매장 정보가 표시된 매장 현황에 대해 음소거, 화면 캡처, 통화 종료, 통화의 메뉴가 마련될 수 있다. 예를 들어, 음소거 버튼은 클릭 시 음소거 기능, 현재 음소거 상태를 나타내주는 아이콘으로 전환될 수 있으며, 캡처 버튼은 클릭 시 해당 매장에 대한 영상 캡처 기능을 실현하고 캡처 된 화상 정보는 데이터베이스(600)에 파일로 저장될 수 있다. 또한, 문 열림 버튼의 클릭 후 딜레이 타임 설정으로 시간 경과 후 화면 닫힘으로 마련될 수도 있다. 이와 같은 각각의 버튼을 클릭하는 경우, 대응하는 매장에 관한 화상의 표시 부분에 테두리 색상 변경으로 관리자가 용이하게 인식할 수 있으며, 통화 가능 상태를 표시할 수도 있다.

즉, 도 9에 도시된 바와 같이, "출입(Z죽전)"의 매장에서 제1 단말기가 작동되는 경우, 네트워크와 IP PBX(800)를 통해 전송된 제1 단말기로부터의 화상 정보에 대해 표시 관리 모듈(560)에 의해 음소거 버튼, 캡처 버튼, 문 열림 신호의 표시 부분에서 테두리 색상 변경으로 관리자가 용이하게 인식하게 할 수 있다. 도 9는 도 8에 도시된 제1 단말기에 관한 매장 정보의 표시 변경의 일 예를 나타내는 도면 이다.

또, 도 10에 도시된 바와 같이, "출입(Z죽전)"의 매장에서 제2 단말기 및 제3 단말기가 작동되는 경우, 네트워크와 IP PBX(800)를 통해 전송된 제2 단말기 및 제3 단말기로부터의 화상 정보에 대해 표시 관리 모듈(560)에 의해 각각 방송, 통화의 표시 부분에서 테두리 색상 변경으로 관리자가 용이하게 인식하게 할 수 있다. 도 10은 도 8에 도시된 제2 단말기 및 제3 단말기에 관한 매장 정보의 표시 변경의 일 예를 나타내는 도면 이다.

도 10에서는 제2 단말기 및 제3 단말기의 화상 표시 상태에서 통화 종료 클릭 시 해당 매장의 화면을 닫힘 상태로 유지할 수 있고, 제2 단말기의 화상 표시 상태(중앙)에서는 딜레이 타임 설정 기능, 예를 들어 10초 설정시 자동화면 닫힘으로 설정할 수 있으며, 제3 단말기의 화상 표시 상태(헬프)에서도 딜레이 타임 설정 기능, 예를 들어 300초 설정시 자동 화면 닫힘으로 설정할 수 있다.

또한, 도 8에서 이벤트 목록은 각각의 매장에서 발생한 이벤트의 내용으로서 출입, 매장, 헬프의 내용 및 시간을 나타내고, 각각의 매장에 대한 정보를 검색할 수 있는 검색 탭이 마련되며, 매장 현황에서는 제1 단말기 내지 제3 단말기의 인터컴 상태가 표시된다. 즉, 이벤트 목록 부분에서는 리스트 목록에 매장명, 몇 시, 몇 분 표기가 실행되고, 현재까지 통화기록 리스트를 확인할 수 있으며, 프로그램이 종료되어도 리스트는 삭제되지 않게 유지된다. 또, 이와 같은 리스트는 스크롤바로 사용 가능하고, 최근의 이벤트 목록이 최상단에 표기되며, 제2 단말기에 의한 화상 상태(중앙 콜 화면) 정보는 기록되지 않게 유지된다. 또한, 이벤트 목록 리스트의 해당 매장 더블 클릭 시, 콜 화면으로 전환, 예를 들어 출입은 출입 화면 창으로 전환, 헬프는 헬프 화면창으로 전환될 수 있게 마련된다.

한편, 도 8에 도시된 매장 현황 및 제1 단말기 내지 제3 단말기의 연결 상태(인터컴 상태)의 표시는 도 11에 도시된 바와 같이, 제1 단말기 내지 제3 단말기에 대응하여 통화상태 표시 램프인 3개의 BLF(Busy Lamp Field) 램프가 마련되며, 녹색은 제1 단말기의 출입 상태 표시, 제2 단말기의 매장 상태 표시, 제3 단말기의 헬프 요청의 연결 상태를 나타내고, 적색은 연결의 끊김 상태를 나타낸다. 이와 같은 제1 단말기 내지 제3 단말기의 표시 상태를 표시 모듈(700)에 나타내는 것에 의해 관리자는 각각의 매장에서의 연결 상태를 용이하게 인식할 수 있다. 또 관리자가 관리자 단말기를 통해 매장 현황 메뉴를 더블 클릭시 제1 내지 제3 단말기에 의한 출입, 매장 내부, 헬프의 요구에 의한 매장 화면 전환을 실행할 수 있다. 도 11은 도 8에 도시된 매장 현황 및 제1 단말기 내지 제3 단말기의 상태 표시를 설명하기 위한 도면 이다.

또한, 도 8의 우측 하부에 마련된 설정 버튼은 관리 서버(500)에서 제1 단말기 내지 제3 단말기에서의 동작 상태를 관리하기 위한 조건을 설정하기 위해 마련되며, 예를 들어 매장 등록 설정으로서 IP PBX(800)를 설정할 수 있다. 즉, 본 발명에 따른 무인 매장 운영 시스템이 적용되는 매장에 대한 출입, 중앙, 헬프의 SIP Phone number를 위해 매장에 설치된 제1 단말기, 제2 단말기, 제3 단말기와 연동되는 IP PBX(800)를 설정하고, 이 제1 단말기, 제2 단말기, 제3 단말기에서의 자동 끊기 시간 설정, 돌려주기 기능 등을 설정할 수 있다. 또 자동 전화 받기(연결), 끊기 시간 설정(타이머 3초~30초)을 IP PBX(800)에 설정할 수 있으며, 전화 왔을 때 사운드 효과 및 설정, 원하는 사운드 파일에 대한 벨 소리의 설정을 IP PBX(800)에 설정할 수 있다. 또한, 중앙 방송의 자동 음성 재생을 위한 파일 설정에 대해서도 IP PBX(800)에 설정할 수 있다.

상기 IP PBX(800)는 각각의 매장에 설치된 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300)에 각각 연동되어 작동할 수 있으며, 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300) 중의 어느 하나의 작동에 따라 상기 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300)에서의 음성 정보 및 화상 정보를 실시간으로 네트워크를 통해 관리 서버(500)로 전송할 수 있다. 즉, IP PBX(800)는 관리 서버(500)에 긴급 호출을 전송하기 위해 마련될 수 있다. 이와 같은 IP PBX(800)의 호출은 도 2에 도시된 바와 같은 관리자 PC를 통해 관리자에게 알람 등을 통해 통지할 수 있다.

다음에 상술한 바와 같은 무인 매장 운영 시스템이 적용되는 매장에 입장하는 고객을 관리하는 방법의 일 예에 대해 도 12를 참조하여 설명한다.

도 12는 본 발명에 따른 무인 매장 운영 시스템이 적용된 매장에 입장하는 고객을 관리하는 과정을 설명하기 위한 흐름도 이다.

먼저, 본 발명에 따른 무인 매장 운영에 관한 시스템의 설치에 대해 설명한다.

본 발명에 따른 무인 매장 운영 시스템이 운영되는 매장, 예를 들어 PC 방, 노래방, 실내 골프 연습장 또는 무인 판매점과 같은 매장에 대하여 매장의 각각의 출입문 입구 부분에 마련되는 제1 단말기(100), 매장의 내부를 관리하기 위해 마련된 제2 단말기(200), 매장 내에서의 불편 사항 및 문의 사항을 지원하는 제3 단말기(300)를 설치하고, 상기 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300)에서의 음성 정보 및 화상 정보를 실시간으로 관리 서버(500)로 전송하기 위한 IP-PBX(800)를 설치한다.

한편, 도 2에 도시된 관리자 PC를 통해 관리 서버(500)에서 각각의 매장을 관리하기 위한 관리자를 설정 등록한다. 이와 같은 설정시 각각의 매장을 통한 음성 정보에 대해 통화 자동받기, 자동 종료 등의 시간 설정을 실행할 수 있고, 매장 고유 번호, 매장 내의 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300)의 등록 설정도 실행된다. 또, 각각의 매장에 대응하여 마련된 IP-PBX(800)와 관리 서버(500)와의 음성 정보 및 화상 정보의 전송 상태도 설정된다.

또한, 관리자는 관리자 PC를 통해 도 8에 도시된 바와 같이, 표시 모듈(700)에 표시될 매장의 개수, 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300)의 표시 설정 조건, 각각의 매장에서의 이벤트 목록, 매장 현황 및 제1 내지 제3 단말기의 상태, 음소거, 화면 캡처, 문 열림 버튼의 클릭 후 딜레이 타임설정 조건의 표시 상태를 설정할 수 있다.

상술한 바와 같이, 매장에 설치된 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300)와 관리 서버(500)와의 설정이 완료되면, 도 8에 도시된 바와 같이, 표시 모듈(700)에는 제1 단말기(100), 제2 단말기(200) 및 제3 단말기(300)에 의한 화상 정보가 표시된다. 본 발명에 따른 무인 매장 운영 시스템이 운영되는 매장, 예를 들어 PC 방, 노래방, 실내 골프 연습장 또는 무인 판매점과 같은 매장을 고객이 출입하는 경우, 고객이 매장의 출입문 입구 부분에 장착된 제1 단말기(100)에 마련된 호출부(130)를 누르면(S10), 매장의 출입문은 닫혀있는 상태로 유지되므로, 호출 신호는 송수신부(110), 네트워크와 IP PBX(800)를 통해 실시간으로 관리 서버(500)에 전송되고, 도 9에 도시된 바와 같이, 표시 수단(700)에서 대응하는 매장에 관한 화상의 표시 부분에 테두리 색상 변경으로 실행된다.

즉, 관리 서버(500)의 송수신 모듈(510)을 통해 수신된 호출부(130)의 호출 신호에 따라 고객 관리 모듈(520)에 의해 표시 수단(700)에 표시되고, 제1 단말기(100)의 스피커(140)를 통해 고객의 신분증 및/또는 얼굴 인식을 위한 촬영 안내를 실행한다(S20).

상기 단계 S20에서의 안내에 따라 대응하는 고객에 대해 상기 제1 단말기(100)의 카메라(120)에서 고객의 신분증 및/또는 얼굴을 촬영하고(S30), 촬영된 화상 정보에 따라 관리 서버(500)의 고객 관리 모듈(520)에서 정상적인 고객인가 판단한다(S40). 즉, 상기 고객 관리 모듈(520)에서는 고객이 출입하려는 매장이 성인 전용 매장인 경우, 제1 단말기(100)에서 촬영된 고객의 신분증 또는 화상 정보를 기준으로 하여 입장이 가능한 정상적인 고객인가를 판단한다.

상기 단계 S40에서 정상 고객으로 판정되면 매장의 출입문을 개방하고(S50), 고객 정보를 등록한다(S60). 즉, 고객 관리 모듈(520)은 제1 단말기(100)에 의해 촬영된 매장(제1 매장)에 최초로 입장하는 고객의 화상 정보를 관리하고 데이터베이스(600)의 고객 정보 DB(640)에 저장하며, 다른 매장(제2 매장)에서 입장하는 고객이 상기 데이터베이스(600)의 고객 정보 DB(640)에 저장된 경우, 제1 단말기(100)에서의 화상 정보와 데이터베이스(600)의 고객 정보 DB(640)에 저장된 고객 정보의 확인으로만 입장할 수 있도록 관리한다. 이와 같은 고객 정보의 등록은 학습 모듈(570)에서 화상 정보에 대해 딥러닝 모듈을 적용하여 얼굴 인식 모델을 적용하여 얼굴 이미지를 추출하고, 추출된 얼굴 이미지로부터 복수개의 특징 벡터를 생성하고, 각 고객별로 복수개의 특징 벡터, 고객의 식별정보 및 고객이 출입할 수 있는 매장에 대한 정보를 포함하는 고객의 출입권한정보로 구성된 어레이를 생성하고, 생성된 어레이들을 머지하여 어레이 파일을 생성하여 고객의 화상 정보를 학습하고 데이터베이스(600)의 고객 정보 DB(640)에 저장한다.

한편, 상기 단계 S40에서 정상적인 고객이 아닌 경우, 제1 단말기(120)의 스피커(140)를 통해 출입 금지를 안내하고, 종료한다(S140). 그러나 출입하려는 고객이 정상인데도 불구하고, 고객의 신분증 및/또는 화상 정보의 오류라고 주장하는 경우, 고객이 마이크(150)를 통한 통화 신청에 의해 관리 서버(500)의 관제 담당자와 통화하여 출입문을 개방할 수도 있다.

또한, 상기 단계 S50에서의 출입문 개방 후, 입장 고객이 매장 내에서 임의로 출입문을 열어 준다든지 바깥에서 한 명을 봤는데 숨어 있다가 몰래 들어올 경우, 도 10에 도시된 바와 같이, 제2 단말기(200)의 감지부(160)에서는 출입한 고객 이외의 다른 고객의 출입, 즉 정상 상태의 출입자가 있는지 감지하고(S70), 관리 서버(500)의 고객 관리 모듈(520)에서 등록 절차를 경유하지 않은 고객인지 판단한다(S80).

상기 단계 S80에서 정상 상태가 아닌 다른 고객의 출입으로 판단되면, 관리 서버(500)의 고객 관리 모듈(520)에 의해 표시 수단(700)에 표시되고, 상기 제2 단말기(200)의 스피커(140)를 통해 매장 내에서 비정상으로 출입한 고객에 대해 이상 상태를 안내한다(S90). 이후, 제2 단말기(200)의 카메라(120) 및 감지부(160)는 도 10에 도시된 바와 같이, 비정상의 출입자에 대해 감지를 계속 실행하고, 고객 관리 모듈(520)은 비정상의 출입자가 퇴장하였는지 판단한다(S100).

상기 단계 S100에서의 이상 상태는 운영자 관리 모듈(550)에 의해 운영자 단말기(400)로 통지된다(S110). 한편, 상기 단계 S100에서 비정상의 출입자가 스스로 퇴장하는 경우, 상기 단계 S80으로 진행하여 상술한 과정을 반복한다. 또, 퇴장한 비정상 출입자가 매장의 입장을 실행하는 경우 상기 단계 S10으로 진행하여 상술한 과정을 실행할 수도 있다.

또한, 상기 단계 S80에서 정상적으로 입장한 고객이 매장에 익숙하지 않은 고객으로서, 나이가 많으신 고객 등의 여러 가지 불편 상황이 발생할 경우, 도 10에 도시된 바와 같이, 매장의 내부에 마련된 POS(Point Of Sales) 단말기 또는 키오스크에 설치된 제3 단말기(300)의 호출부를 작동하는 경우(S120), 매장 관리 모듈(520)에서 제3 단말기(300)의 스피커를 통해 매장 안내를 실행(S130)할 수도 있다.

한편, 상술한 각각의 단계는 표시 모듈(700)에 의해 도 8에 도시된 바와 같이, 예를 들어, 10개의 매장에서 전송된 제1 단말기(100)의 화상 정보, 5개의 매장에서 전송된 제2 단말기(200)의 화상 정보, 5개의 매장에서 전송된 제3 단말기(300)의 화상 정보로 표시될 수 있다. 이와 같은 표시 모듈(700)을 적용하는 경우, 원격지에서 도 2에 도시된 바와 같은 관리자 PC를 통해 관제 담당자가 적극적으로 무인 매장을 관리할 수도 있다.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

본 발명에 따른 무인 매장 운영 시스템 및 무인 매장 관리 방법을 사용하는 것에 의해 무인 매장의 관리를 효율적으로 실행할 수 있다.

100 : 제1 단말기
200 : 제2 단말기
300 : 제3 단말기
500 : 관리 서버
700 : 표시 모듈
800 : IP PBX

Claims

다수의 매장의 각각의 출입문 입구 부분에 장착되어 출입문의 제어를 지원하기 위해 마련된 제1 단말기,
다수의 매장의 각각의 출입문을 인식할 수 있고, 매장의 내부를 관리하기 위해 마련된 제2 단말기,
다수의 매장의 각각의 내부에 마련되어 매장 내에서의 불편 사항 및 문의 사항을 지원하는 제3 단말기,
상기 매장을 운영하는 운용자용의 운영자 단말기,
네트워크를 통해 다수의 매장에 각각 마련된 상기 제1 단말기, 제2 단말기, 제3 단말기와 각각 접속되고, 상기 제1 단말기, 제2 단말기, 제3 단말기를 통해 전송된 화상 정보에 대응하여 실시간으로 입장 고객 관리를 안내하는 관리 서버,
상기 관리 서버를 통해 상기 제1 단말기, 제2 단말기 및 제3 단말기로부터의 화상 정보를 각각 표시하는 표시 모듈,
상기 제1 단말기, 제2 단말기 및 제3 단말기 중의 어느 하나의 작동에 따라 상기 제1 단말기, 제2 단말기 및 제3 단말기에서의 음성 정보 및 화상 정보를 실시간으로 상기 관리 서버로 전송하는 IP-PBX(Internet Protocol Private Branch Exchange)를 포함하고,
상기 표시 모듈에는 상기 IP-PBX를 통해 전송된 상기 제1 단말기, 제2 단말기 및 제3 단말기로부터의 화상 정보가 실시간으로 동시에 표시되고,
상기 제2 단말기는 상기 매장 내에 마련된 CCTV, 냉난방기, 방송 장비 및 물품 보관함과 연동하여 상기 관리 서버에 의해 제어되고,
상기 관리 서버는 상기 제1 단말기 또는 제2 단말기로부터 전송된 고객의 화상 정보에 대해 딥러닝 모듈을 적용하여 학습하고 데이터베이스에 저장하는 학습 모듈, 상기 매장에 설치된 CCTV, 냉난방기, 방송 장비 및 물품 보관함에 대한 정보를 관리하는 IoT 관리 모듈을 포함하는 것을 특징으로 하는 무인 매장 운영 시스템.
제1항에서,
상기 매장에 대한 정보 및 입장 고객에 대한 정보를 저장하는 데이터베이스를 더 포함하는 것을 특징으로 하는 무인 매장 운영 시스템.
제2항에서,
상기 제1 단말기, 제2 단말기, 제3 단말기는 각각 SIP(Session Initiation Protocol) 인터컴을 포함하고,
상기 제2 단말기는 인체를 감지하는 감지 센서를 포함하고, 매장 내에 설치된 CCTV와 연동되며,
상기 제3 단말기는 매장의 내부에 마련된 POS(Point Of Sales) 단말기 또는 키오스크에 설치되는 것을 특징으로 하는 무인 매장 운영 시스템.
제3항에서,
상기 관리 서버는
상기 제1 단말기의 카메라에 의해 촬영된 고객의 신분증 및 얼굴 부분의 화상 정보를 관리하는 고객 관리 모듈,
상기 제1 단말기, 제2 단말기, 제3 단말기가 장착된 매장에 대한 정보를 관리하는 매장 관리 모듈,
상기 제1 단말기, 제2 단말기, 제3 단말기로부터의 송수신 정보에 따라 실시간으로 입장 고객 관리를 안내하는 단말기 관리 모듈,
상기 IP-PBX를 통해 전송된 상기 제1 단말기, 제2 단말기 및 제3 단말기로부터의 화상 정보를 실시간으로 동시에 상기 표시 모듈에 표시하도록 관리하는 표시 관리 모듈을 포함하는 것을 특징으로 하는 무인 매장 운영 시스템.
제1항에서,
상기 매장은 PC 방, 노래방, 실내 골프 연습장, 무인 판매점 중의 어느 하나인 것을 특징으로 하는 무인 매장 운영 시스템.
제3항에서.
상기 표시 모듈에는 10개의 매장에서 전송된 제1 단말기의 화상 정보, 5개의 매장에서 전송된 제2 단말기의 화상 정보, 5개의 매장에서 전송된 제3 단말기의 화상 정보가 표시되는 것을 특징으로 하는 무인 매장 운영 시스템.
(a) 매장의 각각의 출입문 입구 부분에 마련되는 제1 단말기, 매장의 내부를 관리하기 위해 마련된 제2 단말기, 매장 내에서의 불편 사항 및 문의 사항을 지원하는 제3 단말기를 설치하고, 음성 정보 및 화상 정보를 실시간으로 관리 서버로 전송하기 위한 IP-PBX를 마련하는 단계,
(b) 표시 모듈에 상기 제1 단말기, 제2 단말기 및 제3 단말기로부터의 화상 정보를 표시하는 단계,
(c) 상기 제1 단말기에서 고객의 호출 신호에 따라 상기 표시 모듈에 표시된 상기 제1 단말기의 화상의 표시 부분에 테두리 색상 변경하고, 고객의 신분증 또는 얼굴 인식을 위한 촬영을 안내하는 안내 단계,
(d) 상기 단계 (c)에서의 안내에 따라 상기 제1 단말기에서 고객의 신분증 또는 얼굴을 촬영하고, 촬영된 화상 정보에 따라 상기 관리 서버에서 정상적인 고객인가 판단하는 단계,
(e) 상기 단계 (d)에서 정상 고객으로 판정되면 매장의 출입문을 개방하고, 데이터베이스에 고객 정보를 등록하는 단계를 포함하고,
상기 표시 모듈에는 10개의 매장에서 전송된 제1 단말기의 화상 정보, 5개의 매장에서 전송된 제2 단말기의 화상 정보, 5개의 매장에서 전송된 제3 단말기의 화상 정보가 표시되고,
상기 제2 단말기는 상기 매장 내에 마련된 CCTV, 냉난방기, 방송 장비 및 물품 보관함과 연동하여 상기 관리 서버에 의해 제어되고,
상기 관리 서버의 학습 모듈은 상기 제1 단말기 또는 제2 단말기로부터 전송된 고객의 화상 정보에 대해 딥러닝 모듈을 적용하여 학습하고 데이터베이스에 저장하며, 상기 매장에 설치된 CCTV, 냉난방기, 방송 장비 및 물품 보관함에 대한 정보는 IoT 관리 모듈에 의해 관리되는 것을 특징으로 하는 무인 매장 관리 방법.
제7항에서,
(f) 제2 단말기에서 상기 단계 (e)에 의해 출입한 고객 이외의 다른 고객의 출입이 있는지 감지하는 단계,
(g) 상기 단계 (f)에서 다른 고객의 출입으로 판단되면, 상기 표시 모듈에 표시된 상기 제2 단말기의 화상의 표시 부분에 테두리 색상 변경하고, 상기 제2 단말기를 통해 이상 상태를 안내하는 단계,
(h) 상기 단계 (g)에서의 이상 상태를 운영자 단말기에 통지하는 단계를 더 포함하는 것을 특징으로 하는 무인 매장 관리 방법.
제8항에서,
상기 관리 서버에서는 상기 단계 (c)에서의 고객 정보로서 촬영된 화상 정보의 얼굴 이미지로부터 특징 벡터를 추출하여 데이터베이스에 저장하는 것을 특징으로 하는 무인 매장 관리 방법.