KR102237086B1 - 안면인식 기능에 기초하여 5g 이동통신망의 이용이 가능한 통신 단말기를 통해 영상감시가 가능한 로비폰 제어 장치 및 방법 - Google Patents

Abstract

본 발명은 로비폰의 전면부에서 촬영되는 영상을 수집하고 이상행동패턴이 감지되거나, 사전에 등록된 사용자가 인식되는 경우 3G뿐만 아니라 LTE나 5G 기반의 통신 단말기를 통해 로비폰의 주변을 감시하도록 하는 기술에 관한 것으로서, 일실시예에 따른 로비폰 제어 장치는 로비폰과 연동하는 적어도 하나 이상의 카메라를 포함하는 영상 촬영부, 상기 적어도 하나 이상의 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성하는 안면 영상 데이터 생성부, 상기 생성된 안면 영상 데이터로부터 특징 정보를 추출하는 특징 정보 추출부, 상기 추출된 특징 정보를 서비스 서버로 전송하고, 사전에 등록된 사용자에 해당하는지를 쿼리하며, 상기 쿼리결과를 회신하는 쿼리 처리부, 및 상기 수신된 쿼리결과를 참고하여 출입문의 개폐를 제어하는 출입 제어부를 포함하고, 상기 서비스 서버는, 각 특징 정보와 등급을 연관지어 데이터베이스에 기록하고, 쿼리로 특징 정보가 수신되면 해당 특징 정보에 매칭되는 등급을 상기 쿼리결과에 포함시켜 회신하고, 상기 출입 제어부는, 상기 등급에 기초하여 상기 개폐를 제어할 수 있다.

Description

안면인식 기능에 기초하여 5G 이동통신망의 이용이 가능한 통신 단말기를 통해 영상감시가 가능한 로비폰 제어 장치 및 방법{Apparatus and method for controlling a lobby phone that enables video surveillance through a communication terminal that can use a 5G mobile communication network based on facial recognition technology}

본 발명은 영상감시와 안면인식 기능이 융합된 통화 출입용 로비폰의 제어 기술에 관한 것으로서, 로비폰의 전면부에서 촬영되는 영상을 수집하고 이상행동패턴이 감지되거나, 사전에 등록된 사용자가 인식되는 경우 3G뿐만 아니라 LTE나 5G 기반의 통신 단말기를 통해 로비폰의 주변을 감시하도록 하는 기술에 관한 것이다.

로비폰이란 현관문이나 로비 등에 설치되어 주변의 영상이나 음성을 댁내에 위치한 사용자에게 제공해 주기 위한 장비로서, 카메라와 마이크를 포함한다.

기존 통화 출입용 로비폰은 세대 또는 전화기와 통화를 하여 로비문을 열거나, RF-CARD 또는 비밀번호를 통하여 로비문을 열어 출입하는 단순기능을 가지고 있다.

기존 아파트는 통화 후 출입장치의 역할로서 로비폰이 이용된다.

방문자는 로비폰의 번호키에서 해당 세대 번호를 눌러 호출 통화 후 문을 열어 출입하거나 거주자는 자신의 비밀번호를 눌러 출입을 하거나 RFID카드를 태그하는 형식으로 출입을 하고 있다.

이 경우 물건을 들고 출입을 하거나 늘 상 들어가는 본인의 집 인데도 비밀번호를 누르거나 카드를 대야 하는 등의 각종 입력을 해야 하는 불편함이 있다.

최근에는 4차산업혁명의 일환으로 사물인터넷 기기들이나 5G 등의 이동통신망이 획기적으로 발전함에 따라, 로비폰을 출입용으로만 이용하지 않고, 부가 기능들을 추가하여 여러 가지 용도로 다양하게 활용하고 있다.

한국등록특허 제10-1254966호 "로비폰 장치 및 로비폰 장치에서의 자동문 원격 제어 방법" 한국공개특허 제10-2019-0016398호 "로비폰과 PC를 사용한 경비실 인터폰 착신 지정이 가능한 인터폰 서비스 시스템 및 방법"

본 발명은 하나의 로비폰으로 안면인식, 통화, 출입관리와 CCTV 상시 영상 감시를 동시에 할 수 있어 다양한 환경에 적용 및 개별 장비(안면인식기, CCTV)등 설치를 하지 않아 비용을 절감하는 것을 목적으로 한다.

본 발명은 사용자의 편리함을 강조하고자 안면인식 솔루션을 아파트 공동 현관문에 장착을 하여 보다 편리한 사용 환경을 주고자 하는 것을 목적으로 한다.

본 발명은 주변의 성범죄자나 공유된 범죄인의 영상정보를 사전에 입력하여 출입을 못하게 하는 등의 사용자 거주환경에 보다 안전환 환경을 주고자 하며 내가 거부하고 싶은 사람의 영상 데이터를 사전 입력하여 출입을 사전에 못하게 하는 것을 목적으로 한다.

본 발명은 로비폰과 Cloud, VMS와의 연동으로 보안 및 사용성의 편리성을 보장해주는 것을 목적으로 한다.

본 발명은 별도의 세대기가 없어도 모바일, 경비실기 등으로 로비 앞의 상황을 감시할 수 있고 사용자의 이상 상황을 즉시 관계자에 통보하여 영상통화를 직접 연결하므로 보안성을 높이는 것을 목적으로 한다.

본 발명은 모바일, PC, 로비폰 등 다양한 디바이스에서 안면 정보 및 출입기간 및 유형을 설정 할 수 있어 출입자의 출입 통제에 편리성을 제공하는 것을 목적으로 한다.

본 발명은 Cloud를 활용한 딥러닝 안면인식을 사용하여 학습된 데이터를 로비폰간 공유가 가능하여 새로운 로비폰에 바로 학습된 안면인식 기능을 적용하는 것을 목적으로 한다.

본 발명은 안면의 등급에 따라 모바일, PC에서 즉시 출입자를 통제하는 것을 목적으로 한다.

일실시예에 따른 로비폰 제어 장치는 로비폰과 연동하는 적어도 하나 이상의 카메라를 포함하는 영상 촬영부, 상기 적어도 하나 이상의 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성하는 안면 영상 데이터 생성부, 상기 생성된 안면 영상 데이터로부터 특징 정보를 추출하는 특징 정보 추출부, 상기 추출된 특징 정보를 서비스 서버로 전송하고, 사전에 등록된 사용자에 해당하는지를 쿼리하며, 상기 쿼리결과를 회신하는 쿼리 처리부, 및 상기 수신된 쿼리결과를 참고하여 출입문의 개폐를 제어하는 출입 제어부를 포함하고, 상기 서비스 서버는, 각 특징 정보와 등급을 연관지어 데이터베이스에 기록하고, 쿼리로 특징 정보가 수신되면 해당 특징 정보에 매칭되는 등급을 상기 쿼리결과에 포함시켜 회신하고, 상기 출입 제어부는, 상기 등급에 기초하여 상기 개폐를 제어할 수 있다.

일실시예에 따른 상기 서비스 서버는 상기 등급을 블랙리스트 등급, 사용자 등급, 손님 등급, 관리자 등급으로 구분하고, 상기 출입 제어부는, 상기 등급에 상응하는 출입가능 시간 또는 기간에 기초하여 상기 출입문의 개폐를 제어할 수 있다.

일실시예에 따른 로비폰 제어 장치는 로비폰의 카메라를 이용해서 상기 사용자의 동작을 촬영하여 동작 데이터를 생성하여 상기 서비스 서버로 전송하여 행동패턴분석을 수행하도록 요청하는 행동패턴분석 요청부를 더 포함하고, 상기 서비스 서버는 상기 수신된 행동패턴분석의 요청에 따라, 상기 전송된 동작 데이터에 대해 행동패턴분석을 처리하고, 사전에 정의된 이상행동이 감지되는 경우, 상기 로비폰으로 상기 안면 영상 데이터를 요청하여 수집하고, 상기 수집된 안면 영상 데이터와 함께 상기 이상행동 여부를 미리 등록된 통신 단말기로 통보하도록 동작할 수 있다.

일실시예에 따른 상기 영상 촬영부는, 상기 로비폰에 출입을 요청하는 입력이 발생하는 경우 전면의 사용자를 촬영하는 제1 카메라와, 전면을 상시 촬영하는 제2 카메라를 포함하고, 상기 안면 영상 데이터 생성부는, 상기 제2 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성할 수 있다.

일실시예에 따른 서비스 서버는 사용자 및 상기 사용자에 대한 등급을 기록하는 데이터베이스, 안면인식 솔루션이 설치된 로비폰으로부터 로비폰 앞에서 출입문에 대한 개폐를 요청하는 사용자의 안면을 촬영하여 생성된 안면 영상 데이터로부터 추출된 특징 정보를 수집하는 특징 정보 수집부, 상기 데이터베이스를 참고하여, 상기 특징 정보에 해당하는 등급을 독출하여 식별하는 등급 식별부, 상기 식별되는 등급에 따라서, 상기 출입문의 개폐에 대한 허여 여부를 판단하는 개폐 판단부, 및 상기 판단된 결과를 상기 로비폰으로 회신하는 회신 처리부를 포함하고, 상기 로비폰은 적어도 하나 이상의 카메라를 포함하고, 상기 적어도 하나 이상의 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성하며, 상기 생성된 안면 영상 데이터로부터 특징 정보를 추출하고, 상기 추출된 특징 정보를 전송하여 사전에 등록된 사용자에 해당하는지를 쿼리하며, 상기 쿼리결과를 회신하고, 상기 수신된 쿼리결과를 참고하여 출입문의 개폐를 제어할 수 있다.

일실시예에 따른 상기 등급 식별부가 식별한 등급이 블랙리스트 등급에 해당하는 경우, 상기 블랙리스트 등급의 사용자가 현재 로비폰 앞에 위치하였음을 미리 등록된 통신 단말기로 통보하도록 동작하는 알림 처리부를 더 포함할 수 있다.

일실시예에 따른 로비폰 제어 방법은 로비폰에서, 상기 로비폰과 연동하는 적어도 하나 이상의 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성하는 단계, 상기 로비폰에서, 상기 생성된 안면 영상 데이터로부터 특징 정보를 추출하는 단계, 상기 로비폰에서, 상기 추출된 특징 정보를 서비스 서버로 전송하여, 사전에 등록된 사용자에 해당하는지를 쿼리하고, 상기 쿼리결과를 회신하는 단계, 상기 서비스 서버에서, 각 특징 정보와 등급을 연관지어 데이터베이스에 기록하는 단계, 상기 서비스 서버에서, 상기 로비폰으로부터 쿼리로써 특징 정보가 수신되면 해당 특징 정보에 매칭되는 등급을 상기 쿼리결과에 포함시켜 회신하는 단계, 및 상기 수신된 쿼리결과를 참고하여 출입문의 개폐를 제어하는 단계를 포함할 수 있다.

일실시예에 따른 로비폰 제어 방법은 상기 서비스 서버에서, 상기 등급을 블랙리스트 등급, 사용자 등급, 손님 등급, 관리자 등급으로 구분하는 단계, 및 상기 로비폰에서, 상기 등급에 상응하는 출입가능 시간 또는 기간에 기초하여 상기 출입문의 개폐를 제어하는 단계를 포함할 수 있다.

일실시예에 따른 로비폰 제어 방법은 상기 로비폰에서, 상기 적어도 하나 이상의 카메라를 이용해서 상기 사용자의 동작을 촬영하여 동작 데이터를 생성하는 단계, 상기 로비폰에서, 상기 생성된 동작 데이터를 상기 서비스 서버로 전송하여 행동패턴분석을 수행하도록 요청하는 단계, 상기 서비스 서버에서, 상기 수신된 행동패턴분석의 요청에 따라, 상기 전송된 동작 데이터에 대해 행동패턴분석을 처리하는 단계, 상기 행동패턴분석의 처리 결과, 사전에 정의된 이상행동이 감지되는 경우, 상기 로비폰으로 상기 안면 영상 데이터를 요청하여 수집하는 단계, 및 상기 수집된 안면 영상 데이터와 함께 상기 이상행동 여부를 미리 등록된 통신 단말기로 통보하도록 동작하는 단계를 포함할 수 있다.

일실시예에 따른 상기 로비폰은 상기 로비폰에 출입을 요청하는 입력이 발생하는 경우 전면의 사용자를 촬영하는 제1 카메라와, 전면을 상시 촬영하는 제2 카메라를 포함하고, 상기 안면 영상 데이터를 생성하는 단계는, 상기 제2 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성하는 단계를 포함할 수 있다.

일실시예에 따르면, 하나의 로비폰으로 안면인식, 통화, 출입관리와 CCTV 상시 영상 감시를 동시에 할 수 있어 다양한 환경에 적용 및 개별 장비(안면인식기, CCTV)등 설치를 하지 않아 비용을 절감할 수 있다.

일실시예에 따르면, 사용자의 편리함을 강조하고자 안면인식 솔루션을 아파트 공동 현관문에 장착을 하여 보다 편리한 사용 환경을 줄 수 있다.

일실시예에 따르면, 주변의 성범죄자나 공유된 범죄인의 영상정보를 사전에 입력하여 출입을 못하게 하는 등의 사용자 거주환경에 보다 안전환 환경을 주고자 하며 내가 거부하고 싶은 사람의 영상 데이터를 사전 입력하여 출입을 사전에 못하게 할 수 있다.

일실시예에 따르면, 로비폰과 Cloud, VMS와의 연동으로 보안 및 사용성의 편리성을 보장해줄 수 있다.

일실시예에 따르면, 별도의 세대기가 없어도 모바일, 경비실기 등으로 로비 앞의 상황을 감시할 수 있고 사용자의 이상 상황을 즉시 관계자에 통보하여 영상통화를 직접 연결하므로 보안성을 높일 수 있다.

일실시예에 따르면, 모바일, PC, 로비폰 등 다양한 디바이스에서 안면 정보 및 출입기간 및 유형을 설정 할 수 있어 출입자의 출입 통제가 편리하다.

일실시예에 따르면, Cloud를 활용한 딥러닝 안면인식을 사용하여 학습된 데이터를 로비폰간 공유가 가능하여 새로운 로비폰에 바로 학습된 안면인식 기능을 적용할 수 있다.

일실시예에 따르면, 안면의 등급에 따라 모바일, PC에서 즉시 출입자 통제가 가능하다.

도 1은 일실시예에 따른 로비폰 제어 장치가 적용된 전체 시스템을 설명하는 도면이다.
도 2는 일실시예에 따른 로비폰 제어 장치를 설명하는 도면이다.
도 3은 일실시예에 따른 서비스 서버를 설명하는 도면이다.
도 4a 내지 4c는 사전에 등록된 통신 단말기가 수신하는 로비폰의 주변 상황에 대한 알림 메시지를 설명하는 도면이다.
도 5는 일실시예에 따른 서비스 서버의 데이터베이스의 구조를 설명하는 도면이다.
도 6은 일실시예에 따른 로비폰 제어 방법을 설명하는 도면이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일실시예에 따른 로비폰 제어 장치가 적용된 전체 시스템(100)을 설명하는 도면이다.

일실시예에 따른 로비폰 제어 장치는 로비폰과 별도의 모듈 형태로 구현될 수 있을 뿐만 아니라, 로비폰 내부의 구성요소로 구현될 수도 있다.

본 명세서에서는 로비폰 제어 장치가 로비폰 내부에 실장된 실시예를 통해 발명을 설명한다. 따라서, 로비폰 또는 로비폰 제어 장치는 같은 의미로 해석될 수 있다.

로비폰 제어 장치가 적용된 전체 시스템(100)을 이용하면, 하나의 로비폰으로 안면인식, 통화, 출입관리와 CCTV 상시 영상 감시를 동시에 할 수 있어 다양한 환경에 적용 및 개별 장비(안면인식기, CCTV)등 설치를 하지 않아 비용을 절감할 수 있다.

또한, 로비폰 제어 장치가 적용된 전체 시스템(100)을 이용하면, 로비폰과 Cloud, VMS와의 연동으로 보안 및 사용성의 편리성을 보장해줄 수 있다.

이를 위해, 로비폰 제어 장치가 적용된 전체 시스템(100)은 로비폰 제어 장치가 내장된 로비폰(110), 서비스 서버(120), 출입문(130), 사용자 단말기(140), 통신 단말기(150), VMS 서버(160)를 포함할 수 있다.

출입용 로비폰(110)의 경우 24시간 전원이 인가되고 있고 출입자의 통제 가능한 위치에 설치 되므로 Cloud의 서비스 서버(120)를 통해 출입자의 안면정보와 연동하고, 상시 켜져 있는 로비폰(110)의 카메라를 VMS 서버(160)와 연동하여 별도의 CCTV 카메라가 없어도 영상감시까지 가능하다. 즉, 로비폰(110)을 출입통제장치로 사용할 수도 있다.

출입자의 안면 정보는 로비폰 자체 촬영 또는 모바일과 월패드를 통하여 직접 촬영된 사용자의 안면을 Cloud에 저장하여 사용할 수 있다. 로비의 카메라를 VMS에 연동하면 VMS의 자체 기능인 VA(행동패턴분석)와 결합할 수 있어 이상 행동(폭행, 납치 등) 발생시 발생자의 기 취득된 안면정보를 활용하여 로비폰의 고유의 기능(통화, 알림)을 통해 관계자(세대원, 관리자 등)에게 자동 통보하여 안전을 더욱 더 보장할 수 있다.

로비폰(110)에 영상을 감시하는 카메라를 내장할 수 있다. 특히, 로비폰(110)은 1대의 카메라만을 내장할 수도 있고, 복수의 카메라를 내장할 수도 있다.

만약, 2개의 카메라가 로비폰(110)에 내장된 경우, 카메라는 영상 통화용 1개와 안면인식용 카메라 1개를 전면부를 향하도록 설치될 수 있다.

또한, 1개의 카메라 로비폰(110)에 내장된 경우 영상 통화와 안면인식용 겸용으로 영상을 추출할 수 있다.

일실시예에 따른 로비폰(110)에서는 카메라외 SIP(session initiation protocol) 통화 및 안면인식 설정을 할 수 있는 관리자 모드가 구성될 수 있고, 안면인식 카메라 선정 및 안면 인식률 설정 및 안면 등록/삭제 기능 등을 제공할 수 있다.

또한, 로비폰(110) 내 설치된 카메라의 영상을 취득하여 안면여부를 추출하고 해당 안면의 특징 정보를 데이터화 한다. 이에, 로비폰(110)은 데이터화된 안면의 특징 정보를 Cloud 또는 서비스 서버(120)로 전송한다.

한편, 로비폰(110)이 외부망과 단절 시 로비폰(110)의 자체 데이터베이스에 기록된 안면 특징 정보를 검색할 수 있다.

Cloud 기반의 서비스 서버(120)는 로비폰에서 받은 안면의 특징 정보를 등록된 데이터베이스와 비교하여 동일 값이 있는지 비교하여 로비폰(110)으로 알려준다

마찬가지로, 외부망과 단절 시 로비폰(110) 자체 데이터베이스에 기록된 안면 특징 정보를 비교할 수도 있다.

로비폰(110)은 Cloud 또는 서비스 서버(120), 로비폰(110) 자체로부터 받은 결과 값을 따라 출입문을 Open/Close할 수 있다.

출입자 안면 정보의 취득은 Cloud에 정상 가입되어 인증이 된 사용자가 사용자 단말기(140)를 이용해서 서비스 서버(120)에 등록할 수 있다.

사용자 단말기(140)는 3G 통신망에서부터 LTE, 5G 통신망, 유무선 네트워크까지 다양한 통신 방식을 통해 원격지의 서비스 서버(120)에 접근이 가능한 단말기들을 모두 포함하는 의미로 해석될 수 있다.

예를 들어, 사용자 단말기(140)의 모바일 앱으로 직접 등록 및 관리자가 등록을 할 수 있다.

모바일 앱은 로비폰(110)과 같은 안면 특징 정보만 추출하는 기능을 가지고 있어 사진과 실물 안면을 구분하여 데이터화함으로써 등록 안면 데이터의 무결성을 보장할 수 있다.

로비폰(110)은 안면 정보의 등록으로써 블랙리스트, 사용자, 손님, 관리자로 등급을 정하여 출입의 시간 및 기간을 제한 할 수 있고 관계자에게 자동 통보 가능 하도록 설정할 수 있다.

VMS 서버(160)는 영상 감시용 카메라에 직접 연결되어 로비폰 앞의 실시간 영상을 RTSP로 전송 받아 영상을 녹화 장치에 저장하고 VMS 서버(160) 고유의 기능인 VA(행동패턴분석)기능에 영상을 활용할 수 있다

VMS 서버(160)의 VA(행동패턴분석)에서 감지된 이상행동 발생시 해당 로비폰의 정보(감지 영상)를 해당 로비폰(110)에 리턴하여 로비폰(110)에서 해당 영상의 안면정보를 추출할 수 있다. Cloud 또는 서비스 서버(120)에 안면정보에 등록된 관계자(세대원, 관리자 등)의 통신 단말기(150)로 자동으로 통보하고 로비폰(110)의 고유기능인 영상통화로 관계와 통화 및 조치를 가능토록 한다.

로비폰(110)의 안면 정보는 사진 정보가 아닌 안면 특징만 암화된 데이터베이스로 설계하여 로비폰(110) 탈취 시 개인정보를 보호한다.

로비폰(110)의 영상 감시용 카메라는 모바일 또는 PC에 직접 영상을 표출하지 않고 VMS를 통해서만 영상 표출을 하여 로비운영의 안정성을 보장한다.

Cloud 또는 서비스 서버(120)를 통하여 안면 인증시 로비폰별 안면 권한 설정으로 통하여 한번의 안면등록으로 다수의 로비폰이 동시 출입 가능토록 한다.

로비폰(110)의 안면인식은 딥러닝 방식을 이용하여 자체 학습이 가능하며 Cloud와 연동할 경우 다수의 로비폰에서 학습된 안면인식 학습정보를 공유하여 인식률을 높일 수 있다.

이러한 구성상의 특징으로 인해, 전체 시스템을 이용하면 별도의 세대기가 없어도 모바일, 경비실기 등으로 로비 앞의 상황을 감시할 수 있고 사용자의 이상 상황을 즉시 관계자에 통보하여 영상통화를 직접 연결하므로 보안성을 높일 수 있다.

또한, 모바일, PC, 로비폰 등 다양한 디바이스에서 안면 정보 및 출입기간 및 유형을 설정 할 수 있어 출입자의 출입 통제가 편리하고, Cloud를 활용한 딥러닝 안면인식을 사용하여 학습된 데이터를 로비폰간 공유가 가능하여 새로운 로비폰에 바로 학습된 안면인식 기능을 적용할 수 있다.

뿐만 아니라, 안면의 등급에 따라 모바일, PC에서 즉시 출입자 통제가 가능하다.

로비폰 제어 장치가 적용된 전체 시스템(100)을 이용하면, 양손에 물건을 들고 출입시 얼굴만 대면 출입이 가능한 공동현관 용 안식인식 로비폰 으로 성범죄자 등 영상정보가 사전 공개된 자료를 사전 등록하여 보안을 강화시킬 수 있다.

또한, 로비폰 제어 장치가 적용된 전체 시스템(100)을 이용하면, 출입을 시키고 싶지 않은 사람의 영상을 사전에 취득하여(스마트폰이나 인터넷 등에서 획득) 로비폰에 등록하여 출입을 못하게 할 수 있다.

이때, 사전 거부 등록된 사람이 출입을 시도할 경우 스마트폰과 연동되어 사용자의 스마트폰이나 월패드에 경고 PUSH메시지가 날라가 사전 대비할 수 있다.

특히, 로비폰 제어 장치가 적용된 전체 시스템(100)을 이용하면, 잡상인이나 선교목적으로 방문하려는 사람의 영상을 로비폰에서 한번 호출 시 이들을 블랙리스트 등급으로 설정 및 데이터베이스에 등록하여 이들의 출입을 사전에 못하게 한다.

뿐만 아니라, 집안에 아기가 자고 있거나 할 때 꼭 필요한 사람만(사전 등록된 영상 기준) 호출음이 오고 나머지는 거부하여 집안의 비디오폰에 호출음도 나지 않게 제어할 수도 있다.

도 2는 일실시예에 따른 로비폰 제어 장치(200)를 설명하는 도면이다.

일실시예에 따른 로비폰 제어 장치(200)는 영상 촬영부(210), 안면 영상 데이터 생성부(220), 특징 정보 추출부(230), 쿼리 처리부(240), 출입 제어부(250), 및 행동패턴분석 요청부(260)를 포함할 수 있다.

영상 촬영부(210)는 로비폰과 연동하는 적어도 하나 이상의 카메라를 포함할 수 있다. 예를 들어, 출입 버튼이 푸시 되는 경우에 동작하여 영상 통화를 위해 전면부를 촬영하는 카메라와 전면부를 상시 모니터링하기 위한 카메라가 별도로 구비될 수 있다. 또한, 영상통화와 안면인식을 모두 수행할 수 있는 카메라가 사용될 수도 있다.

안면 영상 데이터 생성부(220)는 적어도 하나 이상의 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성할 수 있다. 예를 들어, 안면 영상 데이터 생성부(220)는 안면에 대한 깊이 값이나 컬러 값을 수집하여 안면 영상 데이터를 생성할 수 있다.

특징 정보 추출부(230)는 생성된 안면 영상 데이터로부터 특징 정보를 추출할 수 있다. 특징 정보라 함은, 기설정된 관심영역(Region of Interest)에 대한 비율, 깊이값, 대칭정도, 색상 등을 포함할 수 있다. 예를 들면, 미간과 인중간 비율, 코와 인중간 비율, 양쪽 눈간 거리, 점의 위치 등을 특징 정보로 추출할 수 있다.

쿼리 처리부(240)는 추출된 특징 정보를 서비스 서버로 전송하고, 사전에 등록된 사용자에 해당하는지를 쿼리할 수 있다. 또한, 서비스 서버는 쿼리결과를 로비폰으로 회신할 수 있다.

구체적으로, 서비스 서버는 각 특징 정보와 등급을 연관지어 데이터베이스에 기록하고, 쿼리로 특징 정보가 수신되면 해당 특징 정보에 매칭되는 등급을 상기 쿼리결과에 포함시켜 회신할 수 있다.

출입 제어부(250)는 수신된 쿼리결과를 참고하여 출입문의 개폐를 제어할 수 있다. 예를 들어, 사전에 인증된 사용자의 경우에는 사용자가 인증되기만 하면 출입 제어부(250)는 출입문을 오픈 하도록 제어할 수 있다. 반대로, 성범죄자로 등록되거나, 관리자가 블랙리스트로 등록한 사용자의 경우, 출입 제어부(250)는 출입을 원천봉쇄할 수 있다. 뿐만 아니라, 출입을 시도한 상황이나 로비폰 앞에서 이상행동패턴을 보이는 경우에도 관리자나 인근의 지구대, 또는 사전에 등록된 통신 단말기에 이 사실을 알릴 수 있다.

일례로, 서비스 서버는 등급을 블랙리스트 등급, 사용자 등급, 손님 등급, 관리자 등급으로 구분하고, 출입 제어부(250)는, 등급에 상응하는 출입가능 시간 또는 기간에 기초하여 출입문의 개폐를 제어할 수 있다.

행동패턴분석 요청부(260)는 로비폰의 전면에서 특정인의 동작을 모니터링할 수 있다.

구체적으로, 행동패턴분석 요청부(260)는 로비폰의 카메라를 이용해서 사용자의 동작을 촬영하여 동작 데이터를 생성하고, 생성된 동작 데이터를 서비스 서버로 전송하여 행동패턴분석을 수행하도록 요청할 수 있다.

이에, 서비스 서버는 수신된 행동패턴분석의 요청에 따라, 전송된 동작 데이터에 대해 행동패턴분석을 처리할 수 있다. 또한, 서비스 서버는 행동패턴분석의 처리 결과, 사전에 정의된 이상행동이 감지되는 경우, 로비폰으로 안면 영상 데이터를 요청하여 수집하고, 수집된 안면 영상 데이터와 함께 이상행동 여부를 미리 등록된 통신 단말기로 통보하도록 동작할 수 있다.

도 3은 일실시예에 따른 서비스 서버(300)를 설명하는 도면이다.

일실시예에 따른 서비스 서버(300)는 데이터베이스(310), 특징 정보 수집부(320), 등급 식별부(330), 개폐 판단부(340), 회신 처리부(350), 알림 처리부(360), 및 콘트롤러(370)를 포함할 수 있다.

먼저, 데이터베이스(310)는 사용자 및 상기 사용자에 대한 등급을 기록할 수 있다.

특징 정보 수집부(320)는 안면인식 솔루션이 설치된 로비폰으로부터 로비폰 앞에서 출입문에 대한 개폐를 요청하는 사용자의 안면을 촬영하여 생성된 안면 영상 데이터로부터 추출된 특징 정보를 수집할 수 있다.

등급 식별부(330)는 데이터베이스(310)를 참고하여, 특징 정보에 해당하는 등급을 독출하여 식별할 수 있다.

또한, 개폐 판단부(340)는 식별되는 등급에 따라서, 출입문의 개폐에 대한 허여 여부를 판단하고, 회신 처리부(350)는 판단된 결과를 로비폰으로 회신할 수 있다.

알림 처리부(360)는 등급 식별부(330)가 식별한 등급이 블랙리스트 등급에 해당하는 경우, 블랙리스트 등급의 사용자가 현재 로비폰 앞에 위치하였음을 미리 등록된 통신 단말기로 통보하도록 동작할 수 있다.

이때, 관리자에 의해서 알림 메시지를 수신할 통신 단말기에 대한 전화번호는 사용자 PC, 태블릿, 스마트폰 등으로 사전에 등록할 수 있다.

콘트롤러(370)는 각 구성요소들을 제어하기 위한 CPU나 마이크로 컨트롤러로 해석될 수 있다.

도 4a 내지 4c는 사전에 등록된 통신 단말기가 수신하는 로비폰의 주변 상황에 대한 알림 메시지를 설명하는 도면이다.

먼저 도 4a의 실시예에서 보는 바와 같이, 통신 단말기(410)에는 "현관문 앞에서 '성범죄자 알림e'에 등록된 사람이 서성이는 것으로 관찰됩니다"라는 알림 메시지를 문자 메시지의 형태로 수신할 수 있다.

이를 위해, 로비폰은 내장된 카메라를 통해 전방을 상시 촬영하다가 이를 VMS 서버를 통해 이상행동패턴임을 확인하고, 이를 서비스 서버로 제공할 수 있다.

서비스 서버는 이상행동패턴을 보이는 사용자가 로비폰 앞을 서성이는 상황임을 확인하여 사전에 등록된 전화번호로 위와 같은 메시지를 발송할 수 있다.

전화번호는 복수개가 저장될 수 있고, 개인의 전화번호뿐만 아니라 인근 지구대나, 기타 특정 조직에 신고나 순찰을 요청할 수도 있다.

도 4b의 실시예에서 보는 바와 같이, 통신 단말기(420)는 "친정 어머니께서 현관문 앞에서 계십니다. 사전에 설정된 등급에 따라 출입문을 개방 하겠습니다."라는 알림 메시지를 문자 메시지의 형태로 수신할 수 있다.

예를 들어, 관리자의 설정에 따라 친정 어머니로 인식되는 사용자가 인식이 되는 경우, 출입문을 개방하도록 설정될 수 있다.

도 4c의 실시예에서 보는 바와 같이 통신 단말기(430)는 특정인이 집 앞에 왔다 갔음을 알리는 문자 메시지를 수신하고 이를 표시할 수 있다. 구체적으로는, "집주인이 현관문 앞에서 기다리다가 가셨습니다. 통신 단말기(430)는 초인종 3회 누름"의 문자 메시지를 서비스 서버로부터 수신하여 화면에 표시할 수 있다.

도 4a 내지 4c의 문자 메시지나 출입문을 제어하기 위해서는 사전에 사용자 별로 등급이 부여되고, 각 등급에 따라 출입문 개폐 등의 권한을 부여할 수 있다. 이는 도 5에서 보다 구체적으로 설명한다.

도 5는 일실시예에 따른 서비스 서버의 데이터베이스(500)의 구조를 설명하는 도면이다.

데이터베이스(500)에는 로비폰 앞에서 관찰되는 사용자, 행동 등에 따른 출입문 개폐 여부, 알림 여부 등의 정보를 서로 연관지어 기록할 수 있다.

예를 들어, 데이터베이스(500)는 사용자에 해당하는 특징 정보와 함께, 출입문 개폐여부, 알림 여부, 및 알림 수신인에 대한 정보를 서로 연관지어 기록할 수 있다.

구체적으로, 사용자1에 해당하는 특징 정보가 로비폰에서 식별되는 경우, 출입문 개폐여부가 즉시 개방으로 설정되어 있음에 따라, 출입문이 즉시 개방될 수 있다.

한편, 데이터베이스(500)에 따르면, 사용자2에 해당하는 특징 정보가 로비폰에서 식별되는 경우, 출입문 개폐여부가 '확인 필요'로 설정되어 있음에 따라, 관리자로 하여금 확인을 요청할 수 있다.

또한, 사용자2에 해당하는 특징 정보가 로비폰에서 식별되는 경우, 출입문의 개방 여부에 상관없이 사전에 알림 수신인으로 등록된 전화번호 '010-1111-2222'로 알림 메시지를 전송하도록 '알림 요청'이 설정될 수 있다.

만약, 데이터베이스(500)에 따르면, 성범죄자 알림e에 등록되어 있는 사용자가 특징 정보가 로비폰에서 식별되는 경우, 출입문 개폐여부가 '거부'로 설정되어 있음에 따라 출입문을 개방하지 않을 수 있다. 또한, 이를 사전에 알림 수신인으로 등록된 전화번호 '010-1111-2222'로 알림 메시지를 전송하고, 이와 함께 성범죄자 신고센터에 관련 사실을 통보할 수 있다.

도 6은 일실시예에 따른 로비폰 제어 방법을 설명하는 도면이다.

일실시예에 따른 로비폰 제어 방법은 로비폰 제어 장치가 실장된 로비폰에서, 적어도 하나 이상의 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성할 수 있다(단계 601).

다음으로 로비폰 제어 방법은 로비폰에서, 생성된 안면 영상 데이터로부터 특징 정보를 추출할 수 있다(단계 602).

로비폰 제어 방법은 로비폰에서, 추출된 특징 정보를 서비스 서버로 전송하여, 사전에 등록된 사용자에 해당하는지를 쿼리할 수 있다(단계 603).

로비폰 제어 방법은 서비스 서버에서, 각 특징 정보와 등급을 연관지어 데이터베이스에 기록할 수 있고(단계 604), 서비스 서버에서는 로비폰으로부터 쿼리로써 특징 정보가 수신되면(단계 605). 해당 특징 정보에 매칭되는 등급을 상기 쿼리결과에 포함시켜 회신할 수 있다(단계 606).

다음으로, 로비폰 제어 방법은 수신된 쿼리결과를 참고하여 출입문의 개폐를 제어할 수 있다(단계 607).

일실시예에 따르면, 서비스 서버에서는, 등급을 블랙리스트 등급, 사용자 등급, 손님 등급, 관리자 등급으로 구분하고, 상기 로비폰에서는, 등급에 상응하는 출입가능 시간 또는 기간에 기초하여 출입문의 개폐를 제어할 수 있다.

또한, 로비폰 제어 방법은 로비폰을 이용해서 적어도 하나 이상의 카메라를 이용해서 사용자의 동작을 촬영하여 동작 데이터를 생성할 수 있다. 또한, 로비폰에서는 생성된 동작 데이터를 상기 서비스 서버로 전송하여 행동패턴분석을 수행하도록 요청할 수 있다. 이에, 서비스 서버에서는 수신된 행동패턴분석의 요청에 따라, 상기 전송된 동작 데이터에 대해 행동패턴분석을 처리하고, 행동패턴분석의 처리 결과, 사전에 정의된 이상행동이 감지되는 경우, 로비폰으로 상기 안면 영상 데이터를 요청하여 수집할 수 있다. 뿐만 아니라, 서비스 서버는 수집된 안면 영상 데이터와 함께 이상행동 여부를 미리 등록된 통신 단말기로 통보하도록 동작할 수 있다.

결국, 본 발명을 이용하면, 하나의 로비폰으로 안면인식, 통화, 출입관리와 CCTV 상시 영상 감시를 동시에 할 수 있어 다양한 환경에 적용 및 개별 장비(안면인식기, CCTV)등 설치를 하지 않아 비용을 절감할 수 있다.

뿐만 아니라, 로비폰과 Cloud, VMS와의 연동으로 보안 및 사용성의 편리성을 보장해줄 수 있고, 별도의 세대기가 없어도 모바일, 경비실기 등으로 로비 앞의 상황을 감시할 수 있다. 감시 과정에서는 사용자의 이상 상황을 즉시 관계자에 통보하여 영상통화를 직접 연결하므로 보안성을 높일 수 있다.

일실시예에 따르면, 모바일, PC, 로비폰 등 다양한 디바이스에서 안면 정보 및 출입기간 및 유형을 설정 할 수 있어 출입자의 출입 통제가 편리하다. 또한, Cloud를 활용한 딥러닝 안면인식을 사용하여 학습된 데이터를 로비폰간 공유가 가능하여 새로운 로비폰에 바로 학습된 안면인식 기능을 적용할 수 있고, 안면의 등급에 따라 모바일, PC에서 즉시 출입자 통제가 가능하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

1. 로비폰과 연동하는 적어도 하나 이상의 카메라를 포함하는 영상 촬영부;
   상기 적어도 하나 이상의 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성하는 안면 영상 데이터 생성부;
   상기 생성된 안면 영상 데이터로부터 특징 정보를 추출하는 특징 정보 추출부;
   상기 추출된 특징 정보를 서비스 서버로 전송하고, 사전에 등록된 사용자에 해당하는지를 쿼리하며, 상기 쿼리결과를 회신하는 쿼리 처리부; 및
   상기 수신된 쿼리결과를 참고하여 출입문의 개폐를 제어하되,
   상기 쿼리결과에 따른 사용자의 출입문 개폐여부가 '즉시 개방'으로 설정되어 있는 경우, 출입문을 즉시 개방하도록 제어하고,
   상기 쿼리결과에 따른 사용자의 출입문 개폐여부가 '확인 필요'로 설정되어 있음에 따라, 관리자로 하여금 확인을 요청하도록 제어하고,
   상기 쿼리결과에 따른 사용자의 출입문 개폐여부가 '거부'로 설정되어 있음에 따라 출입문을 개방하지 않도록 제어하는 출입 제어부
   를 포함하고,
   상기 서비스 서버는,
   각 특징 정보와 등급을 연관지어 데이터베이스에 기록하고, 쿼리로 특징 정보가 수신되면 해당 특징 정보에 매칭되는 등급을 상기 쿼리결과에 포함시켜 회신하되,
   성범죄자 또는 범죄자 중에서 영상정보가 사전 공개된 자료에 기초하여 블랙리스트 등급을 설정 및 데이터베이스에 등록하거나, 잡상인 또는 선교목적으로 방문하려는 사람의 영상을 로비폰에서 한번 호출 시 블랙리스트 등급으로 설정 및 데이터베이스에 등록하고,
   상기 출입 제어부는, 상기 등급에 기초하여 상기 개폐를 제어하는 로비폰 제어 장치.
2. 제1항에 있어서,
   상기 서비스 서버는 상기 등급을 블랙리스트 등급, 사용자 등급, 손님 등급, 관리자 등급으로 구분하고,
   상기 출입 제어부는, 상기 등급에 상응하는 출입가능 시간 또는 기간에 기초하여 상기 출입문의 개폐를 제어하는 로비폰 제어 장치.
3. 제1항에 있어서,
   로비폰의 카메라를 이용해서 상기 사용자의 동작을 촬영하여 동작 데이터를 생성하여 상기 서비스 서버로 전송하여 행동패턴분석을 수행하도록 요청하는 행동패턴분석 요청부
   를 더 포함하고,
   상기 서비스 서버는 상기 수신된 행동패턴분석의 요청에 따라, 상기 전송된 동작 데이터에 대해 행동패턴분석을 처리하고, 사전에 정의된 이상행동이 감지되는 경우, 상기 로비폰으로 상기 안면 영상 데이터를 요청하여 수집하고, 상기 수집된 안면 영상 데이터와 함께 상기 이상행동 여부를 미리 등록된 통신 단말기로 통보하도록 동작하는 로비폰 제어 장치.
4. 제1항에 있어서,
   상기 영상 촬영부는,
   상기 로비폰에 출입을 요청하는 입력이 발생하는 경우 전면의 사용자를 촬영하는 제1 카메라와, 전면을 상시 촬영하는 제2 카메라를 포함하고,
   상기 안면 영상 데이터 생성부는,
   상기 제2 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성하는 것을 특징으로 하는 로비폰 제어 장치.
5. 사용자 및 상기 사용자에 대한 등급을 기록하는 데이터베이스;
   안면인식 솔루션이 설치된 로비폰으로부터 로비폰 앞에서 출입문에 대한 개폐를 요청하는 사용자의 안면을 촬영하여 생성된 안면 영상 데이터로부터 추출된 특징 정보를 수집하는 특징 정보 수집부;
   상기 데이터베이스를 참고하여, 상기 특징 정보에 해당하는 등급을 독출하여 식별하는 등급 식별부;
   상기 식별되는 등급에 따라서, 상기 출입문의 개폐에 대한 허여 여부를 판단하는 개폐 판단부; 및
   상기 판단된 결과를 상기 로비폰으로 회신하는 회신 처리부
   를 포함하고,
   상기 로비폰은 적어도 하나 이상의 카메라를 포함하고, 상기 적어도 하나 이상의 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성하며, 상기 생성된 안면 영상 데이터로부터 특징 정보를 추출하고, 상기 추출된 특징 정보를 전송하여 사전에 등록된 사용자에 해당하는지를 쿼리하며, 상기 쿼리결과를 회신하고, 상기 수신된 쿼리결과를 참고하여 출입문의 개폐를 제어하되,
   상기 쿼리결과에 따른 사용자의 출입문 개폐여부가 '즉시 개방'으로 설정되어 있는 경우, 출입문을 즉시 개방하도록 제어하고,
   상기 쿼리결과에 따른 사용자의 출입문 개폐여부가 '확인 필요'로 설정되어 있음에 따라, 관리자로 하여금 확인을 요청하도록 제어하고,
   상기 쿼리결과에 따른 사용자의 출입문 개폐여부가 '거부'로 설정되어 있음에 따라 출입문을 개방하지 않도록 제어하며,
   상기 데이터베이스는 성범죄자 또는 범죄자 중에서 영상정보가 사전 공개된 자료에 기초하여 블랙리스트 등급을 등록하거나, 잡상인 또는 선교목적으로 방문하려는 사람의 영상을 로비폰에서 한번 호출 시 블랙리스트 등급을 등록하는 서비스 서버.
6. 제5항에 있어서,
   상기 등급 식별부가 식별한 등급이 블랙리스트 등급에 해당하는 경우, 상기 블랙리스트 등급의 사용자가 현재 로비폰 앞에 위치하였음을 미리 등록된 통신 단말기로 통보하도록 동작하는 알림 처리부
   를 더 포함하는 서비스 서버.
7. 로비폰에서, 상기 로비폰과 연동하는 적어도 하나 이상의 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성하는 단계;
   상기 로비폰에서, 상기 생성된 안면 영상 데이터로부터 특징 정보를 추출하는 단계;
   상기 로비폰에서, 상기 추출된 특징 정보를 서비스 서버로 전송하여, 사전에 등록된 사용자에 해당하는지를 쿼리하고, 상기 쿼리결과를 회신하는 단계;
   상기 서비스 서버에서, 각 특징 정보와 등급을 연관지어 데이터베이스에 기록하는 단계;
   상기 서비스 서버에서, 상기 로비폰으로부터 쿼리로써 특징 정보가 수신되면 해당 특징 정보에 매칭되는 등급을 상기 쿼리결과에 포함시켜 회신하는 단계; 및
   상기 수신된 쿼리결과를 참고하여 출입문의 개폐를 제어하되,
   상기 쿼리결과에 따른 사용자의 출입문 개폐여부가 '즉시 개방'으로 설정되어 있는 경우, 출입문을 즉시 개방하도록 제어하고,
   상기 쿼리결과에 따른 사용자의 출입문 개폐여부가 '확인 필요'로 설정되어 있음에 따라, 관리자로 하여금 확인을 요청하도록 제어하고,
   상기 쿼리결과에 따른 사용자의 출입문 개폐여부가 '거부'로 설정되어 있음에 따라 출입문을 개방하지 않도록 제어하는 단계
   를 포함하고,
   상기 데이터베이스에 기록하는 단계는,
   성범죄자 또는 범죄자 중에서 영상정보가 사전 공개된 자료에 기초하여 블랙리스트 등급으로 기록하거나, 잡상인 또는 선교목적으로 방문하려는 사람의 영상을 로비폰에서 한번 호출 시 블랙리스트 등급으로 기록하는 로비폰 제어 방법.
8. 제7항에 있어서,
   상기 서비스 서버에서, 상기 등급을 블랙리스트 등급, 사용자 등급, 손님 등급, 관리자 등급으로 구분하는 단계; 및
   상기 로비폰에서, 상기 등급에 상응하는 출입가능 시간 또는 기간에 기초하여 상기 출입문의 개폐를 제어하는 단계
   를 포함하는 로비폰 제어 방법.
9. 제7항에 있어서,
   상기 로비폰에서, 상기 적어도 하나 이상의 카메라를 이용해서 상기 사용자의 동작을 촬영하여 동작 데이터를 생성하는 단계;
   상기 로비폰에서, 상기 생성된 동작 데이터를 상기 서비스 서버로 전송하여 행동패턴분석을 수행하도록 요청하는 단계;
   상기 서비스 서버에서, 상기 수신된 행동패턴분석의 요청에 따라, 상기 전송된 동작 데이터에 대해 행동패턴분석을 처리하는 단계;
   상기 행동패턴분석의 처리 결과, 사전에 정의된 이상행동이 감지되는 경우, 상기 로비폰으로 상기 안면 영상 데이터를 요청하여 수집하는 단계; 및
   상기 수집된 안면 영상 데이터와 함께 상기 이상행동 여부를 미리 등록된 통신 단말기로 통보하도록 동작하는 단계
   를 포함하는 로비폰 제어 방법.
10. 제7항에 있어서,
    상기 로비폰은 상기 로비폰에 출입을 요청하는 입력이 발생하는 경우 전면의 사용자를 촬영하는 제1 카메라와, 전면을 상시 촬영하는 제2 카메라를 포함하고,
    상기 안면 영상 데이터를 생성하는 단계는,
    상기 제2 카메라를 이용해서 사용자의 안면을 촬영하여 안면 영상 데이터를 생성하는 단계
    를 포함하는 것을 특징으로 하는 로비폰 제어 방법.

Images