KR20220165338A

KR20220165338A - 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 시설 관제 서비스 제공 방법, 관제 서비스 시스템 및 그 장치

Info

Publication number: KR20220165338A
Application number: KR1020210073847A
Authority: KR
Inventors: 정완석; 이태희
Original assignee: 인포뱅크 주식회사
Priority date: 2021-06-08
Filing date: 2021-06-08
Publication date: 2022-12-15

Abstract

본 발명의 실시 예에 따른 시설의 관제 서비스 시스템은, 상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치되며, 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하는 하나 이상의 고정형 안면 인식 장비; 상기 시설 내 이동 경로에 따라 이동하며, 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 하나 이상의 퍼스널 모빌리티 장비; 및 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 복합 인식 기반 관제 서비스 제공 장치를 포함한다.

Description

고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 시설 관제 서비스 제공 방법, 관제 서비스 시스템 및 그 장치{A METHOD, A SYSTEM AND AN APPARATUS FOR PROVIDING PAYMENT SERVICES BASED ON FACILITY OPERATION INFORMATION BY USING FACIAL RECOGNITIONS}

본 발명은 결제 서비스 제공 방법 및 그 장치에 관한 것이다. 보다 구체적으로, 본 발명은 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 시설 관제 서비스 제공 방법 및 그 장치에 관한 것이다.

컴퓨터 및 다양한 멀티미디어 기술이 발전하게 되면서, 디지털 이미지를 분석하고 이용한 다양한 형태의 응용기술이 발전하게 되었으며, 이러한 것 중 하나가 인간의 홍채, 지문, 얼굴 등의 생체인식기술이라 할 수 있다.

알려진 바와 같이, 생체인식기술은 도난, 분식 등의 우려 없이 안전하게 이용할 수 있는 보안 수단으로, 이와 같이 신체의 이미지들을 정보화하는 생체인식 기술들은 신원확인, 범죄자 검색과 같은 보안 관련 분야에서 활용되는 것을 넘어서 이젠 금융 및 전자 조달 업무 등의 신원확인이 필요한 모든 분야에 활용되고 있다.

이중 안면인식은 홍채, 지문 등과 달리 별도의 사용자 동작을 요구하지 않고 카메라를 이용하여 촬영된 영상으로 수행된다는 점에서 사용자에게 거부감 없는 보안수단이라 할 수 있어서, 홍채인식, 지문인식 등 다른 생체인식들의 단점을 보완할 이상적인 차세대 출입관리시스템에서 신원확인수단으로 각광받고 있다.

이와 같은 안면인식방법은 통상적으로 얼굴의 구성요소 눈,코,입 및 안면의 에지와 안면 방향, 안면 특징 정보의 변화량 등을 이용하여 얼굴영역을 추출하여 얼굴을 인식하고 있으며, 추출된 얼굴인식정보를 등록된 데이터베이스 정보의 얼굴 정보와 매칭시켜 안면인식을 기반으로 하는 신원을 식별하도록 한다.

특히 이러한 안면 인식 기술은 보안시설이나 특별한 보호 시설에 적용되어 외부인이나 침입자를 검출되는 데 주로 활용되고 있다.

그러나, 한명 한명을 안면 인식으로 검출하여 보안 및 보호시설의 출입자와 비교하는 서비스만으로는 다수의 이용자들이 쉽게 출입하는 시설 등에서 활용되기가 매우 어려운 측면이 있다.

예를 들어, 불특정 다수의 사용자들이 입장하거나 퇴장할 수 있고, 구역에 따라 다수의 사람들이 밀집할 수 있는 놀이시설이나 공원 등의 공공시설에서는 안면 인식을 활용한 서비스 제공에 어려움이 있는 바, 이는 불특정 다수 사용자들의 이동으로 인한 과도한 인식량과, 데이터 관리 체계의 미흡, 개인정보 보호 문제 및 관제 서비스 연동 시스템 설계의 어려움 등으로 인해 발생되며, 따라서 이러한 안면인식 기술은 공공시설 등에는 적극적으로 도입되지 못하고 있는 실정이다.

나아가 이러한 문제점으로 인해, 다수가 밀집하는 시설 운영에는 대면 티켓 확인이나 인원 선별 등을 위한 인적 자원이 여전히 과도하게 요구되고 있으며, 이는 과도한 대기 시간과 밀집된 인원으로 인한 사고 발생 및 결제 없이 시설물을 이용하는 불법이용객들의 등장 등을 야기하는 문제점이 있다.

또한, 이러한 시설물 이용에 대한 결제 증빙으로 이용되는 티켓은 여전히 분실가능성이 높으며, 시설 이용 시간 동안은 지속적으로 실물 티켓을 몸에 보유하고 있어야만 한다는 문제점이 있다.

본 발명은 상기한 바와 같은 문제점들을 해결하고자 안출된 것으로, 불특정 다수 사용자들이 출입 가능한 시설 내에서도 효율적인 안면 인식 및 이와 연동되는 관제 서비스 제공이 가능하도록, 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기술을 적용함으로써, 안면 인식 기반의 시설 관제 서비스가 특정 시설 내에서 가능하도록 지원하는 관제 서비스 제공 방법 및 그 장치를 제공하는데 그 목적이 있다.

또한, 본 발명은 복합 인식 기반의 관제 서비스를 통해, 다수의 사용자들 각각에 대응하는 시설 내 추적 정보 확보가 가능하게 됨에 따라, 티켓 확인에 의한 대기나, 실물 티켓의 보유 없이도 다양한 시설 및 결제 서비스 이용이 가능하게 되는 안면 인식을 이용한 시설 운영 정보에 기초한 결제 서비스 제공 방법, 결제 서비스 시스템 및 그 장치를 제공하는데 그 목적이 있다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 시스템은, 시설의 관제 서비스 시스템에 있어서, 상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치되며, 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하는 하나 이상의 고정형 안면 인식 장비; 상기 시설 내 이동 경로에 따라 이동하며, 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 하나 이상의 퍼스널 모빌리티 장비; 및 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 복합 인식 기반 관제 서비스 제공 장치를 포함한다.

또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 시설의 관제 서비스 시스템의 동작 방법은, 상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치된 하나 이상의 고정형 안면 인식 장비에서 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하는 단계; 상기 시설 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 단계; 및 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 복합 인식 기반 관제 서비스 제공 단계를 포함한다.

또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 시설의 관제 서비스 제공 장치는, 상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치된 하나 이상의 고정형 안면 인식 장비와, 상기 시설 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기 정보를 관리하는 안면 인식 장치 관리부; 상기 하나 이상의 고정형 안면 인식 장비에서 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하며, 상기 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 인식 정보 관리부; 및 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 관제 서비스 제공부를 포함한다.

그리고, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은 시설의 관제 서비스 제공 장치의 동작 방법에 있어서, 상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치된 하나 이상의 고정형 안면 인식 장비와, 상기 시설 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기 정보를 관리하는 단계; 상기 하나 이상의 고정형 안면 인식 장비에서 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하며, 상기 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 단계; 및 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 단계를 포함한다.

한편, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은 상기 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 판독가능한 매체에 저장되는 컴퓨터프로그램 및 상기 프로그램이 저장된 기록 매체로 구현될 수 있다.

본 발명의 실시 예에 따르면, 상기 시설 내 사전 등록된 고정형 안면 인식 장비의 제1 안면 인식 정보 및 배치 정보와, 상기 시설 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기의 제2 안면 인인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 안면 인식 기반의 시설 관제 서비스를 효율적이고 신속히 제공할 수 있으며, 불특정 다수 사용자들이 출입 가능한 시설 내에서도 효율적인 안면 인식 및 이와 연동되는 관제 서비스 제공이 가능하도록, 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기술을 적용함으로써, 안면 인식 기반의 시설 관제 서비스가 특정 시설 내에서 가능하도록 지원하는 관제 서비스 제공 방법 및 그 장치를 제공할 수 있다.

또한, 본 발명의 실시 예에 따르면 제1 시설에 대응하는 고정형 안면 인식 장비의 제1 안면 인식 정보와, 상기 제1 시설의 주변에 위치한 하나 이상의 이동형 안면 인식 단말기의 제2 안면 인식 정보에 기초한 제1 사용자의 복합 안면 인식을 처리하고, 상기 제1 사용자의 복합 안면 인식 정보에 기초하여, 상기 제1 사용자에 대응하여 사전 등록된 결제 수단 정보를 식별하며, 상기 식별된 결제 수단 정보를 이용한 상기 제1 시설의 운영 서비스에 대응하는 결제 정보를 생성하여 결제 서버로 전송 처리함으로써, 복합 인식 기반의 관제 서비스를 통해, 다수의 사용자들 각각에 대응하는 시설 내 추적 정보 확보가 가능하게 됨에 따라, 티켓 확인에 의한 대기나, 실물 티켓의 보유 없이도 다양한 시설 및 결제 서비스 이용이 가능하게 되는 안면 인식을 이용한 시설 운영 정보에 기초한 결제 서비스 제공 방법, 결제 서비스 시스템 및 그 장치를 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치를 보다 구체적으로 설명하기 위한 블록도이다.
도 3은 본 발명의 실시 예에 따른 고정형 안면 인식 장비를 보다 구체적으로 설명하기 위한 블록도이며, 도 4는 본 발명의 실시 예에 따른 퍼스널 모빌리티 장비 및 이동형 안면 인식 장비를 보다 구체적으로 도시한 블록도이다.
도 5는 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치의 시스템 동작을 설명하기 위한 흐름도이다.
도 6 내지 도 8은 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치의 동작에 따라 화면상에 출력되는 그래픽 유저 인터페이스를 도시한 개념도들이다.
도 9는 본 발명의 다른 일 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 10은 본 발명의 다른 일 실시 예에 따른 시설 운영 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 11은 본 발명의 다른 일 실시 예에 따른 시설 운영 서비스 제공 장치의 동작을 보다 구체적으로 도시한 흐름도이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 전체 시스템은, 복합 인식 기반 관제 서비스 제공 장치(100), 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300), 이동형 안면 인식 단말기(400), 감시 카메라 단말기(500), 관리자 단말(600), 사용자 단말(700) 및 외부 기관 서버(800)를 포함한다.

상기 전체 시스템은, 유무선 인터넷망을 포함하는 통신 네트워크를 통해 각각 상호 연결될 수 있다. 또한, 복합 인식 기반 관제 서비스 제공 장치(100), 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300), 이동형 안면 인식 단말기(400) 및 감시 카메라 단말기(500) 간에는 각 통신을 보안 연결하는 네트워크가 구성될 수 있다.

그리고, 각 복합 인식 기반 관제 서비스 제공 장치(100), 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300), 이동형 안면 인식 단말기(400), 감시 카메라 단말기(500), 관리자 단말(600), 사용자 단말(700) 및 외부 기관 서버(800)들은 상기 통신 네트워크에 접속하여 데이터를 송수신하기 위한 통신 모듈을 각각 구비할 수 있다.

통신 네트워크는 예를 들어, 개방형 인터넷, 폐쇄형 인트라넷을 포함한 유선 인터넷망, 이동 통신망과 연동된 무선 인터넷 통신망, TCP(Transmission Control Protocol)/IP(Internet Protocol), UDP(User Datagram Protocol)과 같은 프로토콜 기반의 데이터 통신을 포함하여 각종 데이터 통신이 가능한 컴퓨터 네트워크 등이 예시될 수 있다.

본 발명의 실시 예에 따른 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300), 이동형 안면 인식 단말기(400) 및 감시 카메라 단말기(500)는, 복합 인식 기반 관제 서비스 제공 장치(100)에 사전 등록된 서비스 대상 시설별로 구비될 수 있다.

여기서, 서비스 대상 시설은, 관리자 단말(600)의 시설 정보 등록 요청에 따라 결정될 수 있으며, 특히 불특정 다수의 사용자 단말(700) 사용자들이 출입하는 공공시설, 공원, 놀이시설 등의 보안 및 사용자 추적이 용이하지 않은 오픈형 시설들이 예시될 수 있다.

그리고, 서비스 대상 지역 내 위치한 시설 정보, 고정형 안면 인식 장비(200)의 배치 정보 및 이동형 안면 인식 단말기(400)의 위치 정보가 복합 인식 기반 관제 서비스 제공 장치(100)에 등록될 수 있으며, 위치 정보는 주소 정보, 좌표 정보, 위도 정보, 경도 정보 또는 GPS 정보 등의 형태로 저장 및 관리될 수 있다.

또한, 복합 인식 기반 관제 서비스 제공 장치(100)는 시설 내 출입하는 사용자들의 사용자 단말(700) 정보 및 상기 사용자 단말(700)에 대응하는 안면 인식 등록 정보를 저장 및 관리할 수 있다. 여기서, 상기 안면 인식 등록 정보는 고정형 안면 인식 장비(200)에서 촬영된 이미지로부터 각 사용자별 얼굴 인식 처리에 따라 등록될 수 있으며, 복수의 사용자들이 하나의 촬영 이미지에서 검출된 경우, 상기 복수의 사용자들은 제1 일행 그룹으로 처리되어, 이에 할당된 제1 일행 식별 정보에 매핑 관리될 수 있다.

이러한 서비스 대상 시설의 시설 관리 영역에는 상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치되며, 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하는 상기 하나 이상의 고정형 안면 인식 장비(200)가 구비될 수 있다.

그리고, 시설 관리 영역에는 상기 시설 내 이동 경로에 따라 이동하며, 상기 이동형 안면 인식 단말기(400)로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 하나 이상의 퍼스널 모빌리티 장비(300)가 구비될 수 있다.

여기서, 퍼스널 모빌리티 장비(300)는, 시설 내를 사전 결정된 경로 등에 따라 이동하거나, 사전 설정된 특정 지역 범위 내에서 이동하면서 상기 제2 안면 인식 정보를 수집하기 위한 이동형 안면 인식 단말기(400)의 조작을 수행하는 시설 안내자의 이동형 관리 장비일 수 있으며, 예를 들어 태블릿, 컴퓨터, 휴대폰, 스마트폰 등의 이동통신 기기이거나, 이동 수단이 탑재된 시설 내 카트, 차량, 바이시클, 자율주행 장비 등이 예시될 수 있다.

이에 따라, 퍼스널 모빌리티 장비(300) 및 이동형 안면 인식 단말기(400)는 시설 내에 사전 설정된 경로 또는 범위 내에서 하나의 위치 정보에 동기화되어 이동될 수 있으며, 이동형 안면 인식 단말기(400)에서 상기 제2 안면 인식 정보가 검출되는 경우 퍼스널 모빌리티 장비(300) 및 이동형 안면 인식 단말기(400)의 위치 정보 중 적어도 하나가 상기 인식 위치 정보로서 상기 제2 안면 인식 정보에 매핑될 수 있다.

한편, 감시 카메라 단말기(500)는, CCTV 등과 같은 통상의 감시 카메라 단말기일 수 있으며, 감시 카메라 단말기(500)는 영상 분석 기능을 탑재하여, 객체 검출, 밀집도 검출, 관제 이벤트 검출 등의 검출 정보를 복합 인식 기반 관제 서비스 제공 장치(100)로 전송할 수 있다.

예를 들어, 감시 카메라 단말기(500)는, 감시 카메라 단말기(500)가 위치한 지역의 감시 영상 정보를 로컬 분석하고, 로컬 분석에 따른 감시 영상 분석 정보와 수집한 감시 영상 정보를 복합 인식 기반 관제 서비스 제공 장치(100)로 전달한다. 여기서, 상기 로컬 분석 정보는 감시 영상정보로부터 사전 설정된 움직임 정보의 발생 정보를 포함할 수 있다. 예를 들어, 영상 정보의 프레임들로부터 침입자의 이동이 감지되거나, 특정 객체의 배회 이동이 감지되거나, 복수 객체의 군집이 감지되거나, 특정 물체의 투기 및 방치가 감지되거나, 특정 사람의 쓰러짐 등이 감지되는 경우, 감시 카메라 단말기(500)는 로컬 분석 정보로서 분류하고 관련 메타데이터를 생성 및 저장하며, 이를 복합 인식 기반 관제 서비스 제공 장치(100)로 전송할 수 있다.

한편, 복합 인식 기반 관제 서비스 제공 장치(100)는, 상기 고정형 안면 인식 장비(200)와 상기 퍼스널 모빌리티 장비(300) 및 감시 카메라 단말기(500)를 관리하며, 상기 하나 이상의 고정형 안면 인식 장비(200)에서 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하고, 상기 이동형 안면 인식 단말기(400)로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하며, 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 복합 인식 기반 관제 서비스 제공 프로세스를 수행할 수 있다.

이러한 복합 인식 기반 관제 서비스 제공 프로세스는, 상기 제1 안면 인식 정보 및 상기 배치 정보를 매핑함에 따라 안면 정보가 확인된 제1 사용자의 제1 위치 정보로부터, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보를 매핑함에 따라 상기 안면 정보가 확인된 상기 제1 사용자의 제2 위치 정보로 연결되는 상기 제1 사용자의 이동 경로 정보를 추적하는 인식 정보 관리 프로세스를 포함할 수 있으며, 이러한 고정형 안면 인식 장비(200) 및 이동형 안면 인식 단말기(400)의 복합 인식 처리를 통해, 불특정 다수가 출입하는 시설이라 하더라도 특정 사용자의 위치 또는 이벤트 발생을 용이하게 검출할 수 있으며, 관련 시설 안내자의 이동이나 관제 안내 등을 즉각적으로 수행할 수 있게 되는 안면 인식 기반의 시설 관제 시스템을 용이하게 구축할 수 있다.

특히, 복합 인식 기반 관제 서비스 제공 장치(100)는 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300) 및 감시 카메라 단말기(500)의 영상 정보를 바탕으로 밀집 지역의 위험도 분석을 수행할 수도 있으며, 이러한 분석에 따라 미아가 발생하거나, 치매 노인 등이 길을 잃거나 하는 등의 이벤트 발생시에도 시설 내 제1 사용자의 복합 안면 인식 기반 경로 추적 프로세스를 기반으로, 일행에 대한 신속한 알림 및 시설 안내자의 탐색 가이드 등을 제공할 수 있다.

또한, 예를 들어, 복합 인식 기반 관제 서비스 제공 장치(100)는, 고정형 안면 인식 장비(200)의 제1 안면 인식 정보 및 배치 정보와, 상기 이동형 안면 인식 단말기(400)의 제2 안면 인식 정보 및 인식 위치 정보를 이용하여, 상기 감시 카메라 단말기(500)의 감시 영상 정보 중 주요 영상 정보를 분류할 수 있으며, 상기 주요 영상 정보에 대응하는 복장 정보, 인상 착의 정보, 키 정보, 나이 정보 등의 심층 분석을 수행함으로써, 이벤트 정보를 정확히 식별하고, 이벤트 정보에 대응하는 긴급 상황 정보를 결정할 수 있다.

여기서, 심층 분석 알고리즘은 다른 안면 인식 정보 및 감시 영상 정보간의 학습에 의해 구축된 감시 영상 학습모델에 기반한 객체 분석 알고리즘과, 단색상 영상 기반 객체 검출 알고리즘과, 해상도 예측 향상 알고리즘 등이 예시될 수 있다.

나아가, 복합 인식 기반 관제 서비스 제공 장치(100)는, 복합 안면 인식 프,로세스 기반의 사용자 추적 정보를 포함하는 관제 서비스 정보를 사전 등록된 일행의 사용자 단말(700) 또는 시설의 관리자 단말(600)로 제공할 수 있으며, 시설 안내자의 퍼스널 모빌리티 장비(300)로도 제공할 수 있고, 특정 이벤트 조건이 충족된 경우에는 외부 기관 서버(800)로 전달되어 관계기관 신고, 증거 수집, 객체 추적 등의 다양한 서비스 제공에 이용될 수 있으며, 이는 앞서 설명한 불특정 다수 이용시설의 안면 인식 시스템 구축의 어려움을 극복하고, 실시간적인 처리와 사용자 추적 기반 부가 서비스를 가능하게 하며, 사고 발생이나 실종 등으로 인한 사회적 비용을 절감시킬 수 있는 복합 인식 기반 관제 서비스 시스템 및 그 동작방법을 제공할 수 있게 한다.

도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 서비스 제공 장치는, 통신부(101), 데이터베이스부(103), 제어부(105), 사용자 정보 관리부(110), 안면 인식 장치 관리부(120), 퍼스널 모빌리티 관리부(125), 관제 서비스 제공부(130), 감시 카메라 관리부(140), 시설 정보 관리부(145), 인식 정보 관리부(150), 밀집도 산출부(155), 이벤트 관리부(160), 개인 정보 보안화부(170) 및 보호 서비스 제공부(180)를 포함한다.

제어부(105)는 서비스 제공 장치의 구성요소들을 전반적으로 제어하기 위한 하나 이상의 마이크로 프로세서를 포함한다.

통신부(105)는 보안 서비스 네트워크와 통신하기 위한 하나 이상의 통신 모듈을 포함한다.

여기서, 통신부(105)는 근거리 통신망(LAN : Local Area Network) 및 인터넷망을 통해 무선 또는 유선방식으로 접속되는 형태, USB(Universal Serial Bus)포트를 통하여 접속되는 형태, 3G, 4G, 5G와 같은 이동 통신망을 통해 접속되는 형태, NFC(Near Field Communication, RFID(Radio Frequency Identification), Wi-Fi등과 같은 근거리 무선 통신방식을 통해 접속되는 형태가 가능하다.

사용자 정보 관리부(110)는, 고정형 안면 인식 장비(200) 또는 사용자 단말(700)로부터 복합 인식 기반 관제 서비스 제공을 위한 사용자 등록 정보를 수신할 수 있다. 여기서 사용자 등록 정보는 고정형 안면 인식 장비(200)를 통해 인식된 안면 등록 이미지 정보를 포함할 수 있으며, 특정 그룹의 복수의 사용자가 등록되는 경우 상기 복수의 사용자들은 특정 그룹에 대응하는 일행 식별 정보에 매핑되어 저장 및 관리될 수 있다.

데이터베이스부(103)는, 상기 사용자 등록 정보에 따른 사용자 정보를 등록 처리하며, 등록된 사용자 정보에 대응하는 서비스 대상 시설 등록, 안면 등록 이미지 정보 저장 및 관리, 고정형 안면 인식 장비(200), 이동형 안면 인식 장비(400), 퍼스널 모빌리티 장비(300), 감시 카메라 단말기(500) 및 시설 정보와 같은 다양한 정보 등록, 저장 및 관리 처리를 수행할 수 있다.

여기서, 서비스 대상 시설 정보는 시설 정보 관리부(145)에서 관리자 단말(600)에 대응하여 등록 및 관리될 수 있으며, 예를 들어, 불특정 다수가 출입 가능한 특정 공공시설, 공원, 놀이공원 등의 특정 범위 지역, 시설 건물 등이 예시될 수 있고, 서비스 대상 시설에 대응하는 위치 범위 정보, 건물 위치 정보 등이 데이터베이스부(103)에 등록될 수 있으며, 이러한 위치 정보는 주소 정보, 좌표 정보, 위도 정보, 경도 정보 또는 GPS 정보 등의 형태로 저장 및 관리될 수 있다.

한편, 안면 인식 장치 관리부(120)는, 상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치된 하나 이상의 고정형 안면 인식 장비(200)와, 상기 시설 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비(300)의 이동형 안면 인식 장비(400)의 단말기 정보 또는 위치 정보를 저장 및 관리할 수 있다.

그리고, 퍼스널 모빌리티 관리부(125)는, 상기 퍼스널 모빌리티 장비(300)의 장치 정보 및 위치 정보를 저장 및 관리할 수 있다. 그리고, 퍼스널 모빌리티 관리부(125)는, 상기 퍼스널 모빌리티 장비(300)를 통해 수신되는 관제 정보 또는 이벤트 정보를 검출하여 관제 서비스 제공부(130)로 전달하거나, 보호 서비스 제공부(180)로 전달할 수 있고, 반대로 관제 서비스 제공부(130)의 서비스 정보 또는 보호 서비스 제공부(180)의 서비스 정보를 상기 퍼스널 모빌리티 장비(300)로 전달할 수도 있다.

한편, 감시 카메라 관리부(140)는, 감시 카메라 단말기(500)로부터 수신되는 감시 영상 정보 및 로컬 분석 정보를 획득하거나, 심층 분석을 수행하여 수행 결과를 이벤트 관리부(160)로 전달한다.

전술한 바와 같이, 감시 카메라 단말기(500)는, 감시 영상정보로부터 사전 설정된 움직임 정보의 발생 정보를 로컬 분석 정보로서 획득하여, 이벤트 관리부(160)로 전송할 수 있다. 영상 정보의 프레임들로부터 침입자의 이동이 감지되거나, 특정 객체의 배회 이동이 감지되거나, 복수 객체의 군집이 감지되거나, 특정 물체의 투기 및 방치가 감지되거나, 특정 사람의 쓰러짐 등이 감지되는 경우, 감시 카메라 단말기(500)는, 로컬 분석 정보로서 분류하고 관련 메타데이터를 생성 및 저장하며, 감시 카메라 관리부(140)로 전달할 수 있다.

그리고, 밀집도 산출부(155)는, 상기 고정형 안면 인식 장비(200), 상기 이동형 안면 인식 단말기(400) 및 상기 시설 내 감시 영역에 배치되는 하나 이상의 감시 카메라 단말기(500) 중 적어도 하나로부터 획득되는 영상 정보에 기초하여, 시설 내 지역별 밀집도 정보를 산출할 수 있다. 이는 각 인식 장비 및 카메라 영상 분석에 기초하여 산출될 수 있으며, 특정 지역 범위 내에서 안면 인식된 사용자가 많을수록, 그리고 이동 객체가 많이 인식될수록 상기 밀집도는 높게 산출될 수 있다.

또한, 이벤트 관리부(160)는 상기 감시 카메라 관리부(140)에서 확인되는 로컬 분석 정보와, 상기 밀집도 산출부(155)의 밀집도에 따른 위험도 레벨 및 인식 정보 관리부(150)에서 인식되는 상기 고정형 안면 인식 장비(200) 및 이동형 안면 인식 장비(400)의 복합 인식 정보 중 적어도 하나에 기초하여, 관제 이벤트 정보를 검출할 수 있으며, 검출된 관제 이벤트 정보는 관제 서비스 제공부(130)로 전달될 수 있다.

보다 구체적으로, 인식 정보 관리부(150)는, 고정형 안면 인식 장비(200)에서 수집된 상기 제1 안면 인식 정보 및 상기 배치 정보와, 이동형 안면 인식 장비(400)에서 수집된 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 확인된 안면 정보를 사용자 정보 관리부(110)에서 등록된 사용자 등록 정보와 매칭시켜 저장 및 관리할 수 있다.

그리고, 인식 정보 관리부(150)는, 사용자 등록 정보와 안면 정보의 매칭이 확인된 하나 이상의 사용자 정보를 관제 서비스 제공부(130)로 전달하여, 이에 대응하는 관제 서비스가 처리되도록 한다.

이에 따라, 관제 서비스 제공부(130)는, 복합 안면 인식에 의해 안면 정보가 확인된 사용자의 추적 정보와, 이벤트 관리부(160)의 이벤트 정보를 이용한 다양한 관제 서비스를 제공할 수 있는 바, 이는 실종자 추적 서비스, 위험구역 관리 서비스, 밀집 사고 예방 서비스, 불법 이용객 검출 서비스, 감염예상자 동선 추적 서비스 등이 예시될 수 있다.

예를 들어, 관제 서비스 제공부(130)는, 이벤트 관리부(160)에서 상기 밀집도 정보에 기초한 시설 위험도 레벨을 산출하고, 상기 위험도 레벨이 일정 값 이상인 지역의 안면 인식 사용자에 대응하는 위험 사용자 관제 이벤트를 검출하면, 상기 위험 사용자 관제 이벤트에 따라, 상기 위험도 레벨이 일정 값 이상인 지역의 상기 안면 인식 사용자 정보에 대응하는 퍼스널 모빌리티 장비(300)로 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공하는 관제 서비스 프로세스를 수행할 수 있다.

또한, 보호 서비스 제공부(180)는, 일행 정보가 등록된 사용자 단말(700)로의 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공하는 보호 서비스를 제공할 수 있다. 이를 위해, 보호 서비스 제공부(180)는, 상기 위험 사용자 관제 이벤트에 따라, 상기 위험도 레벨이 일정 값 이상인 지역의 상기 안면 인식 사용자 정보에 대응하는 일행 사용자의 사용자 단말(700)로, 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공할 수 있다.

또한, 보호 서비스 제공부(180)는, 상기 고정형 안면 인식 장비(200)를 통해 일행 사용자 정보가 사전 등록된 경우, 상기 사전 등록된 일행 사용자 정보에 대응하는 보호자의 사용자 단말(700)로부터 제1 사용자의 추적 요청이 수신되면, 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식에 의해 안면 정보가 확인된 상기 제1 사용자의 추적 정보를 상기 보호자 단말로 제공하는 서비스를 제공할 수도 있다.

한편, 개인 정보 보안화부(170)는, 상기 복합 안면 인식된 사용자의 시설 퇴장 정보가 확인되거나, 시설 운영 종료 시점으로부터 일정 시간이 경과한 경우에, 상기 복합 안면 인식에 이용된 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보를 상기 데이터베이스부(103) 및 관련 저장 메모리 등에서 삭제 처리하는 개인 정보 보안화 처리를 수행할 수 있다.

도 3은 본 발명의 실시 예에 따른 고정형 안면 인식 장비를 보다 구체적으로 설명하기 위한 블록도이며, 도 4는 본 발명의 실시 예에 따른 퍼스널 모빌리티 장비 및 이동형 안면 인식 장비를 보다 구체적으로 도시한 블록도이다.

도 3 및 도 4를 참조하면, 본 발명의 실시 예에 따른 고정형 안면 인식 장비(200)는, 키오스크와 같은 형태로 고정형으로 배치되어, 제어부(201), 통신부(210), 촬영부(220), 안면 정보 식별부(230), 식별 정보 매칭부(240), 디스플레이부(250), 저장부(260), 체온 인식 처리부(270) 및 사용자 입력부(280)를 포함하여 구성될 수 있으며, 이동형 안면 인식 장비(400)에도 안면 정보 식별부(410) 및 체온 인식 처리부(420)가 동일하게 구성되되, 이동형 안면 인식 장비(400)가 탑재되거나 상기 이동형 안면 인식 장비(400)와 동기화되는 퍼스널 모빌리티 장비(300)는 인증부(310), 통신부(320) 및 경로 정보 관리부(330)가 더 구비될 수 있다.

도 3에 도시된 바와 같이, 고정형 안면 인식 장비(200)는, 고정형 안면 인식 장비(200)의 구성요소들을 전반적으로 제어하기 위한 하나 이상의 마이크로 프로세서를 포함하는 제어부(201)와, 네트워크와 통신하기 위한 하나 이상의 통신 모듈을 포함하는 통신부(210)를 포함하며, 안면 이미지를 촬영하는 촬영부(220)를 구비할 수 있다.

그리고, 고정형 안면 인식 장비(200)는 안면 이미지로부터 안면 정보를 식별하는 안면 정보 식별부(230)와, 식별된 안면 정보를 배치 정보와 매칭시키는 식별 정보 매칭부(240)를 포함하며, 매칭된 안면 식별 정보는 통신부(210)를 통해 복합 인식 기반 관제 서비스 제공 장치(100)로 전송될 수 있다.

나아가, 고정형 안면 인식 장비(200)는, 사용자 입력부(280) 및 디스플레이부(250)를 포함하여, 사용자 정보의 등록, 보호 요청 정보의 등록 및 시설 안내 처리 등을 수행할 수 있으며, 특히 공원등의 시설의 경우 고정형 안면 인식 장비(200)중 적어도 하나는 입구에 배치되어 입장하는 사용자의 사용자 정보를 필수적으로 등록하도록 처리할 수 있다.

또한, 고정형 안면 인식 장비(200)에는 체온 인식 처리부(270)가 더 구비되어, 최근 유행하는 COVID 19 등의 발열성 전염병등의 예방 및 관리를 수행할 수 있으며, 이에 따라 인식된 체온 정보는 상기 식별 정보에 추가적으로 매칭되어 복합 인식 기반 관제 서비스 제공 장치(100)로 전달될 수 있다.

마찬가지로, 이동형 안면 인식 장비(400)에서도 동일한 방식의 안면 정보 식별부(410)와 체온 인식 처리부(420)가 구비될 수 있으며, 이와 동기화된 퍼스널 모빌리티 장비(300)의 위치 정보가 동기화되어 상기 안면 인식 정보와 함께 복합 인식 기반 관제 서비스 제공 장치(100)로 전송될 수 있다.

또한, 퍼스널 모빌리티 장비(300)는 통상적으로 시설 안내원의 단말기이거나 특정 건물의 출입시 발열을 검사하는 안내 장비일 수 있어 보안화된 관리가 요구될 수 있다.

이에 따라, 복합 인식 기반 관제 서비스 제공 장치(100)의 퍼스널 모빌리티 관리부(125)는 상기 퍼스널 모빌리티 장비(300)의 인증정보 등록 및 경로 정보의 지정을 처리할 수 있으며, 이를 위해, 퍼스널 모빌리티 장비(300)에는 인증부(310) 및 통신부(320)가 구비되고, 경로 정보가 관리되는 경로 정보 관리부(330)가 더 구비될 수 있다. 경로 정보 관리부(330)에서는 퍼스널 모빌리티 장비(300)의 경로 정보로서, 패트롤 경로 정보 또는 패트롤 구역 범위 정보, 패트롤 지역 정보 등을 저장 및 관리할 수 있다.

도 5는 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치의 시스템 동작을 설명하기 위한 흐름도이다.

도 5를 참조하면, 먼저 복합 인식 기반 관제 서비스 제공 장치(100)는 안면 인식 장치 관리부(120)와 감시 카메라 관리부(140)를 통해, 맵 정보가 사전 등록된 서비스 대상 시설의 관리 구역별 복합 인식 장치와, 카메라 단말기(500)의 등록 및 관리를 수행한다(S101).

그리고, 복합 인식 기반 관제 서비스 제공 장치(100)는, 감시 카메라 단말기(500)의 영상 분석 결과와, 하나 이상의 고정형 안면 인식 장비(200) 및 하나 이상의 이동형 안면 인식 장비(400)로부터 복합 인식되는 사용자 인식 정보를 수집한다(S103).

이후, 복합 인식 기반 관제 서비스 제공 장치(100)는, 사용자 인식 정보와 감시 영상 정보를 복합 분석하여, 관리 구역 별 밀집도 및 위험도 레벨을 산출한다(S105).

그리고, 복합 인식 기반 관제 서비스 제공 장치(100)는, 관제 서비스 제공부(130)를 통해, 상기 밀집도 및 위험도 레벨에 대응하는 관제 서비스 정보를 퍼스널 모빌리티 장비(300)로 배포할 수 있으며(S107), 밀집도, 위험도 레벨, 사용자 인식 정보 또는 일행 요청 정보에 따른 관제 이벤트 정보가 이벤트 관리부(160)에서 검출된 경우(S109), 식별된 이벤트 각각에 대응하는 사용자 인식 추적 요청 정보를 복합 인식 장치들(200, 400)로 전달할 수 있다(S111).

이에 따라, 복합 인식 기반 관제 서비스 제공 장치(100)는, 상기 고정형 안면 인식 장비(200) 및 하나 이상의 이동형 안면 인식 장비(400)로부터 획득되는 사용자 인식 정보를 비교하여 사용자 인식 정보에 대응하는 위치 정보를 예측 추적할 수 있으며(S113), 예측 추적된 위치 정보는 예측 추적된 위치 정보에 대응하는 하나 이상의 주변 장비로 전달될 수 있다(S115). 여기서, 주변 장비는 퍼스널 모빌리티 장비(300), 관리자 단말(600), 사용자 단말(700) 등이 예시될 수 있으며, 나아가 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300)도 예시될 수 있다.

또한, 복합 인식 기반 관제 서비스 제공 장치(100)는, 사용자 인식 추적 상태에 대응하는 안내 정보를 생성하여 사용자 단말(700)로 제공할 수 있다(S117).

도 6 내지 도 8은 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치의 동작에 따라 화면상에 출력되는 그래픽 유저 인터페이스를 도시한 개념도들이며, 도 9는 본 발명의 실시 예에 따른 고정형 안면 인식 장비를 통해 일행 찾기 서비스가 제공되는 경우의 화면 인터페이스를 예시하기 위한 도면이다.

먼저 도 6 내지 도 8을 참조하면, 도 6 내지 도 8은 본 발명의 실시 예에 따른 관제 서비스 제공부(130)로부터 제공되어 관리자 단말(600) 또는 퍼스널 모빌리티 장비(300)에서 출력되는 관제 서비스 인터페이스를 도시한 것으로, 관제 서비스 인터페이스상에는 고정형 안면 인식 장비(200)의 위치 정보, 인식 내역, 퍼스널 모빌리티 장비(300)의 위치 정보, 패트롤 경로, 관리 구역, 이동형 안면 인식 장비(400)의 위치 정보, 인식 정보, 카메라 단말기(500)의 위치 정보가 각각 시설 맵 인터페이스 상에 그래픽 객체로 표시될 수 있다.

그리고, 관리자 입력에 따라 고정형 안면 인식 장비(200) 또는 이동형 안면 인식 장비(400)의 세부 인식 내역 정보가 확인될 수 있는 바, 하단에 도시된 바와 같이 인식 내역 정보는 안면 인식 사진 정보, 인식 히스토리 정보, 인식 위치 또는 배치에 대응하는 밀집도 기반 위험도 정보, 카메라 단말기(500) 및 다른 장비와의 연동에 따른 복합 인식 정보(안면, 인상착의 등), 관제 서비스 제공부(130) 연동에 따른 일행 정보, 시설 이용 정보, 동선 추적 정보 및 실종 정보와의 매칭 정보 등이 출력될 수 있다.

또한, 도 7에 도시된 바와 같이 본 발명의 실시 예에 따르면 밀집지역에 대응하는 위험도 기반의 히트맵 화면 인터페이스가 출력될 수 있으며, 해당 히트맵 지역 중 위험도가 높은 지역에 위치한 사용자들의 경우 관제 서비스 제공부(130)는 그 경로를 실시간으로 추적하여, 추적 정보를 퍼스널 모빌리티 장비(300) 또는 관리자 단말(600)등으로 제공할 수 있는 바, 관리자 또는 시설 안내자가 이를 참조하여 밀집 사고, 실종 사고 등을 예방하거나 전염병 등의 전파를 예방하게 할 수 있다.

또한, 도 8에 도시된 바와 같이, 관제 서비스 제공부(130)는 사용자의 동선 추적 정보 및 예상위치 정보를 가공하여, 관리자 단말(600) 또는 퍼스널 모빌리티 장비(300)에서 출력되는 관제 서비스 인터페이스를 통해 출력할 수 있다. 예를 들어 놀이시설 #1의 카메라 단말기(500)에서 5월 18일 13시 50분에 촬영된 사용자 #1은, 10분 후 고정형 안면 인식 장비(200)에서 제1 안면 인식 정보가 인식되었으며, 20분 후 이동형 안면 인식 장비(400)에서 제2 안면 인식 정보가 인식된 바, 관제 서비스 제공부(130)는, 카메라 단말기(500)의 위치 정보, 고정형 안면 인식 장비(200)의 배치 정보 및 이동형 안면 인식 장비(400)의 인식 위치 정보를 이용하여 사용자 #1 의 현재 예상 위치 및 동선 추적 정보를 구성하고, 사용자 #1 의 현재 예상 위치 및 동선 추적 정보를 그래픽 경로 객체로 구성하여 상기 관제 서비스 인터페이스를 통해 출력할 수 있다.

이와 같은 구성에 따라, 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치(100)는 불특정 다수가 출입하는 시설에 대하여 밀집 지역 및 위험도 관리와 사용자 추적이 동시에 가능하며, 따라서 효율적인 안면 인식 및 이와 연동되는 관제 서비스 제공이 가능하도록, 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기술을 제공하는 관제 서비스 제공 방법 및 그 장치를 제공할 수 있다.

한편, 전술한 바와 같이, 본 발명의 실시 예에 따른 다른 일 목적은, 복합 인식 기반의 관제 서비스를 통해, 다수의 사용자들 각각에 대응하는 시설 내 추적 정보 확보가 가능하게 됨에 따라, 티켓 확인에 의한 대기나, 실물 티켓의 보유 없이도 다양한 시설 및 결제 서비스 이용이 가능하게 되는 안면 인식을 이용한 시설 운영 정보에 기초한 결제 서비스 제공 방법, 결제 서비스 시스템 및 그 장치를 제공하고자 한다. 이를 해결하기 위한 방안으로, 전술한 복합 인식 기반 관제 서비스 시스템을 이용한 본 발명의 실시 예에 따른 시설 운영 서비스 제공 장치(900)가 구비되어, 복합 인식 완료된 사용자 정보의 결제 수단 정보를 매핑 처리하여 전술한 결제 서비스를 복합 안면 인식 정보를 기반으로 제공할 수 있게 한다.

이러한 본 발명의 다른 일 실시 예에에 대하여, 하기 도 9 내지 도 11을 참조하여 보다 구체적으로 서술하도록 한다.

도 9는 본 발명의 다른 일 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.

도 9를 참조하면, 본 발명의 다른 일 실시 예에 따른 전체 시스템은, 복합 인식 기반 관제 서비스 제공 장치(100), 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300), 이동형 안면 인식 단말기(400), 감시 카메라 단말기(500), 관리자 단말(600), 사용자 단말(700) 및 외부 기관 서버(800)를 포함하며, 본 발명의 다른 실시 예를 구현하기 위한 시설 운영 서비스 제공 장치(900) 및 결제 서버(950)를 더 포함할 수 있다.

먼저, 복합 인식 기반 관제 서비스 제공 장치(100)는 시설 운영 서비스 제공 장치(900)와 연동되어 하나의 서비스 제공 서버를 구성할 수 있으며, 이에 따라, 본 발명의 실시 예에 따른 시설 운영 서비스 제공 장치(900)는, 특정 제1 사용자의 복합 안면 인식 처리를 위한 인식 정보를 복합 인식 기반 관제 서비스 제공 장치(100)로부터 제공받아 본 발명의 실시 예에 따른 시설 운영 서비스 제공 및 결제 서비스 처리를 수행할 수 있다.

이와 같은 구성에 따라, 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치(100)는, 시설 운영 서비스 제공 장치(900)에 대응하여 복합 안면 인식 정보 처리를 수행하는 복합 안면 인식 정보 처리부(925)를 포함하거나, 시설 운영 서비스 제공 장치(900)의 복합 안면 인식 정보 처리부(925)를 통해 복합 안면 인식 정보를 제공할 수 있다.

이를 위한 복합 인식 처리 프로세스는 도 1 내지 도 9를 통해 설명된 바와 동일할 수 있으며, 복합 안면 인식 정보는, 상호 복합적으로 확인 완료된 제1 사용자의 제1 안면 인식 정보 및 제2 안면 인식 정보를 포함할 수 있다. 상기 복합 인식 기반 관제 서비스 제공 장치(100)는 상기 상호 복합적 확인 처리에 있어서, 상기 제1 안면 인식 정보에 매핑된 배치 정보와 상기 제2 안면 인식 정보와 동기화된 인식 위치 정보간 거리가 일정 거리 이내이고, 인식 시간이 일정 시간 이내인 경우에 상기 상호 복합적 확인 처리를 완료 처리하고, 완료된 사용자 정보 및 완료 정보를 상기 복합 인증 정보로 구성하여 상기 시설 운영 서비스 제공 장치(900)로 제공할 수 있다.

이러한 복합 인식 정보를 이용하여 본 발명의 실시 예에 따른 시설 운영 서비스 제공 장치(900)는, 제1 시설에 대응하는 고정형 안면 인식 장비(200)의 제1 안면 인식 정보와, 상기 제1 시설의 주변에 위치한 하나 이상의 이동형 안면 인식 단말기(400)의 제2 안면 인식 정보에 기초한 제1 사용자의 복합 안면 인식을 복합 인식 기반 관제 서비스 제공 장치(100)로 요청하여 처리할 수 있으며, 상기 제1 사용자의 복합 안면 인식 정보에 기초하여, 상기 제1 사용자에 대응하여 사전 등록된 결제 수단 정보를 식별하고, 상기 식별된 결제 수단 정보를 이용한 상기 제1 시설의 운영 서비스에 대응하는 결제 정보를 생성하여 결제 서버(950)로 전송 처리할 수 있다.

여기서, 상기 운영 서비스는, 상기 제1 사용자에 대응하는 상기 제1 시설의 이용료 지불 결제 서비스를 포함할 수 있으며, 시설 운영 서비스 제공 장치(900)는 각 시설별 이용료 지불 결제 서비스를 처리함에 있어서, 별도의 티켓이나 실물 결제 수단의 확인 없이도, 복합 인식 기반의 안면 인식 정보가 확인되는 경우 사전 등록된 결제 수단 정보를 이용한 결제 처리를 수행함으로써, 대기 시간이나 인적 자원의 낭비를 최소화하고 쾌적한 시설 이용을 도모할 수 있게 된다.

또한, 이러한 상기 운영 서비스는, 상기 제1 사용자를 포함하여 사전 등록된 제1 일행 정보에 대응하는 상기 제1 시설의 이용료 지불 결제 서비스를 포함할 수 있는 바, 제1 일행 그룹 정보의 복합 인식이 모두 처리되고 상기 결제 서버(950)로부터 승인 응답이 수신된 경우, 시설 운영 서비스 제공 장치(900)는 상기 제1 일행 그룹 정보에 대응하는 나머지 사용자들의 상기 제1 시설 이용 정보를 승인 처리함으로써, 여러 사용자들이 일시에 안면 인식만으로 제1 시설의 입장 및 서비스 이용이 가능하게 된다.

이러한 운영 서비스는, 상기 제1 시설에 대응하는 시설 가이드 서비스 등의 부가 서비스를 포함할 수 있으며, 나아가 상기 제1 시설에 대응하는 상기 제1 사용자의 일행 추적 관리 서비스 등의 추가적인 부가 서비스들을 포함할 수 있는 바, 이러한 부가 서비스에 대한 결제는 복합 인식 기반의 안면 인증만으로 처리될 수 있어 시설 운영 서비스 제공 장치(900)의 시설 운영이 용이하고, 인적 자원 및 인프라 비용을 절감시킬 수 있다.

한편, 결제 서버(950)는 결제 수단에 대응하는 거래 정보의 승인을 처리하고, 응답 정보를 시설 운영 서비스 제공 장치(900)로 전달하는 금융사 서버일 수 있으며, 카드사 서버, VAN 사 서버, 결제 중계 서버, 메신저 서버, 티켓 발권 서버, 이동통신사 서버 및 기타 다양한 결제 수단 정보를 처리하여 승인 응답하는 결제사 서버 등이 예시될 수 있다.

도 10은 본 발명의 다른 일 실시 예에 따른 시설 운영 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.

도 10을 참조하면, 본 발명의 실시 예에 따른 시설 운영 서비스 제공 장치(900)는, 통신부(901), 데이터베이스부(903), 제어부(905), 매핑 정보 관리부(910), 사용자 식별부(920), 결제 승인 처리부(930), 운영 서비스 처리부(940) 및 개인 정보 보안화부(950)를 포함하며, 복합 안면 인식 정보 처리부(925)를 선택적으로 포함할 수 있다.

제어부(905)는 서비스 제공 장치의 구성요소들을 전반적으로 제어하기 위한 하나 이상의 마이크로 프로세서를 포함한다.

통신부(901)는 결제 서버(950) 및 복합 인식 기반 관제 서비스 제공 장치(100)의 서비스 네트워크와 통신하기 위한 하나 이상의 통신 모듈을 포함한다.

여기서, 통신부(901)는 근거리 통신망(LAN : Local Area Network) 및 인터넷망을 통해 무선 또는 유선방식으로 접속되는 형태, USB(Universal Serial Bus)포트를 통하여 접속되는 형태, 3G, 4G, 5G와 같은 이동 통신망을 통해 접속되는 형태, NFC(Near Field Communication, RFID(Radio Frequency Identification), Wi-Fi등과 같은 근거리 무선 통신방식을 통해 접속되는 형태가 가능하다.

매핑 정보 관리부(910)는, 제1 사용자의 사용자 등록 정보와 결제 수단 정보를 매핑 관리한다. 사용자는 자신의 사용자 단말(700)을 통해, 시설 운영 서비스 제공 장치(900)에서 제공되는 서비스 네트워크에 접속하여, 복합 인식 기반 관제 서비스 제공 장치(100)에 등록된 제1 사용자의 사용자 등록 정보에 대응하는 결제 수단 정보를 등록 요청할 수 있다. 여기서, 결제 수단 정보는 예를 들어, 카드 정보, 결제 토큰 정보, 휴대폰 번호 정보 등의 결제 서버(950)에서 승인 가능한 다양한 수단 정보가 예시될 수 있다.

그리고, 매핑 정보 관리부(910)는 상기 결제 수단 정보를 복합 인식 기반 관제 서비스 제공 장치(100)에서 등록된 제1 사용자의 사용자 등록 정보와 매핑하여 데이터베이스부(903)에 저장 및 관리할 수 있다.

그리고, 복합 안면 인식 정보 처리부(925)는 시설 운영 서비스 제공 장치(900) 또는 복합 인식 기반 관제 서비스 제공 장치(100) 중 선택적으로 구비될 수 있으며, 제1 시설에 대응하는 고정형 안면 인식 장비의 제1 안면 인식 정보와, 상기 제1 시설의 주변에 위치한 하나 이상의 이동형 안면 인식 단말기의 제2 안면 인식 정보에 기초한 제1 사용자의 복합 안면 인식을 처리하여, 인식 완료된 사용자 정보 및 복합 인식 정보를 사용자 식별부(920)로 전달할 수 있다.

이에 따라, 사용자 식별부(920)는, 상기 제1 사용자의 복합 안면 인식 정보에 기초하여, 상기 제1 사용자에 대응하여 매핑 정보 관리부(910)에 사전 등록된 결제 수단 정보를 식별 처리할 수 있다.

그리고, 결제 승인 처리부(930)는 상기 식별된 결제 수단 정보를 이용한 상기 제1 시설의 운영 서비스에 대응하는 결제 정보를 생성하여 결제 서버(950)로 전송할 수 있다.

그리고, 결제 승인 처리부(930)는, 상기 결제 서버로부터 승인 응답이 수신된 경우, 운영 서비스 처리부(940)로 승인 정보를 전달하며, 운영 서비스 처리부(940)는 상기 승인 정보에 따라, 상기 제1 사용자의 상기 제1 시설 이용 정보를 승인 처리할 수 있다.

전술한 바와 같이, 상기 운영 서비스는, 상기 제1 사용자에 대응하는 상기 제1 시설의 이용료 지불 결제 서비스를 포함할 수 있다.

또한, 상기 운영 서비스는 상기 제1 사용자를 포함하여 사전 등록된 제1 일행 정보에 대응하는 상기 제1 시설의 이용료 지불 결제 서비스를 포함할 수 있는 바, 운영 서비스 처리부(940)는, 상기 결제 서버로부터 승인 응답이 수신된 경우, 상기 제1 일행 정보에 대응하는 나머지 사용자들의 상기 제1 시설 이용 정보를 승인 처리할 수 있다.

또한, 운영 서비스 처리부(940) 상기 승인 응답에 따라, 제1 시설에 대응하는 시설 가이드 서비스를 처리하거나, 상기 제1 시설에 대응하는 상기 제1 사용자의 일행 추적 관리 서비스를 처리할 수 있다.

한편, 개인 정보 보안화부(950)는, 상기 복합 안면 인식된 사용자의 상기 제1 시설 퇴장 정보가 확인되거나, 상기 제1 시설 운영 종료 시점으로부터 일정 시간이 경과한 경우, 복합 안면 인식 정보, 제1 사용자 정보 및 결제 수단 매핑 정보를 삭제 처리할 수 있다.

도 11은 본 발명의 다른 일 실시 예에 따른 시설 운영 서비스 제공 장치의 동작을 보다 구체적으로 도시한 흐름도이다.

도 11을 참조하면, 먼저 시설 운영 서비스 제공 장치(900)는, 복합 안면 인식 정보 처리부(925)를 통해, 제1 시설에 대응하는 고정형 안면 인식 장비(200)의 제1 안면 인식 정보와, 상기 제1 시설의 주변에 위치한 하나 이상의 이동형 안면 인식 단말기(400)의 제2 안면 인식 정보에 기초한 제1 사용자의 복합 안면 인식을 처리한다(S201).

그리고, 시설 운영 서비스 제공 장치(900)는, 사용자 식별부(920)를 통해, 상기 제1 사용자의 복합 안면 인식 정보에 기초하여, 상기 제1 사용자에 대응하여 매핑 정보 관리부(910)에 사전 등록된 결제 수단 정보를 식별한다(S203).

이후, 시설 운영 서비스 제공 장치(900)는, 결제 승인 처리부(930)를 통해, 상기 식별된 결제 수단 정보를 이용한 상기 제1 시설의 운영 서비스에 대응하는 결제 정보를 생성하여 결제 서버(950)로 전송한다(S205).

이후, 시설 운영 서비스 제공 장치(900)는, 결제 서버로부터 승인 응답이 수신된 경우, 운영 서비스 처리부(940)를 통해 상기 제1 사용자의 상기 제1 시설 이용 정보를 승인 처리한다(S207).

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims

시설의 관제 서비스 시스템에 있어서,
상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치되며, 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하는 하나 이상의 고정형 안면 인식 장비;
상기 시설 내 이동 경로에 따라 이동하며, 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 하나 이상의 퍼스널 모빌리티 장비; 및
상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 복합 인식 기반 관제 서비스 제공 장치를 포함하는
관제 서비스 시스템.
제1항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 장치는,
상기 제1 안면 인식 정보 및 상기 배치 정보를 매핑함에 따라 안면 정보가 확인된 제1 사용자의 제1 위치 정보로부터, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보를 매핑함에 따라 상기 안면 정보가 확인된 상기 제1 사용자의 제2 위치 정보로 연결되는 상기 제1 사용자의 이동 경로 정보를 추적하는 인식 정보 관리부를 포함하는
관제 서비스 시스템.
제1항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 장치는,
상기 고정형 안면 인식 장비, 상기 이동형 안면 인식 단말기 및 상기 시설 내 감시 영역에 배치되는 하나 이상의 감시 카메라 단말기 중 적어도 하나로부터 획득되는 영상 정보에 기초하여, 시설 내 지역별 밀집도 정보를 산출하는 밀집도 산출부를 포함하는
관제 서비스 시스템.
제3항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 장치는,
상기 밀집도 정보에 기초한 시설 위험도 레벨을 산출하고, 상기 위험도 레벨이 일정 값 이상인 지역의 안면 인식 사용자에 대응하는 위험 사용자 관제 이벤트를 검출하는 이벤트 관리부를 포함하는
관제 서비스 시스템.
제4항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 장치는,
상기 위험 사용자 관제 이벤트에 따라, 상기 위험도 레벨이 일정 값 이상인 지역의 상기 안면 인식 사용자 정보에 대응하는 일행 사용자의 사용자 단말로 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공하는 보호 서비스 제공부를 더 포함하는
관제 서비스 시스템.
제4항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 장치는,
상기 위험 사용자 관제 이벤트에 따라, 상기 위험도 레벨이 일정 값 이상인 지역의 상기 안면 인식 사용자 정보에 대응하는 퍼스널 모빌리티 장비로 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공하는 관제 서비스 제공부를 더 포함하는
관제 서비스 시스템.
제1항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 장치는,
상기 복합 안면 인식된 사용자의 시설 퇴장 정보가 확인되거나, 시설 운영 종료 시점으로부터 일정 시간이 경과한 경우, 상기 복합 안면 인식에 이용된 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보를 삭제 처리하는 개인 정보 보안화부를 더 포함하는
관제 서비스 시스템.
제1항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 장치는,
상기 고정형 안면 인식 장비를 통해 일행 사용자 정보가 사전 등록된 경우, 상기 사전 등록된 일행 사용자 정보에 대응하는 보호자 단말로부터 제1 사용자의 추적 요청이 수신되면, 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식에 의해 안면 정보가 확인된 상기 제1 사용자의 추적 정보를 상기 보호자 단말로 제공하는 보호 서비스 제공부를 더 포함하는
관제 서비스 시스템.
시설의 관제 서비스 시스템의 동작 방법에 있어서,
상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치된 하나 이상의 고정형 안면 인식 장비에서 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하는 단계;
상기 시설 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 단계; 및
상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 복합 인식 기반 관제 서비스 제공 단계를 포함하는
관제 서비스 시스템의 동작 방법.
제9항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 단계는,
상기 제1 안면 인식 정보 및 상기 배치 정보를 매핑함에 따라 안면 정보가 확인된 제1 사용자의 제1 위치 정보로부터, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보를 매핑함에 따라 상기 안면 정보가 확인된 상기 제1 사용자의 제2 위치 정보로 연결되는 상기 제1 사용자의 이동 경로 정보를 추적하는 인식 정보 관리 단계를 포함하는
관제 서비스 시스템의 동작 방법.
제9항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 단계는,
상기 고정형 안면 인식 장비, 상기 이동형 안면 인식 단말기 및 상기 시설 내 감시 영역에 배치되는 하나 이상의 감시 카메라 단말기 중 적어도 하나로부터 획득되는 영상 정보에 기초하여, 시설 내 지역별 밀집도 정보를 산출하는 밀집도 산출 단계를 포함하는
관제 서비스 시스템의 동작 방법.
제11항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 단계는,
상기 밀집도 정보에 기초한 시설 위험도 레벨을 산출하고, 상기 위험도 레벨이 일정 값 이상인 지역의 안면 인식 사용자에 대응하는 위험 사용자 관제 이벤트를 검출하는 이벤트 관리 단계를 포함하는
관제 서비스 시스템의 동작 방법.
제12항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 단계는,
상기 위험 사용자 관제 이벤트에 따라, 상기 위험도 레벨이 일정 값 이상인 지역의 상기 안면 인식 사용자 정보에 대응하는 일행 사용자의 사용자 단말로 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공하는 보호 서비스 제공단계를 더 포함하는
관제 서비스 시스템의 동작 방법.
제12항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 단계는,
상기 위험 사용자 관제 이벤트에 따라, 상기 위험도 레벨이 일정 값 이상인 지역의 상기 안면 인식 사용자 정보에 대응하는 퍼스널 모빌리티 장비로 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공하는 관제 서비스 제공 단계를 더 포함하는
관제 서비스 시스템의 동작 방법.
제9항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 단계는,
상기 복합 안면 인식된 사용자의 시설 퇴장 정보가 확인되거나, 시설 운영 종료 시점으로부터 일정 시간이 경과한 경우, 상기 복합 안면 인식에 이용된 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보를 삭제 처리하는 개인 정보 보안화 단계를 더 포함하는
관제 서비스 시스템의 동작 방법.
제9항에 있어서,
상기 복합 인식 기반 관제 서비스 제공 단계는,
상기 고정형 안면 인식 장비를 통해 일행 사용자 정보가 사전 등록된 경우, 상기 사전 등록된 일행 사용자 정보에 대응하는 보호자 단말로부터 제1 사용자의 추적 요청이 수신되면, 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식에 의해 안면 정보가 확인된 상기 제1 사용자의 추적 정보를 상기 보호자 단말로 제공하는 보호 서비스 제공 단계를 더 포함하는
관제 서비스 시스템의 동작 방법.
시설의 관제 서비스 제공 장치에 있어서,
상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치된 하나 이상의 고정형 안면 인식 장비와, 상기 시설 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기 정보를 관리하는 안면 인식 장치 관리부;
상기 하나 이상의 고정형 안면 인식 장비에서 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하며, 상기 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 인식 정보 관리부; 및
상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 관제 서비스 제공부를 포함하는
관제 서비스 제공 장치.
시설의 관제 서비스 제공 장치의 동작 방법에 있어서,
상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치된 하나 이상의 고정형 안면 인식 장비와, 상기 시설 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기 정보를 관리하는 단계;
상기 하나 이상의 고정형 안면 인식 장비에서 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하며, 상기 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 단계; 및
상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 단계를 포함하는
관제 서비스 제공 장치의 동작 방법.
시설 운영 서비스 제공 장치의 동작 방법에 있어서,
상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치된 하나 이상의 고정형 안면 인식 장비와, 상기 시설 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기 정보를 관리하고, 상기 하나 이상의 고정형 안면 인식 장비에서 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하며, 상기 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하여, 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 시설 관제 서비스 제공 장치와 연결하는 단계;
상기 시설 관제 서비스 제공 장치를 이용하여 제1 시설에 대응하는 고정형 안면 인식 장비의 제1 안면 인식 정보와, 상기 제1 시설의 주변에 위치한 하나 이상의 이동형 안면 인식 단말기의 제2 안면 인식 정보에 기초한 제1 사용자의 복합 안면 인식을 처리하는 단계;
상기 제1 사용자의 복합 안면 인식 정보에 기초하여, 상기 제1 사용자에 대응하여 사전 등록된 결제 수단 정보를 식별하는 단계; 및
상기 식별된 결제 수단 정보를 이용한 상기 제1 시설의 운영 서비스에 대응하는 결제 정보를 생성하여 결제 서버로 전송하는 단계를 포함하는
시설 운용 서비스 제공 장치의 동작 방법.
제19항에 있어서,
상기 운영 서비스는,
상기 제1 사용자를 포함하여 사전 등록된 제1 일행 정보에 대응하는 상기 제1 시설의 이용료 지불 결제 서비스를 포함하고,
상기 결제 서버로부터 승인 응답이 수신된 경우, 상기 제1 일행 정보에 대응하는 나머지 사용자들의 상기 제1 시설 이용 정보를 승인 처리하는 단계를 더 포함하는
시설 운영 서비스 제공 장치의 동작 방법.
제19항에 있어서,
상기 고정형 안면 인식 장비는, 상기 제1 시설에 대응하여 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치되며, 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하고,
상기 이동형 안면 인식 장비는, 상기 제1 시설에 대응하여 상기 시설 내 이동 경로에 따라 이동 가능하며, 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 하나 이상의 퍼스널 모빌리티 장비와 동기화되며,
상기 복합 안면 인식을 처리하는 단계는,
상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 상기 제1 사용자 정보에 대응하는 안면 정보를 확인하는 단계를 포함하는
시설 운영 서비스 제공 장치의 동작 방법.
제19항에 있어서,
상기 복합 안면 인식된 사용자의 상기 제1 시설 퇴장 정보가 확인되거나, 상기 제1 시설 운영 종료 시점으로부터 일정 시간이 경과한 경우, 상기 복합 안면 인식에 이용된 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보와, 상기 제1 사용자의 사용자 정보 및 상기 결제 수단 정보를 삭제 처리하는 단계를 더 포함하는
시설 운영 서비스 제공 장치의 동작 방법.
시설 운영 서비스 제공 장치에 있어서,
제1 사용자의 사용자 등록 정보와 결제 수단 정보를 매핑 관리하는 매핑 정보 관리부;
상기 시설 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치된 하나 이상의 고정형 안면 인식 장비와, 상기 시설 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기 정보를 관리하고, 상기 하나 이상의 고정형 안면 인식 장비에서 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하며, 상기 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하여, 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 시설 관제 서비스 제공 장치와 연동하여 복합 안면 인식을 처리하며,
제1 시설에 대응하는 고정형 안면 인식 장비의 제1 안면 인식 정보와, 상기 제1 시설의 주변에 위치한 하나 이상의 이동형 안면 인식 단말기의 제2 안면 인식 정보에 기초한 제1 사용자의 복합 안면 인식을 처리하는 복합 안면 인식 정보 처리부;
상기 제1 사용자의 복합 안면 인식 정보에 기초하여, 상기 제1 사용자에 대응하여 사전 등록된 결제 수단 정보를 식별하는 사용자 식별부; 및
상기 식별된 결제 수단 정보를 이용한 상기 제1 시설의 운영 서비스에 대응하는 결제 정보를 생성하여 결제 서버로 전송하는 결제 승인 처리부를 포함하는
시설 운영 서비스 제공 장치.
제23항에 있어서,
상기 운영 서비스는,
상기 제1 사용자를 포함하여 사전 등록된 제1 일행 정보에 대응하는 상기 제1 시설의 이용료 지불 결제 서비스를 포함하고,
상기 결제 서버로부터 승인 응답이 수신된 경우, 상기 제1 일행 정보에 대응하는 나머지 사용자들의 상기 제1 시설 이용 정보를 승인 처리하는 운영 서비스 처리부를 더 포함하는
시설 운영 서비스 제공 장치.
제23항에 있어서,
상기 운영 서비스는,
상기 제1 시설에 대응하는 시설 가이드 서비스 또는 상기 제1 사용자의 일행 추적 관리 서비스를 포함하는
시설 운영 서비스 제공 장치.
제23항에 있어서,
상기 고정형 안면 인식 장비는, 상기 제1 시설에 대응하여 사전 등록된 배치 정보에 따라 하나 이상의 고정 구역에 배치되며, 상기 고정 구역에 위치한 사용자의 제1 안면 인식 정보를 수집하고,
상기 이동형 안면 인식 장비는, 상기 제1 시설에 대응하여 상기 시설 내 이동 경로에 따라 이동 가능하며, 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 하나 이상의 퍼스널 모빌리티 장비와 동기화되며,
상기 복합 안면 인식 정보 처리부는,
상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 상기 제1 사용자 정보에 대응하는 안면 정보를 확인하는
시설 운영 서비스 제공 장치.