KR20220165339A - 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 지역 관제 서비스 제공 방법, 관제 서비스 시스템 및 그 장치 - Google Patents

고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 지역 관제 서비스 제공 방법, 관제 서비스 시스템 및 그 장치 Download PDF

Info

Publication number
KR20220165339A
KR20220165339A KR1020210073848A KR20210073848A KR20220165339A KR 20220165339 A KR20220165339 A KR 20220165339A KR 1020210073848 A KR1020210073848 A KR 1020210073848A KR 20210073848 A KR20210073848 A KR 20210073848A KR 20220165339 A KR20220165339 A KR 20220165339A
Authority
KR
South Korea
Prior art keywords
information
recognition
face recognition
user
control service
Prior art date
Application number
KR1020210073848A
Other languages
English (en)
Inventor
김인상
이태희
Original Assignee
인포뱅크 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인포뱅크 주식회사 filed Critical 인포뱅크 주식회사
Priority to KR1020210073848A priority Critical patent/KR20220165339A/ko
Publication of KR20220165339A publication Critical patent/KR20220165339A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Abstract

본 발명의 실시 예에 따른 지역의 관제 서비스 시스템은, 상기 지역 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 지역에 배치되며, 상기 고정 지역에 위치한 사용자의 제1 안면 인식 정보를 수집하는 하나 이상의 고정형 안면 인식 장비; 상기 지역 내 이동 경로에 따라 이동하며, 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 하나 이상의 퍼스널 모빌리티 장비; 및 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 지역 관제 서비스를 처리하는 복합 인식 기반 관제 서비스 제공 장치를 포함한다.

Description

고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 지역 관제 서비스 제공 방법, 관제 서비스 시스템 및 그 장치{A METHOD, A SYSTEM AND AN APPARATUS FOR PROVIDING REGION CONTROL SERVICES BASED ON COMPLEX RECOGNITION USING FIXED TYPE FACIAL RECOGNITION EQUIPMENTS AND MOBILE FACIAL RECOGNITION TERMINALS}
본 발명은 지역 관제 서비스 제공 방법 및 그 장치에 관한 것이다. 보다 구체적으로, 본 발명은 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 지역 관제 서비스 제공 방법 및 그 장치에 관한 것이다.
컴퓨터 및 다양한 멀티미디어 기술이 발전하게 되면서, 디지털 이미지를 분석하고 이용한 다양한 형태의 응용기술이 발전하게 되었으며, 이러한 것 중 하나가 인간의 홍채, 지문, 얼굴 등의 생체인식기술이라 할 수 있다.
알려진 바와 같이, 생체인식기술은 도난, 분식 등의 우려 없이 안전하게 이용할 수 있는 보안 수단으로, 이와 같이 신체의 이미지들을 정보화하는 생체인식 기술들은 신원확인, 범죄자 검색과 같은 보안 관련 분야에서 활용되는 것을 넘어서 이젠 금융 및 전자 조달 업무 등의 신원확인이 필요한 모든 분야에 활용되고 있다.
이중 안면인식은 홍채, 지문 등과 달리 별도의 사용자 동작을 요구하지 않고 카메라를 이용하여 촬영된 영상으로 수행된다는 점에서 사용자에게 거부감 없는 보안수단이라 할 수 있어서, 홍채인식, 지문인식 등 다른 생체인식들의 단점을 보완할 이상적인 차세대 출입관리시스템에서 신원확인수단으로 각광받고 있다.
이와 같은 안면인식방법은 통상적으로 얼굴의 구성요소 눈,코,입 및 안면의 에지와 안면 방향, 안면 특징 정보의 변화량 등을 이용하여 얼굴영역을 추출하여 얼굴을 인식하고 있으며, 추출된 얼굴인식정보를 등록된 데이터베이스 정보의 얼굴 정보와 매칭시켜 안면인식을 기반으로 하는 신원을 식별하도록 한다.
특히 이러한 안면 인식 기술은 보안시설이나 특별한 보호 시설에 적용되어 외부인이나 침입자를 검출되는 데 주로 활용되고 있다.
그러나, 한명 한명을 안면 인식으로 검출하여 특정 시설의 보안 및 보호지역의 출입자와 비교하는 서비스만으로는 넓은 면적에 분포되는 다수의 인구에 대한 보호로 확장하기에는 매우 어려운 측면이 있다.
예를 들어, 성남시의 면적은 141.64KM^2이며, 인구는 96만명인 바, 이러한 지역에서 다수의 사람들이 밀집할 수 있는 지역에서 발생되는 실종아동 또는 실종노인 등의 사건들을 안면 인식을 활용하여 해결하는 데에는 어려움이 있는 것이다. 이는 불특정 다수 사용자들의 이동으로 인한 과도한 인식량과, 데이터 관리 체계의 미흡, 개인정보 보호 문제 및 관제 서비스 연동 시스템 설계의 어려움 등으로 인해 발생되며, 따라서 이러한 안면인식 기술은 넓은 범위의 지역 기반 서비스에는 적극적으로 도입되지 못하고 있는 실정이다.
나아가, 최근 발생되는 다수의 실종 사고들은, 실종 후 일정 시간이 지나야만 경찰이 처리하며, 실종자가 발견되더라도 경찰에 신고, 경찰의 출동, 경찰의 수사 및 경찰의 인도까지 긴 시간이 소요됨에 따라, 긴 소요시간에 따른 방치 또는 골든타임 경과에 따른 추가 사고 발생 확률이 올라가는 문제점도 존재한다. 나아가 미성년자가 아니면 실종신고 처리가 더더욱 지연되기 때문에 치매 노인이나 지적장애인 등에 대한 대응은 더욱 늦어지는 문제점이 있다.
본 발명은 상기한 바와 같은 문제점들을 해결하고자 안출된 것으로, 불특정 다수 사용자들이 이동하는 넓은 지역에서도 효율적인 안면 인식 및 이와 연동되는 관제 서비스 제공이 가능하도록, 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기술을 적용함으로써, 안면 인식 기반의 지역 관제 서비스가 지자체 규모의 넓은 지역 내에서 신속하게 이루어지도록 지원하는 관제 서비스 제공 방법 및 그 장치를 제공하는데 그 목적이 있다.
상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 시스템은, 지역의 관제 서비스 시스템에 있어서, 상기 지역 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 지역에 배치되며, 상기 고정 지역에 위치한 사용자의 제1 안면 인식 정보를 수집하는 하나 이상의 고정형 안면 인식 장비; 상기 지역 내 이동 경로에 따라 이동하며, 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 하나 이상의 퍼스널 모빌리티 장비; 및 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 복합 인식 기반 관제 서비스 제공 장치를 포함한다.
또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 지역의 관제 서비스 시스템의 동작 방법은, 상기 지역 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 지역에 배치된 하나 이상의 고정형 안면 인식 장비에서 상기 고정 지역에 위치한 사용자의 제1 안면 인식 정보를 수집하는 단계; 상기 지역 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 단계; 및 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 복합 인식 기반 관제 서비스 제공 단계를 포함한다.
또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 지역의 관제 서비스 제공 장치는, 상기 지역 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 지역에 배치된 하나 이상의 고정형 안면 인식 장비와, 상기 지역 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기 정보를 관리하는 안면 인식 장치 관리부; 상기 하나 이상의 고정형 안면 인식 장비에서 상기 고정 지역에 위치한 사용자의 제1 안면 인식 정보를 수집하며, 상기 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 인식 정보 관리부; 및 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 관제 서비스 제공부를 포함한다.
그리고, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은 지역의 관제 서비스 제공 장치의 동작 방법에 있어서, 상기 지역 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 지역에 배치된 하나 이상의 고정형 안면 인식 장비와, 상기 지역 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기 정보를 관리하는 단계; 상기 하나 이상의 고정형 안면 인식 장비에서 상기 고정 지역에 위치한 사용자의 제1 안면 인식 정보를 수집하며, 상기 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 단계; 및 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 단계를 포함한다.
한편, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은 상기 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 판독가능한 매체에 저장되는 컴퓨터프로그램 및 상기 프로그램이 저장된 기록 매체로 구현될 수 있다.
본 발명의 실시 예에 따르면, 상기 지역 내 사전 등록된 고정형 안면 인식 장비의 제1 안면 인식 정보 및 배치 정보와, 상기 지역 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기의 제2 안면 인인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 안면 인식 기반의 지역 관제 서비스를 효율적이고 신속히 제공할 수 있다.
이에 따라, 본 발명의 실시 예에 따르면 로, 불특정 다수 사용자들이 이동하는 넓은 지역에서도 효율적인 안면 인식 및 이와 연동되는 관제 서비스 제공이 가능하도록, 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기술을 적용함으로써, 안면 인식 기반의 지역 관제 서비스가 지자체 규모의 넓은 지역 내에서 신속하게 이루어지도록 지원하는 관제 서비스 제공 방법 및 그 장치를 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치를 보다 구체적으로 설명하기 위한 블록도이다.
도 3은 본 발명의 실시 예에 따른 고정형 안면 인식 장비를 보다 구체적으로 설명하기 위한 블록도이며, 도 4는 본 발명의 실시 예에 따른 퍼스널 모빌리티 장비 및 이동형 안면 인식 장비를 보다 구체적으로 도시한 블록도이다.
도 5는 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치의 시스템 동작을 설명하기 위한 흐름도이다.
도 6 내지 도 8은 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치의 동작에 따라 화면상에 출력되는 그래픽 유저 인터페이스를 도시한 개념도들이다.
도 9는 본 발명의 실시 예에 따른 ƒƒ일은 보호대상자 발견시의 복합 인식 기반 관제 서비스 제공 장치의 동작을 설명하기 위한 흐름도이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블록도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 전체 시스템은, 복합 인식 기반 관제 서비스 제공 장치(100), 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300), 이동형 안면 인식 단말기(400), 감시 카메라 단말기(500), 관리자 단말(600), 사용자 단말(700) 및 외부 기관 서버(800)를 포함한다.
상기 전체 시스템은, 유무선 인터넷망을 포함하는 통신 네트워크를 통해 각각 상호 연결될 수 있다. 또한, 복합 인식 기반 관제 서비스 제공 장치(100), 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300), 이동형 안면 인식 단말기(400) 및 감시 카메라 단말기(500) 간에는 각 통신을 보안 연결하는 네트워크가 구성될 수 있다.
그리고, 각 복합 인식 기반 관제 서비스 제공 장치(100), 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300), 이동형 안면 인식 단말기(400), 감시 카메라 단말기(500), 관리자 단말(600), 사용자 단말(700) 및 외부 기관 서버(800)들은 상기 통신 네트워크에 접속하여 데이터를 송수신하기 위한 통신 모듈을 각각 구비할 수 있다.
통신 네트워크는 예를 들어, 개방형 인터넷, 폐쇄형 인트라넷을 포함한 유선 인터넷망, 이동 통신망과 연동된 무선 인터넷 통신망, TCP(Transmission Control Protocol)/IP(Internet Protocol), UDP(User Datagram Protocol)과 같은 프로토콜 기반의 데이터 통신을 포함하여 각종 데이터 통신이 가능한 컴퓨터 네트워크 등이 예시될 수 있다.
본 발명의 실시 예에 따른 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300), 이동형 안면 인식 단말기(400) 및 감시 카메라 단말기(500)는, 복합 인식 기반 관제 서비스 제공 장치(100)에 사전 등록된 서비스 대상 지역별로 구비될 수 있다.
여기서, 서비스 대상 지역은, 관리자 단말(600)의 지역 정보 등록 요청에 따라 결정될 수 있으며, 특히 불특정 다수의 사용자 단말(700) 사용자들이 밀집 이동하는 지하철 주변, 공공시설 주변 등의 보안 및 사용자 추적이 용이하지 않은 오픈형 지역들이 예시될 수 있다. 이러한 서비스 대상 지역은 예를 들어 지자체 기관에서 정의된 지역들이거나, 경찰 서버에서 관리되는 관할 경찰서 지역 정보를 포함할 수도 있다.
그리고, 서비스 대상 지역 내 위치한 지역 정보, 고정형 안면 인식 장비(200)의 배치 정보 및 이동형 안면 인식 단말기(400)의 위치 정보가 복합 인식 기반 관제 서비스 제공 장치(100)에 등록될 수 있으며, 위치 정보는 주소 정보, 좌표 정보, 위도 정보, 경도 정보 또는 GPS 정보 등의 형태로 저장 및 관리될 수 있다.
또한, 복합 인식 기반 관제 서비스 제공 장치(100)는 지역 내 이동하는 사용자들의 사용자 단말(700) 정보 및 상기 사용자 단말(700)에 대응하는 안면 인식 등록 정보를 저장 및 관리할 수 있다. 여기서, 상기 안면 인식 등록 정보는 고정형 안면 인식 장비(200)에서 촬영된 이미지로부터 각 사용자별 얼굴 인식 처리에 따라 등록될 수 있으며, 복수의 사용자들이 하나의 촬영 이미지에서 검출된 경우, 상기 복수의 사용자들은 제1 일행 그룹으로 처리되어, 이에 할당된 제1 일행 식별 정보에 매핑 관리될 수 있다.
이러한 서비스 대상 지역의 지역 관리 영역에는 상기 지역 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 지역에 배치되며, 상기 고정 지역에 위치한 사용자의 제1 안면 인식 정보를 수집하는 상기 하나 이상의 고정형 안면 인식 장비(200)가 구비될 수 있다.
그리고, 지역 관리 영역에는 상기 지역 내 이동 경로에 따라 이동하며, 상기 이동형 안면 인식 단말기(400)로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 하나 이상의 퍼스널 모빌리티 장비(300)가 구비될 수 있다.
여기서, 퍼스널 모빌리티 장비(300)는, 지역 내를 사전 결정된 경로 등에 따라 이동하거나, 사전 설정된 특정 지역 범위 내에서 이동하면서 상기 제2 안면 인식 정보를 수집하기 위한 이동형 안면 인식 단말기(400)의 조작을 수행하는 지역 안내자의 이동형 관리 장비일 수 있으며, 예를 들어 태블릿, 컴퓨터, 휴대폰, 스마트폰 등의 이동통신 기기이거나, 이동 수단이 탑재된 지역 내 카트, 차량, 바이시클, 자율주행 장비 등이 예시될 수 있다.
이에 따라, 퍼스널 모빌리티 장비(300) 및 이동형 안면 인식 단말기(400)는 지역 내에 사전 설정된 경로 또는 범위 내에서 하나의 위치 정보에 동기화되어 이동될 수 있으며, 이동형 안면 인식 단말기(400)에서 상기 제2 안면 인식 정보가 검출되는 경우 퍼스널 모빌리티 장비(300) 및 이동형 안면 인식 단말기(400)의 위치 정보 중 적어도 하나가 상기 인식 위치 정보로서 상기 제2 안면 인식 정보에 매핑될 수 있다.
한편, 감시 카메라 단말기(500)는, CCTV 등과 같은 통상의 감시 카메라 단말기일 수 있으며, 감시 카메라 단말기(500)는 영상 분석 기능을 탑재하여, 객체 검출, 밀집도 검출, 관제 이벤트 검출 등의 검출 정보를 복합 인식 기반 관제 서비스 제공 장치(100)로 전송할 수 있다.
예를 들어, 감시 카메라 단말기(500)는, 감시 카메라 단말기(500)가 위치한 지역의 감시 영상 정보를 로컬 분석하고, 로컬 분석에 따른 감시 영상 분석 정보와 수집한 감시 영상 정보를 복합 인식 기반 관제 서비스 제공 장치(100)로 전달한다. 여기서, 상기 로컬 분석 정보는 감시 영상정보로부터 사전 설정된 움직임 정보의 발생 정보를 포함할 수 있다. 예를 들어, 영상 정보의 프레임들로부터 침입자의 이동이 감지되거나, 특정 객체의 배회 이동이 감지되거나, 복수 객체의 군집이 감지되거나, 특정 물체의 투기 및 방치가 감지되거나, 특정 사람의 쓰러짐 등이 감지되는 경우, 감시 카메라 단말기(500)는 로컬 분석 정보로서 분류하고 관련 메타데이터를 생성 및 저장하며, 이를 복합 인식 기반 관제 서비스 제공 장치(100)로 전송할 수 있다.
한편, 복합 인식 기반 관제 서비스 제공 장치(100)는, 상기 고정형 안면 인식 장비(200)와 상기 퍼스널 모빌리티 장비(300) 및 감시 카메라 단말기(500)를 관리하며, 상기 하나 이상의 고정형 안면 인식 장비(200)에서 상기 고정 지역에 위치한 사용자의 제1 안면 인식 정보를 수집하고, 상기 이동형 안면 인식 단말기(400)로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하며, 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 복합 인식 기반 관제 서비스 제공 프로세스를 수행할 수 있다.
이러한 복합 인식 기반 관제 서비스 제공 프로세스는, 상기 제1 안면 인식 정보 및 상기 배치 정보를 매핑함에 따라 안면 정보가 확인된 제1 사용자의 제1 위치 정보로부터, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보를 매핑함에 따라 상기 안면 정보가 확인된 상기 제1 사용자의 제2 위치 정보로 연결되는 상기 제1 사용자의 이동 경로 정보를 추적하는 인식 정보 관리 프로세스를 포함할 수 있으며, 이러한 고정형 안면 인식 장비(200) 및 이동형 안면 인식 단말기(400)의 복합 인식 처리를 통해, 불특정 다수가 이동하는 지역이라 하더라도 특정 사용자의 위치 또는 이벤트 발생을 용이하게 검출할 수 있으며, 관련 지역 안내자의 이동이나 관제 안내, 신고 등을 즉각적으로 수행할 수 있게 되는 안면 인식 기반의 지역 관제 시스템을 용이하게 구축할 수 있다.
특히, 복합 인식 기반 관제 서비스 제공 장치(100)는 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300) 및 감시 카메라 단말기(500)의 영상 정보를 바탕으로 밀집 지역의 위험도 분석을 수행할 수도 있으며, 이러한 분석에 따라 미아가 발생하거나, 치매 노인 등이 길을 잃거나 하는 등의 이벤트 발생시에도 지역 내 제1 사용자의 복합 안면 인식 기반 경로 추적 프로세스를 기반으로, 일행에 대한 신속한 알림 및 지역 안내자의 탐색 가이드 등을 제공할 수 있다.
또한, 예를 들어, 복합 인식 기반 관제 서비스 제공 장치(100)는, 고정형 안면 인식 장비(200)의 제1 안면 인식 정보 및 배치 정보와, 상기 이동형 안면 인식 단말기(400)의 제2 안면 인식 정보 및 인식 위치 정보를 이용하여, 상기 감시 카메라 단말기(500)의 감시 영상 정보 중 주요 영상 정보를 분류할 수 있으며, 상기 주요 영상 정보에 대응하는 복장 정보, 인상 착의 정보, 키 정보, 나이 정보 등의 심층 분석을 수행함으로써, 이벤트 정보를 정확히 식별하고, 이벤트 정보에 대응하는 긴급 상황 정보를 결정할 수 있다.
여기서, 심층 분석 알고리즘은 다른 안면 인식 정보 및 감시 영상 정보간의 학습에 의해 구축된 감시 영상 학습모델에 기반한 객체 분석 알고리즘과, 단색상 영상 기반 객체 검출 알고리즘과, 해상도 예측 향상 알고리즘 등이 예시될 수 있다.
나아가, 복합 인식 기반 관제 서비스 제공 장치(100)는, 복합 안면 인식 프,로세스 기반의 사용자 추적 정보를 포함하는 관제 서비스 정보를 사전 등록된 일행의 사용자 단말(700) 또는 지역의 관리자 단말(600)로 제공할 수 있으며, 지역 안내자의 퍼스널 모빌리티 장비(300)로도 제공할 수 있고, 특정 이벤트 조건이 충족된 경우에는 외부 기관 서버(800)로 전달되어 관계기관 신고, 증거 수집, 객체 추적 등의 다양한 서비스 제공에 이용될 수 있으며, 이는 앞서 설명한 불특정 다수 이용지역의 안면 인식 시스템 구축의 어려움을 극복하고, 실시간적인 처리와 사용자 추적 기반 부가 서비스를 가능하게 하며, 사고 발생이나 실종 등으로 인한 사회적 비용을 절감시킬 수 있는 복합 인식 기반 관제 서비스 시스템 및 그 동작방법을 제공할 수 있게 한다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 서비스 제공 장치는, 통신부(101), 데이터베이스부(103), 제어부(105), 사용자 정보 관리부(110), 안면 인식 장치 관리부(120), 퍼스널 모빌리티 관리부(125), 관제 서비스 제공부(130), 감시 카메라 관리부(140), 지역 정보 관리부(145), 인식 정보 관리부(150), 밀집도 산출부(155), 이벤트 관리부(160), 개인 정보 보안화부(170) 및 보호 서비스 제공부(180)를 포함한다.
제어부(105)는 서비스 제공 장치의 구성요소들을 전반적으로 제어하기 위한 하나 이상의 마이크로 프로세서를 포함한다.
통신부(105)는 보안 서비스 네트워크와 통신하기 위한 하나 이상의 통신 모듈을 포함한다.
여기서, 통신부(105)는 근거리 통신망(LAN : Local Area Network) 및 인터넷망을 통해 무선 또는 유선방식으로 접속되는 형태, USB(Universal Serial Bus)포트를 통하여 접속되는 형태, 3G, 4G, 5G와 같은 이동 통신망을 통해 접속되는 형태, NFC(Near Field Communication, RFID(Radio Frequency Identification), Wi-Fi등과 같은 근거리 무선 통신방식을 통해 접속되는 형태가 가능하다.
사용자 정보 관리부(110)는, 고정형 안면 인식 장비(200) 또는 사용자 단말(700)로부터 복합 인식 기반 관제 서비스 제공을 위한 사용자 등록 정보를 수신할 수 있다. 여기서 사용자 등록 정보는 고정형 안면 인식 장비(200)를 통해 인식된 안면 등록 이미지 정보를 포함할 수 있으며, 특정 그룹의 복수의 사용자가 등록되는 경우 상기 복수의 사용자들은 특정 그룹에 대응하는 일행 식별 정보에 매핑되어 저장 및 관리될 수 있다.
데이터베이스부(103)는, 상기 사용자 등록 정보에 따른 사용자 정보를 등록 처리하며, 등록된 사용자 정보에 대응하는 서비스 대상 지역 등록, 안면 등록 이미지 정보 저장 및 관리, 고정형 안면 인식 장비(200), 이동형 안면 인식 장비(400), 퍼스널 모빌리티 장비(300), 감시 카메라 단말기(500) 및 지역 정보와 같은 다양한 정보 등록, 저장 및 관리 처리를 수행할 수 있다.
여기서, 서비스 대상 지역 정보는 지역 정보 관리부(145)에서 관리자 단말(600)에 대응하여 등록 및 관리될 수 있으며, 예를 들어, 불특정 다수가 밀집하여 이동하는 특정 공공시설 주변, 공원, 지하철 주변, 교차로 주변 등의 특정 범위 지역, 경찰 관할 지역 등이 예시될 수 있고, 서비스 대상 지역에 대응하는 위치 범위 정보, 건물 위치 정보 등이 데이터베이스부(103)에 등록될 수 있으며, 이러한 위치 정보는 주소 정보, 좌표 정보, 위도 정보, 경도 정보 또는 GPS 정보 등의 형태로 저장 및 관리될 수 있다.
한편, 안면 인식 장치 관리부(120)는, 상기 지역 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 지역에 배치된 하나 이상의 고정형 안면 인식 장비(200)와, 상기 지역 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비(300)의 이동형 안면 인식 장비(400)의 단말기 정보 또는 위치 정보를 저장 및 관리할 수 있다.
그리고, 퍼스널 모빌리티 관리부(125)는, 상기 퍼스널 모빌리티 장비(300)의 장치 정보 및 위치 정보를 저장 및 관리할 수 있다. 그리고, 퍼스널 모빌리티 관리부(125)는, 상기 퍼스널 모빌리티 장비(300)를 통해 수신되는 관제 정보 또는 이벤트 정보를 검출하여 관제 서비스 제공부(130)로 전달하거나, 보호 서비스 제공부(180)로 전달할 수 있고, 반대로 관제 서비스 제공부(130)의 서비스 정보 또는 보호 서비스 제공부(180)의 서비스 정보를 상기 퍼스널 모빌리티 장비(300)로 전달할 수도 있다.
한편, 감시 카메라 관리부(140)는, 감시 카메라 단말기(500)로부터 수신되는 감시 영상 정보 및 로컬 분석 정보를 획득하거나, 심층 분석을 수행하여 수행 결과를 이벤트 관리부(160)로 전달한다.
전술한 바와 같이, 감시 카메라 단말기(500)는, 감시 영상정보로부터 사전 설정된 움직임 정보의 발생 정보를 로컬 분석 정보로서 획득하여, 이벤트 관리부(160)로 전송할 수 있다. 영상 정보의 프레임들로부터 침입자의 이동이 감지되거나, 특정 객체의 배회 이동이 감지되거나, 복수 객체의 군집이 감지되거나, 특정 물체의 투기 및 방치가 감지되거나, 특정 사람의 쓰러짐 등이 감지되는 경우, 감시 카메라 단말기(500)는, 로컬 분석 정보로서 분류하고 관련 메타데이터를 생성 및 저장하며, 감시 카메라 관리부(140)로 전달할 수 있다.
그리고, 밀집도 산출부(155)는, 상기 고정형 안면 인식 장비(200), 상기 이동형 안면 인식 단말기(400) 및 상기 지역 내 감시 영역에 배치되는 하나 이상의 감시 카메라 단말기(500) 중 적어도 하나로부터 획득되는 영상 정보에 기초하여, 지역 내 지역별 밀집도 정보를 산출할 수 있다. 이는 각 인식 장비 및 카메라 영상 분석에 기초하여 산출될 수 있으며, 특정 지역 범위 내에서 안면 인식된 사용자가 많을수록, 그리고 이동 객체가 많이 인식될수록 상기 밀집도는 높게 산출될 수 있다.
또한, 이벤트 관리부(160)는 상기 감시 카메라 관리부(140)에서 확인되는 로컬 분석 정보와, 상기 밀집도 산출부(155)의 밀집도에 따른 위험도 레벨 및 인식 정보 관리부(150)에서 인식되는 상기 고정형 안면 인식 장비(200) 및 이동형 안면 인식 장비(400)의 복합 인식 정보 중 적어도 하나에 기초하여, 관제 이벤트 정보를 검출할 수 있으며, 검출된 관제 이벤트 정보는 관제 서비스 제공부(130)로 전달될 수 있다.
보다 구체적으로, 인식 정보 관리부(150)는, 고정형 안면 인식 장비(200)에서 수집된 상기 제1 안면 인식 정보 및 상기 배치 정보와, 이동형 안면 인식 장비(400)에서 수집된 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 확인된 안면 정보를 사용자 정보 관리부(110)에서 등록된 사용자 등록 정보와 매칭시켜 저장 및 관리할 수 있다.
그리고, 인식 정보 관리부(150)는, 사용자 등록 정보와 안면 정보의 매칭이 확인된 하나 이상의 사용자 정보를 관제 서비스 제공부(130)로 전달하여, 이에 대응하는 관제 서비스가 처리되도록 한다.
이에 따라, 관제 서비스 제공부(130)는, 복합 안면 인식에 의해 안면 정보가 확인된 사용자의 추적 정보와, 이벤트 관리부(160)의 이벤트 정보를 이용한 다양한 관제 서비스를 제공할 수 있는 바, 이는 실종자 추적 서비스, 위험구역 관리 서비스, 밀집 사고 예방 서비스, 범법자 검출 서비스, 감염예상자 동선 추적 서비스 등이 예시될 수 있다.
예를 들어, 관제 서비스 제공부(130)는, 이벤트 관리부(160)에서 상기 밀집도 정보에 기초한 지역 위험도 레벨을 산출하고, 상기 위험도 레벨이 일정 값 이상인 지역의 안면 인식 사용자에 대응하는 위험 사용자 관제 이벤트를 검출하면, 상기 위험 사용자 관제 이벤트에 따라, 상기 위험도 레벨이 일정 값 이상인 지역의 상기 안면 인식 사용자 정보에 대응하는 퍼스널 모빌리티 장비(300)로 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공하는 관제 서비스 프로세스를 수행할 수 있다.
또한, 보호 서비스 제공부(180)는, 일행 정보가 등록된 사용자 단말(700)로의 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공하는 보호 서비스를 제공할 수 있다. 이를 위해, 보호 서비스 제공부(180)는, 상기 위험 사용자 관제 이벤트에 따라, 상기 위험도 레벨이 일정 값 이상인 지역의 상기 안면 인식 사용자 정보에 대응하는 일행 사용자의 사용자 단말(700)로, 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공할 수 있다.
또한, 보호 서비스 제공부(180)는, 상기 고정형 안면 인식 장비(200)를 통해 일행 사용자 정보가 사전 등록된 경우, 상기 사전 등록된 일행 사용자 정보에 대응하는 보호자의 사용자 단말(700)로부터 제1 사용자의 추적 요청이 수신되면, 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식에 의해 안면 정보가 확인된 상기 제1 사용자의 추적 정보를 상기 보호자 단말로 제공하는 서비스를 제공할 수도 있다.
한편, 개인 정보 보안화부(170)는, 상기 복합 안면 인식된 사용자의 보호자 인도 정보가 확인되거나, 인식 시점으로부터 일정 시간이 경과한 경우에, 상기 복합 안면 인식에 이용된 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보를 상기 데이터베이스부(103) 및 관련 저장 메모리 등에서 삭제 처리하는 개인 정보 보안화 처리를 수행할 수 있다.
도 3은 본 발명의 실시 예에 따른 고정형 안면 인식 장비를 보다 구체적으로 설명하기 위한 블록도이며, 도 4는 본 발명의 실시 예에 따른 퍼스널 모빌리티 장비 및 이동형 안면 인식 장비를 보다 구체적으로 도시한 블록도이다.
도 3 및 도 4를 참조하면, 본 발명의 실시 예에 따른 고정형 안면 인식 장비(200)는, 키오스크와 같은 형태로 고정형으로 배치되어, 제어부(201), 통신부(210), 촬영부(220), 안면 정보 식별부(230), 식별 정보 매칭부(240), 디스플레이부(250), 저장부(260), 체온 인식 처리부(270) 및 사용자 입력부(280)를 포함하여 구성될 수 있으며, 이동형 안면 인식 장비(400)에도 안면 정보 식별부(410) 및 체온 인식 처리부(420)가 동일하게 구성되되, 이동형 안면 인식 장비(400)가 탑재되거나 상기 이동형 안면 인식 장비(400)와 동기화되는 퍼스널 모빌리티 장비(300)는 인증부(310), 통신부(320) 및 경로 정보 관리부(330)가 더 구비될 수 있다.
도 3에 도시된 바와 같이, 고정형 안면 인식 장비(200)는, 고정형 안면 인식 장비(200)의 구성요소들을 전반적으로 제어하기 위한 하나 이상의 마이크로 프로세서를 포함하는 제어부(201)와, 네트워크와 통신하기 위한 하나 이상의 통신 모듈을 포함하는 통신부(210)를 포함하며, 안면 이미지를 촬영하는 촬영부(220)를 구비할 수 있다.
그리고, 고정형 안면 인식 장비(200)는 안면 이미지로부터 안면 정보를 식별하는 안면 정보 식별부(230)와, 식별된 안면 정보를 배치 정보와 매칭시키는 식별 정보 매칭부(240)를 포함하며, 매칭된 안면 식별 정보는 통신부(210)를 통해 복합 인식 기반 관제 서비스 제공 장치(100)로 전송될 수 있다.
나아가, 고정형 안면 인식 장비(200)는, 사용자 입력부(280) 및 디스플레이부(250)를 포함하여, 사용자 정보의 등록, 보호 요청 정보의 등록 및 지역 안내 처리 등을 수행할 수 있으며, 특히 공원등의 관심지역의 경우 고정형 안면 인식 장비(200)중 적어도 하나는 입구 또는 출구 등에 배치되어 지역 내에서 이동하는 사용자의 사용자 정보를 필수적으로 등록하도록 처리할 수 있다.
또한, 고정형 안면 인식 장비(200)에는 체온 인식 처리부(270)가 더 구비되어, 최근 유행하는 COVID 19 등의 발열성 전염병등의 예방 및 관리를 수행할 수 있으며, 이에 따라 인식된 체온 정보는 상기 식별 정보에 추가적으로 매칭되어 복합 인식 기반 관제 서비스 제공 장치(100)로 전달될 수 있다.
마찬가지로, 이동형 안면 인식 장비(400)에서도 동일한 방식의 안면 정보 식별부(410)와 체온 인식 처리부(420)가 구비될 수 있으며, 이와 동기화된 퍼스널 모빌리티 장비(300)의 위치 정보가 동기화되어 상기 안면 인식 정보와 함께 복합 인식 기반 관제 서비스 제공 장치(100)로 전송될 수 있다.
또한, 퍼스널 모빌리티 장비(300)는 통상적으로 지역 안내원의 단말기이거나, 경찰의 단말기이거나, 특정 지역의 입장시 발열을 검사하는 안내 장비일 수 있어 보안화된 관리가 요구될 수 있다.
이에 따라, 복합 인식 기반 관제 서비스 제공 장치(100)의 퍼스널 모빌리티 관리부(125)는 상기 퍼스널 모빌리티 장비(300)의 인증정보 등록 및 경로 정보의 지정을 처리할 수 있으며, 이를 위해, 퍼스널 모빌리티 장비(300)에는 인증부(310) 및 통신부(320)가 구비되고, 경로 정보가 관리되는 경로 정보 관리부(330)가 더 구비될 수 있다. 경로 정보 관리부(330)에서는 퍼스널 모빌리티 장비(300)의 경로 정보로서, 패트롤 경로 정보 또는 패트롤 구역 범위 정보, 패트롤 지역 정보 등을 저장 및 관리할 수 있다.
도 5는 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치의 시스템 동작을 설명하기 위한 흐름도이다.
도 5를 참조하면, 먼저 복합 인식 기반 관제 서비스 제공 장치(100)는 안면 인식 장치 관리부(120)와 감시 카메라 관리부(140)를 통해, 맵 정보가 사전 등록된 서비스 대상 지역의 관리 구역별 복합 인식 장치와, 카메라 단말기(500)의 등록 및 관리를 수행한다(S101).
그리고, 복합 인식 기반 관제 서비스 제공 장치(100)는, 감시 카메라 단말기(500)의 영상 분석 결과와, 하나 이상의 고정형 안면 인식 장비(200) 및 하나 이상의 이동형 안면 인식 장비(400)로부터 복합 인식되는 사용자 인식 정보를 수집한다(S103).
이후, 복합 인식 기반 관제 서비스 제공 장치(100)는, 사용자 인식 정보와 감시 영상 정보를 복합 분석하여, 관리 구역 별 밀집도 및 위험도 레벨을 산출한다(S105).
그리고, 복합 인식 기반 관제 서비스 제공 장치(100)는, 관제 서비스 제공부(130)를 통해, 상기 밀집도 및 위험도 레벨에 대응하는 관제 서비스 정보를 퍼스널 모빌리티 장비(300)로 배포할 수 있으며(S107), 밀집도, 위험도 레벨, 사용자 인식 정보 또는 일행 요청 정보에 따른 관제 이벤트 정보가 이벤트 관리부(160)에서 검출된 경우(S109), 식별된 이벤트 각각에 대응하는 사용자 인식 추적 요청 정보를 복합 인식 장치들(200, 400)로 전달할 수 있다(S111).
이에 따라, 복합 인식 기반 관제 서비스 제공 장치(100)는, 상기 고정형 안면 인식 장비(200) 및 하나 이상의 이동형 안면 인식 장비(400)로부터 획득되는 사용자 인식 정보를 비교하여 사용자 인식 정보에 대응하는 위치 정보를 예측 추적할 수 있으며(S113), 예측 추적된 위치 정보는 예측 추적된 위치 정보에 대응하는 하나 이상의 주변 장비로 전달될 수 있다(S115). 여기서, 주변 장비는 퍼스널 모빌리티 장비(300), 관리자 단말(600), 사용자 단말(700) 등이 예시될 수 있으며, 나아가 고정형 안면 인식 장비(200), 퍼스널 모빌리티 장비(300)도 예시될 수 있다.
또한, 복합 인식 기반 관제 서비스 제공 장치(100)는, 사용자 인식 추적 상태에 대응하는 안내 정보를 생성하여 사용자 단말(700)로 제공할 수 있다(S117).
도 6 내지 도 8은 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치의 동작에 따라 화면상에 출력되는 그래픽 유저 인터페이스를 도시한 개념도들이며, 도 9는 본 발명의 실시 예에 따른 고정형 안면 인식 장비를 통해 일행 찾기 서비스가 제공되는 경우의 화면 인터페이스를 예시하기 위한 도면이다.
먼저 도 6 내지 도 8을 참조하면, 도 6 내지 도 8은 본 발명의 실시 예에 따른 관제 서비스 제공부(130)로부터 제공되어 관리자 단말(600) 또는 퍼스널 모빌리티 장비(300)에서 출력되는 관제 서비스 인터페이스를 도시한 것으로, 관제 서비스 인터페이스상에는 고정형 안면 인식 장비(200)의 위치 정보, 인식 내역, 퍼스널 모빌리티 장비(300)의 위치 정보, 패트롤 경로, 관리 구역, 이동형 안면 인식 장비(400)의 위치 정보, 인식 정보, 카메라 단말기(500)의 위치 정보가 각각 지역 맵 인터페이스 상에 그래픽 객체로 표시될 수 있다.
그리고, 관리자 입력에 따라 고정형 안면 인식 장비(200) 또는 이동형 안면 인식 장비(400)의 세부 인식 내역 정보가 확인될 수 있는 바, 하단에 도시된 바와 같이 인식 내역 정보는 안면 인식 사진 정보, 인식 히스토리 정보, 인식 위치 또는 배치에 대응하는 밀집도 기반 위험도 정보, 카메라 단말기(500) 및 다른 장비와의 연동에 따른 복합 인식 정보(안면, 인상착의 등), 관제 서비스 제공부(130) 연동에 따른 일행 정보, 지역 CCTV 정보, 동선 추적 정보 및 실종 정보와의 매칭 정보 등이 출력될 수 있다.
또한, 도 7에 도시된 바와 같이 본 발명의 실시 예에 따르면 밀집지역에 대응하는 위험도 기반의 히트맵 화면 인터페이스가 출력될 수 있으며, 해당 히트맵 지역 중 위험도가 높은 지역에 위치한 사용자들의 경우 관제 서비스 제공부(130)는 그 경로를 실시간으로 추적하여, 추적 정보를 퍼스널 모빌리티 장비(300) 또는 관리자 단말(600)등으로 제공할 수 있는 바, 관리자 또는 지역 안내자가 이를 참조하여 밀집 사고, 실종 사고 등을 예방하거나 전염병 등의 전파를 예방하게 할 수 있다.
또한, 도 8에 도시된 바와 같이, 관제 서비스 제공부(130)는 사용자의 동선 추적 정보 및 예상위치 정보를 가공하여, 관리자 단말(600) 또는 퍼스널 모빌리티 장비(300)에서 출력되는 관제 서비스 인터페이스를 통해 출력할 수 있다. 예를 들어 관심지역 #1의 카메라 단말기(500)에서 5월 18일 13시 50분에 촬영된 사용자 #1은, 10분 후 고정형 안면 인식 장비(200)에서 제1 안면 인식 정보가 인식되었으며, 20분 후 이동형 안면 인식 장비(400)에서 제2 안면 인식 정보가 인식된 바, 관제 서비스 제공부(130)는, 카메라 단말기(500)의 위치 정보, 고정형 안면 인식 장비(200)의 배치 정보 및 이동형 안면 인식 장비(400)의 인식 위치 정보를 이용하여 사용자 #1 의 현재 예상 위치 및 동선 추적 정보를 구성하고, 사용자 #1 의 현재 예상 위치 및 동선 추적 정보를 그래픽 경로 객체로 구성하여 상기 관제 서비스 인터페이스를 통해 출력할 수 있다.
이와 같은 구성에 따라, 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치(100)는 불특정 다수가 이동하는 지역에 대하여 밀집 지역 및 위험도 관리와 사용자 추적이 동시에 가능하며, 따라서 효율적인 안면 인식 및 이와 연동되는 관제 서비스 제공이 가능하도록, 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기술을 제공하는 관제 서비스 제공 방법 및 그 장치를 제공할 수 있다.
도 9는 본 발명의 실시 예에 따른 ƒƒ일은 보호대상자 발견시의 복합 인식 기반 관제 서비스 제공 장치의 동작을 설명하기 위한 흐름도이다.
도 9를 참조하면, 본 발명의 실시 예에 따른 복합 인식 기반 관제 서비스 제공 장치(100)는 보호대상자의 안면 정보 및 보호자 단말 정보를 사전 등록 처리한다(S201).
통상적으로 보호대상자 등록 정보는 보호대상자의 안면 정보, 보호자 정보, 보호자 단말 정보, 약관 동의 정보 등이 예시될 수 있으며, 보호대상자는 아동 또는 치매 노인 등이 예시될 수 있다.
이에 따라, ƒƒ일은 보호대상자가 발생되면, 발견자는 경찰, 보건소, 우체국, 소방서 등의 주변 공공기관으로 인도할 수 있으며, 해당 기관 주변 또는 해당 기관에 위치한 고정형 안면 인식 장비(200) 또는 이동형 안면 인식 단말기(400)를 통해 안면 인식 정보가 인식되도록 하는 것이 바람직하다.
이에 따라, 복합 인식 기반 관제 서비스 제공 장치(100)는 감시 카메라 단말기(500)의 영상 분석 결과와, 하나 이상의 고정형 안면 인식 단말기(200) 및 하나 이상의 이동형 안면 인식 단말기(400)로부터 복합 인식되는 사용자 인식 정보를 수집한다(S203).
그리고, 복합 인식 기반 관제 서비스 제공 장치(100)는 발견자가 인도한 길잃은 보호대상자의 사용자 인식 정보가 보호대상자 안면 인식 정보에 대응하는지 확인하며(S205), 사전 등록된 보호대상자인지 판단한다(S207).
사전 등록된 보호대상자인 경우, 복합 인식 기반 관제 서비스 제공 장치(100)는 사전 등록된 보호대상자에 대응하는 보호자 단말로 위치 확인 정보 및 위치 예측 정보를 제공한다(S209).
그리고, 사전 등록된 보호대상자가 아닌 미등록 보호대상자인 경우, 복합 인식 기반 관제 서비스 제공 장치(100)는 서비스 지역에 대응하는 관할 기관 서버로 신고 정보를 전송한다(S211).
여기서, 미등록 보호대상자에 대응하는 신고 정보는 복합 안면 인식 정보, 인식 위치 정보, 보호대상자가 제공한 이름 정보, 전화 연결 정보 등이 예시될 수 있다.
이와 같은 처리에 따라, 복합 인식 기반 관제 서비스 제공 장치(100)는, 보호대상자가 등록되면, 고정형 안면 인식 장비(200) 및 이동형 안면 인식 장비(400)를 이용한 복합 인식 처리를 통해, 특정 지역에서 길잃은 미아나 치매노인, 지적장애인 등이 별도의 조건 없이도 쉽게 보호자를 찾을 수 있도록 하는 서비스를 안면 인식 기반으로 신속하게 제공할 수 있으며, 등록되지 않은 보호대상자라 하더라도 관제 서비스로의 연결을 통해 외부 기관으로 인식 정보를 포함하는 신고 정보를 제공함으로써 실종 사고를 사전에 방지할 수 있는 효과를 가져올 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (18)

  1. 지역의 관제 서비스 시스템에 있어서,
    상기 지역 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 지역에 배치되며, 상기 고정 지역에 위치한 사용자의 제1 안면 인식 정보를 수집하는 하나 이상의 고정형 안면 인식 장비;
    상기 지역 내 이동 경로에 따라 이동하며, 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 하나 이상의 퍼스널 모빌리티 장비; 및
    상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 지역 관제 서비스를 처리하는 복합 인식 기반 관제 서비스 제공 장치를 포함하는
    관제 서비스 시스템.
  2. 제1항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 장치는,
    상기 제1 안면 인식 정보 및 상기 배치 정보를 매핑함에 따라 안면 정보가 확인된 제1 사용자의 제1 위치 정보로부터, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보를 매핑함에 따라 상기 안면 정보가 확인된 상기 제1 사용자의 제2 위치 정보로 연결되는 상기 제1 사용자의 이동 경로 정보를 추적하는 인식 정보 관리부를 포함하는
    관제 서비스 시스템.
  3. 제1항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 장치는,
    상기 고정형 안면 인식 장비, 상기 이동형 안면 인식 단말기 및 상기 지역 내 감시 영역에 배치되는 하나 이상의 감시 카메라 단말기 중 적어도 하나로부터 획득되는 영상 정보에 기초하여, 지역 내 지역별 밀집도 정보를 산출하는 밀집도 산출부를 포함하는
    관제 서비스 시스템.
  4. 제3항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 장치는,
    상기 밀집도 정보에 기초한 지역 위험도 레벨을 산출하고, 상기 위험도 레벨이 일정 값 이상인 지역의 안면 인식 사용자에 대응하는 위험 사용자 관제 이벤트를 검출하는 이벤트 관리부를 포함하는
    관제 서비스 시스템.
  5. 제4항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 장치는,
    상기 위험 사용자 관제 이벤트에 따라, 상기 위험도 레벨이 일정 값 이상인 지역의 상기 안면 인식 사용자 정보에 대응하는 보호자 사용자의 사용자 단말로 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공하는 보호 서비스 제공부를 더 포함하는
    관제 서비스 시스템.
  6. 제4항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 장치는,
    상기 위험 사용자 관제 이벤트에 따라, 상기 위험도 레벨이 일정 값 이상인 지역의 상기 안면 인식 사용자 정보에 대응하는 퍼스널 모빌리티 장비로 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공하는 관제 서비스 제공부를 더 포함하는
    관제 서비스 시스템.
  7. 제1항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 장치는,
    상기 복합 안면 인식된 사용자의 보호자 인도 정보가 확인되거나, 인식 시점으로부터 일정 시간이 경과한 경우, 상기 복합 안면 인식에 이용된 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보를 삭제 처리하는 개인 정보 보안화부를 더 포함하는
    관제 서비스 시스템.
  8. 제1항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 장치는,
    상기 고정형 안면 인식 장비를 통해 일행 사용자 정보가 사전 등록된 경우, 상기 사전 등록된 일행 사용자 정보에 대응하는 보호자 단말로부터 제1 사용자의 추적 요청이 수신되면, 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식에 의해 안면 정보가 확인된 상기 제1 사용자의 추적 정보를 상기 보호자 단말로 제공하는 보호 서비스 제공부를 더 포함하는
    관제 서비스 시스템.
  9. 지역의 관제 서비스 시스템의 동작 방법에 있어서,
    상기 지역 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 지역에 배치된 하나 이상의 고정형 안면 인식 장비에서 상기 고정 지역에 위치한 사용자의 제1 안면 인식 정보를 수집하는 단계;
    상기 지역 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 단계; 및
    상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 복합 인식 기반 관제 서비스 제공 단계를 포함하는
    관제 서비스 시스템의 동작 방법.
  10. 제9항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 단계는,
    상기 제1 안면 인식 정보 및 상기 배치 정보를 매핑함에 따라 안면 정보가 확인된 제1 사용자의 제1 위치 정보로부터, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보를 매핑함에 따라 상기 안면 정보가 확인된 상기 제1 사용자의 제2 위치 정보로 연결되는 상기 제1 사용자의 이동 경로 정보를 추적하는 인식 정보 관리 단계를 포함하는
    관제 서비스 시스템의 동작 방법.
  11. 제9항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 단계는,
    상기 고정형 안면 인식 장비, 상기 이동형 안면 인식 단말기 및 상기 지역 내 감시 영역에 배치되는 하나 이상의 감시 카메라 단말기 중 적어도 하나로부터 획득되는 영상 정보에 기초하여, 지역 내 지역별 밀집도 정보를 산출하는 밀집도 산출 단계를 포함하는
    관제 서비스 시스템의 동작 방법.
  12. 제11항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 단계는,
    상기 밀집도 정보에 기초한 지역 위험도 레벨을 산출하고, 상기 위험도 레벨이 일정 값 이상인 지역의 안면 인식 사용자에 대응하는 위험 사용자 관제 이벤트를 검출하는 이벤트 관리 단계를 포함하는
    관제 서비스 시스템의 동작 방법.
  13. 제12항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 단계는,
    상기 위험 사용자 관제 이벤트에 따라, 상기 위험도 레벨이 일정 값 이상인 지역의 상기 안면 인식 사용자 정보에 대응하는 일행 사용자의 사용자 단말로 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공하는 보호 서비스 제공단계를 더 포함하는
    관제 서비스 시스템의 동작 방법.
  14. 제12항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 단계는,
    상기 위험 사용자 관제 이벤트에 따라, 상기 위험도 레벨이 일정 값 이상인 지역의 상기 안면 인식 사용자 정보에 대응하는 퍼스널 모빌리티 장비로 상기 안면 인식 사용자 정보 및 이동 경로 추적 정보를 제공하는 관제 서비스 제공 단계를 더 포함하는
    관제 서비스 시스템의 동작 방법.
  15. 제9항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 단계는,
    상기 복합 안면 인식된 사용자의 지역 퇴장 정보가 확인되거나, 지역 운영 종료 시점으로부터 일정 시간이 경과한 경우, 상기 복합 안면 인식에 이용된 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보를 삭제 처리하는 개인 정보 보안화 단계를 더 포함하는
    관제 서비스 시스템의 동작 방법.
  16. 제9항에 있어서,
    상기 복합 인식 기반 관제 서비스 제공 단계는,
    상기 고정형 안면 인식 장비를 통해 일행 사용자 정보가 사전 등록된 경우, 상기 사전 등록된 일행 사용자 정보에 대응하는 보호자 단말로부터 제1 사용자의 추적 요청이 수신되면, 상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식에 의해 안면 정보가 확인된 상기 제1 사용자의 추적 정보를 상기 보호자 단말로 제공하는 보호 서비스 제공 단계를 더 포함하는
    관제 서비스 시스템의 동작 방법.
  17. 지역의 관제 서비스 제공 장치에 있어서,
    상기 지역 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 지역에 배치된 하나 이상의 고정형 안면 인식 장비와, 상기 지역 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기 정보를 관리하는 안면 인식 장치 관리부;
    상기 하나 이상의 고정형 안면 인식 장비에서 상기 고정 지역에 위치한 사용자의 제1 안면 인식 정보를 수집하며, 상기 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 인식 정보 관리부; 및
    상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 관제 서비스 제공부를 포함하는
    관제 서비스 제공 장치.
  18. 지역의 관제 서비스 제공 장치의 동작 방법에 있어서,
    상기 지역 내 사전 등록된 배치 정보에 따라 하나 이상의 고정 지역에 배치된 하나 이상의 고정형 안면 인식 장비와, 상기 지역 내 이동 경로에 따라 이동하는 하나 이상의 퍼스널 모빌리티 장비의 이동형 안면 인식 단말기 정보를 관리하는 단계;
    상기 하나 이상의 고정형 안면 인식 장비에서 상기 고정 지역에 위치한 사용자의 제1 안면 인식 정보를 수집하며, 상기 이동형 안면 인식 단말기로부터 인식되는 사용자의 제2 안면 인식 정보 및 상기 제2 안면 인식 정보에 대응하는 인식 위치 정보를 수집하는 단계; 및
    상기 제1 안면 인식 정보 및 상기 배치 정보와, 상기 제2 안면 인식 정보 및 상기 인식 위치 정보에 기초한 복합 안면 인식을 처리하여, 안면 정보가 확인된 하나 이상의 사용자 정보에 대응하는 관제 서비스를 처리하는 단계를 포함하는
    관제 서비스 제공 장치의 동작 방법.
KR1020210073848A 2021-06-08 2021-06-08 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 지역 관제 서비스 제공 방법, 관제 서비스 시스템 및 그 장치 KR20220165339A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210073848A KR20220165339A (ko) 2021-06-08 2021-06-08 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 지역 관제 서비스 제공 방법, 관제 서비스 시스템 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210073848A KR20220165339A (ko) 2021-06-08 2021-06-08 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 지역 관제 서비스 제공 방법, 관제 서비스 시스템 및 그 장치

Publications (1)

Publication Number Publication Date
KR20220165339A true KR20220165339A (ko) 2022-12-15

Family

ID=84439365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210073848A KR20220165339A (ko) 2021-06-08 2021-06-08 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 지역 관제 서비스 제공 방법, 관제 서비스 시스템 및 그 장치

Country Status (1)

Country Link
KR (1) KR20220165339A (ko)

Similar Documents

Publication Publication Date Title
US11157778B2 (en) Image analysis system, image analysis method, and storage medium
US10824713B2 (en) Spatiotemporal authentication
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
JP6977328B2 (ja) 顔認証装置、人物追跡システム、人物追跡方法、および、人物追跡プログラム
CN112258718A (zh) 一种人体测温及人员识别方法和系统
US20210374426A1 (en) Occupancy control apparatus
Garibotto et al. White paper on industrial applications of computer vision and pattern recognition
KR102328199B1 (ko) 추적 가능한 비식별화 방법, 장치 및 시스템
JP5730000B2 (ja) 顔照合システム、顔照合装置及び顔照合方法
CN114999222B (zh) 异常举动通知装置、通知系统、通知方法以及记录介质
Bebortta et al. An intelligent spatial stream processing framework for digital forensics amid the COVID-19 outbreak
KR20220165339A (ko) 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 지역 관제 서비스 제공 방법, 관제 서비스 시스템 및 그 장치
JP2019159377A (ja) 監視システム、サーバ装置、監視方法、及び監視プログラム
KR20230158984A (ko) 사진속 인물의 안면 인식 기반 찾기 서비스 제공 방법
KR20220165338A (ko) 고정형 안면 인식 장비와 이동형 안면 인식 단말을 이용한 복합 인식 기반의 시설 관제 서비스 제공 방법, 관제 서비스 시스템 및 그 장치
KR20220064213A (ko) 보안 감시 장치의 동작 프로그램
JP6968248B1 (ja) 画像解析通報システム、画解析通報プログラム及び画像解析通報方法
KR102397839B1 (ko) Ai 영상 자율 센서의 영상 분석 기반 캡션 센서 장치 및 그 동작 방법
KR102420151B1 (ko) 집합적 인지 추적 기반의 모바일 온디맨드 cctv 시스템
US20230386259A1 (en) System and method for safe, private, and automated detection and reporting of domestic abuse
KR20220031266A (ko) 감시장비의 감시정보와 보안 관제 상담 정보의 기계학습을 이용한 능동형 보안관제 서비스 제공 장치
KR20220031258A (ko) 상담 이벤트에 대응되는 학습 데이터 기반 능동형 보안관제 서비스 제공 방법
KR20220031316A (ko) 능동형 보안 관제 서비스 제공 프로그램이 기록된 기록매체
KR20220031327A (ko) 능동형 보안 관제 상담 대응 학습 데이터를 구축 프로그램 기록매체
KR20220031310A (ko) 능동형 보안 관제 서비스 제공 프로그램