KR20210121678A - 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템 - Google Patents

Abstract

본 발명은 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템에 관한 것으로, 실화상 센서 및 열화상 센서를 통해 특정 주변의 영상 데이터 및 온도 데이터를 각각 획득하며, 각 획득된 영상 데이터 및 온도 데이터를 기반으로 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출 및 전송하는 얼굴/발열감지 카메라 장치와, 통신망을 통해 얼굴/발열감지 카메라 장치로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 제공받아 이를 기반으로 영상 압축데이터를 원래의 영상으로 복원하고, 얼굴감지 위치 및 크기 정보에 따른 복원된 영상에서 얼굴 이미지를 획득하며, 획득된 얼굴 이미지에서 추출된 랜드마크 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 얼굴 DB를 통해 추출된 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 추출하며, 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력하는 네트워크 비디오 녹화장치를 포함함으로써, 사람의 얼굴을 정확하게 인식함과 아울러 인식된 얼굴에 대한 발열 상태를 신속하게 확인할 수 있는 효과가 있다.

Description

얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템{OBSERVATION NETWORK SYSTEM USING FACE RECOGNITION AND HEAT DETECTION}

본 발명은 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템에 관한 것이다.

일반적으로, 전염성 질병을 가진 환자 또는 감염자가 사람들이 많이 모이는 공공장소나 대형 건축물에서 자유롭게 통행을 하게 되면, 해당 질병을 다른 사람에게 전염시킬 수 있고, 특히, 광범위하게 질병을 퍼뜨릴 수 있다. 따라서, 이러한 감염자들은 조기에 대중과 격리 조취를 취하여, 여러 사람에게 전염될 가능성을 차단시켜야 한다.

최근에는 호흡기성 전염병이 새롭게 발생하여, 광범위하게 사람들에게 감염시킬 수 있는 위험 상황들이 자주 발생된다. 예를 들어, 사스(SARS, 중증 급성 호흡기 증후군), 신종플루, 에볼라, 메르스, 코로나19 등 신종 전염병들이 자주 발생하고 있다.

그러나, 이러한 전염병들은 감기 등 통상의 질병과 유사한 증상을 나타내기 때문에, 감염자 자신도 전염성 질병이 확진되기 전까지는 감염 사실 자체를 알기 어렵다. 따라서, 사람들이 많이 모이는 공공장소 등에서 이러한 감염자들이 통행하는지를 신속하게 확인하여 추가적인 검사나 격리조치를 취할 필요가 있다.

대부분 이러한 전염성 질병들은 열을 동반하게 되어, 심한 열을 가진 사람들은 1차적으로 해당 질병 의심자로 판단할 수 있고, 정밀 검사를 통해 감염 여부를 판단할 수 있다. 즉, 체온을 측정하여 1차적인 의심자를 판단할 수 있다.

체온은 신체 내부의 온도를 말한다. 체온은 신체의 부위에 따라 매우 차이가 있지만, 인간의 정상 체온은 겨드랑이 온도로 36.9℃라고 하며, 소아는 성인보다 약간 높고, 노인은 낮은 경향이 있다. 체온의 고온 상태는 저온 상채보다 심각한 상황을 야기한다.

체온은 성인의 경우 약 37℃가 정상체온이나, 약 41℃에서는 경련과 고통을 유발하며, 43.3℃는 생명 유지의 최대 한계점이다. 또한, 체온 27℃이하에서도 생명을 유지할 수 없다.

가장 정확하게 체온을 측정하는 방법은 항문에서 약 6cm 이상 들어간 곳에서 측정한 직장의 온도를 측정하는 것이다. 그러나, 측정 방법이 너무 복잡하기 때문에, 일반적으로 귀속 온도를 측정한다. 그러나, 공항 등 공공장소에서는 불특정 다수의 사람들이 통해하기 때문에, 모든 통행자들을 대상으로 일일이 귀속 온도를 측정하여 체온을 검사하기 위해서는 많은 인력이 소요되고, 통행자들에게 불편함을 초래한다는 문제점이 있다.

또한, 국제 경기대회나 국제 행사를 치룰 경우 선수나 관계자 중에 각 나라별로 유행하고 있는 심각한 유행성 질병(예컨대, 에볼라, 사스, 신종플루, 독감, 코라나19 등)에 걸린 열병환자를 빠르고 편리한 방법으로 검역할 수 있어야 한다, 특히, 선수촌이나 회의장 등 관계자만 출입이 통제되는 공간에서는 대부분 통행증 등 신분 확인이 가능한 사람들이 통행한다. 따라서, 통행자의 신분을 확인하여, 해당 통행자의 체온을 모니터링하고, 사후 문제가 발생될 경우 전염 경로 등을 추적할 수 있어야 한다.

또한, 공항이나 공공장소 등 불특정 다수의 사람들이 통행하는 곳에서, 최소한 통행자의 얼굴 등을 기록하여, 차후 문제가 발생할 경우 전염 경로 등을 추적할 수 있어야 한다.

국내 등록특허 제10-1420200호(2014.07.21. 공고)

본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 얼굴/발열감지 카메라 장치에 구비된 실화상 센서 및 열화상 센서를 통해 특정 주변에 대한 실화상의 영상 데이터와 열화상의 온도 데이터를 동시에 획득하고, 획득된 영상 데이터와 온도 데이터를 기반으로 사람의 얼굴을 정확하게 인식함과 아울러 인식된 얼굴에 대한 발열 상태를 신속하게 확인할 수 있도록 한 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템을 제공하는데 있다.

전술한 목적을 달성하기 위하여 본 발명의 일 측면은, 실내 또는 실외의 지정된 장소에 설치되고, 실화상 센서 및 열화상 센서를 통해 특정 주변의 영상 데이터 및 온도 데이터를 각각 획득하며, 각 획득된 영상 데이터 및 온도 데이터를 기반으로 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출 및 전송하는 얼굴/발열감지 카메라 장치; 및 통신망을 통해 상기 얼굴/발열감지 카메라 장치로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 제공받아 이를 기반으로 영상 압축데이터를 원래의 영상으로 복원하고, 얼굴감지 위치 및 크기 정보에 따른 복원된 영상에서 얼굴 이미지를 획득하며, 획득된 얼굴 이미지에서 추출된 랜드마크 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 얼굴 DB를 통해 추출된 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 추출하며, 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력하는 네트워크 비디오 녹화장치를 포함하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템을 제공하는 것이다.

여기서, 상기 얼굴/발열감지 카메라 장치는, 실화상 센서를 통해 특정 주변의 영상 데이터를 획득하는 영상획득모듈; 상기 영상획득모듈로부터 획득된 영상 데이터를 압축하여 영상 압축데이터를 출력하는 영상압축모듈; 열화상 센서를 통해 특정 주변의 온도 데이터를 획득하는 열화상획득모듈; 상기 영상획득모듈 및 상기 열화상획득모듈로부터 각각 획득된 영상 데이터 및 온도 데이터를 제공받아 딥러닝 기반의 영상 및 데이터 처리를 통해 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출하는 얼굴/발열 감지모듈; 및 상기 영상압축모듈로부터 출력된 영상 압축데이터를 비롯하여 상기 얼굴/발열 감지모듈로부터 추출된 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 상기 통신망을 통해 상기 네트워크 비디오 녹화장치로 전송하는 네트워크 처리모듈을 포함함이 바람직하다.

바람직하게, 상기 얼굴/발열 감지모듈로부터 추출된 해당 얼굴감지 위치에 대한 온도 데이터의 온도 값이 기 설정된 기준 온도 값 이상일 경우, 기 설정된 얼굴 영역 및 온도 값에 따른 알람신호를 생성하여 상기 네트워크 처리모듈을 통해 상기 네트워크 비디오 녹화장치로 전송하는 알람생성모듈이 더 포함될 수 있다.

바람직하게, 상기 네트워크 비디오 녹화장치는, 상기 알람생성모듈로부터 전송된 알람신호를 제공받아 해당 관리자가 기 설정된 얼굴 영역 및 온도 값에 따른 알람신호를 시각적 또는 청각적으로 확인할 수 있도록 별도의 영상출력모듈 또는 음성출력모듈을 통해 출력되도록 제어할 수 있다.

바람직하게, 상기 네트워크 비디오 녹화장치는, 상기 통신망을 통해 상기 얼굴/발열감지 카메라 장치로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 수신 받는 네트워크 수신모듈; 상기 네트워크 수신모듈로부터 수신된 영상 압축데이터를 원래의 영상으로 복원하는 실화상 복원모듈; 상기 네트워크 수신모듈로부터 수신된 얼굴감지 위치 및 크기 정보에 따라 상기 실화상 복원모듈로부터 복원된 영상에서 얼굴 이미지를 획득하는 얼굴감지 처리모듈; 얼굴영상 특징별로 얼굴 분류 및 얼굴 ID 정보를 데이터베이스(DB)화하여 저장 및 관리하는 얼굴 DB; 상기 얼굴감지 처리모듈로부터 획득된 얼굴 이미지를 제공받아 딥러닝 기반의 영상 및 데이터 처리를 통해 획득된 얼굴 이미지에서 랜드마크 정보를 추출하고, 추출된 랜드마크 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 상기 얼굴 DB를 통해 추출된 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 검색 및 추출하는 얼굴인식 처리모듈; 상기 실화상 복원모듈로부터 복원된 영상에 상기 얼굴인식 처리모듈로부터 추출된 얼굴 ID 정보 및 해당 얼굴감지 위치에 대한 온도 정보를 합성하는 영상합성모듈; 및 상기 영상합성모듈로부터 합성된 영상데이터를 디스플레이 화면에 출력하는 영상출력모듈을 포함할 수 있다.

바람직하게, 상기 네트워크 수신모듈로부터 수신된 영상 압축데이터, 얼굴감지 위치 및 크기 정보와 함께 해당 얼굴감지 위치에 대한 온도 정보, 상기 얼굴인식 처리모듈로부터 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 영상합성모듈로부터 합성된 영상 정보 중 적어도 하나의 정보를 데이터베이스(DB)화하여 저장 및 관리하는 저장모듈이 더 포함될 수 있다.

바람직하게, 상기 네트워크 수신모듈로부터 수신된 영상 압축데이터, 상기 얼굴인식 처리모듈로부터 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 영상합성모듈로부터 합성된 영상 정보 중 적어도 하나의 정보를 상기 통신망을 통해 외부의 단말 또는 서버로 전송하는 네트워크 송신모듈이 더 포함될 수 있다.

바람직하게, 상기 네트워크 송신모듈은, 상기 얼굴인식 처리모듈을 통해 얼굴 DB에서 상기 추출된 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보가 존재하지 않을 경우, 상기 얼굴인식 처리모듈로부터 상기 얼굴 DB에 존재하지 않는 얼굴 분류에 대한 얼굴영상 특징 정보를 제공받아 상기 통신망을 통해 상기 외부의 단말 또는 서버로 전송할 수 있다.

바람직하게, 별도의 사용자 입력모듈을 통해 입력된 얼굴 ID 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색, 복원된 영상의 검색 또는 재생이 가능하도록 제어하는 제어모듈이 더 포함될 수 있다.

바람직하게, 별도의 사용자 입력모듈을 통해 입력된 온도 정보를 이용하여 해당 온도에 대응되는 복원된 영상의 검색 또는 재생이 가능하도록 제어하는 제어모듈이 더 포함될 수 있다.

바람직하게, 상기 통신망을 통해 상기 얼굴/발열감지 카메라 장치와 연결되며, 상기 얼굴/발열감지 카메라 장치로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 제공받아 이를 기반으로 영상 압축데이터를 원래의 영상으로 복원하고, 얼굴감지 위치 및 크기 정보에 따른 복원된 영상에서 얼굴 이미지를 획득하며, 획득된 얼굴 이미지에서 추출된 랜드마크 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 별도의 얼굴분류 DB를 통해 추출된 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 추출하며, 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력하는 중앙관제서버가 더 포함될 수 있다.

바람직하게, 상기 중앙관제서버는, 별도의 사용자 입력모듈을 통해 입력된 얼굴 ID 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색, 복원된 영상의 검색 또는 재생이 가능하도록 서비스를 제공할 수 있다.

바람직하게, 상기 중앙관제서버는, 상기 얼굴/발열감지 카메라 장치로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 정보를 별도의 얼굴정보 DB에 저장 및 관리되도록 서비스를 제공할 수 있다.

바람직하게, 상기 통신망을 통해 상기 네트워크 비디오 녹화장치와 연결되며, 상기 네트워크 비디오 녹화장치로부터 상기 얼굴 DB에 존재하지 않는 얼굴 분류에 대한 얼굴영상 특징 정보를 제공받아 이를 기반으로 별도의 얼굴분류 DB를 통해 상기 얼굴 DB에 존재하지 않는 얼굴 분류에 대한 얼굴 ID 정보를 추출하며, 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력하는 중앙관제서버가 더 포함될 수 있다.

바람직하게, 상기 중앙관제서버는, 별도의 사용자 입력모듈을 통해 입력된 얼굴 ID 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색, 상기 복원된 영상의 검색 또는 재생이 가능하도록 서비스를 제공할 수 있다.

바람직하게, 상기 중앙관제서버는, 적어도 하나의 클라이언트 단말의 요청에 응답해서 클라우드 컴퓨팅 서비스를 제공할 수 있다.

바람직하게, 각 클라이언트 단말은, 상기 중앙관제서버의 클라이언트 회원 로그인 클라우드 웹서비스를 이용하여, 상기 중앙관제서버의 얼굴정보 DB에 저장된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 실시간으로 검색 및 디스플레이 화면에 표시할 수 있다.

바람직하게, 상기 중앙관제서버는, 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 상기 얼굴정보 DB에 저장할 경우, 대칭 또는 비대칭 암호화 방식을 이용하여 상기 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 암호화하여 저장함과 아울러 상기 암호화된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 복호화할 수 있는 복호화 키가 상기 클라이언트 단말로 전송되도록 서비스를 제공할 수 있다.

바람직하게, 상기 클라이언트 단말은, 해당 클라이언트 회원 로그인 정보와 함께 상기 중앙관제서버로부터 전송된 복호화 키를 이용하여 상기 중앙관제서버의 얼굴정보 DB에 암호화되어 저장된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 복호화하고 이를 실시간으로 검색 및 디스플레이 화면에 표시할 수 있다.

이상에서 설명한 바와 같은 본 발명의 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템에 따르면, 얼굴/발열감지 카메라 장치에 구비된 실화상 센서 및 열화상 센서를 통해 특정 주변에 대한 실화상의 영상 데이터와 열화상의 온도 데이터를 동시에 획득하고, 획득된 영상 데이터와 온도 데이터를 기반으로 사람의 얼굴을 정확하게 인식함과 아울러 인식된 얼굴에 대한 발열 상태를 신속하게 확인할 수 있는 이점이 있다.

도 1은 본 발명의 일 실시예에 따른 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템을 설명하기 위한 전체적인 블록 구성도이다.
도 2는 본 발명의 일 실시예에 적용된 얼굴/발열감지 카메라 장치를 설명하기 위한 구체적인 블록 구성도이다.
도 3은 본 발명의 일 실시예에 적용된 네트워크 비디오 녹화장치를 설명하기 위한 구체적인 블록 구성도이다.
도 4는 본 발명의 일 실시예에 적용된 네트워크 비디오 녹화장치의 디스플레이 화면에 표시된 합성 영상을 나타낸 도면이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

도 1은 본 발명의 일 실시예에 따른 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템을 설명하기 위한 전체적인 블록 구성도이고, 도 2는 본 발명의 일 실시예에 적용된 얼굴/발열감지 카메라 장치를 설명하기 위한 구체적인 블록 구성도이며, 도 3은 본 발명의 일 실시예에 적용된 네트워크 비디오 녹화장치를 설명하기 위한 구체적인 블록 구성도이며, 도 4는 본 발명의 일 실시예에 적용된 네트워크 비디오 녹화장치의 디스플레이 화면에 표시된 합성 영상을 나타낸 도면이다.

도 1 내지 도 4를 참조하면, 본 발명의 일 실시예에 따른 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템은, 크게 적어도 하나의 얼굴/발열감지 카메라 장치(100-1 내지 100-N)와 통신망(10)을 통해 연결된 네트워크 비디오 녹화장치(200) 등을 포함하여 구성되어 있다. 또한, 본 발명의 일 실시예에 따른 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템은 추가적으로 중앙관제서버(300)를 더 포함할 수도 있다. 한편, 도 1 내지 도 4에 도시된 구성요소들이 필수적인 것은 아니어서, 본 발명의 일 실시예에 따른 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템은 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수도 있다.

이하, 본 발명의 일 실시예에 따른 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템의 구성요소들에 대해 구체적으로 살펴보면 다음과 같다.

각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)는 실내 및/또는 실외의 지정된 장소에 설치되어 있으며, 적어도 하나의 실화상 센서 및 열화상 센서를 통해 특정 주변의 영상 데이터 및 온도 데이터를 각각 동시에 획득하는 기능을 수행한다.

또한, 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)는 각 획득된 영상 데이터 및 온도 데이터를 기반으로 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출 및 전송하는 기능을 수행한다.

이러한 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)는 도 2에 도시된 바와 같이, 크게 영상획득모듈(110), 영상압축모듈(120), 열화상획득모듈(130), 얼굴/발열 감지모듈(140), 네트워크 처리모듈(150), 및 전원공급모듈(160) 등을 포함하여 이루어진다. 또한, 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)는 추가적으로 알람생성모듈(170)을 더 포함할 수도 있다. 한편, 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 본 발명의 일 실시예에 적용된 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)는 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수도 있다.

이하, 본 발명의 일 실시예에 적용된 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)의 구성요소들에 대해 구체적으로 살펴보면 다음과 같다.

영상획득모듈(110)은 적어도 하나의 실화상 센서를 통해 특정 주변의 영상 데이터를 획득하는 기능을 수행한다.

이러한 영상획득모듈(110)은 어두운 곳에서도 촬영이 가능한 적외선(IR) 카메라 또는 고체촬상소자(Charge Coupled Device, CCD) 카메라 등을 포함하여 이루어짐이 바람직하지만, 이에 국한하지 않으며, 통상의 PC 카메라의 일종으로 현재 가장 일반적으로 사용되고 있는 USB(Universal Serial Bus) 카메라, 연속적인 동영상을 촬영할 수 있는 통상의 비디오 카메라(Video Camera), 특정 장소의 영상을 촬영할 수 있는 카메라 또는 장치(예컨대, IP 카메라, CCTV 등)라면 어느 것이든 가능하다.

이때, 상기 고체촬상소자(CCD) 카메라는 광학부와 고체촬상소자(CCD)와 이를 구동하는 구동부로 구성되며, 상기 광학부를 통해 상기 고체촬상소자(CCD)에 입력된 비트맵 데이터를 획득한다. 상기 비트맵 데이터는 정지 영상의 이미지 데이터와 동영상 데이터를 모두 포함할 수 있다.

그리고, 상기 USB 카메라는 기본적으로 카메라와, 인터페이스부와, USB 호스트 등으로 구성되어 있으며, 상기 카메라와 인터페이스부의 사이에는 복수개의 앤드포인트(Endpoint)들이 구성되며, 그들 중 하나는 스냅 샷 전용 앤드포인트로 사용되고 다른 하나는 화상 전용 앤드포인트로 사용된다.

상기 카메라는 입력 화상을 디지탈 데이터로 처리하여 상기 인터페이스부로 출력되고, 상기 인터페이스부는 앤드포인트를 통해 입력되는 디지탈 데이터를 USB 표준 사양에 맞게 변환시켜 상기 USB 호스트로 전송하며, 상기 USB 호스트는 전달된 디지탈 데이터를 자신의 모니터에 디스플레이 하거나 화상 통신을 위해 상대방 USB 호스트로 전송하는 기능을 한다.

한편, 도면에 도시되진 않았지만, 영상획득모듈(110)에는 통상적으로 실화상 센서 즉, 이미지 센서(Image Sensor)와, 이미지 신호처리기(Image Signal Processor, ISP)와, 백 엔드 칩(Back_End Chip) 등을 포함한다.

상기 이미지 센서는 렌즈로부터 입사된 빛에 의해 형성되는 촬상 신호를 가공되지 않은 Bayer RGB 포맷 데이터로 출력한다. 상기 이미지 신호처리기(ISP)는 상기 Bayer RGB 포맷 데이터를 RGB 포맷 데이터로 변환하고, 이를 디스플레이 장치의 화면 출력에서 요구되는 YUV 포맷 데이터로 변환하여 출력한다.

상기 백 엔드 칩은 상기 이미지 신호처리기(ISP)로부터 출력된 YUV 포맷 데이터를 처리하여 디스플레이 장치의 화면을 통해 촬영된 이미지를 출력하는 것을 포함하는 카메라 모듈 제어를 담당하는 것으로, 이러한 백 엔드 칩으로는 모바일 스위칭 모뎀(Mobile Switching Modem, MSM) 또는 디지털 신호 처리기(Digital Signal Processor, DSP)가 이용될 수 있다. 한편, 상기 이미지 신호처리기(ISP) 및/또는 백 엔드 칩은 후술하는 영상압축모듈(120) 또는 얼굴/발열 감지모듈(140)에 포함되어 구성될 수도 있다.

즉, 영상획득모듈(110)을 이용하여 촬영을 하면, 렌즈로부터 입사된 빛에 의해 형성되는 촬상 신호에 따라 상기 이미지 센서가 가공되지 않은 Bayer RGB 포맷 데이터를 IIC(Inter Integrated Circuit) 방식의 통신을 이용하여 출력하고, 이를 수신한 이미지 신호처리기(ISP)는 이를 실제의 RGB 포맷 데이터로 변환하고, 이 RGB 포맷 데이터를 디스플레이 화면 출력에서 요구되는 즉, 이미지 처리를 위한 백 엔드 칩에서 요구되는 YUV 포맷 데이터로 변환하여 IIC(Inter Integrated Circuit) 방식의 통신을 이용하여 출력한다. 그러면, 상기 백 엔드 칩은 수신된 YUV 포맷 데이터를 처리하여 디스플레이 장치의 화면을 통해 촬영된 이미지를 출력한다.

영상압축모듈(120)은 영상획득모듈(110)로부터 획득된 영상 데이터를 압축하여 영상 압축데이터를 출력하는 기능을 수행한다.

열화상획득모듈(130)은 적어도 하나의 열화상 센서를 통해 특정 주변의 온도 데이터를 획득하는 기능을 수행한다.

이러한 열화상획득모듈(130)은 피사체의 실물이 아니라 피사체의 표면으로부터 복사되는 열에너지를 시각적으로 보여주는 모듈로서, 열에너지를 전자파의 일종인 적외선 파장의 형태로 검출하여 피사체 표면의 복사열의 강도에 따라서 각각 다른 색상으로 표현해 준다.

한편, 열화상획득모듈(130)은 적외선(Infra-Red) 카메라 등이 사용될 수 있겠으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 이외에도 특정 주변의 온도에 따른 열화상을 적절하게 생성할 수 있는 다양한 카메라가 사용될 수도 있다.

얼굴/발열 감지모듈(140)은 영상획득모듈(110) 및 열화상획득모듈(130)로부터 각각 획득된 영상 데이터 및 온도 데이터를 동시에 제공받아 기계학습의 일종인 딥러닝(Deep Learning) 기반의 영상 및 데이터 처리를 통해 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출하는 기능을 수행한다.

네트워크 처리모듈(150)은 영상압축모듈(120)로부터 출력된 영상 압축데이터를 비롯하여 얼굴/발열 감지모듈(140)로부터 추출된 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 통신망(10)을 통해 네트워크 비디오 녹화장치(200)로 전송하는 기능을 수행한다.

전원공급모듈(160)은 전술한 각 모듈들 즉, 영상획득모듈(110), 영상압축모듈(120), 열화상획득모듈(130), 얼굴/발열 감지모듈(140), 네트워크 처리모듈(150), 및 알람생성모듈(170) 등에 필요한 전원을 공급하는 기능을 수행하는 바, 계속적인 전원 공급을 위해 상용 교류(AC) 전원(예컨대, AC 220V)을 직류(DC) 및/또는 교류(AC) 전원으로 변환되도록 구현함이 바람직하지만, 이에 국한하지 않으며, 통상의 휴대용 배터리(Battery)를 포함하여 구현할 수도 있다.

또한, 전원공급모듈(160)에는 외부의 전원 충격으로부터 부품을 보호하고 일정한 전압을 출력하는 기능을 수행하는 전원 관리부(미도시)를 포함할 수 있다. 상기 전원 관리부는 ESD(Electro Static Damage) 보호기, 전원 감지기, 정류기 및 전원 차단기 등을 포함하여 이루어질 수 있다.

여기서, 상기 ESD 보호기는 정전기 또는 급격한 전원 충격으로부터 전장 부품을 보호하도록 구성한다. 상기 전원 감지기는 허용 전압 범위 외의 전압이 유입될 경우 상기 전원 차단기에 차단신호를 보내고, 허용 전압 범위 내에서 전압 변화에 따라 승압 또는 강압 신호를 상기 정류기에 전달하도록 구성한다. 상기 정류기는 입력 전압의 변동을 최소하여 일정한 전압이 공급되도록 상기 전원 감지기의 신호에 따라 승압 또는 강압의 정류 동작을 수행하도록 구성한다. 상기 전원 차단기는 상기 전원 감지기로부터 전달되는 차단 신호에 따라 배터리로부터 공급되는 전원을 차단하도록 구성한다.

추가적으로, 알람생성모듈(170)은 얼굴/발열 감지모듈(140)로부터 추출된 해당 얼굴감지 위치에 대한 온도 데이터의 온도 값이 기 설정된 기준 온도 값(예컨대, 사람의 정상 온도 값) 이상일 경우, 기 설정된 얼굴 영역 및 온도 값에 따른 알람신호를 생성하여 네트워크 처리모듈(150)을 통해 네트워크 비디오 녹화장치(200)로 전송하는 기능을 수행한다.

그리고, 네트워크 비디오 녹화장치(200)는 통신망(10)을 통해 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)와 연결되어 있으며, 이때, 통신망(10)은 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 와이파이(WiFi), 와이기그(WiGig), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, Wimax) 등을 포함하는 차세대 무선 통신망일 수 있다.

상기 인터넷은 TCP/IP 프로토콜 및 그 상위계층에 존재하는 여러 서비스, 즉 HTTP(Hyper Text Transfer Protocol), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol), SNMP(Simple Network Management Protocol), NFS(Network File Service), NIS(Network Information Service) 등을 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미하며, 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)가 네트워크 비디오 녹화장치(200) 및/또는 중앙관제서버(300)에 접속될 수 있게 하는 환경을 제공한다. 한편, 상기 인터넷은 유선 또는 무선 인터넷일 수도 있고, 이외에도 유선 공중망, 무선 이동 통신망, 또는 휴대 인터넷 등과 통합된 코어망 일 수도 있다.

만약, 통신망(10)이 이동 통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 상기 비동기식 이동 통신망의 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 상기 이동 통신망은 예컨대, RNC(Radio Network Controller) 등을 포함할 수 있다. 한편, 상기 WCDMA망을 일 예로 들었지만, 셀룰러(cellular) 기반의 3G망, LTE망, 4G망, 5G망 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP 망일 수 있다. 이러한 통신망(10)은 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)와 네트워크 비디오 녹화장치(200) 및/또는 중앙관제서버(300)의 신호 및 데이터를 상호 전달하는 역할을 수행한다.

또한, 네트워크 비디오 녹화장치(200)는 통신망(10)을 통해 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 제공받아 이를 기반으로 영상 압축데이터를 원래의 영상으로 복원하고, 얼굴감지 위치 및 크기 정보에 따른 복원된 영상에서 얼굴 이미지를 획득하는 기능을 수행한다.

또한, 네트워크 비디오 녹화장치(200)는 획득된 얼굴 이미지에서 추출된 랜드마크(Landmark) 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 얼굴 DB(220)를 통해 추출된 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 추출하며, 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력하는 기능을 수행한다.

또한, 네트워크 비디오 녹화장치(200)는 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)의 알람생성모듈(170)로부터 전송된 알람신호를 제공받아 해당 관리자가 기 설정된 얼굴 영역 및 온도 값에 따른 알람신호를 시각적 및/또는 청각적으로 확인할 수 있도록 별도의 영상출력모듈(235) 및/또는 음성출력모듈(260)을 통해 출력되도록 제어하는 기능을 수행할 수 있다.

이러한 네트워크 비디오 녹화장치(200)는 도 3에 도시된 바와 같이, 크게 네트워크 수신모듈(205), 실화상 복원모듈(210), 얼굴감지 처리모듈(215), 얼굴 DB(220), 얼굴인식 처리모듈(225), 영상합성모듈(230), 영상출력모듈(235), 및 전원공급모듈(240) 등을 포함하여 이루어진다. 또한, 네트워크 비디오 녹화장치(200)는 추가적으로 저장모듈(245), 네트워크 송신모듈(250), 사용자 입력모듈(255), 음성출력모듈(260), 제어모듈(265) 등을 더 포함할 수도 있다. 한편, 도 3에 도시된 구성요소들이 필수적인 것은 아니어서, 본 발명의 일 실시예에 적용된 네트워크 비디오 녹화장치(200)는 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수도 있다.

이하, 본 발명의 일 실시예에 적용된 네트워크 비디오 녹화장치(200)의 구성요소들에 대해 구체적으로 살펴보면 다음과 같다.

네트워크 수신모듈(205)은 통신망(10)을 통해 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 수신 받는 기능을 수행한다.

실화상 복원모듈(210)은 네트워크 수신모듈(205)로부터 수신된 영상 압축데이터를 원래 실화상의 영상으로 복원하는 기능을 수행한다.

얼굴감지 처리모듈(215)은 네트워크 수신모듈(205)로부터 수신된 얼굴감지 위치 및 크기 정보에 따라 실화상 복원모듈(210)로부터 복원된 실화상의 영상에서 얼굴 이미지를 획득하는 기능을 수행한다.

얼굴 DB(220)는 얼굴영상 특징별로 얼굴 분류 및 얼굴 ID 정보를 데이터베이스(DB)화하여 저장 및 관리하는 기능을 수행한다.

얼굴인식 처리모듈(225)은 얼굴감지 처리모듈(215)로부터 획득된 얼굴 이미지를 제공받아 기계학습의 일종인 딥러닝(Deep Learning) 기반의 영상 및 데이터 처리를 통해 획득된 얼굴 이미지에서 랜드마크(Landmark) 정보를 추출하고, 추출된 랜드마크 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 얼굴 DB(220)를 통해 추출된 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 검색 및 추출하는 기능을 수행한다.

영상합성모듈(230)은 실화상 복원모듈(210)로부터 복원된 실화상의 영상에 얼굴인식 처리모듈(225)로부터 추출된 얼굴 ID 정보 및 해당 얼굴감지 위치에 대한 온도 정보를 합성하는 기능을 수행한다.

영상출력모듈(235)은 영상합성모듈(230)로부터 합성된 영상데이터를 디스플레이 화면에 출력하는 기능을 수행한다.

이러한 영상출력모듈(235)은 예컨대, 액정 디스플레이(Liquid Crystal Display, LCD), 발광다이오드 디스플레이(Light Emitting Diode, LED), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 플라즈마 디스플레이 패널 (Plasma Display Panel, PDP), 표면 얼터네이트 라이팅(ALiS), 디지털 광원 처리(DLP), 실리콘 액정(LCoS), 표면 전도형 전자방출소자 디스플레이(SED), 전계방출 디스플레이(FED), 레이저 TV(양자 점 레이저, 액정 레이저), 광유전성 액체 디스플레이(FLD), 간섭계 변조기 디스플레이(iMoD), 두꺼운 필름 유전체 전기(TDEL), 양자점 디스플레이(QD-LED), 텔레스코픽 픽셀 디스플레이(TPD), 유기발광 트랜지스터(OLET), 레이저 형광 디스플레이(LPD), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있지만, 이에 한정되는 것은 아니고 영상신호 등을 디스플레이(Display)할 수 있는 것이라면, 어떠한 것이라도 포함할 수 있다.

전원공급모듈(240)은 전술한 각 모듈들 즉, 네트워크 수신모듈(205), 실화상 복원모듈(210), 얼굴감지 처리모듈(215), 얼굴 DB(220), 얼굴인식 처리모듈(225), 영상합성모듈(230), 영상출력모듈(235), 저장모듈(245), 네트워크 송신모듈(250), 사용자 입력모듈(255), 음성출력모듈(260), 및 제어모듈(265) 등에 필요한 전원을 공급하는 기능을 수행하는 바, 계속적인 전원 공급을 위해 상용 교류(AC) 전원(예컨대, AC 220V)을 직류(DC) 및/또는 교류(AC) 전원으로 변환되도록 구현함이 바람직하지만, 이에 국한하지 않으며, 통상의 휴대용 배터리(Battery)를 포함하여 구현할 수도 있다.

또한, 전원공급모듈(240)에는 외부의 전원 충격으로부터 부품을 보호하고 일정한 전압을 출력하는 기능을 수행하는 전원 관리부(미도시)를 포함할 수 있다. 상기 전원 관리부는 ESD(Electro Static Damage) 보호기, 전원 감지기, 정류기 및 전원 차단기 등을 포함하여 이루어질 수 있다.

여기서, 상기 ESD 보호기는 정전기 또는 급격한 전원 충격으로부터 전장 부품을 보호하도록 구성한다. 상기 전원 감지기는 허용 전압 범위 외의 전압이 유입될 경우 상기 전원 차단기에 차단신호를 보내고, 허용 전압 범위 내에서 전압 변화에 따라 승압 또는 강압 신호를 상기 정류기에 전달하도록 구성한다. 상기 정류기는 입력 전압의 변동을 최소하여 일정한 전압이 공급되도록 상기 전원 감지기의 신호에 따라 승압 또는 강압의 정류 동작을 수행하도록 구성한다. 상기 전원 차단기는 상기 전원 감지기로부터 전달되는 차단 신호에 따라 배터리로부터 공급되는 전원을 차단하도록 구성한다.

추가적으로, 저장모듈(245)은 네트워크 수신모듈(205)로부터 수신된 영상 압축데이터, 얼굴감지 위치 및 크기 정보와 함께 해당 얼굴감지 위치에 대한 온도 정보, 얼굴인식 처리모듈(225)로부터 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및/또는 영상합성모듈(230)로부터 합성된 영상 정보 중 적어도 하나의 정보를 데이터베이스(DB)화하여 저장 및 관리하는 기능을 수행한다.

이러한 저장모듈(245)은 예컨대, 플래시 메모리 타입(Flash Memory type), 하드디스크 타입(Hard Disk type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

네트워크 송신모듈(250)은 네트워크 수신모듈(205)로부터 수신된 영상 압축데이터, 얼굴인식 처리모듈(225)로부터 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및/또는 영상합성모듈(230)로부터 합성된 영상 정보 중 적어도 하나의 정보를 통신망(10)을 통해 외부의 단말(20)(예컨대, 사용자 단말, 관리자 단말, 클라이언트 단말 등) 및/또는 서버(Server)(예컨대, 중앙관제서버(300) 등)로 전송하는 기능을 수행한다.

또한, 네트워크 송신모듈(250)은 얼굴인식 처리모듈(225)을 통해 얼굴 DB(220)에서 상기 추출된 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보가 존재하지 않을 경우, 얼굴인식 처리모듈(225)로부터 얼굴 DB(220)에 존재하지 않는 얼굴 분류에 대한 얼굴영상 특징 정보를 제공받아 통신망(10)을 통해 외부의 단말(20) 및/또는 서버(Server)(예컨대, 중앙관제서버(300) 등)로 전송하는 기능을 수행할 수 있다.

한편, 외부의 단말(20)은 무선 인터넷 또는 휴대 인터넷을 통하여 통신하는 다양한 이동 단말을 포함하고, 이외에도 팜(Palm) PC, 스마트폰(Smart phone), 모바일 게임기(Mobile play-station), 통신 기능이 있는 DMB(Digital Multimedia Broadcasting)폰, 태블릿 PC, 아이패드(iPad) 등 네트워크 비디오 녹화장치(200) 및/또는 중앙관제서버(300)에 접속하기 위한 사용자 인터페이스를 갖는 모든 유무선 가전/통신 장치를 포괄적으로 의미할 수 있다.

특히, 외부의 단말(20)이 통상의 스마트폰으로 구현될 경우, 상기 스마트폰은 일반 핸드폰(일명 피처폰(feature phone))과는 달리 사용자가 원하는 다양한 어플리케이션(Application) 프로그램을 다운로드받아 자유롭게 사용하고 삭제가 가능한 오픈 운영체제를 기반으로 한 폰(Phone)으로서, 일반적으로 사용되는 음성/영상통화, 인터넷 데이터통신 등의 기능뿐만 아니라, 모바일 오피스 기능을 갖춘 모든 모바일 폰 또는 음성통화 기능이 없으나 인터넷 접속 가능한 모든 인터넷폰 또는 테블릿(Tablet) PC를 포함하는 통신기기로 이해함이 바람직하다.

이러한 상기 스마트폰은 다양한 개방형 운영체계를 탑재한 스마트폰으로 구현될 수 있으며, 상기 개방형 운영체계로는 예컨대, 노키아(NOKIA)사의 심비안, 림스(RIMS)사의 블랙베리, 애플(Apple)사의 아이폰, 마이크로소프트사(MS)의 윈도즈 모바일, 구글(Google)사의 안드로이드, 삼성전자의 바다 등으로 이루어질 수 있다.

이와 같이 상기 스마트폰은 개방형 운영체계를 사용하므로 폐쇄적인 운영체계를 가진 휴대폰과 달리 사용자가 임의로 다양한 어플리케이션 프로그램을 설치하고 관리할 수 있다.

사용자 입력모듈(255)은 사용자의 조작에 의한 사용자 입력신호를 출력하는 기능을 수행한다. 이러한 사용자 입력모듈(255)은 통상적으로 키보드로 이루어짐이 바람직하며, 마우스를 포함할 수 있고, 경우에 따라서는 리모콘으로 이루어질 수도 있다.

음성출력모듈(260)은 네트워크 수신모듈(205)을 통해 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)의 알람생성모듈(170)로부터 전송된 알람신호를 제공받아 해당 관리자가 기 설정된 얼굴 영역 및 온도 값에 따른 알람신호를 청각적으로 확인할 수 있도록 출력하는 기능을 수행한다.

이러한 음성출력모듈(260)은 통상의 스피커(Speaker)로 구현됨이 바람직하지만, 이에 국한하지 않으며, 이어폰 또는 헤드폰을 통해 사용자가 청취할 수 있도록 음성 증폭회로를 비롯한 연결 잭 등으로 구현될 수도 있다.

제어모듈(265)은 본 발명의 일 실시예에 적용된 네트워크 비디오 녹화장치(200)의 전체적인 제어를 담당하는 바, 전술한 각 모듈들 즉, 네트워크 수신모듈(205), 실화상 복원모듈(210), 얼굴감지 처리모듈(215), 얼굴 DB(220), 얼굴인식 처리모듈(225), 영상합성모듈(230), 영상출력모듈(235), 전원공급모듈(240), 저장모듈(245), 네트워크 송신모듈(250), 사용자 입력모듈(255), 및/또는 음성출력모듈(260)의 동작을 제어하는 기능을 수행한다.

또한, 제어모듈(265)은 사용자 입력모듈(255)을 통해 입력된 얼굴 ID 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색, 및/또는 복원된 영상의 검색 및/또는 재생이 가능하도록 제어하는 기능을 수행할 수 있다.

또한, 제어모듈(265)은 사용자 입력모듈(255)을 통해 입력된 온도 정보를 이용하여 해당 온도에 대응되는 복원된 영상의 검색 및/또는 재생이 가능하도록 제어하는 기능을 수행할 수도 있다.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs(application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어모듈(265)에 의해 구현될 수 있다.

소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 저장모듈(245)에 저장되고, 제어모듈(265)에 의해 실행될 수 있다.

그리고, 중앙관제서버(300)는 통신망(10)을 통해 외부의 단말(20) 및/또는 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)와 연결되어 있으며, 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 제공받아 이를 기반으로 영상 압축데이터를 원래의 영상으로 복원하고, 얼굴감지 위치 및 크기 정보에 따른 복원된 영상에서 얼굴 이미지를 획득하는 기능을 수행한다.

또한, 중앙관제서버(300)는 상기 획득된 얼굴 이미지에서 추출된 랜드마크 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 별도의 얼굴분류 DB(310)를 통해 추출된 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 추출하며, 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력하는 기능을 수행한다.

또한, 중앙관제서버(300)는 별도의 사용자 입력모듈(미도시)(예컨대, 사용자 입력모듈(255)과 동일하게 구성될 수 있음)을 통해 입력된 얼굴 ID 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색, 및/또는 복원된 영상의 검색 및/또는 재생이 가능하도록 서비스를 제공하는 기능을 수행할 수 있다.

또한, 중앙관제서버(300)는 각 얼굴/발열감지 카메라 장치(100-1 내지 100-N)로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및/또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 정보를 별도의 얼굴정보 DB(320)에 저장 및 관리되도록 서비스를 제공하는 기능을 수행할 수 있다.

또한, 중앙관제서버(300)는 통신망(10)을 통해 네트워크 비디오 녹화장치(200)로부터 얼굴 DB(220)에 존재하지 않는 얼굴 분류에 대한 얼굴영상 특징 정보를 제공받아 이를 기반으로 별도의 얼굴분류 DB(310)를 통해 얼굴 DB(220)에 존재하지 않는 얼굴 분류에 대한 얼굴 ID 정보를 추출하며, 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력하는 기능을 수행할 수 있다.

또한, 중앙관제서버(300)는 별도의 사용자 입력모듈(미도시)을 통해 입력된 얼굴 ID 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색, 및/또는 상기 복원된 영상의 검색 및/또는 재생이 가능하도록 서비스를 제공하는 기능을 수행할 수 있다.

즉, 중앙관제서버(300)는 전술한 네트워크 비디오 녹화장치(200)의 모든 기능을 동일하게 수행할 수 있다.

또한, 중앙관제서버(300)는 외부의 단말(20)의 요청에 응답해서 클라우드 컴퓨팅 서비스(Cloud Computing Service)를 제공할 수 있다.

즉, 중앙관제서버(300)는 네트워크상에서 관리자가 소지한 복수의 단말(20)과 통신망(10)을 통해 연결되어 복수의 단말(20)에게 시스템 자원(이는 OS, CPU, 메모리, 저장장치 등을 포함하는 개념이다)을 제공하는 물리적 장비로, 클라우드 서비스 환경에서는 복수의 서버가 네트워크상에서 복수의 단말(20)과 연결되어 있으며, 이때 중앙관제서버(300)는 다수의 서버들을 포함하는 개념으로 도시된 것이며, 예컨대, 가상화 기술을 통해 생성된 가상 공간상의 게스트 머신을 통해 복수의 단말(20)이 시스템 자원을 사용할 수 있도록 분배하게 된다. 이러한 사항들은 공지의 일반적인 개념들로 이해될 수 있다.

이때, 상기 클라우드(Cloud) 서비스 환경이란, 인터넷 기반(클라우드)의 컴퓨팅(Computing) 기술을 의미한다. 이러한 클라우드 컴퓨팅(Cloud Computing)은 컴퓨터 네트워크 구성도에서 인터넷을 구름으로 표현하는 것으로, 숨겨진 복잡한 인프라(Infra) 구조를 가지며 IT 관련된 기능들이 서비스 형태로 제공되는 컴퓨팅 스타일을 갖는다. 사용자들은 인터넷을 이용하여 클라우드 컴퓨팅으로부터 제공되는 서비스를 이용할 수 있다.

또한, 상기 클라우드 컴퓨팅이란 가상화 컴퓨팅, 유틸리티 컴퓨팅, 주문형 서비스(on-demand) 컴퓨팅 등과 같이 다양한 컴퓨팅 개념과 통신 기술이 혼합되어 적용된 것으로, 통상적으로 다수의 컴퓨터들로 구성되는 복수의 데이터센터를 가상화 기술로 통합하여 하나의 가상 컴퓨터 또는 서비스를 구현하고, 사용자가 이에 접속하여 각종 소프트웨어, 보안 솔루션 및 컴퓨팅 능력 등을 주문형 서비스(on-demand) 방식으로 제공하는 기술을 의미한다.

즉, 상기 클라우드 컴퓨팅이란 '인터넷을 통한 IT자원의 온디맨드 아웃소싱 서비스'로서, 개인용 컴퓨터나 기업의 서버에 개별적으로 저장하던 프로그램이나 문서를 인터넷 기반의 가상 서버(Server) 또는 스토리지(Storage)에 저장하고, 개인용 컴퓨터를 비롯한 다양한 단말을 이용하여 웹브라우저 등의 클라우드 어플리케이션(Application)을 구동함으로써, 사용자가 원하는 작업을 수행할 수 있도록 하는 방식이다.

이때, 사용자들은 클라우드 어플리케이션, 스토리지, OS 및 보안 등의 컴퓨팅 자원을 원하는 시점에 원하는 만큼만 골라서 사용할 수 있고, 사용량에 기반하여 대가를 지불하면 된다.

즉, 중앙관제서버(300)는 외부의 단말(20)에 클라우드 컴퓨팅 서비스를 제공하는 서버로서, 외부의 단말(20)이 요청하는 컴퓨팅 자원을 통신망(10)을 통해 제공해준다. 중앙관제서버(300)는 외부의 단말(20)이 요청하는 디바이스(Device)를 이용하도록 하기 위한 컴퓨팅 서비스를 제공할 수 있다.

이러한 중앙관제서버(300)에는 예컨대, 애플리케이션 프로그램 파일, 게임 프로그램 파일, 텍스트 데이터 파일, 문서 파일, 그림 파일, 음악 파일, 동영상 파일 및 바코드 파일 등과 같은 대용량 데이터를 제공하는 사업자(콘텐츠 제공자)로부터 제공된 파일들을 저장하는 다수의 저장장치 즉, 스토리지(Storage)를 구비한다.

또한, 중앙관제서버(300)는 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및/또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 얼굴정보 DB(320)에 저장할 경우, 대칭 또는 비대칭 암호화 방식을 이용하여 상기 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및/또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 암호화하여 저장함과 아울러 상기 암호화된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및/또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 복호화할 수 있는 복호화 키가 외부의 단말(20)로 전송되도록 서비스를 제공하는 기능을 수행할 수 있다.

그리고, 외부의 단말(20)은 중앙관제서버(300)의 클라이언트 회원 로그인 클라우드 웹서비스를 이용하여, 중앙관제서버(300)의 얼굴정보 DB(320)에 저장된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및/또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 실시간으로 검색 및 디스플레이 화면에 표시하는 기능을 수행할 수 있다.

또한, 외부의 단말(20)은 해당 클라이언트 회원 로그인 정보와 함께 중앙관제서버(300)로부터 전송된 복호화 키를 이용하여 중앙관제서버(300)의 얼굴정보 DB(320)에 암호화되어 저장된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 및/또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 복호화하고 이를 실시간으로 검색 및 디스플레이 화면에 표시하는 기능을 수행할 수 있다.

전술한 본 발명에 따른 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.

100-1 내지 100-N : 얼굴/발열감지 카메라 장치,
200 : 네트워크 비디오 녹화장치,
300 : 중앙관제서버

Claims (17)

1. 실내 또는 실외의 지정된 장소에 설치되고, 실화상 센서 및 열화상 센서를 통해 특정 주변의 영상 데이터 및 온도 데이터를 각각 획득하며, 각 획득된 영상 데이터 및 온도 데이터를 기반으로 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출 및 전송하는 얼굴/발열감지 카메라 장치; 및
   통신망을 통해 상기 얼굴/발열감지 카메라 장치로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 제공받아 이를 기반으로 영상 압축데이터를 원래의 영상으로 복원하고, 얼굴감지 위치 및 크기 정보에 따른 복원된 영상에서 얼굴 이미지를 획득하며, 획득된 얼굴 이미지에서 추출된 랜드마크 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 얼굴 DB를 통해 추출된 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 추출하며, 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력하는 네트워크 비디오 녹화장치를 포함하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
   
2. 제1 항에 있어서,
   상기 얼굴/발열감지 카메라 장치는,
   실화상 센서를 통해 특정 주변의 영상 데이터를 획득하는 영상획득모듈;
   상기 영상획득모듈로부터 획득된 영상 데이터를 압축하여 영상 압축데이터를 출력하는 영상압축모듈;
   열화상 센서를 통해 특정 주변의 온도 데이터를 획득하는 열화상획득모듈;
   상기 영상획득모듈 및 상기 열화상획득모듈로부터 각각 획득된 영상 데이터 및 온도 데이터를 제공받아 딥러닝 기반의 영상 및 데이터 처리를 통해 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 추출하는 얼굴/발열 감지모듈; 및
   상기 영상압축모듈로부터 출력된 영상 압축데이터를 비롯하여 상기 얼굴/발열 감지모듈로부터 추출된 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 상기 통신망을 통해 상기 네트워크 비디오 녹화장치로 전송하는 네트워크 처리모듈을 포함하는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
   
3. 제2 항에 있어서,
   상기 얼굴/발열 감지모듈로부터 추출된 해당 얼굴감지 위치에 대한 온도 데이터의 온도 값이 기 설정된 기준 온도 값 이상일 경우, 기 설정된 얼굴 영역 및 온도 값에 따른 알람신호를 생성하여 상기 네트워크 처리모듈을 통해 상기 네트워크 비디오 녹화장치로 전송하는 알람생성모듈이 더 포함되는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
   
4. 제3 항에 있어서,
   상기 네트워크 비디오 녹화장치는, 상기 알람생성모듈로부터 전송된 알람신호를 제공받아 해당 관리자가 기 설정된 얼굴 영역 및 온도 값에 따른 알람신호를 시각적 또는 청각적으로 확인할 수 있도록 별도의 영상출력모듈 또는 음성출력모듈을 통해 출력되도록 제어하는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
   
5. 제1 항에 있어서,
   상기 네트워크 비디오 녹화장치는,
   상기 통신망을 통해 상기 얼굴/발열감지 카메라 장치로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 수신 받는 네트워크 수신모듈;
   상기 네트워크 수신모듈로부터 수신된 영상 압축데이터를 원래의 영상으로 복원하는 실화상 복원모듈;
   상기 네트워크 수신모듈로부터 수신된 얼굴감지 위치 및 크기 정보에 따라 상기 실화상 복원모듈로부터 복원된 영상에서 얼굴 이미지를 획득하는 얼굴감지 처리모듈;
   얼굴영상 특징별로 얼굴 분류 및 얼굴 ID 정보를 데이터베이스(DB)화하여 저장 및 관리하는 얼굴 DB;
   상기 얼굴감지 처리모듈로부터 획득된 얼굴 이미지를 제공받아 딥러닝 기반의 영상 및 데이터 처리를 통해 획득된 얼굴 이미지에서 랜드마크 정보를 추출하고, 추출된 랜드마크 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 상기 얼굴 DB를 통해 추출된 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 검색 및 추출하는 얼굴인식 처리모듈;
   상기 실화상 복원모듈로부터 복원된 영상에 상기 얼굴인식 처리모듈로부터 추출된 얼굴 ID 정보 및 해당 얼굴감지 위치에 대한 온도 정보를 합성하는 영상합성모듈; 및
   상기 영상합성모듈로부터 합성된 영상데이터를 디스플레이 화면에 출력하는 영상출력모듈을 포함하는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
   
6. 제5 항에 있어서,
   상기 네트워크 수신모듈로부터 수신된 영상 압축데이터, 얼굴감지 위치 및 크기 정보와 함께 해당 얼굴감지 위치에 대한 온도 정보, 상기 얼굴인식 처리모듈로부터 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 영상합성모듈로부터 합성된 영상 정보 중 적어도 하나의 정보를 데이터베이스(DB)화하여 저장 및 관리하는 저장모듈이 더 포함되는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
   
7. 제5 항에 있어서,
   상기 네트워크 수신모듈로부터 수신된 영상 압축데이터, 상기 얼굴인식 처리모듈로부터 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 영상합성모듈로부터 합성된 영상 정보 중 적어도 하나의 정보를 상기 통신망을 통해 외부의 단말 또는 서버로 전송하는 네트워크 송신모듈이 더 포함되는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
   
8. 제7 항에 있어서,
   상기 네트워크 송신모듈은, 상기 얼굴인식 처리모듈을 통해 얼굴 DB에서 상기 추출된 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보가 존재하지 않을 경우, 상기 얼굴인식 처리모듈로부터 상기 얼굴 DB에 존재하지 않는 얼굴 분류에 대한 얼굴영상 특징 정보를 제공받아 상기 통신망을 통해 상기 외부의 단말 또는 서버로 전송하는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
   
9. 제5 항에 있어서,
   별도의 사용자 입력모듈을 통해 입력된 얼굴 ID 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색, 복원된 영상의 검색 또는 재생이 가능하도록 제어하는 제어모듈이 더 포함되는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
   
10. 제5 항에 있어서,
    별도의 사용자 입력모듈을 통해 입력된 온도 정보를 이용하여 해당 온도에 대응되는 복원된 영상의 검색 또는 재생이 가능하도록 제어하는 제어모듈이 더 포함되는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
    
11. 제1 항에 있어서,
    상기 통신망을 통해 상기 얼굴/발열감지 카메라 장치와 연결되며, 상기 얼굴/발열감지 카메라 장치로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터를 제공받아 이를 기반으로 영상 압축데이터를 원래의 영상으로 복원하고, 얼굴감지 위치 및 크기 정보에 따른 복원된 영상에서 얼굴 이미지를 획득하며, 획득된 얼굴 이미지에서 추출된 랜드마크 정보를 이용하여 얼굴영상 특징을 추출함과 아울러 별도의 얼굴분류 DB를 통해 추출된 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보를 추출하며, 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력하는 중앙관제서버가 더 포함되는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
    
12. 제11 항에 있어서,
    상기 중앙관제서버는, 별도의 사용자 입력모듈을 통해 입력된 얼굴 ID 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색, 복원된 영상의 검색 또는 재생이 가능하도록 서비스를 제공하는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
    
13. 제11 항에 있어서,
    상기 중앙관제서버는, 상기 얼굴/발열감지 카메라 장치로부터 전송된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 정보를 별도의 얼굴정보 DB에 저장 및 관리되도록 서비스를 제공하는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
    
14. 제1 항에 있어서,
    상기 통신망을 통해 상기 네트워크 비디오 녹화장치와 연결되며, 상기 네트워크 비디오 녹화장치로부터 상기 얼굴 DB에 존재하지 않는 얼굴 분류에 대한 얼굴영상 특징 정보를 제공받아 이를 기반으로 별도의 얼굴분류 DB를 통해 상기 얼굴 DB에 존재하지 않는 얼굴 분류에 대한 얼굴 ID 정보를 추출하며, 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성하여 디스플레이 화면에 출력하는 중앙관제서버가 더 포함되는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
    
15. 제14 항에 있어서,
    상기 중앙관제서버는, 별도의 사용자 입력모듈을 통해 입력된 얼굴 ID 정보를 이용하여 해당 얼굴 ID 정보에 대응되는 온도 정보의 검색, 상기 복원된 영상의 검색 또는 재생이 가능하도록 서비스를 제공하는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
    
16. 제11 항 또는 제14 항에 있어서,
    상기 중앙관제서버는, 적어도 하나의 클라이언트 단말의 요청에 응답해서 클라우드 컴퓨팅 서비스를 제공하며,
    각 클라이언트 단말은, 상기 중앙관제서버의 클라이언트 회원 로그인 클라우드 웹서비스를 이용하여, 상기 중앙관제서버의 얼굴정보 DB에 저장된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 실시간으로 검색 및 디스플레이 화면에 표시하는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.
    
17. 제16 항에 있어서,
    상기 중앙관제서버는, 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 상기 얼굴정보 DB에 저장할 경우, 대칭 또는 비대칭 암호화 방식을 이용하여 상기 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 암호화하여 저장함과 아울러 상기 암호화된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 복호화할 수 있는 복호화 키가 상기 클라이언트 단말로 전송되도록 서비스를 제공하며,
    상기 클라이언트 단말은, 해당 클라이언트 회원 로그인 정보와 함께 상기 중앙관제서버로부터 전송된 복호화 키를 이용하여 상기 중앙관제서버의 얼굴정보 DB에 암호화되어 저장된 영상 압축데이터, 얼굴감지 위치 및 크기 데이터와 함께 해당 얼굴감지 위치에 대한 온도 데이터, 상기 추출된 얼굴영상 특징 정보, 해당 얼굴영상 특징에 대한 얼굴 분류 및 얼굴 ID 정보, 또는 상기 복원된 영상에 추출된 얼굴 ID 정보 및 온도 정보를 합성한 영상 정보 중 적어도 하나의 얼굴 정보데이터를 복호화하고 이를 실시간으로 검색 및 디스플레이 화면에 표시하는 것을 특징으로 하는 얼굴인식 및 발열감지를 이용한 감시 네트워크 시스템.

Images