KR102021999B1 - 인체 감시 발열 경보 장치 - Google Patents

Abstract

본 발명은 CCTV 결합형 열상 카메라 및 일반 카메라를 이용하여 통행자의 체온을 측정 감시하여 정상 체온이 아닌 경우 발열 경보를 효율적으로 수행하는 인체 감시 발열 경보 장치에 관한 것으로, 제어부; 상기 일반 카메라에서 가상적으로 설정된 관심영역 내에 있는 통행자를 촬상한 가시광 영상으로부터 통행자의 얼굴 영역만을 얼굴 인식 프로그램으로 추출하여 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 얼굴 검출부; 상기 검출된 얼굴 영역의 최외각 박스형 좌표 값을 상기 열상 카메라가 촬상한 열화상 영상으로부터 상기 전달된 얼굴 영역 좌표 값에 위치한 얼굴 영역만을 추출하는 얼굴 추출부; 상기 얼굴 추출부에서 추출된 얼굴 영역의 얼굴 온도 분포도를 해석하여 체온을 측정하여 질병 여부를 판단하는 질병 여부 판단부; 상기 얼굴 추출부로부터의 상기 열상 카메라에서 질병 여부가 판단된 얼굴의 온도 분포도 정보를 상기 일반 카메라가 촬상한 상기 가시광 영상의 얼굴 영역에 중첩시켜 상기 가시광 영상의 얼굴 부분만 열상 데이터로 중첩 출력하게 하고, 얼굴을 제외한 다른 영역의 데이터는 가시광 영상 데이터로 화면에 표시하는 얼굴 중첩부; 및 질병 의심을 경고하는 경고부를 포함한다.

Description

인체 감시 발열 경보 장치{Apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner}

본 발명은 열화상 카메라를 이용한 인체 감시 발열 경보 장치에 관한 것으로, 보다 상세하게는 CCTV 결합형 열상 카메라 및 일반 카메라를 이용하여 통행자의 체온을 측정 감시하여 정상 체온이 아닌 경우 발열 경보를 효율적으로 수행하는 인체 감시 발열 경보 장치에 관한 것이다.

본 발명은 국가연구개발사업의 일환으로, "과제고유번호: 경기도 지역협력센터 GRRC 수원 2016-B3, 연구사업명: 경기도 지역협력연구센터 지원사업, 연구과제명: 클라우드 기반 지능형 영상 보안 감시 시스템 개발"에 의해 지원되었다.

요즘 사회는 교통수단의 발달로 인하여, 사람이나 가축의 이동이 활발하게 일어나서, 사람이나 가축이 유행하는 전염병에 감염되었는지를 1차적으로 판단하고 또한 병원을 추적하기 위하여 열상 카메라 또는 체온을 측정하여 전염병 감염 여부를 판단하고 있다.

특히, 사스(중증 급성 호흡기 증후군), 신종플루, 에볼라, 메르스 등의 호흡기성 전염병은 광범위하게 전염될 수 있는 위험성이 자주 발생되며, 이러한 전염성 질병들은 통상의 질병과 유사하여 전염성 질병인지 확진되기 전까지는 감염자 자신도 감염 자체를 알기가 어렵다. 다만, 이러한 전염성 질병은 열을 동반하게 되므로, 체온을 측정하여 심한 열이 나는 사람들은 1차적으로 감염 의심자로 판단하여 격리 조치 후 정밀 검사를 통해 감염 여부를 판단할 수 있다.

그러므로, 종래에는 일일이 통행자의 체온을 측정하여 고열이 나는 사람을 격리하는 방법도 있었으나, 이는 많은 인력이 필요함은 물론 통행자에게도 통행 및 측정의 불편함 및 불쾌감을 초래할 뿐만 아니라, 측정자 및 통행자가 이러한 과정을 통하여 오히려 감염될 수 있는 환경을 초래할 수 있는 단점이 있었다.

이를 해결하기 위하여 특허문헌 1 (한국특허공개 10-2010-0129937(2015.11.23))은 "객체 건강 상태 판단 방법 및 시스템"을 개시하며, 보다 상세하게는 객체와 흑체를 함께 촬영한 열상 카메라의 열화상에서 흑체의 검출 온도를 토대로 객체의 체온이나 얼굴 온도를 보정함으로써 정확도가 높은 체온이나 얼굴 온도를 기반으로 객체의 건강 상태를 효과적으로 판단하는 객체 건강 상태 판단 방법 및 시스템을 제공하고 있으며, 특허문헌 2 (한국특허등록공보 10-1729327(2017.4.17))는 "듀얼 카메라를 이용한 체온 추적 모니터링 시스템"을 개시하며, 보다 상세하게는 듀얼 카메라를 이용한 체온 추적 모니터링 시스템에 의하면, 듀얼 카메라의 가시광 카메라로 얼굴 이미지도 동시에 촬영하여 얼굴 이미지로 사람을 식별함으로써, 신분 카드 등 직접적으로 신분이 확인되지 않은 사람들도 체온을 추적하고 그 이력을 관리할 수 있도록 하였다.

그러나, 상기 특허문헌 1은 열상 카메라만을 이용하여 객체나 흑체를 촬영한 열화상으로부터 흑체의 검출온도를 기반으로 객체의 체온이나 얼굴 온도를 측정함으로써 필요한 계산량이 많아지는 문제점이 있을 것이며, 상기 특허문헌 2는 일반 카메라 및 열상 카메라를 사용하고 있지만 가상 카메라를 이용하여 촬영한 얼굴 이미지는 사람을 식별하기 위한 것이지, 열화상의 처리 계산량을 줄이지는 못하였다.

이외에 특허문헌 3은 열상 카메라를 이용하여 체온을 측정하기 위한 것은 아니지만, 일반 카메라를 이용하여 화재발생여부 및 침입자의 침입여부를 판단하기 위한 것으로, 상기 특허문헌 3(한국특허등록공보 10-1128022(2012.3.12))은 "다목적 감시용 카메라"를 개시하며, 적외선 카메라에서 촬영된 적외선 영상과, 가시광 카메라에서 촬영된 가시광 영상의 화각이 기본적으로 일치되므로, 두 영상을 용이하고 정확하게 맵핑하여 얻어지는 영상을 기초로 화재발생여부 및 침입자의 침입여부를 정확하게 판단할 수 있다.

(1) 한국특허공개 10-2010-0129937(2015.11.23)는 객체 건강 상태 판단 방법 및 시스템 (2) 한국특허등록공보 10-1729327(2017.4.17), 듀얼 카메라를 이용한 체온 추적 모니터링 시스템 (3) 한국특허등록공보 10-1128022(2012.3.12), 다목적 감시용 카메라

본 발명이 해결하고자 하는 과제는 일반 카메라 및 열상 카메라를 모두 구비한 듀얼 컴퓨터를 사용하여, 체온 측정에 필요한 계산량을 감소시킨 인체 감시 발열 경보 장치를 제공하는 것을 목적으로 한다.

본 발명이 해결하고자 하는 과제는 일반 카메라 및 열상 카메라를 모두 구비한 듀얼 컴퓨터를 사용하여, 일반 카메라의 얼굴 영역에 열상 카메라의 얼굴 영역을 오버레이하여 출력함으로써 보다 자연스런 영상을 출력하는 인체 감시 발열 경보 장치를 제공하는 것을 목적으로 한다.

따라서, 본 발명은 일반 카메라 및 열상 카메라를 구비한 듀얼 카메라를 이용하여 측정한 통행자의 체온이 정상 체온이 아니면 경보를 발생하는 인체 감시 발열 경보 방법에 있어서,

상기 일반 카메라에서 가상적으로 설정된 관심영역 내에 있는 통행자를 촬상한 가시광 영상으로부터 통행자의 얼굴 영역만을 얼굴 인식 프로그램으로 추출하여 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 단계;

상기 검출된 얼굴 영역의 최외각 박스형 좌표 값을 상기 열상 카메라가 촬상한 열화상 영상으로부터 상기 전달된 얼굴 영역 좌표 값에 위치한 얼굴 온도 분포도를 해석하여 질병 여부를 판단하는 단계;

상기 열상 카메라에서 질병 여부가 판단된 얼굴의 온도 분포도 정보를 상기 일반 카메라가 촬상한 상기 가시광 영상의 얼굴 영역에 중첩시켜 상기 가시광 영상의 얼굴 부분만 열상 데이터로 중첩 출력하게 하고, 얼굴을 제외한 다른 영역의 데이터는 가시광 영상 데이터로 화면에 표시하는 단계; 및

질병 의심을 경고하는 단계를 포함하는 인체 감시 발열 경보 방법을 제공한다.

또한, 본 발명은 일반 카메라 및 열상 카메라를 구비한 듀얼 카메라를 이용하여 측정한 통행자의 체온이 정상 체온이 아니면 경보를 발생하는 인체 감시 발열 경보 장치에 있어서,

제어부;

상기 제어부의 제어하에, 상기 일반 카메라에서 가상적으로 설정된 관심영역 내에 있는 통행자를 촬상한 가시광 영상으로부터 통행자의 얼굴 영역만을 얼굴 인식 프로그램으로 추출하여 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 얼굴 검출부;

상기 제어부의 제어하에, 상기 검출된 얼굴 영역의 최외각 박스형 좌표 값을 상기 열상 카메라가 촬상한 열화상 영상으로부터 상기 전달된 얼굴 영역 좌표 값에 위치한 얼굴 영역만을 추출하는 얼굴 추출부;

상기 제어부의 제어하에, 상기 얼굴 추출부에서 추출된 얼굴 영역의 얼굴 온도 분포도를 해석하여 체온을 측정하여 질병 여부를 판단하는 질병 여부 판단부;

상기 질병 여부 판단부의 제어신호에 의해 상기 얼굴 추출부로부터의 상기 열상 카메라에서 질병 여부가 판단된 얼굴의 온도 분포도 정보를 상기 일반 카메라가 촬상한 상기 가시광 영상의 얼굴 영역에 중첩시켜 상기 가시광 영상의 얼굴 부분만 열상 데이터로 중첩 출력하게 하고, 얼굴을 제외한 다른 영역의 데이터는 가시광 영상 데이터로 화면에 표시하는 얼굴 중첩부; 및

질병 의심을 경고하는 경고부를 포함하는 인체 감시 발열 경보 장치를 제공한다.

본 발명의 다른 형태에 의하면, 상기 인체 감시 발열 경보 방법을 수행하기 위한 소프트웨어 프로그램을 저장한 기록매체를 제공한다.

본 발명의 인체 감시 발열 경보 장치는 열상 카메라에서 구할 수 없는 얼굴 좌표 값을 대신하여, 일반 카메라의 얼굴인식 프로그램을 이용하여 검출한 좌표 값을 활용하여, 전신의 열 분포도를 가지고 질병 여부를 판단하는 것보다 열에 민감한 부분인 얼굴영역의 열 분포도만을 가지고 고열 여부를 판단하면 판단에 필요한 계산량을 현저히 감소시킬 수 있다.

본 발명은 일반 카메라의 영상정보에 얼굴영역만 열상 카메라에서 받은 열 분포도 화상으로 표시하여 전체적으로 자연스러운 영상을 표시한다.

도 1은 본 발명에 의한 인체 감시 발열 경보 장치에 적용되는 인체 감시 발열 경보 방법을 설명하기 위한 플로우챠트도이다.
도 2는 본 발명에 의한 인체 감시 발열 경보 장치를 설명하기 위한 블럭도이다.

이하, 본 발명의 바람직한 실시예에 의한 인체 감시 발열 경보 장치의 구성 및 동작에 대하여 첨부 도면을 참조하여 보다 상세하게 설명하기로 한다.

본 발명은 공항 또는 항만의 입출국장과 같은 곳에서 일반 카메라와 열상 카메라의 상호 연동을 통하여 입출국자의 메르스(MERS), 조류 인플루엔자(AI) 등과 같은 전염병 유무를 판단 및 대처하기 위한 지능형 감시 시스템에 적용되는 것으로, 본 발명에서는 열상 카메라의 전신 촬영부분에서 얼굴 영역만 발췌하여 체온 측정을 하여 전염병 감염 여부를 확인하기 위한 격리 조치를 취할 수 있도록 하는 인체 감시 발열 경보 장치를 제공한다.

도 1은 일반 카메라 및 열상 카메라를 구비한 듀얼 카메라를 이용하여 측정한 통행자의 체온이 정상 체온이 아니면 경보를 발생하는 인체 감시 발열 경보 방법을 설명하기 위한 플로우챠트도이다. 도 1에 의하면, 본 발명의 인체 감시 발열 경보 방법은 일반 카메라 및 열상 카메라를 구비한 듀얼 카메라 중, 상기 일반 카메라에서 가상적으로 설정된 관심영역 내에 있는 통행자를 촬상한 가시광 영상으로부터 통행자의 얼굴 영역만을 얼굴 인식 프로그램으로 추출하여 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 단계(100)를 포함한다.

듀얼 카메라가 설치되는 장소는 일반적으로 출입국 통행자가 많은 장소에 설치되고, CCTV 카메라와 같이 또는 분리되어 설치될 수 있다. 듀얼 카메라의 일반 카메라와 열상 카메라는 이 경우 각각 가상의 관심 영역을 통행하는 통행자들을 촬영하게 된다. 본 발명에 적용되는 얼굴 인식 기술로서는 PCA(Principal Component Analysis)나 LDA(Non-parametric Discriminant Analysis) 등 원본 신호의 선형 분석 방법에 기반하여 특징 벡터를 추출하여, 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 것으로, 이러한 얼굴 인식 방법은 종래 얼굴 인식 기술을 이용할 수가 있으므로, 구체적 설명은 생략한다.

또한, 도 1을 참조하면, 본 발명의 인체 감시 발열 경보 방법은 상기 일반 카메라로부터의 가시광 영상으로부터 검출된 상기 얼굴 영역의 최외각 박스형 좌표 값을 이용하여, 상기 열상 카메라가 촬상한 열화상 영상으로부터 상기 전달된 얼굴 영역 좌표 값에 위치한 얼굴 온도 분포도를 해석하여 질병 여부를 판단하는 단계(200)를 포함한다.

본 발명에서는 열상 카메라에서 구할 수 없는 얼굴 좌표 값을 일반 카메라의 얼굴 인식 프로그램을 이용한 좌표 값으로부터 활용할 수 있다. 이로써, 인체 전신의 열 분포도를 가지고 질병 여부를 판단하는 것보다 열에 민감한 부분인 얼굴 영역의 열 분포도를 가지고 고열 여부를 판단하면 판단에 필요한 계산량을 현저히 감소시킬 수 있다. 종래에는 흑체의 온도와 열화상 영상의 평균 화상값인 기준화상값과의 수학식에 의하여 대표 화상값을 구하여 실제 온도를 측정하였지만, 본 발명에서는 얼굴 영역의 열 분포도를 가지고 미리 저장된 얼굴 영역의 기준 열 분포도와 비교하여 체온을 판단하여, 정상 체온 이상이면 질병 감염 여부를 의심하는 신호를 출력한다.

또한, 도 1을 참조하면, 본 발명의 인체 감시 발열 경보 방법은 단계 200에서 질병 여부가 판단된 얼굴의 온도 분포도 정보를 토대로, 상기 열상 카메라의 전체 열화상 영상에서 추출된 얼굴 영역의 열화상 영상을 상기 일반 카메라가 촬상한 상기 가시광 영상의 얼굴 영역에 중첩시켜, 상기 가시광 영상의 얼굴 부분만 열상 데이터로 중첩 출력하게 하고, 얼굴을 제외한 다른 영역의 데이터는 가시광 영상 데이터로 화면에 표시하는 단계(300)를 포함한다. 이로써, 본 발명은 일반 카메라의 영상정보에 얼굴영역만 열상 카메라에서 받은 열 분포도 화상으로 표시하여 전체적으로 자연스러운 영상을 표시한다.

또한, 도 1을 참조하면, 본 발명의 인체 감시 발열 경보 방법은 단계 300에서 얼굴 영역만을 열상 데이터를 중첩 출력함과 동시에 질병 의심을 경고하는 단계(400)를 포함한다. 질병 의심을 경고하는 방식으로는 소리 또는 영상 깜박거림 등의 얼람(alarm) 방식이 있을 수도 있으며, 이러한 기술은 종래 기술로부터 용이하게 적용될 수 있으므로 상세한 설명은 생략하기로 한다.

다음 본 발명의 인체 감시 발열 경보 방법을 구현한 장치를 도 2를 참조하여 설명한다. 도 2에 의하면, 본 발명의 인체 감시 발열 경보 장치는 일반 카메라(20) 및 열상 카메라(40)를 구비한 듀얼 카메라를 이용하여 측정한 통행자의 체온이 정상 체온이 아니면 경보를 발생하는 인체 감시 발열 경보 장치로서, 제어부(10); 상기 제어부(10)의 제어하에, 상기 일반 카메라(20)에서 가상적으로 설정된 관심영역 내에 있는 통행자를 촬상한 가시광 영상으로부터 통행자의 얼굴 영역만을 얼굴 인식 프로그램으로 추출하여 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 얼굴 검출부(30); 상기 제어부(10)의 제어하에, 상기 검출된 얼굴 영역의 최외각 박스형 좌표 값을 상기 열상 카메라가 촬상한 열화상 영상으로부터 상기 전달된 얼굴 영역 좌표 값에 위치한 얼굴 영역만을 추출하는 얼굴 추출부(50); 상기 제어부(10)의 제어하에, 상기 얼굴 추출부(50)에서 추출된 얼굴 영역의 얼굴 온도 분포도를 해석하여 체온을 측정하여 질병 여부를 판단하는 질병 여부 판단부(60); 상기 질병 여부 판단부(60)의 제어신호(70)에 의해 상기 얼굴 추출부(50)로부터의 상기 열상 카메라에서 질병 여부가 판단된 얼굴의 온도 분포도 정보를 상기 일반 카메라(20)가 촬상한 상기 가시광 영상의 얼굴 영역에 중첩시켜 상기 가시광 영상의 얼굴 부분만 열상 데이터로 중첩 출력하게 하고, 얼굴을 제외한 다른 영역의 데이터는 가시광 영상 데이터로 화면에 표시하는 얼굴 중첩부(80); 및 질병 의심을 경고하는 경고부(90)를 포함한다.

본 발명에서 듀얼 카메라가 설치되는 장소는 일반적으로 출입국 통행자가 많은 장소에 설치되고, CCTV 카메라와 같이 또는 분리되어 설치될 수 있다. 본 발명의 일반 카메라(Pi cam)와 열상 카메라(Flir Lepton)를 구비한 듀얼 카메라는 하나의 보드(Raspberry pi board)에 설치되고 바람직하기로는 CCTV 카메라 대용으로 설치될 수 있다. 또한, 상기 보드에 원격으로 연결된 디스플레이 장치(Raspberry pi touchscreen Display)를 사용하여 통행자의 얼굴 영역의 체온 분포를 쉽게 디스플레이할 수 있다.

본 발명의 인체 감시 발열 경보 장치는 열상 카메라(40)에서 구할 수 없는 얼굴 좌표 값을 대신하여, 얼굴 검출부(30)에서 일반 카메라(20)의 얼굴인식 프로그램을 이용하여 검출한 좌표 값을 활용하여, 질병 여부 판단부(60)에서는 전신의 열 분포도를 가지고 질병 여부를 판단하는 것보다 얼굴 추출부(50)에서 추출한 열에 민감한 부분인 얼굴영역의 열 분포도만 미리 저장한 정상 체온값과 비교하여, 고열 여부를 판단하므로 판단에 필요한 계산량을 현저히 감소시킬 수 있다.

또한, 본 발명은 일반 카메라(20)의 영상정보에 열상 카메라(40)의 열화상 영상으로부터 얼굴 추출부(50)에서 추출한 얼굴영역만의 열 분포도 화상을 얼굴 중첩부(80)에서 오버레이 표시하여 전체적으로 자연스러운 영상을 표시한다.

본 발명은 인체 감시 발열 경보 방법의 각 단계를 구현하는 소프트웨어 프로그램을 저장한 기록 매체를 제공한다.

10: 제어부 20: 일반 카메라
30: 얼굴 검출부 40: 열상 카메라
50: 얼굴 추출부 60: 질병 여부 판단부
80: 얼굴 중첩부 90: 경고부

Claims (5)

1. 삭제
2. 삭제
3. 일반 카메라 및 열상 카메라를 구비한 듀얼 카메라를 이용하여 측정한 통행자의 체온이 정상 체온이 아니면 경보를 발생하는 인체 감시 발열 경보 장치에 있어서,
   제어부;
   상기 제어부의 제어하에, 상기 일반 카메라에서 가상적으로 설정된 관심영역 내에 있는 통행자를 촬상한 가시광 영상으로부터 통행자의 얼굴 영역만을 얼굴 인식 프로그램으로 추출하여 얼굴 영역의 최외각 박스형 좌표 값을 검출하는 얼굴 검출부;
   상기 제어부의 제어하에, 상기 검출된 얼굴 영역의 최외각 박스형 좌표 값을 이용하여 상기 열상 카메라가 촬상한 열화상 영상으로부터 상기 얼굴 영역의 최외각 박스형 좌표 값에 위치한 얼굴 영역만을 추출하는 얼굴 추출부;
   상기 제어부의 제어하에, 상기 얼굴 추출부에서 추출된 얼굴 영역의 얼굴 온도 분포도를 가지고 미리 저장된 얼굴 영역의 기준 열 분포도와 비교하여 질병 여부를 판단함으로써, 인체 전신의 열 분포도를 가지고 질병 여부를 판단하는 것보다 열에 민감한 부분인 얼굴 영역의 열 분포도만을 가지고 고열 여부를 판단하여 판단에 필요한 계산량을 현저히 감소시키는 질병 여부 판단부;
   상기 질병 여부 판단부의 제어신호에 의해 상기 얼굴 추출부로부터의 상기 열상 카메라에서 질병 여부가 판단된 얼굴의 온도 분포도 정보를 상기 일반 카메라가 촬상한 상기 가시광 영상의 얼굴 영역에 중첩시켜 상기 가시광 영상의 얼굴 부분만 열상 데이터로 중첩 출력하게 하고, 얼굴을 제외한 다른 영역의 데이터는 가시광 영상 데이터로 화면에 표시함으로써 전체적으로 자연스러운 영상을 표시하는 얼굴 중첩부; 및
   질병 의심을 경고하는 경고부를 포함하는 인체 감시 발열 경보 장치.
4. 삭제
5. 삭제

Images