KR102205605B1 - 열상 이미지의 온도 표시 방법 - Google Patents

Abstract

본 발명은 열상 카메라로 촬영한 체온 정보를 디스플레이로 출력하는 방법에 관한 것으로, 일 실시예에 따르면, 열상 카메라로 촬영한 열상 이미지에서 복수의 얼굴을 검출하는 단계; 및 상기 복수의 얼굴의 각각의 체온 정보를 체온 선별표시 모드에 따라 디스플레이로 출력하는 단계;를 포함하고, 상기 체온 선별표시 모드는, 상기 복수의 얼굴 중 기설정된 기준에 따른 하나 이상의 얼굴의 체온 정보를 각 얼굴에 인접한 위치에 표시하고, 상기 기준에 따른 나머지 얼굴의 체온 정보를 열상 이미지로 표시하는 모드인 것을 특징으로 하는 체온 정보 출력 방법을 개시한다.

Description

열상 이미지의 온도 표시 방법 {Method for display temperature in thermal image}

본 발명은 열상 카메라에 관한 것으로, 보다 상세하게는, 열상 카메라를 이용하여 인체의 체온을 측정하고 발열을 감시하는 방법 및 장치에 관한 것이다.

최근 사스(중증 급성 호흡기 증후군), 신종플루, 메르스, 코로나 바이러스 등의 호흡기성 전염병이 빈번하게 발생하고 있으며 이러한 전염병의 유증상자를 발견하고 추적하기 위해 열상 카메라를 이용하여 체온을 측정하는 장비가 널리 사용되고 있다.

열상 카메라를 이용한 종래의 체온 측정 방법에는 통행로에 열상 카메라를 설치하여 통행로를 지나는 통행자의 체온을 측정하여 고열이 나는 사람을 식별하는 방법이 있다. 또한 실상 카메라와 열상 카메라를 동시에 이용하여 통행자를 촬영하고 실상 이미지 및/또는 열상 이미지를 화면에 표시하여 각 통행자들과 그들의 체온을 용이하게 표시하고 식별하기도 한다.

그러나 이러한 종래 방식에서는 다수의 사람을 한번에 촬영하여 각자의 체온 정보를 한 화면에 표시할 경우 화면이 너무 복잡해지고 체온 정보를 식별하기가 곤란하므로 이상 체온을 가진 사람을 식별하기 어려운 경우가 많다.

특허문헌1: 한국 공개특허 제10-2018-0123900호 (2018년 11월 20일 공개) 특허문헌2: 한국 등록특허 제10-1729327호 (2017년 4월 17일 공고)

본 발명은 상기 문제점을 해결하기 위한 것으로, 열상 카메라로 촬영하여 획득한 각 사람의 체온 정보를 보다 적절한 방식으로 화면에 디스플레이 함으로써 많은 수의 사람을 한번에 촬영하더라도 체온 정보를 적절히 화면에 표시하여 이상 체온을 가진 사람을 쉽게 식별할 수 있는 기술을 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따르면, 열상 카메라로 촬영한 체온 정보를 디스플레이로 출력하는 방법으로서, 열상 카메라로 촬영한 열상 이미지에서 복수의 얼굴을 검출하는 단계; 및 상기 복수의 얼굴의 각각의 체온 정보를 체온 선별표시 모드에 따라 디스플레이로 출력하는 단계;를 포함하고, 상기 체온 선별표시 모드는, 상기 복수의 얼굴 중 기설정된 기준에 따른 하나 이상의 얼굴의 체온 정보를 각 얼굴에 인접한 위치에 표시하고, 상기 기준에 따른 나머지 얼굴의 체온 정보를 열상 이미지로 표시하는 모드인 것을 특징으로 하는 체온 정보 출력 방법을 개시한다.

본 발명의 일 실시예에 따르면, 열상 카메라로 촬영하여 획득한 각 사람의 체온 정보를 소정 기준에 따라 전체표시 모드와 선별표시 모드로 구분하여 디스플레이 함으로써 많은 수의 사람을 촬영할 경우에도 체온 정보를 적절히 표시할 수 있고 이상 체온을 가진 사람을 쉽게 식별하고 추적할 수 있다.

도1은 본 발명의 일 실시예에 따른 열상 카메라 시스템을 설명하기 위한 도면,
도2는 일 실시예에 따른 열상 카메라 시스템의 블록도,
도3은 일 실시예에 따라 실상 또는 열상 이미지를 디스플레이하는 방법의 흐름도,
도4는 일 실시예에 따라 이미지에서 얼굴을 검출하는 방법의 흐름도,
도5 및 도6은 일 실시예에 따라 열상 또는 실상 이미지에 체온을 표시하는 방법을 설명하는 도면이다.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제3의 구성요소가 개재될 수도 있다는 것을 의미한다. 이와 유사하게, 본 명세서에서 어떤 구성요소가 다른 구성요소에 연결(또는 결합, 체결, 부착 등)된다고 언급하는 경우 그것은 다른 구성요소에 직접적으로 연결(또는 결합, 체결, 부착 등)되거나 또는 그들 사이에 제 3의 구성요소를 개재하여 간접적으로 연결(또는 결합, 체결, 부착 등)될 수 있다는 것을 의미한다. 또한 본 명세서의 도면들에 있어서 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 또한 본 명세서의 도면들에 있어서 구성요소들의 길이, 넓이, 부피, 크기, 또는 두께 등은 기술적 내용의 효과적인 설명을 위해 과장된 것이다.

본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '~를 포함한다', ‘~로 구성된다', 및 ‘~으로 이루어진다’라는 표현은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

본 명세서에서 용어 '소프트웨어'는 컴퓨터에서 하드웨어를 움직이는 기술을 의미하고, 용어 '하드웨어'는 컴퓨터를 구성하는 유형의 장치나 기기(CPU, 메모리, 입력 장치, 출력 장치, 주변 장치 등)를 의미하고, 용어 '단계'는 소정의 목을 달성하기 위해 시계열으로 연결된 일련의 처리 또는 조작을 의미하고, 용어 '컴퓨터 프로그램' 또는 '프로그램'은 컴퓨터로 처리하기에 합한 명령의 집합을 의미하고, 용어 '프로그램 기록 매체'는 프로그램을 설치하고 실행하거나 유통하기 위해 사용되는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 의미한다.

본원 명세서에서, 용어 데이터나 정보의 '관리'는 데이터나 정보의 수신, 송신, 저장, 수정, 및 삭제 중 적어도 하나의 동작을 포함하는 의미로 사용될 수 있다. 본 명세서에서 발명의 구성요소를 지칭하기 위해 사용된 '~부', '~모듈', '~유닛', '~블록', '~보드' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 물리적, 기능적, 또는 논리적 단위를 의미할 수 있고 이는 하나 이상의 하드웨어나 소프트웨어 또는 펌웨어로 구현되거나 또는 하나 이상의 하드웨어, 소프트웨어, 및/또는 펌웨어의 결합으로 구현될 수 있다.

본원 명세서에서, '처리장치', '컴퓨터' 또는 '컴퓨팅 장치'는 윈도우, 맥, 또는 리눅스와 같은 운영체제, 컴퓨터 프로세서, 메모리, 응용프로그램들, 기억장치(예를 들면, HDD, SDD), 및 모니터를 구비한 장치일 수 있다. 컴퓨터는 예를 들면, 데스크탑 컴퓨터나 노트북과 같은 것일 수 있으나, 이들은 예시적인 것으로 본원 발명은 데스크탑 컴퓨터나 노트북에만 한정되는 것이 아니다. 모바일 단말기는 스마트폰, 태블릿 PC, 또는 PDA와 같은 모바일 무선통신기기 중 하나일 수 있다.

이하 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.

도1은 본 발명의 일 실시예에 따른 열상 카메라 시스템을 개략적으로 나타낸다. 도면을 참조하면, 일 실시예에 따른 열상 카메라 시스템은 카메라 모듈(10), 영상처리장치(20), 및 디스플레이(30)를 포함한다. 본 발명의 열상 카메라 시스템은 임의의 촬영대상(피사체)(S)의 온도를 측정하고 디스플레이 하는데 사용될 수 있으며 본 명세서에서는 일 예로서 사람의 체온을 측정하는 경우를 가정하고 본 발명을 설명하기로 한다.

일 실시예에서 카메라 모듈(10)은 실상 카메라와 열상 카메라를 포함한다. 실상 카메라는 촬영대상의 가시광선 영역의 이미지를 촬영하여 영상 데이터를 생성하는 카메라이다. 열상 카메라는 촬영대상에서 자연적으로 방사하는 적외선을 감지하고 적외선의 양을 열로 환산하여 촬영대상의 온도 데이터를 생성하는 카메라이다. 도면에서는 카메라 모듈(10) 내에 실상 카메라와 열상 카메라가 모두 구비된 것으로 도시하였지만 실상 카메라와 열상 카메라가 각기 독립적으로 설치될 수도 있음은 물론이다.

영상 처리장치(20)는 카메라 모듈(10)에서 촬영한 영상 데이터를 처리한다. 예를 들어 영상 처리장치(20)는 카메라 모듈(10)로부터 수신한 실상 이미지 및/또는 열상 이미지에 대한 전처리(예컨대 노이즈 제거, 필터링, 동기화, 정합 등)하고 실상 또는 열상 이미지에서 하나 이상의 촬영대상(S)의 얼굴을 검출하고, 각 촬영대상(S)에 대한 온도 정보를 실상 또는 열상 이미지에 오버랩하는 등의 영상 처리를 수행할 수 있고, 이렇게 처리된 실상 데이터, 열상 데이터, 및/또는 실상과 열상의 합성 데이터를 디스플레이(30)로 출력할 수 있다. 영상 처리장치(20)의 구체적 동작에 대해서는 도2를 참조하여 후술하기로 한다.

디스플레이(30)는 영상 처리장치(20)에서 처리된 영상 데이터를 사용자에게 표시하는 장치로서, 예컨대 LCD 디스플레이, LED 디스플레이 등의 임의의 영상 출력장치로 구현될 수 있다. 일 실시예에서 영상 처리장치(20)는 다양한 방식으로 실상 이미지와 열상 이미지를 디스플레이(30)로 출력할 수 있다. 예를 들어 실상 이미지나 열상 이미지 중 하나만 디스플레이(30)로 출력할 수도 있고, 실상 이미지와 열상 이미지를 서로 오버랩한 합성 이미지를 출력할 수도 있고, 예컨대 PIP (Picture-In-Picture) 기능과 같이 화면을 분할하여 실상 이미지와 열상 이미지를 각각 병렬적으로 출력할 수도 있다.

일 실시예에서 본 발명의 열상 카메라 시스템은 온도 교정기(40)를 더 포함할 수 있다. 온도 교정기(40)는 열상 카메라의 온도 보정에 사용되는 장비로서, 일 실시예에서 적외선 방사체(41) 및 이를 수용하는 케이스(42)로 구성될 수 있다. 적외선 방사체(41)는 적외선을 방출하는 물체이며 바람직하게는 흑체(black body)가 사용된다. 이상적인 흑체는 외부로부터 오는 빛을 모두 흡수하여 반사하지 않고 자신이 가진 에너지에 해당하는 파장의 빛만을 방출하는 물체이다. 따라서 물체를 적외선 촬영하여 이 물체의 정확한 온도를 측정하는 적외선 카메라(열상 카메라)의 온도 보정에 흑체를 사용할 수 있으며, 일 실시예에서 예컨대 카본블랙 등 탄소 재질로 흑체를 만들 수 있다. 적외선 방사체(41)는 임의의 가열/냉각 장치에 연결되어 있고 이에 의해 기설정된 온도로 유지될 수 있도록 구성된다.

적외선 방사체(41)는 케이스(42) 내에 수용되어 있으며 케이스(42)의 일면의 관통구를 통해 외부에서 적외선 방사체(41)를 볼 수 있도록 구성되어 있다. 본 발명의 일 실시예에서, 케이스(42)는 육면체 등 소정 형상을 가지며 케이스의 전방 면을 통해 적외선 방사체(41)를 볼 수 있도록 구성된다. 이 때 방사체(41)를 둘러싸는 케이스(42) 전방 면의 나머지 영역은 기설정된 소정 색상(예컨대 빨간색)으로 칠해져 있거나 또는 소정 패턴이 형성되어 있다.

일 실시예에서 온도 교정기(40)는 촬영대상(S)을 촬영하기 위한 카메라 시야각 내에 위치하도록 배치되며, 따라서 카메라 모듈(10)의 열상 카메라가 촬영대상(S)을 촬영하면서 동시에 온도 교정기(40)도 촬영할 수 있다. 온도 교정기(40)를 이용한 열상 카메라의 온도 교정에 대해서는 도2를 참조하여 후술하기로 한다.

한편, 위에서 열상 카메라로 촬영한 이미지를 '열상 이미지'라고 칭하였으나 본 명세서에서는 이와 동일한 의미로 '열영상 이미지', '열화상 이미지', 또는 '적외선 이미지'라고 부르기도 한다. 또한 본 명세서에서 '영상 데이터'는 단순히 '영상' 또는 '이미지'라고 부르기도 한다.

도2는 일 실시예에 따른 열상 카메라 시스템의 블록도이다. 도2에서 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)는 각각 도1의 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)에 대응한다.

카메라 모듈(10)은 실상 카메라(11)와 열상 카메라(12)를 구비할 수 있다. 실상 카메라(11)는 촬영대상(S)의 가시광선 영역의 이미지를 촬영하여 영상 데이터를 생성할 수 있다. 일 실시예에서 실상 카메라(11)는 렌즈, CCD, 및 아날로그-디지털(A/D) 컨버터 등의 하드웨어 및/또는 소프트웨어로 구현된다. 렌즈를 통해 들어온 빛은 CCD에 의해 빛의 강약이 전기적 신호로 변환되고, 이 신호가 A/D 컨버터에서 디지털 신호인 영상 데이터로 변환된다. 이러한 실상 카메라(11)의 구성과 동작은 공지기술이므로 이하에서는 구체적 설명을 생략한다.

열상 카메라(12)는 촬영대상(S)에서 자연적으로 방사하는 적외선을 감지하고 적외선의 양을 열로 환산하여 촬영대상의 온도 데이터를 생성할 수 있다. 일 실시예에서 열상 카메라(12)는 적외선을 통과시키는 적외선 렌즈, 적외선 렌즈로 입사되는 적외선을 검출하여 전기적 신호로 변환하는 검출소자 어레이, 및 전기적 신호를 디지털 신호인 온도 데이터로 변환하는 아날로그-디지털(A/D) 컨버터를 포함한다.

적외선 렌즈는 적외선을 투과시키는 렌즈이며, 검출소자 어레이는 적외선 렌즈로 입사된 적외선을 검출하여 전기적 신호로 변환한다. 검출소자 어레이는 예컨대 다수의 픽셀이 2차원 배열로 구성된 초점면 배열(FPA: Focal Plane Array) 구조를 가질 수 있으나 이러한 구조에 제한되는 것은 아니다. A/D 컨버터는 검출소자 어레이에서 생성된 아날로그 신호인 전기적 신호를 디지털 신호인 온도 데이터로 변환한다. 열상 카메라(12)는 A/D 컨버터에서 변환된 온도 데이터에 대한 불균일 보정(NUC)과 데드픽셀 처리를 추가적으로 더 수행할 수 있다. 불균일 보정과 데드픽셀 처리에 관한 기술은 열상 카메라 분야에서 공지되었으로 구체적 설명을 생략한다.

카메라 모듈(10)의 실상 카메라(11)와 열상 카메라(12)에서 생성된 실상 이미지와 열상 이미지는 영상 처리장치(20)로 전달되어 처리된다. 일 실시예에서 영상 처리장치(20)는 영상 처리부(21), 얼굴 검출부(22), 흑체 인식부(23), 및 온도 교정부(24)를 포함할 수 있다.

영상 처리부(21)는 카메라 모듈(10)로부터 수신한 실상 이미지 및/또는 열상 이미지에 대한 노이즈 제거, 필터링, 동기화, 영상 정합과 합성 등의 이미지 처리 동작을 수행하며 예를 들어 다음과 같은 기능들 중 하나 이상을 포함한다.

(1) 노이즈 제거 및 영상 개선: 영상 처리부(21)는 실상 이미지 및/또는 열상 이미지의 화질향상, 콘트라스트 개선 등 영상 개선을 위한 처리를 수행할 수 있다. 예를 들어 영상 처리부(21)는 저역통과 필터링, 이미지 블러링(blurring), 이미지 스무딩(smoothing) 등의 처리를 하여 노이즈나 불균일을 제거할 수 있다.

또한 영상 처리부(21)는 이미지에 대한 고역통과 필터링도 수행할 수 있다. 예컨대 실상 이미지에 대해 공간 필터를 이용하여 고역통과 필터링을 하여 실상 이미지의 고공간 주파수 성분(즉 촬영대상의 윤곽이나 경계선 부분)을 추출할 수 있다. 이미지에서 고공간 주파수 성분을 추출하는 다른 방법으로서, 영상 처리부(21)는 시간적으로 연속적인 두 이미지 간의 차이를 추출하는 방법을 사용할 수 있다. 즉 연속 이미지 시퀀스에서 제1 시간의 이미지와 제2 시간의 이미지 사이의 차이를 구하여 촬영대상의 가장자리나 윤곽을 나타내는 고공간 주파수 성분을 추출할 수 있다.

(2) 이미지 동기화: 영상 처리부(21)는 실상 카메라(11)와 열상 카메라(12)에서 동일 시각에 각각 촬영한 실상 및 열상 이미지를 시간적으로 동기화시킴으로써 동일 시각에 대응하는 실상 이미지와 열상 이미지를 얻을 수 있다. 일반적으로 실상 카메라(11)와 열상 카메라(12)는 CCD, 검출소자 어레이, A/D 컨버터 등 하드웨어/소프트웨어의 차이로 인해 영상 촬영 속도가 다르기 때문에 동일 시점의 실상 이미지와 열상 이미지를 획득할 수 있도록 실상 카메라(11)와 열상 카메라(12)의 출력을 동기화한다.

(3) 이미지 정합: 영상 처리부(21)는 실상 카메라(11)와 열상 카메라(12)가 동일 촬영대상을 동일 시야각으로 촬영하여 동일한 크기로 출력되도록 실상 이미지와 열상 이미지를 정합할 수 있다. 또한 영상 처리부(21)는 실상 및 열상 이미지의 정합을 위해 두 이미지 중 하나의 해상도를 변경하여 동일 해상도를 갖도록 처리할 수 있다.

(4) 컬러 열영상 변환: 영상 처리부(21)는 열상 이미지에 대해 각 픽셀을 해당 픽셀의 온도 데이터에 따른 컬러 색으로 변환하여 출력할 수 있다. 즉 각 픽셀의 온도 데이터를 온도 대역에 따라 매칭된 색으로 변환하여 컬러의 열화상 데이터를 생성한다. 예를 들어 영상 처리부(21)는 각 픽셀의 온도 데이터의 각 온도값에 매칭된 RGB 값을 적용하여 컬러의 열 영상(thermal image)을 생성한다. 이에 따라, 예컨대 높은 온도를 빨간색 계열로 표시하고 낮은 온도를 파란색 계열로 표시한 컬러 열영상을 생성할 수 있다.

또한 영상 처리부(21)는 특정 픽셀에 대한 온도 검출 및 그에 따른 응용처리를 수행할 수 있다. 예를 들어 전체 픽셀들 중 최고 온도를 갖는 픽셀을 검출하거나 기설정된 소정 온도 범위 내의 온도를 갖는 픽셀들을 검출할 수 있다.

(5) 이미지 합성: 영상 처리부(21)는 동일 촬영대상에 대해 실상 카메라(11)와 열상 카메라(12)가 촬영한 실상 및 열상 이미지를 합성하여 하나의 합성 이미지를 생성할 수 있다. 이미지 합성을 위해 상술한 이미지 동기화 및 정합 처리를 먼저 수행하고 그 후 예컨대 실상 이미지에 대해 열상 이미지의 일부나 전부를 오버랩하여 합성 이미지를 생성할 수 있다. 또는 실상 이미지나 열상 이미지 위에 특정 픽셀이나 특정 픽셀 영역의 온도를 나타내는 정보를 오버랩하여 합성 이미지를 생성할 수도 있다.

이상 설명한 영상 처리부(21)의 일부 기능에 대해서는 다른 도면을 참조하여 더 후술하기로 한다.

영상 처리장치(20)에서 얼굴 검출부(22)는 실상 이미지 및/또는 열상 이미지에서 촬영대상의 얼굴 영역을 검출하고 검출된 얼굴 영역의 좌표를 포함하는 검출영역 정보를 산출할 수 있다. 일 실시예에서 얼굴 검출부(22)는 기정의된 얼굴의 특징점(feature)을 이용하여 얼굴을 검출할 수 있다. 예를 들어 얼굴의 특징 성분(예컨대 눈, 코, 입, 외곽선, 명암도 등)의 크기와 모양, 상호 연관성, 얼굴의 색상과 질감 정보 등을 이용하여 얼굴을 검출할 수 있다. 대안적으로, 얼굴 검출부(22)는 얼굴의 특징점 뿐만 아니라 얼굴외 특징점도 이용할 수도 있다. 예를 들어 촬영대상이 모자나 썬글라스 또는 마스크를 쓴 경우에 대응하여, 다양한 종류와 크기의 모자, 썬글라스, 마스크에 대한 특정점을 미리 정의해두고 이를 이용할 수 있다. 또한 이미지 상에서 사람을 먼저 검출하고 그 후 얼굴 영역을 검출하기 위해 인체의 전체 또는 상반신에 관한 특징점(예컨대 인체의 각 관절과 골격 등)을 이용할 수 있다.

일 실시예에서 얼굴 검출부(22)는 얼굴의 외형에 기반한 패턴 인식을 이용하여 얼굴을 검출할 수 있다. 즉 다양한 얼굴 포즈의 학습 영상 집합에 대한 패턴 인식으로 얼굴 패턴을 학습하고 학습된 모델을 이용하여 얼굴을 검출하는 방법이다. 예를 들어 주성분 분석(PCA)에 의해 생성되는 고유 얼굴(eigenface), 선형판별식 해석(LDA), 인공 신경망(ANN), 아다부스트(Adaboost), 서포트 벡터 머신(SVM)을 이용하는 방법 등이 있다.

일 실시예에서 얼굴 검출부(22)는 사람의 손이나 팔 등의 피부와 얼굴을 구별하기 위해 피부의 질감이나 색조를 검출하고 이 정보를 바탕으로 얼굴을 판별할 수 있다. 예를 들어 얼굴 검출부(22)는 국부이진패턴(Local binary patterns: LBP) 방식을 이용하여 이미지의 질감(texture)을 검출하고 얼굴 검출에 활용할 수 있다. 또한 대안적으로 얼굴 검출부(22)는 HSV(색조, 채도, 명도) 방식의 색표현을 이용하여 HSV 컬러 공간에서 소정의 임계값을 기준으로 이미지 전체의 색상 및 밝기에 따라 임계값을 적용하여 이미지에서 얼굴 영역을 검출할 수도 있다.

얼굴 검출부(22)는 이상 설명한 얼굴 검출 방법 외에도 공지된 다양한 방식과 알고리즘을 이용하여 실상 및/또는 열상 이미지에서 얼굴을 검출할 수 있다.

흑체 인식부(23)와 온도 교정부(24)는 촬영하는 이미지 내에서 온도 교정기(40)를 인식하고 이에 기초하여 촬영대상의 온도를 교정하는 기능부이다. 온도를 교정하는 예시적 방법으로, 우선 흑체 인식부(23)가 이미지 내에서 온도 교정기(40)를 인식할 수 있도록 온도 교정기(40)의 형상 및/또는 색상 등의 정보를 영상 처리장치(20)에 등록할 수 있다. 예컨대 온도 교정기(40)를 실상 카메라(11) 및/또는 열상 카메라(12)로 촬영하고 이 촬영 이미지에서 온도 교정기(40)를 포함하는 픽셀 영역을 지정하면 흑체 인식부(23)가 이 지정된 픽셀 영역 내에서 온도 교정기(40)의 케이스(42)의 에지 라인(윤곽선) 및 케이스(42) 전면의 색상이나 패턴을 인식하고 이 인식된 에지 라인, 색상, 및/또는 패턴 정보를 영상 처리장치(20)에 등록한다.

그 후 실상 및/또는 열상 카메라(11,12)를 이용하여 실제 촬영시 촬영대상과 함께 온도 교정기를 촬영하고, 상기 등록된 온도 교정기 정보에 기초하여 촬영 이미지에서 온도 교정기(40)를 인식한다. 예를 들어 실상 이미지에서 온도 교정기(40)의 케이스(42)의 윤곽이나 색상 또는 패턴을 인식하여 온도 교정기(40)를 식별할 수 있다. 그 후 흑체 인식부(23)는 열상 이미지에서 온도 교정기(40)의 적외선 방사체(41)를 식별할 수 있다. 예컨대 적외선 방사체(41)가 기설정된 소정 온도로 유지되고 있는 경우, 흑체 인식부(23)는 온도 교정기(40) 내의 상기 소정 온도를 나타내는 픽셀 영역을 검출하여 이 영역을 적외선 방사체(41)로 식별할 수 있다.

그 후 온도 교정부(24)는 적외선 방사체(41)의 온도를 기준온도로 하여, 열상 이미지의 온도 정보를 교정한다. 예를 들어 적외선 방사체(41)에 해당하는 픽셀의 온도 값이 적외선 방사체(41)의 실제 온도와 차이가 있을 경우 이 온도 차이값 만큼을 전체 픽셀에 적용하여 열상 이미지의 온도를 보정할 수 있고, 그 외에도 공지된 다른 온도 교정 방법이 사용될 수 있다.

이러한 온도 교정은 기설정된 소정 시간주기마다 실행될 수 있고, 대안적으로, 온도 교정을 수행할지 여부를 영상 처리장치(20)가 자동으로 판단하여 실행할 수도 있다. 예컨대 열상 카메라(12)가 소정 시간 동안 촬영하여 측정한 촬영대상의 체온의 평균값을 산출하고 이 평균값이 기설정된 온도 범위를 벗어나는 경우 영상 처리장치(20)가 상술한 온도 교정 방법을 실행하도록 구성할 수 있다.

한편, 상술한 영상 처리장치(20)의 각 기능부인 영상 처리부(21), 얼굴 검출부(22), 흑체 인식부(23), 및 온도 교정부(24)는 해당 기능을 수행하도록 프로그램된 소프트웨어 및 필요에 따라 이를 지원하는 하드웨어로 구성될 수 있다. 또한 이들 기능부(21,22,23,24)는 각기 독립적인 소프트웨어로 구현될 수도 있고 하나의 통합된 소프트웨어로 구현될 수도 있으며 이 기능부들 중 적어도 일부가 영상 처리장치(20) 외부의 임의의 처리장치에 설치되어 실행될 수도 있다.

도3은 일 실시예에 따라 실상 또는 열상 이미지를 디스플레이하는 방법의 흐름도이다.

도면을 참조하면, 우선 단계(S10)에서 실상 카메라(11)와 열상 카메라(12)로 촬영대상(S)을 촬영하여 실상 이미지와 열상 이미지를 각각 생성하고 이를 영상 처리장치(20)로 전달한다. 단계(S20)에서, 영상 처리장치(20)는 전달받은 실상 및 열상 이미지에 대한 전처리를 수행할 수 있다. 예컨대 이미지의 노이즈 제거, 고대역/저대역 필터링 등의 처리를 하여 영상 개선을 하고 실상 및 열상 이미지의 동기화 및 정합 처리를 수행할 수 있다.

그 후 단계(S30)에서, 영상 처리장치(20)의 얼굴 검출부(22)가 이미지에서 하나 이상의 얼굴을 검출한다. 이와 관련하여 도4는 얼굴 검출부(22)가 이미지에서 얼굴을 검출하는 예시적 방법을 나타낸다.

도4를 참조하면, 단계(S31,S32)에서 얼굴 검출부(22)는 실상 이미지에서 얼굴 형상을 추출한다. 이 단계(S31)에서 얼굴 검출부(22)는 예컨대 도2를 참조하여 설명한 얼굴 특징점을 이용한 방법 또는 인공신경망 등의 패턴 인식 방법에 의해 얼굴 형상을 추출할 수 있다. 이 때 본 명세서에서 '얼굴 형상'은 실제의 '얼굴'과 구별되는 의미로서, 실제 얼굴이 아닐 수도 있지만 얼굴 형태를 갖는 형상을 의미한다. 즉 단계(S31)에서 추출된 '얼굴 형상'은 실제 얼굴일 수도 있고 얼굴과 유사한 형상의 물체일 수도 있다.

또한 이 단계(S31)에서, 실상 이미지에서 얼굴 전체의 형상을 추출할 수도 있지만 얼굴의 일부분과 유사한 형상도 얼굴 형상으로서 추출할 수도 있다. 예컨대 도2에서 설명한 것처럼 얼굴 특징점 뿐만 아니라 모자나 썬글라스, 마스크, 인체의 상반신 등 얼굴외 특징점도 이용할 경우 얼굴의 일부분도 얼굴 형상으로 인식하여 추출할 수 있다.

단계(S31)와 동시에 또는 순차적으로, 단계(S32)에서 얼굴 검출부(22)는 열상 이미지에서 체온 영역을 추출한다. 예를 들어 체온 영역을 섭씨 35.5도 내지 39도 등과 같이 소정 온도범위로 설정하고 이 설정된 온도범위의 온도 값을 나타내는 픽셀 영역을 체온 영역으로서 추출할 수 있다.

다음으로 단계(S33)에서, 앞 단계(S31,S32)에서 추출한 얼굴 형상 및 체온 영역에 기초하여 얼굴을 추정한다. 얼굴을 추정하는 예시적 방법으로, 실상 이미지에서 추출한 얼굴 형상과 열상 이미지에서 추출한 체온 영역을 OR 조건으로 하여 얼굴을 추정할 수 있다. 이 경우 얼굴 전체 뿐만 이나라 얼굴의 일부분만 보이는 경우에도 얼굴로 추정되고 저체온의 얼굴이나 체온과 비슷한 온도의 물체도 얼굴로서 추정되므로 가능한 한 모든 상황에서 최대한 많은 얼굴을 검출할 수 있다.

그 후 단계(S34)에서, 추정된 얼굴에 대해 피부 질감이나 색조 등 추가 정보를 획득한다. 예를 들어 실상 이미지에서 질감 정보나 색조 정보 등의 정보를 추가로 획득할 수 있다. 대안적 실시예에서, 열상 이미지에서 얼굴의 열점을 검출할 수도 있다. 즉 열상 이미지 상에서 얼굴의 혈류(血流)에 생기는 열점을 검출하여 이를 추가 정보로 이용할 수 있다.

일 실시예에서, 추가 정보 획득에 소요되는 데이터 처리량을 줄이기 위해, 열상 이미지에서 체온 영역으로 추출된 픽셀 영역에 대해서만 이러한 추가 정보를 추출할 수 있다. 또한 이 단계(S34)는 얼굴 추정 단계(S33) 이후에 실행될 수도 있지만, 대안적으로, 얼굴 추정 단계(S33) 이전에 실행될 수도 있다.

그 후 단계(S35)에서, 질감 또는 색조 등 추가 정보에 기초하여, 상기 추정된 얼굴이 실제 얼굴인지 여부를 판단하여 얼굴을 검출한다. 얼굴의 질감이나 색조 등 피부와 얼굴을 구별하는 이러한 추가 정보를 이용함으로써 얼굴이 아닌 팔이나 손 등의 피부를 추정 얼굴에서 제외시킬 수 있으므로 얼굴 검출의 정확도를 높일 수 있다.

또한 상술한 얼굴 검출 방법에 의하면 저체온의 얼굴도 검출할 수 있다. 열상 카메라에 의한 온도 측정을 피하기 위해 일부 사람들이 온도 측정 직전에 찬물에 세수를 하거나 얼굴에 물을 뿌리거나 차가운 곳에 오랫동안 있다가 카메라 앞에 도착하는 경우가 있는데, 이러한 경우 얼굴의 온도가 일반적인 체온 범위보다 낮게 나온다. 지금까지의 발열자 감시는 온도가 높은 사람을 감지하는 것을 목표로 했기 때문에 이러한 저체온의 경우는 무시했지만, 본 발명에 따르면 저체온자도 검출할 수 있으므로 온도 측정을 피하려는 다양한 시도를 방지할 수 있다.

다시 도3을 참조하면, 상술한 것과 같이 이미지에서 얼굴을 검출하면, 그 후 단계(S40)에서 실상 이미지 및/또는 열상 이미지에 체온 정보를 부가하여 합성 이미지를 생성하고 이를 디스플레이(30)로 전송하여 출력할 수 있다.

일 실시예에서 실상 이미지나 열상 이미지 중 하나에만 체온 정보를 부가하여 합성 이미지를 만들 수도 있고, 실상 이미지와 열상 이미지의 분할 화면으로 표시하는 합성 이미지나 실상 이미지와 열상 이미지를 오버랩하여 합성 이미지를 만들 수도 있다.

일 실시예에서 열상 이미지를 디스플레이(30)로 출력하는 경우, 열상 이미지에 나타나는 얼굴이나 신체의 윤곽을 보다 선명하게 표시하는 전처리 동작을 수행할 수도 있다. 예를 들어 전처리 동작은 실상 이미지에 대한 고대역 필터링을 하여 얼굴 전체나 일부 또는 신체의 전체나 일부의 에지(윤곽)를 추출하는 단계, 열상 이미지를 저대역 필터링하여 노이즈를 제거하는 단계, 및 상기 추출된 에지를 열상 이미지에 오버랩하는 단계를 포함한다. 이와 같이 촬영대상의 에지를 열상 이미지에 오버랩하여 합성하면 열상 이미지 상에서 촬영대상의 형태를 보다 쉽게 인식할 수 있으므로 이미지 내에 다수의 얼굴이 촬영되는 경우에도 얼굴간 식별을 신속하게 수행할 수 있다.

한편 단계(S40)에서 실상 및/또는 열상 이미지에 체온 정보를 부가함으로써 도5 또는 도6과 같이 체온 정보를 화면상에서 표시할 수 있다.

도5 및 도6은 일 실시예에 따라 열상 또는 실상 이미지에 체온을 표시하는 방법을 나타낸 것으로, 도5는 실상 이미지 또는 열상 이미지의 화면(31)에 체온 정보를 태그 형태로 표시하는 방식을 개략적으로 도시하였다.

도5를 참조하면, 디스플레이(30)의 출력 화면(31)에 한 명 이상의 사람이 촬영될 때, 각 촬영대상(S1,S2)에 대해 이들의 체온 정보를 각 촬영대상(S1,S2)의 얼굴에서 소정 거리, 즉 소정 픽셀 거리 이내의 위치에 태그(T1,T2) 형태로 표시할 수 있다. 이 때 체온 정보는 예컨대 도시한 것처럼 체온을 아라비아 숫자로 나타낸 정보일 수 있으나 이에 제한되지 않는다.

일 실시예에서 각 촬영대상의 체온은 얼굴의 특징점 중 미리 결정된 특징점에서의 체온을 나타낸다. 상기 미리 결정된 특정점은 예를 들어 미간 또는 이마 중앙 중 하나일 수 있다. 종래에는 열상 이미지에서 얼굴을 검출한 후 얼굴 전체의 온도를 평균내거나 가장 온도가 가장 높은 픽셀의 온도를 해당 얼굴의 체온으로 결정하여 표시하였다. 그러나 촬영대상자가 모자나 안경, 마스크 등을 쓰거나 화장이 진한 경우 얼굴 전체를 평균내면 체온 값이 실제 체온을 반영하지 못할 가능성이 있고, 얼굴 내에서 온도 최고점을 체온으로 표시하게 되면 체온 정보를 표시하는 태그의 꼬리표의 위치가 계속 바뀌게 되어 사용자가 체온 정보를 읽기 불편한 문제가 있다.

그러나 본 발명에서와 같이 얼굴 내에서 미간이나 이마 중앙점 등과 같이 특정 특징점을 설정하고 이 지점의 픽셀의 온도값을 체온으로 결정하면 해당 촬영대상자의 정확한 체온을 일정 위치에서 안정적으로 보여줄 수 있다. 한편 이 때 사용되는 특징점은 예컨대 도3의 얼굴 검출 단계(S30)에서 사용된 얼굴 특징점을 이용할 수 있다. 즉 단계(S30)에서 얼굴 특징점을 사용하여 얼굴을 검출한 경우 이 때 사용된 얼굴 특징점 중 미간을 나타내는 특징점에 대응하는 픽셀의 온도 값을 해당 촬영대상자의 체온 값으로 추출해 둘 수 있다.

도6은 실상 이미지 또는 열상 이미지의 화면(31)에서 일부 촬영대상의 체온 정보만 선별하여 태그로 표시하는 방식을 개략적으로 도시하였다.

도6을 참조하면, 일 실시예에서 디스플레이(30)의 출력 화면(31)에 복수의 사람이 촬영될 때 체온을 선별표시 모드로 나타낸다. 여기서 체온의 "선별표시 모드"는 복수의 촬영대상 중 일부의 사람에 대해서만 체온 정보를 태그(T)로 나타내고 나머지 사람의 체온 정보는 영상에 나타내지 않거나 태그가 아닌 다른 방식으로 나타내는 이미지 표시 모드이다.

도6의 실시예에 따른 선별표시 모드에서, 복수의 얼굴 중 기설정된 기준에 따른 하나 이상의 얼굴의 체온 정보를 각 얼굴에 인접한 위치(예컨대 각 촬영대상(S)의 얼굴에서 소정 픽셀 거리 이내의 위치)에 태그(T)로 선별하여 표시하고 상기 기준에 따른 나머지 얼굴의 체온 정보를 열상 이미지로 표시할 수 있다.

이 실시예에 따르면, 우선 카메라(11,12)로 촬영하여 검출된 복수의 얼굴의 각각의 체온이 기설정된 온도 대역에 속하는지 여부를 판단한다. 이 때 기설정된 온도 대역은 예컨대 정상 체온 대역 또는 섭씨 35.8도 내지 37.2도의 온도 범위일 수 있다.

검출된 얼굴의 각각의 체온이 이 기설정된 온도 대역에 속하지 않는 경우, 즉 기설정된 온도보다 높거나 낮은 경우 해당 얼굴의 체온을 도6에 표시한 것처럼 태그(T) 형태로 표시한다. 이 때 태그(T)는 해당 얼굴에서 소정 픽셀 이내의 위치에 숫자로 표시할 수 있다.

얼굴의 체온이 이 온도 대역에 속하는 경우에는 해당 얼굴의 체온 정보를 나타내지 않거나 태그가 아닌 방식으로 나타낸다. 예를 들어, 이 얼굴의 온도를 컬러 열상 이미지로 해당 얼굴에 오버랩하여 표시할 수 있다. 즉, 해당 얼굴에 대해 상기 기설정된 온도 대역 내에서 높은 온도를 빨간색 계열로 표시하고 낮은 온도를 파란색 계열로 표시한 컬러 열영상을 얼굴에 오버랩시킬 수 있다.

이 때 디스플레이 되는 이미지 중에서 얼굴을 제외한 신체 및 배경(B)을 흑백의 실상 이미지나 열상 이미지로 표시하고 얼굴에 대해서만 컬러 열영상으로 표시할 수 있으며, 이 경우 기설정된 온도 대역의 컬러 분해능을 높일 수 있다. 따라서 이 실시예에 따르면, 많은 사람들이 하나의 촬영 영상 내에서 촬영되는 경우에도 온도가 기설정된 온도 대역보다 높거나 낮은 사람은 이상 체온자로 분류하여 태그(T)로 표시되므로 쉽게 식별할 수 있고 또한 기설정된 온도 대역에 속하는 사람들에 대해서도 얼굴마다 높은 컬러 해상도의 열영상으로 표시되므로 체온이 높은 사람과 낮은 사람을 쉽게 식별하여 추적할 수 있다.

또한 본 발명에 따르면 태그(T)로 선별 표시되는 조건을 다양하게 설정할 수 있다. 예를 들어 온도가 가장 높은 사람의 체온 정보만 태그(T)로 표시하고 나머지 사람들에 대해서는 각 사람의 얼굴을 컬러 열영상으로 표시할 수 있고, 다른 예로서, 최대 온도와 최소 온도의 사람만 태그(T)로 표시할 수도 있다. 또한 구체적 실시 형태에 따라 온도 범위를 다르게 설정할 수 있으므로 본 발명이 실시되는 구체적 상황에 맞게 적정 체온의 사람과 그렇지 못한 사람을 정확히 분류하여 추적할 수 있다.

본 발명의 또 다른 실시예에서, 카메라로 촬영되는 사람의 인원수에 따라 전체표시 모드와 선별표시 모드 사이를 전환하면서 체온 정보를 표시할 수 있다. 이 실시예에 따르면, 예컨대 실상 카메라(11) 및/또는 열상 카메라(12)로 촬영한 이미지에서 복수의 얼굴을 검출한 후 검출된 얼굴의 개수가 기설정된 수 이하인 경우 복수의 얼굴의 각각의 체온 정보를 전체표시 모드에 따라 디스플레이로 출력하고, 검출된 얼굴의 개수가 상기 기설정된 수를 초과할 경우 상기 복수의 얼굴의 각각의 체온 정보를 체온 선별표시 모드에 따라 디스플레이로 출력한다.

이 때 '전체표시 모드'는 예컨대 도5와 같이 이미지 내의 모든 얼굴에 대해 체온 정보를 각 얼굴에서 소정 픽셀 거리 이내의 위치에서 태그(T1,T2)로 표시하는 방식이고, '선별표시 모드'는 이미지 내의 복수의 얼굴 중 소정 기준에 따른 일부의 사람에 대해서만 체온 정보를 태그(T)로 표시하고 나머지 사람들의 체온 정보는 표시하지 않거나 태그가 아닌 다른 방식으로 표시하는 것이다.

카메라로 촬영되는 사람이 예컨대 두 세 명인 경우 도5와 같이 모든 사람에 대해 체온 정보를 태그(T1,T2)로 표시하여도 화면(31) 내에서 체온 정보를 쉽게 식별할 수 있으므로 이 경우에는 모든 사람의 체온 정보를 태그로 표시하는 전체표시 모드로 사용하는 것이 바람직하다. 그러나 예컨대 기설정된 인원수(예컨대 5명 또는 6명 등) 이상의 사람을 동시에 촬영하여 각각의 체온을 나타낼 경우 모든 사람의 체온 정보를 전부 태그로 나타내면 오히려 화면(31)이 복잡하고 각 사람의 체온을 식별하기 어렵기 때문에, 이 경우에는 도6과 같이 선별표시 모드로 전환하여 기설정된 조건에 따른 일부 사람에 대해서만 태그(T)로 체온 정보를 표시하고 나머지 사람에 대해서는 체온 정보를 표시하지 않거나 컬러 열영상 등 다른 방식으로 표시하는 것이 바람직하다.

이상과 같이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 명세서의 기재로부터 다양한 수정 및 변형이 가능함을 이해할 수 있다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

10: 카메라 모듈 11: 실상 카메라
12: 열상 카메라 20: 영상 처리장치
21: 영상 처리부 22: 얼굴 검출부
23: 흑체 인식부 24: 온도 교정부
30: 디스플레이 40: 온도 교정기
41: 적외선 방사체 42: 케이스

Claims (5)

1. 열상 카메라로 촬영한 이미지를 처리하는 영상 처리부와 상기 이미지에서 얼굴을 검출하는 얼굴 검출부를 포함하는 영상 처리장치에서, 열상 카메라로 촬영한 체온 정보를 디스플레이로 출력하는 방법으로서,
   상기 얼굴 검출부가, 열상 카메라로 촬영한 열상 이미지에서 복수의 얼굴을 검출하는 단계; 및
   상기 영상 처리부가, 상기 검출된 얼굴의 개수가 기설정된 수 이하인 경우 상기 복수의 얼굴의 각각의 체온 정보를 체온 선별표시 모드에 따라 디스플레이로 출력하고, 상기 검출된 얼굴의 개수가 상기 기설정된 수를 초과할 경우 상기 복수의 얼굴의 각각의 체온 정보를 체온 전체표시 모드에 따라 디스플레이로 출력하는 단계;를 포함하고,
   상기 체온 선별표시 모드는, 상기 복수의 얼굴 중 기설정된 기준에 따른 하나 이상의 얼굴의 체온 정보를 각 얼굴에 인접한 위치에 태그로 표시하고, 상기 기준에 따른 나머지 얼굴의 체온 정보를 태그가 아닌 다른 방식으로 표시하는 모드이고,
   상기 체온 전체표시 모드는, 검출된 모든 얼굴의 체온 정보를 각 얼굴에서 소정 픽셀 거리 이내의 위치에 태그로 표시하는 모드인 것을 특징으로 하는 체온 정보 출력 방법.
2. 제 1 항에 있어서,
   상기 체온 정보를 출력하는 상기 단계에서, 열상 카메라로 촬영한 이미지를 흑백의 열상 이미지로 출력하되, 열상 이미지 내에서 배경과 얼굴을 제외한 신체 영역을 흑백의 열상 이미지로 표시하고 각각의 얼굴에 대해서는 컬러 열상 이미지를 얼굴에 오버랩하여 표시하는 것을 특징으로 하는 체온 정보 출력 방법.
3. 제 2 항에 있어서,
   상기 체온 정보를 출력하는 상기 단계는,
   상기 복수의 얼굴의 각각의 체온이 기설정된 온도 대역에 속하는지 여부를 판단하는 단계; 및
   얼굴의 체온이 상기 온도 대역에 속하지 않는 경우, 체온 정보를 해당 얼굴에서 소정 픽셀 이내의 위치에 수치로 표시하는 단계;를 포함하고,
   상기 체온 정보를 수치로 표시하는 단계에서, 체온이 상기 온도 대역 이상인 경우 체온 정보를 제1 컬러의 수치로 표시하고, 체온이 상기 온도 대역 이하인 경우 체온 정보를 제2 컬러의 수치로 표시하는 것을 특징으로 하는 체온 정보 출력 방법.
4. 제 2 항에 있어서,
   상기 복수의 얼굴의 각각의 체온은 얼굴의 특징점 중 미리 결정된 특징점에서의 체온인 것을 특징으로 하는 체온 정보 출력 방법.
5. 제 4 항에 있어서,
   상기 미리 결정된 특징점은, 미간 또는 이마 중앙 중 하나인 것을 특징으로 하는 체온 정보 출력 방법.

Images