KR20190124029A

KR20190124029A - 열화상 센서 장치 및 이를 구비하는 전기 기기

Info

Publication number: KR20190124029A
Application number: KR1020180048070A
Authority: KR
Inventors: 안병길; 이성현; 김용태; 차영서; 박종명
Original assignee: 엘지전자 주식회사
Priority date: 2018-04-25
Filing date: 2018-04-25
Publication date: 2019-11-04

Abstract

본 발명은 열화상 센서 장치 및 이를 구비하는 전기 기기에 관한 것이다. 본 발명의 일 실시예에 따른 열화상 센서 장치는, 외부 대상에 대한 거리 데이터를 센싱하기 위한 제1 센서와, 대상에 대한 열 데이터를 센싱하기 위한 제2 센서와, 제1 센서로부터의 거리 데이터와, 제2 센서로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산하는 프로세서를 포함한다. 이에 의해, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다.

Description

열화상 센서 장치 및 이를 구비하는 전기 기기{Thermal image sensor device and electric apparatus including the same}

본 발명은 열화상 센서 장치 및 이를 구비하는 전기 기기에 관한 것이며, 더욱 상세하게는 외부 대상에 대한 정확한 온도를 연산할 수 있는 열화상 센서 장치 및 이를 구비하는 전기 기기에 관한 것이다.

열화상 센서 장치는, 외부 대상에 대한 온도를 센싱하는 장치이다. 특히, 센싱된 온도에 대응하는 열화상 이미지를 제공할 수 있다.

한편, 미국공개특허공보 US2011/0262053에는, 가시광 센서에 의한 가시광 이미지와, 적외선 센서에 의한 적외선 이미지를 이용하여, 열화상 이미지를 제공하는 것이 개시된다.

그러나, 이러한 방식에 따르면, 가시광 이미지와 적외선 이미지 내에, 같은 종류의 대상이 겹쳐 있는 경우, 윤곽이나, 물체의 영역을 구별하기가 어렵게 되며, 따라서, 대상에 대한 온도를 정확하게 파악하기 어렵게 된다.

또한, 가시광 센서와 적외선 센서가, 동축(coaxial) 광학계로 구성이 되지 않는 경우, 윤곽이나 영역 추출에 기반한 합성시, 정확한 합성이 어려운 단점이 있다.

본 발명의 목적은, 외부 대상에 대한 정확한 온도를 연산할 수 있는 열화상 센서 장치 및 이를 구비하는 전기 기기를 제공함에 있다.

본 발명의 다른 목적은, 거리 데이터를 이용하여, 외부 대상에 대한 정확한 온도를 연산할 수 있는 열화상 센서 장치 및 이를 구비하는 전기 기기를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 열화상 센서 장치 및 이를 구비하는 전기 기기는, 외부 대상에 대한 거리 데이터를 센싱하기 위한 제1 센서와, 대상에 대한 열 데이터를 센싱하기 위한 제2 센서와, 제1 센서로부터의 거리 데이터와, 제2 센서로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산하는 프로세서를 포함한다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 제1 센서로부터의 제1 대상 및 제2 대상에 대한 거리 데이터와, 제2 센서로부터의 제1 대상 및 제2 대상에 대한 열 데이터에 기초하여, 제1 및 제2 대상의 온도 데이터를 연산할 수 있다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 거리 데이터에 기초하여, 열 데이터의 노이즈 저감 처리를 수행할 수 있다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 대상의 방사율, 제1 센서로부터의 거리 데이터와, 제2 센서로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산할 수 있다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 대상의 방사율이 낮아질수록, 대상의 온도 데이터의 레벨이 낮아지도록 연산할 수 있다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 제1 센서로부터의 깊이 이미지와, 제2 센서로부터의 IR 이미지에 기초하여, 외부 영역에 대한 열화상 이미지를 생성할 수 있다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, IR 이미지에, 깊이 이미지를 합성하여, 열화상 이미지를 생성할 수 있다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 깊이 이미지, 및 IR 이미지에서, 대상에 대한 윤곽을 추출하고, 윤곽에 대한 기하 보정을 수행한 후, IR 이미지에, 깊이 이미지를 합성하여, 열화상 이미지를 생성할 수 있다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 깊이 이미지, 및 IR 이미지에서, 대상에 대한 윤곽을 추출하고, 윤곽에 대한 기하 보정을 수행한 후, IR 이미지에, 깊이 이미지를 합성하여, 대상에 대한 온도를 연산할 수 있다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 깊이 이미지에 기초하여, 열화상 이미지의 노이즈 저감 처리를 수행할 수 있다.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 열화상 센서 장치 및 이를 구비하는 전기 기기는, 외부 대상에 대한 거리 데이터를 센싱하기 위한 제1 센서와, 대상에 대한 열 데이터를 센싱하기 위한 제2 센서와, 대상에 대한 가시광 이미지를 센싱하기 위한 제3 센서와, 제1 센서 및 제3 센서로부터의 거리 데이터와, 제2 센서로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산하는 프로세서를 포함할 수 있다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 제1 센서 및 제3 센서로부터의 제1 대상 및 제2 대상에 대한 거리 데이터와, 제2 센서로부터의 제1 대상 및 제2 대상에 대한 열 데이터에 기초하여, 제1 및 제2 대상의 온도 데이터를 연산할 수 있다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 대상의 방사율, 제1 센서 및 제3 센서로부터의 거리 데이터와, 제2 센서로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산할 수 있다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 제1 센서로부터의 깊이 이미지와, 제2 센서로부터의 IR 이미지와, 제3 센서로부터의 가시광 이미지에 기초하여, 외부 영역에 대한 열화상 이미지를 생성할 수 있다.

본 발명의 일 실시예에 따른 열화상 센서 장치는, 열화상 센서 장치 및 이를 구비하는 전기 기기는, 외부 대상에 대한 거리 데이터를 센싱하기 위한 제1 센서와, 대상에 대한 열 데이터를 센싱하기 위한 제2 센서와, 제1 센서로부터의 거리 데이터와, 제2 센서로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산하는 프로세서를 포함한다. 이에 따라, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다. 특히, 거리 데이터를 이용함으로써, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다.

한편, 프로세서는, 제1 센서로부터의 제1 대상 및 제2 대상에 대한 거리 데이터와, 제2 센서로부터의 제1 대상 및 제2 대상에 대한 열 데이터에 기초하여, 제1 및 제2 대상의 온도 데이터를 연산할 수 있다. 이에 따라, 제1 대상 및 제2 대상이, 서로 겹치는 영역에 위치하더라도, 거리 데이터에 기초하여, 제1 대상 및 제2 대상을 분리할 수 있으며, 제1 및 제2 대상에 대한 정확한 온도를 연산할 수 있게 된다.

한편, 프로세서는, 거리 데이터에 기초하여, 열 데이터의 노이즈 저감 처리를 수행할 수 있다. 이에 따라, 정확한 온도 연산이 가능하게 된다.

한편, 프로세서는, 대상의 방사율, 제1 센서로부터의 거리 데이터와, 제2 센서로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산할 수 있다. 이에 따라, 방사율을 고려하여, 정확한 온도 연산이 가능하게 된다.

특히, 프로세서는, 대상의 방사율이 낮아질수록, 대상의 온도 데이터의 레벨이 낮아지도록 연산할 수 있다. 이에 따라, 방사율을 고려하여, 정확한 온도 연산이 가능하게 된다.

한편, 프로세서는, 제1 센서로부터의 깊이 이미지와, 제2 센서로부터의 IR 이미지에 기초하여, 외부 영역에 대한 열화상 이미지를 생성할 수 있다. 이에 따라, 열화상 이미지를 통해, 외부 영역에 대한 온도를 직관적으로 파악할 수 있게 된다.

한편, 프로세서는, 깊이 이미지, 및 IR 이미지에서, 대상에 대한 윤곽을 추출하고, 윤곽에 대한 기하 보정을 수행한 후, IR 이미지에, 깊이 이미지를 합성하여, 열화상 이미지를 생성할 수 있다. 이에 따라, 정확한 열화상 이미지를 제공할 수 있게 된다.

한편, 프로세서는, 깊이 이미지, 및 IR 이미지에서, 대상에 대한 윤곽을 추출하고, 윤곽에 대한 기하 보정을 수행한 후, IR 이미지에, 깊이 이미지를 합성하여, 대상에 대한 온도를 연산할 수 있다. 이에 따라, 정확한 온도 연산이 가능하게 된다.

한편, 프로세서는, 깊이 이미지에 기초하여, 열화상 이미지의 노이즈 저감 처리를 수행할 수 있다. 이에 따라, 정확한 열화상 이미지를 제공할 수 있게 된다.

한편, 본 발명의 다른 실시예에 따른 열화상 센서 장치 및 이를 구비하는 전기 기기는, 외부 대상에 대한 거리 데이터를 센싱하기 위한 제1 센서와, 대상에 대한 열 데이터를 센싱하기 위한 제2 센서와, 대상에 대한 가시광 이미지를 센싱하기 위한 제3 센서와, 제1 센서 및 제3 센서로부터의 거리 데이터와, 제2 센서로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산하는 프로세서를 포함할 수 있다. 이에 따라, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다. 특히, 거리 데이터를 이용함으로써, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 제1 센서 및 제3 센서로부터의 제1 대상 및 제2 대상에 대한 거리 데이터와, 제2 센서로부터의 제1 대상 및 제2 대상에 대한 열 데이터에 기초하여, 제1 및 제2 대상의 온도 데이터를 연산할 수 있다. 이에 따라, 제1 대상 및 제2 대상이, 서로 겹치는 영역에 위치하더라도, 거리 데이터에 기초하여, 제1 대상 및 제2 대상을 분리할 수 있으며, 제1 및 제2 대상에 대한 정확한 온도를 연산할 수 있게 된다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 대상의 방사율, 제1 센서 및 제3 센서로부터의 거리 데이터와, 제2 센서로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산할 수 있다. 이에 따라, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치의 프로세서는, 제1 센서로부터의 깊이 이미지와, 제2 센서로부터의 IR 이미지와, 제3 센서로부터의 가시광 이미지에 기초하여, 외부 영역에 대한 열화상 이미지를 생성할 수 있다. 이에 따라, 정확한 열화상 이미지를 제공할 수 있게 된다.

도 1은 본 발명의 실시예에 따른 열화상 센서 장치를 포함하는 전기 기기에서 거리 검출을 위한 광을 투사하는 것을 도시한다.
도 2는 도 1의 전기 기기의 일예인 이동 단말기의 내부 블록도이다.
도 3은 본 발명의 일 실시예에 따른 열화상 센서 장치의 간략한 내부 블록도이다.
도 4a 내지 도 10c는 도 3의 동작 설명에 참조되는 도면이다.
도 11은 본 발명의 일 실시예에 따른 열화상 센서 장치의 동작방법을 도시하는 순서도이다.
도 12a 내지 도 12d는 도 3의 제1 센서의 다양한 예를 도시한 도면이다.
도 13은 본 발명의 다른 실시예에 따른 열화상 센서 장치의 간략한 내부 블록도이다.
도 14는 본 발명의 다른 실시예에 따른 열화상 센서 장치의 동작방법을 도시하는 순서도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.

본 명세서에서 기술되는 전기 기기는, 열화상 센서 장치가 장착 가능한 장치로서, 이동 단말기, TV, 셋탑 박스, 미디어 플레이어, 게임 기기, 감시용 카메라 등을 포함하며, 에어컨, 냉장고, 세탁기, 건조기, 조리기기, 로봇 청소기, 청소기, 조명 장치, 정수기, 공기 청정기, 온도조절장치, 가스 조절 장치, 전자식으로 개폐되는 도어(door), 전자식으로 개폐되는 창문, 에너지 저장장치(ESS), 디지털 카메라, 향기 발생 장치, 솔라셀 등의 가전기기를 포함하는 것도 가능하며, 자전거, 자동차 등의 차량, 드론(drone) 등을 포함하는 것도 가능하다.

도 1은 본 발명의 실시예에 따른 열화상 센서 장치를 포함하는 전기 기기에서 거리 검출을 위한 광을 투사하는 것을 도시한다.

도면을 참조하면, 도 1의 전기 기기는, 이동 단말기(100)를 예시한다. 이하에서는, 전기 기기로, 이동 단말기(100)를 중심으로 기술한다.

이동 단말기(100)는, 영상 촬영을 위한, 카메라(122)와, 대상의 온도 연산을 위한 열화상 센서 장치(200)를 포함할 수 있다.

한편, 열화상 센서 장치(200)는 열화상 이미지를 생성할 수 있다.

열화상 센서 장치(200)는, 대상의 온도 연산의 정확성을 위해, 복수의 센서를 구비할 수 있다.

특히, 본 발명의 실시예에 따른 열화상 센서 장치(200)는, 열화상 센서 장치(200) 및 이를 구비하는 전기 기기는, 외부 대상에 대한 거리 데이터를 센싱하기 위한 제1 센서(SNa)와, 대상에 대한 열 데이터를 센싱하기 위한 제2 센서(SNb)와, 제1 센서(SNa)로부터의 거리 데이터와, 제2 센서(SNb)로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산하는 프로세서(270)를 포함한다. 이에 따라, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다. 특히, 거리 데이터를 이용함으로써, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다.

특히, 가시광 센서에 의한 가시광 이미지와, 적외선 센서에 의한 적외선 이미지를 이용하는 경우, 가시광 이미지와 적외선 이미지 내에, 같은 종류의 대상이 겹쳐 있는 경우, 윤곽이나, 물체의 영역을 구별하기가 어렵게 되며, 따라서, 대상에 대한 온도를 정확하게 파악하기 어렵게되나, 본 발명의 실시예에 따른 열화상 센서 장치(200)는, 거리 데이터를 이용함으로써, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다. 또한, 외부의 정확한 열화상 이미지를 제공할 수 있게 된다.

한편, 프로세서(270)는, 제1 센서(SNa)로부터의 제1 대상 및 제2 대상에 대한 거리 데이터와, 제2 센서(SNb)로부터의 제1 대상 및 제2 대상에 대한 열 데이터에 기초하여, 제1 및 제2 대상의 온도 데이터를 연산할 수 있다. 이에 따라, 제1 대상 및 제2 대상이, 서로 겹치는 영역에 위치하더라도, 거리 데이터에 기초하여, 제1 대상 및 제2 대상을 분리할 수 있으며, 제1 및 제2 대상에 대한 정확한 온도를 연산할 수 있게 된다.

본 발명의 실시예에 따른 열화상 센서 장치(200)는 도 3 이하를 참조하여 기술한다.

도 2는 도 1의 전기 기기의 일예인 이동 단말기의 내부 블록도이다.

도 2를 참조하면, 이동 단말기(100)는, 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180), 및 전원 공급부(190)를 포함할 수 있다.

무선 통신부(110)는, 방송수신 모듈(111), 이동통신 모듈(113), 무선 인터넷 모듈(115), NFC 모듈(117), 및 GPS 모듈(119) 등을 포함할 수 있다.

방송수신 모듈(111)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신할 수 있다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다.

방송수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.

이동통신 모듈(113)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈(115)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(115)은 이동 단말기(100)에 내장되거나 외장될 수 있다.

NFC 모듈(117)은 근거리 자기장 통신을 수행할 수 있다. NFC 모듈(117)은, NFC 장치(미도시)와 소정 거리 이내로 접근하는 경우, 즉 태깅하는 경우, NFC 장치로부터의 소정 데이터를 수신할 수 있다.

GPS(Global Position System) 모듈(119)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신할 수 있다.

A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121), 열화상 센서 장치(200), 마이크(123) 등이 포함될 수 있다.

본 발명의 실시예에 따른, 열화상 센서 장치(200)는, 도 1과 같은 초소형의 열화상 센서 장치일 수 있다. 이에 대한 설명은, 도 3 이하를 참조하여 후술한다.

한편, 열화상 센서 장치(200)는, 카메라(121)와 함께, 사용될 수 있다. 또는, 열화상 센서 장치(200) 내에, 카메라(121)가 구비되는 것도 가능하다.

한편, 산출된 열화상 이미지, 또는 외부 대상에 대한 온도 정보는, 제어부(180)에 전달되어, 디스플레이부(151)에 표시될 수 있다.

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 이를 위해, 사용자 입력부(130)는, 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(151)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.

센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다.

센싱부(140)는, 감지센서(141), 압력센서(143), 및 모션 센서(145) 등을 포함할 수 있다. 모션 센서(145)는 가속도 센서, 자이로 센서, 중력 센서 등을 이용하여 이동 단말기(100)의 움직임이나 위치 등을 감지할 수 있다. 특히, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향(각도)을 감지할 수 있다.

출력부(150)는 디스플레이부(151), 음향출력 모듈(153), 알람부(155), 및 햅틱 모듈(157), 등을 포함할 수 있다.

디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시 출력한다.

한편, 전술한 바와 같이, 디스플레이부(151)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(151)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.

음향출력 모듈(153)은 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 이러한 음향출력 모듈(153)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

알람부(155)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. .

햅틱 모듈(haptic module)(157)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(157)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다.

메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.

인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 인터페이스부(170)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달할 수 있고, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.

제어부(180)는 통상적으로 상기 각부의 동작을 제어하여 이동 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다. 또한, 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(181)을 구비할 수도 있다. 멀티미디어 재생 모듈(181)은 제어부(180) 내에 하드웨어로 구성될 수도 있고, 제어부(180)와 별도로 소프트웨어로 구성될 수도 있다.

전원 공급부(190)는, 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

이와 같은 구성의 이동 단말기(100)는 유무선 통신 시스템 및 위성 기반 통신 시스템을 포함하여, 프레임(frame) 또는 패킷(packet)을 통하여 데이터(data)를 전송할 수 있는 통신 시스템에서 동작 가능하도록 구성될 수 있다.

한편, 도 2에 도시된 이동 단말기(100)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 이동 단말기(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.

도 3은 본 발명의 일 실시예에 따른 열화상 센서 장치의 간략한 내부 블록도이다.

도면을 참조하면, 열화상 센서 장치(200)는, 외부 대상에 대한 거리 데이터를 센싱하기 위한 제1 센서(SNa)와, 대상에 대한 열 데이터를 센싱하기 위한 제2 센서(SNb)와, 제1 센서(SNa)로부터의 거리 데이터와, 제2 센서(SNb)로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산하는 프로세서(270)를 포함할 수 있다.

제1 센서(SNa)는, 적어도 하나의 광원을 사용하여, 외부 영역(40)에 출력광을 출력하고, 외부 영역(40)에서 산란 또는 반사되는 복수의 수신광을 수신하고, 출력광과 수신광의 차이를 이용하여, 거리를 검출할 수 있다.

이를 위해, 제1 센서(SNa)는, 도 5a에 도시된 바와 같이, 출력광을 출력하는 광원(210)과, 외부 대상에 출력광이 반사되어 수신되는 경우 수신광을 집광하는 집광부(282)와, 수신되는 수신광을 검출하는 검출부(280)를 구비할 수 있다.

제1 센서(SNa)는, 출력광과 수신광의 시간 차이, 또는 위상 차이에 기초하여, 외부 대상에 대한 거리 데이터를 출력할 수 있다.

또는, 제1 센서(SNa)는, 거리 데이터로 이루어진 깊이 이미지(depth image)를 출력할 수 있다.

출력되는 거리 데이터 또는 깊이 이미지는 프로세서(270)에 입력될 수 있다.

제2 센서(SNb)는, 외부 대상에서 발산되는 원적외선(FIR)을 집광하는 집광부(252)와, 집광된 원적외선을 검출하는 검출부(250)를 구비할 수 있다.

제2 센서(SNb)는, 검출된 원적외선에 기초하여 열 데이터를 출력할 수 있다.

또는, 제2 센서(SNb)는, 열 데이터로 이루어진 적외선 이미지를 출력할 수 있다. 출력되는 열 데이터 또는 적외선 이미지는 프로세서(270)에 입력될 수 있다.

한편, 제2 센서(SNb)로부터의 적외선 이미지는, 원적외선 이미지일 수 있으며, 제1 센서(SNa)로부터의 깊이 이미지는, 원적외선 이미지 보다, 주파수가 낮은 근적외선 이미지일 수 있다.

프로세서(270)는, 제1 센서(SNa)로부터의 거리 데이터와, 제2 센서(SNb)로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산할 수 있다. 이에 따라, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다. 특히, 거리 데이터를 이용함으로써, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다.

한편, 프로세서(270)는, 거리 데이터에 기초하여, 열 데이터의 노이즈 저감 처리를 수행할 수 있다. 이에 따라, 정확한 온도 연산이 가능하게 된다.

한편, 프로세서(270)는, 대상의 방사율, 제1 센서(SNa)로부터의 거리 데이터와, 제2 센서(SNb)로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산할 수 있다. 이에 따라, 방사율을 고려하여, 정확한 온도 연산이 가능하게 된다.

특히, 프로세서(270)는, 대상의 방사율이 낮아질수록, 대상의 온도 데이터의 레벨이 낮아지도록 연산할 수 있다. 이에 따라, 방사율을 고려하여, 정확한 온도 연산이 가능하게 된다.

한편, 프로세서(270)는, 제1 센서(SNa)로부터의 깊이 이미지와, 제2 센서(SNb)로부터의 IR 이미지에 기초하여, 외부 영역에 대한 열화상 이미지를 생성할 수 있다. 이에 따라, 열화상 이미지를 통해, 외부 영역에 대한 온도를 직관적으로 파악할 수 있게 된다.

한편, 프로세서(270)는, 깊이 이미지, 및 IR 이미지에서, 대상에 대한 윤곽을 추출하고, 윤곽에 대한 기하 보정을 수행한 후, IR 이미지에, 깊이 이미지를 합성하여, 열화상 이미지를 생성할 수 있다. 이에 따라, 정확한 열화상 이미지를 제공할 수 있게 된다.

한편, 프로세서(270)는, 깊이 이미지, 및 IR 이미지에서, 대상에 대한 윤곽을 추출하고, 윤곽에 대한 기하 보정을 수행한 후, IR 이미지에, 깊이 이미지를 합성하여, 대상에 대한 온도를 연산할 수 있다. 이에 따라, 정확한 온도 연산이 가능하게 된다.

도 4a 및 도 4b는 도 3과 달리 가시광 센서와 적외선 센서를 이용한 온도 연산을 설명하기 위해 참조되는 도면이다.

도 4a의 열화상 센서 장치(200x)는, 검출부(290x)를 구비하는 가시광 센서(SNx)와, 검출부(250x)를 구비하는 적외선 센서(Sny)를 구비할 수 있다.

가시광 센서(SNx)와, 적외선 센서(Sny)는 도 4b의 가시광 이미지(410)와 적외선 이미지(420)를 각각 출력할 수 있다.

한편, 도 4a의 열화상 센서 장치(200x)에 따르면, 같은 종류의 대상이 겹쳐 있는 경우, 즉, 도면에서의 중첩 영역(412,422)에 위치하는 복수의 대상(202,302)의 윤곽이나, 영역을 구별하기가 어렵게 되며, 따라서, 복수의 대상(202,302)에 대한 온도를 정확하게 파악하기 어렵게 된다.

도 4c는, 가시광 이미지와 적외선 이미지를 이용하여 합성한 열화상 이미지(430)을 예시한다.

열화상 이미지(430) 내에, 온도를 나타내는 인디케이터(445)와, 각 대상 등이 포함될 수 있다.

한편, 도면에서는, 제1 대상(435)에 대해, 연산된 온도 데이터 등이 개시되나, 복수의 대상 중 제1 대상의 선택이, 사용자에 의해 수행되어야 하는 불편함이 있다. 또한, 대상의 형태에 따라, 다양한 설정 영역을 지정하여야 하는 불편함이 있다.

또한, 제1 대상(435)이 이동하는 경우, 제1 대상(435)의 거리, 위치 등이 수시로 변경되나, 이에 따라, 곽이나, 제1 대상(435)의 영역이나 윤곽을 구별하기가 힘들다는 문제가 있다.

이를 해결하기 위해, 본 발명에서는, 거리 데이터를 활용한다. 즉, 본 발명의 실시예에 따른 열화상 센서 장치(200)는, 제1 센서(SNa)로부터의 거리 데이터와, 제2 센서(SNb)로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산하거나, 열화상 이미지를 생성할 수 있다.

도 5a는, 본 발명의 실시예에 따른 열화상 센서 장치의 내부 구조의 일예를 도시하는 도면이다.

도면을 참조하면, 열화상 센서 장치(200a)는, 거리 데이터 센싱을 위한 제1 센서(SNa)와, 열 데이터 센싱을 위한 제2 센서(SNb)를 구비할 수 있다.

제1 센서(SNa)는, 출력광을 출력하는 광원(210)과, 외부 대상에 출력광이 반사되어 수신되는 경우 수신광을 집광하는 집광부(282)와, 수신되는 수신광을 검출하는 검출부(280)를 구비할 수 있다.

집광부(282)는, 수신되는 수신광을 시준(collimate)할 수 있다. 이를 위해, 집광부(282)는, 수신광을 시준하기 위한 Collimate Lens를 구비할 수 있다.

또는, 집광부(282)는, 특정 대역이 광만을 통과시킬 수 있다. 예를 들어, 수신광만을 통과시킬 수도 있다.

한편, 집광부(252)는, 특정 대역이 광만을 통과시킬 수 있다. 예를 들어, 원적외선(FIR)만을 통과시킬 수도 있다.

또는, 제2 센서(SNb)는, 열 데이터로 이루어진 적외선 이미지를 출력할 수 있다.

도 5b는, 도 5a의 제1 센서(SNa)에 의한 깊이 이미지(510)와, 도 5a의 제2 센서(SNb)에 의한 적외선 이미지(520)를 예시한다.

적외선 이미지(520)는, 상술한 바와 같이, 중첩 영역(522)에 위치하는 복수의 대상(202,302)의 윤곽이나, 영역을 구별하기가 어려울 수 있다.

그러나, 거리 데이터로 이루어진 깊이 이미지(510)는, 상술한 바와 달리, 중첩 영역(512)에 위치하는 복수의 대상(202,302)의 윤곽이나, 영역을 구별할 수 있게 된다.

따라서, 거리 데이터에 의해, 외부의 대상의 윤곽이나 영역을 구별하면서, 해당 대상의 온도 연산시, 정확도가 향상될 수 있게 된다.

구체적으로, 프로세서(270)는, 제1 센서(SNa)로부터의 제1 대상 및 제2 대상에 대한 거리 데이터와, 제2 센서(SNb)로부터의 제1 대상 및 제2 대상에 대한 열 데이터에 기초하여, 제1 및 제2 대상의 온도 데이터를 연산할 수 있다.

즉, 프로세서(270)는, 거리 데이터에 기초하여, 적외선 이미지 내의 대상의 윤곽이나 영역을 구별할 수 있으며, 구별된 대상이나 영역에 대해, 적외선 이미지에 기초하여, 각각 온도 연산을 수행할 수 있다. 따라서, 외부 대상에 대한 정확한 온도 연산이 가능하게 되며, 아룰러, 정확한 열 화상 이미지의 생성 또는 제공이 가능하게 된다.

한편, 도 3 또는 도 5a의 제1 센서(Sna)는, TOF(Time Of Flight) 센서를 구비할 수 있다. 이에 대해서는 도 6a 내지 도 6b를 참조하여 기술한다.

도 6a와 도 6b는, TOF(Time Of Flight) 방식을 설명하기 위해 참조되는 도면이다.

도면을 참조하면, 광원부(210)가, 출력광 또는 출력 펄스(OL)를 t1 시점에 출력하는 경우, 출력광 또는 출력 펄스(OL)는 외부 대상(OBa)에서 반사되어, 반사광 또는 반사 펄스(RL)로서, 검출부(280)에서, t2 시점에, 검출될 수 있다.

이에 따라, t1 시점과 t2 시점 사이의 시간차(tΔ)를 이용하여, 외부 대상(OBa)에 대한 거리 데이터를 연산할 수 있다.

도 7은, 본 발명의 실시예에 따른 열화상 센서 장치의 내부 구조의 다른 예를 도시하는 도면이다.

도면을 참조하면, 열화상 센서 장치(200b)는, 도 5a의 열화상 센서 장치(200a)와 유사하나, 거리 데이터 센싱을 위한 제1 센서(SNaa)와, 열 데이터 센싱을 위한 제2 센서(SNb)를 구비하며, 제1 센서(SNaa)와 제2 센서(SNb)가, 동축(coaxial) 광학계로 구성되는 것에 그 특징이 있다.

제1 센서(SNaa)와 제2 센서(SNb)가, 동축(coaxial) 광학계로 구성되는 경우, 제1 센서(SNaa)로부터의 깊이 이미지(710)와, 제2 센서(SNb)로부터의 적외선 이미지(720)의 합성시, 오차가 거의 없으므로, 윤곽이나 영역 추출에 기반한 합성시, 기하 보정을 거의 하지 않아도 되는 장점이 있다.

한편, 도면에서는, 제1 센서(SNaa)가, 출력광을 출력하는 광원(210)과, 출력광을 외부로 스캐닝하여 출력시키는 스캐너(240)와, 외부 대상에 출력광이 반사되어 수신되는 경우 수신광을 집광하는 집광부(282)와, 수신되는 수신광을 검출하는 검출부(280)를 구비하는 것을 예시한다.

스캐너(240)는, MEMS 소자로서 구현될 수 있으며, 적어도 2 축에 대한 스캐닝을 수행할 수 있다.

도 8a는 도 7의 스캐너의 스캐닝 방법을 예시하는 도면이다.

도면을 참조하면, 스캐너(240)는, 광원부(210)으로부터의 출력광을, 입력받아, 외부로 제1 방향 스캐닝 및 제2 방향 스캐닝을 순차적으로, 그리고 반복적으로 수행할 수 있다.

도면과 같이, 스캐너(240)는, 스캐닝 가능한 영역을 중심으로, 외부 영역(40)에 대해, 좌에서 우로 수평 스캐닝을 수행하고, 상에서 하로 수직 스캐닝을 수행하며, 다시 우에서 좌로 수평 스캐닝을 수행하고, 다시 상에서 하로 수직 스캐닝을 수행할 수 있다. 그리고, 이와 같은 스캐닝 동작을, 외부 영역(40)의 전체에 대해, 반복하여 수행할 수 있다.

또는, 스캐너(240)는, 스캐닝 가능한 영역을 중심으로, 외부 영역(40)에 대해, 좌에서 우로 스캐닝을 수행하고, 우에서 좌로 스캐닝을 수행할 수 있다. 그리고, 이와 같은 스캐닝 동작을, 외부 영역(40)의 전체에 대해, 반복하여 수행할 수 있다.

한편, 외부 영역(40)으로 출력되는 출력광은, 외부 영역(40)에서 산란 또는 반사되어, 다시 제1 센서(SNaa)에 입사될 수 있다.

제1 센서(SNaa)는, 출력광과, 수신광을 비교하여, 그 차이를 이용하여, 거리를 검출할 수 있다. 거리 검출 기법에 대해서는, 다양한 방법이 있으나, 본 발명의 실시예에서는, 위상 차이를 이용한 방법을 예시한다. 이에 대해서는 도 8c를 참조하여 후술한다.

도 8b는, 제1 센서(SNaa)에서 산출되는 거리 데이터에 기반한 깊이 이미지(710)를 예시한다.

외부 대상의 다양한 거리 값(distance value)은, 대응하는 휘도 레벨로서 표시 가능하다. 거리가 가까운 경우, 휘도 레벨이 클 수(밝기가 밝을 수) 있으며, 깊이가 먼 경우 휘도 레벨이 작을 수(밝기가 어두울 수) 있다.

도 8c는 본 발명의 실시예에 따른 위상차 방법에 의한 거리 산출 방법을 예시한다. 여기서, Tx는 출력광의 위상 신호, Rx는 수신광의 위상 신호를 나타낸다.

도면을 참조하면, 제1 센서(SNab)는, 출력광의 위상 신호와 수신광의 위상 신호의 위상 차이(Φ)에 따라, 거리 데이터의 레벨을 산출할 수 있다.

예를 들어, 위상 차이가 클수록, 외부 영역(40)이 멀리 있는 것이므로, 거리 데이터의 레벨이 크도록 설정할 수 있으며, 위상 차이가 작을수록, 외부 영역(40)이 가깝게 있는 것이므로, 거리 데이터의 레벨이 작도록 설정할 수 있다.

도 9는, 본 발명의 실시예에 따른 열화상 센서 장치의 내부 구조의 또 다른 예를 도시하는 도면이다.

도면을 참조하면, 도 9의 열화상 센서 장치(200c)는, 도 7의 열화상 센서 장치(200b)와 유사하나, 제1 센서(SNab)와 제2 센서(Snb)가, 동축(coaxial) 광학계가 아닌, 이축 광학계로 구성되는 것에 그 차이가 있다.

제1 센서(SNab)는, 도 7의 제1 센서(SNaa)와 유가하게, 스캐너(240)를 구비할 수 있다.

한편, 제1 센서(SNab)와 제2 센서(Snb)가, 이축 광학계로 구성되므로, 제1 센서(SNab)로부터의 깊이 이미지(710)와, 제2 센서(SNb)로부터의 적외선 이미지(720)의 합성시, 오차가 거의 없으므로, 윤곽이나 영역 추출에 기반한 합성시, 기하 보정 등이 필요하게 된다.

도 10a는 도 9의 이축 광학계 기반의 열화상 센서 장치(200c) 내의 프로세서(270)의 동작 설명에 참조되는 도면이다.

프로세서(270)는, 제1 센서(SNab)와 제2 센서(Snb)로부터의, 깊이 이미지(1010)와 적외선 이미지(1020)에 대해, 윤곽 추출을 수행하고, 윤곽 추출된 깊이 이미지(1011)와 적외선 이미지(1021)에 대해, 기하 보정을 수행하고, 기하 보정된 깊이 이미지(1013)와 적외선 이미지(1023)를 합성하여, 합성된 열화상 이미지(1025)를 생성할 수 있다. 그리고, 프로세서(270)는, 합성된 열화상 이미지에 대해 영역 처리를 수행할 수 있다.

한편, 도 7의 동축 광학계 기반의 열화상 센서 장치(200b) 내의 프로세서(270)는, 도 10a의 기하 보정을 생략할 수도 있다. 또는 도 10a의 기하 보정의 보정양 보다 작은 보정양으로 기하 보정을 수행할 수도 있다.

도 10b는 도 4a의 열화상 센서 장치(200x) 내의 프로세서(270x)의 동작 설명에 참조되는 도면이다.

프로세서(270x)는, 가시광 센서(SNx)와 적외선 센서(Sny)로부터의, 가시광 이미지(1030)와 적외선 이미지(1040)에 대해, 윤곽 추출을 수행하고, 윤곽 추출된 가시광 이미지(1031)와 적외선 이미지(1041)에 대해, 기하 보정을 수행하고, 기하 보정된 가시광 이미지(1033)와 적외선 이미지(1043)를 합성하여, 합성된 열화상 이미지(1045)를 생성할 수 있다. 그리고, 프로세서(270)는, 합성된 열화상 이미지에 대해 영역 처리를 수행할 수 있다.

이때, 거리 데이터가 없으므로, 윤곽 추출시, 그리고, 기하 보정시, 오차가 발생할 수 있다. 따라서, 정확한 열화상 이미지의 생성이 어려울 수 있으며, 특히, 대상에 대한 온도 연산이 부정확해질 수 있게 된다.

도 10c는, 도 10b의 방식에 의해, 생성되는 열화상 이미지(1050) 내에, 잘못된 거리 정보로 인한 합성 오류 영역(1052,1053)이 나타나는 것을 예시한다.

도 11은 본 발명의 일 실시예에 따른 열화상 센서 장치의 동작방법을 도시하는 순서도이다.

도면을 참조하면, 프로세서(270)는, 제2 센서(Snb)로부터 열 데이터를 획득하고(S1110), 전처리를 수행하며(S1111), 해상도 및 시야각 보정을 수행(S1113)하며, 기하 보정을 수행하고(S1114), 열 화상 데이터에 대한 노이즈 저감 처리를 수행할 수 있다(S1115).

한편, 프로세서(270)는, 제1 센서(Sna)로부터 거리 데이터를 획득하고(S1120), 전처리를 수행하며(S1121), 해상도 및 시야각 보정을 수행(S1123)하며, 기하 보정을 수행하고(S1124), 거리 데이터에 대한 노이즈 저감 처리를 수행할 수 있다(S1125).

다음, 프로세서(270)는, 노이즈 저감 처리된 열화상 데이터와 거리 데이터에 대해, 방사율을 반영할 수 있다(S1140).

다음, 프로세서(270)는, 대상에 대한 온도 데이터를 연산할 수 있다(S1145).

한편, 프로세서(270)는, 대상의 방사율, 제1 센서(SNa)로부터의 거리 데이터와, 제2 센서(SNb)로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산할 수 있다.

이때, 프로세서(270)는, 대상의 방사율이 낮아질수록, 대상의 온도 데이터의 레벨이 낮아지도록 연산할 수 있다. 이에 따라, 대상의 재질 등에 적합한 온도 데이터를 연산할 수 있게 된다.

다음, 프로세서(270)는, 온도 데이터를 영상화 처리하고(S1147), 처리된 열 화상 이미지를 출력할 수 있다(S1150). 이에 따라, 간편하게, 열화상 이미지를 제공할 수 있게 된다.

도 12a 내지 도 12d는 도 3의 제1 센서의 다양한 예를 도시한 도면이다.

먼저, 도 12a는, 레이저(1210)와 수신기(1215)를 구비하는 라이더(SNa1)를 예시한다. 라이더(SNa1)는, impulse pulse 방식으로서, 송신 펄스와 수신 펄스 사이의 time delay 차이에 의해 거리 데이터가 연산될 수 있다.

다음, 도 12b는 에미터(1220) 검출기(1225)를 구비하는 레이더(SNa2)를 예시한다. 레이더(SNa2)는 continuous wave 방식으로서, 송신 신호와 수신 신호 사이의 위상 차이에 대한 phase detection에 의해 거리 데이터가 연산될 수 있다.

다음, 도 12c는 2 개의 카메라(1330,1335)를 구비하는 스테레오 카메라(SNa3)를 예시한다. 스테레오 카메라(SNa3)는, 각 카메라(1330,1335)에서 획득된 이미지의 시차(disparity)를 이용하여, 거리 데이터를 연산할 수 있다.

다음, 도 12d는 구조광을 출력하는 프로젝터(1340)와 카메라(1345)를 구비하는 구조광 카메라(SNa4)를 예시한다. 구조광 카메라(SNa4)는, 프로젝터(1340)에서 대상에 출력되는 구조광에 기초하여, 거리 데이터를 연산할 수 있다.

도 13은 본 발명의 다른 실시예에 따른 열화상 센서 장치의 간략한 내부 블록도이다.

도면을 참조하면, 도 13의 열화상 센서 장치(200m)는, 도 3의 열화상 센서 장치(200)와 유사하게, 외부 대상에 대한 거리 데이터를 센싱하기 위한 제1 센서(SNa)와, 대상에 대한 열 데이터를 센싱하기 위한 제2 센서(SNb)와, 제1 센서(SNa)로부터의 거리 데이터와, 제2 센서(SNb)로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산하는 프로세서(270)를 포함할 수 있다.

한편, 13의 열화상 센서 장치(200m)는, 도 3의 열화상 센서 장치(200)와 달리, 가시광 이미지 센싱을 위한 제3 센서(SNc)를 더 구비할 수 있다.

제3 센서(SNc)는, 대상에 대한 가시광 이미지를 센싱할 수 있다. 즉, 가시광 카메라일 수 있다.

이에 따라, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다. 특히, 거리 데이터를 이용함으로써, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치(200)의 프로세서(270)는, 제1 센서(SNa) 및 제3 센서(SNc)로부터의 제1 대상 및 제2 대상에 대한 거리 데이터와, 제2 센서(SNb)로부터의 제1 대상 및 제2 대상에 대한 열 데이터에 기초하여, 제1 및 제2 대상의 온도 데이터를 연산할 수 있다. 이에 따라, 제1 대상 및 제2 대상이, 서로 겹치는 영역에 위치하더라도, 거리 데이터에 기초하여, 제1 대상 및 제2 대상을 분리할 수 있으며, 제1 및 제2 대상에 대한 정확한 온도를 연산할 수 있게 된다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치(200)의 프로세서(270)는, 대상의 방사율, 제1 센서(SNa) 및 제3 센서(SNc)로부터의 거리 데이터와, 제2 센서(SNb)로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산할 수 있다. 이에 따라, 외부 대상에 대한 정확한 온도를 연산할 수 있게 된다.

한편, 본 발명의 실시예에 따른 열화상 센서 장치(200)의 프로세서(270)는, 제1 센서(SNa)로부터의 깊이 이미지와, 제2 센서(SNb)로부터의 IR 이미지와, 제3 센서(SNc)로부터의 가시광 이미지에 기초하여, 외부 영역에 대한 열화상 이미지를 생성할 수 있다. 이에 따라, 정확한 열화상 이미지를 제공할 수 있게 된다.

도 14는 본 발명의 다른 실시예에 따른 열화상 센서 장치의 동작방법을 도시하는 순서도이다.

도면을 참조하면, 프로세서(270)는, 제2 센서(Snb)로부터 열 데이터를 획득하고(S1410), 전처리를 수행하며(S1411), 해상도 및 시야각 보정을 수행(S1413)하며, 기하 보정을 수행하고(S1414), 열 화상 데이터에 대한 노이즈 저감 처리를 수행할 수 있다(S1415).

한편, 프로세서(270)는, 제1 센서(Sna)로부터 거리 데이터를 획득하고(S1420), 전처리를 수행하며(S1421), 해상도 및 시야각 보정을 수행(S1423)하며, 기하 보정을 수행하고(S1424), 거리 데이터에 대한 노이즈 저감 처리를 수행할 수 있다(S1425).

한편, 프로세서(270)는, 제3 센서(Snc)로부터 거리 데이터를 획득하고(S1430), 전처리를 수행하며(S1431), 해상도 및 시야각 보정을 수행(S1433)하며, 기하 보정을 수행하고(S1434), 거리 데이터에 대한 노이즈 저감 처리를 수행할 수 있다(S1435).

다음, 프로세서(270)는, 노이즈 저감 처리된 열화상 데이터와, 제1 센서(SNa) 및 제3 센서(SNc)로부터의 거리 데이터에 대해, 방사율을 반영할 수 있다(S1440).

다음, 프로세서(270)는, 대상에 대한 온도 데이터를 연산할 수 있다(S1445).

한편, 프로세서(270)는, 대상의 방사율, 제1 센서(SNa) 및 제3 센서(SNc)로부터의 거리 데이터와, 제2 센서(SNb)로부터의 열 데이터에 기초하여, 대상의 온도 데이터를 연산할 수 있다.

다음, 프로세서(270)는, 온도 데이터를 영상화 처리하고(S1447), 처리된 열 화상 이미지를 출력할 수 있다(S1450). 이에 따라, 간편하게, 열화상 이미지를 제공할 수 있게 된다.

한편, 본 발명의 열화상 센서 장치의 동작방법은, 열화상 센서 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims

외부 대상에 대한 거리 데이터를 센싱하기 위한 제1 센서;
상기 대상에 대한 열 데이터를 센싱하기 위한 제2 센서;
상기 제1 센서로부터의 상기 거리 데이터와, 상기 제2 센서로부터의 상기 열 데이터에 기초하여, 상기 대상의 온도 데이터를 연산하는 프로세서;를 포함하는 것을 특징으로 하는 열화상 센서 장치.
제1항에 있어서,
상기 프로세서는,
상기 제1 센서로부터의 제1 대상 및 제2 대상에 대한 거리 데이터와, 상기 제2 센서로부터의 상기 제1 대상 및 제2 대상에 대한 열 데이터에 기초하여, 상기 제1 및 제2 대상의 온도 데이터를 연산하는 것을 특징으로 하는 열화상 센서 장치.
제1항에 있어서,
상기 프로세서는,
상기 거리 데이터에 기초하여, 상기 열 데이터의 노이즈 저감 처리를 수행하는 것을 특징으로 하는 열화상 센서 장치.
제1항에 있어서,
상기 프로세서는,
상기 대상의 방사율, 상기 제1 센서로부터의 상기 거리 데이터와, 상기 제2 센서로부터의 상기 열 데이터에 기초하여, 상기 대상의 온도 데이터를 연산하는 것을 특징으로 하는 열화상 센서 장치.
제4항에 있어서,
상기 프로세서는,
상기 대상의 방사율이 낮아질수록, 상기 대상의 온도 데이터의 레벨이 낮아지도록 연산하는 것을 특징으로 하는 열화상 센서 장치.
제1항에 있어서,
상기 제1 센서는, 근적외선(NIR) 센서를 포함하며,
상기 제2 센서는, 원적외선(FIR) 센서를 포함하며,
상기 프로세서는,
상기 제1 센서로부터의 깊이 이미지와, 상기 제2 센서로부터의 IR 이미지에 기초하여, 외부 영역에 대한 열화상 이미지를 생성하는 것을 특징으로 하는 열화상 센서 장치.
제6항에 있어서,
상기 프로세서는,
상기 IR 이미지에, 상기 깊이 이미지를 합성하여, 상기 열화상 이미지를 생성하는 것을 특징으로 하는 열화상 센서 장치.
제6항에 있어서,
상기 IR 이미지의 해상도가, 상기 깊이 이미지의 해상도 보다 높은 것을 특징으로 하는 열화상 센서 장치.
제6항에 있어서,
상기 프로세서는,
상기 깊이 이미지, 및 상기 IR 이미지에서, 상기 대상에 대한 윤곽을 추출하고, 상기 윤곽에 대한 기하 보정을 수행한 후, 상기 IR 이미지에, 상기 깊이 이미지를 합성하여, 상기 열화상 이미지를 생성하는 것을 특징으로 하는 열화상 센서 장치.
제6항에 있어서,
상기 프로세서는,
상기 깊이 이미지, 및 상기 IR 이미지에서, 상기 대상에 대한 윤곽을 추출하고, 상기 윤곽에 대한 기하 보정을 수행한 후, 상기 IR 이미지에, 상기 깊이 이미지를 합성하여, 상기 대상에 대한 온도를 연산하는 것을 특징으로 하는 열화상 센서 장치.
제6항에 있어서,
상기 프로세서는,
상기 깊이 이미지에 기초하여, 상기 열화상 이미지의 노이즈 저감 처리를 수행하는 것을 특징으로 하는 열화상 센서 장치.
제1항에 있어서,
상기 제1 센서는,
TOF 센서, 라이더, 레이더, 스테레오 카메라, 구조광 센서 중 어느 하나를 포함하는 것을 특징으로 하는 열화상 센서 장치.
외부 대상에 대한 거리 데이터를 센싱하기 위한 제1 센서;
상기 대상에 대한 열 데이터를 센싱하기 위한 제2 센서;
상기 대상에 대한 가시광 이미지를 센싱하기 위한 제3 센서;
상기 제1 센서 및 제3 센서로부터의 상기 거리 데이터와, 상기 제2 센서로부터의 상기 열 데이터에 기초하여, 상기 대상의 온도 데이터를 연산하는 프로세서;를 포함하는 것을 특징으로 하는 열화상 센서 장치.
제13항에 있어서,
상기 프로세서는,
상기 제1 센서 및 제3 센서로부터의 제1 대상 및 제2 대상에 대한 거리 데이터와, 상기 제2 센서로부터의 상기 제1 대상 및 제2 대상에 대한 열 데이터에 기초하여, 상기 제1 및 제2 대상의 온도 데이터를 연산하는 것을 특징으로 하는 열화상 센서 장치.
제13항에 있어서,
상기 프로세서는,
상기 대상의 방사율, 상기 제1 센서 및 제3 센서로부터의 상기 거리 데이터와, 상기 제2 센서로부터의 상기 열 데이터에 기초하여, 상기 대상의 온도 데이터를 연산하는 것을 특징으로 하는 열화상 센서 장치.
제13항에 있어서,
상기 제1 센서는, 근적외선(NIR) 센서를 포함하며,
상기 제2 센서는, 원적외선(FIR) 센서를 포함하며,
상기 프로세서는,
상기 제1 센서로부터의 깊이 이미지와, 상기 제2 센서로부터의 IR 이미지와, 상기 제3 센서로부터의 상기 가시광 이미지에 기초하여, 외부 영역에 대한 열화상 이미지를 생성하는 것을 특징으로 하는 열화상 센서 장치.
제1항 내지 제16항 중 어느 한 항의 열화상 센서 장치;를 구비하는 것을 특징으로 하는 전기 기기.