KR20160056023A - 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법 - Google Patents
서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20160056023A KR20160056023A KR1020140155863A KR20140155863A KR20160056023A KR 20160056023 A KR20160056023 A KR 20160056023A KR 1020140155863 A KR1020140155863 A KR 1020140155863A KR 20140155863 A KR20140155863 A KR 20140155863A KR 20160056023 A KR20160056023 A KR 20160056023A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- thermal
- real
- resolution
- real image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001931 thermography Methods 0.000 title claims abstract description 12
- 238000003384 imaging method Methods 0.000 title abstract 2
- 238000009826 distribution Methods 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims description 15
- 238000002076 thermal analysis method Methods 0.000 claims description 10
- 238000012806 monitoring device Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims 2
- 230000000737 periodic effect Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Radiation Pyrometers (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 전기설비와 산업용 기기의 감시 및 제3자의 침입 감시가 가능하도록 서모파일 어레이 센서를 통해서 취득한 열분포에 대한 이미지를 실영상 카메라를 통해 촬영한 고해상도의 이미지와 매칭하여 열화상 이미지를 생성하는 열화상 제공 장치 및 그 방법에 관한 것으로서, 기존의 열화상 카메라에 비해서 획기적으로 저렴한 가격이면서도 고해상도의 열화상 이미지의 획득이 가능하고, 빛이 없는 어두운 상황에서도 단순한 피사체의 열화상이 아닌 실영상 이미지와 열 이미지의 매칭에 의한 보다 정확한 열화상 이미지를 얻을 수 있다는 효과를 가진다.
Description
본 발명은 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 저해상도의 서모파일 어레이 센서를 통해 검출한 온도 이미지와 실영상 카메라를 통해 촬영한 고해상도의 이미지를 결합하여 열화상 이미지를 생성하여 제공하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법에 관한 것이다.
일반적으로 적외선 열화상 기술(Infrared Thermography)은 대상체의 표면 복사에너지를 검출하고 이를 온도로 환산하여 실시간으로 영상을 제공하는 기술이다.
이와 같은 적외선 열화상 기술은 물체의 표면 온도 변화를 비접촉, 비파괴, 실시간 측정이 가능하여 재료의 열적특성평가, 열화진단, 결함검사, 체열측정을 통한 의료진단 등의 다양한 분야에 활용되고 있다.
상기 열화상 기술을 이용한 적외선 열화상 카메라는 모터, 큰 부품, 전기 패널 등을 단번에 측정할 수 있으며 과열된 부분 기타 위험한 부분을 아무리 작더라도 쉽게 발견할 수 있는 장점이 있다. 즉, 수 천 개의 적외선 온도계를 동시에 사용하는 것과 같은 효과가 있다. 적외선 온도계는 한 지점의 온도만 측정할 수 있으나, 이에 비해 열화상 카메라는 대상 물체(열화상) 전체의 온도를 동시에 측정할 수 있다. 그러나 이와 같은 열화상 카메라는 지나치게 고가여서, 그 보급 및 확대에 어려움이 있는 실정이다.
예를 들어 열화상 카메라의 경우 이미지 해상도가 80 x 80 픽셀인 경우, 6,400개의 적외선 온도계를 동시에 사용하는 것과 동일한 효과를 발휘할 수 있다. 더욱 정교하게는 이미지의 해상도가 640 x 480 픽셀인 적외선 카메라의 경우 전체 픽셀의 숫자가 307,200개이므로 307,200 개의 적외선 온도계를 동시에 사용하는 것과 동일한 성능을 발휘하는 것이다. 따라서 열화상 카메라는 제작에 비용이 많이 소요된다.
열화상 카메라를 이용하는 여러 가지 기술 분야의 선행기술문헌으로, 한국등록특허 제0984679호(2010.10.01.)는 열화상 카메라를 이용한 수배전반 열화 예측 시스템에 관한 것으로서, 수배전반의 부스바, 차단기, MOF, CT, PT, 변압기 등 고압기기의 열화 정도, 과부하 상태, 접촉 불량 등을 열화상 카메라를 이용하여 비접촉식으로 감지하는 시스템에 관한 기술을 제시하고 있다.
또한, 한국공개특허 제2011-0035335호(2011.04.06.)는 열화상 케마라를 이용한 모니터링 방법 및 시스템에 관한 것으로서, 열화상 카메라를 이용하여 촬영된 열화상 이미지를 이용하여 검출된 모니터링 대상자의 움직임 및 체온을 기준으로 모니터링 대상자의 상태를 모니터링하는 기술을 제시하고 있다.
그러나 상기 선행기술문헌들에 적용되는 열화상 카메라는 넓은 면적 또는 큰 구성품 전체의 온도를 측정할 수 있으므로 문제 부위 전반에 대한 정확한 진단이 가능한 장점이 있는 반면에 가격이 고가이기 때문에 비용이 부담이 되어 제한적으로 활용할 수밖에 없는 문제점이 있었다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해서 창안한 것으로서, 서모파일 어레이 센서를 통해서 취득한 열분포에 대한 저해상도 이미지를 실영상 카메라를 통해 촬영한 고해상도의 이미지와 매칭(matching)하여 열화상 이미지를 생성하는 열화상 제공 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은 서모파일 어레이 센서와 실영상 카메라의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라의 제어를 통해 열분포에 대한 저해상도 열 이미지와 고해상도 실영상 촬영 이미지를 매칭하여 열화상 이미지를 생성하는 장치 및 그 방법을 제공하는 것을 목적으로 한다.
또한 본 발명은 서모파일 어레이 센서를 통한 저해상도 열 이미지와 실영상 카메라에서 촬영한 고해상도 실영상을 매칭시키되, 고해상도의 실영상을 저해상도의 열 이미지에 필터링, 인핸스먼트(enhancement) 등의 영상처리를 통해 고해상도의 열화상 이미지를 생성하는 장치 및 그 방법을 제공하는 것을 목적으로 한다.
이와 같은 목적을 달성하기 위한 본 발명 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치는, 피사체의 열 이미지를 촬영하기 위한 서모파일 어레이 센서부; 상기 피사체의 고해상도 실영상을 촬영하기 위한 실영상 카메라부; 상기 서모파일 어레이 센서부에서 촬영한 열 이미지에서 열분포도를 분석하는 열분포 분석부; 상기 실영상 카메라부에서 촬영한 실영상을 분석하여 이미지의 특징을 추출하는 실영상 분석부; 및 상기 분석한 열분포도와 실영상의 이미지 특징을 기반으로 상기 열 이미지와 실영상 이미지의 매칭을 통해 상기 피사체의 고해상도의 열화상을 생성하는 이미지 매칭 제어부;를 포함한다.
또한, 상기 이미지 매칭 제어부에서 출력한 열화상을 NFC, 블루투스, RFID, 지그비, 와이파이, PLC, SUN, 6LoWPAN 또는 이들의 조합 중 적어도 하나 이상을 통해 외부로 전송하는 통신 인터페이스부; 및 상기 이미지 매칭 제어부에서 주기적 또는 특정 사용자 요청에 따른 제어신호에 의해 생성한 열화상을 화면에 디스플레이하거나, 또는 원격지에서 상기 통신 인터페이스부를 통해 전송되는 열화상을 수신하여 화면에 디스플레이하는 열화상 표시부;를 더 포함하는 것을 특징으로 한다.
또한, 상기 열분포 분석부는, 상기 피사체의 열 이미지를 복수개의 구역으로 구획화(segmentation) 하고, 복수의 구역에서의 열 이미지 경계면을 추출한 후 중심부 방향으로의 열분포를 분석하여 열이 많이 발생한 부분을 검출하는 것을 특징으로 한다.
또한, 상기 실영상 분석부는, 상기 고해상도 실영상 이미지를 상기 열분포 분석부와 동일하게 복수개의 구역으로 구획화(segmentation) 하고, 복수의 구역에서 피사체의 형상을 이루는 요소에 대한 특징을 추출하는 것을 특징으로 한다.
또한, 상기 이미지 매칭 제어부는, 상기 서모파일 어레이 센서부와 실영상 카메라부의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라부를 제어하여 열분포도에 대한 이미지와 실영상 이미지를 매칭하는 것을 특징으로 한다.
또한, 상기 이미지 매칭 제어부는, 상기 매칭시 열 이미지를 실영상의 해상도와 동일한 해상도로 나누고, 일대일의 픽셀(pixel)로 매칭하는 것을 특징으로 한다.
한편, 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 방법은, 서모파일 어레이 센서부와 실영상 카메라부를 통해 피사체로부터의 열 이미지와 고해상의 실영상을 촬영하는 단계; 상기 촬영한 열 이미지에서 열분포도를 분석하고, 상기 촬영한 실영상을 분석하여 이미지의 특징을 추출하는 단계; 상기 분석한 열분포도와 실영상의 이미지 특징을 기반으로 상기 열 이미지와 실영상 이미지의 매칭을 통해 상기 피사체의 고해상도의 열화상을 생성하는 단계; 및 상기 생성한 열화상을 주기적 또는 특정 사용자 요청시 화면에 디스플레이하거나, 또는 원격지의 화면에 디스플레이하는 단계를 포함한다.
또한, 상기 열분포도를 분석하는 단계, 상기 피사체의 열 이미지를 복수개의 구역으로 구획화(segmentation) 하고, 복수의 구역에서의 열 이미지 경계면을 추출한 후 중심부 방향으로의 열분포를 분석하여 열이 많이 발생한 부분을 검출하는 것을 특징으로 한다.
또한, 상기 고해상도의 열화상을 생성하는 단계는, 상기 고해상도 실영상 이미지를 상기 열분포 분석부와 동일하게 복수개의 구역으로 구획화(segmentation) 하고, 복수의 구역에서 피사체의 형상을 이루는 요소에 대한 특징을 추출하는 것을 특징으로 한다.
또한, 상기 고해상도의 열화상을 생성하는 단계는, 상기 서모파일 어레이 센서부와 실영상 카메라부의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라부를 제어하여 열분포도에 대한 이미지와 실영상 이미지를 매칭하는 것을 특징으로 한다.
또한, 상기 고해상도의 열화상을 생성하는 단계는, 상기 매칭시 열 이미지를 실영상의 해상도와 동일한 해상도로 나누고, 일대일의 픽셀(pixel)로 매칭하는 것을 특징으로 한다.
본 발명은 서모파일 어레이 센서를 통해서 취득한 열분포에 대한 이미지를 실영상 카메라를 통해 촬영한 고해상도의 이미지와 매칭(matching)하여 열화상 이미지를 생성하는 열화상 제공 장치 및 그 방법에 관한 것으로서, 기존의 열화상 카메라에 비해서 획기적으로 저렴한 가격이면서도 고해상도의 열화상 이미지의 획득이 가능하고, 빛이 없는 어두운 상황에서도 단순한 피사체의 열화상이 아닌 실영상 이미지와 열 이미지의 매칭에 의한 보다 정확한 열화상 이미지를 얻을 수 있다는 효과를 가진다.
도 1은 본 발명의 일 실시예에 따른 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치의 구성을 보인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 피사체의 열 이미지를 복수개의 구역으로 구획화한 것을 보인 예시도이다.
도 3은 본 발명의 일 실시예에 따른 열화상 제공 장치와 원격지의 모니터링 장치의 연결을 간략하게 보인 예시도이다.
도 4는 본 발명의 일 실시예에 따른 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 과정을 보인 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 서모파일 어레이 센서부에서 촬영되는 열화상을 보인 예시도이다.
도 2는 본 발명의 일 실시예에 따른 피사체의 열 이미지를 복수개의 구역으로 구획화한 것을 보인 예시도이다.
도 3은 본 발명의 일 실시예에 따른 열화상 제공 장치와 원격지의 모니터링 장치의 연결을 간략하게 보인 예시도이다.
도 4는 본 발명의 일 실시예에 따른 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 과정을 보인 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 서모파일 어레이 센서부에서 촬영되는 열화상을 보인 예시도이다.
본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치의 구성을 보인 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 열화상 제공 장치(100)는, 서모파일 어레이 센서부(110), 실영상 카메라부(120), 열분포 분석부(130), 실영상 분석부(140), 이미지 매칭 제어부(150), 통신 인터페이스부(160) 및 열화상 표시부(170)를 포함한다.
상기 서모파일 어레이 센서부(110)는 정지 상태에 있거나 움직이는 물체 또는 인체의 온도를 비접촉식으로 측정하는데 주로 사용되는 열 감지 센서 중 하나인 다수의 서모파일 센서들을 정방형(예를 들어 3232) 픽셀들로 배치하여 하나의 모듈로 제작되어 피사체의 열 이미지를 촬영하기 위한 것으로, 일반적으로 앰프, 로우패스 필터, A/D 컨버터, 디지털 신호 처리부(DSP)로 구성된다.
상기 실영상 카메라부(120)는 상기 피사체의 고해상도 실영상의 촬영을 수행한다. 즉, 디지털 카메라로써 서모파일 어레이 센서에 의한 열 감지 해상도에 비해서 훨씬 고해상도의 영상을 획득하는 것이며, 이는 응용분야에 따라 그에 적합하도록 선택하는 것이 바람직하다.
상기 열분포 분석부(130)는 상기 서모파일 어레이 센서부(110)에서 촬영한 열 이미지에서 열분포도를 분석하는 것으로, 도 2에 도시한 바와 같이 상기 피사체의 열 이미지를 복수개의 구역으로 구획화(혹은 분할)(segmentation)하고, 복수의 구역에서의 열 이미지 경계면을 추출한 후 중심부 방향으로의 열분포를 분석하여 열이 많이 발생한 부분을 검출한다. 즉, 서모파일 센서로부터 대상 물체의 온도분포를 측정하고 이를 영상정보를 변환하여 출력하게 된다. 상기 영상정보를 변환하는 것은 대상 물체의 온도값에 따라 복수의 색을 부여하여 해당 물체의 온도 분포를 시각화하여 표현하는 것이 가능하다. 이때 색온도를 사용하여 물체의 각 부에 대한 온도를 영상정보로 표시하는 것이 바람직하다. 다만 색온도는 온도가 높아지면 푸른색, 낮아지면 붉은색을 띠므로, 본 발명에서는 사용자가 일관성 있게 온도를 색으로 표현하여 사용하기만 하면 족하지 반드시 색온도에 따라 영상정보를 변환하여 표시하여야 하는 것은 아니다. 즉, 붉은 색의 진하기에 따라 온도분포를 색으로 변환하여 표시할 수도 있다.
상기 실영상 분석부(140)는 상기 실영상 카메라부(120)에서 촬영한 실영상을 분석하여 이미지의 특징을 추출하는 것으로, 상기 고해상도 실영상 이미지를 상기 열분포 분석부(130)와 동일하게 복수개의 구역으로 구획화(segmentation) 하고, 복수의 구역에서 피사체의 형상을 이루는 요소에 대한 특징을 추출한다. 본 발명에서는 상기 실영상 이미지에 대한 특징으로 실영상의 윤곽선과 특징점을 포함하여 구체적인 실영상의 개별적으로 구획된 부분에 대한 물체의 특징 정보를 추출한다. 상기 추출된 특징 정보는 열분포 분석부(130)에서 분석된 열 이미지의 해상도를 높이는데 이용된다.
상기 이미지 매칭 제어부(150)는 상기 분석한 열분포도와 실영상의 이미지 특징을 기반으로 상기 열 이미지와 실영상 이미지의 매칭을 통해 상기 피사체의 고해상도의 열화상을 생성하는 것으로, 상기 매칭시 열 이미지를 실영상의 해상도와 동일한 해상도로 나누고, 일대일의 픽셀(pixel)로 매칭하는데, 상기 서모파일 어레이 센서부(110)와 실영상 카메라부(120)의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라부(120)를 제어하여 열분포도에 대한 이미지와 실영상 이미지를 매칭시킨다. 이러한 매칭은 이미지 매칭 제어부(150)에서 실영상 카메라부(120)의 제어를 통해서 가능하다.
이러한 매칭을 통해서도 열 이미지와 실영상 이미지는 차이를 보일 것이며, 저해상도의 열 이미지는 블록화 현상이 발생하게 되고, 이를 고해상도의 실영상 이미지와 매칭하면 서로 불일치하게 된다. 따라서 블록화 현상이 발생한 열 이미지를 실영상 이미지의 휘도성분과 컬러성분의 값에 대한 변화에 맞추어 열 이미지에서 열분포 분석에 따라 열이 많이 발생한 중심부 방향으로 온도값이 높은 색을 할당하여 열 이미지의 해당 부분을 강하게 표시하고 중심부에서 멀어질수록 약하게 표시하여 실영상 이미지의 해상도에 맞추어 평활화(smooth)된 열화상 이미지를 획득한다.
이어서 상기 평활화된 이미지는 다시 실영상 이미지의 각 구획화된 부분에 대한 특징정보를 이용하여 선명하게 처리되도록 한다. 즉 피사체의 윤곽선을 따라 윤곽선 부분은 더욱 두드러지게 보이도록 열 이미지의 휘도값이나 컬러값을 처리한다. 이때 인접하는 픽셀들의 변화를 비교하여 그 변화를 반영하여 에지나 윤곽선 부분의 픽셀을 더욱 증폭하여 표시함으로써 선명화가 가능하다.
상기 통신 인터페이스부(160)는 상기 이미지 매칭 제어부에서 출력한 열화상을 NFC(Near Field Communication), 블루투스(Bluetooth), RFID, 지그비(Zigbee), LAN, 와이파이, PLC(Power Line Communication), SUN(Smart Utility Network), 6LoWPAN(IPv6 over Low Power WPAN) 또는 이들의 조합 중 적어도 하나를 포함하는 유무선 네트워크를 통해서 외부 모니터링 장치(200)로 전송한다.
여기서 6LoWPAN(IPv6 over Low power WPAN(Wireless Personal Area Network))은 IoT(Internet of Things)에 참여할 수 있는 제한된 처리능력을 가진 작은 크기의 디바이스와 저전력 디바이스에 인터넷 프로토콜을 적용하기 위한 방법으로, IPV6 패킷이 IEEE 802.14.4를 통해서 송수신될 수 있도록 인캡슐레이션(encapsulation) 및 헤더 압축을 정의한 것이다. 따라서 저전력 무선통신을 위한 IP 네트워킹에 사용하기 위한 것이다.
또한 SUN(Smart Utility Network)은 통신거리가 수 미터에서 수십 km까지 커버하며, 40kbps 내지 1Mbps 정도의 데이터 전송속도로 저전력 소모를 위해 아웃도어에서 통신하기 위한 것이다. 따라서 본 발명에서는 열화상 제공 장치와 외부 모니터링 장치 사이에서 데이터 전송을 담당하는데 사용될 수 있다.
상기 열화상 표시부(170)는 상기 이미지 매칭 제어부(150)의 제어에 따라 생성한 열화상을 화면에 디스플레이하는 역할을 수행한다.
한편, 외부 모니터링 장치(200)는 도 3에 도시한 바와 같이 주기적 또는 특정 사용자 요청에 의해 상기 통신 인터페이스부(160)를 통해 전송되는 열화상을 수신하여 자체 표시수단(미도시)을 통해 디스플레이하거나 로컬 혹은 네트워크 데이터베이스(DB)(300)에 저장할 수 있다.
이와 같이 구성한 본 발명의 실시예에 따른 동작 과정을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.
도 4는 본 발명의 일 실시예에 따른 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 과정을 보인 흐름도이다.
도 1 내지 도 4를 참조하면, 상기 서모파일 어레이 센서부(110)와 실영상 카메라부(120)를 통해 피사체로부터의 열 이미지와 고해상도의 실영상을 촬영한다(S100).
이어서, 열분포 분석부(130)는 상기 S100 단계에서 촬영한 열 이미지에서 열분포도를 분석하고(S200), 실영상 분석부(140)는 상기 촬영한 실영상을 분석하여 이미지의 특징을 추출한다(S300). 여기서 이미지 특징은 미리 사용자에 의해서 본 발명에 따른 열화상 제공 장치에 고정적으로 설정해 두는 것도 가능하다. 이러한 과정은 보다 피사체의 열 감지를 보다 정밀하게 수행하기 위해서 사용자가 해당 피사체가 열을 발생시킬 가능성이나 피사체의 특징을 구획별로 미리 정해 줌으로써, 더욱 의미있는 열화상 정보를 생성할 수 있기 때문이다.
이때, S200 단계에서는 상기 피사체의 열 이미지를 복수개의 구역으로 구획화하고, 복수의 구역에서의 열 이미지 경계면을 추출한 후 중심부 방향으로 갈수록 온도에 대한 정확도가 높기 때문에 중심부 방향으로의 열분포를 분석하여 열이 많이 발생한 부분을 검출한다.
또한, S300 단계에서도 상기 고해상도 실영상 이미지를 상기 S200 단계에서와 동일하게 복수개의 구역으로 구획화하고, 복수의 구역에서 피사체의 형상을 이루는 요소에 대한 특징을 추출한다.
상기 S200 단계와 S300 단계에서 각각 분석한 열분포도와 실영상의 이미지 특징을 기반으로 이미지 매칭 제어부(150)는 도 5에 도시한 바와 같이 상기 열 이미지와 실영상 이미지의 매칭을 통해 상기 피사체의 고해상도의 열화상을 생성한다(S400).
즉, 상기 매칭시 열 이미지를 실영상의 해상도와 동일한 해상도로 나누고, 도 2에 도시한 바와 같이 동일하게 복수개의 구역으로 구획화한 열 이미지와 실영상 이미지를 일대일의 픽셀(pixel)로 매칭하는데, 상기 서모파일 어레이 센서부(110)와 실영상 카메라부(120)의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라부(120)를 제어하여 열분포도에 대한 이미지와 실영상 이미지를 매칭한다.
이러한 매칭을 통해서도 열 이미지와 실영상 이미지는 차이를 보일 수 있으며, 저해상도의 열 이미지는 고해상도의 실영상 이미지에 비해서 블록화 현상이 발생하게 되고, 이를 고해상도의 실영상 이미지와 매칭하면 서로 불일치하게 된다. 따라서 블록화 현상이 발생한 열 이미지를 실영상 이미지의 휘도성분과 컬러성분의 값에 대한 변화에 맞추어 수정 처리하게 된다. 즉, 열 이미지에서 열분포 분석에 따라 열이 많이 발생한 중심부 방향으로 열 이미지를 강하게 표시하고 중심부에서 멀어질수록 약하게 표시하여 실영상 이미지의 해상도에 맞추어 평활화(smooth)된 열화상 이미지를 획득할 수 있다.
즉, 열화상 이미지는 열 이미지와 실영상 이미지를 매칭시켜서 생성하되, 열 이미지의 해상도를 실영상 이미지와 동일하거나 유사한 정도로 증대시켜서 매칭시킬 필요가 있다. 이를 위해서 특징점, 경계선(에지), 휘도와 컬러의 변화 정도, 또는 이들의 조합을 포함하는 실영상 이미지의 특징에 비례하여 열 이미지의 표시 강도를 세밀하게 조정하고, 이를 최종적으로 실영상 이미지와 매칭시켜 최종적인 열화상 이미지를 생성하게 된다.
이후, 상기 이미지 매칭 제어부(150)는 상기 생성한 열화상을 열화상 표시부(170)를 통해 화면에 디스플레이하거나(S600), 주기적 또는 특정 사용자 요청시(S500) 원격지의 외부 모니터링 장치(200)의 자체 표시수단(미도시)을 통해 디스플레이 하도록 상기 통신 인터페이스부(160) 통해 열화상을 전송한다(S700).
따라서 본 발명은 전기 컨트롤 패널, 수배전반 또는 고압 송배전용 애자를 포함한 전기설비와 산업용 기기나 시설의 감시 및 제3자의 침입 감시가 가능하도록 서모파일 어레이 센서를 통해서 취득한 열분포에 대한 이미지를 실영상 카메라를 통해 촬영한 고해상도의 이미지와 매칭(matching)하여 열화상 이미지를 생성하여 제공함으로서, 기존의 열화상 카메라에 비해서 획기적으로 저렴한 가격이면서도 고해상도의 열화상 이미지의 획득이 가능하고, 빛이 없는 어두운 상황에서도 단순한 피사체의 열화상이 아닌 실영상 이미지와 열 이미지의 매칭에 의한 보다 정확한 열화상 이미지를 얻을 수 있다.
본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하고, 본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 하며, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100 : 열화상 제공 장치 110 : 서모파일 어레이 센서부
120 : 실영상 카메라부 130 : 열분포 분석부
140 : 실영상 분석부 150 : 이미지 매칭 제어부
160 : 통신 인터페이스부 170 : 열화상 표시부
200 : 외부 모니터링 장치 300 : 데이터베이스
120 : 실영상 카메라부 130 : 열분포 분석부
140 : 실영상 분석부 150 : 이미지 매칭 제어부
160 : 통신 인터페이스부 170 : 열화상 표시부
200 : 외부 모니터링 장치 300 : 데이터베이스
Claims (11)
- 피사체의 열 이미지를 촬영하기 위한 서모파일 어레이 센서부;
상기 피사체의 고해상도 실영상 이미지를 촬영하기 위한 실영상 카메라부;
상기 서모파일 어레이 센서부에서 촬영한 열 이미지에서 열분포를 분석하는 열분포 분석부;
상기 실영상 카메라부에서 촬영한 고해상도 실영상 이미지를 분석하여 이미지의 특징을 추출하는 실영상 분석부; 및
상기 분석한 열분포와 실영상 이미지의 특징을 기반으로 상기 열 이미지와 실영상 이미지의 매칭을 통해 상기 피사체의 고해상도의 열화상을 생성하는 이미지 매칭 제어부;를 포함하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치. - 제1항에 있어서,
상기 이미지 매칭 제어부에서 출력한 열화상을 NFC, 블루투스, RFID, 지그비, 와이파이, LAN, PLC, SUN, 6LoWPAN 또는 이들의 조합 중 적어도 하나 이상을 통해 외부로 전송하는 통신 인터페이스부; 및
상기 이미지 매칭 제어부에서 생성한 열화상 이미지를 화면에 디스플레이하는 열화상 표시부;를 더 포함하며,
주기적 또는 특정 사용자 요청에 의해 상기 통신 인터페이스부를 통해 외부 모니터링 장치로 열화상 이미지를 전송하여 화면에 디스플레이하도록 하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치. - 제1항에 있어서,
상기 열분포 분석부는,
상기 피사체의 열 이미지를 복수개의 구역으로 구획화하고, 복수의 구역에서의 열 이미지 경계면을 추출한 후 중심부 방향으로의 열분포를 분석하여, 상대적으로 열이 많이 발생한 부분을 검출하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치. - 제1항에 있어서,
상기 실영상 분석부는,
상기 고해상도 실영상 이미지를 상기 열분포 분석부와 동일하게 복수개의 구역으로 구획화하고, 복수의 구역에서 피사체의 형상을 이루는 요소에 대한 특징을 추출하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치. - 제1항에 있어서,
상기 이미지 매칭 제어부는,
상기 서모파일 어레이 센서부와 실영상 카메라부의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라부를 제어하여 열분포에 대한 이미지와 실영상 이미지를 매칭하거나, 또는
열 이미지를 실영상 이미지의 특징점, 경계선, 휘도와 컬러의 변화 정도, 또는 이들의 조합을 포함하는 실영상 이미지의 특징에 비례하여, 상기 열분포 분석에 따라, 열이 상대적으로 많이 발생한 중심부 방향으로 열 이미지를 강하게 표시하고 중심부에서 멀어질수록 약하게 표시하여 실영상 이미지의 해상도에 맞추어 평활화된 열화상 이미지를 생성하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치. - 제1항에 있어서,
상기 이미지 매칭 제어부는,
상기 매칭 시 열 이미지를 실영상의 해상도와 동일한 해상도로 나누고, 일대일의 픽셀(pixel)로 매칭하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치. - 서모파일 어레이 센서부와 실영상 카메라부를 통해 피사체로부터의 열 이미지와 고해상도의 실영상을 촬영하는 단계;
상기 촬영한 열 이미지에서 열분포를 분석하고, 상기 촬영한 고해상도 실영상 이미지를 분석하여 이미지의 특징을 추출하는 단계;
상기 분석한 열분포와 고해상도 실영상 이미지의 특징을 기반으로 상기 열 이미지와 고해상도 실영상 이미지의 매칭을 통해 상기 피사체의 고해상도의 열화상을 생성하는 단계; 및
상기 생성한 열화상을 화면에 디스플레이하거나, 주기적 또는 특정 사용자 요청시 원격지의 화면에 디스플레이하는 단계를 포함하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 방법. - 제7항에 있어서,
상기 열분포를 분석하는 단계는,
상기 피사체의 열 이미지를 복수개의 구역으로 구획화하고, 복수의 구역에서의 열 이미지 경계면을 추출한 후 중심부 방향으로의 열분포를 분석하여 열이 많이 발생한 부분을 검출하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 방법. - 제7항에 있어서,
상기 고해상도의 열화상을 생성하는 단계는,
상기 고해상도 실영상 이미지를 상기 열 이미지와 동일하게 복수개의 구역으로 구획화하고, 복수의 구역에서 피사체의 형상을 이루는 요소에 대한 특징을 추출하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 방법. - 제7항에 있어서,
상기 고해상도의 열화상을 생성하는 단계는,
상기 서모파일 어레이 센서부와 실영상 카메라부의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라부를 제어하여 열분포에 대한 이미지와 고해상도 실영상 이미지를 매칭하거나, 또는
열 이미지를 고해상도 실영상 이미지의 특징점, 경계선, 휘도와 컬러의 변화 정도, 또는 이들의 조합을 포함하는 고해상도 실영상 이미지의 특징에 비례하여, 상기 열분포 분석에 따라, 열이 많이 발생한 중심부 방향으로 열 이미지를 강하게 표시하고 중심부에서 멀어질수록 약하게 표시하여 고해상도 실영상 이미지의 해상도에 맞추어 평활화된 열화상 이미지를 생성하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 방법. - 제7항에 있어서,
상기 고해상도의 열화상을 생성하는 단계는,
상기 매칭 시 열 이미지를 고해상도 실영상 이미지의 해상도와 동일한 해상도로 나누고, 일대일의 픽셀(pixel)로 매칭하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140155863A KR101680544B1 (ko) | 2014-11-11 | 2014-11-11 | 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140155863A KR101680544B1 (ko) | 2014-11-11 | 2014-11-11 | 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160056023A true KR20160056023A (ko) | 2016-05-19 |
| KR101680544B1 KR101680544B1 (ko) | 2016-11-29 |
Family
ID=56103201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140155863A KR101680544B1 (ko) | 2014-11-11 | 2014-11-11 | 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101680544B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200016507A (ko) * | 2018-08-07 | 2020-02-17 | 주식회사 한컴엠디에스 | 영상 합성 방법 및 장치 |
| KR20210153851A (ko) * | 2020-06-11 | 2021-12-20 | 한국생산기술연구원 | 딥러닝 기반 열전대 온도센서 실측을 통한 측정대상의 전체 온도 분포 예측 장치 및 방법 |
-
2014
- 2014-11-11 KR KR1020140155863A patent/KR101680544B1/ko active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200016507A (ko) * | 2018-08-07 | 2020-02-17 | 주식회사 한컴엠디에스 | 영상 합성 방법 및 장치 |
| KR20210153851A (ko) * | 2020-06-11 | 2021-12-20 | 한국생산기술연구원 | 딥러닝 기반 열전대 온도센서 실측을 통한 측정대상의 전체 온도 분포 예측 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101680544B1 (ko) | 2016-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107547892B (zh) | 热异常检测 | |
| US10694120B2 (en) | Methods for producing a temperature map of a scene | |
| US11010878B2 (en) | Dynamic range compression for thermal video | |
| KR101111167B1 (ko) | 이동통신 단말기의 열화상 촬영 장치 및 방법 | |
| US10298859B2 (en) | Enhanced visual representation of infrared data values | |
| US20160065848A1 (en) | Thermography for a thermal imaging camera | |
| US20120320189A1 (en) | Thermal imager that analyzes temperature measurement calculation accuracy | |
| US20130155248A1 (en) | Thermal imaging camera for infrared rephotography | |
| KR102212773B1 (ko) | 체온측정을 겸비한 영상감시장치 및 그 방법 | |
| WO2004097389A2 (en) | Thermal imaging system and method | |
| KR101417771B1 (ko) | 2차원 서모파일 어레이 열화상 기반의 수배전반 열화감시 시스템 및 그 방법 | |
| CN105352988B (zh) | 一种建筑物外墙保温性能评估系统及方法 | |
| US20190154513A1 (en) | Method for Determining a Temperature without Contact, and Infrared Measuring System | |
| US20190154512A1 (en) | Method for Determining a Temperature without Contact, and Infrared Measuring System | |
| CA3075575A1 (en) | An image processing arrangement | |
| CN102538983A (zh) | Ccd测温装置 | |
| CN106979822A (zh) | 一种红外成像过耗故障探测仪 | |
| KR101680544B1 (ko) | 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법 | |
| US9664568B2 (en) | Extended temperature mapping process of a furnace enclosure with multi-spectral image-capturing device | |
| KR101625471B1 (ko) | 보급형 열화상 카메라의 해상도 향상 방법 및 장치 | |
| WO2015195055A1 (en) | Apparatus and method for non-contact temperature measurement with a visible light camera | |
| CN106790900A (zh) | 一种手机温度检测方法及系统 | |
| CN108344511A (zh) | 辐射率控制装置和辐射率控制方法 | |
| KR20220085006A (ko) | 적외선 이미징-관련 불확실성 측정 시스템 및 방법 | |
| KR20150090563A (ko) | 하이브리드 열영상 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191104 Year of fee payment: 4 |