KR101680544B1 - Apparatus for providing thermal imaging using thermopile array sensor and real imaging camera and method thereof - Google Patents
Apparatus for providing thermal imaging using thermopile array sensor and real imaging camera and method thereof Download PDFInfo
- Publication number
- KR101680544B1 KR101680544B1 KR1020140155863A KR20140155863A KR101680544B1 KR 101680544 B1 KR101680544 B1 KR 101680544B1 KR 1020140155863 A KR1020140155863 A KR 1020140155863A KR 20140155863 A KR20140155863 A KR 20140155863A KR 101680544 B1 KR101680544 B1 KR 101680544B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- thermal
- real
- real image
- resolution
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000001931 thermography Methods 0.000 title abstract description 11
- 238000003384 imaging method Methods 0.000 title 1
- 238000009826 distribution Methods 0.000 claims abstract description 32
- 238000004891 communication Methods 0.000 claims description 15
- 238000002076 thermal analysis method Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims 2
- 238000009499 grossing Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Abstract
본 발명은 전기설비와 산업용 기기의 감시 및 제3자의 침입 감시가 가능하도록 서모파일 어레이 센서를 통해서 취득한 열분포에 대한 이미지를 실영상 카메라를 통해 촬영한 고해상도의 이미지와 매칭하여 열화상 이미지를 생성하는 열화상 제공 장치 및 그 방법에 관한 것으로서, 기존의 열화상 카메라에 비해서 획기적으로 저렴한 가격이면서도 고해상도의 열화상 이미지의 획득이 가능하고, 빛이 없는 어두운 상황에서도 단순한 피사체의 열화상이 아닌 실영상 이미지와 열 이미지의 매칭에 의한 보다 정확한 열화상 이미지를 얻을 수 있다는 효과를 가진다.The present invention relates to a method and apparatus for monitoring a thermal apparatus and an industrial apparatus and monitoring an intrusion of a third party by matching an image of thermal distribution acquired through a thermopile array sensor with a high- The present invention relates to a thermal image providing apparatus and method, and more particularly, to a thermal image providing apparatus and method which can obtain a thermal image of a high resolution at a remarkably low cost as compared with a conventional thermal imaging camera, It is possible to obtain a more accurate thermal image by matching the thermal image with the thermal image.
Description
본 발명은 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 저해상도의 서모파일 어레이 센서를 통해 검출한 온도 이미지와 실영상 카메라를 통해 촬영한 고해상도의 이미지를 결합하여 열화상 이미지를 생성하여 제공하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법에 관한 것이다.The present invention relates to a thermal image providing apparatus and method using a thermopile array sensor and a real image camera, and more particularly, to a thermal image supply apparatus and method using a thermopile array sensor and a real image camera. More particularly, A thermo-file array sensor that combines images to generate and provide a thermal image, and a thermal image providing apparatus and method using the real image camera.
일반적으로 적외선 열화상 기술(Infrared Thermography)은 대상체의 표면 복사에너지를 검출하고 이를 온도로 환산하여 실시간으로 영상을 제공하는 기술이다. In general, infrared thermography is a technology that detects surface radiation energy of an object and converts it into temperature to provide images in real time.
이와 같은 적외선 열화상 기술은 물체의 표면 온도 변화를 비접촉, 비파괴, 실시간 측정이 가능하여 재료의 열적특성평가, 열화진단, 결함검사, 체열측정을 통한 의료진단 등의 다양한 분야에 활용되고 있다. Such infrared thermal imaging technology is utilized in various fields such as non-contact, non-destructive, real-time measurement of the surface temperature change of an object, thermal characteristic evaluation of material, deterioration diagnosis, defect inspection, medical diagnosis through body heat measurement.
상기 열화상 기술을 이용한 적외선 열화상 카메라는 모터, 큰 부품, 전기 패널 등을 단번에 측정할 수 있으며 과열된 부분 기타 위험한 부분을 아무리 작더라도 쉽게 발견할 수 있는 장점이 있다. 즉, 수 천 개의 적외선 온도계를 동시에 사용하는 것과 같은 효과가 있다. 적외선 온도계는 한 지점의 온도만 측정할 수 있으나, 이에 비해 열화상 카메라는 대상 물체(열화상) 전체의 온도를 동시에 측정할 수 있다. 그러나 이와 같은 열화상 카메라는 지나치게 고가여서, 그 보급 및 확대에 어려움이 있는 실정이다.The infrared thermal imaging camera using the thermal imaging technique is capable of measuring motors, large parts, and electric panels at a time, and can easily detect overheated parts and other dangerous parts even if they are small. That is, it has the same effect as using thousands of infrared thermometers at the same time. An infrared thermometer can only measure temperature at one point, whereas a thermal camera can simultaneously measure the temperature of the entire object (thermal image). However, such an infrared camera is too expensive and difficult to spread and expand.
예를 들어 열화상 카메라의 경우 이미지 해상도가 80 x 80 픽셀인 경우, 6,400개의 적외선 온도계를 동시에 사용하는 것과 동일한 효과를 발휘할 수 있다. 더욱 정교하게는 이미지의 해상도가 640 x 480 픽셀인 적외선 카메라의 경우 전체 픽셀의 숫자가 307,200개이므로 307,200 개의 적외선 온도계를 동시에 사용하는 것과 동일한 성능을 발휘하는 것이다. 따라서 열화상 카메라는 제작에 비용이 많이 소요된다.For example, for an infrared camera, if the image resolution is 80 x 80 pixels, it can have the same effect as using 6,400 infrared thermometers simultaneously. More precisely, infrared cameras with an image resolution of 640 x 480 pixels have 307,200 total pixels, which is equivalent to using 307,200 infrared thermometers at the same time. Therefore, thermal cameras are expensive to manufacture.
열화상 카메라를 이용하는 여러 가지 기술 분야의 선행기술문헌으로, 한국등록특허 제0984679호(2010.10.01.)는 열화상 카메라를 이용한 수배전반 열화 예측 시스템에 관한 것으로서, 수배전반의 부스바, 차단기, MOF, CT, PT, 변압기 등 고압기기의 열화 정도, 과부하 상태, 접촉 불량 등을 열화상 카메라를 이용하여 비접촉식으로 감지하는 시스템에 관한 기술을 제시하고 있다.BACKGROUND ART [0002] Korean Patent Registration No. 0984679 (Oct. 1, 2010) discloses a system for predicting a transmission / reception deterioration using a thermal imaging camera, which is equipped with a bus bar, a breaker, a MOF, Contactless detection of the degree of deterioration of high-voltage equipment such as CT, PT, and transformer, overload state, and contact failure using a thermal imaging camera.
또한, 한국공개특허 제2011-0035335호(2011.04.06.)는 열화상 케마라를 이용한 모니터링 방법 및 시스템에 관한 것으로서, 열화상 카메라를 이용하여 촬영된 열화상 이미지를 이용하여 검출된 모니터링 대상자의 움직임 및 체온을 기준으로 모니터링 대상자의 상태를 모니터링하는 기술을 제시하고 있다.Korean Patent Laid-Open Publication No. 2011-0035335 (Apr. 04, 2011) discloses a monitoring method and system using a thermal image sensor. The monitoring method and the system using the thermal imaging camera are disclosed in Korean Patent Laid- And monitoring the condition of the subject based on movement and body temperature.
그러나 상기 선행기술문헌들에 적용되는 열화상 카메라는 넓은 면적 또는 큰 구성품 전체의 온도를 측정할 수 있으므로 문제 부위 전반에 대한 정확한 진단이 가능한 장점이 있는 반면에 가격이 고가이기 때문에 비용이 부담이 되어 제한적으로 활용할 수밖에 없는 문제점이 있었다.However, since the thermal imaging camera applied to the above prior art documents can measure the temperature of a large area or a large component, it is possible to accurately diagnose the entire problem area, but the cost is high because the price is high There has been a problem that it can not be utilized in a limited manner.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해서 창안한 것으로서, 서모파일 어레이 센서를 통해서 취득한 열분포에 대한 저해상도 이미지를 실영상 카메라를 통해 촬영한 고해상도의 이미지와 매칭(matching)하여 열화상 이미지를 생성하는 열화상 제공 장치 및 그 방법을 제공하는 것을 그 목적으로 한다. SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and it is an object of the present invention to provide a thermal image sensor that matches a thermal image obtained through a thermopile array sensor with a low- And to provide a thermal image providing apparatus and method therefor.
또한 본 발명은 서모파일 어레이 센서와 실영상 카메라의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라의 제어를 통해 열분포에 대한 저해상도 열 이미지와 고해상도 실영상 촬영 이미지를 매칭하여 열화상 이미지를 생성하는 장치 및 그 방법을 제공하는 것을 목적으로 한다.The present invention also provides a method of controlling a real image camera by matching the angle of view between the thermopile array sensor and the real image camera and controlling the real image camera including zoom, focus, pan, tilt, And an object of the present invention is to provide an apparatus and method for generating a thermal image by matching a low-resolution thermal image and a high-resolution real image shot image with respect to thermal distribution.
또한 본 발명은 서모파일 어레이 센서를 통한 저해상도 열 이미지와 실영상 카메라에서 촬영한 고해상도 실영상을 매칭시키되, 고해상도의 실영상을 저해상도의 열 이미지에 필터링, 인핸스먼트(enhancement) 등의 영상처리를 통해 고해상도의 열화상 이미지를 생성하는 장치 및 그 방법을 제공하는 것을 목적으로 한다.The present invention also relates to a method and apparatus for matching a low-resolution thermal image through a thermopile array sensor with a high-resolution real image captured by a real image camera, wherein the high-resolution real image is subjected to image processing such as filtering, enhancement, It is an object of the present invention to provide an apparatus and method for generating a thermal image of high resolution.
이와 같은 목적을 달성하기 위한 본 발명 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치는, 피사체의 열 이미지를 촬영하기 위한 서모파일 어레이 센서부; 상기 피사체의 고해상도 실영상을 촬영하기 위한 실영상 카메라부; 상기 서모파일 어레이 센서부에서 촬영한 열 이미지에서 열분포도를 분석하는 열분포 분석부; 상기 실영상 카메라부에서 촬영한 실영상을 분석하여 이미지의 특징을 추출하는 실영상 분석부; 및 상기 분석한 열분포도와 실영상의 이미지 특징을 기반으로 상기 열 이미지와 실영상 이미지의 매칭을 통해 상기 피사체의 고해상도의 열화상을 생성하는 이미지 매칭 제어부;를 포함한다. According to an aspect of the present invention, there is provided a thermal image providing apparatus using a thermopile array sensor and a real image camera, including: a thermopile array sensor unit for capturing a thermal image of a subject; An actual image camera unit for photographing a high-resolution real image of the subject; A thermal distribution analyzer for analyzing the thermal distribution in a thermal image taken by the thermopile array sensor; A real image analyzing unit for analyzing a real image taken by the real image camera unit and extracting characteristics of the image; And an image matching controller for generating a high-resolution thermal image of the subject through matching of the thermal image and the real image based on the analyzed thermal distribution and the image characteristics of the real image.
또한, 상기 이미지 매칭 제어부에서 출력한 열화상을 NFC, 블루투스, RFID, 지그비, 와이파이, PLC, SUN, 6LoWPAN 또는 이들의 조합 중 적어도 하나 이상을 통해 외부로 전송하는 통신 인터페이스부; 및 상기 이미지 매칭 제어부에서 주기적 또는 특정 사용자 요청에 따른 제어신호에 의해 생성한 열화상을 화면에 디스플레이하거나, 또는 원격지에서 상기 통신 인터페이스부를 통해 전송되는 열화상을 수신하여 화면에 디스플레이하는 열화상 표시부;를 더 포함하는 것을 특징으로 한다. The communication interface may further include a communication interface for transmitting the thermal image output from the image matching controller to the outside through at least one of NFC, Bluetooth, RFID, ZigBee, WiFi, PLC, SUN, 6LoWPAN, or a combination thereof; And a thermal image display unit for displaying a thermal image generated by a control signal according to a user request periodically or by the image matching control unit on a screen or receiving a thermal image transmitted from a remote site through the communication interface unit and displaying the thermal image on a screen; And further comprising:
또한, 상기 열분포 분석부는, 상기 피사체의 열 이미지를 복수개의 구역으로 구획화(segmentation) 하고, 복수의 구역에서의 열 이미지 경계면을 추출한 후 중심부 방향으로의 열분포를 분석하여 열이 많이 발생한 부분을 검출하는 것을 특징으로 한다. In addition, the thermal distribution analyzing unit may segment the thermal image of the subject into a plurality of zones, extract thermal image boundaries in a plurality of zones, analyze heat distribution in the direction of the center zone, .
또한, 상기 실영상 분석부는, 상기 고해상도 실영상 이미지를 상기 열분포 분석부와 동일하게 복수개의 구역으로 구획화(segmentation) 하고, 복수의 구역에서 피사체의 형상을 이루는 요소에 대한 특징을 추출하는 것을 특징으로 한다. The real image analyzing unit may segment the high-resolution real image image into a plurality of zones in the same manner as the thermal analysis unit, and extract characteristics of elements forming the object in a plurality of zones do.
또한, 상기 이미지 매칭 제어부는, 상기 서모파일 어레이 센서부와 실영상 카메라부의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라부를 제어하여 열분포도에 대한 이미지와 실영상 이미지를 매칭하는 것을 특징으로 한다. In addition, the image matching controller may adjust the angle of view of the thermopile array sensor unit and the real image camera unit, and may include zoom, focus, pan, tilt, And controls the image camera unit to match the image of the thermal distribution with the real image.
또한, 상기 이미지 매칭 제어부는, 상기 매칭시 열 이미지를 실영상의 해상도와 동일한 해상도로 나누고, 일대일의 픽셀(pixel)로 매칭하는 것을 특징으로 한다. The image matching control unit may divide the thermal image into a resolution equal to the resolution of the real image and match the pixels with a one-to-one pixel.
한편, 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 방법은, 서모파일 어레이 센서부와 실영상 카메라부를 통해 피사체로부터의 열 이미지와 고해상의 실영상을 촬영하는 단계; 상기 촬영한 열 이미지에서 열분포도를 분석하고, 상기 촬영한 실영상을 분석하여 이미지의 특징을 추출하는 단계; 상기 분석한 열분포도와 실영상의 이미지 특징을 기반으로 상기 열 이미지와 실영상 이미지의 매칭을 통해 상기 피사체의 고해상도의 열화상을 생성하는 단계; 및 상기 생성한 열화상을 주기적 또는 특정 사용자 요청시 화면에 디스플레이하거나, 또는 원격지의 화면에 디스플레이하는 단계를 포함한다. The thermal image providing method using the thermopile array sensor and the real image camera includes the steps of photographing a thermal image and a high resolution real image from a subject through the thermopile array sensor unit and the real image camera unit; Analyzing the thermal distribution in the captured thermal image, analyzing the captured real image, and extracting characteristics of the image; Generating a high-resolution thermal image of the subject through matching of the thermal image and the real image image based on the analyzed thermal distribution and the image characteristic of the real image; And displaying the generated thermal image on a screen periodically or at a specific user's request, or displaying the generated thermal image on a remote screen.
또한, 상기 열분포도를 분석하는 단계, 상기 피사체의 열 이미지를 복수개의 구역으로 구획화(segmentation) 하고, 복수의 구역에서의 열 이미지 경계면을 추출한 후 중심부 방향으로의 열분포를 분석하여 열이 많이 발생한 부분을 검출하는 것을 특징으로 한다. The method may further include analyzing the thermal distribution, segmenting the thermal image of the subject into a plurality of regions, extracting thermal image boundaries in the plurality of regions, and analyzing thermal distribution in a central direction, Is detected.
또한, 상기 고해상도의 열화상을 생성하는 단계는, 상기 고해상도 실영상 이미지를 상기 열분포 분석부와 동일하게 복수개의 구역으로 구획화(segmentation) 하고, 복수의 구역에서 피사체의 형상을 이루는 요소에 대한 특징을 추출하는 것을 특징으로 한다. In addition, the step of generating the high-resolution thermal image may include segmenting the high-resolution real image into a plurality of zones in the same manner as the thermal analysis unit, .
또한, 상기 고해상도의 열화상을 생성하는 단계는, 상기 서모파일 어레이 센서부와 실영상 카메라부의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라부를 제어하여 열분포도에 대한 이미지와 실영상 이미지를 매칭하는 것을 특징으로 한다. The step of generating the high-resolution thermal image may further include the steps of: matching the angle of view between the thermo-file array sensor unit and the real image camera unit; and zooming, focusing, panning, tilting, The image of the thermal image is matched with the image of the thermal image.
또한, 상기 고해상도의 열화상을 생성하는 단계는, 상기 매칭시 열 이미지를 실영상의 해상도와 동일한 해상도로 나누고, 일대일의 픽셀(pixel)로 매칭하는 것을 특징으로 한다.The step of generating the high-resolution thermal image is characterized in that the thermal image is divided into resolutions equal to the resolution of the real image at the time of matching, and matched with one-to-one pixels.
본 발명은 서모파일 어레이 센서를 통해서 취득한 열분포에 대한 이미지를 실영상 카메라를 통해 촬영한 고해상도의 이미지와 매칭(matching)하여 열화상 이미지를 생성하는 열화상 제공 장치 및 그 방법에 관한 것으로서, 기존의 열화상 카메라에 비해서 획기적으로 저렴한 가격이면서도 고해상도의 열화상 이미지의 획득이 가능하고, 빛이 없는 어두운 상황에서도 단순한 피사체의 열화상이 아닌 실영상 이미지와 열 이미지의 매칭에 의한 보다 정확한 열화상 이미지를 얻을 수 있다는 효과를 가진다.The present invention relates to a thermal image providing apparatus and method for generating a thermal image by matching an image of a thermal distribution obtained through a thermopile array sensor with a high-resolution image photographed through a real image camera, It is possible to acquire a high resolution thermal image at a remarkably low price as compared with a thermal camera and to obtain a more accurate thermal image by matching a real image with a thermal image instead of a simple thermal image of a subject even in a dark state without light .
도 1은 본 발명의 일 실시예에 따른 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치의 구성을 보인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 피사체의 열 이미지를 복수개의 구역으로 구획화한 것을 보인 예시도이다.
도 3은 본 발명의 일 실시예에 따른 열화상 제공 장치와 원격지의 모니터링 장치의 연결을 간략하게 보인 예시도이다.
도 4는 본 발명의 일 실시예에 따른 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 과정을 보인 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 서모파일 어레이 센서부에서 촬영되는 열화상을 보인 예시도이다.1 is a block diagram illustrating a configuration of a thermal image providing apparatus using a thermo file array sensor and a real image camera according to an embodiment of the present invention.
FIG. 2 is an exemplary diagram showing a thermal image of a subject according to an exemplary embodiment of the present invention divided into a plurality of zones.
3 is a schematic view illustrating a connection between a thermal image providing apparatus and a remote monitoring apparatus according to an exemplary embodiment of the present invention.
4 is a flowchart illustrating a process of providing a thermal image using a thermopile array sensor and a real image camera according to an embodiment of the present invention.
5 is a view illustrating an example of a thermal image taken by a thermopile array sensor unit according to an embodiment of the present invention.
본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Specific structural and functional descriptions of embodiments of the present invention are presented for purposes of illustrating embodiments of the present invention and, unless otherwise defined, all terms used herein, including technical or scientific terms, Have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as ideal or overly formal in the sense of the art unless explicitly defined herein Do not.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.
도 1은 본 발명의 일 실시예에 따른 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치의 구성을 보인 블록도이다. 1 is a block diagram illustrating a configuration of a thermal image providing apparatus using a thermo file array sensor and a real image camera according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 열화상 제공 장치(100)는, 서모파일 어레이 센서부(110), 실영상 카메라부(120), 열분포 분석부(130), 실영상 분석부(140), 이미지 매칭 제어부(150), 통신 인터페이스부(160) 및 열화상 표시부(170)를 포함한다.1, a thermal
상기 서모파일 어레이 센서부(110)는 정지 상태에 있거나 움직이는 물체 또는 인체의 온도를 비접촉식으로 측정하는데 주로 사용되는 열 감지 센서 중 하나인 다수의 서모파일 센서들을 정방형(예를 들어 3232) 픽셀들로 배치하여 하나의 모듈로 제작되어 피사체의 열 이미지를 촬영하기 위한 것으로, 일반적으로 앰프, 로우패스 필터, A/D 컨버터, 디지털 신호 처리부(DSP)로 구성된다.The thermopile
상기 실영상 카메라부(120)는 상기 피사체의 고해상도 실영상의 촬영을 수행한다. 즉, 디지털 카메라로써 서모파일 어레이 센서에 의한 열 감지 해상도에 비해서 훨씬 고해상도의 영상을 획득하는 것이며, 이는 응용분야에 따라 그에 적합하도록 선택하는 것이 바람직하다.The real
상기 열분포 분석부(130)는 상기 서모파일 어레이 센서부(110)에서 촬영한 열 이미지에서 열분포도를 분석하는 것으로, 도 2에 도시한 바와 같이 상기 피사체의 열 이미지를 복수개의 구역으로 구획화(혹은 분할)(segmentation)하고, 복수의 구역에서의 열 이미지 경계면을 추출한 후 중심부 방향으로의 열분포를 분석하여 열이 많이 발생한 부분을 검출한다. 즉, 서모파일 센서로부터 대상 물체의 온도분포를 측정하고 이를 영상정보를 변환하여 출력하게 된다. 상기 영상정보를 변환하는 것은 대상 물체의 온도값에 따라 복수의 색을 부여하여 해당 물체의 온도 분포를 시각화하여 표현하는 것이 가능하다. 이때 색온도를 사용하여 물체의 각 부에 대한 온도를 영상정보로 표시하는 것이 바람직하다. 다만 색온도는 온도가 높아지면 푸른색, 낮아지면 붉은색을 띠므로, 본 발명에서는 사용자가 일관성 있게 온도를 색으로 표현하여 사용하기만 하면 족하지 반드시 색온도에 따라 영상정보를 변환하여 표시하여야 하는 것은 아니다. 즉, 붉은 색의 진하기에 따라 온도분포를 색으로 변환하여 표시할 수도 있다.As shown in FIG. 2, the
상기 실영상 분석부(140)는 상기 실영상 카메라부(120)에서 촬영한 실영상을 분석하여 이미지의 특징을 추출하는 것으로, 상기 고해상도 실영상 이미지를 상기 열분포 분석부(130)와 동일하게 복수개의 구역으로 구획화(segmentation) 하고, 복수의 구역에서 피사체의 형상을 이루는 요소에 대한 특징을 추출한다. 본 발명에서는 상기 실영상 이미지에 대한 특징으로 실영상의 윤곽선과 특징점을 포함하여 구체적인 실영상의 개별적으로 구획된 부분에 대한 물체의 특징 정보를 추출한다. 상기 추출된 특징 정보는 열분포 분석부(130)에서 분석된 열 이미지의 해상도를 높이는데 이용된다.The real
상기 이미지 매칭 제어부(150)는 상기 분석한 열분포도와 실영상의 이미지 특징을 기반으로 상기 열 이미지와 실영상 이미지의 매칭을 통해 상기 피사체의 고해상도의 열화상을 생성하는 것으로, 상기 매칭시 열 이미지를 실영상의 해상도와 동일한 해상도로 나누고, 일대일의 픽셀(pixel)로 매칭하는데, 상기 서모파일 어레이 센서부(110)와 실영상 카메라부(120)의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라부(120)를 제어하여 열분포도에 대한 이미지와 실영상 이미지를 매칭시킨다. 이러한 매칭은 이미지 매칭 제어부(150)에서 실영상 카메라부(120)의 제어를 통해서 가능하다.The
이러한 매칭을 통해서도 열 이미지와 실영상 이미지는 차이를 보일 것이며, 저해상도의 열 이미지는 블록화 현상이 발생하게 되고, 이를 고해상도의 실영상 이미지와 매칭하면 서로 불일치하게 된다. 따라서 블록화 현상이 발생한 열 이미지를 실영상 이미지의 휘도성분과 컬러성분의 값에 대한 변화에 맞추어 열 이미지에서 열분포 분석에 따라 열이 많이 발생한 중심부 방향으로 온도값이 높은 색을 할당하여 열 이미지의 해당 부분을 강하게 표시하고 중심부에서 멀어질수록 약하게 표시하여 실영상 이미지의 해상도에 맞추어 평활화(smooth)된 열화상 이미지를 획득한다.The thermal image and the real image image will be different from each other through the matching, and the block image phenomenon occurs in the low resolution thermal image, and when they are matched with the real image image of high resolution, they are inconsistent with each other. Therefore, by matching the thermal image in which the blocking phenomenon occurred to the change in the luminance component and the color component of the real image image, a color having a high temperature value is assigned to the center portion where heat is generated in a thermal image by thermal analysis, Portion of the image is displayed with a strong intensity and the farther away from the center portion, the weak image is displayed to obtain a smoothed infrared image according to the resolution of the real image.
이어서 상기 평활화된 이미지는 다시 실영상 이미지의 각 구획화된 부분에 대한 특징정보를 이용하여 선명하게 처리되도록 한다. 즉 피사체의 윤곽선을 따라 윤곽선 부분은 더욱 두드러지게 보이도록 열 이미지의 휘도값이나 컬러값을 처리한다. 이때 인접하는 픽셀들의 변화를 비교하여 그 변화를 반영하여 에지나 윤곽선 부분의 픽셀을 더욱 증폭하여 표시함으로써 선명화가 가능하다.Then, the smoothed image is processed again using feature information of each segmented portion of the real image. I.e., the luminance value or the color value of the thermal image is processed such that the contour portion appears more prominently along the contour of the subject. At this time, the sharpness can be obtained by comparing the changes of the adjacent pixels and reflecting the change to further amplify and display the pixels of the edge or contour portion.
상기 통신 인터페이스부(160)는 상기 이미지 매칭 제어부에서 출력한 열화상을 NFC(Near Field Communication), 블루투스(Bluetooth), RFID, 지그비(Zigbee), LAN, 와이파이, PLC(Power Line Communication), SUN(Smart Utility Network), 6LoWPAN(IPv6 over Low Power WPAN) 또는 이들의 조합 중 적어도 하나를 포함하는 유무선 네트워크를 통해서 외부 모니터링 장치(200)로 전송한다.The
여기서 6LoWPAN(IPv6 over Low power WPAN(Wireless Personal Area Network))은 IoT(Internet of Things)에 참여할 수 있는 제한된 처리능력을 가진 작은 크기의 디바이스와 저전력 디바이스에 인터넷 프로토콜을 적용하기 위한 방법으로, IPV6 패킷이 IEEE 802.14.4를 통해서 송수신될 수 있도록 인캡슐레이션(encapsulation) 및 헤더 압축을 정의한 것이다. 따라서 저전력 무선통신을 위한 IP 네트워킹에 사용하기 위한 것이다.Here, 6LoWPAN (IPv6 over low power WPAN) is a method for applying internet protocol to small-sized devices and low-power devices with limited processing capability capable of participating in Internet of Things (IoT) Encapsulation and header compression for transmission and reception through IEEE 802.14.4. Thus for use in IP networking for low power wireless communications.
또한 SUN(Smart Utility Network)은 통신거리가 수 미터에서 수십 km까지 커버하며, 40kbps 내지 1Mbps 정도의 데이터 전송속도로 저전력 소모를 위해 아웃도어에서 통신하기 위한 것이다. 따라서 본 발명에서는 열화상 제공 장치와 외부 모니터링 장치 사이에서 데이터 전송을 담당하는데 사용될 수 있다.In addition, the Smart Utility Network (SUN) covers communication distance from several meters to several tens of kilometers, and is intended for communication in the outdoor for low power consumption with a data transmission rate of 40 kbps to 1 Mbps. Therefore, in the present invention, it can be used to transfer data between the thermal image providing apparatus and the external monitoring apparatus.
상기 열화상 표시부(170)는 상기 이미지 매칭 제어부(150)의 제어에 따라 생성한 열화상을 화면에 디스플레이하는 역할을 수행한다.The thermal
한편, 외부 모니터링 장치(200)는 도 3에 도시한 바와 같이 주기적 또는 특정 사용자 요청에 의해 상기 통신 인터페이스부(160)를 통해 전송되는 열화상을 수신하여 자체 표시수단(미도시)을 통해 디스플레이하거나 로컬 혹은 네트워크 데이터베이스(DB)(300)에 저장할 수 있다. 3, the
이와 같이 구성한 본 발명의 실시예에 따른 동작 과정을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. The operation according to the embodiment of the present invention will now be described in detail with reference to the accompanying drawings.
도 4는 본 발명의 일 실시예에 따른 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 과정을 보인 흐름도이다. 4 is a flowchart illustrating a process of providing a thermal image using a thermopile array sensor and a real image camera according to an embodiment of the present invention.
도 1 내지 도 4를 참조하면, 상기 서모파일 어레이 센서부(110)와 실영상 카메라부(120)를 통해 피사체로부터의 열 이미지와 고해상도의 실영상을 촬영한다(S100). Referring to FIGS. 1 to 4, a thermal image and a high-resolution real image from a subject are captured through the thermo-file
이어서, 열분포 분석부(130)는 상기 S100 단계에서 촬영한 열 이미지에서 열분포도를 분석하고(S200), 실영상 분석부(140)는 상기 촬영한 실영상을 분석하여 이미지의 특징을 추출한다(S300). 여기서 이미지 특징은 미리 사용자에 의해서 본 발명에 따른 열화상 제공 장치에 고정적으로 설정해 두는 것도 가능하다. 이러한 과정은 보다 피사체의 열 감지를 보다 정밀하게 수행하기 위해서 사용자가 해당 피사체가 열을 발생시킬 가능성이나 피사체의 특징을 구획별로 미리 정해 줌으로써, 더욱 의미있는 열화상 정보를 생성할 수 있기 때문이다.Then, the
이때, S200 단계에서는 상기 피사체의 열 이미지를 복수개의 구역으로 구획화하고, 복수의 구역에서의 열 이미지 경계면을 추출한 후 중심부 방향으로 갈수록 온도에 대한 정확도가 높기 때문에 중심부 방향으로의 열분포를 분석하여 열이 많이 발생한 부분을 검출한다. At this time, since the thermal image of the subject is divided into a plurality of zones, the thermal image boundary in the plurality of zones is extracted, and the accuracy with respect to the temperature is increased toward the center direction in step S200, Detect a lot of generated parts.
또한, S300 단계에서도 상기 고해상도 실영상 이미지를 상기 S200 단계에서와 동일하게 복수개의 구역으로 구획화하고, 복수의 구역에서 피사체의 형상을 이루는 요소에 대한 특징을 추출한다. Also, in step S300, the high-resolution real image image is divided into a plurality of areas in the same manner as in step S200, and features of the elements forming the shape of the object in the plurality of areas are extracted.
상기 S200 단계와 S300 단계에서 각각 분석한 열분포도와 실영상의 이미지 특징을 기반으로 이미지 매칭 제어부(150)는 도 5에 도시한 바와 같이 상기 열 이미지와 실영상 이미지의 매칭을 통해 상기 피사체의 고해상도의 열화상을 생성한다(S400). As shown in FIG. 5, the
즉, 상기 매칭시 열 이미지를 실영상의 해상도와 동일한 해상도로 나누고, 도 2에 도시한 바와 같이 동일하게 복수개의 구역으로 구획화한 열 이미지와 실영상 이미지를 일대일의 픽셀(pixel)로 매칭하는데, 상기 서모파일 어레이 센서부(110)와 실영상 카메라부(120)의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라부(120)를 제어하여 열분포도에 대한 이미지와 실영상 이미지를 매칭한다.That is, in the matching, the thermal image is divided by the resolution equal to the resolution of the real image, and the column image and the real image image, which are similarly divided into a plurality of zones as shown in FIG. 2, are matched with one- A real image including a zoom angle, a focus, a pan, a tilt, or a combination of the zoom angles of the thermo file
이러한 매칭을 통해서도 열 이미지와 실영상 이미지는 차이를 보일 수 있으며, 저해상도의 열 이미지는 고해상도의 실영상 이미지에 비해서 블록화 현상이 발생하게 되고, 이를 고해상도의 실영상 이미지와 매칭하면 서로 불일치하게 된다. 따라서 블록화 현상이 발생한 열 이미지를 실영상 이미지의 휘도성분과 컬러성분의 값에 대한 변화에 맞추어 수정 처리하게 된다. 즉, 열 이미지에서 열분포 분석에 따라 열이 많이 발생한 중심부 방향으로 열 이미지를 강하게 표시하고 중심부에서 멀어질수록 약하게 표시하여 실영상 이미지의 해상도에 맞추어 평활화(smooth)된 열화상 이미지를 획득할 수 있다.The thermal image and the real image can be different from each other through the matching, and the thermal image of the low resolution is blocked compared with the real image of the high resolution, and when they are matched with the real image of high resolution, they are inconsistent with each other. Accordingly, the thermal image in which the block phenomenon occurs is corrected according to the change of the luminance component and the color component of the real image image. That is, a thermal image is strongly displayed in the direction of the central portion in which heat is generated in the thermal image according to the thermal analysis, and is displayed weakly in the center portion to obtain a smoothed thermal image in accordance with the resolution of the real image. .
즉, 열화상 이미지는 열 이미지와 실영상 이미지를 매칭시켜서 생성하되, 열 이미지의 해상도를 실영상 이미지와 동일하거나 유사한 정도로 증대시켜서 매칭시킬 필요가 있다. 이를 위해서 특징점, 경계선(에지), 휘도와 컬러의 변화 정도, 또는 이들의 조합을 포함하는 실영상 이미지의 특징에 비례하여 열 이미지의 표시 강도를 세밀하게 조정하고, 이를 최종적으로 실영상 이미지와 매칭시켜 최종적인 열화상 이미지를 생성하게 된다.That is, the thermal image needs to be generated by matching the thermal image with the real image, and the resolution of the thermal image must be increased to the same or similar level as the real image to match. For this purpose, the display intensity of the thermal image is finely adjusted in proportion to the characteristic of the real image including the feature points, the boundary line (edge), the degree of luminance and color change, or a combination thereof, To produce the final thermal image.
이후, 상기 이미지 매칭 제어부(150)는 상기 생성한 열화상을 열화상 표시부(170)를 통해 화면에 디스플레이하거나(S600), 주기적 또는 특정 사용자 요청시(S500) 원격지의 외부 모니터링 장치(200)의 자체 표시수단(미도시)을 통해 디스플레이 하도록 상기 통신 인터페이스부(160) 통해 열화상을 전송한다(S700). The
따라서 본 발명은 전기 컨트롤 패널, 수배전반 또는 고압 송배전용 애자를 포함한 전기설비와 산업용 기기나 시설의 감시 및 제3자의 침입 감시가 가능하도록 서모파일 어레이 센서를 통해서 취득한 열분포에 대한 이미지를 실영상 카메라를 통해 촬영한 고해상도의 이미지와 매칭(matching)하여 열화상 이미지를 생성하여 제공함으로서, 기존의 열화상 카메라에 비해서 획기적으로 저렴한 가격이면서도 고해상도의 열화상 이미지의 획득이 가능하고, 빛이 없는 어두운 상황에서도 단순한 피사체의 열화상이 아닌 실영상 이미지와 열 이미지의 매칭에 의한 보다 정확한 열화상 이미지를 얻을 수 있다.Accordingly, the present invention provides a thermal image sensor for monitoring electric equipment including an electric control panel, a switchboard or a high voltage transmission and a thermal image sensor obtained through a thermopile array sensor so that an industrial device or facility can be monitored and an intrusion of a third party can be monitored. Resolution image, it is possible to obtain a high-resolution thermal image at a remarkably low cost as compared with a conventional thermal imaging camera, and to obtain a thermal image in a dark state without light It is possible to obtain a more accurate thermal image by matching the real image and the thermal image instead of the thermal image of a simple subject.
본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하고, 본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 하며, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100 : 열화상 제공 장치 110 : 서모파일 어레이 센서부
120 : 실영상 카메라부 130 : 열분포 분석부
140 : 실영상 분석부 150 : 이미지 매칭 제어부
160 : 통신 인터페이스부 170 : 열화상 표시부
200 : 외부 모니터링 장치 300 : 데이터베이스100: thermal image providing apparatus 110: thermopile array sensor unit
120: real image camera unit 130: thermal analysis unit
140: Actual image analysis unit 150: Image matching control unit
160: communication interface unit 170: thermal image display unit
200: external monitoring device 300: database
Claims (11)
실영상 카메라에서 촬영한 실영상 이미지를 분석하여 상기 실영상 이미지의 특징을 추출하는 실영상 분석부; 및
상기 분석한 열분포와 상기 추출한 실영상 이미지의 특징을 기반으로 상기 열 이미지를 실영상의 해상도와 동일한 해상도로 나누고, 상기 서모파일 어레이 센서와 실영상 카메라의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라를 제어하여 상기 열 이미지와 실영상 이미지의 픽셀(pixel)별 매칭을 통해 상기 실영상 이미지의 해상도를 가지는 열화상을 생성하는 것을 포함하는 이미지 매칭 제어부;를 포함하며,
상기 실영상 이미지는 상기 열 이미지에 비해 높은 해상도를 가지며, 상기 해상도의 차이로 인해 상기 매칭에서 발생한 블록화 현상을 평활화하고, 상기 실영상 이미지의 특징을 기반으로 선명화하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치.A thermal distribution analyzer for analyzing thermal distribution in a thermal image of a subject photographed by the thermopile array sensor;
A real image analyzing unit for analyzing a real image captured by a real image camera and extracting characteristics of the real image; And
Dividing the thermal image into the same resolution as the resolution of the real image based on the analyzed thermal distribution and the extracted real image image, and matching the angle of view between the thermo file array sensor and the real image camera, a real image camera including a focus, a pan, a tilt, or a combination of these is controlled so that a column having a resolution of the real image image through matching between the column image and the real image, And an image matching control unit,
Wherein the real image image has a higher resolution than the thermal image and smoothes the blocking phenomenon generated in the matching due to the difference in resolution and sharpens based on the characteristic of the real image image. A thermal image providing device using a sensor and a real image camera.
상기 열화상 제공 장치는,
상기 이미지 매칭 제어부에서 출력한 열화상을 NFC, 블루투스, RFID, 지그비, 와이파이, LAN, PLC, SUN, 6LoWPAN 또는 이들의 조합 중 적어도 하나 이상을 통해 외부로 전송하는 통신 인터페이스부; 및
상기 이미지 매칭 제어부에서 생성한 열화상 이미지를 화면에 디스플레이하는 열화상 표시부;를 더 포함하며,
주기적 또는 특정 사용자 요청에 의해 상기 통신 인터페이스부를 통해 외부 모니터링 장치로 열화상 이미지를 전송하여 화면에 디스플레이하도록 하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치.The method according to claim 1,
The thermal image supply apparatus includes:
A communication interface for transmitting the thermal image output from the image matching controller to the outside via at least one of NFC, Bluetooth, RFID, Zigbee, Wi-Fi, LAN, PLC, SUN, 6LoWPAN or a combination thereof; And
And a thermal image display unit for displaying the thermal image generated by the image matching control unit on a screen,
And transmits the thermal image to the external monitoring device through the communication interface unit periodically or at a specific user request so as to display the thermographic image on the screen.
상기 열분포 분석부는,
상기 피사체의 열 이미지를 복수개의 구역으로 구획화하고, 복수의 구역에서의 열 이미지 경계면을 추출한 후 중심부 방향으로의 열분포를 분석하여, 상대적으로 열이 많이 발생한 부분을 검출하는 것을 포함하며,
상기 실영상 분석부는,
상기 실영상 이미지를 상기 열분포 분석부와 동일하게 복수개의 구역으로 구획화하고, 복수의 구역에서 피사체의 형상을 이루는 요소에 대한 특징을 추출하는 것을 포함하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치.The method according to claim 1,
The thermal distribution analyzing unit,
Wherein the thermal image of the subject is divided into a plurality of regions, a thermal image boundary in the plurality of regions is extracted, and thermal distribution in the center direction is analyzed to detect a relatively heat-
The real-
The real image image is divided into a plurality of zones in the same manner as the thermal analysis unit, and a characteristic of an element forming a shape of a subject in a plurality of zones is extracted. Is provided.
상기 이미지 매칭 제어부는,
열 이미지를 실영상 이미지의 특징점, 경계선, 휘도와 컬러의 변화 정도, 또는 이들의 조합을 포함하는 실영상 이미지의 특징에 비례하여, 상기 열분포의 분석에 따라, 열이 상대적으로 많이 발생한 중심부 방향으로 열 이미지를 강하게 표시하고 중심부에서 멀어질수록 약하게 표시하여 실영상 이미지의 해상도에 따라 평활화하여 상기 매칭에서 생성된 블록화 현상을 제거한 열화상 이미지를 생성하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치.The method according to claim 1,
Wherein the image matching controller comprises:
The thermal image is divided into a plurality of regions in accordance with the analysis of the thermal distribution, in proportion to the feature of the real image image including the feature points, the boundary lines, the degree of change in luminance and color, Wherein the thermal image generating unit generates the thermal image by strongly displaying the thermal image and weakly displaying the thermal image as it is farther from the central part, and smoothing according to the resolution of the real image image to remove the blocking phenomenon generated in the matching. Is provided.
상기 분석한 열분포와 상기 추출한 실영상 이미지의 특징을 기반으로 상기 열 이미지를 실영상의 해상도와 동일한 해상도로 나누고, 상기 서모파일 어레이 센서와 실영상 카메라의 화각을 일치시키고, 줌(zoom), 포커스(focus), 팬(pan), 틸트(tilt) 또는 이들의 조합을 포함한 실영상 카메라를 제어하여 상기 열 이미지와 실영상 이미지의 픽셀(pixel)별 매칭을 통해 상기 실영상 이미지의 해상도를 가지는 열화상을 생성하는 단계;를 포함하며,
상기 열 이미지에 비해서 상기 실영상 이미지는 높은 해상도를 가지며, 상기 해상도의 차이로 인해서 상기 매칭에서 발생한 블록화 현상을 평활화하고, 상기 실영상 이미지의 특징을 기반으로 선명화하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 방법.Analyzing the thermal distribution of the thermal image of the subject photographed by the thermopile array sensor, analyzing the real image captured by the real image camera and extracting the characteristic of the real image image; And
Dividing the thermal image into the same resolution as the resolution of the real image based on the analyzed thermal distribution and the extracted real image image, and matching the angle of view between the thermo file array sensor and the real image camera, a real image camera including a focus, a pan, a tilt, or a combination of these is controlled so that a column having a resolution of the real image image through matching between the column image and the real image, And generating an image,
Wherein the real image has a higher resolution than the thermal image and smoothes the blocking phenomenon generated in the matching due to the difference in resolution and sharpens based on the characteristic of the real image. A method of providing a thermal image using a sensor and a real image camera.
상기 열분포를 분석하는 것은,
상기 피사체의 열 이미지를 복수개의 구역으로 구획화하고, 복수의 구역에서의 열 이미지 경계면을 추출한 후 중심부 방향으로의 열분포를 분석하여 열이 많이 발생한 부분을 검출하는 것을 포함하고,
상기 실영상 이미지를 분석하는 것은,
상기 실영상 이미지를 상기 열 이미지와 동일하게 복수개의 구역으로 구획화하고, 복수의 구역에서 피사체의 형상을 이루는 요소에 대한 특징을 추출하는 것을 포함하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 방법.The method of claim 7,
To analyze the thermal distribution,
Comprising the steps of: dividing a thermal image of the subject into a plurality of regions; extracting a thermal image boundary surface in a plurality of regions;
In analyzing the real image image,
Wherein the real image image is divided into a plurality of sections in the same manner as the thermal image and a characteristic of an element forming a shape of a subject in a plurality of sections is extracted. A thermal image using method.
상기 열화상을 생성하는 단계는,
열 이미지를 실영상 이미지의 특징점, 경계선, 휘도와 컬러의 변화 정도, 또는 이들의 조합을 포함하는 실영상 이미지의 특징에 비례하여, 상기 열분포의 분석에 따라, 열이 상대적으로 많이 발생한 중심부 방향으로 열 이미지를 강하게 표시하고 중심부에서 멀어질수록 약하게 표시하여 실영상 이미지의 해상도에 따라 평활화하여 상기 매칭에서 생성된 블록화 현상을 제거한 열화상 이미지를 생성하는 것을 포함하는 것을 특징으로 하는 서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 방법.The method of claim 7,
Wherein the generating the thermal image comprises:
The thermal image is divided into a plurality of regions in accordance with the analysis of the thermal distribution, in proportion to the feature of the real image image including the feature points, the boundary lines, the degree of change in luminance and color, And generating a thermal image in which the block image generated in the matching is removed to smoothly display the thermal image in accordance with the resolution of the real image image. A method for providing a thermal image using a real image camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140155863A KR101680544B1 (en) | 2014-11-11 | 2014-11-11 | Apparatus for providing thermal imaging using thermopile array sensor and real imaging camera and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140155863A KR101680544B1 (en) | 2014-11-11 | 2014-11-11 | Apparatus for providing thermal imaging using thermopile array sensor and real imaging camera and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160056023A KR20160056023A (en) | 2016-05-19 |
| KR101680544B1 true KR101680544B1 (en) | 2016-11-29 |
Family
ID=56103201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140155863A KR101680544B1 (en) | 2014-11-11 | 2014-11-11 | Apparatus for providing thermal imaging using thermopile array sensor and real imaging camera and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101680544B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102096576B1 (en) * | 2018-08-07 | 2020-04-02 | 주식회사 한컴엠디에스 | Method and Apparatus for Synthesizing Image |
| KR102452394B1 (en) * | 2020-06-11 | 2022-10-11 | 한국생산기술연구원 | A device and method for predicting the total temperature distribution of a measurement object through measurement of a thermocouple temperature sensor based on deep learning |
-
2014
- 2014-11-11 KR KR1020140155863A patent/KR101680544B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160056023A (en) | 2016-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3261333B1 (en) | Thermal anomaly detection | |
| US11010878B2 (en) | Dynamic range compression for thermal video | |
| KR101111167B1 (en) | Apparatus and method for photographing temperature picture in mobile communication device | |
| US7208733B2 (en) | Non-visible radiation imaging and inspection | |
| US10298859B2 (en) | Enhanced visual representation of infrared data values | |
| US20160065848A1 (en) | Thermography for a thermal imaging camera | |
| KR102212773B1 (en) | Apparatus for video surveillance integrated with body temperature measurement and method thereof | |
| US20120320189A1 (en) | Thermal imager that analyzes temperature measurement calculation accuracy | |
| EP3709268A1 (en) | An image processing arrangement | |
| CN105352988B (en) | A kind of skin heat-insulating property assessment system and method | |
| US20120086810A1 (en) | Method for a touchless determination of the temperature of an object and corresponding thermal imaging camera | |
| CN109506782A (en) | Transient state temperature field test method and its test macro based on high-speed imaging technology | |
| KR101417771B1 (en) | A deterioration monitoring system for a distributing board on based IR image using 2 Dimensional thermopile array and the method thereof | |
| US20190154513A1 (en) | Method for Determining a Temperature without Contact, and Infrared Measuring System | |
| CN106979822A (en) | A kind of infrared imaging crosses consumption malfunction detector | |
| CN110186566A (en) | Two-dimentional true temperature field imaging method and system based on the multispectral thermometric of light-field camera | |
| JP2007510152A (en) | Infrared camera methods, uses and systems for determining the risk of condensation | |
| KR101680544B1 (en) | Apparatus for providing thermal imaging using thermopile array sensor and real imaging camera and method thereof | |
| KR102096576B1 (en) | Method and Apparatus for Synthesizing Image | |
| US9664568B2 (en) | Extended temperature mapping process of a furnace enclosure with multi-spectral image-capturing device | |
| KR101625471B1 (en) | Method and apparatus for enhancing resolution of popular low cost thermal image camera | |
| WO2015195055A1 (en) | Apparatus and method for non-contact temperature measurement with a visible light camera | |
| KR101578369B1 (en) | Device of hybrid thermal imagery | |
| Strohmayer et al. | A Compact Tri-Modal Camera Unit for RGBDT Vision | |
| CN108344511A (en) | Radiance control device and radiance control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191104 Year of fee payment: 4 |