KR101965204B1 - Uncooled IR detector and operating method of thereof - Google Patents

Uncooled IR detector and operating method of thereof Download PDF

Info

Publication number
KR101965204B1
KR101965204B1 KR1020180110646A KR20180110646A KR101965204B1 KR 101965204 B1 KR101965204 B1 KR 101965204B1 KR 1020180110646 A KR1020180110646 A KR 1020180110646A KR 20180110646 A KR20180110646 A KR 20180110646A KR 101965204 B1 KR101965204 B1 KR 101965204B1
Authority
KR
South Korea
Prior art keywords
fpa
temperature
image data
thermal image
low
Prior art date
Application number
KR1020180110646A
Other languages
Korean (ko)
Inventor
임재현
윤주현
이영찬
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020180110646A priority Critical patent/KR101965204B1/en
Application granted granted Critical
Publication of KR101965204B1 publication Critical patent/KR101965204B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/12—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using thermoelectric elements, e.g. thermocouples
    • G01J5/14—Electrical features thereof
    • G01J5/16—Arrangements with respect to the cold junction; Compensating influence of ambient temperature or other variables
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • G01J5/601—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature using spectral scanning

Abstract

The present invention relates to an uncooled infrared light detector for obtaining a noise-free output in an uncooled thermal imaging apparatus which does not include a thermoelectric element and an operation method thereof. According to an embodiment of the present invention, the uncooled infrared light detector comprises: a thermal image data acquiring unit generating thermal image low data by detecting infrared rays of a scene; a correction parameter storing unit storing a parameter for non-uniform correction (NUC) with regard to the thermal image low data; and a thermal image data correcting unit performing the NUC with regard to the thermal image low data by using the parameter.

Description

비냉각 적외선 검출기 및 이의 동작 방법{Uncooled IR detector and operating method of thereof}Uncooled infrared detector and method of operating the same

본 발명은 비냉각 적외선 검출기 및 이의 동작 방법에 관한 것으로, 보다 상세하게는 열전 소자를 포함하지 않는 비냉각 열상 장비에서 노이즈 없는 출력을 얻기 위한 비냉각 적외선 검출기 및 이의 동작 방법에 관한 것이다.The present invention relates to an uncooled infrared detector and an operation method thereof, and more particularly to an uncooled infrared detector for obtaining a noise-free output in an uncooled thermal equipment not including a thermoelectric element and an operation method thereof.

일반적인 카메라로 정상적인 이미지를 얻기 어려운 야간에 표적과 배경이 방출하는 고유한 복사 에너지의 차이를 감지하는 열상 장비의 핵심 부품은 적외선 검출기이다. 적외선 검출기의 작동 원리는, 물체에서 발산하는 적외선 영역의 파장대(장파 영역은 8~12 ㎛, 중파 영역은 3~5㎛)의 적외선을 검출하여 이를 전기적인 신호로 변환한다. 이와 같이, 적외선 검출기를 통해 변환된 전기적 신호는 모니터로 디스플레이되어, 물체의 온도 분포에 따라 특정한 영상으로서 나타나게 된다. 적외선 검출기는 파장 대역 및 냉각 방식에 따라 다양하게 구현될 수 있다. 적외선 검출기는 상온에서 냉각없이 사용하는 비냉각 방식과 극저온으로 냉각하는 냉각 방식으로 구별할 수 있다.A key part of the thermal equipment that detects the difference between the radiant energy emitted by the target and the background at night, where it is difficult to obtain a normal image with a typical camera, is an infrared detector. The operating principle of the infrared detector is to detect the infrared rays of the infrared range of the infrared ray emitted from the object (the long wave range is 8 to 12 탆 and the middle wave range is 3 to 5 탆) and converts it into an electrical signal. Thus, the electrical signal converted by the infrared detector is displayed on the monitor, and appears as a specific image according to the temperature distribution of the object. The infrared detector can be implemented variously according to the wavelength band and the cooling method. The infrared detector can be distinguished by the non-cooling method used without cooling at room temperature and the cooling method used to cool to ultra-low temperature.

비냉각 적외선 검출기를 운용할 때 적외선 신호 획득 및 처리를 위해서는 적외선 검출기에 대한 항온 유지가 필수적이다. 이와 같이, 항온 유지를 위해 적외선 검출기 내에는 TEC(Thermal Electrical Cooler)라는 열전 소자가 필요하게 되고, 이것을 제어하는 회로 역시 수반된다.When operating an uncooled infrared detector, it is essential to maintain the temperature of the infrared detector in order to obtain and process the infrared signal. In this way, a thermoelectric element called a TEC (Thermal Electrical Cooler) is required in the infrared ray detector for maintaining a constant temperature, and a circuit for controlling the thermoelectric element is also involved.

즉, 비냉각 적외선 검출기의 열영상 출력값은 외부 온도에 따라 다르게 반응하기 때문에 항상 일정한 온도로 유지해야만 하는데, 이를 위해 TEC라는 열전 소자가 항온 유지를 유해 적외선 검출기 내에 내장된다. TEC 열전 소자 없이 비냉각 적외선 검출기를 구현한다면, 노이즈(noise) 및 고정 패턴(fixed pattern)이 발생할 수 있다. 또한, 항온 유지를 위해서 보통 오차범위 ± 0.01° 의 범위로 TEC 열전 소자를 제어해야 하며 이것을 위해 별도의 제어회로 설계 및 정밀 제어가 필요하다.That is, since the thermal image output value of the uncooled infrared ray detector reacts differently according to the external temperature, it is necessary to always maintain a constant temperature. To this end, the thermoelectric element called TEC is built in the harmful infrared ray detector. If a non-cooled infrared detector is implemented without a TEC thermocouple, noise and a fixed pattern may occur. In order to keep the temperature constant, the TEC thermoelectric device should be controlled within the range of the tolerance of ± 0.01 °, and separate control circuit design and precise control are required for this.

결과적으로, TEC 제어 회로를 위한 여분의 공간 그리고 TEC 제어를 위한 높은 전력 소모라는 문제점을 발생시킨다. 또한, 다량으로 양산하게 되었을 경우의 비용적인 측면에서도 문제를 발생시킬 수 있다. 이러한 이유로 현재 시장에서는 TEC 라는 열전소자가 없는 센서(즉, TECless 센서)에 대한 요구가 늘고 있으며 이것을 적용한 비냉각 열상 장비를 개발하고 있는 추세이다. 하지만, TEC 열전 소자가 없으면 노이즈 및 고정 패턴이 발생하므로 이것을 제거하기 위한 알고리즘 개발이 필수적이다.As a result, there is a problem of extra space for the TEC control circuit and high power consumption for TEC control. In addition, a problem may arise in terms of cost in the case of mass production. For this reason, there is an increasing demand for TEC-free sensors (ie, TECless sensors) in the market, and there is a tendency to develop uncooled thermal equipment using this. However, in the absence of a TEC thermoelectric element, noise and a fixed pattern are generated. Therefore, it is necessary to develop an algorithm for removing the TEC thermoelectric element.

일반적인 적외선 신호 처리는 통상적으로 2-points NUC(Non-Uniformity Correction) 방법을 사용하여 불균일한 영상 보정(NUC)을 한다. 이를 위한 수식은 다음의 수학식 1과 같다.Typical infrared signal processing typically involves non-uniform image correction (NUC) using a 2-point Non-Uniformity Correction (NUC) method. The formula for this is shown in Equation 1 below.

Figure 112018092010544-pat00001
Figure 112018092010544-pat00001

여기서, Raw는 적외선 검출기의 열영상 Raw 데이터 출력이고, Gain 및 Offset 각각은 불균일 영상 보정을 위한 보정인자이고, (i, j)는 2차원 픽셀 어레이에서의 픽셀 위치를 나타낸다.Here, Raw is a thermal image Raw data output of the infrared detector, Gain and Offset are correction factors for non-uniform image correction, and (i, j) represent pixel positions in a two-dimensional pixel array.

기존에 개발한 TECless 알고리즘(등록번호: 10-1041136, 열영상 처리 방법)은 열전 소자가 없음으로 인한 온도 변화에 따른 열영상 RAW 데이터를 T_Offset 인자로 보정하였으며, 보정을 위한 수식은 다음의 수학식 2와 같다.The previously developed TECless algorithm (registration number: 10-1041136, column image processing method) corrects the thermal image RAW data according to the temperature change due to absence of thermoelectric elements by the T_Offset factor, and the formula for correction is expressed by the following equation 2.

Figure 112018092010544-pat00002
Figure 112018092010544-pat00002

즉, t는 FPA(Focal Plane Array) 온도이고, f(t)는 T_Offset를 나타내는 함수로서 interpolation 방법으로 고차수로 설계 가능하며, 차수가 증가할수록 보정 정확도가 높아지게 된다. 그러나, 차수가 증가할수록 보정을 위한 연산량이 급격히 증가하게 되며, FPA 온도 변화에 따른 Gain 및 Offset의 변화는 전혀 고려하지 않아 알고리즘 자체에 한계를 가지고 있다.In other words, t is a FPA (Focal Plane Array) temperature, and f (t) is a function representing T_Offset, and it can be designed as a higher order interpolation method. However, as the degree increases, the amount of computation for correction increases sharply, and there is a limit to the algorithm itself because no consideration is given to changes in gain and offset due to FPA temperature change.

KRKR 10-104113610-1041136 B1B1

본 발명은 FPA 온도 변화를 반영하여 NUC 보정을 수행할 수 있는 비냉각 적외선 검출기 및 이의 동작 방법을 제공하기 위한 것이다. The present invention is intended to provide an uncooled infrared detector capable of performing NUC correction reflecting FPA temperature changes and a method of operation thereof.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, unless further departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.

상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 비냉각 적외선 검출기는, 장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 열영상 데이터 획득부, 상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)을 위한 파라미터를 저장하는 보정 파라미터 저장부 및 상기 파라미터를 이용해 상기 열영상 로우 데이터에 대한 NUC를 수행하는 열영상 데이터 보정부를 포함할 수 있다.According to an aspect of the present invention, there is provided an uncooled infrared ray detector comprising a thermal image data acquisition unit for detecting infrared rays of a scene to generate thermal image row data, A correction parameter storage unit for storing parameters for NUC (Non-Uniform Correction), and a column image data correction unit for performing NUC for the column image data using the parameters.

실시예에 따라, 상기 열영상 로우 데이터는 FPA(Focal Plane Array)에 포함된 각 픽셀이 감지하여 출력하는 데이터일 수 있다.According to an embodiment, the column image data may be data that each pixel included in a FPA (Focal Plane Array) detects and outputs.

실시예에 따라, 상기 NUC는 상기 열영상 로우 데이터에 Gain을 곱한 값에 Offset을 더하는 연산일 수 있다.According to an embodiment, the NUC may be an operation of adding Offset to a value obtained by multiplying the column data by Gain.

본 발명의 다른 실시예에 따른 비냉각 적외선 검출기는, 장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 열영상 데이터 획득부; 현재 FPA(Focal Plane Array) 온도를 검출하는 FPA 온도 센서; 상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)을 위한 파라미터를 저장하는 보정 파라미터 저장부; 및 상기 FPA 온도 및 상기 파라미터를 이용해 상기 열영상 로우 데이터에 대한 NUC를 수행하는 열영상 데이터 보정부를 포함할 수 있다.According to another aspect of the present invention, there is provided an uncooled infrared ray detector comprising: a thermal image data obtaining unit for detecting thermal infrared rays of a scene to generate thermal image data; An FPA temperature sensor for detecting a FPA (Focal Plane Array) temperature; A correction parameter storage unit for storing a parameter for NUC (Non-Uniform Correction) for the row image data; And a thermal image data correction unit for performing NUC for the thermal image data using the FPA temperature and the parameter.

실시예에 따라, 상기 FPA 온도는 이미징 렌즈의 초점면에 매트릭스 형태로 적외선을 감지하는 픽셀들이 배열된 어레이의 온도일 수 있다.According to an embodiment, the FPA temperature may be the temperature of the array in which pixels that sense infrared in the form of a matrix on the focal plane of the imaging lens are arranged.

실시예에 따라, 상기 NUC는 상기 FPA 온도에 따라 달라지는 Gain 및 Offset을 이용하여 상기 열영상 로우 데이터를 보정하는 동작일 수 있다.According to an embodiment, the NUC may be an operation of correcting the thermal image row data using a gain and an offset depending on the FPA temperature.

본 발명의 또 다른 실시예에 따른 비냉각 적외선 검출기는, 장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 열영상 데이터 획득부; 및 FPA(Focal Plane Array) 온도에 따라 달라지는 Gain 및 Offset을 이용하여 상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)를 수행하는 열영상 데이터 보정부를 포함할 수 있다.According to another aspect of the present invention, there is provided an uncooled infrared ray detector comprising: a thermal image data obtaining unit for detecting infrared rays of a scene to generate thermal image row data; And a thermal image data correction unit for performing NUC (Non-Uniform Correction) on the thermal image data by using Gain and Offset depending on FPA (Focal Plane Array) temperature.

실시예에 따라, 상기 열영상 로우 데이터는 FPA에 포함된 각 픽셀이 감지하여 출력하는 데이터일 수 있다.According to an embodiment, the column image data may be data that each pixel included in the FPA senses and outputs.

실시예에 따라, 상기 FPA 온도는 이미징 렌즈의 초점면에 매트릭스 형태로 적외선을 감지하는 픽셀들이 배열된 어레이의 온도일 수 있다.According to an embodiment, the FPA temperature may be the temperature of the array in which pixels that sense infrared in the form of a matrix on the focal plane of the imaging lens are arranged.

본 발명의 일 실시예에 따른 비냉각 적외선 검출기의 동작 방법은, 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)을 위한 파라미터를 저장하는 단계; 장면의 적외선을 검출하여 상기 열영상 로우 데이터를 생성하는 단계; 및 상기 파라미터를 이용해 상기 열영상 로우 데이터에 대한 NUC를 수행하는 단계를 포함할 수 있다.A method of operating an uncooled infrared detector according to an embodiment of the present invention includes: storing parameters for non-uniform correction (NUC) for column image data; Generating infrared image data by detecting infrared rays of a scene; And performing the NUC for the row image data using the parameter.

본 발명의 다른 실시예에 따른 비냉각 적외선 검출기의 동작 방법은, 장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 단계; 현재 FPA(Focal Plane Array) 온도를 검출하여 전달하는 단계; 상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)을 위한 파라미터를 전달하는 단계; 및 상기 FPA 온도 및 상기 파라미터를 이용해 상기 열영상 로우 데이터에 대한 NUC를 수행하는 단계를 포함할 수 있다.A method of operating an uncooled infrared ray detector according to another embodiment of the present invention includes: generating infrared image data by detecting infrared rays of a scene; Detecting and transmitting FPA (Focal Plane Array) temperature; Transferring a parameter for NUC (Non-Uniform Correction) to the row image data; And performing the NUC for the column image data using the FPA temperature and the parameter.

본 발명의 또 다른 실시예에 따른 비냉각 적외선 검출기의 동작 방법은, 장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 단계; 및 FPA(Focal Plane Array) 온도에 따라 달라지는 Gain 및 Offset을 이용하여 상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)를 수행하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided an operation method of an uncooled infrared ray detector, comprising: generating infrared image data by detecting infrared rays of a scene; And performing NUC (Non-Uniform Correction) on the row image data by using Gain and Offset depending on a FPA (Focal Plane Array) temperature.

상기와 같이 구성되는 본 발명의 실시예에 따른 비냉각 적외선 검출기 및 이의 동작방법에 의하면, FPA 온도 변화에 대해 실시간으로 각 픽셀에 대한 Gain 및 Offset을 보정하므로, FPA 온도 변화 및 다양한 이미지 값에 대해 영상품질이 기존 기술 대비 향상될 수 있다.According to the non-cooling infrared ray detector and the method of operation of the present invention configured as described above, since the gain and offset for each pixel are corrected in real time with respect to the FPA temperature change, the FPA temperature change and various image values Image quality can be improved compared to existing technologies.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. The effects obtained by the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those skilled in the art from the following description will be.

도 1은 본 발명의 일 실시예에 따른 비냉각 적외선 검출기를 나타낸 블록도이다.
도 2는 도 1에 도시된 비냉각 적외선 검출기의 동작 방법을 나타낸 흐름도이다.
도 3은 동일한 세기의 적외선 장면에 대한 FPA 온도와 열영상 로우 데이터 간의 관계를 나타낸 그래프이다.
도 4는 일반적인 적외선 신호 처리의 Two-points NUC 수학적 모델링을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 적외선 신호 처리의 Two-points NUC 수학적 모델링을 나타낸 도면이다.1 is a block diagram illustrating an uncooled infrared detector according to an embodiment of the present invention.
2 is a flowchart illustrating an operation method of the uncooled infrared ray detector shown in FIG.
3 is a graph showing the relationship between the FPA temperature and the thermal image data for an infrared ray scene of the same intensity.
4 is a diagram illustrating two-point NUC mathematical modeling of general infrared signal processing.
5 is a diagram illustrating two-point NUC mathematical modeling of infrared signal processing according to an embodiment of the present invention.

이하에서는 본 발명의 실시 예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다. 그리고 본 발명의 여러 실시 예를 설명함에 있어서, 동일한 기술적 특징을 갖는 구성요소에 대하여는 동일한 도면 부호를 사용하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. It is to be understood, however, that the embodiments described below are only for explanation of the embodiments of the present invention so that those skilled in the art can easily carry out the invention, It does not mean anything. In describing various embodiments of the present invention, the same reference numerals are used for components having the same technical characteristics.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as " comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.

도 1은 본 발명의 일 실시예에 따른 비냉각 적외선 검출기를 나타낸 블록도이다. 도 2는 도 1에 도시된 비냉각 적외선 검출기의 동작 방법을 나타낸 흐름도이다. 도 3은 동일한 세기의 적외선 장면에 대한 FPA 온도와 열영상 로우 데이터 간의 관계를 나타낸 그래프이다. 도 4는 일반적인 적외선 신호 처리의 Two-points NUC 수학적 모델링을 나타낸 도면이다. 도 5는 본 발명의 일 실시예에 따른 적외선 신호 처리의 Two-points NUC 수학적 모델링을 나타낸 도면이다.1 is a block diagram illustrating an uncooled infrared detector according to an embodiment of the present invention. 2 is a flowchart illustrating an operation method of the uncooled infrared ray detector shown in FIG. 3 is a graph showing the relationship between the FPA temperature and the thermal image data for an infrared ray scene of the same intensity. 4 is a diagram illustrating two-point NUC mathematical modeling of general infrared signal processing. 5 is a diagram illustrating two-point NUC mathematical modeling of infrared signal processing according to an embodiment of the present invention.

도 1과 도 2를 참조하면, 비냉각 적외선 검출기(100)는 열영상을 출력하는 비냉각 열상 장비의 일 예이며, 본 발명의 실시예는 비냉각 적외선 검출기에 한정되는 것이 아니라 열영상을 출력할 수 있는 모든 비냉각 열상 장비에 적용될 수 있음은 자명할 것이다. 또한, 본 발명의 실시예에 따른 비냉각 적외선 검출기(100)에 적용되는 기술은 냉각 방식의 열상 장비에도 적용될 수 있음은 물론이다.Referring to FIGS. 1 and 2, the non-cooled infrared ray detector 100 is an example of a non-cooled thermal ray apparatus that outputs a thermal image. The present invention is not limited to the non-cooled infrared ray detector, It will be obvious that the present invention can be applied to any non-cooled thermal equipment that can be used. In addition, it goes without saying that the technique applied to the non-cooled infrared ray detector 100 according to the embodiment of the present invention can also be applied to a thermal type of cooling system.

비냉각 적외선 검출기(100)는 열영상 데이터 획득부(110), 열영상 데이터 보정부(120), FPA 온도 센서(130), 보정 파라미터 저장부(140) 및 열영상 데이터 출력부(150)를 포함할 수 있다. 비냉각 적외선 검출기(100)의 각 구성은 예시적인 것에 불과하며, 필요에 따라 일부 구성이 추가되거나, 생략될 수 있다. 또한, 비냉각 적외선 검출기(100)의 각 구성은 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다.The non-cooled infrared ray detector 100 includes a thermal image data acquisition unit 110, a thermal image data correction unit 120, an FPA temperature sensor 130, a correction parameter storage unit 140, and a thermal image data output unit 150 . Each configuration of the non-cooled infrared ray detector 100 is merely an example, and some configuration may be added or omitted as needed. Further, each configuration of the non-cooled infrared ray detector 100 may be implemented by hardware, software, or a combination thereof.

도 2에 도시된 각 단계(S10~S50)는 비냉각 적외선 검출기(100)의 각 구성에 대응하며, 이하에서는 도 1과 도 2를 참조하여 비냉각 적외선 검출기(100)의 각 구성의 동작에 대해 설명하기로 한다.Each of steps S10 to S50 shown in FIG. 2 corresponds to each configuration of the non-cooled infrared ray detector 100. Hereinafter, referring to FIGS. 1 and 2, Will be described.

열영상 데이터 획득부(110)는 물체(피사체)를 포함하는 장면(scene)의 적외선을 검출하여 이를 전기적인 신호로 변환할 수 있고, 그 작동 원리는 물체에서 발산하는 적외선 영역의 파장대(장파 영역은 8~12㎛, 중파 영역은 3~5㎛의 파장)의 적외선을 검출하여 이를 전기적인 신호로 변환한 데이터(이하, '열영상 로우 데이터(thermal image raw data)'라 함)를 프레임 단위로 획득할 수 있다(S10). 열영상 로우 데이터는 FPA에 포함된 각 픽셀이 감지하여 출력한 데이터의 프레임 단위의 집합이다.The thermal image data obtaining unit 110 can detect an infrared ray of a scene including an object (object) and convert the detected infrared ray into an electric signal. The operation principle of the thermal image data obtaining unit 110 is based on the wavelength band of the infrared ray (Hereinafter, referred to as " thermal image raw data ") obtained by converting an infrared ray of an infrared ray having a wavelength of 8 to 12 [micro] m and a wavelength of 3 to 5 [micro] (S10). The thermal image row data is a set of frame units of data sensed and output by each pixel included in the FPA.

열영상 데이터 획득부(110)는 피사체의 적외선을 검출하여 전기적 신호 형태의 열영상 로우 데이터를 획득하는데, 획득되는 열영상 로우 데이터는 소정의 비트량으로 디지털화된 데이터이다. 이때, 동일 타겟(target)의 피사체로부터 획득되는 열영상 로우 데이터는 일정한 값이 아니라, 비냉각 적외선 검출기(100)의 FPA 온도에 따라 일정치 않은 값을 가지게 된다. 여기서, FPA는 이미징 렌즈의 초점면에 매트릭스(matrix) 형태로 적외선을 감지하는 픽셀들이 배열된 어레이로서, M(M은 1이상의 정수)개의 행(row) 및 N(N은 1이상의 정수)개의 열(column)로 구성된 M*N 개의 픽셀들을 포함할 수 있다.The thermal image data obtaining unit 110 detects infrared rays of the subject to obtain thermal image row data in the form of electrical signals. The obtained thermal image row data is data digitized with a predetermined bit amount. At this time, the thermal image data obtained from the subject of the same target does not have a constant value but has a non-constant value according to the FPA temperature of the non-cooled infrared ray detector 100. Here, FPA is an array in which pixels for detecting infrared rays are arranged in a matrix form on the focal plane of an imaging lens, and M (M is an integer of 1 or more) rows and N (N is an integer of 1 or more) And M * N pixels constituted by columns.

TEC 열전소자가 없는 비냉각 적외선 검출기(100)는 스스로 항온 유지가 불가능하기 때문에, 외부 또는 내부 온도가 변함에 따라 FPA 온도도 변화하게 되는데, 이로 인해 동일 타겟에 대한 열영상 출력값인 열영상 로우 데이터가 일정하게 나타나지 않게 되기 때문이다. 동일 타겟의 피사체로부터 획득되는 열영상 출력값인 열영상 로우 데이터가 일정하게 나타나지 않고 온도에 따라 변화되는 값을 가지는 상태에서는, 이를 이용하여 영상 처리를 완료할 경우에 최종 열영상 데이터에 노이즈(noise) 및 고정 패턴(fixed pattern)이 발생하게 된다.Since the uncooled infrared ray detector 100 without a TEC thermoelectric element can not maintain its own constant temperature, the FPA temperature also changes as the external or internal temperature changes. As a result, the thermal image row data Is not displayed constantly. In a state in which the thermal image data, which is a thermal image output value obtained from a subject of the same target, does not appear constantly but has a value that changes with temperature, noise is added to the final thermal image data when the image processing is completed, And a fixed pattern are generated.

도 3을 참고하면, TEC 열전소자가 없는 비냉각 적외선 검출기(100)의 온도를 달리 유지하여 동일 타겟을 촬영한 후, 촬영한 프레임에서의 전체 픽셀의 열영상 로우 데이터의 평균값을 도시한 그래프이다. 도 3을 보면, FPA 온도가 높을수록 전체 픽셀의 열영상 로우 데이터가 높아지는 것을 알 수 있다. 이러한 관계 때문에 열영상 로우 데이터를 그대로 최종 열영상 데이터에 이용할 경우 노이즈 및 고정 패턴이 발생하게 된다.Referring to FIG. 3, a graph showing an average value of row image data of all the pixels in the captured frame after photographing the same target while maintaining the temperature of the non-cooled infrared ray detector 100 without TEC thermoelements . 3, it can be seen that the higher the FPA temperature, the higher the thermal image data of the entire pixels. Because of this relationship, noise and fixed pattern are generated when the row image data of the column image is directly used for the final column image data.

열영상 데이터 보정부(120)는 FPA 온도에 따른 열영상 로우 데이터의 변화로 인한 노이즈 및 고정 패턴을 제거하기 위해 열영상 로우 데이터에 대한 보정을 수행할 수 있다. 열영상 데이터 보정부(120)는 다양한 방법으로 보정을 수행할 수 있으나, 본 명세서에서는 본 발명의 실시예와 관련된 불균일 보정(NUC; Non-Uniform Correction)을 수행하는 방법에 대해 설명하기로 한다.  The thermal image data correcting unit 120 may perform correction on the thermal image data to remove the noise and the fixed pattern due to the change of the thermal image row data according to the FPA temperature. Although the thermal image data correction unit 120 may perform correction in various ways, a method of performing non-uniform correction (NUC) according to an embodiment of the present invention will be described herein.

도 3의 그래프에서, 파란색의 그래프는 일정한 세기의 IR flux를 가진 장면(즉, 동일 타겟)에 대한 전체 픽셀의 평균값을 나타내고, 검은색의 그래프는 특정 FPA 온도에서 기준이 되는 Two-Points NUC의 기준 이미지 값을 나타낸다. 기준 이미지 값은 특정 FPA 온도에서 높은 세기의 IR flux를 가진 장면(hot image)과 낮은 세기의 IR flux를 가진 장면(cold image)를 각각 촬영한 열영상 로우 데이터를 의미한다(

Figure 112018092010544-pat00003
). 여기서, hot image와 cold image 간의 세기 차이는 노이즈를 무시할 수 있을 정도로 충분히 큰 범위에서 임의로 결정될 수 있다.In the graph of FIG. 3, the blue graph represents the average value of all pixels for a scene having a constant intensity IR flux (that is, the same target), and the black graph represents the two-point NUC Represents the reference image value. The reference image value refers to the thermal image data obtained by capturing a hot image having a high intensity IR flux at a specific FPA temperature and a cold image having a low intensity IR flux at each FPA temperature
Figure 112018092010544-pat00003
). Here, the intensity difference between the hot image and the cold image can be arbitrarily determined within a range large enough to ignore the noise.

도 4를 참조하면, 영상 불균일 보정을 위한 일반적인 적외선 신호처리의 Two-Points NUC 수학적 모델링이 나타나 있다. 여기서, Y는 보정된 열영상 데이터이며, Raw는 열영상 로우 데이터이고, Gain 및 Offset 각각은 불균일 영상 보정을 위한 보정 인자이고, (i, j)는 FPA에서의 픽셀 위치를 나타낸다. 즉, 특정 픽셀의 열영상 로우 데이터에 대한 보정된 열영상 데이터는 도 4의 수학식에 대입하여 획득될 수 있다.Referring to FIG. 4, a two-point NUC mathematical modeling of general infrared signal processing for image non-uniformity correction is shown. Here, Y is the corrected thermal image data, Raw is the thermal image row data, Gain and Offset are correction factors for nonuniform image correction, and (i, j) represents the pixel positions in the FPA. That is, the corrected thermal image data for the column image row data of a specific pixel can be obtained by substituting into the equation of FIG.

그러나, 이러한 수학적 모델링에는 동일한 장면을 촬영한 열영상 로우 데이터가 FPA 온도에 따라 변화되는 특성이 반영되지 않아 노이즈 및 고정 패턴이 나타날 수 있다.However, in such a mathematical modeling, noise and a fixed pattern may appear because characteristics of the thermal image data obtained by capturing the same scene are not changed according to FPA temperature.

본 발명의 일 실시예에서는 Two-Points NUC 수학적 모델링에 이러한 열영상 로우 데이터와 FPA 온도 간의 관계를 반영하여 노이즈 및 고정 패턴이 없는 열영상 데이터를 얻고자 한다. In one embodiment of the present invention, the relationship between the thermal image data and the FPA temperature is reflected in the two-point NUC mathematical modeling to obtain thermal image data having no noise and fixed pattern.

이를 위해, 먼저 임의의 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW)를 결정하고, 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW) 각각에서 각 픽셀의 hot image와 cold image를 촬영한 열영상 로우 데이터를 획득하여야 한다. 이를 기호로 나타내면,

Figure 112018092010544-pat00004
와 같다. 그리고, 각 픽셀의
Figure 112018092010544-pat00005
를 이용하여 모든 픽셀의 평균 값인
Figure 112018092010544-pat00006
을 산출할 수 있으며, 마찬가지로 각 픽셀의
Figure 112018092010544-pat00007
,
Figure 112018092010544-pat00008
,
Figure 112018092010544-pat00009
를 이용하여 모든 픽셀의 평균 값인
Figure 112018092010544-pat00010
,
Figure 112018092010544-pat00011
,
Figure 112018092010544-pat00012
을 산출할 수 있다.To this end, first determine the lowest FPA temperature (FPA LOW) any high FPA temperature (FPA HIGH), and high FPA temperature (FPA HIGH) and low FPA temperature (FPA LOW) each pixel of the hot image with cold image in each The thermal image data should be acquired. By expressing this as a symbol,
Figure 112018092010544-pat00004
. Then,
Figure 112018092010544-pat00005
≪ / RTI >< RTI ID = 0.0 >
Figure 112018092010544-pat00006
And similarly, it is possible to calculate
Figure 112018092010544-pat00007
,
Figure 112018092010544-pat00008
,
Figure 112018092010544-pat00009
≪ / RTI >< RTI ID = 0.0 >
Figure 112018092010544-pat00010
,
Figure 112018092010544-pat00011
,
Figure 112018092010544-pat00012
Can be calculated.

도 5에는 본 발명의 일 실시예에 따른 적외선 신호처리의 Two-Points NUC 수학적 모델링이 나타나 있다.FIG. 5 shows a two-point NUC mathematical modeling of infrared signal processing according to an embodiment of the present invention.

이러한 수학적 모델링은 일반적인 적외선 신호처리의 Two-Points NUC 수학적 모델링에서 gain과 offset을 구성하는 파라미터인

Figure 112018092010544-pat00013
,
Figure 112018092010544-pat00014
,
Figure 112018092010544-pat00015
,
Figure 112018092010544-pat00016
각각을, 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW) 각각에서 각 픽셀이 hot image와 cold image를 촬영한 열영상 로우 데이터를 이용하여, FPA 온도에 따라 가변하는 파라미터인
Figure 112018092010544-pat00017
,
Figure 112018092010544-pat00018
,
Figure 112018092010544-pat00019
,
Figure 112018092010544-pat00020
로 변환한 것이다.This mathematical modeling is a parameter that constitutes gain and offset in the two-point NUC mathematical modeling of general infrared signal processing
Figure 112018092010544-pat00013
,
Figure 112018092010544-pat00014
,
Figure 112018092010544-pat00015
,
Figure 112018092010544-pat00016
Each of which is a parameter that varies according to the FPA temperature, using the hot image data obtained by capturing the hot image and the cold image at each of the high FPA temperature (FPA HIGH ) and the low FPA temperature (FPA LOW )
Figure 112018092010544-pat00017
,
Figure 112018092010544-pat00018
,
Figure 112018092010544-pat00019
,
Figure 112018092010544-pat00020
.

구체적으로,

Figure 112018092010544-pat00021
는 낮은 FPA 온도(FPALOW)로부터 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 hot image를 촬영한 열영상 로우 데이터의 평균값이 증가하는 정도의 기울기를 갖고, 한 점(FPALOW,
Figure 112018092010544-pat00022
)을 지나는, 현재 FPA 온도(t)에 대한 선형 방정식으로 모델링될 수 있다. Specifically,
Figure 112018092010544-pat00021
Is to increase from the low temperature FPA (FPA LOW) to a high temperature FPA (FPA HIGH) has a slope of the degree to which each pixel is an increase in the average value of the low thermal image data taken a hot image, a point (LOW FPA,
Figure 112018092010544-pat00022
Lt; / RTI > for the current FPA temperature (t), passing through the < RTI ID = 0.0 >

한편

Figure 112018092010544-pat00023
는 낮은 FPA 온도(FPALOW)로부터 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 cold image를 촬영한 열영상 로우 데이터의 평균값이 증가하는 정도의 기울기를 갖고, 한 점(FPALOW,
Figure 112018092010544-pat00024
)을 지나는, 현재 FPA 온도(t)에 대한 선형 방정식으로 모델링될 수 있다.Meanwhile
Figure 112018092010544-pat00023
Is to increase from the low temperature FPA (FPA LOW) to a high temperature FPA (FPA HIGH) has a slope of the degree to which each pixel is an increase in the average value of the low thermal image data taken a cold image, a point (LOW FPA,
Figure 112018092010544-pat00024
Lt; / RTI > for the current FPA temperature (t), passing through the < RTI ID = 0.0 >

그리고,

Figure 112018092010544-pat00025
는 낮은 FPA 온도(FPALOW)로부터 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 hot image를 촬영한 열영상 로우 데이터가 증가하는 정도의 기울기를 갖고, 한 점(FPALOW,
Figure 112018092010544-pat00026
)을 지나는, 현재 FPA 온도(t)에 대한 선형 방정식으로 모델링될 수 있다.And,
Figure 112018092010544-pat00025
Is to increase from the low temperature FPA (FPA LOW) to a high temperature FPA (FPA HIGH) has a slope of the degree to which each pixel is increased by the thermal image data taken low the hot image, a point (LOW FPA,
Figure 112018092010544-pat00026
Lt; / RTI > for the current FPA temperature (t), passing through the < RTI ID = 0.0 >

마지막으로,

Figure 112018092010544-pat00027
는 낮은 FPA 온도(FPALOW)로부터 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 cold image를 촬영한 열영상 로우 데이터가 증가하는 정도의 기울기를 갖고, 한 점(FPALOW,
Figure 112018092010544-pat00028
)을 지나는, 현재 FPA 온도(t)에 대한 선형 방정식으로 모델링될 수 있다.Finally,
Figure 112018092010544-pat00027
Has a slope to the extent that the thermal image data that each pixel captured a cold image increases as the FPA temperature increases from a low FPA temperature (FPA LOW ) to a high FPA temperature (FPA HIGH ), and one point (FPA LOW ,
Figure 112018092010544-pat00028
Lt; / RTI > for the current FPA temperature (t), passing through the < RTI ID = 0.0 >

즉, 적외선 신호처리의 Two-Points NUC 수학적 모델링에서 gain과 offset을 구성하는 파라미터인

Figure 112018092010544-pat00029
,
Figure 112018092010544-pat00030
,
Figure 112018092010544-pat00031
,
Figure 112018092010544-pat00032
각각이, FPA 온도에 따라 가변하는 파라미터인
Figure 112018092010544-pat00033
,
Figure 112018092010544-pat00034
,
Figure 112018092010544-pat00035
,
Figure 112018092010544-pat00036
로 변환됨으로써, 보정 인자인
Figure 112018092010544-pat00037
와
Figure 112018092010544-pat00038
는 열영상 로우 데이터가 FPA 온도에 따라 변화되는 특성을 반영할 수 있다.That is, in the two-point NUC mathematical modeling of infrared signal processing, the parameters constituting gain and offset
Figure 112018092010544-pat00029
,
Figure 112018092010544-pat00030
,
Figure 112018092010544-pat00031
,
Figure 112018092010544-pat00032
Each of which is a parameter that varies depending on the FPA temperature
Figure 112018092010544-pat00033
,
Figure 112018092010544-pat00034
,
Figure 112018092010544-pat00035
,
Figure 112018092010544-pat00036
So that the correction factor < RTI ID = 0.0 >
Figure 112018092010544-pat00037
Wow
Figure 112018092010544-pat00038
May reflect the characteristic that the thermal image data varies with the FPA temperature.

또한, Y(i, j)의 마지막 항인

Figure 112018092010544-pat00039
은 각각의 픽셀에 대한 고정 상수 값으로서 보다 정교하게 열영상 로우 데이터를 보정하기 위해 실험적으로 결정된 인자를 의미하며, 픽셀마다 달라지는 값일 수 있다.Also, the last argument of Y (i, j)
Figure 112018092010544-pat00039
Is a fixed constant value for each pixel and means an experimentally determined factor for more precisely correcting the thermal image row data and may be a value that varies from pixel to pixel.

결과적으로, 열영상 데이터 보정부(120)는 열영상 로우 데이터가 FPA 온도에 따라 변화되는 특성을 반영한 NUC 보정을 수행함으로써, FPA 온도에 따른 열영상 로우 데이터의 변화로 인한 노이즈 및 고정 패턴을 제거할 수 있다.As a result, the thermal image data correcting unit 120 performs NUC correction that reflects the characteristics of the thermal image data varying with the FPA temperature, thereby eliminating the noise and fixed pattern due to the change of the thermal image data according to the FPA temperature can do.

본 명세서에서는 이해를 쉽게 하기 위해 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW) 두 포인트에서 획득되는 데이터만을 이용하여 수학적 모델링을 시도하였으나, 3, 또는 그 이상의 포인트에서 획득되는 데이터를 이용하여 수학적 모델링을 수행하는 경우 보다 정확한 NUC 보정이 이루어질 수 있으며, 본 발명의 범위는 이러한 수학적 모델링을 포함한다.In the present specification, for easy understanding, mathematical modeling is attempted using only data obtained at two points of high FPA temperature (FPA HIGH ) and low FPA temperature (FPA LOW ), but data obtained at three or more points is used A more accurate NUC correction can be made when performing mathematical modeling, and the scope of the present invention includes such mathematical modeling.

FPA 온도 센서(130)는 열영상 로우 데이터를 보정하기 위해 필요한 보정 인자(즉,

Figure 112018092010544-pat00040
,
Figure 112018092010544-pat00041
,
Figure 112018092010544-pat00042
)를 구성하는 현재 FPA 온도(t)를 측정 및 검출하여 열영상 데이터 보정부(120)로 전달할 수 있다(S20).The FPA temperature sensor 130 detects a correction factor required to correct thermal image row data (i.e.,
Figure 112018092010544-pat00040
,
Figure 112018092010544-pat00041
,
Figure 112018092010544-pat00042
The FPA temperature t constituting the FPA temperature t may be measured and detected and transmitted to the thermal image data correction unit 120 (S20).

보정 파라미터 저장부(140)는 열영상 로우 데이터를 보정하기 위해 필요한 보정 인자(즉,

Figure 112018092010544-pat00043
,
Figure 112018092010544-pat00044
,
Figure 112018092010544-pat00045
)를 구성하는 각 파라미터를 저장할 수 있다. 이를 위해, 열영상 데이터 보정부(120)는 사전에 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW) 두 포인트에서 각 픽셀의
Figure 112018092010544-pat00046
,
Figure 112018092010544-pat00047
,
Figure 112018092010544-pat00048
,
Figure 112018092010544-pat00049
를 측정하고, 이들을 이용하여 모든 픽셀의 평균 값인
Figure 112018092010544-pat00050
,
Figure 112018092010544-pat00051
,
Figure 112018092010544-pat00052
,
Figure 112018092010544-pat00053
를 계산하여, 보정 파라미터 저장부(140)에 저장할 수 있다. 또한, 보정 파라미터 저장부(140)는 열영상 데이터 보정부(120)가 특정 픽셀의 열영상 로우 데이터를 보정하고자 할 때, 열영상 데이터 보정부(120)의 요청에 따라 특정 픽셀에 해당하는 파라미터들을 전달할 수 있다(S30).The correction parameter storage unit 140 stores correction parameters necessary for correcting the row image data, that is,
Figure 112018092010544-pat00043
,
Figure 112018092010544-pat00044
,
Figure 112018092010544-pat00045
Can be stored. For this purpose, the thermal image data correcting unit 120 corrects the temperature of each pixel at a high FPA temperature (FPA HIGH ) and a low FPA temperature (FPA LOW )
Figure 112018092010544-pat00046
,
Figure 112018092010544-pat00047
,
Figure 112018092010544-pat00048
,
Figure 112018092010544-pat00049
And using them, the average value of all the pixels
Figure 112018092010544-pat00050
,
Figure 112018092010544-pat00051
,
Figure 112018092010544-pat00052
,
Figure 112018092010544-pat00053
And store it in the correction parameter storage unit 140. [ When the thermal image data correction unit 120 desires to correct the column image row data of a specific pixel, the correction parameter storage unit 140 stores the correction parameter storage unit 140 in accordance with a request from the thermal image data correction unit 120, (S30).

실시예에 따라, 열영상 데이터 보정부(120)는 일정 범위의 FPA 온도에 대해 미리

Figure 112018092010544-pat00054
,
Figure 112018092010544-pat00055
,
Figure 112018092010544-pat00056
,
Figure 112018092010544-pat00057
및
Figure 112018092010544-pat00058
,
Figure 112018092010544-pat00059
를 계산하여 보정 파라미터 저장부(140)에 저장할 수 있고, 현재 FPA 온도 수신시 현재 FPA 온도에 대응하는
Figure 112018092010544-pat00060
,
Figure 112018092010544-pat00061
를 요청하여 NUC 보정을 수행함으로써 시스템 연산 속도를 향상시킬 수 있다.According to the embodiment, the thermal image data correction unit 120 corrects the thermal image data
Figure 112018092010544-pat00054
,
Figure 112018092010544-pat00055
,
Figure 112018092010544-pat00056
,
Figure 112018092010544-pat00057
And
Figure 112018092010544-pat00058
,
Figure 112018092010544-pat00059
And stores it in the correction parameter storage unit 140. When the current FPA temperature is received,
Figure 112018092010544-pat00060
,
Figure 112018092010544-pat00061
To perform NUC correction, thereby improving the system operation speed.

따라서, 열영상 데이터 보정부(120)는 열영상 로우 데이터를 수신하여 보정하고자 할 때, FPA 온도 센서(130)로부터 현재 FPA 온도를 제공받고, 보정 파라미터 저장부(140)로부터 보정 인자를 구성하는 각 파라미터를 제공받아 NUC 보정을 수행할 수 있다(S40).Accordingly, when the thermal image data correction unit 120 receives the thermal image data and corrects the thermal image data, the thermal image data correction unit 120 receives the FPA temperature from the FPA temperature sensor 130, NUC correction can be performed by receiving each parameter (S40).

열영상 데이터 출력부(150)는 보정된 열영상 데이터가 사용자에게 제공될 수 있도록 적합한 형태(예컨대, 프레임 단위의 영상)로 가공하여 외부 장치(예컨대, 디스플레이)로 출력할 수 있다(S50).The thermal image data output unit 150 may process the corrected thermal image data into a suitable form (for example, a frame image) so that the corrected thermal image data can be provided to the user and output the processed image to an external device (e.g., a display) (S50).

이와 같이, 본 발명의 실시예에 따른 TECLESS를 이용한 NUC 수행 방법에 의하면, 열영상 로우 데이터에 대해 NUC를 통해 보정된 값은 FPA 온도 변화에 따라 변화되나, 비냉각 적외선 검출기(100)의 모든 픽셀 값이 함께 변하게 되어 동일한 출력에 대해 항상 일정하게 되므로, 노이즈 및 고정 패턴이 발생하지 않게 된다. As described above, according to the NUC method using the TECLESS according to the embodiment of the present invention, the value corrected through the NUC for the thermal image data is changed according to the FPA temperature change, Values are changed together and are always constant for the same output, so that noise and fixed pattern are not generated.

본 발명의 일 실시예에 따른 비냉각 적외선 검출기(100) 및 이의 동작 방법에 의하면, FPA 온도 변화에 대해 실시간으로 각 픽셀에 대한 Gain 및 Offset을 보정하므로, FPA 온도 변화 및 다양한 이미지 값(즉, 열영상 로우 데이터)에 대해 영상품질이 기존 알고리즘보다 뛰어나다. 실제 본 발명의 실시예에 따른 방법을 이용해, FPA 온도가 약 5도 변화 시 균일한 image 입력 값(14bits data 값 기준, 동일 타겟에 대한 열영상 로우 데이터)에 대한 STD(Standard Deviation or RMS: Root mean square) 값을 계산한 결과는, 기존 알고리즘에 따른 경우 5도 변화 이전에 4에서 5도 변화 이후 25로 21이 증가하였으며, 본 발명의 실시예의 개선 알고리즘에 따른 경우 5도 변화 이전에 4에서 5도 변화 이후 5로 1이 증가하였다. FPA 온도 변화와 무관하게 STD가 0인 것이 이상적인 케이스라 한다면, 개선 알고리즘의 경우 거의 이상적인 케이스에 가깝다고 할 수 있다.According to the non-cooling infrared ray detector 100 and the operation method thereof according to the embodiment of the present invention, since the gain and offset for each pixel are corrected in real time with respect to the FPA temperature change, the FPA temperature change and various image values The image quality is superior to that of the conventional algorithm. Using the method according to an embodiment of the present invention, STD (Standard Deviation or RMS: Root) for a uniform image input value (14 bits data value, thermal image row data for the same target) According to the improvement algorithm of the embodiment of the present invention, the mean square value was increased from 4 to 5 before the change of 5 degrees before the change according to the existing algorithm, After 5 degree change, it increased to 1 by 5. If it is an ideal case that the STD is 0 regardless of the FPA temperature change, the improvement algorithm is almost the ideal case.

보통 산업용(Industry), 자동차용(Automotive) 및 군용(Military) 시스템은 -32 ~ 71의 운용 온도 범위가 필요하다. 비냉각 적외선 검출기를 활용한 시스템은 넓은 운용 온도 범위에서 성능 만족을 위해 온도 구간 별로 NUC 보정을 위한 테이블을 운용하며, 이런 경우 기존 알고리즘은 2-Point NUC를 위한 기준 이미지 값 외에

Figure 112018092010544-pat00062
수식의 x term을 위한 기준 이미지 획득이 필요 했지만, 개선된 알고리즘은 각 온도 구간별 2-Point NUC 이미지를 획득하기만 하는 것으로 족하므로, 양산 인력, 비용 및 시간을 크게 줄일 수 있다.Typical industrial, automotive and military systems require an operating temperature range of -32 to 71. A system utilizing an uncooled infrared detector operates a table for NUC correction per temperature interval to satisfy performance in a wide operating temperature range. In this case, the existing algorithm is not limited to the reference image value for 2-Point NUC
Figure 112018092010544-pat00062
Although a reference image acquisition was required for the x term of the equation, the improved algorithm only needs to acquire a 2-point NUC image for each temperature interval, which can greatly reduce mass production labor, cost and time.

상기와 같이 설명된 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. The method described above can be implemented as computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording media storing data that can be decoded by a computer system. For example, it may be a ROM (Read Only Memory), a RAM (Random Access Memory), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, or the like. In addition, the computer-readable recording medium may be distributed and executed in a computer system connected to a computer network, and may be stored and executed as a code readable in a distributed manner.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It will be understood that various modifications and changes may be made.

Claims (18)

장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 열영상 데이터 획득부;
현재 FPA(Focal Plane Array) 온도를 검출하는 FPA 온도 센서;
상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)을 위한 파라미터를 저장하는 보정 파라미터 저장부; 및
상기 FPA 온도 및 상기 파라미터를 이용해 상기 열영상 로우 데이터에 대한 NUC를 수행하는 열영상 데이터 보정부;
상기 열영상 데이터 보정부에서 NUC가 수행된 열영상 로우 데이터를 영상 프레임 단위의 데이터로 가공하여 외부 장치로 출력하는 영상 데이터 출력부를 포함하고,
상기 열영상 로우 데이터는,
FPA(Focal Plane Array)에 포함된 각 픽셀이 감지하여 출력하도록 구성되며,
상기 FPA 온도는,
이미징 렌즈의 초점면에 매트릭스 형태로 적외선을 감지하는 픽셀들이 배열된 어레이의 온도이고,
상기 NUC는,
상기 FPA 온도에 따라 달라지는 Gain 및 Offset을 이용하여 상기 열영상 로우 데이터를 보정하도록 구성되며,
상기 NUC는,
소정의 높은 FPA 온도(FPAHIGH)와 소정의 낮은 FPA 온도(FPALOW)를 설정하고, 상기 설정된 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW) 각각에서 각 픽셀의 핫 이미지(hot image)와 콜드 이미지(cold image)를 촬영한 열영상 로우 데이터를 획득하고, 상기 획득된 핫 이미지와 콜드 이미지를 이용하여 모든 픽셀의 평균값을 산출하고, 산출된 평균값을 이용하여 하기 수학식에 따라 각 픽셀에서의 Gain(i,j) 및 Offset(i,j)를 산출하고, 산출된 Gain(i,j) 및 Offset(i,j)를 이용하여 보정 데이터 Y(i,j)를 산출하도록 구성되거나,
[수학식]
Figure 112019022412364-pat00068

여기서, Y는 보정된 열영상 데이터이며, Raw는 열영상 로우 데이터이고, Gain 및 Offset 각각은 불균일 영상 보정을 위한 보정 인자이고, (i, j)는 FPA에서의 픽셀 위치이고,
Figure 112019022412364-pat00069
는 상기 설정된 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW) 각각에서 각 픽셀의 핫 이미지(hot image)와 콜드 이미지(cold image)를 촬영한 열영상 로우 데이터를 나타내고,
Figure 112019022412364-pat00070
는
Figure 112019022412364-pat00071
를 이용하여 산출한 모든 픽셀의 평균값이고,
Figure 112019022412364-pat00072
는
Figure 112019022412364-pat00073
를 이용하여 산출한 모든 픽셀의 평균값이고,
Figure 112019022412364-pat00074
는
Figure 112019022412364-pat00075
를 이용하여 산출한 모든 픽셀의 평균값이고,
Figure 112019022412364-pat00076
는
Figure 112019022412364-pat00077
를 이용하여 산출한 모든 픽셀의 평균값이고,
상기 NUC는,
상기 소정의 높은 FPA 온도(FPAHIGH)와 상기 소정의 낮은 FPA 온도(FPALOW) 각각에서 각 픽셀의 핫 이미지(hot image)와 콜드 이미지(cold image)를 촬영한 열영상 로우 데이터를 이용하여 FPA 온도에 따라 가변하는 파라미터인
Figure 112019022412364-pat00078
,
Figure 112019022412364-pat00079
,
Figure 112019022412364-pat00080
,
Figure 112019022412364-pat00081
를 산출하고, 산출된
Figure 112019022412364-pat00082
,
Figure 112019022412364-pat00083
,
Figure 112019022412364-pat00084
,
Figure 112019022412364-pat00085
를 이용하여 하기 수학식에 따라 각 픽셀에서의 Gain(i,j) 및 Offset(i,j)를 산출하고, 산출된 Gain(i,j) 및 Offset(i,j)를 이용하여 보정 데이터 Y(i,j)를 산출하도록 구성되거나,
[수학식]
Figure 112019022412364-pat00086

여기서,
Figure 112019022412364-pat00087
는 상기 소정의 낮은 FPA 온도(FPALOW)로부터 상기 소정의 높은 FPA 온도(FPAHIGH)로 온도가 증가할 때 각 픽셀이 핫 이미지(hot image)를 촬영한 열영상 로우 데이터의 평균값이 증가하는 정도의 기울기를 갖도록 구성되며, 상기
Figure 112019022412364-pat00088
는 상기 소정의 낮은 FPA 온도(FPALOW)로부터 상기 소정의 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 콜드 이미지(cold image)를 촬영한 열영상 로우 데이터의 평균값이 증가하는 정도의 기울기를 갖도록 구성되며, 상기
Figure 112019022412364-pat00089
는 상기 소정의 낮은 FPA 온도(FPALOW)로부터 상기 소정의 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 핫 이미지(hot image)를 촬영한 열영상 로우 데이터가 증가하는 정도의 기울기를 갖도록 구성되며, 상기
Figure 112019022412364-pat00090
는 상기 소정의 낮은 FPA 온도(FPALOW)로부터 상기 소정의 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 콜드 이미지(cold image)를 촬영한 열영상 로우 데이터가 증가하는 정도의 기울기를 갖도록 구성되는 것을 특징으로 하는 비냉각 적외선 검출기.
A thermal image data obtaining unit for detecting infrared rays of a scene to generate thermal image data;
An FPA temperature sensor for detecting a FPA (Focal Plane Array) temperature;
A correction parameter storage unit for storing a parameter for NUC (Non-Uniform Correction) for the row image data; And
A thermal image data correcting unit for performing NUC for the thermal image data by using the FPA temperature and the parameter;
And an image data output unit for processing the column image data in which the NUC has been performed by the column image data correcting unit into data of an image frame unit and outputting the data to an external device,
The row image data,
Each pixel included in a focal plane array (FPA) is configured to detect and output,
The FPA temperature may be,
The temperature of the array in which the pixels that sense infrared in the form of a matrix on the focal plane of the imaging lens are arranged,
The NUC may include:
And correcting the column image data by using a gain and an offset that vary according to the FPA temperature,
The NUC may include:
(FPA HIGH ) and a predetermined low FPA temperature (FPA LOW ) and setting a hot image of each pixel at each of the set high FPA temperature (FPA HIGH ) and the low FPA temperature (FPA LOW ) And a cold image obtained by capturing a cold image are obtained, and an average value of all the pixels is calculated by using the obtained hot image and cold image, and the average value of each pixel is calculated using the calculated average value, (I, j) in the pixel, and calculates the correction data Y (i, j) using the calculated Gain (i, j) and Offset Or,
[Mathematical Expression]
Figure 112019022412364-pat00068

Here, Y is the corrected thermal image data, Raw is the thermal image row data, Gain and Offset are correction factors for nonuniform image correction, (i, j) is the pixel position in the FPA,
Figure 112019022412364-pat00069
Represents hot image data obtained by taking a hot image and a cold image of each pixel at the set high FPA temperature (FPA HIGH ) and the low FPA temperature (FPA LOW ), respectively,
Figure 112019022412364-pat00070
The
Figure 112019022412364-pat00071
Is an average value of all the pixels calculated by using < RTI ID = 0.0 >
Figure 112019022412364-pat00072
The
Figure 112019022412364-pat00073
Is an average value of all the pixels calculated by using < RTI ID = 0.0 >
Figure 112019022412364-pat00074
The
Figure 112019022412364-pat00075
Is an average value of all the pixels calculated by using < RTI ID = 0.0 >
Figure 112019022412364-pat00076
The
Figure 112019022412364-pat00077
Is an average value of all the pixels calculated by using < RTI ID = 0.0 >
The NUC may include:
(FPA) using the thermal image data obtained by capturing a hot image and a cold image of each pixel at the predetermined high FPA temperature (FPA HIGH ) and the predetermined low FPA temperature (FPA LOW ) The temperature-dependent parameter
Figure 112019022412364-pat00078
,
Figure 112019022412364-pat00079
,
Figure 112019022412364-pat00080
,
Figure 112019022412364-pat00081
, And the calculated
Figure 112019022412364-pat00082
,
Figure 112019022412364-pat00083
,
Figure 112019022412364-pat00084
,
Figure 112019022412364-pat00085
(I, j) and Offset (i, j) at each pixel in accordance with the following equation and calculates correction data Y (i, j) by using the calculated Gain (i, j)
[Mathematical Expression]
Figure 112019022412364-pat00086

here,
Figure 112019022412364-pat00087
Is a degree of increase in the average value of the thermal image data obtained by capturing a hot image of each pixel when the temperature is increased from the predetermined low FPA temperature (FPA LOW ) to the predetermined high FPA temperature (FPA HIGH ) , And the inclination
Figure 112019022412364-pat00088
When the FPA temperature is increased from the predetermined low FPA temperature (FPA LOW ) to the predetermined high FPA temperature (FPA HIGH ), a slope of the degree to which the average value of the columnar image data , And the above-
Figure 112019022412364-pat00089
Is set such that each pixel has a slope to the extent that thermal image data obtained by capturing a hot image increases as the FPA temperature increases from the predetermined low FPA temperature (FPA LOW ) to the predetermined high FPA temperature (FPA HIGH ) Respectively,
Figure 112019022412364-pat00090
Is set such that each pixel has a slope to the extent that thermal image raw data of a cold image taken when the FPA temperature is increased from the predetermined low FPA temperature (FPA LOW ) to the predetermined high FPA temperature (FPA HIGH ) Constituted Wherein the temperature detector detects the temperature of the uncooled infrared detector.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020180110646A 2018-09-17 2018-09-17 Uncooled IR detector and operating method of thereof KR101965204B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180110646A KR101965204B1 (en) 2018-09-17 2018-09-17 Uncooled IR detector and operating method of thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180110646A KR101965204B1 (en) 2018-09-17 2018-09-17 Uncooled IR detector and operating method of thereof

Publications (1)

Publication Number Publication Date
KR101965204B1 true KR101965204B1 (en) 2019-04-04

Family

ID=66105660

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180110646A KR101965204B1 (en) 2018-09-17 2018-09-17 Uncooled IR detector and operating method of thereof

Country Status (1)

Country Link
KR (1) KR101965204B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102093917B1 (en) * 2019-07-03 2020-03-26 한화시스템 주식회사 Thermal imagery apparatus and operating method thereof
CN111651630A (en) * 2020-05-31 2020-09-11 广西电网有限责任公司南宁供电局 Method for improving storage efficiency of collected dynamic infrared heat map by adopting key data frame
KR20210072377A (en) * 2019-12-09 2021-06-17 써모아이 주식회사 Thermal imaging camera temperature correction method and device
KR102359473B1 (en) * 2020-10-21 2022-02-08 써모아이 주식회사 Thermal imaging camera noise compensation method and device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020166967A1 (en) * 2001-05-11 2002-11-14 Kaufman Charles S. Method and apparatus for temperature compensation of an uncooled focal plane array
US20100096709A1 (en) * 2008-08-05 2010-04-22 California Institute Of Technology Uncooled ir detector arrays based on nanoelectromechanical systems
KR101041136B1 (en) 2011-01-27 2011-06-14 삼성탈레스 주식회사 Method for processing thermal image
JP2012032400A (en) * 2000-03-03 2012-02-16 Drs Rsta Inc Method for correcting video signal of infrared sensor, and imaging system
JP2012515345A (en) * 2009-01-15 2012-07-05 レイセオン カンパニー Systems and methods for non-thermal operation of focal plane arrays
US20130235210A1 (en) * 2012-03-08 2013-09-12 Bae Systems Information & Electronic Systems Integration Inc. 3d stacked uncooled ir sensor device and method
KR101547929B1 (en) * 2014-04-09 2015-08-28 한화탈레스 주식회사 Method for converting thermal image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032400A (en) * 2000-03-03 2012-02-16 Drs Rsta Inc Method for correcting video signal of infrared sensor, and imaging system
JP2013243766A (en) * 2000-03-03 2013-12-05 Drs Rsta Inc Method for correcting video signal of infrared ray sensor, and imaging system
US20020166967A1 (en) * 2001-05-11 2002-11-14 Kaufman Charles S. Method and apparatus for temperature compensation of an uncooled focal plane array
US20100096709A1 (en) * 2008-08-05 2010-04-22 California Institute Of Technology Uncooled ir detector arrays based on nanoelectromechanical systems
JP2012515345A (en) * 2009-01-15 2012-07-05 レイセオン カンパニー Systems and methods for non-thermal operation of focal plane arrays
KR101041136B1 (en) 2011-01-27 2011-06-14 삼성탈레스 주식회사 Method for processing thermal image
US20130235210A1 (en) * 2012-03-08 2013-09-12 Bae Systems Information & Electronic Systems Integration Inc. 3d stacked uncooled ir sensor device and method
KR101547929B1 (en) * 2014-04-09 2015-08-28 한화탈레스 주식회사 Method for converting thermal image

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102093917B1 (en) * 2019-07-03 2020-03-26 한화시스템 주식회사 Thermal imagery apparatus and operating method thereof
KR20210072377A (en) * 2019-12-09 2021-06-17 써모아이 주식회사 Thermal imaging camera temperature correction method and device
KR102297273B1 (en) 2019-12-09 2021-09-03 써모아이 주식회사 Thermal imaging camera temperature correction method and device
CN111651630A (en) * 2020-05-31 2020-09-11 广西电网有限责任公司南宁供电局 Method for improving storage efficiency of collected dynamic infrared heat map by adopting key data frame
CN111651630B (en) * 2020-05-31 2023-12-26 广西电网有限责任公司南宁供电局 Method for improving storage efficiency of acquisition dynamic infrared thermal map by adopting key data frame
KR102359473B1 (en) * 2020-10-21 2022-02-08 써모아이 주식회사 Thermal imaging camera noise compensation method and device

Similar Documents

Publication Publication Date Title
KR101965204B1 (en) Uncooled IR detector and operating method of thereof
Budzier et al. Calibration of uncooled thermal infrared cameras
US9332197B2 (en) Infrared sensor control architecture
CN1917590B (en) Method for fixed pattern noise reduction in infrared imaging cameras
US9225913B2 (en) Device for imaging within the IR range
US8526780B2 (en) Thermographic camera and method for the recording and/or modification and reproduction of thermal images of a scene and/or of an object
Ochs et al. High dynamic range infrared thermography by pixelwise radiometric self calibration
US20120239330A1 (en) Radiometric calibration method for infrared detectors
JP2008271049A (en) Imaging apparatus and its gain adjusting method
US20080278613A1 (en) Methods, apparatuses and systems providing pixel value adjustment for images produced with varying focal length lenses
KR101041136B1 (en) Method for processing thermal image
Lin et al. Pixel-wise radiometric calibration approach for infrared focal plane arrays using multivariate polynomial correction
JP2009089138A (en) Infrared ray camera
JP2005249723A (en) Display output unit for image containing temperature distribution, and control method therefor
JP4216730B2 (en) Improvements in or relating to infrared camera calibration
KR102093917B1 (en) Thermal imagery apparatus and operating method thereof
CN113039417B (en) Temperature estimation device, temperature estimation method, computer-readable storage medium, and computer program product
KR101854355B1 (en) Image correction apparatus selectively using multi-sensor
KR101824604B1 (en) Apparatus for compensating infra-red image and system using thereof
KR101731287B1 (en) Method and apparatus for compensating output of infrared sensor
KR102195072B1 (en) Thermal camera system and driving method thereof
RU2727349C1 (en) Method of thermography of a remote object
JP2001272278A (en) Imaging system and method for measuring temperature using the same
KR20190113251A (en) Method of correcting non-uniformity for thermal image camera
CN110595626A (en) Infrared detector system and imaging method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant