KR101438327B1 - Thermal imaging camera for correcting ununiformity according to temperature of infrared detector and method of correcting ununiformity in the same - Google Patents
Thermal imaging camera for correcting ununiformity according to temperature of infrared detector and method of correcting ununiformity in the same Download PDFInfo
- Publication number
- KR101438327B1 KR101438327B1 KR1020130094777A KR20130094777A KR101438327B1 KR 101438327 B1 KR101438327 B1 KR 101438327B1 KR 1020130094777 A KR1020130094777 A KR 1020130094777A KR 20130094777 A KR20130094777 A KR 20130094777A KR 101438327 B1 KR101438327 B1 KR 101438327B1
- Authority
- KR
- South Korea
- Prior art keywords
- shutter
- infrared
- temperature
- uniformity correction
- uniformity
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
- B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
- B23Q17/248—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods
- B23Q17/249—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves using special electromagnetic means or methods using image analysis, e.g. for radar, infrared or array camera images
Abstract
Description
본 발명은 열상 카메라에 관한 것으로서, 좀 더 구체적으로는 적외선 검출기의 온도 변화에 따라 불균일을 보정하는 열상 카메라 및 그 불균일 보정 방법에 관한 것이다.The present invention relates to a thermal imaging camera, and more particularly, to a thermal imaging camera and its non-uniformity correction method for correcting non-uniformity in accordance with a temperature change of an infrared ray detector.
열상 카메라(thermal imaging camera)는 적외선 카메라라고도 불리는 것으로서, 적외선을 감지하여 형성된 영상을 출력하도록 구성된다. 빛이 없는 상황에서도 가시 광선이 아닌 물체의 자체 방출되는 적외선을 감지하여 영상을 생성하기 때문에, 어두운 환경이나 안개 낀 곳에서 또는 특정 온도를 검출하는 데에 있어서 매우 유용하게 이용된다.A thermal imaging camera, also called an infrared camera, is configured to output an image formed by sensing infrared rays. It is very useful for detecting a specific temperature in a dark environment, a fogged place, or the like, since an image is generated by sensing infrared rays emitted by an object, which is not visible light, even in the absence of light.
대표적인 예로서 공항에서 출입국자의 체온을 원격에서 측정해서 고열 환자를 가려내는 의료/검역 분야, 전봇대에 장착된 변압기의 온도를 지상 또는 차량을 타고 이동하면서 원거리 측정하여 과열 여부를 판단하는 산업용 분야, 빛이 없는 어둠 속에서 적군이나 이상 물체를 탐지하고 감지하는 군/보안용 분야 등이 있다.Typical examples are medical / quarantine areas where the temperature of an immigrant from the airport is monitored remotely to detect high temperature patients, industrial fields where the temperature of a transformer installed on a telephone pole is measured while traveling on the ground or in a vehicle, There is a military / security field that detects and detects enemy or abnormal objects in darkness without light.
열상 카메라에는 적외선 센서 내지는 적외선 탐지기가 어레이(infrared sensor array) 형태로 배열되어 있으며, 열상 카메라는 각각의 적외선 탐지기를 통해 얻어진 물체의 온도에 의해 영상을 생성한다.The thermal camera has an infrared sensor or an infrared sensor array arranged in the form of an infrared sensor array, and the thermal camera generates an image based on the temperature of the object obtained through the respective infrared detectors.
열상 카메라의 광학 렌즈를 통해 입사된 적외선은 각각의 화소에 할당된 적외선 탐지기에 직접 입사되는데, 이때 각 적외선 탐지기는 입사된 적외선 에너지에 반응하여 변화하는 저항값을 측정하여 그 열 에너지를 측정하며, 이를 이용하여 영상을 생성한다.The infrared rays incident through the optical lens of the thermal camera are directly incident on the infrared ray detectors assigned to the respective pixels. Each infrared ray detector measures the changing resistance value in response to the incident infrared ray energy, And generates an image using this.
그런데, 적외선 탐지기는 각각 고유의 물리적 특성을 갖게 된다. 모두 같은 공정을 통해 제작되어도 실제 소자의 특성에는 편차가 발생하게 마련이다.However, each of the infrared detectors has inherent physical characteristics. Even if they are fabricated through the same process, variations in the characteristics of actual devices may occur.
도 1은 적외선 탐지기의 온도에 따른 화소의 특성 변화를 나타내는 그래프이다.1 is a graph showing changes in characteristics of a pixel according to the temperature of an infrared ray detector.
도 1을 참조하면, 각 적외선 탐지기들이 시간이 변화함에 따라 달라지는 소자 특성을 알 수 있다. 시간의 흐름에 따라 각 적외선 탐지기의 온도가 변화하는데, 그 적외선 탐지기의 온도 변화에 따라 소자 특성 간에 오프셋(편차)이 발생하고 있다.Referring to FIG. 1, each infrared ray detector can know characteristics of the device that change with time. The temperature of each infrared ray detector changes with the passage of time, and an offset (deviation) occurs between the device characteristics according to the temperature change of the infrared ray detector.
이에, 정밀하고 적외선 에너지를 탐지하여 고화질의 영상을 생성하기 위해서는 각 적외선 탐지기의 특성을 고려하여야 영상을 보정해주어야만 한다. 적외선 탐지기의 고유 특성에 의해 동일한 세기의 적외선 에너지가 입사되더라도 적외선 탐지기마다 동일한 전기 신호를 출력하지 못하고 서로 다른 크기의 전기 신호를 출력하는 경우에는 영상에 불균일이나 잡음이 섞이게 된다.Accordingly, in order to detect a precise infrared ray energy and generate a high-quality image, the characteristics of each infrared ray detector must be considered to correct the image. Even if the infrared energy of the same intensity is input due to the intrinsic characteristics of the infrared detector, unevenness or noise are mixed in the image when outputting the electric signals of different sizes without outputting the same electric signals for each of the infrared detectors.
이에, 영상 촬영 전에 각 적외선 탐지기가 동일한 소자 특성을 나타낼 수 있도록 하기 위한 편차 보정이 요구된다.Therefore, a deviation correction is required to allow each infrared ray detector to exhibit the same device characteristics before image capturing.
열상 카메라의 셔터를 닫으면 적외선 탐지기는 외부의 에너지를 받아들일 수 없게 되는데, 이때 적외선 탐지기의 각 화소들의 탐지값에 대한 편차(오프셋)를 구해서 메모리에 저장한다. 그리고 그 오프셋(offset)을 이용하여 영상의 보정에 활용하게 된다.When the shutter of the thermal camera is closed, the infrared detector can not receive the external energy. At this time, the deviation (offset) of the detection value of each pixel of the infrared detector is obtained and stored in the memory. Then, the offset is used to correct the image.
도 2는 셔터를 닫고 불균일 보정이 수행된 영상의 예시도이다.2 is an illustration of an image in which a shutter is closed and non-uniformity correction is performed.
도 2의 영상은 셔터가 닫힌 상태에서 각 화소 즉, 적외선 탐지기의 출력값 즉 전기적 신호를 감지하고 감지된 신호들이 각 화소에서 모두 균일하게 되도록 신호 보정해 준 영상이다. 그 전기적 신호의 오프셋 즉, 각 화소 간의 전기적 신호의 차이를 테이블로 저장하여 적외선 영상에 적용하게 된다.The image of FIG. 2 is an image obtained by detecting an output value of each pixel, that is, an electric signal, ie, an electric signal, in the closed state of the shutter, and performing signal correction so that the sensed signals become uniform in each pixel. The offset of the electrical signal, that is, the difference between the electrical signals between the pixels, is stored in a table and applied to the infrared image.
도 3은 셔터를 열고 불균일 보정된 오프셋이 적용된 적외선 영상의 예시도이다.FIG. 3 is an exemplary view of an infrared image to which a shutter is opened and a non-uniformly corrected offset is applied.
도 3은 불균일 보정이 적용된 상태의 적외선 영상으로서, 영상이 매끄럽고 선명하게 출력되어 있음을 알 수 있다.Fig. 3 shows an infrared image in a state in which non-uniformity correction is applied, and the image is output smoothly and clearly.
이러한 편차나 잡음은 열상 카메라의 내부 부품이나 열상 카메라 주위의 대기 온도 변화 등에 의해 다양한 반응 특성이 발생하여 불균일하게 된다. 이러한 고정 패턴 잡음(fixed pattern noise)는 사용자가 직접 1분, 5분, 10분 등의 간격으로 셔터를 닫아 불균일 보정을 해야만 한다.Such variations or noises are caused by various reaction characteristics due to changes in the ambient temperature of the internal components of the thermal camera or the thermal camera, and become uneven. Such fixed pattern noise must be corrected by non-uniformity by closing the shutter at intervals of 1 minute, 5 minutes, 10 minutes or the like.
그런데, 정기적인 셔터 동작을 매 1분마다 수행하는 경우 그 주기가 너무 잦은 편이며, 셔터의 수명을 단축시킬 수 있다는 문제점이 있다. 또한 셔터 동작 시에는 영상 역시 그 생성이 중지되므로, 동영상의 끊김이 너무 자주 발생하는 문제점이 있다.However, when a regular shutter operation is performed every one minute, the period is too frequent, and the life of the shutter can be shortened. Further, since the generation of the image is also stopped during the shutter operation, there is a problem that the motion picture is disconnected too frequently.
그리고 열상 카메라가 안정화되어 고정 패턴 잡음이 발생하지 않아도 불균일 보정을 주기적으로 수행하게 되어 불필요한 불균일 보정을 하게 되는 경우도 있다.In addition, even if the thermal camera is stabilized and no fixed pattern noise is generated, nonuniformity correction may be performed periodically, which may cause unnecessary nonuniformity correction.
또한, 열상 카메라가 안정화되는 중에는 셔터 동작이 길어질수록 영상의 품질을 나쁘게 하는 문제점이 있다.Further, during the stabilization of the thermal camera, there is a problem that the image quality deteriorates as the shutter operation becomes longer.
한편, 셔터의 주기를 길게 설정하는 경우, 즉 불균일 보정 주기가 너무 길면 고정 잡음 패턴을 제거하지 못하고 영상의 품질이 나빠지는 단점이 있다.On the other hand, when the period of the shutter is set long, that is, when the non-uniformity correction period is too long, the fixed noise pattern can not be removed and the quality of the image deteriorates.
종합컨대, 종래에는 1분, 2분 정도의 주기적인 불균일 보정 설정을 하여 주기적으로 셔터 동작과 불균일 보정을 수행하지만, 그 셔터 동작과 불균일 보정에 의해 동영상의 끊김 현상이 너무 자주 발생하고, 셔텨의 수명을 단축시키는 문제점을 야기하는 문제점이 있다. 또한, 안정화 상태에서는 불필요한 불균일 보정이 너무 자주 수행되는 문제점이 있다.In general, the shutter operation and the non-uniformity correction are periodically performed by setting the periodic nonuniformity correction of about 1 minute and 2 minutes in the past. However, due to the shutter operation and the nonuniformity correction, There is a problem that shortens the life time. Further, in the stabilized state, unnecessary nonuniformity correction is performed too frequently.
이에, 종래 열상 카메라의 불균일 보정 동작의 수행 주기를 보다 효율적으로 운용할 필요가 있다.Accordingly, it is necessary to more efficiently operate the cycle of performing the nonuniformity correction operation of the thermal imaging camera.
본 발명의 목적은 적외선 검출기의 온도 변화에 따라 불균일을 보정하는 열상 카메라를 제공하는 데 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a thermal imaging camera that corrects for non-uniformity in accordance with a temperature change of an infrared ray detector.
본 발명의 다른 목적은 적외선 검출기의 온도 변화에 따른 불균일 보정 방법을 제공하는 데 있다.It is another object of the present invention to provide a non-uniformity correction method according to a temperature change of an infrared ray detector.
상술한 본 발명의 목적에 따른 적외선 검출기의 온도 변화에 따라 불균일을 보정하는 열상 카메라는, 피사체의 적외선이 입사되는 렌즈(lens); 셔터(shutter); 상기 셔터를 닫거나 여는 셔터 제어부; 상기 렌즈 및 셔터를 통해 입사되는 적외선을 화소별로 검출하는 다수의 적외선 검출기; 상기 적외선 검출기에서 검출된 적외선을 디지털 값으로 변환하여 적외선 영상을 생성/출력하는 A/D 변환기; 상기 적외선 검출기의 온도를 감지하는 온도 감지부; 상기 셔터가 닫힘 상태에서 상기 온도 감지부에서 감지된 온도와 현재 시점에서 상기 온도 감지부에서 감지된 온도 간의 온도 차이를 산출하고, 산출된 온도 차이가 소정 임계치 이상인 경우에는 상기 셔터 제어부가 상기 셔터를 닫도록 제어하고 불균일 보정을 수행하여 불균일 보정 데이터를 생성하는 불균일 보정부; 상기 생성/출력된 적외선 영상에 대하여 상기 불균일 보정부에서 생성된 불균일 보정 데이터를 적용하여 적외선 영상을 보정하는 영상 보정부를 포함하도록 구성될 수 있다.According to an aspect of the present invention, there is provided a thermal camera for correcting unevenness according to a temperature change of an infrared ray detector, including: a lens through which infrared rays of a subject are incident; A shutter; A shutter control unit for closing or opening the shutter; A plurality of infrared detectors for detecting infrared rays incident through the lens and the shutter for each pixel; An A / D converter for converting an infrared ray detected by the infrared ray detector into a digital value and generating / outputting an infrared ray image; A temperature sensing unit for sensing a temperature of the infrared ray detector; Wherein the controller calculates the temperature difference between the temperature sensed by the temperature sensing unit and the temperature sensed by the temperature sensing unit at the present time when the shutter is closed and if the calculated temperature difference is equal to or greater than the predetermined threshold, A non-uniform correction unit that performs non-uniform correction and controls non-uniformity correction so as to generate non-uniformity correction data; And an image correction unit for correcting the infrared image by applying the non-uniformity correction data generated by the non-uniformity correction unit to the generated / outputted infrared image.
이때, 상기 불균일 보정부는, 상기 적외선 검출기에서 검출된 화소별 온도 변화를 산출하고, 산출된 온도 차이가 소정 임계치 이상인 경우에는 상기 셔터 제어부가 상기 셔터를 닫도록 제어하고 불균일 보정을 수행하여 불균일 보정 데이터를 생성하도록 구성될 수 있다.At this time, the non-uniformity correction unit calculates a temperature change per pixel detected by the infrared detector, and controls the shutter control unit to close the shutter when the calculated temperature difference is equal to or larger than the predetermined threshold value, performs non-uniformity correction, . ≪ / RTI >
상술한 본 발명의 목적에 따른 적외선 검출기의 온도 변화에 따른 불균일 보정 방법은, 적외선 검출기가 렌즈를 통해 입사되는 피사체의 적외선을 화소별로 감지하는 단계; A/D 변환기가 상기 화소별로 감지된 적외선을 디지털 값으로 변환하여 적외선 영상을 생성/출력하는 단계; 온도 감지부가 상기 적외선 검출기의 온도를 감지하는 단계; 불균일 보정부가 셔터가 닫힘 상태에서 상기 온도 감지부에서 감지된 온도와 현재 시점에서 상기 온도 감지부에서 감지된 온도 간의 온도 차이를 산출하는 단계; 상기 불균일 보정부가 상기 산출된 온도 차이가 소정 임계치 이상인지 판단하는 단계; 상기 판단 결과 상기 온도 차이가 소정 임계치 이상인 경우, 상기 불균일 보정부가 상기 셔터 제어부로 하여금 셔터를 닫도록 제어하는 단계; 상기 셔터가 닫힌 상태에서 상기 불균일 보정부가 불균일 보정을 수행하여 불균일 보정 데이터를 생성하는 단계; 영상 보정부가 상기 A/D 변환기에서 생성/출력된 적외선 영상에 대하여 상기 불균일 보정부에서 생성된 불균일 보정 데이터를 적용하여 적외선 영상을 보정하는 단계를 포함하도록 구성될 수 있다.According to another aspect of the present invention, there is provided a non-uniformity correction method for an infrared ray detector according to a temperature change, the method comprising: detecting infrared rays of an object to be incident through a lens; Generating an infrared image by converting an infrared ray detected for each pixel into a digital value by an A / D converter; Sensing a temperature of the infrared detector; Calculating a temperature difference between a temperature sensed by the temperature sensing unit and a temperature sensed by the temperature sensing unit at a current time when the shutter is in a closed state; Determining whether the calculated temperature difference is greater than or equal to a predetermined threshold; Controlling the shutter control unit to close the shutter when the temperature difference is equal to or greater than a predetermined threshold; Performing non-uniformity correction on the non-uniformity correction portion in a state in which the shutter is closed to generate non-uniformity correction data; And the image correction unit may correct the infrared image by applying the non-uniformity correction data generated by the non-uniformity correction unit to the infrared image generated / outputted by the A / D converter.
이때, 상기 불균일 보정부가 상기 적외선 검출기에서 검출된 화소별 온도 변화를 산출하고, 산출된 온도 차이가 소정 임계치 이상인지 판단하고, 판단 결과 소정 임계치 이상인 경우에는 상기 셔터 제어부가 상기 셔터를 닫도록 제어하고 불균일 보정을 수행하여 불균일 보정 데이터를 생성하고, 상기 영상 보정부가 상기 A/D 변환기에서 생성/출력된 적외선 영상에 대하여 상기 불균일 보정부에서 생성된 불균일 보정 데이터를 적용하여 적외선 영상을 보정하는 단계를 더 포함하도록 구성될 수 있다.At this time, the non-uniformity correction unit calculates the temperature change of each pixel detected by the infrared ray detector, determines whether the calculated temperature difference is equal to or greater than a predetermined threshold value, and controls the shutter control unit to close the shutter Performing nonuniformity correction to generate nonuniformity correction data, and correcting the infrared image by applying the nonuniformity correction data generated by the nonuniformity correction unit to the infrared image generated by the image correction unit and output from the A / D converter As shown in FIG.
상기와 같은 적외선 검출기의 온도 변화에 따라 불균일을 보정하는 열상 카메라 및 그 불균일 보정 방법에 의하면, 불균일 보정을 위한 주기를 주기적으로 설정하지 않고 적외선 탐지기의 온도 변화에 따라 비주기적으로 설정함으로써, 불필요한 불균일 보정을 줄이고 셔터의 수명을 늘리는 효과가 있다.According to the thermal camera and the non-uniformity correction method for correcting the non-uniformity in accordance with the temperature change of the infrared ray detector as described above, the period for nonuniformity correction is set periodically, and is set non-periodically according to the temperature change of the infrared ray detector, It has the effect of reducing the correction and increasing the life of the shutter.
그리고 불균일 보정 주기를 적외선 탐지기의 온도에 따라 최적의 가변 주기로 설정할 수 있는 효과가 있다.The non-uniformity correction period can be set to an optimum variable period according to the temperature of the infrared ray detector.
이에, 영상의 품질을 유지한 채 셔터의 수명을 최대한 늘릴 수 있는 장점이 있다.Therefore, the life of the shutter can be maximized while maintaining the quality of the image.
도 1은 적외선 탐지기의 온도에 따른 화소의 특성 변화를 나타내는 그래프이다.
도 2는 셔터를 닫고 불균일 보정이 수행된 영상의 예시도이다.
도 3은 셔터를 열고 불균일 보정된 오프셋이 적용된 적외선 영상의 예시도이다.
도 4는 본 발명의 일 실시예에 따라 적외선 검출기의 온도 변화에 따라 불균일을 보정하는 열상 카메라의 블록 구성도이다.
도 5는 본 발명의 일 실시예에 따른 적외선 검출기의 온도 변화에 따른 불균일 보정 방법의 흐름도이다.1 is a graph showing changes in characteristics of a pixel according to the temperature of an infrared ray detector.
2 is an illustration of an image in which a shutter is closed and non-uniformity correction is performed.
FIG. 3 is an exemplary view of an infrared image to which a shutter is opened and a non-uniformly corrected offset is applied.
4 is a block diagram of a thermal imaging camera that corrects nonuniformity according to temperature change of an infrared ray detector according to an embodiment of the present invention.
5 is a flowchart of a method for correcting non-uniformity according to temperature change of an infrared ray detector according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail to the concrete inventive concept.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Like reference numerals are used for like elements in describing each drawing.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, .
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도 4 및 도 5를 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to FIGS. 4 and 5. FIG.
도 4는 본 발명의 일 실시예에 따라 적외선 검출기의 온도 변화에 따라 불균일을 보정하는 열상 카메라의 블록 구성도이다.4 is a block diagram of a thermal imaging camera that corrects nonuniformity according to temperature change of an infrared ray detector according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 일 실시예에 따라 적외선 검출기의 온도 변화에 따라 불균일을 보정하는 열상 카메라(100)(이하, '열상 카메라'라 함)는 렌즈(110), 셔터(120), 셔터 제어부(130), 적외선 탐지기(140), A/D 변환기(150), 온도 감지부(160), 불균일 보정부(170), 영상 보정부(180)를 포함하도록 구성될 수 있다.Referring to FIG. 4, a thermal imaging camera 100 (hereinafter referred to as a thermal imaging camera) for correcting irregularities according to temperature changes of an infrared ray detector according to an embodiment of the present invention includes a lens 110, a shutter 120, A
열상 카메라(100)는 불균일 보정을 위한 주기를 1분, 10분 등 주기적으로 설정하지 않고 적외선 탐지기(140)의 온도 변화에 따라 불균일 보정하도록 설정함으로써, 불필요하거나 너무 잦은 불균일 보정 횟수를 줄이고 셔터(120)의 수명도 늘릴 수 있다.The
즉, 열상 카메라(100)는 최적의 불균일 보정 타이밍으로 적외선 영상의 품질을 정상적으로 유지할 수 있다.That is, the
이하, 세부적인 구성에 대하여 설명한다.Hereinafter, the detailed configuration will be described.
렌즈(lens)(110)는 피사체의 적외선이 입사되는 광학계 구성이다.A lens 110 is an optical system configuration in which an infrared ray of a subject is incident.
셔터(shutter)(120) 렌즈(110)를 통해 입사되는 적외선을 차단시키기 위한 구성이다. 본 발명에서 셔터(120)는 적외선의 차단을 통해 불균일 보정을 하는 데 이용된다.A shutter 120 blocks the infrared ray incident through the lens 110. In the present invention, the shutter 120 is used for non-uniformity correction through interception of infrared rays.
셔터 제어부(130)는 셔터(120)를 닫거나 여는 동작을 제어한다.The
적외선 검출기(140)는 적외선 센서로서 화소별로 복수 개가 구비된다.The
적외선 검출기(140)는 렌즈(110) 및 셔터(120)를 통해 입사되는 적외선을 화소별로 검출하도록 구성된다.The
A/D 변환기(150)는 적외선 검출기(140)에서 검출된 적외선을 디지털 값으로 변환하여 적외선 영상을 생성/출력하도록 구성된다.The A /
온도 감지부(160)는 적외선 검출기(140)의 온도를 직접 감지하도록 구성된다. 적외선 검출기(140)의 온도가 급격하게 변화함에 따라 각 적외선 검출기(140)의 부품별 편차가 발생하기 때문에 이를 감지하기 위함이다.The temperature sensing unit 160 is configured to directly sense the temperature of the
또한, 온도 감지부(160)는 적외선 검출기(140)의 온도를 직접 감지하거나 또는 적외선 검출기(140)에서 검출되는 화소별 온도 변화를 산출하도록 구성된다. 직접 감지하지 않더라도 적외선 검출기(140)에서 적외선의 양에 따라 변화된 전기적 신호의 변화 정도를 감지하여 적외선 검출기(140) 자체의 온도 변화를 추정 내지는 감지할 수 있다. 이에, 불균일 보정할 타이밍이 되었음을 간접적으로 인지하는 것이 가능하다.The temperature sensing unit 160 is configured to directly sense the temperature of the
불균일 보정부(170)는 셔터(120)가 닫힘 상태에서 온도 감지부(160)에서 감지된 온도와 현재 시점에서 온도 감지부(160)에서 감지된 온도 간의 온도 차이를 산출하도록 구성된다. 이는 적외선 검출기(140)의 온도 변화가 커져서 불균일 보정을 할 타이밍이 되었는지 판단하기 위함이다.The
불균일 보정부(170)는 산출된 온도 차이가 소정 임계치 이상인 경우에는 셔터 제어부(130)가 셔터(120)를 닫도록 제어하고 불균일 보정을 수행하여 불균일 보정 데이터를 생성하도록 구성된다. 셔터(120)를 닫은 채 적외선 검출기(140)에서 검출되는 적외선 양은 화소마다 모두 일정해야 하는데, 각 적외선 검출기(140)마다 편차가 생긴다. 이때, 그 편차 즉 오프셋이 불균일 보정 데이터가 되며, 이를 메모리에 저장하여 적외선 영상의 보정에 활용한다.The
한편, 불균일 보정부(170)는 적외선 검출기(140)의 온도를 직접 측정하지 않고 적외선 검출기(140)에서 검출된 화소별 온도 변화를 산출하여 불균일 보정 타이밍을 예측하도록 구성될 수 있다.On the other hand, the
불균일 보정부(170)는 적외선이 검출된 각 화소의 자체의 온도 변화를 통해 적외선 검출기(140)의 온도 변화를 가늠하고, 그 산출된 각 화소 자체의 온도 차이가 소정 임계치 이상인지 판단하도록 구성된다.The
상기 판단 결과 온도 차이가 소정 임계치 이상인 경우에는 불균일 보정부(170)가 셔터 제어부(130)로 하여금 셔터(120)를 닫도록 제어하고 불균일 보정을 수행하여 불균일 보정 데이터를 생성하도록 구성된다.If the temperature difference is equal to or greater than the predetermined threshold value, the
영상 보정부(180)는 A/D 변환기(150)에서 생성/출력된 적외선 영상에 대하여 불균일 보정부(170)에서 생성된 불균일 보정 데이터를 적용하여 적외선 영상을 보정하도록 구성된다.The
도 5는 본 발명의 일 실시예에 따른 적외선 검출기의 온도 변화에 따른 불균일 보정 방법의 흐름도이다.5 is a flowchart of a method for correcting non-uniformity according to temperature change of an infrared ray detector according to an embodiment of the present invention.
도 5를 참조하면, 먼저 적외선 검출기(140)가 렌즈(110)를 통해 입사되는 피사체의 적외선을 화소별로 감지한다(S101).Referring to FIG. 5, first, the
다음으로, A/D 변환기(150)가 화소별로 감지된 적외선을 디지털 값으로 변환하여 적외선 영상을 생성/출력한다(S102).Next, the A /
다음으로, 온도 감지부(160)가 적외선 검출기(140)의 온도를 감지한다(S103).Next, the temperature sensing unit 160 senses the temperature of the infrared ray detector 140 (S103).
다음으로, 불균일 보정부(170)가 셔터(120)가 닫힘 상태에서 온도 감지부(160)에서 감지된 온도와 현재 시점에서 온도 감지부(160)에서 감지된 온도 간의 온도 차이를 산출한다(S104).Next, the
이때, 불균일 보정부(170)가 앞서 산출된 온도 차이가 소정 임계치 이상인지 판단한다(S105).At this time, the
상기 판단 결과 온도 차이가 소정 임계치 이상인 경우, 불균일 보정부(170)가 셔터 제어부(130)로 하여금 셔터(120)를 닫도록 제어한다(S106).If the temperature difference is equal to or greater than the predetermined threshold value, the
상기 판단 결과 온도 차이가 소정 임계치 이하인 경우, 불균일 보정부(170)가 적외선 검출기(140)에서 검출된 화소별 온도 변화를 산출한다(S105a),If the temperature difference is less than or equal to the predetermined threshold value, the
그리고 불균일 보정부(170)가 산출된 온도 차이가 임계치 이상인지 판단하고 임계치 이상인 경우에는 불균일 보정부(170)가 셔터 제어부(130)로 하여금 셔터(120)를 닫도록 제어한다(S106).The
다음으로, 셔터(120)가 닫힌 상태에서 불균일 보정부(170)가 불균일 보정을 수행하여 불균일 보정 데이터를 생성한다(S107).Next, in a state in which the shutter 120 is closed, the
다음으로, 영상 보정부(180)가 A/D 변환기(150)에서 생성/출력된 적외선 영상에 대하여 불균일 보정부(170)에서 생성된 불균일 보정 데이터를 적용하여 적외선 영상을 보정한다(S108).Next, the
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the following claims. There will be.
110: 렌즈
120: 셔터
130: 셔터 제어부
140: 적외선 검출기
150: A/D 변환기
160: 온도 감지부
170: 불균일 보정부
180: 영상 보정부110: lens
120: Shutter
130:
140: Infrared detector
150: A / D converter
160: Temperature sensing unit
170: Non-uniformity correction unit
180: Image correction unit
Claims (4)
피사체의 적외선이 입사되는 렌즈(lens);
셔터(shutter);
상기 셔터를 닫거나 여는 셔터 제어부;
상기 렌즈 및 셔터를 통해 입사되는 적외선을 화소별로 검출하는 다수의 적외선 검출기;
상기 적외선 검출기에서 검출된 적외선을 디지털 값으로 변환하여 적외선 영상을 생성/출력하는 A/D 변환기;
상기 적외선 검출기의 온도를 감지하는 온도 감지부;
상기 셔터가 닫힘 상태에서 상기 온도 감지부에서 감지된 온도와 현재 시점에서 상기 온도 감지부에서 감지된 온도 간의 온도 차이를 산출하고, 산출된 온도 차이가 소정 임계치 이상인 경우에는 상기 셔터 제어부가 상기 셔터를 닫도록 제어하고 불균일 보정을 수행하여 불균일 보정 데이터를 생성하는 불균일 보정부;
상기 생성/출력된 적외선 영상에 대하여 상기 불균일 보정부에서 생성된 불균일 보정 데이터를 적용하여 적외선 영상을 보정하는 영상 보정부를 포함하는 적외선 검출기의 온도 변화에 따라 불균일을 보정하는 열상 카메라.In a thermal imaging camera,
A lens through which infrared rays of a subject are incident;
A shutter;
A shutter control unit for closing or opening the shutter;
A plurality of infrared detectors for detecting infrared rays incident through the lens and the shutter for each pixel;
An A / D converter for converting an infrared ray detected by the infrared ray detector into a digital value and generating / outputting an infrared ray image;
A temperature sensing unit for sensing a temperature of the infrared ray detector;
Wherein the controller calculates the temperature difference between the temperature sensed by the temperature sensing unit and the temperature sensed by the temperature sensing unit at the present time when the shutter is closed and if the calculated temperature difference is equal to or greater than the predetermined threshold, A non-uniform correction unit that performs non-uniform correction and controls non-uniformity correction so as to generate non-uniformity correction data;
And an image correction unit for correcting an infrared image by applying non-uniformity correction data generated by the non-uniformity correction unit to the generated / outputted infrared image.
상기 적외선 검출기에서 검출된 화소별 온도 변화를 산출하고, 산출된 온도 차이가 소정 임계치 이상인 경우에는 상기 셔터 제어부가 상기 셔터를 닫도록 제어하고 불균일 보정을 수행하여 불균일 보정 데이터를 생성하는 것을 특징으로 하는 적외선 검출기의 온도 변화에 따라 불균일을 보정하는 열상 카메라.The apparatus according to claim 1, wherein the non-
Wherein when the calculated temperature difference is equal to or greater than a predetermined threshold value, the shutter control unit controls the shutter to close and performs non-uniformity correction to generate non-uniformity correction data. A thermal camera that corrects for irregularities according to the temperature change of the infrared detector.
A/D 변환기가 상기 화소별로 감지된 적외선을 디지털 값으로 변환하여 적외선 영상을 생성/출력하는 단계;
온도 감지부가 상기 적외선 검출기의 온도를 감지하는 단계;
불균일 보정부가 셔터가 닫힘 상태에서 상기 온도 감지부에서 감지된 온도와 현재 시점에서 상기 온도 감지부에서 감지된 온도 간의 온도 차이를 산출하는 단계;
상기 불균일 보정부가 상기 산출된 온도 차이가 소정 임계치 이상인지 판단하는 단계;
상기 판단 결과 상기 온도 차이가 소정 임계치 이상인 경우, 상기 불균일 보정부가 상기 셔터 제어부로 하여금 셔터를 닫도록 제어하는 단계;
상기 셔터가 닫힌 상태에서 상기 불균일 보정부가 불균일 보정을 수행하여 불균일 보정 데이터를 생성하는 단계;
영상 보정부가 상기 A/D 변환기에서 생성/출력된 적외선 영상에 대하여 상기 불균일 보정부에서 생성된 불균일 보정 데이터를 적용하여 적외선 영상을 보정하는 단계를 포함하는 것을 특징으로 하는 적외선 검출기의 온도 변화에 따른 불균일 보정 방법.Detecting an infrared ray of an object incident on the infrared ray detector through the lens;
Generating an infrared image by converting an infrared ray detected for each pixel into a digital value by an A / D converter;
Sensing a temperature of the infrared detector;
Calculating a temperature difference between a temperature sensed by the temperature sensing unit and a temperature sensed by the temperature sensing unit at a current time when the shutter is in a closed state;
Determining whether the calculated temperature difference is greater than or equal to a predetermined threshold;
Controlling the shutter control unit to close the shutter when the temperature difference is equal to or greater than a predetermined threshold;
Performing non-uniformity correction on the non-uniformity correction portion in a state in which the shutter is closed to generate non-uniformity correction data;
And correcting the infrared image by applying the non-uniformity correction data generated by the non-uniformity correction unit to the infrared image generated / outputted from the A / D converter by the image correction unit. Non-uniformity correction method.
상기 불균일 보정부가 상기 적외선 검출기에서 검출된 화소별 온도 변화를 산출하고, 산출된 온도 차이가 소정 임계치 이상인지 판단하고, 판단 결과 소정 임계치 이상인 경우에는 상기 셔터 제어부가 상기 셔터를 닫도록 제어하고 불균일 보정을 수행하여 불균일 보정 데이터를 생성하고, 상기 영상 보정부가 상기 A/D 변환기에서 생성/출력된 적외선 영상에 대하여 상기 불균일 보정부에서 생성된 불균일 보정 데이터를 적용하여 적외선 영상을 보정하는 단계를 더 포함하는 것을 특징으로 하는 적외선 검출기의 온도 변화에 따른 불균일 보정 방법.4. The method according to claim 3, wherein, in the step of determining whether the non-uniformity correction section calculates the calculated temperature difference to be equal to or greater than a predetermined threshold value,
Wherein the non-uniformity correction unit calculates the temperature change of each pixel detected by the infrared ray detector, and determines whether the calculated temperature difference is equal to or greater than a predetermined threshold value, and controls the shutter control unit to close the shutter when the calculated temperature difference is equal to or greater than a predetermined threshold, And correcting the infrared image by applying the non-uniformity correction data generated by the non-uniformity correction unit to the infrared image generated / outputted by the image correction unit by the A / D converter And correcting the non-uniformity according to the temperature change of the infrared ray detector.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130094777A KR101438327B1 (en) | 2013-08-09 | 2013-08-09 | Thermal imaging camera for correcting ununiformity according to temperature of infrared detector and method of correcting ununiformity in the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130094777A KR101438327B1 (en) | 2013-08-09 | 2013-08-09 | Thermal imaging camera for correcting ununiformity according to temperature of infrared detector and method of correcting ununiformity in the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101438327B1 true KR101438327B1 (en) | 2014-09-04 |
Family
ID=51759518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130094777A KR101438327B1 (en) | 2013-08-09 | 2013-08-09 | Thermal imaging camera for correcting ununiformity according to temperature of infrared detector and method of correcting ununiformity in the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101438327B1 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160038513A (en) * | 2014-09-30 | 2016-04-07 | 에스케이텔레콤 주식회사 | Thermal imaging camera apparatus and driving method |
KR20160050542A (en) * | 2014-10-30 | 2016-05-11 | 에스케이텔레콤 주식회사 | Imaging processing apparatus and method |
KR101821644B1 (en) * | 2016-12-28 | 2018-01-24 | 한화시스템 주식회사 | Apparatus and method of infrared non-uniformity correction by real-time temperature estimation |
KR102013206B1 (en) * | 2018-12-24 | 2019-08-22 | 한화시스템 주식회사 | Method for generating correction data and method for processing infrared image using the same |
KR102025195B1 (en) | 2019-01-23 | 2019-09-25 | 한화시스템 주식회사 | Shutter apparatus for infrared seeker |
KR102093917B1 (en) * | 2019-07-03 | 2020-03-26 | 한화시스템 주식회사 | Thermal imagery apparatus and operating method thereof |
WO2021201573A1 (en) * | 2020-03-30 | 2021-10-07 | (주)씨앤테크 | Temperature measurement apparatus and method for measuring temperature of object using same |
CN115211098A (en) * | 2020-07-22 | 2022-10-18 | Jvc建伍株式会社 | Image processing apparatus, image processing method, and program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101167260B1 (en) | 2003-08-11 | 2012-07-23 | 옵갈 리미티드 | Radiometry using an uncooled microbolometer detector |
-
2013
- 2013-08-09 KR KR1020130094777A patent/KR101438327B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101167260B1 (en) | 2003-08-11 | 2012-07-23 | 옵갈 리미티드 | Radiometry using an uncooled microbolometer detector |
KR101236551B1 (en) | 2003-08-11 | 2013-02-22 | 옵갈 리미티드 | Radiometry using an uncooled microbolometer detector and infra-red camera using thereof |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160038513A (en) * | 2014-09-30 | 2016-04-07 | 에스케이텔레콤 주식회사 | Thermal imaging camera apparatus and driving method |
KR102098200B1 (en) * | 2014-09-30 | 2020-04-07 | 에스케이텔레콤 주식회사 | Thermal imaging camera apparatus and driving method |
KR20160050542A (en) * | 2014-10-30 | 2016-05-11 | 에스케이텔레콤 주식회사 | Imaging processing apparatus and method |
KR102098203B1 (en) * | 2014-10-30 | 2020-04-08 | 에스케이텔레콤 주식회사 | Imaging processing apparatus and method |
KR101821644B1 (en) * | 2016-12-28 | 2018-01-24 | 한화시스템 주식회사 | Apparatus and method of infrared non-uniformity correction by real-time temperature estimation |
KR102013206B1 (en) * | 2018-12-24 | 2019-08-22 | 한화시스템 주식회사 | Method for generating correction data and method for processing infrared image using the same |
KR102025195B1 (en) | 2019-01-23 | 2019-09-25 | 한화시스템 주식회사 | Shutter apparatus for infrared seeker |
KR102093917B1 (en) * | 2019-07-03 | 2020-03-26 | 한화시스템 주식회사 | Thermal imagery apparatus and operating method thereof |
WO2021201573A1 (en) * | 2020-03-30 | 2021-10-07 | (주)씨앤테크 | Temperature measurement apparatus and method for measuring temperature of object using same |
CN115211098A (en) * | 2020-07-22 | 2022-10-18 | Jvc建伍株式会社 | Image processing apparatus, image processing method, and program |
CN115211098B (en) * | 2020-07-22 | 2023-07-11 | Jvc建伍株式会社 | Image processing apparatus, image processing method, and storage medium |
EP4187895A4 (en) * | 2020-07-22 | 2024-01-17 | Jvckenwood Corp | Image processing device, image processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101438327B1 (en) | Thermal imaging camera for correcting ununiformity according to temperature of infrared detector and method of correcting ununiformity in the same | |
US10469747B2 (en) | Infrared imaging device and signal correction method using infrared imaging device | |
US7772557B2 (en) | Offset compensation scheduling algorithm for infrared imagers | |
US9924116B2 (en) | Time based offset correction for imaging systems and adaptive calibration control | |
KR101656173B1 (en) | Method and apparatus for detecting faulty pixel in thermal camera | |
US9930324B2 (en) | Time based offset correction for imaging systems | |
US20190075256A1 (en) | Method of shutterless non-uniformity correction for infrared imagers | |
US9438825B2 (en) | Infrared sensor amplification techniques for thermal imaging | |
Mudau et al. | Non-uniformity correction and bad pixel replacement on LWIR and MWIR images | |
US20090273675A1 (en) | Ir camera and method for use with ir camera | |
US20120169866A1 (en) | Thermal imager with non-uniformity correction | |
JP6540519B2 (en) | Infrared imaging device | |
CN104251742A (en) | Two-point linear and target and environment-based binary non-linear infrared detector heterogeneity correction method | |
US9473711B2 (en) | Image processing apparatus and image processing method for the same | |
JP2013196004A (en) | Imaging apparatus and image sensor included in the same | |
KR101282567B1 (en) | Apparatus and method for amending non-uniformity of handheld thermal imaging camera | |
JP2017090457A (en) | Pixel non-uniformity correction | |
EP3182082B1 (en) | Gain normalization | |
KR101731287B1 (en) | Method and apparatus for compensating output of infrared sensor | |
JP2012058064A (en) | Method for correcting data of infrared imaging device | |
KR101504022B1 (en) | Thermal imaging camera for correcting ununiformity usign fixed subject and method of correcting ununiformity in the same | |
JP2005260453A (en) | Infrared ray image correction apparatus | |
EP4084467B1 (en) | A method and a thermal camera having a microbolometer detector for capturing a sequence of image frames | |
KR101996611B1 (en) | Method for detecting faulty pixel in infrared detector | |
KR102298343B1 (en) | Method and device for monitoring the body temperature of moving object using thermal imaging sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170620 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180618 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190613 Year of fee payment: 6 |