KR101996611B1 - Method for detecting faulty pixel in infrared detector - Google Patents
Method for detecting faulty pixel in infrared detector Download PDFInfo
- Publication number
- KR101996611B1 KR101996611B1 KR1020170053668A KR20170053668A KR101996611B1 KR 101996611 B1 KR101996611 B1 KR 101996611B1 KR 1020170053668 A KR1020170053668 A KR 1020170053668A KR 20170053668 A KR20170053668 A KR 20170053668A KR 101996611 B1 KR101996611 B1 KR 101996611B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- gain value
- value
- output
- output gain
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012937 correction Methods 0.000 claims abstract description 83
- 230000002950 deficient Effects 0.000 claims abstract description 56
- 238000012935 Averaging Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 20
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 101000889890 Homo sapiens Testis-expressed protein 11 Proteins 0.000 description 8
- 102100040172 Testis-expressed protein 11 Human genes 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 239000006185 dispersion Substances 0.000 description 6
- 238000001931 thermography Methods 0.000 description 4
- 101100536808 Tetrahymena thermophila TGP1 gene Proteins 0.000 description 3
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004836 empirical method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H04N5/217—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
본 발명은 적외선 검출기의 불량 화소 검출 장치 및 불량 화소 검출 방법에 관한 것으로서, 입사되는 적외선에 대하여 비정상적인 전기적 신호를 출력하는 불량 화소를 검출하기 위한 적외선 검출기의 불량 화소 검출 장치 및 불량 화소 검출 방법에 관한 것이다.
본 발명의 실시 예에 따른 적외선 검출기의 불량 화소 검출 방법은, 적외선 검출기의 화소별 출력 이득 값을 산출하는 과정; 상기 화소별 출력 이득 값에서 화소의 위치에 따른 기준 이득 편차를 제거하여 보정 이득 값을 계산하는 과정; 임계 보정 이득 값을 설정하는 과정; 및 상기 보정 이득 값과 상기 임계 보정 이득 값을 비교하여 불량 화소를 검출하는 과정;을 포함한다.The present invention relates to a defective pixel detecting apparatus and a defective pixel detecting method for an infrared ray detector for detecting a defective pixel for outputting an abnormal electrical signal to an incident infrared ray will be.
A defective pixel detection method of an infrared ray detector according to an embodiment of the present invention includes: calculating an output gain value for each pixel of an infrared ray detector; Calculating a correction gain value by removing a reference gain deviation according to a pixel position from the pixel-by-pixel output gain value; Setting a threshold correction gain value; And detecting a defective pixel by comparing the corrected gain value and the threshold correction gain value.
Description
본 발명은 적외선 검출기의 불량 화소 검출 장치 및 불량 화소 검출 방법에 관한 것으로서, 입사되는 적외선에 대하여 비정상적인 전기적 신호를 출력하는 불량 화소를 검출하기 위한 적외선 검출기의 불량 화소 검출 장치 및 불량 화소 검출 방법에 관한 것이다.The present invention relates to a defective pixel detecting apparatus and a defective pixel detecting method for an infrared ray detector for detecting a defective pixel for outputting an abnormal electrical signal to an incident infrared ray will be.
빛이 없는 야간에서 표적과 배경이 방출하는 고유한 복사 에너지의 차이를 감지하는 열 영상 장비의 핵심 부품은 적외선 검출기이다.A key component of thermal imagers that detect the difference between the radiant energy emitted by the target and the background in the absence of light is the infrared detector.
적외선 검출기의 작동 원리는, 물체에서 발산하는 적외선 영역의 파장대(장파 영역은 8~12㎛, 중파 영역은 3~5㎛의 파장을 갖는다)의 적외선을 검출하여 이를 전기적인 신호로 바꾸어준다. 상기와 같이 적외선 검출기를 통해 변환된 전기적인 신호는 모니터로 디스플레이되어, 물체의 온도 분포에 따라 일정한 영상으로서 나타나게 된다.The operating principle of the infrared detector is to detect the infrared rays of the infrared region of the infrared ray emitted from the object (the long wave region has a wavelength of 8 to 12 μm and the middle wave region has a wavelength of 3 to 5 μm). As described above, the electric signal converted through the infrared ray detector is displayed on the monitor and displayed as a constant image according to the temperature distribution of the object.
열 영상 장비의 광학 렌즈를 통해 입사된 적외선은 적외선 검출기의 각 화소에 입사되는데, 이때 적외선 검출기는 입사된 적외선 에너지에 반응하여 변화하는 저항값을 측정함으로써 적외선 에너지를 전기적인 신호로 변환한다. 여기서, 적외선 검출기의 각 화소는 동일한 적외선 에너지에 대해서 동일한 전기적인 신호를 출력해야 하지만 모든 화소들은 각각 다른 특성을 보일 수 있다.Infrared rays incident through the optical lens of the thermal imager are incident on each pixel of the infrared detector, and the infrared detector converts the infrared energy into an electrical signal by measuring the changing resistance value in response to the incident infrared energy. Here, each pixel of the infrared detector should output the same electrical signal for the same infrared energy, but all the pixels may show different characteristics.
적외선 검출기의 모든 화소들이 동일한 특성을 나타내도록 각각의 화소들에 대해서 이득(gain) 값과 오프셋(offset) 값을 조절해 주는 방법이 불균일 보정(non-uniformity correction)이다.Non-uniformity correction is a method of adjusting a gain value and an offset value for each pixel so that all the pixels of the infrared detector exhibit the same characteristics.
그러나, 불균일 보정을 적용하는 경우에도 전기적인 신호 출력이 동일하게 나타나지 않고 반응이 높거나 낮아지는 특성을 보이는 화소가 존재하는데, 이러한 화소들은 적외선 검출기에 존재하는 불량 화소들이다.However, even when the non-uniformity correction is applied, there are pixels that exhibit the characteristics that the electrical signal output is not the same and the response is high or low, and these pixels are defective pixels existing in the infrared detector.
이러한 불량 화소를 검출하기 위하여, 종래에는 적외선 검출기의 교정(calibration) 또는 불균일 보정 단계에서 각 화소별 이득 값과 오프셋 값에 대해 하나의 임계(threshold) 값을 적용하거나, 영상을 여러 개의 영역으로 구분하여 각 영역에 대하여 개별적인 임계 값을 적용하는 방법을 사용하였다.In order to detect such defective pixels, conventionally, a threshold value is applied to a gain value and an offset value for each pixel in the calibration or non-uniformity correction step of the infrared ray detector, or the image is divided into a plurality of regions And applying a separate threshold value for each region.
그러나, 이러한 종래의 불량 화소 검출 방법은 서로 다른 이득 값과 오프셋 값을 가지는 모든 화소에 대하여 하나의 임계 값으로 불량 화소를 검출하게 되어, 정확한 검출 결과를 얻을 수 없는 문제점이 있었다. 또한, 영상을 여러 개의 영역으로 구분하여 각 영역에 대하여 개별적인 임계 값을 적용하는 경우, 불량 화소의 검출 성능은 다소 증가하나, 각 영역에 대한 임계 값을 조절하고 영역 분할 방법을 결정하기 위하여 경험적인 방법을 반복적으로 시도하여야 하는 등, 비효율적인 요소를 포함하는 문제점이 있었다.However, the conventional bad pixel detection method has a problem that accurate pixels can not be obtained because all the pixels having different gain and offset values are detected as one threshold value. In addition, when an image is divided into several regions and individual threshold values are applied to each region, the detection performance of defective pixels increases somewhat. However, in order to adjust the threshold value for each region and determine the region division method, There is a problem that it involves an inefficient factor such as repeatedly trying the method.
본 발명은 적외선 검출기로 입사되는 적외선의 광량 차이로부터 설정되는 기준 이득 편차를 제거하여 효과적으로 불량 화소를 검출할 수 있는 적외선 검출기의 불량 화소 검출 장치 및 불량 화소 검출 방법을 제공한다.The present invention provides a defective pixel detection apparatus and a defective pixel detection method of an infrared ray detector that can effectively detect a defective pixel by removing a reference gain deviation set from a light amount difference of an infrared ray incident on an infrared ray detector.
또한, 본 발명은 수학적 모델을 이용하는 통계 분포에 기반하여 보다 빠르고 정확하게 불량 화소를 검출할 수 있는 적외선 검출기의 불량 화소 검출 장치 및 불량 화소 검출 방법을 제공한다.Further, the present invention provides a defective pixel detection apparatus and a defective pixel detection method of an infrared ray detector that can detect defective pixels more quickly and accurately based on a statistical distribution using a mathematical model.
본 발명의 실시 예에 따른 적외선 검출기의 불량 화소 검출 방법은, 적외선 검출기의 화소별 출력 이득 값을 산출하는 과정; 상기 화소별 출력 이득 값에서 화소의 위치에 따른 기준 이득 편차를 제거하여 보정 이득 값을 계산하는 과정; 임계 보정 이득 값을 설정하는 과정; 및 상기 보정 이득 값과 상기 임계 보정 이득 값을 비교하여 불량 화소를 검출하는 과정;을 포함한다.A defective pixel detection method of an infrared ray detector according to an embodiment of the present invention includes: calculating an output gain value for each pixel of an infrared ray detector; Calculating a correction gain value by removing a reference gain deviation according to a pixel position from the pixel-by-pixel output gain value; Setting a threshold correction gain value; And detecting a defective pixel by comparing the corrected gain value and the threshold correction gain value.
상기 출력 이득 값을 산출하는 과정은, 균일한 온도를 가지는 균일 면으로부터 획득된 상기 적외선 검출기의 화소별 출력 값으로부터 화소별 출력 이득 값을 산출할 수 있다.The step of calculating the output gain value may calculate the output gain value of each pixel from the output value of each pixel of the infrared ray detector obtained from the uniform surface having a uniform temperature.
상기 보정 이득 값을 계산하는 과정은, 상기 화소별 출력 이득 값으로부터 기준 이득 값을 계산하는 과정; 및 상기 화소별 출력 이득 값에서 상기 기준 이득 값을 제거하는 과정;을 포함할 수 있다.The calculating of the correction gain value may include calculating a reference gain value from the pixel-by-pixel output gain value; And removing the reference gain value from the pixel-by-pixel output gain value.
상기 기준 이득 값을 계산하는 과정은, 화소별로 해당 화소를 포함하는 화소 영역을 설정하고, 상기 화소 영역 내에 위치하는 화소의 출력 이득 값을 평균하여 기준 이득 값을 계산할 수 있다.In the calculating of the reference gain value, a pixel region including the pixel may be set for each pixel, and a reference gain value may be calculated by averaging output gain values of pixels located within the pixel region.
상기 기준 이득 값을 계산하는 과정은, 화소별로 해당 화소를 포함하는 화소 영역을 설정하는 과정; 상기 화소 영역 내에 위치하는 화소의 출력 이득 값을 평균하여 평균 출력 이득 값을 산출하는 과정; 상기 평균 출력 이득 값으로부터 상기 화소 영역 내에 위치하는 화소 중 특이 화소를 추출하는 과정; 상기 특이 화소의 출력 이득 값을 상기 평균 출력 이득 값으로 치환하는 과정; 및 상기 화소 영역 내에 위치하는 화소의 출력 이득 값 및 치환된 평균 출력 이득 값을 평균하여 기준 이득 값을 계산하는 과정;을 포함할 수 있다.The step of calculating the reference gain value includes: setting a pixel region including a corresponding pixel for each pixel; Calculating an average output gain value by averaging output gain values of pixels located within the pixel region; Extracting a singular pixel from among the pixels located in the pixel region from the average output gain value; Replacing the output gain value of the singular pixel with the average output gain value; And calculating a reference gain value by averaging an output gain value and a substituted average output gain value of a pixel located in the pixel region.
상기 특이 화소를 추출하는 과정은, 상기 평균 출력 이득 값과 소정의 차이 값을 가지도록 임계 출력 이득 값을 선택하는 과정; 및 상기 화소 영역 내에 위치하는 화소의 출력 이득 값이 상기 임계 출력 이득 값 사이의 범위를 벗어나는 화소를 특이 화소로 결정하는 과정;을 포함할 수 있다.The step of extracting the singular pixel may include: selecting a threshold output gain value to have a predetermined difference from the average output gain value; And determining a pixel whose output gain value of the pixel located in the pixel region is out of the range between the threshold output gain value as a specific pixel.
상기 화소 영역은 해당 화소가 중심에 배치되는 5×5 또는 7×7 배열의 화소를 포함하는 영역으로 설정될 수 있다.The pixel region may be set as an area including pixels of 5x5 or 7x7 arrangement in which the pixel is disposed at the center.
상기 임계 보정 이득 값을 설정하는 과정은, 상기 보정 이득 값을 평균하여 평균 보정 이득 값을 계산하는 과정; 및 상기 평균 보정 이득 값과 소정의 차이 값을 가지도록 임계 보정 이득 값을 결정하는 과정;을 포함할 수 있다.Wherein the step of setting the threshold correction gain value comprises: calculating an average correction gain value by averaging the correction gain values; And determining a threshold correction gain value to have a predetermined difference value from the average correction gain value.
또한, 본 발명의 실시 예에 따른 적외선 검출기의 불량 화소 검출 장치는 전술한 본 발명의 실시 예에 따른 적외선 검출기의 불량 화소 검출 방법을 이용하여 불량 화소를 검출한다.Further, the defective pixel detecting apparatus of the infrared ray detector according to the embodiment of the present invention detects defective pixels by using the defective pixel detecting method of the infrared ray detector according to the above-described embodiment of the present invention.
본 발명의 실시 예에 따른 적외선 검출기의 불량 화소 검출 장치 및 불량 화소 검출 방법에 의하면, 적외선 검출기의 화소별 출력 이득 값으로부터 적외선 검출기로 입사되는 적외선의 광량 차이에 따른 효과를 제거한 보정 이득 값을 산출하여 불량 화소를 검출함으로써 검출 속도 및 검출 정확성을 향상시킬 수 있다.According to the defective pixel detecting apparatus and the defective pixel detecting method of the infrared ray detector according to the embodiment of the present invention, the correction gain value obtained by removing the effect of the difference in the amount of the infrared ray incident on the infrared ray detector from the output gain value of each pixel of the infrared ray detector is calculated The detection speed and detection accuracy can be improved by detecting defective pixels.
또한, 불량 화소를 검출함에 있어서 적외선 검출기의 각 화소의 고유 특성만을 고려하게 되어 정규 분포의 통계적 분산 특성을 이용할 수 있게 되고, 이에 따라 검출 오차를 최소화할 수 있다.In addition, in detecting defective pixels, only the intrinsic characteristics of each pixel of the infrared detector are considered, so that the statistical dispersion characteristic of the normal distribution can be utilized, thereby minimizing the detection error.
뿐만 아니라, 본 발명의 실시 예에 따른 적외선 검출기의 불량 화소 검출 장치 및 불량 화소 검출 방법에 의하면, 적외선의 광량 차이에 따른 기준 이득 편차를 간단한 계산에 의하여 산출할 수 있게 되어 적외선 검출기의 내장형 시스템으로 탑재될 수 있으며, 그 결과 적외선 검출기의 신뢰성 및 안정성을 향상시킬 수 있다.In addition, according to the defective pixel detecting apparatus and the defective pixel detecting method of the infrared ray detector according to the embodiment of the present invention, the reference gain deviation according to the difference in the amount of infrared rays can be calculated by simple calculation, And as a result, the reliability and stability of the infrared detector can be improved.
도 1은 하나의 임계 값을 적용하여 불량 화소를 검출하는 모습을 나타내는 도면.
도 2는 영역별 임계 값을 적용하여 불량 화소를 검출하는 모습을 나타내는 도면.
도 3은 본 발명의 실시 예에 따른 적외선 검출기의 불량 화소 검출 장치를 개략적으로 나타내는 도면.
도 4는 본 발명의 실시 예에 따른 출력 이득 값이 분포되는 모습을 나타내는 도면.
도 5는 본 발명의 실시 예에 따른 화소 영역을 설정하는 모습을 나타내는 도면.
도 6은 화소 영역 내에 위치하는 화소의 출력 이득 값을 예시적으로 나타내는 도면.
도 7은 화소 영역 내에서 특이 화소의 출력 이득 값이 평균 출력 이득 값으로 치환된 결과를 예시적으로 나타내는 도면.
도 8은 본 발명의 실시 예에 따른 보정 이득 값이 분포되는 모습을 나타내는 도면.
도 9는 임계 보정 이득 값에 따른 정규 분포 곡선을 나타내는 도면.1 is a view showing a state in which a defective pixel is detected by applying one threshold value.
2 is a diagram showing a state in which a defective pixel is detected by applying a threshold value for each region;
3 is a view schematically showing a defective pixel detecting apparatus of an infrared ray detector according to an embodiment of the present invention.
4 is a view showing a distribution of output gain values according to an embodiment of the present invention.
5 is a view showing a state in which a pixel region is set according to an embodiment of the present invention;
6 is a diagram exemplarily showing an output gain value of a pixel located in a pixel region;
7 is a diagram exemplarily showing a result of replacing an output gain value of a specific pixel in the pixel region with an average output gain value;
8 is a view showing a distribution of correction gain values according to an embodiment of the present invention.
9 shows a normal distribution curve according to a threshold correction gain value;
본 발명에 따른 적외선 검출기의 불량 화소 검출 장치 및 불량 화소 검출 방법은 적외선 검출기로 입사되는 적외선의 광량 차이로부터 설정되는 기준 이득 편차를 제거하여 효과적으로 불량 화소를 검출할 수 있는 기술적 특징을 제시한다.The defective pixel detection apparatus and the defective pixel detection method of an infrared ray detector according to the present invention propose a technical feature capable of effectively detecting a defective pixel by removing a reference gain deviation set from a light amount difference of infrared rays incident on an infrared ray detector.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 발명의 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, Is provided to fully inform the user. Wherein like reference numerals refer to like elements throughout.
도 1은 하나의 임계 값을 적용하여 불량 화소를 검출하는 모습을 나타내는 도면이고, 도 2는 영역별 임계 값을 적용하여 불량 화소를 검출하는 모습을 나타내는 도면이다.FIG. 1 is a diagram showing a state in which a defective pixel is detected by applying one threshold value, and FIG. 2 is a diagram showing a state in which a defective pixel is detected by applying a threshold value for each area.
열 영상 장비는 빛이 없는 야간에서 표적과 배경이 방출하는 고유한 복사 에너지의 차이를 감지하기 위한 것으로서, 열 영상 장비 예를 들어 열 영상 카메라의 광학 렌즈를 통해 입사된 적외선은 적외선 검출기의 각 화소에 입사된다.Thermal imaging equipment is used to detect the difference between the radiant energy emitted by the target and the background in the nighttime without light. The infrared rays incident through the optical lens of the thermal imaging device, for example, .
이와 같이 광학 렌즈를 포함하는 열 영상 장비의 경우 적외선 검출기의 각 화소로 입사되는 광량이 시계 분산 영향(field of view dispersion effect) 또는 광학 돔 영향(optical dome effect)에 의하여 코사인 4승 법칙을 따르는 비율로 감소하게 된다. 이는, 적외선 검출기의 각 화소가 입사되는 적외선의 중심(화각 0°)에 대하여 일정 화각을 가지게 되면, 그 면적에 따라 코사인 2승만큼 광량이 작아지게 되고, 이것이 상면에서 화각과 같은 각도로 입사하게 되면 입사와 동일하게 코사인 2승만큼의 광량 감소를 가져 오기 때문이다.In the case of the thermal imaging apparatus including the optical lens, the amount of light incident on each pixel of the infrared detector is determined by the field of view dispersion effect or the optical dome effect, . This is because, when each pixel of the infrared ray detector has a constant angle of view with respect to the center of the incident infrared ray (angle of view of 0 deg.), The amount of light is reduced by the second power of cosine according to the area, The amount of light will be reduced by as much as two cosines.
따라서, 적외선 검출기의 각 화소에 초기 설정되는 이득 값은 이와 같은 시계 분산 영향 또는 광학 돔 영향을 상쇄시키기 위하여 중심부에 배치되는 화소에 비하여 주변부에 배치되는 화소가 보다 높은 이득 값을 가지도록 설정된다. 이하에서는, 이와 같이 시계 분산 영향 또는 광학 돔 영향을 상쇄시키기 위하여 화소별로 초기 설정되는 이득 값을 기준 이득 값으로 명칭하기로 한다.Therefore, the gain value initially set to each pixel of the infrared detector is set so that the pixel arranged at the peripheral portion has a higher gain value as compared with the pixel disposed at the center portion in order to offset such clock dispersion effect or optical dome effect. Hereinafter, a gain value initially set for each pixel is referred to as a reference gain value in order to cancel the effect of the clock dispersion or the optical dome.
적외선 검출기의 화소별 출력 이득 값(GP)은 도 1 및 도 2에 도시된 바와 같이 화소별 기준 이득 값(GS)을 따라 분포하게 된다. 이상적으로, 적외선 검출기의 각 화소는 동일한 적외선 에너지에 대해서 동일한 전기적인 신호를 출력해야 하므로 화소별 출력 이득 값(GP)는 기준 이득 값(GS)과 동일한 값을 가져야 하나, 실제적으로 각 화소는 이득 특성이 상이하게 되어 화소별 기준 이득 값(GS)과 오차 범위 내에서 변위를 가지며 분포하게 된다.The pixel-by-pixel output gain value GP of the infrared detector is distributed along the pixel-by-pixel reference gain value GS as shown in FIG. 1 and FIG. Ideally, each pixel of the infrared detector must output the same electrical signal for the same infrared energy, so the pixel-by-pixel output gain GP must have the same value as the reference gain GS, So that they are distributed with a displacement within the error range and the reference gain value (GS) for each pixel.
적외선 검출기의 화소 중에는 화소별 기준 이득 값(GS)과 오차 범위 이상의 차이를 가지는 특성을 보이는 화소가 존재하는데, 이러한 화소들은 적외선 검출기에 존재하는 불량 화소들이다.Among the pixels of the infrared detector, there are pixels having characteristics differing from the reference gain value (GS) of each pixel by more than the error range, and these pixels are bad pixels existing in the infrared detector.
이러한 불량 화소를 검출하기 위하여, 종래에는 도 1에 도시된 바와 같이, 각 화소별 출력 이득 값(GP)에 대하여 한 가지의 임계(threshold) 값(T1, T2)을 적용하거나, 도 2에 도시된 바와 같이 화소를 여러 개의 영역으로 구분하여 각 영역에 대하여 개별적인 임계 값(TA1, TA2)(TB1, TB2)(TC1, TC2)을 적용하는 방법을 사용하였다.In order to detect such defective pixels, one threshold value (T1, T2) may be applied to the output gain value GP of each pixel as shown in FIG. 1, (TC1, TC2) (TC1, TC2) are applied to the respective regions by dividing the pixels into a plurality of regions.
여기서, 도 1에 도시된 바와 같이 한 가지의 임계 값을 적용하는 경우에는 모든 화소에 대하여 하나의 임계 값으로 불량 화소를 검출하게 되어, 정확한 검출 결과를 얻을 수 없는 문제점이 있었다. 또한, 도 2에 도시된 바와 같이 화소를 여러 개의 영역으로 구분하여 각 영역에 대하여 개별적인 임계 값을 적용하는 경우, 불량 화소의 검출 성능은 다소 증가하나, 각 영역에 대한 별도의 임계 값을 설정하고 영역 분할 방법을 결정하기 위하여 경험적인 방법을 반복적으로 시도하여야 하는 등, 비효율적인 요소를 포함하는 문제점이 있었다. 열 영상 장비는 입사되는 적외선 신호를 검출하여 생성하는 영상에서 표적을 검출하고, 추적하는 기능을 수행하는바, 정확한 표적의 식별을 위하여는 이러한 불량 화소를 효율적으로 검출할 필요성이 있다.In this case, as shown in FIG. 1, when one threshold value is applied, a defective pixel is detected with one threshold value for all the pixels, so that an accurate detection result can not be obtained. In addition, as shown in FIG. 2, when a pixel is divided into a plurality of regions and individual threshold values are applied to the regions, the detection performance of defective pixels is somewhat increased, but a separate threshold value is set for each region There has been a problem of including ineffective elements such as repeatedly attempting an empirical method in order to determine the area division method. Thermal imaging equipment detects and tracks a target in an image generated by detecting an incident infrared signal. In order to identify an accurate target, it is necessary to efficiently detect such a defective pixel.
도 3은 본 발명의 실시 예에 따른 적외선 검출기의 불량 화소 검출 장치를 개략적으로 나타내는 도면이다.3 is a schematic view of a defective pixel detecting apparatus of an infrared ray detector according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 실시 예에 따른 적외선 검출기의 불량 화소 검출 장치는, 적외선 검출기의 화소별 출력 이득 값(GP)을 산출하는 출력 이득 값 산출부(100); 상기 화소별 출력 이득 값(GP)에서 화소의 위치에 따른 기준 이득 편차(OGS)를 제거하여 보정 이득 값(GC)을 계산하는 보정 이득 값 계산부(200); 임계 보정 이득 값(TGC)을 설정하는 임계 보정 이득 값 설정부(300); 및 상기 보정 이득 값(GC)과 상기 임계 보정 이득 값(TGC)을 비교하여 불량 화소를 검출하는 불량 화소 검출부(400);를 포함한다.Referring to FIG. 3, the defective pixel detecting apparatus of the infrared ray detector according to the embodiment of the present invention includes: an output gain
여기서, 보정 이득 값 계산부(200)는 화소별 출력 이득 값(GP)으로부터 기준 이득 값(GS)을 계산하는 기준 이득 값 계산부; 및 상기 화소별 출력 이득 값(GP)에서 기준 이득 값(GS)을 제거하는 기준 이득 값 제거부;를 포함하며, 기준 이득 값 제거부는 화소별로 해당 화소를 포함하는 화소 영역을 설정하고, 상기 화소 영역 내에 위치하는 화소의 출력 이득 값(GP)을 평균하여 기준 이득 값(GS)을 계산한다.Here, the correction
상기 적외선 검출기의 불량 화소 검출 장치의 각 구성 및 이의 기능은 본 발명의 실시 예에 따른 적외선 검출기의 불량 화소 검출 방법과 관련하여, 이하에서 상세하게 설명하기로 한다.Each configuration and function of the defective pixel detection device of the infrared ray detector will be described in detail below with respect to the defective pixel detection method of the infrared ray detector according to the embodiment of the present invention.
본 발명의 실시 예에 따른 적외선 검출기의 불량 화소 검출 방법은 적외선 검출기의 화소별 출력 이득 값(GP)을 산출하는 과정; 상기 화소별 출력 이득 값(GP)에서 화소의 위치에 따른 기준 이득 편차(OGS)를 제거하여 보정 이득 값(GC)을 계산하는 과정; 임계 보정 이득 값(TGC)을 설정하는 과정; 및 상기 보정 이득 값(GC)과 상기 임계 보정 이득 값(TGC)을 비교하여 불량 화소를 검출하는 과정;을 포함한다.A defective pixel detection method of an infrared ray detector according to an embodiment of the present invention includes: calculating an output gain value (GP) for each pixel of an infrared ray detector; Calculating a correction gain value (GC) by removing a reference gain deviation (OGS) according to a pixel position in the pixel-by-pixel output gain value (GP); Setting a threshold correction gain value (TGC); And detecting a defective pixel by comparing the corrected gain value (GC) with the threshold correction gain value (TGC).
먼저, 화소별 출력 이득 값(GP)을 산출하는 과정은 입사되는 광에 대하여 적외선 검출기의 화소별로 출력되는 출력 값으로부터 화소별 출력 이득 값(GP)을 산출한다. 여기서, 각 화소별 출력 이득 값(GP)을 산출하기 위하여는 동일한 광량을 가지는 피사체로부터 적외선이 입사되어야 한다. 따라서, 상기 출력 이득 값(GP)을 산출하는 과정은, 균일한 온도를 가지는 균일 면으로부터 획득된 적외선 검출기의 화소별 출력 값으로부터 화소별 출력 이득 값(GP)을 산출할 수 있다. 여기서, 균일 면은 균일한 온도를 가지는 피사체의 일면을 말하며, 이러한 균일 면을 가지는 피사체는 다양한 종류의 피사체가 사용될 수 있다. 즉, 적외선 검출기의 렌즈를 개폐하는 셔터의 내부 면을 균일 면으로 활용하여, 적외선 검출기의 화소별 출력 값을 획득할 수 있으며, 이는 적외선 검출기의 불균일 보정(Non Uniformity Correction)을 수행하는 중에 획득될 수 있다. 적외선 검출기의 불균일 보정 및 화소별 출력 값으로부터 화소별 출력 이득 값(GP)을 산출하는 과정은 다양한 기술이 공지되어 있는바, 이에 대한 상세한 설명은 생략하기로 한다.First, in the process of calculating the pixel-by-pixel output gain value GP, a pixel-by-pixel output gain value GP is calculated from an output value for each pixel of the infrared ray detector with respect to incident light. Here, in order to calculate the output gain value GP for each pixel, infrared rays must be incident from a subject having the same amount of light. Therefore, the process of calculating the output gain value GP can calculate the pixel-by-pixel output gain value GP from the pixel-by-pixel output value of the infrared ray detector obtained from the uniform surface having a uniform temperature. Here, the uniform surface refers to one surface of a subject having a uniform temperature, and various types of subjects can be used for a subject having such a uniform surface. That is, it is possible to obtain the output value for each pixel of the infrared ray detector by using the inner surface of the shutter for opening and closing the lens of the infrared ray detector as a uniform surface, and this can be obtained while performing the nonuniformity correction of the infrared ray detector . Various processes are known in the process of calculating the output gain value GP for each pixel from the non-uniformity correction of the infrared ray detector and the pixel-by-pixel output value, and a detailed description thereof will be omitted.
보정 이득 값(GC)을 계산하는 과정은, 전술한 과정에 의하여 산출된 화소별 출력 이득 값(GP)에서 화소의 위치에 따른 기준 이득 편차(OGS)를 제거하여 보정 이득 값(GC)을 계산한다. 여기서, 보정 이득 값(GC)을 계산 하는 과정은, 화소별 출력 이득 값(GP)으로부터 기준 이득 값(GS)을 계산하는 과정; 및 상기 화소별 출력 이득 값(GP)에서 상기 기준 이득 값(GS)을 제거하는 과정;을 포함할 수 있다.The process of calculating the correction gain value (GC) calculates the correction gain value (GC) by removing the reference gain deviation (OGS) according to the pixel position in the pixel-by-pixel output gain value GP calculated by the above- do. Here, the process of calculating the correction gain value GC includes a process of calculating a reference gain value GS from a pixel-by-pixel output gain value GP; And removing the reference gain value GS from the pixel-by-pixel output gain value GP.
도 4는 본 발명의 실시 예에 따른 출력 이득 값(GP)이 분포되는 모습을 나타내는 도면으로, 도 4에 도시된 바와 같이 적외선 검출기의 화소별 출력 이득 값(GP)은 화소별 기준 이득 값(GS)을 따라 분포하게 된다. 도 4는 2차원으로 배열되는 화소 중 1차원의 단면만을 도시하였다.4, the output gain value GP for each pixel of the infrared ray detector is divided into a reference gain value per pixel (for example, GS). 4 shows only one-dimensional cross-section of the pixels arranged in two dimensions.
기준 이득 값(GS)은 입사되는 광량의 차이에 따라 화소별로 그 값에 차이가 발생하게 되는데, 이러한 화소별 기준 이득 값(GS)의 차이를 기준 이득 편차(OGS)라 한다. 예를 들어, 1의 이득을 가지는 값을 화소별 기준 이득 값(GS)의 중심이라 할 때, 적외선 검출기의 각 화소에 설정된 기준 이득 값(GS)은 화소별로 기준 이득 편차(OGS)를 가지게 된다. 기준 이득 편차(OGS)는 전술한 바와 같이 입사되는 광량의 차이에 의한 것으로, 코사인 4승 법칙에 따른 영향을 제거하여 기준 이득 편차(OGS)를 제거할 수 있음은 물론이다. 그러나, 코사인 4승 법칙은 입사되는 적외선의 중심을 기준으로 하며, 설계상의 오차에 의하여 입사되는 적외선의 중심이 적외선 검출기의 중심에 배치되는 화소에 정확히 일치하기는 어렵게 된다. The difference between the reference gain values GS is different for each pixel according to the difference of the amount of incident light. The difference between the reference gain values GS for each pixel is referred to as a reference gain deviation (OGS). For example, assuming that a value having a gain of 1 is the center of a pixel-by-pixel reference gain value GS, the reference gain value GS set for each pixel of the infrared detector has a reference gain deviation OGS for each pixel . It is needless to say that the reference gain deviation (OGS) is due to the difference in the amount of incident light as described above, and the reference gain deviation (OGS) can be eliminated by eliminating the influence according to the cosine fourth power law. However, cosine quadruple law is based on the center of the incident infrared ray, and it is difficult for the center of the infrared ray incident due to the design error to exactly coincide with the pixel disposed at the center of the infrared ray detector.
이에, 각 화소별 기준 이득 값(GS)이 연장된 곡선을 산출하고, 화소별 출력 이득 값(GP)으로부터 상기 곡선 상의 기준 이득 값(GS)을 제거하여 기준 이득 편차(OGS)를 제거할 수 있다. 이는 다항식 회귀 모델에 의하여 적외선 검출기의 화소별 출력 이득 값(GP)을 대표하는 곡선을 산출하고, 화소별 출력 이득 값(GP)으로부터 상기 화소별 출력 이득 값(GP)을 대표하는 곡선에 해당하는 값을 제거하여 계산할 수 있다. 다만, 이와 같은 다항식 회귀 모델의 계산은 다항식의 차수가 높고, 샘플이 많을 수록 정확한 측정이 가능하지만 내장형(embedded) 시스템에 탑재되기에는 너무 많은 계산량을 요구하게 되어 적합하지 않다.Thus, the reference gain value (GS) can be eliminated by removing the reference gain value (GS) on the curve from the output gain value (GP) of each pixel, have. The polynomial regression model calculates a curve representing the pixel-by-pixel output gain value (GP) of the infrared detector and calculates a curve representing the pixel-by-pixel output gain value (GP) Can be calculated by removing the value. However, the calculation of such a polynomial regression model has a high order of polynomials, and the more samples, the more accurate the measurement is, but it is not suitable because it requires too much calculation amount to be mounted on an embedded system.
본 발명의 제1 실시 예에 따른 적외선 검출기의 불량 화소 검출 방법은 화소별로 해당 화소를 포함하는 화소 영역(PA)을 설정하고, 상기 화소 영역(PA) 내에 위치하는 화소의 출력 이득 값(GP)을 평균(MGP)하여 기준 이득 값(GS)을 계산할 수 있다. 여기서, 화소 영역(PA)은 기준 이득 값(GS)의 계산 대상이 되는 해당 화소(P)가 중심에 배치되는 5×5 또는 7×7 배열의 화소를 포함하는 영역으로 설정될 수 있다.The method for detecting defective pixels in the infrared detector according to the first embodiment of the present invention sets the pixel area PA including the corresponding pixel for each pixel and sets the output gain GP of the pixel located in the pixel area PA, (MGP) to calculate a reference gain value (GS). Here, the pixel area PA may be set as an area including pixels of 5x5 or 7x7 arrangement in which the pixel P to be calculated of the reference gain value GS is disposed at the center.
도 5는 본 발명의 실시 예에 따른 화소 영역을 설정하는 모습을 나타내는 도면으로, 기준 이득 값(GS)의 계산 대상이 되는 해당 화소(i, j)가 중심에 배치되는 5×5 배열의 화소를 포함하는 영역(PA)으로 설정되는 경우를 도시한다.FIG. 5 is a diagram illustrating a method of setting a pixel region according to an exemplary embodiment of the present invention. Referring to FIG. 5, a 5 × 5 array of pixels (i, j) Is set to the area PA including the area PA.
이와 같이 기준 이득 값(GS)의 계산 대상이 되는 해당 화소(i, j)가 중심에 배치되는 5×5 배열의 화소를 포함하는 영역(PA)으로 설정되는 경우, 해당 화소(i, j)의 기준 이득 값(GS)은 하기의 수학식 1에 의하여 계산될 수 있다.When the pixel (i, j) to be calculated of the reference gain value GS is set to the area PA including the 5x5 array of pixels arranged at the center, Can be calculated by the following equation (1). &Quot; (1) "
[수학식 1][Equation 1]
또한, 본 발명의 제2 실시 예에 따른 적외선 검출기의 불량 화소 검출 방법에서 상기 기준 이득 값(GS)을 계산하는 과정은, 화소별로 해당 화소를 포함하는 화소 영역(PA)을 설정하는 과정; 상기 화소 영역(PA) 내에 위치하는 화소의 출력 이득 값(GP)을 평균하여 평균 출력 이득 값(MGP)을 산출하는 과정; 상기 평균 출력 이득 값(MGP)으로부터 상기 화소 영역(PA) 내에 위치하는 화소 중 특이 화소를 추출하는 과정; 상기 특이 화소의 출력 이득 값(GP)을 상기 평균 출력 이득 값(MGP)으로 치환하는 과정; 및 상기 화소 영역(PA) 내에 위치하는 화소의 출력 이득 값(GP) 및 치환된 평균 출력 이득 값(MGP)을 평균하여 기준 이득 값(GS)을 계산하는 과정;을 포함할 수도 있다.In the defective pixel detection method of the infrared detector according to the second embodiment of the present invention, the step of calculating the reference gain value GS includes the steps of: setting a pixel area PA including the corresponding pixel; Calculating an average output gain value (MGP) by averaging output gain values (GP) of pixels located in the pixel area (PA); Extracting a specific pixel among pixels located in the pixel area PA from the average output gain value MGP; Replacing the output gain value (GP) of the singular pixel by the average output gain value (MGP); And calculating a reference gain value GS by averaging the output gain value GP and the substituted average output gain value MGP of the pixel located in the pixel area PA.
여기서, 화소 영역(PA)을 설정하는 과정 및 평균 출력 이득 값(MGP)을 설정하는 과정은 전술한 본 발명의 제1 실시 예에 따른 기준 이득 값(GS)을 계산하는 과정과 동일하나, 본 발명의 제2 실시 예에 따른 기준 이득 값(GS)을 계산하는 과정에서는 출력 이득 값(GP)이 주변의 화소와는 큰 차이를 가지는 특이 화소가 미치는 영향을 배제하여 보다 정확하게 기준 이득 값(GS)을 계산할 수 있다.Here, the process of setting the pixel area PA and the process of setting the average output gain value MGP are the same as the process of calculating the reference gain value GS according to the first embodiment of the present invention, In the process of calculating the reference gain value GS according to the second embodiment of the present invention, it is possible to precisely eliminate the influence of the output gain value GP on a specific pixel having a large difference from the surrounding pixels, ) Can be calculated.
즉, 특이 화소를 추출하는 과정은 상기 평균 출력 이득 값(MGP)과 소정의 차이 값을 가지도록 임계 출력 이득 값(TGP)을 선택하는 과정; 및 상기 화소 영역 내에 위치하는 화소의 출력 이득 값(GP)이 상기 임계 출력 이득 값(TGP) 사이의 범위를 벗어나는 화소를 특이 화소로 결정하는 과정;을 포함할 수 있다.That is, the process of extracting a singular pixel may include selecting a threshold output gain value TGP so as to have a predetermined difference from the average output gain value MGP. And determining a pixel whose output gain value (GP) of a pixel located in the pixel region is out of a range between the threshold output gain value (TGP), as a specific pixel.
바람직하게는, 임계 출력 이득 값(TGP)을 선택하는 과정은 상기 평균 출력 이득 값(MGP)과의 차이 값이, 상기 평균 출력 이득 값(MGP)에 대한 평균 절대 편차(dMGP) 또는 표준 편차(σMGP)의 2배 내지 4배 범위 내의 값을 가지도록 임계 출력 이득 값(TGP)을 선택할 수 있다.Preferably, the step of selecting the threshold output gain value TGP includes the step of determining whether the difference value with the average output gain value MGP is greater than or equal to the average absolute deviation d MGP with respect to the average output gain value MGP, the threshold output gain value TGP can be selected so as to have a value within a range of 2 to 4 times of the threshold value gain MGP .
여기서, 평균 출력 이득 값(MGP)에 대한 평균 절대 편차(dMGP)를 구하는 과정 및 표준 편차(σMGP)를 구하는 과정은 하기의 수학식 2 및 수학식 3에 의하여 계산될 수 있다.Here, the process of obtaining the average absolute deviation d MGP with respect to the average output gain value MGP and the process of obtaining the standard deviation MGP can be calculated by
[수학식 2]&Quot; (2) "
[수학식 3]&Quot; (3) "
이와 같이, 평균 출력 이득 값(MGP)에 대한 평균 절대 편차(dMGP) 또는 표준 편차(σMGP)를 구하고, 상기 평균 출력 이득 값(MGP)과의 차이 값이 상기 평균 절대 편차(dMGP) 또는 표준 편차(σMGP)의 2배 내지 4배 범위 내의 값을 가지도록 임계 출력 이득 값(TGP)을 선택한다. 여기서, 임계 출력 이득 값(TGP)은 상기 평균 출력 이득 값(MGP)과의 차이 값이 상기 평균 절대 편차(dMGP) 또는 표준 편차(σMGP)의 3배 값을 가지도록 선택될 수 있으며, 상기 평균 출력 이득 값(MGP)에 3배의 평균 절대 편차(dMGP) 또는 표준 편차(σMGP)를 더한 값을 제1 임계 출력 이득 값(TGP1)으로 선택하고, 상기 평균 출력 이득 값(MGP)에 3배의 평균 절대 편차(dMGP) 또는 표준 편차(σMGP)를 뺀 값을 제2 임계 출력 이득 값(TGP2)으로 선택할 수 있다.As described above, the average absolute deviation d MGP or the standard deviation MGP of the average output gain MGP is obtained, and the difference between the average output deviation MGP and the average output gain MGP is the average absolute deviation d MGP . (TGP) so as to have a value within a range of 2 to 4 times the standard deviation ( MGP ). Here, the threshold output gain value TGP may be selected such that the difference from the average output gain value MGP has a value three times the average absolute deviation d MGP or the standard deviation MGP , A value obtained by adding the average absolute deviation d MGP or the standard deviation MGP to the average output gain MGP as a first threshold output gain TGP1 and the average output gain MGP ) can be selected for a three times the average absolute deviation (d MGP) or standard deviation (σ MGP) the value of the second threshold value, the output gain (TGP2) minus the.
이후, 화소 영역(PA) 내에 위치하는 화소의 출력 이득 값(GP)이 상기 임계 출력 이득 값(TGP) 사이의 범위를 벗어나는 화소를 특이 화소로 결정한다. 즉, 화소 영역(PA) 내에 위치하는 화소의 출력 이득 값(GP)이 상기 제1 임계 출력 이득 값(TGP1)보다 크거나, 상기 제2 임계 출력 이득 값(TGP2)보다 작은 화소를 특이 화소로 결정하고, 상기 특이 화소의 출력 이득 값(GP)을 상기 화소 영역(PA) 내에 위치하는 화소들의 평균 출력 이득 값(MGP)으로 치환함으로써 출력 이득 값(GP)이 주변의 화소와는 큰 차이를 가지는 특이 화소가 미치는 영향을 배제하여 보다 정확하게 기준 이득 값(GS)을 계산할 수 있다.Then, the pixel whose output gain GP of the pixel located in the pixel area PA is out of the range between the threshold output gain TGP is determined as a singular pixel. That is, if a pixel having an output gain GP of a pixel located in the pixel area PA is greater than the first threshold output gain TGP1 or smaller than the second threshold output gain TGP2, And by replacing the output gain value GP of the singular pixel with the average output gain value MGP of the pixels located in the pixel area PA, It is possible to calculate the reference gain value GS more precisely by excluding the influence of the singular pixel.
도 6은 화소 영역 내에 위치하는 화소의 출력 이득 값을 예시적으로 나타내는 도면이고, 도 7은 화소 영역 내에서 특이 화소의 출력 이득 값이 평균 출력 이득 값으로 치환된 결과를 예시적으로 나타내는 도면이다.FIG. 6 is a diagram illustrating an exemplary output gain value of a pixel located in a pixel region, and FIG. 7 is a diagram exemplarily showing a result of replacing the output gain value of a specific pixel in the pixel region with an average output gain value .
도 6 및 도 7을 참조하여, 기준 이득 값(GS)을 계산하는 과정을 예시적으로 설명하면, 화소 영역(PA)의 중심에 위치하는 1.061539의 출력 이득 값(GP)을 가지는 화소(P)의 기준 이득 값(GS)을 계산하기 위하여 화소 영역(PA) 내에 위치하는 화소들의 평균 출력 이득 값(MGP)을 계산한다. 여기서, 평균 출력 이득 값(MGP)은 약 1.0606의 값을 가진다. 약 1.0606의 값으로 계산된 평균 출력 이득 값(MGP)을 해당 화소(P)의 기준 이득 값(GS)으로 결정할 수도 있으나, 보다 정확한 계산을 위하여 화소 영역내에 위치하는 화소들의 평균 절대 편차(dMGP) 또는 표준 편차(σMGP)를 계산한다. 여기서, 평균 절대 편차(dMGP)는 약 0.02027의 값을 가지며, 표준 편차(σMGP)는 약 0.2764의 값을 가진다. 임계 출력 이득 값(TGP)을 선택함에 있어서 평균 절대 편차(dMGP)를 사용하는 경우를 예로 들면, 제1 임계 출력 이득 값(TGP1)은 상기 평균 출력 이득 값(MGP)에 3배의 평균 절대 편차(dMGP)를 더한 약 1.12141의 값을 가지며, 제2 임계 출력 이득 값(TGP2)은 상기 평균 출력 이득 값(MGP)에 3배의 평균 절대 편차(dMGP)를 뺀 약 0.99979의 값을 가진다. 따라서, 0.99979 내지 1.12141의 범위를 유효 범위로 설정하고, 상기 유효 범위에서 벗어난 출력 이득 값(GP)을 가지는 화소를 특이 화소(PS)로 추출하고, 도 7에 도시된 바와 같이 특이 화소(PS)의 출력 이득 값(GP)을 평균 출력 이득 값(MGP)으로 치환한다. 이후, 화소 영역(PA) 내에 위치하는 특이 화소(PS)를 제외한 화소의 출력 이득 값(GP) 및 화소 영역(PA) 내에 위치하는 특이 화소(PS)의 치환된 평균 출력 이득 값(MGP)을 평균하여 해당 화소(P)의 기준 이득 값(GS)인 1.063956을 계산할 수 있게 된다. 이후, 예를 들어 1의 이득을 가지는 값을 화소별 기준 이득 값(GS)의 중심으로 설정하는 경우 해당 화소의 출력 이득 값(GP)에서 기준 이득 값(GS)을 뺀 값에 1을 더하거나, 해당 화소의 출력 이득 값(GP)에서 기준 이득 값(GS)을 나눈 값을 계산하여 기준 이득 편차(OGS)가 제거된 보정 이득 값(GC)을 계산할 수 있게 된다.6 and 7, a process of calculating the reference gain value GS will be exemplarily described. A pixel P having an output gain value GP of 1.061539 located at the center of the pixel area PA, The average output gain value MGP of the pixels located in the pixel area PA is calculated in order to calculate the reference gain value GS. Here, the average output gain value MGP has a value of about 1.0606. The average output gain value MGP calculated at a value of about 1.0606 may be determined as the reference gain value GS of the pixel P. However, for more accurate calculation, the average absolute deviation d MGP ) Or the standard deviation (? MGP ). Here, the mean absolute deviation d MGP has a value of about 0.02027, and the standard deviation [sigma] MGP has a value of about 0.2764. Assuming that the average absolute deviation d MGP is used in selecting the threshold output gain TGP, for example, the first threshold output gain TGP1 may be an absolute average of three times the average output gain MGP deviation has a value of about 1.12141 plus (d MGP), a second threshold output gain value (TGP2) has a value of about 0.99979 minus the mean absolute deviation (d MGP) of three times the average power gain (MGP) I have. Accordingly, a range of 0.99979 to 1.12141 is set as an effective range, a pixel having an output gain value GP deviating from the effective range is extracted as a specific pixel PS, and as shown in FIG. 7, The average output gain value MGP is substituted for the output gain value GP. Thereafter, the output gain value GP of the pixel excluding the specific pixel PS located in the pixel area PA and the replaced average output gain value MGP of the specific pixel PS located in the pixel area PA And 1.063956, which is the reference gain value GS of the pixel P, can be averaged. Then, for example, when a value having a gain of 1 is set as the center of the pixel-by-pixel reference gain value GS, 1 is added to the value obtained by subtracting the reference gain value GS from the output gain value GP of the pixel, A value obtained by dividing the reference gain value GS by the output gain value GP of the pixel is calculated to calculate the corrected gain value GC from which the reference gain deviation OGS is removed.
도 8은 본 발명의 실시 예에 따른 보정 이득 값이 분포되는 모습을 나타내는 도면이고, 도 9는 임계 보정 이득 값에 따른 정규 분포 곡선을 나타내는 도면이다.FIG. 8 is a view showing a distribution of correction gain values according to an embodiment of the present invention, and FIG. 9 is a diagram showing a normal distribution curve according to a threshold correction gain value.
도 8을 참조하면, 전술한 과정에 의하여 적외선 검출기의 화소별로 기준 이득 편차(OGS)가 제거된 보정 이득 값(GC)은 1의 이득을 가지는 값을 중심으로 분포하게 된다. 이와 같은 보정 이득 값(GC)은 화소별 출력 이득 값(GP)으로부터 기준 이득 편차(OGS)가 제거된 값으로 화소의 위치에 따른 코사인 4승 법칙에 의한 시계 분산 영향 또는 광학 돔 영향이 제거된 결과이다.Referring to FIG. 8, the corrected gain value (GC) obtained by removing the reference gain deviation (OGS) for each pixel of the infrared detector according to the above-described process is distributed around a value having a gain of 1. The corrected gain value (GC) is a value obtained by subtracting the reference gain deviation (OGS) from the output gain value (GP) of each pixel. The effect of the clock dispersion by the cosine fourth- Results.
따라서, 이러한 보정 이득 값(GC)으로부터 불량 화소를 검출하기 위하여 상기 보정 이득 값(GC)의 임계 보정 이득 값(TGC)을 설정한다. 여기서, 임계 보정 이득 값(TGC)을 설정하는 과정은, 상기 보정 이득 값(GC)을 평균하여 평균 보정 이득 값(MGC)을 계산하는 과정; 및 상기 평균 보정 이득 값(MGC)과 소정의 차이 값을 가지도록 임계 보정 이득 값(TGC)을 결정하는 과정;을 포함할 수 있다.Therefore, the threshold correction gain value TGC of the correction gain value GC is set in order to detect a defective pixel from the correction gain value GC. Here, the step of setting the threshold correction gain value TGC may include calculating a mean correction gain value MGC by averaging the correction gain values GC; And determining a threshold correction gain value (TGC) so as to have a predetermined difference value from the average correction gain value (MGC).
임계 보정 이득 값(TGC)은 적외선 검출기의 화소별 보정 이득 값이 정상적인 값을 가지는지 또는 비정상적인 값을 가지는지 판단하기 위한 기준이 되는 값을 의미한다. 여기서, 임계 보정 이득 값(TGC)은 기준 이득 편차(OGS)가 제거된 보정 이득 값에 대하여 미리 설정된 특정 값을 가질 수도 있으며, 이는 경험적 또는 실험적으로 설정될 수 있음은 물론이다. 또한, 임계 보정 이득 값(TGC)은 상기 평균 보정 이득 값(MGC)과 소정의 차이 값을 가지도록 설정될 수도 있으며, 바람직하게는 평균 보정 이득 값(MGC)과의 차이 값이, 상기 평균 보정 이득 값(MGC)에 대한 표준 편차(σMGC)의 2배 내지 4배 범위 내의 값을 가지도록 임계 보정 이득 값(TGC)을 결정할 수도 있다. 여기서, 임계 보정 이득 값(TGC)은 상기 평균 보정 이득 값(MGC)과의 차이 값이 표준 편차(σMGC)의 3배 값을 가지도록 선택될 수 있으며, 상기 평균 보정 이득 값(MGC)에 3배의 표준 편차(σMGC)를 더한 값을 제1 임계 보정 이득 값(TGC1)으로 선택하고, 상기 평균 보정 이득 값(MGC)에 3배의 표준 편차(σMGC)를 뺀 값을 제2 임계 보정 이득 값(TGC2)으로 선택할 수 있다.The threshold correction gain value TGC is a reference value for determining whether the correction gain value of each pixel of the infrared ray detector has a normal value or an abnormal value. Herein, the threshold correction gain value TGC may have a specific value preset for the corrected gain value from which the reference gain deviation OGS is removed, which can be set empirically or experimentally. Also, the threshold correction gain value TGC may be set to have a predetermined difference value from the average correction gain value MGC. Preferably, the difference value with the average correction gain value MGC is set to a value The threshold correction gain value TGC may be determined so as to have a value within a range of 2 to 4 times the standard deviation sigma MGC with respect to the gain value MGC. Here, the threshold correction gain value TGC may be selected so that the difference from the average correction gain value MGC is three times the standard deviation MGC , and the average correction gain value MGC select the plus the standard deviation (σ MGC) three times the value as a first threshold compensation gain value (TGC1), and the a value obtained by subtracting a standard deviation (σ MGC) three times the average compensation gain (MGC) 2 Can be selected by the threshold correction gain value (TGC2).
이후, 보정 이득 값(GC)과 임계 보정 이득 값(TGC)을 비교하여 불량 화소를 검출하게 되고, 보다 상세하게는 보정 이득 값(GC)이 제1 임계 보정 이득 값(TGC1)보다 크거나 제2 임계 보정 이득 값(TGC2)보다 작은 경우를 불량 화소로 검출하게 된다.Thereafter, the defective pixel is detected by comparing the correction gain value GC with the threshold correction gain value TGC. In more detail, the correction gain value GC is larger than the first threshold correction gain value TGC1, 2 threshold correction gain value (TGC2) is detected as a defective pixel.
이와 같이 상기 평균 보정 이득 값(MGC)과의 차이 값이, 상기 평균 보정 이득 값(MGC)에 대한 표준 편차의 2배 내지 4배 범위 내의 값을 가지도록 임계 보정 이득 값(TGC)을 결정하는 이유는, 도 9에 도시된 정규 분포 곡선으로부터 알 수 있다.As described above, the threshold correction gain value TGC is determined so that the difference from the average correction gain value MGC is within a range of 2 to 4 times the standard deviation of the average correction gain value MGC The reason can be found from the normal distribution curve shown in Fig.
즉, 제1 임계 보정 이득 값(TGC1)을 평균 보정 이득 값(MGC)에 2배의 표준 편차(σMGC)를 더한 값으로 선택하고, 제2 임계 보정 이득 값(TGC2)을 평균 보정 이득 값(MGC)에 2배의 표준 편차(σMGC)를 뺀 값으로 선택하는 경우, 제1 임계 보정 이득 값(TGC1)과 제2 임계 보정 이득 값(TGC2) 사이의 보정 이득 값(GC)을 가지는 화소는 95.45%의 확률로 정상 화소로 존재한다. 또한, 제1 임계 보정 이득 값(TGC1)을 평균 보정 이득 값(MGC)에 3배의 표준 편차(σMGC)를 더한 값으로 선택하고, 제2 임계 보정 이득 값(TGC2)을 평균 보정 이득 값(MGC)에 3배의 표준 편차(σMGC)를 뺀 값으로 선택하는 경우, 제1 임계 보정 이득 값(TGC1)과 제2 임계 보정 이득 값(TGC2) 사이의 보정 이득 값(GC)을 가지는 화소는 99.73%의 확률로 정상 화소로 존재한다. 뿐만 아니라, 제1 임계 보정 이득 값(TGC1)을 평균 보정 이득 값(MGC)에 4배의 표준 편차(σMGC)를 더한 값으로 선택하고, 제2 임계 보정 이득 값(TGC2)을 평균 보정 이득 값(MGC)에 4배의 표준 편차(σMGC)를 뺀 값으로 선택하는 경우, 제1 임계 보정 이득 값(TGC1)과 제2 임계 보정 이득 값(TGC2) 사이의 보정 이득 값(GC)을 가지는 화소는 99.99%의 확률로 정상 화소로 존재하게 된다. 정규 분포 곡선은 연속 확률 변수와 이에 따른 확률 밀도 함수를 X-Y 평면 상에 나타내는 곡선으로, 이에 대한 상세한 설명은 생략하기로 한다.That is, the first threshold compensation gain value (TGC1) the average compensation gain (MGC) to the selected plus the standard deviation (σ MGC) twice the value and the second threshold correction gain (TGC2) average corrected gain value (GC) between the first threshold correction gain value TGC1 and the second threshold correction gain value TGC2 when a value obtained by subtracting the standard deviation ( MGC ) The pixel exists as a normal pixel with a probability of 95.45%. Further, the first threshold compensation gain value (TGC1) the average compensation gain (MGC) to the sum of the standard deviation (σ MGC) triple selected value, the second threshold correction gain (TGC2) the average corrected gain value (GC) between the first threshold correction gain value TGC1 and the second threshold correction gain value TGC2 when a value obtained by subtracting the standard deviation ( MGC ) The pixel exists as a normal pixel with a probability of 99.73%. In addition, the first threshold compensation gain value (TGC1) the average correction gain selection value (MGC) to the sum of the standard deviation (σ MGC) four times the value, the second threshold correction gain (TGC2) the average compensation gain (GC) between the first threshold correction gain value TGC1 and the second threshold correction gain value TGC2 when the value MGC is selected by subtracting the standard deviation? The pixel having a probability of 99.99% exists as a normal pixel. The normal distribution curve is a curve representing the continuous random variable and the probability density function according to the continuous random variable on the XY plane, and a detailed description thereof will be omitted.
이와 같이, 적외선 검출기의 각 화소에서 기준 이득 편차(OGS)를 제거하게 되면, 화소의 위치에 따른 코사인 4승 법칙에 의한 시계 분산 영향 또는 광학 돔 영향이 제거되고, 이러한 시계 분산 영향 또는 광학 돔 영향이 제거된 보정 이득 값(GC)은 각 화소의 고유 특성만이 고려된 정규 분포를 따르게 되어, 임계 보정 이득 값(TGC)을 평균 보정 이득 값(MGC)에 대한 표준 편차(σMGC)의 3배의 값을 가지도록 설정하는 경우 오차 범위 0.027%의 확률로 불량 화소를 검출할 수 있게 된다.Thus, if the reference gain deviation (OGS) is removed from each pixel of the infrared detector, the clock dispersion effect or the optical dome effect due to the cosine fourth-order rule depending on the pixel position is removed, the removal correction gain (GC) is to follow a normal distribution, the considered only the intrinsic properties of each pixel, and 3 of the standard deviation (σ MGC) for the threshold compensation gain value (TGC) in the average compensation gain (MGC) If the value is set to have a value of twice, a defective pixel can be detected with a probability of an error range of 0.027%.
상기에서, 본 발명의 바람직한 실시 예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확하게 설명하기 위한 것일 뿐이며, 본 발명의 실시 예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러 가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시 예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안 되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.While the preferred embodiments of the present invention have been described and illustrated above using specific terms, such terms are used only for the purpose of clarifying the invention, and the embodiments of the present invention and the described terminology are intended to be illustrative, It will be obvious that various changes and modifications can be made without departing from the spirit and scope of the invention. Such modified embodiments should not be individually understood from the spirit and scope of the present invention, but should be regarded as being within the scope of the claims of the present invention.
100: 출력 이득 값 산출부 200: 보정 이득 값 계산부
300: 임계 보정 이득 값 설정부 400: 불량 화소 검출부100: output gain value calculation unit 200: correction gain value calculation unit
300: threshold correction gain value setting unit 400: defective pixel detection unit
Claims (9)
상기 화소별 출력 이득 값에서 화소의 위치에 따른 기준 이득 편차를 제거하여 보정 이득 값을 계산하는 과정;
임계 보정 이득 값을 설정하는 과정; 및
상기 보정 이득 값과 상기 임계 보정 이득 값을 비교하여 불량 화소를 검출하는 과정;을 포함하고,
상기 임계 보정 이득 값을 설정하는 과정은,
상기 보정 이득 값의 표준 편차를 계산하는 과정; 및
상기 보정 이득 값을 평균한 평균 보정 이득 값과의 차이 값이 상기 보정 이득 값의 표준 편차의 2배 내지 4배 범위 내의 값을 가지도록 임계 보정 이득 값을 결정하는 과정;을 포함하고,
상기 보정 이득 값을 계산하는 과정은,
상기 화소별 출력 이득 값으로부터 기준 이득 값을 계산하는 과정; 및
상기 화소별 출력 이득 값에서 상기 기준 이득 값을 제거하는 과정;을 포함하며,
상기 기준 이득 값을 계산하는 과정은,
화소별로 해당 화소를 포함하는 화소 영역을 설정하는 과정;
상기 화소 영역 내에 위치하는 화소의 출력 이득 값을 평균하여 평균 출력 이득 값을 산출하는 과정;
상기 평균 출력 이득 값으로부터 상기 화소 영역 내에 위치하는 화소 중 특이 화소를 추출하는 과정;
상기 특이 화소의 출력 이득 값을 상기 평균 출력 이득 값으로 치환하는 과정; 및
상기 화소 영역 내에 위치하는 화소의 출력 이득 값 및 치환된 평균 출력 이득 값을 평균하여 기준 이득 값을 계산하는 과정;을 포함하는 적외선 검출기의 불량 화소 검출 방법.
Calculating an output gain value of each pixel of the infrared detector;
Calculating a correction gain value by removing a reference gain deviation according to a pixel position from the pixel-by-pixel output gain value;
Setting a threshold correction gain value; And
And comparing the correction gain value with the threshold correction gain value to detect a defective pixel,
Wherein the step of setting the threshold correction gain value comprises:
Calculating a standard deviation of the correction gain value; And
And determining a threshold correction gain value such that a difference between the average correction gain value obtained by averaging the correction gain values is within a range of 2 to 4 times a standard deviation of the correction gain value,
Wherein the step of calculating the correction gain value comprises:
Calculating a reference gain value from the pixel-by-pixel output gain value; And
And removing the reference gain value from the pixel-by-pixel output gain value,
Wherein the step of calculating the reference gain value comprises:
A step of setting a pixel region including a corresponding pixel for each pixel;
Calculating an average output gain value by averaging output gain values of pixels located within the pixel region;
Extracting a singular pixel from among the pixels located in the pixel region from the average output gain value;
Replacing the output gain value of the singular pixel with the average output gain value; And
And calculating a reference gain value by averaging an output gain value and a substituted average output gain value of a pixel located in the pixel region.
상기 출력 이득 값을 산출하는 과정은,
균일한 온도를 가지는 균일 면으로부터 획득된 상기 적외선 검출기의 화소별 출력 값으로부터 화소별 출력 이득 값을 산출하는 적외선 검출기의 불량 화소 검출 방법.
The method according to claim 1,
The step of calculating the output gain value includes:
And calculating an output gain value for each pixel from an output value for each pixel of the infrared ray detector obtained from a uniform surface having a uniform temperature.
상기 기준 이득 값을 계산하는 과정은,
화소별로 해당 화소를 포함하는 화소 영역을 설정하고, 상기 화소 영역 내에 위치하는 화소의 출력 이득 값을 평균하여 기준 이득 값을 계산하는 적외선 검출기의 불량 화소 검출 방법.
The method according to claim 1,
Wherein the step of calculating the reference gain value comprises:
And a reference gain value is calculated by averaging the output gain values of the pixels located in the pixel region.
상기 특이 화소를 추출하는 과정은,
상기 평균 출력 이득 값과 소정의 차이 값을 가지도록 임계 출력 이득 값을 선택하는 과정; 및
상기 화소 영역 내에 위치하는 화소의 출력 이득 값이 상기 임계 출력 이득 값 사이의 범위를 벗어나는 화소를 특이 화소로 결정하는 과정;을 포함하는 적외선 검출기의 불량 화소 검출 방법.
The method according to claim 1,
The extraction of the singular pixel may include:
Selecting a threshold output gain value to have a predetermined difference from the average output gain value; And
And determining a pixel whose output gain value of the pixel located in the pixel region is out of the range between the threshold output gain value as a singular pixel.
상기 화소 영역은 해당 화소가 중심에 배치되는 5×5 또는 7×7 배열의 화소를 포함하는 영역으로 설정되는 적외선 검출기의 불량 화소 검출 방법.
The method according to claim 1,
Wherein the pixel region is set as an area including pixels of 5x5 or 7x7 arrangement in which the pixel is disposed at the center.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170053668A KR101996611B1 (en) | 2017-04-26 | 2017-04-26 | Method for detecting faulty pixel in infrared detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170053668A KR101996611B1 (en) | 2017-04-26 | 2017-04-26 | Method for detecting faulty pixel in infrared detector |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180031750A Division KR101996612B1 (en) | 2018-03-19 | 2018-03-19 | Apparatus for detecting faulty pixel in infrared detector |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180119934A KR20180119934A (en) | 2018-11-05 |
KR101996611B1 true KR101996611B1 (en) | 2019-07-04 |
Family
ID=64329157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170053668A KR101996611B1 (en) | 2017-04-26 | 2017-04-26 | Method for detecting faulty pixel in infrared detector |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101996611B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114299085B (en) * | 2021-12-23 | 2024-02-27 | 河南鑫安利安全科技股份有限公司 | Dangerous source identification method based on unmanned aerial vehicle aerial photography |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002251609A (en) * | 2001-02-26 | 2002-09-06 | Fujitsu Ltd | Infrared imaging device |
JP2007028292A (en) * | 2005-07-19 | 2007-02-01 | Fujitsu Ltd | Infrared imaging apparatus |
KR101213669B1 (en) | 2012-05-07 | 2013-01-10 | 삼성탈레스 주식회사 | Apparatus and method for non uniformity correction of infrared image using division domain |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5429029B2 (en) * | 2010-04-30 | 2014-02-26 | 株式会社島津製作所 | Radiation imaging device |
KR101656173B1 (en) | 2014-02-20 | 2016-09-08 | 주식회사 콕스 | Method and apparatus for detecting faulty pixel in thermal camera |
-
2017
- 2017-04-26 KR KR1020170053668A patent/KR101996611B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002251609A (en) * | 2001-02-26 | 2002-09-06 | Fujitsu Ltd | Infrared imaging device |
JP2007028292A (en) * | 2005-07-19 | 2007-02-01 | Fujitsu Ltd | Infrared imaging apparatus |
KR101213669B1 (en) | 2012-05-07 | 2013-01-10 | 삼성탈레스 주식회사 | Apparatus and method for non uniformity correction of infrared image using division domain |
Also Published As
Publication number | Publication date |
---|---|
KR20180119934A (en) | 2018-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10419696B2 (en) | Infrared imaging device and signal correction method using infrared imaging device | |
KR102085625B1 (en) | Thermal image camera having multi-point temperature compensating function and temperature compensating method using the same | |
US10245003B2 (en) | Radiation imaging apparatus, radiation imaging system, radiation detection apparatus, imaging control apparatus, imaging control method, and storage medium | |
CN106164654B (en) | Engagement state judgment method and molding machine | |
US20150355030A1 (en) | Equipment and method for intensity-temperature transformation of imaging system | |
US7391925B2 (en) | System and method for estimating noise using measurement based parametric fitting non-uniformity correction | |
KR20180032552A (en) | Correction of parasitic pixels of an infrared image capturing apparatus | |
US10523883B2 (en) | Infrared imaging device and method of updating fixed pattern noise data | |
KR101996611B1 (en) | Method for detecting faulty pixel in infrared detector | |
KR101213670B1 (en) | Apparatus and method for non uniformity correction using pixel median value | |
KR101996612B1 (en) | Apparatus for detecting faulty pixel in infrared detector | |
US20150130972A1 (en) | Self-Adaptive Lens Shading Calibration and Correction | |
CN110895372B (en) | Optical axis deviation calibration method and related device | |
KR101690096B1 (en) | Temperature data measuring device of thermal imaging camera | |
US9992489B2 (en) | Image sensor calibration | |
JP2014017724A (en) | Imaging apparatus | |
RU2705434C2 (en) | Detecting bad pixels in device for obtaining infrared images | |
CN110580692B (en) | Method for correcting radiation consistency of multi-line time difference scanning image | |
CN109596623B (en) | Defect detection method and device | |
JP6230507B2 (en) | Laser radar equipment | |
KR100919835B1 (en) | Method for detecting defect in an infrared detector | |
JP2007029233A (en) | X-ray flat panel detector and x-ray diagnostic imaging apparatus using the same | |
JP2009222611A (en) | Inspection apparatus and inspection method | |
WO2023119751A1 (en) | Image processing device, image processing method, and program | |
KR101504022B1 (en) | Thermal imaging camera for correcting ununiformity usign fixed subject and method of correcting ununiformity in the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |