KR20220126474A - Apparatus and method for detecting defect pixel based on multi-band images - Google Patents

Apparatus and method for detecting defect pixel based on multi-band images Download PDF

Info

Publication number
KR20220126474A
KR20220126474A KR1020210030797A KR20210030797A KR20220126474A KR 20220126474 A KR20220126474 A KR 20220126474A KR 1020210030797 A KR1020210030797 A KR 1020210030797A KR 20210030797 A KR20210030797 A KR 20210030797A KR 20220126474 A KR20220126474 A KR 20220126474A
Authority
KR
South Korea
Prior art keywords
bad pixel
image
candidate
value
band
Prior art date
Application number
KR1020210030797A
Other languages
Korean (ko)
Other versions
KR102596414B1 (en
Inventor
강원석
공현배
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020210030797A priority Critical patent/KR102596414B1/en
Publication of KR20220126474A publication Critical patent/KR20220126474A/en
Application granted granted Critical
Publication of KR102596414B1 publication Critical patent/KR102596414B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • G06T5/002Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

According to a preferred embodiment of the present invention, provided are a device and a method for detecting a defective pixel based on multi-band images. The method may detect a defective pixel candidate group in the spatial domain by reflecting the characteristics of each multi-band, and detect the final defective pixel in consideration of the amount of change in the time domain based on the defective pixel candidate group in the spatial domain, so as to be applicable to systems using multi-band images, and additionally detect the defective pixel in consideration of image characteristics of each band. Therefore, it is not necessary to separately store the defective pixel map for each band in the memory.

Description

다중 대역 영상 기반 불량 화소 검출 장치 및 방법{Apparatus and method for detecting defect pixel based on multi-band images}Apparatus and method for detecting defect pixel based on multi-band images}

본 발명은 다중 대역 영상 기반 불량 화소 검출 장치 및 방법에 관한 것으로서, 더욱 상세하게는 다중 대역 영상에서 불량 화소를 검출하는, 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting a bad pixel based on a multi-band image, and more particularly, to an apparatus and method for detecting a bad pixel in a multi-band image.

적외선 영상 탐색기는 절대 온도 0도 이상인 물체의 방사량을 측정하는 적외선 센서를 가지고 있다. 측정한 데이터의 정밀도는 센서의 민감도에 비례하며, 민감도가 좋은 센서일수록 측정 물체의 방사도를 정확하고 세밀하게 측정할 수 있다. 미사일의 탄두부로 사용되는 적외선 영상 탐색기의 온도 분해능 및 정확도는 가장 중요한 하드웨어 스펙 중 하나이므로, 센서의 성능을 높이기 위한 많은 노력이 필요하다. The infrared image searcher has an infrared sensor that measures the amount of radiation from an object with an absolute temperature of 0°C or higher. The precision of the measured data is proportional to the sensitivity of the sensor, and the higher the sensitivity, the more accurately and precisely the irradiance of the measuring object can be measured. Since the temperature resolution and accuracy of the infrared image searcher used as the missile's warhead is one of the most important hardware specifications, much effort is needed to improve the sensor's performance.

최근 적외선 영상 탐색기의 발전 추이를 살펴보면, 센서의 성능 발전이 안정화 되면서 하드웨어적인 성능 향상보다는 이를 사용하는 시스템 입장에서 단점을 보완하기 위해 다중 센서(다중 대역)를 적용하는 탐색기 개발이 많아지는 추세이다.Looking at the recent development trend of the infrared image searcher, as the performance of the sensor is stabilized, the development of searchers that apply multiple sensors (multi-band) to compensate for the shortcomings of the system using it rather than improving hardware performance is a trend.

그러나, 종래의 다중 센서(다중 대역)의 경우, 모두 단일 센서(단일 대역)의 특성을 활용하여 불량 화소를 산출하는 두개의 방식을 이용하고 있다. 하나의 방식은 균일한 방사 특성을 가진 면을 지시하면서 획득한 영상을 이용하여 각 픽셀들의 출력 편차를 확인하고, 그 차이가 규정 값 이상인 픽셀들을 불량 화소로 산출하는 방식이다. 다른 방식은 연속으로 입력되는 영상의 변화량을 관찰하여 표적이 아닌 것으로 판단되는 픽셀들의 값을 관찰하여 불량 화소를 산출하는 방식이다.However, in the case of the conventional multi-sensor (multi-band), two methods of calculating bad pixels by utilizing the characteristics of a single sensor (single-band) are used. One method is to check the output deviation of each pixel using an image obtained while pointing to a surface having uniform radiation characteristics, and to calculate pixels having a difference greater than or equal to a specified value as bad pixels. Another method is to observe a change amount of an image continuously input and observe the values of pixels determined not to be a target to calculate a bad pixel.

다중 대역 영상을 사용하는 목적은 결국 융합 영상을 사용하여 각 대역이 가지고 있는 장점들만 선별하여 차용하기 위함이다. 예컨대, (10,10) 위치의 픽셀 값이 각각의 대역에서 획득한 영상의 특성에서는 불량 화소 기준을 충족하지 못하여 일반 픽셀로 사용되나, 융합 영상에서는 특성이 달라져 불량 화소 기준을 충족하여 불량 화소로 산출될 수 있다. 즉, 단일 대역 영상에서의 산출 기준만을 융합 영상에 적용할 경우 추가적으로 발생 가능한 불량 화소 산출이 불가능한 문제가 있다.The purpose of using a multi-band image is to select and borrow only the advantages of each band using a fusion image. For example, the pixel value at position (10,10) does not satisfy the criteria for bad pixels in the characteristics of the image acquired in each band and is used as a normal pixel. can be calculated. That is, when only the calculation criteria in the single-band image are applied to the fusion image, there is a problem in that it is impossible to calculate additionally possible bad pixels.

따라서, 다중 대역 영상을 활용하여 불량 화소를 검출하는 방법의 개발이 필요하다.Therefore, it is necessary to develop a method for detecting a bad pixel by using a multi-band image.

본 발명이 이루고자 하는 목적은, 다중 대역별 특성을 반영하여 공간 영역에서의 불량 화소 후보군을 검출하고, 공간 영역에서의 불량 화소 후보군을 기반으로 시간 영역에서의 변화량을 고려하여 최종 불량 화소를 검출하는, 다중 대역 영상 기반 불량 화소 검출 장치 및 방법을 제공하는 데 있다.An object of the present invention is to detect a bad pixel candidate group in a spatial domain by reflecting multi-band characteristics, and to detect a final bad pixel in consideration of a change amount in the time domain based on the bad pixel candidate group in the spatial domain. , to provide an apparatus and method for detecting a bad pixel based on a multi-band image.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other objects not specified in the present invention may be additionally considered within the scope that can be easily inferred from the following detailed description and effects thereof.

상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다중 대역 영상 기반 불량 화소 검출 장치는, 다중 대역 영상을 획득하는 영상 획득부; 상기 영상 획득부를 통해 획득된 현재 프레임(frame)에 대한 상기 다중 대역 영상을 기반으로 합 영상과 차 영상을 획득하고, 상기 합 영상과 상기 차 영상을 기반으로 미리 설정된 엣지(edge) 검출 필터를 이용하여 노이즈 영상을 획득하며, 상기 노이즈 영상을 기반으로 미리 설정된 제1 문턱값을 이용하여 상기 현재 프레임의 불량 화소 후보군을 검출하는 제1 검출부; 및 상기 제1 검출부를 통해 검출된 상기 현재 프레임의 상기 불량 화소 후보군을 기반으로 후보 불량 화소의 시간 영역에서의 변화량을 이용하여 상기 현재 프레임의 최종 불량 화소를 검출하는 제2 검출부;를 포함한다.According to a preferred embodiment of the present invention for achieving the above object, there is provided an apparatus for detecting a bad pixel based on a multi-band image, comprising: an image acquisition unit configured to acquire a multi-band image; A sum image and a difference image are obtained based on the multi-band image for a current frame obtained through the image acquisition unit, and a preset edge detection filter is used based on the sum image and the difference image. a first detector configured to acquire a noisy image by using a first threshold value preset based on the noise image to detect a group of bad pixel candidates of the current frame; and a second detector configured to detect a final bad pixel of the current frame by using a change amount of a candidate bad pixel in a time domain based on the group of bad pixel candidates of the current frame detected by the first detector.

여기서, 상기 제2 검출부는, 상기 불량 화소 후보군에서 상기 후보 불량 화소의 시간 영역에서의 변화량이 미리 설정된 제2 문턱값보다 큰 상기 후보 불량 화소를 상기 최종 불량 화소로 획득할 수 있다.Here, the second detection unit may acquire the candidate bad pixel in the group of the bad pixel candidates in which an amount of change in the time domain of the candidate bad pixel is greater than a preset second threshold as the final bad pixel.

여기서, 상기 제2 검출부는, 상기 불량 화소 후보군 내의 후보 불량 화소 각각에 대하여, 미리 설정된 제1 가중치를 상기 현재 프레임의 직전 프레임에 대한 상기 후보 불량 화소의 출력값에 적용하여 제1 조정값을 획득하고, 1에서 상기 제1 가중치를 차감한 제2 가중치를 상기 직전 프레임의 이전 프레임에 대한 상기 후보 불량 화소의 출력값에 적용하여 제2 조정값을 획득하며, 상기 제1 조정값 및 상기 제2 조정값을 기반으로 상기 후보 불량 화소의 상기 현재 프레임에 대한 예측값을 획득하고, 상기 후보 불량 화소의 상기 예측값과 상기 직전 프레임에 대한 상기 후보 불량 화소의 출력값의 차이값을 획득하며, 상기 차이값과 상기 제2 문턱값을 기반으로 상기 후보 불량 화소가 상기 최종 불량 화소인지를 판단할 수 있다.Here, the second detection unit obtains a first adjustment value by applying a preset first weight to an output value of the candidate bad pixel for a frame immediately preceding the current frame, for each of the candidate bad pixels in the bad pixel candidate group; , by applying a second weight obtained by subtracting the first weight from 1 to the output value of the candidate bad pixel for the previous frame of the immediately preceding frame to obtain a second adjustment value, the first adjustment value and the second adjustment value obtains a predicted value of the candidate bad pixel with respect to the current frame based on It may be determined whether the candidate bad pixel is the final bad pixel based on the 2 threshold value.

여기서, 상기 제1 검출부는, 상기 엣지 검출 필터를 상기 합 영상에 적용하여 필터링된 상기 합 영상을 획득하고, 상기 엣지 검출 필터를 상기 차 영상에 적용하여 필터링된 상기 차 영상을 획득하며, 필터링된 상기 합 영상에서 필터링된 상기 차 영상을 차감하여 상기 노이즈 영상을 획득할 수 있다.Here, the first detection unit applies the edge detection filter to the sum image to obtain the filtered sum image, applies the edge detection filter to the difference image to obtain the filtered difference image, The noise image may be obtained by subtracting the filtered difference image from the sum image.

여기서, 상기 엣지 검출 필터는, 로버츠 마스크 기반 필터일 수 있다.Here, the edge detection filter may be a Roberts mask-based filter.

여기서, 상기 로버츠 마스크는, {(-1, 0), (0, 1)}로 이루어지는 제1 마스크 및 {(0, -1), (1,0)}로 이루어지는 제2 마스크를 포함할 수 있다.Here, the Roberts mask may include a first mask consisting of {(-1, 0), (0, 1)} and a second mask consisting of {(0, -1), (1, 0)} have.

상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 다중 대역 영상 기반 불량 화소 검출 방법은, 다중 대역 영상을 획득하는 단계; 현재 프레임(frame)에 대한 상기 다중 대역 영상을 기반으로 합 영상과 차 영상을 획득하고, 상기 합 영상과 상기 차 영상을 기반으로 미리 설정된 엣지(edge) 검출 필터를 이용하여 노이즈 영상을 획득하며, 상기 노이즈 영상을 기반으로 미리 설정된 제1 문턱값을 이용하여 상기 현재 프레임의 불량 화소 후보군을 검출하는 단계; 및 상기 현재 프레임의 상기 불량 화소 후보군을 기반으로 후보 불량 화소의 시간 영역에서의 변화량을 이용하여 상기 현재 프레임의 최종 불량 화소를 검출하는 단계;를 포함한다.According to a preferred embodiment of the present invention for achieving the above object, there is provided a method for detecting a bad pixel based on a multi-band image, the method comprising: acquiring a multi-band image; Obtaining a sum image and a difference image based on the multi-band image for a current frame, and obtaining a noise image using a preset edge detection filter based on the sum image and the difference image, detecting a bad pixel candidate group of the current frame by using a first threshold preset based on the noise image; and detecting a final bad pixel of the current frame by using a change amount of a candidate bad pixel in a time domain based on the bad pixel candidate group of the current frame.

여기서, 상기 최종 불량 화소 검출 단계는, 상기 불량 화소 후보군에서 상기 후보 불량 화소의 시간 영역에서의 변화량이 미리 설정된 제2 문턱값보다 큰 상기 후보 불량 화소를 상기 최종 불량 화소로 획득하는 것으로 이루어질 수 있다.Here, the step of detecting the final bad pixel may include acquiring, as the final bad pixel, the candidate bad pixel whose change amount in the time domain of the candidate bad pixel is greater than a preset second threshold in the bad pixel candidate group. .

여기서, 상기 최종 불량 화소 검출 단계는, 상기 불량 화소 후보군 내의 후보 불량 화소 각각에 대하여, 미리 설정된 제1 가중치를 상기 현재 프레임의 직전 프레임에 대한 상기 후보 불량 화소의 출력값에 적용하여 제1 조정값을 획득하고, 1에서 상기 제1 가중치를 차감한 제2 가중치를 상기 직전 프레임의 이전 프레임에 대한 상기 후보 불량 화소의 출력값에 적용하여 제2 조정값을 획득하며, 상기 제1 조정값 및 상기 제2 조정값을 기반으로 상기 후보 불량 화소의 상기 현재 프레임에 대한 예측값을 획득하고, 상기 후보 불량 화소의 상기 예측값과 상기 직전 프레임에 대한 상기 후보 불량 화소의 출력값의 차이값을 획득하며, 상기 차이값과 상기 제2 문턱값을 기반으로 상기 후보 불량 화소가 상기 최종 불량 화소인지를 판단하는 것으로 이루어질 수 있다.Here, the final bad pixel detection step includes applying a first weight preset for each of the candidate bad pixels in the bad pixel candidate group to the output value of the candidate bad pixel for the frame immediately preceding the current frame to obtain a first adjustment value. and applying a second weight obtained by subtracting the first weight from 1 to the output value of the candidate bad pixel with respect to the previous frame of the immediately preceding frame to obtain a second adjustment value, the first adjustment value and the second weight obtaining a predicted value of the candidate bad pixel with respect to the current frame based on an adjustment value, and obtaining a difference value between the predicted value of the candidate bad pixel and an output value of the candidate bad pixel with respect to the immediately preceding frame, and the difference value and It may be determined whether the candidate bad pixel is the final bad pixel based on the second threshold value.

여기서, 상기 불량 화소 후보군 검출 단계는, 상기 엣지 검출 필터를 상기 합 영상에 적용하여 필터링된 상기 합 영상을 획득하고, 상기 엣지 검출 필터를 상기 차 영상에 적용하여 필터링된 상기 차 영상을 획득하며, 필터링된 상기 합 영상에서 필터링된 상기 차 영상을 차감하여 상기 노이즈 영상을 획득하는 것으로 이루어질 수 있다.Here, the step of detecting the bad pixel candidate group includes applying the edge detection filter to the sum image to obtain the filtered sum image, and applying the edge detection filter to the difference image to obtain the filtered difference image, The noise image may be obtained by subtracting the filtered difference image from the filtered sum image.

여기서, 상기 엣지 검출 필터는, 로버츠 마스크 기반 필터일 수 있다.Here, the edge detection filter may be a Roberts mask-based filter.

여기서, 상기 로버츠 마스크는, {(-1, 0), (0, 1)}로 이루어지는 제1 마스크 및 {(0, -1), (1,0)}로 이루어지는 제2 마스크를 포함할 수 있다.Here, the Roberts mask may include a first mask consisting of {(-1, 0), (0, 1)} and a second mask consisting of {(0, -1), (1, 0)} have.

상기의 기술적 과제를 달성하기 위한 본 발명의 바람직한 실시예에 따른 컴퓨터 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 저장되어 상기한 다중 대역 영상 기반 불량 화소 검출 방법 중 어느 하나를 컴퓨터에서 실행시킨다.A computer program according to a preferred embodiment of the present invention for achieving the above technical object is stored in a computer-readable recording medium, and any one of the above-described multi-band image-based bad pixel detection methods is executed in the computer.

본 발명의 바람직한 실시예에 따른 다중 대역 영상 기반 불량 화소 검출 장치 및 방법에 의하면, 다중 대역별 특성을 반영하여 공간 영역에서의 불량 화소 후보군을 검출하고, 공간 영역에서의 불량 화소 후보군을 기반으로 시간 영역에서의 변화량을 고려하여 최종 불량 화소를 검출함으로써, 다중 대역 영상을 사용하는 시스템에 적용할 수 있고, 대역별 영상 특성을 고려한 불량 화소가 추가적으로 검출될 수 있으며, 대역별로 불량 화소 맵을 별도로 메모리에 저장하지 않아도 된다.According to an apparatus and method for detecting a bad pixel based on a multi-band image according to a preferred embodiment of the present invention, a bad pixel candidate group in the spatial domain is detected by reflecting the characteristics of each multi-band, and time based on the bad pixel candidate group in the spatial domain By detecting the final bad pixel in consideration of the amount of change in the region, it can be applied to a system using a multi-band image, and bad pixels can be additionally detected in consideration of the image characteristics for each band, and a bad pixel map for each band is separately stored in memory. You don't have to save it to .

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 바람직한 실시예에 따른 다중 대역 영상 기반 불량 화소 검출 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 공간 영역에서의 불량 화소 검출 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 바람직한 실시예에 따른 시간 영역에서의 불량 화소 검출 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 다중 대역 영상 기반 불량 화소 검출 방법을 설명하기 위한 흐름도이다.
1 is a block diagram illustrating an apparatus for detecting a bad pixel based on a multi-band image according to a preferred embodiment of the present invention.
2 is a diagram for explaining a process of detecting a bad pixel in a spatial domain according to a preferred embodiment of the present invention.
3 is a diagram for explaining a process of detecting a bad pixel in a time domain according to a preferred embodiment of the present invention.
4 is a flowchart illustrating a method for detecting a bad pixel based on a multi-band image according to a preferred embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments published below, but may be implemented in various different forms, and only these embodiments make the publication of the present invention complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein may be used with the meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly defined in particular.

본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.In the present specification, terms such as “first” and “second” are for distinguishing one component from other components, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.

본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In the present specification, identification symbols (eg, a, b, c, etc.) in each step are used for convenience of description, and identification symbols do not describe the order of each step, and each step is clearly Unless a specific order is specified, the order may differ from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

본 명세서에서, "가진다", "가질 수 있다", "포함한다" 또는 "포함할 수 있다"등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this specification, expressions such as “have”, “may have”, “include” or “may include” indicate the presence of a corresponding feature (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.

또한, 본 명세서에 기재된 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 구조들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.In addition, the term '~ unit' as used herein means software or a hardware component such as a field-programmable gate array (FPGA) or ASIC, and '~ unit' performs certain roles. However, '-part' is not limited to software or hardware. '~unit' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors. Thus, as an example, '~' denotes components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data structures and variables. The functions provided in the components and '~ units' may be combined into a smaller number of components and '~ units' or further separated into additional components and '~ units'.

이하에서 첨부한 도면을 참조하여 본 발명에 따른 다중 대역 영상 기반 불량 화소 검출 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, a preferred embodiment of an apparatus and method for detecting a bad pixel based on a multi-band image according to the present invention will be described in detail with reference to the accompanying drawings.

먼저, 도 1 내지 도 3을 참조하여 본 발명의 바람직한 실시예에 따른 다중 대역 영상 기반 불량 화소 검출 장치에 대하여 설명한다.First, an apparatus for detecting a bad pixel based on a multi-band image according to a preferred embodiment of the present invention will be described with reference to FIGS. 1 to 3 .

도 1은 본 발명의 바람직한 실시예에 따른 다중 대역 영상 기반 불량 화소 검출 장치를 설명하기 위한 블록도이고, 도 2는 본 발명의 바람직한 실시예에 따른 공간 영역에서의 불량 화소 검출 과정을 설명하기 위한 도면이며, 도 3은 본 발명의 바람직한 실시예에 따른 시간 영역에서의 불량 화소 검출 과정을 설명하기 위한 도면이다.1 is a block diagram illustrating a multi-band image-based bad pixel detection apparatus according to a preferred embodiment of the present invention, and FIG. 2 is a block diagram for explaining a process of detecting a bad pixel in a spatial domain according to a preferred embodiment of the present invention. 3 is a diagram for explaining a process of detecting a bad pixel in a time domain according to a preferred embodiment of the present invention.

도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 다중 대역 영상 기반 불량 화소 검출 장치(이하 '불량 화소 검출 장치'라 한다)(100)는 다중 대역별 특성을 반영하여 공간 영역에서의 불량 화소 후보군을 검출하고, 공간 영역에서의 불량 화소 후보군을 기반으로 시간 영역에서의 변화량을 고려하여 최종 불량 화소를 검출한다.Referring to FIG. 1 , a multi-band image-based bad pixel detection apparatus (hereinafter, referred to as a 'bad pixel detection apparatus') 100 according to a preferred embodiment of the present invention reflects multi-band characteristics for bad pixels in a spatial domain. A candidate group is detected, and a final bad pixel is detected in consideration of a change amount in the temporal domain based on the bad pixel candidate group in the spatial domain.

이를 위해, 불량 화소 검출 장치(100)는 영상 획득부(110), 제1 검출부(130) 및 제2 검출부(150)를 포함할 수 있다.To this end, the bad pixel detection apparatus 100 may include an image acquisition unit 110 , a first detection unit 130 , and a second detection unit 150 .

영상 획득부(110)는 다중 대역 영상을 획득할 수 있다.The image acquisition unit 110 may acquire a multi-band image.

즉, 영상 획득부(110)는 서로 다른 대역에서 방사량을 측정하는 복수개의 센서(도시하지 않음)를 포함하고, 복수개의 센서를 통해 다중 대역 영상을 획득할 수 있다. 예컨대, 다른 대역에서 방사 에너지를 측정하는 센서의 출력은 동일한 표적을 지시하더라도 그 출력 값이 다르게 된다.That is, the image acquisition unit 110 may include a plurality of sensors (not shown) that measure the amount of radiation in different bands, and may acquire a multi-band image through the plurality of sensors. For example, the output of a sensor measuring radiation energy in different bands has different output values even if the same target is indicated.

제1 검출부(130)는 다중 대역별 특성을 반영하여 공간 영역에서의 불량 화소 후보군을 검출할 수 있다.The first detector 130 may detect a bad pixel candidate group in the spatial domain by reflecting the multi-band characteristics.

즉, 도 2를 참조하면, 제1 검출부(130)는 영상 획득부(110)를 통해 획득된 현재 프레임(frame)(도 2의 N번째 프레임)에 대한 다중 대역 영상(도 2의 제1 대역 영상 프레임 ~ 제n 대역 영상 프레임)을 기반으로 합 영상과 차 영상을 획득할 수 있다.That is, referring to FIG. 2 , the first detection unit 130 performs a multi-band image (the first band in FIG. 2 ) for the current frame (the N-th frame in FIG. 2 ) acquired through the image acquisition unit 110 . A sum image and a difference image may be obtained based on the image frame to the nth band image frame).

그리고, 제1 검출부(130)는 합 영상과 차 영상을 기반으로 미리 설정된 엣지(edge) 검출 필터를 이용하여 노이즈 영상을 획득할 수 있다.In addition, the first detector 130 may acquire a noise image using a preset edge detection filter based on the sum image and the difference image.

보다 자세히 설명하면, 제1 검출부(130)는 엣지 검출 필터를 합 영상에 적용하여 필터링된 합 영상을 획득하고, 엣지 검출 필터를 차 영상에 적용하여 필터링된 차 영상을 획득하며, 필터링된 합 영상에서 필터링된 차 영상을 차감하여 노이즈 영상을 획득할 수 있다.In more detail, the first detector 130 applies the edge detection filter to the sum image to obtain a filtered sum image, applies the edge detection filter to the difference image to obtain a filtered difference image, and the filtered sum image A noise image may be obtained by subtracting the filtered difference image from .

여기서, 엣지 검출 ??터는 로버츠 마스크 기반 필터일 수 있다. 로버츠 마스크는 {(-1, 0), (0, 1)}로 이루어지는 제1 마스크 및 {(0, -1), (1,0)}로 이루어지는 제2 마스크를 포함할 수 있다.Here, the edge detection vector may be a Roberts mask-based filter. The Roberts mask may include a first mask made of {(-1, 0), (0, 1)} and a second mask made of {(0, -1), (1, 0)}.

그리고, 제1 검출부(130)는 노이즈 영상을 기반으로 미리 설정된 제1 문턱값을 이용하여 현재 프레임(도 2의 N번째 프레임)의 불량 화소 후보군을 검출할 수 있다.In addition, the first detector 130 may detect a bad pixel candidate group of the current frame (the Nth frame of FIG. 2 ) using a first threshold preset based on the noise image.

다시 설명하면, A 대역에 대한 방사 에너지 측정이 가능한 A 센서를 통해 획득한 WxH 크기의 영상을 "A_image"라고 하고, B 대역에 대한 방사 에너지 측정이 가능한 B 센서를 통해 획득한 WxH 크기의 영상을 "B_image"라고 가정하면, 2개의 영상의 융합 후 특성을 살펴보기 위해 각 대역에서 동일한 시점에 획득한 영상의 합과 차를 구할 수 있다. 획득한 영상의 합과 차를 구하는 이유는 1차적인 표적으로 인해 발생하는 노이즈를 판단하기 위함이다.In other words, an image of WxH size obtained through sensor A capable of measuring radiant energy for band A is called “A_image”, and an image of size WxH obtained through sensor B capable of measuring radiant energy for band B is used. Assuming "B_image", the sum and difference of images acquired at the same time in each band can be obtained to examine the post-fusion characteristics of two images. The reason for calculating the sum and difference of the acquired images is to determine the noise generated by the primary target.

다른 두개의 센서를 이용하여 획득한 영상의 불량 화소는 각기 다른 위치에 존재한다. 하지만, 두 개의 영상의 합을 구함으로서 표적부의 영상 출력값을 높여 표적과 배경의 출력 편차를 크게 하고, 두 개의 영상의 차를 구함으로서 영상 전반에 걸친 출력값의 차이, 즉 노이즈를 구할 수 있다.Bad pixels of images acquired using two different sensors exist in different positions. However, by obtaining the sum of the two images, the output deviation of the target and the background is increased by increasing the image output value of the target part, and the difference in the output values across the images, that is, the noise, can be obtained by calculating the difference between the two images.

Sum_image = A_image + B_imageSum_image = A_image + B_image

여기서, Sum_image는 합 영상을 나타낸다.Here, Sum_image represents a sum image.

Sub_image = A_image - B_imageSub_image = A_image - B_image

여기서, Sub_image는 차 영상을 나타낸다.Here, Sub_image represents a difference image.

합 영상 및 차 영상 각각에 2x2 크기의 로버츠 마스크 기반 필터를 적용하여 대역별 특성이 반영되어 있는 필터링된 합 영상 및 필터링된 차 영상을 생성할 수 있다. 필터링된 합 영상 및 필터링된 차 영상을 비교하여 표적으로 인해 발생한 엣지 성분의 위치를 제외하면 후보 불량 화소들의 위치를 알 수 있다. 이후, 해당 후보 불량 화소들에서 제1 문턱값을 통과하지 못하는 화소들을 공간 영역에서 검출한 불량 화소 후보군으로 판단할 수 있다. 여기서, 2x2 로버츠 마스크는 상대적으로 빠른 속도를 가지고 있으며, 주변과 구분이 확실한 엣지가 검출되고 다른 필터들에 비해 노이즈가 잘 드러나므로 이를 이용할 수 있다.By applying a 2x2 size Roberts mask-based filter to each of the sum image and the difference image, a filtered sum image and a filtered difference image in which band-specific characteristics are reflected may be generated. By comparing the filtered sum image and the filtered difference image, the positions of the candidate bad pixels can be found by excluding the positions of the edge components caused by the target. Thereafter, pixels that do not pass the first threshold value among the corresponding candidate bad pixels may be determined as the bad pixel candidate group detected in the spatial domain. Here, the 2x2 Roberts mask has a relatively high speed, and it can be used because an edge that is clearly distinguished from the surrounding is detected and noise is more prominent than other filters.

mask1 = {(-1, 0), (0, 1)}mask1 = {(-1, 0), (0, 1)}

여기서, mask1은 로버츠 마스크의 제1 마스크를 나타낸다.Here, mask1 represents the first mask of the Roberts mask.

mask2 = {(0, -1), (1, 0)}mask2 = {(0, -1), (1, 0)}

여기서, mask2는 로버츠 마스크의 제2 마스크를 나타낸다.Here, mask2 represents the second mask of the Roberts mask.

Sum_image_filtered = (Sum_image * mask1) + (Sum_image * mask2)Sum_image_filtered = (Sum_image * mask1) + (Sum_image * mask2)

여기서, Sum_image_filtered는 합 영상에 로버츠 마스크를 적용하여 생성한 필터링된 합 영상을 나타낸다.Here, Sum_image_filtered represents a filtered sum image generated by applying a Roberts mask to the sum image.

Sub_image_filtered = (Sub_image * mask1) + (Sub_image * mask2)Sub_image_filtered = (Sub_image * mask1) + (Sub_image * mask2)

여기서, Sub_image_filtered는 차 영상에 로버츠 마스크를 적용하여 생성한 필터링된 차 영상을 나타낸다.Here, Sub_image_filtered represents a filtered difference image generated by applying a Roberts mask to the difference image.

Image_noise = Sum_image_filtered - Sub_image_filteredImage_noise = Sum_image_filtered - Sub_image_filtered

여기서, Image_noise는 노이즈 영상을 나타낸다.Here, Image_noise represents a noise image.

제2 검출부(150)는 제1 검출부(130)를 통해 검출된 공간 영역에서의 불량 화소 후보군을 기반으로 시간 영역에서의 변화량을 고려하여 최종 불량 화소를 검출할 수 있다.The second detector 150 may detect the final bad pixel in consideration of the amount of change in the time domain based on the candidate group of bad pixels in the spatial domain detected by the first detector 130 .

즉, 도 3을 참조하면, 제2 검출부(150)는 제1 검출부(130)를 통해 검출된 현재 프레임(도 3의 N번째 프레임)의 불량 화소 후보군(도 3의 후보 불량 화소 1 ~ 후보 불량 화소 n)을 기반으로 후보 불량 화소의 시간 영역에서의 변화량을 이용하여 현재 프레임(도 3의 N번째 프레임)의 최종 불량 화소(도 3의 최종 불량 화소 1 ~ 최종 불량 화소 m)를 검출할 수 있다.That is, referring to FIG. 3 , the second detection unit 150 detects a bad pixel candidate group (candidate bad pixels 1 to 3 in FIG. 3 ) of the current frame (the Nth frame of FIG. 3 ) detected by the first detection unit 130 . Based on pixel n), the final bad pixel (last bad pixel 1 to last bad pixel m in FIG. 3) of the current frame (Nth frame in FIG. 3) can be detected by using the amount of change in the time domain of the candidate bad pixel have.

보다 자세히 설명하면, 제2 검출부(150)는 불량 화소 후보군에서 후보 불량 화소의 시간 영역에서의 변화량이 미리 설정된 제2 문턱값보다 큰 후보 불량 화소를 최종 불량 화소로 획득할 수 있다.In more detail, the second detector 150 may acquire, as a final bad pixel, a candidate bad pixel whose change amount in the time domain of the candidate bad pixel is greater than a preset second threshold from the bad pixel candidate group.

이때, 제2 검출부(150)는 불량 화소 후보군 내의 후보 불량 화소 각각에 대하여 해당 후보 불량 화소가 최종 불량 화소인지를 판단할 수 있다.In this case, the second detection unit 150 may determine whether the corresponding candidate bad pixel is the final bad pixel for each of the candidate bad pixels in the bad pixel candidate group.

즉, 제2 검출부(150)는 미리 설정된 제1 가중치를 현재 프레임(도 3의 N번째 프레임)의 직전 프레임(도 3의 N-1번째 프레임)에 대한 후보 불량 화소의 출력값에 적용하여 제1 조정값을 획득할 수 있다.That is, the second detector 150 applies a preset first weight to the output value of the candidate bad pixel with respect to the frame immediately preceding the current frame (the Nth frame of FIG. 3 ) (the N−1th frame of FIG. 3 ) to obtain the first Adjustment values can be obtained.

그리고, 제2 검출부(150)는 제2 가중치를 직전 프레임(도 3의 N-1번째 프레임)의 이전 프레임(도 3의 N-2번째 프레임)에 대한 후보 불량 화소의 출력값에 적용하여 제2 조정값을 획득할 수 있다. 여기서, 제2 가중치는 1에서 제1 가중치를 차감한 값을 나타낸다.Then, the second detector 150 applies the second weight to the output value of the candidate bad pixel with respect to the previous frame (the N-2 th frame of FIG. 3 ) of the immediately preceding frame (the N-1 th frame of FIG. 3 ) to obtain a second Adjustment values can be obtained. Here, the second weight represents a value obtained by subtracting the first weight from 1 .

그리고, 제2 검출부(150)는 제1 조정값 및 제2 조정값을 기반으로 후보 불량 화소의 현재 프레임(도 3의 N번째 프레임)에 대한 예측값을 획득할 수 있다.In addition, the second detector 150 may obtain a predicted value for the current frame (the N-th frame of FIG. 3 ) of the candidate bad pixel based on the first adjustment value and the second adjustment value.

그리고, 제2 검출부(150)는 후보 불량 화소의 현재 프레임(도 3의 N번째 프레임)에 대한 예측값과 직전 프레임(도 3의 N-1번째 프레임)에 대한 후보 불량 화소의 출력값의 차이값을 획득할 수 있다.Then, the second detector 150 detects a difference between the predicted value of the candidate bad pixel for the current frame (the Nth frame of FIG. 3 ) and the output value of the candidate bad pixel with respect to the previous frame (the N−1th frame of FIG. 3 ). can be obtained

그리고, 제2 검출부(150)는 차이값과 제2 문턱값을 기반으로 후보 불량 화소가 최종 불량 화소인지를 판단할 수 있다.In addition, the second detector 150 may determine whether the candidate bad pixel is the final bad pixel based on the difference value and the second threshold value.

다시 설명하면, 공간 영역에서 검출한 과정만으로는 명확하게 표적과 배경으로 인한 불량 화소의 판단이 어렵다. 따라서, 시간 영역에서 획득한 영상들을 이용하여 불량 화소인지 여부를 추가적으로 판단할 수 있다.In other words, it is difficult to clearly determine a bad pixel due to the target and the background only by the process detected in the spatial domain. Accordingly, it is possible to additionally determine whether a pixel is a bad pixel by using the images acquired in the time domain.

추가적인 판단 과정에서, 본 발명은 시간 성분 별 가중치 k 값을 적용할 수 있다. 즉, 입력되는 현재 프레임(N번째 프레임)의 직전 프레임(N-1번째 프레임)에는 k 값을 적용하고, 직전 프레임(N-1번째 프레임)의 이전 프레임(N-2번째 프레임)에는 (1-k) 값을 적용하여, 화소의 기존 출력값 변화량이 고려된 값을 계산할 수 있다. 이후, 직전 프레임(N-1번째 프레임)과의 편차 I를 계산하여 화소의 출력값 변화량을 산출하고, 최종적으로 I 값이 특정 제2 문턱값을 넘어갈 경우 최종 불량 화소로 판단할 수 있다.In an additional determination process, the present invention may apply a weight value k for each time component. That is, the value k is applied to the frame (N-1 th frame) immediately before the input current frame (N-th frame), and (1) to the previous frame (N-2 th frame) of the immediately preceding frame (N-1 th frame). By applying the -k) value, a value in consideration of the amount of change in the existing output value of the pixel can be calculated. Thereafter, the deviation I from the previous frame (the N−1th frame) is calculated to calculate the amount of change in the output value of the pixel, and when the I value exceeds a specific second threshold value, the pixel may be determined as a final bad pixel.

Nth_img = k * (N-1)th_img + (1-k) * (N-2)th_imgNth_img = k * (N-1)th_img + (1-k) * (N-2)th_img

여기서, Nth_img는 후보 불량 화소의 N번째 프레임에 대한 예측값을 나타낸다. k는 제1 가중치를 나타낸다. (N-1)th_img는 N-1번째 프레임에 대한 후보 불량 화소의 출력값을 나타낸다. (1-k)는 제2 가중치를 나타낸다. (N-2)th_img는 N-2번째 프레임에 대한 후보 불량 화소의 출력값을 나타낸다.Here, Nth_img represents a predicted value of the Nth frame of the candidate bad pixel. k represents the first weight. (N-1)th_img represents an output value of a candidate bad pixel for an N-1 th frame. (1-k) represents the second weight. (N-2)th_img represents an output value of a candidate bad pixel for an N-2 th frame.

I = Nth_img - (N-1)th_imgI = Nth_img - (N-1)th_img

여기서, I는 후보 불량 화소의 차이값을 나타낸다.Here, I denotes a difference value between candidate bad pixels.

그러면, 도 4를 참조하여 본 발명의 바람직한 실시예에 따른 다중 대역 영상 기반 불량 화소 검출 방법에 대하여 설명한다.Next, a method for detecting a bad pixel based on a multi-band image according to a preferred embodiment of the present invention will be described with reference to FIG. 4 .

도 4는 본 발명의 바람직한 실시예에 따른 다중 대역 영상 기반 불량 화소 검출 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method for detecting a bad pixel based on a multi-band image according to a preferred embodiment of the present invention.

도 4를 참조하면, 불량 화소 검출 장치(100)는 다중 대역 영상을 획득할 수 있다(S110).Referring to FIG. 4 , the bad pixel detection apparatus 100 may acquire a multi-band image ( S110 ).

그러면, 불량 화소 검출 장치(100)는 현재 프레임에 대한 다중 대역 영상을 기반으로 합 영상과 차 영상을 획득하고, 합 영상과 차 영상을 기반으로 미리 설정된 엣지 검출 필터를 이용하여 노이즈 영상을 획득하며, 노이즈 영상을 기반으로 미리 설정된 제1 문턱값을 이용하여 현재 프레임의 불량 화소 후보군을 검출할 수 있다(S130).Then, the bad pixel detection apparatus 100 acquires a sum image and a difference image based on the multi-band image of the current frame, and acquires a noise image using a preset edge detection filter based on the sum image and the difference image, , a bad pixel candidate group of the current frame may be detected using a preset first threshold based on the noisy image ( S130 ).

이때, 불량 화소 검출 장치(100)는 엣지 검출 필터를 합 영상에 적용하여 필터링된 합 영상을 획득하고, 엣지 검출 필터를 차 영상에 적용하여 필터링된 차 영상을 획득하며, 필터링된 합 영상에서 필터링된 차 영상을 차감하여 노이즈 영상을 획득할 수 있다. 여기서, 엣지 검출 ??터는 로버츠 마스크 기반 필터일 수 있다. 로버츠 마스크는 {(-1, 0), (0, 1)}로 이루어지는 제1 마스크 및 {(0, -1), (1,0)}로 이루어지는 제2 마스크를 포함할 수 있다.In this case, the bad pixel detection apparatus 100 applies the edge detection filter to the sum image to obtain a filtered sum image, applies the edge detection filter to the difference image to obtain a filtered difference image, and filters the filtered sum image. A noise image may be obtained by subtracting the difference image. Here, the edge detection vector may be a Roberts mask-based filter. The Roberts mask may include a first mask made of {(-1, 0), (0, 1)} and a second mask made of {(0, -1), (1, 0)}.

그런 다음, 불량 화소 검출 장치(100)는 현재 프레임의 불량 화소 후보군을 기반으로 후보 불량 화소의 시간 영역에서의 변화량을 이용하여 현재 프레임의 최종 불량 화소를 검출할 수 있다(S150).Then, the bad pixel detection apparatus 100 may detect the final bad pixel of the current frame by using the change amount of the candidate bad pixel in the time domain based on the bad pixel candidate group of the current frame ( S150 ).

즉, 불량 화소 검출 장치(100)는 불량 화소 후보군에서 후보 불량 화소의 시간 영역에서의 변화량이 미리 설정된 제2 문턱값보다 큰 후보 불량 화소를 최종 불량 화소로 획득할 수 있다.That is, the bad pixel detection apparatus 100 may obtain, as a final bad pixel, a candidate bad pixel whose change amount in the time domain of the candidate bad pixel is greater than a preset second threshold in the bad pixel candidate group.

이때, 불량 화소 검출 장치(100)는 불량 화소 후보군 내의 후보 불량 화소 각각에 대하여, 미리 설정된 제1 가중치를 현재 프레임의 직전 프레임에 대한 후보 불량 화소의 출력값에 적용하여 제1 조정값을 획득하고, 제2 가중치(1에서 제1 가중치를 차감한 값)를 직전 프레임의 이전 프레임에 대한 후보 불량 화소의 출력값에 적용하여 제2 조정값을 획득하며, 제1 조정값 및 제2 조정값을 기반으로 후보 불량 화소의 현재 프레임에 대한 예측값을 획득하고, 후보 불량 화소의 현재 프레임에 대한 예측값과 직전 프레임에 대한 후보 불량 화소의 출력값의 차이값을 획득하며, 차이값과 제2 문턱값을 기반으로 후보 불량 화소가 최종 불량 화소인지를 판단할 수 있다.In this case, the bad pixel detection apparatus 100 applies a preset first weight to the output value of the candidate bad pixel for the frame immediately preceding the current frame to obtain a first adjustment value for each of the candidate bad pixels in the bad pixel candidate group, A second adjustment value is obtained by applying the second weight (the value obtained by subtracting the first weight from 1) to the output value of the candidate bad pixel for the previous frame of the previous frame, and based on the first adjustment value and the second adjustment value Obtaining the prediction value of the current frame of the candidate bad pixel, obtaining the difference value between the predicted value of the current frame of the candidate bad pixel and the output value of the candidate bad pixel with respect to the previous frame, and obtaining a candidate based on the difference value and the second threshold It may be determined whether the bad pixel is a final bad pixel.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록 매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록 매체로서는 자기기록매체, 광 기록매체 등이 포함될 수 있다.Even though all the components constituting the embodiment of the present invention described above are described as being combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all of the components may operate by selectively combining one or more. In addition, all of the components may be implemented as one independent hardware, but some or all of the components are selectively combined to perform some or all functions of the combined components in one or a plurality of hardware program modules It may be implemented as a computer program having In addition, such a computer program is stored in a computer readable media such as a USB memory, a CD disk, a flash memory, etc., read and executed by a computer, thereby implementing an embodiment of the present invention. The computer program recording medium may include a magnetic recording medium, an optical recording medium, and the like.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes and substitutions are possible within the scope that does not depart from the essential characteristics of the present invention by those of ordinary skill in the art to which the present invention pertains. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are for explaining, not limiting, the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments and the accompanying drawings. . The protection scope of the present invention should be construed by the following claims, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

100 : 불량 화소 검출 장치,
110 : 영상 획득부,
130 : 제1 검출부,
150 : 제2 검출부
100: bad pixel detection device;
110: image acquisition unit,
130: a first detection unit;
150: second detection unit

Claims (13)

다중 대역 영상을 획득하는 영상 획득부;
상기 영상 획득부를 통해 획득된 현재 프레임(frame)에 대한 상기 다중 대역 영상을 기반으로 합 영상과 차 영상을 획득하고, 상기 합 영상과 상기 차 영상을 기반으로 미리 설정된 엣지(edge) 검출 필터를 이용하여 노이즈 영상을 획득하며, 상기 노이즈 영상을 기반으로 미리 설정된 제1 문턱값을 이용하여 상기 현재 프레임의 불량 화소 후보군을 검출하는 제1 검출부; 및
상기 제1 검출부를 통해 검출된 상기 현재 프레임의 상기 불량 화소 후보군을 기반으로 후보 불량 화소의 시간 영역에서의 변화량을 이용하여 상기 현재 프레임의 최종 불량 화소를 검출하는 제2 검출부;
를 포함하는 다중 대역 영상 기반 불량 화소 검출 장치.
an image acquisition unit for acquiring a multi-band image;
A sum image and a difference image are obtained based on the multi-band image for a current frame obtained through the image acquisition unit, and a preset edge detection filter is used based on the sum image and the difference image. a first detector configured to acquire a noisy image by using a first threshold value preset based on the noise image to detect a group of bad pixel candidates of the current frame; and
a second detector configured to detect a final bad pixel of the current frame by using a change amount of a candidate bad pixel in a time domain based on the group of bad pixel candidates of the current frame detected by the first detector;
A multi-band image-based bad pixel detection device comprising a.
제1항에서,
상기 제2 검출부는,
상기 불량 화소 후보군에서 상기 후보 불량 화소의 시간 영역에서의 변화량이 미리 설정된 제2 문턱값보다 큰 상기 후보 불량 화소를 상기 최종 불량 화소로 획득하는,
다중 대역 영상 기반 불량 화소 검출 장치.
In claim 1,
The second detection unit,
obtaining, as the final bad pixel, the candidate bad pixel having a change amount of the candidate bad pixel in the time domain greater than a preset second threshold in the bad pixel candidate group;
Multi-band image-based bad pixel detection device.
제2항에서,
상기 제2 검출부는,
상기 불량 화소 후보군 내의 후보 불량 화소 각각에 대하여, 미리 설정된 제1 가중치를 상기 현재 프레임의 직전 프레임에 대한 상기 후보 불량 화소의 출력값에 적용하여 제1 조정값을 획득하고, 1에서 상기 제1 가중치를 차감한 제2 가중치를 상기 직전 프레임의 이전 프레임에 대한 상기 후보 불량 화소의 출력값에 적용하여 제2 조정값을 획득하며, 상기 제1 조정값 및 상기 제2 조정값을 기반으로 상기 후보 불량 화소의 상기 현재 프레임에 대한 예측값을 획득하고, 상기 후보 불량 화소의 상기 예측값과 상기 직전 프레임에 대한 상기 후보 불량 화소의 출력값의 차이값을 획득하며, 상기 차이값과 상기 제2 문턱값을 기반으로 상기 후보 불량 화소가 상기 최종 불량 화소인지를 판단하는,
다중 대역 영상 기반 불량 화소 검출 장치.
In claim 2,
The second detection unit,
For each candidate bad pixel in the bad pixel candidate group, a first adjustment value is obtained by applying a preset first weight to the output value of the candidate bad pixel for the frame immediately preceding the current frame, and the first weight is A second adjustment value is obtained by applying the subtracted second weight to the output value of the candidate bad pixel for the previous frame of the immediately preceding frame, and based on the first adjustment value and the second adjustment value, obtain a prediction value for the current frame, obtain a difference value between the predicted value of the candidate bad pixel and an output value of the candidate bad pixel with respect to the immediately preceding frame, and obtain the candidate based on the difference value and the second threshold value determining whether the bad pixel is the final bad pixel;
Multi-band image-based bad pixel detection device.
제1항에서,
상기 제1 검출부는,
상기 엣지 검출 필터를 상기 합 영상에 적용하여 필터링된 상기 합 영상을 획득하고, 상기 엣지 검출 필터를 상기 차 영상에 적용하여 필터링된 상기 차 영상을 획득하며, 필터링된 상기 합 영상에서 필터링된 상기 차 영상을 차감하여 상기 노이즈 영상을 획득하는,
다중 대역 영상 기반 불량 화소 검출 장치.
In claim 1,
The first detection unit,
The edge detection filter is applied to the sum image to obtain the filtered sum image, the filtered difference image is obtained by applying the edge detection filter to the difference image, and the filtered difference image is obtained from the filtered sum image. To obtain the noise image by subtracting the image,
Multi-band image-based bad pixel detection device.
제4항에서,
상기 엣지 검출 필터는,
로버츠 마스크 기반 필터인,
다중 대역 영상 기반 불량 화소 검출 장치.
In claim 4,
The edge detection filter is
Roberts mask based filter,
Multi-band image-based bad pixel detection device.
제5항에서,
상기 로버츠 마스크는,
{(-1, 0), (0, 1)}로 이루어지는 제1 마스크 및 {(0, -1), (1,0)}로 이루어지는 제2 마스크를 포함하는,
다중 대역 영상 기반 불량 화소 검출 장치.
In claim 5,
The Roberts mask,
A first mask consisting of {(-1, 0), (0, 1)} and a second mask consisting of {(0, -1), (1, 0)},
Multi-band image-based bad pixel detection device.
다중 대역 영상을 획득하는 단계;
현재 프레임(frame)에 대한 상기 다중 대역 영상을 기반으로 합 영상과 차 영상을 획득하고, 상기 합 영상과 상기 차 영상을 기반으로 미리 설정된 엣지(edge) 검출 필터를 이용하여 노이즈 영상을 획득하며, 상기 노이즈 영상을 기반으로 미리 설정된 제1 문턱값을 이용하여 상기 현재 프레임의 불량 화소 후보군을 검출하는 단계; 및
상기 현재 프레임의 상기 불량 화소 후보군을 기반으로 후보 불량 화소의 시간 영역에서의 변화량을 이용하여 상기 현재 프레임의 최종 불량 화소를 검출하는 단계;
를 포함하는 다중 대역 영상 기반 불량 화소 검출 방법.
acquiring a multi-band image;
Obtaining a sum image and a difference image based on the multi-band image for a current frame, and obtaining a noise image using a preset edge detection filter based on the sum image and the difference image, detecting a bad pixel candidate group of the current frame by using a first threshold preset based on the noise image; and
detecting a final bad pixel of the current frame by using a change amount of a candidate bad pixel in a time domain based on the bad pixel candidate group of the current frame;
A multi-band image-based bad pixel detection method comprising a.
제7항에서,
상기 최종 불량 화소 검출 단계는,
상기 불량 화소 후보군에서 상기 후보 불량 화소의 시간 영역에서의 변화량이 미리 설정된 제2 문턱값보다 큰 상기 후보 불량 화소를 상기 최종 불량 화소로 획득하는 것으로 이루어지는,
다중 대역 영상 기반 불량 화소 검출 방법.
In claim 7,
The final bad pixel detection step includes:
and acquiring, as the final bad pixel, the candidate bad pixel whose change amount in the time domain of the candidate bad pixel is greater than a preset second threshold in the bad pixel candidate group;
Multi-band image-based bad pixel detection method.
제8항에서,
상기 최종 불량 화소 검출 단계는,
상기 불량 화소 후보군 내의 후보 불량 화소 각각에 대하여, 미리 설정된 제1 가중치를 상기 현재 프레임의 직전 프레임에 대한 상기 후보 불량 화소의 출력값에 적용하여 제1 조정값을 획득하고, 1에서 상기 제1 가중치를 차감한 제2 가중치를 상기 직전 프레임의 이전 프레임에 대한 상기 후보 불량 화소의 출력값에 적용하여 제2 조정값을 획득하며, 상기 제1 조정값 및 상기 제2 조정값을 기반으로 상기 후보 불량 화소의 상기 현재 프레임에 대한 예측값을 획득하고, 상기 후보 불량 화소의 상기 예측값과 상기 직전 프레임에 대한 상기 후보 불량 화소의 출력값의 차이값을 획득하며, 상기 차이값과 상기 제2 문턱값을 기반으로 상기 후보 불량 화소가 상기 최종 불량 화소인지를 판단하는 것으로 이루어지는,
다중 대역 영상 기반 불량 화소 검출 방법.
In claim 8,
The final bad pixel detection step includes:
For each candidate bad pixel in the bad pixel candidate group, a first adjustment value is obtained by applying a preset first weight to the output value of the candidate bad pixel for the frame immediately preceding the current frame, and the first weight is A second adjustment value is obtained by applying the subtracted second weight to the output value of the candidate bad pixel for the previous frame of the immediately preceding frame, and based on the first adjustment value and the second adjustment value, obtain a prediction value for the current frame, obtain a difference value between the predicted value of the candidate bad pixel and an output value of the candidate bad pixel with respect to the immediately preceding frame, and obtain the candidate based on the difference value and the second threshold value It consists of determining whether the bad pixel is the last bad pixel,
Multi-band image-based bad pixel detection method.
제7항에서,
상기 불량 화소 후보군 검출 단계는,
상기 엣지 검출 필터를 상기 합 영상에 적용하여 필터링된 상기 합 영상을 획득하고, 상기 엣지 검출 필터를 상기 차 영상에 적용하여 필터링된 상기 차 영상을 획득하며, 필터링된 상기 합 영상에서 필터링된 상기 차 영상을 차감하여 상기 노이즈 영상을 획득하는 것으로 이루어지는,
다중 대역 영상 기반 불량 화소 검출 방법.
In claim 7,
The step of detecting the bad pixel candidate group includes:
The edge detection filter is applied to the sum image to obtain the filtered sum image, the filtered difference image is obtained by applying the edge detection filter to the difference image, and the filtered difference image is obtained from the filtered sum image. It consists of obtaining the noise image by subtracting the image,
Multi-band image-based bad pixel detection method.
제10항에서,
상기 엣지 검출 필터는,
로버츠 마스크 기반 필터인,
다중 대역 영상 기반 불량 화소 검출 방법.
In claim 10,
The edge detection filter is
Roberts mask based filter,
Multi-band image-based bad pixel detection method.
제11항에서,
상기 로버츠 마스크는,
{(-1, 0), (0, 1)}로 이루어지는 제1 마스크 및 {(0, -1), (1,0)}로 이루어지는 제2 마스크를 포함하는,
다중 대역 영상 기반 불량 화소 검출 방법.
In claim 11,
The Roberts mask,
A first mask consisting of {(-1, 0), (0, 1)} and a second mask consisting of {(0, -1), (1, 0)},
Multi-band image-based bad pixel detection method.
제7항 내지 제12항 중 어느 한 항에 기재된 다중 대역 영상 기반 불량 화소 검출 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램.
A computer program stored in a computer-readable recording medium in order to execute the method for detecting a bad pixel based on a multi-band image according to any one of claims 7 to 12 in a computer.
KR1020210030797A 2021-03-09 2021-03-09 Apparatus and method for detecting defect pixel based on multi-band images KR102596414B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210030797A KR102596414B1 (en) 2021-03-09 2021-03-09 Apparatus and method for detecting defect pixel based on multi-band images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210030797A KR102596414B1 (en) 2021-03-09 2021-03-09 Apparatus and method for detecting defect pixel based on multi-band images

Publications (2)

Publication Number Publication Date
KR20220126474A true KR20220126474A (en) 2022-09-16
KR102596414B1 KR102596414B1 (en) 2023-10-31

Family

ID=83445047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210030797A KR102596414B1 (en) 2021-03-09 2021-03-09 Apparatus and method for detecting defect pixel based on multi-band images

Country Status (1)

Country Link
KR (1) KR102596414B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008311834A (en) * 2007-06-13 2008-12-25 Nec Corp Defective pixel correcting device and method
JP2010093471A (en) * 2008-10-07 2010-04-22 Panasonic Corp Imaging device, semiconductor integrated circuit for the same, and method of determining defective pixel
JP2013247416A (en) * 2012-05-24 2013-12-09 Mitsubishi Electric Corp Defect detection method, image correction method, and infrared imaging device
JP2015162759A (en) * 2014-02-26 2015-09-07 キヤノン株式会社 Image processing apparatus, control method and recording medium
JP2018195085A (en) * 2017-05-17 2018-12-06 キヤノン株式会社 Image processing apparatus, imaging apparatus, image processing method, and program
WO2018220780A1 (en) * 2017-06-01 2018-12-06 日本電気株式会社 Image generation device, image generation method, and storage medium on which program is stored

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008311834A (en) * 2007-06-13 2008-12-25 Nec Corp Defective pixel correcting device and method
JP2010093471A (en) * 2008-10-07 2010-04-22 Panasonic Corp Imaging device, semiconductor integrated circuit for the same, and method of determining defective pixel
JP2013247416A (en) * 2012-05-24 2013-12-09 Mitsubishi Electric Corp Defect detection method, image correction method, and infrared imaging device
JP2015162759A (en) * 2014-02-26 2015-09-07 キヤノン株式会社 Image processing apparatus, control method and recording medium
JP2018195085A (en) * 2017-05-17 2018-12-06 キヤノン株式会社 Image processing apparatus, imaging apparatus, image processing method, and program
WO2018220780A1 (en) * 2017-06-01 2018-12-06 日本電気株式会社 Image generation device, image generation method, and storage medium on which program is stored

Also Published As

Publication number Publication date
KR102596414B1 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
US9846930B2 (en) Detecting defects on a wafer using defect-specific and multi-channel information
US9721337B2 (en) Detecting defects on a wafer using defect-specific information
KR102170029B1 (en) 3D shape measurement device, 3D shape measurement method and program
US11193756B2 (en) Object shape measurement apparatus and method
EP3291552A1 (en) Stray light effect testing of a camera
JP6731645B2 (en) Image monitoring device, image monitoring method, and image monitoring program
US9646388B2 (en) Integrated image distortion correction with motion compensated integration
CN106124052B (en) Color matching with shade detection
TW201738985A (en) System, method and computer program product for correcting a difference image generated from a comparison of target and reference dies
KR20170117723A (en) Apparatus and Method for multi-sensor information fusion based on feature information
KR102294391B1 (en) Method for object detection and apparatus for executing the method
KR20220126474A (en) Apparatus and method for detecting defect pixel based on multi-band images
JP6838651B2 (en) Image processing equipment, image processing methods and programs
KR101840837B1 (en) Apparatus and method for detecting dead pixel according to external infrared detector
CN111220087B (en) Surface topography detection method
US8818102B2 (en) Method for spectral-spatial-temporal image detection
US10679909B2 (en) System, method and non-transitory computer readable medium for tuning sensitivies of, and determining a process window for, a modulated wafer
Kataoka et al. Prediction uncertainty evaluation of deep learning ghost imaging based on the feature map
KR20180133534A (en) A system, method, and computer program product for detecting defects in a target component manufactured using consistent modulation for a target component and a reference component
JPH07180996A (en) Guiding device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant