KR102602846B1 - 적외선 화상 포착 장치의 기생 화소들의 검출 - Google Patents

적외선 화상 포착 장치의 기생 화소들의 검출 Download PDF

Info

Publication number
KR102602846B1
KR102602846B1 KR1020187001313A KR20187001313A KR102602846B1 KR 102602846 B1 KR102602846 B1 KR 102602846B1 KR 1020187001313 A KR1020187001313 A KR 1020187001313A KR 20187001313 A KR20187001313 A KR 20187001313A KR 102602846 B1 KR102602846 B1 KR 102602846B1
Authority
KR
South Korea
Prior art keywords
pixels
pixel
target
parasitic
score
Prior art date
Application number
KR1020187001313A
Other languages
English (en)
Other versions
KR20180031678A (ko
Inventor
아모리 세라갈리아
Original Assignee
율리스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 율리스 filed Critical 율리스
Publication of KR20180031678A publication Critical patent/KR20180031678A/ko
Application granted granted Critical
Publication of KR102602846B1 publication Critical patent/KR102602846B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Abstract

본 발명은 적외선 방사를 감지하여 화상을 포착하는 장치의 화소 어레이로부터 기생 화소들을 검출하는 방법에 관한 것이다. 이 방법은; 화소 시스템에 의해 포착된 입력 화상을 수신하는 단계와; 입력 화상으로부터의 적어도 일부 화소들을 포함하는 복수의 목표 화소들에 대해 점수를 연산하는 단계를 포함한다. 각 목표 화소에 대한 점수는 목표 화소 둘레의 H×H의 창 내에서 선택된 k개의 화소들을 기반으로 생성된다. H는 3 이상의 홀수이고, k는 2 내지 5 사이의 정수이다. k개의 화소들과 목표 화소로 형성된 집합에서 각 화소는 상기 집합의 화소와 적어도 하나의 경계 또는 구석 점을 공유하고, k개의 화소들의 값들은 목표 화소의 값과의 간격이며, k개의 화소들은 k개의 간격들을 기반으로 선택된다. 방법은 또한 연산된 점수들을 기반으로 목표 화소들 중의 적어도 하나가 기생 화소임을 검출하는 단계를 포함한다.

Description

적외선 화상 포착 장치의 기생 화소들의 검출
본 발명은 적외선 화상처리 장치에 관한 것으로, 특히 적외선 광을 감지하는 화소들의 어레이에 의해 포착된 화상 내의 기생 화소를 검출하는 방법 및 장치에 관한 것이다.
마이크로볼로미터(microbolometer) 또는 냉각(cooled) IR 화상처리 장치 등의 적외선(infrared; IR) 화상처리 장치(imaging device)는 화소 어레이(pixel array)를 구성하는 IR 감지 검출기(IR-sensitive detector)들의 어레이를 구비한다. 이러한 화소 어레이의 공간적 불균일성을 보정(correct)하기 위해, 포착(capture)된 화상의 각 화소 신호(또는 “화소 값(pixel value)")가 화상표시(display)되기 전에 오프셋 및 게인 보정(offset and gain correction)이 전반적으로 적용된다. 오프셋 및 게인 값은 장치의 제조자 예비 검정(in-house preliminary calibration) 단계 동안에 균일한 방사 원(흑체; black body)들을 사용하여 제어된 온도에서 생성되어, 화상처리 장치에 저장된다. 이와 같은 공간적 불균일성은 시간에 따라서 뿐 아니라 화상처리 장치의 광학, 기계 및 전자 부품들의 온도의 함수로도 변화되며, 이에 따라 흔히 내부 기계적 셔터가 화상처리 장치에 사용되어 화상 보정을 보조한다. 이는 이후의 검정에 사용될 비교적 균일한 장면(scene)의 기준 화상(reference image)을 얻기 위해 주기적으로 셔터가 차단된 상태에서 화상을 포착하는 과정을 포함한다.
이러한 적외선 화상처리 장치의 제조 공정에 이은 제조자의 초기 검정 단계의 종료시, 화소 어레이 내의 하나 이상의 화소가 작동 불능이라고 선언되는 경우가 일반적이다. 이러한 화소는 당업계에 일반적으로 “불량 화소(bad pixel)"로 알려졌는데, 이는 화상처리 장치에 의해 작동성 맵(operability map) 내에 식별된다. 불량 화소들에 의해 생성되는 화소 값은 일반적으로 신뢰할 수 없으므로 그 화소 값들은 화상 내의 이웃 화소(neighboring pixel)들에 기반하여 생성된 값들로 대체된다.
뿐만 아니라, 이러한 화상처리 장치의 작동수명(lifetime) 동안에 원래 작동 가능한 하나 이상의 화소들의 신호 거동이 더 이상 그 초기 검정 파라미터(calibration parameter)들로 허용 가능하게 기술될 수 없는 경우가 발견된다. 이는 예를 들어 센서 패키지(sensor package) 내에 잔류하거나 방출된 미세한 내부 이동 입자에 의해 야기되는 여러 가지 물리적 변경이나 심지어 기계적 손상에 기인한다. 이 화소들은 본 명세서에서 기생 화소(spurious pixel)로 지칭될 것이다. 이러한 화소들은 초기 작동성 맵에 기록되지 않았지만, 화상 품질을 열화시킬 수 있다.
셔터가 설치된 화상처리 장치의 경우, FR3009388로 간행된 프랑스특허출원이 소정의 셔터 차단 기간 동안에 이러한 기생 화소들을 식별하여 작동성 맵을 반복 갱신(recurrent updating)하는 수단을 제공하는 방법을 개시하고 있다.
그러나 셔터의 사용은 추가적 중량과 원가, 및 이 부품의 파손가능성(fragility) 등의 몇 가지 단점이 있다. 뿐만 아니라, 어떤 응용분야에 있어서는 셔터가 차단되어 검정이 이뤄지는 동안 손실되는 시간 때문에 셔터의 사용이 불가능할 수도 있다. 이 검정 기간 동안에는 장면의 화상이 포착될 수 없다.
셔터 없는 화상처리 장치에서는, 특히 화소 값이 포착된 화상의 거친 영역(textured zone)에 있을 때 화상 장면(image scene)으로부터 이러한 기생 화소들을 식별하는 데 기술적 어려움이 있다.
기생 화소들이 식별될 수 있다 하더라도, 이러한 기생 화소들은 단지 불량 화소들의 목록에 추가될 수 있을 뿐이다. 그러나 화상처리 장치가 그 작동수명 동안 예를 들어 반복적인 충격들을 받는다면 화상에서 기생 화소들이 밀집한 위치는 더 이상 무시할 수 없이, 화상 열화(image degradation)가 나타날 수 있다.
이에 따라 당업계, 특히 셔터 없는 적외선 화상처리 분야에 기생 화소들을 감지하여 적어도 작동성 맵을 갱신하거나, 나아가 잘못 검정(miscalibrate)될 수 있는 특정한 기생 화소들을 재검정(recalibrate)할 수 있는 장치와 방법에 대한 요구가 있다.
본 명세서의 실시예들의 목적은 종래기술의 하나 이상의 요구를 적어도 부분적으로 해결하는 것이다.
(본 발명의) 한 국면(aspect)에 의하면, 적외선 방사를 감지하는 화상처리 장치(imaging device)의 화소 어레이(pixel array)의 기생 화소(spurious pixel)들을 검출(detect)하는 방법이 제공되는데, 이 방법은: 화상처리 장치의 처리 소자(processing device)에 의해 화소 어레이에 포착(capture)된 입력 화상을 수신하는 단계와; 입력 화상의 적어도 일부 화소들을 포함하는 복수의 목표(target) 화소들에 대한 점수(score)를 연산하는 단계로, 각 목표 화소에 대한 점수는, H가 3 이상의 홀수(odd integer)이고 k가 2와 5 사이의 정수일 때, 목표 화소 둘레의 H × H(H by H)의 창(window) 내에 선택된 입력 화상의 k개의 화소에 기반하여 생성되고, k개의 화소들과 목표 화소로 형성된 집합(set)의 각 화소들은 상기 집합 내의 다른 화소와 적어도 하나의 경계(border) 또는 구석 점(corner point)을 공유하며, k개의 화소들의 값들이 목표 화소의 값과 각각의 간격(distance)을 가지고, k개의 화소들이 k개의 간격들에 기반하여 선택되는 단계와; 그리고 연산된 점수에 기반하여 목표 화소들 중의 적어도 하나가 기생 화소임을 검출하는 단계를 구비한다.
한 실시예에 의하면 H는 5 이상의 홀수이다.
한 실시예에 의하면, k개의 화소들을 선택하는 단계가: 목표 화소의 둘레에 목표 화소와 적어도 하나의 경계(border) 또는 구석 점(corner)을 공유하는 목표 화소를 제외한 모든 화소들로 구성되는 제1 그룹을 형성하고, 이 제1 그룹 내에서 목표 화소의 값과 가장 가까운 값을 가지는 제1 화소를 선택하는 단계와; 선택된 제1 화소를 제외한 제1 그룹과 선택된 제1 화소와 적어도 하나의 경계 또는 구석 점을 공유하는 화소들로 구성되는 제2 그룹을 형성하고, 이 제2 그룹 내에서 목표 화소의 값과 가장 가까운 값을 가지는 제2 화소를 선택하는 단계와; 그리고 선택 그룹을 확장하고 각 새로이 확장된 그룹에서 목표 화소의 값과 가장 가까운 값을 가지는 다음 화소를 선택하는 동작을 k개의 화소들이 선택될 때까지 반복하는 단계를
연속적으로 포함한다.
한 실시예에 의하면, k개의 화소들은 k개의 간격들의 합을 최소화하기 위해 선택된다.
한 실시예에 의하면, 점수는 k개의 간격들의 합과 같다.
한 실시예에 의하면, 적어도 하나의 기생 화소를 검출하는 단계는 임계값(threshold value; thrSPUR)을 가지는 적어도 일부 점수들과 비교하는 단계를 포함한다.
한 실시예에 의하면, 임계값을 가지는 적어도 일부 점수들과 비교하는 단계는 임계값을 가지는 점수들의 부분집합(subset)을 비교하는 단계를 포함하는데, 부분집합은 복수의 최고 점수(highest score)들을 구비하고, 임계값은 다음 식으로 연산된다:
여기서 xEI는 적어도 1.0과 같은 파라미터이고, Q1 및 Q3은 각각 부분집합의 제1 및 제3 사분위수(quartile)이다.
한 실시예에 의하면, 적어도 일부 점수들은 연산된 점수들에 추가적인 임계값(throutlier)을 적용함으로써 선택된다.
한 실시예에 의하면, 추가적인 임계값은 화상 내의 화소 값들이 라플라스 분포(Laplace distribution)에 기반한 확률분포(probability distribution)를 가진다는 가정에 기반하여 연산된다.
한 실시예에 의하면, 추가적인 임계값은 다음 식에 기반하여 연산된다:
여기서는 연산된 점수들의 절대값(absolute value)(|S|)에 해당하는 지수분포(exponential distribution) (f(x) = λe- λx)의 파라미터의 추정 값이다.
한 실시예에 의하면, 방법은 상기 점수의 연산 단계 이전에, 입력 화상의 적어도 일부 화소 값들에 게인 및 오프셋 값을 적용함으로써 입력 화상을 보정하는 단계를 더 포함한다.
(본 발명의) 다른 국면에 의하면, 처리 소자에 의해 실행될 때 청구항 1 내지 7 중의 어느 방법을 구현하는 명령들을 저장하는 컴퓨터 판독 가능한 저장 매체가 제공된다.
(본 발명의) 다른 국면에 의하면, 다음을 구비하는 화상 처리 소자가 제공되는데:
입력 화상을 저장하는 메모리와; 처리 소자로: 화소 어레이에 의해 포착된 입력 화상을 수신하여; 입력 화상의 화소들 중의 적어도 일부를 포함하는 복수의 목표 화소들의 점수를 연산하는데, 각 목표 화소에 대한 점수는 목표 화소 둘레의 H×H(H by H) 화소들의 창(window) 내에서 선택된 입력 화상의 k개의 화소들에 기반하여 선택되고, H는 3 이상의 홀수이고 k는 2 내지 5 사이의 정수이며, k개의 화소와 목표 화소가 형성하는 집합(set) 내의 각 화소는 상기 집합 내의 다른 화소와 적어도 하나의 경계(border) 또는 구석 점(corner)를 공유하고, k개의 화소들의 값은 각각 목표 화소의 값과의 간격(distance)이며, k개의 화소들은 k개의 간격들에 기반하여 선택되고; 그리고 연산된 점수들에 기반하여 목표 화소들 중의 적어도 하나가 기생 화소인지 검출하도록 구성된 처리 소자를 구비한다.
전술한 것들 및 다른 특징과 이점들은 첨부된 도면들을 참조한, 예시적이고 비제한적인 다음 상세한 설명들로 명백해질 것인데, 도면에서:
도 1은 (본 발명의) 예시적 실시예에 따른 화상처리 장치의 개략도;
도 2는 (본 발명의) 예시적 실시예에 따른 도 1의 화상처리 장치의 화상 처리 블록의 개략 블록도;
도 3은 본 발명의 예시적 실시예에 따른 기생 화소의 검출 및 보정 방법의 동작을 보이는 흐름도;
도 4는 본 발명의 예시적 실시예에 따른 오프셋 및 게인 보정 값의 생성 방법의 동작을 보이는 흐름도;
도 5는 (본 발명의) 예시적 실시예에 따른 오프셋 및 게인 보정 값의 검증 방법의 동작을 보이는 흐름도;
도 6은 (본 발명의) 예시적 실시예에 따른 기생 화소의 식별 방법의 동작을 보이는 흐름도;
도 7은 (본 발명의) 예시적 실시예에 따른 화소 점수의 생성 방법의 동작을 보이는 흐름도;
도 8a는 본 발명의 예시적 실시예에 따른 연결된 이웃 화소들의 선택의 예를 보이는 도면;
도 8b는 (본 발명의) 예시적 실시예에 따른 연결 및 연결되지 않은 이웃 화소들의 예를 보이는 도면; 그리고
도 8c는 (본 발명의) 예시적 실시예에 따른 모서리(edge) 및 기생 화소의 예를 보이는 도면이다.
이하의 설명에서 일부 실시예들은 마이크로볼로미터(microbolometer) 방식의 화소 어레이(pixel array)에 관련하여 기재되었지만, 당업계에 통상의 기술을 가진 자에게는 본 명세서에 기재된 방법들이 냉각 장치(cooled device)를 포함한 다른 IR 화상처리 장치(imaging device)에도 마찬가지로 적용될 수 있음이 자명할 것이다. 뿐만 아니라, 본 명세서에 기재된 실시예들이 셔터 없는(shutter-less) IR 화상처리 장치에 관련하여 기재되었지만, 기계적 셔터를 구비하는 IR 화상처리 장치나 이런 장치로 포착(capture)된 화상에도 마찬가지로 적용될 수 있을 것이다.
도 1은 IR 광을 감지하는(sensitive to) 화소 어레이(102)를 구비하는 IR 화상처리 장치(100)를 도시한다. 일부 실시예들에서는 화소 어레이가 예를 들어 7 내지 13㎛의 파장을 가지는 광 등의 장파장(long-wave) IR 광을 감지한다. 장치(100)은 예를 들어 단일한 화상과 비디오를 형성할 화상의 시퀀스(sequence)를 포착할 수 있다. 장치(100)은 예를 들어 셔터 없는 장치이다.
도시의 편의를 위해, 144개의 화소(104)들만이 12행 및 12열로 배열된 화소 어레이(102)가 도 1에 도시되어 있다. 대체적인 실시예들에서는 화소 어레이(102)가 어떤 수의 행과 열의 화소들이라도 구비할 수 있다. 전형적으로, 어레이는 예를 들어 640 × 480 또는 1024 × 768 화소들을 구비한다.
어레이(102)의 화소들의 각 열은 해당 기준 구조(reference structure; 106)에 연계되어 있다(associated with). 기능적으로 화상 부재(picture element)가 아니지만, 이 구조는 화상처리(또는 활성) 화소(104)와의 구조적 유사성에 따라 본 명세서에서 “기준 화소(reference pixel)"로 지칭될 것이다. 또한 출력 블록(OUTPUT)(108)이 화소 어레이(102)의 각 열과 기준 화소(106)의 각각에 접속되어 원본 화상(raw image; RAW)을 제공한다.
제어회로(CTRL)(110)는 예를 들어 제어 신호들을 화소 어레이에, 기준 화소(106)에, 그리고 출력 블록(108)에 제공한다. 원본 화상(RAW)은 예를 들어 화상 처리 블록(IMAGE PROCESSING)(112)에 제공되는데, 이는 화상의 화소들에 오프셋 및 게인을 적용하여 보정 화상(corrected image; CORR)을 산출한다.
각 화소(104)는 예를 들어 볼로미터(bolometer)를 구비한다. 볼로미터는 당업계에 잘 알려져 있는데, 예를 들어 기판 상에 전개된(suspended over) 멤브레인(membrane)을 구비하며 멤브레인은 IR 흡수 재질의 층을 가지며 그 저항이 IR 방사의 존재에 관련된 멤브레인의 온도 상승에 따라 변화되는 성질을 가진다.
각 칼럼에 연계된 기준 화소(106)는 예를 들어 비활성(blind) 볼로미터를 구비하는데, 이는 예를 들어 어레이의 화소(104)의 활성(active) 볼로미터와 유사한 구조를 가지지만, 예를 들어 반사 장벽(reflective barrier)으로 형성되는 차폐(shield) 및/또는 기판에 대한 높은 열전도도의 제공 등의 설계에 의한 방열(heat sinking)에 의해 화상 장면(image scene)으로부터의 방사를 감지하지 않으며, 볼로미터는 예를 들어 기판과 직접 접촉하도록 형성된다.
화소 어레이(102)의 판독 동작(read operation) 동안, 화소 어레이의 행들은 예를 들어 한 번에 한 행씩 판독한다.
볼로미터 방식의 화소 어레이의 예는, 예를 들어 본원인에게 양도된 미국특허 US 7,700,919호에 더 상세히 기재되어 있는데, 그 내용은 법이 허용하는 한도 내에서 본 명세서에 참고로 포함되어 있다.
도 2는 (본 발명의) 예시적 실시예를 따른 도 1의 화상 처리 블록(112)를 더 상세히 도시하고 있다.
화상 처리 블록(112)의 기능들은 예를 들어 소프트웨어로 구현되는데, 화상 처리 블록(112)은 명령 메모리(INSTR MEMORY)(204)에 저장된 명령들의 제어를 받는 하나 이상의 프로세서(processor)를 가지는 처리 소자((PROCESSING DEVICE)(202)를 구비한다. 대체적인 실시예들에서는, 화상 처리 블록(112)이 적어도 부분적으로 전용 하드웨어로 구현될 수도 있다. 이 경우, 처리 소자(202)는 예를 들어 ASIC(주문형 집적회로; application specific integrated circuit) 또는 FPGA(현장 프로그램 게이트 어레이; field programmable gate array)을 구비하고 명령 메모리(204)가 생략될 수 있다.
처리 소자(202)는 원본 입력 화상(RAW)을 수신하여 보정 화상(CORR)을 생성하는데, 이는 예를 들어 화상처리 장치의 표시장치(display)(도시 안 됨)에 제공된다. 처리 소자(202)는 또한 오프셋 값(OFFSET)(208)과, 게인 값(GAIN)(210)과, 식별된 기생 화소(spurious pixel)들의 목록(LSPUR)과, 그리고 불량 화소들의 목록(LBADPIXEL)을 저장하는 데이터 메모리(MEMORY)(206)에 접속된다.
오프셋 값은 예를 들어 열의 구조적 확산(structural column spread)을 나타내는 벡터(vector; VCOL)로 표현되고, 행열(matrix; OFFDISP)은 화소 어레이(102)에 의해 도입된 열이 아닌(non-column) 2D 구조적 분산(structural dispersion)을 나타낸다. 열 확산은 예를 들어, 열 기준 화소의 행들이 일반적으로 완전히 균일하지 않음에도 각 열에서 기준 화소(106)를 사용하는 것에 주로 기인한다. 예를 들어 열이 아닌 2D 분산은, 예를 들어 기술적 공정 분산에서 야기되는 화소 어레이의 활성 볼로미터 간의 국부적인 물리적 및/또는 구조적 차이에 주로 기인한다.
벡터(VCOL)와 행렬(OFFDISP)의 생성, 그리고 이 벡터와 행열에 기반한 화소 값의 보정은 본원인에게 양도된 2015년 4월 24일자 출원의 미국특허출원 US 14/695539호에 더 상세히 기재되어 있는데, 그 내용은 본 명세서에 법이 허용하는 한도 내에서 참고로 포함되어 있고, 역시 본원인 명의의 2014년 4월 30일자 출원의 프랑스특허출원 FR　14/53917호와 2015년 4월 30일자 출원의 일본특허출원 JP　2015-093484호에도 기재되어 있다.
이하 이 출원들에 기재된 방법을 설명한다. 원본 화상(RAW)이 도 1의 화소 어레이(102)로 포착되었고, 화소 어레이는 어레이의 각 열이 해당 기준 화소(106)에 연계되는 방식이라고 가정(assume)된다.
보정 화상(CORR)은 예를 들어 원본 화상(RAW)에 기반하여 다음 식을 적용함으로써 생성된다:
여기서 x,y는 화소(104)의 화소 좌표, α 및 β는 환산계수(scale factor), γ는 게인 보정 값, GAIN(x,y)는 게인 값, OFFCOL(x,y) 및 OFFDISP(x,y)는 오프셋 값, OFFCOL은 그 각 행에 열 벡터(VCOL)를 가지는 행열, OFFDISP는 기준 분산 행열, 그리고 res는 예를 들어 일부 실시예들에서 화상 내에 남은 열 잔여 값 및/또는 확산 잔여 값을 보정하는데 사용되는 잔여 값 보정 값(residual correction)이다.
환산계수(α)는 예를 들어 다음 식으로 결정된다:
여기서 T()는 열 벡터(VCOL)와 입력 화상(RAW)에 적용되는 고역 필터(high pass filter)를 나타내고, m은 화상 내의 행들의 수이다. 달리 말해 환산계수(α)의 결정은 예를 들어 고역 필터를 원본 화상에 그 열을 따라, 그리고 기준 열 벡터에 적용하여; 필터링된 화상의 열 평균들을 결정해 기준 열 벡터와 동일한 크기의 벡터를 얻은 다음, 두 열 벡터 간, 즉 필터링된 화상의 열 평균과 필터링된 열 벡터 간의 차이의 최소화(minimization)로서 환산계수를 결정하는 과정을 포함한다.
환산계수(β)는 예를 들어 다음 식에 기반하여 결정된다:
여기서 ∇x는 화상에서 수평 방향의, 달리 말해 각 행을 따른 이웃 화소들 간의 화소 구배(pixel gradient), 그리고 ∇y는 화상에서 수직 방향의, 달리 말해 각 열을 따른 이웃 화소들 간의 화소 구배이다.
이하에서 위 식 1 내지 3에 기반한 게인 및 오프셋 보정을 설명하지만, 대체적인 실시예들에서는 다른 보정 방법들이 채택될 수 있다.
도 3은 한 예시적 실시예에 따른 기생 화소들의 검출 및 보정 방법의 동작을 보이는 흐름도이다. 이 방법은 새로운 화상이 포착될 때마다 예를 들어 도 2의 회로(112)에 의해 구현된다.
기생 화소들은 예를 들어 기계적 충격이나 미세한 내부 이동 입자들에 의한 손상의 결과, 오프셋 및 게인이 그 원래 검정(calibrate)된 값으로부터 멀어진 화소들이다. 기생 화소는 추가적인 “불량 화소(bad pixel)"에 해당할 수 있는데, 이들은 예를 들어 파손되었으므로 장면에 관련하여 유용한 신호를 제공할 수 없다. 그러나 본 발명자는 기생 화소는 흔히 장면에 관련하여 여전히 유용한 신호를 제공하지만 원래 검정된 값에 대해 오프셋 및 게인 값이 안정된 상태로 영구히 편이(shift)된 것임을 파악하였다.
동작(operation) 301에서, 기생 화소가 화상(CORR) 내에서 검출되는데, 이는 게인 및 오프셋 값에 기반하여 보정된 원본 화상(RAW)에 해당한다. 검출된 기생 화소들은 목록(LSPUR)을 형성한다. 뒤에 더 상세히 설명할 바와 같이, 한 실시예에서 기생 화소는 화상에서 연결된 이웃 화소와의 (화소 값으로 표현된) 간격(distance)의 연산에 기반하여 검출된다. 그러나 대체적인 실시예들에서는 기생 화소들의 식별을 위해 다른 기법들이 적용될 수 있다. 예를 들어 하나 이상의 기생 화소들이 사용자에 의해 육안으로(manually) 식별될 수 있다. 또한 일부 실시예들에서는 화상(CORR)이 예를 들어 화상처리 장치의 셔터가 차단된 상태에서 포착된 것처럼 균일한 장면(scene)의 것일 수 있어서, 기생 화소들의 식별을 촉진한다.
후속되는 동작 302에서, 식별된 각 기생 화소들에 대해 오프셋 및 게인 보정 값이 연산된다. 달리 말해, 식별된 각 기생 화소들에 대해 현재 저장된 오프셋 및 게인 값을 보정할 보정 값이 연산된다. 이 연산은 예를 들어 적어도 두 포착된 화상들에 기반한다.
후속되는 동작 303에서, 이 오프셋 및 게인 보정 값의 검증(validation)이 예를 들어 각 기생 화소에 대해 수행된다, 검증은 예를 들어 초점면 온도(focal plane temperature)가 변화될 때 연산된 보정 값이 이들 화소에 대한 적절한 보정을 제공하는지 확인(verify)하기 위해 오프셋 및 게인 보정 값이 연산된 온도와 다른 초점면 온도에서 수행된다. 초점면 온도는 화소 어레이의 온도에 대응한다. 달리 말해, 본 발명자는 검출된 기생 화소의 적어도 일부가 그 오프셋 및 게인 값이 편이(shift)되었더라도 여전히 영구히 보정될 수 있으며, 이들 기생 화소들에 대해 얻어진 연산된 오프셋 및 게인 보정 값의 품질은 초점면 온도의 변화에 대한 안정성으로 확인될 수 있다는 것을 파악하였다.
동작 303에서 게인 및 오프셋 보전 값이 검증되면 기생 화소들에 대한 게인 및 오프셋 값(208, 210)이 예를 들어 동작(304)에서 동작 302에서 연산된 보정 값으로 갱신(update)된다.
이와는 달리, 동작 303에서 게인 및 오프셋 보정 값이 검증되지 않으면, 동작 305에서 기생 화소들이 불량 화소들의 목록에 추가된다. 달리 말해, 초점면 온도 변화에 안정되지 못한 보정 값을 가지는 기생 화소들은 추가적인 불량 화소들로 분류된다. 불량 화소 목록 상의 화소들은 예를 들어 그 화소 값이 하나 이상의 이웃 화소들에 기반한 화소 추정 값(pixel estimation)으로 대체된다.
대체적인 실시예에서는, 동작 301에서 식별된 모든 기생 화소들이 일괄적으로(systematically) 불량 화소 목록에 추가된 뒤, 동작 303에서 보정 값이 검증되어야 이 목록에서 삭제된다.
일부 실시예들에서는, 기생 화소라고 식별된 화소들을 보정하려고 시도하는 대신, 동작 302, 303, 및 304를 생략하고, 방법은 동작 305에서 모든 검출된 기생 화소들을 일괄적으로 불량 화소 목록에 추가할 수 있다. 이러한 접근방법은 동작 302 및 303에 연계된 처리 비용을 절감할 수 있다. 또 다른 대체적 실시예에서는, 일부 화소들이 초기에 불량 화소 목록에 추가되고, 불량 화소들의 수가 임계 수준(threshold level)을 초과하면, 하나 이상의 이전에 식별된 기생 화소 또는 하나 이상의 새로 식별된 기생 화소들이 동작 302 및 303을 사용하여 보정될 수 있다.
도 4는 도 3의 동작 302에서 오프셋 및 게인 보정 값을 연산하는 동작들의 예를 보이는 흐름도이다.
동작 401에서, 화상이 예를 들어 포착되고, 적어도 일부 화소들의 화소 값이 오프셋 및 게인 값(208, 210)을 사용하고 예를 들어 위 식 1에 기반하여 보정된다.방법의 입력은 예를 들어 원본 포착 화상(RAW), 오프셋 값(OFFCOL 및 OFFDISP), 게인 값(GAIN), 그리고 위 1식에 따라 화상을 보정하는 데 사용되는 항들(α, β, 및 γ)이다. 또한, 기생 화소들의 목록(LSPUR)이 도 3의 동작 301에서 생성되었다고 가정한다.
동작 402에서, 검출 빈도(detection frequency; FREQ)가 임계 수준(FREQMIN)을 초과하는 목록(LSPUR)의 화소(pi)가 선택되어, 다음 방법의 동작들이 이 화소들에만 수행된다. 이 동작은 예를 들어 반복적으로 기생 화소로 검출된 화소에만 보정 알고리듬이 적용된다는 것을 의미한다. 예를 들어 화소(pi)가 기생 화소로 검출되면, 이전 N 화상들에서 그 화소가 기생으로 검출된 회수와 동일한 회수로 검출 빈도(FREQ)가 연산되는데, 여기서 N은 예를 들어 2 내지 20이다. 이 빈도가 예를 들어 N /2과 동일한 FREQMIN 이상이면 그 화소가 선택된다. 일부 실시예들에서는 이 동작이 생략되고 방법의 후속 동작들이 목록(LSPUR) 상의 모든 화소들에 적용된다.
동작 403에서, 화소의 기대 값(expected value; pEXP)이 연산된다. 예를 들어, 화소가 기생 화소가 되었을 때 게인 및 오프셋 보정되었지만 비정상소(outlier)이라고 식별된 값(pCORR)은 다음 식으로 표현될 수 있다:
여기서 pSPUR은 행열(RAW)의 기생 화소의 화소 값, oCOL 및 oDISP는 화소에 적용된 행열(OFFCOL 및 OFFDISP)의 값, g는 화소에 적용된 행열(GAIN)의 값, 그리고 α, β,γ 및 res는 위 식 1에 적용된 것과 같다. 이 화소가 적절히 보정될 수 있다고 가정하면, 게인 및 오프셋 보정 값(SGain 및 SOff)은 다음 형태로 존재한다:
여기서 pEXP는 기대 화소 값으로, 예를 들어 게인 및 오프셋 값이 하나 이상의 새로운 기준 화상에 기반하여 재연산(recalculate)되었을 때 얻어질 값과 같거나 이에 근사한다. 두 미지수가 존재하므로, SGain 및 SOff의 두 값을 결정하기 위해서 두 기대 값을 연산하는 방법을 이하에 예를 들어 설명한다.
기대 값(pEXP)의 값은 예를 들어 이웃 화소들에 기반하여 연산된다. 예를 들어, 불량 화소를 보정하는 데 흔히 사용되는 알고리듬으로는 화소 데이터 내삽법(interpolation), 외삽법(extrapolation) 및/또는 당업계에 복원법(Inpainting)으로 알려진 기법 등이 적용될 수 있다.
동작 404에서, 새로운 값(pEXP)에 추가하여 이전의 값(pEXP1 또는 pEXP2)이 화소(pSPUR)에 사용 가능한지의 여부, 달리 말해 집합 {pEXP1,pEXP2}pi가 공집합(empty)인지 여부가 확인된다. 이전 값(pEXP1)이 존재한다면 이는 이전 화상에 대해 적어도 일부 화소들이 현재 화상에 적용된 것과 동일한 오프셋 및 게인 값(208, 210)으로 보정이 결정되었던 것을 의미한다. 달리 말해, 현재 화상과 이전 화상들에서 보정된 화소들의 위치가 예를 들어 동일하다. 집합 {pEXP1,pEXP2}pi가 공집합으로 이전 값이 없으면 동작 405에서 pEXP의 값이 pEXP1으로 저장되고, 화소에 적용된 환산계수(α 및 β)와 게인 보정 값(γ)들이 값(α1, β1, γ1)들로 저장되며, 화소 값(pSPUR) 역시 값 pSPUR1으로 저장된다. 동작 406에서, 검출 빈도(FREQ)가 FREQMIN보다 큰 목록(LSPUR)의 다음 화소가 선택되어, 방법은 동작 403으로 복귀한다.
동작 404가 수행될 때, 화소의 pEXP1의 값이 이미 존재하면, 후속하는 동작 407에서 새로운 값(pEXP)과 이전 값(pEXP1) 간의 차이의 절대값(absolute difference)이 임계값(thrdiffmin) 이상인지 여부가 판단된다. 그렇지 않으면, 방법은 동작 406으로 복귀한다. 그러나 화소 값들이 충분히 간격이 크면(spaced) 다음 동작은 408이다.
동작 408에서, 새로운 값(pEXP)이 pEXP2로 저장되고, 화소에 적용된 환산계수(α 및 β)와 게인 보정 값(γ)들이 값(α2, β2, γ2)들로 저장되며, 화소 값(pSPUR) 역시 값 pSPUR2로 저장된다.
동작 409에서, 오프셋 및 게인 보정 값(SGain 및 SOff)들이 예를 들어 추정 값(pEXP1 및 pEXP2)에 기반하여 연산된다. 예를 들어, SOff의 값은 다음 식에 기반하여 연산된다:
여기서 이다.
S Gain 의 값은 예를 들어 다음 식에 기반하여 연산된다:
물론, SGain의 값을 먼저 연산한 뒤 SOff의 연산을 위해 이 값을 치환(substitute)하는 것도 가능할 것이다.
후속되는 동작 410에서, 게인 및 오프셋 값(SGain 및 SOff)들이 예를 들어 화소(pSPUR)에 연계하여 목록(LSPUR)에 저장된다. 그러면 방법은 검출 빈도(FREQ)가 FREQMIN보다 큰 목록(LSPUR) 내의 모든 화소들이 처리될 때까지 동작 406으로 복귀한다. 방법은 다음 예를 들어 다음 화상이 포착될 때까지 반복된다.
일부 실시예들에서 연산된 오프셋 및 게인 보정 값(SOff 및 SGain)이 게인 및 오프셋 값(208, 210)을 직접 변경하는 데 사용될 수 있지만, 온도 변화의 존재시 그 유효성을 확인하기 위해 예를 들어 적어도 하나의 번의 이들 값의 검증이, 도 5를 참조하여 이하에 설명하는 바와 같이 수행된다.
도 5는 하나 이상의 화소들에 대한 오프셋 및 게인 보정 값을 검증하기 위한 도 3의 동작 303의 구현예를 도시하는 흐름도이다.
동작 501에서, 화상이 포착되어 오프셋 및 게인 값(208, 210)을 사용하여 보정되는데, 입력으로 포착 화상(RAW)이 제공되고 오프셋 값(OFFCOL, OFFDISP), 게인 값(GAIN), 및 항(α,β, 및 γ)들이 위 식 1에 따라 화상을 보정하는 데 사용된다. 또한 초점면 온도의 표시 값(indication)이 예를 들어 수신된다. 실제로, 도 3의 동작 303과 관련하여 전술한 바와 같이, 오프셋 및 게인 값의 검증은 예를 들어 오프셋 및 게인 값이 연산된 온도와 다른 초점면 온도에서 수행된다. 이와 같이, 초점면 온도의 표시 값이 초점면 온도의 변화 여부를 점검(check)하는 데 사용된다. 도 5의 예에서, 온도 표시 값은 온도에 따라 변화되는 변환계수 β의 값으로 주어진다. 본 발명자는 β계수에 의해 제공되는 온도 정보가 기생 화소의 새로운 보정 값을 검증하는 관점에서 충분히 신뢰성이 있다는 것을 파악하였다. 그러나 대체적인 실시예에서는 온도 센서에 의해 생성된 온도 값(T)이 사용될 수 있다. 예를 들어 화소 어레이는 어레이 내에 내장되거나 이와 접촉하여 초점면 온도를 제공하는 온도 센서를 구비한다.
동작 502에서, 예를 들어 검출 빈도(FREQ)가 임계 수준(FREQMIN)을 초과하는 화소(pi)가 목록(LSPUR)에서 선택되고, 방법의 나머지 동작들은 이 화소들에만 수행된다.
동작 503에서, 화소(p i)들의 첫 화소에 대해 게인 및 오프셋 보정 값이 존재하는지 여부를 판단한다. 그렇다면 다음 동작은 504인 반면, 그렇지 않다면 다음 동작은 505로 목록의 다음 화소가 선택되어 동작 503으로 복귀한다.
대체적인 실시예들에서, 도 5의 방법은 검출 빈도에 무관하게 오프셋 및 게인 보정 값이 연산되었던 목록 내의 모든 화소(pi)들에 적용될 수 있다. 그러면 동작 502는 생략될 수 있다.
동작 504에서, 현재의 온도 의존 값(temperature dependant value) β가 도 4의 방법의 동작 405 및 408에서 목록(LSPUR)에 저장되었던 화소(pSPUR1 및 pSPUR2)에 연계된 값(β1 및 β2) 중의 어느 하나와 동일 또는 근사하는지 여부를 판단한다. 예를 들어, β와 β1의 차이의 절대값이 임계값(βmin) 이상인지, 그리고 β와 β2의 차이의 절대값이 임계값(βmin) 이상인지 여부를 판단한다. 이 차이들이 모두 임계값 미만이면, 방법은 예를 들어 동작 505로 복귀한다. 그러나 게인 및 오프셋 보정 값의 연산 이후 현저한 온도 변화(β 변화)가 있으면 다음 동작은 506이다. 전술한 바와 같이, 온도의 표시 값으로 환산계수(β)를 사용하는 대신, 온도 값(T)이 온도 센서에 의해 포착될 수 있다. 이 경우 도 5의 동작 504에서의 값(β, β1 및 β2)은 온도(T, T1 및 T2)로 대체될 것인데, 여기서 값T1 및 T2는 각각 도 4의 동작 405 및 408에서 이전 화상에 대해 측정 및 저장된 온도 값들이다.
동작 506에서, 화소(pi)에 대한 게인 및 오프셋 보정 값이 동작 501에서 얻어진 화소 값(pSPUR)을 예를 들어 위 식 1, 2, 및 3을 적용함으로써 보정하는 시험기준(trial)으로 사용되고, 게인 및 오프셋 값은 식 5에서와 같이 변경된다.
동작 507에서, 화소(pi)의 변경된 값으로도 여전히 비정상(outlier)인지, 달리 말해 여전히 기생 화소로 식별되는지 여부를 판단한다. 예를 들어, 동작 301에서 검출된 기생 화소에 채택되었던 기법이 보정된 화소(pi)를 가지는 화상에 적용된다.
동작 504에서 초점면 온도가 두 이전의 값으로부터 충분히 멀고 이 온도의 변화에도 불구하고 화소 값이 비정상이 아니라는 것이 파악되었으므로 화소가 비정상이 아니면 보정 값은 검증된 것으로 간주된다. 이에 따라, 다음 동작 508에서, 보정 값(SOffset 및 SGain)을 사용하여 보정된 새로운 오프셋 및 게인 값이 예를 들어 오프셋 및 게인 테이블(table)(208, 210)에 저장된 후, 동작 509에서 기생 화소들의 목록(LSPUR)에서 삭제된다.
그러나 화소(pi)가 여전히 비정상이라면, 이 화소는 게인 및 오프셋 값에 대한 보정으로는 보정될 수 없다고 추정(assume)된다. 이에 따라 이 화소는 동작 510에서 예를 들어 불량 화소들의 목록(LBADPIXEL)에 추가된 다음, 이 화소를 (기생 화소들의) 목록(LSPUR)에서 삭제하는 동작 509가 수행된다.
이하 도 3의 동작 301에서 기생 화소들을 검출하는 방법의 구현예가 도 6, 7 및 8을 참조하여 상세히 설명된다.
도 6은 포착된 화상에서 기생 화소들을 검출하는 방법의 예를 도시한 흐름도이다. 이 방법은 예를 들어 도 2의 화상 처리 소자(112)에 의해 구현되고, 포착된 화상은 예를 들어 오프셋 및 게인 값(208, 210)을 적용함으로써 보정된다.
동작 601에서, 연결된 이웃 화소들에 대해 연산된 화소 값으로 표현된 간격에 기반하여 입력 화상의 각 화소에 대해 점수(score)가 연산된다.
동작 602에서, 비정상 화소는 예를 들어 연산된 점수를 제1 임계값과 비교함으로써 식별된다. 이 단계는 예를 들어 화소들의 부분집합을 잠재적(potential) 기생 화소들로 선택하는 데만 사용된다. 그러나 일부 실시예들에서는 이 단계가 생략될 수 있다.
동작 603에서, 기생 화소들은 예를 들어 동작 602에서 식별된 비정상 화소에 기반하여 식별된다(또는 동작 602가 생략된 경우는 전체 화상으로부터 선택된다).
도 7은 점수를 생성하는 도 6의 동작 601을 구현하는 동작들의 예를 도시한 흐름도이다. 이 방법은 예를 들어 화상의 각 화소에 대해 순차적으로, 화소가 어떤 순서로든 처리될 수 있지만 예를 들어 래스터 스캔(raster-scan) 순서로 적용된다. 이하 이 방법의 작동들을 도 8a를 참조하여 설명한다.
도 8a는 도 7의 방법의 예시적 적용을 나타내는 화소들의 5 × 5 창(window)의 9개의 도면(802 내지 809)을 도시한다. 더 일반적으로 창 크기는 H × H로 정의될 수 있는데, H는 적어도 3과 같은, 예를 들어 적어도 5와 같은 홀수(odd number)이다. 일부 실시예들에서, H는 15 이하이다. H × H 창은 점수가 생성될 목표 화소(target pixel)를 둘러싸는데, 달리 말해 목표 화소는 창의 중앙 화소이다.
다시 도 7로 돌아가, 동작 701에서, 연결된 이웃 화소들의 목록이 생성된다. 연결된 이웃이란 이미 선택된 화소와 경계(border) 또는 구석 점(corner point)을 공유하는 화소들이다. 이에 따라 화상의 모서리가 아닌 화소라면 8개의 연결된 이웃들이 존재할 것이다. 먼저, 점수가 생성될 화소만이 선택된다. 이 화소는 이 명세서에서 목표 화소로 지칭될 것이다. 예를 들어, 도 8a의 도면 801에 보인 바와 같이, 점수는 120의 화소 값을 가지며 검은 칠 된 중앙 화소에 대해 연산될 것이다. 도면 802에 보인 바와 같이, 연결된 이웃들은 중앙 화소 120을 둘러싸는 8개의 화소들이다.
동작 702에서, 연결된 이웃들 중 목표 화소의 화소 값과 최소 간격(lowest distance)을 가지는 화소가 선택된다. 예를 들어, 화소 값 a와 b 간의 간격 d(a,b)는 d(a,b) = |a - b|로 정의된다. 도 8a의 도면 803에 보인 바와 같이 목표 화소의 값과 같은 120의 값을 가지는 화소가 선택된다.
동작 703에서, 동작 702에서 선택된 이웃이 목표 화소에 연결된 이웃들의 목록에서 삭제되고, 동작 702에서 식별된 새로이 선택된 이웃에 연결된 이웃들을 포함하는 새로 연결된 이웃들이 추가된다. 예를 들어, 도 8a의 도면 804에 보인 바와 같이, 새로 선택된 화소에 연결된 3개의 새로운 화소들이 목록에 추가된다.
동작 704에서, k개의 연결된 이웃들이 선택되었는지 여부를 판단한다. 이웃들의 수 k는 예를 들어 연결된 기생 화소의 최대 기대 수에 기반하여 선택된 고정된 파라미터로 간주된다. 예를 들어 일부 화상 센서들에 있어서 기생 화소들은 항상 서로 고립(isolated)된 것으로 간주된다. 이 경우 k는 단지 2와 같은 값으로 선택될 수 있다. 이와는 달리, 주어진 화상 센서가 두 연결된 기생 화소들을 식별하는 것이 가능하다면 예를 들어 k의 더 큰 값이 선택될 수 있는데, 예를 들어 3 내지 5와 같은 값이 될 수 있다. 도 8a의 예에서, k는 4와 같다. k개의 이웃들이 아직 선택되지 않았다면, 방법은 동작 702로 복귀하여 새로운 연결 이웃이 다시 선택된다. 그리고 k개의 이웃이 선택될 때까지 동작 703과 704가 반복된 다음 동작 705가 수행된다. 도 8a의 도면 805 내지 808에 보인 바와 같이, 목표 화소의 4개의 이웃의 블록(block)이 선택된다.
도 8b는 화소들의 H × H 창을 도시하며, 단순히 창의 가장 가까운 이웃들을 기반으로 연산한 간격과 가장 가까운 연결된 이웃에 기반한 간격 간의 차이를 보인다. 도면 810으로 도시한 바와 같이, 그 값과 이를 둘러싸는 이웃들과의 차이가 크므로 중앙 화소는 비정상이다.
도면 811은 창에서 중앙 화소에 가장 가까운 값들을 가지며 이와 연결되지 않은 4개의 선택된 이웃들을 보인다. 이 연산은 그 화소가 비정상이 아님을 표시하는 낮은 점수를 도출할 수 있다.
도면 812는 선택된 4개의 연결된 이웃들을 도시한다. 이 경우, 4개의 전혀 다른 화소들이 선택되었는데, 점수는 중앙 화소가 비정상임을 명백히 표시한다.
다시 도 7로 돌아가, 동작 705에서 목표 화소에 대한 점수가 선택된, 연결된 이웃들에 기반하여 연산된다. 예를 들어, 목표 화소(pi)의 점수(si)는 다음 식에 기반하여 연산된다:
여기서 Wi는 화소에 연계된 가중치(weight), 그리고 p1 내지 pk들은 k개의 선택된, 연결된 이웃들이다.
화소()에 대한 가중치(Wi)는 예를 들어 다음 식을 사용하여 결정된다:
여기서 stdloc은 오름차순으로 정리된 화소(pi)의 H×H 창 내의 화소들에 대해 연산된 국부적 표준편차(local standard deviation)들의 행열(array)이고, ε은 예를 들어 0.0001 등의 아주 작은 값으로 설정되는 파라미터이다.이와 같이, 가중치는 H × H창 내의 화소들의 부분범위(subrange)의 표준편차에 기반하는데,이 부분범위는 화소의 크기별(ranked) 표준편차들에 기반하여 H 내지 (H2 - H) 사이의 화소들로 선택된다. 대체적인 실시예들에서는 가중치가 화소들의 다른 부분집합의 표준편차에 기반하여 연산될 수도 있다.
대체적인 실시예들에서는, 점수에 다른 가중치가 적용되거나, 점수에 가중치가 적용되지 않을 수 있다. 화소의 국부적 표준편차에 기반한 가중치를 적용하는 이점은 화소의 영역의 거칠기(texture)를 고려할 수 있다는 점인데, 부드러운 영역(smooth zone) 내의 화소들의 점수에 더 큰 가중치가 부여되고 비교적 높은 편차(deviation)가 기대될 수 있는 거친 영역(textured zone) 내의 화소들의 점수에 더 작은 가중치가 부여된다.
도 8c는 화소들의 두 다른 H×H 창의 도면 813, 814를 도시하는데, 화소들에 국부적 표준편차에 기반한 가중치를 적용한 이점을 보이고 있다. 양 도면에서 목표 화소들의 점수는 동일할 것이다. 그러나 도면 813에는 목표 화소를 통과하는 모서리가 있어 화소가 비정상으로 간주되지 않는다. 도면 814에는 화상이 목표 화소의 영역에서 비교적 부드러워 목표 화소가 비정상으로 간주될 것이다. 국부적 표준편차에 기반하여 도면 814에 대해 연산된 가중치(Wi)는 도면 813에 대해 연산된 가중치보다 더 높을 것이다.
다시 도 6으로 돌아가, 동작 602는 예를 들어 화상 내의 기대 점수(expected score)에 대한 확률분포(probability distribution)에 기반하여 임계 점수(threshold score)를 결정하는 과정을 포함한다. 본 발명자는 대부분의 적외선 화상 장면에 라플라스 분포(Laplace distribution)가 특히 잘 맞는다는 것을 파악하였다.
S~Laplace(O,σ)일 때, |S|~Exp(σ-1)이면 지수분포(exponential distribution)라는 것이 알려져 있다. 그러므로 λ = σ-1을 가지는 확률밀도함수(probability density function) |S|~Exp(λ)는 λ>0일 때 f(x)=λe-λx의 형태이다. 그 분포함수는 F(x)=1-e- λx이다. 지수의 파라미터 λ는 샘플의 평균(mean)에 기반하고 이 평균의 역수를 취하는 평균의 추정에 의해 추정될 수 있다:
여기서 n은 화상 내의 화소의 수이다.
임계값을 throutlier라고 지칭하면, 이 임계값은에 기반하여 다음 식을 사용하여 연산할 수 있다:
이 식으로 임계값을 연산하는 대신, 대체안으로 단순히 점수의 95퍼센트 등 점수의 어떤 퍼센트를 필터링해 버리는 임계값을 선택할 수도 있다. 그러나 전술한 라플라스 분포에 기반한 임계값을 사용하는 필터링의 이점은 잡음에 의해 도입되는 문제들을 방지할 수 있는 것이다. 실제로 점수들의 고정된 퍼센트가 선택되면 선택된 화소들의 수는 동일한 화상에 대해 잡음 없이 동일할 것이다. 그러나 라플라스 분포에 의해 결정된 임계값은 화상 내의 잡음의 수준에 기반하여 변화된다.
도 6의 동작 603은 예를 들어 동작 602에서 식별된 비정상 화소들 중에서 기생 화소들을 식별하는 과정을 포함한다. 이는 예를 들어 비정상 화소들의 점수를 기반으로 연산한 임계 수준 이상의 점수를 선택함으로써 달성된다. 임계값(thrSPUR)은 예를 들어 다음 식을 사용하여 결정된다:
여기서 xEI는 예를 들어 1.0 내지 5.0 사이에서 선택되는 파라미터로, 예를 들어 1.5이고, Q1과 Q3은 각각 동작 602에서 식별된 제1 및 제3 사분위수(quartile)이다.
일부 실시예들에서, 허위경보(false alert)를 방지하기 위해 화소는 그 점수가 임계값(thrSPUR)을 초과한 경우에만 기생 화소로 간주되고, 최소 임계값(thrscoremin) 이상의 점수는 고정된 값과 같다.
이 명세서에 기재된 실시예들의 이점은 기생 화소들이 비교적 간단하고 효율적인 방법을 사용하여 검출될 수 있다는 점이다. 뿐만 아니라, 기생 화소의 보정 방법은 불량 화소로 분류하는 것이 아니라 어떤 화소들로부터의 장면 정보를 보유한 화소 값을 계속하여 화상의 화소들을 생성하는 데 사용할 수 있음을 의미한다.
이와 같이 적어도 하나의 예시적 실시예를 기재했으나, 당업계의 통상의 지식을 가진 자라면 용이하게 여러 가지로 변형, 변경, 및 개선할 수 있을 것이다.
예를 들어 마이크로볼로미터의 특정한 예가 도 1 및 2와 관련하여 기재되었으나, 당업계에 통상의 기술을 가진 자라면 이 명세서에 기재된 방법을 마이크로볼로미터의 다양한 다른 구현 예 또는 다른 방식의 IR 화상처리 장치에 적용할 수 있을 것이다.
뿐만 아니라, 당업계에 통상의 기술을 가진 자에게는 다양한 실시예들과 관련하여 기재된 다양한 동작들이 그 유효성에 영향을 주지 않으면서 대체적인 실시예들이나 다른 순서로 수행될 수 있음이 명백할 것이다.

Claims (15)

  1. 적외선 방사를 감지하는 화상처리 장치의 화소 어레이(102)의 기생 화소들을 검출하는 방법으로, 이 방법이:
    화상처리 장치의 처리 소자(202)에 의해 화소 어레이(102)에 포착된 입력 화상(RAW)을 수신하는 단계와;
    입력 화상의 적어도 일부 화소들을 포함하는 복수의 목표 화소들에 대한 점수를 연산하는 단계로, 각 목표 화소에 대한 점수가 목표 화소 둘레의 H×H 화소들의 창 내의 입력 화상의 k개의 선택된 화소들에 기반하여 생성되는데, H는 3 이상의 홀수, k는 2 내지 5 사이의 정수이고, k개의 화소들과 목표 화소로 형성되는 집합의 각 화소가 상기 집합 내의 다른 화소와 적어도 하나의 경계 또는 구석 점을 공유하며, k개의 화소의 값들이 각각 목표 화소와의 간격이고, k개의 화소들이 k개의 화소들의 간격들에 기반하여 선택되며 각 목표 화소의 점수가 선택된 k개의 화소들의 거리들에 기반하여 연산되는 단계와;
    연산된 점수들에 기반하여 적어도 하나의 목표 화소가 기생 화소임을 검출하는 단계
    를 구비하고,
    상기 k개의 화소들의 선택은:
    목표 화소의 둘레에 목표 화소와 적어도 하나의 경계(border) 또는 구석 점(corner)을 공유하는 목표 화소를 제외한 모든 화소들로 구성되는 제1 그룹을 형성하고, 이 제1 그룹 내에서 목표 화소의 값과 가장 가까운 값을 가지는 제1 화소를 선택하는 단계와;
    선택된 제1 화소를 제외한 제1 그룹과 선택된 제1 화소와 적어도 하나의 경계 또는 구석 점을 공유하는 화소들로 구성되는 제2 그룹을 형성하고, 이 제2 그룹 내에서 목표 화소의 값과 가장 가까운 값을 가지는 제2 화소를 선택하는 단계와;
    선택 그룹을 확장하고 각 새로이 확장된 그룹에서 목표 화소의 값과 가장 가까운 값을 가지는 다음 화소를 선택하는 동작을 k개의 화소들이 선택될 때까지 반복하는 단계
    를 연속적으로 포함하는 적외선 화상처리 장치의 기생 화소 검출 방법.
  2. 청구항 1에서,
    H가 5 이상의 홀수인 적외선 화상처리 장치의 기생 화소 검출 방법.
  3. 청구항 1에서,
    k개의 화소들이 k개의 간격들의 합을 최소화하기 위해 선택되는 적외선 화상처리 장치의 기생 화소 검출 방법.
  4. 청구항 1에서,
    점수가 k개의 간격들의 합과 같은 적외선 화상처리 장치의 기생 화소 검출 방법.
  5. 청구항 1에서,
    적어도 하나의 기생 화소의 검출 단계가 적어도 일부 점수들을 임계값(thrSPUR)과 비교하는 단계를 포함하는 적외선 화상처리 장치의 기생 화소 검출 방법
  6. 적외선 방사를 감지하는 화상처리 장치의 화소 어레이(102)의 기생 화소들을 검출하는 방법으로, 이 방법이:
    화상처리 장치의 처리 소자(202)에 의해 화소 어레이(102)에 포착된 입력 화상(RAW)을 수신하는 단계와;
    입력 화상의 적어도 일부 화소들을 포함하는 복수의 목표 화소들에 대한 점수를 연산하는 단계로, 각 목표 화소에 대한 점수가 목표 화소 둘레의 H×H 화소들의 창 내의 입력 화상의 k개의 선택된 화소들에 기반하여 생성되는데, H는 3 이상의 홀수, k는 2 내지 5 사이의 정수이고, k개의 화소들과 목표 화소로 형성되는 집합의 각 화소가 상기 집합 내의 다른 화소와 적어도 하나의 경계 또는 구석 점을 공유하며, k개의 화소의 값들이 각각 목표 화소와의 간격이고, k개의 화소들이 k개의 화소들의 간격들에 기반하여 선택되며 각 목표 화소의 점수가 선택된 k개의 화소들의 거리들에 기반하여 연산되는 단계와;
    연산된 점수들에 기반하여 적어도 하나의 목표 화소가 기생 화소임을 검출하는 단계로서, 점수들의 부분집합을 임계값(thrSPUR)과 비교하는 단계를 포함하고, 부분집합이 복수의 목표 화소들의 연산된 점수들의 복수의 최고 점수들을 포함하는, 단계
    를 포함하며,
    상기 임계값이 다음 식에 기반하여 연산되고:

    여기서 xEI는 적어도 1.0과 같은 파라미터이고, Q1 및 Q3은 각각 부분집합의 제1 및 제3 사분위수인 적외선 화상처리 장치의 기생 화소 검출 방법.
  7. 적외선 방사를 감지하는 화상처리 장치의 화소 어레이(102)의 기생 화소들을 검출하는 방법으로, 이 방법이:
    화상처리 장치의 처리 소자(202)에 의해 화소 어레이(102)에 포착된 입력 화상(RAW)을 수신하는 단계와;
    입력 화상의 적어도 일부 화소들을 포함하는 복수의 목표 화소들에 대한 점수를 연산하는 단계로, 각 목표 화소에 대한 점수가 목표 화소 둘레의 H×H 화소들의 창 내의 입력 화상의 k개의 선택된 화소들에 기반하여 생성되는데, H는 3 이상의 홀수, k는 2 내지 5 사이의 정수이고, k개의 화소들과 목표 화소로 형성되는 집합의 각 화소가 상기 집합 내의 다른 화소와 적어도 하나의 경계 또는 구석 점을 공유하며, k개의 화소의 값들이 각각 목표 화소와의 간격이고, k개의 화소들이 k개의 화소들의 간격들에 기반하여 선택되며 각 목표 화소의 점수가 선택된 k개의 화소들의 거리들에 기반하여 연산되는 단계와;
    연산된 점수에 기반하여 적어도 하나의 목표 화소가 기생 화소임을 검출하는 단계로서, 적어도 일부 점수들을 임계값과 비교하는 단계와, 연산된 점수들에 추가적인 임계값(throutlier)을 적용함으로써 적어도 일부의 연산된 점수들을 선택하는 단계를 포함하는, 단계
    를 구비하고,
    추가적 임계값이, 화상 내의 화소 값들이 라플라스 분포에 기반한 확률분포를 가진다는 가정에 기반하여 연산되는 적외선 화상처리 장치의 기생 화소 검출 방법.
  8. 청구항 7에서,
    추가적 임계값이 다음 식에 기반하여 연산되고:

    여기서 는 연산된 점수들의 절대값(|S|)에 해당하는 지수분포(f(x)=λe-λx)의 파라미터의 추정치인 적외선 화상처리 장치의 기생 화소 검출 방법.
  9. 청구항 1에서,
    상기 점수의 연산 단계 이전에, 입력 화상의 적어도 일부 화소 값들에 게인 및 오프셋 값을 적용함으로써 입력 화상을 보정하는 단계를 더 포함하는 적외선 화상처리 장치의 기생 화소 검출 방법.
  10. 처리 소자에 의해 구현되었을 때 청구항 1 내지 9 중의 어느 하나의 방법을 구현하는 명령들을 저장하는 컴퓨터 판독 가능한 저장매체.
  11. 입력 화상을 저장하는 메모리(206)와;
    청구항 1 내지 9 중 어느 하나의 방법을 구현하기 위한 처리 소자(302):
    를 구비하는 화상 처리 장치.
  12. 청구항 11에서,
    k개의 화소들이 k개의 간격들의 합을 최소화하기 위해 선택되는 화상 처리 장치.
  13. 청구항 11에서,
    점수가 k개의 간격들의 합과 같은 화상 처리 장치.
  14. 삭제
  15. 삭제
KR1020187001313A 2015-06-26 2016-06-10 적외선 화상 포착 장치의 기생 화소들의 검출 KR102602846B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1555964 2015-06-26
FR1555964A FR3038195B1 (fr) 2015-06-26 2015-06-26 Detection de pixels parasites dans un capteur d'image infrarouge
PCT/FR2016/051394 WO2016207507A1 (fr) 2015-06-26 2016-06-10 Detection de pixels parasites dans un capteur d'image infrarouge

Publications (2)

Publication Number Publication Date
KR20180031678A KR20180031678A (ko) 2018-03-28
KR102602846B1 true KR102602846B1 (ko) 2023-11-15

Family

ID=55072759

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187001313A KR102602846B1 (ko) 2015-06-26 2016-06-10 적외선 화상 포착 장치의 기생 화소들의 검출

Country Status (9)

Country Link
US (1) US10652490B2 (ko)
EP (1) EP3314887B1 (ko)
JP (1) JP6783425B2 (ko)
KR (1) KR102602846B1 (ko)
CN (1) CN107736013B (ko)
CA (1) CA2990553C (ko)
FR (1) FR3038195B1 (ko)
RU (1) RU2705434C2 (ko)
WO (1) WO2016207507A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3783885B1 (en) * 2018-04-20 2022-03-09 Panasonic Intellectual Property Management Co., Ltd. Image display device and image display method
WO2021134713A1 (zh) * 2019-12-31 2021-07-08 深圳市大疆创新科技有限公司 红外图像处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080117318A1 (en) * 2006-11-20 2008-05-22 Sony Corporation Image processing apparatus, image processing method, and program
US20120091340A1 (en) * 2010-10-19 2012-04-19 Raytheon Company Scene based non-uniformity correction for infrared detector arrays

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1101597A (en) 1964-07-11 1968-01-31 Elcon Ag Improvements in and relating to prefabricated buildings
US5449907A (en) * 1993-10-29 1995-09-12 International Business Machines Corporation Programmable on-focal plane signal processor
US5532484A (en) * 1994-09-09 1996-07-02 Texas Instruments Incorporated Defective pixel signal substitution in thermal imaging systems
US5925880A (en) 1996-08-30 1999-07-20 Raytheon Company Non uniformity compensation for infrared detector arrays
US7283164B2 (en) * 2002-09-18 2007-10-16 Micron Technology, Inc. Method for detecting and correcting defective pixels in a digital image sensor
US20040239782A1 (en) 2003-05-30 2004-12-02 William Equitz System and method for efficient improvement of image quality in cameras
EP1594308A1 (en) * 2004-05-07 2005-11-09 Dialog Semiconductor GmbH Single line Bayer filter RGB bad pixel correction
JP4479373B2 (ja) * 2004-06-28 2010-06-09 ソニー株式会社 イメージセンサ
US7634151B2 (en) * 2005-06-23 2009-12-15 Hewlett-Packard Development Company, L.P. Imaging systems, articles of manufacture, and imaging methods
GB0625936D0 (en) 2006-12-28 2007-02-07 Thermoteknix Systems Ltd Correction of non-uniformity of response in sensor arrays
FR2918450B1 (fr) 2007-07-02 2010-05-21 Ulis Dispositif de detection de rayonnement infrarouge a detecteurs bolometriques
US20090040343A1 (en) * 2007-08-06 2009-02-12 Mediatek Inc. Methods and apparatuses for defective pixel detection and correction
JP2009188822A (ja) * 2008-02-07 2009-08-20 Olympus Corp 画像処理装置及び画像処理プログラム
JP4662083B2 (ja) * 2008-02-27 2011-03-30 トヨタ自動車株式会社 研磨装置
US20100141810A1 (en) 2008-12-04 2010-06-10 Proimage Technology Bad Pixel Detection and Correction
US8154632B2 (en) * 2009-08-24 2012-04-10 Lifesize Communications, Inc. Detection of defective pixels in an image sensor
US8519348B2 (en) 2009-09-08 2013-08-27 Carestream Health, Inc. Image quality monitor for digital radiography system
US8259198B2 (en) * 2009-10-20 2012-09-04 Apple Inc. System and method for detecting and correcting defective pixels in an image sensor
KR20120114021A (ko) * 2011-04-06 2012-10-16 삼성디스플레이 주식회사 불량 픽셀 보정 방법
US9064308B2 (en) 2011-04-13 2015-06-23 Raytheon Company System and method for residual analysis of images
US9743057B2 (en) * 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
JP2014022801A (ja) 2012-07-13 2014-02-03 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
CN103888690B (zh) * 2012-12-19 2018-08-03 韩华泰科株式会社 用于检测缺陷像素的设备和方法
FR3009388B1 (fr) 2013-07-30 2015-07-17 Ulis Diagnostic de l'etat defectueux d'une matrice de detection bolometrique
JP6092075B2 (ja) 2013-11-14 2017-03-08 住友重機械工業株式会社 射出成形機
FR3038194B1 (fr) 2015-06-26 2017-08-11 Ulis Correction de pixels parasites dans un capteur d'image infrarouge

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080117318A1 (en) * 2006-11-20 2008-05-22 Sony Corporation Image processing apparatus, image processing method, and program
US20120091340A1 (en) * 2010-10-19 2012-04-19 Raytheon Company Scene based non-uniformity correction for infrared detector arrays

Also Published As

Publication number Publication date
US10652490B2 (en) 2020-05-12
EP3314887B1 (fr) 2020-08-19
JP6783425B2 (ja) 2020-11-11
JP2018520593A (ja) 2018-07-26
FR3038195B1 (fr) 2018-08-31
RU2018102885A (ru) 2019-07-29
CN107736013A (zh) 2018-02-23
US20180316882A1 (en) 2018-11-01
KR20180031678A (ko) 2018-03-28
WO2016207507A1 (fr) 2016-12-29
CA2990553C (fr) 2023-10-03
CN107736013B (zh) 2020-05-19
CA2990553A1 (fr) 2016-12-29
RU2018102885A3 (ko) 2019-08-28
RU2705434C2 (ru) 2019-11-07
EP3314887A1 (fr) 2018-05-02
FR3038195A1 (ko) 2016-12-30

Similar Documents

Publication Publication Date Title
US10462388B2 (en) Method of shutterless non-uniformity correction for infrared imagers
Budzier et al. Calibration of uncooled thermal infrared cameras
KR102571973B1 (ko) 적외선 화상 포착 장치의 기생 화소들의 보정
US7880777B2 (en) Method for fixed pattern noise reduction in infrared imaging cameras
US20200099825A1 (en) Error smoothing through global source non-uniformity correction
US20180084205A1 (en) Infrared imaging device and signal correction method using infrared imaging device
KR20140041714A (ko) 적외선 이미징 장치용 불균일성 교정 기술
TWI682659B (zh) 固定模式降噪方法及該方法之使用
KR102602846B1 (ko) 적외선 화상 포착 장치의 기생 화소들의 검출
US20170078599A1 (en) Image processing apparatus and method, and image capturing apparatus
KR101840837B1 (ko) 적외선 검출기의 온도에 따른 불량화소 검출장치 및 방법
Svensson An evaluation of image quality metrics aiming to validate long term stability and the performance of NUC methods
KR101918761B1 (ko) 적외선 열상 검출기의 불량 화소 처리 방법 및 장치
WO2023119751A1 (ja) 画像処理装置、画像処理方法、及びプログラム
KR101958472B1 (ko) 라인 스캔 방식 기반의 불량화소 검출방법 및 장치
KR102098203B1 (ko) 영상 처리 장치 및 방법
KR20200029345A (ko) 열 이미지 데이터를 필터링하기 위한 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant