KR20070098263A - 불량화소 보상장치 및 불량화소 보상 방법 - Google Patents

불량화소 보상장치 및 불량화소 보상 방법 Download PDF

Info

Publication number
KR20070098263A
KR20070098263A KR1020060029693A KR20060029693A KR20070098263A KR 20070098263 A KR20070098263 A KR 20070098263A KR 1020060029693 A KR1020060029693 A KR 1020060029693A KR 20060029693 A KR20060029693 A KR 20060029693A KR 20070098263 A KR20070098263 A KR 20070098263A
Authority
KR
South Korea
Prior art keywords
pixel
defective pixel
pixels
threshold
value
Prior art date
Application number
KR1020060029693A
Other languages
English (en)
Inventor
김상욱
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020060029693A priority Critical patent/KR20070098263A/ko
Publication of KR20070098263A publication Critical patent/KR20070098263A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Abstract

본 발명은 영상의 종류에 따라 임계치를 조정하여 불량화소를 검출하는 불량화소 보상장치 및 그 방법에 관한 것으로서, 본 발명에 의한 불량화소 보상장치는 전(前) 화상에 대한 신호의 변화를 누적하여 신호 변화율을 생성하고, 상기 생성된 신호 변화율을 적용하여 임계치를 결정하는 임계치결정부; 상기 결정된 임계치에 따라 판단대상으로서의 화소와 인접된 화소의 수치 차이를 상기 임계치와 비교하여 불량화소를 검출하는 불량화소검출부; 및 상기 불량화소가 검출되면 검출된 불량화소의 수치를 보상하는 불량화소보상부를 포함하는 것을 특징으로 한다. 또한, 상기 임계치는 상기 화상을 구성하는 화소들의 수직열에 대한 임계치와 수평열에 대한 임계치로 각각 결정되는 것을 특징으로 한다.
본 발명에 의하면, 회로 구성을 단순화할 수 있고 제품의 사이즈을 감소시킬 수 있으며, 생산 공정 및 생산 비용을 절감할 수 있다. 또한, 카메라 시스템이 동작되는 경우 실시간으로 불량픽셀을 검출/보상하고, 다양한 영상에 대하여 조정된 임계치에 의하여 불량픽셀을 검출/보상하므로 불량픽셀의 검출/보상 능력을 극대화할 수 있으며, 사용 중 생기는 불량픽셀을 계속적으로 검출/보상할 수 있으므로 제품의 수명이 연장되고, 고화질의 영상을 취득할 수 있다.

Description

불량화소 보상장치 및 불량화소 보상 방법{Compensation apparatus of defected pixel and compensation method of defected pixel}
도 1은 일반적인 불량화소 보상장치의 구성 요소를 개략적으로 도시한 블록도.
도 2는 일반적인 불량화소 보상장치가 불량화소를 처리하는 방식을 예시적으로 도시한 화소 배열도 및 임계값 그래프.
도 3은 불량화소가 포함된 일반 영상 및 일반 영상의 밝기가 향상처리된 경우의 영상의 화소 관계를 예시적으로 도시한 그래프.
도 4는 본 발명의 실시예에 따른 불량화소 보상 장치의 구성요소를 개략적으로 도시한 블록도.
도 5는 본 발명의 실시예에 따른 불량화소 보상 장치에서 처리되는 영상 중 노이즈에 의한 신호 변화를 예시적으로 도시한 그래프.
도 6은 본 발명의 실시예에 따른 불량화소 보상 장치에서 처리되는 영상 중 화소의 수치가 증가되어 변화되는 경우를 예시적으로 도시한 그래프.
도 7은 본 발명의 실시예에 따른 불량화소 보상 장치에서 처리되는 영상 중 화소의 수치가 감소되어 변화되는 경우를 예시적으로 도시한 그래프.
도 8은 본 발명의 실시예에 따른 불량화소 보상 장치에 의하여 화이트 불량 화소가 검출된 경우를 예시적으로 도시한 그래프.
도 9는 본 발명의 실시예에 따른 불량화소 보상 장치에 의하여 블랙 불량화소가 검출된 경우를 예시적으로 도시한 그래프.
도 10은 본 발명의 실시예에 따른 불량화소 보상 방법을 설명하기 위하여 예로 든 화소의 배열도.
도 11은 본 발명의 실시예에 따른 불량화소 보상 방법을 도시한 흐름도.
〈도면의 주요 부분에 대한 부호의 설명〉
100: 본 발명에 의한 이미지센서 105: 제어부
110: 센싱부 120: 임계치결정부
130: 기준전압발생부 140: 불량화소검출부
150: ASP 160: 화소카운터
170: 레지스터 180: 불량화소보상부
본 발명은 불량화소 보상장치 및 불량화소 보상 방법에 관한 것이다.
현재, 디지털 카메라 뿐만 아니라, 휴대폰, 스마트폰, 카메라폰, PDA(Personal Digital Assistant) 등의 이동통신단말기에도 카메라 모듈이 탑재되어 영상을 취득할 수 있는 기능은 대중화되고 있다.
카메라 시스템 중에서 이미지 센서는 여러 개의 화소(Pixel)가 2차원 구조로 배열되어 이루어지며, 각 화소는 광신호를 밝기에 따라 차별화하여 전기적 신호로 변환하는 기능을 수행한다.
일반적으로, 이미지센서의 제조 과정 중 다양한 요인에 의하여 빛에 정상적으로 반응하지 못하는 불량화소(DP; Defective Pixel or Dead Pixel)가 발생될 수 있는데, 불량화소는 크게 고감도 불량화소(White Dead Pixel; 다른 화소들에 비하여 현저하게 감도가 좋은 화소, 일반적으로 저조도 화면 상에서 검출됨), 저감도 불량화소(Black Dead Pixel; 다른 픽셀들에 비하여 현저하게 감도가 떨어지는 화소, 일반적으로 고조도 화면 상에서 검출됨), 반응 불량화소(인접 화소들에 비하여 반응 상태가 저하된 화소, 보통 10% 이상의 반응 상태 차이를 가짐)로 분류된다.
이러한 불량화소는 전체 수백만 개의 화소 중에서 수 개 정도만이 발생되더라도 해당 이미지 센서 제품을 폐기해야 하므로, 불량화소를 검출하여 신호처리를 통하여 보상하는 기술(DPC; Defective Pixel Compensation)은 중요하게 인식되고 있다.
도 1은 일반적인 불량화소 보상장치(20)의 구성 요소를 개략적으로 도시한 블록도인데, 도 1에 의하면, 일반적인 불량화소 보상장치(20)는 이미지데이터저장부(28), 불량픽셀검출부(24), 불량픽셀보상부(26) 및 메모리(22)로 구성되며, 일반적으로 종래의 불량픽셀 보상장치(20)는 이미지센서에 구비되지 않고 이미지센서의 디지틸 신호를 처리하는 ISP(Image Sensor Processor)에 탑재된다.
우선, 이미지센서가 적정 노출 환경(가령, 저조도 또는 고조도 환경)에서 영상을 감지하여 전달하면, 이미지데이터저장부(28)는 전체 화면 중 특정 영역의 이 미지데이터(화소 신호들)를 임시저장하고, 불량픽셀검출부(24)는 기설정된 임계값과 임시저장된 화소들의 데이터를 비교하여 임계값 이상(저조도 환경인 경우) 또는 이하(고조도 환경인 경우)의 수치를 가지는 불량화소를 검출한다.
상기 불량픽셀검출부(24)는 검출된 불량화소의 위치를 상기 메모리(22)에 저장하는데, 이 과정은 제품 생산 중에 이루어지는 것으로서, 사전에 불량화소가 검출되어 그 위치정보가 메모리(22)에 기록되는 것이다.
이후, 카메라 시스템이 가령 이동통신단말기 제품에 탑재되어 이용되는 경우, 촬영된 영상신호가 이미지 센서를 통하여 입력되면 상기 불량픽셀검출부(24)는 불량화소에 해당되는 영상신호가 전달될 때 보상신호를 불량픽셀보상부(26)로 전달하고, 불략픽셀보상부(26)는 보상신호가 전달됨에 따라 메모리(22)에 저장된 위치정보를 이용하여 불량화소의 수치를 보상하게 된다.
이러한 종래의 방식은 제품에 탑재된 후 사용 중에 발생될 수 있는 불량화소에 대해서는 처리가 불가능하며, 생산 공정과 소요 비용이 증가하는 단점이 있다. 그리고, 메모리(22)를 비롯하여 부가적인 회로가 추가됨으로써 제품의 사이즈가 커지고, 실제 사용시의 다양한 화면에 대해서는 보상 능력이 저하되는 문제점이 있다.
이러한 단점을 보완하기 위하여, 종래의 다른 불량화소 처리 방식이 제안되었는데, 이에 대하여 살펴보면 다음과 같다.
도 2는 일반적인 불량화소 보상장치가 불량화소를 처리하는 방식을 예시적으로 도시한 화소 배열도 및 임계값 그래프이다.
이미지 센서에서 영상 신호가 전달되면, ISP의 불량검출블록(구성부는 도시되지 않음)은 픽셀의 라인 별로 라인버퍼를 두어 도 2의 (a) 도면에 도시된 것처럼, 상,하,좌,우의 화소들과의 관계를 검출하여 불량화소를 검출한다.
이때, 상,하 화소들(도 2의 (b) 참조; A1, A2)과의 비교시 기준이 되는 임계값(B)과 좌,우 화소들(도 2의 (c) 참조; A3, A4)과의 비교시 기준이 되는 임계값(B)을 설정하여, 비교 결과 임계값(B)과 소정 수치 이상의 차이를 보이면 해당 화소를 불량화소로 검출하여 그 좌표를 임시저장하고, 불량보상블록은 좌표 정보에 해당되는 불량화소를 상,하,좌,우 화소들의 평균값으로 대체하여 보상처리하게 된다.
그러나, 이러한 방식은 불량화소를 결정하기 위하여 최소 2개 이상의 라인 메모리가 요구되므로 회로 구성이 복잡해지고, 불량 화소의 좌표 정보를 기록하기 위하여 많은 저장 영역을 필요로 하므로, 가령 고가의 PROM((Programmable Read-Only Memory)을 사용해야 하는 등의 문제점이 있다.
특히, 종래의 방식은 영상의 상태를 고려하지 않으므로 잡음성분(노이즈)에 의한 값의 변화를 불량화소에 의한 값의 변화로 오판할 여지가 있다. 이러한 경우를 방지하기 위하여 임계값을 상향조정하면 불량화소의 검출이 어려워지는 문제점이 있다.
도 3은 불량화소가 포함된 일반 영상 및 일반 영상의 밝기가 향상처리된 경우의 영상의 화소 관계를 예시적으로 도시한 그래프이다.
도 3의 (a)도면은 저조도 상태의 일반 영상에서의 화소의 전압수치를 도시한 것인데(X축은 화소의 종류, Y축은 전압 레벨을 의미함), "a1" 화소는 일반적으로 나타날 수 있는 랜덤 노이즈이고, "b1" 화소는 센서의 열화에 따른 불량화소(화이트 불량화소임)이다.
이때, 저조도 상태의 영상에 가중치(gain)를 적용하여 밝기를 향상시키는 경우, 도 3의 (b)도면과 같이, "a1" 화소와 "b1" 화소 모두 "a2" 화소와 "b2" 화소로 증폭되어 전압수치 "C1", "D1"은 각각 "C2", "D2"로 변화된다.
이때 일반 영상에서 불량화소 "b1"을 검출하기 위하여 임계치를 "E2"로 설정하는 경우, 가중치가 적용된 영상에서 잡음성분인 "a2"까지 검출되는 현상이 발생되고, 가중치가 적용된 영상에서 불량화소 "b2"를 검출하기 위하여 임계치를 "E1"로 설정하는 경우, 일반 영상에서의 불량화소 "b1"까지 검출되지 못하는 현상이 발생된다.
즉, 불량화소의 검출 능력이 현저히 저하되는 것이다.
따라서, 본 발명은 별도의 신호처리수단을 구비하지 않고 이미지 센서 상에서 불량화소의 검출 및 보상 기능을 수행할 수 있고, 저장수단의 의존도를 최소화하여 카메라 시스템이 동작되는 경우 실시간으로 불량화소를 검출하여 보상할 수 있으며, 가중치가 적용된 영상, 일반 영상 등의 종류에 따라 임계치가 조정됨으로써 불량화소의 검출 능력이 향상되는 볼량화소 보상장치를 제공하는 것을 그 목적으로 한다.
본 발명은 영상 자체가 가지는 노이즈 성분에 의한 수치 차이와 이미지 센서 의 불량 화소에 의한 수치 차이를 구분하고, 영상의 종류에 따라 임계치를 실시간으로 조정하며, 검사 화소와 인접된 화소에 조정된 임계치를 적용하여 불량화소를 효율적으로 검출/보상하는 불량화소 보상 방법을 제공하는 것을 다른 목적으로 한다.
상기의 목적을 달성하기 위하여, 본 발명에 의한 불량화소 보상장치는 전(前) 화상에 대한 신호의 변화를 누적하여 신호 변화율을 생성하고, 상기 생성된 신호 변화율을 적용하여 임계치를 결정하는 임계치결정부; 상기 결정된 임계치에 따라 판단대상으로서의 화소와 인접된 화소의 수치 차이를 상기 임계치와 비교하여 불량화소를 검출하는 불량화소검출부; 및 상기 불량화소가 검출되면 검출된 불량화소의 수치를 보상하는 불량화소보상부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 의한 불량화소 보상 장치에서 처리되는 상기 임계치는 상기 화상을 구성하는 화소들의 수직열에 대한 임계치와 수평열에 대한 임계치로 각각 결정되는 것을 특징으로 한다.
또한, 본 발명에 의한 불량화소 보상 장치에서 처리되는 상기 수직열에 대한 임계치는
Figure 112006022969750-PAT00001
(상기 수식에서, "W"는 1＋디지털 가중치(Digital Gain)×아날로그 가중 치(Analog Gain), "i"는 수직열 상의 화소의 위치 변수, "j"는 수평열 상의 화소의 위치 변수, "n"은 수직열 상의 화소 개수, "k"는 수평열 상의 화소 개수를 의미함)의 수식에 의하여 계산되는 것을 특징으로 한다.
또한, 본 발명에 의한 불량화소 보상 장치에서 처리되는 상기 수평열에 대한 임계치는
Figure 112006022969750-PAT00002
(상기 수식에서, "W"는 1＋디지털 가중치(Digital Gain)×아날로그 가중치(Analog Gain), "i"는 수직열 상의 화소의 위치 변수, "j"는 수평열 상의 화소의 위치 변수, "n"은 수직열 상의 화소 개수, "k"는 수평열 상의 화소 개수를 의미함)의 수식에 의하여 계산되는 것을 특징으로 한다.
또한, 본 발명에 의한 불량화소 보상 장치에 구비되는 상기 불량화소검출부는 상기 불량화소를 실시간으로 검출하고, 상기 불량화소보상부는 상기 검출된 불량화소의 수치를 실시간으로 보상하는 것을 특징으로 한다.
상기의 다른 목적을 달성하기 위하여, 본 발명에 의한 불량화소 보상 방법은 전 화상에 대한 신호의 변화를 누적하여 신호 변화율을 생성하고, 상기 생성된 신호 변화율을 적용하여 임계치가 결정되는 단계; 및 상기 결정된 임계치에 따라 판단대상으로서의 화소와 인접된 화소의 수치 차이가 상기 임계치와 비교되어 불량화소가 검출되는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 의한 불량화소 보상 방법에는 상기 불량화소가 검출되면 검출된 불량화소의 수치가 보상되는 단계가 더 구비되는 것을 특징으로 한다.
또한, 본 발명에 의한 불량화소 보상 방법 중에서, 상기 임계치가 결정되는 단계는, 상기 생성된 신호 변화율을 적용하여 임계치가 실시간으로 결정되고, 상기 불량화소가 검출되는 단계는, 상기 임계치와 비교되어 불량화소가 실시간으로 검출되는 것을 특징으로 한다.
이하에서 첨부된 도면을 참조하여 본 발명의 실시예에 따른 불량화소 보상 장치 및 불량화소 보상 방법에 대하여 상세히 설명한다.
도 4는 본 발명의 실시예에 따른 불량화소 보상 장치의 구성요소를 개략적으로 도시한 블록도이다.
우선, 본 발명에 의한 불량화소 보상 장치는 회로 구성이 단순화됨으로써 이미지센서에 탑재될 수 있으며, 이하에서, 설명상의 편의를 위하여 본 발명에 의한 불량화소 보상 장치를 "이미지센서"라 지칭하기로 한다.
도 4에 의하면, 본 발명의 실시예에 따른 이미지센서(100)는 제어부(105), 임계치결정부(120), 기준전압발생부(130), 불량화소검출부(140), 센싱부(110), ASP(Analog Signal Processor)(150), 화소카운터(160), 레지스터(170) 및 불량화소보상부(180)를 포함하여 이루어지는데, 상기 제어부(105)는 외부의 카메라 시스템(도시되지 않음)과 연결된다.
본 발명의 실시예에 따른 이미지 센서(100)는 이동통신단말기 제품에 탑재된 상태인 것으로 하고, 상기 카메라 시스템은 이동통신단말기의 다른 구성부와 연계 되어, 가령 디지털 신호처리된 영상 데이터를 LCD(Liquid Crystal Display) 상에서 출력하는 등의 영상처리와 관련된 동작을 수행하는 시스템이다.
본 발명의 실시예에 따른 이미지 센서(100)는 고감도 불량화소(이하에서, "화이트 불량화소"라 한다)과 저감도 불량화소(이하에서, "블랙 불량화소"라 한다)의 두가지 불량화소를 검출하는데, 이를 위하여 저조도 영상(어두운 영상)과 고조도 영상(밝은 영상)을 각각 필요로 한다.
상기 화이트 불량화소는 저조도 영상에서 검출되고, 블랙 불량화소는 고조도 영상에서 검출된다.
따라서, 상기 제어부(105)는 센싱화소의 노출 시간, 영상 신호의 전압 레벨을 증폭시키기 위한 가중치(Gain) 등의 조도 변수를 조정하여 저조도 영상과 고조도 영상이 입력되도록 한다.
이때, 상기 제어부(105)는 예를 들어, 저조도 영상이 먼저 입력되어 화이트 불량화소가 검출된 후 제어신호를 출력하여 고조도 영상이 다음 입력되고 블랙 불량화소가 검출되도록 할 수 있다.
상기 제어부(105)는 커널을 구비하여 각 구성부와의 인터페이스를 제공하고, 인터럽트를 처리하며, 요청 처리시간 및 연산 순위를 부여하여 각 구성부의 동작을 제어하는데, 상기 카메라 시스템으로부터 동작신호가 전달될 때마다(즉, 사용자가 이동통신단말기를 이용하여 촬영을 시도할 때마다) 상기 구성부들을 초기화하여 불량화소의 위치파악 및 불량화소의 보상 기능을 실시간으로 제공하도록 한다.
따라서, 본 발명에 의한 이미지센서(100)에 의하면, 불량화소의 좌표정보를 연속적으로 기억할 필요가 없으므로 많은 저장공간을 필요로 하지 않고 라인별로 구비되는 라인버퍼와 같은 기억장치 역시 필요치 않다.
상기 센싱부(110)는 빛을 감지하여 소정 전압의 아날로그 신호로 변환하는 단위센서(이하에서, "센싱픽셀"이라 한다)(112)의 집합체로서, 상기 센싱픽셀은 2차원 배열로서 카메라 제품의 화소수를 결정하는 기준이 된다.
이때, 상기 센싱픽셀에서 변환된 아날로그 신호는 불안정한 상태로서 노이즈 성분이 혼재될 수 있으므로, 상기 ASP(150)는 센싱픽셀에서 변환된 아날로그 신호를 필터링하여 신호를 안정화하고 노이즈 성분을 제거한다.
상기 임계치결정부(120)는 연속적으로 영상이 입력되면 현재 영상 이전에 입력된 영상의 변화를 누적하여 신호 변화율을 생성하고, 상기 생성된 신호 변화율에 가중치를 곱하여 새로운 임계치를 생성한다.
상기 임계치결정부(120)는 영상을 구성하는 화소들의 수직열에 대한 임계치와 수평열에 대한 임계치를 각각 생성하는데, 수직열에 대한 임계치와 수평열에 대한 임계치는 다음의 수학식1과 수학식2에 의하여 계산된다.
Figure 112006022969750-PAT00003
Figure 112006022969750-PAT00004
상기 수학식1과 수학식2에서,
"W"는 1＋디지털 가중치(Digital Gain)×아날로그 가중치(Analog Gain),
"i"는 수직열 상의 화소의 위치 변수,
"j"는 수평열 상의 화소의 위치 변수,
"n"은 수직열 상의 화소 개수,
"k"는 수평열 상의 화소 개수를 의미함.
상기 수학식에서, 가중치 "W"와 곱산되는 수식 부분이 신호변화율을 의미한다.
도 5는 본 발명의 실시예에 따른 불량화소 보상 장치(이미지센서)(100)에서 처리되는 영상 중 노이즈에 의한 신호 변화를 예시적으로 도시한 그래프이고, 도 6은 본 발명의 실시예에 따른 불량화소 보상 장치(이미지센서)(100)에서 처리되는 영상 중 화소의 수치가 증가되어 변화되는 경우를 예시적으로 도시한 그래프이다.
또한, 도 7은 본 발명의 실시예에 따른 불량화소 보상 장치(이미지센서)(100)에서 처리되는 영상 중 화소의 수치가 감소되어 변화되는 경우를 예시적으로 도시한 그래프이다.
도 5에서의 X2 화소는 인접화소 X1, X3 보다 약간 큰 수치를 가지나, 잡음 성분이므로 불량화소로 검출되어서는 안된다.
도 6에서의 X2 화소는 센서 성능의 열화로 인한 화이트 불량화소이고, 인접화소 X1보다 크게 높은 수치를 가진다. 이는 X2 화소가 필요이상으로 고감도로 반응되는 것을 의미한다. 도 7에서의 X2 화소는 역시 센서 성능의 열화로 인한 블랙 불량화소이고, 인접화소 X1, X3보다 크게 낮은 수치를 가진다. 이는 X2 화소가 현저하게 저감도로 반응되는 것을 의미하므로 불량화소로 검출되어야 한다.
도 8은 본 발명의 실시예에 따른 불량화소 보상 장치(이미지센서)(100)에 의하여 화이트 불량화소가 검출된 경우를 예시적으로 도시한 그래프이고, 도 9는 본 발명의 실시예에 따른 불량화소 보상 장치(이미지센서)(100)에 의하여 블랙 불량화소가 검출된 경우를 예시적으로 도시한 그래프이다.
도 8 및 도 9를 참조하면, 각 화소에 대하여 신호변화율이 계산된 것을 볼 수 있는데, 도 8에서의 X2 화소는 누적된 신호변화율이 증가치로서 인접 화소 X1, X3에 비하여 크게 계산된 것을 볼 수 있으며, 도 9에서의 X2 화소는 누적된 신호변화율이 감소치로서 인접 화소 X1, X3에 비하여 역시 크게 계산된 것을 볼 수 있다.
따라서, 블랙 불량화소 또는 화이트 불량화소의 경우에 상관 없이 불량화소는 그 수치가 가파르게 커지고(증가율의 기울기가 크고), 잡음 성분은 신호변화율의 변화가 미미하므로 도 3을 참조하여 설명된 종래의 문제점을 극복하여 새로운 임계치를 실시간으로 생성할 수 있다.
상기 기준전압발생부(130)는 임계치가 조정되면 이에 해당되는 전압을 생성하여 불량화소검출부(140)로 전달하고, 상기 불량화소검출부(140)는 비교기의 기능 을 수행하는데, 판단대상으로서의 화소와 인접된 화소의 수치 차이를 계산하여 결과값을 임계치와 비교하고, 결과값이 임계치보다 큰 경우 해당 화소를 불량화소로 검출한다.
불량화소의 검출에 대한 상세한 설명은, 이하에서 도 10 및 도 11을 참조하여 후술하기로 한다.
이때 화소카운터(160)는 불량픽셀로 파악된 가운데 픽셀의 위치를 열별로 카운트하여 위치정보를 생성하고, 생성된 위치정보는 레지스터(170)에 임시저장된다.
이와 같이, 임계치결정부(120), 기준전압발생부(130), 불량화소검출부(140) 등의 동작에 의하여, 카메라 시스템이 동작될 때마다 실시간으로 불량화소가 검출되고 보상될 수 있으므로, 상기 레지스터(170)는 종래와 같이 용량이 큰 메모리로 따로 구비될 필요가 없다.
상기 불량화소보상부(180)는 버퍼를 구비하여 ASP(150)로부터 픽셀당 아날로그 신호가 전달되면 이를 순차적으로 출력시키는데, 레지스터(170)에 임시저장된 불량화소의 위치정보를 확인하여 해당 화소의 신호가 출력될 때, 이를 신호처리하여 보상 기능을 수행한다.
상기 불량화소보상부(180)는 불량화소 신호의 출력 순서가 되면 전후에 위치되는 픽셀이 가지는 화소수치의 평균값을 구하고 구해진 평균값을 불량픽셀의 화소 수치에 적용하여 보상처리할 수 있다.
이처럼 실시간 보상 처리 개념에 따라, 본 발명에 의하면, 생산 시 교정된 불량화소 뿐만 아니라 제품에 장착되어 사용되어짐에 따라 점차 열화현상이 진행된 화소도 검출하여 보상할 수 있으므로 제품의 수명이 길어지게 된다.
도 10은 본 발명의 실시예에 따른 불량화소 보상 방법을 설명하기 위하여 예로 든 화소의 배열도이고, 도 11은 본 발명의 실시예에 따른 불량화소 보상 방법을 도시한 흐름도이다.
처음으로, 블랙 불량화소를 검출하기 위한 고조도 영상 또는 화이트 불량화소를 검출하기 위한 저조도 영상이 입력되면, ASP(150)는 영상을 신호처리하여 잡음성분을 제거한다(S100).
상기 임계치결정부(120)는 ASP(150)로부터 신호처리된 영상의 아날로그 신호를 전달받아 화소별로 수직열에 대한 신호변화율과 수평열에 대한 신호변화율을 각각 계산한다(S105).
이어서, 상기 임계치결정부(120)는 계산된 신호변화율들에 가중치를 곱하여 수직열에 대한 임계치와 수평열에 대한 임계치를 계산한다(S110).
상기 임계치들이 생성되면 기준전압발생부(130)는 임계치에 해당되는 기준전압을 발생한다(이하에서, 수직열에 대한 임계치의 기준전압을 "제1기준전압"이라 하고, 수평열에 대한 임계치의 기준전압을 "제2기준전압"이라 한다)(S115).
상기 불량화소검출부(140)는 검사화소와 인접된 화소간의 차이를 구하고, 이를 상기 기준전압들과 비교하여 불량화소 여부를 판단하는데, 다음과 같은 판단 과정이 진행된다.
첫째, 도 10에 도시된 영상에서 X3 화소를 수직열 상에서 검사하는 경우, X3 화소의 수치로부터 X1 화소의 수치를 감산하여 그 결과수치(제1수치)를 제1기준전 압과 비교한다(S120). 비교결과 제1수치가 제1기준전압보다 작으면, X1 화소의 수치로부터 X3 화소의 수치를 감산하여 그 결과수치(제2수치)를 제1기준전압과 비교한다(S125).
비교 결과, 제2수치가 제1기준전압보다 작으면 X3 화소는 불량화소가 아닌 것으로 판단된다.
둘째, 제1수치 또는 제2수치가 제1기준전압보다 큰 경우, X3 화소의 수치로부터 X5 화소의 수치를 감산하여 그 결과수치(제3수치)를 제1기준전압과 비교한다(S130). 비교결과 제3수치가 제1기준전압보다 작으면, X5 화소의 수치로부터 X3 화소의 수치를 감산하여 그 결과수치(제4수치)를 제1기준전압과 비교한다(S135).
비교 결과, 제4수치가 제1기준전압보다 작으면 X3 화소는 불량화소가 아닌 것으로 판단된다.
셋째, 반면 제3수치 또는 제4수치가 제1기준전압보다 큰 경우, X3 화소에 대하여 수평열 상에서의 검사를 진행한다.
넷째, 수평열 상에서의 검사를 위하여, X3 화소의 수치로부터 X2 화소의 수치를 감산하여 그 결과수치(제5수치)를 제2기준전압과 비교한다(S140). 비교결과 제5수치가 제2기준전압보다 작으면, X2 화소의 수치로부터 X3 화소의 수치를 감산하여 그 결과수치(제6수치)를 제2기준전압과 비교한다(S145).
비교 결과, 제6수치가 제2기준전압보다 작으면 X3 화소는 불량화소가 아닌 것으로 판단된다.
다섯째, 제5수치 또는 제6수치가 제2기준전압보다 큰 경우, X3 화소의 수치 로부터 X4 화소의 수치를 감산하여 그 결과수치(제7수치)를 제2기준전압과 비교한다(S150). 비교결과 제7수치가 제2기준전압보다 작으면, X4 화소의 수치로부터 X3 화소의 수치를 감산하여 그 결과수치(제8수치)를 제2기준전압과 비교한다(S155).
비교 결과, 제8수치가 제2기준전압보다 작으면 X3 화소는 불량화소가 아닌 것으로 판단된다.
여섯째, 반면 제7수치 또는 제8수치가 제2기준전압보다 큰 것으로 판단되면 최종적으로 X3 화소는 불량화소인 것으로 판단된다(S160).
즉, 수직열 검사 및 수평열 검사에서 모두 불량화소로 검출될 경우, 최종 불량화소로 결정되며, 상기 검사 순서와 역으로 즉, 수평열 검사가 진행된 후 수직열 검사가 진행될 수도 있다.
그리고, X3화소가 인접화소들 - X1 화소, X2 화소, X4 화소, X5 화소와 비교되는 순서도 바뀔 수 있음은 물론이다.
상기 X3 화소가 불량화소로 검출됨에 따라, 화소카운터(160)는 X3 화소의 위치정보를 카운트하여 생성하고, X3 화소의 위치정보는 레지스터(170)에 기록된다(S165).
마지막으로, 상기 불량화소보상부(180)는 X3 화소에 대한 신호가 출력되는 경우, 불량화소로 기록된 X3 화소의 위치정보를 레지스터(170)로부터 확인하여 평균값 보정을 처리한다(S170).
이상에서 본 발명에 대하여 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명에 의하면 다음과 같은 효과가 있다.
첫째, 별도의 신호처리수단을 구비하지 않고 저장수단의 의존도를 최소화할 수 있으므로, 회로 구성을 단순화할 수 있고 제품의 사이즈을 감소시킬 수 있으며, 생산 공정 및 생산 비용을 절감할 수 있는 효과가 있다.
둘째, 카메라 시스템이 동작되는 경우 실시간으로 불량픽셀을 검출/보상하고, 다양한 영상에 대하여 조정된 임계치에 의하여 불량픽셀을 검출/보상하므로 불량픽셀의 검출/보상 능력을 극대화할 수 있다.
셋째, 시간에 따라 이미지센서의 픽셀이 계속적으로 열화되어도 이에 대응하여 불량픽셀의 검출/보상 기능을 수행함으로써 제품의 수명이 연장되고, 고화질의 영상을 안정적으로 취득할 수 있게 된다.

Claims (9)

  1. 전(前) 화상에 대한 신호의 변화를 누적하여 신호 변화율을 생성하고, 상기 생성된 신호 변화율을 적용하여 임계치를 결정하는 임계치결정부;
    상기 결정된 임계치에 따라 판단대상으로서의 화소와 인접된 화소의 수치 차이를 상기 임계치와 비교하여 불량화소를 검출하는 불량화소검출부; 및
    상기 불량화소가 검출되면 검출된 불량화소의 수치를 보상하는 불량화소보상부를 포함하는 것을 특징으로 하는 불량화소 보상 장치.
  2. 제 1항에 있어서, 상기 임계치는
    상기 화상을 구성하는 화소들의 수직열에 대한 임계치와 수평열에 대한 임계치로 각각 결정되는 것을 특징으로 하는 불량화소 보상 장치.
  3. 제 1항에 있어서, 상기 수직열에 대한 임계치는
    Figure 112006022969750-PAT00005
    상기 수식에서, "W"는 1＋디지털 가중치(Digital Gain)×아날로그 가중치(Analog Gain),
    "i"는 수직열 상의 화소의 위치 변수,
    "j"는 수평열 상의 화소의 위치 변수,
    "n"은 수직열 상의 화소 개수,
    "k"는 수평열 상의 화소 개수를 의미함.
    의 수식에 의하여 계산되는 것을 특징으로 하는 불량화소 보상 장치.
  4. 제 1항에 있어서, 상기 수평열에 대한 임계치는
    Figure 112006022969750-PAT00006
    상기 수식에서, "W"는 1＋디지털 가중치(Digital Gain)×아날로그 가중치(Analog Gain),
    "i"는 수직열 상의 화소의 위치 변수,
    "j"는 수평열 상의 화소의 위치 변수,
    "n"은 수직열 상의 화소 개수,
    "k"는 수평열 상의 화소 개수를 의미함.
    의 수식에 의하여 계산되는 것을 특징으로 하는 불량화소 보상 장치.
  5. 제 1항에 있어서,
    상기 불량화소검출부는 상기 불량화소를 실시간으로 검출하고,
    상기 불량화소보상부는 상기 검출된 불량화소의 수치를 실시간으로 보상하는 것을 특징으로 하는 불량화소 보상 장치.
  6. 전 화상에 대한 신호의 변화를 누적하여 신호 변화율을 생성하고, 상기 생성된 신호 변화율을 적용하여 임계치가 결정되는 단계; 및
    상기 결정된 임계치에 따라 판단대상으로서의 화소와 인접된 화소의 수치 차이가 상기 임계치와 비교되어 불량화소가 검출되는 단계를 포함하는 것을 특징으로 하는 불량화소 보상 방법.
  7. 제 6항에 있어서,
    상기 불량화소가 검출되면 검출된 불량화소의 수치가 보상되는 단계가 더 구비되는 것을 특징으로 하는 불량화소 보상 방법.
  8. 제 6항에 있어서, 상기 임계치가 결정되는 단계는
    상기 수직열에 대한 임계치는
    Figure 112006022969750-PAT00007
    ,
    상기 수평열에 대한 임계치는
    Figure 112006022969750-PAT00008
    (상기 수식에서, "W"는 1＋디지털 가중치(Digital Gain)×아날로그 가중치(Analog Gain),
    "i"는 수직열 상의 화소의 위치 변수,
    "j"는 수평열 상의 화소의 위치 변수,
    "n"은 수직열 상의 화소 개수,
    "k"는 수평열 상의 화소 개수를 의미함)
    의 수식에 의하여 계산되는 단계인 것을 특징으로 하는 불량화소 보상 방법.
  9. 제 6항에 있어서,
    상기 임계치가 결정되는 단계는, 상기 생성된 신호 변화율을 적용하여 임계치가 실시간으로 결정되고,
    상기 불량화소가 검출되는 단계는, 상기 임계치와 비교되어 불량화소가 실시간으로 검출되는 것을 특징으로 하는 불량화소 보상 방법.
KR1020060029693A 2006-03-31 2006-03-31 불량화소 보상장치 및 불량화소 보상 방법 KR20070098263A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060029693A KR20070098263A (ko) 2006-03-31 2006-03-31 불량화소 보상장치 및 불량화소 보상 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060029693A KR20070098263A (ko) 2006-03-31 2006-03-31 불량화소 보상장치 및 불량화소 보상 방법

Publications (1)

Publication Number Publication Date
KR20070098263A true KR20070098263A (ko) 2007-10-05

Family

ID=38804349

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060029693A KR20070098263A (ko) 2006-03-31 2006-03-31 불량화소 보상장치 및 불량화소 보상 방법

Country Status (1)

Country Link
KR (1) KR20070098263A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8837852B2 (en) 2010-02-08 2014-09-16 Samsung Electronics Co., Ltd Apparatus and method for removing defective pixels
WO2015190640A1 (ko) * 2014-06-11 2015-12-17 삼성전자 주식회사 전자장치 및 전자장치의 화소 보상 방법
KR101705063B1 (ko) 2016-09-26 2017-02-09 (주)큐브이미징시스템즈 열영상 카메라의 위치 기억을 이용하는 불량화소 검출방법 및 검출장치
US10733709B2 (en) 2016-07-11 2020-08-04 Samsung Electronics Co., Ltd. Image processing device and image processing method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8837852B2 (en) 2010-02-08 2014-09-16 Samsung Electronics Co., Ltd Apparatus and method for removing defective pixels
WO2015190640A1 (ko) * 2014-06-11 2015-12-17 삼성전자 주식회사 전자장치 및 전자장치의 화소 보상 방법
US10733709B2 (en) 2016-07-11 2020-08-04 Samsung Electronics Co., Ltd. Image processing device and image processing method
KR101705063B1 (ko) 2016-09-26 2017-02-09 (주)큐브이미징시스템즈 열영상 카메라의 위치 기억을 이용하는 불량화소 검출방법 및 검출장치

Similar Documents

Publication Publication Date Title
US8682068B2 (en) Image processing apparatus, image processing method, and program
US8169514B2 (en) Defective pixel detecting device, defective pixel detecting method, record medium storing a program for detecting defective pixels, and imaging apparatus
US7602380B2 (en) Display device with optical input function
US20110013053A1 (en) Defective pixel detection and correction
EP1401196A1 (en) Method for detecting and correcting defective pixels in a digital image sensor
US7675508B2 (en) Liquid crystal display apparatus
EP1781017A2 (en) Methods and devices for image signal processing
EP2278579A2 (en) Apparatus for and method of controlling backlight of display panel in camera system
US8830369B2 (en) Image sensor, data output method, image pickup device, and camera
GB2421138A (en) Detecting and correcting defective pixels in a digital image sensor
CN110620887B (zh) 图像生成装置和图像生成方法
US8643751B2 (en) Method for detecting dead pixels and computer program product thereof
JP2011151792A (ja) 画像処理装置及び方法
KR20070098263A (ko) 불량화소 보상장치 및 불량화소 보상 방법
US7551213B2 (en) Method for detecting vertical transfer defects in image sensors
JP6118133B2 (ja) 信号処理装置及び撮像装置
KR20070099746A (ko) 이미지센서 및 이미지센서 상의 불량화소 보상 방법
JP7310138B2 (ja) 画像処理装置、画像処理装置の故障検知方法、及びプログラム
CN112734719A (zh) 一种图像传感器的坏点检测方法、存储介质以及拍摄装置
JP2004064512A (ja) 欠陥画素の検出方法および装置、並びに撮像装置
KR100860307B1 (ko) 불량화소 보정장치 및 그 방법
JP7455589B2 (ja) 撮像装置、および欠陥画素の検出方法
JPH07264400A (ja) シェーディング補正回路
JP2006148748A (ja) 画素欠陥補正装置および画素欠陥補正方法
US20080266429A1 (en) Adaptive compensation for defective pixels

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application