KR101470019B1

KR101470019B1 - 이미지센서의 불량 픽셀 검출 및 보정 방법

Info

Publication number: KR101470019B1
Application number: KR1020080134355A
Authority: KR
Inventors: 서필기
Original assignee: 엘지이노텍 주식회사
Priority date: 2008-12-26
Filing date: 2008-12-26
Publication date: 2014-12-05
Also published as: US8913163B2; TWI501653B; JP2012514371A; EP2373048A1; EP2373048A4; WO2010074386A1; TW201026083A; KR20100076342A; US20110254982A1; EP2373048B1; CN102265628B; CN102265628A

Abstract

본 발명의 실시 예는 이미지센서에서의 불량 픽셀 검출 및 보정 방법에 관한 것으로서, 각기 다른 밝기 환경을 가지는 피사체의 이미지 프레임을 다수개 생성하여 저장하는 제1과정과, 상기 다수의 이미지 프레임내의 픽셀들을 스캔하는 제2과정과, 상기 다수의 이미지 프레임마다 공통된 위치에서 불량 픽셀이 검출될 때, 해당 불량 픽셀을 가지는 블록의 위치를 불량 블록 위치로서 메모리에 저장하는 제3과정과, 촬영이 이루어질 때 상기 메모리에 저장된 불량 블록 위치를 호출하여, 해당 불량 블록의 휘도값을 보정하는 제4과정을 포함한다.

카메라, 이미지센서, 화소, 픽셀, 불량, 데드, 휘도, 보정

Description

이미지센서의 불량 픽셀 검출 및 보정 방법{Method for detecting and correcting bad pixels in image sensor}

본 발명의 실시 예는 이미지센서에서의 불량 픽셀 검출 및 보정 방법에 관한 것이다.

이미지 센서는 수십만에서 수백만 개의 화소로 구성된 픽셀 어레이와, 픽셀에서 감지한 아날로그 데이터를 디지털 데이터로 바꿔주는 장치와, 수백에서 수천 개의 저장 장치 등으로 구성된다. 그런데, 이때 이러한 많은 수의 장치들로 인해 이미지 센서는 항상 공정상 오류 가능성을 가지게 된다.

이러한 이미지 센서의 품질은 불량 픽셀(bad pixel)의 개수에 따라 제품의 등급이 결정되며, 불량 픽셀의 개수가 적을수록 양질의 제품이 된다. 이미지 센서에서 이러한 불량 픽셀로 인한 오류는 화면상에 작은 점의 형태로서 나타난다.

이러한 부분적인 불량 픽셀이 있는 이미지 센서 칩을 모두 불량 칩으로 처분하는 경우 수율이 나빠지기 때문에, 해당 불량 픽셀을 보정하여 사용한다.

기존의 불량 픽셀 보정 방식은 타겟 픽셀인 불량 픽셀과 주변 픽셀의 휘도(luminance)를 검출하거나 R,G,B 레벨 검출 후 차이를 확인한 다음 불량 픽셀을 리얼 타임(real time)으로 보정하는 방식이었다.

도 1은 기존의 데드 픽셀 보상(DPA)에 의한 불량 픽셀 보정 예를 도시한 그림으로서, {d0,d1,d2,d3,d4,d5,d6,d7,d8}의 픽셀 값 중에서 d0의 픽셀값이 최대값을 갖는다면, d0의 픽셀값을 {d1,d2,d3,d4,d5,d6,d7,d8} 픽셀값 중에서의 최대값으로 치환 보정한다.

또한, 만약, {d0,d1,d2,d3,d4,d5,d6,d7,d8}의 픽셀 값 중에서 d0의 픽셀값이 최소값을 갖는다면, d0의 픽셀값을 {d1,d2,d3,d4,d5,d6,d7,d8} 픽셀값 중에서의 최소값으로 치환 보정한다.

그런데, 상기와 같이 기존의 불량 픽셀 보정 방식은 리얼 타임(real time)이라는 장점이 있는 반면에, 불량 픽셀에 대한 정확한 위치 검출 및 완전한 보정이 이루어지기 어려운 문제가 있다.

본 발명의 실시 예는 불량 픽셀에 대한 정확한 검출 및 완전한 보정이 이루어지도록 하는 방법에 관한 것이다.

본 발명의 실시 예는 각기 다른 밝기 환경을 가지는 피사체의 이미지 프레임을 다수개 생성하여 저장하는 제1과정과, 상기 다수의 이미지 프레임내의 픽셀들을 스캔하는 제2과정과, 상기 다수의 이미지 프레임마다 공통된 위치에서 불량 픽셀이 검출될 때, 해당 불량 픽셀을 가지는 블록의 위치를 불량 블록 위치로서 메모리에 저장하는 제3과정과, 촬영이 이루어질 때 상기 메모리에 저장된 불량 블록 위치를 호출하여, 해당 불량 블록의 휘도값을 보정하는 제4과정을 포함한다.

상기 제4과정은, 촬영이 이루어질 때 이미지센서 내의 보정 제어를 수행하는 보정 레지스터가 있는 경우, 상기 메모리에 저장된 불량 블록 위치에 따른 셋팅을 상기 보정 레지스터에 수행함으로써 불량 블록의 휘도값 보정이 이루어진다.

상기 제4과정은, 상기 메모리에 저장된 불량 블록 위치에 따른 해당 블록을 호출하여 다수의 서브 블록으로 분할하는 제4-1과정과, 첫번째 서브 블록의 휘도값을 검출하는 제4-2과정과, 이전 서브 블록과 현재 서브 블록간의 휘도값의 차이에 대한 비율을 서브 블록의 차이비율이라고 할 때, 현재 서브 블록의 차이비율을 산출하는 제4-3과정과, 현재 서브 블록의 차이비율이 미리 설정한 임계비율을 비교하여, 그 결과에 따라 현재 서브 블록의 휘도값에 대한 보정 여부를 결정하는 제4-4 과정과, 마지막 서브 블록에 도달할 때까지 다음 번째의 서브 블록의 휘도값을 검출하여 상기 제4-3과정, 제4-4과정을 반복 수행하는 제4-5과정을 포함한다.

상기 서브 블록의 차이비율은, {이전 서브 블록(sub_B_(x-1))과 현재 서브 블록(sub_B_x)간의 절대 차이값} ÷ {이전 서브 블록(sub_B_(x-1))과 현재 서브 블록(sub_B_x) 중에서의 최대 휘도값}에 의해 구해짐을 특징으로 한다.

본 발명의 실시 예는 기존의 리얼 타임에 의한 검출에 의존하지 않고서도 불량 픽셀에 대한 정확한 검출을 할 수 있는 효과가 있다. 또한, 검출된 불량 블록에 대해 차이비율을 이용한 보정을 함으로써, 정확한 보정이 이루어질 수 있는 효과가 있다.

이하, 본 발명의 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 하기에서 각 도면의 구성요소들에 참조부호를 부가함에 있어 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.

도 2는 본 발명의 실시 예에 따라 이미지센서의 불량 픽셀 검출 및 보정 과정을 도시한 플로차트이다.

우선, 보정 위한 다수의 피사체 환경을 구축하여, 상기 구축된 다수의 피사체 환경 하에서 각 이미지 프레임을 캡쳐하여 저장한다.

상기 피사체 환경은 이미지 센서의 불량 픽셀을 보정하고자 할 때 필요로 하는 다수의 이미지 프레임에 대한 피사체의 휘도 밝기이다.

예컨대, 이미지 센서에서 데드 픽셀이 발생될 경우 해당 데드 픽셀이 검은 색 계열의 흑점으로 나타난다면, 상기 피사체 환경은 피사체의 색상을 밝은 계열로 구축시킨 환경을 말한다.

따라서 피사체 환경을 달리하여 촬상한 후 다수의 이미지 프레임을 생성(S21)하여 저장(S22)하는데, 다수의 이미지 프레임이 3장이라고 할 때 도 3(a)에 도시된 바와 같이, 임계치 이상의 휘도값(예컨대, 200이상의 휘도값)을 갖는 화이트, 옐로우, 블루라는 각각의 밝은 계열의 피사체의 촬상을 통해 총 3장의 이미지 프레임이 생성되어 저장됨을 알 수 있다.

각 이미지 프레임내의 픽셀들을 스캔(S23)하여 공통된 위치에 불량 픽셀이 검출되는지를 판정(S24)한다.

예컨대, 데드 픽셀의 불량 픽셀은 흑색 휘도값을 갖는데, 이러한 흑새 휘도값이 각 이미지 프레임 내에서 동일한 픽셀 위치에 존재할 때, 해당 픽셀 위치를 불량 픽셀로 판정한다.

도 3(b)를 보면, 각 이미지 프레임 내에서 픽셀들을 스캔하여, 검은 흑점이 나타나는 픽셀 위치가 3장의 이미지 프레임에서 동일하게 나타날 경우 해당 픽셀 위치를 불량 픽셀(데드 픽셀)이라고 판정한다.

상기와 같이 각 이미지 프레임마다 공통된 위치의 불량 픽셀이 검출될 경우, 해당 블량 픽셀이 들어가 있는 해당 블록을 불량 블록 위치로서 메모리에 저 장(S25)한다.

즉, 프레임을 다수의 블록으로 분할하여, 상기 불량 픽셀을 포함하는 블록의 위치를 불량 블록의 위치로 하여 메모리에 저장하는 것이다.

상기와 같이 불량 블록 위치를 메모리에 저장시켜 놓은 후에, 촬영이 이루어질 때, 상기 메모리에 저장된 불량 블록 위치를 호출하여 해당 불량 블록에 대한 보정(S26)을 수행한다.

만약, 불량 블록이 다수일 경우에는 첫번째 불량 블록 위치를 호출한 후 보정을 수행한 후 마지막 불량 블록에 도달할 때까지 다음번째의 불량 블록 위치를 호출하여 차례로 보정을 수행한다.

상기 불량 블록에 대한 보정 과정(S26)을 도 4와 함께 자세히 설명하기로 한다.

도 4는 본 발명의 실시 예에 따른 불량 블록에 대한 보정 과정을 도시한 플로차트이다.

이하에서는, 시스템의 연산 부하를 줄이기 위하여 불량 블록을 서브 블록으로 분할하여 보정하는 예를 들어 설명하겠으나, 경우에 따라서는 불량 블록을 픽셀 단위로 분할하여 보정이 이루어질 수 있을 것이다.

촬영이 이루어질 때 메모리에 저장된 불량 블록 위치를 호출하여, 이미지 프레임 내에 위치한 불량 블록을 n*m개의 다수의 서브 블록으로 분할(S41)한다.

불량 블록을 분할하여 생성한 다수의 서브 블록 중에서 첫번째 서브 블록의 휘도값을 검출(S42)한다.

그 후, 첫번째 서브 블록에 대하여 이전 서브 블록과의 차이비율을 계산하여 산출(S43)한다.

참고로, 첫번째 서브 블록의 차이비율을 구하는 경우, 현재 서브 블록이라 함은 첫번째 서브 블록(sub_B₁)을 말하며, 이전 서브 블록(sub_B_(x-1))이라 함은 첫번째 서브 블록(sub_B₁)의 좌측에 위치한 다른 블록내의 서브 블록을 말한다.

상기 차이비율은 이전 서브 블록(sub_B_(x-1))과 현재 서브 블록(sub_B_x) 중 가장 큰 휘도값(최대 휘도값)과 이전 서브 블록(sub_B_(x-1))과 현재 서브 블록(sub_B_x)간의 절대 차이값의 비율을 나타낸 것으로서 하기 [식 1]에 기재하였다.

[식 1]

서브 블록(sub_B_x)의 차이비율

= {이전 서브 블록(sub_B_(x-1))과 현재 서브 블록(sub_B_x)간의 절대 차이값} ÷ {이전 서브 블록(sub_B_(x-1))과 현재 서브 블록(sub_B_x) 중에서의 최대 휘도값}

= │sub_B_(x-1)- sub_B_x)│ ÷ Max(sub_B_(x-1):sub_B_x)

그 후, 상기 현재 서브 블록의 차이 비율이 미리 설정한 임계비율을 초과하는지를 판정(S44)하고, 동시에, 이전 서브 블록의 차이비율에서 현재 서브 블록의 차이비율을 뺀 값이 임계비율을 초과하는지를 판정(S45)한다.

상기 S44 및 S45의 판정 결과 초과할 경우에는, 현재 서브 블록의 휘도값을 이전 서브 블록의 휘도값으로 치환하여 보정(S46)하며, 초과하지 않을 경우에는 그대로 둔다.

상기 보정이 이루어진 후에는, 다음 번째의 서브 블록의 휘도값을 검출(S48)한 후에, 해당 서브 블록 차이 비율을 상기 [식 1]에 의하여 산출(S43)한 후, 상기 과정들(S44,S45)을 반복하여 다음번째의 서브 블록의 휘도값을 보정(S46)한다.

이러한 서브 블록의 보정 과정들은 마지막 서브 블록인지를 판정(S47)하여 마지막 서브 블록에 도달할 때까지 반복 수행된다.

참고로, 각 서브 블록이 휘도값이 도 5(a)와 같이 가질 때, 상기 도 4의 과정들을 통한 각 서브 블록의 차이비율 산출 예 및 각 서브 블록의 보정 예를 설명한다. 도 5(b)는 도 4의 과정들을 통해 보정이 이루어지고 난 후의 각 서브 블록의 휘도값을 도시한 그림이다.

16개의 서브 블록으로 이루어지는 불량 블록이 각 서브 블록의 휘도값으로서 도 5(a)와 같이 가질 경우, 즉, 제1,2,3,4,5,8,9,12,13,14,15,16 서브 블록의 휘도값이 각각 200을 가지며, 제6,7,10,11의 서브 블록의 휘도값이 각각 50을 가진다고 가질 경우, 첫번째 서브 블록부터 다섯번째 서브 블록 모두는 동일한 200의 휘도값을 각각 가지며, 따라서 이전 서브 블록의 차이값이 없기 때문에 [식 1]에 대입할 시에 제1,2,3,4의 서브 블록 차이 비율은 '0'을 가지게 된다.

그러나, 50의 휘도값을 가지는 여섯번째 서브 블록(sub_B₆)의 경우는 200의 휘도값을 가지는 다섯번째 서브 블록(sub_B₅)과 150의 차이를 가지게 된다.

따라서 여섯번째 서브 블록(sub_B₆)의 차이 비율을 [식 1]에 대입하여 산출하면 다음과 같다.

여섯번째 서브 블록(sub_B₆)의 차이 비율

= │sub_B₅- sub_B₆)│ ÷ Max(sub_B₅:sub_B₆)

= │200- 50│ ÷ Max(200:50)

= 150 ÷ 200

= 0.75

결국, 도 5(b)에 도시한 바와 같이 여섯번째 서브 블록은 0.75의 차이비율을 가짐을 알 수 있다.

따라서 임계비율이 0.2라고 가정할 경우, 이러한 0.75의 차이비율은 임계비율 0.2보다 크며, 또한, 여섯번째 서브 블록의 차이비율 0.75에서 이전 서브 블록인 다섯번째 서브 블록의 차이비율 0을 뺀 값이 임계비율 0.2보다 크기 때문에, 현재 서브 블록인 여섯번째 서브 블록의 휘도값을 다섯번째 서브 블록의 휘도값인 200으로 치환 보정한다.

상기 여섯번째 서브 블록(sub_B₆)에 대한 보정이 이루어지고 나서는 다음번 째 서브 블록인 일곱번째 서브 블록(sub_B₇)에 대한 보정이 이루어진다. 다만, 여기서 이전 서브 블록인 여섯번째 서브 블록은 이미 보정이 이루어졌기 때문에 보정된 200의 휘도값을 가진다. 또한, 200으로 보정된 상태가 되기 때문에 여섯번째 서브 블록(sub_B₆) 차이 비율은 '0'을 가지게 된다.

상기와 같이 여섯번째 서브 블록이 200으로 보정되고, 여섯번째 서브 블록 차이비율이 '0'을 가지게 된 상태에서, 일곱번째 서브 블록(sub_B₇)의 차이 비율을 [식 1]에 대입하여 산출하면 다음과 같다.

일곱번째 서브 블록(sub_B₇)의 차이 비율

= │sub_B₆- sub_B₇)│ ÷ Max(sub_B₆:sub_B₇)

= │200- 50│ ÷ Max(200:50)

= 150 ÷ 200

= 0.75

결국, 도 5(b)에 도시한 바와 같이 일곱번째 서브 블록은 0.75의 차이비율을 가짐을 알 수 있다.

따라서 마찬가지로 이러한 0.75의 차이비율은 임계비율 0.2보다 크며, 또한, 일곱번째 서브 블록의 차이비율 0.75에서 이전 서브 블록인 여섯번째 서브 블록의 차이비율 0을 뺀 값이 임계비율 0.2보다 크기 때문에, 일곱번째 서브 블록의 휘도값을 여섯번째 서브 블록의 휘도값인 200으로 치환 보정한다.

마찬가지로, 상기와 같은 과정들을 거쳐 열번째, 열한번째의 서브 블록 역시 200으로 치환 보정될 수 있다.

한편, 상기 도 2 및 도 4의 과정 설명에서는 이미지 프레임 내의 불량 블록을 검출한 후, 다시 해당 불량 블록의 서브 블록들에 대하여 차이비율을 검출하여 그 차이에 따라 보정 여부가 결정되도록 하였다.

한편, 상기 살핀 바와 같이 도 2 및 도 4의 과정을 통해 이미지 프레임의 불량 픽셀을 검출하여, 해당 불량 픽셀을 포함하는 블록 위치를 메모리에 불량 블록 위치로서 저장한 후, 촬영이 이루어질 때 이미지 프레임내의 불량 블록들에 대한 위치 정보를 메모리로부터 가져와서, 해당 블록내의 서브 블록들에 대한 보정이 이루어진다.

그런데, 상기와 같은 도 2의 단계 S26의 보정은 도 4의 보정 알고리즘을 통해 이루어질수도 있지만, 이밖에도 도 2의 단계 S26의 본 발명의 다른 보정 실시 예로서, 이미지센서 내의 보정 레지스터에 직접 해당 불량 블록의 위치를 지정하여 셋팅함으로써, 촬영이 이루어질 때 해당 블록에 대한 보정이 자동적으로 이루어지도록 구현할 수 있다.

일반적으로 보정 처리가 자체적으로 가능한 이미지센서의 경우, 보정 레지스터를 가지고 있는데, 이러한 보정 레지스터의 셋팅값에 따라 특정 위치의 블록에 대한 보정이 이루어진다.

따라서 상기 과정들을 통해 검출한 불량 블록의 위치를 이미지센서 내의 보 정 레지스터에 셋팅하여 라이팅(writing)해둠으로써, 촬영이 이루어질 때 해당 지정된 위치의 블록에 대한 보정이 이루어진다.

상기 레지스터를 통한 보정은 보정 레지스터의 셋팅값에 의하여 보정 대상 블록이 정해진다면, 상기 도 4의 보정 알고리즘에 의하여 이루어질수도 있으며, 이밖에 다른 보정 알고리즘에 의하여 보정이 이루어질 수 있을 것이다.

상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 특허 범위는 상기 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위뿐 아니라 균등 범위에도 미침은 자명할 것이다.

도 1은 기존의 데드 픽셀 보상(DPA)에 의한 불량 픽셀 보정 예를 도시한 그림이다.

도 3은 본 발명의 실시 예에 따라 피사체의 촬상을 통해 총 3장의 이미지 프레임을 저장하여 불량 블록을 검출하는 모습을 도시한 그림이다.

도 5는 보정 전의 각 서브 블록 휘도값과 보정 후의 각 서브 블록의 휘도값을 도시한 그림이다.

Claims

각기 다른 밝기 환경을 가지는 피사체의 이미지 프레임을 다수개 생성하여 저장하는 제1과정;

상기 다수의 이미지 프레임내의 픽셀들을 스캔하는 제2과정;

상기 다수의 이미지 프레임마다 공통된 위치에서 불량 픽셀이 검출될 때, 해당 불량 픽셀을 가지는 블록의 위치를 불량 블록 위치로서 메모리에 저장하는 제3과정;

촬영이 이루어질 때 상기 메모리에 저장된 불량 블록 위치를 호출하여, 해당 불량 블록의 휘도값을 보정하는 제4과정

을 포함하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
제1항에 있어서, 상기 밝기 환경은, 임계치 이상의 휘도값을 가지는 밝은 밝기 환경임을 특징으로 하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
제2항에 있어서, 제3과정에서, 상기 다수의 이미지 프레임마다 공통된 픽셀 위치에서 흑색 휘도값이 검출될 때, 불량 픽셀이 검출되었다고 판단하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
제1항에 있어서, 상기 제4과정은, 촬영이 이루어질 때 이미지센서 내의 보정 제어를 수행하는 보정 레지스터가 있는 경우, 상기 메모리에 저장된 불량 블록 위치에 따른 셋팅을 상기 보정 레지스터에 수행함으로써 불량 블록의 휘도값 보정이 이루어지는 이미지센서의 불량 픽셀 검출 및 보정 방법.
제1항에 있어서, 상기 제4과정은,

상기 메모리에 저장된 불량 블록 위치에 따른 해당 블록을 호출하여 다수의 서브 블록으로 분할하는 제4-1과정;

첫번째 서브 블록의 휘도값을 검출하는 제4-2과정;

이전 서브 블록과 현재 서브 블록간의 휘도값의 차이에 대한 비율을 서브 블록의 차이비율이라고 할 때, 현재 서브 블록의 차이비율을 산출하는 제4-3과정;

현재 서브 블록의 차이비율이 미리 설정한 임계비율을 비교하여, 그 결과에 따라 현재 서브 블록의 휘도값에 대한 보정 여부를 결정하는 제4-4과정;

마지막 서브 블록에 도달할 때까지 다음 번째의 서브 블록의 휘도값을 검출하여 상기 제4-3과정, 제4-4과정을 반복 수행하는 제4-5과정

을 포함하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
제5항에 있어서, 상기 임계비율은 0.2임을 특징으로 하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
제5항에 있어서, 상기 서브 블록의 차이비율은, {이전 서브 블록(sub_B_(x-1)) 과 현재 서브 블록(sub_B_x)간의 절대 차이값} ÷ {이전 서브 블록(sub_B_(x-1))과 현재 서브 블록(sub_B_x) 중에서의 최대 휘도값}에 의해 구해짐을 특징으로 하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
제5항에 있어서, 상기 제4-4과정은, 현재 서브 블록의 차이비율이 미리 설정한 임계비율보다 크고, 현재 서브 블록의 차이비율과 이전 서브 블록의 차이값이 상기 임계비율보다 클 경우에는, 현재 서브 블록의 휘도값의 자리에 이전 서브 블록의 휘도값으로 치환 보정하는 이미지센서의 불량 픽셀 검출 및 보정 방법.