KR100906606B1 - 불량 화소 처리 방법 및 장치 - Google Patents

Abstract

불량 화소 처리 방법 및 장치가 개시된다. 본 발명의 바람직한 일 실시예에 따르면, 입력되는 영상 데이터를 구성 성분별 데이터로 분리하고, 분리된 성분별 데이터의 분포를 각각 연산하여 불량 화소를 검출하여, 검출된 불량 화소를 보정하는 불량 화소 처리 방법이 제공된다.

본 발명에 따르면, 마스크(mask) 내에 복수개의 불량 화소가 있거나, 마스크 내의 밝기 값에 따라 불량 화소가 나타나는 특성이 다른 경우에도 불량 화소의 보정이 가능하며, 에지 성분이 아닌 평탄한 영역에서 나타나는 노이즈도 보정할 수 있는 장점이 있다.

불량화소, 불량픽셀, 핫픽셀, 마스크, 보정, 중앙값

Description

불량 화소 처리 방법 및 장치{Method and apparatus for processing dead pixel}

도 1은 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치의 구성을 도시한 도면.

도 2는 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 입력될 수 있는 6ㅧ6 베이어 패턴 이미지의 예를 도시한 예시도.

도 3은 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 포함될 수 있는 성분 분리부에서의 성분 분리 과정을 예시하기 위한 예시도.

도 4는 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 포함될 수 있는 패턴 비교부의 구성을 도시한 도면.

도 5는 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 포함될 수 있는 패턴 비교부의 중앙값 검출부, 절대값 검출부1, 차이값 검출부 및 비교값 검출부의 동작을 예시하기 위한 예시도.

도 6은 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 포함될 수 있는 패턴 비교부의 절대값 검출부2의 동작을 예시하기 위한 예시도.

도 7은 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 포함될 수 있는 패턴 비교부의 절대값 검출부3의 동작을 예시하기 위한 예시도.

도 8은 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 방법이 수행되는 순서를 도시한 순서도.

도 9는 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 의해 보정된 영상과 보정 전의 영상을 비교하여 도시한 예시도.

본 발명은 불량 화소 처리 방법 및 장치에 관한 것으로서, 보다 상세하게는 이미지 센서 등에 사용될 수 있는 불량 화소 처리 방법 및 장치에 관한 것이다.

이미지 센서(image sensor)는 여러 개의 화소(畵素) 즉 픽셀(pixel)이 2차원 구조로 배열되어 있으며, 각 픽셀은 들어오는 빛의 밝기에 따라서 이를 전기적인 신호로 변환시키게 되는데 이러한 전기 신호를 측정하면 각 픽셀에 유입되는 빛의 양을 알 수 있고, 이를 이용하여 픽셀 단위의 이미지를 구성할 수 있다.

이와 같은 이미지 센서는 수십 만개에서 수백 만개의 픽셀로 이루어진 픽셀 어레이(pixel array)와 픽셀에서 감지한 아날로그 데이터를 디지털 데이터로 변환시키는 장치와 수백 내지 수천 개의 저장 장치 등으로 구성된다.

이러한 많은 수의 장치들로 인해 이미지 센서는 공정상의 오류를 가질 가능성이 존재하며, 이러한 이유로 인해 픽셀들 중에는 불량 화소 즉 데드 픽셀(dead pixel) 또는 핫 픽셀(hot pixel)이 발생된다.

이러한 불량 화소 중 데드 픽셀은 화소 자체가 불량 등의 이유로 인하여 발색 자체를 하지 못하는 경우이고, 핫 픽셀은 화소 자체가 발색하나 제대로 된 색을 발생하지 못하는 경우이며 이들 모두가 불량 화소에 해당되게 된다.

한편, 이와 같은 불량 화소는 이미지 센서의 등급과 가격을 결정짓는 중요한 요소가 된다.

불량 화소에 의해 생성된 픽셀 데이터는 인접 픽셀에 의해 생성된 픽셀 데이터보다 지나치게 크거나 또는 반대로 지나치게 작은 특징이 있다.

종래의 불량 화소 처리 방식은 주로 기준 픽셀 값과 비교하여 그 차이가 일정 범위를 넘는 경우에는 이를 불량 화소로 정의하고 이를 보정하는 것이었다.

그러나 이와 같은 종래의 방식은 하드웨어 자원을 많이 사용하고, 조밀한 영상이나 밝기의 차이가 심한 영상의 경우에는 인접 픽셀간 차이가 심하게 발생하는 문제점이 있다.

따라서, 실제로 불량 화소가 아닌 경우에도 불량 화소로 취급되어 보정이 이루어지게 되어, 복원된 영상은 실제 영상에 비해 많은 왜곡이 발생하는 문제점이 있다.

또한, 마스크(mask) 내에 오직 하나의 불량 화소가 있는 경우에만 보정 가능 하였다. 그러나 이미지 센서 자체의 특성이 나쁘거나 극 저조도 상황에서는 마스크 내에서 하나 이상의 불량 화소가 발생할 가능성이 크며, 광량이 충분한 일반적인 조도에서도 마스크 내의 밝기 값에 따라 불량 화소가 나타나는 특성이 다르다.

또한, 에지 성분이 아닌 평탄한 영역에서 노이즈가 나타날 경우 사람 눈에 더욱 거슬리기 때문에 이러한 특성을 고려하여 노이즈를 보정할 수 있는 것이 요구된다.

상기한 바와 같은 종래의 문제점을 해결하기 위해, 본 발명은 하드웨어 자원을 많이 사용하지 않고, 조밀한 영상이나 밝기의 차이가 심한 영상의 경우에도 인접 픽셀간 차이가 심하게 발생하지 않는 불량 화소의 처리 방법 및 장치를 제안하는 것이다.

또한, 복원된 영상이 실제 영상에 비해 왜곡 현상이 발생하지 않도록 하는 불량 화소 처리 방법 및 장치를 제안하는 것이다.

그리고 마스크(mask) 내에 복수개의 불량 화소가 있는 경우에도 보정이 가능하고, 마스크 내의 밝기 값에 따라 불량 화소가 나타나는 특성이 다른 경우에도 불량 화소의 보정이 가능한 불량 화소 처리 방법 및 장치를 제안하는 것이다.

또한, 에지 성분이 아닌 평탄한 영역에서 나타나는 노이즈도 보정할 수 있는 불량 화소 처리 방법 및 장치를 제안하는 것이다.

본 발명의 또 다른 목적들은 이하의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.

상기한 바와 같은 목적을 달성하기 위해, 본 발명의 일 측면에 따르면 불량 화소 처리 방법이 제공된다.

본 발명의 바람직한 일 실시예에 따르면, 입력되는 영상 데이터를 구성 성분별 데이터로 분리하는 단계(a); 상기 분리된 성분별 데이터의 분포를 각각 연산하여 불량 화소를 검출하는 단계(b); 및 상기 검출된 불량 화소를 보정하는 단계(c)를 포함하는 것을 특징으로 하는 불량 화소 처리 방법이 제공된다.

상기 입력되는 영상 데이터는 6ㅧ6 베이어 패턴(bayer pattern)의 이미지 데이터이고, 상기 단계(a)는 상기 입력되는 영상 데이터를 R(red), Gr(GR라인의 G; green), Gb(GB라인의 G) 및 B(blue)의 성분으로 3ㅧ3 구조의 성분별 데이터로 분리하여 수행될 수 있다.

상기 단계(b)에서 상기 분리된 성분별 데이터의 분포를 연산하는 것은 상기 입력되는 성분별 데이터의 중앙값(median)을 각각 연산하는 단계; 상기 중앙값과 상기 성분별 데이터의 구성 원소들과의 차이값의 절대값인 절대값을 연산하는 단계; 상기 성분별 데이터에 따라 연산된 절대값들과 미리 설정된 하나의 성분 데이터에 대한 절대값의 차이값들을 연산하는 단계; 및 상기 연산된 차이값들을 모두 합산하는 단계를 포함하여 수행될 수 있다.

상기 단계(b)에서 상기 불량 화소를 검출하는 것은 상기 연산된 데이터의 분포를 미리 설정된 파라미터(parameter)와 비교하여 상기 비교된 값을 이용하여 플래그(flag)를 생성하여 수행될 수 있으며, 상기 미리 설정된 파라미터는 데드 픽셀 임계값(dead threshold), 데드 픽셀의 수(dead number), 핫 픽셀 임계값(hot threshold), 핫 픽셀의 수(hot number), 제로 필터(zero filter)의 사용 유무, 자동 DPC(Defect Pixel Compensation)의 사용 유무, 자동 DPC의 임계값 중 적어도 하나일 수 있다.

상기 단계(c)는 상기 검출된 불량 화소에 대하여 상기 분리된 성분별 데이터의 중앙값(median) 또는 중심(center) 화소의 값을 출력할 수 있다.

본 발명의 다른 측면에 의하면, 불량 화소 처리 장치가 제공된다.

본 발명의 바람직한 일 실시예에 따르면, 입력되는 영상 데이터를 구성 성분별 데이터로 분리하는 성분 분리부; 상기 분리된 성분별 데이터의 패턴을 연산하여 불량 화소를 검출하는 패턴 비교부; 및 상기 검출된 불량 화소를 보정하는 보정부를 포함하는 것을 특징으로 하는 불량 화소 처리 장치가 제공된다.

상기 입력되는 영상 데이터는 6ㅧ6 베이어 패턴(bayer pattern)의 이미지 데이터이고, 상기 성분 분리부는 상기 입력되는 영상 데이터를 R(red), Gr(GR라인의 G; green), Gb(GB라인의 G) 및 B(blue)의 성분으로 3ㅧ3 구조의 성분별 데이터로 분리할 수 있다.

상기 패턴 비교부는 상기 입력되는 성분별 데이터의 중앙값(median)을 각각 연산하는 중앙값 검출부; 상기 중앙값과 상기 성분별 데이터의 구성 원소들과의 차이값인의 절대값인 절대값1을 연산하는 절대값 검출부1; 상기 성분별 데이터에 따라 연산된 절대값1들과 미리 설정된 하나의 성분 데이터에 대한 절대값1의 차이값들을 연산하는 차이값 검출부; 및 상기 연산된 차이값들을 모두 합산하는 비교값 검출부; 상기 연산된 비교값과 미리 설정된 파라미터(parameter)와 비교하여 불량 픽셀 및 핫 픽셀의 존재를 알리는 외부 플래그 생성부; 상기 성분별 데이터의 중심 화소가 포함된 성분 데이터의 각 구성 원소에서 중심 화소값을 차이값의 절대값인 절대값2를 연산하는 절대값 검출부2; 조도 분류를 위한 임계값과 상기 성분별 데이터의 상기 중앙값을 이용하여 내부 플래그를 위한 임계값을 설정하고, 상기 설정된 임계값을 이용하여 내부 플래그를 생성하는 내부 플래그 생성부; 상기 성분별 데이터의 중심 화소가 포함된 성분 데이터의 각 구성 원소의 최대값과 최소값의 차이의 절대값인 절대값3을 연산하는 절대값 검출부3; 및 조도의 평탄도(smooth)를 위한 임계값과 상기 절대값3을 비교하여 평탄 플래그를 생성하는 평탄 플래그 생성부를 포함할 수 있다.

또한, 상기 보정부는 상기 검출된 불량 화소에 대하여 상기 분리된 성분별 데이터의 중앙값(median) 또는 중심(center) 화소의 값을 출력하여 상기 불량 화소를 보정할 수 있다.

상기 미리 설정된 파라미터는 데드 픽셀 임계값(dead threshold), 데드 픽셀의 수(dead number), 핫 픽셀 임계값(hot threshold), 핫 픽셀의 수(hot number), 제로 필터(zero filter)의 사용 유무, 자동 DPC(Defect Pixel Compensation)의 사용 유무, 자동 DPC의 임계값 중 적어도 하나일 수 있다.

본 발명의 다른 측면에 의하면, 불량 화소 처리 방법을 구현하기 위한 프로그램을 기록한 기록매체가 제공된다.

본 발명의 바람직한 일 실시예에 따르면, 불량 화소 처리 방법이 구현되도록, 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록 매체에 있어서, 입력되는 영상 데이터를 구성 성분별 데이터로 분리하는 단계(a); 상기 분리된 성분별 데이터의 패턴을 연산하여 불량 화소를 검출하는 단계(b); 및 상기 검출된 불량 화소를 보정하는 단계(c)를 포함하는 것을 특징으로 하는 불량 화소 처리 방법을 구현하기 위한 프로그램을 기록한 기록매체가 제공된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

먼저 도 1을 참조하여 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치의 구성에 대해 살펴 보기로 한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치의 구성을 도시한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치는 성분 분리부(110), 패턴 비교부(120) 및 보정부(130)를 포함할 수 있다.

성분 분리부(110)는 예를 들면, 도 2와 도 3에 도시시된 바와 같이 예를 들면, 입력되는 6ㅧ6 베이어 패턴(bayer pattern)의 이미지 데이터를 3ㅧ3 구조의 4개의 성분으로 분리한다.

도 2는 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 입력될 수 있는 6ㅧ6 베이어 패턴 이미지의 예를 도시한 예시도이고, 도 3은 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 포함될 수 있는 성분 분리부(110)에서의 성분 분리 과정을 예시하기 위한 예시도이다.

도 1에 도시된 바와 같이, 성분 분리부(110)는 6ㅧ6 베이어 패턴의 이미지 데이터에서 동일한 성분 즉, R(red), Gr(GR라인의 G; green), Gb(GB라인의 G) 및 B(blue)의 성분을 분리하여 도 3에 예시된 바와 같이 각각의 동일한 성분으로만 구성된 3ㅧ3 구조의 데이터로 분리한다.

패턴 비교부(120)는 각 성분 데이터의 패턴을 구한 뒤, 중심 화소가 포함된 성분의 패턴과 다른 성분들의 패턴을 비교하여 중심 화소가 포함된 성분을 기준으로 한 측정값을 연산하고, 이를 이용하여 불량 화소의 존재 여부를 알리는 외부 플래그(external flag)를 출력한다.

또한, 중심 화소가 포함된 성분에서 중심 화소와 주변 화소값들을 비교하여 중심 화소를 기준으로 한 측정값을 연산하고, 이를 이용하여 내부 플래그(internal_flag)를 출력한다.

그리고 중심 화소가 포함된 성분에서 최대값과 최소값의 차이값을 연산하고, 이를 이용하여 평탄 플래그(smooth_flag)를 출력한다.

이러한 패턴 비교부(120)의 구성과 기능은 이하, 도 4 내지 도 7의 설명에서 보다 상세히 설명하기로 한다.

보정부(130)는 패턴 비교부(120)의 외부 플래그, 내부 플래그 및 평탄 플래 그를 이용하여 불량 화소에 대하여 보정을 수행하여 데이터를 출력한다.

한편, 이러한 패턴의 분석 및 보정 수행을 위한 외부 플래그(external flag), 내부 플래그(internal flag) 및 평탄 플래그(smooth flag)를 출력하는 패턴 비교부(120)의 구성에 대해 도 4 내지 도 7을 참조하여 살펴보기로 한다.

먼저 도 4는 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 포함될 수 있는 패턴 비교부(120)의 구성을 도시한 도면이다.

도 4에 도시된 바와 같이, 본 발명의 패턴 비교부(120)는 중앙값 검출부(121), 절대값 검출부1(122), 차이값 검출부(123), 비교값 검출부(124), 외부 플래그 생성부(125), 절대값 검출부2(126), 내부 플래그 생성부(127), 절대값 검출부3(128) 및 평탄 플래그 생성부(129)를 포함할 수 있다.

도 4에서는 입력(Gr, Gb, R, B) 신호를 제외하고는 신호의 흐름을 하나의 선으로 처리하고, 입력 신호 중 B 신호에 대해서만 처리 과정을 도시하였으나, 나머지 다른 입력 신호(Gr, Gb, R)에 대해서도 동일한 처리 과정이 수행될 수 있음은 자명하다.

이하 B 신호를 중심으로 본 발명의 패턴 비교부(120)의 구성과 동작에 대해 설명하기로 한다.

중앙값 검출부(121)는 입력되는 3ㅧ3 구조의 Gr, R, B 및 Gb 데이터의 중앙값(median)을 각각 검출한다.

예를 들어, Gr, R, B 및 Gb 데이터의 중앙값을 각각 M1, M2, M3 및 M4라 하 면, 절대값 검출부1(122)는 Gr 데이터의 경우 각 구성 원소(Gri, i=1~9)에서 중앙값 M1을 뺀 값의 절대값 Abs_Gri를 검출한다.

R, B 및 Gb 데이터에 대해서도 마찬가지로 각 구성 원소(Ri, Bi 및 Gbi, i=1~9)에서 각각 중앙값 M2, M3 및 M4를 뺀 값의 절대값 Abs_Ri, Abs_Bi 및 Abs_Gbi를 검출한다. Abs_Gri, Abs_Ri, Abs_Bi 및 Abs_Gbi를 식으로 나타내면 [식 1]과 같이 나타낼 수 있다.

[식 1]

차이값 검출부(123)는 중심 화소 B5를 가지는 B 데이터의 절대값 검출부1(122)의 출력인 Abs_Bi에서 나머지 데이터의 절대값 검출부1(122)의 출력인 Abs_Gri, Abs_Ri 및 Abs_Gbi를 각각 뺀 값의 절대값인 Diff1_i, Diff2_i 및 Diff3_i를 검출한다. Diff1_i, Diff2_i 및 Diff3_i를 식으로 나타내면 [식 2]와 같이 나타낼 수 있다.

[식 2]

비교값 검출부(124)는 외부 플래그 생성을 위하여, 위 Diff1_i, Diff2_i 및 Diff3_i를 합한 값 COMP_i를 생성한다. COMP_i를 식으로 나타내면 [식 3]과 같이 나타낼 수 있다.

[식 3]

이러한 중앙값 검출부(121), 절대값 검출부1(122), 차이값 검출부(123) 및 비교값 검출부(124)의 동작의 일 실시예를 도면으로 도시하면 도 5와 같이 도시할 수 있다.

도 5는 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 포함될 수 있는 패턴 비교부(120)의 중앙값 검출부(121), 절대값 검출부1(122), 차이값 검출부(123) 및 비교값 검출부(124)의 동작을 예시하기 위한 예시도이다.

도 5에서 외부 플래그 생성부(125)는 비교값 검출부(124)에서 검출된 비교값과 입력되는 데드 픽셀 임계값(dead_threshold), 데드 픽셀의 수(dead_number), 핫 픽셀 임계값(hot_threshold), 핫 픽셀의 수(hot_number), 제로 필터의 사용 유무(zero_filter_en), 자동 DPC(Defect Pixel Compensation)의 사용 유무(auto_dpc_en), 자동 DPC의 임계값(auto_thr1, auto_thr2 및 auto_thr3)을 각각 비교하여, 데드 픽셀 및 핫 픽셀의 존재 여부 즉 불량 화소의 존재 여부에 대한 플래그(flag)를 생성한다.

이때, 데드 픽셀 임계값(dead_threshold), 데드 픽셀의 수(dead_number), 핫 픽셀 임계값(hot_threshold), 핫 픽셀의 수(hot_number), 제로 필터의 사용 유무(zero_filter_en), 자동 DPC(Defect Pixel Compensation)의 사용 유무(auto_dpc_en), 자동 DPC의 임계값(auto_thr1, auto_thr2 및 auto_thr3)은 조정 가능한 값이다.

한편, 이러한 다양한 조정 가능한 임계값의 이용으로 불량 화소가 발생되는 경우 불량 화소의 존재 여부를 인식하여 해당 불량 화소에 대한 보정이 가능하게 된다.

특히 데드 픽셀 개수 정보(dead_number)와 핫 픽셀의 개수 정보(hot_number)를 이용함으로써 복수 개의 불량 화소가 존재하는 경우 이를 한 번에 보정할 수 있게 된다.

또한, 제로 필터의 사용 유무(zero_filter_en), 자동 DPC(Defect Pixel Compensation)의 사용 유무(auto_dpc_en) 및 자동 DPC의 임계값(auto_thr1, auto_thr2 및 auto_thr3)을 각각 더 이용함으로써 마스크 내의 밝기 값에 따라 불량 화소가 나타나는 특성이 다른 경우에도 불량 화소의 보정할 수 있게 된다.

외부 플래그 생성부(125)가 데드 픽셀과 핫 픽셀에 대한 플래그를 생성하는 것을 예를 들어 살펴본다.

먼저 데드 픽셀에 대한 플래그의 생성의 경우에 대해 예를 통해 살펴보면, sum과 각 원소의 센터값에 대한 플래그(center_flag_d)의 초기값을 0으로 설정하고, 각 원소에 대한 비교값과 데드 픽셀 임계값을 각각 비교하여 데드 픽셀 임계값보다 큰 비교값이 있을 때는 sum을 1씩 증가시킨다.

그리고 이때 i가 5인 경우(즉 중심 화소에 대한 비교값이 데드 픽셀 임계값보다 큰 경우)에만 센터값에 대한 플래그(center_flag_d)를 1로 설정한다.

그리고 계산된 sum이 데드 픽셀의 수(dead_number)보다 작거나 같고 0보다는 큰경우 default_flag_d를 1로 설정하고, 그 외의 경우에는 default_flag_d를 0으로 설정한다.

그리고 제로 필터의 사용 유무(zero_filter_en)이 1인 경우 즉 제로 필터를 사용하는 경우이고 sum이 0인 경우 데드 픽셀이 있는지에 대한 플래그(dead_flag_d)를 1로 설정한다.

또한, default_flag_d가 1이고 센터값에 대한 플래그(center_flag_d)가 1인 경우에도 데드 픽셀이 있는 지에 대한 플래그(dead_flag)를 1로 설정하고 그 외의 경우에는 플래그(dead_flag)를 0으로 설정할 수 있다.

다음으로 핫 픽셀에 대한 플래그의 생성의 경우에 대해 예를 통해 살펴보면, sum과 각 원소의 센터값에 대한 플래그(center_flag_h)의 초기값을 0으로 설정하고, 각 원소에 대한 비교값과 핫 픽셀 임계값을 각각 비교하여 데드 픽셀 임계값보다 큰 비교값이 있을 때는 sum을 1씩 증가시킨다.

그리고 이때 i가 5인 경우(즉 중심 화소에 대한 비교값이 데드 픽셀 임계값보다 큰 경우)에만 센터값에 대한 플래그(center_flag_h)를 1로 설정한다.

그리고 자동 DPC(Defect Pixel Compensation)의 사용 유무(auto_dpc_en)에 따라 즉 자동 DPC를 사용하는 경우(auto_dpc_en이 1인 경우), 자동 DPC의 임계값(auto_thr1, auto_thr2 및 auto_thr3) 각각을 각 성분의 중앙값의 산술평균(Y_m) 과 비교하여 핫 픽셀의 수(hot_number)를 변경한다.

자동 DPC(Defect Pixel Compensation)를 사용하지 않는 경우 미리 설정된 핫 픽셀의 수(hot_number)를 그대로 이용한다.

그리고 sum이 핫 픽셀의 수(hot_number)보다 작거나 같고 sum이 0보다 크면 default_flag_h를 1로 설정하고, 그 외의 경우에는 default_flag_h를 0으로 설정한다.

그리고 제로 필터의 사용 유무(zero_filter_en)이 1인 경우 즉 제로 필터를 사용하는 경우이고 sum이 0인 경우 핫 픽셀이 있는지에 대한 플래그(hot_flag)를 1로 설정한다.

또한, default_flag_h가 1이고 센터값에 대한 플래그(center_flag_h)가 1인 경우에도 핫 픽셀이 있는 지에 대한 플래그(dead_flag)를 1로 설정하고 그 외의 경우에는 플래그(dead_flag)를 0으로 설정할 수 있다.

이후 외부 플래그 생성부(125)는 dead_flag 또는 hot_flag 중 적어도 하나가 1인 경우에는 외부 플래그(external_flag)을 1로 설정한다.

그 외의 경우(즉, dead_flag 및 hot_flag이 모두 0인 경우)에는 외부 플래그를 0으로 설정하여 보정부(130)로 출력할 수 있다.

한편, 절대값 검출부2(126)는 중심 화소 B5를 포함하는 B 데이터의 각 원소(B5는 제외)에서 중심 화소값을 뺀 값의 절대값인 Abs_Ci를 검출한다.

Abs_Ci를 식으로 나타내면 [식 4]와 같이 나타낼 수 있다.

[식 4]

이러한 절대값 검출부2(126)의 동작을 도면으로 도시하면 도 6과 같이 도시할 수 있다.

도 6은 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 포함될 수 있는 패턴 비교부(120)의 절대값 검출부2(126)의 동작을 예시하기 위한 예시도이다.

한편, 절대값 검출부2(126)와 연결되는 내부 플래그 생성부(127)는 인가되는 조도 분류를 위한 임계값(Y_threshold)과 3ㅧ3 데이터의 중앙값인 M1~M4를 이용하여 내부 플래그를 위한 임계값 thr을 설정하고, 이에 의해 내부 플래그를 생성한다.

조도 분류를 위한 임계값(Y_threshold)는 조정 가능한 임계값이다.

각 성분의 중앙값의 산술평균을 Y_m(즉,

)으로 정의했을 때, 내부 플래그 생성부(127)는 Y_m이 Y_threshold보다 작은 경우에는 thr을 0으로 설정하고, 그렇지 않은 경우에는 thr을 diff_threshold 즉, Y_threshold와 Y_m의 차이 값으로 할 수 있다.

다만, 이에 한정되는 것은 아니며, 시스템에 따라 그 값이 달라질 수 있을 것이다. 이렇게 설정한 thr을 절대값 검출부2(126)가 생성한 각 구성 원소에 대한 절대값과 비교하여, 8개의 값 중 어느 하나라도 thr보다 작은 경우에는 내부 플래 그(internal_flag)를 0으로 설정하고, 그렇지 않은 경우(즉, 모든 원소에 대한 절대값이 thr보다 큰 경우)에는 내부 플래그를 1로 설정하여 보정부(130)에 전달한다.

한편, 절대값 검출부3(128)은 중심 화소 B5를 포함하는 B 데이터의 각 원소의 최대값과 최소값의 차이의 절대값(Diff_abs3)을 검출한다.

Diff_abs3를 식으로 나타내면 [식 5]와 같이 나타낼 수 있다.

[식 5]

이러한 절대값 검출부3(128)의 동작을 도면으로 도시하면 도 7과 같이 도시할 수 있다.

도 7은 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 포함될 수 있는 패턴 비교부의 절대값 검출부3(128)의 동작을 예시하기 위한 예시도이다.

한편, 절대값 검출부3(128)와 연결되는 평탄 플래그 생성부(129)는 인가되는 조도의 평탄도(smooth)를 위한 임계값(smooth_threshold)과 Diff_abs3을 비교하여 이에 의해 평탄 플래그(smooth_flag)를 결정한다.

인가되는 조도의 평탄도(smooth)를 위한 임계값(smooth_threshold)는 조정 가능한 임계값이다.

smooth_threshold와 Diff_abs3를 비교하여 smooth_threshold가 Diff_abs3보다 큰 경우에는 평탄 플래그 생성부(129)는 평탄 플래그(smooth_flag)를 1로 설정하고, 그렇지 않은 경우에는 평탄 플래그를 0으로 설정하여 보정부(130)에 전달한다.

보정부(130)는 센터값(예를 들면, B 데이터 성분에서 B5)에 대하여 보정을 수행한다. 이러한 보정부(130)의 보정은 먼저 보정 여부를 결정하는 중앙값 플래그(median_flag)에 의해 결정될 수 있다.

예를 들면, median_flag가 1이면 센터값에 대한 보정을 수행하는 것이고, 0이면 센터값에 대한 보정을 수행하지 않는 것으로 설정할 수 있다.

한편, 센터값에 대한 보정은 먼저 median_flag와 전술한 평탄 플래그(smooth_flag) 값 중 적어도 하나가 1이면 B 데이터의 센터값(B5)을 B 데이터들 중의 중앙값(median)으로 할 수 있다.

또한, 외부 플래그와 내부 플래그가 모두 1인 경우에도 B 데이터의 센터값(B5)을 B 데이터 중 그 중앙값(median)으로 할 수 있다.

반면, 그 외의 경우에는 B 데이터의 센터값(B5)을 그대로 출력한다.

이상에서는 중심 화소를 B5로 상정하고 불량 화소를 보정하는 방법에 대하여 설명하였으나, 중심 화소가 다른 성분(Gr, Gb 및 R)인 경우에도 본 발명이 적용될 수 있음은 자명하다.

이상의 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치의 구성을 참조하여 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 방법에 대해 살펴보기로 한다.

도 8은 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 방법이 수행되는 순서를 도시한 순서도이다.

도 8에 도시된 바와 같이, 본 발명에 의한 불량 화소 처리 방법은 먼저 영상 데이터를 성분별 데이터로 분리한다(S800).

이러한 성분별 데이터의 분리는 전술한 바와 같이, 예를 들면, 6ㅧ6 베이어 패턴의 이미지 데이터에서 동일한 성분 즉, R(red), Gr(GR라인의 G; green), Gb(GB라인의 G) 및 B(blue)의 성분을 분리하여 각각의 동일한 성분으로만 구성된 3ㅧ3 구조의 데이터로 분리할 수 있다.

그런 다음 이러한 분리된 각 성분별 데이터에 대하여 화소 분포를 연산한다(S802).

화소 분포의 연산은 전술한 바와 같이 분리된 데이터의 중앙값(median)을 검출하고, 검출된 중앙값을 이용하여 센터값을 기준으로 한 측정값을 연산하여 수행될 수 있다.

연산된 화소 분포값을 이용하여 외부 플래그(external_flag), 내부 플래그(internal_flag) 및 평탄 플래그(smooth_flag)를 생성한다(S804).

한편, 외부 플래그의 생성은 전술한 바와 같이 입력되는 데드 픽셀 임계값(dead_threshold), 데드 픽셀의 수(dead_number), 핫 픽셀 임계 값(hot_threshold), 핫 픽셀의 수(hot_number), 제로 필터의 사용 유무(zero_filter_en), 자동 DPC(Defect Pixel Compensation)의 사용 유무(auto_dpc_en), 자동 DPC의 임계값(auto_thr1, auto_thr2 및 auto_thr3)을 각각 비교하여, 데드 픽셀 및 핫 픽셀의 존재 여부 즉 불량 화소의 존재 여부에 대한 플래그(flag)를 생성할 수 있다.

이러한 각각의 값들은 다양한 조정 가능한 파라미터(parameter)의 이용으로 불량 화소가 발생되는 경우 불량 화소의 존재 여부를 인식하여 해당 불량 화소에 대한 보정이 가능하게 된다. 특히 데드 픽셀과 핫 픽셀의 개수 정보를 이용함으로써 복수 개의 불량 화소가 존재하는 경우 이를 한 번에 보정할 수 있게 된다.

또한, 제로 필터의 사용 유무(zero_filter_en), 자동 DPC(Defect Pixel Compensation)의 사용 유무(auto_dpc_en) 및 자동 DPC의 임계값(auto_thr1, auto_thr2 및 auto_thr3)을 각각 더 이용함으로써 마스크 내의 밝기 값에 따라 불량 화소가 나타나는 특성이 다른 경우에도 불량 화소의 보정할 수 있게 된다.

한편, 외부 플래그, 내부 플래그 및 평탄 플래그의 생성은 다양한 방법에 의해 생성 가능하며, 그 생성 방법의 예시는 전술하였으므로 이하에서는 그 설명을 생략하기로 한다.

이러한 단계 804에서 생성된 플래그를 이용하여 해당 픽셀에 대하여 보정을 수행한다(S806).

해당 픽셀에 대한 보정은 생성된 플래그에 따라 불량 화소에 대해 해당 성분 데이터의 중앙값 또는 중심 화소 데이터 값으로 보정함으로써 수행될 수 있다.

한편, 이러한 불량 화소 보정 방법은 컴퓨터와 같은 디지털 처리 장치에서 판독될 수 있는 프로그램의 형태로 구현되어 수행될 수 있음은 자명하다.

이러한 본 발명에 의한 불량 화소 처리 장치 및 방법에 의한 영상과 보정 전의 영상을 도시한 도 9를 참조하여 살펴본다.

도 9는 본 발명의 바람직한 일 실시예에 따른 불량 화소 처리 장치에 의해 보정된 영상과 보정 전의 영상을 비교하여 도시한 예시도이다.

먼저 도 9에서 (a)부분은 본 발명에 의한 불량 화소 처리 장치 및 방법에 입력되는 원래의 영상을 나타낸 예시하여 도시한 것이고, (b)부분은 불량 화소를 검출하여 보정을 수행한 것을 나타낸 예시하여 도시한 것이다.

도 9의 (a)에서 영상의 일부에서 점처럼 표시되는 불량픽셀 및 핫 픽셀이, 도 9의 (b)에서는 검출되어 보정되었음을 알 수 있다.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

이상에서 설명한 바와 같이, 본 발명에 의한 불량 화소 처리 방법 및 장치에 의하면, 하드웨어 자원을 많이 사용하지 않고, 조밀한 영상이나 밝기의 차이가 심한 영상의 경우에도 인접 픽셀간 차이가 심하게 발생하지 않는 장점이 있다.

또한, 복원된 영상이 실제 영상에 비해 왜곡 현상이 발생하지 않는 장점이 있다.

그리고 마스크(mask) 내에 복수개의 불량 화소가 있는 경우에도 보정이 가능하고, 마스크 내의 밝기 값에 따라 불량 화소가 나타나는 특성이 다른 경우에도 불량 화소의 보정이 가능한 장점이 있다.

또한, 에지 성분이 아닌 평탄한 영역에서 나타나는 노이즈도 보정할 수 있는 장점이 있다.

Claims (13)

1. (a) 입력되는 영상 데이터를 성분별 데이터로 분리하는 단계;

   (b) 상기 분리된 성분별 데이터의 화소 분포를 연산하는 단계;

   (c) 상기 연산된 화소 분포값을 이용하여 불량 화소를 검출하여 알리는 외부 플래그(external_flag), 내부 플래그(internal_flag) 및 평탄 플래그(smooth_flag)를 생성하여 불량 화소를 검출하는 단계; 및

   (d) 상기 외부 플래그, 상기 내부 플래그, 상기 평탄 플래그를 이용하여 불량 화소를 보정하는 단계를 포함하되,

   상기 단계(c)에서, 상기 평탄 플래그는 조도의 평탄도(smooth)를 위한 임계값과 상기 연산된 화소 분포값을 이용하여 생성하며,

   상기 평탄 플래그를 생성하는 것은 에지 성분이 아닌 평탄한 영역에서 나타나는 불량 화소를 검출하는 것을 특징으로 하는 불량 화소 처리 방법.
2. 제1항에 있어서,

   상기 입력되는 영상 데이터는 6×6 베이어 패턴(bayer pattern)의 이미지 데이터이고,

   상기 단계(a)는 상기 입력되는 영상 데이터를 R(red), Gr(GR라인의 G; green), Gb(GB라인의 G) 및 B(blue)의 성분으로 3×3 구조의 성분별 데이터로 분리하여 수행되는 것을 특징으로 하는 불량 화소 처리 방법.
3. 제1항에 있어서,

   상기 단계(b)는,

   상기 입력되는 성분별 데이터의 중앙값(median)을 각각 연산하는 단계;

   상기 중앙값과 상기 성분별 데이터의 구성 원소들과의 차이값의 절대값인 절대값을 연산하는 단계;

   상기 성분별 데이터에 따라 연산된 절대값들과 미리 설정된 하나의 성분 데이터에 대한 절대값의 차이값들을 연산하는 단계; 및

   상기 연산된 차이값들을 모두 합산하는 단계를 포함하여 수행되는 것을 특징으로 하는 불량 화소 처리 방법.
4. 제1항에 있어서,

   상기 (c)단계는,

   상기 연산된 화소 분포값과 미리 설정된 파라미터를 비교하여 외부 플래그, 내부 플래그 및 평탄 플래그를 생성하되,

   상기 미리 설정된 파라미터는,

   데드 픽셀 임계값(dead threshold), 데드 픽셀의 수(dead number), 핫 픽셀 임계값(hot threshold), 핫 픽셀의 수(hot number), 제로 필터(zero filter)의 사용 유무, 자동 DPC(Defect Pixel Compensation)의 사용 유무, 자동 DPC의 임계값 중 적어도 하나인 것을 특징으로 하는 불량 화소 처리 방법.
5. 삭제
6. 제1항에 있어서,

   상기 단계(d)는,

   상기 불량 화소에 대하여 상기 분리된 성분별 데이터의 중앙값(median) 또는 중심(center) 화소의 값을 출력하는 것을 특징으로 하는 불량 화소 처리 방법.
7. 영상 데이터를 성분별 데이터로 분리하는 성분 분리부;

   상기 분리된 성분별 데이터의 화소 분포를 연산하고, 상기 연산된 화소 분포값을 이용하여 불량 화소를 검출하여 알리는 외부 플래그(external_flag), 내부 플래그(internal_flag) 및 평탄 플래그(smooth_flag)를 생성하는 패턴 비교부; 및

   상기 외부 플래그, 상기 내부 플래그, 상기 평탄 플래그를 이용하여 불량 화소를 보정하는 보정부를 포함하되,

   상기 패턴 비교부는 상기 평탄 플래그는 조도의 평탄도(smooth)를 위한 임계값과 상기 연산된 화소 분포값을 이용하여 생성하며,

   상기 평탄 플래그를 생성하는 것은 에지 성분이 아닌 평탄한 영역에서 나타나는 불량 화소를 검출하는 것을 특징으로 하는 불량 화소 처리 장치.
8. 제7항에 있어서,

   상기 입력되는 영상 데이터는 6×6 베이어 패턴(bayer pattern)의 이미지 데이터이고,

   상기 성분 분리부는 상기 입력되는 영상 데이터를 R(red), Gr(GR라인의 G; green), Gb(GB라인의 G) 및 B(blue)의 성분으로 3×3 구조의 성분별 데이터로 분리하는 것을 특징으로 하는 불량 화소 처리 장치.
9. 제7항에 있어서,

   상기 패턴 비교부는,

   상기 입력되는 성분별 데이터의 중앙값(median)을 각각 연산하는 중앙값 검출부;

   상기 중앙값과 상기 성분별 데이터의 구성 원소들과의 차이값인의 절대값인 절대값1을 연산하는 절대값 검출부1;

   상기 성분별 데이터에 따라 연산된 절대값1들과 미리 설정된 하나의 성분 데이터에 대한 절대값1의 차이값들을 연산하는 차이값 검출부; 및

   상기 연산된 차이값들을 모두 합산하는 비교값 검출부;

   상기 연산된 비교값과 미리 설정된 파라미터(parameter)와 비교하여 불량 픽셀 및 핫 픽셀의 존재를 알리는 외부 플래그 생성부;

   상기 성분별 데이터의 중심 화소가 포함된 성분 데이터의 각 구성 원소에서 중심 화소값을 치이값의 절대값인 절대값2를 연산하는 절대값 검출부2;

   조도 분류를 위한 임계값과 상기 성분별 데이터의 상기 중앙값을 이용하여 내부 플래그를 위한 임계값을 설정하고, 상기 설정된 임계값을 이용하여 내부 플래 그를 생성하는 내부 플래그 생성부;

   상기 성분별 데이터의 중심 화소가 포함된 성분 데이터의 각 구성 원소의 최대값과 최소값의 차이의 절대값인 절대값3을 연산하는 절대값 검출부3; 및

   조도의 평탄도(smooth)를 위한 임계값과 상기 절대값3을 비교하여 평탄 플래그를 생성하는 평탄 플래그 생성부를 포함하는 것을 특징으로 하는 불량 화소 처리 장치.
10. 제7항에 있어서,

    상기 보정부는,

    상기 검출된 불량 화소에 대하여 상기 분리된 성분별 데이터의 중앙값(median) 또는 중심(center) 화소의 값을 출력하여 상기 불량 화소를 보정하는 것을 특징으로 하는 불량 화소 처리 장치.
11. 제7항에 있어서,

    상기 패턴 비교부는,

    상기 연산된 화소 분포값과 미리 설정된 파라미터를 비교하여 외부 플래그, 내부 플래그 및 평탄 플래그를 생성하되,

    상기 미리 설정된 파라미터는,

    데드 픽셀 임계값(dead threshold), 데드 픽셀의 수(dead number), 핫 픽셀 임계값(hot threshold), 핫 픽셀의 수(hot number), 제로 필터(zero filter)의 사용 유무, 자동 DPC(Defect Pixel Compensation)의 사용 유무, 자동 DPC의 임계값 중 적어도 하나인 것을 특징으로 하는 불량 화소 처리 장치.
12. 삭제
13. 불량 화소 처리 방법이 구현되도록, 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록 매체에 있어서,

    (a) 입력되는 영상 데이터를 성분별 데이터로 분리하는 단계;

    (b) 상기 분리된 성분별 데이터의 화소 분포를 연산하는 단계;

    (c) 상기 연산된 화소 분포값을 이용하여 불량 화소를 검출하여 알리는 외부 플래그(external_flag), 내부 플래그(internal_flag) 및 평탄 플래그(smooth_flag)를 생성하여 불량 화소를 검출하는 단계; 및

    (d) 상기 외부 플래그, 상기 내부 플래그, 상기 평탄 플래그를 이용하여 불량 화소를 보정하는 단계를 포함하되,

    상기 단계(c)에서, 상기 평탄 플래그는 조도의 평탄도(smooth)를 위한 임계값과 상기 연산된 화소 분포값을 이용하여 생성하며,

    상기 평탄 플래그를 생성하는 것은 에지 성분이 아닌 평탄한 영역에서 나타나는 불량 화소를 검출하는 것을 특징으로 하는 불량 화소 처리 방법을 구현하기 위한 프로그램을 기록한 기록매체.

Images