KR100565429B1

KR100565429B1 - 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치

Info

Publication number: KR100565429B1
Application number: KR1020030085225A
Authority: KR
Inventors: 유원필; 정연구; 이재연; 지수영; 김계경; 조수현
Original assignee: 한국전자통신연구원
Priority date: 2003-11-27
Filing date: 2003-11-27
Publication date: 2006-03-30
Also published as: KR20050051437A

Abstract

본 발명은 고체촬상소자의 컬러 필터 어레이(Color Filter Array:CFA)에 의한 컬러값 손실을 보정하는 방법 및 장치에 관한 것이다. 디지털 카메라, 캠코더 등과 같은 이미징 장비에 채택되는 대부분의 CCD 혹은 CMOS 이미지 센서는 베이어(Bayer) 형태의 컬러 필터 어레이를 채택하고 있으며 이미지 센서의 각 픽셀 위치에서 하나의 컬러 값만을 제공한다. 컬러 디모자익(color demosaicing) 혹은 컬러 픽셀 복원 과정은 상기 센서 데이터로부터 적절한 보간(interpolation) 방법을 통해 R, G, B 풀 컬러(full color)를 복원하는 과정을 의미한다. 본 발명에서는 R, G, B 세 가지 컬러 성분을 루미넌스(luminance) 채널(G), 크로미넌스(chrominance) 채널(R, B)로 구분하고, 먼저 루미넌스 채널에 대해 복원 대상 픽셀 위치에서의 에지의 방향을 이용하여 루미넌스 채널을 복원하는 단계와, 컬러 차이를 이용하여 크로미넌스 채널을 복원하는 단계, 그리고, 지역적 컬러 불일치를 제거하기 위해 에지 픽셀에 대한 순차적 필터링(sequential filtering)하는 단계로 구성된다. 본 발명의 실시예에 의해 컬러흠결(color artifact)이 현저하게 줄어든 고품질의 영상을 언더샘플링된 센서 데이터로부터 획득할 수 있게 된다.

컬러 픽셀 복원, 보간, 컬러 필터 어레이, 디지털 카메라

Description

컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치{ APPARATUS AND METHOD FOR RECONSTRUCTING MISSING COLOR VALUES IN A COLOR FILTER ARRAY}

도 1은 일반적인 베이어(Bayer) 컬러 필터 어레이의 예,

도 2는 도 1의 컬러 필터 어레이로부터 R, G, B 삼원색을 복원하는 컬러 픽셀 복원의 개념도,

도 3a는 본 발명에 따른 컬러 픽셀 복원 방법을 도시한 흐름도,

도 3b는 본 발명에 따른 컬러 픽셀 복원 장치를 도시한 구성 블럭도,

도 4는 도 3a에 도시된 루미넌스 채널의 보간 절차를 도시한 세부 흐름도,

도 5a,5b는 본 발명에 따른 보간(interpolation)에 사용되는 레퍼런스 픽셀의 배치도,

도 6은 도 3a에 도시된 순차 필터링 절차를 도시한 세부 흐름도,

도 7a~7c는 본 발명에 따른 지역적 컬러 불일치(localized color inconsistency)를 제거하기 위한 순차적 필터링 (sequential filtering)의 예.

*도면의 주요부분에 대한 부호의 설명

310: 이미지센서 320: 메모리

330: 영상처리 프로세서 340: 메모리

본 발명은 고체촬상소자(이미지센서)를 사용하는 이미징 장비의 컬러 보정기술에 관한 것으로, 더욱 상세하게는 고체촬상소자의 컬러 필터 어레이(Color Filter Array, 이하 CFA로 표기함)에 의한 컬러값 손실을 보정하는 방법 및 장치에 관한 것이다.

일반적으로, 이미지센서는 광학영상(Optical image)을 전기 신호로 변환시키는 반도체소자로서, 전하결합소자(CCD: Charge Coupled Device) 이미지센서와 CMOS (Complementary MOS; CMOS) 이미지센서가 널리 사용되고 있다. 이러한 이미지센서는 컬러 구현을 위해 R,G,B 등으로 구현된 컬러 필터 어레이(CFA)를 사용하고 있다.

도 1은 베이어(Bayer) 형태의 컬러 필터 어레이(CFA)의 패턴을 예시한 것이다.

일반적인 컬러 영상은 R, G, B (Red, Green, Blue)의 삼원색으로 구성되지만 대부분의 CCD 혹은 CMOS 이미지 센서는 각 픽셀 위치에서 상기 삼원색 중 하나의 성분만을 출력한다. 선행 특허 베이어(B. E. Bayer)의 "컬러 이미징 어레이(Color Imaging Array), 미국특허번호 제3,971,065호, 1976"는 포토셀(photosensitive cell)의 특수한 배치 형태에 대해 기술한 것으로, 인간의 시각 시스템(human visual system)이 휘도(luminance)성분(즉, 녹색(Green))에 대해서 가장 높은 분해 능을 가지는 특성을 고려하여 루미넌스(luminance) 성분에 대한 컬러 필터를 전체 포토셀의 50%가 되도록 배치하고 나머지 크로미넌스(chrominance)성분 (즉, 적색(Red)과 청색(Blue))은 교차 반복 형태로 배치하고 있다. 따라서 도 1에 도시된 컬러 필터 어레이의 수는 R, G, B에 대해 1:2:1의 비율을 갖는 것을 알 수 있다.

현재 상용 디지털 카메라나 캠코더를 포함한 이미징 장비는 이러한 베이어(Bayer)형태의 컬러 필터 어레이(CFA)로부터 손실된 색성분을 복원하는 방법을 내장하고 있다.

도 2는 상기 설명한 컬러 픽셀 복원을 설명하는 것으로, CFA에 의해 언더샘플링(undersampling)된 센서 데이터로부터 보간(interpolation)을 통해 R, G, B 삼원색으로 구성된 세 개의 컬러 버퍼를 복원하는 과정을 나타내고 있다. 즉, 도 2에 도시된 바와 같이 베이어 컬러 필터 어레이(CFA)를 사용할 경우에는 각 화소들이 하나의 컬러값을 갖도록 된 하나의 프레임으로 표현되므로 이를 보간하여 R,G,B에 대한 3개의 프레임으로 만들어 각 화소들에 대해 풀 컬러를 구현할 필요가 있다.

하지만, 상기 컬러 필터 어레이(CFA)는 원래의 영상에 대해 언더샘플링을 취한 형태이므로 에일리에이징(aliasing) 효과에 의해 지역적 컬러 불일치 (localized color inconsistency)가 나타날 수 있을 뿐 만 아니라 보간 방법 자체의 특성에 의해 컬러 프린지(color fringe) 효과가 나타날 수도 있다.

상기 컬러 프린지(color fringe) 효과는 영상 내의 에지(edge) 영역, 특히 물체와 물체간의 경계 영역에서 잘못된 보간에 의해 이종 물체의 색이 보간시 사용 되기 때문에 나타나는 현상이다. 지역적 컬러 불일치의 경우도 컬러 프린지(color fringe) 효과와 발생 원인은 비슷하지만 텍스쳐(texture)와 같이 고주파 성분이 두드러진 영역에서 언더샘플링에 의해 원래의 색을 제대로 복원하지 못하기 때문에 나타나는 것으로 매우 보정하기 어려운 현상이다.

따라서 컬러 픽셀 복원 방법의 특성은 상기 두 가지 컬러흠결(color artifact)을 효과적으로 제거하면서 고품질의 영상을 복원하기 위한 보간 방법의 성능에 의해 결정되며, 상기 보간 방법의 성능을 결정짓는 중요한 요소로서 에지 픽셀의 발견과 에지의 방향을 계산하는 단계를 들 수 있다. 이와 관련하여 선행 특허 C. A. Laroche and M. A. Prescott의 "크로미넌스 그라디언트를 이용하여 풀칼라 이미지를 적응적으로 보간하는 장치 및 방법(Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradient), 미국특허 제 5,373,322 호, 1994"에서는 크로미넌스(chrominance) 성분의 라플라시안(Laplacian)을 이용하는 방식을 취하였고, R. H. Hibbard의 "루미넌스 그라디언트를 이용하여 풀칼라 이미지를 적응적으로 보간하는 장치 및 방법(Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients), 미국특허 제 5,382,976호, 1995"에서는 루미넌스(luminance)성분의 그라디언트(gradient)를 이용하는 방식을 취하였다. 또 다른 선행 특허 J. E. Adams Jr. and J. F. Hamilton Jr.의 "단일센서컬러 전자 카메라에서 적응 컬러 플레인 보간(Adaptive color plane interpolation in single sensor color electronic camera), 미국특허 제 565261호 1997"에서는 상기 소개한 두 가지 에지 성분을 모 두 이용하여 에지 판별의 정밀도를 높였다. 또한, N. Okisu의 "픽셀 보간장치 및 픽셀보간 방법(Pixel interpolation device and pixel interpolation method), 미국특허 제6,091,862호, 2000"에서는 수직, 수평 방향의 에지 성분을 이용함에 있어 각 성분에 대한 가중치를 미리 설정한 함수값을 이용해서 결정짓고, 이를 보간 단계에 사용하는 방식을 이용하고 있으며, O. Rashkovskiy and W. Macy의 "컬러필터 어레이에서 손실컬러값을 결정하는 방법(Method of determining missing color values for pixels in a color filter array), 미국특허 제6,181,376B1호, 2001"의 경우에는 에지 성분에 대한 계산 단계는 없는 대신 영상의 대각선 방향으로 큐빅 B-스플라인 보간(cubic B-spline interpolation)을 취하여 보간의 정밀도를 높이고 있다. 또 다른 선행 특허인 Z. H. Chen의 "이미지처리방법 및 장치, 그리고 그 기록매체(Image processing method and device and recording medium in which image processing program is recorded), 미국특허 제6,570,616B1호, 2003"의 경우에는 에지 성분의 계산에 사용되는 레퍼런스 픽셀 패턴의 형태를 확장하여 에지를 판별함에 있어 신뢰성을 높이는 방식을 취하고 있다.

상기 선행 특허들의 방식에서 루미넌스(luminance) 성분에 대한 복원이 끝난 후에 크로미넌스(chrominance) 성분을 복원하는 방식은 다음 수학식 1의 컬러 모델을 이용하여 크로미넌스(chrominance) 성분과 루미넌스(luminance) 성분간의 컬러 차이를 계산한 후에, 이 때의 결과를 이용하여 간단한 산술식을 이용하여 복원하는 방식을 취하고 있다. 이 때의 산술식은 대부분의 경우 샘플 평균에 해당한다.

여기서, n은 픽셀 위치를 나타내고, k는 알려지지 않은 상수를 의미한다.

한편, 선행 논문 "J. E. Adams Jr.의 "디지털 카메라를 위한 칼러필터 보간 알고리즘 설계(Design of practical color filter array interpolation algorithm for digital cameras), in Proc. of SPIE, D. Sinha, Ed., Bellingham, WA, 1997, vol. 3028, pp. 117-125"에서는 에지 픽셀 판별에 있어 FIR 필터를 설계하는 방식과 그 성능에 대해 소개하고 있으며, R. Kimmel의 "디모자익: 컬러 CCD샘플로부터 이미지 재현(Demosaicing: image reconstruction from color CCD samples), IEEE Tr. Image Processing, vol. 8, no. 9, pp. 1221-1228, 1999"의 경우에는 에지 가중 보간(edge-weighted interpolation) 방법을 소개하고 있으며, 특히, 컬러 모델은 상기 수학식1에서 소개한 모델과는 달리 컬러비(color ratio rule)에 근거한 방식을 채택하고 있다. 이 방식은 에지에 근거한 보간에는 적합하지만 컬러비(color ratio rule)에 의한 보간(interpolation)시 영상에 따라 잘못된 컬러(false color)가 발생하거나 더 강화되는 단점을 가지고 있다. 또 다른 선행 논문인 R. Kakarala and Z. Baharav의 "벡터방법에 의한 적응적 디모자익(Adaptive demosaicing with the principal vector method), IEEE Trans. Consumer Electronics, vol. 48, no. 4, pp. 932-937, 2002"에서는 각 픽셀 위치에서의 R, G, B 각각의 그라디언트(gradient)에 대한 2 x 3 크기의 자코비안(Jacobian) 매트릭스를 계산한 후 다수율(majority rule)에 기반하여 해당 픽셀 위치에서의 에지 방향을 결정한 후 보간을 수행하는 방식을 취하고 있다.

상기 소개한 선행 특허 및 논문들의 경우 에지 픽셀의 중요성에 기초하여 에지 및 에지 방향의 판별을 위한 알고리즘을 채택하고 있으나 영상에 따라서 지역적 컬러 불일치가 여전히 발생하는 것을 확인할 수 있다. 이것은 에지 픽셀 판별 및 에지 방향을 이용하여 보간을 실시하는 것이 영상의 품질을 향상시키는 데 중요한 역할을 하는 것은 분명하지만, 여전히 언더샘플링에 의한 에일리에이징(aliasing) 효과가 나타나고 있음을 의미하는 것으로 생각할 수 있다. 실제 카메라에서는 에일리에이징(aliasing)을 제거하기 위해 광학 프리필터(optical prefilter)를 채용하여 카메라의 픽셀 분해능을 넘어서는 고주파 성분을 억제하는 방식을 취하고 있다.

한편, 최근의 휴대형 정보단말에도 디지털 카메라의 채택이 빠른 속도로 이루어지고 있지만, 상기 광학적 보상을 통해 컬러흠결(color artifact)을 제거하기에는 물리적, 경제적 제한 사항이 있기 때문에 구현하기가 쉽지 않다. 따라서, 컬러 필터 어레이(CFA) 데이터로부터 컬러흠결(color artifact)없이 고품질의 컬러 영상을 생성할 수 있는 영상 복원 방법이 절실히 요구된다.

본 발명은 상기와 같은 실정을 감안하여 창작된 것으로서, 디지털 카메라나 캠코더와 같이 베이어(Bayer) 형태의 컬러 필터 어레이(CFA)를 채택하는 영상 장비에서 센서 데이터를 획득하고, 이를 보간하여 컬러흠결(color artifact)이 없는 고품질의 영상을 획득할 수 있는 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치를 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 컬러 픽셀 복원 방법은 세 가지 컬러 성분 중 하나의 컬러 성분만을 센싱하는 이미지 센서 데이터를 입력받아 루미넌스(luminance) 채널을 복원하는 단계; 상기 복원된 루미넌스(luminance) 채널과 크로미넌스(chrominance) 채널간의 컬러 차이를 구한 후 이로부터 크로미넌스(chrominance) 채널을 복원하는 단계; 및 컬러 흠결(color artifact)을 제거하기 위해 상기 복원된 크로미넌스(chrominance) 채널에 대해 필터링하여 풀 컬러를 복원하는 단계를 포함하여 구성되는 것을 특징으로 한다.

이하, 본 발명에 따른 컬러 픽셀 복원 방법의 바람직한 실시예에 대해, 첨부된 도면을 참조하여 상세히 설명한다.

도 3a는 본 발명에 따른 컬러 픽셀 복원 방법의 동작 흐름을 나타낸 것으로, 본 발명에 따른 복원 방법은 센서 데이터 입력단계(S1), 루미넌스(G) 채널 보간단계(S2), 크로미넌스(R,B) 채널 보간단계(S3), 순차적 필터링 단계(S4), RGB 풀 컬러 이미지 출력단계(S5)로 이루어져 이미지 센서로부터 데이터를 입력받아 컬러 흠결이 없는 풀 컬러 데이터를 출력한다.

도 3a를 참조하면, 단계 S1에서는 베이어(Bayer) 형태의 컬러 필터 어레이로(CFA)로부터 아날로그-디지털(A/D) 변환된 센서 데이터를 입력받는다. 이때 입력되는 센서 데이터는 도 1에 예시한 바와 같은 데이터 배치 구조를 취한다.

단계 S2는 루미넌스(luminance) 채널(G) 복원 단계로서, 도 4에 도시된 바와 같이 각 방향의 에지성분을 계산한 후 최소성분의 에지 방향을 찾아 보간을 수행한다. 이때, 루미넌스 보간은 수평, 수직 2방향의 에지성분만을 계산하여 보간하거나 수평, 수직, 제1 대각선, 제2 대각선방향의 에지성분을 모두 구해 보간하는 방식으로 구분할 수 있다.

[ 수평 수직방향을 이용한 루미넌스 채널 복원]

수평 및 수직 방향의 에지성분만을 이용할 경우는 도 4의 루미넌스 채널 보간 절차에서 수평 에지성분 계산 단계(S21)와, 수직 에지성분 계산단계(S22), 최소 에지성분 선택 단계(S25), 선택된 방향에 따른 보간 단계(S26)를 수행한다. 이러한 루미넌스 보간방법을 도 5a에 예시된 컬러 필터 어레이(CFA)의 일부분을 예로 들어 설명하기로 한다.

도 5a에서 R34 위치에서의 녹색(green) 값을 계산하는 경우, 다음 수학식2와 같이 먼저 수직, 수평 방향으로의 에지 성분을 계산한다.

상기 수학식2에 따라 계산된 수평 에지척도(h) 및 수직 에지척도(v)로부터, 수평 에지척도(h) > 수직 에지척도(v)인 경우에는 다음 수학식 3에 따라 보간한다.

만일, 상기 수학식2에 따라 계산된 수평 에지척도(h) 및 수직 에지척도(v)가 수평(h) ≤수직(v)인 경우에는 다음 수학식 4에 따라 보간한다.

상기 수학식 3과 4는 큐빅 콘볼류션 보간(cubic convolution interpolation)을 이용한 보간 방식으로, α=-0.5의 값을 취하도록 한다. 이 외에도 결과 영상에서 에지를 강화시키는 효과를 얻기 위해서 -1을 취할 수도 있다. 상기 계산 과정을 복원이 필요한 각 루미넌스(luminance) 픽셀 위치에서 수행하여 루미넌스(luminance) 채널을 복원한다.

[대각선방향을 추가한 루미넌스 채널 복원]

한편, 본 발명에 따른 컬러 픽셀 복원 방법의 다른 실시예로서 루미넌스(luminance) 채널을 복원하는 단계(S2)에서 에지의 방향 성분을 계산함에 있어 수직(v), 수평(h) 방향 외에 대각선 방향(n,p)을 고려하여 복원시의 정밀도를 더욱 향상시킬 수 있다. 이러한 다른 실시예에서는 도 4의 루미넌스 채널 보간 절차에서 수평 에지성분 계산 단계(S21)와, 수직 에지성분 계산단계(S22), 제1 대각선 에지성분 계산단계(S23), 제2 대각선 에지성분 계산단계(S24), 최소 에지성분 선택 단계(S25), 선택된 방향에 따른 보간 단계(S26)를 수행한다. 이러한 루미넌스 보간방법을 도 5a에 예시된 컬러 필터 어레이(CFA)의 일부분을 예로 들어 설명한다.

도 5a에서 두 가지 대각선 방향의 에지 성분을 각각 n, p라고 했을 때, 다음 수학식5와 같이 정의한다.

상기 수학식 5의 에지척도는 상기 수학식2에서 구한 에지척도와 함께 사용되고, 네 방향에 대한 크기 중 가장 작은 쪽으로 보간을 실시하게 된다. 예를 들어, n의 크기가 가장 작은 경우 도 5b에 예시한 바와 같이, 다이아몬드 형태이면서 4x4 크기의 대각선 방향의 레퍼런스 픽셀에 대해 큐빅 콘볼루션 보간(cubic convolution interpolation)을 취하여 R34 위치에서의 녹색(green)값으로 설정하게 된다. 즉, n의 크기가 가장 작은 경우에는 다음 수학식 6과 같이 y1, y2, y3, y4를 구한 후, 이로부터 G34를 구한다.

만일, p의 크기가 가장 작은 경우에는 이와 유사하게 다음 수학식 7과 같이 계산한다.

이어 청색(Blue) 픽셀 위치에서의 녹색(green) 픽셀의 복원도 마찬가지 방식을 통해서 계산한다.

[크로미넌스 채널 복원]

루미넌스(Luminance) 채널에 대한 복원을 마친 후에는 도 3a의 단계 S3에서 크로미넌스(chrominance) 채널에 대한 복원을 실시한다. 크로미넌스(Chrominance) 채널에 대한 복원은 앞서의 수학식 1에 소개한 컬러 모델을 이용한 산술식을 이용한다. 상기 수학식 1의 이미지 모델은 비록 각 컬러 성분의 스펙트럼은 완전히 일치하지 않지만 영상 내에서의 분포 형태는 매우 큰 상관 관계를 가지고 있음을 가정하는 것이다.

도 5a를 참조하면, G33 위치에서 크로미넌스(chrominance) 성분 R33, B33은 다음 수학식8과 같이 구해진다.

B33 = 1/2(B23-G23+B43-G43)+G33

삭제

R33 = 1/2(R32-G32+R34-G34)+G33

R34위치에서의 청색(blue)값 B34는 다음 수학식 9와 같이 계산된다.

B34 = 1/4(B23-G23+B25-G25+B43-G43+B45-G45)+G34

삭제

마찬가지로 B45 위치에서의 적색(red)값 R45는 다음 수학식 10과 같이 계산된다.

R45 = 1/4(R34-G34+R36-G36+R54-G54+R56-G56)+G45

삭제

상기 수학식 8 내지 10의 계산식을 크로미넌스(chrominance) 성분의 복원이 필요한 픽셀의 주변 픽셀 패턴에 따라 적용하여 크로미넌스(chrominance) 채널의 복원을 실행한다.

[순차 필터링]

베이어(Bayer) 형태의 컬러 필터 어레이(CFA)는 언더샘플링된 센서 데이터를 제공하기 때문에 광학 저역필터(optical low pass filter)와 같은 부품을 이용하여 이미지센서 앞 단에 이미지센서의 분해능보다 더 높은 주파수 성분을 미리 차단하는 조치가 없으면 에일리에이징(aliasing)이 발생하게 된다. 이것은 대부분의 경우에 영상내의 물체의 경계 부분에 원래의 색과는 다른 적색(red) 혹은 청색(blue)이 나타나는 형태로 발현된다.

도 3a의 단계 S4는 이러한 지역적 컬러 불일치 현상을 감소시키기 위한 보정단계로서, 본 발명에서는 순차 필터링을 적용한다. 순차 필터링 단계(S4)는 도 6에 도시된 바와 같이, 루미넌스 성분만으로 해당 픽셀의 에지성분을 계산하는 단계(S41)와, 에지성분을 미리 정의된 잡음레벨 임계값(NL)과 비교하는 단계(S42), 비교결과 에지성분이 임계값(NL)보다 크면 해당 픽셀을 에지로 판단하여 순차적 필 터링을 수행하고(S43,S44), 임계값(NL)보다 작으면 다음 픽셀에 대해 상기 과정을 반복하는 단계(S45)로 이루어진다.

도 6을 참조하면, 단계 S2에서 구한 루미넌스(luminance) 채널만을 이용하여 각 픽셀 위치에서 에지 성분의 크기를 계산한다(S41). 임의의 픽셀 위치를 (i,j) 라고 했을 때, 도 7a~7c에 예시한 레퍼런스 픽셀의 인덱스로부터 해당 픽셀의 에지성분(edgeness)은 다음 수학식 11과 같이 정의한다.

해당 픽셀이 에지에 해당하는지 여부를 판별하기 위한 임계치(threshold)를 결정하기 위해 영상내의 잡음 레벨(NL)을 다음 수학식12와 같이 정의한다.

여기서, M, N은 각각 영상의 높이, 폭에 해당한다. 각각의 픽셀 위치에서 E_{ i,j } 가 잡음 레벨의 임계값(NL)보다 큰 경우, 해당 픽셀이 에지 픽셀인 것으로 판별하고, 해당 위치에서 잘못된 컬러(false color) 제거를 위한 순차적 필터링 (sequential filtering)을 실시한다(S43,S44).

도 7a 내지 7c는 G_{ i,j } 가 에지 픽셀로 판명되었을 경우에 순차적 필터링을 적용하는 과정을 나타낸다. 예를 들어, 도 7b에 예시한 바와 같이 G_{ i,j } 를 중심으로 한 3 ×3 마스크내의 픽셀을 이용하여 해당 중심 픽셀의 크로미넌스(chrominance) 값을 갱신하는 경우, R_{ i,j } 는 다음 수학식 13으로 갱신을 한다.

한편, 일반적으로 에지 성분은 이상적인 경우에 서로 연결이 되어 있어야 하지만, 연결이 끊어져 있거나 고립된 형태로 나타날 수 있으므로, 도 7a 내지 7c에 예시한 바와 같이 (i, j)위치를 중심으로 (i-1, j-1), (i-1, j), ..., (i+1, j), (i+1, j+1) 위치에 대해서도 상기 수학식 13과 동일한 계산 과정을 거치도록 한다. 예를 들어, 도 7a는 (i-1, j-1) 픽셀 위치에서 수학식 13의 적용에 사용되는 픽셀을 나타낸 것이고, 도 7c는 (i+1, j+1) 픽셀 위치에서 수학식 13의 적용에 사용되는 픽셀을 나타낸 것이다. 이와 같은 방식으로 해당 R_{ i-1,j-1 } ,R_{ i-1,j } ,R_{ i-1,j+1 } ,R_{ i,j-1 } ,R_{ i,j } ,R_{ i,j+1 } ,R_{ i+1,j-1 } ,R_{ i+1,j } ,R_{ i+1,j+1 } 값을 순차적으로 갱신하도록 한다. 상기 과정을 통해 현재 갱신 대상인 픽셀 위치에서의 크로미넌스(chrominance)값은 이미 갱신된 이웃 픽셀값의 크로미넌스(chrominance)값의 변화를 반영하게 된다. B_{ i,j } 도 마찬가지 방법으로 갱신을 하며, 상기 과정을 각 에지 픽셀에 대해서 실시하여 도 3a의 단계 S4을 완료하고 최종 R,G,B 영상을 획득하게 된다. 본 발명에 따른 컬러 픽셀 복원 방법의 변형으로 상기 수학식 11, 12의 에지성분(edgeness) 판별을 위한 식은 다양한 형태의 적용이 가능하며, 에지로 판별된 픽셀 위치에서 상기 수학식 13을 이용 하여 지역적 컬러 불일치 현상을 감소 내지는 제거할 수 있게 된다.

도 3b는 도 3a의 알고리즘을 하드웨어로 구현한 본 발명에 따른 컬러 픽셀 복원 장치를 도시한 구성 블럭도이다.

도 3b를 참조하면, 본 발명에 따른 컬러 픽셀 복원장치는 이미지 센서(310)로부터 세 가지 컬러 성분 중 하나의 컬러 성분만을 센싱하여 아날로그-디지털 변환된 이미지 센서 데이터를 입력받아 이 디지털 컬러 데이터를 저장하는 메모리(320)와, 루미넌스(luminance) 채널과 크로미넌스(chrominance) 채널로부터 에지의 크기와 방향을 계산하고, 복원된 루미넌스(luminance) 채널 및 크로미넌스(chrominance) 채널간의 컬러 차이를 계산하고, 이로부터 선형 보간을 통해 크로미넌스(chrominance) 채널을 계산하며, 복원된 루미넌스(luminance) 채널로부터 에지 크기를 계산하여 판별식을 구하고, 이로부터 에지 픽셀을 분류한 후, 에지 픽셀 위치에 대해 크로미넌스(chrominance) 채널값을 계산하여 갱신하는 영상 처리 프로세서(330)와, 복원된 루미넌스(luminance) 채널과 크로미넌스(chrominance) 채널을 저장하는 메모리(340)로 구성된다.

이하, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 디지털 카메라, 캠코더 외에 PDA, 휴대폰을 포함한 휴대형 단말 장치에 사용될 수 있는 영상 시스템에도 확대 적용이 가능하며, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

이상에서 설명한 바와 같이, 본 발명에 따른 컬러 픽셀 복원 방법은 베이어(Bayer) 형태의 컬러 필터 어레이(CFA)를 채택한 이미지 소자의 아날로그-디지털(A/D) 변환된 이미지 센서 데이터로부터 고품질의 R G B 풀(full) 컬러 이미지를 획득할 수 있게 한다.

Claims

세 가지 컬러 성분 중 하나의 컬러 성분만을 센싱하는 이미지 센서 데이터를 입력받아, 복원하기 위한 픽셀의 위치에 대해 수직, 수평 및 대각선 방향으로의 에지 크기를 계산하고, 상기 계산된 에지 크기 중 작은 방향으로 보간을 실시하여 루미넌스(luminance) 채널을 복원하는 단계;

상기 복원된 루미넌스(luminance) 채널과 크로미넌스(chrominance) 채널간의 컬러 차이를 구한 후, 선형 보간을 통해 크로미넌스(chrominance) 채널을 복원하는 단계; 및

컬러 흠결(color artifact)을 제거하기 위해, 에지로 판별된 픽셀 위치에 대해서 루미넌스(luminance) 성분과 크로미넌스(chrominance) 성분간의 컬러 차이를 구한 후 순차적 필터링 방법을 통해 해당 크로미넌스(chrominance) 성분을 갱신하여 풀 컬러를 복원하는 단계

를 포함하여 구성되는 것을 특징으로 하는 컬러 필터 어레이에서 손실된 컬러값 복원 방법.
삭제
제 1 항에 있어서, 상기 수직, 수평 방향의 에지는

각각 루미넌스(luminance ) 채널로부터 구해진 1차 그라디언트(gradient), 크로미넌스(chrominance) 채널로부터 구해진 라플라시안(Laplacian)을 이용하는 것을 특징으로 하는 컬러 필터 어레이에서 손실된 컬러값 복원 방법.
제 1 항에 있어서, 상기 보간 방식은

큐빅 콘볼루션 보간(cubic convolution interpolation)을 이용하는 것을 특징으로 하는 컬러 필터 어레이에서 손실된 컬러값 복원 방법.
삭제
제 1 항에 있어서, 상기 대각선 방향의 에지는

크로미넌스(chrominance) 채널로부터 구해지는 1차 그라디언트(gradient)와 라플라시안(Laplacian)을 이용하는 것을 특징으로 하는 컬러 필터 어레이에서 손실된 컬러값 복원 방법.
제 1 항에 있어서, 상기 에지의 크기가 작은 방향이 대각선 방향인 경우에 복원하고자 하는 픽셀의 위치를 중심으로 다이아몬드 형태의 마스크를 형성하고, 각 대각선 방향의 네 개의 픽셀로부터 큐빅 콘볼루션 보간(cubic convolution interpolation)을 통해 중간값을 보간하고, 상기 과정을 통해 구해진 네 개의 중간값에 대해 다시 큐빅 콘볼루션(cubic convolution)을 취해 최종 복원값을 계산하는 것을 특징으로 하는 컬러 필터 어레이에서 손실된 컬러값 복원 방법.
삭제
삭제
삭제
제 1 항에 있어서, 상기 에지로 판별된 픽셀 위치를 중심으로 마스크 내에 위치하는 인접 픽셀 위치에서 루미넌스(luminance)성분과 크로미넌스(chrominance)성분간의 컬러 차이를 구한 후 순차적 필터링 방법을 통해 해당 크로미넌스(chrominance) 성분을 갱신하는 것을 특징으로 하는 컬러 필터 어레이에서 손실된 컬러값 복원 방법.
이미지 센서로부터 세 가지 컬러 성분 중 하나의 컬러 성분만을 센싱하여 아날로그-디지털 변환된 이미지 센서 데이터를 입력받아 이 디지털 컬러 데이터를 저장하는 메모리;

루미넌스(luminance) 채널과 크로미넌스(chrominance) 채널로부터 에지의 크기와 방향을 계산하고, 복원된 루미넌스(luminance) 채널 및 크로미넌스(chrominance) 채널간의 컬러 차이를 계산하고, 이로부터 선형 보간을 통해 크로미넌스(chrominance) 채널을 계산하며, 복원된 루미넌스(luminance) 채널로부터 에지 크기를 계산하여 판별식을 구하고, 이로부터 에지 픽셀을 분류한 후, 에지 픽셀 위치에 대해 크로미넌스(chrominance) 채널값을 계산하여 갱신하는 영상 처리 프로세서; 및

상기 복원된 루미넌스(luminance) 채널과 크로미넌스(chrominance) 채널을 저장하는 메모리를 포함하여 구성된 컬러 필터 어레이에서 손실된 컬러값 복원 장치.
제 12 항에 있어서, 상기 영상처리 프로세서는

광학계의 주파수 특성에 따라 선택적으로 적용 가능하도록 된 것을 특징으로 하는 컬러 필터 어레이에서 손실된 컬러값 복원 장치.