KR20080106585A

KR20080106585A - 컬러 비디오 신호 생성 방법 및 장치

Info

Publication number: KR20080106585A
Application number: KR1020087025888A
Authority: KR
Inventors: 크리스토프 케페더
Original assignee: 엔엑스피 비 브이
Priority date: 2006-03-27
Filing date: 2007-03-23
Publication date: 2008-12-08
Also published as: JP2009531928A; EP2002663A2; WO2007110829A2; US20100231765A1; WO2007110829A3

Abstract

컬러 화상의 모자이크 패턴을 디모자이크하는 방법 및 장치가 개시된다. 화상 품질을 개선하기 위해, 특히, 불균일 모자이크 패턴의 경우, 모자이크 패턴의 커널이 선택되고 이 커널의 픽셀 값은 비선형의 2차 보간 알고리즘을 준수하는 계수와 곱해진다. 부가적으로, 선택된 커널의 픽셀은 비선형의 2차 보간 알고리즘의 도함수를 준수하는 선명화 계수와 곱해진다.

Description

컬러 비디오 신호 생성 방법 및 장치{METHOD AND ARRANGEMENT FOR GENERATING A COLOR VIDEO SIGNAL}

본 발명은 모자이크 컬러 필터 어레이를 구비한 감광 이미지 센서로부터 컬러 비디오 신호를 생성하는 방법 및 장치에 관한 것으로, 직사각형 커널(rectangular kernel)의 특정 컬러의 컬러 픽셀의 컬러 픽셀 값에 계수 세트를 곱하고 그 곱셈의 결과를 합산함으로써, 상기 특정 컬러의 컬러 픽셀의 컬러 픽셀 값으로부터 상기 특정 컬러의 새로운 픽셀 값을 보간하여 새로운 픽셀을 획득하는 동작을 포함한다.

비디오 또는 화상 카메라용의 통상적인 이미지 센서에 있어서, 적색, 녹색 및 청색의 픽셀은 "모자이크" 패턴, 소위 베이어 패턴(Bayer pattern)으로 놓인다. 가장 일반적인 것은 하나의 적색, 하나의 청색 및 두 개의 노색 픽셀로 구성된 4중쌍(quadruplets)를 포함하는 GRGB 패턴이다. 그 결과, 하나의 픽셀 쿼터만이 적색 정보를 제공하고, 하나의 쿼터만이 청색 정보를 제공하며, 픽셀의 나머지 절반은 녹색 정보를 제공한다. 각각의 컬러마다 완전한 (디지털) 신호를 얻기 위해, 손실되는 픽셀들은 소위 "디모자이크 알고리즘(demosaicing algorithm)"에 의해 보간되어야 한다.

다양한 디모자이크 방법이 존재하는데, 대개 손실 부분을 보간하는데 사용되는 수평 및 수직 저대역 통과 필터를 통해 이루어진다. 또 다른 방법은 입력 이미지에서의 가장 인접한 픽셀의 값이 각 보간된 출력 픽셀에 할당되는 "가장 인접한 이웃 복제"이다. 가장 인접한 이웃은 상측, 하측, 좌측 및 우측 픽셀 중 임의의 픽셀일 수 있다. 또 다른 방법은 "쌍일차 보간"인데, 이 방법에서는, 두 개의 인접한 적색 또는 청색 픽셀 값 사이의 원래의 녹색 위치에서 보간되는 픽셀에 상기 두 개의 인접한 픽셀 값의 평균값이 할당되고, 네 개의 인접한 대각선 적색/청색 픽셀 값 사이의 원래의 청색/적색 위치에서 보간되는 픽셀에 상기 네 개의 인접한 픽셀 값의 평균값이 할당되고, 상측, 하측, 좌측 및 우측의 녹색 픽셀 값 사이의 원래의 적색 또는 청색 위치에서 보간되는 픽셀에 상기 상,하,좌,우측의 녹색 픽셀 값의 평균값이 할당된다. 미국 특허 출원 공개 번호 제 US 2005/0031222 호에서는, "블록 시프트 불변(block shift invariant)"으로 지칭되는 해석되지 않은 알고리즘이 사용된다.

그러나, 공지된 모든 보간 알고리즘이 가지고 있는 문제점은 베이어 패턴이 균일한 경우, 즉 픽셀-페이즈(pixel-phase)가 일정한 경우에만 만족스럽게 동작한다는 것이다. 그러나, 가장 중요하게는 픽셀 비닝(pixel-binning)에 의해 베이어 데이터가 디시메이션(decimation) 또는 스케일링 동작에 놓이게 되는 경우, 결과적인 베이어 패턴은 더 이상 균일하지 않고, 그 경우 종래의 보간 기법은 만족스럽게 동작하지 않는다. 픽셀 비닝은 이미지의 시야 범위를 유지한채 픽셀의 수를 줄이는 프로세스이다. 픽셀 비닝은 이미지 획득 속도와 관련하여 CCD 또는 CMOS 센서의 감도를 향상시킨다. 이 프로세스는 일 컬러의 픽셀들의 그룹들을 취하고 그러한 픽셀 그룹을 하나의 "수퍼(super)" 픽셀로 결합하는 것을 포함한다. 픽셀 비닝은 아날로그 영역에서 수행될 수 있고 그에 따라 픽셀 그룹의 전하는 결합되어 "수퍼" 픽셀은 보다 많은 광을 유지할 수 있게 된다. 이것은 요구되는 노출 시간을 줄이는 효과를 갖는다. 픽셀 비닝은 픽셀 값을 합하거나 또는 평균화함으로써 디지털 영역에서도 수행될 수 있다. 픽셀 비닝은 예를 들어 메가 픽셀 센서(>1.3 메가-픽셀)가 화상 모드(720×576 픽셀)에 사용되는 경우 사용될 수 있다. 픽셀 비닝은 이미지 해상도의 감소를 야기한다. 그러나, 픽셀 비닝의 단점은 베이어 패턴의 균일성 감소를 가져온다는 것이며, 그 결과는 통상적인 디시메이션 알고리즘은 저조한 결과를 제공하게 된다.

본 발명의 목적은 개선된 컬러 비디오 신호 생성을 제공하는 것이다. 본 발명은 독립 청구항에 의해 정의된다. 그 종속 청구항은 바람직한 실시예를 정의한다. 본 발명에 따른 방법은 계수들이 비선형의 2차원 보간 함수에 의해 유도된다는 것을 특징으로 한다. 일 실시예에서, 계수(C_ik)의 세트는 실질적으로

와 동일하며, m과 n은 선택된 직사각형 커널에서의 상기 특정 컬러의 컬러 픽셀의 행 및 열의 개수이고, xi,yk는 상기 컬러 픽셀의 좌표이며, x,y는 보간된 새로운 픽셀의 좌표이다. 이 공식은 1차 라그랑주 보간 다항식의 2차 연장을 나타내며, INTERPOLATION OF FUNCTIONS, by J. Szabados & P. Vertesi (Hungarian Acad, of Sci), page 6, formula (1.3), ISBN: 9971509156-World Scientific 및 Eric W. Weisstein et al. "Lagrange Interpolating Polynomial"을 참조한다. MathWorld--A Wolfram WebResource;http://mathworld.wolfram.com/LagrangeInterpolatingPolynomial.html.

비닝 기법은 대개 "N에 의한 비닝(binning by N)"을 특징으로 하며, N은 1보다 큰 임의의 양의 정수이다. "N에 의한 비닝" 기법에서, 픽셀 감소는 N2이고 픽셀 거리(픽셀 페이즈)는 1,2N-1,1,2N-1,1..로 변한다. 본 발명의 일 실시예에서, "2에 의한 비닝" 기법이 바람직한데, 그 이유는 실직적으로 4배의 픽셀 감소를 제공하기 때문이다. 또한, 이 비닝 기법에 의해, 계수의 의한 디지털 곱셈은 보다 더 간단한데, 그 이유는 모두가 2의 정수 멱인 분모를 갖기 때문이다.

새로운 픽셀을 계산하는데 사용되는 컬러 픽셀의 직사각형 커널은 임의의 적절한 크기를 가질 수 있다. 바람직하게, "2에 의한 비닝" 기법에서, 각 커널은 5×5 컬러 픽셀을 갖는 9×9 필드의 크기를 갖는다.

더 새로운 픽셀의 보간을 위해, 픽셀이 커널의 대략 중앙에서 보간되는 것이 지속되도록 커널은 시프트될 수 있다. 그러나, 베이어 패턴이 균일하지 않은 경우, 소정의 커널이 다른 커널보다 적은 픽셀을 갖게되는 위험이 존재한다. 따라서, 일 실시예에서, 각각의 커널이 동일한 (최대) 수의 픽셀을 갖도록 커널이 선택되는 것이 바람직하다.

때때로, 재생성된 화상의 선명도를 증가시킬 가능성을 갖는 것이 바람직할 수 있다. 따라서, 본 발명에 따른 방법은 상기 비선형의 2차원 보간 함수의 도함수를 준수하는 선명화 계수(S_ik) 세트를 컬러 픽셀에 곱하는 단계와, 상기 곱셈의 결과를 합산하는 단계 및 합산 결과를 이용하여 새로운 픽셀의 값을 수정하는 단계를 더 특징으로 할 수 있다. 바람직하게, 선명화 계수(S_ik) 세트는 실질적으로 △C_ik를 준수하는데, △는 2차원 라플라스 연산자를 나타낸다.

본 발명은 또한 센서의 상단에 위치한 베이어 패턴의 컬러 필터와 함께 모자이크 컬러 필터 어레이를 구비한 감광 이미지 센서를 포함하는 컬러 비디오 신호 생성 장치에 관한 것으로, 이미지 센서로부터 판독된 픽셀의 커널을 선택하고, 커널의 특정 컬러의 픽셀을 계수와 곱하며 곱해진 픽셀을 더하여 컬러 비디오 신호의 새로운 픽셀을 구성함으로써 비선형의 2차원 보간 알고리즘을 수행하도록 구성된 비디오 신호 프로세서를 특징으로 한다. 이러한 장치는 더 나아가 이미지 센서로부터 판독된 픽셀의 커널을 선택하고, 커널의 특정 컬러의 픽셀을 선명화 계수와 곱하며 곱해진 픽셀을 더하여 컬러 비디오 신호의 새로운 픽셀에 대한 선명화 정보를 구성함으로써 2차원 선명화 알고리즘을 수행하도록 구성된 비디오 신호 프로세서를 특징으로 한다.

본 발명의 이들 및 다른 측면은 이하에서 기술되는 실시예로부터 분명해질 것이다.

도 1은 4-컬러 이미지 센서로부터 생성되는 컬러 픽셀의 통상적인 RGBG 베이어 패턴의 일부분을 나타내는 도면,

도 2는 "2에 의한 비닝" 프로세스를 나타내는 도면,

도 3은 도 2에 도시된 "2에 의한 비닝" 이후의 도 1의 베이어 패턴을 나타내는 도면,

도 4는 도 3의 베이어 패턴의 픽셀의 커널에 대한 본 발명에 따른 디시메이션 알고리즘의 결과를 나타내는 도면,

도 5는 본 발명을 수행하는 제 1 장치를 나타내는 도면,

도 6은 본 발명을 수행하는 제 2 장치를 나타내는 도면.

도 1은 대개 CCD 또는 CMOS 이미지 센서 앞에 위치하여 진입하는 적색, 녹색 및 청색의 광을 필터링하는 컬러 필터 어레이(CFA)의 베이어 패턴(의 일부분)을 개략적으로 나타낸다. 패턴은 하나의 적색(R), 하나의 청색(B) 및 두 개의 녹색 픽셀(GR,Gb)로 이루어진 4중쌍으로 구성된다. 두 유형의 녹색 픽셀(Gr,Gb)은 적색 및 청색 픽셀을 갖는 라인에 각각 속한다. 물론, 도 1의 베이어 패턴은 광이 컬러 필터 어레이를 통과하여 이미지 센서에 도달하는 경우 이 이미지 센서에 의해 생성 되는 컬러 픽셀을 나타낸다.

베이어 패턴의 열(columns)은 하단의 케이스 참조 문자(a...p)로 표시되고 패턴의 수평 라인은 참조 번호(1....16)로 표시된다. 이들 참조 문자 및 번호는 그의 상-좌측 및 하-우측 픽셀로 픽셀 블록을 나타내도록 허용한다. 예를 들어, 도 1에 도시된 픽셀의 전체 블록은 블록[a1,p16]으로 표시될 수 있다.

도 2 및 도 3은 본 명세서에서는 아날로그 영역에서 수행되는 것으로 가정한 픽셀의 "2에 의한 비닝"을 나타낸다. 픽셀의 3×3 블록에서, 네 개의 코너 픽셀은 동일한 컬러를 가지며 이들 네 개의 픽셀의 전하는 유사한 어레이의 대응 블록의 중앙에 축적 및 저장된다. 이것은 Gr-코너 픽셀을 갖는 블록에 대해서는 도2a에, R-코너 픽셀을 갖는 블록에 대해서는 도 2b에, B-코너 픽셀을 갖는 블록에 대해서는 도 2c에, Gb 코너 픽셀을 갖는 블록에 대해서는 도 2d에 도시되어 있다. 이러한 비닝 프로세스의 결과는 도 3에 도시되어 있다. 예를 들어 도 1의 어레이의 블록[c1,e3]은 도 3의 어레이의 위치(d2) 상의 Gr-수퍼 픽셀을 제공할 수 없는데, 그 이유는 픽셀(c1,c3)은 이미 블록[a1,c3]에서 사용되었고 픽셀(e1,e3)은 블록[e1,g3]에 사용될 것이기 때문이다. 하나의 픽셀은 하나의 블록에서만 사용될 수 있는데, 그 이유는 비닝 프로세스는 본래의 어레이에서 픽셀을 "제거(empty)"하기 때문이다. 이러한 이유는 도 3의 어레이가 컬러 픽셀을 가지지 않는 다수의 필드를 갖기 때문이다. 그 결과는 어레이가 픽셀 페이즈(1-3-1-3-1)를 갖는 불균일 어레이라는 것이다. 픽셀 페이즈는 일 픽셀에서 다음 픽셀로의 이동은 순서대로 1 스텝, 3 스텝, 1 스텝 등을 필요로 함을 나타낸다.

또 다른 픽셀 비닝 기법은 "3에 의한 비닝"인데, 이 기법에서는, 5×5 픽셀의 블록에서, 중앙 필드와 동일한 컬러를 갖는 모든 8개의 픽셀은 그들의 전하를 그 중앙 필드로 전송한다. 이 비닝 기법의 장점은 본래의 센서 어레이가 비닝된 패턴을 저장하는데 사용될 수 있다는 것인데, 그 이유는 중앙 필드는 그 자신의 전하를 유지하고 이 전하를 8개의 동일한 컬러의 픽셀로부터 전하를 수신하기 때문이다. "3에 의한 비닝"의 단점은 픽셀을 가지지 않는 필드의 수가 "2에 의한 비닝"과 비교해 더 많다는 것이다. "2에 의한 비닝"의 경우, 베이어 패턴의 필드의 75%는 비워질 수 있는 반면 "3에 의한 비닝"의 경우, 이 비율은 거의 89%까지 증가한다.

도 3의 베이어 패턴의 픽셀들은 스캐닝되어 그로부터 화상을 재생성하는데 사용되어야 하는 신호를 유도한다. 베이어 패턴의 일-컬러 픽셀은 순차적으로 스캐닝되고 비디오 신호는 전체 컬러 정보를 병렬로(동시에) 포함해야 하기 때문에, 손실 컬러는 "디모자이크" 알고리즘을 통해 채워져야 한다.

도 3의 베이어 패턴에서, 원은 디모자이크 알고리즘에 의해 생성되어야 하는 픽셀(의 일부분)을 나타낸다. 이들 새로운 픽셀은 네 개의 컬러를 동시에 포함할 뿐만 아니라 전체 베이어 패턴에 걸친 그들의 분포도는 픽셀 페이즈(2-2-2-2)와 함께 균일하다는 특성을 갖는다. 이들 "새로운" 픽셀은 도 3의 베이어 패턴의 일부분은 아니지만 도 3에 도시되어 생성된 비디오 신호에서 물리적 베이어 어레이의 일-컬러 픽셀(Gr,R,Gb,B)과 관련된 그들의 위치를 나타냄을 더 인지해야 한다.

디모자이크 알고리즘은 계산될 픽셀 주변의 픽셀 블록(베이어 커널)에 대해 그들의 계산을 수행한다. 이러한 커널은 대개 [3×3], [5×5],[6×6]의 크기를 갖는 픽셀들의 정방형 그룹(square group)이다. 커널의 크기가 클수록, 디모자이크 복잡도는 더 심해지는데, 즉 일 픽셀을 계산하는데 필요한 덧셈 및 곱셈의 수가 더 많아진다.

도 4는 위치(h6)에서 새로운 픽셀의 계산을 위해 선택되는 5×5 픽셀(9×9 필드) 커널[c2,k10]을 나타낸다. 대략 커널의 중심에서 새로운 픽셀을 갖는 것이 중요하기 때문에, 커널의 위치는 계산될 픽셀에 따라 변경된다. 이하의 시퀀스는 도 3에 도시된 계산될 새로운 픽셀의 위치 및 그 계산에 사용되는 커널의 위치를 나타낸다. 그 시퀀스는 다음과 같다.

이러한 커널 선택을 통해, 각 커널은 최대 5×5=25 컬러 픽셀을 포함한다는 것을 쉽게 확인할 수 있다. 예를 들어, 커널이 계산될 새로운 픽셀에 대해 균일하게 시프트되는 경우, 컬러 픽셀의 불균일 분포는 몇몇 커널이 다른 커널에 비해 보다 적은 컬러 픽셀을 갖도록 야기할 수 있다.

새로운 픽셀은 다음의 비선형의 2차원 방정식에 기초하는 디모자이크 알고리즘을 통해 커널의 컬러 픽셀로부터 계산된다.

여기서, n은 특정 컬러의 픽셀을 포함하는 커널 내의 열의 수이고, m은 그 컬러의 픽셀을 포함하는 행의 수이다. 아랫첨자(i,k)는 각각 열 및 행에서의 컬러 픽셀의 계수(rank number)를 나타낸다. x 및 y는 계산될 새로운 픽셀의 커널 내에서의 위치를 정의하고 xi 및 yk는 커널 내에서의 각 특정 컬러 픽셀의 위치를 정의한다. C_ik는 컬러 픽셀(i,k)의 값(P_ik)에 곱해져 아래의 식에 따라 새로운 픽셀의 컬러 성분의 값 P(x,y)에 대한 기여도를 정의하는 계수이다.

예를 들어, 도 4의 커널[c2,k10]에서 h6 상의 새로운 픽셀에 대한 계수는 상기 방정식(I)에 의해 계산된다. 이 계산에서, x,y 좌표의 원점의 위치는 임의적으로 선택될 수 있다. 이 예에서, 원점은 네 개의 컬러(R,Gb,B,Gr) 모두에 대해 필드(c10)에서 선택된다. 따라서, h6에 대한 새로운 픽셀의 좌표는 x=5 및 y=4이다.

도 4로부터, 커널의 적색 픽셀에 대해, 아래의 값이 적용된다.

방정식(I)을 통해, 계수(C_ik)는 다음과 같다.

이 매트릭스로부터 알 수 있는 바와 같이, 새로운 픽셀의 적색 성분은 g6(새로운 픽셀에 인접함) 상의 적색 픽셀의 값의 30/32와 k6(새로운 픽셀로부터 멀리 위치함) 상의 적색 성분의 값의 5/32를 더한 값에 c6(새로운 픽셀로부터 멀리 위치 하되 그 사이에 g6-픽셀을 가짐) 상의 적색 픽셀의 값의 3/32를 뺀 값을 갖는다. 다른 적색 픽셀은 새로운 픽셀에 기여하지 않는데 그 이유는 픽셀(c6,g6,k6)은 새로운 픽셀과 동일한 수평 라인에 위치하기 때문이다.

동일한 계산이 커널의 다른 컬러 픽셀에 대해 수행될 수 있다. 커널의 Gb 픽셀에 대해, 다음의 값이 적용된다.

이것은 다음의 계수를 제공한다.

모든 계수의 합은 항상 1이다는 것을 주목해야 한다. 이것이 의미하는 바는, 특정 컬러의 커널 픽셀 모두가 동일한 값을 갖는 경우, 새로운 픽셀 또한 이 컬러에 대해 그 값을 갖게 될 것이라는 것이다.

청색 컬러 픽셀의 값은 다음과 같으며,

계수 매트릭스는 다음과 같다.

Gr 컬러 픽셀의 값은 다음과 같으며,

계수 매트릭스는 다음과 같다.

도 5의 장치는 컬러 필터 어레이(C)를 통해 인입 광을 수신하는 센서 어레이(S)를 포함한다. 센서로부터 판독된 픽셀 정보는 "2에 의한 비닝"되고, 제 2 어레이(T)에 저장되며 그와 같이 비닝된 픽셀은 이어서 아날로그-디지털 컨버터(A)에서 픽셀마다 예를 들어 10 비트의 디지털 신호로 변환된다. 디지털 신호는 이어서 디모자이크 프로세서(D)에서 처리된다. 비닝 동작이 디지털식으로 수행되는 경우 어레이(T)는 AD 컨버터(A) 뒤에 배치될 것이다. 픽셀 데이터가 라인 단위 및 픽셀 단위로 프로세서(D)에 전송되는 경우 비닝은 또한 "실시간(on the fly)"으로 수행될 수 있다. 프로세서(D)에서, 신호는 전술한 디모자이크 알고리즘을 거치게 되어 네 개의 병렬 컬러 비디오 신호를 생성한다. 신호(Gr,Gb)를 평균화하면 녹색 신호(G)가 생성된다.

프로세서(D)는 각 픽셀마다 방정식(I)을 반복적으로 계산함으로써 새로운 픽셀을 얻을 수 있다. 그러나, 한번 계산된 계수(C_ik)를 프로세서(D)의 메모리(M)에 저장하고, 컬러 픽셀의 값을 이 저장된 계수와 곱하며, 각 컬러 픽셀로부터 그렇게 얻어진 기여값(contributions)을 더하여 새로운 픽셀의 값을 얻는 것이 보다 편리하다. 메모리(M)에 저장될 계수의 수는 제한되는데, 그 이유는 네 개의 커널 유형만이 존재하기 때문이다. 이들 커널 유형은 도 3에서 그들의 제각기의 새로운 픽셀 원 안에 로마 숫자(I,II,III 및 IV)를 통해 도시되어 있다. 커널 유형(II)은 도 4에 관한 것이며, 이 커널은 25개의 계수(R-픽셀용 9, Gb 픽셀용 6, B 픽셀용 4 및 Gr 픽셀용 6)를 필요로 한다는 것이 도시되어 있다. 다른 세 개의 커널 유형 각각은 25개의 (다른) 계수를 필요로 하며, 그에 따라 디모자이크 알고리즘을 수행하기 위해서는 100개의 계수가 저장될 필요가 있다.

위에서 나타낸 바와 같이, 계수는 모두 2의 멱수인 분모를 갖는 분수이다. 이것은 디지털 계산을 비교적 용이하게 한다. 분모는 "2에 의한 비닝" 패턴에서, 일 컬러의 행 또는 열 간의 거리가 항상 4의 정수 멱수이다는 사실로부터 유도된다. 이러한 장점은 "3에 의한 비닝"이 적용되는 경우에는 존재하지 않는데, 그 이유는 일 컬러의 행 또는 열 간의 거리는 6 또는 6의 배수이기 때문이다.

본 발명의 또 다른 실시예는 이미지 선명화의 특징에 관한 것이다. 이를 위해, 보간 계수와 같은 선명화 계수가 존재하는데, 이 계수는 선택된 커널의 픽셀-값과 곱해져야 한다. 이 곱셈의 결과는 함께 더해지고, 그와 같이 얻어진 컬러 픽셀의 기여값의 합은 새로운 픽셀의 제각기의 컬러를 수정하는데 사용된다.

필요한 선명화 계수(S_ik)는 보간 계수(C_ik)를 계산하기 위해 위에서 제공한 2차 함수(I)의 1차 또는 2차 도함수를 취함으로써 계산된다. 1차 도함수를 통해 이 미지의 에지는 개선될 것이고 한편 2차 도함수는 이미지의 세부사항을 증가시키는 역할을 할 수 있다. 후자의 선명화 방법의 바람직한 예는 2차의 2차원 부분 도함수 연산을 제공하는 잘 알려진 라플라스 연산자(△)를 사용할 것이다. 이 연산자(△)는 상기 보간 함수(I)에 실행될 때, 다음을 제공한다.

n=3 및 m=3에 대해, 이 방정식은 계수(S₁₁)에 대해 다음을 제공한다.

다른 계수(S12,S13,S21,S22,S23,S31,S32,S33)에 대해, 지수에 변경된 유사한 표현이 적용된다. n=3,m=2인 경우, 선명화 계수에 대한 방정식은 보다 간단해지는데, 예를 들어 S₁₁에 대해,

이고, n=2,m=3인 경우

이다. n=2,m=2인 경우, 모든 선명화 계수는 0이다. 이들 방정식을 통해, 도 4의 픽셀 커널에 대한 선명화 계수는 계산되어 다음의 결과를 제공한다.

적색 픽셀의 경우

,

Gb 픽셀의 경우

,

Gr 픽셀의 경우

,

청색 픽셀의 경우

매트릭스 내의 모든 계수의 합은 항상 0임을 주목한다. 이것이 의미하는 바는 커널 내의 특정 컬러의 모든 픽셀이 동일한 값을 갖는 경우 선명화는 이루어지지 않을 것이라는 것이다.

선명화 계수의 저장 및 제각기의 픽셀 값과 이들 계수의 곱셈은 도 5와 관련하여 설명한 동일한 프로세서(D)에서 수행될 수 있다. 이 경우, 이 프로세서는 픽셀 값에 보간 계수(C_ik)를 곱하는 수단과, 이 곱셈의 결과들을 합하여 보간된 새로운 픽셀을 생성하는 수단과, 동일한 픽셀 값에 선명화 계수(S_ik)를 곱하는 수단과, 이 곱셈의 결과들을 합사여 새로운 픽셀에 대한 선명화 정보를 생성하는 수단 및 끝으로 선명화 정보를 보간된(새로운) 픽셀에 더하는 수단을 포함할 수 있다. 두 계수의 합(C_ik+S_ik)을 단일 메모리 위치에 저장할 수도 있고 그와 같이 합해진 계수를 픽셀 값에 곱할 수도 있다. 그러나, 이 솔루션의 단점은 노이즈 코링(noise coring), 선명도 이득 조정 및 소프트 선명도와 같은 선명도 정보에 대한 후처리 특징을 더할 수 없다는 것이다. 이와 같은 선명도 후처리를 허용하는 장치는 도 6에 도시되어 있다.

도 6의 장치는 선명호 계수(S_ik)를 저장하기 위한 메모리(Ms)를 포함하는 선 명화 프로세서(E)를 포함한다. 선명화 프로세서(E)는 AD 컨버터(A)로부터 프로세서(D)와 동일한 픽셀 데이터를 수신하고, 이들 픽셀 데이터를 선명화 계수(C_ik)와 곱하며 이 곱셈의 결과들을 더하여 선명화 컬러 성분(Rs,Gbs,Grs,Bs)을 생성한다. 바람직하게, 이들 선명화 컬러 성분은 예를 들어 방정식 Ys=0,3Rs+0,3Gbs+0,3Grs+0,1Bs에 따라 선명화 휘도 성분(Ys)으로 결합된다. 이어서, 선명화 휘도 성분(Ys)은 노이즈 코링, 선명도 이득 및 소프트 선명도와 같은 바람직한 후처리가 수행되는 후처리 유닛(F)에 인가된다. 그때 얻어진 성분(Y')은 후속하여 RGB-YUV 매트릭스의 휘도 성분에 더해진다.

전술한 실시예는 제한적이보다는 예시적이며 당업자라면 첨부한 청구항의 범주를 벗어나는 일 없이 다수의 또 다른 실시예를 설계할 수 있을 것이다. 청구항에서, 괄호안의 임의의 참조 부호는 청구항을 제한하는 것으로 해석되어서는 안된다. "포함하는"이라는 표현은 청구항에 기재된 것 이외의 소자 또는 단계의 존재를 배제하는 것은 아니다. "단수"의 표현은 복수의 존재를 배제하지 않는다. 본 발명은 몇몇 구별되는 소자를 포함하는 하드웨어를 통해, 및/또는 적절히 프로그래밍된 프로세서에 의해 구현될 수 있다. 몇몇 수단을 열거하는 장치 청구항에서, 이들 수단들 중 몇몇은 하나로 또한 동일한 항목의 하드웨어로 구현될 수 있다. 소정의 수단이 단지 서로 다른 종속항에서 기재되어 있다는 사실은 이들 수단의 결합이 이용될 수 없다는 것을 나타내는 것은 아니다.

Claims

모자이크 컬러 필터 어레이를 구비한 감광 이미지 센서로부터 컬러 비디오 신호를 생성하는 방법에 있어서,

직사각형 커널(rectangular kernel)의 특정 컬러의 컬러 픽셀의 컬러 픽셀 값에 계수 세트를 곱하고 그 곱셈의 결과를 합산함으로써 상기 특정 컬러의 컬러 픽셀의 컬러 픽셀 값으로부터 상기 특정 컬러의 새로운 픽셀 값을 보간하여 상기 새로운 픽셀 값을 획득하는 단계를 포함하되, 상기 계수 세트는 비선형의 2차원 보간 함수(a non-linear two-dimensional interpolation function)를 준수하는

컬러 비디오 신호 생성 방법.
제 1 항에 있어서,

상기 계수 세트(C_ik)는 실질적으로
를 준수하고, m 및 n은 선택된 직사각형 커널에서 상기 특정 컬러의 상기 컬러 픽셀의 행 및 열의 수이고, xi,yk는 상기 컬러 픽셀의 좌표이며, x,y는 새로운 픽셀 값이 보간되어야 하는 픽셀의 좌표를 나타내는

컬러 비디오 신호 생성 방법.
제 1 항 또는 제 2 항에 있어서,

각 픽셀마다, 컬러 픽셀의 커널은 상기 커널 각각이 동일한 수의 컬러 픽셀을 갖도록 불균일 패턴의 픽셀로부터 선택되는

컬러 비디오 신호 생성 방법.
제 3 항에 있어서,

상기 불균일 패턴은 "2에 의한 비닝(binning by 2)" 프로세스에 의해 생성되고, 각 커널은 5×5 컬러 픽셀을 갖는 9×9 필드를 포함하는

컬러 비디오 신호 생성 방법.
제 1 항에 있어서,

상기 컬러 픽셀에 선명화 계수(sharpening coefficients)(S_ik) 세트를 곱하는 단계와,

상기 곱셈 단계의 결과를 합산하는 단계와,

상기 합산 단계의 결과를 사용하여 상기 새로운 픽셀의 값을 수정하는 단계

를 포함하여

상기 컬러 비디오 신호의 선명도를 증가시키는 것을 특징으로 하되, 상기 선명화 계수 세트는 상기 비선형 2차원 보간 함수의 2차 도함수를 준수하는

컬러 비디오 신호 생성 방법.
제 5 항에 있어서,

상기 계수(C_ik) 세트는 실질적으로
를 준수하고, m 및 n은 선택된 직사각형 커널에서 상기 특정 컬러의 상기 컬러 픽셀의 행 및 열의 수이고, xi,yk는 상기 컬러 픽셀의 좌표이며, x,y는 새로운 픽셀 값이 보간되어야 하는 픽셀의 좌표를 나타내며, 상기 선명화 계수(S_ik) 세트는 실질적으로 △C_ik를 준수하고, △는 2차원 라플라스 연산자를 나타내는

컬러 비디오 신호 생성 방법.
컬러 비디오 신호를 생성하는 장치에 있어서,

모자이크 컬러 필터 어레이(C)를 구비한 감광 이미지 센서(S)와,

상기 이미지 센서로부터 판독된 픽셀의 커널을 선택하고, 커널의 특정 컬러의 픽셀 값을 계수와 곱하여 곱해진 픽셀 값을 획득하고, 상기 곱해진 픽셀 값을 더하여 상기 컬러 비디오 신호의 새로운 픽셀 값을 구성함으로써 비선형의 2차원 보간 알고리즘을 수행하는 비디오 신호 프로세서(D)를

포함하는 컬러 비디오 신호 생성 장치.
제 7 항에 있어서,

상기 이미지 센서(S)로부터 판독된 픽셀의 커널을 선택하고, 커널의 특정 컬러의 픽셀을 선명화 계수(S_ik)와 곱하며 상기 곱해진 픽셀을 더하여 상기 컬러 비디오 신호의 새로운 픽셀에 대한 선명화 정보(Ys,Y's)를 구성함으로써 2차원 선명화 알고리즘을 수행하는 비디오 신호 프로세서(D,E)를 더 포함하는

컬러 비디오 신호 생성 장치.