KR100769548B1 - 컬러 필터 어레이 및 영상 보간 방법 - Google Patents

Abstract

본 발명은 이미지 센서에 관한 것으로, 보다 상세하게는 넓은 동적 범위(wid e dynamic range)를 위해 효율적인 영상 신호를 생성하는 컬러 필터 어레이(color filter array) 및 색상 보간(color interpolation) 방법에 관한 것이다. 컬러 필터 어레이는 다광량 화소 데이터를 가지는 제1 화소 영역 및 저광량 화소 데이터를 가지는 제2 화소 영역을 포함하되, 상기 제1 화소 영역과 상기 제2 화소 영역이 교번하여 구성되며, 상기 제1 화소 영역 및 상기 제2 화소 영역은 베이어 패턴(Bayer pattern)과 동일하게 녹색 필터가 배열되고, 상기 녹색 필터 간에 적색 필터 및 청색 필터가 교번하여 배열된다. 이미지 센서에서 영상을 합성하기 위한 프레임 메모리가 필요없도록 하여 이미지 센서의 칩 면적에 있어서 이득이 된다.

이미지 센서, 컬러 필터 어레이, 보간, 베이어 패턴

Description

컬러 필터 어레이 및 영상 보간 방법{Color filter array and image interpolation method}

도 1은 RGB 베이어 패턴의 예시도.

도 2 및 도 3은 종래의 영상을 색상 보간하는 방법의 예시도.

도 4는 노출 시간이 짧은 영상과 긴 영상, 그리고 이를 합성한 영상의 예시도.

도 5는 본 발명의 바람직한 일 실시예에 따른 이미지 센서의 화소 어레이를 나타낸 도면.

도 6은 본 발명의 바람직한 일 실시예에 따른 컬러 필터 어레이의 일부분을 나타낸 도면.

도 7은 본 발명의 바람직한 일 실시예에 따른 컬러 필터 어레이를 적용할 때 색상 보간 방법의 흐름도.

도 8은 색상 보간 방법을 설명하기 위한 컬러 필터 어레이의 예시도.

본 발명은 이미지 센서에 관한 것으로, 보다 상세하게는 넓은 동적 범위(wid e dynamic range)를 위해 효율적인 영상 신호를 생성하는 컬러 필터 어레이(color filter array) 및 색상 보간(color interpolation) 방법에 관한 것이다.

이미지 센서(image sensor)는 여러 개의 화소가 2차원 구조로 배열되어 있으며, 각 화소는 들어오는 빛의 밝기에 따라서 이를 전기적인 신호로 변환시키게 된다. 이러한 전기 신호를 측정하면 각 픽셀에 유입되는 빛의 양을 알 수 있고 이를 이용하여 화소 단위의 영상을 구성할 수 있다. 이와 같이 빛의 양에 상응하는 전기 신호를 수치로 표현한 값을 화소값이라고 하며 화소 데이터에 포함된다. 여기서, 화소값은 0~255 사이의 값으로 표현될 수 있다.

디지털 카메라 등 이미지 센서를 포함하는 디지털 광학 장치들은 일반적으로 하나의 이미지 센서를 사용하는데, 완전 색상(full color)을 얻기 위해서는 각각의 화소에 대해 보다 많은 정보를 필요로 한다. 그런데 이미지 센서의 화소들은 영상에 포함된 여러 개의 색상 중에서 단 하나의 색상에 대한 화소 데이터를 추출하기 때문에 컬러 필터 어레이(CFA; Color Filter Array)를 이용하여 그 주위의 화소에 대한 정보로부터 잃어버린 화소의 정보를 추론하여야 한다. 컬러 필터 어레이는 화소 어레이의 한 화소마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있다. 컬러 필터 어레이는 컬러 요소가 배열된 구조에 따라서 여러가지 형태를 가지고 있으나, 가장 널리 사용되는 패턴은 RGB 베이어(Bayer) 패턴이다. 여기서, R은 적색, G은 녹색, B는 청색을 의미한다.

화소들의 전체 개수의 절반은 녹색(G)이며, 전체 개수의 각 4분의 1은 적색(R)과 청색(B)에 할당된다. 컬러 정보를 얻기 위해, 컬러 영상 화소들은 적색, 녹색 또는 청색 필터로 반복 패턴으로 이루어지며, 예를 들어 베이어 패턴의 경우 2 x 2 배열이라 할 수 있다. 베이어 패턴은 사람의 눈이 장면의 녹색 내용으로부터 루미넌스(Luminance) 데이터의 대부분을 도출한다는 전제에 기초한다. 따라서, 화소들 중 보다 많은 화소가 녹색이 되도록 함으로써 적색, 녹색 및 청색 화소들이 동일한 개수인 상태에서 교번하는 RGB 컬러 필터에 비해 높은 해상도 이미지가 생성될 수 있다.

도 1은 RGB 베이어 패턴의 예시도이다. 도 1을 참조하면, 제1 열은 RGRGRG…, 제2 열은 GBGBGB…의 순서로 입력될 수 있으며, 홀수 열은 제1 열의 반복 패턴을 가지고, 짝수 열은 제2 열의 반복 패턴을 갖는다. 제1열의 최초 화소는 R, G, B 화소 중에서 어느 하나가 올 수 있으며, R, G, B 화소는 4개 종류의 패턴을 가질 수 있다.

한편, 이러한 컬러 필터 어레이를 이용하여 영상의 색상을 복구하는 것을 색상 보간(Color Interpolation)이라 한다.

중심 화소를 보간하는 방법은 크게 비적응적 보간 방법(Nonadaptive Algorithms)과 적응적 보간 방법(Adaptive Algorithms)으로 나누어진다. 비적응적 보간 방법은 모든 화소에 대해서 고정된 패턴으로 보간하는 알고리즘으로 수행이 쉽고, 계산 양이 적은 장점이 있다. 적응적 알고리즘은 잃어버린 화소값을 찾기 위해 가장 효과적인 이웃 화소들의 특성을 이용하여 추정하는 알고리즘으로 계산양은 많지만 비적응적 보간 방법에 비해 더 나은 영상을 얻을 수 있다.

비적응적 보간 방법에는 가장 인접한 이웃 화소 보간법(Nearest neighbor replication), 양선형 보간법(Bilinear interpolation), 중간값 보간법(Median interpolation), 점진적 색상 변화 보간법 등이 있으며, 적응적 보간 방법에는 패턴 일치 보간 알고리즘(Pattern matching based interpolation algorithm), 기울기의 문턱치 기반 가변수를 이용한 보간법(Interpolation using a threshold-based variable number of gradients), 경계값 보존 보간법(Edge sensing interpolation) 등이 있다.

이러한 보간 방법 중 가장 대표적인 양선형 보간법(Bilinear interpolation)에 대해 설명한다.

양선형 보간법이란 네 개의 가장 가까운 화소들에 가중치를 곱한 값으로 중심 화소값을 할당하는 방법으로 가중치는 선형적으로 결정되어지며, 각각 가중치는 각각에 존재하는 화소로부터의 거리에 정비례하게 된다.

도 2 및 도 3은 종래의 영상을 색상 보간하는 방법의 예시도이다.

도 2의 (a) 내지 (c)는 3×3 마스크 크기의 RGB 베이어 패턴에서 적색 화소(R)가 중심 화소인 경우이다. 중심 화소인 적색 화소는 주변의 다른 화소들을 이용하여 녹색과 청색 성분을 획득하게 된다. 그 획득 방법의 일예로 하기의 수학식 1에 의해 R 위치의 적색, 녹색, 청색 성분이 결정된다.

<수학식 1>

중심 화소가 청색 화소(B)인 경우에도 상기한 수학식 1과 유사한 방법에 의하여 B 위치의 적색, 녹색, 청색 성분을 결정할 수 있다.

중심 화소가 녹색 화소(G)인 경우는 도 3의 (a) 내지 (c)에 도시되어 있다.

중심 화소인 녹색 화소는 주변의 다른 화소들을 이용하여 적색과 청색 성분을 획득하게 된다. 그 획득 방법의 일예로 하기의 수학식 2에 의해 R 위치의 적색, 녹색, 청색 성분이 결정된다.

<수학식 2>

도 4는 노출 시간이 짧은 영상과 긴 영상, 그리고 이를 합성한 영상의 예시도이다.

노출 시간이 짧은 영상의 경우 이미지 센서가 빛을 받아들일 수 있는 시간 이 짧아 전반적으로 밝기가 어두운 영상이 획득된다(도 4의 (a) 참조). 그리고 노출 시간이 긴 영상의 경우 이미지 센서가 빛을 받아들이기에 적당한 시간 이상으로 빛을 받아들임으로 인해 과도한 밝기를 가지는 영상이 획득된다(도 4의 (b) 참조). 따라서, 두 경우 모두 이미지 센서의 동적 범위(dynamic range)가 협소한 문제점이 있다.

이 경우 노출 시간이 짧은 영상과 노출 시간이 긴 영상을 합성한 합성 영상을 생성하면 이미지 센서는 도 4의 (c)에 도시된 것처럼 적합한 밝기를 가지고 넓은 동적 범위(wide dynamic range)를 가지는 영상을 획득할 수 있다.

이때, 노출 시간이 짧은 영상의 각 화소의 적색(r), 녹색(g), 청색(b) 성분에 대한 화소값과 노출 시간이 긴 영상의 각 화소의 적색(R), 녹색(G), 청색(B) 성분에 대한 화소값이 필요하게 된다.

이를 위해서 상술한 RGB 베이어 패턴의 컬러 필터 어레이를 가지는 이미지 센서는 추가적으로 프레임 메모리를 구비하여 노출 시간이 짧은 영상의 각 화소의 화소값과 노출 시간이 긴 영상의 각 화소의 화소값을 별도로 저장하고, 추후 미리 설정된 방법에 의해 합성 영상을 생성하고자 할 때 프레임 메모리에 저장된 값을 읽어와야 하는 문제점이 있다.

따라서, 본 발명은 이미지 센서에서 영상을 합성하기 위한 프레임 메모리가 필요없도록 하는 컬러 필터 어레이 및 이를 이용한 색상 보간 방법을 제공한다.

또한, 2장의 영상에 대한 합성 영상을 출력함에 있어서 영상 출력 속도는 저하되지 않고 1장의 영상 출력 속도와 동일할 수 있는 컬러 필터 어레이 및 이를 이용한 색상 보간 방법을 제공한다.

또한, 이미지 센서의 넓은 동적 범위를 위해 적은 광량에 의한 영상의 각 화소의 적색(r), 녹색(g), 청색(b) 성분에 대한 화소값과 많은 광량에 의한 영상의 각 화소의 적색(R), 녹색(G), 청색(B) 성분에 대한 화소값을 동시에 획득할 수 있는 컬러 필터 어레이 및 이를 이용한 색상 보간 방법을 제공한다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

상기 목적들을 달성하기 위하여, 본 발명의 일 측면에 따르면, 많은 광량에 의한 다광량 화소 데이터를 가지는 제1 화소 영역; 및 적은 광량에 의한 저광량 화소 데이터를 가지는 제2 화소 영역을 포함하되, 상기 제1 화소 영역과 상기 제2 화소 영역이 교번하여 구성되며, 상기 제1 화소 영역 및 상기 제2 화소 영역은 녹색 필터는 베이어 패턴(Bayer pattern)과 동일하게 배열되고, 상기 녹색 필터 간에 적색 필터 및 청색 필터가 교번하여 배열되는 컬러 필터 어레이가 제공될 수 있다.

바람직하게는, 상기 제1 화소 영역에서 홀수번째 라인과 짝수번째 라인의 녹색 필터 배열은 동일하며, 적색 필터 및 청색 필터의 위치는 서로 바뀔 수 있다. 그리고 상기 제2 화소 영역은 홀수번째 라인과 짝수번째 라인의 녹색 필터 배열은 동일하며, 적색 필터 및 청색 필터의 위치는 서로 바뀔 수 있다.

여기서, 상기 제1 화소 영역 및 상기 제2 화소 영역은 행 단위, 열 단위 또는 블록 단위로 구분될 수 있다.

또한, 상기 다광량 화소 데이터와 상기 저광량 화소 데이터는 노출 시간의 장단, 각 화소의 광감도 또는 각 화소의 크기에 따라 광량의 차이가 날 수 있다.

상기 목적들을 달성하기 위하여, 본 발명의 다른 측면에 따르면, 많은 광량에 의한 다광량 화소 데이터를 가지는 제1 화소 영역과, 적은 광량에 의한 저광량 화소 데이터를 가지는 제2 화소 영역을 포함하되, 상기 제1 화소 영역과 상기 제2 화소 영역이 교번하여 구성되는 컬러 필터 어레이를 가지는 이미지 센서에서의 색상을 보간하는 방법에 있어서, (a) 색상 보간을 하고자 하는 색상 보간 대상 화소를 정하는 단계; (b) 상기 색상 보간 대상 화소의 위치를 중심으로 인접한 화소들 중에서 상기 제1 화소 영역 상의 화소와 상기 제2 화소 영역 상의 화소로부터 각각 적색, 녹색 및 청색의 화소 데이터 중 상기 색상 보간 대상 화소의 화소 데이터를 제외한 3개 이상의 화소 데이터에 대한 보간 데이터를 생성하는 단계; 및 (c) 상기 보간 데이터 및 상기 색상 보간 대상 화소의 화소 데이터를 이용하여 상기 색상 보간 대상 화소의 적색, 녹색 및 청색에 대한 최종 보간 데이터를 산출하는 단계를 포함하는 색상 보간 방법이 제공될 수 있다.

바람직하게는, (d) 한 프레임의 영상에 대해 색상 보간이 완료될 때까지 상기 단계 (a) 내지 (c)를 반복하는 단계를 더 포함할 수 있다.

또한, 상기 단계 (b)는 상기 색상 보간 대상 화소의 위치를 중심으로 각 색상 별로 가장 근접한 다광량 화소 데이터 및 저광량 화소 데이터의 평균을 상기 보간 데이터로 할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 컬러 필터 어레이 및 이를 이용한 색상 보간 방법의 바람직한 실시예를 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 동일 또는 유사한 개체를 순차적으로 구분하기 위한 식별기호에 불과하다.

도 5는 본 발명의 바람직한 일 실시예에 따른 이미지 센서의 화소 어레이를 나타낸 도면이다.

본 발명에서 프레임 메모리 없이 상대적으로 많은 광량에 의해 생성된 영상과 상대적으로 적은 광량에 의해 생성된 영상을 하나의 프레임 상에 동시에 얻기 위해서는 도 5에 도시된 것처럼 행 단위로 노출 시간을 달리하여 각 화소별로 신호 축적 시간을 다르게 하거나 광강도 또는 크기 특성이 다른 화소를 사용한다. 또는 화소 어레이에서의 표현되는 컬러의 구조 즉, 컬러 필터들을 다르게 배열할 수도 있다. 이하에서는 행 단위로 노출 시간을 다르게 배열한 화소 어레이 및 이에 적용되는 컬러 필터 어레이를 중심으로 설명하지만, 행 단위 이외에 열 단위 또는 블록 단위(N×N 크기의 정사각형 등) 별로 노출 시간을 다르게 배열할 수 있음은 물론이다.

본 실시예에서 L은 노출 시간을 길게 적용한 과노출 화소 라인이며, S는 노출 시간을 짧게 적용한 저노출 화소 라인이다. 과노출 화소 라인(L)과 저노출 화소 라인(S)은 행 별로 연속되지 않도록 교번하여 배치되는 것이 바람직하다. 화소 어레이를 구성하는 각 화소에서의 적색, 녹색 및 청색 성분에 대하여 적합한 색상 보간을 위해서는 인접한 위치에 과노출 화소와 저노출 화소가 동일 또는 유사한 비율로 배열되어 있는 것이 유리하기 때문이다.

도 6은 본 발명의 바람직한 일 실시예에 따른 컬러 필터 어레이의 일부분을 나타낸 도면이다. 컬러 필터 어레이는 도 6에 도시된 일부분을 반복적으로 적용시켜 구성된다.

도 6을 참조하면, 컬러 필터 어레이는 노출 시간이 긴 영상의 화소 데이터를 가지는 과노출 화소 라인(L1, L2)과, 노출 시간이 짧은 영상의 화소 데이터를 가지는 저노출 화소 라인(S1, S2)을 포함한다. 과노출 화소 라인(L1, L2)과 저노출 화소 라인(S1, S2)은 L1, S1, L2, S2, ... 와 같이 교번하여 이미지 센서의 화소 어레이(도 5 참조)를 구성한다. 즉, 제1 행, 제3 행 등 홀수번째 행에 과노출 화소 라인(L1, L2)이, 제2 행, 제4 행 등 짝수번째 행에 저노출 화소 라인(S1, S2)이 배치된다. 또는 그 반대로 홀수번째 행에 저노출 화소 라인(S1, S2)이, 짝수번째 행에 과노출 화소 라인(L1, L2)이 배치될 수 있다.

과노출 화소 라인(L1, L2)과 저노출 화소 라인(S1, S2)에서의 녹색 필터(G) 는 도 1에 도시된 RGB 베이어 패턴과 동일하게 배열된다. 즉, 전체 화소 어레이를 기준으로 녹색, 적색, 청색 필터의 수는 2:1:1이 된다.

그리고 제1 과노출 화소 라인(L1)과 제2 과노출 화소 라인(L2)에서의 녹색 필터 배열이 동일하고, 제1 저노출 화소 라인(S1)과 제2 저노출 화소 라인(S2)에서의 녹색 필터 배열이 동일하다. 과노출 화소 라인(L1, L2)과 저노출 화소 라인(S1, S2)은 서로 다른 열에 녹색 필터가 배열되는 것이 바람직하다.

제1 과노출 화소 라인(L1)의 제2 및 제4 열은 녹색 필터가 차지하고 있으며, 제1 열은 적색 필터가, 제3 열은 청색 필터가 차지하는 것으로 가정한다. 이때 제2 과노출 화소 라인(L2)의 제2 및 제4 열은 제1 과노출 화소 라인(L1)과 동일하게 녹색 필터가 차지하고 있으며, 제1 열은 청색 필터가, 제3 열은 적색 필터가 차지하도록 하여 적색 필터 및 청색 필터의 배열은 제1 과노출 화소 라인(L1)과 다르도록 한다. 이는 제1 저노출 화소 라인(S1)의 각 화소에서 과노출 화소 데이터 중 적색 및 청색 성분에 대해 적합한 색상 보간이 이루어지도록 하기 위함이다.

제1 저노출 화소 라인(S1)의 제1 및 제3 열은 녹색 필터가 차지하고 있으며, 제2 열은 청색 필터가, 제4 열은 적색 필터가 차지하는 것으로 가정한다. 이때 제2 과노출 화소 라인(S2)의 제1 및 제3 열은 제1 저노출 화소 라인(S1)과 동일하게 녹색 필터가 차지하고 있으며, 제2 열은 적색 필터가, 제4 열은 청색 필터가 차지하도록 하여 적색 필터 및 청색 필터의 배열은 제1 저노출 화소 라인(S1)과 다르도록 한다. 이는 제1 저노출 화소 라인(S1)의 각 화소에서 과노출 화소 데이터 중 적색 및 청색 성분에 대해 적합한 색상 보간이 이루어지도록 하기 위함이다.

본 발명에서 과노출 화소 라인(L1, L2 등) 또는 저노출 화소 라인(S1, S2 등) 대신에 다광량에 의한 제1 화소 영역과 저광량에 의한 제2 화소 영역에 대한 구분은 노출 시간의 장단 이외에 해당 영역을 구성하는 화소 자체의 감도 또는 화소의 크기로도 가능하다. 제1 화소 영역은 상대적으로 광감도가 높은 화소로 구성되고, 제2 화소 영역은 상대적으로 광강도가 낮은 화소로 구성되면 노출 시간을 일정하게 하더라도 각 영역에서 받아들이는 광량의 차이가 발생하게 된다. 또한, 제1 화소 영역의 화소 크기를 크게 하고, 제2 화소 영역의 화소의 크기를 작게 하면 동일한 노출 시간 내에서도 각 영역에서 받아들이는 광량의 차이가 발생하게 된다.

도 7은 본 발명의 바람직한 일 실시예에 따른 컬러 필터 어레이를 적용할 때 색상 보간 방법의 흐름도이고, 도 8은 색상 보간 방법을 설명하기 위한 컬러 필터 어레이의 예시도이다. 여기서, R, B, G는 노출 시간이 긴 과노출 화소 데이터 중 적색 성분, 청색 성분, 녹색 성분의 화소 데이터로 정의하고, r, b, g는 노출 시간이 짧은 저노출 화소 데이터 중 적색 성분, 청색 성분, 녹색 성분의 화소 데이터로 정의한다.

도 7을 참조하면, 단계 S710에서 우선 색상 보간을 하고자 하는 색상 보간 대상 화소를 정한다.

그리고 단계 S720에서 색상 보간 대상 화소에 해당하는 위치를 중심으로 인접한 화소들로부터 적색, 녹색, 청색 성분에 해당하는 보간 데이터를 획득한다. 이때, 적색, 녹색, 청색에 대해서 각각 많은 광량에 의한 다광량 보간 데이터 및 적 은 광량에 의한 저광량 보간 데이터를 별도로 획득한다.

따라서, 하나의 화소에 대하여 적색, 녹색, 청색에 대한 제1 화소 영역에서의 다광량 화소에서의 보간 데이터인 R, G, B 및 제2 화소 영역에서의 저광량 화소에서의 보간 데이터인 r, g, b를 획득할 수 있게 되고, 이미지 센서의 넓은 동적 범위를 구현할 수 있게 된다.

이 경우 색상 보간 대상 화소가 가지고 있는 자신의 화소 데이터는 그대로 사용할 수 있으므로, 자신의 화소 데이터를 제외한 3개 이상(바람직하게는, 5개)의 성분에 대한 보간 데이터를 획득하여 색상 보간을 한다. R, G, B, r, g, b의 6개 데이터를 이용한 색상 보간은 각 색에 대한 값의 평균값을 구하는 방법, 중간값을 구하는 방법 등 다양한 방법이 가능하다.

색상 보간 대상 화소의 위치를 중심으로 하여 가장 근접한 다광량 적색 화소, 다광량 청색 화소, 다광량 녹색 화소, 저광량 적색 화소, 저광량 청색 화소, 저광량 녹색 화소를 검색한다. 그리고 거리가 같은 화소가 복수개 있을 경우에는 평균값을 계산한다. 이 값들을 색상 보간 대상 화소의 위치에서의 다광량 보간 데이터 및 저광량 보간 데이터로 설정한다.

단계 S730에서 다광량 보간 데이터 및 저광량 보간 데이터에서 적색, 녹색, 청색별로 평균값 또는 중간값 등을 구하는 방법에 의하여 색상 보간을 함으로써 각 색 성분별로 최종 보간 데이터를 구할 수 있다.

단계 S740에서 한 프레임의 모든 화소에 대하여 단계 S710 내지 S730을 반 복하고, 한 프레임의 모든 화소에 대한 색상 보간이 완료되면, 단계 S750으로 진행하여 다음 프레임에 대한 색상 보간을 실시한다.

이하에서는 실시예를 들어 색상 보간 방법을 구체적으로 설명한다. 우선 색상 보간 대상 화소가 녹색 성분을 가지고 있는 경우를 예로 든다. 도 8에서 색상 보간 대상 화소를 G33으로 가정하면, 하기의 수학식 3에 의해 다광량 화소에서의 보간 데이터 및 저광량 화소에서의 보간 데이터가 각각 획득된다.

<수학식 3>

여기서, R33, G33, B33은 제3 행(L2) 제3 열 위치에 해당하는 화소의 다광량 화소 데이터이고, r33, g33, b33은 동위치의 저광량 화소 데이터이다.

다른 예로 색상 보간 대상 화소가 적색 성분을 가지고 있는 경우를 예로 든다. 도 8에서 색상 보간 대상 화소를 R34로 가정하면, 하기의 수학식 4에 의해 다광량 화소에서의 보간 데이터 및 저광량 화소에서의 보간 데이터가 각각 획득된다.

<수학식 4>

여기서, R34, G34, B34는 제3 행(L2) 제4 열 위치에 해당하는 화소의 다광량 화소 데이터이고, r34, g34, b34는 동위치의 저광량 화소 데이터이다.

또 다른 실시예로 색상 보간 대상 화소가 청색 성분을 가지고 있는 경우는 상술한 적색 성분의 경우와 유사하므로, 상세한 설명은 생략한다.

본 발명에서 상술한 색상 보간 방법은 한 프레임에 해당하는 모든 화소들에 대하여 넓은 동적 범위를 구현하기 위해 반복적으로 적용될 수 있다.

본 발명에서 다광량 화소 데이터와 저광량 화소 데이터는 노출 시간의 장단, 해당 영역을 구성하는 화소 자체의 감도 또는 화소의 크기로 생성된다. 제1 화소 영역의 노출 시간을 길게 하고 제2 화소 영역의 노출 시간을 짧게 하면 광량 차이가 발생하게 된다. 이 경우 노출 시간이 긴 영상의 화소 데이터를 생성하는 동안에 일정 시간 노출을 주고 그 외 빛을 차단하여 노출 시간이 짧은 영상의 화소 데이터를 생성할 수 있으므로, 화소 데이터의 생성 시간에 있어서 손해는 없다.

또한, 제1 화소 영역은 상대적으로 광감도가 높은 화소로 구성되고, 제2 화소 영역은 상대적으로 광강도가 낮은 화소로 구성되면 노출 시간을 일정하게 하더라도 각 영역에서 받아들이는 광량의 차이가 발생하게 된다. 또한, 제1 화소 영역의 화소 크기를 크게 하고, 제2 화소 영역의 화소의 크기를 작게 하면 동일한 노출 시간 내에서도 각 영역에서 받아들이는 광량의 차이가 발생하게 된다.

상술한 바와 같이, 본 발명에 따른 컬러 필터 어레이 및 이를 이용한 색상 보간 방법은 이미지 센서에서 영상을 합성하기 위한 프레임 메모리가 필요없도록 하여 이미지 센서의 칩 면적에 있어서 이득이 된다.

또한, 2장의 영상에 대한 합성 영상을 출력함에 있어서 영상 출력 속도는 저하되지 않고 1장의 영상 출력 속도와 동일할 수 있다.

또한, 저광량의 영상의 각 화소의 적색(r), 녹색(g), 청색(b) 성분에 대한 화소값과 다광량의 영상의 각 화소의 적색(R), 녹색(G), 청색(B) 성분에 대한 화소값을 동시에 획득하여 합성함으로써 이미지 센서의 넓은 동적 범위를 구현할 수 있다.

또한, 신호의 축적 시간을 다르게 하거나 광감도 특성 또는 크기가 다른 화소 구조를 이용하여 저광량 특성과 다광량 특성을 가지는 화소를 이용하여 넓은 동적 범위를 구현할 수 있다.

Claims (8)

1. 많은 광량에 의한 다광량 화소 데이터를 가지는 제1 화소 영역; 및

   적은 광량에 의한 저광량 화소 데이터를 가지는 제2 화소 영역을 포함하되,

   상기 제1 화소 영역과 상기 제2 화소 영역이 교번하여 구성되며, 상기 제1 화소 영역 및 상기 제2 화소 영역은 녹색 필터는 베이어 패턴(Bayer pattern)과 동일하게 배열되고, 상기 녹색 필터 간에 적색 필터 및 청색 필터가 교번하여 배열되는 컬러 필터 어레이.
2. 제1항에 있어서,

   상기 제1 화소 영역에서 홀수번째 라인과 짝수번째 라인의 녹색 필터 배열은 동일하며, 적색 필터 및 청색 필터의 위치는 서로 바뀌는 컬러 필터 어레이.
3. 제1항에 있어서,

   상기 제2 화소 영역은 홀수번째 라인과 짝수번째 라인의 녹색 필터 배열은 동일하며, 적색 필터 및 청색 필터의 위치는 서로 바뀌는 컬러 필터 어레이.
4. 제1항에 있어서,

   상기 제1 화소 영역 및 상기 제2 화소 영역은 행 단위, 열 단위 또는 블록 단위로 구분되는 컬러 필터 어레이.
5. 제1항에 있어서,

   상기 다광량 화소 데이터와 상기 저광량 화소 데이터는 노출 시간의 장단, 각 화소의 광감도 또는 각 화소의 크기에 따라 광량의 차이가 나는 컬러 필터 어레이.
6. 많은 광량에 의한 다광량 화소 데이터를 가지는 제1 화소 영역과, 적은 광량에 의한 저광량 화소 데이터를 가지는 제2 화소 영역을 포함하되, 상기 제1 화소 영역과 상기 제2 화소 영역이 교번하여 구성되는 컬러 필터 어레이를 가지는 이미지 센서에서의 색상을 보간하는 방법에 있어서,

   (a) 색상 보간을 하고자 하는 색상 보간 대상 화소를 정하는 단계;

   (b) 상기 색상 보간 대상 화소의 위치를 중심으로 인접한 화소들 중에서 상기 제1 화소 영역 상의 화소와 상기 제2 화소 영역 상의 화소로부터 각각 적색, 녹색 및 청색의 화소 데이터 중 상기 색상 보간 대상 화소의 화소 데이터를 제외한 3개 이상의 화소 데이터에 대한 보간 데이터를 생성하는 단계; 및

   (c) 상기 보간 데이터 및 상기 색상 보간 대상 화소의 화소 데이터를 이용하여 상기 색상 보간 대상 화소의 적색, 녹색 및 청색에 대한 최종 보간 데이터를 산출하는 단계를 포함하는 색상 보간 방법.
7. 제6항에 있어서,

   상기 색상 보간 방법은 (d) 한 프레임의 영상에 대해 색상 보간이 완료될 때까지 상기 단계 (a) 내지 (c)를 반복하는 단계를 더 포함하는 색상 보간 방법.
8. 제6항 또는 제7항에 있어서,

   상기 단계 (b)는 상기 색상 보간 대상 화소의 위치를 중심으로 각 색상 별로 가장 근접한 다광량 화소 데이터 및 저광량 화소 데이터의 평균을 상기 보간 데이터로 하는 색상 보간 방법.

Images