KR100636971B1 - 이미지센서의 포커스 데이타 생성 장치 및 방법 - Google Patents

Abstract

본 발명은 포커스 데이타 추출시 하드웨어적인 리소스 증가와 파워 소모의 증가를 방지할 수 있는 이미지센서의 포커스 데이타 생성 장치 및 그 방법을 제공하기 위한 것으로, 이를 위해 본 발명은, RGB 베이어 패턴으로부터 포커스 데이타를 획득하기 위한 윈도우를 선택하고, 상기 선택된 윈도우 영역에서 포커스 데이타를 사용하기 위해 상기 RGB 베이어 패턴에서 M×N(M, N은 자연수)의 그린(G) 평면을 생성하는 그린 보간부; 및 상기 M×N의 그린(G) 평면에서 포커스 데이타를 추출하는 포커스 데이타 생성부를 포함하는 이미지센서의 포커스 데이타 생성 장치를 제공한다.

또한, 본 발명은, RGB 베이어 패턴으로부터 포커스 데이타를 획득하기 위한 윈도우를 선택하는 단계; 상기 선택된 윈도우 영역에서 상기 RGB 베이어 패턴을 이용하여 M×N(M, N은 자연수)의 그린(G) 평면을 생성하기 위해 보간하는 단계; 상기 그린 보간이 이루어진 픽셀의 배드 픽셀 유무를 판별하는 단계; 및 배드 픽셀이 존재하지 않음에 따라 상기 M×N의 그린(G) 평면에서 포커스 데이타를 추출하는 단계를 포함하는 이미지센서의 포커스 데이타 생성 방법를 제공한다.

자동 포커스 조절, 포커스 데이타 생성, 이미지센서, 그린 보간.

Description

이미지센서의 포커스 데이타 생성 장치 및 방법{APPARATUS FOR GENERATION OF FOCUS DATA IN IMAGE SENSOR AND METHOD FOR GENERATION THE SAME}

도 1은 종래기술에 따른 이미지센서의 포커스 데이타 생성 장치를 도시한 블럭도.

도 2는 본 발명의 일실시예에 따른 이미지센서의 포커스 데이타 생성 장치를 도시한 블럭도.

도 3은 본 발명의 일실시예에 따른 이미지센서의 포커스 데이타 생성 과정을 도식화한 플로우 챠트.

도 4는 RGB의 스펙트럼 특성(Spectral characteristic)을 도시한 그래프.

도 5는 그린(G) 보간을 도시한 도면.

도 6은 경계 값 생성을 위한 그린(G) 평면과 라플라시안 마스크의 콘볼루션을 도식화한 도면.

* 도면의 주요부분에 대한 부호의 설명 *

200 : 그린 보간부 201 : 포커스 데이타 생성부

본 발명은 이미지센서의 자동 포커스 조절(Auto Focus Control)에 관한 것으로 특히, RGB 베이어 칼라 패턴을 갖는 이미지센서에서 그린(G) 정보만을 이용하여 포커스 데이타를 생성하는 장치 및 그 방법에 관한 것이다.

CMOS(Complementary Metal Oxide Semiconductor) 이미지센서는 현재 모바일 폰(Mobile phone), PC(Personal Computer)용 카메라(Camera) 및 전자기기 등에서 광범위하게 사용되고 있는 디바이스(Device)이다. CMOS 이미지센서는 기존에 이미지센서로 사용되던 CCD(Charge Coupled Device)에 비해 구동방식이 간편하며, 신호 처리 회로(Signal Processing Circuit)를 한 칩에 집적할 수 있어서 SOC(System On Chip)가 가능하므로 모듈의 소형화를 가능하게 한다.

또한, 기존에 셋-업(Set-up)된 CMOS 기술을 호환성 있게 사용할 수 있으므로 제조 단가를 낮출 수 있는 등 많은 장점을 가지고 있다.

최근의 이미지센서 시스템에서 자동 포커스 조절 기능이 이미지센서의 필수적인 기능으로 자리잡았으며, 다양한 환경 하에서 얼마나 초점을 선명하게 맞추어 보여주는 가가 이미지센서의 기능을 결정하는 기준이 되고 있다. 이에 따라 자동 포커스 조절 기능을 구현하는 이미지센서 시스템이 늘어나고 있다.

도 1은 종래기술에 따른 이미지센서의 포커스 데이타 생성 장치를 도시한 블럭도이다.

도 1을 참조하면, 종래의 포커스 데이타 생성 장치는 RGB 베이어 패턴을 이용하여 RGB 보간(Interpolation)을 실시하는 RGB 보간부(100)와, 보간된 RGB 데이타를 이용하여 휘도 성분인 'Y'값 추출을 위해 색 공간 변환(Color space conversion)을 실시하는 색 공간 변환부(101)와, 색 공간 변환을 통해 추출된 'Y' 값을 이용하여 포커스 데이타를 생성하는 포커스 데이타 생성부(102)를 구비하여 구성된다.

상기한 구성을 갖는 종래의 포커스 데이타 생성 장치는, RGB 보간부(100)를 통해 베이어 패턴(Bayer pattern)을 모든 픽셀의 위치에서 RGB 값을 갖도록 보간한 후, RGB 도메인(Domain)에서 휘도 값 'Y'를 추출하여 포커스 데이타를 생성하였다. 이 경우 포커스 데이타를 생성하기 위해 보간부(100)와 'Y' 값 추출을 위한 색 공간 변환부(101)가 필요하게 된다.

이렇게 보간과 색 공간 변환을 위한 블럭이 추가됨으로써, 하드웨어 리소스가 부가적으로 필요하게 되고, 이로 인한 파워 소모 또한 증가한다.

상기와 같은 종래 기술의 문제점을 해결하기 위해 제안된 본 발명은, 포커스 데이타 추출시 하드웨어적인 리소스 증가와 파워 소모의 증가를 방지할 수 있는 이미지센서의 포커스 데이타 생성 장치 및 그 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명은, RGB 베이어 패턴으로부터 포커스 데이타를 획득하기 위한 윈도우를 선택하고, 상기 선택된 윈도우 영역에서 포커스 데이타를 사용하기 위해 상기 RGB 베이어 패턴에서 그린(G) 정보가 없는 픽셀은 그린(G) 정보를 갖는 최인접 픽셀들의 평균 값을 갖는 M×N(M, N은 자연수)의 그린(G) 평면을 생성하는 그린 보간부; 및 상기 M×N의 그린(G) 평면에서 픽셀의 경계 값 또는 고주파 에너지를 합하여 포커스 데이타를 추출하는 포커스 데이타 생성부를 포함하는 이미지센서의 포커스 데이타 생성 장치를 제공한다.

또한, 상기 목적을 달성하기 위하여 본 발명은, RGB 베이어 패턴으로부터 포커스 데이타를 획득하기 위한 윈도우를 선택하는 단계; 상기 선택된 윈도우 영역에서 상기 RGB 베이어 패턴을 이용하여 그린 정보를 갖지 않는 픽셀은 그린 정보를 갖는 최인접 픽셀들의 그린 값 평균으로 하는 M×N(M,N은 자연수)의 그린(G) 평면을 생성하기 위해 보간하는 단계; 상기 그린 보간이 이루어진 픽셀의 배드 픽셀 유무를 판별하는 단계; 및 배드 픽셀이 존재하지 않음에 따라 상기 M×N의 그린(G) 평면에서 포커스 데이타를 추출하는 단계를 포함하는 이미지센서의 포커스 데이타 생성 방법를 제공한다.

앞서 설명한 바와 같이, 종래의 경우 베이어 패턴을 갖는 영상을 RGB 보간한 후 RGB 도메인에서 Y값 추출을 위한 색 공간 변환을 거친 후, 추출된 Y값을 경계 검출 필터를 거치도록 한 다음, 포커스 데이타를 추출하였다.

하지만, 본 발명은 베이어 도메인에서 바로 그린(G) 보간을 실시한 후 경계 검출 필터(Edge detection filter) 혹은 주파수 도메인으로 변환(Transform)을 실시함으로써, 하드웨어 리소스에 보다 효과적으로 포커스 데이타를 생성할 수 있다.

도 4는 RGB의 스펙트럼 특성(Spectral characteristic)을 도시한 그래프이다.

도 4는 RGB의 파장(nm)에 따른 상대 응답도(Relative response)를 나타내는 바, 그린(G)은 중간 크기의 파장을 가지므로 레드(R)와 블루(B)의 절보를 함계 포함하고 있다.

하기의 수학식 1은 RGB 도메인으로부터 휘도값을 추출하는 식을 나타낸다.

Y = 0.299×R + 0.587×G + 0.114×B

실제로 휘도 값을 추출하기 위한 수학식 1을 보면, 그린(G) 정보의 가중치가 가장 큰 것을 알 수 있다. 따라서, 휘도 성분을 따로 추출하는 프로세스 없이 그린(G) 정보만을 이용하여 정확한 포커스 데이타를 생성할 수 있다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.

앞서 설명한 바와 같이, 본 발명은 베이어 패턴을 갖는 이미지센서에서 하드웨어 리소스를 줄이며 포커스 데이타를 생성하기 위해 베이어 패턴에서 그린(G) 정보만을 이용한다.

도 2는 본 발명의 일실시예에 따른 이미지센서의 포커스 데이타 생성 장치를 도시한 블럭도이다.

도 2를 참조하면, 본 발명의 포커스 데이타 생성 장치는 RGB 베이어 패턴으로부터 포커스 데이타를 획득하는 윈도우(Window)를 선택하고, 선택된 윈도우 영역에서 포커스 데이타를 사용하기 위해 베이어 패턴에서 M×N(M,N은 자연수)의 그린(G) 평면(Plane)을 생성하는 그린(G) 보간부(200)와, M×N의 그린(G) 평면에서 고주파 성분의 경계값을 추출하여 포커스 데이타를 추출하는 포커스 데이타 생성부(201)를 구비하여 구성된다.

또한, 도 3은 본 발명의 일실시예에 따른 이미지센서의 포커스 데이타 생성 과정을 도식화한 플로우 챠트이다.

이하에서는, 도 2 및 도 3을 참조하여 본 발명의 포커스 데이타 생성 과정을 살펴본다.

먼저, RGB 베이어 패턴으로부터 포커스 데이타 생성을 위한 윈도우를 선택한 다음(S301), 선택된 윈도우 내의 RGB 베이어 패턴에서 주변 그린(G) 픽셀의 정보를 이용하여 보간을 실시한다(S302).

이 때, (M+1)×(N+1)의 베이어 패턴에서 M×N의 그린(G) 평면을 얻을 수 있으며, 또한 M×N의 베이어 패턴에서 M×N의 그린(G) 평면을 얻을 수 있다.

도 5는 그린(G) 보간을 도시한 도면이다.

여기서는 3×3의 베이어 패턴을 갖는 윈도우를 이용하여 3×3의 그린(G) 평면을 얻는 그린(G) 보간을 실시한 것을 그 예로 하였다.

도 5의 (a)를 참조하면, (1,1), (1,3), (2,2), (3,1), (3,3)의 위치는 그린(G) 정보를 가지고 있지만, 그 외의 위치는 그린(G) 정보가 없으므로 하기의 수학식 2를 이용하여 그린(G) 보간을 실시한다.

G12 = (G11 + G22 + G13)/3, G21 = (G11 + G22 + G31)/3

G23 = (G13 + G22 + G33)/3, G32 = (G22 + G31 + G33)/3

즉, 그린(G) 정보가 없는 픽셀은 그린(G) 정보를 갖는 최인접 픽셀의 그린(G) 값의 평균으로 한다.

베이어 데이타는 배드 픽셀 제거(Bad pixel cancellation) 과정을 거쳤을 수도 있으나, 그렇지 않을 경우 배드 픽셀에 의한 포커스 데이타의 영향을 줄이기 위해 배드 픽셀 유무를 판별한 다음(S303), 배드 픽셀이 없을 경우 경계 검출 필터를 이용하여 포커스 데이타를 생성한다(S304).

판별 결과, 배드 픽셀이 존재할 경우 배드 픽셀 보상(Bad pixel compensation)을 실시한 후(S305), 그린 보간을 다시 실시한다(S302).

하기의 수학식 3은 배드 픽셀 판정 및 그 보정 과정을 간략히 기술한다.

만약, (|G22 - G11| ＞ Th(문턱값) & |G22 - G13| ＞ Th(문턱값) & |G22 - G31| ＞ Th(문턱값) & |G22 - G33| ＞ Th(문턱값))을 만족한다면,

G22는 배드 픽셀 이므로, G22 = (G11 + G13 + G31 + G33/4)로 배드 픽셀 보 정,

상기한 조건을 만족하지 않는다면, G22는 배드 픽셀이 아니므로 배드 픽셀 보정을 실시하지 않음.

즉, 해당 픽셀 G22에서 그린(G) 정보를 갖는 픽셀(G11, G13, G31, G33)과의 모든 차의 절대값이 일정 문턱값(Th) 보다 클 경우 해당 픽셀(G22)을 배드 픽셀로 간주하고, 그렇지 않을 경우 해당 픽셀(G22)을 배드 픽셀로 간주하지 않는다. 또한, 해당 픽셀(G22)이 배드 픽셀로 판명되면, 해당 픽셀(G22)의 값은 그린(G) 정보를 갖는 픽셀(G11, G13, G31, G33)의 평균값으로 보정한다.

상기한 과정을 통해 그린(G) 보간과 패드 픽셀 판별 및 보정이 이루어진 후, 포커스 데이타를 생성하게 되는 바, 이하에서는 포커스 데이타 생성 과정을 살펴본다.

포커스 데이타 생성을 위해서는 고주파 성분의 에너지 혹은 경계 값을 생성해야 한다. 고주파 성분의 에너지는 M×N 퓨리에 변환(Fourier transform)이나 이산 코사인 변환(Discrete cosine transform)으로 공간 도메인(Spatial domain)의 영상 정보를 주파수 도메인으로 바꾸어 고주파 영역의 영상 정보만을 취하여 포커스 데이타를 생성할 수 있다.

M×N 블럭의 주파수 변환은 라인 메모리를 필요로 하는 등 하드웨어 면적을크게하는 데 결정적인 영향을 미치게 되므로, 이 프로세스 대신 포커스 데이타 생성을 위해 M×N 경계 검출 필터를 적용할 수 있다.

도 6은 경계 값 생성을 위한 그린(G) 평면과 라플라시안 마스크(Laplacian mask)의 콘볼루션(Convolution)을 도식화한 도면이다.

각 픽셀의 경계 값은 잘 알려진 소벨(Sobel)이나 라플라시안 같은 M×N의 경계 검출 필터의 계수를 곱한 후, 곱해진 값들의 합으로 볼 수 있다. 이렇게 구한 포커스 영역에 속하는 각 화소의 경계 값을 계속 누적하여 포커스 값을 생성한다.

도 6에 도시된 그린(G) 평면과 라플라시안 마스크를 적용하면 하기의 수학식 4와 같은 결과를 얻는다.

E = 8×G22 - (G11 + G12 + G13 + G21 + G23 + G31 + G32 + G33)

이러한 과정을 통해 포커스를 구하고자 하는 영역에 속한 픽셀의 경계 값 또는 각 블럭의 고주파 에너지를 합하여 포커스 값을 생성할 수 있다.

전술한 바와 같이 이루어지는 본 발명은, RGB 베이어 패턴을 갖는 이미지센서를 장착한 시스템에서 자동 포커스 조절을 위한 포커스 데이타 생성 방법으로, 지금까지 포커스 값을 생성하기 위해 필요했던 R/B 보간과 색 공간 변환 과정을 생략하여 하드웨어 크기와 전력 소비를 크게 줄일 수 있음을 실시예를 통해 알아보았다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으 나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

상술한 본 발명은, 자동 포커스 조절을 위한 포커스 데이타 산출시 하드웨어적인 리소스와 파워 소비를 줄일 수 있어, 이미지센서의 기능을 크게 향상시키는 효과가 있다.

Claims (11)

1. RGB 베이어 패턴으로부터 포커스 데이타를 획득하기 위한 윈도우를 선택하고, 상기 선택된 윈도우 영역에서 포커스 데이타를 사용하기 위해 상기 RGB 베이어 패턴에서 그린(G) 정보가 없는 픽셀은 그린(G) 정보를 갖는 최인접 픽셀들의 평균 값을 갖는 M×N(M, N은 자연수)의 그린(G) 평면을 생성하는 그린 보간부; 및

   상기 M×N의 그린(G) 평면에서 픽셀의 경계 값 또는 고주파 에너지를 합하여 포커스 데이타를 추출하는 포커스 데이타 생성부

   를 포함하는 이미지센서의 포커스 데이타 생성 장치.
2. 제 1 항에 있어서,

   상기 그린 보간부는,

   (M+1)×(N+1)의 베이어 패턴에서 M×N의 그린(G) 평면을 얻거나, M×N의 베이어 패턴에서 M×N의 그린 평면을 얻는 것을 특징으로 하는 이미지센서의 포커스 데이타 생성 장치.
3. RGB 베이어 패턴으로부터 포커스 데이타를 획득하기 위한 윈도우를 선택하는 단계;

   상기 선택된 윈도우 영역에서 상기 RGB 베이어 패턴을 이용하여 그린 정보를 갖지 않는 다수의 픽셀들 각각은 그린 정보를 갖는 최인접 픽셀들의 그린 값 평균으로 하는 M×N(M,N은 자연수)의 그린(G) 평면을 생성하기 위해 보간하는 단계;

   상기 그린 보간이 이루어진 픽셀의 배드 픽셀 유무를 판별하는 단계; 및

   배드 픽셀이 존재하지 않음에 따라 상기 M×N의 그린(G) 평면에서 포커스 데이타를 추출하는 단계

   를 포함하는 이미지센서의 포커스 데이타 생성 방법.
4. 삭제
5. 제 3 항에 있어서,

   상기 배드 픽셀 유무를 판별하는 단계에서,

   그린 정보를 갖는 중앙 픽셀의 값에서 윈도우의 최외곽에 위치하는 다수의 픽셀들 각각의 그린 값을 뺀 값이 모두 문턱값을 초과할 경우 상기 중앙 픽셀을 배드 픽셀로 간주하며,

   그 이하일 경우 배드 픽셀이 아닌 것으로 판별하는 것을 특징으로 하는 이미지센서의 포커스 데이타 생성 방법.
6. 제 5 항에 있어서,

   상기 판별 결과 배드 픽셀이 존재함에 따라 배드 픽셀 보간을 실시하는 단계를 더 포함하는 것을 특징으로 하는 이미지센서의 포커스 데이타 생성 방법.
7. 제 6 항에 있어서,

   상기 중앙 픽셀이 배드 픽셀로 간주됨에 따라 최외곽에 위치하는 그린 정보의 픽셀 값들의 평균으로 보정한 다음, 보간하는 단계를 다시 실시하는 것을 특징으로 하는 이미지센서의 포커스 데이타 생성 방법.
8. 제 3 항에 있어서,

   상기 보간하는 단계에서,

   (M+1)×(N+1)의 베이어 패턴에서 M×N의 그린(G) 평면을 얻거나, M×N의 베이어 패턴에서 M×N의 그린 평면을 얻는 것을 특징으로 하는 이미지센서의 포커스 데이타 생성 방법.
9. 제 3 항에 있어서,

   상기 포커스 데이타를 추출하는 단계에서,

   상기 M×N의 그린(G) 평면에서 고주파 성분의 에너지 값을 생성하여 포커스 데이타를 얻는 것을 특징으로 하는 이미지센서의 포커스 데이타 생성 방법.
10. 제 9 항에 있어서,

    상기 고주파 성분의 에너지 값을 생성할 때, M×N 퓨리에 변환이나 이산 코사인 변환으로 공간 도메인의 영상 정보를 주파수 도메인으로 바꾸어 고주파 영역의 영상 정보만을 취하여 포커스 값을 생성하는 것을 특징으로 하는 이미지센서의 포커스 데이타 생성 방법.
11. 제 3 항에 있어서,

    상기 포커스 데이타를 추출하는 단계에서,

    상기 M×N의 그린(G) 평면과 M×N의 경계 검출 필터를 콘볼루션하여 상기 포커스 값을 얻는 것을 특징으로 하는 이미지센서의 포커스 데이타 생성 방법.

Images