KR102211862B1

KR102211862B1 - 이미지 센서 및 이를 포함하는 이미지 센서 시스템

Info

Publication number: KR102211862B1
Application number: KR1020140042186A
Authority: KR
Inventors: 조성광; 김대관; 김태찬; 이형구
Original assignee: 삼성전자주식회사
Priority date: 2014-04-09
Filing date: 2014-04-09
Publication date: 2021-02-03
Also published as: US20150296194A1; US9485483B2; KR20150117019A

Abstract

이미지 센서는 픽셀 어레이, 마이크로 렌즈 어레이 및 복수의 편광 필터들을 포함한다. 상기 픽셀 어레이는 복수의 픽셀들을 포함한다. 상기 마이크로 렌즈 어레이는 상기 픽셀 어레이 상에 배치된다. 상기 마이크로 렌즈 어레이는 상기 픽셀 어레이의 픽셀 그룹과 중첩되는 복수의 마이크로 렌즈들을 포함한다. 상기 편광 필터들은 상기 마이크로 렌즈들 상에 배치된다. 상기 편광 필터들은 적어도 2개 이상의 서로 다른 편광 위상을 갖는다. 이에 따라서, 로컬 오토 화이트 밸런싱의 정확도 및 신뢰성을 향상시킬 수 있다.

Description

이미지 센서 및 이를 포함하는 이미지 센서 시스템{IMAGE SENSOR AND IMAGE SENSOR SYSTEM INCLUDING THE SAME}

본 발명은 이미지 센서에 관한 것으로서, 더욱 상세하게는 마이크로 렌즈 및 편광 필터를 갖는 이미지 센서에 관한 것이다.

일반적으로 이미지 센서 시스템은 이미지 센서 및 이미지 센서의 영상 정보를 처리하는 신호 처리부를 포함한다.

이미지 센서는 외부에서 입사하는 입사광을 전기 신호로 변환하는 반도체 소자로서, 상기 입사광에 상응하는 영상 정보를 제공하고 있다.

이미지 센서 시스템은 이미지 센서의 상기 영상 정보를 기초로 이미지 보간(Image Interpolation), 색 보정(Color Correction), 오토 화이트 밸런싱(Auto White Balancing), 감마 보정(Gamma Correction), 색 변환(Color Conversion) 등을 수행할 수 있다.

종래의 오토 화이트 밸런싱 방식에서는 영상의 통계 분석을 통하여 후보 광원을 구하고 그 중 확률적으로 가장 높은 광원을 영상의 광원으로 하여 화이트 밸런싱을 수행한다.

종래의 오토 화이트 밸런싱 방식에서는 입력 영상 데이터만을 사용하여 단색 영상이나, 광원이 여러 개 있는 경우에는 화이트 밸런싱의 정확도가 급격히 떨어질 수 있다.

본 발명의 일 목적은 정확도 및 신뢰도가 향상된 이미지 센서를 제공하는 것이다.

본 발명의 다른 목적은 상기 이미지 센서를 포함하는 이미지 센서 시스템을 제공하는 것이다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 센서는 픽셀 어레이, 마이크로 렌즈 어레이 및 복수의 편광 필터들을 포함한다. 상기 픽셀 어레이는 복수의 픽셀들을 포함한다. 상기 마이크로 렌즈 어레이는 상기 픽셀 어레이 상에 배치된다. 상기 마이크로 렌즈 어레이는 상기 픽셀 어레이의 픽셀 그룹과 중첩되는 복수의 마이크로 렌즈들을 포함한다. 상기 편광 필터들은 상기 마이크로 렌즈들 상에 배치된다. 상기 편광 필터들은 적어도 2개 이상의 서로 다른 편광 위상을 갖는다.

본 발명의 일 실시예에 있어서, 제1 마이크로 렌즈 상에는 제1 편광 위상을 갖는 제1 편광 필터가 배치되고, 상기 제1 마이크로 렌즈와 제1 방향으로 이웃한 제2 마이크로 렌즈 상에는 상기 제1 편광 위상과 다른 방향을 갖는 제2 편광 위상을 갖는 제2 편광 필터가 배치될 수 있다.

본 발명의 일 실시예에 있어서, 상기 제1 마이크로 렌즈와 제2 방향으로 이웃한 제3 마이크로 렌즈 상에는 제3 편광 위상을 갖는 제3 편광 필터가 배치되고, 상기 제3 마이크로 렌즈에 상기 제1 방향으로 이웃한 제4 마이크로 렌즈 상에는 상기 제3 편광 위상과 다른 방향을 갖는 제4 편광 위상을 갖는 제4 편광 필터가 배치될 수 있다.

본 발명의 일 실시예에 있어서, 상기 제1 편광 위상은 상기 제2 방향을 기준으로 0도를 갖고, 상기 제2 편광 위상은 상기 제2 방향을 기준으로 90도를 가지며, 상기 제3 편광 위상은 상기 제2 방향을 기준으로 45도를 갖고, 상기 제4 편광 위상은 상기 제2 방향을 기준으로 135도를 가질 수 있다.

상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 센서 시스템은, 이미지 센서 및 신호 처리부를 포함한다. 상기 이미지 센서는 픽셀 어레이, 마이크로 렌즈 어레이 및 복수의 편광 필터들을 포함한다. 상기 픽셀 어레이는 복수의 픽셀들을 포함한다. 상기 마이크로 렌즈 어레이는 상기 픽셀 어레이 상에 배치된다. 상기 마이크로 렌즈 어레이는 상기 픽셀 어레이의 픽셀 그룹과 중첩되는 복수의 마이크로 렌즈들을 포함한다. 상기 편광 필터들은 상기 마이크로 렌즈들 상에 배치된다. 상기 편광 필터들은 적어도 2개 이상의 서로 다른 편광 위상을 갖는다. 상기 신호 처리부는 상기 이미지 센서에서 생성된 입력 영상을 기초로 복수의 편광 서브 영상들을 생성하고, 상기 편광 서브 영상들을 기초로 로컬 오토 화이트 밸런싱을 수행한다.

본 발명의 일 실시예에 있어서, 상기 신호 처리부는 상기 입력 이미지를 기초로 상기 편광 서브 영상들을 생성하는 편광 서브 영상 생성부, 상기 편광 서브 영상들의 차이에 대응하는 광원 특성 값을 판단하는 광원 특성 판단부, 상기 편광 서브 영상들을 기초로 상기 입력 이미지의 뎁스(depth)를 판단하는 뎁스 판단부 및 상기 광원 특성 값 및 상기 뎁스를 기초로 로컬 오토 화이트 밸런싱을 수행하는 로컬 오토 화이트 밸런싱부를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 편광 서브 영상 생성부는 제1 편광 위상을 갖는 제1 편광 필터를 이용하여 제1 편광 서브 영상을 생성하고, 상기 제1 편광 위상과 다른 방향을 갖는 제2 편광 위상을 갖는 제2 편광 필터를 이용하여 제2 편광 서브 영상을 생성하며, 상기 제1 편광 위상 및 상기 제2 편광 위상과 다른 방향을 갖는 제3 편광 위상을 갖는 제3 편광 필터를 이용하여 제3 편광 서브 영상을 생성하고, 상기 제1 편광 위상 내지 상기 제3 편광 위상과 다른 방향을 갖는 제4 편광 위상을 갖는 제4 편광 필터를 이용하여 제4 편광 서브 영상을 생성할 수 있다.

본 발명의 일 실시예에 있어서, 상기 광원 특성 판단부는 상기 제1 내지 제4 편광 서브 영상 중 가장 높은 휘도를 갖는 최대 편광 서브 영상의 계조 값에서 상기 제1 내지 제4 편광 서브 영상 중 가장 낮은 휘도를 갖는 최소 편광 서브 영상의 계조 값을 뺄셈할 수 있다.

본 발명의 일 실시예에 있어서, 상기 뎁스 판단부는 상기 마이크로 렌즈에 중첩되는 상기 픽셀 그룹 내에서 제1 방향의 제1 디스패리티(disparity)와 상기 제1 방향과 교차하는 제2 방향의 제2 디스패리티를 이용하여 상기 뎁스를 판단할 수 있다.

본 발명의 일 실시예에 있어서, 상기 로컬 오토 화이트 밸런싱부는 로컬 윈도우의 중심에 해당하는 중심 픽셀 그룹의 뎁스와 동일한 뎁스를 갖는 상기 로컬 윈도우 내의 상기 픽셀 그룹들의 상기 광원 특성 값들을 이용하여 화이트 밸런싱 보상 값을 생성할 수 있다.

본 발명의 일 실시예에 있어서, 상기 화이트 밸런싱 보상 값은 상기 중심 픽셀 그룹의 뎁스와 동일한 뎁스를 갖는 상기 로컬 윈도우 내의 상기 픽셀 그룹들의 상기 광원 특성 값들의 히스토그램 중 가장 높은 빈도를 갖는 광원 특성 값으로 결정될 수 있다.

본 발명의 일 실시예에 있어서, 상기 화이트 밸런싱 보상 값은 상기 중심 픽셀 그룹의 뎁스와 동일한 뎁스를 갖는 상기 로컬 윈도우 내의 상기 픽셀 그룹들의 상기 광원 특성 값들의 가중치 평균 값으로 결정될 수 있다.

상기와 같은 본 발명의 실시예들에 따른 이미지 센서 및 이미지 센서 시스템은 적어도 2개 이상의 서로 다른 편광 위상을 갖는 복수의 편광 필터들을 이용하여 복수의 편광 서브 영상들을 생성한다. 상기 복수의 편광 서브 영상들을 이용하여 광원 특성 값을 판단하고, 상대적인 뎁스를 판단하며, 상기 광원 특성 값 및 상기 상대적인 뎁스를 기초로 로컬 오토 화이트 밸런싱을 수행한다. 따라서, 여러 개의 광원이 존재하거나 단색이 많은 경우에도 정확한 로컬 오토 화이트 밸런싱을 수행할 수 있다.

도 1은 본 발명의 실시예들에 따른 이미지 센서 시스템을 나타내는 블록도이다.
도 2는 도 1의 픽셀 어레이 및 마이크로 렌즈 어레이를 나타내는 평면도이다.
도 3은 도 2의 제1 마이크로 렌즈 어레이 및 상기 제1 마이크로 렌즈 어레이와 중첩되는 픽셀 그룹을 나타내는 평면도이다.
도 4는 도 1의 디지털 신호 처리부를 나타내는 블록도이다.
도 5는 도 4의 편광 서브 영상 생성부의 동작을 나타내는 개념도이다.
도 6은 도 4의 광원 특성 판단부의 동작을 나타내는 개념도이다.
도 7a 내지 도 7d 및 도 8은 도 4의 뎁스 판단부의 동작을 나타내는 개념도이다.
도 9는 도 4의 로컬 오토 화이트 밸런싱부의 동작을 나타내는 개념도이다.
도 10은 본 발명의 실시예들에 따른 픽셀 어레이 및 마이크로 렌즈 어레이를 나타내는 평면도이다.
도 11은 본 발명의 실시예들에 따른 이미지 센서를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
도 12는 도 11의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예들에 따른 이미지 센서 시스템을 나타내는 블록도이다.

도 1을 참조하면, 이미지 센서 시스템은 이미지 센서 및 신호 처리부를 포함한다. 상기 이미지 센서는 픽셀 어레이(100) 및 마이크로 렌즈 어레이(200)를 포함한다. 상기 신호 처리부는 로우 구동부(300), 아날로그 디지털 변환부(Analog to Digital Converter; ADC, 400), 디지털 신호 처리부(Digital Signal Processor; DSP, 500) 및 제어부(600)를 포함할 수 있다.

상기 픽셀 어레이(100)는 복수의 픽셀들을 포함한다. 상기 픽셀들은 매트릭스 형태로 배치될 수 있다.

상기 픽셀 어레이(100)는 입사광에 기초하여 복수의 픽셀 신호들을 생성한다. 예를 들어, 상기 픽셀 신호들은 아날로그 픽셀 신호들일 수 있다. 상기 픽셀들은 광전 변환부를 포함할 수 있다. 상기 광전 변환부는 상기 입사광을 전기적 신호인 픽셀 신호로 변환한다.

상기 마이크로 렌즈 어레이(200)는 상기 픽셀 어레이(100) 상에 배치된다. 상기 마이크로 렌즈 어레이(200)는 복수의 마이크로 렌즈들을 포함한다. 상기 마이크로 렌즈들은 상기 픽셀 어레이(100)의 픽셀 그룹과 중첩된다.

상기 픽셀 어레이(100) 및 상기 마이크로 렌즈 어레이(200)의 구조에 대해서는 도 2 및 도 3을 참조하여 상세히 설명한다.

상기 신호 처리부는 상기 복수의 픽셀 신호들에 기초하여 영상 데이터를 생성한다.

상기 로우 구동부(300)는 상기 픽셀 어레이(100)의 각 로우에 연결되고, 상기 각 로우를 구동하는 구동 신호를 생성할 수 있다. 예를 들어, 로우 구동부(300)는 픽셀 어레이(100)에 포함되는 상기 복수의 픽셀들을 로우 단위로 구동할 수 있다.

상기 아날로그 디지털 변환부(400)는 상기 픽셀 어레이(100)의 각 컬럼에 연결되고, 상기 픽셀 어레이(100)로부터 출력되는 아날로그 신호를 디지털 신호로 변환할 수 있다. 일 실시예에서, 상기 아날로그 디지털 변환부(400)는 복수의 아날로그 디지털 변환기들을 포함하며, 각 컬럼 라인마다 출력되는 아날로그 신호들을 병렬로 디지털 신호들로 변환하는 컬럼 아날로그 디지털 변환을 수행할 수 있다. 다른 실시예에서, 아날로그 디지털 변환부(400)는 단일의 아날로그-디지털 변환기를 포함하며, 상기 아날로그 신호들을 순차적으로 디지털 신호들로 변환하는 단일 아날로그 디지털 변환을 수행할 수 있다.

실시예에 따라서, 상기 아날로그 디지털 변환부(400)는 유효 신호 성분을 추출하기 위한 상관 이중 샘플링(Correlated Double Sampling; CDS)부를 포함할 수 있다.

일 실시예에서, 상기 상관 이중 샘플링부는 리셋 성분을 나타내는 아날로그 리셋 신호와 이미지 성분을 나타내는 아날로그 이미지 신호의 차이에 기초하여 상기 유효 이미지 성분을 추출하는 아날로그 더블 샘플링(Analog Double Sampling)을 수행할 수 있다.

다른 실시예에서, 상기 상관 이중 샘플링부는 상기 아날로그 리셋 신호와 상기 아날로그 이미지 신호를 디지털 신호들로 각각 변환한 후 상기 유효 이미지 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링(Digital Double Sampling)을 수행할 수 있다.

또 다른 실시예에서, 상기 상관 이중 샘플링부는 상기 아날로그 더블 샘플링 및 상기 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수 있다.

상기 디지털 신호 처리부(500)는 상기 아날로그 디지털 변환부(400)로부터 출력된 디지털 신호를 수신하고, 상기 디지털 신호에 대하여 이미지 데이터 처리를 수행할 수 있다.

예를 들어, 상기 디지털 신호 처리부(500)는 오토 화이트 밸런싱(Auto White Balancing), 이미지 보간(Image Interpolation), 색 보정(Color Correction), 감마 보정(Gamma Correction), 색 변환(Color Conversion), 리포커싱(Refocusing) 등을 수행할 수 있다.

상기 디지털 신호 처리부(500)의 구조 및 동작에 대해서는 도 4 내지 도 9를 참조하여 상세히 설명한다.

상기 제어부(600)는 상기 로우 구동부(300), 상기 아날로그 디지털 변환부(400) 및 상기 디지털 신호 처리부(500)를 제어할 수 있다. 상기 제어부(600)는 상기 로우 구동부(300), 상기 아날로그 디지털 변환부(400) 및 상기 디지털 신호 처리부(500)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 공급할 수 있다.

일 실시예에서, 상기 제어부(600)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다.

도 2는 도 1의 픽셀 어레이(100) 및 마이크로 렌즈 어레이(200)를 나타내는 평면도이다. 도 3은 도 2의 제1 마이크로 렌즈 어레이(ML1) 및 상기 제1 마이크로 렌즈 어레이(ML1)와 중첩되는 픽셀 그룹을 나타내는 평면도이다.

상기 마이크로 렌즈 어레이(200)는 복수의 마이크로 렌즈들을 포함한다. 상기 마이크로 렌즈들은 매트릭스 형태로 배치된다. 상기 마이크로 렌즈들 상에는 적어도 2개 이상의 서로 다른 편광 위상을 갖는 복수의 편광 필터들이 배치된다.

예를 들어, 상기 마이크로 렌즈 어레이(200)는 복수의 마이크로 렌즈 유닛(MLU)을 포함한다. 상기 마이크로 렌즈 유닛(MLU)은 제1 마이크로 렌즈(ML1), 제2 마이크로 렌즈(ML2), 제3 마이크로 렌즈(ML3) 및 제4 마이크로 렌즈(ML4)를 포함한다.

상기 제2 마이크로 렌즈(ML2)는 상기 제1 마이크로 렌즈(ML1)와 제1 방향(D1)으로 이웃한다. 상기 제3 마이크로 렌즈(ML3)는 상기 제1 마이크로 렌즈(ML1)와 상기 제1 방향(D1)과 교차하는 제2 방향(D2)으로 이웃한다. 상기 제4 마이크로 렌즈(ML4)는 상기 제3 마이크로 렌즈(ML3)와 상기 제1 방향(D1)으로 이웃한다. 본 실시예에서, 상기 제2 방향(D2)은 상기 제1 방향(D1)과 수직할 수 있다.

예를 들어, 상기 제1 마이크로 렌즈(ML1) 상에는 제1 편광 위상을 갖는 제1 편광 필터가 배치된다. 상기 제2 마이크로 렌즈(ML2) 상에는 상기 제1 편광 위상과 다른 방향을 갖는 제2 편광 위상을 갖는 제2 편광 필터가 배치된다. 상기 제3 마이크로 렌즈(ML3) 상에는 상기 제1 편광 위상 및 상기 제2 편광 위상과 다른 방향을 갖는 제3 편광 위상을 갖는 제3 편광 필터가 배치된다. 상기 제4 마이크로 렌즈(ML4) 상에는 상기 제1 내지 제3 편광 위상과 다른 방향을 갖는 제4 편광 위상을 갖는 제4 편광 필터가 배치된다.

예를 들어, 상기 제1 편광 위상은 상기 제2 방향(D2)을 기준으로 0도를 가질 수 있다. 예를 들어, 상기 제2 편광 위상은 상기 제2 방향(D2)을 기준으로 90도를 가질 수 있다. 예를 들어, 상기 제3 편광 위상은 상기 제2 방향(D2)을 기준으로 시계 방향으로 45도를 가질 수 있다. 예를 들어, 상기 제4 편광 위상은 상기 제2 방향(D2)을 기준으로 시계 방향으로 135도를 가질 수 있다.

본 실시예에서, 상기 마이크로 렌즈 유닛(MLU)은 4개의 서로 다른 편광 위상을 갖는 편광 필터들에 대응되는 것을 예시하였으나, 본 발명은 상기 편광 필터들의 개수에 한정되지 않는다. 예를 들어, 상기 마이크로 렌즈 유닛(MLU)은 2개의 서로 다른 편광 위상을 갖는 편광 필터들에 대응될 수 있다. 이 때, 제1 마이크로 렌즈에 대응하는 제1 편광 위상과 제2 마이크로 렌즈에 대응하는 제2 편광 위상은 서로 수직할 수 있다. 예를 들어, 상기 마이크로 렌즈 유닛(MLU)은 6개의 서로 다른 편광 위상을 갖는 편광 필터들에 대응될 수 있다. 이 때, 제1 마이크로 렌즈에 대응하는 제1 편광 위상, 제2 마이크로 렌즈에 대응하는 제2 편광 위상, 제3 마이크로 렌즈에 대응하는 제3 편광 위상, 제4 마이크로 렌즈에 대응하는 제4 편광 위상, 제5 마이크로 렌즈에 대응하는 제5 편광 위상, 제6 마이크로 렌즈에 대응하는 제6 편광 위상은 180도를 6분할할 수 있다.

본 실시예에서, 제1 행의 마이크로 렌즈들은 제2 행의 마이크로 렌즈들은 서로 마주보게 배치될 수 있다. 따라서, 상기 제1 내지 제4 마이크로 렌즈(ML1, ML2, ML3, ML4)의 중점은 실질적으로 정사각형을 형성할 수 있다.

하나의 상기 마이크로 렌즈는 하나의 픽셀 그룹과 중첩될 수 있다. 예를 들어, 상기 픽셀 그룹은 7행 7열의 픽셀들을 포함할 수 있다. 상기 제1 마이크로 렌즈(ML1)는 제1 픽셀 행의 제1 내지 제7 픽셀(P11 내지 P17), 제2 픽셀 행의 제1 내지 제7 픽셀(P21 내지 P27), 제3 픽셀 행의 제1 내지 제7 픽셀(P31 내지 P37), 제4 픽셀 행의 제1 내지 제7 픽셀(P41 내지 P47), 제5 픽셀 행의 제1 내지 제7 픽셀(P51 내지 P57), 제6 픽셀 행의 제1 내지 제7 픽셀(P61 내지 P67) 및 제7 픽셀 행의 제1 내지 제7 픽셀(P71 내지 P77)을 커버할 수 있다.

그러나, 본 발명은 상기 픽셀 그룹 내의 상기 픽셀들의 개수에 한정되지 않는다.

예를 들어, 상기 이미지 센서는 라이트 필드 카메라(light field camera)일 수 있다. 상기 이미지 센서는 상기 하나의 마이크로 렌즈에 대응하여 상기 픽셀 그룹의 픽셀 개수의 서로 다른 영상 정보를 저장할 수 있다. 본 실시예에서, 상기 이미지 센서는 상기 하나의 마이크로 렌즈에 대응하여 49개의 서로 다른 영상 정보를 저장할 수 있다.

도 4는 도 1의 상기 디지털 신호 처리부(500)를 나타내는 블록도이다. 도 5는 도 4의 편광 서브 영상 생성부(520)의 동작을 나타내는 개념도이다. 도 6은 도 4의 광원 특성 판단부(540)의 동작을 나타내는 개념도이다. 도 7a 내지 도 7d 및 도 8은 도 4의 뎁스 판단부(560)의 동작을 나타내는 개념도이다. 도 9는 도 4의 로컬 오토 화이트 밸런싱부(580)의 동작을 나타내는 개념도이다.

도 1 내지 도 9를 참조하면, 상기 디지털 신호 처리부(500)는 상기 이미지 센서에서 생성된 입력 영상(INPUT)을 기초로 복수의 편광 서브 영상들(PSI)을 생성하고, 상기 편광 서브 영상들(PSI)을 기초로 로컬 오토 화이트 밸런싱을 수행한다.

본 실시예에서, 상기 입력 영상(INPUT)은 상기 이미지 센서에서 생성된 픽셀 신호들을 의미할 수 있다. 또는 상기 입력 영상(INPUT)은 상기 이미지 센서에서 생성된 아날로그 픽셀 신호들을 상기 아날로그 디지털 변환부(400)에서 디지털로 변환한 디지털 픽셀 신호들일 수 있다.

상기 디지털 신호 처리부(500)는 편광 서브 영상 생성부(520), 광원 특성 판단부(540), 뎁스 판단부(560) 및 로컬 오토 화이트 밸런싱(Auto White Balancing; AWB)부(580)를 포함한다.

상기 편광 서브 영상 생성부(520)는 상기 입력 영상(INPUT)을 기초로 상기 편광 서브 영상들(PSI)을 생성한다.

상기한 바와 같이 상기 입력 영상(INPUT)은 상기 픽셀 그룹 내의 픽셀 개수에 대응하는 영상 정보들을 가질 수 있다.

도 5를 참조하면, 상기 편광 서브 영상 생성부(520)는 상기 제1 편광 위상을 갖는 상기 제1 편광 필터를 통과한 영상 정보를 수집하여 제1 편광 서브 영상(PSI1)을 생성하고, 상기 제2 편광 위상을 갖는 상기 제2 편광 필터를 통과한 영상 정보를 수집하여 제2 편광 서브 영상(PSI2)을 생성하며, 상기 제3 편광 위상을 갖는 상기 제3 편광 필터를 통과한 영상 정보를 수집하여 제3 편광 서브 영상(PSI3)을 생성하고, 상기 제4 편광 위상을 갖는 상기 제4 편광 필터를 통과한 영상 정보를 수집하여 제4 편광 서브 영상(PSI4)을 생성할 수 있다.

상기 편광 서브 영상 생성부(520)는 상기 마이크로 렌즈에 대응하는 픽셀 그룹의 픽셀들 중 중앙의 픽셀만을 추출하여 상기 편광 서브 영상들(PSI)을 생성할 수 있다.

상기 광원 특성 판단부(540)는 상기 편광 서브 영상들(PSI)의 차이에 대응하는 광원 특성 값(DIFF)을 판단한다.

화이트 밸런싱이란 센싱된 영상 정보에서 광원의 특성에 대응하는 성분을 차감하여 물체 자체의 색을 더욱 명확하게 드러내는 작업이다. 예를 들어, 높은 색 온도를 갖는 푸른 제1 조명이 물체에 비치게 되면 상기 센싱된 영상 정보는 물체의 색보다 푸른 색을 띠게 되지만 인간의 눈은 상기 제1 조명의 푸른 색을 배제한 물체 자체의 색을 인식하게 된다. 그러므로 이미지 센서 시스템도 인간의 눈과 같이 상기 제1 조명의 푸른 색을 배제할 필요가 있다. 예를 들어, 낮은 색 온도를 갖는 붉은 제2 조명이 물체에 비치게 되면 상기 센싱된 영상 정보는 물체의 색 보다 붉은 색을 띠게 되지만 인간의 눈은 상기 제2 조명의 붉은 색을 배제한 물체 자체의 색을 인식하게 된다. 그러므로 이미지 센서 시스템도 인간의 눈과 같이 상기 제2 조명의 붉은 색을 배제할 필요가 있다.

상기 광원 특성 판단부(540)는 서로 다른 편광 위상을 갖는 제1 내지 제4 편광 서브 영상들(PSI1, PSI2, PSI3, PSI4) 중에서 가장 높은 휘도를 갖는 최대 편광 서브 영상의 계조 값(RMAX, GMAX, BMAX)에서 상기 제1 내지 제4 편광 서브 영상들(PSI1, PSI2, PSI3, PSI4) 중에서 가장 낮은 휘도를 갖는 최소 편광 서브 영상의 계조 값(Rmin, Gmin, Bmin)을 뺄셈하여 광원 특성 값(DIFF)을 구할 수 있다. 따라서, 상기 광원 특성 값(DIFF)은 적색 계조(RMAX-Rmin), 녹색 계조(GMAX-Gmin) 및 청색 계조(BMAX-Bmin)를 가질 수 있다.

도 6은 상기 편광 서브 영상들(PSI)의 차이 영상을 나타내며, 상기 차이 영상은 상기 광원 특성 값(DIFF)의 분포를 나타낸다. 물체의 좌측 전면에서 상대적으로 높은 색 온도를 갖는 제1 광원이 광을 조사하고 물체의 우측 후면에서 상대적으로 낮은 색 온도를 갖는 붉은 제2 광원이 광을 조사하는 경우, 상기 제1 광원이 조사된 제1 영역(L1)은 상기 제1 색 온도에 대응하는 푸른 색이 표시되고, 상기 제2 광원이 조사된 제2 영역(L2)은 상기 제2 색 온도에 대응하는 붉은 색이 표시될 수 있다.

상기 뎁스 판단부(560)는 상기 편광 서브 영상들(PSI)을 기초로 상기 입력 이미지(INPUT)의 뎁스(depth; DEP)를 판단한다.

예를 들어, 상기 뎁스 판단부(560)는 상기 마이크로 렌즈에 중첩되는 상기 픽셀 그룹 내에서 상기 제1 방향(D1)의 제1 디스패리티(disparity)와 상기 제1 방향(D1)과 교차하는 상기 제2 방향(D2)의 제2 디스패리티를 이용하여 상기 뎁스를 판단할 수 있다.

상기 뎁스 판단부(560)는 상기 제1 디스패리티 및 상기 제2 디스패리티를 얻기 위하여 상기 제1 편광 필터에 대응하는 제1 편광 서브 영상, 상기 제2 편광 필터에 대응하는 제2 편광 서브 영상, 상기 제3 편광 필터에 대응하는 제3 편광 서브 영상 및 상기 제4 편광 필터에 대응하는 제4 편광 서브 영상을 평균할 수 있다.

이와는 달리, 상기 뎁스 판단부(560)는 상기 제1 디스패리티 및 상기 제2 디스패리티를 얻기 위하여 상기 제1 편광 서브 영상 내지 상기 제4 편광 서브 영상 중 어느 하나를 선택할 수 있다.

상기 뎁스 판단부(560)는 상기 제1 방향(D1)의 상기 제1 디스패리티를 얻기 위해, 도 3의 제4 픽셀 행의 제1 내지 제7 픽셀(P41 내지 P47)에 대응하는 영상(IP41 내지 IP47)을 이용할 수 있다.

도 7a 및 도 7b는 상기 입력 영상(INPUT)의 제1 디스패리티를 나타내고, 상기 입력 영상(INPUT)의 뎁스가 큰 경우를 나타낸다.

상기 입력 영상(INPUT)은 큰 뎁스를 가지므로, 상기 제4 픽셀 행의 상기 제1 픽셀(P41)에 대응하는 제1 영상(IP41) 내지 상기 제4 픽셀 행의 상기 제7 픽셀(P47)에 대응하는 제7 영상(IP47)은 모두 동일하게 시인된다. 따라서, 상기 제1 영상(IP41) 내지 제7 영상(IP47)의 I-I'라인을 따라 자른 영상을 세로로 배열한 도 7b에서 상기 제1 영상(IP41) 내지 제7 영상(IP47)은 기울기를 갖지 않는다.

도 7c 및 도 7d는 상기 입력 영상(INPUT)의 제1 디스패리티를 나타내고, 상기 입력 영상(INPUT)의 뎁스가 작은 경우를 나타낸다.

상기 입력 영상(INPUT)은 작은 뎁스를 가지므로, 상기 제4 픽셀 행의 상기 제1 픽셀(P41)에 대응하는 제1 영상(IP41) 내지 상기 제4 픽셀 행의 상기 제7 픽셀(P47)에 대응하는 제7 영상(IP47)은 상대적인 위치가 쉬프트 되어 시인된다. 따라서, 상기 제1 영상(IP41) 내지 제7 영상(IP47)의 I-I'라인을 따라 자른 영상을 세로로 배열한 도 7d에서 상기 제1 영상(IP41) 내지 제7 영상(IP47)은 소정의 기울기로 기울어진다.

도시하지 않았으나, 이와 같은 방식으로 상기 뎁스 판단부(560)는 상기 제2 방향(D2)의 상기 제2 디스패리티를 얻기 위해, 도 3의 제4 픽셀 열의 제1 내지 제7 픽셀(P14 내지 P74)에 대응하는 영상을 이용할 수 있다.

상기 뎁스 판단부(560)는 상기 제1 디스패리티 및 상기 제2 디스패리티를 이용하여 상기 입력 영상(INPUT)의 뎁스를 판단할 수 있다.

도 8은 상기 입력 영상(INPUT)의 뎁스의 분포를 나타낸다. 예를 들어, 상기 입력 영상(INPUT)의 좌측 하부는 제1 뎁스(D1)를 갖고 상기 입력 영상(INPUT)의 중심부는 제2 뎁스(D2)를 가지며, 상기 입력 영상(INPUT)의 우측 상부는 제3 뎁스(D3)를 갖는다.

상기 로컬 오토 화이트 밸런싱부(580)는 상기 광원 특성 값(DIFF) 및 상기 뎁스(DEP)를 기초로 로컬 오토 화이트 밸런싱을 수행한다.

상기 로컬 오토 화이트 밸런싱부(580)는 상기 입력 영상(INPUT)에 화이트 밸런싱 보상 값을 곱하여 로컬 오토 화이트 밸런싱을 수행할 수 있다. 상기 화이트 밸런싱 보상 값은 R, G, B에 대한 gain값일 수 있다.

예를 들어, 상기 픽셀 그룹의 상기 광원 특성 값(DIFF)이 R, G, B에 대하여 2:1:1의 비를 갖는 경우, 상기 픽셀 그룹의 영상 정보에는 적색 광원이 비춘 것으로 판단할 수 있으며 상기 적색 광원의 색을 배제하기 위해 상기 화이트 밸런싱 보상 값은 R, G, B에 대하여 1/2:1:1의 비를 가질 수 있다.

상기 로컬 오토 화이트 밸런싱부(580)는 상기 마이크로 렌즈에 대응하는 픽셀 그룹을 단위로 하여 로컬 오토 화이트 밸런싱을 수행할 수 있다.

도 9에서, 제1 뎁스는 X로 표현하고, 제2 뎁스는 O로 표현하며, 제3 뎁스는 Δ로 표현한다.

상기 로컬 오토 화이트 밸런싱부(580)는 로컬 윈도우(LW)의 중심에 해당하는 중심 픽셀 그룹(CP)의 뎁스와 동일한 뎁스를 갖는 상기 로컬 윈도우(LW) 내의 상기 픽셀 그룹들의 상기 광원 특성 값들(DIFF)을 이용하여 화이트 밸런싱 보상 값을 생성할 수 있다.

도 9에서, 상기 로컬 윈도우(LW)의 중심에 해당하는 중심 픽셀 그룹(CP)의 뎁스는 제2 뎁스(O)이므로, 상기 로컬 오토 화이트 밸런싱부(580)는 상기 로컬 윈도우(LW) 내에서 상기 제2 뎁스(O)를 갖는 픽셀 그룹들의 상기 광원 특성 값들(DIFF)을 이용하여 상기 화이트 밸런싱 보상 값을 생성한다.

예를 들어, 상기 화이트 밸런싱 보상 값은 상기 중심 픽셀 그룹(CP)의 뎁스와 동일한 뎁스를 갖는 상기 로컬 윈도우(LW) 내의 상기 픽셀 그룹들의 상기 광원 특성 값(DIFF)들의 히스토그램 중 가장 높은 빈도를 갖는 광원 특성 값(DIFF)으로 결정될 수 있다.

예를 들어, 상기 히스토그램은 표준화된 적색 계조 및 표준화된 청색 계조를 좌표로 갖는 2차원 히스토그램일 수 있다. 예를 들어, 상기 표준화된 적색 계조는 R/(R+G+B)로 표현될 수 있다. 예를 들어, 상기 표준화된 청색 계조는 B/(R+G+B)로 표현될 수 있다.

이와는 달리, 상기 화이트 밸런싱 보상 값은 상기 중심 픽셀 그룹(CP)의 뎁스와 동일한 뎁스를 갖는 상기 로컬 윈도우(LW) 내의 상기 픽셀 그룹들의 상기 광원 특성 값(DIFF)들의 가중치 평균 값으로 결정할 수 있다. 상기 가중치는 상기 중심 픽셀 그룹(CP)과 가까운 픽셀 그룹일수록 높은 값을 갖도록 설정될 수 있다.

이와는 달리, 상기 화이트 밸런싱 보상 값은 상기 중심 픽셀 그룹(CP)의 뎁스와 동일한 뎁스를 갖는 상기 로컬 윈도우(LW) 내의 상기 픽셀 그룹들의 상기 광원 특성 값(DIFF)들의 평균 값으로 결정할 수 있다.

본 실시예에서, 상기 로컬 윈도우(LW)는 5행 7열의 픽셀 그룹에 대응하는 것으로 도시하였으나, 본 발명은 상기 로컬 윈도우(LW)의 크기에 한정되지 않는다.

상기 디지털 신호 처리부(500)는 상기 마이크로 렌즈에 대응하는 복수의 픽셀의 영상들을 이용하여 초점을 조절하는 리포커싱부를 더 포함할 수 있다.

상기 디지털 신호 처리부(500)는 상기 센싱된 영상의 감마 보정 및 컬러 보정을 수행하는 영상 보정부를 더 포함할 수 있다.

본 실시예에 따르면, 상기 디지털 신호 처리부(500)는 복수의 편광 서브 영상들을 이용하여 광원 특성 값(DIFF)을 추출할 수 있으며, 픽셀 그룹을 커버하는 마이크로 렌즈를 이용하여 입력 영상의 뎁스(DEP)를 판단할 수 있으므로, 상기 입력 영상의 뎁스(DEP) 및 상기 광원 특성 값(DIFF)을 이용하여 상기 로컬 오토 화이트 밸런싱의 정확도 및 신뢰성을 향상시킬 수 있다. 또한, 복수의 광원이 있는 경우 및 단색의 영상을 센싱하는 경우에도, 정확한 로컬 오토 화이트 밸런싱을 수행할 수 있다.

도 10은 본 발명의 실시예들에 따른 픽셀 어레이 및 마이크로 렌즈 어레이를 나타내는 평면도이다.

본 실시예에 따른 이미지 센서 및 이를 포함하는 이미지 센서 시스템은 마이크로 렌즈 어레이의 구조를 제외하면, 도 1 내지 도 9의 이미지 센서 및 이를 포함하는 이미지 센서 시스템과 실질적으로 동일하므로, 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 번호를 사용하고, 중복되는 설명은 생략한다.

도 1, 도 3 및 도 10을 참조하면, 이미지 센서 시스템은 이미지 센서 및 신호 처리부를 포함한다. 상기 이미지 센서는 픽셀 어레이(100) 및 마이크로 렌즈 어레이(200)를 포함한다. 상기 신호 처리부는 로우 구동부(300), 아날로그 디지털 변환부(Analog to Digital Converter; ADC, 400), 디지털 신호 처리부(Digital Signal Processor; DSP, 500) 및 제어부(600)를 포함할 수 있다.

상기 아날로그 디지털 변환부(400)는 상기 픽셀 어레이(100)의 각 컬럼에 연결되고, 상기 픽셀 어레이(100)로부터 출력되는 아날로그 신호를 디지털 신호로 변환할 수 있다.

상기 제2 마이크로 렌즈(ML2)는 상기 제1 마이크로 렌즈(ML1)와 제1 방향(D1)으로 이웃한다. 상기 제3 마이크로 렌즈(ML3)는 상기 제1 마이크로 렌즈(ML1)와 상기 제1 방향(D1)과 교차하는 제3 방향(D3)으로 이웃한다. 상기 제4 마이크로 렌즈(ML4)는 상기 제3 마이크로 렌즈(ML3)와 상기 제1 방향(D1)으로 이웃한다. 본 실시예에서, 상기 제3 방향(D3)은 상기 제1 방향(D1)과 수직하지 않을 수 있다. 예를 들어, 상기 제3 방향(D3)은 상기 제1 방향(D1)과 약 60도로 기울어질 수 있다.

예를 들어, 상기 제1 편광 위상은 상기 제1 방향(D1)과 수직한 제2 방향(D2)을 기준으로 0도를 가질 수 있다. 예를 들어, 상기 제2 편광 위상은 상기 제2 방향(D2)을 기준으로 90도를 가질 수 있다. 예를 들어, 상기 제3 편광 위상은 상기 제2 방향(D2)을 기준으로 시계 방향으로 45도를 가질 수 있다. 예를 들어, 상기 제4 편광 위상은 상기 제2 방향(D2)을 기준으로 시계 방향으로 135도를 가질 수 있다.

본 실시예에서, 제1 행의 마이크로 렌즈들은 제2 행의 마이크로 렌즈들은 서로 어긋나게 배치될 수 있다. 따라서, 상기 제1 내지 제4 마이크로 렌즈(ML1, ML2, ML3, ML4)의 중점은 실질적으로 평행 사변형을 형성할 수 있다. 상기 제1 내지 제3 마이크로 렌즈(ML1, ML2, ML3)의 중점은 실질적으로 정삼각형을 형성할 수 있다.

도 11은 본 발명의 실시예들에 따른 이미지 센서를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.

도 11을 참조하면, 컴퓨팅 시스템(900)은 프로세서(910), 메모리 장치(920), 저장 장치(930), 이미지 센서 시스템(940), 입출력 장치(950) 및 전원 장치(960)를 포함할 수 있다. 한편, 도 11에는 도시되지 않았지만, 컴퓨팅 시스템(900)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 시스템들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.

프로세서(910)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라서, 프로세서(910)는 마이크로프로세서(micro-processor) 또는 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(910)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus) 등을 통하여 메모리 장치(920), 저장 장치(930) 및 입출력 장치(950)에 연결되어 통신을 수행할 수 있다. 실시예에 따라서, 프로세서(910)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.

메모리 장치(920)는 컴퓨팅 시스템(900)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(920)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory; DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory; SRAM) 등과 같은 휘발성 메모리 장치 및 이피롬(Erasable Programmable Read-Only Memory; EPROM), 이이피롬(Electrically Erasable Programmable Read-Only Memory; EEPROM), 플래시 메모리(flash memory), 상변화 랜덤 액세스 메모리(Phase change Random Access Memory; PRAM), 강유전체 랜덤 액세스 메모리(Ferroelectric Random Access Memory; FRAM), 저항 랜덤 액세스 메모리(Resistive Random Access Memory; RRAM), 강자성 랜덤 액세스 메모리(Magnetic Random Access Memory; MRAM) 등과 같은 비휘발성 메모리 장치를 포함할 수 있다.

저장 장치(930)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive) 및 씨디롬(CD-ROM) 등을 포함할 수 있다. 입출력 장치(950)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 전원 장치(960)는 컴퓨팅 시스템(900)의 동작에 필요한 동작 전압을 공급할 수 있다.

이미지 센서 시스템(940)은 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(910)와 연결되어 통신을 수행할 수 있다. 상기 이미지 센서 시스템(940)은 도 1의 이미지 센서 시스템일 수 있다. 즉, 상기 이미지 센서 시스템(940)은 복수의 픽셀들을 포함하는 픽셀 어레이, 상기 픽셀 어레이의 픽셀 그룹과 중첩되는 복수의 마이크로 렌즈들을 포함하는 마이크로 렌즈 어레이, 상기 마이크로 렌즈들 상에 배치되며, 적어도 2개 이상의 서로 다른 편광 위상을 갖는 복수의 편광 필터들을 포함하는 이미지 센서 및 복수의 편광 서브 영상들을 기초로 상기 입력 영상의 뎁스(DEP) 및 상기 광원 특성 값(DIFF)을 생성하여 상기 로컬 오토 화이트 밸런싱을 수행하는 디지털 신호 처리부(500)를 포함하여 이미지 센싱의 정확성을 향상시킬 수 있다.

상기 이미지 센서 시스템(940)은 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 상기 이미지 센서 시스템(940)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.

실시예에 따라서, 상기 이미지 센서 시스템(940)은 프로세서(910)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다. 한편, 컴퓨팅 시스템(900)은 이미지 센서를 이용하는 임의의 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(900)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트 폰 등을 포함할 수 있다.

도 12는 도 11의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.

도 12를 참조하면, 컴퓨팅 시스템(1000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치(예를 들어, 이동 전화기, PDA, PMP, 스마트 폰 등)로 구현될 수 있고, 어플리케이션 프로세서(1110), 이미지 센서 시스템(1140) 및 디스플레이(1150) 등을 포함할 수 있다.

어플리케이션 프로세서(1110)의 CSI 호스트(1112)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 이미지 센서 시스템(1140)의 CSI 장치(1141)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, CSI 호스트(1112)는 광 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(1141)는 광 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(1110)의 DSI 호스트(1111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(1150)의 DSI 장치(1151)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, DSI 호스트(1111)는 광 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1151)는 광 디시리얼라이저(DES)를 포함할 수 있다.

또한, 컴퓨팅 시스템(1000)은 어플리케이션 프로세서(1110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(1160)을 더 포함할 수 있다. 컴퓨팅 시스템(1000)의 PHY(1113)와 RF 칩(1160)의 PHY(1161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(1110)는 PHY(1161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(1114)를 더 포함할 수 있고, RF 칩(1160)은 DigRF MASTER(1114)를 통하여 제어되는 DigRF SLAVE(1162)를 더 포함할 수 있다.

한편, 컴퓨팅 시스템(1000)은 지피에스(Global Positioning System; GPS)(1120), 스토리지(1170), 마이크(1180), 디램(Dynamic Random Access Memory; DRAM)(1185) 및 스피커(1190)를 포함할 수 있다. 또한, 컴퓨팅 시스템(1000)은 초광대역(Ultra WideBand; UWB)(1210), 무선랜(Wireless Local Area Network; WLAN)(1220) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(1230) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(1000)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.

본 발명은 이미지 센서 및 이를 포함하는 임의의 장치 및 전자 기기에 적용될 수 있다. 특히, 본 발명은 컴퓨터, 디지털 카메라, 3차원 카메라, 휴대폰, PDA, 스캐너, 차량용 네비게이션, 비디오 폰, 감시 시스템, 자동 포커스 시스템, 추적 시스템, 동작 감지 시스템, 이미지 안정화 시스템 등에 적용될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims

삭제
삭제
삭제
삭제
복수의 픽셀들을 포함하는 픽셀 어레이, 상기 픽셀 어레이 상에 배치되고, 상기 픽셀 어레이의 픽셀 그룹과 중첩되는 복수의 마이크로 렌즈들을 포함하는 마이크로 렌즈 어레이, 상기 마이크로 렌즈들 상에 배치되며, 적어도 2개 이상의 서로 다른 편광 위상을 갖는 복수의 편광 필터들을 포함하는 이미지 센서; 및
상기 이미지 센서에서 생성된 입력 영상을 기초로 복수의 편광 서브 영상들을 생성하고, 상기 편광 서브 영상들을 기초로 로컬 오토 화이트 밸런싱을 수행하는 신호 처리부를 포함하고,
상기 신호 처리부는
상기 입력 이미지를 기초로 상기 편광 서브 영상들을 생성하는 편광 서브 영상 생성부;
상기 편광 서브 영상들의 차이에 대응하는 광원 특성 값을 판단하는 광원 특성 판단부;
상기 편광 서브 영상들을 기초로 상기 입력 이미지의 뎁스(depth)를 판단하는 뎁스 판단부; 및
상기 광원 특성 값 및 상기 뎁스를 기초로 로컬 오토 화이트 밸런싱을 수행하는 로컬 오토 화이트 밸런싱부를 포함하는 것을 특징으로 하는 이미지 센서 시스템.
삭제
제5항에 있어서, 상기 편광 서브 영상 생성부는
제1 편광 위상을 갖는 제1 편광 필터를 이용하여 제1 편광 서브 영상을 생성하고, 상기 제1 편광 위상과 다른 방향을 갖는 제2 편광 위상을 갖는 제2 편광 필터를 이용하여 제2 편광 서브 영상을 생성하며, 상기 제1 편광 위상 및 상기 제2 편광 위상과 다른 방향을 갖는 제3 편광 위상을 갖는 제3 편광 필터를 이용하여 제3 편광 서브 영상을 생성하고, 상기 제1 편광 위상 내지 상기 제3 편광 위상과 다른 방향을 갖는 제4 편광 위상을 갖는 제4 편광 필터를 이용하여 제4 편광 서브 영상을 생성하는 것을 특징으로 하는 이미지 센서 시스템.
제7항에 있어서, 상기 광원 특성 판단부는
상기 제1 내지 제4 편광 서브 영상 중 가장 높은 휘도를 갖는 최대 편광 서브 영상의 계조 값에서 상기 제1 내지 제4 편광 서브 영상 중 가장 낮은 휘도를 갖는 최소 편광 서브 영상의 계조 값을 뺄셈하는 것을 특징으로 하는 이미지 센서 시스템.
제5항에 있어서, 상기 뎁스 판단부는
상기 마이크로 렌즈에 중첩되는 상기 픽셀 그룹 내에서 제1 방향의 제1 디스패리티(disparity)와 상기 제1 방향과 교차하는 제2 방향의 제2 디스패리티를 이용하여 상기 뎁스를 판단하는 것을 특징으로 하는 이미지 센서 시스템.
제5항에 있어서, 상기 로컬 오토 화이트 밸런싱부는
로컬 윈도우의 중심에 해당하는 중심 픽셀 그룹의 뎁스와 동일한 뎁스를 갖는 상기 로컬 윈도우 내의 상기 픽셀 그룹들의 상기 광원 특성 값들을 이용하여 화이트 밸런싱 보상 값을 생성하는 것을 특징으로 하는 이미지 센서 시스템.