KR20230109969A

KR20230109969A - 이미지 센서

Info

Publication number: KR20230109969A
Application number: KR1020220005874A
Authority: KR
Inventors: 장찬영
Original assignee: 삼성전자주식회사
Priority date: 2022-01-14
Filing date: 2022-01-14
Publication date: 2023-07-21
Also published as: US20230232136A1

Abstract

이미지 센서가 제공된다. 상기 이미지 센서는 베이어 패턴으로 배치된 복수의 단위픽셀그룹을 포함하고, 상기 단위픽셀그룹은 서로 교차로 활성화되는 복수의 리드아웃 영역을 포함하는 4x4 서브 픽셀 어레이를 포함하는 픽셀 어레이, 상기 픽셀 어레이의 로우에 연결되어 컬럼라인을 구동하는 로우 드라이버 및 상기 픽셀 어레이로부터 픽셀 신호를 샘플링하여 램프 신호와 비교하여 아날로그 이미지를 디지털 이미지로 변환하는 리드아웃 회로를 포함하고, 상기 단위픽셀그룹에서 각 리드아웃 영역의 마이크로렌즈는 비대칭으로 배치된다.

Description

이미지 센서{IMAGE SENSOR}

본 발명은 이미지 센서에 대한 것이다.

이미지 센싱 장치(image sensing device)는 광학 정보를 전기 신호로 변환시키는 반도체 소자 중 하나이다. 이러한 이미지 센싱 장치는 전하 결합형(CCD; Charge Coupled Device) 이미지 센싱 장치와 씨모스형(CMOS; Complementary Metal-Oxide Semiconductor) 이미지 센싱 장치를 포함할 수 있다.

CMOS 형 이미지 센서는 CIS(CMOS image sensor)라고 약칭될 수 있다. CIS는 2차원적으로 배열된 복수개의 픽셀들을 구비할 수 있다. 픽셀들 각각은 예를 들어, 포토 다이오드(photodiode, PD)를 포함할 수 있다. 포토다이오드는 입사되는 광을 전기 신호로 변환해주는 역할을 할 수 있다.

최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 디지털 카메라, 캠코더, 스마트폰, 게임 기기, 경비용 카메라, 의료용 마이크로 카메라, 로봇 등 다양한 분야에서 성능이 향상된 이미지 센서의 수요가 증대되고 있다.

본 발명이 해결하고자 하는 기술적 과제는, 저전력의 고성능 PDAF(Phase Detection Auto Focus)을 구현하고, 화질을 개선하는 이미지 센서를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 이미지 센서는 베이어 패턴으로 배치된 복수의 단위픽셀그룹을 포함하고, 상기 단위픽셀그룹은 서로 교차로 활성화되는 복수의 리드아웃 영역을 포함하는 4x4 서브 픽셀 어레이를 포함하는 픽셀 어레이, 상기 픽셀 어레이의 로우에 연결되어 컬럼라인을 구동하는 로우 드라이버 및 상기 픽셀 어레이로부터 픽셀 신호를 샘플링하여 램프 신호와 비교하여 아날로그 이미지를 디지털 이미지로 변환하는 리드아웃 회로를 포함하고, 상기 단위픽셀그룹에서 각 리드아웃 영역의 마이크로렌즈는 비대칭으로 배치된다.

상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 이미지 센서는 각각이 4x4 서브 픽셀을 포함하는 복수의 단위픽셀그룹을 포함하고, 상기 단위픽셀그룹은 베이어 패턴으로 배치되는, 픽셀 어레이, 상기 픽셀 어레이의 로우에 연결되어 컬럼라인을 구동하는 로우 드라이버 및 상기 픽셀 어레이로부터 픽셀 신호를 샘플링하여 램프 신호와 비교하여 아날로그 이미지를 디지털 이미지로 변환하는 리드아웃 회로를 포함하고, 상기 단위픽셀그룹 내 중심 윈도우는 적어도 하나의 공유 마이크로렌즈가 배치되고, 상기 중심 윈도우를 제외한 나머지 상기 서브 픽셀에는 싱글 마이크로렌즈가 배치되며, 상기 리드아웃 회로는 각각이 마이크로렌즈 배치가 비대칭인 적어도 둘의 리드아웃 영역을 리드아웃하여 위상을 검출한다.

상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 이미지 센서는 각각이 4x4 서브 픽셀을 포함하는 복수의 단위픽셀그룹을 포함하고, 상기 단위픽셀그룹은 베이어 패턴으로 배치되는 픽셀 어레이, 상기 픽셀 어레이의 로우에 연결되어 컬럼라인을 구동하는 로우 드라이버 및 상기 픽셀 어레이로부터 픽셀 신호를 샘플링하여 램프 신호와 비교하여 아날로그 이미지를 디지털 이미지로 변환하는 리드아웃 회로를 포함하고, 상기 단위픽셀그룹은 상기 단위픽셀그룹의 모서리에 배치된 제1 서브픽셀 상에는 쿼터 마이크로렌즈가 배치되고, 상기 단위픽셀그룹 중 상기 제1 서브픽셀을 제외한 나머지 제2 서브픽셀 상에는 싱글 마이크로렌즈가 배치된다.

도 1은 몇몇 실시예에 따른 이미지 센싱 장치의 블록도이다.
도 2는 도 1의 이미지 센서의 개념적인 레이아웃을 도시한 도면이다.
도 3은 몇몇 실시예에 따른 픽셀 어레이 영역을 설명하기 위한 도면이다.
도 4는 도 3의 픽셀 어레이 영역의 구성을 개념적으로 설명하기 위한 도면이다.
도 5는 도 3의 픽셀 어레이의 회로도이다
도 6 및 도 7은 도 3의 패턴을 갖는 픽셀 어레이에서 위상검출 방법을 설명하기 위한 도면이다.
도 8은 몇몇 실시예에 따른 픽셀 어레이의 패턴을 나타낸 도면이다.
도 9는 몇몇 실시예에 따른 픽셀 어레이의 패턴을 나타낸 도면이다.
도 10 및 도 11은 도 9의 패턴을 갖는 픽셀 어레이에서 위상검출 방법을 설명하기 위한 도면이다.
도 12 내지 도 14는 도 3, 도 8 및 도 9의 패턴을 갖는 픽셀 어레이에서 위상검출 방법 및 컬러검출 방법을 설명하기 위한 도면이다.
도 15는 몇몇 실시예에 따른 픽셀 어레이의 패턴을 나타낸 도면이다.
도 16 및 도 17은 도 15의 패턴을 갖는 픽셀 어레이에서 위상검출 방법을 설명하기 위한 도면이다.
도 19 내지 도 20은 도 15의 패턴을 갖는 픽셀 어레이에서 위상검출 방법 및 컬러검출 방법을 설명하기 위한 도면이다.
도 21은 몇몇 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치를 설명하기 위한 블록도이다.
도 22는 도 21의 카메라 모듈의 상세 블록도이다.

이하 첨부된 도면을 참조하여, 본 발명의 기술적 사상에 따른 실시예들에 대해 설명한다.

도 1은 몇몇 실시예에 따른 이미지 센싱 장치의 블록도이다.

도 1을 참조하면, 이미지 센싱 장치(1)는 이미지 센서(100)와 이미지 신호 프로세서(900)를 포함할 수 있다.

이미지 센서(100)는 빛을 이용하여 센싱 대상의 이미지를 센싱하여, 이미지 신호(IMS)를 생성할 수 있다. 몇몇 실시예에서, 생성된 이미지 신호(IMS)는 예를 들어, 디지털 신호일 수 있으나, 본 발명의 기술적 사상에 따른 실시예가 이에 제한되는 것은 아니다.

이미지 신호(IMS)는 이미지 신호 프로세서(900)에 제공되어 처리될 수 있다. 이미지 신호 프로세서(900)는 이미지 센서(100)의 버퍼부(170)로부터 출력된 이미지 신호(IMS)를 수신하고 수신된 이미지 신호(IMS)를 디스플레이에 용이하도록 가공하거나 처리할 수 있다.

몇몇 실시예에서, 이미지 신호 프로세서(900)는 이미지 센서(100)에서 출력된 이미지 신호(IMS)에 대해 디지털 비닝을 수행할 수 있다. 이 때, 이미지 센서(100)로부터 출력된 이미지 신호(IMS)는 아날로그 비닝 없이 픽셀 어레이(140)로부터의 로우(raw) 이미지 신호일 수도 있고, 아날로그 비닝이 이미 수행된 이미지 신호(IMS)일 수도 있다.

몇몇 실시예에서, 이미지 센서(100)와 이미지 신호 프로세서(900)는 도시된 것과 같이 서로 분리되어 배치될 수 있다. 예를 들어, 이미지 센서(100)가 제1 칩에 탑재되고, 이미지 신호 프로세서(900)가 제2 칩에 탑재되어 소정의 인터페이스를 통해 서로 통신할 수 있다. 하지만, 실시예들이 이에 제한되는 것은 아니며, 이미지 센서(100)와 이미지 신호 프로세서(900)는 하나의 패키지, 예컨대 MCP(multi-chip package)로 구현될 수 있다.

이미지 센서(100)는, 컨트롤 레지스터 블록(110), 타이밍 제네레이터(120), 로우(row) 드라이버(130), 픽셀 어레이(140), 리드 아웃 회로(150), 램프신호 생성기(160), 버퍼부(170)를 포함할 수 있다.

컨트롤 레지스터 블록(110)은 이미지 센서(100)의 동작을 전체적으로 제어할 수 있다. 특히, 컨트롤 레지스터 블록(110)은 타이밍 제네레이터(120), 램프신호 생성기(160) 및 버퍼부(170)에 직접적으로 동작 신호를 전송할 수 있다.

타이밍 제네레이터(120)는 이미지 센서(100)의 여러 구성 요소들의 동작 타이밍의 기준이 되는 신호를 발생할 수 있다. 타이밍 제네레이터(120)에서 발생된 동작 타이밍 기준 신호는 로우 드라이버(130), 리드 아웃 회로(150), 램프신호 생성기(160) 등에 전달될 수 있다.

램프신호 생성기(160)는 리드 아웃 회로(150)에 사용되는 램프 신호를 생성하고 전송할 수 있다. 예를 들어, 리드 아웃 회로(150)는 상관 이중 샘플러(CDS), 비교기 등을 포함할 수 있는데, 램프신호 생성기(160)는 상관 이중 샘플러, 비교기 등에 사용되는 램프 신호를 생성하고 전송할 수 있다.

버퍼부(170)는 예를 들어, 래치부를 포함할 수 있다. 버퍼부(170)는 외부로 제공할 이미지 신호(IMS)를 임시적으로 저장할 수 있으며, 이미지 신호(IMS)를 외부 메모리 또는 외부 장치로 전송할 수 있다.

픽셀 어레이(140)는 외부 이미지를 센싱할 수 있다. 픽셀 어레이(140)는 복수의 픽셀(또는 단위 픽셀)을 포함할 수 있다. 로우 드라이버(130)는 픽셀 어레이(140)의 로우(row)를 선택적으로 활성화시킬 수 있다.

리드 아웃 회로(150)는 픽셀 어레이(140)로부터 제공받은 픽셀 신호를 샘플링하고, 이를 램프 신호와 비교한 후, 비교 결과를 바탕으로 아날로그 이미지 신호(데이터)를 디지털 이미지 신호(데이터)로 변환할 수 있다.

도 2는 도 1의 이미지 센서의 개념적인 레이아웃을 도시한 도면이다.

도 2를 참조하면, 이미지 센서(100)는 제3 방향(Z)으로 적층된 제1 및 제2 영역(S1, S2)을 포함할 수 있다. 제1 및 제2 영역(S1, S2)은 도시된 것과 같이 제1 방향(X)과 제2 방향(Y)으로 연장될 수 있으며, 제1 및 제2 영역(S1, S2)에는 도 1에 도시된 블록들이 배치될 수 있다.

도면에 도시하지는 않았으나, 제2 영역(S2) 하부에는 메모리가 배치된 제3 영역이 배치될 수도 있다. 이 때, 제3 영역에 배치된 메모리는 제1 및 제2 영역(S1, S2)으로부터 이미지 데이터를 전송받아, 이를 저장하거나 처리하고, 이미지 데이터를 제1 및 제2 영역(S1, S2)으로 재전송할 수 있다. 이 때, 메모리는 DRAM(dynamic random access memory) 소자, SRAM(static random access memory) 소자, STT-MRAM(spin transfer torque magnetic random access memory) 소자 및 플래시(flash) 메모리 소자와 같은 메모리 소자를 포함할 수 있다. 메모리가 예를 들어, DRAM 소자를 포함하는 경우, 이미지 데이터를 상대적으로 고속으로 전송받아 처리할 수 있다. 또한, 몇몇 실시예에서, 메모리는 제2 영역(S2)에 배치될 수도 있다.

제1 영역(S1)은 픽셀 어레이 영역(PA) 및 제1 주변 영역(PH1)을 포함할 수 있고, 제2 영역(S2)은 로직회로 영역(LC) 및 제2 주변 영역(PH2)을 포함할 수 있다. 제1 및 제2 영역(S1, S2)은 순차적으로 상하로 적층되어 배치될 수 있다.

제1 영역(S1)에서, 픽셀 어레이 영역(PA)은 도 1을 참조하여 설명한 픽셀 어레이(도 1의 140)가 배치되는 영역일 수 있다. 픽셀 어레이 영역(PA)은 매트릭스(matrix) 형태로 배열된 복수의 단위 픽셀들을 포함할 수 있다. 각 픽셀은 포토 다이오드 및 트랜지스터들을 포함할 수 있다. 이에 관한 보다 구체적인 설명은 후술한다.

제1 주변 영역(PH1)은 복수의 패드들을 포함할 수 있으며, 픽셀 어레이 영역(PA)의 주변에 배치될 수 있다. 복수의 패드들은 외부 장치 등과 전기적 신호를 송수신할 수 있다.

제2 영역(S2)에서, 로직 회로 영역(LC)은 복수의 트랜지스터들을 포함하는 전자 소자들을 포함할 수 있다. 로직 회로 영역(LC)에 포함된 전자 소자들은 픽셀 어레이 영역(PA)과 전기적으로 연결되어, 픽셀 어레이 영역(PA)의 각 단위 픽셀(PX)에 일정한 신호를 제공하거나 출력 신호를 제어할 수 있다.

로직 회로 영역(LC)에는 예를 들어, 도 1을 참조하여 설명한 컨트롤 레지스터 블록(110), 타이밍 제네레이터(120), 로우 드라이버(130), 리드 아웃 회로(150), 램프신호 생성기(160), 버퍼부(170) 등이 배치될 수 있다. 로직 회로 영역(LC)에는 예를 들어, 도 1의 블록들에서, 픽셀 어레이(140) 이외의 블록들이 배치될 수 있다.

제2 영역(S2)에도 제1 영역(S1)의 제1 주변 영역(PH1)에 대응되는 영역에 제2 주변 영역(PH2)이 배치될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

도 3은 몇몇 실시예에 따른 픽셀 어레이 영역을 설명하기 위한 도면이고, 도 4는 도 3의 픽셀 어레이 영역의 구성을 개념적으로 설명하기 위한 도면이며, 도 5는 도 3의 픽셀 어레이의 회로도이다. 도 3 내지 도 5는 예시적으로 단위픽셀그룹의 어레이(PA1)만을 나타낸 것이며, 픽셀 어레이는 복수의 단위픽셀그룹 어레이들을 포함할 수 있다.

도 3을 참조하면 몇몇 실시예에 따른 단위픽셀그룹 어레이(PA1)는 베이어 패턴으로 배치된 복수의 서브픽셀그룹(TGG1, TRG, TBG, TGG2)을 포함할 수 있다. 단위픽셀그룹은 서브픽셀그룹이 갖는 컬러, 예를 들어 레드, 제1 그린, 블루, 제2 그린을 포함할 수 있다.

몇몇 실시예에 따라 각 서브픽셀그룹은 서브픽셀(PG1, PR, PB, PG2)들을 포함할 수 있다. 복수의 서브픽셀(PG1, PR, PB, PG2)들은 2차원으로 배열될 수 있다. 예를 들어, 복수의 서브픽셀(PG1, PR, PB, PG2)들은 제1 방향 및 제2 방향으로 반복되어 배치될 수 있다. 서브픽셀들(PG1, PR, PB, PG2)들은 일정한 간격을 가지고 배열될 수 있다.

단위픽셀그룹 어레이(PA1)는 서브픽셀그룹이 일정한 패턴으로 배치된 것일 수 있다. 서브픽셀그룹당 서브픽셀의 개수에 따라, 서브픽셀이 4개인 경우 테트라 픽셀(Tetra), 서브픽셀이 9개인 경우 노나 픽셀(Nona), 서브픽셀이 16개인 경우 테트라2 픽셀(Tetra²)로 호칭될 수 있다. 도시된 단위픽셀그룹 어레이(PA1)는 서브픽셀그룹 하나에 16개의 서브픽셀이 포함되므로, 각 서브픽셀은 테트라2 픽셀일 수 있다.

몇몇 실시예에 따라 단위픽셀그룹 어레이(PA)는 베이어 패턴이면서 테트라2 패턴(Tetra2 패턴)으로 배열될 수 있다. 예를 들어 하나의 서브픽셀그룹은 4x4 서브픽셀, 즉, 4개의 행 및 4개의 열에 배치되는 16개의 서브픽셀들을 포함하는 것으로 정의되는 픽셀일 수 있다. 몇몇 실시예에 따라 서브픽셀그룹은 모두 동일한 색상의 서브픽셀을 포함할 수도 있고 또는 몇몇 실시예에 따라 서브픽셀그룹은 적어도 하나, 즉 소수의 다른 색상의 서브픽셀과 나머지 픽셀은 동일한 색상의 서브픽셀을 포함할 수도 있다.

예를 들면 단위픽셀그룹 어레이(PA1)는 제1 패턴으로 배치된 제1 그린 서브픽셀그룹(TGG), 레드 서브픽셀그룹(TRG), 블루 서브픽셀그룹(TBG), 제2 그린 서브픽셀그룹(TGG2)를 포함할 수 있다. 도시된 예에서 각각의 서브픽셀그룹은 16개의 서브픽셀(즉 테트라2 픽셀들)을 포함할 수 있다.

도시된 예에서 제1 그린 서브픽셀그룹(TGG1)은 제1 내지 제16 테트라2 그린 픽셀(G1 내지 G16)을 포함할 수 있고, 레드 서브픽셀그룹(TRG)은 제1 내지 제16 테트라2 레드 픽셀(R1 내지 R16)을 포함할 수 있고, 블루 서브픽셀그룹(TBG)은 제1 내지 제16 테트라2 블루 픽셀(B1 내지 B16)을 포함할 수 있고, 제2 그린 서브픽셀그룹(TGG2)은 제17 내지 제32 테트라2 그린 픽셀(G17 내지 G32)을 포함할 수 있다.

도 3 및 도 4를 참조하면, 픽셀 어레이(PA1)는 상면측부터 차례로 마이크로렌즈층(ML layer), 컬러 필터층(CF layer), 픽셀 간 차광 레이어(DTI layer)로 구성될 수 있다.

몇몇 실시예에 따라 각각의 서브픽셀 영역(R1~R16, G1~G32, B1-B16) 상에는 적어도 2 타입의 마이크로렌즈(ML1, ML2)가 배치될 수 있다. 싱글 마이크로렌즈(ML1)는 각각의 서브픽셀 영역의 상부에 배치될 수 있다. 몇몇 실시예에 따라 서브픽셀그룹의 테두리에 속하는 서브픽셀들 상부에는 싱글 마이크로렌즈(ML1)가 배치되고, 서브픽셀그룹에서 테두리를 뺀 중심 윈도우에 속하는 서브픽셀들 상부에는 2개의 공유 마이크로렌즈(ML2)가 배치될 수 있다. 예를 들면, 제1 그린 서브픽셀그룹(TGG1)에서 테두리인 G1, G2, G3, G4, G5, G8, G9, G12, G13, G14, G15, G16 서브픽셀은 싱글 마이크로렌즈가 배치될 수 있고, 중심윈도우 G6, G7, G10, G11에서 제2 서브-행인 G6, G7 상에 제1 공유 마이크로렌즈가 배치되고 제3 서브-행인 G19, G11 상에 제2 공유 마이크로렌즈가 배치될 수 있다. 이때 제1 공유 마이크로렌즈 및 제2 공유 마이크로렌즈는 타원 형태일 수 있다.

즉, 상부에서 보았을 때, 싱글 마이크로렌즈(ML1)는 각 서브픽셀 영역(R1~R5, R8, R9, R12~R16, G1~G5, G8, G9, G12~G21, G24~G25, G28~G32, B1~B5, B8, B9, B12~B16)에 대응될 수 있다. 공유 마이크로렌즈(ML2)는 2개의 서브픽셀 영역(예를 들어 G6:G7, G10:G11, B6:B7, B10:B11, R6:R7, R10: R11, G22:G23, G26:G27)의 상면에 배치될 수 있다. 싱글 마이크로렌즈는 하나의 서브픽셀 상에 배치되고 다른 서브픽셀과 렌즈를 공유하지 않는 것을 의미하고, 공유 마이크로렌즈는 적어도 둘의 서브픽셀 상에 배치되어 인접한 서브픽셀들끼리 독립적으로 또는 동시에 활성화되어 렌즈를 공유하는 것을 의미할 수 있다. 즉, 하나의 공유 마이크로렌즈 하부의 서브픽셀은 공유 마이크로렌즈의 일측 하에 배치된 제1 서브픽셀(예를 들어 G6)과 공유 마이크로렌즈의 타측 하에 배치된 제2 서브픽셀(예를 들어 G7) 간 픽셀값으로부터 위상을 검출할 수 있다.

몇몇 실시예에 따라 각각의 서브픽셀그룹 영역(R1~R16, G1~G32, B1-B16)은 각각에 상응하는 테트라2 컬러 필터가 배치될 수 있다. 도시된 예에서 제1 내지 제16 테트라2 그린 픽셀(G1 내지 G16)은 각각 그린 컬러필터(PG1)가 마이크로렌즈층과 차광 레이어 사이에 배치되고, 제1 내지 제16 테트라2 레드 픽셀(R1 내지 R16)은 각각 레드 컬러필터(PR)가 마이크로렌즈층과 차광 레어이 사이에 배치되고, 제1 내지 제16 테트라2 블루 픽셀(B1 내지 B16)은 각각 블루 컬러필터(PB)가 마이크로렌즈층과 차광 레어이 사이에 배치되고, 제17 내지 제32 테트라2 그린 픽셀(G17 내지 G32)은 각각 그린 컬러필터(PG2)가 마이크로렌즈층과 차광 레이어 사이에 배치될 수 있다. 해당 컬러필터를 통과하는 빛은 픽셀 그룹을 통해 픽셀신호로 변환될 수 있다.

몇몇 실시예에 따라 각각의 서브픽셀 영역(R1~R16, G1~G32, B1-B16)은 적어도 2 타입의 차광 레이어(DTI layer)를 포함할 수 있다. 제1 타입 차광 레이어(DTI1)는 제1 타입 마이크로렌즈에 상응하여, 각 서브픽셀 영역(R1~R5, R8, R9, R12~R16, G1~G5, G8, G9, G12~G21, G24~G25, G28~G32, B1~B5, B8, B9, B12~B16)에 대응될 수 있다. 제2 타입 차광 레이어(DTI2)는 제2 타입 마이크로렌즈에 상응하여, 2개의 서브픽셀 영역(예를 들어 G6:G7, G10:G11, B6:B7, B10:B11, R6:R7, R10: R11, G22:G23, G26:G27)의 상면에 배치될 수 있다. 제2 타입 차광 레이어(DTI2)는 제2 타입 마이크로렌즈(ML2)에 상응하여 서브픽셀, 예를 들어 도 3의 G6 서브픽셀과 G7 서브픽셀 사이의 차광구조는 차광벽이 낮고, G6 서브픽셀에 인접한 G2, G5 서브픽셀, 또는 G7 서브픽셀에 인접한 G3, G8 서브픽셀에 대한 차광구조는 차광벽이 높게 구현될 수 있다.

도 3 및 도 5를 참조하면, 서브픽셀그룹(TU) 어레이(PA1)는 복수의 마이크로렌즈(ML), 복수의 플로팅 디퓨전(FD1 내지 FD4), 복수의 포토다이오드(PD1 내지 PD16), 복수의 전송트랜지스터(TT1 내지 TT16), 복수의 로우라인(ROW1a 내지 ROW1d, ROW2a 내지 ROW2c, ROW3a 내지 ROW3c, ROW4a 내지 ROW4d), 복수의 컬럼라인(COL1 내지 COL4) 등을 포함할 수 있다. 몇몇 실시예에 따라 각각의 서브픽셀그룹은 4개의 서브-행(ROWa~ROWd)과 4개의 서브-열(COL1~4), 그리고 4개의 서브-열과 4개의 서브-행 사이에 포함된 서브픽셀을 포함할 수 있다. 하나의 서브픽셀은 하나의 포토다이오드(PD) 및 하나의 전송트랜지스터(TT)를 포함하고, 서브픽셀그룹(TU) 내 같은 열(row)에 속한 서브픽셀들은 하나의 플로팅 디퓨전(FD)을 공유할 수 있다. 본 명세서에서 서브픽셀은 테트라2 픽셀로 칭할 수도 있다.

복수의 서브-열(COL1 내지 COL4) 및 복수의 서브-행(ROW1a 내지 ROW1d, ROW2a 내지 ROW2d, ROW3a 내지 ROW3d, ROW4a 내지 ROW4d)은 서브픽셀그룹(TU)으로 형성될 수 있다. 복수의 서브-열(COL1 내지 COL4)은 제2 방향(Y)으로 연장될 수 있고, 복수의 서브-행(ROW1a 내지 ROW1d, ROW2a 내지 ROW2d, ROW3a 내지 ROW3d, ROW4a 내지 ROW4d)은 제1 방향(X)으로 연장될 수 있다.

각 서브픽셀의 전송 트랜지스터(TT1 내지 TT16)는 복수의 서브-행(ROW1a 내지 ROW1d, ROW2a 내지 ROW2d, ROW3a 내지 ROW3d, ROW4a 내지 ROW4d)과 복수의 서브-열(COL1 내지 COL4) 사이에 형성될 수 있다. 즉, 각 서브픽셀의 전송 트랜지스터(TT1 내지 TT16)는 복수의 서브-행(ROW1a 내지 ROW1d, ROW2a 내지 ROW2d, ROW3a 내지 ROW3d, ROW4a 내지 ROW4d)과 복수의 서브-열(COL1 내지 COL4)을 연결할 수 있다.

G1 내지 G4 서브픽셀은 플로팅 디퓨전 FD1을 공유하고, G5 내지 G8 서브픽셀은 플로팅 디퓨전 FD2을 공유하고, G9 내지 G12 서브픽셀은 플로팅 디퓨전 FD3을 공유하고, G13 내지 G16 서브픽셀은 플로팅 디퓨전 FD4을 공유할 수 있다. 각각의 열(row)에 속한 픽셀들로부터 생성된 픽셀신호는 플로팅 디퓨전(FD)을 따라서 전송될 수 있다.

그린 서브픽셀 전송 트랜지스터(TT1 내지 TT4)의 소오스 드레인은 제1 플로팅 디퓨전(FD1)에 연결될 수 있고, 제1 플로팅 디퓨전(FD1)은 제1 열(COL1)에 연결될 수 있다. 그린 서브픽셀 전송 트랜지스터(TT5 내지 TT8)의 소오스 드레인은 제2 플로팅 디퓨전(FD2)에 연결될 수 있고, 제2 플로팅 디퓨전(FD2)은 제2 열(COL2)에 연결될 수 있다. 그린 서브픽셀 전송 트랜지스터(TT9 내지 TT12)의 소오스 드레인은 제3 플로팅 디퓨전(FD3)에 연결될 수 있고, 제3 플로팅 디퓨전(FD3)은 제3 열(COL3)에 연결될 수 있다. 그린 서브픽셀 전송 트랜지스터(TT13 내지 TT16)의 소오스 드레인은 제4 플로팅 디퓨전(FD4)에 연결될 수 있고, 제4 플로팅 디퓨전(FD4)은 제4 열(COL4)에 연결될 수 있다. 하지만 본 발명의 실시예는 이에 제한되지 않고, 그린 픽셀 전송 트랜지스터(TT1 내지 TT16)의 소오스 드레인은 하나의 플로팅 디퓨전(FD)에 모두 연결될 수도 있다.

같은 열에 속한 전송 트랜지스터(예를 들어 TT1 내지 TT4)는 서로 오버랩되지 않게 노광시간을 가지도록 턴온/턴오프될 수도 있고, 같은 열에 속한 적어도 2의 서브픽셀이 동시에 노광시간을 갖도록 턴온/턴오프될 수도 있다. 픽셀 신호는 각각의 노광시간에 따라 서로 다른 시점에 출력될 수 있다. 여기서 픽셀신호는 포토 다이오드(PD1) 내지 포토 다이오드(PD4) 중 적어도 하나에 축적된 전하에 기초하는 픽셀신호일 수 있다. 또한 픽셀 신호는 도시하지는 아니하였으나, 소스 팔로워 트랜지스터를 통해 리드아웃 회로로 출력할 수 있다. 상술한 설명은 그린 픽셀을 위주로 설명하였으나 레드 서브픽셀그룹 및 블루 서브픽셀그룹에도 적용된다 할 것이다.

이하 도 6 내지 도 20을 참조하여 이미지 센서(100)의 패턴 및 위상검출 방법에 대하여 설명한다.

도 6 및 도 7은 도 3의 패턴을 갖는 픽셀 어레이에서 위상검출 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 몇몇 실시예에 따라 리드아웃 영역(W4)은 4개의 서브픽셀을 포함한 사각형 형태일 수 있다. 설명의 편의를 위해 도시된 리드아웃 영역(W4)를 4 공유 리드아웃영역(4 Shared readout unit)이라 호칭할 수 있다.

도시된 예에서, 테트라2 배치구조로 배열된 서브픽셀그룹(예를 들어 TGG1)에서, 리드아웃 회로는 4번의 리드아웃 동작을 수행할 수 있다. 예를 들어 제1 리드아웃 동작으로 G1, G2, G4, G6 서브픽셀을 리드하고, 제2 리드아웃 동작으로 G3, G4, G7, G8 서브픽셀을 리드하고, 제3 리드아웃 동작으로 G9, G10, G13, G14 서브픽셀을 리드하고 제4 리드아웃 동작으로 G11, G12, G15, G16 서브픽셀을 리드할 수 있다. 제1 내지 제4 리드아웃 동작이 순차적으로 수행되면 공유 마이크로렌즈(ML3)를 통해 입사되는 G6 서브픽셀에서의 픽셀값과 G7 서브픽셀에서의 픽셀값의 차이, 공유 마이크로렌즈(ML3)를 통해 입사되는 G10 서브픽셀에서의 픽셀값과 G11 서브픽셀에서의 픽셀값의 차이에 각각 기초하여 위상값을 검출할 수 있다.

마찬가지로 레드 서브픽셀그룹(TRG), 블루 서브픽셀그룹(TBG) 및 제2 그린 서브픽셀그룹(TGG2) 각각은 위에서 설명한 방식으로 4 공유 리드아웃영역으로 리드할 수 있으며, 공유 마이크로렌즈(ML4)를 통해 일측(예를 들어 공유 마이크로렌즈의 좌측)의 서브픽셀에서 센싱된 픽셀값과 타측(예를 들어 공유 마이크로렌즈의 우측)의 서브픽셀에서의 센싱된 픽셀값 간의 차이에 따라 위상값을 검출할 수 있다. 예를 들어 레드 서브픽셀그룹(TRG)의 경우 제1 리드아웃 동작으로 R6 서브픽셀의 픽셀값을, 제2 리드아웃 동작으로 R7 서브픽셀의 픽셀값을, 제3 리드아웃 동작으로 R10 서브픽셀의 픽셀값을, 제4 리드아웃 동작으로 R11 서브픽셀의 픽셀값을 각각 리드아웃하여, 서브픽셀 R6, R7 간, 그리고 서브픽셀 R10, R11 간 픽셀값의 차이를 기초로 위상검출을 할 수 있다.

도 7을 참조하면, 몇몇 실시예에 따라 리드아웃 영역(W8)은 8개의 서브픽셀을 포함한 직사각형 형태일 수 있다. 설명의 편의를 위해 도시된 리드아웃 영역(W8)를 8 공유 리드아웃영역(8 Shared readout unit)이라 호칭할 수 있다.

도시된 예에서, 테트라2 배치구조로 배열된 서브픽셀그룹(예를 들어 TGG1)에서, 리드아웃 회로는 2번의 리드아웃 동작을 수행할 수 있다. 예를 들어 제1 리드아웃 동작으로 G1,G2,G5,G6,G9,G10,G13,G14 서브픽셀을 리드하고, 제2 리드아웃 동작으로 G3,G4,G7,G8,G11,G12,G15,G16 서브픽셀을 리드할 수 있다. 제1 리드아웃 동작 및 제2 리드아웃 동작이 순차적으로 수행되면 제2행의 공유 마이크로렌즈(ML3)를 통해 입사되는 G6 서브픽셀에서의 픽셀값과 G7 서브픽셀에서의 픽셀값의 차이, 제3행의 공유 마이크로렌즈(ML3)를 통해 입사되는 G10 서브픽셀에서의 픽셀값과 G11 서브픽셀에서의 픽셀값의 차이에 각각 기초하여 위상값을 검출할 수 있다.

마찬가지로 레드 서브픽셀그룹(TRG), 블루 서브픽셀그룹(TBG) 및 제2 그린 서브픽셀그룹(TGG2) 각각은 위에서 설명한 방식으로 8 공유 리드아웃영역으로 리드할 수 있으며, 제1 리드아웃 동작에 의해 공유 마이크로렌즈(ML3)를 통해 일측(예를 들어 공유 마이크로렌즈의 좌측)의 서브픽셀에서 센싱된 픽셀값과 제2 리드아웃 동작에 의해 타측(예를 들어 공유 마이크로렌즈의 우측)의 서브픽셀에서의 센싱된 픽셀값 간의 차이에 따라 위상값을 검출할 수 있다. 예를 들어 레드 서브픽셀그룹(TRG)의 경우 제1 리드아웃 동작으로 R6, R10 서브픽셀의 픽셀값을, 제2 리드아웃 동작으로 R7, R11 서브픽셀의 픽셀값을 각각 리드아웃하여, 서브픽셀 R6, R7 간, 그리고 서브픽셀 R10, R11 간 픽셀값의 차이를 기초로 위상검출을 할 수 있다.

도 8은 몇몇 실시예에 따른 픽셀 어레이의 패턴을 나타낸 도면이다. 도 8에서 도 3과 중복되는 설명은 생략한다.

도 8을 참조하면, 몇몇 실시예에 따라 각각의 서브픽셀 영역(R1~R16, G1~G32, B1-B16) 상에는 적어도 2 타입의 마이크로렌즈(ML3, ML4)가 배치될 수 있다. 공유 마이크로렌즈(ML3)는 서브픽셀그룹의 제1행 및 제4행 중심부에 각각 배치될 수 있다.

구체적으로 제1 그린 서브픽셀그룹(TGG1)을 예로 들면, 제1 공유 마이크로렌즈(ML3)는 제1행 제2열 및 제3열의 서브픽셀(G2, G3)에 배치될 수 있고 제2 공유 마이크로렌즈(ML4)는 제4행 제2열 및 제3열의 서브픽셀(G14, G15)에 배치될 수 있다. 즉 도 8의 공유 마이크로렌즈들은 서브픽셀그룹의 테두리 중 리드아웃 영역의 구분선과 교차되는 테두리에 걸쳐 배치된다. 예를 들어 4 공유 리드아웃인 경우, 제1 리드아웃 영역은 G1, G2, G5, G6 서브픽셀을 포함하고, 제2 리드아웃 영역은 G3, G4, G7, G8 서브픽셀을 포함한다. 제1 공유 마이크로렌즈(ML3)는 제1 리드아웃영역과 제2 리드아웃 영역의 구분선과 교차되도록 배치된다. 또한, 제3 리드아웃 영역은 G9, G10, G13, G14 서브픽셀을 포함하고 제4 리드아웃 영역은 G11, G12, G15, G16을 포함한다. 제2 공유 마이크로렌즈(ML3)는 제3 리드아웃 영역과 제4 리드아웃 영역의 구분선과 교차되도록 배치된다. 서브픽셀그룹 중 G1, G2, G5, G6 서브픽셀 및 G3, G4, G7, G8 서브픽셀을 제외한 나머지 서브픽셀들 상에는 싱글 마이크로렌즈가 배치된다.

적어도 2 타입의 마이크로렌즈(ML3, ML4)는 상술한 제1 그린 서브픽셀그룹(TGG1) 외에도 레드 서브픽셀그룹(TRG), 블루 서브픽셀그룹(TBG) 및 제2 그린 서브픽셀그룹(TGG2)에도 동일한 방식으로 배치된다 할 것이다.

도 9는 몇몇 실시예에 따른 픽셀 어레이의 패턴을 나타낸 도면이다.

도 9를 참조하면, 몇몇 실시예에 따라 각각의 서브픽셀 영역(R1~R16, G1~G32, B1-B16) 상에는 하나의 공유 마이크로렌즈(MLC)와 싱글 마이크로렌즈(ML1)가 배치될 수 있다. 공유 마이크로렌즈(MLC)는 서브픽셀그룹의 중심 윈도우에 각각 배치될 수 있다. 또는 공유 마이크로렌즈(MLC)는 4 공유 리드아웃 영역의 구분선 상에 또는 8 공유 리드아웃 영역의 구분선 상에 배치될 수 있다. 즉, 인접한 리드아웃 영역끼리는 상기 구분선을 기준으로 마이크로렌즈의 배치가 선대칭이나, 하나의 리드아웃영역 내에서 서브픽셀들의 마이크로렌즈 배치는 비대칭일 수 있다.

몇몇 실시예에 따라 서브픽셀그룹의 테두리에 속하는 서브픽셀들 상부에는 싱글 마이크로렌즈(ML1)가 배치되고, 서브픽셀그룹에서 테두리를 뺀 중심 윈도우에 속하는 서브픽셀들 상부에는 하나의 공유 마이크로렌즈(MLC)가 배치될 수 있다. 공유 마이크로렌즈(MLC)는 정(正) 원형 형태일 수 있다. 즉, 상부에서 보았을 때, 싱글 마이크로렌즈(ML1)는 각 서브픽셀 영역(R1~R5, R8, R9, R12~R16 또는 G1~G5, G8, G9, G12~G16, 또는 B1~B5, B8, B9, B12~B16 또는 G17~G21, G24~G25, G28~G32)에 대응될 수 있다. 상기 예에서 공유 마이크로렌즈(MLC)는 4개의 서브픽셀 영역(예를 들어 G6, G7, G10, G11 또는 R6, R7, R10, R11 또는 B6, B7, B10, B11 또는 G22, G23, G26, G27 )의 상면에 배치될 수 있다.

몇몇 실시예에 따라 단위픽셀그룹 어레이의 하부의 픽셀구조는 앞서 도 4에서 설명한 바와 같이, 컬러 필터층(CF layer), 픽셀 간 차광 레이어(DTI layer) 구조를 가질 수 있다. 예를 들어 공유 마이크로렌즈 내의 픽셀 간 차광 레이어는 벽이 낮으나, 싱글 마이크로렌즈와 싱글 마이크로렌즈 간, 또는 싱글 마이크로렌즈와 공유 마이크로렌즈 간 차광 레이어는 벽이 높게 형성될 수 있다.

도 10 및 도 11은 도 9의 패턴을 갖는 픽셀 어레이에서 위상검출 방법을 설명하기 위한 도면이다.

도 10을 참조하면, 도시된 예에서, 테트라2 배치구조로 배열된 서브픽셀그룹(예를 들어 TGG1)에서, 리드아웃 회로는 4 공유 리드아웃영역으로 4번의 리드아웃 동작을 수행할 수 있다. 예를 들어 제1 리드아웃 동작으로 G1, G2, G5, G6 서브픽셀을 리드하고(W4LU), 제2 리드아웃 동작으로 G3, G4, G7, G8 서브픽셀을 리드하고(W4RU), 제3 리드아웃 동작으로 G9, G10, G13, G14 서브픽셀을 리드하고(W4LL) 제4 리드아웃 동작으로 G11, G12, G15, G16 서브픽셀을 리드할 수 있다(W4RL). 제1 내지 제4 리드아웃 동작이 순차적으로 수행되면 공유 마이크로렌즈(MLC)를 통해 입사되는 각각의 G6 서브픽셀, G7 서브픽셀, G10 서브픽셀 및 G11 서브픽셀에서의 픽셀값의 차이에 기초하여 위상값을 검출할 수 있다. 예를 들어 G6-G7 서브픽셀에서 센싱된 픽셀값 간의 차이, G10-G11 서브픽셀에서 센싱된 픽셀값 간의 차이, G6-G10 서브픽셀에서 센싱된 픽셀값 간의 차이, 또는 G7-G11 서브픽셀에서 센싱된 픽셀값 간의 차이에 따라 위상값을 검출할 수 있다

마찬가지로 레드 서브픽셀그룹(TRG), 블루 서브픽셀그룹(TBG) 및 제2 그린 서브픽셀그룹(TGG2) 각각은 위에서 설명한 방식으로 4 공유 리드아웃영역으로 리드할 수 있으며, 공유 마이크로렌즈(MLC)를 통해 중심 윈도우에 위치한 4개의 서브픽셀들의 픽셀값 간 차이를 기초로 위상값을 검출할 수 있다.

도 11을 참조하면, 도시된 예에서, 테트라2 배치구조로 배열된 서브픽셀그룹(예를 들어 TGG1)에서, 리드아웃 회로는 8 공유 리드아웃영역으로 2번의 리드아웃 동작을 수행할 수 있다. 예를 들어 제1 리드아웃 동작으로 G1, G2, G5, G6, G9, G10, G13, G14 서브픽셀을 리드하고(W8L), 제2 리드아웃 동작으로 G3, G4, G7, G8, G11, G12, G15, G16 서브픽셀을 리드할 수 있다(W8R). 제1 및 제2 리드아웃 동작이 순차적으로 수행되면 공유 마이크로렌즈(MLC)를 통해 입사되는 각각의 G6-G7 서브픽셀의 픽셀값의 차이, G10-G11 서브픽셀에서의 픽셀값의 차이에 기초하여 위상값을 검출할 수 있다.

마찬가지로 레드 서브픽셀그룹(TRG), 블루 서브픽셀그룹(TBG) 및 제2 그린 서브픽셀그룹(TGG2) 각각은 위에서 설명한 방식으로 8 공유 리드아웃영역으로 리드할 수 있으며, 공유 마이크로렌즈(MLC)를 통해 중심 윈도우에 위치한 4개의 서브픽셀들의 픽셀값 간 차이를 기초로 위상값을 검출할 수 있다.

도 12 내지 도 14는 도 3, 도 8 및 도 9의 패턴을 갖는 픽셀 어레이에서 위상검출 방법 및 컬러검출 방법을 설명하기 위한 도면이다. 몇몇 실시예에 따른 단위픽셀그룹 어레이에서 각 서브픽셀을 비닝하는 경우 비닝된 위상값 및 비닝된 컬러값을 각각 나타낸 것이다.

도 12를 참조하면, 몇몇 실시예에 따라 도 3, 도 8, 또는 도 9에 도시된 단위픽셀그룹 어레이(예를 들어 PA3)에서 각 서브픽셀그룹 내 모든 서브픽셀의 위상값을 비닝하면, 서브픽셀그룹(TGG1, TRG, TBG, TGG2)에 상응하는 비닝된 위상값을 산출할 수 있다. 예를 들어 서브픽셀그룹(TGG1)은 16G에 대응되는 비닝된 위상값을, 서브픽셀그룹(TRG)은 16R에 대응되는 비닝된 위상값을, 서브픽셀그룹(TBG)은 16B에 대응되는 비닝된 위상값을, 서브픽셀그룹(TGG2)은 16G에 대응되는 비닝된 위상값을 산출할 수 있다. 즉, 단위픽셀그룹 어레이(P-PA3)는 16G, 16R, 16B, 16G에 각각 대응되는 비닝된 위상값을 가질 수 있다.

도 13을 참조하면, 몇몇 실시예에 따라 각 서브픽셀그룹 내 리드아웃영역(예를 들어 4 공유 리드아웃영역)의 서브픽셀의 컬러값을 비닝하면, 서브픽셀그룹(TGG1, TRG, TBG, TGG2)은 공유 마이크로렌즈가 있는 서브픽셀을 제외한 나머지 서브픽셀로부터 비닝된 컬러값을 산출할 수 있다. 예를 들어 도 13에서 서브픽셀그룹(TGG1)은 4 공유 리드아웃영역에서 각각 G6,G7,G9,G10 서브픽셀을 제외한 나머지 서브픽셀들로부터 비닝된 컬러값 3G1, 3G2, 3G3, 3G4를 산출할 수 있고, 서브픽셀그룹(TRG)은 4 공유 리드아웃영역에서 각각 R6,R7,R9,R10 서브픽셀을 제외한 나머지 서브픽셀들로부터 비닝된 컬러값 3R1, 3R2, 3R3, 3R4를 산출할 수 있다. 서브픽셀그룹(TBG)은 4 공유 리드아웃영역에서 각각 B6,B7,B9,B10 서브픽셀을 제외한 나머지 서브픽셀들로부터 비닝된 컬러값 3B1, 3B2, 3B3, 3B4를 산출할 수 있고, 서브픽셀그룹(TGG2)은 4 공유 리드아웃영역에서 각각 G22,G23,G26,G27 서브픽셀을 제외한 나머지 서브픽셀들로부터 비닝된 컬러값 3G1, 3G2, 3G3, 3G4를 산출할 수 있다.

도 14를 참조하면, 몇몇 실시예에 따라 서브픽셀그룹(TGG1, TRG, TBG, TGG2)은 공유마이크로렌즈가 있는 서브픽셀을 로부터 비닝된 위상값을 산출할 수 있다. 예를 들어 도 9에서 서브픽셀그룹(TGG1)은 4 공유 리드아웃영역에서 각각 G6,G7,G10,G11 서브픽셀들로부터 비닝된 위상값 1G1, 1G2, 1G3, 1G4를 산출할 수 있고, 서브픽셀그룹(TRG)은 4 공유 리드아웃영역에서 각각 R6,R7,R9,R10 서브픽셀들로부터 비닝된 위상값 1R1, 1R2, 1R3, 1R4를 산출할 수 있다. 서브픽셀그룹(TBG)은 4 공유 리드아웃영역에서 B6,B7,B9,B10 서브픽셀로부터 비닝된 위상값 1B1, 1B2, 1B3, 1B4를 산출할 수 있고, 서브픽셀그룹(TGG2)은 4 공유 리드아웃영역에서 G22,G23,G26,G27 서브픽셀로부터 비닝된 위상값 1G1, 1G2, 1G3, 1G4를 산출할 수 있다.

도 15는 몇몇 실시예에 따른 픽셀 어레이의 패턴을 나타낸 도면이다.

도 15를 참조하면, 몇몇 실시예에 따라 단위픽셀그룹 어레이(PA4)에 속한 각각의 서브픽셀 영역(R1~R16, G1~G32, B1-B16) 상에는 4개의 쿼터 마이크로렌즈(MLE)와 싱글 마이크로렌즈(M1)가 배치될 수 있다. 쿼터 마이크로렌즈(MLC)는 서브픽셀그룹의 모서리에 각각 배치될 수 있다. 싱글 마이크로렌즈(M1)는 서브픽셀그룹에서 모서리를 제외한 나머지 서브픽셀 상에 배치될 수 있다.

예를 들어 서브픽셀그룹(TGG1)에서, 쿼터 마이크로렌즈(MCE1, MCE2, MCE4, MCE5)는 G1, G4, G13, G16 서브픽셀 상에 배치되고, 싱글 마이크로렌즈(M1)는 나머지 서브픽셀들(G2, G3, G5, G6, G7, G8, G9, G10, G11, G12, G14, G15) 상에 배치될 수 있다. 모서리에 배치된 4개의 쿼터 마이크로렌즈(G1-MCE1, G4-MCE2, G13-MCE4, G16-MCE5)를 모두 합치면 하나의 원형 공유 마이크로렌즈가 될 수 있다. 몇몇 실시예에 따라 서브픽셀이 정사각형의 간격으로 배치되고, 싱글 마이크로렌즈가 서브픽셀의 각 면에 닿는 사이즈의 원형 형태라고 가정할 때, 쿼터 마이크로렌즈(MCE)의 반지름은 하나의 서브픽셀의 일방향 길이와 같고, 원형 공유 마이크로렌즈(MCE)의 지름은 싱글 마이크로렌즈(M1)의 지름의 2배일 수 있다.

인접한 서브픽셀그룹간 쿼터 마이크로렌즈는 하나의 원형 공유 마이크로렌즈가 될 수 있다. 예를 들어 서브픽셀그룹(TGG1)의 쿼터 마이크로렌즈(MCE5-G16), 서브픽셀그룹(TRG)의 쿼터 마이크로렌즈(MCE5-GR3), 서브픽셀그룹(TBG)의 쿼터 마이크로렌즈(MCE5-GB2), 서브픽셀그룹(TGG2)의 쿼터 마이크로렌즈(MCE5-G17)이 모여서 하나의 원형 공유 마이크로렌즈(MCE5)가 될 수 있다.

다만, 다른 단위픽셀그룹 어레이(PA1, PA2, PA3) 패턴과 달리, 도 15의 단위픽셀그룹 어레이(PA4)는 쿼터 마이크로렌즈가 배치된 서브픽셀은 그린 픽셀일 수 있다. 예를 들어, 서브픽셀그룹(TRG)의 모서리에 있는 서브픽셀(GR1, GR2, GR3, GR4)는 각각 레드 픽셀이 아니라 그린 픽셀이고, 나머지 서브픽셀들(R2, R3, R5내지 R12, R14, R15)은 레드 픽셀일 수 있다. 또한, 서브픽셀그룹(TBG)의 모서리에 있는 서브픽셀(GB1, GB2, GB3, GB4)는 각각 블루 픽셀이 아니라 그린 픽셀이고, 나머지 서브픽셀들(B2, B3, B5 내지 B12, B14, B15)은 블루 픽셀일 수 있다.

도 16 및 도 17은 도 15의 패턴을 갖는 픽셀 어레이에서 위상검출 방법을 설명하기 위한 도면이다.

도 16을 참조하면, 도시된 예에서, 테트라2 배치구조로 배열된 서브픽셀그룹(예를 들어 TGG1)에서, 리드아웃 회로는 4 공유 리드아웃영역으로 4번의 리드아웃 동작을 수행할 수 있다. 예를 들어 제1 리드아웃 동작으로 G1, G2, G5, G6 서브픽셀을 리드하고(W4LU), 제2 리드아웃 동작으로 G3, G4, G7, G8 서브픽셀을 리드하고(W4RU), 제3 리드아웃 동작으로 G9, G10, G13, G14 서브픽셀을 리드하고(W4LL) 제4 리드아웃 동작으로 G11, G12, G15, G16 서브픽셀을 리드할 수 있다(W4RL). 제1 내지 제4 리드아웃 동작이 순차적으로 수행되면 쿼터 마이크로렌즈(MLE)를 통해 입사되는 각각의 G1 서브픽셀, G4 서브픽셀, G13 서브픽셀 및 G16 서브픽셀에서의 픽셀값에 기초하여 위상값을 검출할 수 있다. 서브픽셀그룹(TGG1)의 쿼터 마이크로렌즈는 제1 리드아웃 영역 내지 제4 리드아웃 영역에서 비대칭으로 배치되므로, 각 쿼터 마이크로렌즈가 배치된 서브픽셀에서 위상값을 검출할 수 있다.

마찬가지로 레드 서브픽셀그룹(TRG), 블루 서브픽셀그룹(TBG) 및 제2 그린 서브픽셀그룹(TGG2) 각각은 위에서 설명한 방식으로 4 공유 리드아웃영역으로 리드할 수 있으며, 쿼터 마이크로렌즈(MLE)를 통해 각 서브픽셀그룹의 모서리에 위치한 4개의 서브픽셀들의 픽셀값을 기초로 위상값을 검출할 수 있다.

도 17을 참조하면, 도시된 예에서, 테트라2 배치구조로 배열된 서브픽셀그룹(예를 들어 TGG1)에서, 리드아웃 회로는 8 공유 리드아웃영역으로 2번의 리드아웃 동작을 수행할 수 있다. 예를 들어 제1 리드아웃 동작으로 G1, G2, G5, G6, G9, G10, G13, G14 서브픽셀을 리드하고(W8L), 제2 리드아웃 동작으로 G3, G4, G7, G8, G11, G12, G15, G16 서브픽셀을 리드할 수 있다(W8R). 제1 및 제2 리드아웃 동작이 순차적으로 수행되면 쿼터 마이크로렌즈(MLE)를 통해 입사되는 각각의 G1 및 G13 서브픽셀의 픽셀값 및 G4 및 G16 서브픽셀의 픽셀값에 기초하여 위상값을 검출할 수 있다.

마찬가지로 레드 서브픽셀그룹(TRG), 블루 서브픽셀그룹(TBG) 및 제2 그린 서브픽셀그룹(TGG2) 각각은 위에서 설명한 방식으로 8 공유 리드아웃영역으로 리드할 수 있으며, 쿼터 마이크로렌즈(MLE)를 통해 각 서브픽셀그룹의 모서리에 위치한 4개의 서브픽셀들의 픽셀값을 기초로 위상값을 검출할 수 있다. 다만, 몇몇 실시예에 따라 쿼터 마이크로렌즈(MLE)의 서브픽셀은 그린픽셀이므로 픽셀의 컬러값 비닝시 도 18 내지 도 20에 기초하여 위상값 비닝 및 컬러 비닝을 수행할 수 있다.

도 19 내지 도 20은 도 15의 패턴을 갖는 픽셀 어레이에서 위상검출 방법 및 컬러검출 방법을 설명하기 위한 도면이다. 몇몇 실시예에 따른 단위픽셀그룹 어레이에서 각 서브픽셀을 비닝하는 경우 비닝된 위상값 및 비닝된 컬러값을 각각 나타낸 것이다.

도 19를 참조하면, 몇몇 실시예에 따라 제1 그린 서브픽셀그룹(TGG1) 및 제2 그린 서브픽셀그룹(TGG2)은 서브픽셀이 모두 그린 픽셀이므로 서브픽셀을 모두 비닝하면 비닝된 컬러값은 16G가 된다. 그러나 레드 서브픽셀그룹(TRG) 및 블루 서브픽셀그룹(TBG)의 경우 모서리의 4개 서브픽셀은 그린 픽셀이므로, 컬러 비닝을 수행하면 각각 12R+4G 및 12B+4G가 된다. 이미지 센서는 색상 보정 매트릭스(Color Correction Matrix)의 파라미터를 변경하여 레드 서브픽셀그룹(TRG) 또는 블루 서브픽셀그룹(TBG)에서 추가된 그린 컬러값(4G)을 보정할 수 있다. 색상보정 매트릭스(이하 CCM는 다음 <수학식 1>과 같이 설정될 수 있다.

수학식 1은 수학식 2와 같이 정리될 수 있다.

상기 수학식 1 및 수학식 2에서

는 레드, 그린, 블루 컬러 각각의 가중치이고, 수학식 2에서

는 색상보정 매트릭스이며, 수학식 2에서

는 단위픽셀그룹 어레이에서 센싱된 RGB 데이터이고,

는 보정된 RGB 데이터를 나타낸다. 즉, 레드, 그린, 블루 색상이 각각 16개의 서브픽셀로 센싱되는 것처럼 보정하기 위해, 색상 보정 매트릭스를

로 설정하여 신호대잡음비를 유사하게 맞춰줄 수 있다.

도 19를 참조하면, 몇몇 실시예에 따라 각 서브픽셀그룹 내 리드아웃영역(예를 들어 4 공유 리드아웃영역)의 서브픽셀의 컬러값을 비닝하면, 서브픽셀그룹(TGG1, TRG, TBG, TGG2)은 쿼터 마이크로렌즈가 있는 서브픽셀을 고려하여 색상 보정 매트릭스를 적용하여 비닝된 컬러값을 산출할 수 있다. 예를 들어 도 19에서 서브픽셀그룹(TGG1)은 4 공유 리드아웃영역 각각(즉 uTGG)에서 비닝된 컬러값 3G, 3G, 3G, 3G를 산출할 수 있고, 서브픽셀그룹(TRG)은 4 공유 리드아웃영역(즉 uTRG)에서 비닝된 컬러값 3R, 3R, 3R, 3R를 산출할 수 있다. 서브픽셀그룹(TBG)은 4 공유 리드아웃영역(즉 uTBG)에서 비닝된 컬러값 3B, 3B, 3B, 3B를 산출할 수 있고, 서브픽셀그룹(TGG2)은 4 공유 리드아웃영역(즉 uTGG)에서 비닝된 컬러값 3G, 3G, 3G, 3G를 산출할 수 있다.

도 20을 참조하면, 몇몇 실시예에 따라, 서브픽셀그룹(TGG1, TRG, TBG, TGG2)은 쿼터 마이크로렌즈가 있는 서브픽셀로부터 비닝된 위상값을 각각 산출할 수 있다. 즉 4공유 리드아웃 영역(uTGG, uTRG, uTBG) 기준으로 각각 쿼터 마이크로렌즈가 하나씩 포함되므로, 리드아웃영역마다 1G, 1R 또는 1B에 해당하는 위상값을 산출할 수 있다.

이하, 도 21 및 도 22를 참조하여 다른 몇몇 실시예에 따른 전자 장치(2000)를 설명한다.

도 21은 몇몇 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치를 설명하기 위한 블록도이다. 도 22는 도 21의 카메라 모듈의 상세 블록도이다. 설명의 편의를 위해, 도 1 내지 도 20을 이용하여 설명한 것과 중복되는 부분은 간략히 설명하거나 생략한다.

도 21을 참조하면, 전자 장치(2000)는 카메라 모듈 그룹(2100), 어플리케이션 프로세서(2200), PMIC(2300), 외부 메모리(2400) 및 디스플레이(2500)를 포함할 수 있다.

카메라 모듈 그룹(2100)은 복수의 카메라 모듈(2100a, 2100b, 2100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(2100a, 2100b, 2100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(2100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(2100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.

여기서 3개의 카메라 모듈(2100a, 2100b, 2100c) 중 하나는 도 1 내지 도 20을 이용하여 설명한 이미지 센서(100)를 포함할 수 있다. 즉, 카메라 모듈(2100a, 2100b, 2100c)의 이미지 센서(100)는 제1 픽셀 어레이 영역(PA1) 또는 제2 픽셀 어레이 영역(PA2)을 포함할 수 있다.

이하, 도 22를 참조하여, 카메라 모듈(2100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(2100a, 2100c)에 대해서도 동일하게 적용될 수 있다.

도 22를 참조하면, 카메라 모듈(2100b)은 프리즘(2105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(2110), 액츄에이터(2130), 이미지 센싱 장치(2140) 및 저장부(2150)를 포함할 수 있다.

프리즘(2105)은 광 반사 물질의 반사면(2107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.

몇몇 실시예에서, 프리즘(2105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(2105)은 광 반사 물질의 반사면(2107)을 중심축(2106)을 중심으로 A방향으로 회전시키거나, 중심축(2106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(2110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.

몇몇 실시예에서, 도시된 것과 같이, 프리즘(2105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

몇몇 실시예에서, 프리즘(2105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.

몇몇 실시예에서, 프리즘(2105)은 광 반사 물질의 반사면(2106)을 중심축(2106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.

OPFE(2110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(2100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(2100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(2110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(2100b)의 광학 줌 배율은 3Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.

액츄에이터(2130)는 OPFE(2110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(2130)는 정확한 센싱을 위해 이미지 센서(2142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.

이미지 센싱 장치(2140)는 이미지 센서(2142), 제어 로직(2144) 및 메모리(2146)를 포함할 수 있다. 이미지 센서(2142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 몇몇 실시예에서, 이미지 센서(2142)는 앞서 설명한 이미지 센서(100)를 포함할 수 있다.

제어 로직(2144)은 카메라 모듈(2100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(2144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(2100b)의 동작을 제어할 수 있다.

메모리(2146)는 보정 데이터(2147)와 같은 카메라 모듈(2100b)의 동작에 필요한 정보를 저장할 수 있다. 보정 데이터(2147)는 카메라 모듈(2100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 보정 데이터(2147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(2100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 보정 데이터(2147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.

저장부(2150)는 이미지 센서(2142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(2150)는 이미지 센싱 장치(2140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(2140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(2150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.

도 21과 도 22를 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각은 액추에이터(2130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각은 그 내부에 포함된 액추에이터(2130)의 동작에 따른 서로 동일하거나 서로 다른 보정 데이터(2147)를 포함할 수 있다.

몇몇 실시예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 중 하나의 카메라 모듈(예를 들어, 2100b)은 앞서 설명한 프리즘(2105)과 OPFE(2110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 2100a, 2100c)은 프리즘(2105)과 OPFE(2110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

몇몇 실시예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 중 하나의 카메라 모듈(예를 들어, 2100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 어플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 2100a 또는 2100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.

몇몇 실시예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 2100a, 2100c)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(2100a, 2100b, 2100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 2100a, 2100c)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

또한, 몇몇 실시예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

몇몇 실시예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(2142)의 센싱 영역을 복수의 카메라 모듈(2100a, 2100b, 2100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각의 내부에 독립적인 이미지 센서(2142)가 배치될 수 있다.

다시 도 21을 참조하면, 어플리케이션 프로세서(2200)는 이미지 처리 장치(2210), 메모리 컨트롤러(2220), 내부 메모리(2230)를 포함할 수 있다. 어플리케이션 프로세서(2200)는 복수의 카메라 모듈(2100a, 2100b, 2100c)과 분리되어 구현될 수 있다. 예를 들어, 어플리케이션 프로세서(2200)와 복수의 카메라 모듈(2100a, 2100b, 2100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.

이미지 처리 장치(2210)는 복수의 서브 이미지 프로세서(2212a, 2212b, 2212c), 이미지 생성기(2214) 및 카메라 모듈 컨트롤러(2216)를 포함할 수 있다.

이미지 처리 장치(2210)는 복수의 카메라 모듈(2100a, 2100b, 2100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(2212a, 2212b, 2212c)를 포함할 수 있다.

각각의 카메라 모듈(2100a, 2100b, 2100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(2212a, 2212b, 2212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(2100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(2212a)에 제공되고, 카메라 모듈(2100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(2212b)에 제공되고, 카메라 모듈(2100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(2212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(2212a)와 서브 이미지 프로세서(2212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(2100a)과 카메라 모듈(2100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.

각각의 서브 이미지 프로세서(2212a, 2212b 및 2212c)에 제공된 이미지 데이터는 이미지 생성기(2214)에 제공될 수 있다. 이미지 생성기(2214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(2212a, 2212b 및 2212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.

구체적으로, 이미지 생성기(2214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(2100a, 2100b 및 2100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(2214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(2100a, 2100b 및 2100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.

몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.

이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(2100a, 2100b 및 2100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(2214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(2100a)로부터 출력된 이미지 데이터와 카메라 모듈(2100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(2100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(2214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(2100a, 2100b 및 2100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.

몇몇 실시예에서, 이미지 생성기(2214)는 복수의 서브 이미지 프로세서(2212a, 2212b 및 2212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.

카메라 모듈 컨트롤러(2216)는 각각의 카메라 모듈(2100a, 2100b 및 2100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(2216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb 및 CSLc)를 통해 대응되는 카메라 모듈(2100a, 2100b 및 2100c)에 제공될 수 있다.

복수의 카메라 모듈(2100a, 2100b 및 2100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 2100a)로 지정되고, 나머지 카메라 모듈들(예를 들어, 2100b 및 2100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb 및 CSLc)를 통해 대응되는 카메라 모듈(2100a, 2100b 및 2100c)에 제공될 수 있다.

줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(2100a)의 시야각이 카메라 모듈(2100c)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(2100c)이 마스터로서 동작하고, 카메라 모듈(2100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(2100a)이 마스터로서 동작하고, 카메라 모듈(2100c)이 슬레이브로서 동작할 수 있다.

몇몇 실시예에서, 카메라 모듈 컨트롤러(2216)로부터 각각의 카메라 모듈(2100a, 2100b 및 2100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(2100b)이 마스터 카메라이고, 카메라 모듈들(2100a, 2100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(2216)는 카메라 모듈(2100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(2100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(2100a 및 2100c)에 제공할 수 있다. 카메라 모듈(2100b)과 카메라 모듈들(2100a 및 2100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 어플리케이션 프로세서(2200)에 전송할 수 있다.

몇몇 실시예에서, 카메라 모듈 컨트롤러(2216)로부터 복수의 카메라 모듈(2100a, 2100b 및 2100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(2100a, 2100b 및 2100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.

복수의 카메라 모듈(2100a, 2100b 및 2100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 어플리케이션 프로세서(2200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.

어플리케이션 프로세서(2200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(2230) 또는 어플리케이션 프로세서(2200) 외부의 스토리지(2400)에 저장하고, 이후, 메모리(2230) 또는 스토리지(2400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(2210)의 복수의 서브 프로세서(2212a, 2212b, 2212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다. 예를 들어 디스플레이(2500)에 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터가 디스플레이될 수 있다.

복수의 카메라 모듈(2100a, 2100b 및 2100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 어플리케이션 프로세서(2200)에 전송할 수 있다. 어플리케이션 프로세서(2200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 어플리케이션 프로세서(2200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(2230) 또는 스토리지(2400)에 저장할 수 있다.

PMIC(2300)는 복수의 카메라 모듈(2100a, 2100b 및 2100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(2300)는 어플리케이션 프로세서(2200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(2100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(2100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(2100c)에 제3 전력을 공급할 수 있다.

PMIC(2300)는 어플리케이션 프로세서(2200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(2100a, 2100b 및 2100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(2100a, 2100b 및 2100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(2100a, 2100b 및 2100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.

실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

1: 이미지 센싱 장치 100 : 이미지 센서
ML : 마이크로렌즈 CF : 컬러필터
DTI : 픽셀 간 차광 PA : 단위픽셀그룹 어레이

Claims

베이어 패턴으로 배치된 복수의 단위픽셀그룹을 포함하고, 상기 단위픽셀그룹은 서로 교차로 활성화되는 복수의 리드아웃 영역을 포함하는 4x4 서브픽셀 어레이를 포함하는, 픽셀 어레이;
상기 픽셀 어레이의 로우에 연결되어 컬럼라인을 구동하는 로우 드라이버; 및
상기 픽셀 어레이로부터 픽셀 신호를 샘플링하여 램프 신호와 비교하여 아날로그 이미지를 디지털 이미지로 변환하는 리드아웃 회로를 포함하고,
상기 단위픽셀그룹에서 각 리드아웃 영역의 마이크로렌즈는 비대칭으로 배치되는 것인, 이미지 센서.
제1항에 있어서, 상기 단위픽셀그룹은
제1 그린 4x4 서브픽셀 어레이, 레드 4x4 서브픽셀 어레이, 블루 4x4 서브픽셀 어레이 및 제2 그린 4x4 서브픽셀 어레이를 포함하는 컬러 필터 레이어를 포함하는, 이미지 센서.
제1항에 있어서, 상기 4x4 서브픽셀은 제1열 내지 제4열 중
상기 제1열과 상기 제4열은 각 서브픽셀에 대응되는 싱글 마이크로렌즈가 배치되고,
상기 제2열과 상기 제3열은 각 서브픽셀이 서로 공유하는 공유 마이크로렌즈가 배치되는, 이미지 센서.
제3항에 있어서, 상기 4x4 서브픽셀은 제1행 내지 제4행 중
제1행과 제4행은 각각의 서브픽셀마다 상기 싱글 마이크로렌즈가 배치되고,
상기 제2열 제2행의 서브픽셀과 제3열의 제2행의 서브픽셀은 제1 공유 마이크로렌즈를 공유하고,
상기 제2열 제3행의 서브픽셀과 제3열의 제3행의 서브픽셀은 제2 공유 마이크로렌즈를 공유하는, 이미지 센서.
제4항에 있어서, 상기 제1 공유 마이크로렌즈 및 상기 제2 공유 마이크로렌즈는 타원형태인, 이미지 센서.
제3항에 있어서, 상기 4x4 서브픽셀은 제1행 내지 제4행 중
제1행과 제4행은 각각의 서브픽셀마다 상기 싱글 마이크로렌즈가 배치되고,
상기 제2열 제2행 및 제3행의 서브픽셀들과 제3열의 제2행 및 제3행의 서브픽셀이 하나의 상기 공유 마이크로렌즈를 공유하는, 이미지 센서.
제4항에 있어서, 상기 공유 마이크로렌즈는 정(正) 원형 형태인, 이미지 센서.
제1항에 있어서, 상기 단위픽셀은
상기 4x4 서브픽셀의 각 모서리에 배치된 서브픽셀에는 쿼터 마이크로렌즈가 배치되고,
상기 4x4 서브픽셀의 나머지 서브픽셀에는 싱글 마이크로렌즈가 배치되는, 이미지 센서.
각각이 4x4 서브픽셀을 포함하는 복수의 단위픽셀그룹을 포함하고, 상기 단위픽셀그룹은 베이어 패턴으로 배치되는, 픽셀 어레이;
상기 픽셀 어레이의 로우에 연결되어 컬럼라인을 구동하는 로우 드라이버; 및
상기 픽셀 어레이로부터 픽셀 신호를 샘플링하여 램프 신호와 비교하여 아날로그 이미지를 디지털 이미지로 변환하는 리드아웃 회로를 포함하고,
상기 단위픽셀그룹은
상기 단위픽셀그룹의 모서리에 배치된 제1 서브픽셀 상에는 쿼터 마이크로렌즈가 배치되고,
상기 단위픽셀그룹 중 상기 제1 서브픽셀을 제외한 나머지 제2 서브픽셀 상에는 싱글 마이크로렌즈가 배치되는, 이미지 센서.
제9항에 있어서,
서로 인접한 4개의 단위픽셀그룹의 서로 마주보는 모서리의 상기 제1 서브픽셀 상에 배치된 상기 쿼터 마이크로렌즈를 합치면 하나의 원형 마이크로렌즈가 되는, 이미지 센서.