KR20150124381A - 이미지 처리 장치와 이를 포함하는 모바일 컴퓨팅 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 이미지 처리 장치는 이미지를 캡처하기 위해 2차원적으로 배열된 픽셀들을 포함하는 픽셀 어레이와, 상기 픽셀들로부터 출력된 픽셀 신호들로부터 이미지 데이터를 생성하는 이미지 데이터 처리 회로와, 상기 이미지 데이터로부터 컬러 데이터를 추출하고, 추출된 컬러 데이터를 출력하는 컬러 데이터 처리 회로와, 상기 이미지 데이터로부터 깊이 데이터를 추출하고, 추출된 깊이 데이터를 출력하는 깊이 데이터 추출 회로와, 상기 컬러 데이터와 상기 깊이 데이터를 출력하는 출력 제어 회로를 포함하고, 상기 픽셀 어레이에 포함된 모든 픽셀들 각각은 복수의 광전 변환 소자들을 포함한다.

Description

이미지 처리 장치와 이를 포함하는 모바일 컴퓨팅 장치{IMAGE PROCESSING DEVICE AND MOBILE COMPUTING DEVICE HAVING SAME}

본 발명의 개념에 따른 실시 예는 이미지 처리 장치에 관한 것으로, 특히 전면(full) PAF 픽셀 어레이로부터 출력된 데이터로부터 추출된 컬러 데이터와 깊이 데이터를 병렬 또는 직렬로 출력할 수 있는 이미지 처리 장치와 이를 포함하는 모바일 컴퓨팅 장치에 관한 것이다.

PAF는 위상 검출 자동 초점(phase detection auto focus) 또는 위상 차이 자동 초점(phase difference auto focus)을 의미할 수도 있다.

사진술(photography)에서, 동적 범위(dynamic range)는 최대 측정 가능한 빛의 세기와 최소 측정 가능한 빛의 세기 사이의 범위를 의미한다. 빛의 세기가 변하는 정도는 이미징 센서(imaging sensor)의 동적 범위의 전반적인 성능을 결정하는 캡처 장치로서 사용되는 장치에 의존적이다.

넓은 동적 범위(wide dynamic range(WDR))는 높은 동적 범위(high dynamic range(HDR))라고도 한다. WDR 기술은 픽셀 성능을 물리적으로 증가시키거나 각 픽셀에 멀티플-노출 시간들을 디지털적으로 적용하여 이미징 센서의 동적 범위를 증가시킨다. 이상적인 WDR 센서는 높은 풀 웰 커패시티(full well capacity(FWC))를 갖는 센서이다. FWC는 리드아웃(readout) 동안 포화 없이 수용될 수 있는 입사 신호의 전자들의 최대 개수로 정의된다. FWC이 증가함에 따라, 이미지 센서의 동적 범위는 증가한다.

종래의 위상 차이 검출용 픽셀은 포토다이오드의 일부분을 금속 등으로 가리고(shield), 상기 포토다이오드에서 가려지는 않은 부분으로 입사되는 빛만을 검출한다. 가려진 픽셀과 가려지지 않은 픽셀, 즉 두 개의 픽셀들을 이용하여 위상 차이를 검출하는 종래의 방법은 불규칙하게 작동하는 두 개의 픽셀들에 의해 컬러 이미지의 화질이 나빠지는 문제가 있다.

본 발명이 이루고자 하는 기술적인 과제는 상술한 문제점, 즉 컬러 이미지의 화질이 나빠지는 문제를 해결하기 위한 새로운 구조를 갖는 전면(full) PAF 픽셀 어레이로부터 출력된 데이터로부터 추출된 컬러 데이터와 깊이 데이터를 병렬 또는 직렬로 출력할 수 있는 이미지 처리 장치와 이를 포함하는 모바일 컴퓨팅 장치를 제공하는 것이다.

본 발명의 실시 예에 따른 이미지 처리 장치는 이미지를 캡처하기 위해 2차원적으로 배열된 픽셀들을 포함하는 픽셀 어레이와, 상기 픽셀들로부터 출력된 픽셀 신호들로부터 이미지 데이터를 생성하는 이미지 데이터 처리 회로와, 상기 이미지 데이터로부터 컬러 데이터를 추출하고, 추출된 컬러 데이터를 출력하는 컬러 데이터 처리 회로와, 상기 이미지 데이터로부터 깊이 데이터를 추출하고, 추출된 깊이 데이터를 출력하는 깊이 데이터 추출 회로와 상기 컬러 데이터와 상기 깊이 데이터를 출력하는 출력 제어 회로를 포함하고, 상기 픽셀 어레이에 포함된 모든 픽셀들 각각은 복수의 광전 변환 소자들을 포함한다.

실시 예들에 따라, 상기 이미지 처리 장치는 하나의 CMOS 이미지 센서 칩으로 구현될 수 있다.

실시 예들에 따라, 상기 픽셀 어레이와 상기 이미지 데이터 처리 회로는 제1칩에 집적되고, 상기 컬러 데이터 처리 회로, 상기 깊이 데이터 추출 회로, 및 상기 출력 제어 회로는 제2칩에 집적된다.

실시 예들에 따라, 상기 이미지 처리 장치는 애플리케이션 프로세서를 더 포함하고, 상기 컬러 데이터 처리 회로, 상기 깊이 데이터 추출 회로, 및 상기 출력 제어 회로는 상기 애플리케이션 프로세서에 집적된다.

상기 이미지 데이터는 긴-노출(long-exposure) 이미지 데이터와 짧은-노출 (short-exposure) 이미지 데이터를 포함한다.

실시 예들에 따라, 상기 출력 제어 회로는 상기 컬러 데이터와 상기 깊이 데이터를 라인 단위로 병렬로 출력한다. 실시 예들에 따라, 상기 출력 제어 회로는 상기 컬러 데이터와 상기 깊이 데이터의 출력 순서를 결정한다.

실시 예들에 따라, 상기 출력 제어 회로는 상기 컬러 데이터와 상기 깊이 데이터를 직렬로 출력한다. 실시 예들에 따라, 상기 출력 제어 회로는, 1-수평 시간 동안, 서로 다른 크기를 갖는 상기 컬러 데이터와 상기 깊이 데이터를 직렬로 출력한다.

실시 예들에 따라, 상기 출력 제어 회로는 A개의 라인에 해당하는 상기 컬러 데이터와 B개의 라인에 해당하는 상기 깊이 데이터를 직렬로 출력하고, A와 B 각각은 자연수이고, A는 B와 같거나 크다. 실시 예들에 따라, 상기 출력 제어 회로는 C개의 픽셀에 해당하는 상기 컬러 데이터와 D개의 픽셀에 해당하는 상기 깊이 데이터를 직렬로 출력하고, C와 D는 자연수이고, C는 D와 같거나 크다.

본 발명의 실시 예에 따른 모바일 컴퓨팅 장치는 이미지 데이터를 생성하는 이미지 센서와, 상기 이미지 데이터를 처리하는 처리 회로를 포함한다. 상기 이미지 센서는 이미지를 캡처하기 위해 2차원적으로 배열된 픽셀들을 포함하는 픽셀 어레이와, 상기 픽셀들로부터 출력된 픽셀 신호들로부터 상기 이미지 데이터를 생성하는 이미지 데이터 처리 회로를 포함한다. 상기 처리 회로는 상기 이미지 데이터로부터 컬러 데이터를 추출하고, 추출된 컬러 데이터를 출력하는 컬러 데이터 처리 회로와, 상기 이미지 데이터로부터 깊이 데이터를 추출하고, 추출된 깊이 데이터를 출력하는 깊이 데이터 추출 회로와, 상기 컬러 데이터와 상기 깊이 데이터를 출력하는 출력 제어 회로를 포함하고, 상기 픽셀 어레이에 포함된 모든 픽셀들 각각은 복수의 광전 변환 소자들을 포함한다.

상기 이미지 데이터는 상기 복수의 광전 변환 소자들 각각에 포함된 제1광전 변환 소자로부터 출력된 제1픽셀 신호에 상응하는 긴-노출 이미지 데이터와 상기 복수의 광전 변환 소자들 각각에 포함된 제2광전 변환 소자로부터 출력된 제2픽셀 신호에 상응하는 짧은-노출 이미지 데이터를 포함한다.

상기 출력 제어 회로는 상기 컬러 데이터와 상기 깊이 데이터를 라인 단위로 병렬로 출력할 수 있다. 상기 출력 제어 회로는 상기 컬러 데이터와 상기 깊이 데이터의 출력 순서를 결정할 수 있다.

상기 출력 제어 회로는 상기 컬러 데이터와 상기 깊이 데이터를 직렬로 출력할 수 있다. 상기 출력 제어 회로는, 1-수평 시간 동안, 서로 다른 크기를 갖는 상기 컬러 데이터와 상기 깊이 데이터를 직렬로 출력할 수 있다.

상기 모바일 컴퓨팅 장치는 상기 출력 제어 회로로부터 출력된 상기 컬러 데이터와 상기 깊이 데이터를 처리하는 제2처리 회로를 포함하는 애플리케이션 프로세서를 더 포함하고, 상기 처리 회로는 상기 이미지 센서와 상기 애플리케이션 프로세서 중에서 어느 하나에 집적된다.

본 발명의 실시 예에 따른 이미지 처리 장치와 이를 포함하는 모바일 컴퓨팅 장치는 전면(full) PAF 픽셀 어레이로부터 출력된 데이터로부터 추출된 컬러 데이터와 깊이 데이터를 병렬 또는 직렬로 출력할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 복수의 픽셀들을 포함하는 이미지 센서의 픽셀 어레이를 나타낸다.
도 2는 도 1에 도시된 픽셀 어레이의 일부를 나타낸다.
도 3은 도 1에 도시된 픽셀 어레이의 일부를 나타낸다.
도 4는 도 1에 도시된 픽셀 어레이의 일부를 나타낸다.
도 5는 도 1에 도시된 픽셀 어레이의 일부를 나타낸다.
도 6은 도 1에 도시된 픽셀 어레이의 일부를 나타낸다.
도 7은 각각이 2개의 포토다이오드들을 포함하는 픽셀들의 단면도를 나타낸다.
도 8은 4개의 포토다이오드들을 포함하는 픽셀의 단면도를 나타낸다.
도 9는 2개의 포토다이오드들을 포함하는 픽셀, 예컨대 PAF 픽셀의 회로도를 나타낸다.
도 10은 도 9에 도시된 픽셀의 작동을 설명하기 위한 타이밍 도이다.
도 11은 4개의 포토다이오드들을 포함하는 픽셀, 예컨대 PAF 픽셀의 회로도를 나타낸다.
도 12는 도 11에 도시된 픽셀의 작동을 설명하기 위한 타이밍 도이다.
도 13은 도 11에 도시된 픽셀의 작동을 설명하기 위한 다른 타이밍 도이다.
도 14는 도 1의 픽셀 어레이를 포함하는 이미지 센서의 블록도를 나타낸다.
도 15는 도 1의 픽셀 어레이를 포함하는 이미지 센서의 다른 블록도를 나타낸다.
도 16은 도 1에 도시된 픽셀 어레이를 포함하는 데이터 처리 시스템의 일 실시 예에 따른 블록도를 나타낸다.
도 17은 도 16의 이미지 신호 프로세서의 개략적인 블록도이다.
도 18은 도 16의 CMOS 이미지 센서에서 한 필드(one field) 동안 노출 시간들(exposure times)과 축적된 노출 빛의 양을 나타낸다.
도 19는 긴-노출 이미지 신호와 짧은-노출 이미지 신호의 결합 과정 (combining process)을 설명하기 위한 긴-노출 이미지 신호의 입출력 휘도 특성들 (input/output luminance characteristics)과 짧은-노출 이미지의 입출력 휘도 특성들을 나타낸다.
도 20은 본 발명의 실시 예에 따른 데이터 처리 장치의 블록도이다.
도 21은 픽셀의 위치에 따른 디스패리티를 설명하기 위한 개념도이다.
도 22부터 도 27은 도 20에 도시된 처리 회로로부터 출력되는 컬러 데이터와 깊이 데이터의 타이밍 도들이다.
도 28은 도 20에 도시된 처리 회로를 포함하는 데이터 처리 장치의 일 실시 예를 나타내는 블록도이다.
도 29는 도 20에 도시된 처리 회로를 포함하는 데이터 처리 장치의 다른 실시 예를 나타내는 블록도이다.
도 30은 도 20에 도시된 처리 회로를 포함하는 데이터 처리 장치의 또 다른 실시 예를 나타내는 블록도이다.
도 31은 본 발명의 다른 실시 예에 따른 해상도 향상(resolution enhancement)을 위한 개념도이다.
도 32는 본 발명의 다른 실시 예에 따른 해상도 향상을 위한 개념도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 복수의 픽셀들을 포함하는 이미지 센서의 픽셀 어레이(100)를 나타낸다. 픽셀 어레이(100)에 포함된 복수의 픽셀들(R, G, 및 B) 각각은 하나 또는 그 이상의 포토다이오들(photodiodes)을 포함할 수 있다.

픽셀 어레이(100)는 휴대용 전자 장치에 포함될 수 있다. 상기 휴대용 전자 장치는 랩탑 컴퓨터, 이전 전화기, 스마트 폰, 태블릿(tablet) PC, 디지털 카메라, 캠코더, 모바일 인터넷 장치(a mobile internet device(MID)), 워어러블 컴퓨터, 사물 인터넷 장치, 또는 만물 인터넷 장치 등에 사용될 수 있다.

픽셀 어레이(100)에 포함된 포토다이오드들 각각은 광전 변환 소자의 일 예로서, 상기 포토다이오드들 각각은 포토 트랜지스터, 포토게이트(photogate), 또는 핀드-포토다이오드로 대체될 수 있다. 각 픽셀에 포함된 복수의 포토다이오들 각각은 독립적으로 빛 또는 이미지를 캡쳐(capture)할 수 있다.

도 1에서, R은 레드 픽셀(red pixel)을 의미하고, G는 그린 픽셀(green pixel)을 의미하고, B는 블루 픽셀(blue pixel)을 의미한다. 각 픽셀(R, G, 및 B)의 상부에는 대응되는 마이크로렌즈(microlens)가 형성될 수 있다. 픽셀 어레이 (100)는 해상도(resolution)의 손실 없이 WDR 또는 HDR을 구현할 수 있다. 각 픽셀 (R, G, 및 B)의 구조는 도 7과 도 8을 참조하여 설명될 것이다.

도 2는 도 1에 도시된 픽셀 어레이(100)의 일부(110A)를 나타낸다. 각 픽셀 (R. G, 및 B)은 서로 독립적으로 작동하는 2개의 포토다이오드들(L과 S)을 포함할 수 있다.

도 2에서, L은 제1포토다이오드(first photodiode)를 의미하고, S는 제2포토다이오드(second photodiode)을 의미한다. 예컨대, L은 긴-노출 이미지 신호(long-exposure image signal)을 생성할 수 있는 포토다이오드일 수 있고, S는 짧은-노출 이미지 신호(short-exposure image signal)를 생성할 수 있는 포토다이오드일 수 있다.

각 로우(Row1과 Row3)에 배치된 각 픽셀(G와 R)은 2개의 포토다이오드들(L과 S)을 포함한다. 각 로우(Row2와 Row4)에 배치된 각 픽셀(B와 G)은 2개의 포토다이오드들(L과 S)을 포함한다. 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(L과 S)의 노출 시간(exposure time) 또는 집적 시간(integration time)은 로우 드라이버 (row driver)에 의해 서로 다르게 독립적으로 제어될 수 있다.

도 2에서는 설명의 편의를 위해 각 픽셀(R, G, 및 B)은 좌우에 구현된 2개의 포토다이오드들(L과 S)을 포함하는 것으로 도시되어 있으나, 실시 예에 따라 각 픽셀(R, G, 및 B)은 상하에 구현된 2개의 포토다이오드들(L과 S)을 포함할 수 있다. 예컨대, 각 로우(Row1-Row4)에 배치된 각 픽셀(R, G, 및 B)의 각 포토다이오드(L)에 접속된 전송 트랜지스터(transfer transistor)의 게이트는 대응되는 제1전송 라인(또는 제1메탈 라인; LINE1)에 접속될 수 있고, 각 로우(Row1-Row4)에 배치된 각 픽셀(R, G, 및 B)의 각 포토다이오드(S)에 접속된 전송 트랜지스터의 게이트는 대응되는 제2전송 라인(또는 제2메탈 라인; LINE2)에 접속될 수 있다.

도 3은 도 1에 도시된 픽셀 어레이(100)의 일부(110B)를 나타낸다. 각 픽셀 (R. G, 및 B)은 서로 독립적으로 동작하는 2개의 포토다이오드들(L과 S)을 포함한다. 도 3의 로우들(Row3과 Row4)에 포함된 2개의 포토다이오드들(L과 S)의 위치와 도 2의 로우들(Row3과 Row4)에 포함된 2개의 포토다이오드들(L과 S)의 위치는 서로 반대이다.

도 2와 도 3에 예시적으로 도시된 바와 같이, 각 픽셀(R. G, 및 B)에 포함된 포토다이오드들(L과 S)의 위치는 설계 사양에 따라 다양하게 변경될 수 있다. 예컨대, 각 로우(Row1-Row4)에 배치된 각 픽셀(R, G, 및 B)의 각 포토다이오드(L)에 접속된 전송 트랜지스터의 게이트는 대응되는 제1전송 라인(또는 제1메탈 라인; LINE1)에 접속될 수 있고 각 픽셀(R, G, 및 B)의 각 포토다이오드(S)에 접속된 전송 트랜지스터의 게이트는 대응되는 제2전송 라인(또는 제2메탈 라인; LINE2)에 접속될 수 있다.

도 4는 도 1에 도시된 픽셀 어레이(100)의 일부(120A)를 나타낸다. 각 픽셀 (R. G, 및 B)은 서로 독립적으로 작동하는 4개의 포토다이오드들(L1, L2, S1, 및 S2)을 포함한다.

실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(L1, L2, S1, 및 S2)의 노출 시간 또는 집적 시간은 로우 드라이버에 의해 서로 다르게 독립적으로 제어될 수 있다. 다른 실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(L1과 L2)의 노출 시간 또는 집적 시간은 로우 드라이버에 의해 서로 동일하게 제어될 수 있고, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(S1과 S2)의 노출 시간 또는 집적 시간은 로우 드라이버에 의해 서로 동일하게 제어될 수 있다.

각 포토다이오드(L1과 L2)의 노출 시간 또는 집적 시간은 각 포토다이오드 (S1과 S2)의 노출 시간 또는 집적 시간보다 길게 설정될 수 있다. 각 포토다이오드 (L1과 L2)의 물리적인 특성을 서로 동일하게 또는 서로 다르게 구현될 수 있다. 또한, 각 포토다이오드(S1과 S2)의 물리적인 특성을 서로 동일하게 또는 서로 다르게 구현될 수 있다.

L1은 제1포토다이오드를 의미하고, S1는 제2포토다이어드를 의미하고, L2은 제3포토다이오드를 의미하고, S2는 제4포토다이오드를 의미한다. 예컨대, L1과 L2 각각은 긴-노출 이미지 신호를 생성할 수 있는 포토다이오드일 수 있고, S1과 S2 각각은 짧은-노출 이미지 신호를 생성할 수 있는 포토다이오드일 수 있다.

로우(Row1)에 배치된 각 픽셀(G와 R)은 4개의 포토다이오드들(L1, L2, S1, 및 S2)을 포함한다. 로우(Row2)에 배치된 각 픽셀(B와 G)은 4개의 포토다이오드들 (L1, L2, S1, 및 S2)을 포함한다. 각 픽셀(R, G, 및 B)은 긴-노출 이미지 신호를 생성할 수 있는 2개의 포토다이오드들(L1과 L2)을 포함하고 짧은-노출 이미지 신호를 생성할 수 있는 2개의 포토다이오드들(S1과 S2)을 포함한다. 이때, 각 포토다이오드(L1, L2, S1, 및 S2)의 구현 위치는 설계 사양에 따라 다양하게 변경될 수 있다.

예컨대, 각 로우(Row1과 Row2)에 배치된 각 픽셀(R, G, 및 B)의 각 포토다이오드(L1과 L2)에 접속된 각 전송 트랜지스터의 게이트는 대응되는 제1전송 라인(또는 제1메탈 라인; LINE1)에 접속될 수 있고 각 픽셀(R, G, 및 B)의 각 포토다이오드(S1과 S2)에 접속된 각 전송 트랜지스터의 게이트는 대응되는 제2전송 라인(또는 제2메탈 라인; LINE2)에 접속될 수 있다.

도 5는 도 1에 도시된 픽셀 어레이(100)의 일부(120B)를 나타낸다. 각 픽셀 (R. G, 및 B)은 서로 독립적으로 동작하는 4개의 포토다이오드들(L1, L2, L3, 및 S1)을 포함한다. 즉, 각 픽셀(R, G, 및 B)은 각각이 긴-노출 이미지 신호들을 생성할 수 있는 3개의 포토다이오드들(L1, L2, 및 L3)을 포함하고 짧은-노출 이미지 신호를 생성할 수 있는 1개의 포토다이오드(S1)을 포함한다. 이때, 각 포토다이오드 (L1, L2, L3, 및 S1)의 구현 위치는 설계 사양에 따라 다양하게 변경될 수 있다.

실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(L1, L2, L3, 및 S1)의 노출 시간 또는 집적 시간은 로우 드라이버에 의해 서로 다르게 독립적으로 제어될 수 있다. 다른 실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(L1, L2,및 L3)의 노출 시간 또는 집적 시간은 로우 드라이버에 의해 서로 동일하게 제어될 수 있다. 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(L1, L2, 및 L3)의 노출 시간 또는 집적 시간은 포토다이오드(S1)의 노출 시간 또는 집적 시간보다 길게 설정될 수 있다.

각 포토다이오드(L1, L2, 및 L3)의 물리적인 특성을 서로 동일하게 또는 서로 다르게 구현될 수 있다. L1은 제1포토다이오드를 의미하고, L2는 제2포토다이오드를 의미하고, L3은 제3포토다이오드를 의미하고, S1는 제4포토다이오드를 의미한다. 예컨대, L1, L2, 및 L3 각각은 긴-노출 이미지 신호를 생성할 수 있는 포토다이오드일 수 있고, S1은 짧은-노출 이미지 신호를 생성할 수 있는 포토다이오드일 수 있다.

로우(Row1)에 배치된 각 픽셀(G와 R)은 4개의 포토다이오드들(L1, L2, L3, 및 S1)을 포함한다. 로우(Row2)에 배치된 각 픽셀(B와 G)은 4개의 포토다이오드들 (L1, L2, L3, 및 S1)을 포함한다. 예컨대, 도 5에 도시된 바와 같이 각 로우(Row1과 Row2)에 배치된 각 픽셀(R, G, 및 B)의 각 포토다이오드(L1, L2, 및 L3)에 접속된 각 전송 트랜지스터의 게이트는 대응되는 제1전송 라인(또는 제1메탈 라인; LINE1)에 접속될 수 있고 각 픽셀(R, G, 및 B)의 포토다이오드(S1)에 접속된 전송 트랜지스터의 게이트는 대응되는 제2전송 라인(또는 제2메탈 라인; LINE2)에 접속될 수 있다.

도 6은 도 1에 도시된 픽셀 어레이(100)의 일부(120C)를 나타낸다. 각 픽셀(R. G, 및 B)은 서로 독립적으로 동작하는 4개의 포토다이오드들(S1, S2, S3, 및 L1)을 포함한다. 즉, 각 픽셀(R, G, 및 B)은 긴-노출 이미지 신호를 생성할 수 있는 1개의 포토다이오드(L1)을 포함하고 각각이 짧은-노출 이미지 신호를 생성할 수 있는 3개의 포토다이오드들(S1, S2, 및 S3)을 포함한다. 이때, 각 포토다이오드 (S1, S2, S3, 및 L1)의 구현 위치는 설계 사양에 따라 다양하게 변경될 수 있다.

실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(S1, S2, S3, 및 L1)의 노출 시간 또는 집적 시간은 로우 드라이버에 의해 서로 다르게 독립적으로 제어될 수 있다. 다른 실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 각 포토다이오드(S1, S2, 및 S3)의 노출 시간 또는 집적 시간은 로우 드라이버에 의해 서로 동일하게 제어될 수 있다. 각 포토다이오드(S1, S2, 및 S3)의 물리적인 특성을 서로 동일하게 또는 서로 다르게 구현될 수 있다.

S1은 제1포토다이오드를 의미하고, S2는 제2포토다이오드를 의미하고, S3은 제3포토다이오드를 의미하고, L1는 제4포토다이오드를 의미한다. 예컨대, L1은 긴-노출-이미지 신호를 생성할 수 있는 포토다이오드일 수 있고, S1, S2, 및 S3 각각은 짧은-노출 이미지 신호을 생성할 수 있는 포토다이오드일 수 있다.

로우(Row1)에 배치된 각 픽셀(G와 R)은 4개의 포토다이오드들(S1, S2, S3, 및 L1)을 포함한다. 로우(Row2)에 배치된 각 픽셀(B와 G)은 4개의 포토다이오드들(S1, S2, S3, 및 L1)을 포함한다. 예컨대, 도 6에 도시된 바와 같이 각 로우 (Row1과 Row2)에 배치된 각 픽셀(R, G, 및 B)의 각 포토다이오드(S1, S2, 및 S3)에 접속된 각 전송 트랜지스터의 게이트는 대응되는 제1전송 라인(또는 제1메탈 라인; LINE1)에 접속될 수 있고 각 픽셀(R, G, 및 B)의 포토다이오드(L1)에 접속된 전송 트랜지스터의 게이트는 대응되는 제2전송 라인(또는 제2메탈 라인; LINE2)에 접속될 수 있다.

도 7은 2개의 포토다이오드들(PD1과 PD2)을 포함하는 픽셀의 단면도를 나타낸다. 상기 픽셀은 도 1의 R, G, 또는 B을 의미할 수 있다.

포토다이오드(PD1)는 긴-노출 이미지 신호를 생성할 수 있는 포토다이오드와 짧은-노출 이미지 신호를 생성할 수 있는 포토다이오드 중에서 어느 하나일 수 있고, 포토다이오드(PD2)는 긴-노출 이미지 신호를 생성할 수 있는 포토다이오드와 짧은-노출 이미지 신호를 생성할 수 있는 포토다이오드 중에서 다른 하나일 수 있다.

실리콘 기판(silicon substrate) 내부에 2개의 포토다이오드들(PD1과 PD2)이 형성되고, DTI(deep trench isolation)이 2개의 포토다이오드들(PD1과 PD2) 사이에 형성될 수 있다. 예컨대, 2개의 포토다이오드들(PD1과 PD2) 사이에는 인-픽셀(in-pixel) DTI가 형성되고, 픽셀들 사이에는 인터-픽셀(inter-pixel) DTI가 형성될 수 있다.

2개의 포토다이오드들(PD1과 PD2)과 컬러 필터 사이에 형성된 회로 영역에는 메탈 와이어링(metal wiring), 멀티 레이어 와이어링(multi layer wiring), 또는 와이어링 레이어들(wiring layers)이 형성될 수 있다. 마이크로렌즈와 컬러 필터 사이에 렌즈 버퍼(lens buffer) 또는 평탄화 층(planarization layer)이 형성될 수 있다.

도 8은 4개의 포토다이오드들(PD1-PD4)을 포함하는 픽셀의 단면도를 나타낸다. 상기 픽셀은 도 1의 R, G, 또는 B을 의미할 수 있다. 도 4와 도 8을 참조하면, PD1은 L1, S1, L2, 및 S2 중에서 어느 하나이고, PD2은 L1, S1, L2, 및 S2 중에서 다른 하나이고, PD3은 L1, S1, L2, 및 S2 중에서 또 다른 하나이고, PD4은 L1, S1, L2, 및 S2 중에서 나머지 하나일 수 있다.

도 5와 도 8을 참조하면, PD1은 L1, L2, L3, 및 S1 중에서 어느 하나이고, PD2은 L1, L2, L3, 및 S1 중에서 다른 하나이고, PD3은 L1, L2, L3, 및 S1 중에서 또 다른 하나이고, PD4은 L1, L2, L3, 및 S1 중에서 나머지 하나일 수 있다.

도 6과 도 8을 참조하면, PD1은 S1, S2, S3, 및 L1 중에서 어느 하나이고, PD2은 S1, S2, S3, 및 L1 중에서 다른 하나이고, PD3은 S1, S2, S3, 및 L1 중에서 또 다른 하나이고, PD4은 S1, S2, S3, 및 L2 중에서 나머지 하나일 수 있다.

실리콘 기판(silicon substrate) 내부에 4개의 포토다이오드들(PD1-PD4)이 형성되고, 대응되는 두 개의 포토다이오드들(PD1과 PD2, PD2와 PD3, 및 PD3와 PD4)사이에는 대응되는 DTI, 예컨대, 인-픽셀(in-pixel) DTI가 형성될 수 있다. 픽셀들 사이에는 인터-픽셀(inter-pixel) DTI가 형성될 수 있다.

4개의 포토다이오드들(PD1-PD4)과 컬러 필터 사이에 형성된 회로 영역에는 메탈 와이어링(metal wiring), 멀티 레이어 와이어링(multi layer wiring), 또는 와이어링 레이어들(wiring layers)이 형성될 수 있다. 마이크로렌즈와 컬러 필터 사이에 렌즈 버퍼(lens buffer) 또는 평탄화 층(planarization layer)이 형성될 수 있다.

도 9는 2개의 포토다이오드들(PD1과 PD2)을 포함하는 픽셀, 예컨대 PAF 픽셀의 회로도를 나타낸다. 도 2, 도 3, 도 7, 및 도 9를 참조하면, 픽셀은 2개의 포토다이오드들(PD1과 PD2), 2개의 전송 트랜지스터들(TX1과 TX2), 리셋 트랜지스터 (RX), 소스 팔로워(source follower) (SF), 및 선택 트랜지스터(SX)를 포함한다.

각 트랜지스터(TX1, TX2, RX, 및 SX)를 제어할 수 있는 각 제어 신호(TG1, TG2, RS, 및 SEL)은 로우 드라이버로부터 출력될 수 있다. 선택 트랜지스터(SX)의 출력 신호는 컬럼 라인으로 공급된다. 도 9에서는 설명의 편의를 위해 플로팅 디퓨전 영역(floating diffusion region(FD))이 공유되는 형태의 픽셀이 도시되어 있으나, 설계자의 의도에 따라 긴-노출과 짧은-노출을 구분하는 픽셀들이 하나의 플로팅 디퓨전 영역(FD에 각 포토다이오드(PD1과 PD2)에 의해 공유되지 않을 수도 있다.

도 10은 도 9에 도시된 픽셀의 작동을 설명하기 위한 타이밍 도이다. 도 9와 도 10을 참조하면, 리셋 신호(RS)가 리셋 트랜지스터(RX)의 게이트로 공급되면, 플로팅 디퓨전 영역(FD)은 리셋 트랜지스터(RX)에 의해 리셋된다.

포토다이오드(PD1)가 긴-노출 이미지 신호를 생성할 수 있는 포토다이오드이고, 포토다이오드(PD2)가 짧은-노출 이미지 신호를 생성할 수 있는 포토다이오드일 때, 제1전송 제어 신호(TG1)에 의해 결정되는 노출 시간 또는 집적 시간(Tint1)은 제2전송 제어 신호(TG2)에 의해 결정되는 노출 시간 또는 집적 시간(Tint2)보다 길다.

도 11은 4개의 포토다이오드들(PD1-PD4)을 포함하는 픽셀, 예컨대 PAF 픽셀의 회로도를 나타낸다. 도 4, 도 5, 도 6, 도 8, 및 도 11을 참조하면, 상기 픽셀은 4개의 포토다이오드들(PD1-PD4), 4개의 전송 트랜지스터들(TX1-TX4), 리셋 트랜지스터(RX), 소스 팔로워(SF), 및 선택 트랜지스터(SX)를 포함한다. 각 트랜지스터 (TX1~TX4, RX, 및 SX)를 제어할 수 있는 각 제어 신호(TG1~TG4, RS, 및 SEL)는 로우 드라이버로부터 출력될 수 있다. 선택 트랜지스터(SX)의 출력 신호는 컬럼 라인으로 공급된다

도 11에서는 설명의 편의를 위해 플로팅 디퓨전 영역(FD)이 공유되는 형태의 픽셀이 도시되어 있으나, 설계자의 의도에 따라 긴-노출과 짧은-노출을 구분하는 픽셀들이 하나의 플로팅 디퓨전 영역(FD)에 각 포토다이오드(PD1-PD4)에 의해 공유되지 않을 수도 있다.

도 12는 도 11에 도시된 픽셀의 작동을 설명하기 위한 타이밍 도이다. 도 4, 도 11, 및 도 12를 참조하면, 리셋 신호(RS)가 리셋 트랜지스터(RX)의 게이트로 공급되면, 플로팅 디퓨전 영역(FD)은 리셋 트랜지스터(RX)에 의해 리셋된다.

각 포토다이오드(PD1과 PD3)가 긴-노출 이미지 신호를 생성할 수 있는 포토다이오드(예컨대, L1과 L2)이고, 각 포토다이오드(PD2와 PD4)가 짧은-노출 이미지 신호를 생성할 수 있는 포토다이오드(예컨대, S1과 S2)일 때, 각 제1전송 제어 신호(TG1과 TG3)에 의해 결정되는 노출 시간 또는 집적 시간(Tint1)은 각 제2전송 제어 신호(TG2와 TG4)에 의해 결정되는 노출 시간 또는 집적 시간(Tint2)보다 길다.

도 13은 도 11에 도시된 픽셀의 작동을 설명하기 위한 다른 타이밍 도이다. 도 4부터 도 6, 도 11, 및 도 13을 참조하면, 리셋 신호(RS)가 리셋 트랜지스터 (RX)의 게이트로 공급되면, 플로팅 디퓨전 영역(FD)은 리셋 트랜지스터(RX)에 의해 리셋된다. 각 전송 라인을 통해 전송되는 각 전송 제어 신호(TG1-TG4)에 의해 결정되는 각 노출 시간 또는 각 집적 시간(Tint11~Tint14)은 서로 다를 수 있다.

도 14는 도 1의 픽셀 어레이를 포함하는 이미지 센서의 블록도를 나타낸다. 픽셀 어레이에 포함된 각 PAF 픽셀(P)의 구조는 도 2부터 도 8을 참조하여 설명된 픽셀의 구조와 실질적으로 동일하다. PAF 픽셀(P)은 R, G, 또는 B를 나타낸다.

홀수 번째 로우(Row1, Row3, ...)에 구현된 각 PAF 픽셀(P)의 출력 신호는 하부 아날로그-디지털 변환기(Bottom Analog-Digital Converter)로 전송된다. 하부 아날로그-디지털 변환기(Bottom Analog-Digital Converter)로부터 출력된 디지털 신호들은 대응되는 메모리(또는 버퍼)에 저장될 수 있다.

짝수 번째 로우(Row2, Row4, ...)에 구현된 각 PAF 픽셀(P)의 출력 신호는 상부 아날로그-디지털 변환기(Top Analog-Digital Converter)로 전송된다. 상부 아날로그-디지털 변환기(Top Analog-Digital Converter)로부터 출력된 디지털 신호들은 대응되는 메모리(또는 버퍼)에 저장될 수 있다.

도 14에 도시된 바와 같이 각 픽셀(P)이 복수의 포토다이오드들을 포함할 때, 각 픽셀(P)에 포함된 복수의 포토다이오드들의 노출 시간 또는 집적 시간을 제어할 수 있는 N개의 제어 신호들을 전송할 수 있는 N개의 전송 라인들(N lines)이 구현될 수 있다.

도 15는 도 1의 픽셀 어레이를 포함하는 이미지 센서의 다른 블록도를 나타낸다. 픽셀 어레이에 포함된 각 PAF 픽셀(P)의 구조는 도 2부터 도 8을 참조하여 설명된 픽셀의 구조와 실질적으로 동일하다. PAF 픽셀(P)은 R, G, 또는 B를 나타낸다.

홀수 번째 로우(Row1, Row3, ...)에 구현된 각 PAF 픽셀(P)의 출력 신호는 제1아날로그-디지털 변환기(First Analog-Digital Converter)로 전송된다. 제1아날로그-디지털 변환기(First Analog-Digital Converter)로부터 출력된 디지털 신호들은 대응되는 메모리(또는 버퍼)에 저장될 수 있다. 메모리(또는 버퍼)는 이미지 데이터를 출력할 수 있다.

짝수 번째 로우(Row2, Row4, ...)에 구현된 각 PAF 픽셀(P)의 출력 신호는 제2아날로그-디지털 변환기(Second Analog-Digital Converter)로 전송된다. 제2아날로그-디지털 변환기(Second Analog-Digital Converter)로부터 출력된 디지털 신호들은 대응되는 메모리(또는 버퍼)에 저장될 수 있다. 메모리(또는 버퍼)는 이미지 데이터를 출력할 수 있다.

도 15에 도시된 바와 같이 각 픽셀(P)이 복수의 포토다이오드들을 포함할 때, 각 픽셀(P)에 구현된 복수의 포토다이오드들의 노출 시간 또는 집적 시간을 제어할 수 있는 N개의 제어 신호들을 전송할 수 있는 N개의 전송 라인들(N lines)이 구현될 수 있다.

도 16은 도 1에 도시된 픽셀 어레이(100)를 포함하는 데이터 처리 시스템 (500)의 일 실시 예에 따른 블록도를 나타낸다. 도 1부터 도 13, 및 도 16을 참조하면, 데이터 처리 시스템(500)은 상술한 휴대용 전자 장치로 구현될 수 있다.

데이터 처리 시스템(500)은 광학 렌즈(503), CMOS 이미지 센서(505), 디지털 신호 프로세서(digital signal processor(DSP); 600), 및 디스플레이(640)를 포함한다.

CMOS 이미지 센서(505)는 광학 렌즈(503)를 통하여 입사된 피사체(501)에 대한 이미지 데이터(IDATA)를 생성할 수 있다. 이미지 데이터(IDATA)는 복수의 포토다이오드들(P)로부터 출력된 픽셀 신호들에 상응하는 데이터이다. CMOS 이미지 센서(505)는 픽셀 어레이(100), 로우 드라이버(520), 리드아웃 회로(525), 타이밍 생성기(530), 제어 레지스터 블록(550), 기준 신호 생성기(560), 및 버퍼(570)를 포함한다.

픽셀 어레이(100)는 복수의 픽셀들(P)을 포함한다. CMOS 이미지 센서(505)의 픽셀(P)은 CMOS 제조 공정을 이용하여 제조될 수 있다. 도 1부터 도 13을 참조하여 설명한 바와 같이 복수의 픽셀들(P) 각각은 하나 또는 그 이상의 포토다이오들을 포함할 수 있다. 픽셀 어레이(100)는 매트릭스(matrix) 형태로 배열된 픽셀들(P)을 포함한다. 픽셀들(P)은 픽셀 신호들을 컬럼 라인들로 전송한다.

로우 드라이버(520)는, 타이밍 생성기(530)의 제어에 따라, 픽셀들(P) 각각의 작동을 제어하기 위한 제어 신호들을 픽셀 어레이(100)로 드라이빙한다. 로우 드라이버(520)는 제어 신호들을 생성할 수 있는 제어 신호 생성기의 기능을 수행할 수 있다. 예컨대, 상기 제어 신호들은 도 9와 도 10에 도시된 제어 신호들(RS, TG1, TG2, 및 SEL)을 포함하거나, 도 11부터 도 13에 도시된 제어 신호들(RS, TG1-TG4, 및 SEL)을 포함한다.

타이밍 생성기(530)는, 제어 레지스터 블록(550)의 제어에 따라, 로우 드라이버(520), 리드아웃 회로(525), 및 기준 신호 생성기(560)의 작동을 제어한다. 리드아웃 회로(525)는 컬럼별 아날로그-디지털 변환기(526)와 컬럼별 메모리(527)를 포함한다. 실시 예에 따라, 아날로그-디지털 변환기(526)는 상관 이중 샘플링 (correlated double sampling(CDS))의 기능을 수행할 수 있다. 리드아웃 회로(525)는 각 픽셀(P)로부터 출력된 픽셀 신호에 상응하는 디지털 이미지 신호를 출력한다.

제어 레지스터 블록(550)은, DSP(600)의 제어에 따라, 타이밍 생성기(530), 기준 신호 생성기(560), 및 버퍼(570)의 작동을 제어한다. 버퍼(570)는 리드아웃 회로(525)로부터 출력된 복수의 디지털 이미지 신호들에 대응되는 이미지 데이터(IDATA)를 DSP(600)로 전송한다. 이미지 데이터(IDATA)는 긴-노출 이미지 신호들에 상응하는 제1이미지 데이터와 짧은-노출 이미지 신호들에 상응하는 제2이미지 데이터를 포함한다.

DSP(600)는 이미지 신호 프로세서(image signal processor(ISP); 610), 센서 컨트롤러(620), 및 인터페이스(630)를 포함한다. ISP(610)는 제어 레지스터 블록 (550)을 제어하는 센서 컨트롤러(620), 및 인터페이스(630)를 제어한다. 실시 예에 따라, CMOS 이미지 센서(505)와 DSP(600)는 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package(MCP))로 구현될 수 있다.

도 16에서는 CMOS 이미지 센서(505)와 ISP(610)가 분리된 형태로 도시되어 있으나, ISP(610)는 CMOS 이미지 센서(505)의 일부로서 구현될 수 있다. ISP(610)는 버퍼(570)로부터 전송된 이미지 데이터(IDATA)를 처리하고, 처리된 이미지 데이터를 인터페이스(630)로 전송한다. 예컨대, ISP(610)는 픽셀들(P)로부터 출력된 픽셀 신호들에 상응하는 이미지 데이터(IDATA)를 보간(interpolation)하고, 보간된 이미지 데이터(interpolated image data)를 생성할 수 있다.

센서 컨트롤러(620)는, ISP(610)의 제어에 따라, 제어 레지스터 블록 (550)을 제어하기 위한 다양한 제어 신호들을 생성할 수 있다. 인터페이스(630)는 ISP (610)에서 처리된 이미지 데이터, 예컨대 보간된 이미지 데이터를 디스플레이(640)로 전송할 수 있다. 디스플레이(640)는 인터페이스(630)로부터 출력된 보간된 이미지 데이터를 디스플레이할 수 있다. 디스플레이(640)는 TFT-LCD(thin film transistor-liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, AMOLED(active-matrix OLED) 디스플레이, 또는 플렉시블 디스플레이로 구현될 수 있다.

도 17은 도 16의 이미지 신호 프로세서의 개략적인 블록도이고, 도 18은 도 16의 CMOS 이미지 센서에서 한-필드(one field) 동안 노출 시간들(exposure times)과 축적된 노출 빛의 양을 나타내고, 도 19는 긴-노출 이미지 신호와 짧은-노출 이미지 신호의 결합 과정(combining process)을 설명하기 위한 긴-노출 이미지 신호의 입출력 휘도 특성들(input/output luminance characteristics)과 짧은-노출 이미지 신호의 입출력 휘도 특성들(input/output luminance characteristics)을 나타낸다.

도 17을 참조하면, 도 16의 ISP(610)는 재구성 회로(reconstruction circuit; 200)와 동적 범위 압축 회로(dynamic range compression circuit; 220)를 포함할 수 있다. 재구성 회로(200)의 작동 방법은 도 18과 도 19를 참조하여 설명될 것이다.

우선, 도 18을 참조하면, T1 seconds(예컨대, 1/60 seconds)의 필드 주기 (field period)에 맞추어 형성된 T2 seconds 동안 긴-노출과 T3-seconds 동안 짧은-노출이 수행된다. 실시 예에 따라, 긴-노출 시간과 짧은-노출 시간은 가변될 수 있다.

긴-노출과 짧은-노출을 수행하기 위해. 긴-노출 이미지 신호와 짧은-노출 이미지 신호는 하나의 필드 주기에서 로우들의 개수에 의존하여 획득된다. 긴-노출 이미지 신호와 짧은-노출 이미지 신호를 결합하기 위해, 한 필드의 로우들의 개수에 의존하여 캡처된 이미지 데이터가 생성된다.

긴-노출 이미지 신호와 짧은-노출 이미지 신호를 결합은 도 17의 재구성 회로(200)에서 수행될 수 있다. 제구성 회로(200)의 결합 과정은 도 19를 참조하여 설명될 수 있다.

실시 예에 따라, 입력 이미지 데이터(INPUT)는 제1이미지 데이터에 상응하는 긴-노출 이미지 신호들과 제2이미지 데이터에 상응하는 짧은-노출 이미지 신호들을 포함할 수 있다.

재구성 회로(200)에 의한 결합 과정(combining process)에서, 결합된 신호 또는 결합된 이미지는 점선으로 표시된 휘도 문턱값(luminance threshold)에 의해 지시되는 스위칭 포인트(switching point)에서 신호들(또는 이미지들)을 스위칭하여 생성될 수 있다. 예컨대, 스위칭 포인트의 휘도 레벨보다 낮은 휘도 레벨을 갖는 픽셀 신호에 상응하는 긴-노출 이미지 신호가 적용되고, 스위칭 포인트의 휘도 레벨보다 높은 휘도 레벨을 갖는 픽셀 신호에 상응하는 짧은-노출 이미지 신호가 적용된다.

두 이미지들 사이의 레벨 매칭(level matching)은 짧은-노출 이미지 신호에 노출 비율(exposure ratio) 또는 이득(gain)을 곱하여 수행된다. 예컨대, 노출 비율 또는 이득은 긴-노출 이미지 신호와 짧은-노출 이미지 신호 사이의 비율에 따라 결정될 수 있다.

긴-노출 이미지 신호와 짧은-노출 이미지 신호 사이의 노출 비율(exposure ratio)이 K:1 일 때, 짧은-노출 이미지 신호의 노출은 긴-노출 이미지 신호의 노출의 1/K이다. 긴-노출 이미지 신호의 휘도 레벨은 짧은-노출 이미지 신호의 휘도 레벨보다 K배 크다. 따라서, 짧은-노출 이미지 신호에 이득(K)을 곱하면 두 레벨들은 매치될 수 있다. 이와 같은 방법으로, 짧은-노출 이미지 신호는 K배만큼 곱해진다. 결과적으로 긴-노출 신호의 특성과 결합 신호의 특성을 갖는 결합 이미지(combined image)가 생성된다.

즉, 재구성 회로(200)는 입력 이미지 데이터(INPUT)를 도 19를 참조한 바와 같이 결합하고, 결합된 이미지(OUTPUT1)를 출력한다. 재구성 회로(200)는 짧은 노출을 통해 획득된 짧은-노출 이미지 신호(즉, 짧은-노출 이미지)와 긴-노출을 통해 획득된 긴-노출 이미지 신호(즉, 긴-노출 이미지)를 선형적으로 합하는 기능을 수행할 수 있다.

재구성 회로(200)는 짧은-노출 이미지에 노출 비율을 곱한 후, 곱셈의 결과로 생성된 이미지와 짧은-노출 이미지를 선형적으로 합하여 선형적인 이미지 (OUTPU1)를 생성한다. 예컨대, 긴-노출 이미지 신호들에 상응하는 제1이미지 데이터가 M-비트(예컨대, 14-bits)이고 짧은-노출 이미지 신호들에 상응하는 제2이미지 데이터가 M-비트(예컨대, 14-bits)일 때, 제1이미지 데이터와 제2이미지 데이터는 일정 구간에서 오버랩되고 오버랩된 결합 이미지(OUTPUT1)는 2*M비트보다 작게 된다. 예컨대, 오버랩된 결합 이미지(OUTPUT1)는 14-bits일 수 있다. 여기서, 각 비트의 수는 각 픽셀로부터 출력된 각 픽셀 신호에 상응하는 이미지 데이터의 비트의 수를 의미한다.

동적 범위 압축 회로(220)는 오버랩된 결합된 이미지(OUTPUT1)의 비트 수(예컨대, 14-bits)를 디스플레이나 출력 표준에 맞는 비트(예컨대, 10-bit)로 낮추고 낮아진 비트 수를 갖는 이미지(OUTPUT2)를 출력한다. 예컨대, 동적 범위 압축 회로 (220)는 로컬(local) 방법 또는 글로벌(global) 방법으로 구현되는 감마 등의 커브를 이용하여 결합된 이미지(OUTPUT1)의 비트 수를 줄이고 줄어든 비트를 갖는 출력 이미지(OUTPUT2)를 출력한다. 예컨대, 동적 범위 압축 회로(220)는 결합된 이미지 (OUTPUT1)의 동적 범위(dynamic range)를 압축(compressing)하는 기능을 수행할 수 있다.

도 18의 (b)는 롤링 셔터 방법을 설명하기 위한 것으로서, 도 18의 (b)에서 긴-노출과 짧은-노출은 오버랩되어 진행될 수도 있다. T2와 T3는 로우들의 개수에 의존적일 수 있다.

도 20은 본 발명의 실시 예에 따른 데이터 처리 장치의 블록도이다. 도 20을 참조하면, 데이터 처리 장치(400)는 이미지 센서(300)와 처리 회로(305)를 포함할 수 있다.

데이터 처리 장치(400)는 모바일 컴퓨팅 장치로 구현될 수 있다. 모바일 컴퓨팅 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 만물 인터넷 (internet of everything(IoE)) 장치, e-북(e-book), 또는 드론(drone)으로 구현될 수 있다.

이미지 센서(300)는 이미지 센서 칩 또는 이미지 센서 패키지를 의미할 수 있다. 예컨대, 이미지 센서 칩은 CMOS 공정을 이용하여 제조될 수 있다.

이미지 센서(300)는 픽셀 어레이(301)와 이미지 데이터 처리 회로(302)를 포함할 수 있다. 픽셀 어레이(301)의 구조는 도 16의 픽셀 어레이(100)의 구조와 실질적으로 동일 또는 유사할 수 있다. 이미지 센서(300)는 도 16의 CMOS 이미지 센서(505)를 의미할 수 있다.

픽셀 어레이(301)는 이미지를 캡처하기 위해 2차원적으로 배열된 픽셀들(P)을 포함할 수 있다. 픽셀 어레이(301)에 포함된 모든 픽셀들(P) 각각은 복수의 광전 변환 소자들을 포함할 수 있다. 각 픽셀(P)은 도 7에 도시된 바와 같이 제1광전 변환 소자(PD1)와 제2광전 변환 소자(PD2)를 포함할 수 있다. 도 20에 도시된 바와 같이, 픽셀 어레이(301)에 포함된 모든 픽셀들(P) 각각이 복수의 광전 변환 소자들을 포함할 때, 픽셀 어레이(301)는 전면(full) PAF 픽셀 어레이로 불릴 수 있다.

제1광전 변환 소자(PD1)와 제2광전 변환 소자(PD2) 중에서 어느 하나는 긴-노출 이미지 신호를 생성할 수 있고, 제1광전 변환 소자(PD1)와 제2광전 변환 소자 (PD2) 중에서 다른 하나는 짧은-노출 이미지 신호를 생성할 수 있다.

비록, 도 20에는 2개씩의 광전 변환 소자들(PD1과 PD2)을 포함하는 각 픽셀 (P)이 도시되어 있으나, 픽셀 어레이(301)에 포함된 모든 픽셀들(P) 각각은 도 8에 도시된 바와 같이 4개씩의 광전 변환 소자들(PD1~PD4)을 포함할 수 있다.

이미지 센서(300)는 각 픽셀(P)에 포함된 각 광전 변환 소자(PD1과 PD2)의 노출 시간을 독립적으로 제어할 수 있는 로우 드라이버(예컨대, 도 16의 520)를 더 포함할 수 있다.

이미지 센서(300)는 멀티-다이오드(multi-photodiode) PAF 센서를 의미할 수 있고, 멀티-다이오드 PAF 센서(300)의 출력 신호들은 위상 차이 신호들, 즉, 각 픽셀(P) 내에 포함된 복수의 광전 변환 소자들(예컨대, 포토다이오드들)로부터 출력되는 신호들을 의미할 수 있다.

도 1부터 도 10을 참조하여 설명한 바와 같이, 각 픽셀(P)은 서로 독립적으로 작동하고 서로 다른 노출 시간 또는 집적 시간을 갖는 복수의 포토다이오들을 포함할 수 있다.

이미지 데이터 처리 회로(302)는 픽셀들(P)로부터 출력된 픽셀 신호들로부터 이미지 데이터를 생성할 수 있다. 예컨대, 이미지 데이터 처리 회로(302)는 도 16에 도시된 구성 요소들(520, 525, 530, 550, 560, 및 570)을 포함할 수 있다.

처리 회로(305)는 컬러 데이터 처리 회로(310), 깊이 데이터 처리 회로 (320), 및 출력 제어 회로(321)를 포함할 수 있다.

컬러 데이터 처리 회로(310)는 이미지 데이터 처리 회로(302)로부터 출력된 이미지 데이터로부터 컬러 데이터(CDATA)를 추출하고, 추출된 컬러 데이터(CDATA)를 출력할 수 있다. 상기 이미지 데이터는 픽셀들(P)로부터 출력된 긴-노출 이미지 신호들에 해당하는 긴-노출 이미지 데이터(LDATA)와 픽셀들(P)로부터 출력된 짧은-노출 이미지 신호들에 해당하는 짧은-노출 이미지 데이터(SDATA)를 포함할 수 있다. 예컨대, WDR이 적용될 때, 이미지 센서(300)는 긴-노출 이미지 데이터(LDATA)와 짧은-노출 이미지 데이터(SDATA)를 출력할 수 있다.

깊이 데이터 처리 회로(320)는 이미지 데이터 처리 회로(302)로부터 출력된 이미지 데이터로부터 깊이 데이터(DDATA)를 추출하고, 추출된 깊이 데이터(DDATA)를 출력할 수 있다.

컬러 데이터 처리 회로(310)는 각 이미지 데이터(LDATA와 SDATA)를 이용하여 픽셀 단위로 이미지 데이터 향상(image data enhancement)을 위한 처리(예컨대, 프리-프로세싱(pre-processing) 및/또는 메인-컬러 데이터 프로세싱(main-color data processing)를 수행할 수 있다. 상기 프리-프로세싱은 메인-컬러 데이터(예컨대, RGB 데이터)를 처리하기 이전에 CMOS 이미지 센서의 제조 공정에서 발생하는 문제를 정정할 수 있다. 상기 정정은 렌즈 세이딩 정정 및/또는 배드 픽셀 정정(lens shading correction and/or bad pixel correction) 등을 포함할 수 있다.

상기 메인-컬러 데이터 프로세싱은 인터폴레이션(interpolation), 노이즈 감소(noise reduction), 에지 향상(edge enhancement), 컬러 정정(color correction) 및/또는 감마 처리(gamma processing) 등을 포함할 수 있다.

깊이 데이터 처리 회로(320)는 PAF 데이터 처리 회로(320)라고도 불릴 수 있다. 깊이 데이터 처리 회로(320)는 각 이미지 데이터(LDATA와 SDATA)를 이용하여 픽셀 단위로 깊이 데이터 향상을 위한 처리를 수행할 수 있다.

깊이 데이터 처리 회로(320)는 위상 차이 자동 초점 데이터 처리(phase difference auto focus data processing)을 의미할 수 있고, 각 이미지 데이터 (LDATA와 SDATA)로부터 디스패리티 데이터(disparity data)를 추출하는 기능을 수행할 수 있다. 디스패리티 데이터는 깊이 데이터(depth data)를 의미할 수 있다.

예컨대, 디스패리티 데이터는 픽셀들(P)에 포함된 광전 변환 소자들을 통해 획득된 한 포인트(point)에 대한 이미지 데이터를 의미할 수 있다. 깊이 데이터 처리 회로(320)는, 디스패리티 데이터를 얻기 위해, 일련의 처리, 예컨대 노이즈 감소 등을 수행할 수 있다.

도 21은 픽셀의 위치에 따른 디스패리티를 설명하기 위한 개념도이다. 도 21을 참조하면, 제1픽셀 위치(PT1)에 대한 제1디스패리티 데이터(D1)는 긴-노출 이미지 데이터(LDATA)와 짧은-노출 이미지 데이터(SDATA)에 기초하여 결정될 수 있다. 또한, 제2픽셀 위치(PT2)에 대한 제2디스패리티 데이터(D2)는 긴-노출 이미지 데이터(LDATA)와 짧은-노출 이미지 데이터(SDATA)에 기초하여 결정될 수 있다.

예컨대, 각 이미지 데이터(D1과 D2)는 S-비트들로 표현될 수 있다. 이때, S는 2 이상의 자연수이다. 예컨대, 각 이미지 데이터(D1과 D2)가 8-비트로 표현될 때, 디스패리티는 긴-노출 이미지 데이터(LDATA)의 제1데이터 값과 짧은-노출 이미지 데이터(SDATA)의 제2데이터 값의 차이로 결정될 수 있다.

각 처리 회로(310과 320)는 파이프라인(pipeline) 구조로 구현될 수 있다.

출력 제어 회로(321)는, 제어 신호들(CTRL)에 응답하여, 컬러 데이터(CDATA)와 깊이 데이터(DDATA)의 출력 방식과 출력 타이밍을 제어할 수 있다. 상기 출력 방식은 병렬(parallel) 출력 또는 직렬(serial) 출력을 의미할 수 있다. 상기 출력 타이밍은 컬러 데이터(CDATA)와 깊이 데이터(DDATA) 중에서 어느 데이터를 먼저 출력할지를 의미할 수 있다. 출력 방식과 출력 타이밍은 도 22부터 도 27을 참조하여 상세히 설명될 것이다.

도 22부터 도 27은 도 20에 도시된 처리 회로로부터 출력되는 컬러 데이터와 깊이 데이터의 타이밍 도들이다.

도 20과 도 22를 참조하면, 출력 제어 회로(321)는, 제어 신호들(CTRL)에 응답하여, 동기 신호(Hsync)에 동기된 컬러 데이터(CDATA)와 깊이 데이터(DDATA)를 병렬로 출력할 수 있다. 예컨대, 출력 제어 회로(321)는, 제1구간 동안, 동기 신호(Hsync)에 동기된 제1컬러 데이터(L1-COLOR DATA)와 제1깊이 데이터(L1-DEPTH DATA)를 병렬로 출력할 수 있다.

또한, 출력 제어 회로(321)는, 제2구간 동안, 동기 신호(Hsync)에 동기된 제2컬러 데이터(L2-COLOR DATA)와 제2깊이 데이터(L2-DEPTH DATA)를 병렬로 출력할 수 있다. 또한, 출력 제어 회로(321)는, 제3구간 동안, 동기 신호(Hsync)에 동기된 제3컬러 데이터(L3-COLOR DATA)와 제3깊이 데이터(L3-DEPTH DATA)를 병렬로 출력할 수 있다. 각 구간은 1-수평 시간(1-horizontal time; 1H)을 의미할 수 있고, 동기 신호(Hsync)는 수평 동기 신호를 의미할 수 있다. 예컨대, 1-수평 시간(1H)은 한 라인에 해당하는 라인 데이터를 출력하는 시간으로 정의될 수 있다.

도 20과 도 23을 참조하면, 출력 제어 회로(321)는, 제어 신호들(CTRL)에 응답하여, 컬러 데이터(CDATA)와 깊이 데이터(DDATA)를 동기 신호(Hsync)를 이용하여 직렬로 출력할 수 있다. 예컨대, 출력 제어 회로(321)는, 제1구간 동안, 제1컬러 데이터(L1-COLOR DATA)를 제1깊이 데이터(L1-DEPTH DATA)보다 먼저 출력할 수 있다. 출력 제어 회로(321)는, 제2구간 동안, 제2컬러 데이터(L2-COLOR DATA)를 제2깊이 데이터(L2-DEPTH DATA)보다 먼저 출력할 수 있다. 출력 제어 회로(321)는, 제3구간 동안, 제3컬러 데이터(L3-COLOR DATA)를 제3깊이 데이터(L3-DEPTH DATA)보다 먼저 출력할 수 있다. 이때, 컬러 데이터의 크기는 깊이 데이터의 크기보다 클 수 있다.

도 20과 도 24를 참조하면, 출력 제어 회로(321)는, 제어 신호들(CTRL)에 응답하여, 깊이 데이터(DDATA)와 컬러 데이터(CDATA)를 동기 신호(Hsync)를 이용하여 직렬로 출력할 수 있다. 예컨대, 출력 제어 회로(321)는, 제1구간 동안, 제1깊이 데이터(L1-DEPTH DATA)를 제1컬러 데이터(L1-COLOR DATA)보다 먼저 출력할 수 있다. 출력 제어 회로(321)는, 제2구간 동안, 제2깊이 데이터(L2-DEPTH DATA)를 제2컬러 데이터(L2-COLOR DATA)보다 먼저 출력할 수 있다. 출력 제어 회로(321)는, 제3구간 동안, 제3깊이 데이터(L3-DEPTH DATA)를 제3컬러 데이터(L3-COLOR DATA)보다 먼저 출력할 수 있다.

즉, 출력 제어 회로(321)는, 제어 신호들(CTRL)에 응답하여, 깊이 데이터 (DDATA)와 컬러 데이터(CDATA)의 출력 순서를 결정할 수 있다.

도 20과 도 25를 참조하면, 출력 제어 회로(321)는, 제어 신호들(CTRL)에 응답하여, A개의 라인들에 해당하는 컬러 데이터(L1-COLOR DATA와 L2-COLOR DATA)마다 B개의 라인들에 해당하는 깊이 데이터(DEPTH DATA)를 동기 신호(Hsync)를 이용하여 출력할 수 있다. 이때, A와 B 각각은 2 이상의 자연수일 수 있고, A와 B는 서로 동일한 자연수이거나 서로 다른 자연수일 수 있다.

도 20과 도 26을 참조하면, 출력 제어 회로(321)는, 제어 신호들(CTRL)에 응답하여, 컬러 데이터(PC1과 PC2)와 깊이 데이터(PD1과 PD2)를 픽셀 단위로 직렬로 출력할 수 있다. 즉, 출력 제어 회로(321)는 픽셀 단위로 컬러 데이터와 라인 데이터를 번갈아 출력할 수 있다.

도 20과 도 27을 참조하면, 출력 제어 회로(321)는, 제어 신호들(CTRL)에 응답하여, C개의 픽셀들에 해당하는 컬러 데이터(PC1과 PC2)마다 D개의 픽셀(들)에 해당하는 깊이 데이터(DD1)를 직렬로 출력할 수 있다. 이때, C와 D 각각은 2 이상의 자연수일 수 있고, C와 D는 서로 동일한 자연수이거나 서로 다른 자연수일 수 있다.

출력 제어 회로(321)는, 라인 단위로 또는 픽셀 단위로, 컬러 데이터(CDATA)와 깊이 데이터(DDATA)를 번갈아 출력될 수 있다. 또한, 출력 제어 회로(321)는 컬러 데이터(CDATA)와 깊이 데이터(DDATA)를 혼합하여 출력할 수 있다. 도 22부터 도 27을 참조하여 설명한 바와 같이, 출력 제어 회로(321)는, 제어 신호들(CTRL)에 응답하여, 출력 방식 및/또는 출력 타이밍을 제어할 수 있다.

도 28은 도 20에 도시된 처리 회로를 포함하는 데이터 처리 장치의 일 실시 예를 나타내는 블록도이다.

데이터 처리 장치(400A)는 이미지 센서(300), 처리 회로(305), 및 애플리케이션 프로세서(410)를 포함할 수 있다. 이미지 센서(300)는 제1반도체 칩으로 구현될 수 있고, 처리 회로(305)는 제2반도체 칩으로 구현될 수 있고, 애플리케이션 프로세서(410)는 제3반도체 칩으로 구현될 수 있다. 애플리케이션 프로세서(410)는 처리 회로(305)로부터 출력된 컬러 데이터(CDATA)와 깊이 데이터(DDATA)를 처리할 수 있다.

도 29는 도 20에 도시된 처리 회로를 포함하는 데이터 처리 장치의 다른 실시 예를 나타내는 블록도이다.

데이터 처리 장치(400B)는 이미지 센서(300)와 처리 회로(305)를 포함하는 이미징 장치(300A)로 구현될 수 있다. 예컨대, 이미지 센서(300)와 처리 회로(305)는 동일한 반도체 칩에 집적될 수 있다. 예컨대, 이미지 센서(300)가 제1반도체 칩으로 구현되고 처리 회로(305)가 제2반도체 칩으로 구현될 때, 이미지 센서(300)와 처리 회로(305)는 하나의 반도체 패키지로 패키징될 수 있다. 애플리케이션 프로세서(410)는 처리 회로(305)로부터 출력된 컬러 데이터(CDATA)와 깊이 데이터(DDATA)를 처리할 수 있다.

도 30은 도 20에 도시된 처리 회로를 포함하는 데이터 처리 장치의 또 다른 실시 예를 나타내는 블록도이다.

데이터 처리 장치(400C)는 이미지 센서(300)와, 처리 회로(305)를 포함하는 애플리케이션 프로세서(410A)를 포함할 수 있다. 처리 회로(305)가 제1반도체 칩으로 구현되고 제2처리 회로(420)가 제2반도체 칩으로 구현될 때, 애플리케이션 프로세서(410A)는 시스템 온 칩(system on chip(SoC))으로 구현될 수 있다.

또한, 처리 회로(305)와 제2처리 회로(420)는 애플리케이션 프로세서(410A)의 구성 요소들로서, 하나의 반도체 기판을 공유할 수도 있다. 제2처리 회로(420)는 이미지 신호 프로세서(image signal processor) 또는 멀티미디어 처리 회로(예컨대, 코덱)로 구현될 수 있으나 제2처리 회로(420)가 이에 한정되는 것은 아니다.

도 31은 본 발명의 다른 실시 예에 따른 해상도 향상(resolution enhancement)을 위한 개념도이다. 도 31에 구현된 각 픽셀(R1, G1, R2, G2, G3, B1, G4, 및 B2)은 도 1에 도시된 각 픽셀(R, G, B, 및 G)에 대응될 수 있다.

도 31에 도시된 각 픽셀(R1, G1, R2, G2, G3, B1, G4, 및 B2)은 서로 독립적으로 작동하는 2개의 포토다이오드들(L과 S)을 포함할 수 있다. 도 31에서, L은 긴-노출 이미지 신호를 생성할 수 있는 포토다이오드일 수 있고, S는 짧은-노출 이미지 신호를 생성할 수 있는 포토다이오드일 수 있다.

도 16의 CMOS 이미지 센서(100)의 픽셀 어레이(100)에 각 픽셀(R1, G1, R2, G2, G3, B1, G4, 및 B2)이 구현될 때, 리드아웃 회로(525)는 각 픽셀(R1, G1, R2, G2, G3, B1, G4, 및 B2)로부터 출력된 픽셀 신호에 상응하는 디지털 이미지 신호를 출력한다. 각 픽셀(R1, G1, R2, G2, G3, B1, G4, 및 B2)은 픽셀(P)에 대응된다.

버퍼(570)는 리드아웃 회로(525)로부터 출력된 복수의 디지털 이미지 신호들에 대응되는 이미지 데이터(IDATA)를 ISP(610)로 전송한다. 이미지 데이터(IDATA)는 긴-노출 이미지 신호들에 상응하는 제1이미지 데이터와 짧은-노출 이미지 신호들에 상응하는 제2이미지 데이터를 포함한다.

ISP(610)는 각 픽셀(R1, G1, R2, G2, G3, B1, G4, 및 B2)의 픽셀 신호에 상응하는 이미지 데이터(IDATA)를 이용하여 보간된 이미지 데이터를 생성할 수 있다.

실시 예에 따라, 이미지 데이터(IDATA)는 도 17의 동적 범위 압축 회로(220)의 출력 신호(OUTPUT2)일 수 있다. 다른 실시 예에 따라, 이미지 데이터(IDATA)는 도 20의 컬러 데이터 처리 회로(310)의 출력 데이터(CDATA)와 깊이 데이터 처리 회로(320)의 출력 데이터(DDATA)를 포함하는 데이터 일 수 있다.

예컨대, ISP(610)는 레드 픽셀(R1)에 대응하는 레드 신호(또는 레드 데이터)를 생성할 수 있고, 적어도 하나의 픽셀로부터 출력된 픽셀 신호들에 상응하는 이미지 데이터를 보간하여 레드 픽셀(R1)에 대한 그린 신호(또는 그린 데이터)를 생성할 수 있고, 적어도 하나의 블루 픽셀(B1)로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 레드 픽셀(R1)에 대한 블루 신호(또는 블루 데이터)를 생성할 수 있다. 실시 예들에 따라 보간(interpolation)에 필요한 픽셀들의 개수는 다양하게 변경될 수 있다.

예컨대, ISP(610)는 그린 픽셀(G1)에 대응하는 그린 신호(또는 그린 데이터)를 생성할 수 있고, 적어도 하나의 주변 픽셀로부터 출력된 픽셀 신호들에 상응하는 이미지 데이터를 보간하여 그린 픽셀(G1)에 대한 레드 신호(또는 레드 데이터)를 생성할 수 있고, 적어도 하나의 주변 블루 픽셀(B1)로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 레드 픽셀(R1)에 대한 블루 신호(또는 블루 ㄷ데이터)를 생성할 수 있다.

또한, ISP(610)는 주변 픽셀들(R1, G1, G3, 및 B1)의 픽셀 신호들에 상응하는 이미지 데이터를 이용하여 결합 픽셀(CB1)에 대한 보간을 수행할 수 있다. 여기서, 결합 픽셀(CB1)은 레드 픽셀(R1)의 S와 그린 픽셀(G1)의 L을 포함하는 가상 픽셀을 의미할 수 있다.

예컨대, ISP(610)는 레드 픽셀(R1)의 S로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 결합 픽셀(CB1)의 레드 신호를 생성할 수 있고, 그린 픽셀(G1)의 L로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 결합 픽셀(CB1)의 그린 신호를 생성할 수 있고, 블루 픽셀(B1)로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 결합 픽셀(CB1)의 블루 신호를 생성할 수 있다.

예컨대, ISP(610)는 그린 픽셀(G4)의 S로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 결합 픽셀(CB6)의 그린 신호를 생성할 수 있고, 블루 픽셀(B2)의 L로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 결합 픽셀(CB6)의 블루 신호를 생성할 수 있고, 레드 픽셀(R2)로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 결합 픽셀(CB6)의 레드 신호를 생성할 수 있다.

상술한 예시는 단지 결합 픽셀(CB1과 CB6)에 대한 보간을 설명하기 위한 것으로서 본 발명의 기술적 사상이 예시된 보간 방법에 한정되는 것은 아니다.

종래의 보간 방법은 각 결합 픽셀(CB1-CB6)에 대한 보간을 수행하지 않았다. 그러나, 본 발명의 실시 예는 각 결합 픽셀(CB1-CB6)의 주변 픽셀(들)로부터 출력된 픽셀 신호(들)에 상응하는 이미지 데이터를 보간하여 각 결합 픽셀(CB1-CB6)에 대해 보간된 레드 신호, 그린 신호, 및 블루 신호를 생성할 수 있다. 상기와 같은 방법으로, 본 발명의 실시 예에 따른 결합 픽셀에 대한 보간이 수행됨에 따라 CMOS 이미지 센서의 해상도는 증가되는 효과가 있다. 결합 픽셀에 대한 보간에 필요한 픽셀의 개수와 보간 방법은 실시 예에 따라 다양하게 변경될 수 있다.

도 32는 본 발명의 다른 실시 예에 따른 해상도 향상을 위한 개념도이다. 도 32에 구현된 각 픽셀(G1, R1, B1, 및 G2)은 도 1에 도시된 각 픽셀(R, G, B, 및 G)에 대응될 수 있다. 도 32에 도시된 각 픽셀(G1, R1, B1, 및 G2)은 서로 독립적으로 작동하는 4개의 포토다이오드들(L1, L2, S1, 및 S2)을 포함할 수 있다. 도 32에서, L1과 L2 각각은 긴-노출 이미지 신호를 생성할 수 있는 포토다이오드일 수 있고, S1과 S2는 짧은-노출 이미지 신호를 생성할 수 있는 포토다이오드일 수 있다.

도 16의 CMOS 이미지 센서(100)의 픽셀 어레이(100)에 각 픽셀(G1, R1, B1, 및 G2)이 구현될 때, 리드아웃 회로(525)는 각 픽셀(G1, R1, B1, 및 G2)로부터 출력된 픽셀 신호에 상응하는 디지털 이미지 신호를 출력한다. 각 픽셀(G1, R1, B1, 및 G2)은 픽셀(P)에 대응된다.

버퍼(570)는 리드아웃 회로(525)로부터 출력된 복수의 디지털 이미지 신호들에 대응되는 이미지 데이터(IDATA)를 ISP(610)로 전송한다. 이미지 데이터(IDATA)는 긴-노출 이미지 신호들에 상응하는 제1이미지 데이터와 짧은-노출 이미지 신호들에 상응하는 제2이미지 데이터를 포함한다.

ISP(610)는 각 픽셀(G1, R1, B1, 및 G2)의 픽셀 신호에 상응하는 이미지 데이터(IDATA)를 이용하여 보간된 이미지 데이터를 생성할 수 있다. 실시 예에 따라, 이미지 데이터(IDATA)는 도 17의 동적 범위 압축 회로(220)의 출력 신호(OUTPUT2)일 수 있다. 다른 실시 예에 따라, 이미지 데이터(IDATA)는 도 20의 컬러 데이터 처리 회로(310)의 출력 데이터(CDATA)와 깊이 데이터 처리 회로(320)의 출력 데이터(DDATA)를 포함하는 데이터 일 수 있다.

예컨대, ISP(610)는 그린 픽셀(G1)에 대응하는 그린 신호를 생성할 수 있고, 적어도 하나의 주변 픽셀로부터 출력된 픽셀 신호들에 상응하는 이미지 데이터를 보간하여 그린 픽셀(G1)에 대한 레드 신호를 생성할 수 있고, 적어도 하나의 주변 블루 픽셀(B1)로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 그린 픽셀(G1)에 대한 블루 신호를 생성할 수 있다. 실시 예들에 따라 보간 (interpolation)에 필요한 픽셀들의 개수는 다양하게 변경될 수 있다.

또한, ISP(610)는 픽셀들(G1, R1, B1, 및 G2)의 픽셀 신호들에 상응하는 이미지 데이터를 이용하여 결합 픽셀(CB11)에 대한 보간을 수행할 수 있다. 여기서, 결합 픽셀(CB1)은 그린 픽셀(G1)의 S1과 S2와 레드 픽셀(R1)의 L1과 L2을 포함하는 가상 픽셀을 의미할 수 있다.

예컨대, ISP(610)는 그린 픽셀(G1)의 S1과 S2로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 결합 픽셀(CB11)의 그린 신호를 생성할 수 있고, 레드 픽셀(R1)의 L1과 L2로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 결합 픽셀(CB11)의 레드 신호를 생성할 수 있고, 블루 픽셀(B1)로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 결합 픽셀(CB11)의 블루 신호를 생성할 수 있다.

예컨대, ISP(610)는 그린 픽셀(G1)의 L2과 S2로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 결합 픽셀(CB13)의 그린 신호를 생성할 수 있고, 블루 픽셀(B1)의 L1과 S1로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 결합 픽셀(CB13)의 블루 신호를 생성할 수 있고, 레드 픽셀(R1)로부터 출력된 픽셀 신호에 상응하는 이미지 데이터를 보간하여 결합 픽셀(CB13)의 레드 신호를 생성할 수 있다. 상술한 예시는 단지 결합 픽셀(CB11과 CB13)에 대한 보간을 설명하기 위한 것으로서 본 발명의 기술적 사상이 예시된 보간 방법에 한정되는 것은 아니다.

종래의 보간 방법은 각 결합 픽셀(CB11-CB14)에 대한 보간을 수행하지 않았다. 그러나, 본 발명의 실시 예는 각 결합 픽셀(CB11-CB14)의 주변 픽셀(들)로부터 출력된 픽셀 신호(들)에 상응하는 이미지 데이터를 보간하여 각 결합 픽셀(CB11-CB14)에 대해 보간된 레드 신호, 그린 신호, 및 블루 신호를 생성할 수 있다. 상기와 같은 방법으로, 본 발명의 실시 예에 따른 결합 픽셀에 대한 보간이 수행됨에 따라 CMOS 이미지 센서의 해상도는 증가되는 효과가 있다. 결합 픽셀에 대한 보간에 필요한 픽셀의 개수와 보간 방법은 실시 예에 따라 다양하게 변경될 수 있다.

도 31과 도 32에 도시된 실시 예들은 예시적인 것에 불과하므로, 결합 픽셀을 어떻게 정의하는지에 따라 상기 결합 픽셀에 대한 보간 방법이 결정될 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

300: 이미지 센서
301: 픽셀 어레이
P: 복수의 광전 변환 소자들을 포함하는 픽셀
302: 이미지 데이터 처리 회로
305: 처리 회로
310: 컬러 데이터 처리 회로
320: 깊이 데이터 처리 회로
321: 출력 제어 회로
410, 410A: 애플리케이션 프로세서

Claims (20)

1. 이미지를 캡처하기 위해 2차원적으로 배열된 픽셀들을 포함하는 픽셀 어레이;
   상기 픽셀들로부터 출력된 픽셀 신호들로부터 이미지 데이터를 생성하는 이미지 데이터 처리 회로;
   상기 이미지 데이터로부터 컬러 데이터를 추출하고, 추출된 컬러 데이터를 출력하는 컬러 데이터 처리 회로;
   상기 이미지 데이터로부터 깊이 데이터를 추출하고, 추출된 깊이 데이터를 출력하는 깊이 데이터 추출 회로; 및
   상기 컬러 데이터와 상기 깊이 데이터를 출력하는 출력 제어 회로를 포함하고,
   상기 픽셀 어레이에 포함된 모든 픽셀들 각각은 복수의 광전 변환 소자들을 포함하는 이미지 처리 장치.
2. 제1항에 있어서,
   상기 이미지 처리 장치는 하나의 CMOS 이미지 센서 칩으로 구현되는 이미지 처리 장치.
3. 제1항에 있어서,
   상기 픽셀 어레이와 상기 이미지 데이터 처리 회로는 제1칩에 집적되고,
   상기 컬러 데이터 처리 회로, 상기 깊이 데이터 추출 회로, 및 상기 출력 제어 회로는 제2칩에 집적되는 이미지 처리 장치.
4. 제1항에 있어서,
   상기 이미지 처리 장치는 애플리케이션 프로세서를 더 포함하고,
   상기 컬러 데이터 처리 회로, 상기 깊이 데이터 추출 회로, 및 상기 출력 제어 회로는 상기 애플리케이션 프로세서에 집적되는 이미지 처리 장치.
5. 제1항에 있어서,
   상기 이미지 데이터는 긴-노출(long-exposure) 이미지 데이터와 짧은-노출 (short-exposure)이미지 데이터를 포함하는 이미지 처리 장치.
6. 제1항에 있어서, 상기 출력 제어 회로는,
   상기 컬러 데이터와 상기 깊이 데이터를 라인 단위로 병렬로 출력하는 이미지 처리 장치.
7. 제1항에 있어서, 상기 출력 제어 회로는,
   상기 컬러 데이터와 상기 깊이 데이터의 출력 순서를 결정하는 이미지 처리 장치.
8. 제1항에 있어서, 상기 출력 제어 회로는,
   상기 컬러 데이터와 상기 깊이 데이터를 직렬로 출력하는 이미지 처리 장치.
9. 제8항에 있어서, 상기 출력 제어 회로는,
   1-수평 시간 동안, 서로 다른 크기를 갖는 상기 컬러 데이터와 상기 깊이 데이터를 직렬로 출력하는 이미지 처리 장치.
10. 제8항에 있어서, 상기 출력 제어 회로는,
    A개의 라인에 해당하는 상기 컬러 데이터와 B개의 라인에 해당하는 상기 깊이 데이터를 직렬로 출력하고,
    A와 B 각각은 자연수이고, A는 B와 같거나 큰 이미지 처리 장치.
11. 제8항에 있어서, 상기 출력 제어 회로는,
    C개의 픽셀에 해당하는 상기 컬러 데이터와 D개의 픽셀에 해당하는 상기 깊이 데이터를 직렬로 출력하고,
    C와 D는 자연수이고, C는 D와 같거나 큰 이미지 처리 장치.
12. 이미지 데이터를 생성하는 이미지 센서; 및
    상기 이미지 데이터를 처리하는 처리 회로를 포함하고,
    상기 이미지 센서는,
    이미지를 캡처하기 위해 2차원적으로 배열된 픽셀들을 포함하는 픽셀 어레이; 및
    상기 픽셀들로부터 출력된 픽셀 신호들로부터 상기 이미지 데이터를 생성하는 이미지 데이터 처리 회로를 포함하고,
    상기 처리 회로는,
    상기 이미지 데이터로부터 컬러 데이터를 추출하고, 추출된 컬러 데이터를 출력하는 컬러 데이터 처리 회로;
    상기 이미지 데이터로부터 깊이 데이터를 추출하고, 추출된 깊이 데이터를 출력하는 깊이 데이터 추출 회로; 및
    상기 컬러 데이터와 상기 깊이 데이터를 출력하는 출력 제어 회로를 포함하고,
    상기 픽셀 어레이에 포함된 모든 픽셀들 각각은 복수의 광전 변환 소자들을 포함하는 모바일 컴퓨팅 장치.
13. 제12항에 있어서, 상기 이미지 데이터는,
    상기 복수의 광전 변환 소자들 각각에 포함된 제1광전 변환 소자로부터 출력된 제1픽셀 신호에 상응하는 긴-노출 이미지 데이터와 상기 복수의 광전 변환 소자들 각각에 포함된 제2광전 변환 소자로부터 출력된 제2픽셀 신호에 상응하는 짧은-노출 이미지 데이터를 포함하는 모바일 컴퓨팅 장치.
14. 제12항에 있어서, 상기 출력 제어 회로는,
    상기 컬러 데이터와 상기 깊이 데이터를 라인 단위로 병렬로 출력하는 모바일 컴퓨팅 장치.
15. 제12항에 있어서, 상기 출력 제어 회로는,
    상기 컬러 데이터와 상기 깊이 데이터의 출력 순서를 결정하는 모바일 컴퓨팅 장치.
16. 제12항에 있어서, 상기 출력 제어 회로는,
    상기 컬러 데이터와 상기 깊이 데이터를 직렬로 출력하는 모바일 컴퓨팅 장치.
17. 제16항에 있어서, 상기 출력 제어 회로는,
    1-수평 시간 동안, 서로 다른 크기를 갖는 상기 컬러 데이터와 상기 깊이 데이터를 직렬로 출력하는 모바일 컴퓨팅 장치.
18. 제16항에 있어서, 상기 출력 제어 회로는,
    A개의 라인에 해당하는 상기 컬러 데이터와 B개의 라인에 해당하는 상기 깊이 데이터를 직렬로 출력하고,
    A와 B 각각은 자연수이고, A는 B와 같거나 큰 모바일 컴퓨팅 장치.
19. 제16항에 있어서, 상기 출력 제어 회로는,
    C개의 픽셀에 해당하는 상기 컬러 데이터와 D개의 픽셀에 해당하는 상기 깊이 데이터를 직렬로 출력하고,
    C와 D는 자연수이고, C는 D와 같거나 큰 모바일 컴퓨팅 장치.
20. 제12항에 있어서, 상기 모바일 컴퓨팅 장치는,
    상기 출력 제어 회로로부터 출력된 상기 컬러 데이터와 상기 깊이 데이터를 처리하는 제2처리 회로를 포함하는 애플리케이션 프로세서를 더 포함하고,
    상기 처리 회로는 상기 이미지 센서와 상기 애플리케이션 프로세서 중에서 어느 하나에 집적되는 모바일 컴퓨팅 장치.

Images