KR20240018345A - 선택적 멀티플 샘플링을 수행하는 이미지 센서 및 그 동작 방법 - Google Patents

Abstract

본 개시의 실시 예에 따른 이미지 센서는 각각이 제 1 포토 다이오드 및 상기 제 1 포토 다이오드보다 수광 면적이 넓은 제 2 포토 다이오드를 포함하는 복수의 픽셀들을 포함하고, 제 1 구간에서 상기 제 2 포토 다이오드를 이용하여 제 1 컨버전 게인에 따라 제 1 픽셀 신호를 출력하고, 제 2 구간에서 상기 제 2 포토 다이오드를 이용하여 제 2 컨버전 게인에 따라 제 2 픽셀 신호를 출력하고, 제 3 구간에서 상기 제 1 포토 다이오드를 이용하여 상기 제 1 컨버전 게인에 따라 제 3 픽셀 신호를 출력하고, 제 4 구간에서 상기 제 1 포토 다이오드를 이용하여 상기 제 2 컨버전 게인에 따라 제 4 픽셀 신호를 출력하는 픽셀 어레이, 상기 각 픽셀 신호들의 리셋 신호 및 이미지 신호에 대해 샘플링을 수행하여 디지털 신호를 출력하는 아날로그 디지털 변환(ADC) 회로, 및 상기 ADC 회로의 동작을 제어하는 타이밍 컨트롤러를 포함하되, 상기 제 1 컨버전 게인은 상기 제 2 컨버전 게인보다 높고, 그리고 상기 샘플링과 관련된 샘플링 횟수 및 샘플링 비트 수는 상기 각 구간마다 다르게 조절되고, 상기 타이밍 컨트롤러는 상기 샘플링 횟수 및 상기 샘플링 비트 수를 조절하기 위한 레지스터를 포함할 수 있다.

Description

선택적 멀티플 샘플링을 수행하는 이미지 센서 및 그 동작 방법{IMAGE SENSOR PERFORMING SELECTIVE MULTIPLE SAMPLING AND OPERATING METHOD THEREOF}

본 개시는 전자 기기에 관한 것으로, 좀 더 상세하게는 선택적 멀티플 샘플링을 수행하는 이미지 센서 및 그 동작 방법에 관한 것이다.

이미지 센서의 종류로서 CCD(Charge Coupled Device) 이미지 센서, CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서(CIS) 등이 있다. CMOS 이미지 센서는 CMOS 트랜지스터들로 구성되는 픽셀들을 포함하며, 각 픽셀에 포함된 광전 변환 소자를 이용하여 빛 에너지를 전기적 신호로 변환시킨다. CMOS 이미지 센서는 각 픽셀에서 발생된 전기적 신호를 이용하여 촬영 이미지에 관한 정보를 획득한다.

특히, 차량에 설치되는 전장용 이미지 센서(automotive image sensor)의 경우, 정지 영상 촬영보다는 동영상 촬영이 주된 기능이기 때문에 일정 수준 이상의 프레임 속도가 확보되어야 한다. 그리고, 차량은 극 저조도 환경부터 극 고조도 환경까지 다양한 조도를 갖는 환경 하에서 운행되기 때문에, 넓은 동적 범위(dynamic range)와 개선된 신호 대 잡음비(SNR)가 모두 요구된다. 따라서, 프레임 속도 감소가 최소화되는 HDR 이미지의 노이즈 감소 방법이 요구된다.

본 개시는 프레임 속도 감소를 최소화하는 노이즈 감소를 위해 선택적 멀티플 샘플링을 수행하는 이미지 센서 및 그 동작 방법을 제공한다.

본 개시의 실시 예에 따른 이미지 센서는 각각이 제 1 포토 다이오드 및 상기 제 1 포토 다이오드보다 수광 면적이 넓은 제 2 포토 다이오드를 포함하는 복수의 픽셀들을 포함하고, 제 1 구간에서 상기 제 2 포토 다이오드를 이용하여 제 1 컨버전 게인에 따라 제 1 픽셀 신호를 출력하고, 제 2 구간에서 상기 제 2 포토 다이오드를 이용하여 제 2 컨버전 게인에 따라 제 2 픽셀 신호를 출력하고, 제 3 구간에서 상기 제 1 포토 다이오드를 이용하여 상기 제 1 컨버전 게인에 따라 제 3 픽셀 신호를 출력하고, 제 4 구간에서 상기 제 1 포토 다이오드를 이용하여 상기 제 2 컨버전 게인에 따라 제 4 픽셀 신호를 출력하는 픽셀 어레이, 상기 각 픽셀 신호들의 리셋 신호 및 이미지 신호에 대해 샘플링을 수행하여 디지털 신호를 출력하는 아날로그 디지털 변환(ADC) 회로, 및 상기 ADC 회로의 동작을 제어하는 타이밍 컨트롤러를 포함하되, 상기 제 1 컨버전 게인은 상기 제 2 컨버전 게인보다 높고, 그리고 상기 샘플링과 관련된 샘플링 횟수 및 샘플링 비트 수는 상기 각 구간마다 다르게 조절되고, 상기 타이밍 컨트롤러는 상기 샘플링 횟수 및 상기 샘플링 비트 수를 조절하기 위한 레지스터를 포함할 수 있다..

본 개시의 실시 예에 따른 이미지 센서는 복수의 픽셀들을 포함하고, 상기 복수의 픽셀들로부터 픽셀 신호를 출력하는 픽셀 어레이, 상기 픽셀 신호들의 리셋 신호 및 이미지 신호에 대해 샘플링을 수행하여 디지털 신호를 출력하는 아날로그 디지털 변환(ADC) 회로, 및 상기 ADC 회로의 동작을 제어하는 타이밍 컨트롤러를 포함하되, 상기 복수의 픽셀들 각각은 제 1 포토 다이오드, 상기 제 1 포토 다이오드보다 수광 면적이 넓은 제 2 포토 다이오드, 상기 제 1 포토 다이오드에서 생성된 전하가 저장되는 제 1 플로팅 확산 영역과 연결된 커패시터, 상기 커패시터와 연결된 제 1 트랜지스터, 상기 제 1 플로팅 확산 영역 및 제 2 플로팅 확산 영역과 연결된 제 2 트랜지스터, 및 상기 제 2 포토 다이오드에서 생성된 전하가 저장되는 제 3 플로팅 확산 영역 및 상기 제 2 플로팅 확산 영역 사이에 연결된 제 3 트랜지스터를 포함하고, 상기 샘플링과 관련된 샘플링 횟수 및 샘플링 비트 수는 상기 제 1 트랜지스터 내지 상기 제 3 트랜지스터 각각이 턴-온되었는지 또는 턴-오프되었는지에 따라 다르게 조절되고, 상기 타이밍 컨트롤러는 상기 샘플링 횟수 및 상기 샘플링 비트 수를 조절하기 위한 레지스터를 포함할 수 있다.

본 개시의 실시 예에 따른 이미지 센서의 동작 방법은 제 1 구간에서 제 2 포토 다이오드를 이용하여 제 1 컨버전 게인에 따라 생성된 제 1 픽셀 신호를 제 1 샘플링 비트로 제 1 샘플링 횟수만큼 샘플링하는 단계, 제 2 구간에서 상기 제 2 포토 다이오드를 이용하여 상기 제 1 컨버전 게인보다 낮은 제 2 컨버전 게인에 따라 생성된 제 2 픽셀 신호를 제 2 샘플링 비트로 제 2 샘플링 횟수만큼 샘플링하는 단계, 상기 제 2 포토 다이오드보다 수광 면적이 좁은 제 1 포토 다이오드를 이용하여 상기 제 1 컨버전 게인에 따라 생성된 제 3 픽셀 신호를 제 3 샘플링 비트로 제 3 샘플링 횟수만큼 샘플링하는 단계, 상기 제 1 포토 다이오드를 이용하여 상기 제 2 컨버전 게인에 따라 생성된 제 4 픽셀 신호를 제 4 샘플링 비트로 제 4 샘플링 횟수만큼 샘플링하는 단계; 및 상기 샘플링된 픽셀 신호들에 기반하여 디지털 신호를 출력하고, 상기 디지털 신호에 기반하여 이미지 데이터를 생성하는 단계를 포함한다.

본 개시의 실시 예에 따른 전자 장치는 이미지 센서 및 애플리케이션 프로세서를 포함하고, 상기 이미지 센서는 각각이 제 1 포토 다이오드 및 상기 제 1 포토 다이오드보다 수광 면적이 넓은 제 2 포토 다이오드를 포함하는 복수의 픽셀들을 포함하고, 제 1 구간에서 상기 제 2 포토 다이오드를 이용하여 제 1 컨버전 게인에 따라 제 1 픽셀 신호를 출력하고, 제 2 구간에서 상기 제 2 포토 다이오드를 이용하여 제 2 컨버전 게인에 따라 제 2 픽셀 신호를 출력하고, 제 3 구간에서 상기 제 1 포토 다이오드를 이용하여 상기 제 1 컨버전 게인에 따라 제 3 픽셀 신호를 출력하고, 제 4 구간에서 상기 제 1 포토 다이오드를 이용하여 상기 제 2 컨버전 게인에 따라 제 4 픽셀 신호를 출력하는 픽셀 어레이, 상기 각 픽셀 신호들의 리셋 신호 및 이미지 신호에 대해 샘플링을 수행하여 디지털 신호를 출력하는 아날로그 디지털 변환(ADC) 회로, 및 상기 ADC 회로의 동작을 제어하는 타이밍 컨트롤러를 포함하되, 상기 제 1 컨버전 게인은 상기 제 2 컨버전 게인보다 높고, 상기 샘플링과 관련된 샘플링 횟수 및 샘플링 비트 수는 상기 각 구간마다 다르게 조절되고, 그리고 상기 애플리케이션 프로세서는 상기 타이밍 컨트롤러가 포함하는 레지스터의 값을 설정하여 상기 샘플링 횟수 및 상기 샘플링 비트 수를 조절할 수 있다.

본 개시의 실시 예에 따르면, 리드아웃 모드에 따라 선택적으로 멀티플 샘플링을 적용할 수 있다.

특히 본 개시의 실시 예에 따르면, 각 리드아웃 모드의 구동 시간을 조절함으로써 노이즈 감소에 수반되는 프레임 속도 감소를 최소화할 수 있다.

도 1은 본 개시의 실시 예에 따른 이미지 처리 시스템의 구성의 예를 나타낸다.
도 2는 도 1의 이미지 센서의 구성의 예를 나타낸다.
도 3은 도 2의 픽셀 어레이의 픽셀들 중 어느 하나의 예를 나타내는 회로도이다.
도 4는 도 3의 픽셀의 리드아웃 동작의 예를 나타내는 타이밍도이다.
도 5a는 1H 시간이 유지되는 LPD_HCG 모드의 멀티플 샘플링의 예를 나타낸다.
도 5b는 1H 시간이 증가하는 LPD_HCG 모드의 멀티플 샘플링의 예를 나타낸다.
도 6a는 샘플링 횟수가 1회이고 샘플링 비트 수가 12비트인 LPD_HCG 모드의 리셋 구간 및 신호 구간의 예를 나타낸다.
도 6b는 샘플링 횟수가 4회이고 샘플링 비트 수가 12비트인 LPD_HCG 모드의 리셋 구간 및 신호 구간의 예를 나타낸다.
도 6c는 샘플링 횟수가 4회이고 샘플링 비트 수가 10비트인 LPD_HCG 모드의 리셋 구간 및 신호 구간의 예를 나타낸다.
도 7a는 1H 시간이 유지되는 SPD_LCG 모드의 멀티플 샘플링의 예를 나타낸다.
도 7b는 1H 시간이 증가하는 SPD_LCG 모드의 멀티플 샘플링의 예를 나타낸다.
도 8은 샘플링 횟수가 1회이고 샘플링 비트 수가 12비트인 SPD_LCG 모드의 신호 구간과 샘플링 횟수가 4회이고 샘플링 비트 수가 10비트인 SPD_LCG 모드의 리셋 구간의 예를 나타낸다.
도 9는 도 2의 데이터 버스의 구성의 예를 나타낸다.
도 10a는 멀티플 샘플링이 적용되지 않은 경우 도 9의 데이터 버스의 동작의 예를 나타내는 타이밍도이다.
도 10b는 LPD_HCG 모드에 1H 시간이 유지되는 멀티플 샘플링이 적용되었을 때 도 9의 데이터 버스의 동작의 예를 나타내는 타이밍도이다.
도 10c는 LPD_HCG 모드에 1H 시간이 증가하는 멀티플 샘플링이 적용되었을 때 도 9의 데이터 버스의 동작의 예를 나타내는 타이밍도이다.
도 11은 멀티플 샘플링이 적용되지 않은 경우와 LPD_HCG 모드에 멀티플 샘플링이 적용된 경우 SNR을 비교한 결과를 나타낸다.
도 12는 멀티플 샘플링이 적용되지 않은 경우와 SPD_LCG 모드에 멀티플 샘플링이 적용된 경우 SNR을 비교한 결과를 나타낸다.
도 13은 본 개시의 실시 예에 따른 선택적 멀티플 샘플링을 수행하는 이미지 센서의 동작 방법의 예를 나타내는 흐름도이다.
도 14는 본 개시의 실시 예에 따른 이미지 센서를 포함하는 전자 장치의 구성의 예를 나타낸다.

이하에서, 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 용이하게 실시할 수 있을 정도로, 본 개시의 실시 예들이 명확하고 상세하게 기재될 것이다.

상세한 설명에서 사용되는 부 또는 유닛(unit), 모듈(module), 블록(block), ~기(~or, ~er) 등의 용어들을 참조하여 설명되는 구성 요소들 및 도면에 도시된 기능 블록들은 소프트웨어, 또는 하드웨어, 또는 그것들의 조합의 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계 코드, 펌웨어, 임베디드 코드, 및 애플리케이션 소프트웨어일 수 있다. 예를 들어, 하드웨어는 전기 회로, 전자 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어들, 압력 센서, 관성 센서, 멤즈(microelectromechanical system; MEMS), 수동 소자, 또는 그것들의 조합을 포함할 수 있다.

도 1은 본 개시의 실시 예에 따른 이미지 처리 시스템(10)의 구성의 예를 나타낸다. 예를 들어, 이미지 처리 시스템(10)은 카메라, 스마트폰, 웨어러블 기기, 사물 인터넷(Internet of Things(IoT)) 기기, 가전 기기, 태블릿 PC(Personal Computer), PDA(Personal Digital Assistant), PMP(portable Multimedia Player), 네비게이션(navigation), 드론(drone), 첨단 운전자 보조 시스템(Advanced Drivers Assistance System; ADAS) 등과 같은 다양한 전자 장치의 일부로서 구현될 수 있다. 또한, 이미지 처리 시스템(10)은 차량, 가구, 제조 설비, 도어, 각종 계측 기기 등에 부품으로서 구비되는 전자 장치에 탑재될 수 있다. 도 1을 참조하면, 이미지 처리 시스템(10)은 렌즈(12), 이미지 센서(14), 및 이미지 신호 프로세서(16)를 포함할 수 있다.

빛은 촬영의 대상이 되는 객체, 풍경 등에 의해 반사될 수 있고, 렌즈(12)는 반사된 빛을 수신할 수 있다. 이미지 센서(14)는 렌즈(12)를 통해 수신되는 빛에 기반하여 전기 신호를 생성할 수 있다. 예를 들어, 이미지 센서(14)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등으로 구현될 수 있다.

이미지 센서(14)는 픽셀 어레이를 포함할 수 있다. 픽셀 어레이의 픽셀들은 빛을 전기 신호로 변환하여 픽셀 값들을 생성할 수 있다. 빛이 전기 신호(예를 들어, 전압)로 변환되는 비율을 컨버전 게인(conversion gain)이라고 정의할 수 있는데, 픽셀 어레이는 컨버전 게인을 변화시키는 듀얼 컨버전 게인(dual conversion gain)을 이용하여, 로우 컨버전 게인(low conversion gain) 모드 및 하이 컨버전 게인(high conversion gain) 모드 하에서 픽셀 신호를 생성할 수 있다. 또한, 픽셀 어레이의 각 픽셀은 스플릿 포토 다이오드(split photodiode) 구조를 가질 수 있다. 이미지 센서(14)의 구성은 도 2를 참조하여 더 상세히 설명된다.

이미지 신호 프로세서(16)는 이미지 센서(14)로부터 출력된 전기 신호에 대해 전처리를 수행하고, 전처리된 전기 신호를 적절히 처리하여, 촬영된 객체, 풍경 등과 관련된 이미지 데이터를 생성할 수 있다. 이를 위해, 이미지 신호 프로세서(16)는 색 보정(color correction), 자동 백색 보정(auto white balance), 감마 보정(gamma correction), 색 포화 보정(color saturation correction), 불량 픽셀 보정(bad pixel correction), 색도 보정(hue correction)과 같은 다양한 처리를 수행할 수 있다.

도 1은 하나의 렌즈(12), 및 하나의 이미지 센서(14)를 나타낸다. 그러나, 다른 실시 예에서, 이미지 처리 시스템(10)은 복수의 렌즈들 및 복수의 이미지 센서들을 포함할 수 있다. 이 경우, 복수의 렌즈들은 각각 서로 다른 화각을 가질 수 있다. 또한, 복수의 이미지 센서들은 상이한 기능들, 상이한 성능들, 및/또는 상이한 특성들을 가질 수 있고, 상이한 구성의 픽셀 어레이를 포함할 수 있다.

도 2는 도 1의 이미지 센서(14)의 구성의 예를 나타낸다. 도 2를 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 로우 드라이버(120), 램프 신호 생성기(130), 아날로그 디지털 변환(Analog-to-Digital Converter; ADC) 회로(140), 데이터 버스(150), 인에이블 신호 생성기(160), 및 타이밍 컨트롤러(170)를 포함할 수 있다.

픽셀 어레이(110)는 행과 열(N개의 행들과 N개의 열들(즉, NⅩN))을 따라 매트릭스 형태로 배치된 복수의 픽셀(PX)들을 포함할 수 있다. 복수의 픽셀(PX)들 각각은 광전 변환 소자를 포함할 수 있다. 예를 들어, 광전 변환 소자는 포토 다이오드, 포토 트랜지스터, 포토 게이트, 또는 핀드 포토 다이오드(pinned photodiode) 등을 포함할 수 있다. 또한, 복수의 픽셀(PX)들 각각은 복수의 광전 변환 소자들을 포함할 수도 있다.

본 개시의 실시 예에 따른 복수의 픽셀(PX)들 각각은 적어도 둘 이상의 포토 다이오드들을 포함하는 스플릿 포토 다이오드(split photodiode) 구조의 픽셀(PX)일 수 있으며, 여기서 둘 이상의 포토 다이오드들은 서로 독립적으로 동작할 수 있다. 예를 들어, 픽셀(PX)은 수광 면적이 작은 스몰 포토 다이오드(small photodiode; SPD) 및 스몰 포토 다이오드보다 수광 면적이 넓은 라지 포토 다이오드(large photodiode; LPD)를 포함할 수 있다.

라지 포토 다이오드 및 스몰 포토 다이오드는 객체 주변의 조도에 따라 선택적으로 동작할 수 있다. 예를 들어, 라지 포토 다이오드는 저조도 환경에서 픽셀 신호를 생성하도록 동작할 수 있고, 스몰 포토 다이오드는 노출 시간을 길게 하여 고조도 환경에서 픽셀 신호를 생성하도록 동작할 수 있다. 또한, 라지 포토 다이오드 및 스몰 포토 다이오드는 각각 하이 컨버전 게인 모드 또는 로우 컨버전 게인 모드 중 어느 하나로 동작할 수 있다. 스플릿 포토 다이오드 구조를 갖는 픽셀(PX)의 구성 및 동작은 도 3을 참조하여 더 상세히 설명된다.

나아가, 본 개시의 실시 예에 따르면 각 모드(라지 포토 다이오드의 하이 컨버전 게인 모드 및 로우 컨버전 게인 모드, 스몰 포토 다이오드의 하이 컨버전 게인 모드 및 로우 컨버전 게인 모드) 별로 샘플링 횟수 및 샘플링 비트 수가 선택적으로 조절될 수도 있다. 예를 들어, 샘플링 횟수 및 샘플링 비트 수는 타이밍 컨트롤러(170)의 레지스터에 의해 조절될 수 있다.

한편, 복수의 픽셀(PX)들 각각의 상부, 또는 인접한 픽셀(PX)들로 구성되는 픽셀 그룹들 각각의 상부에 집광을 위한 마이크로 렌즈가 배치될 수 있다. 복수의 픽셀(PX)들 각각은 마이크로 렌즈를 통해 수신된 빛으로부터 특정 스펙트럼 영역의 빛을 감지할 수 있다. 예를 들어, 픽셀 어레이(110)는 레드(red) 스펙트럼 영역의 빛을 전기 신호로 변환하는 레드 픽셀, 그린(green) 스펙트럼 영역의 빛을 전기 신호로 변환하기 위한 그린 픽셀, 및 블루(blue) 스펙트럼 영역의 빛을 전기 신호로 변환하기 위한 블루 픽셀을 포함할 수 있다. 복수의 픽셀(PX)들 각각의 상부에는 특정 스펙트럼 영역의 빛을 투과시키기 위한 컬러 필터가 배치될 수 있다. 그러나, 본 개시는 이에 한정되지 않으며, 픽셀 어레이(110)는 레드, 그린 및 블루 외에 다른 스펙트럼 영역의 빛을 전기 신호로 변환하는 픽셀들을 포함할 수도 있다.

픽셀 어레이(110)의 복수의 픽셀(PX)들 각각은 외부로부터 수광된 빛의 강도 또는 빛의 양에 따라 대응하는 컬럼 라인(CL1~CLN)을 통해 픽셀 신호를 출력할 수 있다. 복수의 컬럼 라인들(CL1~CLN) 각각은 열 방향으로 연장되며, 동일한 열에 배치된 픽셀(PX)에 연결될 수 있다. 예를 들어, 픽셀 신호는 외부로부터 수광된 빛의 강도 또는 빛의 양에 대응하는 아날로그 신호일 수 있다. 픽셀 신호는 전압 버퍼(예를 들어, 소스 팔로워)를 통과하여 컬럼 라인들(CL1~CLN)을 통해 ADC 회로(140)로 제공될 수 있다.

로우 드라이버(120)는 픽셀 어레이(110)의 행을 선택하고 구동할 수 있다. 로우 드라이버(120)는 타이밍 컨트롤러(170)에 의해 생성된 어드레스 및/또는 제어 신호를 디코딩하여, 픽셀 어레이(110)의 행을 선택하고 구동하기 위한 제어 신호들을 생성할 수 있다. 예를 들어, 제어 신호들은 픽셀을 선택하기 위한 신호, 플로팅 확산 영역을 리셋하기 위한 신호, 플로팅 확산 영역으로 전하를 전송하기 위한 신호 등을 포함할 수 있다. 특히, 본 개시의 로우 드라이버(120)는 픽셀(PX)의 라지 포토 다이오드 및 스몰 포토 다이오드의 리드아웃 모드를 제어하는 제어 신호들을 생성하고, 이를 픽셀 어레이(110)에 제공할 수 있다.

램프 신호 생성기(130)는 타이밍 컨트롤러(170)의 제어 하에 램프 신호를 생성할 수 있다. 예를 들어, 램프 신호 생성기(130)는 램프 인에이블 신호와 같은 제어 신호 하에 동작할 수 있다. 램프 인에이블 신호가 활성화되면, 램프 신호 생성기(130)는 미리 정해진 값(예를 들어, 시작 레벨, 종료 레벨, 기울기 등)에 따라 램프 신호를 생성할 수 있다. 다시 말해, 램프 신호는 특정 시간 동안 미리 정해진 기울기에 따라 증가 또는 감소하는 신호일 수 있다. 나아가, 본 개시의 램프 신호는 상술한 픽셀(PX)의 모드 별 샘플링 횟수 및 샘플링 비트 수의 변화에 따라 다르게 조절될 수 있다. 램프 신호는 ADC 회로(140)로 제공될 수 있다.

ADC 회로(140)는 픽셀 어레이(110)의 복수의 픽셀(PX)들로부터 컬럼 라인들(CL1~CLN)을 통해 픽셀 신호를 수신할 수 있고, 램프 신호 생성기(130)로부터 램프 신호를 수신할 수 있다. ADC 회로(140)는 수신된 픽셀 신호에 대하여 리셋 신호 및 이미지 신호를 획득하고, 그 차이를 유효한 신호 성분으로 추출할 수 있다. ADC 회로(140)는 복수의 비교기들(COMP) 및 카운터들(CNT)을 포함할 수 있다.

구체적으로, 비교기들(COMP)은 픽셀 신호의 리셋 신호와 램프 신호(RAMP)를 비교하고, 픽셀 신호의 이미지 신호와 램프 신호(RAMP)를 비교하여 샘플링을 수행할 수 있다. 예를 들어, 비교기들(COMP)은 연산 전달 컨덕턴스 증폭기(Operational Transconductance Amplifier; OTA)를 이용하여 구현될 수 있다. 카운터들(CNT)은 상관 이중 샘플링이 수행된 신호의 펄스들을 카운팅하여 디지털 신호로서 출력할 수 있고, 데이터 버스(150)로 제공할 수 있다.

데이터 버스(150)는 ADC 회로(140)로부터 수신한 디지털 신호에 기반하여 이미지 데이터(IDAT)를 출력할 수 있다. 예를 들어, 데이터 버스(150)는 복수의 메모리들, 감지 증폭기, 및 컬럼 디코더를 포함할 수 있다. 복수의 메모리들은 디지털 카운터들(CNT)로부터 출력된 디지털 신호를 임시로 저장할 수 있고, 감지 증폭기는 복수의 메모리들에 저장된 디지털 신호를 감지 및 증폭할 수 있다. 복수의 메모리들에 디지털 신호를 저장하고, 저장된 디지털 신호를 불러오는 동작은 인에이블 신호 생성기(160)의 제어 하에 수행될 수 있다. 증폭된 디지털 신호는 컬럼 디코더의 제어 하에 이미지 데이터(IDAT)로서 도 1의 이미지 신호 프로세서(16)로 전송될 수 있다.

인에이블 신호 생성기(160)는 데이터 버스(150)에 포함된 복수의 메모리들에 디지털 신호를 임시로 저장하는 동작(즉, 쓰기 동작), 이미지 데이터(IDAT)의 출력을 위해 복수의 메모리들로부터 디지털 신호를 불러오는 동작(즉, 읽기 동작)을 제어하는 읽기/쓰기 인에이블 신호들 및 읽기/쓰기 선택 신호들을 생성할 수 있다.

타이밍 컨트롤러(170)는 로우 드라이버(120), 램프 신호 생성기(130), ADC 회로(140), 및 인에이블 신호 생성기(160) 각각의 동작 및/또는 타이밍을 제어하기 위한 제어 신호 및/또는 클럭을 생성할 수 있다. 특히, 본 개시의 타이밍 컨트롤러(170)는 픽셀(PX)의 리드아웃 모드 별로 샘플링 횟수 및 샘플링 비트 수를 조절하기 위한 레지스터를 포함할 수 있다. 예를 들어, 타이밍 컨트롤러(170)는 레지스터에 의해 설정된 샘플링 횟수 및 샘플링 비트 수에 따라 로우 드라이버(120), 램프 신호 생성기(130), ADC 회로(140), 및 인에이블 신호 생성기(160)를 제어할 수 있다.

도 3은 도 2의 픽셀 어레이(110)의 픽셀(PX)들 중 어느 하나의 예를 나타내는 회로도이다. 도 3을 참조하면, 픽셀(PX)은 라지 포토 다이오드(LPD), 스몰 포토 다이오드(SPD), 라지 전송 트랜지스터(LTG), 스몰 전송 트랜지스터(STG), 리셋 트랜지스터(RG), 구동 트랜지스터(DX), 선택 트랜지스터(SX), 컨버전 게인 제어 트랜지스터(DRG), 스위치 트랜지스터(SW), 커패시터 제어 트랜지스터(CCTR), 및 커패시터(C1)를 포함할 수 있다.

또한 도 3을 참조하면, 픽셀(PX)에 인가되는 전압은 픽셀 전압(VPIX), 커패시터 전원 전압(VMIM), 및 리셋 전원 전압(VRD)을 포함할 수 있다. 커패시터 전원 전압(VMIM) 및 리셋 전원 전압(VRD) 각각은 픽셀 전압(VPIX)과 동일하게 공급되거나, 별도의 회로를 거쳐 공급될 수 있다. 나아가, 플로팅 확산 영역들(FD1, FD2, FD3)에 의해 기생 커패시터가 형성될 수 있다.

포토 다이오드는 외부로부터 입사되는 빛을 전기 신호로 변환할 수 있다. 포토 다이오드는 빛의 세기에 따라 전하를 발생시킬 수 있다. 객체 주변의 조도에 따라 포토 다이오드에서 생성되는 전하량은 가변적일 수 있다. 상술한 바와 같이, 포토 다이오드는 수광 면적에 따라 수광 면적이 넓은 라지 포토 다이오드(LPD)와, 수광 면적이 작은 스몰 포토 다이오드(SPD)로 구분될 수 있다. 즉, 픽셀(PX)은 라지 포토 다이오드(LPD) 및 스몰 포토 다이오드(SPD)를 포함하는 스플릿 포토 다이오드 구조를 가질 수 있다.

라지 전송 트랜지스터(LTG)는 라지 전송 제어 신호(LTS)에 의해 구동될 수 있다. 라지 전송 트랜지스터(LTG)는 라지 포토 다이오드(LPD)에 의해 생성된 전하들을 제 3 플로팅 확산 영역(FD3)으로 전송할 수 있다. 나아가, 컨버전 게인 제어 트랜지스터(DRG)가 턴-온된 경우, 라지 전송 트랜지스터(LTG)는 라지 포토 다이오드(LPD)에 의해 생성된 전하들을 제 3 플로팅 확산 영역(FD3)뿐만 아니라 제 2 플로팅 확산 영역(FD2)까지도 전송할 수 있다. 라지 전송 트랜지스터(LTG)의 한쪽 단은 라지 포토 다이오드(LPD)에 연결되고, 다른 한쪽 단은 각각 제 3 플로팅 확산 영역(FD3)에 연결될 수 있다.

스몰 전송 트랜지스터(STG)는 스몰 전송 제어 신호(STS)에 의해 구동될 수 있다. 스몰 전송 트랜지스터(STG)는 스몰 포토 다이오드(SPD)에 의해 생성된 전하들을 제 1 플로팅 확산 영역(FD1)으로 전송할 수 있다. 스몰 전송 트랜지스터(STG)의 한쪽 단은 스몰 포토 다이오드(SPD)에 연결되고, 다른 한쪽 단은 제 1 플로팅 확산 영역(FD1)에 연결될 수 있다.

스위치 트랜지스터(SW)는 스위치 제어 신호(SWS)에 의해 구동될 수 있다. 스위치 트랜지스터(SW)는 스몰 포토 다이오드(SPD)를 이용하여 픽셀 신호(PIX)를 생성하기 위해 턴-온되고, 라지 포토 다이오드(LPD)를 이용하여 픽셀 신호(PIX)를 생성하기 위해 턴-오프될 수 있다. 스위치 트랜지스터(SW)의 한쪽 단은 제 1 플로팅 확산 영역(FD1)에 연결되고, 다른 한쪽 단은 제 2 플로팅 확산 영역(FD2)에 연결될 수 있다.

라지 포토 다이오드(LPD)가 이용될 때, 컨버전 게인 제어 트랜지스터(DRG)는 컨버전 게인 제어 신호(CGS)에 의해 구동될 수 있다. 컨버전 게인 제어 트랜지스터(DRG)가 턴-온되는 경우, 제 3 플로팅 확산 영역(FD3)에 형성되는 기생 커패시터 및 제 2 플로팅 확산 영역(FD2)에 형성되는 기생 커패시터가 병렬 연결되어 플로팅 확산 영역들의 커패시턴스가 증가할 수 있다. 플로팅 확산 영역들의 커패시턴스가 증가하면 컨버전 게인은 낮아지고, 커패시턴스가 감소하면 컨버전 게인은 높아지므로, 컨버전 게인 제어 트랜지스터(DRG)가 턴-오프되었을 때의 컨버전 게인은 컨버전 게인 제어 트랜지스터(DRG)가 턴-온되었을 때의 컨버전 게인보다 높을 수 있다. 컨버전 게인 제어 트랜지스터(DRG)의 한쪽 단은 제 2 플로팅 확산 영역(FD2)에 연결되고, 다른 한 쪽 단은 제 3 플로팅 확산 영역(FD3) 사이에 연결될 수 있다.

스몰 포토 다이오드(SPD)가 이용될 때, 커패시터 제어 트랜지스터(CCTR)는 커패시터 제어 신호(CCS)에 의해 구동될 수 있다. 커패시터 제어 트랜지스터(CCTR)가 턴-온되는 경우, 커패시터(C1)는 제 1 플로팅 확산 영역(FD1)에 형성되는 기생 커패시터와 병렬 연결되어 제 1 플로팅 확산 영역(FD1)의 커패시턴스를 증가시킬 수 있다. 따라서, 커패시터 제어 트랜지스터(CCTR)가 턴-오프되었을 때의 컨버전 게인은 커패시터 제어 트랜지스터(CCTR)가 턴-온되었을 때의 컨버전 게인보다 높을 수 있다. 커패시터 제어 트랜지스터(CCTR)의 한쪽 단은 커패시터(C1)에 연결되고, 다른 한쪽 단은 커패시터 전원 전압(VMIM)에 연결될 수 있다. 예를 들어, 커패시터(C1)는 고정 또는 가변 커패시턴스를 갖는 수동 소자일 수 있으며, 스몰 포토 다이오드(SPD)에서 넘치는 횡 오버플로우(lateral overflow) 전하를 저장할 수 있다.

리셋 트랜지스터(RG)는 리셋 제어 신호(RS)에 의해 구동될 수 있고, 플로팅 확산 영역들(FD2, FD3)에 리셋 전원 전압(VRD)을 제공할 수 있다. 나아가, 스위치 트랜지스터(SW)가 턴-온된 경우, 리셋 트랜지스터(RG)는 제 1 플로팅 확산 영역(FD1)에도 리셋 전원 전압(VRD)을 제공할 수 있다. 이로써, 플로팅 확산 영역들(FD1, FD2, FD3)에 축적된 전하들은 리셋 전원 전압(VRD) 단으로 이동할 수 있고, 플로팅 확산 영역들(FD1, FD2, FD3)의 전압은 리셋될 수 있다.

구동 트랜지스터(DX)는 컬럼 라인(CL)에 연결된 전류 소스(도시되지 않음)에 의해 생성되는 바이어스 전류에 기반하여 소스 팔로워로서 동작할 수 있고, 플로팅 확산 영역들(FD1, FD2, FD3)의 전압을 증폭하여 픽셀 신호(PIX)를 생성할 수 있다. 선택 트랜지스터(SX)는 선택 신호(SEL)에 의해 구동될 수 있고, 행 단위로 읽어낼 픽셀을 선택할 수 있다. 선택 트랜지스터(SEL)가 턴-온되는 경우, 픽셀 신호(PIX)는 컬럼 라인(CL)을 통해 도 2의 ADC 회로(140)로 출력될 수 있다.

결론적으로, 도 3의 픽셀(PX)은 라지 포토 다이오드(LPD) 또는 스몰 포토 다이오드(SPD) 중 하나를 이용하여 픽셀 신호(PIX)를 생성할 수 있다. 그리고, 라지 포토 다이오드(LPD)는 컨버전 게인 제어 트랜지스터(DRG)의 턴-온, 턴-오프 여부에 따라 하이 컨버전 게인 모드 또는 로우 컨버전 게인 모드 중 하나로 동작할 수 있고, 스몰 포토 다이오드(SPD)는 커패시터 제어 트랜지스터(CCTR)의 턴-온, 턴-오프 여부에 따라 하이 컨버전 게인 모드 또는 로우 컨버전 게인 모드 중 하나로 동작할 수 있다.

즉, 도 3의 픽셀(PX)은 조도에 따라 총 4개의 리드아웃 모드로 픽셀 신호(PIX)를 생성할 수 있다. 구체적으로, 가장 낮은 조도를 갖는 제 1 구간에서 라지 포토 다이오드(LPD)는 하이 컨버전 게인 모드(이하, LPD_HCG 모드라고 지칭)로 동작할 수 있고, 제 1 구간보다 높은 조도를 갖는 제 2 구간에서 라지 포토 다이오드(LPD)는 로우 컨버전 게인 모드(이하, LPD_LCG 모드라고 지칭)로 동작할 수 있다. 그리고, 제 2 구간보다 높은 조도를 갖는 제 3 구간에서 스몰 포토 다이오드(SPD)는 하이 컨버전 게인 모드(이하, SPD_HCG 모드라고 지칭)로 동작할 수 있고, 가장 높은 조도를 갖는 제 4 구간에서 스몰 포토 다이오드(SPD)는 로우 컨버전 게인 모드(이하, SPD_LCG 모드라고 지칭)로 동작할 수 있다.

이와 같이 픽셀(PX)은 듀얼 컨버전 게인 모드로 동작할 수 있는 라지 포토 다이오드(LPD) 및 스몰 포토 다이오드(SPD)를 이용하여 조도에 따라 저광량 및 고광량의 빛을 감지할 수 있기 때문에, 도 2의 이미지 센서(100)의 동적 범위(dynamic range)가 증가할 수 있다. 또한, 픽셀(PX)은 LPD_HCG 모드, LPD_LCG 모드, SPD_HCG 모드, 및 SPD_LCG 모드로 순차적으로 동작할 수 있으며, 도 2의 이미지 센서(100)는 각 모드에 따른 이미지 데이터(IDAT)를 모두 병합하여 HDR(high dynamic range) 이미지를 생성할 수 있다.

나아가, 본 개시의 실시 예에 따르면 각 리드아웃 모드의 샘플링 횟수 및 샘플링 비트 수가 선택적으로 조절될 수 있다. 예를 들어, 각 모드의 샘플링 횟수의 증가를 통해 노이즈가 감소하고 신호 대 잡음비(SNR)가 개선될 수 있지만, 리드아웃 시간이 길어짐으로써 프레임 속도가 감소할 수 있는데, 샘플링 비트 수의 감소를 통해 프레임 속도의 감소가 최소화될 수 있다.

도 4는 도 3의 픽셀(PX)의 리드아웃 동작의 예를 나타내는 타이밍도이다. 도 3 및 도 4를 함께 참조하면, 한 번의 리드아웃 동작은 서로 다른 리드아웃 모드들(LPD_HCG, LPD_LCG, SPD_HCG, 및 SPD_LCG)에 대응하는 복수의 구간들을 포함할 수 있으며, 한 번의 리드아웃 동작에 소요되는 전체 시간은 1H 시간으로 정의할 수 있다. 복수의 구간들 각각은 픽셀 신호(PIX)의 리셋 신호를 출력하는 구간(RST) 및 픽셀 신호(PIX)의 이미지 신호를 출력하는 구간(SIG)을 포함할 수 있다. 기본적으로, 각 모드의 샘플링 횟수(즉, 리셋 신호와 램프 신호를 비교하는 횟수 또는 이미지 신호와 램프 신호를 비교하는 횟수)는 1회이고, 샘플링 비트 수는 M비트(예를 들어, 12비트)인 것으로 가정한다.

도 4를 참조하면, 리드아웃 동작을 수행하는 픽셀(PX)의 선택 트랜지스터(SX)는 하이 레벨의 선택 신호(SEL)에 응답하여 턴-온될 수 있다. 또한, 라지 포토 다이오드(LPD)가 이용되는 LPD_HCG 모드 및 LPD_LCG 모드 동안 로우 레벨의 스위치 제어 신호(SWS)에 응답하여 스위치 트랜지스터(SW)가 턴-오프될 수 있고, 스몰 포토 다이오드(SPD)가 이용되는 SPD_HCG 모드 및 SPD_LCG 모드 동안 하이 레벨의 스위치 제어 신호(SWS)에 응답하여 스위치 트랜지스터(SW)가 턴-온될 수 있다. 그리고, 각 모드가 시작될 때마다 하이 레벨의 오토 제로 신호(AZ)에 응답하여 도 2의 ADC 회로(140)가 포함하는 증폭기들이 초기화될 수 있다.

제 1 모드인 LPD_HCG 모드 동안, 리셋 구간(RST)에 따른 리셋 신호가 먼저 출력된 후, 신호 구간(SIG)에 따른 이미지 신호가 출력될 수 있다(RST-SIG). 도 4를 참조하면, LPD_HCG 모드의 리셋 구간(RST)에서 하이 레벨의 리셋 제어 신호(RS)에 응답하여 리셋 트랜지스터(RG)가 턴-온됨으로써 제 3 플로팅 확산 영역(FD3)이 리셋될 수 있고, 하이 컨버전 게인에 대응하는 픽셀 신호의 리셋 신호가 리드아웃될 수 있다.

그 후, 신호 구간(SIG)에서 하이 레벨의 라지 전송 제어 신호(LTS)에 응답하여 라지 포토 다이오드(LPD)에서 생성된 전하가 라지 전송 트랜지스터(LTG)를 통해 제 3 플로팅 확산 영역(FD3)으로 전송될 수 있고, 하이 컨버전 게인에 대응하는 픽셀 신호의 이미지 신호가 리드아웃될 수 있다. 이후, 하이 레벨의 컨버전 게인 제어 신호(CGS)에 응답하여 컨버전 게인 제어 트랜지스터(DRG)가 턴-온될 수 있다.

제 2 모드인 LPD_LCG 모드 동안, 신호 구간(SIG)에 따른 이미지 신호가 먼저 출력된 후, 리셋 구간(RST)에 따른 리셋 신호가 출력될 수 있다(SIG-RST). 도 4를 참조하면, 신호 구간(SIG)에서 하이 레벨의 라지 전송 제어 신호(LTS)에 응답하여 라지 포토 다이오드(LPD)에서 생성된 전하가 라지 전송 트랜지스터(LTG)를 통해 제 3 플로팅 확산 영역(FD3)으로 전송될 수 있고, 로우 컨버전 게인에 대응하는 픽셀 신호의 이미지 신호가 리드아웃될 수 있다. 이후 리셋 구간(RST)에서 하이 레벨의 리셋 제어 신호(RS)에 응답하여 리셋 트랜지스터(RG)가 턴-온됨으로써 제 3 플로팅 확산 영역(FD3)이 리셋될 수 있고, 로우 컨버전 게인에 대응하는 픽셀 신호의 리셋 신호가 리드아웃될 수 있다.

제 3 모드인 SPD_HCG 모드 동안, 리셋 구간(RST)에 따른 리셋 신호가 먼저 출력된 후, 신호 구간(SIG)에 따른 이미지 신호가 출력될 수 있다(RST-SIG). 도 4를 참조하면, 리셋 구간(RST)에서 하이 레벨의 리셋 제어 신호(RS)에 응답하여 리셋 트랜지스터(RG)가 턴-온될 수 있고, 제 2 플로팅 확산 영역(FD2) 및 제 3 플로팅 확산 영역(FD3)이 리셋될 수 있다.제 2 플로팅 확산 영역(FD2) 및 제 3 플로팅 확산 영역(FD3)이 리셋된 상태에서 하이 레벨의 스위치 제어 신호(SWS)에 응답하여 스위치 트랜지스터(SW)가 턴-온되고, 하이 컨버전 게인에 대응하는 픽셀 신호의 리셋 신호가 리드아웃될 수 있다. 그리고, 로우 레벨의 커패시터 제어 신호(CCS)에 응답하여 커패시터 제어 트랜지스터(CCTR)가 턴-오프될 수 있다.

그 후, 신호 구간(SIG)에서 하이 레벨의 스몰 전송 제어 신호(STS)에 응답하여 스몰 포토 다이오드(SPD)에서 생성된 전하가 스몰 전송 트랜지스터(STG)를 통해 제 1 플로팅 확산 영역(FD1)으로 전송될 수 있고, 하이 컨버전 게인에 대응하는 픽셀 신호의 이미지 신호가 리드아웃될 수 있다. 이후, 하이 레벨의 커패시터 제어 신호(CCS)에 응답하여 커패시터 제어 트랜지스터(CCTR)가 턴-온될 수 있다.

제 4 모드인 SPD_LCG 모드 동안, 신호 구간(SIG)에 따른 이미지 신호가 먼저 출력된 후, 리셋 구간(RST)에 따른 이미지 신호가 출력될 수 있다(SIG-RST). 도 4를 참조하면, 신호 구간(SIG)에서 커패시터(C1)에 저장되어 있던 횡 오버플로우 전하들이 제 1 플로팅 확산 영역(FD1)으로 전송될 수 있고, 로우 컨버전 게인에 대응하는 픽셀 신호의 이미지 신호가 리드아웃될 수 있다. 이후 리셋 구간(RST)에서 하이 레벨의 리셋 제어 신호(RS)에 응답하여 리셋 트랜지스터(RG)가 턴-온됨으로써 제 1 플로팅 확산 영역(FD1), 커패시터(C1), 제 2 플로팅 확산 영역(FD2), 및 제 3 플로팅 확산 영역(FD3)이 리셋될 수 있고, 로우 컨버전 게인에 대응하는 픽셀 신호의 리셋 신호가 리드아웃될 수 있다.

상술한 LPD_HCG 모드, LPD_LCG 모드, SPD_HCG 모드, 및 SPD_LCG 모드는 각각 도 3을 참조하여 조도에 따라 분류한 제 1 구간, 제 2 구간, 제 3 구간, 및 제 4 구간에 대응하는 리드아웃 모드일 수 있다. 상술한 리드아웃 모드들 중에서, LPD_HCG 모드 및 SPD_HCG 모드에 따르면 리셋 구간(RST)에서 리셋 신호를 먼저 리드아웃한 다음 신호 구간(SIG)에서 이미지 신호를 리드아웃할 수 있는데(RST-SIG), 이는 상관 이중 샘플링(Correlated Double Sampling; CDS) 리드아웃 방식이라고 지칭될 수 있다. 반면, LPD_LCG 모드 및 SPD_LCG 모드에 따르면 신호 구간(SIG)에서 이미지 신호를 먼저 리드아웃한 다음 리셋 구간(RST)에서 리셋 신호를 리드아웃할 수 있는데(SIG-RST), 이는 불완전 CDS(incomplete CDS) 리드아웃 방식이라고 지칭될 수 있다.

CDS 리드아웃 방식(RST-SIG)의 경우 리셋 신호와 이미지 신호가 서로 관련된 KT/C 노이즈 성분을 갖게 되어 리드아웃을 통해 KT/C 노이즈가 제거될 수 있으나, 불완전 CDS 리드아웃 방식(SIG-RST)의 경우 리셋 신호와 이미지 신호가 서로 다른(관련되지 않은) KT/C 노이즈 성분을 갖게 되어 리드아웃을 통해 KT/C 노이즈가 제거되지 않을 수 있다.

한편, 복수의 리드아웃 모드들의 동작 순서는 도 4에 나타난 것에 한정되지 않으며, 스몰 포토 다이오드(SPD)의 리드아웃 동작이 라지 포토 다이오드(LPD)보다 먼저 수행될 수도 있고, 로우 컨버전 게인 모드의 동작이 하이 컨버전 게인 모드의 동작보다 먼저 수행될 수도 있다. 또한, 각 모드에서 리셋 구간(RST)과 신호 구간(SIG)의 순서가 바뀌거나, 로우 컨버전 게인 모드의 리셋 구간(RST)과 하이 컨버전 게인 모드의 리셋 구간(RST)이 먼저 진행된 후, 하이 컨버전 게인 모드의 신호 구간(SIG)과 로우 컨버전 게인 모드의 신호 구간(SIG)이 진행될 수도 있다.

상술한 바와 같이, 노이즈 감소 및 프레임 시간 감소의 최소화를 위해 본 개시의 실시 예에 따른 각 리드아웃 모드의 샘플링 횟수 및 샘플링 비트 수는 선택적으로 조절될 수 있다. 예를 들어, 각 리드아웃 모드의 샘플링 횟수는 1회에서 K회로(1<K; 예를 들어, 1회에서 4회로) 증가할 수 있고, 샘플링 비트 수는 M비트에서 N비트로(M>N; 예를 들어, 12비트에서 10비트로) 감소할 수 있다. 또한, 샘플링 횟수가 조절될 때, 리셋 구간(RST) 및 신호 구간(SIG)의 비교 동작 횟수가 모두 조절될 수도 있지만, 리셋 구간(RST) 또는 신호 구간(SIG) 중 어느 하나의 비교 동작 횟수만 조절될 수도 있다.

이처럼 하나의 리드아웃 모드 동안 2회 이상 샘플링이 이루어지는 것을 멀티플 샘플링(multiple sampling)이라고 지칭한다. 각 리드아웃 모드에 대해 멀티플 샘플링은 선택적으로 적용될 수 있으며, 1H 시간을 조절(즉, 프레임 속도를 조절)하기 위해 각 리드아웃 모드의 샘플링 비트 수도 함께 조절될 수 있다. 멀티플 샘플링을 통한 평균 효과(averaging effect)로 인해 픽셀 신호(PIX)에 포함된 노이즈가 감소할 수 있고, SNR이 개선될 수 있다. 예를 들어, 멀티플 샘플링과 관련된 각 모드 별 샘플링 횟수 및 샘플링 비트 수는 도 2의 타이밍 컨트롤러(170)에 포함된 레지스터에 의해 미리 조절될 수 있다. 또한, 램프 신호 생성기(130)에서 생성되는 램프 신호(RAMP)의 기울기, 오프셋, 및 양상도 함께 조절될 수 있다.

특히, LPD_HCG 모드에서 멀티플 샘플링을 통해 극 저조도 환경에서 발생하는 다크 랜덤 노이즈가 감소할 수 있고, SPD_LCG 모드에서 멀티플 샘플링을 통해 불완전한 CDS 리드아웃 방식으로 인해 제거되지 못하는 KT/C 노이즈가 감소할 수 있다. 그리고, 동시에 일정 수준 이상의 프레임 속도가 유지될 수 있다. 이하 도 5a 내지 도 5b, 도 6a 내지 도 6c를 통해 다크 랜덤 노이즈 감소를 위한 LPD_HCG 모드의 멀티플 샘플링과 관련된 실시 예들이 설명되고, 도 7a 내지 도 7b, 도 8을 통해 KT/C 노이즈 감소를 위한 SPD_LCG 모드의 멀티플 샘플링과 관련된 실시 예들이 설명된다.

도 5a는 1H 시간이 유지되는 LPD_HCG 모드의 멀티플 샘플링의 예를 나타내고, 도 5b는 1H 시간이 증가하는 LPD_HCG 모드의 멀티플 샘플링의 예를 나타낸다. 도 5a 및 도 5b의 경우, 리셋 구간(RST)의 비교 동작 횟수 및 신호 구간(SIG)의 비교 동작 횟수가 모두 K회로 증가할 수 있다.

도 5a를 참조하면, LPD_HCG 모드의 샘플링 횟수는 1회에서 K회로 증가(1<K)하고, 샘플링 비트 수는 M비트에서 N비트로 감소(M>N)할 수 있다. LPD_HCG 모드의 샘플링 횟수가 증가함으로써 발생하는 평균 효과로 인해 다크 랜덤 노이즈가 감소할 수 있다. 그러나, 샘플링 횟수가 1회에서 K회로 증가함에 따라 LPD_HCG 모드의 소요 시간은 증가할 수 있는데, 나머지 모드들(LPD_LCG, SPD_HCG, SPD_LCG)의 샘플링 비트 수는 M비트에서 N비트로 감소함에 따라 도 4와 같은 1H 시간이 유지된다. 이로써, 노이즈 감소 효과와 더불어 프레임 속도가 유지될 수 있다.

한편 도 5b를 참조하면, 도 5a와 마찬가지로 LPD_HCG 모드의 샘플링 횟수는 1회에서 K회로 증가하고, 샘플링 비트 수는 M비트에서 N비트로 감소할 수 있다. 그러나 도 5a와 달리, LPD_HCG 모드의 소요 시간이 증가함에도 나머지 모드들(LPD_LCG, SPD_HCG, SPD_LCG)의 샘플링 비트 수 및 샘플링 횟수는 그대로 유지됨에 따라 1H 시간은 도 5a에 비해 증가한다.

도 5a의 실시 예와 도 5b의 실시 예를 비교하면, LPD_HCG 모드의 샘플링 횟수 및 샘플링 비트는 동일하기 때문에 다크 랜덤 노이즈의 감소 효과는 동일할 수 있다. 구체적으로, 도 5a의 경우 도 4와 같은 1H 시간을 유지하기 위해 나머지 모드들의 샘플링 비트 수가 감소함에 따라, 나머지 모드들에서 생성되는 신호의 크기가 감소할 수 있다. 하지만 신호의 크기가 감소하더라도 LPD_HCG 모드의 샘플링 횟수 증가로 인해 노이즈가 감소하는 효과가 더 클 수 있으므로, 결과적인 SNR은 도 4에 비해 개선될 수 있다. 반면 도 5b의 경우 나머지 모드들의 샘플링 비트 수가 그대로 유지되기 때문에, 나머지 모드들에서 생성되는 신호의 크기가 감소하지 않고, 도 5a에 비해 SNR의 개선 효과가 클 수 있다. 그러나 1H 시간이 증가함에 따라 도 5a에 비해 프레임 속도가 감소할 수 있다.

도 6a는 샘플링 횟수가 1회이고 샘플링 비트 수가 12비트인 LPD_HCG 모드의 리셋 구간(RST) 및 신호 구간(SIG)의 예를 나타내고, 도 6b는 샘플링 횟수가 4회이고 샘플링 비트 수가 12비트인 LPD_HCG 모드의 리셋 구간(RST) 및 신호 구간(SIG)의 예를 나타내고, 그리고 도 6c는 샘플링 횟수가 4회이고 샘플링 비트 수가 10비트인 LPD_HCG 모드의 리셋 구간(RST) 및 신호 구간(SIG)의 예를 나타낸다. 도 6a 내지 도 6c에서, 비교 동작이 수행되는 구간은 회색 음영으로 도시된다.

도 6a은 도 4의 멀티플 샘플링이 적용되지 않은 LPD_HCG 모드에 대응할 수 있다. 도 6a를 참조하면, 리셋 구간(RST)에서 리셋 신호와 램프 신호(RAMP) 사이의 비교 동작(12비트 카운팅)이 1회 수행되고, 신호 구간(SIG)에서 이미지 신호와 램프 신호(RAMP) 사이의 비교 동작(12비트 카운팅)이 1회 수행될 수 있다. 여기서 샘플링 비트 수는 그대로 12비트로 유지한 채 샘플링 횟수만 4회로 증가시키면 도 6b에 나타난 실시 예와 같아진다.

도 6b를 참조하면, 리셋 구간(RST)에서 리셋 신호와 램프 신호(RAMP) 사이의 비교 동작(12비트 카운팅)이 4회 수행되고, 신호 구간(SIG)에서 이미지 신호와 램프 신호(RAMP) 사이의 비교 동작(12비트 카운팅)이 4회 수행될 수 있다. 샘플링 횟수가 증가함에 따라 다크 랜덤 노이즈가 감소할 수 있으나, LPD_HCG 모드의 전체 소요 시간이 증가함에 따라 프레임 속도가 지나치게 감소할 수 있다. 따라서, 프레임 속도의 감소를 최소화하기 위해 도 5a 및 도 5b와 같이 LPD_HCG 모드의 샘플링 횟수를 증가시킴과 동시에 샘플링 비트 수를 감소시킬 필요가 있다. 여기서 샘플링 비트 수를 10비트로 감소시키면 도 6c에 나타난 실시 예와 같아진다.

도 6c는 도 5a 및 도 5b의 멀티플 샘플링이 적용된 LPD_HCG 모드에 대응할 수 있다. 도 6c를 참조하면, 리셋 구간(RST)에서 리셋 신호와 램프 신호(RAMP) 사이의 비교 동작(10비트 카운팅)이 4회 수행되고, 신호 구간(SIG)에서 이미지 신호와 램프 신호(RAMP) 사이의 비교 동작(10비트 카운팅)이 4회 수행될 수 있다. 비록 도 6b에 비해 샘플링 비트 수가 감소함으로써 생성되는 신호의 크기가 감소할 수 있고, 그에 따라 SNR의 개선 효과가 감소할 수 있으나 그 정도는 미미하며, LPD_HCG 모드의 전체 소요 시간이 도 6b에 비해 감소하여 프레임 속도의 감소가 최소화될 수 있다. 나아가, 본 개시는 이에 한정되지 않으며, LPD_HCG 모드는 10비트 카운팅이 4회 수행되는 대신 11비트 카운팅이 2회 수행되도록 조절될 수도 있다.

도 7a는 1H 시간이 유지되는 SPD_LCG 모드의 멀티플 샘플링의 예를 나타내고, 도 7b는 1H 시간이 증가하는 SPD_LCG 모드의 멀티플 샘플링의 예를 나타낸다. 도 5a 및 도 5b의 실시 예들과 달리, 도 7a 및 도 7b에 나타난 SPD_LCG 모드의 경우 신호 구간(SIG)의 비교 동작 횟수는 1회로 유지되고, 리셋 구간(RST)의 비교 동작 횟수만 K회로 증가할 수 있다.

도 7a를 참조하면, SPD_LCG 모드의 신호 구간(SIG)의 샘플링 횟수 및 샘플링 비트 수는 각각 1회 및 M비트로 유지되지만, 리셋 구간(RST)의 샘플링 횟수는 1회에서 K회로 증가(1<K)하고, 샘플링 비트 수는 M비트에서 N비트로 감소(M>N)할 수 있다. 그러나, 리셋 구간(RST)의 샘플링 횟수가 1회에서 K회로 증가함에 따라 SPD_LCG 모드의 소요 시간은 증가할 수 있는데, 나머지 모드들(LPD_HCG, LPD_LCG, SPD_HCG)의 샘플링 비트 수는 M비트에서 N비트로 감소함에 따라 도 4와 같은 1H 시간이 유지된다. 이로써, 프레임 속도가 유지될 수 있다.

한편 도 7b를 참조하면, 도 7a와 마찬가지로 SPD_LCG 모드의 리셋 구간(RST)의 샘플링 횟수는 1회에서 K회로 증가하고, 샘플링 비트 수는 M비트에서 N비트로 감소할 수 있다. 그러나 도 7a와 달리, SPD_LCG 모드의 소요 시간이 증가함에도 나머지 모드들(LPD_HCG, LPD_LCG, SPD_HCG)의 샘플링 비트 수 및 샘플링 횟수는 그대로 유지됨에 따라 1H 시간은 도 7a에 비해 증가한다.

나아가, 도 7a 및 도 7b에 나타난 SPD_LCG 모드의 경우, K회 반복되는 리셋 구간(RST)의 각 비교 동작마다 리셋 제어 신호(RS)를 활성화시켜 플로팅 확산 영역을 리셋시킬 수 있다. 도 4를 참조하여 설명한 바와 같이 SPD_LCG 모드는 불완전 CDS 리드아웃 방식에 해당하므로 KT/C 노이즈가 완전히 제거되지 않는데, 이와 같은 반복적 리셋을 통해 KT/C 노이즈가 랜덤하게 생성될 수 있고, K회 반복을 통해 나타나는 평균 효과로 인해 KT/C 노이즈가 감소하는 효과가 나타날 수 있다.

도 5a 및 도 5b를 참조하여 설명한 바와 유사하게, 도 7a의 실시 예와 도 7b의 실시 예를 비교하면, SPD_LCG 모드의 샘플링 횟수 및 샘플링 비트는 동일하기 때문에 KT/C 노이즈의 감소 효과는 동일할 수 있다. 도 7a의 경우 나머지 모드들의 샘플링 비트 수가 감소하기 때문에 SNR의 개선 효과가 도 7b에 비해 작을 수 있으나, 프레임 속도가 유지될 수 있는 반면, 도 7b의 경우 도 7a에 비해 SNR의 개선 효과가 클 수 있으나 1H 시간이 증가함에 따라 프레임 속도가 감소할 수 있다.

도 8은 샘플링 횟수가 1회이고 샘플링 비트 수가 12비트인 SPD_LCG 모드의 신호 구간(SIG)과 샘플링 횟수가 4회이고 샘플링 비트 수가 10비트인 SPD_LCG 모드의 리셋 구간(RST)의 예를 나타낸다. 도 8은 멀티플 샘플링이 적용된 SPD_LCG 모드에 대응할 수 있다.

도 8을 참조하면, 신호 구간(SIG)에서 이미지 신호와 램프 신호(RAMP) 사이의 비교 동작(예를 들어, 12비트 카운팅)이 1회 수행되고, 리셋 구간(RST)에서 리셋 신호와 램프 신호(RAMP) 사이의 비교 동작(예를 들어, 10비트 카운팅)이 4회 수행될 수 있다. 그리고, 상술한 바와 같이 리셋 구간(RST)의 각 비교 동작 이전에 리셋 제어 신호(RS)가 활성화되어 플로팅 확산 영역(예를 들어, 도 3의 제 1 플로팅 확산 영역(FD1))이 반복적으로 리셋될 수 있다. 이로 인해 매 샘플링마다 KT/C 노이즈가 랜덤하게 생성될 수 있고, K회 반복을 통한 평균 효과로 인해 KT/C 노이즈가 감소할 수 있다.

한편, 도 5a 및 도 7a의 리드아웃 모드를 통해 도 4와 같은 1H 시간이 ?늑層풔? 것으로 설명하였으나, 본 개시는 이에 한정되지 않으며 도 5a 및 도 7a와 같은 LPD_HCG 모드 및 SPD_LCG 모드의 샘플링 비트 수 및 샘플링 횟수의 조절을 통해 1H 시간은 도 4에 비해 감소할 수도 있다.

도 9는 도 2의 데이터 버스(150)의 구성의 예를 나타낸다. 도 9를 참조하면, 데이터 버스(150)는 복수의 인버터들, 복수의 로직 게이트들, 복수의 쓰기 메모리들(151, 152), 복수의 읽기 메모리들(153, 154), 및 어드밴스드 데이터 버스(Advanced Data Bus; ADBUS)(155)를 포함할 수 있다. 도 9의 복수의 로직 게이트들은 NAND 게이트들인 것으로 나타나 있으나, 본 개시는 이에 한정되지 않으며, 데이터 버스(150)는 다른 종류의 로직 게이트들을 이용하여 구현될 수도 있다. 이하 도 9와 함께, 도 2를 참조하여 설명한다.

데이터 버스(150)는 ADC 회로(140)로부터 디지털 신호(DS)를 수신할 수 있고, 인에이블 신호 생성기(160)로부터 쓰기 인에이블 신호(WR_EN), 쓰기 선택 신호(WR_SEL), 읽기 인에이블 신호(RD_EN), 및 읽기 선택 신호(RD_SEL)를 수신할 수 있다. 예를 들어, 디지털 신호(DS)는 픽셀(PX)에서 LPD_HCG, LPD_LCG, SPD_HCG, 및 SPD_LCG 모드들의 순차적인 동작을 통해 리드아웃된 데이터에 대응할 수 있다. 또한, 멀티플 샘플링이 적용되는 경우, 매 샘플링 때마다 생성되는 디지털 값은 카운터의 카운팅 동작에 따라 누적되어 디지털 신호(DS)로서 출력될 수 있고, 데이터 버스(150)로 제공될 수 있다.

수신된 디지털 신호(DS)는 하이 레벨의 쓰기 인에이블 신호(WR_EN)에 응답하여 복수의 쓰기 메모리들(151, 152) 중 하나에 저장될 수 있다. 복수의 쓰기 메모리들(151, 152) 중에서 어떤 쓰기 메모리에 저장될지 여부는 쓰기 선택 신호(WR_SEL)에 의해 결정될 수 있다. 예를 들어, 쓰기 인에이블 신호(WR_EN)가 하이 레벨이고 쓰기 선택 신호(WR_SEL)가 로우 레벨인 경우 디지털 신호(DS)는 쓰기 메모리(151)에 저장될 수 있고, 쓰기 인에이블 신호(WR_EN)가 하이 레벨이고 쓰기 선택 신호(WR_SEL)가 하이 레벨인 경우 디지털 신호(DS)는 쓰기 메모리(152)에 저장될 수 있다.

복수의 읽기 메모리들(153, 154)은 하이 레벨의 읽기 인에이블 신호(RD_EN)에 응답하여 대응하는 복수의 쓰기 메모리들(151, 152)에 저장된 디지털 신호(DS)를 불러올 수 있다. 복수의 읽기 메모리들(153, 154) 중에서 어떤 읽기 메모리가 사용될지 여부는 읽기 선택 신호(RD_SEL)에 의해 결정될 수 있다. 예를 들어, 읽기 인에이블 신호(RD_EN)가 하이 레벨이고 읽기 선택 신호(RD_SEL)가 로우 레벨인 경우 읽기 메모리(153)는 쓰기 메모리(151)에 저장된 디지털 신호(DS)를 불러올 수 있고, 읽기 인에이블 신호(RD_EN)가 하이 레벨이고 읽기 선택 신호(RD_SEL)가 하이 레벨인 경우 읽기 메모리(154)는 쓰기 메모리(152)에 저장된 디지털 신호(DS)를 불러올 수 있다.

복수의 읽기 메모리(153, 154)에 로딩된 디지털 신호(DS)는 ADBUS(155)에 저장될 수 있고, ADBUS(155)에 저장된 디지털 신호(DS)는 감지 증폭기(도시되지 않음)를 통해 증폭될 수 있고, 컬럼 디코더(도시되지 않음)의 제어 하에 이미지 데이터(IDAT)로서 도 1의 이미지 신호 프로세서(16)로 제공될 수 있다.

도 10a는 멀티플 샘플링이 적용되지 않은 경우 도 9의 데이터 버스(150)의 동작의 예를 나타내는 타이밍도이다. 도 10b는 LPD_HCG 모드에 1H 시간이 유지되는 멀티플 샘플링이 적용되었을 때 도 9의 데이터 버스(150)의 동작의 예를 나타내는 타이밍도이고, 도 10c는 LPD_HCG 모드에 1H 시간이 증가하는 멀티플 샘플링이 적용되었을 때 도 9의 데이터 버스(150)의 동작의 예를 나타내는 타이밍도이다. 도 10a 내지 도 10c에서 MEM 1은 도 9의 쓰기 메모리(151) 또는 읽기 메모리(153)에 대응할 수 있고, MEM 2는 도 9의 쓰기 메모리(152) 또는 읽기 메모리(154)에 대응할 수 있다. 이하 도 10a 내지 도 10c와 함께, 도 9를 참조하여 설명한다.

도 10a를 참조하면, 디지털 신호(DS)는 1H 시간 동안 LPD_HCG, LPD_LCG, SPD_HCG, 및 SPD_LCG 모드를 통해 순차적으로 리드아웃된 픽셀 데이터를 포함할 수 있다. 도 10a는 멀티플 샘플링이 적용되지 않은 경우에 해당하므로, 각 모드 별 샘플링 비트 수는 12비트일 수 있고, 샘플링 횟수는 1회일 수 있다.

먼저 LPD_HCG 모드에 대응하는 데이터는 하이 레벨의 쓰기 인에이블 신호(WR_EN) 및 로우 레벨의 쓰기 선택 신호(WR_SEL)에 응답하여 쓰기 메모리(151)에 저장될 수 있고, LPD_LCG 모드에 대응하는 데이터는 하이 레벨의 쓰기 인에이블 신호(WR_EN) 및 하이 레벨의 쓰기 선택 신호(WR_SEL)에 응답하여 쓰기 메모리(152)에 저장될 수 있다.

그 후, 읽기 메모리(153)는 하이 레벨의 읽기 인에이블 신호(RD_EN) 및 로우 레벨의 읽기 선택 신호(RD_SEL)에 응답하여 쓰기 메모리(151)에 저장된 LPD_HCG 모드에 대응하는 데이터를 불러올 수 있고, 읽기 메모리(154)는 하이 레벨의 읽기 인에이블 신호(RD_EN) 및 하이 레벨의 읽기 선택 신호(RD_SEL)에 응답하여 쓰기 메모리(152)에 저장된 LPD_LCG 모드에 대응하는 데이터를 불러올 수 있다. 읽기 메모리들(153, 154)이 불러온 데이터는 이미지 데이터(IDAT)의 출력을 위해 ADBUS(155)로 전송될 수 있다.

읽기 메모리들(153, 154)이 각각 쓰기 메모리들(151, 152)에 저장된 LPD 리드아웃 데이터를 불러오고 나면, SPD_HCG 모드에 대응하는 데이터와 SPD_LCG 모드에 대응하는 데이터가 동일한 방법으로 쓰기 메모리들(151, 152)에 저장될 수 있고, 읽기 메모리들(153, 154)에 의해 ADBUS(155)로 전송될 수 있다. 상술한 과정은 1H 시간 동안의 동작을 나타낸 것이며, 매 리드아웃 동작마다 반복될 수 있다.

도 10b는 도 5a와 같이 1H 시간이 유지되는 경우에 대응할 수 있고, 도 10c는 도 5b와 같이 1H 시간이 증가하는 경우에 대응할 수 있다. 도 10b 및 도 10c에서 디지털 신호(DS)를 쓰기 메모리들(151, 152)에 저장하고, 읽기 메모리들(153, 154)을 통해 불러와서 ADBUS(155)로 전송하는 일련의 동작은 도 10a를 참조하여 설명한 것과 동일하므로, 중복되는 설명은 생략하기로 한다.

도 10b 및 도 10c를 참조하면, 쓰기 인에이블 신호(WR_EN) 및 쓰기 선택 신호(WR_SEL)의 레벨이 하이 레벨로 유지되는 구간 및 로우 레벨로 유지되는 구간의 길이(다시 말해, 쓰기 메모리들(151, 152)이 데이터를 저장하는 시간의 길이)가 변화한 리드아웃 모드의 샘플링 횟수 및 샘플링 비트 수에 기반하여 도 10a에 나타난 것과 다르게 조절될 수 있다. 예를 들어, 도 2의 타이밍 컨트롤러(170)는 레지스터에 저장된 각 리드아웃 모드 별 샘플링 횟수 및 샘플링 비트 수에 따라 인에이블 신호 생성기(160)의 신호 생성 타이밍을 제어할 수 있다. 이와 같이 다르게 조절된 쓰기 인에이블 신호(WR_EN) 및 쓰기 선택 신호(WR_SEL)에 따라 저장된 데이터는 두 개의 쓰기 메모리들(151, 152)에 번갈아 저장될 수 있으므로, 한 개의 메모리만 사용되는 경우에 비해 더 오래 저장될 수 있다.

즉, 쓰기 메모리들 및 읽기 메모리들이 2개씩 존재하고, 쓰기 동작과 관련된 쓰기 인에이블 신호(WR_EN) 및 쓰기 선택 신호(WR_SEL)가 조절됨에 따라, 각 리드아웃 모드의 샘플링 횟수 및 샘플링 비트 수가 변화하더라도 이미지 데이터(IDAT)가 제대로 생성될 수 있다. 비록 도 10b 및 도 10c는 LPD_HCG 모드에 멀티플 샘플링이 적용된 실시 예를 나타내지만, SPD_LCG 모드에 멀티플 샘플링이 적용된 경우에도 이와 유사한 동작을 통해 이미지 데이터(IDAT)가 생성될 수 있다.

도 11은 멀티플 샘플링이 적용되지 않은 경우(b)와 LPD_HCG 모드에 멀티플 샘플링이 적용된 경우(a) SNR을 비교한 결과를 나타내고, 도 12는 멀티플 샘플링이 적용되지 않은 경우(b)와 SPD_LCG 모드에 멀티플 샘플링이 적용된 경우(a) SNR을 비교한 결과를 나타낸다. 도 11을 참조하면 도 5a 내지 도 5b를 참조하여 설명한 바와 같이 극 저조도 구간에서 다크 랜덤 노이즈의 감소로 인해 SNR이 개선된 것을 확인할 수 있고, 도 12를 참조하면 도 7a 내지 도 7b를 참조하여 설명한 바와 같이 극 고조도 구간에서 KT/C 노이즈의 감소로 인해 SNR이 개선된 것을 확인할 수 있다. 도 11 및 도 12에서 SNR이 개선된 구간은 회색 음영으로 도시된다.

도 13은 본 개시의 실시 예에 따른 선택적 멀티플 샘플링을 수행하는 이미지 센서의 동작 방법의 예를 나타내는 흐름도이다. 이하 도 13과 함께, 도 2 내지 도 4를 참조하여 설명한다.

단계 S110에서, ADC 회로(140)는 제 1 조도를 갖는 제 1 구간에서 라지 포토 다이오드(LPD)를 이용하여 하이 컨버전 게인에 따라 생성된 픽셀 신호(즉, LPD-HCG 모드에 따라 생성된 픽셀 신호)를 제 1 샘플링 비트로 제 1 샘플링 횟수만큼 샘플링할 수 있다. 단계 S120에서, ADC 회로(140)는 제 1 조도보다 밝은 제 2 조도를 갖는 제 2 구간에서 라지 포토 다이오드(LPD)를 이용하여 로우 컨버전 게인에 따라 생성된 픽셀 신호(즉, LPD-LCG 모드에 따라 생성된 픽셀 신호)를 제 2 샘플링 비트로 제 2 샘플링 횟수만큼 샘플링할 수 있다.

단계 S130에서, ADC 회로(140)는 제 2 조도보다 밝은 제 3 조도를 갖는 제 3 구간에서 스몰 포토 다이오드(SPD)를 이용하여 하이 컨버전 게인에 따라 생성된 픽셀 신호(즉, SPD-HCG 모드에 따라 생성된 픽셀 신호)를 제 3 샘플링 비트로 제 3 샘플링 횟수만큼 샘플링할 수 있다. 단계 S140에서, ADC 회로(140)는 제 3 조도보다 밝은 제 4 조도를 갖는 제 4 구간에서 스몰 포토 다이오드(SPD)를 이용하여 로우 컨버전 게인에 따라 생성된 픽셀 신호(즉, SPD-LCG 모드에 따라 생성된 픽셀 신호)를 제 4 샘플링 비트로 제 4 샘플링 횟수만큼 샘플링할 수 있다.

기본적으로, 샘플링 비트 수들은 12비트일 수 있고, 샘플링 횟수들은 1회일 수 있다. 도 5a 내지 도 5b, 도 7a 내지 도 7b를 참조하여 설명한 바와 같이, 다크 랜덤 노이즈를 제거하기 위해 LPD-HCG 모드에 멀티플 샘플링이 적용될 수 있고, KT/C 노이즈를 제거하기 위해 SPD-LCG 모드에 멀티플 샘플링이 적용될 수 있다.

예를 들어, LPD-HCG 모드에 멀티플 샘플링이 적용되는 경우, LPD-HCG 모드의 샘플링 비트 수는 10비트로 감소하고, 샘플링 횟수는 4회로 증가할 수 있으며, 나머지 모드들의 샘플링 비트 수는 10비트로 감소할 수도 있고, 12비트로 유지될 수도 있다. SPD-LCG 모드에 멀티플 샘플링이 적용되는 경우도 이와 유사하지만, SPD-LCG 모드의 경우 리셋 구간(RST)의 샘플링 비트 수가 감소하고 샘플링 횟수가 증가하며, 신호 구간(SIG)의 샘플링 비트 수 및 샘플링 횟수는 그대로 유지될 수 있다.

그 후, 단계 S150에서 ADC 회로(140)는 샘플링된 픽셀 신호들에 기반하여 디지털 신호를 데이터 버스(150)로 출력하고, 데이터 버스(150)는 인에이블 신호 생성 회로(160)의 제어 하에 이미지 데이터(IDAT)를 도 1의 이미지 신호 프로세서(16)로 출력할 수 있다.

도 14는 본 개시의 실시 예에 따른 이미지 센서를 포함하는 전자 장치의 예를 나타낸다. 도 14를 참조하면, 전자 장치(1000)는 이미지 센서(1100), 애플리케이션 프로세서(1200), 디스플레이(1300), 메모리(1400), 스토리지(1500), 유저 인터페이스(1600) 및 무선 송수신부(1700)를 포함할 수 있다. 도 14의 이미지 센서(1100)는 도 2의 이미지 센서(100)에 대응할 수 있으며, 도 2의 이미지 센서(100)에 대해 전술한 설명과 중복되는 설명은 생략한다.

애플리케이션 프로세서(1200)는 전자 장치(1000)의 전반적인 동작을 제어하며 응용 프로그램, 운영 체제 등을 구동하는 시스템 온 칩(SoC)으로 제공될 수 있다. 애플리케이션 프로세서(1200)는 이미지 센서(1100)로부터 이미지 데이터를 수신할 수 있으며, 수신한 이미지 데이터에 대해 이미지 처리를 수행할 수 있다. 실시 예에 따라, 애플리케이션 프로세서(1200)는 수신한 이미지 데이터 및/또는 처리된 이미지 데이터를 메모리(1400) 또는 스토리지(1500)에 저장할 수 있다. 또한, 본 개시의 실시 예에 따른 애플리케이션 프로세서(1200)는 이미지 센서(1100)의 타이밍 컨트롤러 내부의 레지스터의 값을 설정함으로써, 픽셀의 리드아웃 모드 별(LPD_HCG, LPD_LCG, SPD_HCG, SPD_LCG)로 샘플링 횟수 및 샘플링 비트 수를 조절할 수 있다.

메모리(1400)는 애플리케이션 프로세서(1200)가 처리 또는 실행하는 프로그램들 및/또는 데이터를 저장할 수 있다. 스토리지(1500)는 NAND 플래시, 저항성 메모리 등의 비휘발성 메모리 장치로 구현될 수 있으며, 예컨대 스토리지(1500)는 메모리 카드(MMC, eMMC, SD, micro SD) 등으로 제공될 수 있다. 스토리지(1500)는 애플리케이션 프로세서(1200)의 이미지 처리 동작을 제어하는 실행 알고리즘에 대한 데이터 및/또는 프로그램을 저장할 수 있으며, 이미지 처리 동작이 수행될 때 데이터 및/또는 프로그램이 메모리(1400)로 로딩될 수 있다. 유저 인터페이스(1600)는 키보드, 커튼 키 패널, 터치 패널, 지문 센서, 마이크 등 사용자 입력을 수신할 수 있는 다양한 장치들로 구현될 수 있다. 유저 인터페이스(1600)는 사용자 입력을 수신하고, 수신된 사용자 입력에 대응하는 신호를 애플리케이션 프로세서(1200)에 제공할 수 있다. 무선 송수신부(1700)는 모뎀(1710), 트랜시버(1720), 및 안테나(1730)를 포함할 수 있다.

상술된 내용은 본 개시를 실시하기 위한 구체적인 실시 예들이다. 본 개시는 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 개시는 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 개시의 범위는 상술된 실시 예들에 국한되어 정해져서는 안 되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

110: 픽셀 어레이
120: 로우 드라이버
130: 램프 신호 생성기
140: ADC 회로
150: 데이터 버스
160: 인에이블 신호 생성기
170: 타이밍 컨트롤러

Claims (20)

1. 각각이 제 1 포토 다이오드 및 상기 제 1 포토 다이오드보다 수광 면적이 넓은 제 2 포토 다이오드를 포함하는 복수의 픽셀들을 포함하고, 제 1 구간에서 상기 제 2 포토 다이오드를 이용하여 제 1 컨버전 게인에 따라 제 1 픽셀 신호를 출력하고, 제 2 구간에서 상기 제 2 포토 다이오드를 이용하여 제 2 컨버전 게인에 따라 제 2 픽셀 신호를 출력하고, 제 3 구간에서 상기 제 1 포토 다이오드를 이용하여 상기 제 1 컨버전 게인에 따라 제 3 픽셀 신호를 출력하고, 제 4 구간에서 상기 제 1 포토 다이오드를 이용하여 상기 제 2 컨버전 게인에 따라 제 4 픽셀 신호를 출력하는 픽셀 어레이;
   상기 각 픽셀 신호들의 리셋 신호 및 이미지 신호에 대해 샘플링을 수행하여 디지털 신호를 출력하는 아날로그 디지털 변환(ADC) 회로; 및
   상기 ADC 회로의 동작을 제어하는 타이밍 컨트롤러를 포함하되,
   상기 제 1 컨버전 게인은 상기 제 2 컨버전 게인보다 높고, 그리고
   상기 샘플링과 관련된 샘플링 횟수 및 샘플링 비트 수는 상기 각 구간마다 다르게 조절되고, 상기 타이밍 컨트롤러는 상기 샘플링 횟수 및 상기 샘플링 비트 수를 조절하기 위한 레지스터를 포함하는 이미지 센서.
2. 제 1 항에 있어서,
   상기 제 1 구간의 샘플링 횟수는 1회에서 K회로 증가하고, 샘플링 비트 수는 M비트에서 N비트로 감소하도록 조절되고,
   상기 제 2 구간 내지 상기 제 4 구간의 샘플링 횟수는 1회로 유지되고, 샘플링 비트 수는 상기 M비트에서 상기 N비트로 유지되도록 조절되고,
   상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절된 이후 상기 제 1 구간 내지 상기 제 4 구간의 길이는 상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절되기 이전 상기 제 1 구간 내지 상기 제 4 구간의 길이와 같은 이미지 센서.
3. 제 1 항에 있어서,
   상기 제 1 구간의 샘플링 횟수는 1회에서 K회로 증가하고, 샘플링 비트 수는 M비트에서 N비트로 감소하도록 조절되고,
   상기 제 2 구간 내지 상기 제 4 구간의 샘플링 횟수는 1회로 유지되고, 샘플링 비트 수는 상기 M비트로 유지되도록 조절되고,
   상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절된 이후 상기 제 1 구간 내지 상기 제 4 구간의 길이는 상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절되기 이전 상기 제 1 구간 내지 상기 제 4 구간의 길이보다 긴 이미지 센서.
4. 제 1 항에 있어서,
   상기 제 4 구간의 리셋 신호의 샘플링 횟수는 1회에서 K회로 증가하고, 샘플링 비트 수는 M비트에서 N비트로 감소하도록 조절되고,
   상기 제 1 구간 내지 상기 제 3 구간의 샘플링 횟수는 1회로 유지되고, 샘플링 비트 수는 상기 M비트에서 상기 N비트로 유지되도록 조절되고,
   상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절된 이후 상기 제 1 구간 내지 상기 제 4 구간의 길이는 상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절되기 이전 상기 제 1 구간 내지 상기 제 4 구간의 길이와 같은 이미지 센서.
5. 제 1 항에 있어서,
   상기 제 4 구간의 리셋 신호의 샘플링 횟수는 1회에서 K회로 증가하고, 샘플링 비트 수는 M비트에서 N비트로 감소하도록 조절되고,
   상기 제 1 구간 내지 상기 제 3 구간의 샘플링 횟수는 1회로 유지되고, 샘플링 비트 수는 상기 M비트로 유지되도록 조절되고,
   상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절된 이후 상기 제 1 구간 내지 상기 제 4 구간의 길이는 상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절되기 이전 상기 제 1 구간 내지 상기 제 4 구간의 길이보다 긴 이미지 센서.
6. 제 5 항에 있어서,
   상기 제 4 구간에서 상기 제 4 픽셀 신호의 리셋 신호가 샘플링될 때마다 상기 제 1 포토 다이오드에서 생성된 전하가 저장되는 제 1 플로팅 확산 영역의 전압이 리셋되는 이미지 센서.
7. 제 1 항에 있어서,
   제 1 메모리 및 제 2 메모리를 포함하고, 상기 디지털 신호를 수신하여 이미지 데이터를 출력하는 데이터 버스를 더 포함하고,
   상기 제 1 메모리는 상기 디지털 신호 중 상기 제 1 구간에 대응하는 제 1 신호 또는 상기 제 3 구간에 대응하는 제 3 신호를 저장하고, 상기 제 2 메모리는 상기 디지털 신호 중 상기 제 2 구간에 대응하는 제 2 신호 또는 상기 제 4 구간에 대응하는 제 4 신호를 저장하고, 그리고
   상기 제 1 메모리 및 상기 제 2 메모리가 상기 신호들을 저장하고 있는 시간은 상기 각 구간의 상기 샘플링 횟수 및 상기 샘플링 비트 수에 따라 다르게 조절되는 이미지 센서.
8. 제 1 항에 있어서,
   상기 픽셀 어레이는 상기 제 1 구간, 상기 제 2 구간, 상기 제 3 구간, 및 상기 제 4 구간에 따라 순차적으로 상기 제 1 픽셀 신호, 상기 제 2 픽셀 신호, 상기 제 3 픽셀 신호, 및 상기 제 4 픽셀 신호를 출력하는 이미지 센서.
9. 복수의 픽셀들을 포함하고, 상기 복수의 픽셀들로부터 픽셀 신호를 출력하는 픽셀 어레이;
   상기 픽셀 신호들의 리셋 신호 및 이미지 신호에 대해 샘플링을 수행하여 디지털 신호를 출력하는 아날로그 디지털 변환(ADC) 회로; 및
   상기 ADC 회로의 동작을 제어하는 타이밍 컨트롤러를 포함하되,
   상기 복수의 픽셀들 각각은:
   제 1 포토 다이오드;
   상기 제 1 포토 다이오드보다 수광 면적이 넓은 제 2 포토 다이오드;
   상기 제 1 포토 다이오드에서 생성된 전하가 저장되는 제 1 플로팅 확산 영역과 연결된 커패시터;
   상기 커패시터와 연결된 제 1 트랜지스터;
   상기 제 1 플로팅 확산 영역 및 제 2 플로팅 확산 영역과 연결된 제 2 트랜지스터; 및
   상기 제 2 포토 다이오드에서 생성된 전하가 저장되는 제 3 플로팅 확산 영역 및 상기 제 2 플로팅 확산 영역 사이에 연결된 제 3 트랜지스터를 포함하고,
   상기 샘플링과 관련된 샘플링 횟수 및 샘플링 비트 수는 상기 제 1 트랜지스터 내지 상기 제 3 트랜지스터 각각이 턴-온되었는지 또는 턴-오프되었는지에 따라 다르게 조절되고, 상기 타이밍 컨트롤러는 상기 샘플링 횟수 및 상기 샘플링 비트 수를 조절하기 위한 레지스터를 포함하는 이미지 센서.
10. 제 9 항에 있어서,
    상기 커패시터는 상기 제 1 포토 다이오드에서 넘치는 전하를 저장하고,
    상기 제 1 트랜지스터가 턴-온된 경우 상기 커패시터는 상기 제 1 플로팅 확산 영역의 커패시턴스를 증가시키고,
    상기 제 2 트랜지스터가 턴-온된 경우 상기 제 1 포토 다이오드가 동작하고, 상기 제 2 트랜지스터가 턴-오프된 경우 상기 제 2 포토 다이오드가 동작하고,
    상기 제 3 트랜지스터가 턴-온된 경우 제 2 플로팅 확산 영역 및 제 3 플로팅 확산 영역의 커패시턴스가 증가하고,
    상기 제 1 포토 다이오드는 상기 제 1 트랜지스터가 턴-오프된 경우 제 1 컨버전 게인에 따라 동작하고, 상기 제 1 트랜지스터가 턴-온된 경우 상기 제 1 컨버전 게인보다 낮은 제 2 컨버전 게인에 따라 동작하고,
    상기 제 2 포토 다이오드는 상기 제 3 트랜지스터가 턴-오프된 경우 상기 제 1 컨버전 게인에 따라 동작하고, 상기 제 3 트랜지스터가 턴-온된 경우 상기 제 2 컨버전 게인에 따라 동작하는 이미지 센서.
11. 제 9 항에 있어서,
    상기 복수의 픽셀들 각각은:
    상기 제 2 트랜지스터가 턴-오프되고 상기 제 3 트랜지스터가 턴-오프되는 제 1 구간에서 상기 제 2 포토 다이오드를 이용하여 제 1 픽셀 신호를 출력하고,
    상기 제 2 트랜지스터가 턴-오프되고 상기 제 3 트랜지스터가 턴-온되는 제 2 구간에서 상기 제 2 포토 다이오드를 이용하여 제 2 픽셀 신호를 출력하고,
    상기 제 1 트랜지스터가 턴-오프되고 상기 제 2 트랜지스터가 턴-온되는 제 3 구간에서 상기 제 1 포토 다이오드를 이용하여 제 3 픽셀 신호를 출력하고,
    상기 제 1 트랜지스터가 턴-온되고 상기 제 2 트랜지스터가 턴-온되는 제 4 구간에서 상기 제 1 포토 다이오드를 이용하여 제 4 픽셀 신호를 출력하는 이미지 센서.
12. 제 11 항에 있어서,
    상기 제 1 구간의 샘플링 횟수는 1회에서 K회로 증가하고, 샘플링 비트 수는 M비트에서 N비트로 감소하도록 조절되고,
    상기 제 2 구간 내지 상기 제 4 구간의 샘플링 횟수는 1회로 유지되고, 샘플링 비트 수는 상기 M비트에서 상기 N비트로 유지되도록 조절되고,
    상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절된 이후 상기 제 1 구간 내지 상기 제 4 구간의 길이는 상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절되기 이전 상기 제 1 구간 내지 상기 제 4 구간의 길이와 같은 이미지 센서.
13. 제 11 항에 있어서,
    상기 제 1 구간의 샘플링 횟수는 1회에서 K회로 증가하고, 샘플링 비트 수는 M비트에서 N비트로 감소하도록 조절되고,
    상기 제 2 구간 내지 상기 제 4 구간의 샘플링 횟수는 1회로 유지되고, 샘플링 비트 수는 상기 M비트로 유지되도록 조절되고,
    상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절된 이후 상기 제 1 구간 내지 상기 제 4 구간의 길이는 상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절되기 이전 상기 제 1 구간 내지 상기 제 4 구간의 길이보다 긴 이미지 센서.
14. 제 11 항에 있어서,
    상기 제 4 구간의 리셋 신호의 샘플링 횟수는 1회에서 K회로 증가하고, 샘플링 비트 수는 M비트에서 N비트로 감소하도록 조절되고,
    상기 제 1 구간 내지 상기 제 3 구간의 샘플링 횟수는 1회로 유지되고, 샘플링 비트 수는 상기 M비트에서 상기 N비트로 유지되도록 조절되고,
    상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절된 이후 상기 제 1 구간 내지 상기 제 4 구간의 길이는 상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절되기 이전 상기 제 1 구간 내지 상기 제 4 구간의 길이와 같은 이미지 센서.
15. 제 11 항에 있어서,
    상기 제 4 구간의 리셋 신호의 샘플링 횟수는 1회에서 K회로 증가하고, 샘플링 비트 수는 M비트에서 N비트로 감소하도록 조절되고,
    상기 제 1 구간 내지 상기 제 3 구간의 샘플링 횟수는 1회로 유지되고, 샘플링 비트 수는 상기 M비트로 유지되도록 조절되고,
    상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절된 이후 상기 제 1 구간 내지 상기 제 4 구간의 길이는 상기 샘플링 횟수 및 상기 샘플링 비트 수가 조절되기 이전 상기 제 1 구간 내지 상기 제 4 구간의 길이보다 긴 이미지 센서.
16. 제 11 항에 있어서,
    상기 복수의 픽셀들 각각은:
    상기 제 2 플로팅 확산 영역과 연결되고, 플로팅 확산 영역들의 전압을 리셋시키기 위한 제 4 트랜지스터를 더 포함하고,
    상기 제 4 구간에서 상기 제 4 픽셀 신호의 리셋 신호가 샘플링될 때마다 상기 제 4 트랜지스터가 턴-온됨으로써 상기 제 1 포토 다이오드에서 생성된 전하가 저장되는 제 1 플로팅 확산 영역의 전압이 리셋되는 이미지 센서.
17. 제 1 구간에서 제 2 포토 다이오드를 이용하여 제 1 컨버전 게인에 따라 생성된 제 1 픽셀 신호를 제 1 샘플링 비트로 제 1 샘플링 횟수만큼 샘플링하는 단계;
    제 2 구간에서 상기 제 2 포토 다이오드를 이용하여 상기 제 1 컨버전 게인보다 낮은 제 2 컨버전 게인에 따라 생성된 제 2 픽셀 신호를 제 2 샘플링 비트로 제 2 샘플링 횟수만큼 샘플링하는 단계;
    제 3 구간에서 상기 제 2 포토 다이오드보다 수광 면적이 좁은 제 1 포토 다이오드를 이용하여 상기 제 1 컨버전 게인에 따라 생성된 제 3 픽셀 신호를 제 3 샘플링 비트로 제 3 샘플링 횟수만큼 샘플링하는 단계;
    제 4 구간에서 상기 제 1 포토 다이오드를 이용하여 상기 제 2 컨버전 게인에 따라 생성된 제 4 픽셀 신호를 제 4 샘플링 비트로 제 4 샘플링 횟수만큼 샘플링하는 단계; 및
    상기 샘플링된 픽셀 신호들에 기반하여 디지털 신호를 출력하고, 상기 디지털 신호에 기반하여 이미지 데이터를 생성하는 단계를 포함하는 이미지 센서의 동작 방법.
18. 제 17 항에 있어서,
    상기 제 2 샘플링 횟수 내지 상기 제 4 샘플링 횟수는 1회이고, 상기 제 1 샘플링 횟수는 1회보다 큰 이미지 센서의 동작 방법.
19. 제 17 항에 있어서,
    상기 제 4 픽셀 신호를 제 4 샘플링 비트로 제 4 샘플링 횟수만큼 샘플링하는 단계는:
    상기 제 4 픽셀 신호의 이미지 신호를 1회 샘플링하는 단계; 및
    상기 제 4 픽셀 신호의 리셋 신호를 상기 제 4 샘플링 횟수만큼 샘플링하는 단계를 포함하고,
    상기 제 1 샘플링 횟수 내지 상기 제 3 샘플링 횟수는 1회이고, 상기 제 4 샘플링 횟수는 1회보다 큰 이미지 센서의 동작 방법.
20. 제 19 항에 있어서,
    상기 제 4 픽셀 신호의 리셋 신호를 상기 제 4 샘플링 횟수만큼 샘플링하는 단계는 상기 제 1 포토 다이오드와 연결된 플로팅 확산 영역의 전압을 제 4 샘플링 횟수만큼 리셋시키는 단계를 포함하는 이미지 센서의 동작 방법.