KR20230006674A - 이미지 센서, 그것을 포함하는 이미지 장치 및 그것의 동작 방법 - Google Patents
이미지 센서, 그것을 포함하는 이미지 장치 및 그것의 동작 방법 Download PDFInfo
- Publication number
- KR20230006674A KR20230006674A KR1020210086455A KR20210086455A KR20230006674A KR 20230006674 A KR20230006674 A KR 20230006674A KR 1020210086455 A KR1020210086455 A KR 1020210086455A KR 20210086455 A KR20210086455 A KR 20210086455A KR 20230006674 A KR20230006674 A KR 20230006674A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- transistor
- node
- pixel
- capacitor
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title claims description 6
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 239000003990 capacitor Substances 0.000 claims description 65
- 238000007667 floating Methods 0.000 claims description 51
- 238000009792 diffusion process Methods 0.000 claims description 50
- 238000005070 sampling Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 32
- 238000005096 rolling process Methods 0.000 claims description 24
- 238000012546 transfer Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 23
- 238000010586 diagram Methods 0.000 description 58
- 230000000875 corresponding effect Effects 0.000 description 33
- 239000010410 layer Substances 0.000 description 26
- 230000015654 memory Effects 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 239000003381 stabilizer Substances 0.000 description 5
- 101000622137 Homo sapiens P-selectin Proteins 0.000 description 3
- 101000983850 Homo sapiens Phosphatidate phosphatase LPIN3 Proteins 0.000 description 3
- 101000648528 Homo sapiens Transmembrane protein 50A Proteins 0.000 description 3
- 102100023472 P-selectin Human genes 0.000 description 3
- 102100025728 Phosphatidate phosphatase LPIN3 Human genes 0.000 description 3
- 102100028770 Transmembrane protein 50A Human genes 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- KXRZBTAEDBELFD-UHFFFAOYSA-N sulfamethopyrazine Chemical compound COC1=NC=CN=C1NS(=O)(=O)C1=CC=C(N)C=C1 KXRZBTAEDBELFD-UHFFFAOYSA-N 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 102100036250 GPI mannosyltransferase 4 Human genes 0.000 description 1
- 101001074618 Homo sapiens GPI mannosyltransferase 4 Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 101150070760 cgs1 gene Proteins 0.000 description 1
- 101150008586 cgs2 gene Proteins 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1463—Pixel isolation structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/745—Circuitry for generating timing or clock signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
본 발명의 이미지 센서는, 복수의 로우 라인들과 복수의 컬럼 라인들에 배열된 복수의 픽셀들을 갖는 픽셀 어레이, 상기 복수의 로우 라인들 중에서 어느 하나를 선택하는 로우 드라이버, 상기 픽셀 어레이로부터 출력된 아날로그 신호들을 디지털 데이터로 변환하는 아날로그 디지털 변환회로, 상기 디지털 데이터를 이미지 신호 프로세서로 전송하기 위한 전송 클록을 발생하는 디지털 클록 생성기, 및 상기 픽셀 어레이, 상기 로우 드라이버, 상기 아날로그 디지털 변환회로, 및 디지털 클록 생성기의 타이밍을 제어하는 타이밍 제어기를 포함하고, 상기 복수의 픽셀들의 각각은 하나의 소스 팔로워 트랜지스터를 이용하여 글로벌 셔터 방식으로 동작하는 것을 특징으로 한다.
Description
본 발명은 이미지 센서, 그것을 포함하는 이미지 장치, 및 그것의 동작 방법에 관한 것이다.
일반적으로, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서는 구동 방식이 간편하고, 신호 처리 회로를 단일 칩에 집적할 수 있어 제품의 소형화가 가능하다. CMOS 이미지 센서는 전력 소모 또한 매우 낮아 배터리 용량이 제한적인 제품에 적용이 용이하다. 또한, CMOS 이미지 센서는 CMOS 공정 기술을 호환하여 사용할 수 있어 제조 단가를 낮출 수 있다. 따라서, CMOS 이미지 센서는 기술 개발과 함께 고해상도가 구현 가능함에 따라 그 사용이 급격히 늘어나고 있다.
본 발명의 목적은 픽셀 면적을 줄이는 이미지 센서, 그것을 포함하는 이미지 장치 및 그것의 동작 방법을 제공하는데 있다.
본 발명의 실시 예에 따른 이미지 센서는, 제 1 커패시터; 제 2 커패시터; 포토다이오드와 플로팅 디퓨전 노드 사이에 연결되고, 전달 신호를 수신하는 게이트를 갖는 제 1 트랜지스터; 제 1 전원단과 상기 플로팅 디퓨전 노드 사이에 연결되고, 리셋 신호를 수신하는 게이트를 갖는 제 2 트랜지스터; 제 2 전원단과 제 1 노드 사이에 연결되고, 상기 플로팅 디퓨전 노드에 연결되는 게이트를 갖는 제 3 트랜지스터; 상기 제 1 노드와 컬럼 라인 사이에 연결되고, 프리차지 신호를 수신하는 게이트를 갖는 제 4 트랜지스터; 상기 제 1 커패시터와 피드백 노드 사이에 연결되고, 제 1 샘플링 신호를 수신하는 게이트를 갖는 제 5 트랜지스터; 상기 제 2 커패시터와 상기 피드백 노드 사이에 연결되고, 제 2 샘플링 신호를 수신하는 게이트를 갖는 제 6 트랜지스터; 상기 제 1 노드와 상기 피드백 노드 사이에 연결되고, 제 1 스위치 신호를 수신하는 게이트를 갖는 제 7 트랜지스터; 및 상기 플로팅 디퓨전 노드와 상기 피드백 노드 사이에 연결되고, 제 2 스위치 신호를 수신하는 게이트를 갖는 제 8 트랜지스터를 포함할 수 있다.
본 발명의 다른 실시 예에 따른 이미지 센서는, 제 1 커패시터; 제 2 커패시터; 제 1 포토다이오드와 플로팅 디퓨전 노드 사이에 연결되고, 제 1 전달 신호를 수신하는 게이트를 갖는 제 1 전달 트랜지스터; 제 1 전원단과 상기 플로팅 디퓨전 노드 사이에 연결되고, 리셋 신호를 수신하는 게이트를 갖는 제 2 트랜지스터; 제 2 전원단과 제 1 노드 사이에 연결되고, 상기 플로팅 디퓨전 노드에 연결되는 게이트를 갖는 제 3 트랜지스터; 상기 제 1 노드와 접지단 사이에 연결되고, 프리차지 신호를 수신하는 게이트를 갖는 제 4 트랜지스터; 상기 제 1 커패시터와 피드백 노드 사이에 연결되고, 제 1 샘플링 신호를 수신하는 게이트를 갖는 제 1 샘플링 트랜지스터; 상기 제 2 커패시터와 상기 피드백 노드 사이에 연결되고, 제 2 샘플링 신호를 수신하는 게이트를 갖는 제 2 샘플링 트랜지스터; 상기 제 1 노드와 상기 피드백 노드 사이에 연결되고, 제 1 스위치 신호를 수신하는 게이트를 갖는 제 7 트랜지스터; 상기 플로팅 디퓨전 노드와 상기 피드백 노드 사이에 연결되고, 제 2 스위치 신호를 수신하는 게이트를 갖는 제 8 트랜지스터; 및 상기 제 1 노드와 컬럼 라인 사이에 연결되고, 선택 신호를 수신하는 게이트를 갖는 제 9 트랜지스터를 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 센서의 동작 방법은, 글로벌 셔터 동작 및 롤링 셔터 동작 중에서 어느 하나를 선택하는 단계; 상기 글로벌 셔터 동작을 수행할 때, 픽셀들의 각각에서 소스 팔로워 트랜지스터를 경유하여 리셋 전압 및 픽셀 전압을 대응하는 커패시터들로 덤핑하는 단계; 및 상기 픽셀들의 각각에서 상기 커패시터들에 저장된 상기 리셋 전압 및 상기 픽셀 전압을 상기 소스 팔로워 트랜지스터를 경유하여 리드아웃하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시 예에 따른 이미지 센서는, 복수의 로우 라인들과 복수의 컬럼 라인들에 배열된 복수의 픽셀들을 갖는 픽셀 어레이; 상기 복수의 로우 라인들 중에서 어느 하나를 선택하는 로우 드라이버; 상기 픽셀 어레이로부터 출력된 아날로그 신호들을 디지털 데이터로 변환하는 아날로그 디지털 변환회로; 상기 디지털 데이터를 이미지 신호 프로세서로 전송하기 위한 전송 클록을 발생하는 디지털 클록 생성기; 및 상기 픽셀 어레이, 상기 로우 드라이버, 상기 아날로그 디지털 변환회로, 및 디지털 클록 생성기의 타이밍을 제어하는 타이밍 제어기를 포함하고, 상기 복수의 픽셀들의 각각은 하나의 소스 팔로워 트랜지스터를 이용하여 글로벌 셔터 방식으로 동작하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미징 장치는, 로우 라인들과 컬럼 라인들이 교차하는 지점에 연결된 복수의 픽셀 그룹들로부터 이미지 신호들을 수신하고, 수신된 이미지 신호들을 디지털로 변환하고, 변환된 이미지 데이터를 출력하는 이미지 센서; 및 상기 이미지 데이터를 처리하고, 상기 처리된 이미지 데이터를 출력하는 이미지 신호 프로세서를 포함하고, 상기 복수의 픽셀 그룹들의 각각은 복수의 픽셀들을 포함하고, 상기 복수의 픽셀들의 각각은 하나의 소스 팔로워 트랜지스터를 이용하여 글로벌 셔터 방식으로 동작하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미지 센서, 그것을 포함하는 이미지 장치, 및 그것의 동작 방법은, 하나의 소스 팔로워 트랜지스터를 이용하여 글로벌 셔터 동작을 수행함으로써, 픽셀 면적을 크게 줄일 수 있다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다.
도 1은 본 발명의 실시 예에 따른 이미지 센서(100)를 예시적으로 보여주는 도면이다.
도 2a는 글로벌 셔터 방식을 개념적으로 보여주는 도면이고, 도 2b는 롤링 셔터 방식을 개념적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 픽셀(PX)을 예시적으로 보여주는 도면이다.
도 4a, 도 4b, 및 도 4c은 본 발명의 실시 예에 따른 픽셀(PX)의 동작들을 예시적으로 보여주는 도면들이다.
도 5는 본 발명의 실시 예에 따른 픽셀(PX)의 동작 방법을 예시적으로 보여주는 타이밍도이다.
도 6은 본 발명의 실시 예에 따른 이미지 센서의 동작 방법을 예시적으로 보여주는 흐름도이다.
도 7은 본 발명의 다른 실시 예에 따른 픽셀(PXa)을 예시적으로 보여주는 도면이다.
도 8은 도 7에 도시된 픽셀(PXa)의 동작을 예시적으로 설명하는 타이밍도이다.
도 9는 본 발명의 또 다른 실시 예에 따른 픽셀(PXb)을 예시적으로 보여주는 도면이다.
도 10은 도 9에 도시된 픽셀(PXb)의 동작을 예시적으로 설명하는 타이밍도이다.
도 11은 본 발명의 또 다른 실시 예에 따른 픽셀(PXc)을 예시적으로 보여주는 도면이다.
도 12a는 본 발명의 실시 예에 따른 IR 픽셀(PXd)을 예시적으로 보여주는 도면이고, 도 12b는 본 발명의 IR 픽셀의 동작 타이밍을 예시적으로 보여주는 도면이다.
도 13은 본 발명의 다른 실시 예에 따른 픽셀(PXe)을 예시적으로 보여주는 도면이다.
도 14a는 2x2 베이어(bayer) 패턴으로 구성된 픽셀을 보여주는 도면이고, 도 14b는 4x4 테트라(tetra) 패턴으로 구성된 픽셀을 보여주는 도면이고, 도 14c는 8x8 Q-cell 패턴으로 구성된 픽셀을 보여주는 도면이고, 도 14d는 적외선(Infrared Light; IR) 서브 픽셀을 갖는 픽셀을 보여주는 도면이다.
도 15a는 각 컬러 서브 픽셀에 대응하는 렌즈를 구비하는 테트라 픽셀을 보여주는 도면이고, 도 15b는 4개의 동일 컬러 서브 픽셀들에 대응하는 렌즈를 구비하는 테트라 픽셀을 보여주는 도면이고, 도 15c는 1x1 서브 픽셀에 대응하는 렌즈를 구비하는 4x4 컬러 필터 픽셀을 보여주는 도면이고, 도 15d는 2x2 서브 픽셀에 대응하는 4x4 컬러 필터 픽셀을 보여주는 도면이고, 도 15e는 4x4 서브 픽셀에 대응하는 4x4 컬러 필터 픽셀을 보여주는 도면이다.
도 16a 및 도 16b는 2-PD 구조의 픽셀들을 예시적으로 보여주는 도면들이다.
도 17a 및 도 17b는 서로 다른 크기로 구현된 픽셀 그룹을 예시적으로 보여주는 도면들이다.
도 18은 본 발명의 실시 예에 따른 이미징 장치(200)를 예시적으로 보여주는 도면이다.
도 19는 본 발명의 실시 예에 따른 멀티 카메라 모듈을 갖는 전자 장치를 예시적으로 보여주는 도면이다.
도 20은 도 19에 도시된 카메라 모듈(1100b)의 상세 구성을 보여주는 도면이다.
도 21a 및 도 21b은 본 발명의 실시 예에 따른 이미징 장치들을 예시적으로 보여주는 도면들이다.
도 1은 본 발명의 실시 예에 따른 이미지 센서(100)를 예시적으로 보여주는 도면이다.
도 2a는 글로벌 셔터 방식을 개념적으로 보여주는 도면이고, 도 2b는 롤링 셔터 방식을 개념적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 픽셀(PX)을 예시적으로 보여주는 도면이다.
도 4a, 도 4b, 및 도 4c은 본 발명의 실시 예에 따른 픽셀(PX)의 동작들을 예시적으로 보여주는 도면들이다.
도 5는 본 발명의 실시 예에 따른 픽셀(PX)의 동작 방법을 예시적으로 보여주는 타이밍도이다.
도 6은 본 발명의 실시 예에 따른 이미지 센서의 동작 방법을 예시적으로 보여주는 흐름도이다.
도 7은 본 발명의 다른 실시 예에 따른 픽셀(PXa)을 예시적으로 보여주는 도면이다.
도 8은 도 7에 도시된 픽셀(PXa)의 동작을 예시적으로 설명하는 타이밍도이다.
도 9는 본 발명의 또 다른 실시 예에 따른 픽셀(PXb)을 예시적으로 보여주는 도면이다.
도 10은 도 9에 도시된 픽셀(PXb)의 동작을 예시적으로 설명하는 타이밍도이다.
도 11은 본 발명의 또 다른 실시 예에 따른 픽셀(PXc)을 예시적으로 보여주는 도면이다.
도 12a는 본 발명의 실시 예에 따른 IR 픽셀(PXd)을 예시적으로 보여주는 도면이고, 도 12b는 본 발명의 IR 픽셀의 동작 타이밍을 예시적으로 보여주는 도면이다.
도 13은 본 발명의 다른 실시 예에 따른 픽셀(PXe)을 예시적으로 보여주는 도면이다.
도 14a는 2x2 베이어(bayer) 패턴으로 구성된 픽셀을 보여주는 도면이고, 도 14b는 4x4 테트라(tetra) 패턴으로 구성된 픽셀을 보여주는 도면이고, 도 14c는 8x8 Q-cell 패턴으로 구성된 픽셀을 보여주는 도면이고, 도 14d는 적외선(Infrared Light; IR) 서브 픽셀을 갖는 픽셀을 보여주는 도면이다.
도 15a는 각 컬러 서브 픽셀에 대응하는 렌즈를 구비하는 테트라 픽셀을 보여주는 도면이고, 도 15b는 4개의 동일 컬러 서브 픽셀들에 대응하는 렌즈를 구비하는 테트라 픽셀을 보여주는 도면이고, 도 15c는 1x1 서브 픽셀에 대응하는 렌즈를 구비하는 4x4 컬러 필터 픽셀을 보여주는 도면이고, 도 15d는 2x2 서브 픽셀에 대응하는 4x4 컬러 필터 픽셀을 보여주는 도면이고, 도 15e는 4x4 서브 픽셀에 대응하는 4x4 컬러 필터 픽셀을 보여주는 도면이다.
도 16a 및 도 16b는 2-PD 구조의 픽셀들을 예시적으로 보여주는 도면들이다.
도 17a 및 도 17b는 서로 다른 크기로 구현된 픽셀 그룹을 예시적으로 보여주는 도면들이다.
도 18은 본 발명의 실시 예에 따른 이미징 장치(200)를 예시적으로 보여주는 도면이다.
도 19는 본 발명의 실시 예에 따른 멀티 카메라 모듈을 갖는 전자 장치를 예시적으로 보여주는 도면이다.
도 20은 도 19에 도시된 카메라 모듈(1100b)의 상세 구성을 보여주는 도면이다.
도 21a 및 도 21b은 본 발명의 실시 예에 따른 이미징 장치들을 예시적으로 보여주는 도면들이다.
아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.
도 1은 본 발명의 실시 예에 따른 이미지 센서(100)를 예시적으로 보여주는 도면이다. 도 1을 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 로우 드라이버(120), 아날로그 디지털 변환회로(130), 램프 신호 발생기(160), 타이밍 제어기(170), 및 버퍼(180)를 포함할 수 있다.
픽셀 어레이(110)는 각각이 복수의 로우 라인들 및 복수의 컬럼(column) 라인(CL)들과 연결된 매트릭스 형태로 배치된 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들의 각각은 광 감지 소자를 포함할 수 있다. 예를 들어, 광 감지 소자는 포토다이오드, 포토 트랜지스터, 포트 게이트 혹은 핀드 포토다이오드(pinned photodiode) 등을 포함할 수 있다. 복수의 픽셀들의 각각은 적어도 하나의 광 감지 소자를 포함할 수 있다. 실시 예에 있어서, 복수의 픽셀들의 각각은 복수의 광 감지 소자들을 포함할 수 있다. 복수의 광 감지 소자들의 각각은 서로 적층 될 수 있다.
복수의 픽셀들의 각각은 광 감지 소자를 이용하여 빛을 감지하고, 이를 전기적 신호인 픽셀 신호로 변환할 수 있다. 복수의 픽셀들의 각각은 특정 스펙트럼 영역의 빛을 감지할 수 있다. 예를 들어, 복수의 픽셀들은 레드(red) 스펙트럼 영역의 빛을 전기 신호로 변환하는 레드 픽셀, 그린(green) 스펙트럼 영역의 빛을 전기 신호로 변환하기 위한 그린 픽셀, 및 블루(blue) 스펙트럼 영역의 빛을 전기 신호로 변환하기 위한 블루 픽셀을 포함할 수 있다. 복수의 픽셀들의 각각의 상부에 특정 스펙트럼 영역의 빛을 투과시키기 위한 컬러 필터가 배치될 수 있다.
복수의 픽셀들의 각각은 하나의 소스 팔로워 트랜지스터를 이용하여 신호 덤프와 리드아웃을 모두 동작하도록 구현될 수 있다.
로우 드라이버(120)는 픽셀 어레이(110)를 로우 단위로 구동하도록 구현될 수 있다. 로우 드라이버(120)는 타이밍 제어기(170)에서 생성된 로우 제어신호(예를 들어, 어드레스 신호)를 디코딩하고, 디코딩된 행 제어신호에 응답하여 픽셀 어레이(110)를 구성하는 로우 라인들 중에서 적어도 어느 하나의 로우 라인을 선택할 수 있다. 예를 들어, 로우 드라이버(120)는 로우 선택 신호를 생성할 수 있다. 그리고 픽셀 어레이(110)는 로우 드라이버(120)로부터 제공된 로우 선택 신호에 의해 선택되는 로우로부터 픽셀 신호를 출력한다. 픽셀 신호는 리셋 신호와 이미지 신호를 포함할 수 있다.
아날로그 디지털 변환회로(130)는 ADC 활성화 신호(ADC_EN)에 응답하여 픽셀 어레이(110)로부터 입력되는 아날로그 픽셀 신호를 디지털 데이터로 변환하도록 구현될 수 있다. 아날로그 디지털 변환회로(130)는 비교 회로(140, CDB) 및 카운터 회로(150, DBS)을 포함할 수 있다.
비교 회로(140)는 픽셀 어레이(110)를 구성하는 컬럼 라인(CL)들 중에서 어느 하나의 컬럼 라인에 접속된 단위 픽셀로부터 출력되는 픽셀 신호를 램프 신호(RAMP)와 비교하도록 구현될 수 있다. 비교 회로(140)는 각각의 컬럼에 대응하여 구비되는 복수의 비교기(141)들을 포함할 수 있다, 각각의 비교기(141)는 픽셀 어레이(110) 및 램프 신호 발생기(160)와 연결될 수 있다.
비교기(141, CMP)는 픽셀 신호와 램프 신호 발생기(160)로부터 발생된 램프 신호(RAMP)를 입력받아 비교하고, 비교 결과 신호를 출력단으로 출력하도록 구현될 수 있다. 또한, 비교기(141)는 상관 이중 샘플링(correlated double sampling; CDS) 기법이 적용되는 비교 결과 신호를 생성할 수 있다. 복수의 픽셀들로부터 출력되는 픽셀 신호들은 각 픽셀마다 가지는 픽셀 고유의 특성(예를 들어, FPN(fixed pattern noise) 등)에 의한 편차 혹은 픽셀(PX)로부터 픽셀 신호를 출력하기 위한 로직의 특성 차이에 기인한 편차를 가질 수 있다. 상관 이중 샘플링 기법은 이러한 픽셀 신호들간의 편차를 보상하기 위하여 픽셀 신호들의 각각에 대하여 리셋 성분(혹은 리셋 신호) 및 이미지 성분(혹은 이미지 신호)을 계산하고, 그 차이를 유효한 신호 성분으로 추출하는 방식이다. 비교기(141)는 상관 이중 샘플링 기법이 적용되는 비교 결과 신호를 출력할 수 있다.
또한, 비교기(141)는 2-스테이지 증폭기로 구현될 수 있다. 예를 들어, 비교기(141)는 픽셀 신호와 램프 신호를 비교하는 제 1 증폭기 및 제 1 증폭기의 출력을 증폭하여 출력하는 제 2 증폭기를 포함할 수 있다. 실시 예에 있어서, 제 1 증폭기는 오토 제로 단계에서 비교 동작 단계보다 적은 양의 바이어스 전류를 기초로 동작할 수 있다. 이에 따라, 노이즈가 감소되면서 입력 레인지가 증가될 수 있다. 실시 예에 있어서, 제 2 증폭기는, 바이어스 전류를 생성하는 전류 소스들을 동작 단계별로 적응적으로 제어하며, 디시젼 전후에 최소한의 바이어스 전류를 생성할 수 있다. 이에 따라, 제 2 증폭기의 동작에 따른 전원 변동을 방지할 수 있다. 실시 예에 있어서, 제 1 증폭기는 출력단자와 공통 노드를 연결하는 제한 회로를 포함할 수 있다. 여기서 제한 회로는 공통 노드의 전압 레벨이, 제 1 증폭기가 정상적으로 동작할 수 있는 최저값 이하로 낮아지는 것을 방지하고, 출력 노드에 발생하는 전압 변동을 보상할 수 있다.
또한, 비교 회로(140)는 컬럼 라인 그룹에 따라 서로 다른 시점에서 디시젼 신호(예를 들어, 비교기의 출력 신호)를 출력하도록 구현될 수 있다.
카운터 회로(150)는 복수의 카운터들을 포함할 수 있다. 복수의 카운터들의 각각(151, CNT)은 비교기(141)들의 출력단에 연결되고, 각 비교기(141)의 출력에 기초하여 카운트하도록 구현될 수 있다. 카운터 제어 신호(CTCS)는 카운터 활성화 신호, 카운터 클록 신호, 복수의 카운터(151)들의 리셋(reset) 동작을 제어하는 카운터 리셋 신호, 및 복수의 카운터들의 각각의 내부 비트를 반전시키는 반전 신호 등을 포함할 수 있다. 카운터 회로(150)는 카운터 클록 신호에 따라 비교 결과 신호를 카운팅 함으로써 디지털 데이터로 출력할 수 있다.
카운터(151, CNT)는 업/다운 카운터(up/down counter) 혹은 비트-와이즈 카운터(bit-wise counter)를 포함할 수 있다. 이때, 비트-와이즈 카운터는 업/다운 카운터와 비슷한 동작을 수행할 수 있다. 예를 들어, 비트-와이즈 카운터는 업 카운트만 수행하는 기능 및 특정 신호가 들어오면 카운터 내부의 모든 비트를 반전하여 1의 보수(1's complement)로 만드는 기능을 수행할 수 있다. 비트-와이즈 카운터는 리셋 카운트(reset count)를 수행한 후, 이를 반전하여 1의 보수, 즉, 음수 값으로 변환할 수 있다.
램프 신호 발생기(160)는 램프 신호(혹은 ADC 기준 전압)를 생성하도록 구현될 수 있다. 램프 신호 발생기(160)는 타이밍 제어기(170)로부터 제공되는 램프 제어 신호(CTRP)에 기초해 동작할 수 있다. 램프 제어 신호(CTRP)는 램프 인에이블 신호, 모드 신호 등을 포함할 수 있다. 램프 신호 발생기(160)는 램프 인에이블 신호가 활성화되면, 모드 신호에 기초하여 설정되는 기울기를 가지는 램프 신호(RAMP)를 생성할 수 있다.
타이밍 제어기(170)는 로우 드라이버(120), 아날로그 디지털 변환회로(130), 및 램프 신호 발생기(160) 각각에 제어 신호 혹은 클록 신호를 출력함으로써, 로우 드라이버(120), 아날로그 디지털 변환회로(130), 및 램프 신호 발생기(160)의 동작 혹은 타이밍을 제어하도록 구현될 수 있다. 또한, 타이밍 제어기(170)는 컬럼 라인 그룹에 따라 디시젼 속도를 서로 다르게 하도록 비교 회로(140)에 제공되는 스위칭 제어 신호들을 생성할 수 있다.
버퍼(180)는 아날로그 디지털 변환회로(130)로부터 출력된 디지털 데이터를 임시 저장하고, 증폭하여 출력하도록 구현될 수 있다. 버퍼(180)는 컬럼 메모리 블록(181, MEM) 및 감지 증폭 회로(182, SA)를 포함할 수 있다.
컬럼 메모리 블록(181, MEM)은 복수의 메모리들을 포함할 수 있다. 복수의 메모리들 각각은 복수의 카운터들의 각각(151)으로부터 출력되는 디지털 데이터를 임시 저장 한 후 감지 증폭 회로(182)로 출력할 수 있다.
감지 증폭 회로(182, SA)는 복수의 메모리들로부터 출력되는 디지털 데이터들을 감지 및 증폭하도록 구현될 수 있다. 감지 증폭 회로(182)는 증폭된 디지털 데이터를 이미지 데이터(IDATA)로서 이미지 신호 프로세서(Image Signal Processor; ISP)로 출력할 수 있다.
본 발명의 실시 예에 따른 이미지 센서(100)는 하나의 소스 팔로워 트랜지스터를 이용하여 신호 덤프 동작과 리드아웃 동작을 수행할 수 있다. 본 발명의 이미지 센서(100)는 스위치 트랜지스터를 플로팅 디퓨전 영역에 연결하는 하나의 소스 팔로워 트랜지스터를 갖는 픽셀을 구현함으로써, 픽셀의 면적을 줄이면서 노이즈 측면에서 우수한 특성을 갖게 할 수 있다.
한편, 일반적으로 이미지 센서(100)의 픽셀 구동 방식은 롤링 셔터(rolling shutter) 방식과 글로벌 셔터(global shutter) 방식을 포함하고 있다.
도 2a는 글로벌 셔터 방식을 개념적으로 보여주는 도면이고, 도 2b는 롤링 셔터 방식을 개념적으로 보여주는 도면이다. 도 2a를 참조하면, 글로벌 셔터 동작의 경우, 한 프레임 내의 모든 광소자들에 의해 광전 변환된 전체 신호가 한번에 플로팅 디퓨전 노드로 전달된 후 순차적으로 선택되는 로우(row)에서 해당 픽셀의 영상신호가 출력될 수 있다. 도 2b를 참조하면, 롤링 셔터 방식의 경우, 라인(혹은 row) 단위로 리셋 및 리드아웃을 순차적으로 수행될 수 있다.
한편, 본 발명의 실시 예에 따른 픽셀(PX)은 글로벌 덤프와 리드아웃을 동시에 수행하는 하나의 소스 팔로워 트랜지스터로 구현될 수 있다.
도 3은 본 발명의 실시 예에 따른 픽셀(PX)을 예시적으로 보여주는 도면이다. 도 3을 참조하면, 픽셀(PX)은 포토다이오드(PD), 트랜지스터들(T1 ~ T8), 제 1 커패시터(C1), 및 제 2 커패시터(C2)를 포함할 수 있다.
제 1 트랜지스터(T1, 혹은 전달 트랜지스터)는 포토다이오드(PD)와 플로팅 디퓨전 노드(FD) 사이에 연결되고, 전달 신호(TG)를 수신하는 게이트를 포함할 수 있다.
제 2 트랜지스터(T2, 혹은 리셋 트랜지스터)는 제 1 전원단과 플로팅 디퓨전 노드(FD) 사이에 연결되고, 리셋 신호(RG)를 수신하는 게이트를 포함할 수 있다. 여기서 제 1 전원단은 전원 전압(VDD)을 수신할 수 있다.
제 3 트랜지스터(T3, 혹은 소스 팔로워 트랜지스터)는 제 2 전원단과 제 1 노드(N1) 사이에 연결되고, 플로팅 디퓨전 노드(FD)에 연결된 게이트를 포함할 수 있다. 여기서 제 2 전원단은 전원 전압(VDD)을 수신할 수 있다. 제 3 트랜지스터는 플로팅 디퓨전 노드(FD)의 전압을 출력하는 소스 팔로워 기능을 수행할 수 있다. 도 3에서 도시된 제 1 전원단과 제 2 전원단은 동일한 전원 전압(VDD)을 제공 받고 있다. 하지만, 본 발명이 여기에 제한되지 않을 것이다. 제 1 전원단과 제 2 전원단은 서로 다른 전원 전압을 제공받을 수도 있다.
제 4 트랜지스터(T4, 혹은 프리차지 트랜지스터)는 제 1 노드(N1)와 컬럼 라인(CL) 사이에 연결되고, 프리차지 신호(VPC)를 수신하는 게이트를 포함할 수 있다. 실시 예에 있어서, 제 4 트랜지스터(T4)는 3 가지 기능을 수행할 수 있다. 첫째로, 제 4 트랜지스터(T4)는 리드아웃 동작을 수행 할 때 제 1 노드(N1)의 전압을 컬럼 라인(CL)으로 전달하는 기능을 수행할 수 있다. 이때, 제 4 트랜지스터(T4)의 게이트는 제 1 레벨의 프리차지 신호(VPC)가 입력될 수 있다. 둘째로, 제 4 트랜지스터(T4)는 신호 덤프 동작에서 바이어싱 기능을 수행할 수 있다. 이때, 제 4 트랜지스터(T4)의 게이트는 제 2 레벨의 프리차지 신호(VPC)가 입력될 수 있다. 제 2 레벨은 제 1 레벨보다 낮을 수 있다. 예를 들어, 제 1 레벨은 3.7V이고, 제 2 레벨은 0.4V일 수 있다. 마지막, 제 4 트랜지스터(T4)는 컬럼 라인(CL)에 대한 온/오프 기능을 수행할 수 있다. 이때, 제 4 트랜지스터(T4)의 게이트는 OV가 입력될 수 있다.
제 5 트랜지스터(T5, 혹은 제 1 샘플링 트랜지스터)는 제 1 커패시터(C1)와 피드백 노드(Z)에 연결되고, 제 1 샘플링 신호(SMP1)를 수신하는 게이트를 포함할 수 있다.
제 6 트랜지스터(T6, 혹은 제 2 샘플링 트랜지스터)는 제 2 커패시터(C2)와 피드백 노드(Z)에 연결되고, 제 2 샘플링 신호(SMP3)를 수신하는 게이트를 포함할 수 있다.
제 7 트랜지스터(T7, 혹은 제 1 스위치 트랜지스터)는 피드백 노드(Z)와 제 1 노드(N1) 사이에 연결되고, 제 1 스위치 신호(SW1)를 수신하는 게이트를 포함할 수 있다.
제 8 트랜지스터(T8, 혹은 제 2 스위치 트랜지스터)는 피드백 노드(Z)와 플로팅 디퓨전 노드(FD) 사이에 연결되고, 제 2 스위치 신호(SW2)를 수신하는 게이트를 포함할 수 있다.
제 1 커패시터(C1, 혹은 제 1 저장 유닛) 및 제 2 커패시터(C2, 혹은 제 2 저장 유닛)의 각각의 일단은 전원단(VDD)에 연결될 수 있다. 또한, 제 1 커패시터(C1) 및 제 2 커패시터(C2)의 각각의 타단은 대응하는 트랜지스터들(T5, T6)에 연결될 수 있다. 한편, 도 3에 도시된 제 1 및 제 2 커패시터들(C1, C2)의 각각의 일단은 전원단에 연결되고 있다. 하지만, 본 발명이 여기에 제한되지 않을 것이다. 제 1 및 제 2 커패시터들(C1, C2)의 각각의 일단은 접지단(GND)에 연결될 수 있다.
본 발명의 실시 예에 따른 픽셀(PX)은 하나의 소스 팔로워 트랜지스터(T3)를 이용하여 글로벌 신호 덤프 동작 및 롤링 리드아웃 동작을 수행할 수 있다.
도 4a, 도 4b, 및 도 4c은 본 발명의 실시 예에 따른 픽셀(PX)의 동작들을 예시적으로 보여주는 도면들이다.
도 4a을 참조하면, 픽셀(PX)은 롤링 셔터 동작을 수행할 수 있다. 롤링 셔터 방식에 의해 플로팅 디퓨전 노드(FD)의 신호를 대응하는 컬럼 라인(CL)으로 전달할 수 있다. 이때, 픽셀(PX)의 저장 유닛은 제 7 및 제 8 트랜지스터들(T7, T8)에 의해 비활성화될 수 있다.
도 4b을 참조하면, 픽셀(PX)은 글로벌 셔터 방식의 신호 덤프 동작을 수행할 수 있다. 리셋 전압에 대응하는 플로팅 디퓨전 노드(FD)의 전하는 제 1 커패시터(C1)에 저장되고, 픽셀 전압에 대응하는 플로팅 디퓨전 노드(FD)의 전하는 제 2 커패시터(C2)에 저장될 수 있다. 이 때, 픽셀(PX)의 피드백 노드(Z)가 플로팅 디퓨전 노드(FD)에 연결되지 않도록 트랜지스터(T8)가 오프 될 수 있다. 이때, 트랜지스터(T4)는 픽셀(PX)의 바이어싱을 유지하기 위한 전압(VPC, 예를 들어, ~ 0.4V)이 게이트에 인가될 수 있다.
도 4c를 참조하면, 픽셀(PX)은 글로벌 셔터 방식의 리드아웃 동작을 수행할 수 있다. 피드백 노드(Z)와 플로팅 디퓨전 노드(FD)를 연결한 상태에서, 제 1 커패시터(C1)에 저장된 리셋 전압과 제 2 커패시터(C2)에 저장된 픽셀 전압을 순차적으로 대응하는 컬럼 라인(CL)으로 리드아웃 할 수 있다. 이때, 트랜지스터(T4)는 픽셀(PX)의 전압을 컬럼 라인(CL)을 전달하기 위한 전압(VPC, 예를 들어, ~ 3.7V)이 게이트에 인가될 수 있다.
도 5는 본 발명의 실시 예에 따른 픽셀(PX)의 동작 방법을 예시적으로 보여주는 타이밍도이다. 도 5를 참조하면, 픽셀(PX)의 동작은 크게 글로벌 신호 덤프 동작과 롤링 리드아웃 동작으로 구분될 수 있다.
글로벌 신호 덤프 동작에서, 제 1 스위치 신호(SW1)는 하이 레벨을 갖고, 제 2 스위치 신호(SW2)는 로우 레벨을 갖는다. 즉, 하이 레벨의 제 1 스위치 신호(SW1)에 의해 트랜지스터(T7)가 턴-온 됨으로써, 저장 유닛(도 3 참조, T5, T6, C1, C2)은 소스 팔로워 트랜지스터(T3)의 일단에 연결될 수 있다. 이때, 픽셀(PX)의 바이어싱을 위하여 프리차지 신호(VPC)는 바이어스 전압(VB)의 레벨을 갖는다. 여기서 바이어스 전압(VB)은 OV 보다 크고 전원전압(VDD)보다 낮을 수 있다.
도 5에 도시된 바와 같이, 글로벌 신호 덤프 동작에서 소정의 구간 동안 리셋 신호(RG)가 하이 레벨을 갖고, 전달 신호(TC)가 로우 레벨 상태를 유지함으로써, 플로팅 디퓨전 노드(FD)는 리셋 전압으로 충전될 수 있다. 이후에 제 1 샘플링 신호(SMP1)가 사전에 결정된 시간 동안 하이 레벨을 가짐으로써, 플로팅 디퓨전 노드(FD)의 리셋 전압은 소스 팔로워 트랜지스터(T3)에 의해 증폭되고, 증폭된 전압은 제 1 커패시터(C1)에 저장될 수 있다. 이후에 리셋 신호(RG)는 로우 레벨을 갖고, 소정의 구간 동안 전달 신호(TG)가 하이 레벨을 유지함으로써, 플로팅 디퓨전 노드(FD)는 포토다이오드(PD)로부터 전달된 전하에 의해 픽셀 전압으로 충전될 수 있다. 이후에 제 2 샘플링 신호(SMP2)가 사전에 결정된 시간 동안 하이 레벨을 가짐으로써, 플로팅 디퓨전 노드(FD)의 픽셀 전압은 소스 팔로워 트랜지스터(T3)에 의해 증폭되고, 증폭된 전압은 제 2 커패시터(C2)에 저장될 수 있다. 상술된 글로벌 신호 덤프 동작은 모든 로우들에 동시에 수행될 수 있다.
이후에, 로우들의 각각에 대하여 롤링 리드아웃 동작이 수행될 수 있다. 도 5에 도시된 바와 같이, 롤링 리드아웃 동작에서, 제 1 스위치 신호(SW1)는 로우 레벨을 갖고, 제 2 스위치 신호(SW2)는 하이 레벨을 갖는다. 즉, 하이 레벨의 제 2 스위치 신호(SW2)에 의해 트랜지스터(T8)가 턴-온 됨으로써, 저장 유닛(도 3 참조, T5, T6, C1, C2)은 플로팅 디퓨전 노드(FD)에 연결될 수 있다. 이때, 픽셀(PX)의 데이터를 전달하기 위하여 프리차지 신호(VPC)는 전원전압(VDD)의 레벨을 가질 수 있다.
제 1 스위치 신호(SW1)가 로우 레벨이고 제 2 스위치 신호(SW2)가 하이 레벨을 상태를 유지하고, 리셋 신호(RG)가 하이 레벨에서 로우 레벨으로 될 때, 피드백 노드(Z)는 프리차지 될 수 있다. 이후에, 제 1 샘플링 신호(SMP1)가 사전에 결정된 시간 동안에 하이 레벨을 가질 수 있다. 이때, 제 1 커패시터(C1)에 저장된 리셋 전압은 플로팅 디퓨전 노드(FD)에 전달되고, 플로팅 디퓨전 노드(FD)의 리셋 전압은 소스 팔로워 트랜지스터(T3)에 의해 증폭되고, 증폭된 전압은 트랜지스터(T4)에 의해 대응하는 컬럼 라인(CL)으로 전달될 수 있다. 컬럼 라인(CL)에 전달된 리셋 전압은 제 1 아날로그 디지털 변환 동작(RST ADC)에 의해 디지털값으로 변환될 수 있다.
이후에, 리셋 신호(RG)가 하이 레벨 상태가 되고, 사전에 결정된 시간 이후에 전달 신호(TG)로 하이 레벨 상태가 된다. 이로써, 플로팅 디퓨전 노드(FD)와 포토다이오드(PD)가 리셋되고, 이때, 제 2 스위치 신호(SW2)가 하이 레벨 상태이기 때문에 피드백 노드(Z)는 프리차지(즉, 리셋) 될 수 있다. 이후에, 제 2 샘플링 신호(SMP2)가 사전에 결정된 시간 동안에 하이 레벨을 가질 수 있다. 이때, 제 2 커패시터(C2)에 저장된 픽셀 전압은 플로팅 디퓨전 노드(FD)에 전달되고, 플로팅 디퓨전 노드(FD)의 픽셀 전압은 소스 팔로워 트랜지스터(T3)에 의해 증폭되고, 증폭된 전압은 트랜지스터(T4)에 의해 대응하는 컬럼 라인(CL)으로 전달될 수 있다. 컬럼 라인(CL)에 전달된 픽셀 전압은 제 2 아날로그 디지털 변환 동작(SIG ADC)에 의해 디지털값으로 변환될 수 있다. 이후에, 사전에 결정된 시간 이후에 전달 신호(TG)로 하이 레벨 상태가 될 수 있다. 이후에 리셋 신호(RC)가 하이 레벨을 가질 수 있다.
도 6은 본 발명의 실시 예에 따른 이미지 센서의 동작 방법을 예시적으로 보여주는 흐름도이다. 도 1 내지 도 6를 참조하면, 이미지 센서(100)의 동작 방법은 다음과 같이 진행될 수 있다. 이미지 센서(100)는 셔터 모드를 선택할 수 있다(S110). 여기서 셔터 모드는 글로벌 셔터 방식 및 롤링 셔터 방식 중 어느 하나일 수 있다. 셔터 모드가 글로벌 셔터 방식일 때, 모든 로우들에 대하여 글로벌 덤프동작이 수행될 수 있다(S120). 예를 들어, 글로벌 셔터 동작을 수행할 때, 픽셀들의 각각에서 소스 팔로워 트랜지스터(T3, 도 3 참조)를 경유하여 리셋 전압 및 픽셀 전압은 대응하는 커패시터들(C1, C2, 도 3 참조)로 덤핑될 수 있다. 이후에, 로우들의 각각에 대하여 롤링 리드아웃 동작이 수행될 수 있다(S130). 예를 들어, 픽셀들의 각각에서 커패시터들(C1, C2)에 저장된 리셋 전압 및 픽셀 전압은 소스 팔로워 트랜지스터(T3)를 경유하여 리드아웃될 수 있다. 여기서 글로벌 신호 덤프 동작과 롤링 리드아웃 동작은 도 5에서 설명된 바와 동일할 수 있다.
실시 예에 있어서, 롤링 셔터 동작에서 커패시터들(C1, C2)은 소스 팔로워 트랜지스터(T3)로부터 분리 될 수 있다. 실시 예에 있어서, 글로벌 덤핑 동작에서 소스 팔로워 트랜지스터(T3)에 흐르는 전류는 일정하게 바이어싱될 수 있다. 실시 예에 있어서, 롤링 리드아웃 동작을 수행할 때, 소스 팔로워 트랜지스터(T3)의 게이트와 피드백 노드(Z, 도 3 참조)는 연결 될 수 있다. 실시 예에 있어서, 롤링 리드아웃 동작에서 커패시터들(C1, C2)에 저장된 전압들을 출력하기 전에, 피드백 노드(Z)는 프리차지 될 수 있다.
한편, 본 발명의 실시 예에 따른 픽셀은 신호 덤프 동작의 바이어싱 기능과 리드아웃 동작의 기능을 분리하기 위한 선택 트랜지스터를 더 포함할 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 픽셀(PXa)을 예시적으로 보여주는 도면이다. 도 7를 참조하면, 픽셀(PXa)은, 도 3에 도시된 픽셀(PX)과 비교하여 선택 신호(SEL)에 응답하여 제 1 노드(N1)를 대응하는 컬럼 라인(CL)로 연결하는 제 9 트랜지스터(T9, 혹은 선택 트랜지스터)를 더 포함할 수 있다. 이때, 제 4 트랜지스터(T4)는 픽셀(PXa)의 바이어스 기능만을 전용으로 수행할 수 있다. 트랜지스터(T9)에 의하여 컬럼 라인(CL)에 출력하는 전압(VOUT)은 픽셀 전압 혹은 리셋 전압일 수 있다.
도 8은 도 7에 도시된 픽셀(PXa)의 동작을 예시적으로 설명하는 타이밍도이다. 도 8를 참조하면, 픽셀(PXa)의 동작은 도 5에 도시된 타이밍과 비교하여 프리차지 신호(VPC)가 다르고, 선택 신호(SEL)가 추가될 수 있다. 프리차지 신호(VPC)는 글로벌 신호 덤프 동작에서 바이어스 전압(VB)의 레벨을 갖고, 롤링 리드아웃 동작에서 접지 전압(GND)의 레벨을 갖는다. 또한, 선택 신호(SEL)은 글로벌 신호 덤프 동작에서 로우 레벨을 갖고, 롤링 리드아웃 동작에서 하이 레벨을 갖는다. 하이 레벨의 선택 신호(SEL)에 응답하여 트랜지스터(T9)가 턴-온 됨으로써, 제 1 노드(N1)에 증폭된 픽셀 전압 혹은 증폭된 리셋 전압이 대응하는 컬럼 라인(CL)로 전달될 수 있다.
한편, 본 발명의 실시 예에 따른 픽셀은 2PD 동작을 위한 3개의 커패시터 구조로 구현될 수 있다.
도 9는 본 발명의 또 다른 실시 예에 따른 픽셀(PXb)을 예시적으로 보여주는 도면이다. 도 9를 참조하면, 픽셀(PXa)은, 도 7에 도시된 픽셀(PXa)과 비교하여 제 1 포토다이오드(PD1)에 연결된 트랜지스터(T1-1, 혹은 제 1 전달 트랜지스터), 제 2 포토다이오드(PD2)에 연결된 트랜지스터(T1-2, 제 2 전달 트랜지스터), 제 1 포토다이오드(PD1)에 대응하는 제 1 픽셀 전압을 저장하는 제 2 커패시터(C2), 제 3 포토다이오드(PD2)에 대응하는 제 2 픽셀 전압을 저장하는 제 3 커패시터(C3), 피드백 노드(Z)와 제 2 커패시터(C2)를 연결하는 트랜지스터(T6-1, 혹은 제 2 샘플링 트랜지스터), 및 피드백 노드(Z)와 제 3 커패시터(C3)를 연결하는 트랜지스터(T6-2, 제 3 샘플링 트랜지스터)를 갖는 차이점을 갖는다.
도 10은 도 9에 도시된 픽셀(PXb)의 동작을 예시적으로 설명하는 타이밍도이다. 도 10를 참조하면, 픽셀(PXb)의 동작은 도 8에 도시된 타이밍과 비교하여 제 2 전달 신호(TG2) 및 제 3 샘플링 신호(SMP2)를 추가할 수 있다.
한편, 본 발명의 실시 예에 따른 픽셀은 조도 환경(고조도/저조도)에 따라 선택적으로 이용 가능한 커패시터를 더 포함할 수 있다.
도 11은 본 발명의 또 다른 실시 예에 따른 픽셀(PXc)을 예시적으로 보여주는 도면이다. 도 11을 참조하면, 픽셀(PXc)은 도 7에 도시된 픽셀(PXa)과 비교하여 고조도에서 픽셀 전압을 추가적으로 저장하는 제 3 커패시터(C3, 혹은 제 3 저장 유닛)와 플로팅 노드(Z)에 연결하는 트랜지스터(T6-2, 혹은 제 3 샘플링 트랜지스터)를 추가할 수 있다.
실시 예에 있어서, 픽셀(PXc)은 글로벌 신호 덤프 동작에서 조도값이 저조도일 때 샘플링 트랜지스터(T6-1)에 의해 제 2 커패시터(C2)에 픽셀 전압을 저장할 수 있다. 실시 예에 있어서, 픽셀(PXc)은 글로벌 신호 덤프 동작에서 조도값이 고조도일 때 샘플링 트랜지스터(T6-2)에 의해 제 3 커패시터(C3)에 픽셀 전압을 저장할 수 있다. 이때 제 3 커패시터(C3)의 용량은 제 2 커패시터(C)의 용량보다 클 수 있다.
다른 실시 예에 있어서, 픽셀(PXc)은 고조도일 경우 샘플링 트랜지스터들(T6-1, T6-2)에 의해 2개의 커패시터들(C2, C3)에 픽셀 전압을 저장할 수도 있다.
한편, 본 발명의 실시 예에 따른 픽셀은 적외선(Infrared Ray; IR) 센서 구조로 구현될 수 있다.
도 12a는 본 발명의 실시 예에 따른 IR 픽셀(PXd)을 예시적으로 보여주는 도면이고, 도 12b는 본 발명의 IR 픽셀(PXd)의 동작 타이밍을 예시적으로 보여주는 도면이다.
도 12a를 참조하면, IR 픽셀(PXd)은 도 7에 도시된 픽셀(PXa)과 비교하여 변환 이득 트랜지스터(T10) 및 프리차지 선택 트랜지스터(T11)를 추가한 구조이다.
변환 이득 트랜지스터(T10)는 변환 이득 신호(DCG)에 응답하여 턴-온 될 수 있다. 예를 들어, 조도값이 고조도일 때, 변환 이득 신호(DGC)는 하이 레벨 상태를 가질 수 있다. 따라서, 변환 이득 트랜지스터(T10)은, 고조도 상황에서 플로팅 디퓨전 노드(FD)의 용량을 증대시킬 수 있다.
프리차지 선택 트랜지스터(T11)는 프리차지 선택 신호(PSEL)에 응답하여 턴-온 될 수 있다.
도 12b를 참조하면, IR 픽셀(PXd)의 동작은 도 8에 도시된 타이밍과 비교하여 프리차지 신호(VPC) 및 프리차지 선택 신호(PSEL)가 추가 되고 있다. 프리차지 신호(VPC)는 글로벌 신호 덤프 동작 및 롤링 리드아웃 동작에서 바이어스 전압(VB)의 레벨을 갖는다. 실시 예에 있어서, 바이어스 전압(VB)은 0.4V 근방일 수 있다. 한편, 본 발명의 바이어스 전압(VB)이 여기에 제한되지 않는다고 이해되어야 할 것이다. 프리차지 트랜지스터(T4)는 바이어스 전압(VB)을 갖는 프리차지 신호(VPC)에 의해 항상 턴-온 상태를 유지할 수 있다. 또한, 프리차지 선택 신호(PSEL)는 글로벌 신호 덤프 동작에서 하이 레벨을 갖고, 롤링 리드아웃 동작에서 로우 레벨을 갖는다. 상술된 바와 같이, 신호 덤프 동작의 바이어스 기능과 리드아웃 동작의 프리차지 선택 기능을 분리시킴으로써 IR 픽셀(PXd)의 동작에서 보다 안정적으로 바이어싱을 유지할 수 있다. 한편, 도 12a에서 플로팅 디퓨전 노드(FD)의 용량은 하나의 변환 이득 트랜지스터(T10)에 의해 증대되고 있다. 하지만, 본 발명이 여기에 제한될 필요는 없다. 본 발명의 픽셀은 복수의 트랜지스터들을 부가하여 플로팅 디퓨전 노드(DF)의 용량을 환경에 따라 가변시킬 수 있다.
도 13은 본 발명의 다른 실시 예에 따른 픽셀(PXe)을 예시적으로 보여주는 도면이다. 도 13를 참조하면, 픽셀(PXe)은 도 12a에 도시된 그것과 비교하여 직렬 연결된 변환 이득 트랜지스터들(T10-1, T10-2, 혹은, 변환 이득 트랜지스터들)을 추가한 구조이다. 변환 이득 트랜지스터들(T10-1, T10-2)은 대응하는 변환 이득 신호들(CGS1, CGS2)에 응답하여 턴-온 됨으로써 플로팅 디퓨전 노드(FD)의 용량을 가변할 수 있다.
한편, 본 발명의 실시 예에 따른 로우 라인들과 컬럼 라인이 교차하는 곳에 연결된 복수의 픽셀들은 다양한 컬러 패턴을 갖는 하나의 픽셀 그룹으로 구현될 수 있다.
도 14a는 2x2 베이어(bayer) 패턴으로 구성된 픽셀을 보여주는 도면이고, 도 14b는 4x4 테트라(tetra) 패턴으로 구성된 픽셀을 보여주는 도면이고, 도 14c는 8x8 Q-cell 패턴으로 구성된 픽셀을 보여주는 도면이고, 도 14d는 적외선(Infrared,IR) 서브 픽셀을 갖는 픽셀을 보여주는 도면이다.
한편, 도 14a, 도 14b, 도 14c 및 도 14d에 도시된 베이어 패턴은, 레드 서브 픽셀(R), 블루 서브 픽셀(B), 그린 서브 픽셀(G)을 포함하고 있다. 하지만, 본 발명의 베이어 패턴이 여기에 제한되지 않는다고 이해되어야 할 것이다. 본 발명의 베이어 패턴은, 레드 서브 픽셀(R), 블루 서브 픽셀(B), 그린 서브 픽셀(G), 혹은 화이트 서브 픽셀(W)을 적절하게 배치함으로써 다양하게 구성될 수 있다.
한편, 본 발명의 실시 예에 따른 픽셀 그룹은 다양한 크기의 렌즈를 포함할 수 있다.
도 15a는 각 컬러 서브 픽셀에 대응하는 렌즈를 구비하는 테트라 픽셀을 보여주는 도면이고, 도 15b는 4개의 동일 컬러 서브 픽셀들에 대응하는 렌즈를 구비하는 테트라 픽셀을 보여주는 도면이고, 도 15c는 1x1 서브 픽셀에 대응하는 렌즈를 구비하는 4x4 컬러 필터 픽셀을 보여주는 도면이고, 도 15d는 2x2 서브 픽셀에 대응하는 4x4 컬러 필터 픽셀을 보여주는 도면이고, 도 15e는 4x4 서브 픽셀에 대응하는 4x4 컬러 필터 픽셀을 보여주는 도면이다.
한편, 도 15a, 도 15b, 도 15c, 도 15d, 및 도 15e에 도시된 컬러 필터 픽셀 및 그것에 대응하는 렌즈의 크기는 실시 예들에 불과하다고 이해되어야 할 것이다.
한편, 본 발명의 실시 예에 따른 픽셀은 하나의 플로팅 확산 영역을 공유하는 2-PD 구조로 구현될 수 있다.
도 16a 및 도 16b는 2-PD 구조의 픽셀들을 예시적으로 보여주는 도면들이다. 도 16a을 참조하면, 2-PD 픽셀은 In-Pixel DTI(Deep Trench Isolation)에 의해 좌측 PD와 우측 PD를 분리하고, 도 16b을 참조하면 2-PD 픽셀은 PN 정션에 의해 좌측 PD와 우측 PD를 분리할 수 있다.
플로팅 확산 영역(FD)은 픽셀에 배치된 한 쌍의 좌측 PD와 우측 PD와 공통으로 연결될 수 있다. 즉, 제 1 플로팅 확산 영역(FD1)은 4개의 광전 변환 소자들과 공통으로 연결될 수 있다. 플로팅 확산 영역(FD)은 예를 들어, N형의 불순물을 포함할 수 있다. 제 1 픽셀(PX1)의 기판 상에 배치된 제 1 및 제 2 전달 게이트(TG1, TG2) 및 제 2 픽셀(PX2)의 기판 상에 배치된 제 1 및 제 2 전달 게이트들(TG1, TG2)은 플로팅 확산 영역(FD)을 공유할 수 있다.
한편, 본 발명의 실시 예에 따른 로우 라인들과 컬럼 라인들이 교차하는 지점에 연결된 복수의 픽셀 그룹들이 배치될 수 있다. 복수의 픽셀 그룹들의 각각은 복수의 픽셀들을 포함할 수 있다. 이때, 픽셀 그룹의 픽셀의 크기는 서로 다르게 구현될 수 있다.
도 17a 및 도 17b는 서로 다른 크기로 구현된 픽셀 그룹을 예시적으로 보여주는 도면들이다. 도 17a을 보면, 동일 크기의 픽셀들로 구현된 베이어 패턴과 크기가 다른 적어도 하나의 픽셀을 갖는 베이어 패턴이 도시되고 있다. 도 17b를 참조하면, 동일 크기의 픽셀들로 구현된 테트라 패턴과 적어도 하나의 픽셀의 크기가 다른 테트라 패턴이 도시되고 있다.
도 18은 본 발명의 실시 예에 따른 이미징 장치(200)을 예시적으로 보여주는 도면이다. 도 18을 참조하면, 이미징 장치(200)는 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 버퍼 메모리(250), 혹은 이미지 신호 프로세서(260)를 포함할 수 있다.
렌즈 어셈블리(210)는 이미지 촬영의 대상 인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 혹은 그 이상의 렌즈들을 포함할 수 있다. 실시 예에 있어서, 이미징 장치(200)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 이미징 장치(200)은, 예를 들어, 듀얼 카메라, 360도 카메라, 혹은 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(210)들 중 일부는 동일한 렌즈 속성(예: 화각(FoV), 초점 거리, 자동 초점, f 넘버(number), 혹은 광학 줌)을 갖거나, 혹은 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들어, 광각 렌즈 혹은 망원 렌즈를 포함할 수 있다.
플래쉬(220)는 피사체로부터 방출 혹은 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 실시 예에 있어서, 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 혹은 ultraviolet LED), 혹은 xenon lamp를 포함할 수 있다. 이미지 센서(230)는 피사체로부터 방출 혹은 반사되어 렌즈 어셈블리(210)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 피사체에 대응하는 이미지를 획득할 수 있다. 실시 예에 있어서, 이미지 센서(230)는, 예를 들어, RGB 센서, BW(black and white)센서, IR 센서, 혹은 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 혹은 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)는 도 1 내지 도 17에서 설명된 픽셀 혹은 그것을 갖는 이미지 센서로 구현될 수 있다. 실시 예에 있어서, 복수의 이미지 센서들 각각의 해상도는 서로 같거나, 혹은 서로 다를 수 있다. 복수의 이미지 센서들 각각의 해상도가 서로 다르다는 것은, 복수의 이미지 센서들 각각에 포함된 픽셀들의 개수가 서로 다름을 의미할 수 있다. 예를 들어, 복수의 이미지 센서들 중 제 1 이미지 센서는 12만 화소의 픽셀을 포함하고, 복수의 이미지 센서들 중 제 2 이미지 센서는 8 만 화소(즉, 화소수가 3:2비율)를 포함할 수 있다. 이 경우, 카메라 모듈(180)이 5개의 ISP를 포함하는 경우, 제 1 이미지 센서의 이미지 프레임 데이터는 5개의 ISP 중에서 제 1 ISP 내지 제 3 ISP에 의하여, 제 2 이미지 센서의 이미지 프레임 데이터는 상기 5개의 ISP 중에서 제 4 ISP 내지 제 5 ISP에 의하여 처리될 수 있다.
실시 예에 있어서, 제 2 이미지 센서가 작동하지 않고, 제 1 이미지 센서만 작동하는 경우, 제 1 이미지 센서의 이미지 프레임 데이터는 상기 5개의 ISP 전부에 기반하여 처리될 수 있다. 실시 예에 있어서, 복수의 이미지 센서들은 서로 다른 종류의 이미지 프레임 데이터를 출력할 수 있다. 예를 들어, 복수의 이미지 센서들은 서로 다른 색상의 이미지 프레임 데이터를 출력할 수 있다. 예를 들어, 제 1 이미지 센서는 컬러 이미지 센서, 제 2 이미지 센서는 흑백 이미지 센서일 수 있다. 이 경우, 제 1 이미지 센서의 이미지 프레임 데이터는 '컬러 인터폴레이션', '화이트 밸런스'등의 처리를 제 2 이미지 센서의 이미지 프레임 데이터보다 더 많이 요구할 수 있다. 따라서, 제 1 이미지 센서 및 제 2 이미지 센서가 동일한 해상도를 가지고, 이미징 장치(200)이 5개의 ISP를 포함하는 경우, 5개의 ISP 중에서 4개는 제 1 이미지 센서의 이미지 프레임 데이터를 처리하고, 나머지 1개는 제 2 이미지 센서의 이미지 프레임 데이터를 처리할 수 있다.
이미지 스태빌라이저(240)는 이미징 장치(200) 혹은 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 혹은 이미지 센서(230)를 특정한 방향으로 움직이거나 이미지 센서(230)의 동작 특성을 제어(예: 리드아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 실시 예에 있어서, 이미지 스태빌라이저(240)는, 실시 예에 있어서, 이미지 스태빌라이저(240)은 이미징 장치(200)의 내부 혹은 외부에 배치된 자이로 센서 혹은 가속도 센서를 이용하여 이미징 장치(200) 혹은 전자 장치(101)의 그런 움직임을 감지할 수 있다. 실시 예에 있어서, 이미지 스태빌라이저(240)는, 예를 들어, 광학식 이미지 스태빌라이저로 구현될 수 있다.
메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 혹은 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 혹은 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰 될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 혹은 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들어, 이미지 신호 프로세서(260)에 의해 획득되어 처리될 수 있다. 실시 예에 있어서, 메모리(250)는 메모리(130)의 적어도 일부로, 혹은 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 신호 프로세서(260)는 이미지 센서(230)을 통하여 획득된 이미지 혹은 메모리(250)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 하나 이상의 이미지 처리들은, 예를 들어, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 혹은 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 혹은 소프트닝(softening)을 포함할 수 있다. 추가적으로 혹은 대체적으로, 이미지 신호 프로세서(260)는 이미징 장치(200)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 혹은 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 신호 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 이미징 장치(200)의 외부 구성 요소로 제공될 수 있다.
도 19는 본 발명의 실시 예에 따른 멀티 카메라 모듈을 갖는 전자 장치를 예시적을 보여주는 도면이다. 도 19를 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(Power Management Integrated Circuit; 1300) 및 메모리(1400)를 포함할 수 있다.
카메라 모듈 그룹(1100)은 복수의 카메라 모듈들(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈들(1100a, 1100b, 1100c)이 배치된 실시 예가 도시되어 있으나, 실시 예들이 이에 제한되는 것은 아니다. 실시 예에 있어서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈들만을 포함하도록 변형되어 실시될 수 있다. 또한, 실시 예에 있어서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈들을 포함하도록 변형되어 실시될 수도 있다.
도 20은 도 19에 도시된 카메라 모듈(1100b)의 상세 구성을 보여주는 도면이다. 이하의 설명은 실시 예에 따라 다른 카메라 모듈들(1100a, 1100b)에 대해서도 동일하게 적용될 수 있다. 도 20를 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element; OPFE)(1110), 액츄에이터(1130), 이미징 장치(1140) 및 저장부(1150)를 포함할 수 있다.
프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다. 실시 예에 있어서, 프리즘(1105)은 제 1 방향(X)으로 입사되는 광(L)의 경로를 제 1 방향(X)에 수직인 제 2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제 1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제 2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제 1 방향(X)및 제 2 방향(Y)과 수직인 제 3 방향(Z)로 이동할 수 있다. 실시 예에 있어서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시 예들이 이에 제한되는 것은 아니다. 실시 예에 있어서, 프리즘(1105)은 플러스(+) 혹은 마이너스(-) B방향으로 20도 내외, 혹은 10도에서 20도, 혹은 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 혹은 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다. 실시 예에 있어서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제 3 방향(예를 들어, Z방향)으로 이동할 수 있다.
OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제 2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고 할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 혹은 5Z 혹은 5Z 이상의 광학 줌 배율로 변경될 수 있다.
액츄에이터(1130)는 OPFE(1110) 혹은 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.
이미징 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)을 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱 할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.
메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별 (혹은 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.
저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미징 장치(1140)의 외부에 배치될 수 있으며, 이미징 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 실시 예에 있어서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시 예들이 이에 제한되는 것은 아니다.
도 19과 도 20을 함께 참조하면, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액츄에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액츄에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다. 실시 예에 있어서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티컬(vertical) 형태의 카메라 모듈일 수 있으나, 실시 예들이 이에 제한되는 것은 아니다.
실시 예에 있어서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 혹은 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다. 실시 예에 있어서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다. 또한, 실시 예에 있어서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다. 실시 예에 있어서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.
도 19을 다시 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 제어기(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다. 이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 제어기(1216)를 포함할 수 있다. 또한, 이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.
각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시 예들이 이에 제한되는 것은 아니다.
실시 예에 있어서, 하나의 서브 이미지 프로세서가 복수의의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다. 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 혹은 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다. 구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 혹은 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 혹은 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.
실시 예에 있어서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 실시 예에 있어서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다. 이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제 1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제 1 신호와 다른 제 2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시 예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.
실시 예에 있어서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로써, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다. 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나는 도 1 내지 도 10에 설명된 바와 같이, 카메라 모듈들(1100a, 1100b, 1100c) 중 적어도 하나에서 아날로그 동작을 수행할 때 디지털 클록 분산을 수행하도록 구현될 수 있다.
카메라 모듈 제어기(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 제어기(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다. 또한, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 혹은 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.
줌 팩터 혹은 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.
실시 예에 있어서, 카메라 모듈 제어기(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 제어기(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.
실시 예에 있어서, 카메라 모듈 제어기(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제 1 동작 모드 및 제 2 동작 모드로 동작할 수 있다.
복수의 카메라 모듈(1100a, 1100b, 1100c)은 제 1 동작 모드에서, 제 1 속도로 이미지 신호를 생성(예를 들어, 제 1 프레임 레이트의 이미지 신호를 생성)하여 이를 제 1 속도보다 높은 제 2 속도로 인코딩(예를 들어, 제 1 프레임 레이트보다 높은 제 2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제 2 속도는 제 1 속도의 30배 이하일 수 있다.
애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 혹은 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 혹은 스토리지(1400)로부터 인코딩된 이미지 신호를 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이 할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.
복수의 카메라 모듈들(1100a, 1100b, 1100c)은 제 2 동작 모드에서, 제 1 속도보다 낮은 제 3 속도로 이미지 신호를 생성(예를 들어, 제 1 프레임 레이트보다 낮은 제 3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩 되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 혹은 이미지 신호를 메모리(1230) 혹은 스토리지(1400)에 저장할 수 있다.
PMIC(1300)는 복수의 카메라 모듈들(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제 1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제 2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제 3 전력을 공급할 수 있다. PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈들(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈들(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 혹은 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.
도 21a 및 도 21은 본 발명의 실시 예에 따른 이미징 장치들을 예시적으로 보여주는 도면들이다. 도 21a를 참조하면, 본 발명의 실시 예에 따른 이미징 장치(10)는 제 1 레이어(11), 제 1 레이어(11)의 하부에 마련되는 제 2 레이어(12) 및 제 2 레이어(12)의 하부에 마련되는 제 3 레이어(13) 등을 포함할 수 있다. 제 1 레이어(11)와 제 2 레이어(12) 및 제 3 레이어(13)는 서로 수직하는 방향에서 적층될 수 있다. 실시 예에 있어서, 제 1 레이어(11)와 제 2 레이어(12)는 웨이퍼 레벨에서 서로 적층되고, 제 3 레이어(13)는 칩 레벨에서 제 2 레이어(12)의 하부에 부착될 수 있다. 제 1 내지 제 3 레이어들(11-13)은 하나의 반도체 패키지로 제공될 수 있다. 제 1 레이어(11)는 복수의 픽셀들(PX)이 마련되는 센싱 영역(SA)과, 센싱 영역(SA) 주변에 마련되는 제 1 패드 영역(PA1)을 포함할 수 있다. 제 1 패드 영역(PA1)에는 복수의 상부 패드들(PAD)이 포함되며, 복수의 상부 패드들(PAD)은 비아(VIA) 등을 통해 제 2 레이어(12)의 제 2 패드 영역(PA2)에 마련된 패드들 및 제어 로직(LC)과 연결될 수 있다.
복수의 픽셀들(PX) 각각은 빛을 받아들여 전하를 생성하는 포토다이오드와, 포토다이오드가 생성한 전하를 처리하는 픽셀 회로 등을 포함할 수 있다. 픽셀 회로는 포토다이오드가 생성한 전하에 대응하는 전압을 출력하기 위한 복수의 트랜지스터들을 포함할 수 있다.
제 2 레이어(12)는 제어 로직(LC)을 제공하는 복수의 소자들을 포함할 수 있다. 제어 로직(LC)에 포함되는 복수의 소자들은, 제 1 레이어(11)에 마련된 픽셀 회로를 구동하기 위한 회로들, 예를 들어 로우 드라이버, 칼럼 드라이버, 및 타이밍 제어기 등을 제공할 수 있다. 제어 로직(LC)에 포함되는 복수의 소자들은 제 1 및 제 2 패드 영역들(PA1, PA2)을 통해 픽셀 회로와 연결될 수 있다. 제어 로직(LC)은 복수의 픽셀들(PX)로부터 리셋 전압 및 픽셀 전압을 획득하여 픽셀 신호를 생성할 수 있다.
실시 예에 있어서, 복수의 픽셀들(PX) 중 적어도 하나는 동일한 레벨에 배치되는 복수의 포토다이오드들을 포함할 수 있다. 복수의 포토다이오드들 각각의 전하로부터 생성된 픽셀 신호들은 서로 위상차를 가질 수 있으며, 제어 로직(LC)은 하나의 픽셀(PX)에 포함된 복수의 포토다이오드들로부터 생성한 픽셀 신호들의 위상차에 기초하여 자동 초점 기능을 제공할 수 있다.
제 2 레이어(12)의 하부에 마련되는 제 3 레이어(13)는 메모리 칩(MC)과 더미 칩(DC), 및 메모리 칩(MC)과 더미 칩(DC)을 밀봉하는 보호층(EN)을 포함할 수 있다. 메모리 칩(MC)은 동적 랜덤 액세스 메모리(DRAM) 혹은 정적 랜덤 액세스 메모리(SRAM)일 수 있으며, 더미 칩(DC)은 데이터를 실제로 저장하는 기능은 갖지 않을 수 있다. 메모리 칩(MC)은 범프에 의해 제 2 레이어(12)의 제어 로직(LC)에 포함된 소자들 중 적어도 일부와 전기적으로 연결될 수 있으며, 자동 초점 기능을 제공하는 데에 필요한 정보를 저장할 수 있다. 실시 예에 있어서 범프는 마이크로 범프일 수 있다.
다음으로 도 21b을 참조하면, 본 발명의 다른 실시 예에 따른 이미징 장치(20)는 제 1 레이어(21)와 제 2 레이어(22)를 포함할 수 있다. 제 1 레이어(21)는 복수의 픽셀들(PX)이 마련되는 센싱 영역(SA)과, 복수의 픽셀들(PX)을 구동하기 위한 소자들이 마련되는 제어 로직(LC), 및 센싱 영역(SA)과 제어 로직(LC)의 주변에 마련되는 제 1 패드 영역(PA1)을 포함할 수 있다. 제 1 패드 영역(PA1)에는 복수의 상부 패드들(PAD)이 포함되며, 복수의 상부 패드들(PAD)은 비아(VIA) 등을 통해 제 2 레이어(22)에 마련된 메모리 칩(MC)과 연결될 수 있다. 제 2 레이어(22)는 메모리 칩(MC)과 더미 칩(DC), 및 메모리 칩(MC)과 더미 칩(DC)을 밀봉하는 보호층(EN)을 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 센서는 글로벌 덤프와 리드아웃을 하나의 소스 플로워 트랜지스터 구현하는 픽셀들을 구비함으로써, 픽셀 미세화를 달성할 수 있다.
한편, 상술된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.
100: 이미지 센서
T1 ~ T11: 트랜지스터
C1, C2, C3: 커패시터
PD, PD1, PD2: 포토다이오드
200: 이미징 장치
T1 ~ T11: 트랜지스터
C1, C2, C3: 커패시터
PD, PD1, PD2: 포토다이오드
200: 이미징 장치
Claims (20)
- 제 1 커패시터;
제 2 커패시터;
포토다이오드와 플로팅 디퓨전 노드 사이에 연결되고, 전달 신호를 수신하는 게이트를 갖는 제 1 트랜지스터;
제 1 전원단과 상기 플로팅 디퓨전 노드 사이에 연결되고, 리셋 신호를 수신하는 게이트를 갖는 제 2 트랜지스터;
제 2 전원단과 제 1 노드 사이에 연결되고, 상기 플로팅 디퓨전 노드에 연결되는 게이트를 갖는 제 3 트랜지스터;
상기 제 1 노드와 컬럼 라인 사이에 연결되고, 프리차지 신호를 수신하는 게이트를 갖는 제 4 트랜지스터;
상기 제 1 커패시터와 피드백 노드 사이에 연결되고, 제 1 샘플링 신호를 수신하는 게이트를 갖는 제 5 트랜지스터;
상기 제 2 커패시터와 상기 피드백 노드 사이에 연결되고, 제 2 샘플링 신호를 수신하는 게이트를 갖는 제 6 트랜지스터;
상기 제 1 노드와 상기 피드백 노드 사이에 연결되고, 제 1 스위치 신호를 수신하는 게이트를 갖는 제 7 트랜지스터; 및
상기 플로팅 디퓨전 노드와 상기 피드백 노드 사이에 연결되고, 제 2 스위치 신호를 수신하는 게이트를 갖는 제 8 트랜지스터를 포함하는 이미지 센서. - 제 1 항에 있어서,
상기 제 1 및 제 2 스위치 신호들에 의해 상기 제 7 트랜지스터 및 상기 제 8 트랜지스터를 턴-오프시킴으로써 롤링 셔터 동작이 수행되는 것을 특징으로 하는 이미지 센서. - 제 1 항에 있어서,
상기 제 1 스위치 신호에 의해 상기 제 7 트랜지스터를 턴-온 시키고, 상기 제 2 스위치 신호에 의해 상기 제 8 트랜지스터를 턴-오프시킨 상태에서, 글로벌 셔터 방식의 신호 덤프 동작에서 리셋 전압이 상기 제 1 커패시터로 저장되거나 픽셀 전압이 상기 제 2 커패시터로 저장되는 것을 특징으로 하는 이미지 센서. - 제 3 항에 있어서,
상기 신호 덤프 동작에서 프리차지 전압은 바이어스 전압인 것을 특징으로 하는 이미지 센서. - 제 4 항에 있어서,
상기 리셋 신호가 하이 레벨에서 로우 레벨로 변경된 후에, 사전에 결정된 시간 동안 상기 제 1 샘플링 신호를 하이 레벨을 갖게 함으로써, 상기 제 1 커패시터에 상기 리셋 전압이 저장되는 것을 특징으로 하는 이미지 센서. - 제 5 항에 있어서,
상기 리셋 신호가 로우 레벨을 유지하고, 상기 전달 신호가 하이 레벨에서 로우 레벨로 변경된 후에, 사전에 결정된 시간 동안 제 2 샘플링 신호를 하이 레벨을 갖게 함으로써, 상기 제 2 커패시터에 상기 픽셀 전압이 저장되는 것을 특징으로 하는 이미지 센서. - 제 1 항에 있어서,
상기 제 1 스위치 신호에 의해 상기 제 7 트랜지스터를 턴-오프 시키고, 상기 제 2 스위치 신호에 의해 상기 제 8 트랜지스터를 턴-온시킨 상태에서, 글로벌 셔터의 리드아웃 동작에서 상기 제 1 커패시터에 저장된 리셋 전압 혹은 상기 제 2 커패시터에 저장된 픽셀 전압이 상기 컬럼 라인으로 출력되는 것을 특징으로 하는 이미지 센서. - 제 7 항에 있어서,
상기 리드아웃 동작에서 상기 프리차지 신호는 전원 전압인 것을 특징으로 하는 이미지 센서. - 제 8 항에 있어서,
상기 피드백 노드를 프리차지 시킨 후, 사전에 결정된 시간 동안 제 1 샘플링 신호를 하이 레벨로 유지함으로써 리셋 전압이 상기 컬럼 라인으로 출력되는 것을 특징으로 하는 이미지 센서. - 제 9 항에 있어서,
상기 제 1 샘플링 신호가 하이 레벨에서 로우 레벨로 변경된 후에 상기 피드백 노드를 프리차지 시킨 후, 사전에 결정된 시간 동안 제 1 샘플링 신호를 하이 레벨로 유지함으로써 리셋 전압이 상기 컬럼 라인으로 출력되는 것을 특징으로 하는 이미지 센서. - 제 1 커패시터;
제 2 커패시터;
제 1 포토다이오드와 플로팅 디퓨전 노드 사이에 연결되고, 제 1 전달 신호를 수신하는 게이트를 갖는 제 1 전달 트랜지스터;
제 1 전원단과 상기 플로팅 디퓨전 노드 사이에 연결되고, 리셋 신호를 수신하는 게이트를 갖는 제 2 트랜지스터;
제 2 전원단과 제 1 노드 사이에 연결되고, 상기 플로팅 디퓨전 노드에 연결되는 게이트를 갖는 제 3 트랜지스터;
상기 제 1 노드와 접지단 사이에 연결되고, 프리차지 신호를 수신하는 게이트를 갖는 제 4 트랜지스터;
상기 제 1 커패시터와 피드백 노드 사이에 연결되고, 제 1 샘플링 신호를 수신하는 게이트를 갖는 제 1 샘플링 트랜지스터;
상기 제 2 커패시터와 상기 피드백 노드 사이에 연결되고, 제 2 샘플링 신호를 수신하는 게이트를 갖는 제 2 샘플링 트랜지스터;
상기 제 1 노드와 상기 피드백 노드 사이에 연결되고, 제 1 스위치 신호를 수신하는 게이트를 갖는 제 7 트랜지스터;
상기 플로팅 디퓨전 노드와 상기 피드백 노드 사이에 연결되고, 제 2 스위치 신호를 수신하는 게이트를 갖는 제 8 트랜지스터; 및
상기 제 1 노드와 컬럼 라인 사이에 연결되고, 선택 신호를 수신하는 게이트를 갖는 제 9 트랜지스터를 포함하는 이미지 센서. - 제 11 항에 있어서,
글로벌 셔터의 신호 덤프 동작에서, 상기 프리차지 신호는 바이어스 전압이고 상기 선택 신호는 로우 레벨을 가지고,
글로벌 셔터의 리드아웃 동작에서, 상기 프리차지 신호는 접지 전압이고, 상기 선택 신호는 하이 레벨을 갖는 것을 특징으로 하는 이미지 센서. - 제 11 항에 있어서,
제 2 포토다이오드와 상기 플로팅 디퓨전 노드 사이에 연결되고, 제 2 전달 신호를 수신하는 게이트를 갖는 제 2 전달 트랜지스터를 더 포함하는 이미지 센서. - 제 11 항에 있어서,
제 3 커패시터; 및
상기 제 3 커패시터와 상기 피드백 노드 사이에 연결되고, 제 3 샘플링 신호를 수신하는 게이트를 갖는 제 3 샘플링 트랜지스터를 더 포함하는 이미지 센서. - 제 11 항에 있어서,
상기 플로팅 디퓨전 노드의 영역을 가변하기 위하여 상기 제 2 트랜지스터와 상기 플로팅 디퓨전 노드 사이에 적어도 하나의 트랜지스터를 더 포함하는 이미지 센서. - 이미지 센서의 동작 방법에 있어서,
글로벌 셔터 동작 및 롤링 셔터 동작 중에서 어느 하나를 선택하는 단계;
상기 글로벌 셔터 동작을 수행할 때, 픽셀들의 각각에서 소스 팔로워 트랜지스터를 경유하여 리셋 전압 및 픽셀 전압을 대응하는 커패시터들로 덤핑하는 단계;
상기 픽셀들의 각각에서 상기 커패시터들에 저장된 상기 리셋 전압 및 상기 픽셀 전압을 상기 소스 팔로워 트랜지스터를 경유하여 리드아웃하는 단계를 포함하는 방법. - 제 16 항에 있어서,
상기 롤링 셔터 동작에서 상기 커패시터들을 상기 소스 팔로워 트랜지스터로부터 분리하는 단계를 더 포함하는 방법. - 제 16 항에 있어서,
상기 덤핑하는 단계는,
상기 소스 팔로워 트랜지스터에 흐르는 전류를 바이어싱 하는 단계를 포함하는 방법. - 제 16 항에 있어서,
상기 리드아웃하는 단계는,
상기 소스 팔로워 트랜지스터의 게이트와 피드백 노드를 연결하는 단계를 포함하는 방법. - 제 19 항에 있어서,
상기 리드아웃하는 단계는,
상기 피드백 노드를 프리차지하는 단계를 더 포함하는 방법.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210086455A KR20230006674A (ko) | 2021-07-01 | 2021-07-01 | 이미지 센서, 그것을 포함하는 이미지 장치 및 그것의 동작 방법 |
| US17/577,566 US11750942B2 (en) | 2021-07-01 | 2022-01-18 | Image sensor, an imaging device and a method of operating the same |
| TW111106748A TW202304190A (zh) | 2021-07-01 | 2022-02-24 | 影像感測器及其操作方法 |
| JP2022090318A JP2023008830A (ja) | 2021-07-01 | 2022-06-02 | イメージセンサ、イメージセンサを含むイメージ装置、及びイメージ装置の動作方法 |
| CN202210654834.9A CN115633267A (zh) | 2021-07-01 | 2022-06-10 | 图像传感器和操作图像传感器的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210086455A KR20230006674A (ko) | 2021-07-01 | 2021-07-01 | 이미지 센서, 그것을 포함하는 이미지 장치 및 그것의 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230006674A true KR20230006674A (ko) | 2023-01-11 |
Family
ID=84785754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210086455A KR20230006674A (ko) | 2021-07-01 | 2021-07-01 | 이미지 센서, 그것을 포함하는 이미지 장치 및 그것의 동작 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11750942B2 (ko) |
| JP (1) | JP2023008830A (ko) |
| KR (1) | KR20230006674A (ko) |
| CN (1) | CN115633267A (ko) |
| TW (1) | TW202304190A (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11750950B1 (en) * | 2022-05-26 | 2023-09-05 | Omnivision Technologies, Inc. | Voltage domain global shutter readout circuit timing |
| US20240107195A1 (en) * | 2022-09-23 | 2024-03-28 | Samsung Electronics Co., Ltd. | Image sensor and image processing device including the same |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006237944A (ja) | 2005-02-24 | 2006-09-07 | Fujitsu Ltd | ノイズを低減したイメージセンサ |
| GB2487740A (en) | 2011-02-01 | 2012-08-08 | Cmosis Nv | High Dynamic Range Pixel Structure |
| US9560296B2 (en) | 2014-12-05 | 2017-01-31 | Qualcomm Incorporated | Pixel readout architecture for full well capacity extension |
| WO2017022451A1 (ja) | 2015-07-31 | 2017-02-09 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置および電子機器 |
| US10154210B2 (en) * | 2016-09-07 | 2018-12-11 | Semiconductor Components Industries, Llc | Global shutter imaging pixels |
| EP3605606B1 (en) * | 2018-08-03 | 2022-06-15 | ams Sensors Belgium BVBA | Imaging system comprising an infrared light source and an image sensor |
| KR102618490B1 (ko) | 2018-12-13 | 2023-12-27 | 삼성전자주식회사 | 이미지 센서 및 이의 구동 방법 |
| US20210152771A1 (en) * | 2019-11-19 | 2021-05-20 | Semiconductor Components Industries, Llc | Backside illuminated global shutter image sensor with an analog memory charge coupled device |
| US11317042B2 (en) * | 2020-08-25 | 2022-04-26 | Pixart Imaging Inc. | Image sensor apparatus and processing circuit capable of preventing sampled reset/exposure charges from light illumination as well as achieving lower circuit costs |
-
2021
- 2021-07-01 KR KR1020210086455A patent/KR20230006674A/ko active Search and Examination
-
2022
- 2022-01-18 US US17/577,566 patent/US11750942B2/en active Active
- 2022-02-24 TW TW111106748A patent/TW202304190A/zh unknown
- 2022-06-02 JP JP2022090318A patent/JP2023008830A/ja active Pending
- 2022-06-10 CN CN202210654834.9A patent/CN115633267A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023008830A (ja) | 2023-01-19 |
| US20230007192A1 (en) | 2023-01-05 |
| CN115633267A (zh) | 2023-01-20 |
| TW202304190A (zh) | 2023-01-16 |
| US11750942B2 (en) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9099367B2 (en) | Image sensor and image processing device including the same | |
| US11445141B2 (en) | CDS circuit, operating method thereof, and image sensor including CDS circuit | |
| US11750942B2 (en) | Image sensor, an imaging device and a method of operating the same | |
| KR20210156458A (ko) | 이미지 센싱 장치 및 이를 포함하는 전자 장치 | |
| US11950011B2 (en) | Image sensor | |
| US11665444B2 (en) | Image sensor, pixel, and method of operating the pixel | |
| CN115225836A (zh) | 包括dram电容器的图像传感器及其操作方法 | |
| KR20220120049A (ko) | 이미지 센서 | |
| US20220394197A1 (en) | Image sensor including pixel including internal capacitor | |
| KR20220000761A (ko) | 이미지 센서 및 이미지 센서의 비닝 방법 | |
| KR20220169822A (ko) | 픽셀, 및 이를 포함하는 이미지 센서 | |
| US20220334357A1 (en) | Image sensor for zoom processing and electronic device including the same | |
| KR20230078460A (ko) | 이미지 센서 및 이미지 센서의 자동 초점 동작 방법 | |
| US20230005980A1 (en) | Image sensor | |
| US11924572B2 (en) | Image sensor, image device having the same, and operating method thereof | |
| US11825226B2 (en) | Image sensor and pixel array of image sensor | |
| US20230154945A1 (en) | Image sensor | |
| US20220408038A1 (en) | Image sensing device | |
| US11863893B2 (en) | Image sensor including auto-focus pixels that receive the same transmission control signal | |
| US20230269501A1 (en) | Image sensor, image sensing system, and image sensing method | |
| CN116193252A (zh) | 图像传感器 | |
| KR20230000673A (ko) | 듀얼 컨버전 게인을 이용한 노이즈 감소를 위한 이미지 처리 장치 및 그 동작 방법 | |
| KR20220144014A (ko) | 카메라 모듈 및 카메라 모듈의 동작 방법 | |
| CN114390192A (zh) | 用于提高图像分辨率的装置及其操作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |