KR20210076238A - 이미지 센서, 그것을 포함하는 이미지 장치 및 그것의 동작 방법 - Google Patents
이미지 센서, 그것을 포함하는 이미지 장치 및 그것의 동작 방법 Download PDFInfo
- Publication number
- KR20210076238A KR20210076238A KR1020190166534A KR20190166534A KR20210076238A KR 20210076238 A KR20210076238 A KR 20210076238A KR 1020190166534 A KR1020190166534 A KR 1020190166534A KR 20190166534 A KR20190166534 A KR 20190166534A KR 20210076238 A KR20210076238 A KR 20210076238A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- selection
- selection circuit
- pixels
- scan operation
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title abstract description 4
- 238000000034 method Methods 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 22
- 238000009792 diffusion process Methods 0.000 claims description 16
- 238000007667 floating Methods 0.000 claims description 16
- 238000012546 transfer Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000004065 semiconductor Substances 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 36
- 238000004891 communication Methods 0.000 description 34
- 230000000875 corresponding effect Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 101100191136 Arabidopsis thaliana PCMP-A2 gene Proteins 0.000 description 1
- 108091007871 OBI1 Proteins 0.000 description 1
- 102100035702 ORC ubiquitin ligase 1 Human genes 0.000 description 1
- 101100422768 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SUL2 gene Proteins 0.000 description 1
- 101100048260 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) UBX2 gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H04N5/378—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/74—Circuitry for scanning or addressing the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/767—Horizontal readout lines, multiplexers or registers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H04N5/341—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
본 발명에 따른 이미지 장치의 동작 방법은, 제 1 선택 회로와 제 1 리드아웃 회로에 의하여 복수의 로우 라인들과 복수의 컬럼 라인들 사이에 배치된 복수의 픽셀들을 갖는 픽셀 어레이에 대하여 제 1 방향으로 제 1 스캔 동작을 수행하는 단계, 제 2 선택 회로와 제 2 리드아웃 회로에 의하여 상기 픽셀 어레이에 대하여 상기 제 1 방향과 다른 제 2 방향으로 제 2 스캔 동작을 수행하는 단계, 및 이미지 신호 처리기에서 상기 제 1 스캔 동작에 대응하는 제 1 프레임 데이터와 상기 제 2 스캔 동작에 대응하는 제 2 프레임 데이터를 머지하는 단계를 포함할 수 있다.
Description
본 발명은 이미지 센서, 그것을 포함하는 이미지 장치, 및 그것의 동작 방법에 관한 것이다.
일반적으로, 이미지 센서는 광학 영상을 전기 신호로 변환시킨다. 최근 들어 컴퓨터 산업과 통신 산업의 발달에 따라 다양한 분야에서 성능이 향상된 이미지 센서의 수요가 증대하고 있다. 이미지 센서로는 전하 결합 소자(CCD: charge coupled device) 및 CMOS 이미지 센서가 있다. 이 중, CMOS(complementary metal-oxide-semiconductor) 이미지 센서는 구동 방식이 간편하고, 신호 처리 회로를 단일 칩에 집적할 수 있어 제품의 소형화가 가능하다. CMOS 이미지 센서는 전력 소모 또한 매우 낮아 배터리 용량이 제한적인 제품에 적용이 용이하다. 또한, CMOS 이미지 센서는 CMOS 공정 기술을 호환하여 사용할 수 있어 제조 단가를 낮출 수 있다. 따라서, CMOS 이미지 센서는 기술 개발과 함께 고해상도가 구현 가능함에 따라 그 사용이 급격히 늘어나고 있다.
본 발명의 목적은 전파 지연 영향을 줄이는 이미지 센서, 그것을 포함하는 이미지 장치 및 그것의 동작 방법을 제공하는데 있다.
본 발명의 실시 예에 따른 이미지 장치는, 복수의 로우 라인들과 복수의 컬럼 라인들 사이에 배치된 복수의 픽셀들을 갖는 픽셀 어레이; 상기 복수의 로우 라인들에 연결되고, 상기 복수의 로우 라인들 중에서 어느 하나를 선택하는 복수의 선택 회로들; 상기 복수의 선택 회로들 중에서 활성화된 어느 하나에 대응하여 활성화되고, 상기 복수의 컬럼 라인들에 연결되고, 상기 선택된 로우 라인과 상기 복수의 컬럼 라인들에 연결된 픽셀들로부터 픽셀 전압들을 수신하고, 상기 수신된 픽셀 전압들에 대응하는 픽셀 데이터를 출력하는 복수의 리드아웃 회로들; 및 상기 복수의 리드아웃 회로들로부터 상기 픽셀 어레이에 대응하는 복수의 프레임 데이터를 수신하고, 상기 복수의 프레임 데이터를 연산함으로써 하나의 프레임 데이터를 생성하는 이미지 신호 처리기를 포함하고, 상기 복수의 프레임 데이터는 상기 복수의 리드아웃 회로들 및 상기 복수의 선택 회로들에 의해 상기 픽셀 어레이가 적어도 2개의 방향들로 스캔됨으로써 생성되는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미지 센서는, 복수의 로우 라인들과 복수의 컬럼 라인들 사이에 배치된 복수의 픽셀들을 갖는 픽셀 어레이; 상기 픽셀 어레이의 하부에 배치되고, 상기 복수의 로우 라인들에 연결되고, 상기 복수의 로우 라인들 중에서 어느 하나를 선택하는 제 1 선택 회로; 상기 픽셀 어레이의 상부에 배치되고, 상기 복수의 로우 라인들에 연결되고, 상기 복수의 로우 라인들 중에서 어느 하나를 선택하는 제 2 선택 회로; 상기 픽셀 어레이의 좌측에 배치되고, 상기 제 1 선택 회로 및 상기 제 2 선택 회로 중에서 활성화된 어느 하나에 대응하여 활성화되고, 상기 복수의 컬럼 라인들에 연결되고, 상기 선택된 로우 라인과 상기 복수의 컬럼 라인들에 연결된 픽셀들로부터 픽셀 전압들을 수신하고, 상기 수신된 픽셀 전압들에 대응하는 픽셀 데이터를 출력하는 제 1 리드아웃 회로; 상기 픽셀 어레이의 우측에 배치되고, 상기 제 1 선택 회로 및 상기 제 2 선택 회로 중에서 활성화된 나머지 하나에 대응하여 활성화되고, 상기 복수의 컬럼 라인들에 연결되고, 상기 선택된 로우 라인과 상기 복수의 컬럼 라인들에 연결된 픽셀들로부터 픽셀 전압들을 수신하고, 상기 수신된 픽셀 전압들에 대응하는 픽셀 데이터를 출력하는 제 2 리드아웃 회로를 포함하고, 상기 제 1 선택 회로는 제 1 방향으로 선택 동작을 수행하고, 상기 제 2 선택 회로는 상기 제 1 방향과 다른 제 2 방향으로 선택 동작을 수행하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 이미지 장치의 동작 방법은, 제 1 선택 회로와 제 1 리드아웃 회로에 의하여 복수의 로우 라인들과 복수의 컬럼 라인들 사이에 배치된 복수의 픽셀들을 갖는 픽셀 어레이에 대하여 제 1 방향으로 제 1 스캔 동작을 수행하는 단계; 제 2 선택 회로와 제 2 리드아웃 회로에 의하여 상기 픽셀 어레이에 대하여 상기 제 1 방향과 다른 제 2 방향으로 제 2 스캔 동작을 수행하는 단계; 및 이미지 신호 처리기에서 상기 제 1 스캔 동작에 대응하는 제 1 프레임 데이터와 상기 제 2 스캔 동작에 대응하는 제 2 프레임 데이터를 머지하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 센서, 그것을 포함하는 이미지 장치, 및 그것의 동작 방법은, 하나의 픽셀 어레이에 대하여 복수의 방향들로 스캔 동작을 수행함으로써, 전파 지연 영향을 최소화할 수 있다.
또한, 본 발명의 실시 예에 따른 이미지 센서, 그것을 포함하는 이미지 장치, 및 그것의 동작 방법은, 하나의 픽셀 어레이에 대하여 서로 다른 리드아웃 회로에 의해 출력된 프레임 데이터를 연산하여 프레임 데이터를 획득함으로써, 리드아웃 회로들 사이의 편찬에 의한 FPN(fixed pattern noise)을 개선할 수 있다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다.
도 1은 본 발명의 실시 예에 따른 이미지 장치(10)를 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 이미지 센서(100)를 예시적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 이미지 센서(100)의 선택 회로들과 리드아웃 회로들의 배치를 예시적으로 보여주는 도면이다.
도 4a는 제 1 스캔 동작에 따른 제 1 프레임을 출력하는 과정을 보여주는 도면이고, 도 4b는 제 1 스캔 동작 이후에 제 2 스캔 동작에 따른 제 2 프레임을 출력하는 과정을 보여주는 도면이다.
도 5a, 도 5b, 도 5c 및 도 5d는 동시에 수행되는 제 1 및 제 2 스캔 동작을 예시적으로 보여주는 도면들이다.
도 6a, 도 6b, 및 도 6c는 본 발명의 실시 예에 따른 이미지 장치(10)에서 데이터 왜곡이 개선되는 과정을 예시적으로 보여주는 도면이다.
도 7a, 도 7b, 및 도 7c는 본 발명의 실시 예에 따른 이미지 장치(10)에서 FPN가 완화되는 과정을 예시적으로 보여주는 도면들이다.
도 8은 본 발명의 실시 예에 따른 픽셀(PX)을 예시적으로 보여주는 도면이다.
도 9는 도 8에 도시된 픽셀의 동작 타이밍을 예시적으로 보여주는 도면이다.
도 10은 본 발명의 실시 예에 따른 2-PD 구조의 픽셀을 예시적으로 보여주는 도면이다.
도 11은 본 발명의 실시 예에 따른 DVS 픽셀(PXdvs)을 개념적으로 보여주는 도면이다.
도 12는 도 11에 도시된 DVS 픽셀의 동작 타이밍을 예시적으로 보여주는 도면이다.
도 13은 본 발명의 실시 예에 따른 이미지 신호 처리기(200)를 예시적으로 보여주는 도면이다.
도 14는 본 발명의 실시 예에 따른 이미지 장치(10)의 동작 방법을 보여주는 흐름도이다.
도 15는 본 발명의 다른 실시 예에 따른 이미지 장치(20)를 예시적으로 보여주는 도면이다.
도 16은 도 12에 도시된 이미지 신호 처리기(200a)를 예시적으로 보여주는 도면이다.
도 17은 본 발명의 또 다른 실시 예에 따른 이미지 센서(300)를 예시적으로 보여주는 도면이다.
도 18은 본 발명의 실시 예에 따른 전자 장치(1000)를 예시적으로 보여주는 블록이다.
도 1은 본 발명의 실시 예에 따른 이미지 장치(10)를 예시적으로 보여주는 도면이다.
도 2는 본 발명의 실시 예에 따른 이미지 센서(100)를 예시적으로 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 이미지 센서(100)의 선택 회로들과 리드아웃 회로들의 배치를 예시적으로 보여주는 도면이다.
도 4a는 제 1 스캔 동작에 따른 제 1 프레임을 출력하는 과정을 보여주는 도면이고, 도 4b는 제 1 스캔 동작 이후에 제 2 스캔 동작에 따른 제 2 프레임을 출력하는 과정을 보여주는 도면이다.
도 5a, 도 5b, 도 5c 및 도 5d는 동시에 수행되는 제 1 및 제 2 스캔 동작을 예시적으로 보여주는 도면들이다.
도 6a, 도 6b, 및 도 6c는 본 발명의 실시 예에 따른 이미지 장치(10)에서 데이터 왜곡이 개선되는 과정을 예시적으로 보여주는 도면이다.
도 7a, 도 7b, 및 도 7c는 본 발명의 실시 예에 따른 이미지 장치(10)에서 FPN가 완화되는 과정을 예시적으로 보여주는 도면들이다.
도 8은 본 발명의 실시 예에 따른 픽셀(PX)을 예시적으로 보여주는 도면이다.
도 9는 도 8에 도시된 픽셀의 동작 타이밍을 예시적으로 보여주는 도면이다.
도 10은 본 발명의 실시 예에 따른 2-PD 구조의 픽셀을 예시적으로 보여주는 도면이다.
도 11은 본 발명의 실시 예에 따른 DVS 픽셀(PXdvs)을 개념적으로 보여주는 도면이다.
도 12는 도 11에 도시된 DVS 픽셀의 동작 타이밍을 예시적으로 보여주는 도면이다.
도 13은 본 발명의 실시 예에 따른 이미지 신호 처리기(200)를 예시적으로 보여주는 도면이다.
도 14는 본 발명의 실시 예에 따른 이미지 장치(10)의 동작 방법을 보여주는 흐름도이다.
도 15는 본 발명의 다른 실시 예에 따른 이미지 장치(20)를 예시적으로 보여주는 도면이다.
도 16은 도 12에 도시된 이미지 신호 처리기(200a)를 예시적으로 보여주는 도면이다.
도 17은 본 발명의 또 다른 실시 예에 따른 이미지 센서(300)를 예시적으로 보여주는 도면이다.
도 18은 본 발명의 실시 예에 따른 전자 장치(1000)를 예시적으로 보여주는 블록이다.
아래에서는 도면들을 이용하여 본 발명의 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 내용을 명확하고 상세하게 기재할 것이다.
도 1은 본 발명의 실시 예에 따른 이미지 장치(10)를 예시적으로 보여주는 도면이다. 도 1을 참조하면, 이미지 장치(10)는 이미지 센서(100) 및 이미지 신호 처리기(200, ISP)를 포함할 수 있다.
이미지 센서(100)는 객체를 감지하도록 구현될 수 있다. 이미지 센서(100)는 픽셀 어레이(110), 선택 회로들(120; SC1 ~ SCi), 및 리드아웃 회로들(130; RC1 ~ RCj)를 포함할 수 있다.
픽셀 어레이(110)는 복수의 로우 라인들(row lines)과 복수의 컬럼 라인들(column lines)을 따라 어레이 형태로 배치되는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들의 각각은 특정한 빛의 파장들을 통과시키기 위해 컬러 필터를 포함할 수 있다. 예를 들어, 컬러 필터는 가시광 영역의 파장들 중에서 레드 영역의 파장들을 통과시키는 레드 필터, 가시광 영역의 파장들 중에서 그린 영역의 파장들을 통과시키는 그린 필터, 혹은 가시광 영역의 파장들 중에서 블루 영역의 파장들을 통과시키는 블루 필터 중 적어도 하나일 수 있다. 또한, 컬러 필터는 사이언 필터(cyan filter), 옐로우 필터(yellow filter) 및 마젠타 필터(magenta filter) 중에서 적어도 하나일 수 있다.
실시 예에 있어서, 복수의 픽셀들의 각각은 광전 변환 소자를 포함할 수 있다. 예를 들어, 복수의 픽셀들의 각각은, 외부에서 입사하는 광 신호에 응답하여 전하를 생성하는 포토 다이오드, 및 포토 다이오드로부터 생성된 전하에 대응하는 전기 신호를 생성하는 픽셀 회로를 포함할 수 있다. 여기서, 포토 다이오드는 PN 접합 사이에 진성(intrinsic) 반도체 층이 삽입된 구조인 PIN 포토 다이오드일 수 있다. 또한, 포토 다이오드는 PN 접합 사이에 사태(avalanche) 층이 존재하는 APD 포토 다이오드일 수 있다.
실시 예에 있어서, 복수의 픽셀들의 각각은, 적어도 2개의 포토 다이오드들을 포함할 수 있다. 예를 들어, 픽셀들의 각각은 여러 색상의 빛에 대응하는 픽셀 신호를 생성하거나 자동 초점(auto focus) 기능을 제공하도록, 적어도 2개의 포토 다이오드들을 포함할 수 있다.
또한, 복수의 픽셀들의 각각은 포토 다이오드들이 생성하는 전하로부터 픽셀 신호를 생성하기 위한 픽셀 회로를 포함할 수 있다. 여기서, 픽셀 회로는 전송 트랜지스터, 구동(소스-팔로워) 트랜지스터, 선택 트랜지스터, 리셋 트랜지스터, 적어도 하나의 변환 이득 트랜지스터를 포함할 수 있다. 픽셀 회로는 복수의 픽셀들의 각각으로부터 리셋 전압과 픽셀 전압을 검출하고, 그 차이를 계산함으로써 픽셀 신호를 획득할 수 있다. 픽셀 전압은, 복수의 픽셀들의 각각에 포함된 포토 다이오드들에서 생성된 전하에 대응하는 전압일 수 있다.
실시 예에 있어서, 서로 인접한 적어도 2개의 픽셀들은 하나의 픽셀 그룹을 구성할 수 있다. 여기서 픽셀 그룹에 포함되는 2개 이상 픽셀들은 전송 트랜지스터, 구동 트랜지스터, 선택 트랜지스터, 리셋 트랜지스터, 및 변환 이득 트랜지스터 중 적어도 일부를 서로 공유할 수 있다.
선택 회로들(120; SC1 ~ SCi)은 픽셀 어레이(110)를 로우 단위로 구동하도록 구현될 수 있다. 예를 들어, 선택 회로들(120; SC1 ~ SCi)은 픽셀 회로의 전송 트랜지스터를 제어하는 전송 제어 신호, 리셋 트랜지스터를 제어하는 리셋 제어 신호, 혹은 선택 트랜지스터를 제어하는 선택 제어 신호를 생성할 수 있다.
선택 회로들(120; SC1 ~ SCi)의 각각은 하나의 픽셀 어레이(110)에 대하여 서로 다른 방향으로 스캔 동작을 수행할 수 있다. 예를 들어, 제 1 선택 회로(SC1)는 제 1 방향으로 픽셀 어레이(110)를 스캔하도록 제어 신호들을 생성할 수 있다. 또한, 제 i 선택 회로(SCi)는 제 i 방향으로 픽셀 어레이(110)를 스캔하도록 제어 신호들을 생성할 수 있다. 여기서 제 i 방향은 제 1 방향과 서로 다를 수 있다.
리드아웃 회로들(130; RC1 ~ RCj)은 픽셀 어레이(110)로부터 생성된 아날로그 픽셀 신호를 디지털 신호로 변환 및 출력하도록 구현될 수 있다. 리드아웃 회로들(130; RC1 ~ RCj)은 샘플링 회로, 아날로그-디지털 컨버터(analog-to-digital converter, ADC)을 포함할 수 있다. 샘플링 회로는 복수의 샘플러들을 포함할 수 있다. 예를 들어, 샘플러는 상관 이중 샘플러(correlated double sampler; CDS)일 수 있다. 샘플러는, 선택 회로들(120; SC1 ~ SCi)이 선택하는 로우 라인에 포함되는 픽셀들과 칼럼 라인들을 통해 연결되고, 대응하는 픽셀들로부터 리셋 전압 및 픽셀 전압을 검출할 수 있다. 샘플러들은, 리셋 전압과 픽셀 전압 각각을 램프 전압과 비교하고, 그 결과를 출력할 수 있다. 아날로그-디지털 컨버터는 샘플러들이 출력하는 비교 결과를 디지털 신호로 변환하여 출력할 수 있다. 아날로그-디지털 컨버터는 상관 이중 샘플러가 검출한 리셋 전압 및 픽셀 전압을 디지털 신호로 변환하여 컬럼 드라이버에 전달할 수 있다. 컬럼 드라이버는 디지털 신호를 임시로 저장할 수 있는 래치 혹은 버퍼 회로와 증폭 회로를 포함할 수 있다. 컬럼 드라이버는 리드아웃 회로들(130; RC1 ~ RCj)로부터 수신한 디지털 신호를 처리할 수 있다.
타이밍 제어기는, 선택 회로들(120; SC1 ~ SCi), 리드아웃 회로들(130; RC1 ~ RCj), 혹은 컬럼 드라이버의 동작 타이밍을 제어하도록 구현될 수 있다. 예를 들어, 타이밍 제어기는 리드아웃 회로들(130; RC1 ~ RCj)로부터 서로 다른 방향으로 스캔된 프레임들을 리드아웃 하도록 동작 타이밍을 제어할 수 있다.
이미지 신호 처리기(200)는 리드아웃 회로들(130; RC1 ~ RCj)로부터 출력되는 이미지 데이터를 처리하도록 구현될 수 있다. 예를 들어, 이미지 신호 처리기(200)는 이미지 데이터를 처리하여 결과 이미지를 생성하고, 결과 이미지를 디스플레이로 전송하거나 메모리로 저장시킬 수 있다. 예를 들어, 이미지 신호 처리기(200)는 수신된 프레임 데이터에 대하여 컬러 인터폴레이션(color interpolation), 컬러 보정(color correction), 감마 보정(gamma correction), 컬러 공간 변환(color space conversion), 에지 보정 등과 같은 신호 처리 동작을 수행하여 이미지 데이터를 생성할 수 있다.
또한, 이미지 신호 처리기(200)는 서로 다른 방향의 스캔 동작의 결과로써 리드아웃 회로들(130; RC1 ~ RCj)로부터 출력된 프레임들을 연산(예를 들어, 평균 연산)함으로써 하나의 프레임을 생성할 수 있다.
일반적인 이미지 센서는 리드아웃 회로가 한쪽으로 치우쳐 있다. 이에 리드아웃회로에서 거리가 먼 픽셀의 데이터는 왜곡 및 손실의 가능성이 높다. 또한 선택 회로는 고정된 한쪽 방향으로만 픽셀의 컬럼 혹은 로우를 선택하고 있다. 이에 가장 마지막에 선택되는 컬럼/로우는 항상 전파 지연(propagation delay) 영향을 크게 받는다. 최근에 픽셀 사이즈가 줄어들고 픽셀의 개수가 증가함에 따라 복수의 리드아웃 회로들을 갖는 이미지 센서가 공개되고 있다. 하지만, 이런 경우에도 선택 회로의 픽셀 선택 진행 방향은 한 방향으로 고정되어 있다. 이에 전파 지연의 이슈는 여전히 존재한다.
반면에, 본 발명의 실시 예에 따른 이미지 장치(10)는, 하나의 픽셀 어레이(100)를 서로 다른 방향으로 스캔하고, 이러한 스캔 동작들의 결과로써 출력된 복수의 프레임들을 연산하고, 연산된 프레임을 획득된 이미지로 이용할 수 있다. 이로써, 본 발명의 이미지 장치(10)는 종래의 그것과 비교하여 전파 지연 현상을 현저하게 줄일 수 있다.
도 2는 본 발명의 실시 예에 따른 이미지 센서(100)를 예시적으로 보여주는 도면이다. 도 2를 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 선택 회로들(120; SC1 ~ SCi), 및 리드아웃 회로들(130; RC1 ~ RCj)를 포함할 수 있다.
픽셀 어레이(110)는 복수의 로우 라인들(RL)과 복수의 칼럼 라인들(CL)의 교차점들에 마련되는 복수의 픽셀들(PX11 ~ PXMN)을 포함할 수 있다.
선택 회로들(120; SC1 ~ SCi)은 복수의 로우 라인들(RL)을 통해 복수의 픽셀들(PX11 ~ PXMN)을 제어하는 데에 필요한 신호를 입력할 수 있다. 예를 들어, 선택 회로들(120; SC1 ~ SCi)은 복수의 로우 라인들(RL)을 통해 복수의 픽셀들(PX11 ~ PXMN)에 리셋 제어 신호(RG), 전송 제어 신호(TG), 혹은 선택 제어 신호(SEL)를 제공할 수 있다. 선택 회로들(120; SC1 ~ SCi)은 복수의 로우 라인들(RL)의 각각을 순차적으로 선택할 수 있다. 선택 회로들(120; SC1 ~ SCi)은 소정의 수평 주기 동안 복수의 로우 라인들(RL) 중 하나를 선택할 수 있다.
리드아웃 회로들(130; RC1 ~ RCj)은 램프 전압 생성기(131), 샘플링 회로(132) 및 아날로그-디지털 컨버터(133)를 포함할 수 있다. 아날로그-디지털 컨버터(133)가 출력하는 데이터(DATA)는 컬럼 드라이버에 입력될 수 있다.
램프 전압 생성기(131)는 램프 활성화 신호에 응답하여 램프 신호(RMP)를 생성하도록 구현될 수 있다. 여기서 램프 신호(RMP)는 시간에 비례하여 전압이 증가하거나 감소하는 형태의 신호이다.
샘플링 회로(132)는, 복수의 픽셀들(PX11 ~ PXMN) 중에서, 선택 회로들(120; SC1 ~ SCi)이 스캔한 로우 라인에 연결된 일부의 픽셀들로부터 리셋 전압과 픽셀 전압을 획득할 수 있다. 샘플링 회로(132)는 복수의 샘플러들(SA)을 포함하며, 복수의 샘플러들(SA)은 상관 이중 샘플러일 수 있다. 샘플러들(SA) 각각은, 제 1 입력단을 통해 램프 전압 생성기(131)의 램프 신호(RMP)를 입력받고, 제 2 입력단을 통해 복수의 픽셀들(PX11 ~ PXMN)로부터 리셋 전압/픽셀 전압을 입력 받을 수 있다.
아날로그-디지털 컨버터(133)는 샘플링 회로(132)의 아날로그 신호를 디지털 신호로 변환함으로써 픽셀 데이터(DATA)를 출력할 수 있다.
한편, 이미지 센서(100)는 2-스택 구조로 구현될 수 있다. 예를 들어, 제 1 층에 픽셀 어레이 및 주변회로(로우 디코더, CDS, ADC)가 배치되고, 제 2 층에 로직 회로(전원회로, I/O 인터페이스, ISP 등등)이 구성될 수 있다. 다른 예에 있어서, 제 1 층에 픽셀 어레이만 배치하고, 제 2 층에 주변 회로 및 로직 회로가 배치될 수 있다.
도 3은 본 발명의 실시 예에 따른 이미지 센서(100)의 선택 회로들과 리드아웃 회로들의 배치를 예시적으로 보여주는 도면이다. 도 3을 참조하면, 픽셀 어레이(110)의 좌측에 제 1 리드아웃 회로(RC1), 픽셀 어레이(110)의 우측에 제 2 리드아웃 회로(RC2)가 배치될 수 있다.
또한, 픽셀 어레이(110)의 하부에 제 1 선택 회로(SC1)와 픽셀 어레이(110)의 상부에 제 2 선택 회로(SC2)가 배치될 수 있다. 제 1 선택 회로(SC1)는 제 1 방향으로 픽셀 어레이(110)의 픽셀들을 선택하고, 제 2 선택 회로(SC2)는 제 2 방향으로 픽셀 어레이(110)의 픽셀들을 선택할 수 있다. 여기서 제 2 방향은 제 1 방향과 서로 다를 수 있다. 예를 들어, 제 1 방향은 좌측에서 우측으로 진행하는 방향이고, 제 2 방향은 우측에서 좌측으로 진행하는 방향일 수 있다. 하지만, 픽셀들을 선택하는 방향들이 여기에 제한되지 않는다고 이해되어야 할 것이다.
한편, 본 발명의 이미지 센서(100)는, 제 1 및 제 2 선택 회로들(SC1, SC2)과 제 1 및 제 2 리드아웃 회로들(RC1, RC2)을 다양하게 활성화 혹은 비활성화 시킴으로써, 2번의 스캔 동작들에 대응하는 제 1 및 제 2 프레임들을 출력할 수 있다.
도 4a는 제 1 스캔 동작에 따른 제 1 프레임을 출력하는 과정을 보여주는 도면이고, 도 4b는 제 1 스캔 동작 이후에 제 2 스캔 동작에 따른 제 2 프레임을 출력하는 과정을 보여주는 도면이다.
도 4a를 참조하면, 제 1 스캔 동작은 활성화된 제 1 선택 회로(SC1)와 활성화된 제 2 리드아웃 회로(RC2)에 의해 수행될 수 있다. 제 1 스캔 동작에서 제 2 선택 회로(SC2)와 제 1 리드아웃 회로(RC1)는 비활성화 될 수 있다. 제 1 선택 회로(SC1) 및 제 2 리드아웃 회로(RC2)는 좌측에서 우측으로 컬럼을 스캔하고, 제 2 리드아웃 회로(RC2)에서 스캔 결과에 대응하는 제 1 프레임을 출력할 수 있다.
도 4b를 참조하면, 제 1 스캔 동작 이후에 제 2 스캔 동작은 활성화된 제 2 선택 회로(SC2)와 활성화된 제 1 리드아웃 회로(RC1)에 의해 수행될 수 있다. 제 2 스캔 동작에서 제 1 선택 회로(SC1)과 제 2 리드아웃 회로(RC2)는 비활성화 될 수 있다. 제 2 선택 회로(SC2) 및 제 1 리드아웃 회로(RC1)는 우측에서 좌측으로 컬럼을 스캔하고, 제 1 리드아웃 회로(RC1)에서 스캔 결과에 대응하는 제 2 프레임을 출력할 수 있다.
한편, 도 4a 및 도 4b는 서로 다른 타이밍에 제 1 및 제 2 스캔 동작이 수행되고 있다. 하지만, 본 발명이 여기에 제한될 필요는 없다. 본 발명은 제 1 및 제 2 스캔 동작들을 동시에 수행할 수도 있다.
도 5a, 도 5b, 도 5c 및 도 5d는 동시에 수행되는 제 1 및 제 2 스캔 동작을 예시적으로 보여주는 도면들이다.
도 5a를 참조하면, 오른쪽 하부(1, N)에서 제 1 스캔 동작이 시작되고, 왼쪽 상부(M,1)에서 제 2 스캔 동작이 시작될 수 있다. 이때 제 1 스캔 동작은 상부의 로우에서부터 하부의 로우로 진행되고, 제 2 스캔 동작은 하부의 로우에서 상부의 로우로 진행될 수 있다. 실시 예에 있어서, 제 1 스캔 동작은 제 2 선택 회로(SC2)와 제 1 리드아웃 회로(RC1)에 의해 수행되고, 제 2 스캔 동작은 제 1 선택 회로(SC1)와 제 2 리드아웃 회로(RC2)에 의해 수행될 수 있다. 하지만, 제 1 및 제 2 스캔 동작이 여기에 제한되지 않는다고 이해되어야 할 것이다.
도 5b를 참조하면, 왼쪽 상부(M, 1)에서 제 1 스캔 동작이 시작되고, 오른쪽 상부(M, N)에서 제 2 스캔 동작이 시작될 수 있다. 여기서 제 1 및 제 2 스캔 동작들의 각각은 상부의 로우에서 하부의 로우로 진행될 수 있다.
도 5c를 참조하면, 왼쪽 하부(1, 1)에서 제 1 스캔 동작이 시작되고, 오른쪽 상부(M, N)에서 제 2 스캔 동작이 시작될 수 있다. 이때 제 1 스캔 동작은 하부의 로우에서부터 상부의 로우로 진행되고, 제 2 스캔 동작은 상부의 로우에서 하부의 로우로 진행될 수 있다. 실시 예에 있어서, 제 1 스캔 동작은 제 1 선택 회로(SC1)와 제 1 리드아웃 회로(RC1)에 의해 수행되고, 제 2 스캔 동작은 제 2 선택 회로(SC2)와 제 2 리드아웃 회로(RC2)에 의해 수행될 수 있다. 하지만, 제 1 및 제 2 스캔 동작이 여기에 제한되지 않는다고 이해되어야 할 것이다.
도 5d를 참조하면, 왼쪽 하부(1, 1)에서 제 1 스캔 동작이 시작되고, 오른쪽 하부(1, N)에서 제 2 스캔 동작이 시작될 수 있다. 여기서 제 1 및 제 2 스캔 동작들의 각각은 하부의 로우에서 상부의 로우로 진행될 수 있다.
한편, 도 5a, 도 5b, 도 5c 및 도 5d에 도시된 동시 스캔 동작들은 실시 예에 불과하다고 이해되어야 할 것이다.
도 6a, 도 6b, 및 도 6c는 본 발명의 실시 예에 따른 이미지 장치(10)에서 데이터 왜곡이 개선되는 과정을 예시적으로 보여주는 도면이다.
도 6a을 참조하면, 제 1 스캔 동작에 대한 데이터 왜곡 비율은 컬럼 번호가 증가함에 따라 증가한다. 즉, 제 1 선택 회로(예, SC1)에 가까운 컬럼일 수록 데이터 왜곡 비율이 낮고, 제 1 선택 회로(SC1)에 먼 컬럼일 수록 데이터 왜곡 비율이 높다.
도 6b을 참조하면, 제 2 스캔 동작에 대한 데이터 왜곡 비율은 컬럼 번호가 증가함에 따라 감소한다. 즉, 제 2 선택 회로(예, SC2)에 가까운 컬럼일 수록 데이터 왜곡 비율이 높고, 제 2 선택 회로(SC2)에 먼 컬럼일 수록 데이터 왜곡 비율이 낮다.
도 6c을 참조하면, 제 1 스캔 동작의 결과인 제 1 프레임과 제 2 스캔 동작의 결과인 제 2 프레임을 머지 함으로써, 이미지 장치(10)의 프레임에 대한 데이터 왜곡 비율은 컬럼 번호에 상관없이 일정한 값을 가질 수 있다. 즉, 본 발명의 이미지 장치(10)는 선택 회로로부터 거리에 상관없이 데이터 왜곡 비율을 일정하게 유지할 수 있다. 다른 말로, 본 발명의 이미지 장치(10)는 컬럼 라인들 사이의 데이터 왜곡 편차를 완화시킬 수 있다.
한편, 프레임 리드아웃시 리드아웃 회로 사이의 편차로 인해 블랙(black) 화면을 찍더라도 FPN(fixed pattern noise)가 발생될 수 있다. 본 발명의 실시 예에 따른 이미지 장치(10)는 제 1 및 제 2 프레임을 서로 다른 리드아웃 회로를 통하여 구성하기 때문에 각각 서로 다른 FPN 형태를 보이고, 이러한 제 1 및 제 2 프레임들을 평균으로 처리할 수 있다. 이로써 전체 컬럼 사이들의 FPN에 의한 에러 평균값은 동일하지만, 표준 편차는 감소시킬 수 있다.
도 7a, 도 7b, 및 도 7c는 본 발명의 실시 예에 따른 이미지 장치(10)에서 FPN가 완화되는 과정을 예시적으로 보여주는 도면들이다. 도 7a를 참조하면, 좌측 리드아웃 회로에 의해 야기되는 제 1 프레임의 FPN이 도시되고, 도 7b를 참조하면, 우측 리드아웃 회로에 의해 야기되는 제 2 프레임의 FPN이 도시되고, 도 7c를 참조하면, 제 1 및 제 2 프레임의 평균 프레임의 FPN이 도시된다. 도 7c에 도시된 바와 같이, 평균 프레임의 FPN는 제 1 및 제 2 프레임들의 그것들보다 개선됨을 알 수 있다.
도 8은 본 발명의 실시 예에 따른 픽셀(PX)을 예시적으로 보여주는 도면이다. 도 8를 참조하면, 픽셀(PX)은 포토 다이오드(FD)와 제 1 내지 제 4 트랜지스터들(T1 ~ T4)를 포함할 수 있다.
제 1 트랜지스터(T1)는 전달 게이트 신호(TG)에 응답하여 플로팅 확산 노드(FD)와 포토 다이오드(FD) 사이에 연결될 수 있다. 제 2 트랜지스터(T2)는 리셋 게이트 신호(RG)에 응답하여 픽셀 구동 전압을 제공하는 전원단(VPIX)과 플로팅 확산 노드(FD) 사이에 연결될 수 있다. 제 3 트랜지스터(T3)는 전원단(VPIX)에 연결된 드레인과 플로팅 확산 노드(FD)에 연결된 게이트를 포함할 수 있다. 제 4 트랜지스터(T4)는 제 1 선택 신호(SEL_L) 및 제 2 선택 신호(SEL_R) 중에서 어느 하나에 응답하여 제 3 트랜지스터(T3)의 소스(SFD)와 컬럼 라인(CL) 사이에 연결될 수 있다. 여기서 컬럼 라인(CL)은 2개의 리드아웃 회로들(RC1, RC2)에 연결될 수 있다. 리드아웃 회로들(RC1, RC2) 중에서 활성화되는 리드아웃 회로로 출력 전압(OUT_L 혹은 OUT_R)이 전송될 수 있다. 예를 들어, 제 1 선택 신호(SEL_L)에 응답하여 출력된 제 1 출력 전압(OUT_L)은 제 1 리드아웃 회로(RC1)에 전송될 수 있다. 또한, 제 2 선택 신호(SEL_R)에 응답하여 출력된 제 2 출력 전압(OUT_R)은 제 2 리드아웃 회로(RC2)에 전송될 수 있다.
한편, 본 발명의 출력 전압들이 전송되는 리드아웃 회로들이 여기에 제한되지 않는다고 이해되어야 할 것이다.
한편, 도 8에 도시된 픽셀은, 2개의 선택 회로들(SC1, SC2)과 2개의 리드아웃 회로들(RC1, RC2)에 의해 결정되는 서로 다른 패스들로 동작을 수행하고 있다. 하지만, 본 발명의 픽셀은 적어도 3개의 선택 회로들과 적어도 3개의 리드아웃 회로들에 의해 결정되는 서로 다른 패스들로 동작을 수행할 수도 있다.
한편, 도 8에 도시된 픽셀은 4개의 트랜지스터들(T1 ~ T4)로 구현되고 있다. 하지만, 본 발명의 픽셀의 구조가 여기에 제한되지 않는다고 이해되어야 할 것이다.
도 9는 도 8에 도시된 픽셀의 동작 타이밍을 예시적으로 보여주는 도면이다. 리셋 모드에서, 리셋 게이트 신호(RG), 전달 게이트 신호(TG), 제 1 및 제 2 선택 신호들(SEL1, SEL2)을 활성화시킴으로써, 리셋 트랜지스터(T2, 도 8 참조) 혹은 전달 트랜지스터(T1, 도 8 참조)가 턴-온 될 수 있다. 이에 따라, 플로팅 확산 노드(FD)에 픽셀 구동 전압이 제공되고, 포토 다이오드(PD) 및 플로팅 확산 노드(FD)의 전하들이 초기화될 수 있다. 이후에, 전달 트랜지스터(T1)가 턴-오프된 후 다시 턴-온 될 때까지(즉, 광전 변환 시간 동안), 포토 다이오드(PD)에서 광 전하들이 생성 및 축적될 수 있다.
이 후에, 리셋 게이트 신호(RG)가 비활성화되고, 플로팅 확산 노드(FD)의 리셋 전위를 검출함으로써 기준 신호가 출력될 수 있다. 이때, 제 1 선택 신호(SEL_L)는 활성 상태를 유지하고, 제 2 선택 신호(SEL_R)는 비활성화될 수 있다.
기준 신호를 출력한 후, 전달 게이트 신호(TG)가 활성화될 수 있다. 따라서, 포토 다이오드(PD)에 집적된 광전하들이 플로팅 확산 노드(FD)로 전달될 수 있다. 이후에, 전달 게이트 신호(TG)가 비활성화된 후, 플로팅 확산 노드(FD)의 전위를 검출함으로써, 제 1 선택 신호(SEL_L)에 대응하는 제 1 패스에 따른 제 1 픽셀 신호가 출력될 수 있다. 실시 예에 있어서, 제 1 픽셀 신호가 출력되는 제 1 리드아웃 구간까지 제 1 선택 신호(SEL_L)이 활성화될 수 있다.
제 1 픽셀 신호가 출력된 후에, 제 1 선택 신호(SEL_L)는 비활성화 되고, 제 2 선택 신호(SEL_R)가 일정 시간 동안 활성화 될 수 있다. 이에 플로팅 확산 노드(FD)의 전위를 검출함으로써, 제 2 선택 신호(SEL_R)에 대응하는 제 2 패스에 따른 제 2 픽셀 신호가 출력될 수 있다. 실시 예에 있어서, 제 2 픽셀 신호가 출력되는 제 2 리드아웃 구간까지 제 2 선택 신호(SEL_R)이 활성화될 수 있다.
한편, 본 발명의 실시 예에 따른 픽셀은 2-PD 구조로 구현될 수 있다.
도 10은 본 발명의 실시 예에 따른 2-PD 구조의 픽셀을 예시적으로 보여주는 도면이다. 도 10을 참조하면, 2-PD 픽셀은 In-Pixel DTI(Deep Trench Isolation)에 의해 좌측 PD와 우측 PD를 분리할 수 있다.
플로팅 확산 노드(FD)에 대응하는 영역은 픽셀에 배치된 한 쌍의 좌측 PD와 우측 PD와 공통으로 연결될 수 있다. 즉, 플로팅 확산 영역은 4개의 광전 변환 소자들과 공통으로 연결될 수 있다. 예를 들어, 플로팅 확산 영역은, N형의 불순물을 포함할 수 있다. 제 1 픽셀(PX1)의 기판 상에 배치된 제 1 및 제 2 전달 게이트(TG1, TG2) 및 제 2 픽셀(PX2)의 기판 상에 배치된 제 1 및 제 2 전달 게이트들(TG1, TG2)은 플로팅 확산 영역(FD)을 공유할 수 있다. 도 10에 도시된 제 1 픽셀(PX1)은 그린 필터(G)를 포함하고, 제 2 픽셀(PX2)은 레드 필터(R)를 포함할 수 있다. 도 10에 도시된 제 1 픽셀(PX1) 및 제 2 픽셀(PX2)의 각각은 빛을 집광하는 광학 렌즈를 포함할 수 있다.
한편, 본 발명은 DVS(dynamic vision sensor) 픽셀에 적용 가능하다. DVS는 빛이 변화하는 정도를 개별 픽셀 수준에서 감지하여 빛의 변화가 기준값 이하이면 event를 출력하지 않고, 기준값 이상 밝아지면 ON event를 어두워지면 OFF event를 발생시키는 특수 센서이다. 픽셀에서 전하 집적(charge integration)을 하지 않고 빛이 변화하면 감지함으로써 바로 event를 발생시키기 때문에, DVS 센서는 설계에 따라 asynchronous handshaking communication을 통해 시간 지연 없이 외부로 event를 출력하거나, 발생한 event를 저장하고 있다가 synchronous readout 신호가 입력되면 외부로 event를 출력할 수 있다. 또한, DVS 센서는 photo current를 log scale로 변환하는 성질이 있어서 조도에 관계없이 동일한 빛의 변화율에 반응하며 넓은 dynamic range를 갖는다.
도 11은 본 발명의 실시 예에 따른 DVS 픽셀(PXdvs)을 개념적으로 보여주는 도면이다. 도 11을 참조하면, DVS 픽셀(PXdvs)은 이벤트 감지 회로(P; 111), 이벤트 저장 회로(M; 112), 및 출력 로직(113)을 포함할 수 있다.
이벤트 감지 회로(111)는 포토 다이오드에 의해 집광된 전하를 이용하여 이벤트 발생 유무를 판별하고, 판별 결과에 대응하는 픽셀 데이터(EVT)를 출력할 수 있다. 여기서 픽셀 데이터(EVT)는 일정한 픽셀 노출(pixel exposure) 시간 동안 픽셀을 통해 온 혹은 오프 이벤트에 대한 데이터를 포함할 수 있다.
이벤트 저장 회로(112)는 홀드 신호(GHLD)에 응답하여 픽셀 데이터(EVT)를 홀딩할 수 있다. 예를 들어, 홀드 신호(GHLD)가 오프 될 때, 픽셀 데이터(EVT)에 대한 홀딩이 시작되고, 한 프레임이 끝날 때까지 픽셀 데이터(EVT)가 커패시터에 홀딩될 수 있다. 픽셀 노출 시간이 지난 후에, 픽셀 읽기 동안에 데이터가 커패시터에 홀딩될 수 있다.
출력 로직(113)은 선택 신호(SEL)에 응답하여 이벤트 저장 회로(112)의 홀드 데이터(EVT_HLD)를 수신하고, 대응하는 데이터를 출력할 수 있다.
도 12는 도 11에 도시된 DVS 픽셀의 동작 타이밍을 예시적으로 보여주는 도면이다. 도 11 내지 도 12를 참조하면, DVS 픽셀(PXdvs)의 동작은 다음과 같이 진행될 수 있다.
픽셀 노출 구간 동안, DVS 픽셀(PXdvs)은 이벤트를 검출할 수 있다. 이때 홀드 신호(GHLD)는 로우 레벨을 갖는다.
이후 픽셀 데이터 홀드 구간 동안, 홀드 신호(GHLD)가 하이 레벨을 갖는다. 제 1 선택 회로(SC1)에서 출력된 제 1 선택 신호(SELX[1])에 응답하여 대응하는 컬럼에 있는 모든 로우에 대하여 AY[1: M]까지 픽셀 데이터가 출력될 수 있다. 이후에, 제 2 선택 회로(SC2)에서 출력된 제 2 선택 신호(SELX[2])에 응답하여 대응하는 컬럼에 있는 모든 로우에 대하여 AY[1: M]까지 픽셀 데이터가 출력될 수 있다. 동일한 방식으로 제 n 선택 신호(SELX[N]에 응답하여 대응하는 컬럼에 있는 모든 로우에 대하여 AY[1: M]까지 픽셀 데이터가 출력될 수 있다. 이러한 픽셀 데이터는 하나의 프레임 데이터가 구성될 때까지 홀딩 될 수 있다. 이후에 다음 프레임에 대한 상술된 동작이 수행될 수 있다.
도 13은 본 발명의 실시 예에 따른 이미지 신호 처리기(200)를 예시적으로 보여주는 도면이다. 도 13을 참조하면, 이미지 신호 처리기(200)는 제 1 프레임 버퍼(210), 제 2 프레임 버퍼(220), 및 머지 회로(230)를 포함할 수 있다.
제 1 프레임 버퍼(210)는 제 1 리드아웃 회로(RC1)로부터 제 1 프레임을 수신하고, 수신된 제 1 프레임을 저장할 수 있다.
제 2 프레임 버퍼(220)는 제 2 리드아웃 회로(RC2)로부터 제 2 프레임을 수신하고, 수신된 제 2 프레임을 저장할 수 있다.
머지 회로(230)는 제 1 프레임 버퍼(210)의 제 1 프레임과 제 2 프레임 버퍼(220)의 제 2 프레임을 수신하고, 제 1 프레임과 제 2 프레임에 대하여 사전에 결정된 연산을 수행함으로써 프레임 데이터를 생성할 수 있다. 여기서 사전에 결정된 연산은 평균값 연산을 포함할 수 있다. 하지만, 본 발명의 사전에 결정된 연산이 여기에 제한되지 않는다고 이해되어야 할 것이다.
도 14는 본 발명의 실시 예에 따른 이미지 장치(10)의 동작 방법을 보여주는 흐름도이다. 도 1 내지 도 14를 참조하면, 이미지 장치(10)의 동작은 다음과 같이 진행될 수 있다.
이미지 장치(10)의 이미지 센서(100)는 제 1 방향으로 제 1 스캔 동작을 수행할 수 있다(S110). 제 1 스캔 동작의 결과로써 제 1 프레임 데이터가 출력될 수 있다. 실시 예에 있어서, 제 1 프레임 데이터는 제 1 스캔 동작에 대응하는 제 1 경로에 의해 이미지 신호 처리기(200)로 출력될 수 있다.
또한, 이미지 센서(200)는 제 2 방향으로 제 2 스캔 동작을 수행할 수 있다(S120). 여기서 제 2 방향은 제 1 방향과 다를 수 있다. 제 2 스캔 동작의 결과로써 제 2 프레임 데이터가 출력될 수 있다. 실시 예에 있어서, 제 1 프레임 데이터는 제 2 스캔 동작에 대응하는 제 2 경로에 의해 이미지 신호 처리기(200)로 출력될 수 있다. 실시 예에 있어서, 제 2 스캔 동작은 제 1 스캔 동작과 동시에 수행되거나, 제 1 스캔 동작 이후에 수행될 수 있다.
이후에, 이미지 신호 처리기(200)는 제 1 프레임 데이터와 제 2 프레임 데이터를 머지함으로써 프레임 데이터를 생성할 수 있다(S130).
한편, 도 1 내지 도 14에서 설명한 이미지 장치는 적어도 2개의 리드아웃 회로들을 포함하고 있다. 하지만, 본 발명이 여기에 제한될 필요는 없다. 본 발명의 이미지 장치는 하나의 리드아웃 회로로 구현될 수도 있다.
도 15는 본 발명의 다른 실시 예에 따른 이미지 장치(20)를 예시적으로 보여주는 도면이다. 도 15를 참조하면, 이미지 장치(20)는 이미지 센서(100a) 및 이미지 신호 처리기(200a)를 포함할 수 있다. 이미지 센서(100a)는, 도 1에 도시된 이미지 센서(110)와 비교하여 2개의 선택 회로들(SC_L, SC_R; 121a, 122a)와 하나의 리드아웃 회로(RC; 130a)로 구현될 수 있다. 선택 회로들(SC_L, SC_R)의 각각과 리드아웃 회로(RC)는, 서로 다른 방향으로 픽셀 어레이(110)에 대한 스캔 동작을 수행할 수 있다. 예를 들어, 제 1 선택 회로(SC_L)와 리드아웃 회로(RC)는 제 1 방향으로 픽셀 어레이(110)에 대한 제 1 스캔 동작을 수행하고, 제 2 선택 회로(SC_R)와 리드아웃 회로(RC)는 제 2 방향으로 픽셀 어레이(110)에 대한 제 2 스캔 동작을 수행할 수 있다. 여기서 하나의 리드아웃 회로(RC)에 의해 스캔 동작이 수행되기 때문에 제 1 스캔 동작 이후에 제 2 스캔 동작이 수행되거나, 제 2 스캔 동작 이후에 제 1 스캔 동작이 수행될 것이다.
도 16은 도 12에 도시된 이미지 신호 처리기(200a)를 예시적으로 보여주는 도면이다. 도 16을 참조하면, 이미지 신호 처리기(200a)는 제 1 프레임 버퍼(210a), 제 2 프레임 버퍼(220a), 및 머지 회로(230a)를 포함할 수 있다. 제 1 프레임 버퍼(210a) 및 제 2 프레임 버퍼(220a)는 모두 리드아웃 회로(RC)로부터 대응하는 프레임 데이터를 수신할 수 있다.
도 17은 본 발명의 또 다른 실시 예에 따른 이미지 센서(300)를 예시적으로 보여주는 도면이다. 도 17을 참조하면, 이미지 센서(300)는 픽셀 어레이(310), 제어 유닛(325), 로우 디코더(333), 로우 드라이버(335), 컬럼 디코더(353), 컬럼 드라이버 (355), 및 ADC(370)을 포함할 수 있다.
픽셀 어레이(310)는 피사체로부터 반사되는 빛을 감지하여 피사체의 대상 정보(OBI1) 및/혹은 피사체의 이미지 정보(IMI)를 발생할 수 있다. 픽셀 어레이(310)는 2차원 매트릭스(matrix) 형태로 배열된 복수의 픽셀들을 포함할 수 있다. 픽셀 어레이(310)는 복수의 픽셀 레이어들(311, 313, 및 315)을 포함할 수 있다.
실시 예에 있어서, 복수의 픽셀 레이어들(311, 313, 및 315) 중에서 적어도 하나는 DVS 픽셀 어레이일 수 있다.
실시 예에 있어서, 제 1 픽셀 어레이(311)는 컬러 픽셀 어레이(color pixel array; CPA)일 수 있다. 예를 들어 컬러 픽셀 어레이는 베이어 패턴의 픽셀들을 구비할 수 있다. 실시 예에 있어서, 제 2 픽셀 어레이(313)는 뎁쓰 픽셀 어레이(depth pixel array; DPA)일 수 있다. 예를 들어, 뎁쓰 픽셀 어레이는 복수의 2-PD 픽셀 혹은 메탈 쉴드 픽셀을 구비할 수 있다. 실시 예에 있어서, 제 2 픽셀 어레이(313)는 온도에 따른 뎁쓰 보정을 수행하기 위한 적어도 하나의 온도 센서를 포함할 수 있다. 실시 예에 있어서, 제 3 픽셀 어레이(215)는 써멀 픽셀 어레이(thermal pixel array; TPA)일 수 있다. 예를 들어 써멀 픽셀 어레이는 복수의 온도 픽셀들을 포함할 수 있다.
한편, 본 발명의 픽셀 어레이의 개수가 여기에 제한되지 않는다고 이해되어야 할 것이다. 본 발명의 실시 예에 따른 픽셀 어레이는 서로 다른 기능을 수행하기 위한 적어도 2개의 픽셀 레이어들 포함할 수 있다.
제어 유닛(325)은 로우 디코더(333), 로우 드라이버(335), 컬럼 디코더(353), 컬럼 드라이버(355), 및 복수의 ADCs(371, 373, 375) 각각의 동작을 제어하기 위한 제어 신호(들)를 발생할 수 있다. 예를 들어, 제어 유닛(325)은 적층된 복수의 픽셀 레이어들(311, 313, 315) 각각에 포함된 복수의 로우 라인들 중에서 특정한 로우 라인을 선택하기 위한 복수의 로우 제어 신호들을 발생할 수 있다. 실시 예에 있어서, 제어 유닛(325)은 픽셀 어레이(310)와 다른 레이어에 배치될 수 있다.
로우 디코더(333)는 제어 유닛(325)으로부터 출력된 복수의 로우 제어 신호들, 예를 들어 로우 어드레스 신호들을 디코딩하고 디코딩 결과에 따라 복수의 로우 선택 신호들을 출력할 수 있다. 로우 드라이버(335)는 로우 디코더(333)로부터 출력된 복수의 로우 선택 신호들 각각에 응답하여 복수의 픽셀 레이어들(311, 313, 315) 각각에 포함된 복수의 로우들 중에서 적어도 하나의 로우에 포함된 픽셀들을 구동할 수 있다.
컬럼 디코더(353)는 제어 유닛(325)으로부터 출력된 복수의 컬럼 제어 신호들, 예를 들어 컬럼 어드레스 신호들을 디코딩하고 디코딩 결과에 따라 복수의 컬럼 선택 신호들을 출력할 수 있다. 컬럼 드라이버(355)는 컬럼 디코더(353)로부터 출력된 복수의 컬럼 선택 신호들 각각에 응답하여 복수의 픽셀 레이어들(311, 313, 315) 각각에 포함된 복수의 컬럼 라인들 각각을 구동할 수 있다.
한편, 도 17에 도시된 이미지 센서(300)는 하나의 로우 드라이버(335)와 하나의 컬럼 드라이버(355)를 포함하고 있지만, 이미지 센서(300)는 복수의 픽셀 레이어들(311, 313, 315) 각각의 로우 라인들 혹은 컬럼 라인들을 구동하기 위한 복수의 로우 드라이버들 혹은 복수의 컬럼 드라이버들을 포함할 수 있다. 특히, 복수의 로우 드라이버들 중에서 적어도 2개는 서로 다른 방향으로 선택 동작을 수행할 수 있다. 또한, 복수의 컬럼 드라이버들 중에서 적어도 2개는 서로 다른 방향으로 선택 동작을 수행할 수 있다. 또한, 이미지 센서(300)는 복수의 로우 디코더들 혹은 복수의 컬럼 디코더들을 포함할 수 있다.
복수의 ADCs(371, 373, 375) 각각은 복수의 픽셀 레이어들(311, 313, 315)의 각각으로부터 출력되는 신호들을 아날로그-디지털 변환하고, 아날로그-디지털 변환된 신호들을 이미지 데이터(DATA)로서 ISP(200)로 출력할 수 있다. 예를 들어, 이미지 데이터(DATA)는 대상 정보 혹은 이미지 정보를 포함할 수 있다.
실시 예에 따라, 복수의 ADC들(371, 373, 375) 각각은 복수의 픽셀 레이어들(311, 313, 315) 각각으로부터 출력되는 신호들을 상관 이중 샘플링(correlated double sampling(CDS))하는 CDS 회로를 더 포함할 수 있다. 이때, 복수의 ADC들(371, 373, 375) 각각은 상관 이중 샘플링된 신호와 램프 신호를 비교하고, 비교 결과를 이미지 데이터(DATA)로써 출력할 수 있다.
이미지 신호 처리기(ISP, 200)는 이미지 데이터(DATA)를 디스플레이 하도록 처리할 수 있다. 또한, 이미지 신호 처리기(200)는 도 1 내지 도 16에서 상술된 바와 같이 동일 프레임에 대하여 서로 다른 방향으로 스캔한 프레임 데이터를 연산함으로써 최적의 프레임 데이터를 생성할 수 있다.
도 18은 본 발명의 실시 예에 따른 전자 장치(1000)를 예시적으로 보여주는 블록이다. 네트워크 환경에서 전자 장치(1000)는 제 1 네트워크(예를 들어, 근거리 무선 통신)를 통하여 다른 전자 장치와 통신하거나, 혹은 제 2 네트워크(예를 들어, 원거리 무선 통신)를 통하여 다른 전자 장치 혹은 서버와 통신할 수 있다.
도 18을 참조하면, 전자 장치(1000)는 프로세서(1200), 메모리(1300), 입력 장치(1500), 음향 출력 장치(1550), 표시 장치(1600), 오디오 모듈(1700), 센서 모듈(1760), 인터페이스(1770), 햅틱 모듈(1790), 카메라 모듈(1800), 전력 관리 모듈(1880), 배터리(1890), 통신 모듈(1900), 가입자 식별 모듈(1960), 및 안테나 모듈(1970)을 포함할 수 있다. 실시 예에 있어서, 전자 장치(1000)는, 구성요소들 중 적어도 하나가 생략되거나 다른 구성 요소가 추가될 수 있다. 예를 들어, 표시장치(1600)는 임베디드된 센서 모듈(1760; 지문 센서, 홍채 센서, 혹은 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(1200)는 소프트웨어(예를 들어, 프로그램(1400))를 구동하여 프로세서(1200)에 연결된 전자 장치(1000)의 적어도 하나의 다른 구성요소(예를 들어, 하드웨어 혹은 소프트웨어 구성요소)을 제어하고, 다양한 데이터 처리 및 연산을 수행할 수 있다.
프로세서(1200)는 다른 구성요소(예를 들어, 센서 모듈(1760), 통신 모듈(1900))로부터 수신된 명령 혹은 데이터를 휘발성 메모리(1320)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(1340)에 저장할 수 있다.
실시 예에 있어서, 프로세서(1200)는 메인 프로세서(1210; 중앙 처리 장치 혹은 어플리케이션 프로세서)와는 독립적으로 운영되고, 추가적으로/대체적으로, 메인 프로세서(1210)보다 저전력을 사용하거나, 혹은 지정된 기능에 특화된 보조 프로세서(1230; 그래픽 처리 프로세서, 이미지 시그널 프로세서, 센서 허브 프로세서, 커뮤니케이션 프로세서, 인공 지능 프로세서)를 포함할 수 있다.
보조 프로세서(1230)는 메인 프로세서(1210)와 별개로 혹은 임베디드되어 운영될 수 있다. 보조 프로세서(1230)는, 메인 프로세서(1210)가 인액티브(슬립) 상태에 있는 동안 메인 프로세서(1210)를 대신하여, 혹은 메인 프로세서(1210)가 액티브(어플리케이션 수행) 상태에 있는 동안 메인 프로세서(1210)와 함께, 전자 장치(1000)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(1600), 센서 모듈(1760), 혹은 통신 모듈(1900))와 관련된 기능 혹은 상태들의 적어도 일부를 제어할 수 있다. 실시 예에 있어서, 보조 프로세서(1230)는 기능적으로 관련 있는 다른 구성 요소(예를 들어, 카메라 모듈(1800) 혹은 통신 모듈(1900))의 일부 구성 요소로서 구현될 수 있다.
메모리(1300)는, 전자 장치(1000)의 적어도 하나의 구성요소(예를 들어, 프로세서(1200) 혹은 센서 모듈(1760))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어 및, 이와 관련된 명령에 대한 입력 데이터 혹은 출력 데이터를 저장할 수 있다. 메모리(1300)는, 휘발성 메모리(1320) 혹은 비휘발성 메모리(1340)를 포함할 수 있다.
프로그램(1400)은 메모리(1300)에 저장되는 소프트웨어로서, 운영 체제(1420), 미들웨어(1440) 혹은 어플리케이션(1460)을 포함할 수 있다.
입력 장치(1500)는, 전자 장치(1000)의 구성요소(프로세서(1200))에 사용될 명령 혹은 데이터를 전자 장치(1000)의 외부(사용자)로부터 수신하기 위한 장치로서, 예를 들어, 마이크, 마우스, 혹은 키보드를 포함할 수 있다.
음향 출력 장치(1550)는 음향 신호를 전자 장치(1000)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 혹은 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 실시 예에 있어서, 리시버는 스피커와 일체 혹은 별도로 형성될 수 있다.
표시 장치(1600)는 전자 장치(1000)의 사용자에게 정보를 시각적으로 제공하도록 구현될 수 있다. 예를 들어 표시 장치(1600)는, 디스플레이, 홀로그램 장치, 혹은 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 실시 예에 있어서, 표시 장치(1600)는 터치 회로(touch circuitry) 혹은 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(1700)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 실시 예에 있어서, 오디오 모듈(1700)은, 입력 장치(1500)를 통해 소리를 획득하거나, 음향 출력 장치(1550), 혹은 전자 장치(1000)와 유선 혹은 무선으로 연결된 외부 전자 장치(스피커 혹은 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(1760)은 전자 장치(1000)의 내부의 작동 상태(전력 혹은 온도), 혹은 외부의 환경 상태에 대응하는 전기 신호 혹은 데이터 값을 생성할 수 있다. 예를 들어, 센서 모듈(1760)은, 제스처 센서, 자이로 센서, 기압센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 혹은 조도 센서를 포함할 수 있다.
인터페이스(1770)는 외부 전자 장치와 유선 혹은 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 실시 예에 있어서, 인터페이스(1770)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 혹은 오디오 인터페이스를 포함할 수 있다.
연결 단자(1780)는 전자 장치(1000)와 외부 전자 장치를 물리적으로 연결시킬 수 있는 커넥터(예를 들어, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 혹은 오디오 커넥터(헤드폰 커넥터))를 포함할 수 있다.
햅틱 모듈(1790)은 전기적 신호를 사용자가 촉각 혹은 운동 감각을 통해서 인지할 수 있는 기계적인 자극(진동 혹은 움직임) 혹은 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(1790)은, 예를 들면, 모터, 압전 소자, 혹은 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1800)은 정지 영상 및 동영상을 촬영하도록 구현될 수 있다. 실시 예에 있어서, 카메라 모듈(1800)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 혹은 플래시를 포함할 수 있다. 카메라 모듈(1800)은, 도 1 내지 도 17에서 설명된 바와 같이 서로 다른 방향으로 스캔 동작을 수행한 프레임 데이터들을 이용하여 최적의 프레임 데이터를 출력하도록 제어할 수 있다.
전력 관리 모듈(1880)은 전자 장치(1000)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다. 배터리(1890)는 전자 장치(1000)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로써, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 혹은 연료 전지를 포함할 수 있다.
통신 모듈(1900)은 전자 장치(1000)와 외부 전자 장치 간의 유선 혹은 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1900)은 프로세서(1200; 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 혹은 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다.
실시 예에 있어서, 통신 모듈(1900)은 무선 통신 모듈(1920; 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 혹은 GNSS(global navigation satellite system) 통신 모듈) 혹은 유선 통신 모듈(1940; LAN(local area network) 통신 모듈, 혹은 전력선 통신 모듈))을 포함할 수 있다. 통신 모듈(1900)은 대응하는 유/무선 통신 모듈을 이용하여 제 1 네트워크(예를 들어, 블루투스, WiFi direct 혹은 IrDA(infrared data association) 같은 근거리 통신 네트워크) 혹은 제 2 네트워크(예를 들어, 셀룰러 네트워크, 인터넷, 혹은 컴퓨터 네트워크(LAN 혹은 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 실시 예에 있어서, 통신 모듈(1900)은 하나의 칩으로 구현되거나 혹은 각각 별도의 칩으로 구현될 수 있다.
실시 예에 있어서, 무선 통신 모듈(1920)은 가입자 식별 모듈(1960)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(1000)를 구별 및 인증할 수 있다.
안테나 모듈(1970)은 신호 혹은 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 실시 예에 있어서, 통신 모듈(1900)은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 혹은 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 혹은 데이터)를 상호간에 교환할 수 있다.
실시 예에 있어서, 명령 혹은 데이터는 제 2 네트워크에 연결된 서버를 통해서 전자 장치(1000)와 외부의 전자 장치 간에 송신 혹은 수신될 수 있다. 전자 장치 각각은 전자 장치(1000)와 동일한 혹은 다른 종류의 장치일 수 있다. 실시 예에 있어서, 전자 장치(1000)에서 실행되는 동작들의 전부 혹은 일부는 다른 하나 혹은 복수의 외부 전자 장치에서 실행될 수 있다. 실시 예에 있어서, 전자 장치(1000)가 어떤 기능이나 서비스를 자동으로 혹은 요청에 의하여 수행해야 할 경우에, 전자 장치(1000)는 기능 혹은 서비스를 자체적으로 실행시키는 대신에 혹은 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 요청을 수신한 외부 전자 장치는 요청된 기능 혹은 추가 기능을 실행하고, 그 결과를 전자 장치(1000)로 전달할 수 있다. 전자 장치(1000)는 수신된 결과를 그대로 혹은 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들어, 클라우드 컴퓨팅, 분산 컴퓨팅, 혹은 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
한편, 전자 장치(1000)는 다양한 형태의 장치가 될 수 있다. 예를 들어, 전자 장치(1000)는 휴대용 통신 장치(예를 들어, 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 혹은 가전 장치 중 적어도 하나를 포함할 수 있다.
문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 혹은 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 혹은 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 문서의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(1360) 혹은 외장 메모리(1380))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(1400))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(1000))를 포함할 수 있다. 명령이 프로세서(예: 프로세서(1200))에 의해 실행될 경우, 프로세서가 직접, 혹은 프로세서의 제어하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 혹은 인터프리터에 의해 생성 혹은 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 혹은 임시적으로 저장됨을 구분하지 않는다.
한편, 상술된 본 발명의 내용은 발명을 실시하기 위한 구체적인 실시 예들에 불과하다. 본 발명은 구체적이고 실제로 이용할 수 있는 수단 자체뿐 아니라, 장차 기술로 활용할 수 있는 추상적이고 개념적인 아이디어인 기술적 사상을 포함할 것이다.
10, 20: 이미지 장치
100, 100a: 이미지 센서
200: 이미지 신호 처리기
110: 픽셀 어레이
120: 선택 회로들
130: 리드아웃 회로들
100, 100a: 이미지 센서
200: 이미지 신호 처리기
110: 픽셀 어레이
120: 선택 회로들
130: 리드아웃 회로들
Claims (10)
- 복수의 로우 라인들과 복수의 컬럼 라인들 사이에 배치된 복수의 픽셀들을 갖는 픽셀 어레이;
상기 복수의 로우 라인들에 연결되고, 상기 복수의 로우 라인들 중에서 어느 하나를 선택하는 복수의 선택 회로들;
상기 복수의 선택 회로들 중에서 활성화된 어느 하나에 대응하여 활성화되고, 상기 복수의 컬럼 라인들에 연결되고, 상기 선택된 로우 라인과 상기 복수의 컬럼 라인들에 연결된 픽셀들로부터 픽셀 전압들을 수신하고, 상기 수신된 픽셀 전압들에 대응하는 픽셀 데이터를 출력하는 복수의 리드아웃 회로들; 및
상기 복수의 리드아웃 회로들로부터 상기 픽셀 어레이에 대응하는 복수의 프레임 데이터를 수신하고, 상기 복수의 프레임 데이터를 연산함으로써 하나의 프레임 데이터를 생성하는 이미지 신호 처리기를 포함하고,
상기 복수의 프레임 데이터는 상기 복수의 리드아웃 회로들 및 상기 복수의 선택 회로들에 의해 상기 픽셀 어레이가 적어도 2개의 방향들로 스캔됨으로써 생성되는 것을 특징으로 하는 이미지 장치. - 제 1 항에 있어서,
상기 복수의 픽셀들의 각각은 CIS(complementary metal-oxide-semiconductor image sensor) 픽셀인 것을 특징으로 하는 이미지 장치. - 제 2 항에 있어서,
상기 복수의 픽셀들의 각각은,
접지단에 연결된 포토 다이오드;
전달 게이트 신호에 응답하여 상기 포토 다이오드와 플로팅 확산 노드 사이에 연결된 제 1 트랜지스터;
리셋 게이트 신호에 응답하여 전원단과 상기 플로팅 확산 노드 사이에 연결된 제 2 트랜지스터;
상기 전원단에 연결된 드레인 및 상기 플로팅 확산 노드에 연결된 게이트를 갖는 제 3 트랜지스터; 및
상기 제 3 트랜지스터의 소스에 연결된 드레인, 상기 복수의 컬럼 라인들 중에서 대응하는 컬럼 라인에 연결된 소스, 상기 복수의 선택 회로들 중에서 활성화된 선택 회로에 연결된 게이트를 제 4 트랜지스터를 포함하는 이미지 장치. - 제 1 항에 있어서,
상기 이미지 신호 처리기는 상기 복수의 프레임 데이터를 평균 연산함으로써 상기 하나의 프레임 데이터를 생성하는 것을 특징으로 하는 이미지 장치. - 복수의 로우 라인들과 복수의 컬럼 라인들 사이에 배치된 복수의 픽셀들을 갖는 픽셀 어레이;
상기 픽셀 어레이의 하부에 배치되고, 상기 복수의 로우 라인들에 연결되고, 상기 복수의 로우 라인들 중에서 어느 하나를 선택하는 제 1 선택 회로;
상기 픽셀 어레이의 상부에 배치되고, 상기 복수의 로우 라인들에 연결되고, 상기 복수의 로우 라인들 중에서 어느 하나를 선택하는 제 2 선택 회로;
상기 픽셀 어레이의 좌측에 배치되고, 상기 제 1 선택 회로 및 상기 제 2 선택 회로 중에서 활성화된 어느 하나에 대응하여 활성화되고, 상기 복수의 컬럼 라인들에 연결되고, 상기 선택된 로우 라인과 상기 복수의 컬럼 라인들에 연결된 픽셀들로부터 픽셀 전압들을 수신하고, 상기 수신된 픽셀 전압들에 대응하는 픽셀 데이터를 출력하는 제 1 리드아웃 회로;
상기 픽셀 어레이의 우측에 배치되고, 상기 제 1 선택 회로 및 상기 제 2 선택 회로 중에서 활성화된 나머지 하나에 대응하여 활성화되고, 상기 복수의 컬럼 라인들에 연결되고, 상기 선택된 로우 라인과 상기 복수의 컬럼 라인들에 연결된 픽셀들로부터 픽셀 전압들을 수신하고, 상기 수신된 픽셀 전압들에 대응하는 픽셀 데이터를 출력하는 제 2 리드아웃 회로를 포함하고,
상기 제 1 선택 회로는 제 1 방향으로 선택 동작을 수행하고,
상기 제 2 선택 회로는 상기 제 1 방향과 다른 제 2 방향으로 선택 동작을 수행하는 것을 특징으로 하는 이미지 센서. - 제 5 항에 있어서,
상기 제 1 선택 회로가 활성화된 후에 상기 제 2 선택 회로가 활성화 되는 것을 특징으로 하는 이미지 센서. - 제 5 항에 있어서,
상기 제 1 선택 회로 및 상기 제 2 선택 회로는 동시에 활성화 되는 것을 특징으로 하는 이미지 센서. - 이미지 장치의 동작 방법에 있어서,
제 1 선택 회로와 제 1 리드아웃 회로에 의하여 복수의 로우 라인들과 복수의 컬럼 라인들 사이에 배치된 복수의 픽셀들을 갖는 픽셀 어레이에 대하여 제 1 방향으로 제 1 스캔 동작을 수행하는 단계;
제 2 선택 회로와 제 2 리드아웃 회로에 의하여 상기 픽셀 어레이에 대하여 상기 제 1 방향과 다른 제 2 방향으로 제 2 스캔 동작을 수행하는 단계; 및
이미지 신호 처리기에서 상기 제 1 스캔 동작에 대응하는 제 1 프레임 데이터와 상기 제 2 스캔 동작에 대응하는 제 2 프레임 데이터를 머지하는 단계를 포함하는 방법. - 제 8 항에 있어서,
상기 복수의 픽셀들의 각각에서 제 1 스캔 동작에 의해 픽셀 데이터를 출력된 후에 제 2 스캔 동작에 의해 픽셀 데이터가 출력되는 것을 특징으로 하는 방법. - 제 9 항에 있어서,
상기 복수의 픽셀들의 각각은 DVS(dynamic vision sensor) 픽셀이고, 상기 제 1 프레임 데이터가 구성될 때까지 상기 제 1 스캔 동작에 따른 픽셀 데이터를 홀딩하는 단계;
상기 제 2 프레임 데이터가 구성될 때까지 상기 제 2 스캔 동작에 따른 픽셀 데이터를 홀딩하는 단계를 더 포함하는 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190166534A KR20210076238A (ko) | 2019-12-13 | 2019-12-13 | 이미지 센서, 그것을 포함하는 이미지 장치 및 그것의 동작 방법 |
| US16/992,330 US11388361B2 (en) | 2019-12-13 | 2020-08-13 | Image sensor, imaging device including image sensor, and method of operating imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190166534A KR20210076238A (ko) | 2019-12-13 | 2019-12-13 | 이미지 센서, 그것을 포함하는 이미지 장치 및 그것의 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210076238A true KR20210076238A (ko) | 2021-06-24 |
Family
ID=76317202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190166534A KR20210076238A (ko) | 2019-12-13 | 2019-12-13 | 이미지 센서, 그것을 포함하는 이미지 장치 및 그것의 동작 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11388361B2 (ko) |
| KR (1) | KR20210076238A (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3125665B1 (fr) * | 2021-07-26 | 2023-11-10 | Commissariat Energie Atomique | Circuit de lecture rapide pour un réseau matriciel de pixels événementiels |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2760639B2 (ja) | 1990-07-04 | 1998-06-04 | 株式会社東芝 | 固体撮像装置およびその駆動方法 |
| JP3432051B2 (ja) * | 1995-08-02 | 2003-07-28 | キヤノン株式会社 | 光電変換装置 |
| JP3548410B2 (ja) * | 1997-12-25 | 2004-07-28 | キヤノン株式会社 | 固体撮像装置および固体撮像装置の信号読み出し方法 |
| EP1428380A2 (en) * | 2001-08-17 | 2004-06-16 | Micron Technology, Inc. | Doubling of speed in cmos sensor with column-parallel adcs |
| US7859581B2 (en) * | 2003-07-15 | 2010-12-28 | Eastman Kodak Company | Image sensor with charge binning and dual channel readout |
| KR100674923B1 (ko) | 2004-12-03 | 2007-01-26 | 삼성전자주식회사 | 인접한 화소간에 출력회로를 공유하는 씨모스 이미지 센서 |
| KR101319542B1 (ko) | 2007-01-02 | 2013-10-21 | 삼성전자주식회사 | 라인 이미지 센서 및 이를 이용한 화상형성장치 |
| KR101411987B1 (ko) * | 2007-09-11 | 2014-06-26 | 삼성전자주식회사 | 촬상영역이 분할된 촬영장치 및 그 촬상소자 |
| JP2011211553A (ja) | 2010-03-30 | 2011-10-20 | Fujifilm Corp | Ｃｍｏｓ撮像素子及び該ｃｍｏｓ撮像素子を備えた内視鏡装置 |
| US9426400B2 (en) | 2012-12-10 | 2016-08-23 | Kla-Tencor Corporation | Method and apparatus for high speed acquisition of moving images using pulsed illumination |
| WO2015111374A1 (ja) * | 2014-01-22 | 2015-07-30 | パナソニックＩｐマネジメント株式会社 | 固体撮像装置 |
| DE102015213705A1 (de) | 2015-07-21 | 2017-01-26 | Siemens Aktiengesellschaft | Verfahren und Assistenzsystem zum Steuern eines technischen Systems |
| JP2017076887A (ja) | 2015-10-15 | 2017-04-20 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置 |
| CN107888807B (zh) * | 2016-09-29 | 2020-07-24 | 普里露尼库斯股份有限公司 | 固体摄像装置、固体摄像装置的驱动方法以及电子设备 |
-
2019
- 2019-12-13 KR KR1020190166534A patent/KR20210076238A/ko not_active Application Discontinuation
-
2020
- 2020-08-13 US US16/992,330 patent/US11388361B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20210185259A1 (en) | 2021-06-17 |
| US11388361B2 (en) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11743611B2 (en) | Image sensor controlling a conversion gain imaging device having the same, and method of operating the same | |
| US10658405B2 (en) | Solid-state image sensor, electronic apparatus, and imaging method | |
| US10015428B2 (en) | Image sensor having wide dynamic range, pixel circuit of the image sensor, and operating method of the image sensor | |
| JP6651478B2 (ja) | 画像センサにおける画素ビニング | |
| US9319611B2 (en) | Image sensor with flexible pixel summing | |
| US9001220B2 (en) | Image sensor chip, method of obtaining image data based on a color sensor pixel and a motion sensor pixel in an image sensor chip, and system including the same | |
| US10447976B2 (en) | Solid state imaging device having a shared pixel structure and electronic apparatus | |
| US11039056B2 (en) | Image sensor for generating depth data by a path difference of light generated through micro lens covering a plurality of sub-pixels and electronic device including the image sensor | |
| US20230046521A1 (en) | Control method, camera assembly, and mobile terminal | |
| US20130308027A1 (en) | Systems and methods for generating metadata in stacked-chip imaging systems | |
| KR20210066048A (ko) | 이미지 센서, 그것을 포함하는 이미지 장치, 및 그것의 동작 방법 | |
| EP3993405A2 (en) | Integrated image sensor with internal feedback and operation method thereof | |
| US11558587B2 (en) | Camera module comprising complementary color filter array and electronic device comprising same | |
| US11388361B2 (en) | Image sensor, imaging device including image sensor, and method of operating imaging device | |
| US20240063246A1 (en) | Image sensor using method of driving hybrid shutter and image processing apparatus including the same | |
| US20240178248A1 (en) | Image sensor including multi-spectral filter and electronic device including the image sensor | |
| US20240098380A1 (en) | Image sensor and operating method thereof | |
| US20230134771A1 (en) | Image sensor, image acquisition apparatus, and electronic apparatus including the image acquisition apparatus | |
| KR20220059905A (ko) | 내부 피드백을 갖는 집적 영상 센서 및 그 작동 방법 | |
| US9013624B2 (en) | Image pickup apparatus having same exposure time among pixel groups and associated method and computer-readable medium | |
| KR20230068826A (ko) | 이미지 센싱 시스템 | |
| KR20240054060A (ko) | 이미지 센서 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |