KR20210025617A - 다수의 포토다이오드들을 가진 화소 센서 - Google Patents
다수의 포토다이오드들을 가진 화소 센서 Download PDFInfo
- Publication number
- KR20210025617A KR20210025617A KR1020217002689A KR20217002689A KR20210025617A KR 20210025617 A KR20210025617 A KR 20210025617A KR 1020217002689 A KR1020217002689 A KR 1020217002689A KR 20217002689 A KR20217002689 A KR 20217002689A KR 20210025617 A KR20210025617 A KR 20210025617A
- Authority
- KR
- South Korea
- Prior art keywords
- charge
- photodiode
- photodiodes
- voltage
- generate
- Prior art date
Links
- 238000013139 quantization Methods 0.000 claims abstract description 168
- 238000000034 method Methods 0.000 claims abstract description 80
- 230000008569 process Effects 0.000 claims abstract description 47
- 230000004044 response Effects 0.000 claims abstract description 14
- 238000012546 transfer Methods 0.000 claims description 98
- 229920006395 saturated elastomer Polymers 0.000 claims description 33
- 238000003491 array Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 description 48
- 238000003384 imaging method Methods 0.000 description 45
- 230000003287 optical effect Effects 0.000 description 38
- 230000000875 corresponding effect Effects 0.000 description 28
- 239000003990 capacitor Substances 0.000 description 26
- 230000002829 reductive effect Effects 0.000 description 20
- 102100040678 Programmed cell death protein 1 Human genes 0.000 description 19
- 210000001508 eye Anatomy 0.000 description 18
- 239000004065 semiconductor Substances 0.000 description 18
- 239000000758 substrate Substances 0.000 description 17
- 230000001276 controlling effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 101100191136 Arabidopsis thaliana PCMP-A2 gene Proteins 0.000 description 4
- 101100048260 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) UBX2 gene Proteins 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 101710089372 Programmed cell death protein 1 Proteins 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100041125 Arabidopsis thaliana RST1 gene Proteins 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 101100443250 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG1 gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010494 dissociation reaction Methods 0.000 description 1
- 230000005593 dissociations Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H04N5/37455—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
- H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
- H04N25/623—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by evacuation via the output or reset lines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M1/00—Analogue/digital conversion; Digital/analogue conversion
- H03M1/12—Analogue/digital converters
- H03M1/18—Automatic control for modifying the range of signals the converter can handle, e.g. gain ranging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- H04N5/35536—
-
- H04N5/3559—
-
- H04N5/3594—
-
- H04N5/37452—
-
- H04N5/378—
-
- H04N5/379—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
일 예에서, 장치는: 복수의 포토다이오드들, 하나 이상의 전하 감지 유닛들, 하나 이상의 아날로그-디지털 변환기들(ADC들), 및 제어기를 포함한다. 제어기는: 각각의 포토다이오드가 입사 광의 상이한 구성요소에 응답하여 전하를 생성할 수 있게 하고; 전압들로 변환하기 위해 상기 전하를 복수의 포토다이오드들로부터 하나 이상의 전하 감지 유닛들로 전달하고; 복수의 세기 범위들에 대응하는 복수의 양자화 프로세스들 중 하나 이상의 양자화 프로세스들의 선택을 수신하고; 상기 선택에 기초하여, 하나 이상의 전하 감지 유닛들로부터의 전압들을 상이한 파장 범위들의 화소의 구성요소들을 나타내는 디지털 값들로 양자화하기 위해 선택된 하나 이상의 양자화 프로세스들을 수행하도록 하나 이상의 ADC들을 제어하며; 상기 디지털 값들에 기초하여 화소 값을 생성하도록 구성된다.
Description
관련 출원
본 특허 출원은 2019년 6월 26일에 출원된, "다수의 포토다이오드들을 가진 화소 센서"라는 제목의 미국 특허 출원 번호 제16/453,538호, 및 2018년 6월 27일에 출원된, "다수의 포토다이오드들을 가진 디지털 화소 센서"라는 제목의 미국 가특허 출원 번호 제62/690,571호에 대한 우선권을 주장하며, 이것들은 양수인에게 양도되고 여기에서 모든 목적들을 위해 전체적으로 참조로 포함된다.
본 개시는 일반적으로 이미지 센서들에 관한 것이며, 보다 구체적으로 이미지 생성을 위한 광 세기를 결정하기 위해 인터페이싱 회로부들을 포함한 화소 셀 구조에 관한 것이다.
이미지 센서에서의 통상적인 화소는 광자들을 전하(예컨대, 전자들 또는 홀들)로 변환함으로써 입사 광을 감지하기 위해 포토다이오드를 포함한다. 입사 광은 2D 및 3D 감지와 같은, 상이한 애플리케이션들을 위한 상이한 파장 범위들의 구성요소들을 포함할 수 있다. 게다가, 이미지 왜곡을 감소시키기 위해, 포토다이오드들의 어레이의 각각의 포토다이오드가 전하를 생성하기 위해 전역적 노출 기간에서 동시에 입사 광을 감지하는 전역적 셔터 동작이 수행될 수 있다. 전하는 전압으로 변환하기 위해 전하 감지 유닛(예컨대, 플로팅 확산)에 의해 변환될 수 있다. 화소 셀들의 어레이는 전하 감지 유닛에 의해 변환된 전압들에 기초하여 입사 광의 상이한 구성요소들을 측정하며 씬의 2D 및 3D 이미지들의 생성을 위해 측정 결과들을 제공할 수 있다.
본 개시는 이미지 센서들과 관련된다. 보다 구체적으로, 및 제한 없이, 본 개시는 화소 셀과 관련된다. 본 개시는 또한 입사 광의 세기의 디지털 표현을 생성하도록 화소 셀들의 회로부들을 동작시키는 것과 관련된다.
일 예에서, 장치는: 복수의 포토다이오드들로서, 각각의 포토다이오드는 파장 범위의 입사 광의 구성요소를 전하로 변환하도록 구성되는, 상기 복수의 포토다이오드들; 하나 이상의 전하 감지 유닛들; 하나 이상의 아날로그-디지털 변환기들(ADC들); 메모리; 및 제어기로서: 상기 각각의 포토다이오드로 하여금 입사 광의 상이한 구성요소에 응답하여 전하를 생성할 수 있게 하고; 전압들로 변환하기 위해 상기 복수의 포토다이오드들로부터의 전하를 하나 이상의 전하 감지 유닛들로 전달하고; 복수의 세기 범위들에 대응하는 복수의 양자화 프로세스들 중 하나 이상의 양자화 프로세스들의 선택을 수신하고; 상기 선택에 기초하여, 상기 하나 이상의 전하 감지 유닛들로부터의 전압들을 상이한 파장 범위들의 화소의 구성요소들을 나타내는 디지털 값들로 양자화하기 위해 상기 선택된 하나 이상의 양자화 프로세스들을 수행하도록 상기 하나 이상의 ADC들을 제어하고; 상기 디지털 값들 중 적어도 일부를 메모리에 저장하며; 상기 메모리에 저장된 디지털 값들 중 적어도 일부에 기초하여 화소 값을 생성하도록 구성된, 상기 제어기를 포함한다.
몇몇 양상들에서, 각각의 포토다이오드는, 통합 기간 내에서, 각각의 포토다이오드가 포화될 때까지 잔류 전하로서 상기 전하의 적어도 부분을 축적시키며 상기 포토다이오드가 포화된 후 남아있는 전하를 오버플로우 전하로서 하나 이상의 전하 감지 유닛으로 전달하도록 구성된다. 상기 하나 이상의 전하 감지 유닛은 구성 가능한 정전용량을 가진 전하 저장 디바이스를 포함한다. 상기 복수의 양자화 동작들은: 최대 정전용량에서 구성된 전하 저장 디바이스에 의해 수신된 오버플로우 전하의 양을 나타내는 제 1 디지털 값을 생성하기 위한 제 1 양자화 동작으로서, 상기 제 1 양자화 동작은 제 1 세기 범위와 연관되는, 상기 제 1 양자화 동작; 및 상기 잔류 전하가 최소 정전용량에서 구성된 전하 저장 디바이스로 전달된 후, 전하 저장 디바이스에 저장된 잔류 전하의 양을 나타내는 제 2 디지털 값을 생성하기 위한 제 2 양자화 동작으로서, 상기 제 2 양자화 동작은 상기 제 1 세기 범위보다 낮은 제 2 세기 범위와 연관되는, 상기 제 2 양자화 동작을 포함한다.
몇몇 양상들에서, 상기 복수의 양자화 동작들은 오버플로우 전하에 의해 야기된 전하 저장 디바이스의 포화 시간(time-of-saturation)을 나타내는 제 3 디지털 값을 생성하기 위한 제 3 양자화 동작을 포함한다.
몇몇 양상들에서, 상기 장치는 복수의 포토다이오드들이 입사 광을 수신하는 광 수신 표면을 추가로 포함한다. 상기 복수의 포토다이오드들은 각각의 포토다이오드가 상이한 거리만큼 광 수신 표면으로부터 분리되도록 광 수신 표면에 대하여 스택 구조를 형성한다. 각각의 포토다이오드에 의해 변환된 구성요소는 각각의 포토다이오드와 광 수신 표면 사이에서의 각각의 거리에 기초한다.
몇몇 양상들에서, 상기 장치는 광 수신 표면의 제 1 측면 상에 필터 어레이를 추가로 포함하며, 상기 필터 어레이는 각각의 위치에서 광 수신 표면에 들어가는 입사 광의 구성요소를 설정하기 위해 광 수신 표면의 제 1 측면 상에서의 복수의 위치들에 배치된 필터 요소들을 갖는다. 상기 복수의 포토다이오드들은 복수의 서브-화소들에 대응하며 입사 광의 각각의 구성요소들을 수신하기 위해 광 수신 표면의 제 2 측면 상에서의 복수의 위치들에 배치된다.
몇몇 양상들에서, 상기 장치는 필터 어레이를 포함하며 씬의 하나의 스팟으로부터 수신된 입사 광을 광 수신 표면의 제 1 측면 상에서의 복수의 위치들을 향해 투사하도록 구성된 복수의 필터 어레이들 위에 단일 마이크로렌즈를 추가로 포함한다.
몇몇 양상들에서, 장치는 제 1 마이크로렌즈를 포함한 복수의 마이크로렌즈들을 추가로 포함하며, 상기 제 1 마이크로렌즈는 필터 어레이를 커버하며 씬의 하나의 스팟으로부터 수신된 입사 광을 광 수신 표면의 제 1 측면 상에서의 복수의 위치들을 향해 투사하도록 구성된다.
몇몇 양상들에서, 하나 이상의 감지 유닛은 단일 전하 감지 유닛을 포함한다. 상기 하나 이상의 ADC들은 단일 전하 감지 유닛의 출력과 결합된 단일 ADC를 포함한다. 장치는 복수의 스위치들을 추가로 포함하며, 각각의 스위치는 복수의 포토다이오드들의 포토다이오드와 단일 전하 감지 유닛의 입력 사이에 결합된다. 제어기는: 전압들로 변환하기 위해 각각의 포토다이오드에 의해 생성된 전하를 단일 전하 감지 유닛으로 전달하도록 복수의 스위치들을 제어하며; 단일 전하 감지 유닛에 의해 생성된 전압들을 양자화하도록 단일 ADC를 제어하기 위해 구성된다.
몇몇 양상들에서, 제어기는: 복수의 포토다이오드들 중 제 1 포토다이오드로부터의 제 1 오버플로우 전하를 제 1 전압으로 변환하기 위해 단일 전하 감지 유닛으로 전달하도록 복수의 스위치들 중 제 1 스위치를 제어하고; 상기 선택에 기초하여, 제 1 디지털 값을 생성하기 위해 제 1 전압의 제 1 또는 제 3 양자화 동작들 중 적어도 하나를 수행하도록 상기 단일 ADC를 제어하고; 상기 제 1 포토다이오드로부터의 제 1 잔류 전하를 제 2 전압으로 변환하기 위해 단일 전하 감지 유닛으로 전달하도록 제 1 스위치를 제어하고; 상기 선택에 기초하여, 제 2 디지털 값을 생성하기 위해 제 2 전압의 제 2 양자화 동작을 수행하도록 단일 ADC를 제어하고; 복수의 포토다이오드들 중 제 2 포토다이오드로부터의 제 2 잔류 전하를 제 3 전압으로 변환하기 위해 단일 전하 감지 유닛으로 전달하도록 복수의 스위치들 중 제 2 스위치를 제어하고; 상기 선택에 기초하여, 제 3 디지털 값을 생성하기 위해 제 3 전압의 제 2 양자화 동작을 수행하도록 단일 ADC를 제어하며; 상기 메모리로부터, 제 1 디지털 값 및 제 2 디지털 값 중 하나에 기초하여 화소 값을 생성, 출력하도록 구성된다.
몇몇 양상들에서, 포토다이오드들의 각각은 잔류 전하를 저장하기 위해 상이한 최대 우물 용량(full well capacity)을 갖는다. 제어기는: 제 1 전압을 생성하기 위해 복수의 포토다이오드들의 각각의 포토다이오드로부터의 오버플로우 전하를 동시에 단일 전하 저장 유닛으로 전달하도록 복수의 스위치들을 제어하며; 상기 선택에 기초하여, 제 1 디지털 값을 생성하기 위해 제 1 또는 제 3 양자화 동작들 중 적어도 하나를 사용하여 제 1 전압을 양자화하도록 단일 ADC를 제어하고; 각각이 각각의 포토다이오드로부터의 각각의 잔류 전하에 대응하는 제 2 전압들을 생성하기 위해 상이한 시간들에서 각각의 포토다이오드로부터의 잔류 전하를 단일 전하 저장 유닛으로 전달하도록 복수의 스위치들을 제어하고; 상기 선택에 기초하여, 제 2 디지털 값들을 생성하기 위해 제 2 양자화 동작을 사용하여 제 2 전압들을 양자화하도록 상기 단일 ADC를 제어하며; 상기 제 1 디지털 값 및 상기 제 2 디지털 값들에 기초하여 화소 값을 생성하도록 구성된다.
몇몇 양상들에서, 제어기는 제 1 시간 기간 내에서: 각각이 각각의 포토다이오드로부터의 각각의 오버플로우 전하에 대응하는 제 1 전압들을 생성하기 위해 상이한 시간들에서 복수의 포토다이오드들의 각각의 포토다이오드로부터의 오버플로우 전하를 단일 전하 감지 유닛으로 전달하도록 복수의 스위치들을 제어하며; 상기 선택에 기초하여, 제 1 디지털 값들을 생성하기 위해 제 1 또는 제 3 양자화 동작들 중 적어도 하나를 사용하여 제 1 전압을 양자화하도록 상기 단일 ADC를 제어하기 위해 구성된다. 상기 제어기는 또한 제 2 시간 기간 내에서: 각각이 각각의 포토다이오드로부터의 각각의 잔류 전하에 대응하는 제 2 전압들을 생성하기 위해 상이한 시간들에서 각각의 포토다이오드로부터의 잔류 전하를 단일 전하 저장 유닛으로 전달하도록 복수의 스위치들을 제어하며; 상기 선택에 기초하여, 제 2 디지털 값들을 생성하기 위해 제 2 양자화 동작을 사용하여 제 2 전압들을 양자화하도록 단일 ADC를 제어하며; 상기 제 1 디지털 값들 및 상기 제 2 디지털 값들 중 적어도 일부에 기초하여 화소 값을 생성하도록 구성된다.
몇몇 양상들에서, 상기 하나 이상의 감지 유닛은 복수의 포토다이오드들에 대응하는 복수의 전하 감지 유닛들을 포함한다. 상기 장치는 각각이 복수의 전하 감지 유닛들의 각각의 전하 감지 유닛과 복수의 포토다이오드들의 대응하는 포토다이오드 사이에 결합된 복수의 스위치들을 추가로 포함한다.
몇몇 양상들에서, 제어기는: 복수의 포토다이오드들 중 제 1 포토다이오드가 제 1 전압을 생성하기 위해 복수의 전하 감지 유닛들 중 제 1 전하 감지 유닛으로 제 1 전하를 전달할 수 있게 하고; 복수의 포토다이오드들 중 제 2 포토다이오드가 제 2 전압을 생성하기 위해 복수의 전하 감지 유닛들 중 제 2 전하 감지 유닛으로 제 2 전하를 전달할 수 있게 하고; 상기 선택에 기초하여, 제 디지털 값을 생성하기 위해 제 1 전압의 제 1 양자화 동작, 이어서 제 2 디지털 값을 생성하기 위해 제 2 전압의 제 2 또는 제 3 양자화 동작들을 수행하도록 하나 이상의 ADC들을 제어하며; 상기 제 1 디지털 값 및 상기 제 2 디지털 값에 기초하여 화소 값을 생성하도록 구성된다.
몇몇 양상들에서, 제어기는, 제 1 시간 기간 내에서: 복수의 포토다이오드들 중 제 1 포토다이오드가 입사 광에 응답하여 제 1 전하를 생성할 수 있게 하고; 제 1 포토다이오드가 제 1 전압을 생성하기 위해 복수의 전하 감지 유닛들 중 제 1 전하 감지 유닛으로 제 1 전하의 제 1 오버플로우 전하를 전달할 수 있게 하며; 상기 선택에 기초하여, 제 1 포화 시간을 나타내는 제 1 디지털 값을 생성하기 위해 제 1 전압의 제 3 양자화 동작을 수행하도록 하나 이상의 ADC들을 제어하도록 구성된다. 상기 제어기는 또한: 제 2 시간 기간 내에서: 복수의 포토다이오드들 중 제 2 포토다이오드가 입사 광에 응답하여 제 2 전하를 생성할 수 있게 하고; 제 2 포토다이오드가 제 2 전압을 생성하기 위해 복수의 전하 감지 유닛들 중 제 2 전하 감지 유닛으로 제 2 전하의 제 2 오버플로우 전하를 전달할 수 있게 하며; 상기 선택에 기초하여, 제 2 포화 시간을 나타내는 제 2 디지털 값을 생성하기 위해 제 2 전압의 제 3 양자화 동작을 수행하도록 하나 이상의 ADC들을 제어하도록 구성된다. 상기 제어기는 또한 상기 제 1 디지털 값 및 상기 제 2 디지털 값에 기초하여 화소 값을 생성하도록 구성된다.
몇몇 양상들에서, 상기 복수의 전하 감지 유닛들은 제 1 전하 감지 유닛, 제 2 전하 감지 유닛, 제 3 전하 감지 유닛, 및 제 4 전하 감지 유닛을 포함한다. 상기 하나 이상의 ADC들은 제 1 ADC 및 제 2 ADC를 포함한다. 상기 제어기는: 제 1 전하 감지 유닛으로부터의 제 1 전압 및 제 2 전하 감지 유닛으로부터의 제 2 전압을 양자화하도록 상기 제 1 ADC를 제어하며; 제 3 전하 감지 유닛으로부터의 제 3 전압 및 제 2 전하 감지 유닛으로부터의 제 3 전압을 양자화하도록 상기 제 2 ADC를 제어하기 위해 구성된다.
몇몇 양상들에서, 상기 제어기는 디지털 값들의 각각을 메모리에 저장하도록 구성된다.
몇몇 양상들에서, 상기 제어기는: 복수의 포토다이오드들 중 제 1 포토다이오드에 의해 생성된 전하에 대응하는 제 1 전압을 양자화하는 것에 기초하여 제 1 디지털 값을 생성하도록 하나 이상의 ADC를 제어하고; 상기 제 1 디지털 값을 메모리에 저장하고; 화소 값을 계산하기 위해 상기 제 1 디지털 값을 판독하고; 복수의 포토다이오드들 중 제 2 포토다이오드에 의해 생성된 전하에 대응하는 제 2 전압을 양자화하는 것에 기초하여 제 2 디지털 값을 생성하도록 상기 하나 이상의 ADC를 제어하고; 상기 메모리에서 제 2 디지털 값으로 상기 제 1 디지털 값을 덮어 쓰며; 상기 화소 값을 계산하기 위해 상기 제 2 디지털 값을 판독하도록 구성된다.
일 예에서, 방법이 제공된다. 상기 방법은: 화소 셀의 복수의 포토다이오드들의 각각의 포토다이오드가 상기 화소 셀에 의해 수신된 입사 광의 상이한 구성요소에 응답하여 전하를 생성할 수 있게 하는 것; 전압들로 변환하기 위해 상기 복수의 포토다이오드들로부터의 전하를 상기 하나 이상의 전하 감지 유닛들로 전달하는 것; 상기 복수의 포토다이오드들의 각각의 포토다이오드에 대해, 복수의 세기 범위들에 대응하는 복수의 양자화 프로세스들 중 하나 이상의 양자화 프로세스의 선택을 수신하는 것; 상기 선택에 기초하여, 상기 하나 이상의 전하 감지 유닛들로부터의 전압들을 상이한 파장 범위들의 화소의 구성요소들을 나타내는 디지털 값들로 양자화하기 위해 상기 선택된 하나 이상의 양자화 프로세스들을 수행하도록 상기 하나 이상의 ADC들을 제어하는 것; 상기 디지털 값들 중 적어도 일부를 메모리에 저장하는 것; 및 상기 메모리에 저장된 상기 디지털 값들 중 적어도 일부에 기초하여 화소 값을 생성하는 것을 포함한다.
몇몇 양상들에서, 상기 복수의 양자화 프로세스들은 제 1 포토다이오드가 포화되기 전에 상기 복수의 포토다이오드들 중 제 1 포토다이오드에 축적된 잔류 전하의 양을 측정하기 위한 제 1 양자화 프로세스, 상기 제 1 포토다이오드가 포화된 후 상기 제 1 포토다이오드에 의해 전달된 오버플로우 전하의 양을 측정하기 위한 제 2 양자화 프로세스, 및 상기 제 1 포토다이오드로부터의 오버플로우 전하에 의해 야기된 하나 이상의 전하 감지 유닛들의 포화 시간을 측정하기 위한 제 3 양자화 프로세스를 포함한다.
예시적인 예들이 다음의 도면들을 참조하여 설명된다.
도 1a 및 도 1b는 근안 디스플레이의 예의 다이어그램들이다.
도 2는 근안 디스플레이의 단면의 예이다.
도 3은 단일 소스 어셈블리를 가진 도파관 디스플레이의 예의 등각도를 예시한다.
도 4는 도파관 디스플레이의 예의 단면을 예시한다.
도 5는 근안 디스플레이를 포함한 시스템의 예의 블록도이다.
도 6은 이미지 센서의 예들의 블록도들을 예시한다.
도 7a, 도 7b, 및 도 7c는 도 6의 이미지 센서에 의한 예시적인 동작들을 예시한다.
도 8a, 도 8b, 도 8c, 및 도 8d는 도 6의 이미지 센서의 포토다이오드들의 구성들의 예들을 예시한다.
도 9는 화소 셀의 예의 블록도들을 예시한다.
도 10은 도 10의 화소 셀에 의해 상이한 광 세기 범위들에 대한 시간에 대하여 축적된 전하의 예들을 예시한다.
도 11a, 도 11b, 도 11c, 및 도 11d는 양자화를 수행하기 위한 기술들을 예시한다.
도 12는 광 세기 측정을 수행하기 위한 제어 신호들의 예시적인 시퀀스를 예시한다.
도 13a 및 도 13b는 다수의 포토다이오드들을 가진 화소 셀 및 그것의 동작들의 예의 블록도들을 예시한다.
도 14a 및 도 14b는 다수의 포토다이오드들을 가진 화소 셀 및 그것의 동작들의 예의 블록도들을 예시한다.
도 15는 광 세기를 측정하기 위한 예시적인 프로세스의 흐름도를 예시한다.
도면들은 단지 예시의 목적들을 위해 본 개시의 예들을 묘사한다. 이 기술분야에서의 통상의 기술자는 예시된 구조들 및 방법들의 대안적인 예들이 본 개시의 원리들, 또는 내세워진 이점들로부터 벗어나지 않고 이용될 수 있다는 것을 다음의 설명으로부터 쉽게 인식할 것이다.
첨부된 도면들에서, 유사한 구성요소들 및/또는 특징들은 동일한 참조 라벨을 가질 수 있다. 뿐만 아니라, 동일한 유형의 다양한 구성요소들은 대시 기호에 의한 참조 라벨 및 유사한 구성요소들 사이를 구별하는 제 2 라벨을 따름으로써 구별될 수 있다. 단지 제 1 참조 라벨만이 명세서에서 사용된다면, 설명은 제 2 참조 라벨에 관계없이 동일한 제 1 참조 라벨을 가진 유사한 구성요소들 중 임의의 것에 적용 가능하다.
도 1a 및 도 1b는 근안 디스플레이의 예의 다이어그램들이다.
도 2는 근안 디스플레이의 단면의 예이다.
도 3은 단일 소스 어셈블리를 가진 도파관 디스플레이의 예의 등각도를 예시한다.
도 4는 도파관 디스플레이의 예의 단면을 예시한다.
도 5는 근안 디스플레이를 포함한 시스템의 예의 블록도이다.
도 6은 이미지 센서의 예들의 블록도들을 예시한다.
도 7a, 도 7b, 및 도 7c는 도 6의 이미지 센서에 의한 예시적인 동작들을 예시한다.
도 8a, 도 8b, 도 8c, 및 도 8d는 도 6의 이미지 센서의 포토다이오드들의 구성들의 예들을 예시한다.
도 9는 화소 셀의 예의 블록도들을 예시한다.
도 10은 도 10의 화소 셀에 의해 상이한 광 세기 범위들에 대한 시간에 대하여 축적된 전하의 예들을 예시한다.
도 11a, 도 11b, 도 11c, 및 도 11d는 양자화를 수행하기 위한 기술들을 예시한다.
도 12는 광 세기 측정을 수행하기 위한 제어 신호들의 예시적인 시퀀스를 예시한다.
도 13a 및 도 13b는 다수의 포토다이오드들을 가진 화소 셀 및 그것의 동작들의 예의 블록도들을 예시한다.
도 14a 및 도 14b는 다수의 포토다이오드들을 가진 화소 셀 및 그것의 동작들의 예의 블록도들을 예시한다.
도 15는 광 세기를 측정하기 위한 예시적인 프로세스의 흐름도를 예시한다.
도면들은 단지 예시의 목적들을 위해 본 개시의 예들을 묘사한다. 이 기술분야에서의 통상의 기술자는 예시된 구조들 및 방법들의 대안적인 예들이 본 개시의 원리들, 또는 내세워진 이점들로부터 벗어나지 않고 이용될 수 있다는 것을 다음의 설명으로부터 쉽게 인식할 것이다.
첨부된 도면들에서, 유사한 구성요소들 및/또는 특징들은 동일한 참조 라벨을 가질 수 있다. 뿐만 아니라, 동일한 유형의 다양한 구성요소들은 대시 기호에 의한 참조 라벨 및 유사한 구성요소들 사이를 구별하는 제 2 라벨을 따름으로써 구별될 수 있다. 단지 제 1 참조 라벨만이 명세서에서 사용된다면, 설명은 제 2 참조 라벨에 관계없이 동일한 제 1 참조 라벨을 가진 유사한 구성요소들 중 임의의 것에 적용 가능하다.
다음의 설명에서, 설명의 목적들을 위해, 특정 세부사항들이 특정한 본 발명의 예들의 철저한 이해를 제공하기 위해 제시된다. 그러나, 다양한 예들이 이들 특정 세부사항들 없이 실시될 수 있다는 것이 명백할 것이다. 도면들 및 설명은 제한하고자 하는 것이 아니다.
통상적인 이미지 센서는 화소 셀들의 어레이를 포함한다. 각각의 화소 셀은 광자들을 전하(예컨대, 전자들 또는 홀들)로 변환함으로써 입사 광의 세기를 측정하기 위해 포토다이오드를 포함한다. 포토다이오드에 의해 생성된 전하는 플로팅 드레인 노드를 포함할 수 있는, 전하 감지 유닛에 의해 전압으로 변환될 수 있다. 전압은 아날로그-디지털 변환기(ADC)에 의해 디지털 값으로 양자화될 수 있다. 디지털 값은 화소 셀에 의해 수신된 광의 세기를 나타낼 수 있으며, 씬의 스팟으로부터 수신된 광에 대응할 수 있는 화소를 형성할 수 있다. 화소들의 어레이를 포함한 이미지는 화소 셀들의 어레이의 디지털 출력들로부터 도출될 수 있다.
이미지 센서는 2D 및 3D 감지와 같은, 상이한 모드들의 이미징을 수행하기 위해 사용될 수 있다. 2D 및 3D 감지는 상이한 파장 범위들의 광에 기초하여 수행될 수 있다. 예를 들어, 가시 광은 2D 감지를 위해 사용될 수 있는 반면, 가시적이지 않은 광(예컨대, 적외선 광)은 3D 감지를 위해 사용될 수 있다. 이미지 센서는 2D 감지를 위해 할당된 제 1 세트의 화소 셀들로 상이한 광학 파장 범위들 및 컬러들(예컨대, 적색, 녹색, 청색, 단색 등)의 가시 광 및 3D 감지를 위해 할당된 제 2 세트의 화소 셀들로 가시적이지 않은 광을 허용하기 위해 광학 필터 어레이를 포함할 수 있다.
2D 감지를 수행하기 위해, 화소 셀에서의 포토다이오드는 화소 셀에 입사된 가시 광 구성요소(예컨대, 적색, 녹색, 청색, 단색 등)의 세기에 비례하는 레이트로 전하를 생성할 수 있으며, 노출 기간에 축적된 전하의 양은 가시 광(또는 가시 광의 특정한 컬러 구성요소)의 세기를 나타내기 위해 사용될 수 있다. 전하는 일시적으로 포토다이오드에 저장되며 그 후 전압을 발생시키기 위해 커패시터(예컨대, 플로팅 확산)로 전달될 수 있다. 전압은 가시 광의 세기에 대응하는 출력을 생성하기 위해 아날로그-디지털 변환기(ADC)에 의해 샘플링되고 양자화될 수 있다. 이미지 화소 값은 가시 광의 상이한 컬러 구성요소들(예컨대, 적색, 녹색, 및 청색 컬러들)을 감지하도록 구성된 다수의 화소 셀들로부터의 출력들에 기초하여 생성될 수 있다.
게다가, 3D 감지를 수행하기 위해, 상이한 파장 범위의 광(예컨대, 적외선 광)은 오브젝트에 투사될 수 있으며, 반사된 광은 화소 셀들에 의해 검출될 수 있다. 광은 구조화 광, 광 펄스들 등을 포함할 수 있다. 화소 셀 출력들은 예를 들어, 반사된 구조화 광의 패턴들을 검출하는 것, 광 펄스의 비행 시간(time-of-flight)을 측정하는 것 등에 기초하여 깊이 감지 동작들을 수행하기 위해 사용될 수 있다. 반사된 구조화 광의 패턴들을 검출하기 위해, 노출 시간 동안 화소 셀들에 의해 생성된 전하의 양들의 분포가 결정될 수 있으며, 화소 값들은 전하의 양들에 대응하는 전압들에 기초하여 생성될 수 있다. 비행 시간 측정을 위해, 화소 셀들의 포토다이오드들에서 전하의 생성의 타이밍은 반사된 광 펄스들이 화소 셀들에서 수신될 때의 시간들을 나타내기 위해 결정될 수 있다. 광 펄스들이 오브젝트로 투사될 때 및 반사된 광 펄스들이 화소 셀들에서 수신될 때 사이에서의 시간 차들이 비행 시간 측정을 제공하기 위해 사용될 수 있다.
화소 셀 어레이는 씬의 정보를 생성하기 위해 사용될 수 있다. 몇몇 예들에서, 어레이 내에서의 화소 셀들의 서브세트(예컨대, 제 1 세트)는 씬의 2D 감지를 수행하기 위해 광의 가시 구성요소들을 검출할 수 있으며, 어레이 내에서의 화소 셀들의 다른 서브세트(예컨대, 제 2 세트)는 씬의 3D 감지를 수행하기 위해 광의 적외선 구성요소를 검출할 수 있다. 2D 및 3D 이미지 데이터의 융합은 가상 현실(VR), 증강 현실(AR) 및/또는 혼합 현실(MR) 경험들을 제공하는 많은 애플리케이션들에 유용하다. 예를 들어, 착용 가능한 VR/AR/MR 시스템은 시스템의 사용자가 위치되는 환경의 씬 재구성을 수행할 수 있다. 재구성된 씬에 기초하여, VR/AR/MR은 상호 작용적 경험을 제공하기 위해 디스플레이 효과들을 생성할 수 있다. 씬을 재구성하기 위해, 화소 셀 어레이 내에서의 화소 셀들의 서브세트는, 예를 들어, 환경에서 물리적 오브젝트들의 세트를 식별하고 물리 오브젝트들과 사용자 간의 거리들을 결정하기 위해 3D 감지를 수행할 수 있다. 화소 셀 어레이 내에서의 화소 셀들의 다른 서브세트는, 예를 들어, 이들 물리적 오브젝트들의 텍스처들, 컬러들, 및 반사율을 포함한 시각적 속성들을 캡처하기 위해 2D 감지를 수행할 수 있다. 씬의 2D 및 3D 이미지 데이터는, 그 후, 예를 들어, 오브젝트들의 시각적 속성들을 포함한 씬의 3D 모델을 생성하기 위해 병합될 수 있다. 다른 예로서, 착용 가능한 VR/AR/MR 시스템은 2D 및 3D 이미지 데이터의 융합에 기초하여 헤드 추적 동작을 수행할 수 있다. 예를 들어, 2D 이미지 데이터에 기초하여, VR/AR/AR 시스템은 오브젝트를 식별하기 위해 특정한 이미지 특징들을 추출할 수 있다. 3D 이미지 데이터에 기초하여, VR/AR/AR 시스템은 사용자에 의해 착용된 착용 가능 디바이스에 대하여 식별된 오브젝트의 위치를 추적할 수 있다. VR/AR/AR 시스템은 예를 들어, 사용자의 머리가 이동함에 따라 착용 가능한 디바이스에 대하여 식별된 오브젝트의 위치에서의 변화를 축적하는 것에 기초하여 헤드 움직임을 추적할 수 있다.
상이한 입시 광 구성요소들(예컨대, 상이한 가시 광 구성요소들, 가시 광 대 적외선 광 등)을 감지하기 위해 상이한 세트들의 화소 셀들을 사용하는 것은 다수의 도전들을 제기할 수 있다. 첫 번째로, 어레이의 화소 셀들의 서브세트만이 특정한 입사 광 구성요소를 측정하기 위해 사용되기 때문에, 이미징의 공간 분해능이 감소될 수 있다. 예를 들어, 화소 셀들의 상이한 서브세트들이 2D 이미징 또는 3D 이미징을 위해 사용되는 경우에, 2D 이미지 및 3D 이미지 양쪽 모두의 공간 분해능은 화소 셀 어레이에서 이용 가능한 최대 공간 분해능보다 낮다. 마찬가지로, 특정한 가시 광 구성요소의 이미징을 위한 공간 분해능은 또한 화소 셀 어레이에서 이용 가능한 최대 공간 분해능보다 낮다. 분해능들이 더 많은 화소 셀들을 포함함으로써 개선될 수 있지만, 이러한 접근법은 이미지 센서의 형태-인자뿐만 아니라 전력 소비에서의 증가들을 야기할 수 있으며, 양쪽 모두는 특히 착용 가능한 디바이스에 대해 바람직하지 않다.
게다가, 상이한 파장 범위들의 광을 측정하기 위해 할당된 화소 셀들이 병치되지 않으므로, 상이한 화소 셀들은 씬의 상이한 스팟들의 정보를 캡처할 수 있으며, 이것은 상이한 입사 광 구성요소들의 이미지들 사이에서의 매핑을 복잡하게 할 수 있다. 예를 들어, 가시 광의 특정한 컬러 구성요소를 수신하는 화소 셀(2D 이미징을 위한) 및 가시적이지 않은 광을 수신하는 화소 셀(3D 이미징을 위한)이 또한 씬의 상이한 스팟들의 정보를 캡처할 수 있다. 이들 화소 셀들의 출력은 2D 및 3D 이미징들을 생성하기 위해 간단히 병합될 수 없다. 그것들의 상이한 위치들로 인해 화소 셀들의 출력 간의 대응성의 부족은 화소 셀 어레이가 움직이는 오브젝트의 2D 및 3D 이미지들을 캡처할 때 악화될 수 있다. 2D 이미지에 대한 화소들을 생성하기 위해 상이한 화소 셀 출력들을 상관시키며, 2D 및 3D 이미지들 사이에서 상관시키기 위해 이용 가능한 프로세싱 기술들(예컨대, 보간법)이 있지만, 이들 기술들은 통상적으로 계산-집약적이며 또한 전력 소비를 증가시킬 수 있다. 유사한 문제들이 2D 이미지의 재구성을 위해 상이한 가시 광 구성요소들과 연관된 화소 셀들의 매핑 시 발생할 수 있다.
본 개시는 화소 셀들의 어레이를 가진 이미지 센서와 관련되며 씬의 스팟으로부터 입사 광의 상이한 구성요소들의 병치된 이미징을 제공하며, 전역적 셔터 동작을 제공할 수 있다. 구체적으로, 각각의 화소 셀은 복수의 포토다이오드들, 하나 이상의 전하 감지 유닛들, 하나 이상의 아날로그-디지털 변환기들(ADC들), 메모리, 및 제어기를 포함할 수 있다. 복수의 포토다이오드들의 각각의 포토다이오드는 입사 광의 구성요소를 전하로 변환하도록 구성된다. 제어기는 복수의 포토다이오드들로부터의 전하를 전압들로 변환하기 위해 하나 이상의 전하 감지 유닛들로 전달할 수 있다. 제어기는 또한 복수의 세기 범위들에 대응하는 복수의 양자화 프로세스들 중 하나 이상의 양자화 프로세스들의 선택을 수신하며, 상기 선택에 기초하여 하나 이상의 전하 감지 유닛들로부터의 전압들을, 씬의 스팟에 대응할 수 있는, 화소의 구성요소들을 나타내는 디지털 값들 양자화하기 위해 선택된 하나 이상의 양자화 프로세스들을 수행하도록 ADC들을 제어할 수 있다. 제어기는 또한 디지털 값들 중 적어도 일부를 메모리에 저장하며, 메모리에 저장된 디지털 값들 중 적어도 일부에 기초하여 화소 값을 생성할 수 있다. 화소 셀들의 어레이로부터의 화소 값들은 전역적 셔터 동작을 지원하기 위해 전역적 노출 기간 내에서 각각의 화소 셀에 의해 수신된 입사 광을 나타낼 수 있다.
다양한 기술들은 복수의 포토다이오드들이 씬의 스팟으로부터의 입사 광의 상이한 구성요소들을 변환할 수 있게 하기 위해 제안된다. 화소 셀은 복수의 포토다이오드들이 입사 광을 수신하는 광 수신 표면을 포함한다. 몇몇 예들에서, 복수의 포토다이오드들은 각각의 포토다이오드가 상이한 거리만큼 광 수신 표면으로부터 분리되도록 광 수신 표면에 대하여 스택 구조를 형성한다. 입사 광이 스택 구조를 통해 전파됨에 따라, 상이한 구성요소들은 각각의 포토다이오드와 광 수신 표면 사이에서의 각각의 거리에 기초하여 각각의 포토다이오드에 의해 흡수되고 변환될 수 있다. 몇몇 예들에서, 각각의 포토다이오드는 반도체 기판에 형성될 수 있다. 화소 셀은 스택에서 상위 또는 하위 반도체 기판상에 형성되는 광 수신 표면과 복수의 포토다이오드들을 포함한 복수의 반도체 기판들을 적층시킴으로써 형성될 수 있다.
몇몇 예들에서, 복수의 포토다이오드들은 측방향으로 및 수신 표면으로부터 동일한 거리를 갖고 배열될 수 있으며, 각각의 포토다이오드는 서브-화소에 대응하며 씬의 동일한 스팟으로부터 입사 광을 수신하도록 구성된다. 필터 어레이는 화소 셀의 광 수신 표면의 제 1 측면 상에 배치될 수 있다. 필터 어레이는 각각의 위치에서 광 수신 표면에 들어가는 입사 광의 구성요소를 설정하기 위해 광 수신 표면의 제 1 측면 상에서의 복수의 위치들에 배치된 필터 요소들을 포함할 수 있다. 복수의 포토다이오드들은 단일 반도체 기판에 있으며 입사 광의 각각의 구성요소들을 수신하기 위해 광 수신 표면의 제 2 측면 상에서의 복수의 위치들에 배치될 수 있다. 몇몇 예들에서, 하나 이상의 마이크로렌즈는 씬의 동일한 스팟으로부터 수신된 입사 광을 광 수신 표면의 제 1 측면 상에서의 복수의 위치들을 향해 투사하기 위해 필터 어레이 위에 배치될 수 있으며, 따라서 각각의 포토다이오드는, 서브-화소로서, 상기 동일한 스팟으로부터 입사 광을 수신할 수 있다.
하나 이상의 전하 감지 유닛들은 복수의 포토다이오드들에 의해 생성된 전하를 전압들로 변환하기 위해 구성 가능한 전하 저장 디바이스 및 버퍼를 포함할 수 있다. 구성 가능한 전하 저장 디바이스는 전압들을 생성하기 위해 복수의 포토다이오드들로부터 전하를 축적하기 위해 플로팅 드레인을 포함할 수 있다. 보조 커패시터(예컨대, 금속 커패시터, 금속-산화물-반도체(MOS) 커패시터 등)는 전하 저장 디바이스의 정전용량을 확장시키거나 또는 감소시키기 위해 연결되거나 또는 플로팅 드레인으로부터 연결 해제될 수 있다. 버퍼는 그것의 구동 강도를 증가시키기 위해 전하 저장 디바이스에 전압을 버퍼링할 수 있다. 일 예에서, 하나 이상의 전하 감지 유닛들은 전하-대-전압 변환을 수행하기 위해 복수의 포토다이오드들 간에 공유될 수 있는 단일 전하 감지 유닛을 포함할 수 있다. 일 예에서, 하나 이상의 전하 감지 유닛들은 각각이 복수의 포토다이오드들의 포토다이오드에 대응하며 각각의 포토다이오드에 의해 생성된 전하를 전압으로 변환하도록 구성된 복수의 전하 감지 유닛들을 포함할 수 있다. 양쪽 예들 모두에서, 화소 셀은 복수의 스위치들을 추가로 포함하며, 각각의 스위치는 포토다이오드와 공유된/대응하는 전하 감지 유닛 사이에 결합되고, 이것은 포토다이오드로부터 전하 감지 유닛으로의 전하의 전달을 제어하기 위해 제어기에 의해 제어될 수 있다. 하나 이상의 ADC들이 복수의 전하 감지 유닛들 간에 공유되는 경우에, 각각의 전하 감지 유닛은 또한 출력 전압을 하나 이상의 ADC들로 제공하기 위해 전하 감지 유닛 중 어떤 것을 선택하기 위해 제어기에 의해 제어될 수 있는 하나 이상의 ADC들 및 버퍼 사이에 결합된 스위치를 포함할 수 있다.
제어기는 하나 이상의 전하 감지 유닛들에 의해 출력된 출력 전압들을 양자화하도록 하나 이상의 ADC들을 제어할 수 있다. 하나 이상의 ADC들은 전하 감지 유닛들 간에 공유될 수 있거나(화소 셀이 다수의 전하 감지 유닛들을 포함하는 경우에), 또는 화소 셀의 단일 전하 감지 유닛과 결합된 단일 ADC를 포함할 수 있다. 하나 이상의 ADC들은 상이한 세기 범위들과 연관된 상이한 양자화 동작들에 기초하여 전압들을 양자화할 수 있으며, 이것은 광 세기 측정 동작의 동적 범위를 증가시킬 수 있다. 구체적으로, 각각의 포토다이오드는 노출 기간 내에서 전하의 양을 생성할 수 있으며, 상기 전하의 양은 입사 광 세기를 나타낸다. 각각의 포토다이오드는 또한 잔류 전하로서 전하 중 적어도 일부를 저장하기 위해 양자 우물을 갖는다. 낮은 광 세기 범위에 대해, 포토다이오드는 잔류 전하로서 전하의 전체를 양자 우물에 저장할 수 있다. 중간 광 세기 범위에 대해, 양자 우물은 잔류 전하에 의해 포화될 수 있으며, 포토다이오드는 오버플로우 전하로서 남아있는 전하를 하나 이상의 전하 감지 유닛들로 전달할 수 있다. 양자 우물 용량은 포토다이오드와 전하 감지 유닛 사이에서 스위치 상에서의 바이어스 전압에 기초하여 설정될 수 있다. 높은 광 세기 범위에 대해, 하나 이상의 전하 감지 유닛에서의 전하 저장 디바이스는 오버플로우 전하에 의해 포화될 수 있다. 제어기는 오버플로우 전하 및 잔류 전하를 측정하는 것에 기초하여 높은 세기 범위, 중간 세기 범위에 대해, 및 낮은 세기 범위에 대해 상이한 양자화 동작들을 수행하도록 하나 이상의 ADC들을 제어할 수 있다.
구체적으로, 높은 광 세기 범위의 측정을 위해, 제어기는 전하 저장 디바이스가 오버플로우 전하에 의해 포화되는데 걸리는 시간을 양자화함으로써 포화 시간(time-to-saturation; TTS) 측정 동작을 수행하도록 하나 이상의 ADC들을 제어할 수 있다. TTS 측정은 노출 시간 내에서, 및 포토다이오드가 전하 감지 유닛과 결합되고 전하 감지 유닛의 출력이 하나 이상의 ADC들과 결합될 때 수행될 수 있다. 전하 저장 디바이스의 용량은 TTS 동작 동안 보조 커패시터와 플로팅 드레인을 연결함으로써 최대화될 수 있다. TTS 동작에서, 카운터는 노출 시간의 시작 시 시작될 수 있다. 하나 이상의 ADC들은 판단을 생성하기 위해 전하 저장 디바이스의 포화 한계를 나타내는 정적 임계값과 전하 감지 유닛의 출력 전압을 비교할 수 있다. 판단이, 전하 감지 유닛의 출력이 임계값에 도달함을 나타낼 때, 카운터로부터의 카운트 값은 포화 시간을 나타내기 위해 메모리에 저장될 수 있다. TTS 동작은 광 세기가 너무 높아서 전하 저장 디바이스가 포화되고 전하 감지 유닛의 출력이 더 이상 생성된 전하의 양(및 광 세기)과 관련이 없을 때 수행될 수 있으며, 이것은 동적 범위의 상한을 확장할 수 있다.
전하 저장 디바이스가 오버플로우 전하에 의해 포화되지 않은 중간 세기 범위의 측정을 위해, 제어기는 전하 저장 디바이스에 저장된 오버플로우 전하의 양을 측정하기 위해 FD ADC 측정 동작을 수행하도록 하나 이상의 ADC들을 제어할 수 있다. FD ADC 측정은 노출 기간 내에서, 및 포토다이오드가 오버플로우 전하를 일시적으로 저장하고 저장된 전하를 제 1 전압으로 변환할 수 있는 전하 감지 유닛과 결합될 때 수행될 수 있다. 하나 이상의 ADC들은 판단을 생성하기 위해 제 1 램핑 전압과 제 1 전압을 비교할 수 있다. 카운터는 램핑 전압의 시작 포인트에서 카운팅을 시작할 수 있으며, 메모리는 제 1 램핑 전압이 제 1 전압에 이를 때 카운트 값을 저장할 수 있다. 저장된 카운트 값은 오버플로우 전하의 양을 나타낼 수 있다. 다수의 전하 감지 유닛들이 ADC를 공유하는 경우에, ADC는 카운트 값들을 생성하기 위해 램핑 전압과 각각의 전하 감지 유닛에 의해 순차적으로 출력된 제 1 전압들을 비교할 수 있다.
포토다이오드의 양자 우물이 잔류 전하에 의해 포화되지 않은 낮은 세기 범위의 측정을 위해, 제어기는 포토다이오드에 저장된 잔류 전하의 양을 측정하기 위해 PD ADC 측정 동작을 수행하도록 하나 이상의 ADC들을 제어할 수 있다. PD ADC 측정 동작을 수행하기 위해, 제어기는 포토다이오드 밖의 잔류 전하를 제 2 전압으로 변환하기 위해 전하 저장 디바이스로 전달하도록 포토다이오드와 전하 감지 유닛 사이에서의 스위치를 제어할 수 있다. 전하 저장 디바이스의 정전용량은 또한 전하-대-전압 변환 이득을 최대화하기 위해 감소될 수 있으며(예컨대, 보조 커패시터를 연결 해제함으로써), 이것은 양자화 에러를 감소시킬 수 있다. 하나 이상의 ADC들은 판단을 생성하기 위해 제 2 램핑 전압과 제 2 전압을 비교할 수 있다. 카운터는 제 2 램핑 전압의 시작 포인트에서 카운팅을 시작할 수 있음, 메모리는 제 2 램핑 전압이 제 2 전압에 이를 때 카운트 값을 저장할 수 있다. 저장된 카운트 값은 잔류 전하의 양을 나타낼 수 있다. PD ADC 동작(및 잔류 전하의 전달)은 노출 기간 후 수행될 수 있다. 다수의 포토다이오드들이 전하 감지 유닛을 공유하는 경우에, 제어기는 각각의 포토다이오드에 대한 PD ADC 동작을 순차적으로 수행할 수 있으며, 여기에서 제어기는 제 2 전압을 생성하기 위해 하나의 포토다이오드로부터 전하 감지 유닛으로 잔류 전하를 전달하도록 스위치들을 제어하며, 제 2 전압을 양자화하고, 그 후 다른 포토다이오드들에 대한 동작을 반복하도록 ADC를 제어할 수 있다. 잔류 전하가 통상적으로 포토다이오드에서의 암 전류에 훨씬 덜 영향을 받으므로, 낮은 광 세기 측정의 잡음 플로어가 낮아질 수 있으며, 이것은 동적 범위의 하한을 추가로 확장할 수 있다.
제어기는 복수의 포토다이오드들 중에서의 하나 이상의 전하 감지 유닛들 및 하나 이상의 ADC들의 공유 배열들, 뿐만 아니라 양자화 동작들의 선택에 기초하여 각각의 포토다이오드에 대한 앞서 언급한 양자화 동작들 중 하나 이상을 수행하도록 ADC들을 제어할 수 있다. 상기 설명된 바와 같이, 단일 전하 감지 유닛은 복수의 포토다이오드들 간에 공유될 수 있다. 몇몇 예들에서, 제어기는 제 1 전압을 생성하기 위해 각각의 포토다이오드가 오버플로우 전하를 단일 전하 감지 유닛으로 돌리는 것을 허용하도록 스위치들을 제어할 수 있으며, 이것은 그 후 선택에 기초하여 TTS 동작 및/또는 FD ADC 동작에서 ADC에 의해 양자화될 수 있다. 전하 감지 유닛은 포토다이오드에 대한 양자화 동작들의 시작 사이에서 리셋될 수 있다. 오버플로우 전하의 양자화의 완료에 이어, 제어기는 잔류 전하를 측정하기 위해 PD ADC 동작에 앞서, 각각의 포토다이오드가 잔류 전하를 전하 감지 유닛으로 전달하는데 차례를 취하는 것을 허용하도록 스위치들을 제어할 수 있다. 이러한 배열들은 각각의 포토다이오드가 전하 감지 유닛으로 동일한 액세스를 갖도록 허용하며 동일한 세트의 양자화 동작들이 각각의 포토다이오드의 출력들 상에서 수행될 수 있지만, 각각의 포토다이오드는 오버플로우 전하를 축적하기 위해 상이한 유효 노출 기간들을 가질 수 있으며, 이것은 전역적 셔터 동작을 저하시킬 수 있다.
몇몇 예들에서, 제어기는 또한, 노출 기간 내에서 TTS 및 FD ADC 동작들을 수행하기 위해, 상기 선택에 기초하여, 제 1 포토다이오드가 오버플로우 전하를 전하 감지 유닛으로 전달하도록 허용할 수 있다. 노출 기간이 종료된 후, 제어기는 포토다이오드들 모두가 잔류 전하를 전하 감지 유닛으로 전달하고 PD ADC 동작들을 수행할 차례를 취하는 것을 허용하도록 스위치들을 제어할 수 있다. 이러한 배열들은, 예를 들어, 특정한 구성요소의 세기가 다른 구성요소들(예컨대, 3D 감지를 위해 강한 적외선 조명을 갖는 어두운 환경에서)과 비교하여 매우 높을 때 사용될 수 있다. 동일한 노출 기간은 강한 적외선 구성요소를 위해 또는 다른 훨씬 더 약한 가시 광 구성요소들을 위해 전하를 축적시키도록 각각의 포토다이오드에 대해 제공될 수 있다. TTS 및 FD ADC 동작들은 강한 적외선 구성요소를 검출하는 포토다이오드의 출력에 대해 수행될 수 있지만, PD ADC 동작들은 다른 포토다이오드들의 출력들에 대해 수행될 수 있으며, 이것은 낮은 세기(가시 광에 대한) 및 높은 세기(적외선 광에 대한) 측정 동작들 양쪽 모두의 동적 범위를 개선할 수 있다.
몇몇 예들에서, 제어기는 또한 오버플로우 전하를 전하 감지 유닛으로 동시에 전달하기 위한 포토다이오드들 중 일부 또는 모두일 수 있다. 예를 들어, 동일한 파장 범위를 검출하도록 구성된 포토다이오드들은 오버플로우 전하를 전하 감지 유닛으로 동시에 전달할 수 있다. 게다가, 상이한 파장 범위들을 검출하는 포토다이오드들에 대해, 제어기는 이들 포토다이오드들에 대한 상이한 양자 우물 용량들을 설정하기 위해 그것들의 스위치들의 바이어스들을 설정할 수 있다. 예를 들어, 제어기는 다른 파장 범위들 중에서 가장 강한 것으로 예상되는 특정한 파장 범위와 연관된 포토다이오드에 대한 양자 우물 용량을 낮출 수 있으며, 따라서 포토다이오드는 다른 포토다이오드들보다 오버플로우 전하를 전하 감지 유닛으로 전달할 가능성이 더 높다. 이러한 배열들은 상기 설명된 예에서처럼, 각각의 포토다이오드에 대해 동일한 노출 기간을 제공할 뿐만 아니라, 광 측정 동작에서 유연성을 또한 강화한다. 구체적으로, TTS/FD ADC 동작 출력은 입사 광의 예상된 가장 강한 구성요소의 출력을 나타낼 가능성이 더 높지만, 동작 조건이 변화하고 다른 구성요소들의 세기들이 또한 증가할 때, TTS/FD ADC 동작 출력은 또한 입사 광의 다른 높은 세기 구성요소들을 반영할 수 있다.
각각의 포토다이오드가 전하 감지 유닛으로의 완전한 액세스를 갖지만, 전하 감지 유닛들이 하나 이상의 ADC들을 공유하는 경우에, 제어기는 또한 ADC들의 공유에 기초하여 양자화 동작들을 적응시킬 수 있다. 예를 들어, 선택에 기초하여, 제어기는 통합 기간 내에서 TTS 동작을 수행하기 위해 포토다이오드(및 그것의 전하 감지 유닛) 중 하나를 ADC에 연결하도록 전하 감지 유닛들에서의 스위치들을 제어할 수 있다. TTS 동작이 완료된 후, 제어기는 포토다이오드들의 각각 및 대응하는 전하 감지 유닛에 대한 FD ADC 동작 및/또는 PD ADC 동작을 수행하도록(예컨대, 선택에 기초하여) ADC를 제어할 수 있다. 몇몇 예들에서, 제어기는 또한 TTS 동작을 수행하기 위해 ADC와 연결할 때 차례를 취하도록 전하 감지 유닛들에서의 스위치들을 제어할 수 있다. 포토다이오드들 모두에 대한 TTS 동작들이 완료된 후, 제어기는 포토다이오드들의 각각에 대한 FD ADC 동작 및/또는 PD ADC 동작을 순차적으로 수행하도록 ADC를 제어할 수 있다.
메모리는 포토다이오드들의 각각에 대한 양자화 결과들을 저장하도록 구성될 수 있다. 몇몇 예들에서, 메모리는 포토다이오드들의 모두에 대한 양자화 결과들을 동시에 저장하도록 구성될 수 있다. 몇몇 예들에서, 각각의 포토다이오드의 양자화 결과들은 순차적으로 메모리에 저장될 수 있다. 화소 셀의 하나의 포토다이오드의 양자화 결과들은 메모리에 저장되고, 화소 값의 생성을 위해 판독되며, 그 후 화소 셀의 다른 포토다이오드의 양자화 결과들에 의해 덮어 쓰여질 수 있다.
본 개시의 예들로, 화소 셀은 입사 광의 상이한 구성요소들에 대한 병치 이미징을 수행할 수 있으며, 이것은 병치된 2D 및 3D 이미징 동작들을 지원할 수 있다. 상이한 구성요소들의 감지를 수행하기 위해 동일한 세트의 화소 셀들을 갖는 것은 화소 셀들에 의해 생성된 상이한 구성요소들의 이미지들 간의 대응성을 가능하게 할 수 있다. 게다가, 화소 셀 어레이의 모든 화소 셀은 이미지를 생성하기 위해 사용될 수 있다는 것을 고려해볼 때, 화소 셀 어레이의 전체 공간 분해능이 이용될 수 있다. 그 결과, 이미지들의 공간 분해능들이 또한 개선될 수 있다. 뿐만 아니라, 통상적으로 ADC들은 많은 전력을 소비하고 많은 공간을 차지한다. 각각의 화소 셀의 포토다이오드들 간에 ADC들을 공유함으로써, 이미지 센서의 형태 인자 및 전력 소비가 또한 감소될 수 있지만, 화소 셀 어레이의 각각의 화소 셀의 ADC들은 이미지 왜곡을 감소시키도록 전역적 셔터 동작을 지원하기 위해 동일한 전역적 노출 기간 내에서 각각의 화소 셀에 의해 수신된 입사 광에 기초하여 화소 값을 생성할 수 있다.
개시된 기술들은 인공 현실 시스템을 포함하거나 또는 그것과 함께 구현될 수 있다. 인공 현실은 사용자로의 프리젠테이션 이전에 몇몇 방식으로 조정되어 온 현실의 형태이며, 이것은 예컨대 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 그것의 몇몇 조합 및/또는 파생물들을 포함할 수 있다. 인공 현실 콘텐트는 완전히 생성된 콘텐트 또는 캡처된(예컨대, 실-세계) 콘텐트와 조합된 생성 콘텐트를 포함할 수 있다. 인공 현실 콘텐트는 비디오, 오디오, 햅틱 피드백, 또는 그것의 몇몇 조합을 포함할 수 있으며, 그 중 임의의 것은 단일 채널로 또는 다수의 채널들로(뷰어에게 3-차원 효과를 생성하는 스테레오 비디오와 같은) 제공될 수 있다. 부가적으로, 몇몇 예들에서, 인공 현실은 또한 예컨대, 인공 현실에서 콘텐트를 생성하기 위해 사용되며 및/또는 그 외 인공 현실에서 사용되는(예컨대, 그것에서 활동들을 수행하는) 애플리케이션들, 제품들, 액세서리들, 서비스들, 또는 그것의 몇몇 조합과 연관될 수 있다. 인공 현실 콘텐트를 제공하는 인공 현실 시스템은, 호스트 컴퓨터 시스템에 연결된 헤드-장착 디스플레이(HMD), 독립형 HMD, 이동 디바이스 또는 컴퓨팅 시스템, 또는 하나 이상의 뷰어들에게 인공 현실 콘텐트를 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함한, 다양한 플랫폼들 상에서 구현될 수 있다.
도 1a는 근안 디스플레이(100)의 예의 다이어그램이다. 근안 디스플레이(100)는 사용자에게 미디어를 제공한다. 근안 디스플레이(100)에 의해 제공된 미디어의 예들은 하나 이상의 이미지들, 비디오, 및/또는 오디오를 포함한다. 몇몇 예들에서, 오디오는 근안 디스플레이(100), 콘솔, 또는 양쪽 모두로부터 오디오 정보를 수신하며, 상기 오디오 정보에 기초하여 오디오 데이터를 제공하는 외부 디바이스(예컨대, 스피커들 및/또는 헤드폰들)를 통해 제공된다. 근안 디스플레이(100)는 일반적으로 가상 현실(VR) 디스플레이로서 동작하도록 구성된다. 몇몇 예들에서, 근안 디스플레이(100)는 증강 현실(AR) 디스플레이 및/또는 혼합 현실(MR) 디스플레이로서 동작하도록 수정된다.
근안 디스플레이(100)는 프레임(105) 및 디스플레이(110)를 포함한다. 프레임(105)은 하나 이상의 광학 요소들에 결합된다. 디스플레이(110)는 사용자가 근안 디스플레이(100)에 의해 제공된 콘텐트를 보도록 구성된다. 몇몇 예들에서, 디스플레이(110)는 하나 이상의 이미지들로부터의 광을 사용자의 눈으로 향하게 하기 위해 도파관 디스플레이 어셈블리를 포함한다.
근안 디스플레이(100)는 이미지 센서들(120a, 120b, 120c, 및 120d)을 추가로 포함한다. 이미지 센서들(120a, 120b, 120c, 및 120d)의 각각은 상이한 방향들을 따라 상이한 시야들을 나타내는 이미지 데이터를 생성하도록 구성된 화소 어레이를 포함할 수 있다. 예를 들어, 센서들(120a 및 120b)은 Z 축을 따라 방향 A를 향해 두 개의 시야들을 나타내는 이미지 데이터를 제공하도록 구성될 수 있는 반면, 센서(120c)는 X 축을 따라 방향 B를 향하는 시야를 나타내는 이미지 데이터를 제공하도록 구성될 수 있으며, 센서(120d)는 X 축을 따라 방향 C를 향하는 시야를 나타내는 이미지 데이터를 제공하도록 구성될 수 있다.
몇몇 예들에서, 센서들(120a 내지 120d)은 근안 디스플레이(100)를 착용한 사용자에게 상호작용적 VR/AR/MR 경험을 제공하도록, 근안 디스플레이(100)의 디스플레이 콘텐트를 제어하거나 또는 영향을 주기 위해, 입력 디바이스들로서 구성될 수 있다. 예를 들어, 센서들(120a 내지 120d)은 사용자가 위치되는 물리적 환경의 물리적 이미지 데이터를 생성할 수 있다. 물리적 이미지 데이터는 물리적 환경에서 사용자의 위치 및/또는 움직임의 경로를 추적하기 위해 위치 추적 시스템으로 제공될 수 있다. 시스템은 그 후 상호작용적 경험을 제공하기 위해, 예를 들어 사용자의 위치 및 배향에 기초하여 디스플레이(110)로 제공된 이미지 데이터를 업데이트할 수 있다. 몇몇 예들에서, 위치 추적 시스템은 물리적 환경에서 및 사용자가 물리적 환경 내에서 이동함에 따라 사용자의 시야 내에서 오브젝트들의 세트를 추적하기 위해 SLAM 알고리즘을 동작시킬 수 있다. 위치 추적 시스템은 오브젝트들의 세트에 기초하여 물리적 환경의 맵을 구성하고 업데이트하며, 맵 내에서 사용자의 위치를 추적할 수 있다. 다수의 시야들에 대응하는 이미지 데이터를 제공함으로써, 센서들(120a 내지 120d)은 물리적 환경의 보다 전체적 뷰를 위치 추적 시스템에 제공할 수 있으며, 이것은 맵의 구성 및 업데이트 시 더 많은 오브젝트들이 포함되게 할 수 있다. 이러한 배열을 갖고, 물리적 환경 내에서 사용자의 위치를 축적하는 정확도 및 강력함이 개선될 수 있다.
몇몇 실시예들에서, 근안 디스플레이(100)는 광을 물리적 환경을 투사하기 위해 하나 이상의 활성 조명기들(130)을 추가로 포함할 수 있다. 투사된 광은 상이한 주파수 스펙트럼들(예컨대, 가시 광, 적외선 광, 자외선 광 등)과 연관될 수 있으며 다양한 목적들을 제공할 수 있다. 예를 들어, 조명기(130)는 예를 들어, 사용자의 위치 추적을 가능화하기 위해 센서들(120a 내지 120d)이 어두운 환경 내에서 상이한 오브젝트들의 이미지들을 캡처하는 것을 돕도록 어두운 환경에서(또는 낮은 강도의 적외선 광, 자외선 광 등을 가진 환경에서) 광을 투사할 수 있다. 조명기(130)는 위치 추적 시스템이 맵 구성/업데이트를 위해 오브젝트들을 식별하는 것을 돕도록, 환경 내에서 오브젝트들로 특정한 마커들을 투사할 수 있다.
몇몇 실시예들에서, 조명기(130)는 또한 입체 이미징을 가능화할 수 있다. 예를 들어, 센서들(120a 또는 120b) 중 하나 이상은 가시광 감지를 위한 제 1 화소 어레이 및 적외선(IR) 광 감지를 위한 제 2 화소 어레이 양쪽 모두를 포함할 수 있다. 제 1 화소 어레이는 컬러 필터(예컨대, 베이어(Bayer) 필터)로 오버레이될 수 있으며, 제 1 화소 어레이의 각각은 화소는 특정한 컬러(예컨대, 적색, 녹색, 또는 청색 컬러들 중 하나)와 연관된 광의 세기를 측정하도록 구성된다. 제 2 화소 어레이(IR 광 감지를 위한)는 또한 단지 IR 광만을 허용하는 필터로 오버레이될 수 있으며, 제 2 화소 어레이의 각각의 화소는 IR 광들의 세기를 측정하도록 구성된다. 화소 어레이들은 오브젝트의 RGB 이미지 및 IR 이미지를 생성할 수 있으며, IR 이미지의 각각의 화소는 RGB 이미지의 각각의 화소에 매핑된다. 조명기(130)는 오브젝트 상에서 IR 마커들의 세트를 투사할 수 있으며, 그것의 이미지들은 IR 화소 어레이에 의해 캡처될 수 있다. 이미지에서 도시된 바와 같이 오브젝트의 IR 마커들의 분포에 기초하여, 시스템은 IR 화소 어레이로부터 오브젝트의 상이한 부분들의 거리를 추정하며, 거리들에 기초하여 오브젝트의 입체 이미지를 생성할 수 있다. 오브젝트의 입체 이미지에 기초하여, 시스템은, 예를 들어, 사용자에 대한 오브젝트의 상대적 위치를 결정할 수 있으며, 상호작용적 경험을 제공하기 위해 상대적 위치 정보에 기초하여 디스플레이(100)로 제공된 이미지 데이터를 업데이트할 수 있다.
상기 논의된 바와 같이, 근안 디스플레이(100)는 매우 광범위한 광 강도들과 연관된 환경들에서 동작될 수 있다. 예를 들어, 근안 디스플레이(100)는 실내 환경에서 또는 옥외 환경에서, 및/또는 상이한 시각들에서 동작될 수 있다. 근안 디스플레이(100)는 또한 턴 온되는 활성 조명기(130)를 갖거나 또는 그것 없이 동작할 수 있다. 그 결과, 이미지 센서들(120a 내지 120d)은 근안 디스플레이(100)를 위한 상이한 동작 환경들과 연관된 매우 광범위한 광 세기들에 걸쳐 적절히 동작할 수 있도록(예컨대, 입사 광의 세기와 연관성이 있는 출력을 생성하기 위해) 넓은 동적 범위를 가질 필요가 있을 수 있다.
도 1b는 근안 디스플레이(100)의 다른 실시예의 다이어그램이다. 도 1b는 근안 디스플레이(100)를 착용하는 사용자의 안구(들)(135)를 향하는 근안 디스플레이(100)의 측면을 예시한다. 도 1b에 도시된 바와 같이, 근안 디스플레이(100)는 복수의 조명기들(140a, 140b, 140c, 140d, 140e, 및 140f)을 추가로 포함할 수 있다. 근안 디스플레이(100)는 복수의 이미지 센서들(150a 및 150b)을 추가로 포함한다. 조명기들(140a, 140b, 및 140c)은 방향 D(도 1a의 방향 A와 반대인)를 향해 특정한 주파수 범위(예컨대, NIR)의 광들을 방출할 수 있다. 방출된 광은 특정한 패턴과 연관될 수 있으며, 사용자의 좌측 안구에 의해 반사될 수 있다. 센서(150a)는 반사된 광을 수신하며 반사된 패턴의 이미지를 생성하기 위해 화소 어레이를 포함할 수 있다. 유사하게, 조명기들(140d, 140e, 및 140f)은 패턴을 운반하는 NIR 광들을 방출할 수 있다. NIR 광들은 사용자의 우측 안구에 의해 반사될 수 있으며, 센서(150b)에 의해 수신될 수 있다. 센서(150b)는 또한 반사된 패턴의 이미지를 생성하기 위해 화소 어레이를 포함할 수 있다. 센서들(150a 및 150b)로부터의 반사된 패턴의 이미지들에 기초하여, 시스템은 사용자의 응시 포인트를 결정하며, 사용자에게 상호작용적 경험을 제공하기 위해 결정된 응시 포인트에 기초하여 디스플레이(100)로 제공된 이미지 데이터를 업데이트할 수 있다.
상기 논의된 바와 같이, 사용자의 안구들의 손상을 피하기 위해, 조명기들(140a, 140b, 140c, 140d, 140e, 및 140f)은 통상적으로 매우 낮은 세기들의 광들을 출력하도록 구성된다. 이미지 센서들(150a 및 150b)이 도 1a의 이미지 센서들(120a 내지 120d)과 동일한 센서 디바이스들을 포함하는 경우에, 이미지 센서들(120a 내지 120d)은 입사 광의 세기가 매우 낮을 때 입사 광의 세기와 관련 있는 출력을 생성할 수 있을 필요가 있으며, 이것은 이미지 센서들의 동적 범위 요건을 추가로 증가시킬 수 있다.
게다가, 이미지 센서들(120a 내지 120d)은 안구들의 움직임들을 추적하기 위해 고속으로 출력을 생성할 수 있을 필요가 있을 것이다. 예를 들어, 사용자의 안구는 하나의 안구 위치로부터 다른 것으로 빠른 점프가 있을 수 있는 매우 급속한 움직임(예컨대, 신속안구(saccade) 움직임)을 수행할 수 있다. 사용자의 안구의 급속한 움직임을 추적하기 위해, 이미지 센서들(120a 내지 120d)은 고속으로 안구의 이미지들을 생성할 필요가 있다. 예를 들어, 이미지 센서들이 이미지 프레임을 생성하는 레이트(프레임 레이트)는 적어도 안구의 움직임의 속도와 일치할 필요가 있다. 높은 프레임 레이트는 이미지 프레임을 생성하는데 수반된 화소 셀들의 모두를 위한 짧은 총 노출 시간, 뿐만 아니라 센서 출력들을 이미지 생성을 위해 디지털 값들로 변환하기 위한 높은 속도를 요구한다. 게다가, 상기 논의된 바와 같이, 이미지 센서들은 또한 낮은 광 세기를 가진 환경에서 동작할 수 있을 필요가 있다.
도 2는 도 1에 예시된 근안 디스플레이(100)의 단면(200)의 예이다. 디스플레이(110)는 적어도 하나의 도파관 디스플레이 어셈블리(210)를 포함한다. 사출 동공(230)은 사용자가 근안 디스플레이(100)를 착용할 때 사용자의 단일 안구(220)가 아이박스 영역에 위치되는 위치이다. 예시의 목적들을 위해, 도 2는 안구(220) 및 단일 도파관 디스플레이 어셈블리(210)와 연관된 단면을 도시하지만, 제 2 도파관 디스플레이는 사용자의 제 2 눈을 위해 사용된다.
도파관 디스플레이 어셈블리(210)는 사출 동공(230)에 위치된 아이박스로 및 안구(220)로 이미지 광을 향하게 하도록 구성된다. 도파관 디스플레이 어셈블리(210)는 하나 이상의 굴절률들을 가진 하나 이상의 재료들(예컨대, 플라스틱, 유리 등)로 구성될 수 있다. 몇몇 실시예들에서, 근안 디스플레이(100)는 도파관 디스플레이 어셈블리(210)와 안구(220) 사이에 하나 이상의 광학 요소들을 포함한다.
몇몇 예들에서, 도파관 디스플레이 어셈블리(210)는 이에 제한되지 않지만, 스택형 도파관 디스플레이, 가변초점 도파관 디스플레이 등을 포함한 하나 이상의 도파관 디스플레이들의 스택을 포함한다. 스택형 도파관 디스플레이는 각각의 단색성 소스들이 상이한 컬러들이 도파관 디스플레이들을 적층시킴으로써 생성된 다색성 디스플레이(예컨대, 적색-녹색-청색(RGB) 디스플레이)이다. 스택형 도파관 디스플레이는 또한 다수의 평면들 상에 투사될 수 있는 다색성 디스플레이(예컨대, 다중-평면 컬러링 디스플레이)이다. 몇몇 구성들에서, 스택형 도파관 디스플레이는 다수의 평면들 상에 투사될 수 있는 단색성 디스플레이이다(예컨대, 다중-평면 단색성 디스플레이). 가변초점 도파관 디스플레이는 도파관 디스플레이로부터 방출된 이미지 광의 초점 위치를 조정할 수 있는 디스플레이이다. 대안적인 예들에서, 도파관 디스플레이 어셈블리(210)는 스택형 도파관 디스플레이 및 가변초점 도파관 디스플레이를 포함할 수 있다.
도 3은 도파관 디스플레이(300)의 예의 등각도를 예시한다. 몇몇 예들에서, 도파관 디스플레이(300)는 근안 디스플레이(100)의 구성요소(예컨대, 도파관 디스플레이 어셈블리(210))이다. 몇몇 예들에서, 도파관 디스플레이(300)는 특정한 위치로 이미지 광을 향하게 하는 몇몇 다른 근안 디스플레이 또는 다른 시스템의 부분이다.
도파관 디스플레이(300)는 소스 어셈블리(310), 출력 도파관(320), 및 제어기(330)를 포함한다. 예시의 목적들을 위해, 도 3은 단일 안구(220)와 연관된 도파관 디스플레이(300)를 도시하지만, 몇몇 예들에서, 도파관 디스플레이(300)로부터 분리된, 또는 부분적으로 분리된 다른 도파관 디스플레이가 이미지 광을 사용자의 다른 눈으로 제공한다.
소스 어셈블리(310)는 이미지 광(355)을 생성한다. 소스 어셈블리(310)는 이미지 광(355)을 생성하며 이를 출력 도파관(320)의 제 1 측면(370-1) 상에 위치된 결합 요소(350)로 출력한다. 출력 도파관(320)은 확장된 이미지 광(340)을 사용자의 안구(220)로 출력하는 광학 도파관이다. 출력 도파관(320)은 제 1 측면(370-1) 상에 위치된 하나 이상의 결합 요소들(350)에서 이미지 광(355)을 수신하며 수신된 입력 이미지 광(355)을 지향 요소(360)로 안내한다. 몇몇 예들에서, 결합 요소(350)는 소스 어셈블리(310)로부터 출력 도파관(320)으로 이미지 광(355)을 결합한다. 결합 요소(350)는, 예컨대, 회절 격자, 홀로그램 격자, 하나 이상의 연쇄된 반사기들, 하나 이상의 프리즘 표면 요소들, 및/또는 홀로그램 반사기들의 어레이일 수 있다.
지향 요소(360)는 수신된 입력 이미지 광(355)이 결합해제 요소(365)를 통해 출력 도파관(320)으로부터 결합 해제되도록 수신된 입력 이미지 광(355)을 결합해제 요소(365)로 재지향시킨다. 지향 요소(360)는 출력 도파관(320)의 제 1 측면(370-1)의 부분이거나, 또는 그것에 부착된다. 결합해제 요소(365)는 출력 도파관(320)의 제 2 측면(370-2)의 부분이거나, 또는 그것에 부착되며, 따라서 지향 요소(360)는 결합해제 요소(365)의 반대편에 있다. 지향 요소(360) 및/또는 결합해제요소(365)는 예컨대, 회절 격자, 홀로그램 격자, 하나 이상의 연쇄된 반사기들, 하나 이상의 프리즘 표면 요소들, 및/또는 홀로그램 반사기들의 어레이일 수 있다.
제 2 측면(370-2)은 x-차원 및 y-차원을 따르는 평면을 나타낸다. 출력 도파관(320)은 이미지 광(355)의 총 내부 반사를 가능하게 하는 하나 이상의 재료들로 구성될 수 있다. 출력 도파관(320)은, 예컨대, 실리콘, 플라스틱, 유리, 및/또는 폴리머들로 구성될 수 있다. 출력 도파관(320)은 비교적 작은 형태 인자를 가진다. 예를 들어, 출력 도파관(320)은 x-차원을 따라 폭이 대략 50mm, y-차원을 따라 길이가 30mm 및 z-차원을 따라 두께가 0.5 내지 1mm일 수 있다.
제어기(330)는 소스 어셈블리(310)의 스캐닝 동작들을 제어한다. 제어기(330)는 소스 어셈블리(310)를 위한 스캐닝 명령들을 결정한다. 몇몇 예들에서, 출력 도파관(320)은 큰 시야(FOV)를 갖고 사용자의 안구(220)로 확장된 이미지 광(340)을 출력한다. 예를 들어, 확장된 이미지 광(340)은 60도 이상 및/또는 150도 이하의 대각선 FOV(x 및 y에서)를 갖고 사용자의 안구(220)로 제공된다. 출력 도파관(320)은 20mm 이상 및/또는 50mm 이하의 길이; 및/또는 10mm 이상 및/또는 50mm 이하의 폭을 아이박스에 제공하도록 구성된다.
게다가, 제어기(330)는 또한 이미지 센서(370)에 의해 제공된 이미지 데이터에 기초하여, 소스 어셈블리(310)에 의해 생성된 이미지 광(355)을 제어한다. 이미지 센서(370)는 제 1 측면(370-1) 상에 위치될 수 있으며, 예를 들어, 사용자의 앞에 있는 물리적 환경의 이미지 데이터(예컨대, 위치 결정에 대한)를 생성하기 위해 도 1a의 이미지 센서들(120a 내지 120d)을 포함할 수 있다. 이미지 센서(370)는 또한 제 2 측면(370-2) 상에 위치될 수 있으며 사용자의 안구(220)의 이미지 데이터(예컨대, 응시 포인트 결정에 대한)를 생성하기 위해 도 1b의 이미지 센서들(150a 및 150b)을 포함할 수 있다. 이미지 센서(370)는 도파관 디스플레이(300) 내에 위치되지 않은 원격 콘솔과 인터페이스할 수 있다. 이미지 센서(370)는 예를 들어, 사용자의 위치, 사용자의 응시 포인트 등을 결정하며, 사용자로 디스플레이될 이미지들의 콘텐트를 결정할 수 있는, 원격 콘솔로 이미지 데이터를 제공할 수 있다. 원격 콘솔은 결정된 콘텐트에 관련된 명령들을 제어기(330)에 송신할 수 있다. 명령들에 기초하여, 제어기(330)는 소스 어셈블리(310)에 의해 이미지 광(355)의 생성 및 출력을 제어할 수 있다.
도 4는 도파관 디스플레이(300)의 단면(400)의 예를 예시한다. 단면(400)은 소스 어셈블리(310), 출력 도파관(320), 및 이미지 센서(370)를 포함한다. 도 4의 예에서, 이미지 센서(370)는 사용자의 앞에 있는 물리적 환경의 이미지를 생성하기 위해 제 1 측면(370-1) 상에 위치된 화소 셀들(402)의 세트를 포함할 수 있다. 몇몇 예들에서, 화소 셀들(402)의 세트의 노출을 제어하기 위해 화소 셀들(402)의 세트 및 물리적 환경 사이에 개재된 기계식 셔터(404)가 있을 수 있다. 몇몇 예들에서, 기계식 셔터(404)는 이하에서 논의될 바와 같이 전자 셔터 게이트로 대체될 수 있다. 화소 셀들(402)의 각각은 이미지의 하나의 화소에 대응할 수 있다. 도 4에 도시되지 않지만, 화소 셀들(402)의 각각은 또한 화소 셀들에 의해 감지될 광의 주파수 범위를 제어하기 위해 필터와 오버레이될 수 있다는 것이 이해된다.
원격 콘솔로부터 명령들을 수신한 후, 기계식 셔터(404)는 노출 기간에서 화소 셀들(402)의 세트를 개방하고 노출시킬 수 있다. 노출 기간 동안, 이미지 센서(370)는 화소 셀들(402)의 세트에 입사된 광들의 샘플들을 획득하며, 화소 셀들(402)의 세트에 의해 검출된 입사 광 샘플들의 세기 분포에 기초하여 이미지 데이터를 생성할 수 있다. 이미지 센서(370)는 그 후 이미지 데이터를, 디스플레이 콘텐트를 결정하는 원격 콘솔로 제공하며, 디스플레이 콘텐트 정보를 제어기(330)로 제공할 수 있다. 제어기(330)는 그 후 디스플레이 콘텐트 정보에 기초하여 이미지 광(355)을 결정할 수 있다.
소스 어셈블리(310)는 제어기(330)로부터의 명령들에 따라 이미지 광(355)을 생성한다. 소스 어셈블리(310)는 소스(410) 및 광학 시스템(415)을 포함한다. 소스(410)는 간섭성 또는 부분 간섭성 광을 생성하는 광원이다. 소스(410)는, 예컨대, 레이저 다이오드, 수직 공동 표면 방출 레이저, 및/또는 발광 다이오드일 수 있다.
광학 시스템(415)은 소스(410)로부터 광을 조절하는 하나 이상의 광학 구성요소들을 포함한다. 소스(410)로부터의 광을 조절하는 것은, 예컨대, 제어기(330)로부터의 명령들에 따라 배향을 확장하고, 시준하며, 및/또는 조정하는 것을 포함할 수 있다. 하나 이상의 광학 구성요소들은 하나 이상의 렌즈들, 액체 렌즈들, 미러들, 애퍼처들, 및/또는 격자들을 포함할 수 있다. 몇몇 예들에서, 광학 시스템(415)은 액체 렌즈 밖의 영역으로 광의 빔을 시프트하기 위해 스캐닝 각의 임계 값을 갖고 광의 빔의 스캐닝을 허용하는 복수의 전극들을 가진 액체 렌즈를 포함한다. 광학 시스템(415)(및 또한 소스 어셈블리(310))으로부터 방출된 광은 이미지 광(355)으로 불리운다.
출력 도파관(320)은 이미지 광(355)을 수신한다. 결합 요소(350)는 소스 어셈블리(310)로부터 출력 도파관(320)으로 이미지 광을 결합시킨다. 결합 요소(350)가 회절 격자인 예들에서, 회절 격자의 피치는 총 내부 반사가 출력 도파관(320)에서 발생하도록 선택되며, 이미지 광(355)은 결합해제 요소(365)를 향해, 출력 도파관(320)에서 내부적으로 전파된다(예컨대, 총 내부 반사에 의해).
지향 요소(360)는 출력 도파관(320)으로부터의 결합 해제를 위해 결합해제 요소(365)를 향해 이미지 광(355)을 재지향시킨다. 지향 요소(360)가 회절 격자인 예들에서, 회절 격자의 피치는 입사 이미지 광(355)이 결합해제 요소(365)의 표면에 대해 격사각(들)으로 출력 도파관(320)을 빠져나가게 하기 위해 선택된다.
몇몇 예들에서, 지향 요소(360) 및/또는 결합해제 요소(365)는 구조적으로 유사하다. 출력 도파관(320)을 빠져나간 확장된 이미지 광(340)은 하나 이상의 차원들을 따라 확장된다(예컨대, x-차원을 따라 길어질 수 있다). 몇몇 예들에서, 도파관 디스플레이(300)는 복수의 소스 어셈블리들(310) 및 복수의 출력 도파관들(320)을 포함한다. 소스 어셈블리들(310)의 각각은 1차 컬러(예컨대, 적색, 녹색, 또는 청색)에 대응하는 파장의 특정 대역의 단색성 이미지 광을 방출한다. 출력 도파관들(320)의 각각은 다중-컬러링되는 확장된 이미지 광(340)을 출력하기 위해 간격의 거리를 갖고 함께 적층될 수 있다.
도 5는 근안 디스플레이(100)를 포함한 시스템(500)의 예의 블록도이다. 시스템(500)은 근안 디스플레이(100), 이미징 디바이스(535), 입/출력 인터페이스(540), 및 각각이 제어 회로부들(510)에 결합되는 이미지 센서들(120a 내지 120d 및 150a 내지 150b)을 포함한다. 시스템(500)은 헤드-장착 디바이스, 착용 가능한 디바이스 등으로서 구성될 수 있다.
근안 디스플레이(100)는 사용자에게 미디어를 제공하는 디스플레이이다. 근안 디스플레이(100)에 의해 제공된 미디어의 예들은 하나 이상의 이미지들, 비디오, 및/또는 오디오를 포함한다. 몇몇 예들에서, 오디오는 근안 디스플레이(100) 및/또는 제어 회로부들(510)로부터 오디오 정보를 수신하며 오디오 정보에 기초한 오디오 데이터를 사용자에게 제공하는 외부 디바이스(예컨대, 스피커들 및/또는 헤드폰들)를 통해 제공된다. 몇몇 예들에서, 근안 디스플레이(100)는 또한 AR 안경으로서 동작할 수 있다. 몇몇 예들에서, 근안 디스플레이(100)는, 컴퓨터-생성 요소들(예컨대, 이미지들, 비디오들, 사운드 등)을 갖고, 물리적, 실-세계 환경의 뷰들을 증대시킨다.
근안 디스플레이(100)는 도파관 디스플레이 어셈블리(210), 하나 이상의 위치 센서들(525), 및/또는 관성 측정 유닛(IMU)(530)을 포함한다. 도파관 디스플레이 어셈블리(210)는 소스 어셈블리(310), 출력 도파관(320), 및 제어기(330)를 포함한다.
IMU(530)는 위치 센서들(525) 중 하나 이상으로부터 수신된 측정 신호들에 기초하여 근안 디스플레이(100)의 초기 위치에 대한 근안 디스플레이(100)의 추정된 위치를 나타내는 빠른 교정 데이터를 생성하는 전자 디바이스이다.
이미징 디바이스(535)는 다양한 애플리케이션들을 위한 이미지 데이터를 생성할 수 있다. 예를 들어, 이미징 디바이스(535)는 제어 회로부들(510)로부터 수신된 교정 파라미터들에 따라 느린 교정 데이터를 제공하기 위해 이미지 데이터를 생성할 수 있다. 이미징 디바이스(535)는, 예를 들어, 사용자의 위치 추적을 수행하기 위해, 사용자가 위치되는 물리적 환경의 이미지 데이터를 생성하기 위해 도 1a의 이미지 센서들(120a 내지 120d)을 포함할 수 있다. 이미징 디바이스(535)는, 사용자의 관심 오브젝트를 식별하기 위해, 사용자의 응시 포인트를 결정하기 위한 이미지 데이터를 생성하기 위해, 예를 들어, 도 1b의 이미지 센서들(150a 내지 150b)을 추가로 포함할 수 있다.
입/출력 인터페이스(540)는 사용자로 하여금 동작 요청들을 제어 회로부들(510)로 전송하도록 허용하는 디바이스이다. 동작 요청은 특정한 동작을 수행하기 위한 요청이다. 예를 들어, 동작 요청은 애플리케이션을 시작하거나 또는 종료하기 위해 또는 애플리케이션 내에서 특정한 동작을 수행하는 것일 수 있다.
제어 회로부들(510)은 이미징 디바이스(535), 근안 디스플레이(100), 및 입/출력 인터페이스(540) 중 하나 이상으로부터 수신된 정보에 따라 사용자로의 프리젠테이션을 위해 미디어를 근안 디스플레이(100)로 제공한다. 몇몇 예들에서, 제어 회로부들(510)은 헤드-장착 디바이스로서 구성된 시스템(500) 내에 하우징될 수 있다. 몇몇 예들에서, 제어 회로부들(510)은 시스템(500)의 다른 구성요소들과 통신적으로 결합된 독립형 콘솔 디바이스일 수 있다. 도 5에 도시된 예에서, 제어 회로부들(510)은 애플리케이션 저장소(545), 추적 모듈(550), 및 엔진(555)을 포함한다.
애플리케이션 저장소(545)는 제어 회로부들(510)에 의한 실행을 위해 하나 이상의 애플리케이션들을 저장한다. 애플리케이션은, 프로세서에 의해 실행될 때, 사용자로의 프리젠테이션을 위한 콘텐트를 생성하는 명령들의 그룹이다. 애플리케이션들의 예들은: 게이밍 애플리케이션들, 컨퍼런싱 애플리케이션들, 비디오 재생 애플리케이션들, 또는 다른 적절한 애플리케이션들을 포함한다.
추적 모듈(550)은 하나 이상의 교정 파라미터들을 사용하여 시스템(500)을 교정하며 근안 디스플레이(100)의 위치의 결정 시 에러를 감소시키기 위해 하나 이상의 교정 파라미터들을 조정할 수 있다.
추적 모듈(550)은 이미지 디바이스(535)로부터의 느린 교정 정보를 사용하여 근안 디스플레이(100)의 움직임들을 추적한다. 추적 모듈(550)은 또한 빠른 교정 정보로부터의 위치 정보를 사용하여 근안 디스플레이(100)의 기준 포인트의 위치들을 결정한다.
엔진(555)은 시스템(500) 내에서 애플리케이션들을 실행하며 추적 모듈(550)로부터 근안 디스플레이(100)의 위치 정보, 가속 정보, 속도 정보, 및/또는 예측된 미래 위치들을 수신한다. 몇몇 예들에서, 엔진(555)에 의해 수신된 정보는 사용자에게 제공된 콘텐트의 유형을 결정하는 도파관 디스플레이 어셈블리(210)로의 신호(예컨대, 디스플레이 명령들)를 생성하기 위해 사용될 수 있다. 예를 들어, 상호작용적 경험을 제공하기 위해, 엔진(555)은 사용자의 위치(예컨대, 추적 모듈(550)에 의해 제공된), 또는 사용자의 응시 포인트(예컨대, 이미징 디바이스(535)에 의해 제공된 이미지 데이터에 기초한), 오브젝트와 사용자 간의 거리(예컨대, 이미징 디바이스(535)에 의해 제공된 이미지 데이터에 기초한)에 기초하여 사용자로 제공될 콘텐트를 결정할 수 있다.
도 6은 이미지 센서(600)의 예를 예시한다. 이미지 센서(600)는 근안 디스플레이(100)의 부분일 수 있으며, 근안 디스플레이(100)의 디스플레이 콘텐트를 제어하도록 도 5의 제어 회로부들(510)을 제어하기 위해 2D 및 3D 이미지 데이터를 제공할 수 있다. 도 6에 도시된 바와 같이, 이미지 센서(600)는 화소 셀(602a)을 포함한 화소 셀들의 어레이(602)를 포함할 수 있다. 화소 셀(602a)은 예를 들어, 포토다이오드들(612a, 612b, 612c, 및 612d)을 포함한 복수의 포토다이오드들(612), 하나 이상의 전하 감지 유닛들(614), 및 하나 이상의 아날로그-디지털 변환기들(616)을 포함할 수 있다. 복수의 포토다이오드들(612)은 입사 광의 상이한 구성요소들을 전하로 변환할 수 있다. 예를 들어, 포토다이오드(612a 내지 612c)는 상이한 가시 광 채널들에 대응할 수 있으며, 여기에서 포토다이오드(612a)는 가시 청색 구성요소(예컨대, 450 내지 490 나노미터(nm)의 파장 범위)를 전하로 변환할 수 있다. 포토다이오드(612b)는 가시 녹색 구성요소(예컨대, 520 내지 560nm의 파장 범위)를 전하로 변환할 수 있다. 포토다이오드(612c)는 가시 적색 구성요소(예컨대, 635 내지 700nm의 파장 범위)를 전하로 변환할 수 있다. 게다가, 포토다이오드(612d)는 적외선 구성요소(예컨대, 700 내지 1000nm)를 전하로 변환할 수 있다. 하나 이상의 전하 감지 유닛들(614)의 각각은 포토다이오드들(612a 내지 612d)에 의해 생성된 전하를 전압들로 변환하기 위해 전하 저장 디바이스 및 버퍼를 포함할 수 있으며, 이것은 하나 이상의 ADC들(616)에 의해 디지털 값들로 양자화될 수 있다. 포토다이오드들(612a 내지 612c)로부터 생성된 디지털 값들은 화소의 상이한 가시 광 구성요소들을 나타낼 수 있으며, 각각은 특정한 가시 광 채널에서 2D 감지를 위해 사용될 수 있다. 게다가, 포토다이오드(612d)로부터 생성된 디지털 값은 동일한 화소의 적외선 광 구성요소를 나타낼 수 있으며 3D 감지를 위해 사용될 수 있다. 도 6은 화소 셀(602a)이 4개의 포토다이오드들을 포함한다는 것을 보여주지만, 화소 셀은 상이한 수의 포토다이오드들(예컨대, 2, 3 등)을 포함할 수 있다는 것이 이해된다.
또한, 이미지 센서(600)는 또한 조명기(622), 광학 필터(624), 이미징 모듈(628), 및 감지 제어기(630)를 포함한다. 조명기(622)는 3D 감지를 위해 적외선 광을 투사할 수 있는, 레이저, 발광 다이오드(LED) 등과 같은, 적외선 조명기일 수 있다. 투사된 광은, 예를 들어, 구조화된 광, 광 펄스들 등을 포함할 수 있다. 광학 필터(624)는 화소 셀(606a)을 포함한 각각의 화소 셀의 복수의 포토다이오드들(612a 내지 612d) 상에 오버레이된 필터 요소들의 어레이를 포함할 수 있다. 각각의 필터 요소는 화소 셀(606a)의 각각의 포토다이오드에 의해 수신된 입사 광의 파장 범위를 설정할 수 있다. 예를 들어, 포토다이오드(612a) 위의 필터 요소는 다른 구성요소들을 차단하는 동안 가시 청색 광 구성요소를 투과할 수 있고, 포토다이오드(612b) 위의 필터 요소는 가시 녹색 광 구성요소를 투과할 수 있고, 포토다이오드(612c) 위의 필터 요소는 가시 적색 광 구성요소를 투과할 수 있는 반면, 포토다이오드(612d) 위의 필터 요소는 적외선 광 구성요소를 투과할 수 있다.
이미지 센서(600)는 이미징 모듈(628)을 추가로 포함한다. 이미징 모듈(628)은 2D 이미징 동작을 수행하기 위해 2D 이미징 모듈(632)을 및 3D 이미징 동작들을 수행하기 위해 3D 이미징 모듈(634)을 추가로 포함할 수 있다. 동작들은 ADC들(616)에 의해 제공된 디지털 값들에 기초할 수 있다. 예를 들어, 포토다이오드들(612a 내지 612c)의 각각으로부터의 디지털 값들에 기초하여, 2D 이미징 모듈(632)은 각각의 가시 컬러 채널에 대한 입사 광 구성요소의 세기를 나타내는 화소 값들의 어레이를 생성하며, 각각의 가시 컬러 채널에 대한 이미지 프레임을 생성할 수 있다. 게다가, 3D 이미징 모듈(634)은 포토다이오드(612d)로부터의 디지털 값들에 기초하여 3D 이미지를 생성할 수 있다. 몇몇 예들에서, 디지털 값들에 기초하여, 3D 이미징 모듈(634)은 오브젝트의 표면에 의해 반사된 구조화된 광의 패턴을 검출하며, 화소 셀 어레이에 대하여 표면의 상이한 포인트들의 깊이들을 결정하기 위해 조명기(622)에 의해 투사된 구조화된 광의 패턴과 검출된 패턴을 비교할 수 있다. 반사된 광의 패턴의 검출을 위해, 3D 이미징 모듈(634)은 화소 셀들에서 수신된 적외선 광의 세기들에 기초하여 화소 값들을 생성할 수 있다. 다른 예로서, 3D 이미징 모듈(634)은 조명기(622)에 의해 투과되고 오브젝트에 의해 반사된 적외선 광의 비행 시간에 기초하여 화소 값들을 생성할 수 있다.
이미지 센서(600)는 오브젝트의 2D 및 3D 이미징을 수행하도록 이미지 센서(600)의 상이한 구성요소들을 제어하기 위해 감지 제어기(640)를 추가로 포함한다. 참조가 이제 도 7a 내지 도 7c에 대하여 이루어지며, 이것은 2D 및 3D 이미징을 위한 이미지 센서(600)의 동작들의 예들을 예시한다. 도 7a는 2D 이미징을 위한 동작들의 예를 예시한다. 2D 이미징을 위해, 화소 셀 어레이(602)는 오브젝트로부터 반사된 가시 광을 포함한 환경에서 가시 광을 검출할 수 있다. 예를 들어, 도 7a를 참조하면, 가시 광원(700)(예컨대, 백열 전구, 태양, 또는 주변 가시 광의 다른 소스들)은 오브젝트(704)로 가시 광(702)을 투사할 수 있다. 가시 광(706)은 오브젝트(704)의 스팟(708)으로부터 반사될 수 있다. 가시 광(706)은 또한 오브젝트(704)의 스팟(708)으로부터 반사될 수 있다. 가시 광(706)은 또한 주변 적외선 광 구성요소를 포함할 수 있다. 가시 광(706)은 파장 범위들(w0, w1, w2, 및 w3)의 가시 광(706)의 상이한 구성요소들을 각각 화소 셀(602a)의 포토다이오드들(612a, 612b, 612c, 및 612d)로 전달하기 위해 광학 필터 어레이(624)에 의해 필터링될 수 있다. 파장 범위들(w0, w1, w2, 및 w3)은 각각 청색, 녹색, 적색, 및 적외선에 대응한다. 도 7a에 도시된 바와 같이, 적외선 조명기(622)가 턴 온되지 않음에 따라, 적외선 구성요소(w3)의 세기는 주변 적외선 광에 의해 기여되며 매우 낮을 수 있다. 게다가, 가시 광(706)의 상이한 가시 구성요소들은 또한 상이한 세기들을 가질 수 있다. 전하 감지 유닛들(614)은 포토다이오드들에 의해 생성된 전하를 전압들로 변환할 수 있으며, 이것은 ADC들(616)에 의해 스팟(708)을 나타내는 화소의 적색, 청색, 및 녹색 구성요소들을 나타내는 디지털 값들로 양자화될 수 있다. 도 7c를 참조하면, 디지털 값들이 생성된 후, 감지 제어기(640)는 디지털 값들에 기초하여, 각각이 동일한 노출 기간(714)을 갖고 캡처된 씬의 적색, 청색, 또는 녹색 컬러 이미지를 나타내는 적색 이미지 프레임(710a), 청색 이미지 프레임(710b), 및 녹색 이미지 프레임(710c)을 포함하는, 이미지들(710)의 세트를 포함한 이미지들의 세트들을 생성하도록 2D 이미징 모듈(632)을 제어할 수 있다. 적색 이미지로부터의(예컨대, 화소 712a), 청색 이미지로부터의(예컨대, 화소 712b), 및 녹색 이미지로부터의(예컨대, 화소 712c) 각각의 화소는 씬의 동일한 스팟(예컨대, 스팟 708)으로부터의 광의 가시 구성요소들을 나타낼 수 있다. 상이한 세트의 이미지들(720)은 뒤이은 노출 기간(724)에서 2D 이미징 모듈(623)에 의해 생성될 수 있다. 적색 이미지(710a), 청색 이미지(710b), 및 녹색 이미지(710c)의 각각은 특정 컬러 채널에서의 씬을 나타낼 수 있으며 예를 들어, 특정 컬러 채널로부터 이미지 특징들을 추출하기 위해 애플리케이션으로 제공될 수 있다. 각각의 이미지가 동일한 씬을 나타내며 이미지들의 각각의 대응하는 화소가 씬의 동일한 스팟으로부터의 광을 나타내므로, 상이한 컬러 채널들 간의 이미지들의 대응성이 개선될 수 있다.
더욱이, 이미지 센서(600)는 또한 오브젝트(704)의 3D 이미징을 수행할 수 있다. 도 7b를 참조하면, 감지 제어기(610)는 광 펄스, 구조화된 광 등을 포함할 수 있는, 적외선 광(732)을 오브젝트(704)로 투사하도록 조명기(622)를 제어할 수 있다. 적외선 광(732)은 700 나노미터(nm) 내지 1 밀리미터(mm)의 파장 범위를 가질 수 있다. 적외선 광(734)은 오브젝트(704)의 스팟(708)을 반사할 수 있으며 화소 셀 어레이(602)를 향해 전파되고 광학 필터(624)를 통과할 수 있으며, 이것은 전하를 변환하기 위해 적외선 구성요소(파장 범위(w3)의)를 포토다이오드(612d)로 제공할 수 있다. 전하 감지 유닛들(614)은 전하를 전압으로 변환할 수 있으며, 이것은 ADC들(616)에 의해 디지털 값들로 변환될 수 있다. 도 7c를 참조하면, 디지털 값들이 생성된 후, 감지 제어기(640)는 디지털 값들에 기초하여, 노출 기간(714) 내에서 캡처된 이미지들(710)의 부분으로서 씬의 적외선 이미지(710d)를 생성하도록 3D 이미징 모듈(634)을 제어할 수 있다. 적외선 이미지(710d)가 적외선 채널에서 동일한 씬을 나타낼 수 있으며 적외선 이미지(710d)의 화소(예컨대, 화소 712d)는 이미지들(710) 내에서 다른 이미지들에서의 다른 대응하는 화소들(화소들(712a 내지 712c))과 동일한 씬의 스팟으로부터의 광을 나타내므로, 2D와 3D 이미징 간의 대응성이 또한 개선될 수 있다.
도 8a 내지 도 8d는 화소 셀에서 포토다이오드들(612)의 배열들의 예들을 예시한다. 도 8a에 도시된 바와 같이, 화소 셀(602a)에서 포토다이오드들(612a 내지 612d)은 화소 셀(602a)이 스팟(804a)으로부터 입사 광(802)을 수신하는 광 수신 표면(800)에 수직인 축을 따라 스택을 형성할 수 있다. 예를 들어, 포토다이오드들(612a 내지 612d)은 광 수신 표면(800)이 x 및 y 축들과 평행한 수직 축(예컨대, z-축)을 따라 스택을 형성할 수 있다. 각각의 포토다이오드는 광 수신 표면(800)과 상이한 거리를 가질 수 있으며, 거리는 각각의 포토다이오드에 의해 흡수되고 전하로 변환되는 입사 광(802)의 구성요소를 설정할 수 있다. 예를 들어, 포토다이오드(612a)는 광 수신 표면(800)에 가장 가까우며 청색 구성요소를 흡수하고 전하로 변환할 수 있으며, 이것은 다른 구성요소들 중에서 가장 짧은 파장 범위이다. 광(812)은 광(802)의 남아있는 구성요소들(예컨대, 녹색, 적색, 및 적외선)을 포함하며 녹색 구성요소를 흡수하고 변환할 수 있는 포토다이오드(612b)로 전파될 수 있다. 광(822)은 광(812)의 남아있는 구성요소들(예컨대, 적색 및 적외선)을 포함하며 적색 구성요소를 흡수하고 변환할 수 있는 포토다이오드(612c)로 전파될 수 있다. 남아있는 적외선 구성요소(832)는 전하로 변환되도록 포토다이오드(612d)로 전파될 수 있다.
각각의 포토다이오드들(612a, 612b, 612c, 및 612d)은, 이미지 센서(600)를 형성하기 위해 적층될 수 있는, 별개의 반도체 기판에 있을 수 있다. 예를 들어, 포토다이오드(612a)는 반도체 기판(840)에 있을 수 있고, 포토다이오드(612b)는 반도체 기판(842)에 있을 수 있고, 포토다이오드(612c)는 반도체 기판(844)에 있을 수 있는 반면, 포토다이오드(612d)는 반도체 기판(846)에 있을 수 있다. 각각의 반도체 기판은 스팟(804b)으로부터 광을 수신하기 위해 화소 셀들(602b)과 같은, 다른 화소 셀들의 다른 포토다이오드들을 포함할 수 있다. 이미지 센서(600)는 예를 들어, 전하 감지 유닛들(614), ADC들(616) 등을 포함할 수 있는 화소 셀 프로세싱 회로들(849)을 포함할 수 있는 다른 반도체 기판(848)을 포함할 수 있다. 각각의 반도체 기판은 각각의 포토다이오드에서 생성된 전하를 프로세싱 회로(849)로 전달하기 위해 금속 상호연결부들(850, 852, 854, 및 856)과 같은, 금속 상호연결부에 연결될 수 있다.
도 8b 내지 도 8d는 포토다이오드들(612)의 다른 예시적인 배열들을 예시한다. 도 8b 내지 도 8d에 도시된 바와 같이, 복수의 포토다이오드들(612)은 광 수신 표면(800)과 측방향으로 평행하게 배열될 수 있다. 도 8b의 상위 그래프는 화소 셀(602a)을 포함한 화소 셀 어레이(602)의 예의 측면도를 예시하는 반면, 도 8b의 하위 그래프는 화소 셀(602a)을 포함한 화소 셀 어레이(602)의 상면도를 예시한다. 광 수신 표면(800)이 x 및 y 축들에 평행하는, 도 8b에 도시된 바와 같이, 포토다이오드들(612a, 612b, 612c, 및 612d)은 반도체 기판(840)에서 x 및 y 축들을 따라 또한 서로 인접하여 배열될 수 있다. 화소 셀(602a)은 포토다이오드들 상에 오버레이된 광학 필터 어레이(860)를 추가로 포함한다. 광학 필터 어레이(860)는 광학 필터(624)의 부분일 수 있다. 광학 필터 어레이(860)는 각각의 포토다이오드에 의해 수신된 입사 광 구성요소의 파장 범위를 설정하기 위해 포토다이오드들(612a, 612b, 612c, 및 612d)의 각각 상에 오버레이된 필터 요소를 포함할 수 있다. 예를 들어, 필터 요소(860a)는 포토다이오드(612a) 상에 오버레이되며 단지 가시 청색 광만이 포토다이오드(612a)에 들어오도록 허용할 수 있다. 게다가, 필터 요소(860b)는 포토다이오드(612b) 상에 오버레이되며 단지 가시 녹색 광만이 포토다이오드(612b)에 들어오도록 허용할 수 있다. 뿐만 아니라, 필터 요소(860c)는 포토다이오드(612c) 상에 오버레이되며 단지 가시 적색 광만이 포토다이오드(612c)에 들어오도록 허용할 수 있다. 필터 요소(860d)는 포토다이오드(612d) 상에 오버레이되며 단지 적외선 광만이 포토다이오드(612d)에 들어오도록 허용할 수 있다. 화소 셀(602a)은 씬의 스팟(예컨대, 스팟 804a)으로부터 광학 필터 어레이(860)를 통해 광 수신 표면(800)의 상이한 측방향 위치들로 광(864)을 투사할 수 있는 하나 이상의 마이크로렌즈(862)를 추가로 포함하며, 이것은 각각의 포토다이오드가 화소 셀(602a)의 서브-화소가 되고 화소에 대응하는 동일한 스팟으로부터 광의 구성요소들을 수신하도록 허용한다. 몇몇 예들에서, 하나 이상의 마이크로렌즈(862)는 화소 셀 어레이(602)의 모든 화소 셀들을 커버하는 마이크로렌즈를 포함할 수 있다. 몇몇 예들에서, 하나 이상의 마이크로렌즈(862)는 각각의 화소 셀 위에 마이크로렌즈를 포함할 수 있으며, 다수의 마이크로렌즈는 다수의 화소 셀들을 커버한다. 화소 셀(602a)은 또한 포토다이오드들에 의해 생성된 전하로부터 디지털 값들을 생성하기 위해 회로(849)(예컨대, 전하 감지 유닛들(614), ADC들(616) 등)를 포함할 수 있는 반도체 기판(848)을 포함할 수 있다. 반도체 기판들(840 및 848)은 스택을 형성할 수 있으며 상호연결부(856)와 연결될 수 있다.
포토다이오드들이 측방향으로 배열되며 광학 필터 어레이가 포토다이오드들에 의해 수신된 광 구성요소들을 제어하기 위해 사용되는, 도 8b의 구성들은 다수의 이점들을 제공할 수 있다. 예를 들어, 스택들의 수 및 반도체 기판들의 수가 감소될 수 있으며, 이것은 수직 높이뿐만 아니라 반도체 기판들 중에서 상호연결부들을 감소시킬 수 있다. 게다가, 각각의 포토다이오드에 의해 흡수된 구성요소들의 파장 범위들을 설정하기 위해 광의 전파 거리보다는 필터 요소들에 의존하는 것이 파장 범위들을 선택할 때 유연성들을 제공할 수 있다. 도 8c의 상위 그래프에서 보여주는 바와 같이, 화소 셀 어레이(602)는 상이한 화소 셀들에 대한 상이한 광학 필터 어레이들(860)을 포함할 수 있다. 예를 들어, 화소 셀 어레이(602)의 각각의 화소 셀은 포토다이오드들(612a 및 612b)에 대해 380 내지 740nm의 파장 범위의 단색 채널("M"으로 라벨링됨), 및 포토다이오드(612d)에 대해 700 내지 1000nm의 파장 범위의 적외선 채널("NIR"로 라벨링됨)을 제공하는 광학 필터 어레이를 가질 수 있다. 그러나, 광학 필터 어레이들은 또한 상이한 화소 셀들에 대해 상이한 가시 컬러 채널을 제공할 수 있다. 예를 들어, 화소 셀 어레이(602a, 602b, 602c, 및 602d)에 대한 광학 필터 어레이들(860)은, 각각 가시 녹색 채널("G"로 라벨링됨), 가시 적색 채널("R"로 라벨링됨), 가시 청색 채널("B"로 라벨링됨), 및 화소 셀 어레이의 포토다이오드(612c)에 대한 가시 녹색 채널을 제공할 수 있다. 다른 예로서, 도 8c의 하위 그래프에서 보여주는 바와 같이, 각각의 광학 필터 어레이(860)는 각각의 화소 셀 어레이의 포토다이오드(612b)에 대해 380 내지 1000nm의 파장 범위를 스패닝하는 단색 및 적외선 채널("M+NIR"로 라벨링됨)을 제공할 수 있다.
도 8d는 도 8c에 도시된 예시적인 채널들을 제공하기 위한 광학 필터 어레이(860)의 예들을 예시한다. 도 8d에 도시된 바와 같이, 광학 필터 어레이(860)는 화소 셀 어레이 내에서 각각의 포토다이오드에 의해 수신된 광의 파장 범위를 선택하기 위해 광학 필터들의 스택을 포함할 수 있다. 예를 들어, 도 8d의 상위 그래프를 참조하면, 광학 필터(860a)는 포토다이오드(612a)에 대해 단색 채널을 제공하기 위해 스택을 형성하는 전역-통과(all-pass) 요소(870)(예컨대, 가시 광 및 적외선 광 모두를 통과하는 투명 유리) 및 적외선 차단 요소(872)를 포함할 수 있다. 광학 필터(860b)는 또한 포토다이오드(612)에 대한 단색 채널을 또한 제공하기 위해 전역-통과 요소(874) 및 적외선 차단 요소(876)를 포함할 수 있다. 뿐만 아니라, 광학 필터(860c)는 포토다이오드(612c)에 대한 녹색 채널을 제공하기 위해 녹색 가시 광을 통과하는)(그러나 다른 가시 광 구성요소를 거절하는) 녹색-통과 요소(876) 및 적외선 차단 요소(878)를 포함할 수 있다. 마지막으로, 광학 필터(860d)는 포토다이오드(612d)에 대해 적외선 채널을 제공하기 위해 전역-통과 요소(880) 및 가시 광 차단 필터(882)(가시 광을 차단하지만 적외선 광이 지나가는 것을 허용할 수 있는)를 포함할 수 있다. 다른 예에서, 도 8d의 하위 그래프에서 보여주는 바와 같이, 광학 필터(860b)는 포토다이오드(612b)에 대해 단색 및 적외선 채널을 제공하기 위해 단지 전역-통과 요소(872)만을 포함할 수 있다.
참조가 이제, 전하 감지 유닛(614) 및 ADC(616)의 예를 포함한 화소 셀(602a)의 부가적인 구성요소들을 예시하는, 도 9a 내지 도 9f에 대해 이루어진다. 도 9a에 도시된 바와 같이, 화소 셀(602a)은 포토다이오드(PD)(예컨대, 포토다이오드(612a)), 셔터 스위치(M0), 전달 스위치(M1), 전하 저장 디바이스(902) 및 스위칭 가능한 버퍼(904)를 포함한 전하 감지 유닛(614), 및 CC 커패시터, 비교기(906), 및 출력 논리 회로들(908)을 포함한 ADC(616)를 포함할 수 있다. 비교기(906)의 출력은, 출력 논리 회로들(908)을 통해 화소 셀(602a)의 내부 또는 외부에 있을 수 있는 메모리(912) 및 카운터(914)와 결합된다. 화소 셀(602)은 스위치들, 전하 감지 유닛(614), 뿐만 아니라 ADC(616)를 제어하기 위해 제어기(920)를 추가로 포함한다. 이하에서 설명될 바와 같이, 제어기(920)는 입사 광에 기초하여 전하를 누적시키기 위해 노출 기간을 설정할 수 있으며, 입사 광의 세기의 디지털 표현을 생성하기 위해 상이한 광 세기 범위들과 연관된 다수의 양자화 동작들을 수행하도록 전하 감지 유닛(614) 및 ADC(616)를 제어할 수 있다. 제어기(920)는 다수의 양자화 동작들 중 어떤 것을 수행할지(및 건너뛸지)를 선택하기 위한 선택(922)을 수신할 수 있다. 선택은 입사 광 세기의 디지털 표현을 사용하는 애플리케이션을 호스팅하는 호스트 디바이스에서 올 수 있다. 제어기(920)는 화소 셀(602a) 또는 감지 제어기(640)의 부분의 내부에 있을 수 있다. 각각의 스위치는 예를 들어, 금속-산화물-반도체 전계-효과 트랜지스터(MOSFET), 양극 접합 트랜지스터(BJT) 등과 같은 트랜지스터일 수 있다.
구체적으로, 셔터 스위치(M0)는 노출 기간을 시작하기 위해 제어기(920)에 의해 제공된 AB 신호에 의해 제어될 수 있으며, 여기에서 포토다이오드(PD)는 입사 광에 응답하여 전하를 생성하고 축적할 수 있다. 전달 스위치(M1)는 전하의 일부를 전하 저장 디바이스(902)로 전달하기 위해 제어기(920)에 의해 제공된 TG 신호에 의해 제어될 수 있다. 일 양자화 동작에서, 전달 스위치(M1)는 포토다이오드(PD)의 양자 우물 용량을 설정하기 위해 부분-온 상태에서 바이어싱될 수 있으며, 이것은 또한 포토다이오드(PD)에 저장된 잔류 전하의 양을 설정한다. 포토다이오드(PD)가 잔류 전하에 의해 포화된 후, 오버플로우 전하는 전달 스위치(M1)를 통해 전하 저장 디바이스(902)로 흐를 수 있다. 다른 양자화 동작에서, 전달 스위치(M1)는 잔류 전하를 포토다이오드(PD)로부터 측정을 위해 전하 저장 디바이스로 전달하기 위해 완전히 턴 온될 수 있다.
전하 저장 디바이스(902)는 구성 가능한 용량을 가지며 스위치(M1)로부터 전달된 전하를 OF 노드에서 전압으로 변환할 수 있다. 전하 저장 디바이스(902)는 M6 스위치에 의해 연결된 CFD 커패시터(예컨대, 플로팅 드레인) 및 CEXT 커패시터(예컨대, MOS 커패시터)를 포함한다. M6 스위치는 CFD 및 CEXT 커패시터들을 병렬로 연결함으로써 전하 저장 디바이스(902)의 용량을 확대하거나, 또는 서로로부터 커패시터들을 연결 해제함으로써 용량을 감소시키기 위해 LG 신호에 의해 가능화될 수 있다. 전하 저장 디바이스(902)의 용량은 전하-전압 이득을 증가시키며 양자화 에러를 감소시키도록 잔류 전하의 측정에 대해 감소될 수 있다. 게다가, 전하 저장 디바이스(902)의 용량은 또한 포화의 가능성을 감소시키고 비-선형성을 개선하도록 오버플로우 전하의 측정에 대해 증가될 수 있다. 이하에서 설명될 바와 같이, 전하 저장 디바이스(902)의 용량은 상이한 광 세기 범위들의 측정을 위해 조정될 수 있다. 전하 저장 디바이스(902)는 또한 상이한 양자화 동작들 사이에서 CFD 및 CEXT 커패시터들을 리셋하기 위해, 제어기(920)에 의해 제공된, 리셋 신호(RST)에 의해 제어될 수 있는 리셋 스위치(M2)와 결합된다.
스위칭 가능한 버퍼(904)는 그것의 구동 강도를 개선하기 위해 OF 노드에서 전압을 버퍼링하도록 소스 팔로워로서 구성된 스위치(M3)를 포함할 수 있다. 버퍼링된 전압은 ADC(616)의 입력 노드(PIXEL_OUT)에 있을 수 있다. M4 트랜지스터는 스위칭 가능한 버퍼(904)를 위한 전류 소스를 제공하며 VB 신호에 의해 바이어싱될 수 있다. 스위칭 가능한 버퍼(904)는 또한 SEL 신호에 의해 가능화되거나 또는 불능화되는 스위치(M5)를 포함한다. 스위치(M5)가 불능화될 때, 소스 팔로워(M3)는 PIXEL_OUT 노드로부터 연결 해제될 수 있다. 이하에서 설명될 바와 같이, 화소 셀(602a)은 각각이 스위칭 가능한 버퍼(904)를 포함하는 다수의 전하 감지 유닛들(614)을 포함할 수 있으며 전하 감지 유닛들 중 하나는 SEL 신호에 기초하여 한꺼번에 PIXEL_OUT(및 ADC(616))과 결합될 수 있다.
상기 설명된 바와 같이, 노출 기간 내에서 포토다이오드(PD)에 의해 생성된 전하는 전하 저장 디바이스(902)에 일시적으로 저장되며 전압으로 변환될 수 있다. 전압은 전하와 입사 광 세기 사이에서의 미리 결정된 관계에 기초하여 입사 광의 세기를 나타내기 위해 양자화될 수 있다. 참조가 이제, 상이한 광 세기 범위들에 대한 시간에 대하여 축적된 전하의 양을 예시하는, 도 10에 대하여 이루어진다. 특정한 시간 포인트에서 축적된 전하의 총 양은 노출 기간 내에서 도 6의 포토다이오드(PD)에 입사된 광의 세기를 반영할 수 있다. 양은 노출 기간이 종료할 때 측정될 수 있다. 임계값(1002) 및 임계값(1004)는 입사 광의 세기에 대해 낮은 광 세기 범위(1006), 중간 광 세기 범위(1008), 및 높은 광 세기 범위(1010)를 정의하는 전하의 임계값의 양에 대해 정의될 수 있다. 예를 들어, 총 누적된 전하기 임계값(1002)(예컨대, Q1) 미만이면, 입사 광 세기는 낮은 광 세기 범위(1006) 내에 있다. 총 누적된 전하가 임계값(1004) 내지 임계값(1002) 사이(예컨대, Q2)에 있다면, 입사 광 세기는 중간 광 세기 범위(1008) 내에 있다. 총 누적된 전하가 임계값(1004)를 초과하면, 입사 광 세기는 중간 광 세기 범위(1010) 내에 있다. 낮은 및 중간 광 세기 범위들에 대한, 누적된 전하의 양은, 포토다이오드가 전체 낮은 광 세기 범위(1006) 내에서 포화되지 않으며 측정 커패시터가 전체 중간 광 세기 범위(1008) 내에서 포화되지 않는다면, 임사 광의 세기와 관련 있을 수 있다.
낮은 광 세기 범위(1006) 및 중간 광 세기 범위(1008), 뿐만 아니라 임계값들(1002 및 1004)의 정의들은 포토다이오드(PD)의 최대 우물 용량 및 전하 저장 디바이스(902)의 용량에 기초할 수 있다. 예를 들어, 낮은 광 세기 범위(706)는 포토다이오드(PD)에 저장된 잔류 전하의 총 양이, 노출 기간의 끝에서, 포토다이오드의 저장 용량 이하이도록 정의될 수 있으며, 임계값(1002)는 포토다이오드(PD)의 최대 우물 용량에 기초할 수 있다. 게다가, 중간 광 세기 범위(1008)는 전하 저장 디바이스(902)에 저장된 전하의 총 양이, 노출 기간의 끝에서, 측정 커패시터의 저장 용량 이하이도록 정의될 수 있으며, 임계값(1004)는 전하 저장 디바이스(902)의 저장 용량에 기초할 수 있다. 통상적으로 임계값(1004)는 전하 저장 디바이스(902)에 저장된 전하의 양이 세기 결정을 위해 측정될 때, 측정 커패시터가 포화되지 않음을 보장하기 위해 전하 저장 디바이스(902)의 스케일링된 저장 용량에 기초할 수 있으며 측정된 양은 또한 입사 광 세기와 관련된다. 이하에서 설명될 바와 같이, 임계값들(1002 및 1004)은 포토다이오드(PD) 및 전하 저장 디바이스(902)가 포화되는지를 검출하기 위해 사용될 수 있으며, 이것은 입사 광의 세기 범위를 결정할 수 있다.
또한, 입사 광 세기가 높은 광 세기 범위(1010) 내에 있는 경우에, 전하 저장 디바이스(902)에 축적된 총 오버플로우 전하는 노출 기간이 끝나기 전에 임계값(1004)를 초과할 수 있다. 부가적인 전하가 축적됨에 따라, 전하 저장 디바이스(902)는 노출 기간의 종료 전에 전체 용량에 이를 수 있으며, 전하 누설이 발생할 수 있다. 전하 저장 디바이스(902)가 전체 용량에 이르는 것으로 인해 야기된 측정 에러를 피하기 위해, 포화 시간 측정이, 전하 저장 디바이스(902)에 축적된 총 오버플로우 전하가 임계값(1004)에 이르는데 걸리는 시간 지속 기간을 측정하기 위해 수행될 수 있다. 전하 저장 디바이스(902)에서의 전하 축적의 레이트는 임계값(1004) 및 포화 시간 사이에서의 비에 기초하여 결정될 수 있으며, 노출 기간의 종료 시 전하 저장 디바이스(902)에서 축적될 수 있는 전하의 가상적 양(Q3)(커패시터가 제한이 없는 용량을 갖는다면)은 전하 축적의 레이트에 따라 외삽법에 의해 결정될 수 있다. 전하의 가상적 양(Q3)은 높은 광 세기 범위(1010) 내에서 입사 광 세기의 적정하게 정확한 표현을 제공할 수 있다.
다시 도 9를 참조하면, 높은 광 세기 범위(1010) 및 중간 광 세기 범위(1008)를 측정하기 위해, 전달 스위치(M1)는 부분 턴-온 상태에서 TG 신호에 의해 바이어싱될 수 있다. 예를 들어, 전달 스위치(M1)의 게이트 전압(TG)은 포토다이오드의 최대 우물 용량에 대응하는 포토다이오드(PD)에서 발생된 타겟 전압에 기초하여 설정될 수 있다. 이러한 배열들을 갖고, 단지 오버플로우 전하(예컨대, 포토다이오드가 포화된 후 포토다이오드에 의해 생성된 전하)는 포화 시간(높은 광 세기 범위(1010)에 대한) 및/또는 전하 저장 디바이스(902)에 저장된 전하의 양(중간 광 세기 범위(1008)에 대한)을 측정하기 위해, 전하 저장 디바이스(902)에 이르도록 전달 스위치(M1)를 통해 전달할 것이다. 중간 및 높은 광 세기 범위들의 측정을 위해, 전하 저장 디바이스(902)의 정전용량(CEXT 및 CFD를 연결함으로써)은 또한 임계값(1004)를 증가시키기 위해 최대화될 수 있다.
게다가, 낮은 광 세기 범위(1006)를 측정하기 위해, 전달 스위치(M1)는 포토다이오드(PD)에 저장된 잔류 전하를 전하 저장 디바이스(902)로 전달하기 위해 완전 턴-온 상태에서 제어될 수 있다. 전달은 전하 저장 디바이스(902)에 저장된 오버플로우 전하의 양자화 동작이 완료된 후 및 전하 저장 디바이스(902)가 리셋된 후 발생할 수 있다. 게다가, 전하 저장 디바이스(902)의 정전용량은 감소될 수 있다. 상기 설명된 바와 같이, 전하 저장 디바이스(902)의 정전용량에서의 감소는 전하 저장 디바이스(902)에서 전하-전압 변환 비를 증가시킬 수 있으며, 따라서 더 높은 전압이 저장된 전하의 특정한 양에 대해 발생될 수 있다. 더 높은 전하-전압 변환 비는 낮은 광 세기 결정의 정확도에 대한 뒤이은 양자화 동작에 의해 도입된 측정 에러들(예컨대, 양자화 에러, 비교기 오프셋 등)의 효과를 감소시킬 수 있다. 측정 에러는 양자화 동작에 의해 검출되고 및/또는 구별될 수 있는 최소 전압 차에 대한 한계를 설정할 수 있다. 전하-전압 변환 비를 증가시킴으로써 최소 전압 차에 대응하는 전하의 양은 감소될 수 있으며, 이것은 결과적으로 화소 셀(602a)에 의한 측정 가능한 광 세기의 하한을 감소시키며 동적 범위를 확장한다.
전하 저장 디바이스(902)에 축적된 전하(잔류 전하 및/또는 오버플로우 전하)는 OF 노드에서 아날로그 전압을 발생시킬 수 있으며, 이것은 PIXEL_OUT에서 스위칭 가능한 버퍼(904)에 의해 버퍼링되고 ADC(616)에 의해 양자화될 수 있다. 도 9에 도시된 바와 같이, ADC(616)는 스위치(M8)에 의해 리셋될 수 있는 비교기(906), 및 출력 논리 회로들(908)을 포함한다. ADC(616)는 또한 메모리(912) 및 카운터(914)와 결합된다. 카운터(914)는 무동조(free-running) 클록 신호에 기초하여 카운트 값들의 세트를 생성할 수 있는 반면, 메모리(912)는 카운터(914)에 의해 생성된 카운트 값(예컨대, 최근 카운트 값)을 저장하기 위해, 출력 논리 회로들(908)을 통해, 비교기(906)에 의해 제어될 수 있다. 메모리(912)는 예를 들어, 이하에서 설명되는 바와 같이 국소 화소 값에 기초하여 카운터 값을 저장하기 위한 래치 회로일 수 있다. 저장된 카운트 값은 화소 출력 버스들(816)을 통해 출력될 수 있다.
비교기(906)는 CC 커패시터에 의해 PIXEL_OUT으로부터 도출되는, 아날로그 전압(COMP_IN)을 임계값(VREF)에 비교하며, 비교 결과에 기초하여 판단(VOUT)을 생성할 수 있다. CC 커패시터는 PIXEL_OUT 전압에서 리셋 잡음 구성요소를 소거하기 위해, COMP_IN 전압을 생성하도록 PIXEL_OUT 전압에 부가될 수 있는, 리셋 잡음 및 비교기 오프셋 정보를 VCC 전압에 저장하기 위해 잡음/오프셋 보상 기법에서 사용될 수 있다. 오프셋 구성요소는 COMP_IN 전압에 남아있으며 판단(VOUT)을 생성하기 위해 비교기(906)가 COMP_IN 전압을 임계값(VREF)에 비교할 때 비교기(906)의 오프셋에 의해 소거될 수 있다. 비교기(906)는 COMP_IN 전압이 VREF와 같거나 또는 이를 초과하는 경우 VOUT에 대해 논리 1을 생성할 수 있다. 비교기(906)는 또한 COMP_IN 전압이 VREF 아래로 떨어진다면 VOUT에 대해 논리 0을 생성할 수 있다. VOUT은 카운터(914)로부터 카운트 값을 저장하도록 메모리(912)를 제어하는 래치 신호를 제어할 수 있다.
도 11a는 ADC(616)에 의한 포화 시간 측정의 예를 예시한다. 포화 시간 측정을 수행하기 위해, 임계값 발생기(화소 셀(602a)의 외부에 있을 수 있다)는 고정 VREF를 생성할 수 있다. 고정 VREF는 전하 저장 디바이스(902)의 포화를 위한 전하 양 임계값(예컨대, 도 10의 임계값(1004))에 대응하는 전압에서 설정될 수 있다. 카운터(914)는 노출 기간이 시작된 직후(예컨대, 셔터 스위치(M0)가 불능화된 직후) 카운팅을 시작할 수 있다. COMP_IN 전압이 전하 저장 디바이스(902)에서 오버플로우 전하의 축적으로 인해 낮아짐에 따라(또는 구현에 의존하여 증가함에 따라), 클록 신호는 카운터(914)에서 카운트 값을 업데이트하기 위해 계속해서 토글링한다. COMP_IN 전압은 특정한 시간 포인트에서 고정 VREF 임계값에 이를 수 있으며, 이것은 VOUT이 로우에서 하이로 플리핑하게 한다. VOUT의 변화는 카운터(914)의 카운팅을 정지할 수 있으며, 카운터(914)에서의 카운트 값은 포화 시간을 나타낼 수 있다.
도 11b는 전하 저장 디바이스(902)에 저장된 전하의 양의 측정의 예를 예시한다. 측정이 시작된 후, 임계값 발생기는 구현에 의존하여 증가하거나(도 11b의 예에서) 또는 낮아질 수 있는, 램핑 VREF를 생성할 수 있다. 램핑 레이트는 카운터(914)로 공급된 클록 신호의 주파수에 기초할 수 있다. 오버플로우 전하가 측정되는 경우에, 램핑 VREF의 전압 범위는 임계값(1004)(전하 저장 디바이스(902)의 포화를 위한 전하 양 임계값)와 임계값(1002)(포토다이오드(PD)의 포화를 위한 전하 양 임계값) 사이에 있을 수 있으며, 이것은 중간 광 세기 범위를 정의할 수 있다. 잔류 전하가 측정되는 경우에, 램핑 VREF의 전압 범위는 임계값(1002)에 기초하며 잔류 전하 측정을 위해 전하 저장 디바이스(902)의 감소된 용량만큼 스케일링될 수 있다. 도 11b의 예에서, 양자화 프로세스는 균일한 양자화 스텝들을 갖고 수행될 수 있으며, VREF는 각각의 클록 사이클에 대해 동일한 양만큼 증가한다(또는 감소한다). VREF의 증가(또는 감소)의 양은 양자화 스텝에 대응한다. VREF가 COMP_IN 전압의 하나의 양자화 스텝 내에 도달할 때, 비교기(906)의 VOUT은 플리핑하며, 이것은 카운터(914)의 카운팅을 정명령킬 수 있으며, 카운트 값은 하나의 양자화 스텝 내에서, COMP_IN 전압에 매칭시키기 위해 축적된 양자화 스텝들의 총 수에 대응할 수 있다. 카운트 값은 전하 저장 디바이스(902)에 저장된 전하의 양의 디지털 표현, 뿐만 아니라 입사 광 세기의 디지털 표현이 될 수 있다.
상기 논의된 바와 같이, ADC(616)는 ADC(616)에 의해 출력된 양자화 레벨에 의해 표현된(예컨대, 양자화 스텝들의 총 수에 의해 표현된) 전하의 양과 ADC(808)에 의해 수량 레벨에 매핑되는 전하의 실제 입력 양 사이에서 불일치가 있을 때 양자화 에러들을 도입할 수 있다. 양자화 에러는 더 작은 양자화 스텝 크기를 사용함으로써 감소될 수 있다. 도 11b의 예에서, 양자화 에러는 클록 사이클당 VREF에서의 증가(또는 감소)의 양만큼 감소될 수 있다.
양자화 에러가 더 작은 양자화 스텝 크기들을 사용함으로써 감소될 수 있지만, 면적 및 성능 속도는 양자화 스텝이 얼마만큼 감소될 수 있는지를 제한할 수 있다. 더 작은 양자화 스텝 크기를 갖고, 특정한 범위의 전하 양들(및 광 세기)을 나타내기 위해 요구된 양자화 스텝들의 총 수는 증가할 수 있다. 더 많은 수의 데이터 비트들이 증가된 수의 양자화 스텝들을 나타내기 위해 요구될 수 있다(예컨대, 255 스텝들을 나타내기 위해 8비트들, 127 스텝들을 나타내기 위해 7비트들 등). 더 많은 수의 데이터 비트들이 화소 출력 버스들(816)에 부가될 부가적인 버스들을 요구할 수 있으며, 이것은 화소 셀(601)이 매우 제한된 공간들을 가진 헤드-장착 디바이스 또는 다른 착용 가능한 디바이스들 상에서 사용된다면 실현 가능하지 않을 수 있다. 게다가, 더 많은 수의 양자화 스텝 크기를 갖고, ADC(808)는 매칭되는(하나의 양자화 스텝을 가진) 수량 레벨을 찾기 전에 더 많은 수의 양자화 스텝들을 통해 사이클링할 필요가 있을 수 있으며, 이것은 증가된 프로세싱 전력 소비와 시간, 및 이미지 데이터를 생성하는 감소된 레이트를 야기한다. 감소된 레이트는 높은 프레임 레이트를 요구하는 몇몇 애플리케이션들(예컨대, 안구의 움직임을 추적하는 애플리케이션)에 대해 수용 가능하지 않을 수 있다.
양자화 에러를 감소시키기 위한 하나의 방식은 비-균일 양자화 기법을 이용하는 것에 의한 것이며, 여기에서 양자화 스텝들은 입력 범위에 걸쳐 균일하지 않다. 도 11c는 비-균일 양자화 프로세스 및 균일 양자화 프로세스에 대해 ADC 코드들(양자화 프로세스의 출력)과 입력 전하량 레벨 사이에서의 매핑의 예를 예시한다. 점선은 비-균일 양자화 프로세스에 대한 매핑을 예시하는 반면, 실선은 균일 양자화 프로세스에 대한 매핑을 예시한다. 균일 양자화 프로세스에 대해, 양자화 스텝 크기(△1로 표시됨)는 입력 전하량의 전체 범위에 대해 동일하다. 반대로, 비-균일 양자화 프로세스에 대해, 양자화 스텝 크기들은 입력 전하량에 의존하여 상이하다. 예를 들어, 낮은 입력 전하량에 대한 양자화 스텝 크기(△S로 표시됨)는 큰 입력 전하량에 대한 양자화 스텝 크기(△L로 표시됨)보다 작다. 게다가, 동일한 낮은 입력 전하량에 대해, 비-균일 양자화 프로세스에 대한 양자화 스텝 크기(△S)는 균일 양자화 프로세스에 대한 양자화 스텝 크기(△1)보다 작아질 수 있다.
비-균일 양자화 기법을 이용하는 하나의 이점은 낮은 입력 전하량들을 양자화하기 위한 양자화 스텝들이 감소될 수 있으며, 이것은 결과적으로 낮은 입력 전하량들을 양자화하기 위한 양자화 에러들을 감소시키고, ADC(616)에 의해 구별될 수 있는 최소 입력 전하량들이 감소될 수 있다는 것이다. 그러므로, 감소된 양자화 에러들은 이미지 센서의 측정 가능한 광 세기의 하한을 밀어 내릴 수 있으며, 동적 범위는 증가될 수 있다. 게다가, 양자화 에러들은 높은 입력 전하량들에 대해 증가되지만, 양자화 에러들은 높은 입력 전하량들과 비교하여 작은 채로 있을 수 있다. 그러므로, 전하의 측정에 도입된 전체 양자화 에러들은 감소될 수 있다. 다른 한편으로, 입력 전하량들의 전체 범위를 커버하는 양자화 스텝들의 총 수는 동일한 채로 있을 수 있으며(또는 심지어 감소될 수 있으며), 양자화 스텝들의 수를 증가시키는 것과 연관된 앞서 언급한 잠재적인 문제들(예컨대, 면적에서의 증가, 프로세싱 속도에서의 감소 등)이 회피될 수 있다.
도 11d는 비-균일 양자화 프로세스를 사용하여 화소 ADC(808)에 의해 아날로그 전압을 양자화하는 예를 예시한다. 도 11b(균일 양자화 프로세스를 이용하는)와 비교하여, VREF는, 처음에 더 얕은 기울기 및 나중에 더 가파른 기울기를 갖는, 각각의 클록 사이클을 갖고 비-선형 방식으로 증가한다. 더 낮은 카운터 카운트 값들(더 낮은 입력 수량 범위에 대응하는)에 대해, 양자화 스텝들은 더 작아지며, 그러므로 VREF는 더 낮은 레이트로 증가한다. 더 높은 카운터 카운트 값들(더 높은 입력 수량 범위에 대응하는)에 대해, 양자화 스텝들은 더 커지며, 그러므로 VREF는 더 높은 레이트로 증가한다. 비-균일 VREF 기울기는, 예를 들어, 카운터(814)의 카운팅의 빈도를 변경하는 것, VREF 전압과 카운터(914)의 카운트 값들 간의 관계를 변경하는 것 등에 기초하여 생성될 수 있다. 몇몇 예들에서, 도 11d의 비-균일 양자화 프로세스는 낮은 광 세기 범위(1006) 및 중간 광 세기 범위(1008)에 대한 광 세기 결정을 위해 이용될 수 있다.
다시 도 9를 참조하면, 제어기(920)는 선택(922)에 기초하여, TTS 양자화 동작, 오버플로우 전하의 양을 측정하기 위한 양자화 동작(여기에서, 이후, "FD ADC" 동작), 및 잔류 전하의 양을 측정하기 위한 양자화 동작(이후 "PD ADC" 동작)을 수행할 수 있다. 제어기(920)는 또한 양자화 동작들 중 하나 이상을 건너뛸 수 있다. 출력 논리 회로들(908)은 메모리(912)에 카운트 값을 저장하기 위해 양자화 동작들 중 어떤 것을 결정할 수 있다. 구체적으로, 출력 논리 회로들(908)은 FLAG_1 및 FLAG_2 신호들로서 양자화 동작들의 판단 출력들을 저장하기 위해 레지스터들(932 및 934)의 세트를 포함한다. FLAG_1 및 FLAG_2 신호들에 기초하여, 제어기(920)는 입사 광 세기를 나타내기 위해 3개의 단계들 중 하나에서 카운트 값 출력을 선택할 수 있다. 선택된 카운트 값은 메모리(912)에 저장될 수 있으며, 메모리(912)는 뒤이은 측정 단계들이 메모리(912)에서 선택된 ADC 코드 출력을 덮어 쓰는 것을 방지하기 위해 NOR 게이트(936)에 의해 FLAG_1 및 FLAG_2 신호들의 조합에 기초하여 잠금될 수 있다. 3-단계 측정 프로세스의 끝에서, 제어기(920)는 메모리(912)에 저장된 카운트 값을 검색하며 입사 광 세기를 나타내는 디지털 출력으로서 카운트 값을 제공할 수 있다.
참조가 이제 제어기(920)에 의해 생성된 화소 셀(602a)의 제어 신호들의 예시적인 시퀀스를 예시하는 도 12에 대해 이루어진다. 도 12는 시간에 대하여 AB, RST, COMP_RST, TG, LG, 및 VREF의 변화를 예시한다. 도 12를 참조하면, 시간들 T0 내지 T1 사이에서의 기간은 제 1 리셋 단계에 대응할 수 있으며, 여기에서 전하 저장 디바이스(902) 및 비교기(906)는 RST 및 COMP_RST 신호들을 어서팅함으로써 제어기(920)에 의해 리셋 상태에 넣어질 수 있지만, 셔터 신호 AB는 포토다이오드(PD)에 의해 생성된 전하가 전하 저장 디바이스(902)에 이르는 것을 방지하기 위해 어서팅될 수 있다. RST 및 LG 신호들 양쪽 모두는 리셋 레벨에서 PIXEL_OUT을 설정하도록 CFD 및 CEXT 커패시터들을 리셋하기 위해 어서팅된다. COMP_RST 신호가 어서팅되고 비교기(906)의 양의 단자가 Vref _high에 연결되면, COMP_IN은 Vref _high 와 비교기 오프셋(Vcomp _offset)의 합으로 설정될 수 있다. 게다가, 어서팅된 RST 신호를 갖고, PIXEL_OUT은 리셋 전압(Vpixel _out_ rst)으로 설정될 수 있으며 리셋 잡음(VσKTC)을 포함할 수 있다. 제 1 샘플링 동작은 다음과 같이, 리셋 레벨에서 비교기 오프셋, 리셋 잡음, 및 PIXEL_OUT 전압의 구성요소들을 포함한 VCC 전압을 저장하기 위해 CC 캡에 의해 수행될 수 있다:
VCC(T1) = (Vref _high + Vcomp _offset) - (Vpixel_out_rst + VσKTC)
(식 1)
시간 T1에서, RST 신호, AB 신호, 및 COMP_RST 신호는 해제되며, 이것은 포토다이오드(PD)가 축적되고 전하를 전달하는, 노출 기간(Texposure로 라벨링됨)을 시작한다. 노출 기간(Texposure)은 시간 T2에서 종료될 수 있다. 시간들 T1 내지 T3 사이에서, TG 신호는 포토다이오드(PD)가 포화되기 전에 PD가 잔류 전하를 축적하도록 허용하기 위해 부분 턴-온 상태에서 전달 스위치(M1)를 설정할 수 있다. 광 세기가 도 7의 중간 또는 높은 세기 범위들에 있다면, 포토다이오드(PD)는 포화되며 전달 스위치(M1)를 통해 오버플로우 전하를 전달할 수 있다. LG 신호는 저 이득 모드에서 동작하기 위해 어서팅된 채로 있을 수 있으며, 여기에서 CFD 커패시터 및 CEXT 커패시터 양쪽 모두는 오버플로우 전하를 저장하도록 전하 저장 디바이스(902)를 형성하기 위해 병렬로 연결된다. 오버플로우 전하는 새로운 PIXEL_OUT 전압(Vpixel_out_sig1)을 발생시킨다. CC 커패시터는 리셋 잡음 및 비교기 오프셋 구성요소를 포함하는, VCC 전압을 부가함으로써 새로운 PIXEL_OUT 전압(Vpixel _out_ sig1)을 COMP_IN 전압에 AC 결합할 수 있다. 새로운 PIXEL_OUT 전압은 또한 리셋 잡음을 포함하며, 이것은 VCC 전압의 리셋 잡음 구성요소에 의해 소거될 수 있다. 시간들 T1 내지 T3 사이에서의 시간(TX)에서의 COMP_IN 전압은 다음과 같을 수 있다:
Vcomp _in(TX) = Vpixel _out_ sig1 - Vpixel _out_ rst + Vref _high + Vcomp _offset
(식 2)
식 2에서, Vpixel _out_ sig1 - Vpixel _out_ rst 간의 차이는 전하 저장 디바이스(902)에 저장된 오버플로우 전하의 양을 나타낸다. COMP_IN 전압에서의 비교기 오프셋은 또한 비교를 수행할 때 비교기(906)에 의해 도입된 비교기 오프셋을 소거할 수 있다.
시간들 T1 내지 T3 사이에서, 높은 광 세기 범위(1010)에 대한 포화 시간(TTS) 측정 단계 및 중간 광 세기(1008)에 대한 오버플로우 전하의 측정을 위한 FD ADC 단계를 포함한, COMP_IN 전압의 측정의 2개의 단계들이 수행될 수 있다. 시간들 T1 내지 T2(Texposure) 사이에서, TTS 측정은 비교기(906)에 의해 전하 저장 디바이스(902)의 포화 레벨을 나타내는 정적 Vref _low와 COMP_IN 전압을 비교함으로써 수행될 수 있다. PIXEL_OUT 전압이 정적 VREF에 이를 때, 비교기(906)의 출력(VOUT)은 이동할 수 있으며, VOUT이 이동하는 시간에 카운터(914)로부터의 카운트 값은 메모리(912)에 저장될 수 있다. 시간(T2)에서, 제어기(920)는 TTS 단계의 종료 시 비교기(906)의 VOUT의 상태를 결정할 수 있으며, VOUT이 어서팅된다면 FLAG_1 신호를 어서팅할 수 있다. FLAG_1 신호의 어서션은 전하 저장 디바이스(902)가 포화됨을 나타낼 수 있으며, 뒤이은 측정 단계들(FD ADC 및 PD ADC)이 메모리(912)에 저장된 카운트 값을 덮어 쓰는 것을 방지할 수 있다. TTS로부터의 카운트 값은 그 후 통합 기간 동안 포토다이오드(PD)에 의해 수신된 광의 세기를 나타내기 위해 제공될 수 있다.
시간들 T2 내지 T3 사이에서(TFDADC로 라벨링됨), FD ADC 동작은 도 9b에서 설명된 바와 같이, Vref _low에서, 포토다이오드(PD)의 포화 레벨(예컨대, 임계값 1002)을 나타내는 Vref _high로 램핑하는 램핑 VREF 전압과 COMP_IN 전압을 비교함으로써 수행될 수 있다. 비교기(906)의 VOUT이 FD ADC 동작 동안 이동하면, FLAG_1이 전하 저장 디바이스(902)가 포화되지 않음을 나타내는 로우인 경우, VOUT이 이동하는 시간에 카운터(914)의 카운트 값은 메모리(912)에 저장될 수 있다. 노출 기간이 시간(T2)에서 종료하지만, 시간들 T2 내지 T3 사이에서, 포토다이오드(PD)는 잔류 전하를 축적하거나(포화되지 않은 경우) 또는 오버플로우 전하를 전하 저장 디바이스(902)로 전달하는 것이 가능한 채로 있다.
시간들 T3 내지 T4 사이에(TPDADC -transfer로 라벨링됨) 제 2 리셋 단계가 있을 수 있으며, 여기에서 RST 및 COMP_RST 신호들 모두는 뒤이은 PD ADC 동작을 준비하도록 전하 저장 디바이스(902)(CFD 커패시터 및 CEXT 커패시터의 병렬 조합을 포함한) 및 비교기(906)를 리셋하기 위해 어서팅된다. VCC 전압은 식 1에 따라 설정될 수 있다.
RST 및 COMP_RST가 해제된 후, LG는 PD ADC 동작 동안 전하-전압 변환 레이트를 증가시키도록 CFD로부터 CEXT를 연결 해제하기 위해 턴 오프된다. TG는 포토다이오드(PD)에 저장된 잔류 전하를 CFD로 전달하도록 M1 전달 스위치를 완전히 턴 온하기 위한 레벨에서 설정된다. 잔류 전하는 새로운 PIXEL_OUT 전압(Vpixel _out_ sig2)을 발생시킨다. CC 커패시터는 VCC 전압을 부가함으로써 새로운 PIXEL_OUT 전압(Vpixel_out_sig2)을 COMP_IN 전압에 AC 결합할 수 있다. 시간들 T3 내지 T4 사이에서, 포토다이오드(PD)는 시간들 T1 내지 T3 사이에서 생성된 전하 외에 부가적인 전하를 생성하며, 부가적인 전하를 전하 저장 디바이스(902)로 전달하는 것이 가능한 채로 있다. Vpixel _out_ sig2는 또한 시간들 T3 내지 T4 사이에서 전달된 부가적인 전하를 나타낸다. 시간(T4)에서, COMP_IN 전압은 다음과 같을 수 있다.
식 3에서, Vpixel _out_ sig2 - Vpixel _out_ rst 간의 차이는 시간들 T3 내지 T4 사이에서 포토다이오드에 의해 전하 저장 디바이스(902)로 전달된 전하의 양을 나타낸다. COMP_IN 전압에서의 비교기 오프셋은 또한 비교를 수행할 때 비교기(906)에 의해 도입된 비교기 오프셋을 소거할 수 있다.
시간 T4에서, AB 신호는 포토다이오드(PD)가 부가적인 전하를 축적하고 전달하는 것을 방지하기 위해 어서팅된다. 게다가, VREF는 정적 레벨(Vref _low_margin)로 설정될 수 있다. 비교기(906)는 포토다이오드(PD)가 포화되는지를 결정하기 위해 Vref_low_margin과 COMP_IN 전압을 비교할 수 있다. Vref _low_margin은, 잔류 전하의 양이 포화 레벨에 가깝지만 이를 초과하지 않을 때 비교기(906)의 거짓 트리핑을 방지하기 위해, 포토다이오드(PD)의 포화 레벨(예컨대, 임계값 1002)을 나타내는 Vref _low보다 약간 높다. 제어기(920)는 비교기(906)의 VOUT의 상태를 결정할 수 있으며 포토다이오드(PD)가 포화됨을 나타내기 위해 VOUT이 어서팅된다면 FLAG_2를 어서팅할 수 있다. FLAG_2가 어서팅된다면, 메모리(912)는 메모리(912)에 저장된 카운트 값(FD ADC로부터)을 보존하기 위해 잠금될 수 있으며 메모리(912)가 뒤이은 PD ADC 동작에 의해 덮어 쓰여지는 것을 방지한다.
시간들 T4 내지 T5 사이에서, 제어기(920)는 Vref _low_margin에서 Vref _high로 시작하는 VREF 램프와 COMP_IN 전압을 비교함으로써 PD ADC 동작을 수행할 수 있다. PD ADC 단계에서, Vref _high는 포토다이오드(PD)에 저장된 잔류 전하의 최소 거물 가능한 양을 나타낼 수 있는 반면, Vref _low_margin은 상기 설명된 바와 같이, 암 전류를 감안하기 위해 마진을 가진 포토다이오드(PD)의 포화 임계값을 나타낼 수 있다. FLAG_1도 FLAG_2도 PD ADC 전에 어서팅되지 않는다면, PD ADC 동안 비교기(906)가 이동할 때 획득된 카운트 값은 메모리(912)로 저장될 수 있으며, PD ADC로부터의 카운트 값은 광의 세기를 나타내기 위해 제공될 수 있다.
도 12는 TTS, FD ADC 및 PD ADC 동작들이 수행됨을 보여주지만, ADC(616)(및 화소 셀(602a))는 이들 동작들 모두를 수행할 필요가 없으며, 선택(922)에 기초하여 그것들 중 일부를 건너뛸 수 있다는 것이 이해된다. 이하에서 설명될 바와 같이, 양자화 동작들은 화소 셀(602a) 내에서 상이한 포토다이오드들에 대해 달라질 수 있다.
참조가 이제, 다수의 포토다이오드들을 포함한 화소 셀(602a)의 예를 예시하는, 도 13a에 대해 이루어진다. 도 13a에 도시된 바와 같이, 화소 셀(602a)은 PD0, PD1, PDn 등을 포함한 복수의 포토다이오드들을 포함한다. PD0, PD1, 및 PDn은 단일 전하 감지 유닛(614) 및 단일 ADC(616)를 공유할 수 있다. 포토다이오드들(PD0, PD1, PDn)은, 포토다이오드들(612a, 612b, 및 612c)에 대응할 수 있다. 각각의 포토다이오드는 각각의 셔터 스위치 및 각각의 전달 스위치와 결합된다. 예를 들어, 포토다이오드(PD0)는 셔터 스위치(M0a) 및 전달 스위치(M1a)와 결합되고, 포토다이오드(PD1)는 셔터 스위치(M0b) 및 전달 스위치(M1b)와 결합되는 반면, 포토다이오드(PDn)는 셔터 스위치(M0n) 및 전달 스위치(M1n)와 결합된다. 각각의 전달 스위치는 전하 저장 디바이스(902)의 OF 노드와 결합된다. 제어기(920)는 개별적으로 각각의 포토다이오드가 잔류 전하를 생성/축적할 수 있게 하며 오버플로우 전하를 전하 감지 유닛(614)으로 전달할 수 있게 하기 위해 제어 신호들(AB0, AB1, 및 ABn)(셔터 스위치들(M0a, M0b, 및 M0n에 대해)의 타이밍 및 제어 신호들(TG0, TG1, 및 TGn)(전달 스위치들(M1a, M1b, M1n에 대한)의 타이밍을 제어할 수 있다. 또한, 선택(922)에 기초하여, 제어기(920)는 또한 각각의 포토다이오드에 대한 양자화 동작들을 수행할 수 있다.
도 13b는 도 13a의 화소 셀(602a)의 예시적인 동작들을 예시한다. 동작(1302)에서, 제어기(920)는 각각의 포토다이오드가 제 1 전압을 생성하기 위해 오버플로우 전하를 단일 전하 감지 유닛으로 전달하기 위한 차례를 취할 수 있게 하도록 셔터 스위치들(M0a 내지 M0n) 및 전달 스위치들(M1a 내지 M1n)을 제어할 수 있으며, 이것은 그 후 선택(922)에 기초하여 TTS 동작 및/또는 FD ADC 동작에서 ADC(616)에 의해 양자화될 수 있다. 예를 들어, 동작(1302)에서, 제어기(920)는 포토다이오드들(PD0, PD1, 및 PDn)에 대한 노출 시간을 시작하기 위해 셔터 스위치들(M0a, M0b, 및 M0n)에 대한 제어 신호들(AB0, AB1, 및 ABn)을 디-어서팅할 수 있으며, 따라서 각각의 포토다이오드는 입사 광의 구성요소에 응답하여 전하를 생성하고 축적할 수 있다. 시간들 T0 내지 T2 사이에서, 제어기(920)는 최대 용량으로 전하 저장 디바이스(902)를 구성하며, 포토다이오드(PD0)가 부분-온 상태에서 전달 스위치(M1a)를 바이어싱함으로써 오버플로우 전하를 전하 감지 유닛(614)으로 전달할 수 있게 하지만, M1b 및 M1n과 같은 다른 전달 스위치들은, 다른 포토다이오드들이 오버플로우 전하를 전하 감지 유닛(614)으로 전달하는 것을 방지할 수 없게 한다. 선택(922)에 기초하여, 제어기(920)는 시간들 T0 내지 T1 사이에서 TTS 동작을, 이어서 시간 T1 내지 T2 사이에서 FD ADC 동작을 수행하도록 ADC(616)를 제어할 수 있다. PD0에 대한 TTS 동작 또는 FD ADC 동작의 출력을 나타내는 디지털 값은 전하 저장 디바이스(902)(최대 용량으로 구성된)가 포화되는지에 기초하여 메모리(912)에 저장될 수 있다. 제어기(920)는 시간들 T2 내지 T3 사이에서 전하 저장 디바이스(902)를 리셋하며, 시간들 T3 내지 T5 사이에서 PD1, 이어서 다른 포토다이오드들에 대한 앞서 언급한 동작들을 반복할 수 있다.
ADC(616)가 각각의 포토다이오드로부터의 오버플로우 전하의 양자화 동작들을 완료한 후, 제어기(920)는 각각의 포토다이오드가 PD ADC 동작에 앞서 잔류 전하를 전하 감지 유닛(614)으로 전달하는 차례를 취할 수 있도록 허용할 수 있다. 예를 들어, 시간들 T7 내지 T8 사이에서, 제어기(920)는 최소 용량으로 전하 저장 디바이스(902)를 구성하며, 시간들 T8 내지 T9 사이에서 잔류 전하를 양자화하기 위해 PD ADC 동작에 앞서, PD0으로부터 전하 감지 유닛(614)으로 잔류 전하를 전달하기 위해 완전-온 상태에서 전달 스위치(M0a)를 바이어싱할 수 있다. 제어기(920)는 잔류 전하를 제거하기 위해 시간들 T9 내지 T10 사이에서 전하 저장 디바이스(902)를 리셋하며, 그 후 시간 T10 후 다른 포토다이오드들(예컨대, PD1, PDn)에 대한 이들 동작들을 반복할 수 있다.
동작(1302)의 구성들은 각각의 포토다이오드가 전하 감지 유닛으로의 동일한 액세스를 갖도록 허용하며 동일한 세트의 양자화 동작들이 각각의 포토다이오드의 출력들 상에서 수행될 수 있지만, 각각의 포토다이오드는 오버플로우 전하에 대한 상이한 통합 기간들을 가질 수 있으며, 이것은 전역적 셔터 동작을 저하시킬 수 있다. 예를 들어, 포토다이오드(PD0)에 대한 오버플로우 전하의 통합 기간은 시간들 T0 내지 T2 사이에 있는 반면, 포토다이오드(PD1)에 대한 오버플로우 전하의 통합 기간은 시간들 T3 내지 T5 사이에 있다. 상이한 통합 기간들은 이미지 센서가 고속으로 이동할 때 상이한 포토다이오드들이 상이한 스팟들로부터의 광을 캡처할 수 있으므로 모션 블러를 야기할 수 있으며, 이것은 이미지들을 왜곡시키고 전역적 셔터 동작을 저하시킬 수 있다.
동작(1304)에서, 다른 한편으로, 제어기(920)는 노출 기간 내에서 TTS 및 FD ADC 동작들을 수행하기 위해 단지 하나의 포토다이오드만이 오버플로우 전하를 전하 감지 유닛(614)으로 전달하는 것을 허용하도록 셔터 스위치들(M0a 내지 M0n) 및 전달 스위치들(M1a 내지 M1n)을 제어할 수 있다. 예를 들어, 제어기(920)는 포토다이오드(PD0)가 시간들 T0 내지 T2 사이에서 오버플로우 전하를 전달하도록 허용하기 위해 부분-온 상태에서 셔터 스위치(M0a)를 설정할 수 있으며, 여기에서 ADC(616)는 TTS 및 FD ADC 동작들을 수행할 수 있다. 제어기(920)는 시간들 T2 내지 T3 사이에서 전하 저장 디바이스(902)를 리셋할 수 있다. 시간 T3 후, 제어기(920)는 포토다이오드들 모두가 잔류 전하를 전하 저장 유닛으로 전달하기 위한 차례를 취하도록 허용하며 PD ADC 동작들을 수행하도록 전달 스위치들(M1a 내지 M1n)을 제어할 수 있다. 예를 들어, 시간들 T3 내지 T5 사이에서, 포토다이오드(PD0)는 PD ADC 동작에 앞서, 잔류 전하를 전달할 수 있다. 전하 저장 디바이스(902)가 시간들 T5 내지 T6 사이에서 리셋된 후, 다른 포토다이오드는 다른 PD ADC 동작에 앞서, 잔류 전하를 전달할 수 있다. 이러한 배열들은, 예를 들어, 특정한 구성요소의 세기가 다른 구성요소들과 비교하여 매우 높을 때(예컨대, 3D 감지를 위해 강한 적외선 조명을 가진 어두운 환경에서) 사용될 수 있다. 동일한 노출 기간이 강한 적외선 구성요소에 대해 또는 다른 훨씬 더 약한 가시 광 구성요소들에 대해 전하를 축적하기 위해 각각의 포토다이오드에 대해 제공될 수 있다. TTS 및 FD ADC 동작들은 강한 적외선 구성요소를 검출하는 포토다이오드(예컨대, 포토다이오드 PD0)의 출력에 대해 수행될 수 있지만, PD ADC 동작들은 다른 포토다이오드들의 출력들에 대해 수행될 수 있으며, 이것은 낮은 세기(가시 광에 대한) 및 높은 세기(적외선 광에 대한) 측정 동작들 모두의 동적 범위를 개선할 수 있다.
몇몇 예들에서, 제어기(920)는 또한 몇몇 또는 모든 포토다이오드들이 오버플로우 전하 또는 잔류 전하를 전하 감지 유닛으로 동시에 전달하도록 허용할 수 있다. 이러한 구성들은 비닝(binning) 동작의 부분일 수 있으며, 여기에서 입사 광의 동일한 구성요소를 검출하도록 구성된 포토다이오드들(예컨대, 도 8d의 포토다이오드들(612a 및 612b), 양쪽 모두는 단색 광을 검출한다)의 전달 스위치들은 오버플로우 전하 또는 잔류 전하를 전하 감지 유닛(614)으로 동시에 전달하기 위해 부분적으로 또는 완전히 턴 온될 수 있다. 이러한 구성들은 순차적인 양자화 동작들의 수를 감소시킬 수 있으며 프로세싱의 속도를 높일 수 있다. 몇몇 예들에서, 제어기(920)는 또한 광의 상이한 구성요소들을 검출하는 포토다이오드들이 오버플로우 전하를 동시에 전하 감지 유닛(614)으로 전달하도록 허용하지만, 포토다이오드들에 대한 상이한 양자 우물 용량들을 설정하도록 전달 스위치들의 바이어스들을 설정할 수 있다. 예를 들어, 제어기는 다른 파장 범위들 중에서 가장 강한 것으로 예상되는 특정한 파장 범위와 연관된 포토다이오드에 대한 양자 우물 용량을 낮출 수 있으며, 따라서 포토다이오드는 다른 포토다이오드들보다 오버플로우 전하를 전하 감지 유닛으로 전달할 가능성이 더 높다. 이러한 구성들은 상기 설명된 예에서처럼, 각각의 포토다이오드에 대해 동일한 노출 기간을 제공할 뿐만 아니라, 또한 광 측정 동작에서 유연성을 강화한다. 구체적으로, TTS/FD ADC 동작 출력은 입사 광의 예상된 가장 강한 구성요소의 출력을 나타낼 가능성이 더 높지만, 동작 조건이 변하고 다른 구성요소들의 세기들이 또한 증가할 때, TTS/FD ADC 동작 출력은 또한 입사 광의 다른 높은 세기 구성요소들을 반영할 수 있다.
양쪽 동작들(1302 및 1304) 모두에서, 각각의 포토다이오드에 대해 수행된 양자화 동작들은 선택(922)에 기초할 수 있다. 예를 들어, 동작(1302)에서, 선택(922)에 기초하여, 단지 TTS 동작만이 PD0에 대해 수행되고, 단지 FD 동작만이 PD 1에 대해 수행될 수 있다. 게다가, 동작(1304)에서 TTS 및/또는 FD ADC 동작을 수행하기 위한 PD0의 선택은 또한 선택(922)에 기초할 수 있다.
참조가 이제, 다수의 포토다이오드들을 포함한 화소 셀(602a)의 다른 예를 예시하는, 도 14a에 대해 이루어진다. 도 14a에 도시된 바와 같이, 화소 셀(602a)은 PD0, PD1 등을 포함한 복수의 포토다이오드들, 뿐만 아니라 전하 감지 유닛(614a, 614b 등)을 포함한 복수의 전하 감지 유닛들(614)을 포함한다. 전하 감지 유닛(614a)은 전하 저장 디바이스(902a) 및 스위칭 가능한 버퍼(904a)를 포함하며 포토다이오드(PD0)로부터 전달된 잔류 전하 및 오버플로우 전하를 전압들로 변환하도록 구성된다. 전하 감지 유닛(614b)은 전하 저장 디바이스(902b) 및 스위칭 가능한 버퍼(904b)를 포함하며 포토다이오드(PD1)로부터 전달된 잔류 전하 및 오버플로우 전하를 전압들로 변환하도록 구성된다. 각각의 포토다이오드는 각각의 셔터 스위치 및 각각의 전달 스위치와 결합된다. 예를 들어, 포토다이오드(PD0)는 셔터 스위치(M0a) 및 전달 스위치(M1a)와 결합되는 반면, 포토다이오드(PD1)는 셔터 스위치(M0b) 및 전달 스위치(M1b)와 결합된다. 제어기(920)는 개별적으로 각각의 포토다이오드가 잔류 전하를 생성/축적하며, 오버플로우 전하를 각각의 전하 감지 유닛(614)으로 전달할 수 있게 하도록, 제어 신호들(AB0 및 AB1)(셔터 스위치들(M0a 및 M0b), 제어 신호들(TG0 및 TG1)(전달 스위치들(M1a 및 M1b에 대한), 뿐만 아니라 제어 신호들(RST0, LG0, RST1, 및 LG1)의 타이밍을 제어할 수 있다. 또한, 선택(922)에 기초하여, 제어기(920)는 또한 선택(922)에 의해 선택된 양자화 동작들을 수행하기 위해 ADC(161)로의 액세스를 각각의 전하 감지 유닛(614a)에 제공하도록 제어 신호들(SEL0 및 SEL1)의 타이밍을 제어할 수 있다.
도 14b는 도 13a의 화소 셀(602a)의 예시적인 동작들을 예시한다. 동작(1402)에서, 제어기(920)는 각각의 포토다이오드가 오버플로우 전하를 그 각각의 전하 감지 유닛으로 동시에 전달할 수 있게 하도록 셔터 스위치들(M0a 내지 M0n) 및 전달 스위치들(M1a 내지 M1n)을 제어할 수 있다. 예를 들어, 제어기(920)는 포토다이오드들(PD0 및 PD1)에 대한 노출 시간을 시작하기 위해 셔터 스위치들(M0a 및 M0b)에 대한 제어 신호들(AB0 및 AB1)을 디-어서팅할 수 있으며, 따라서 각각의 포토다이오드는 입사 광의 구성요소에 응답하여 전하를 생성하고 축적할 수 있다. 그러나, 제어기(920)는 단지 TTS 동작을 수행하기 위해 전하 감지 유닛들 중 하나를 ADC(616)에 연결한다. 예를 들어, 시간들 T0 내지 T1 사이에서, 제어기(920)는 TTS 동작을 수행하도록 노출 기간 내에서 ADC(616)에 전하 감지 유닛(614a)의 스위칭 가능한 버퍼(904)를 연결하기 위해 SEL0을 어서팅할 수 있다. T1 후에, 제어기(920)는 ADC(616)와 연결할 차례를 취하도록 각각의 전하 감지 유닛을 제어할 수 있다. 전하 감지 유닛이 ADC(616)와 연결될 때, FD ADC 동작 및 PD ADC 동작은 선택(922)에 기초하여 수행될 수 있다. 예를 들어, 동작(1402)에서 도시된 바와 같이, 포토다이오드(PD0)에 대해, 시간들 T3 내지 T4 사이에서의 PD ADC 동작에 앞서, 시간들 T1 내지 T2 사이에서, FD ADC 동작이 수행된다. 제어기(920)는 그 후 포토다이오드(PD1)에 대해 FD ADC 동작(시간들 T4 내지 T5 사이에서) 및 PD ADC 동작(시간들 T6 내지 T7 사이에서)을 수행하도록 전하 감지 유닛(614b)의 스위칭 가능한 버퍼(904)를 ADC(616)에 연결하기 위해 SEL1을 어서팅할 수 있다(SEL0을 디-어서팅하는 동안). 동작(1402)의 구성들은, 예를 들어, 포토다이오드들 중 하나(예컨대, PD0)가 높은 세기 광 구성요소를 수신한 것으로 예상되며 그것의 전하 저장 디바이스가 그 결과 포화된 것으로 예상되지만, 다른 포토다이오드들이 중간/낮은 세기 광 구성요소들을 수신한 것으로 예상되며 그것들의 전하 저장 디바이스들이 포화된 것으로 예상되지 않을 때 사용될 수 있다.
동작(1404)에서, 제어기(920)는 또한 각각의 포토다이오드가, 시간 T0에서 시작하는, 노출 기간 동안 TTS 동작들을 수행할 차례를 취하도록 허용할 수 있다. 예를 들어, 시간들 T0 내지 T1 사이에서, 제어기(920)는 PD0에 대한 TTS 동작을 수행하도록 ADC(616)에 전하 감지 유닛(614a)을 연결하기 위해 제어 신호(SEL0)를 어서팅할 수 있다. 또한, 시간들 T0 내지 T2 사이에서, 제어기(920)는 PD1에 대한 TTS 동작을 수행하도록 ADC(616)에 전하 감지 유닛(614b)을 연결하기 위해 제어 신호(SEL1)를 어서팅할 수 있다. 제어기(920)는 다른 포토다이오드들에 대한 TTS 동작들을 반복할 수 있다. 시간 T3에서 시작하면, 제어기(920)는 각각의 전하 감지 유닛이 FD ADC 동작 및 PD ADC 동작들을 수행하기 위해 ADC(616)와 연결할 차례를 취하는 것을 허용하도록 SEL0 및 SEL1 신호들의 타이밍을 제어할 수 있다. 예를 들어, FD ADC 동작은 시간들 T3 내지 T4 사이에서 PD0에 대해 수행되고, 시간들 T6 내지 T7 사이에서 PD 1에 대해 수행된 FD ADC 동작에 앞서, PD ADC 동작은 시간들 T5 내지 T6 사이에서 PD 0에 대해 수행되며, PD ADC 동작은 시간들 T7 내지 T8 사이에서 PD 1에 대해 수행된다.
동작들(1402 및 1404) 양쪽 모두에서, 각각의 포토다이오드에 대해 수행된 양자화 동작들은 선택(922)에 기초할 수 있다. 예를 들어, 동작(1402)에서, 선택(922)에 기초하여, 단지 TTS 동작만이 PD0에 대해 수행되고, 단지 FD 동작만이 PD1에 대해 수행될 수 있다. 게다가, 동작(1402)에서 TTS 및/또는 FD ADC 동작을 수행하기 위한 PD0의 선택은 또한 선택(922)에 기초할 수 있다.
도 13a 내지 도 14b에서, 메모리(912)는 포토다이오드들의 각각에 대한 양자화 결과들을 저장하도록 구성될 수 있다. 몇몇 예들에서, 메모리(912)는 포토다이오드들 모두에 대한 양자화 결과들을 동시에 저장하도록 구성될 수 있다. 몇몇 예들에서, 각각의 포토다이오드의 양자화 결과들은 메모리(912)에 순차적으로 저장될 수 있다. 구체적으로, 화소 셀의 하나의 포토다이오드의 양자화 결과들은 메모리에 저장되고, 화소 값의 생성을 위해 판독되며, 그 후 화소 셀의 다른 포토다이오드의 양자화 결과들에 의해 덮어 쓰여질 수 있다.
도 14a는 복수의 전하 감지 유닛들 간에 공유되는 ADC(616)를 예시하지만, 화소 셀은 전하 감지 유닛들의 서브세트들에 의해 공유된 다수의 ADC들을 포함할 수 있다는 것이 이해된다. 예를 들어, 화소 셀이 4개의 포토다이오드들 및 4개의 전하 감지 유닛들을 포함하는 경우에, 전하 감지 유닛들의 각각의 쌍은 하나의 ADC를 공유할 수 있으며, 화소 셀은 두 개의 ADC들을 포함할 수 있다. 이러한 배열들은 각각의 ADC에 의해 수행될 순차적인 양자화 동작들의 수를 감소시킬 수 있으며, 이것은 디지털 출력들을 생성하는데 걸리는 시간을 감소시킬 수 있으며 프레임 레이트를 증가시킬 수 있다.
도 15는 광의 상이한 구성요소들의 세기들을 측정하기 위한 방법(1500)의 흐름도를 예시한다. 방법(1500)은 예를 들어, 도 13a 및 도 14a에 도시된 바와 같이, 화소 셀(602a), 메모리(912), 카운터(914), 및 제어기(920)를 포함한 이미지 센서(600)의 다양한 구성요소들에 의해 수행될 수 있다.
방법(1500)은 단계(1502)로 시작하며, 여기에서 제어기(920)는 화소 셀(602a)의 복수의 포토다이오드들(예컨대, PD0, PD1, PDn 등)의 각각의 포토다이오드가 입사 광의 상이한 구성요소에 응답하여 전하를 생성할 수 있게 할 수 있다. 상기 설명된 바와 같이, 화소 셀(602a)은 복수의 포토다이오드들을 포함할 수 있다. 몇몇 예들에서, 도 8a에 도시된 바와 같이, 포토다이오드들은 각각의 포토다이오드에 의해 흡수된 광 구성요소의 파장을 설정할 수 있는 광 수신 표면으로부터 상이한 거리들을 갖도록 적층될 수 있다. 몇몇 예들에서, 도 8b 내지 도 8c에서 도시된 바와 같이, 포토다이오드들은 화소 셀의 서브-화소들을 형성하기 위해 측방향으로 배열될 수 있으며 각각의 포토다이오드에 의해 수신된 광 구성요소의 파장을 선택하기 위해 하나 이상의 마이크로렌즈 및 하나 이상의 광학 필터 어레이들과 오버레이될 수 있다. 제어기는 각각의 포토다이오드가 각각의 포토다이오드와 결합된 셔터 스위치들(예컨대, M0a, M0b 등)을 불능화함으로써 각각의 광 구성요소에 응답하여 전하를 생성할 수 있게 할 수 있다.
단계(1504)에서, 제어기는 복수의 포토다이오드들에 의해 생성된 전하를 전압들로 변환하기 위해 하나 이상의 전하 감지 유닛들(614)로 전달할 수 있다. 전하는 각각의 포토다이오드에서 축적된 잔류 전하, 뿐만 아니라 포토다이오드가 포화된 후 각각의 포토다이오드에 의해 전달된 오버플로우 전하를 포함할 수 있다. 몇몇 예들에서, 도 14a에 도시된 바와 같이, 포토다이오드들은 단일 전하 감지 유닛(614)을 공유한다. 각각의 포토다이오드는 전달 스위치(예컨대, M1a, M1b, M1n 등)를 통해 단일 전하 감지 유닛과 결합된다. 제어기는, 도 13b에 설명된 바와 같이, 각각의 포토다이오드가 오버플로우 전하를 단일 전하 감지 유닛으로 전달할 때의 타이밍을 제어하도록 전달 스위치들을 제어할 수 있다. 몇몇 예들에서, 도 14b에 도시된 바와 같이, 각각의 포토다이오드는 대응하는 전하 감지 유닛(614)을 가질 수 있으며, 제어기는 각각의 포토다이오드가 오버플로우 전하를 그 각각의 전하 감지 유닛(614)으로 동시에 전달하도록 허용할 수 있다.
단계(1506)에서, 제어기는, 복수의 포토다이오드들의 각각의 포토다이오드에 대해, 복수의 세기 범위들에 대응하는 복수의 양자화 프로세스들 중 하나 이상의 양자화 프로세스들의 선택을 수신할 수 있다. 복수의 양자화 프로세스들은, 예를 들어, 전하 감지 유닛이 오버플로우 전하에 의해 포화되는 시간을 측정하기 위한 포화 시간(TSS) 측정 동작, 오버플로우 전하의 양을 측정하기 위한 FD ADC 측정 동작, 및 잔류 전하의 양을 측정하기 위한 PD ADC 측정 동작을 포함할 수 있다. TTS 동작은 높은 광 세기 범위에 대한 것일 수 있고, FD ADC 측정 동작은 중간 광 세기 범위에 대한 것일 수 있는 반면, PD ADC 측정 동작은 낮은 광 세기 범위에 대한 것일 수 있다.
양자화 동작들의 선택은, 예를 들어, 포토다이오드들 간에 전하 감지 유닛들의 공유에 특정적일 수 있다. 예를 들어, 도 13b를 참조하면, 선택은 상이한 시간들에서, 각각의 포토다이오드에 대한 잔류 전하 전달 및 PD ADC 동작에 앞서, 오버플로우 전하에 기초한 TTS 및 FD ADC 동작들을 수행하기 위해 각각의 포토다이오드를 선택하는 것을 포함할 수 있다. 선택은 또한 각각의 포토다이오드들에 대한 잔류 전하 전달 및 PD ADC 동작에 앞서, 상기 포토다이오드로부터의 오버플로우 전하에 기초하여 TTS 및 FD ADC 동작을 수행하기 위해 포토다이오드들 중 하나를 선택하는 것을 포함할 수 있다. 다른 예로서, 도 14b를 참조하면, 선택은 TTS, FD ADC, 및 PD ADC 동작을 수행할 차례를 취하기 위한 각각의 포토다이오드를 선택하는 것, TTS 동작들, 이어서 FD ADC 및 PD ADC 동작들을 수행할 차례를 취하기 위한 각각의 포토다이오드를 선택하는 것을 포함할 수 있다.
단계(1508)에서, 제어기는 하나 이상의 전하 감지 유닛들로부터의 전압들을 상이한 파장 범위들의 화소의 구성요소들을 나타내는 디지털 값들로 양자화하기 위해 선택된 양자화 동작들을 수행하도록 하나 이상의 ADC들(616)을 제어할 수 있다. 예를 들어, 디지털 값은 TTS, FD ADC, 및 PD ADC 동작들에 기초하여 포토다이오드들 중 하나에 대해 생성될 수 있는 반면, 디지털 값은 FD ADC 및 PD ADC 동작들에 기초하여 다른 포토다이오드들에 대해 생성될 수 있다. 양자화는 메모리가 카운터(914)로부터의 카운트 값을 저장할 때를 제어하기 위해 정적 임계값(TTS에 대한) 또는 램핑 임계값(FD ADC 및 PD ADC에 대한)와 전압들을 비교하는 비교기(예컨대, 비교기(906))에 의해 수행될 수 있다. 카운트 값은 디지털 값들일 수 있다.
단계(1510)에서, 제어기는 메모리(912)에 디지털 값들 중 적어도 일부를 저장할 수 있다. 몇몇 예들에서, 메모리(912)는 화소의 구성요소를 나타내는 각각의 포토다이오드에 대한 디지털 값을 저장하기에 충분한 용량을 가질 수 있다. 몇몇 예들에서, 메모리(912)는 하나의 포토다이오드의 디지털 값을 저장하고, 디지털 값을 이미징 모듈(예컨대, 이미징 모듈(628))로 출력하며, 그 후 다른 포토다이오드의 디지털 값을 저장할 수 있다. 이미징 모듈은 단계(1512)에서, 화소의 디지털 값들을 획득하고 디지털 값들에 기초하여 화소를 구성할 수 있다.
이러한 설명의 몇몇 부분들은 정보에 대한 동작들의 알고리즘들 및 심볼 표현들에 대하여 본 개시의 실시예들을 설명한다. 이들 알고리즘적 설명들 및 표현들은 본 작업의 본질을 이 기술분야의 통상의 기술자들에게 효과적으로 전달하기 위해 데이터 프로세싱 기술들에서의 통상의 기술자들에 의해 일반적으로 사용된다. 기능적으로, 계산적으로, 또는 논리적으로 설명되면서, 이들 동작들은 컴퓨터 프로그램들 또는 등가의 전기 회로들, 마이크로코드 등에 의해 구현될 수 있는 것으로 이해된다. 더욱이, 일반성의 손실 없이, 모듈들로서 이들 동작들의 구성들을 참조하는 것은 때때로 편리하다는 것이 증명되었다. 설명된 동작들 및 그 연관된 모듈들은 소프트웨어, 펌웨어, 및/또는 하드웨어에서 구체화될 수 있다.
설명된 단계들, 동작들, 또는 프로세스들은 단독으로 또는 다른 디바이스들과 조합하여, 하나 이상의 하드웨어 또는 소프트웨어 모듈들을 갖고 수행되거나 또는 구현될 수 있다. 몇몇 실시예들에서, 소프트웨어 모듈은 설명된 단계들, 동작들, 또는 프로세스들 중 임의의 것 또는 모두를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있는, 컴퓨터 프로그램 코드를 포함한 컴퓨터-판독 가능한 매체를 포함한 컴퓨터 프로그램 제품을 갖고 구현된다.
본 개시의 예들은 또한 설명된 동작들을 수행하기 위한 장치와 관련될 수 있다. 장치는 요구된 목적들을 위해 특수하게 구성될 수 있으며, 및/또는 그것은 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 또는 재구성된 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 비-일시적, 유형의 컴퓨터 판독 가능한 저장 매체, 또는 전자 명령들을 저장하는데 적합한 임의의 유형의 미디어에 저장될 수 있으며, 이것은 컴퓨터 시스템 버스에 결합될 수 있다. 더욱이, 본 명세서에서 참조된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나 또는 증가된 컴퓨팅 능력을 위해 다수의 프로세서 설계들을 이용한 아키텍처들일 수 있다.
본 개시의 예들은 또한 여기에서 설명된 컴퓨팅 프로세스에 의해 생성되는 제품과 관련될 수 있다. 이러한 제품은 컴퓨팅 프로세스에서 기인한 정보를 포함할 수 있으며, 여기에서 정보는 비-일시적, 유형의 컴퓨터 판독 가능한 저장 매체상에 저장되며 여기에서 설명된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 예를 포함할 수 있다.
본 명세서에서 사용된 언어는 원칙적으로 판독성 및 교육 목적들을 위해 선택되었으며, 그것은 본 발명의 주제를 상세히 설명하거나 또는 제한하기 위해 선택되지 않았다. 그러므로, 본 개시의 범위는 이러한 상세한 설명에 의해서가 아니라, 그것에 기초한 응용에 대해 발행한 임의의 청구항들에 의해 제한시키고자 한다. 따라서, 예들의 개시는 다음의 청구항들에서 제시되는, 본 개시의 범위에 대해 제한적이 아닌, 예시적인 것이다.
Claims (20)
- 장치에 있어서,
복수의 포토다이오드들로서, 각각의 포토다이오드는 파장 범위의 입사 광의 구성요소를 전하로 변환하도록 구성되는, 상기 복수의 포토다이오드들;
하나 이상의 전하 감지 유닛들;
하나 이상의 아날로그-디지털 변환기들(ADC들);
메모리; 및
제어기로서:
상기 각각의 포토다이오드는 상기 입사 광의 상이한 구성요소에 응답하여 전하를 생성할 수 있게 하고;
전압들로 변환하기 위해 상기 복수의 포토다이오드들로부터의 전하를 상기 하나 이상의 전하 감지 유닛들로 전달하고;
복수의 세기 범위들에 대응하는 복수의 양자화 프로세스들 중 하나 이상의 양자화 프로세스들의 선택을 수신하고;
상기 선택에 기초하여, 상기 하나 이상의 전하 감지 유닛들로부터의 전압들을 상이한 파장 범위들의 화소의 구성요소들을 나타내는 디지털 값들로 양자화하기 위해 상기 선택된 하나 이상의 양자화 프로세스들을 수행하도록 상기 하나 이상의 ADC들을 제어하고;
상기 디지털 값들 중 적어도 일부를 상기 메모리에 저장하며;
상기 메모리에 저장된 상기 디지털 값들 중 적어도 일부에 기초하여 화소 값을 생성하도록 구성된, 상기 제어기를 포함하는, 장치. - 제 1 항에 있어서,
상기 각각의 포토다이오드는, 통합 기간 내에서, 각각의 포토다이오드가 포화될 때까지 잔류 전하로서 상기 전하의 적어도 일부를 축적하고, 상기 포토다이오드가 포화된 후 상기 남아있는 전하를 오버플로우 전하로서 상기 하나 이상의 전하 감지 유닛으로 전달하도록 구성되며;
상기 하나 이상의 전하 감지 유닛은 구성 가능한 정전용량을 가진 전하 저장 디바이스를 포함하고;
상기 복수의 양자화 동작들은:
최대 정전용량으로 구성된 상기 전하 저장 디바이스에 의해 수신된 상기 오버플로우 전하의 양을 나타내는 제 1 디지털 값을 생성하기 위한 제 1 양자화 동작으로서, 상기 제 1 양자화 동작은 제 1 세기 범위와 연관되는, 상기 제 1 양자화 동작; 및
상기 잔류 전하가 최대 정전용량으로 구성된 상기 전하 저장 디바이스로 전달된 후, 상기 전하 저장 디바이스에 저장된 상기 잔류 전하의 양을 나타내는 제 2 디지털 값을 생성하기 위한 제 2 양자화 동작으로서, 상기 제 2 양자화 동작은 상기 제 1 세기 범위보다 낮은 제 2 세기 범위와 연관되는, 상기 제 2 양자화 동작을 포함하는, 장치. - 제 2 항에 있어서,
상기 복수의 양자화 동작들은 상기 오버플로우 전하에 의해 야기된 상기 전하 저장 디바이스의 포화 시간을 나타내는 제 3 디지털 값을 생성하기 위한 제 3 양자화 동작을 포함하는, 장치. - 제 3 항에 있어서,
상기 복수의 포토다이오드들이 상기 입사 광을 수신하는 광 수신 표면을 더 포함하고;
상기 복수의 포토다이오드들은 상기 각각의 포토다이오드가 상이한 거리만큼 상기 광 수신 표면으로부터 분리되도록 상기 광 수신 표면에 대하여 스택 구조를 형성하며;
각각의 포토다이오드에 의해 변환된 상기 구성요소는 상기 각각의 포토다이오드와 상기 광 수신 표면 사이에서의 각각의 거리에 기초하는, 장치. - 제 3 항에 있어서,
광 수신 표면; 및
상기 광 수신 표면의 제 1 측면 상에서의 필터 어레이로서, 상기 필터 어레이는 각각의 위치에서의 상기 광 수신 표면에 들어가는 입사 광의 구성요소를 설정하기 위해 상기 광 수신 표면의 제 1 측면 상에서의 복수의 위치들에 배치되는 필터 요소들을 갖는, 상기 필터 어레이를 더 포함하며,
상기 복수의 포토다이오드들은 복수의 서브-화소들에 대응하며 상기 입사 광의 각각의 구성요소들을 수신하기 위해 상기 광 수신 표면의 제 2 측면 상에서의 복수의 위치들에 배치되는, 장치. - 제 5 항에 있어서,
상기 필터 어레이를 포함한 복수의 필터 어레이들 위에 있으며 씬의 일 스팟으로부터 수신된 상기 입사 광을 상기 광 수신 표면의 제 1 측면 상에서의 복수의 위치들을 향해 투사하도록 구성된 단일 마이크로렌즈를 더 포함하는, 장치. - 제 5 항에 있어서,
제 1 마이크로렌즈를 포함한 복수의 마이크로렌즈들을 더 포함하며, 상기 제 1 마이크로렌즈는 상기 필터 어레이를 커버하며 씬의 일 스팟으로부터 수신된 입사 광을 상기 광 수신 표면의 제 1 측면 상에서의 복수의 위치들을 향해 투사하도록 구성되는, 장치. - 제 3 항에 있어서,
상기 하나 이상의 감지 유닛은 단일 전하 감지 유닛을 포함하며;
상기 하나 이상의 ADC들은 상기 단일 전하 감지 유닛의 출력과 결합된 단일 ADC를 포함하고;
상기 장치는 복수의 스위치들을 더 포함하고, 각각의 스위치가 상기 복수의 포토다이오드들의 포토다이오드와 상기 단일 전하 감지 유닛의 입력 사이에서 결합되고;
상기 제어기는:
전압들로 변환하기 위해 각각의 포토다이오드에 의해 생성된 상기 전하를 상기 단일 전하 감지 유닛으로 전달하도록 상기 복수의 스위치들을 제어하며;
상기 단일 전하 감지 유닛에 의해 생성된 상기 전압들을 양자화하도록 상기 단일 ADC를 제어하도록 구성되는, 장치. - 제 8 항에 있어서,
상기 제어기는:
상기 복수의 포토다이오드들 중 제 1 포토다이오드로부터의 제 1 오버플로우 전하를 제 1 전압으로 변환하기 위해 상기 단일 전하 감지 유닛으로 전달하도록 상기 복수의 스위치들 중 제 1 스위치를 제어하고;
상기 선택에 기초하여, 제 1 디지털 값을 생성하기 위해 상기 제 1 전압의 제 1 또는 제 3 양자화 동작들 중 적어도 하나를 수행하도록 상기 단일 ADC를 제어하고;
상기 제 1 포토다이오드로부터의 제 1 잔류 전하를 제 2 전압으로 변환하기 위해 상기 단일 전하 감지 유닛으로 전달하도록 상기 제 1 스위치를 제어하고;
상기 선택에 기초하여, 제 2 디지털 값을 생성하기 위해 상기 제 2 전압의 제 2 양자화 동작을 수행하도록 상기 단일 ADC를 제어하고;
상기 복수의 포토다이오드들 중 제 2 포토다이오드로부터의 제 2 잔류 전하를 제 3 전압으로 변환하기 위해 상기 단일 전하 감지 유닛으로 전달하도록 상기 복수의 스위치들 중 제 2 스위치를 제어하고;
상기 선택에 기초하여, 제 3 디지털 값을 생성하기 위해 상기 제 3 전압의 제 2 양자화 동작을 수행하도록 상기 단일 ADC를 제어하며;
상기 메모리로부터, 제 1 디지털 값 및 제 2 디지털 값 중 하나에 기초하여 상기 화소 값을 생성, 출력하도록 구성되는, 장치. - 제 8 항에 있어서,
상기 포토다이오드들의 각각은 상기 잔류 전하를 저장하기 위해 상이한 최대 우물 용량(full well capacity)을 가지며;
상기 제어기는:
제 1 전압을 생성하기 위해 상기 복수의 포토다이오드들의 각각의 포토다이오드로부터의 오버플로우 전하를 상기 단일 전하 저장 유닛으로 동시에 전달하도록 상기 복수의 스위치들을 제어하고;
상기 선택에 기초하여, 제 1 디지털 값을 생성하기 위해 상기 제 1 또는 제 3 양자화 동작들 중 적어도 하나를 사용하여 상기 제 1 전압을 양자화하도록 상기 단일 ADC를 제어하고;
각각이 상기 각각의 포토다이오드로부터의 각각의 잔류 전하에 대응하는 제 2 전압을 생성하기 위해 상이한 시간들에서 상기 각각의 포토다이오드로부터의 잔류 전하를 상기 단일 전하 저장 유닛으로 전달하도록 상기 복수의 스위치들을 제어하고;
상기 선택에 기초하여, 제 2 디지털 값들을 생성하기 위해 상기 제 2 양자화 동작을 사용하여 상기 제 2 전압들을 양자화하도록 상기 단일 ADC를 제어하며;
상기 제 1 디지털 값 및 상기 제 2 디지털 값들에 기초하여 상기 화소 값을 생성하도록 구성되는, 장치. - 제 8 항에 있어서,
상기 제어기는:
제 1 시간 기간 내에서:
각각이 상기 각각의 포토다이오드로부터의 각각의 오버플로우 전하에 대응하는 제 1 전압들을 생성하기 위해 상이한 시간들에서 상기 복수의 포토다이오드들의 각각의 포토다이오드로부터의 오버플로우 전하를 상기 단일 전하 감지 유닛으로 전달하도록 상기 복수의 스위치들을 제어하며;
상기 선택에 기초하여, 제 1 디지털 값들을 생성하기 위해 상기 제 1 또는 제 3 양자화 동작들 중 적어도 하나를 사용하여 상기 제 1 전압들을 양자화하도록 상기 단일 ADC를 제어하고;
제 2 시간 기간 내에서:
각각이 상기 각각의 포토다이오드로부터의 각각의 잔류 전하에 대응하는 제 2 전압들을 생성하기 위해 상이한 시간들에서 상기 각각의 포토다이오드로부터의 잔류 전하를 상기 단일 전하 저장 유닛으로 전달하도록 상기 복수의 스위치들을 제어하고;
상기 선택에 기초하여, 제 2 디지털 값들을 생성하기 위해 상기 제 2 양자화 동작을 사용하여 상기 제 2 전압들을 양자화하도록 상기 단일 ADC를 제어하며;
상기 제 1 디지털 값들 및 상기 제 2 디지털 값들 중 적어도 일부에 기초하여 상기 화소 값을 생성하도록 구성되는, 장치. - 제 3 항에 있어서,
상기 하나 이상의 감지 유닛은 상기 복수의 포토다이오드들에 대응하는 복수의 전하 감지 유닛들을 포함하며;
상기 장치는 각각이 상기 복수의 전하 감지 유닛들의 각각의 전하 감지 유닛과 상기 복수의 포토다이오드들의 대응하는 포토다이오드 사이에 결합되는 복수의 스위치들을 더 포함하는, 장치. - 제 12 항에 있어서,
상기 제어기는:
상기 복수의 포토다이오드들 중 제 1 포토다이오드가 제 1 전압을 생성하기 위해 제 1 전하를 상기 복수의 전하 감지 유닛들 중 제 1 전하 감지 유닛으로 전달할 수 있게 하고;
상기 복수의 포토다이오드들 중 제 2 포토다이오드가 제 2 전압을 생성하기 위해 제 2 전하를 상기 복수의 전하 감지 유닛들 중 제 2 전하 감지 유닛으로 전달할 수 있게 하고;
상기 선택에 기초하여, 제 1 디지털 값을 생성하기 위해 제 1 전압의 제 1 양자화 동작, 이어서 제 2 디지털 값을 생성하기 위해 상기 제 2 전압의 제 2 또는 제 3 양자화 동작들을 수행하도록 상기 하나 이상의 ADC들을 제어하며;
상기 제 1 디지털 값 및 상기 제 2 디지털 값에 기초하여 상기 화소 값을 생성하도록 구성되는, 장치. - 제 13 항에 있어서,
상기 제어기는:
제 1 시간 기간 내에서:
상기 복수의 포토다이오드들 중 제 1 포토다이오드가 상기 입사 광에 응답하여 제 1 전하를 생성할 수 있게 하고;
상기 제 1 포토다이오드가 제 1 전압을 생성하기 위해 상기 제 1 전하의 제 1 오버플로우 전하를 상기 복수의 전하 감지 유닛들 중 제 1 전하 감지 유닛으로 전달할 수 있게 하며;
상기 선택에 기초하여, 제 1 포화 시간을 나타내는 제 1 디지털 값을 생성하기 위해 상기 제 1 전압의 제 3 양자화 동작을 수행하도록 상기 하나 이상의 ADC들을 제어하고;
제 2 시간 기간 내에서:
상기 복수의 포토다이오드들 중 제 2 포토다이오드가 상기 입사 광에 응답하여 제 2 전하를 생성할 수 있게 하고;
상기 제 2 포토다이오드가 제 2 전압을 생성하기 위해 상기 제 2 전하의 제 2 오버플로우 전하를 상기 복수의 전하 감지 유닛들 중 제 2 전하 감지 유닛으로 전달할 수 있게 하며;
상기 선택에 기초하여, 제 2 포화 시간을 나타내는 제 2 디지털 값을 생성하기 위해 상기 제 2 전압의 제 3 양자화 동작을 수행하도록 상기 하나 이상의 ADC들을 제어하며;
상기 제 1 디지털 값 및 상기 제 2 디지털 값에 기초하여 상기 화소 값을 생성하도록 구성되는, 장치. - 제 12 항에 있어서,
상기 복수의 전하 감지 유닛들은 제 1 전하 감지 유닛, 제 2 전하 감지 유닛, 제 3 전하 감지 유닛, 및 제 4 전하 감지 유닛을 포함하고;
상기 하나 이상의 ADC들은 제 1 ADC 및 제 2 ADC를 포함하며;
상기 제어기는:
상기 제 1 전하 감지 유닛으로부터의 제 1 전압 및 상기 제 2 전하 감지 유닛으로부터의 제 2 전압을 양자화하도록 상기 제 1 ADC를 제어하며;
상기 제 3 전하 감지 유닛으로부터의 제 3 전압 및 상기 제 2 전하 감지 유닛으로부터의 제 3 전압을 양자화하도록 상기 제 2 ADC를 제어하도록 구성되는, 장치. - 제 1 항에 있어서,
상기 제어기는 상기 디지털 값들의 각각을 상기 메모리에 저장하도록 구성되는, 장치. - 제 1 항에 있어서,
상기 제어기는:
상기 복수의 포토다이오드들 중 제 1 포토다이오드에 의해 생성된 전하에 대응하는 제 1 전압을 양자화하는 것에 기초하여 제 1 디지털 값을 생성하도록 상기 하나 이상의 ADC를 제어하고;
상기 제 1 디지털 값을 상기 메모리에 저장하고;
상기 화소 값을 계산하기 위해 상기 제 1 디지털 값을 판독하고;
상기 복수의 포토다이오드들 중 제 2 포토다이오드에 의해 생성된 전하에 대응하는 제 2 전압을 양자화하는 것에 기초하여 제 2 디지털 값을 생성하도록 상기 하나 이상의 ADC를 제어하고;
상기 메모리에서 제 2 디지털 값으로 상기 제 1 디지털 값을 덮어 쓰며;
상기 화소 값을 계산하기 위해 상기 제 2 디지털 값을 판독하도록 구성되는, 장치. - 방법에 있어서,
화소 셀의 복수의 포토다이오드들의 각각의 포토다이오드가 상기 화소 셀에 의해 수신된 입사 광의 상이한 구성요소에 응답하여 전하를 생성할 수 있게 하는 단계;
전압들로 변환하기 위해 상기 복수의 포토다이오드들로부터의 상기 전하를 상기 하나 이상의 전하 감지 유닛들로 전달하는 단계;
상기 복수의 포토다이오드들의 각각의 포토다이오드에 대해, 복수의 세기 범위들에 대응하는 복수의 양자화 프로세스들 중 하나 이상의 양자화 프로세스들의 선택을 수신하는 단계;
상기 선택에 기초하여, 상기 하나 이상의 전하 감지 유닛들로부터의 전압들을 상이한 파장 범위들의 화소의 구성요소들을 나타내는 디지털 값들로 양자화하기 위해 상기 선택된 하나 이상의 양자화 프로세스들을 수행하도록 상기 하나 이상의 ADC들을 제어하는 단계;
상기 디지털 값들 중 적어도 일부를 메모리에 저장하는 단계; 및
상기 메모리에 저장된 상기 디지털 값들 중 적어도 일부에 기초하여 화소 값을 생성하는 단계를 포함하는, 방법. - 제 18 항에 있어서,
복수의 양자화 프로세스들은 상기 제 1 포토다이오드가 포화되기 전에 상기 복수의 포토다이오드들 중 제 1 포토다이오드에 축적된 잔류 전하의 양을 측정하기 위한 제 1 양자화 프로세스, 상기 제 1 포토다이오드가 포화된 후 상기 제 1 포토다이오드에 의해 전달된 오버플로우 전하의 양을 측정하기 위한 제 2 양자화 프로세스, 및 상기 제 1 포토다이오드로부터의 상기 오버플로우 전하에 의해 야기된 하나 이상의 전하 감지 유닛들의 포화 시간을 측정하기 위한 제 3 양자화 프로세스를 포함하는, 방법. - 제 18 항에 있어서,
상기 하나 이상의 전하 감지 유닛들은 상기 복수의 포토다이오드들에 의해 공유된 단일 전하 감지 유닛을 포함하는, 방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862690571P | 2018-06-27 | 2018-06-27 | |
| US62/690,571 | 2018-06-27 | ||
| US16/453,538 | 2019-06-26 | ||
| US16/453,538 US11463636B2 (en) | 2018-06-27 | 2019-06-26 | Pixel sensor having multiple photodiodes |
| PCT/US2019/039410 WO2020006174A1 (en) | 2018-06-27 | 2019-06-27 | Pixel sensor having multiple photodiodes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210025617A true KR20210025617A (ko) | 2021-03-09 |
Family
ID=67303521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217002689A KR20210025617A (ko) | 2018-06-27 | 2019-06-27 | 다수의 포토다이오드들을 가진 화소 센서 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11463636B2 (ko) |
| EP (1) | EP3815354A1 (ko) |
| JP (1) | JP2021528890A (ko) |
| KR (1) | KR20210025617A (ko) |
| CN (1) | CN112640438A (ko) |
| TW (1) | TW202007139A (ko) |
| WO (1) | WO2020006174A1 (ko) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10686996B2 (en) | 2017-06-26 | 2020-06-16 | Facebook Technologies, Llc | Digital pixel with extended dynamic range |
| US10419701B2 (en) | 2017-06-26 | 2019-09-17 | Facebook Technologies, Llc | Digital pixel image sensor |
| US10917589B2 (en) | 2017-06-26 | 2021-02-09 | Facebook Technologies, Llc | Digital pixel with extended dynamic range |
| US10598546B2 (en) | 2017-08-17 | 2020-03-24 | Facebook Technologies, Llc | Detecting high intensity light in photo sensor |
| US11393867B2 (en) | 2017-12-06 | 2022-07-19 | Facebook Technologies, Llc | Multi-photodiode pixel cell |
| US10969273B2 (en) | 2018-03-19 | 2021-04-06 | Facebook Technologies, Llc | Analog-to-digital converter having programmable quantization resolution |
| US11004881B2 (en) | 2018-04-03 | 2021-05-11 | Facebook Technologies, Llc | Global shutter image sensor |
| US10834344B2 (en) | 2018-06-09 | 2020-11-10 | Facebook Technologies, Llc | Digital pixel with extended dynamic range |
| US11089210B2 (en) | 2018-06-11 | 2021-08-10 | Facebook Technologies, Llc | Configurable image sensor |
| US10903260B2 (en) | 2018-06-11 | 2021-01-26 | Facebook Technologies, Llc | Multi-photodiode pixel cell |
| US11089241B2 (en) | 2018-06-11 | 2021-08-10 | Facebook Technologies, Llc | Pixel cell with multiple photodiodes |
| US11906353B2 (en) | 2018-06-11 | 2024-02-20 | Meta Platforms Technologies, Llc | Digital pixel with extended dynamic range |
| US11463636B2 (en) | 2018-06-27 | 2022-10-04 | Facebook Technologies, Llc | Pixel sensor having multiple photodiodes |
| US10897586B2 (en) | 2018-06-28 | 2021-01-19 | Facebook Technologies, Llc | Global shutter image sensor |
| US10931884B2 (en) | 2018-08-20 | 2021-02-23 | Facebook Technologies, Llc | Pixel sensor having adaptive exposure time |
| US11956413B2 (en) | 2018-08-27 | 2024-04-09 | Meta Platforms Technologies, Llc | Pixel sensor having multiple photodiodes and shared comparator |
| US11595602B2 (en) | 2018-11-05 | 2023-02-28 | Meta Platforms Technologies, Llc | Image sensor post processing |
| US11102430B2 (en) | 2018-12-10 | 2021-08-24 | Facebook Technologies, Llc | Pixel sensor having multiple photodiodes |
| US11218660B1 (en) | 2019-03-26 | 2022-01-04 | Facebook Technologies, Llc | Pixel sensor having shared readout structure |
| US11943561B2 (en) | 2019-06-13 | 2024-03-26 | Meta Platforms Technologies, Llc | Non-linear quantization at pixel sensor |
| JP7191238B2 (ja) * | 2019-08-28 | 2022-12-16 | 株式会社ソニー・インタラクティブエンタテインメント | センサシステム、画像処理装置、画像処理方法およびプログラム |
| CN114270804A (zh) | 2019-08-28 | 2022-04-01 | 索尼互动娱乐股份有限公司 | 传感器系统、图像处理装置、图像处理方法和程序 |
| US11936998B1 (en) * | 2019-10-17 | 2024-03-19 | Meta Platforms Technologies, Llc | Digital pixel sensor having extended dynamic range |
| US11902685B1 (en) | 2020-04-28 | 2024-02-13 | Meta Platforms Technologies, Llc | Pixel sensor having hierarchical memory |
| US11910114B2 (en) | 2020-07-17 | 2024-02-20 | Meta Platforms Technologies, Llc | Multi-mode image sensor |
| US11956560B2 (en) | 2020-10-09 | 2024-04-09 | Meta Platforms Technologies, Llc | Digital pixel sensor having reduced quantization operation |
| US11985433B2 (en) * | 2020-11-30 | 2024-05-14 | Microsoft Technology Licensing, Llc | SPAD array for intensity image sensing on head-mounted displays |
| US12022218B2 (en) | 2020-12-29 | 2024-06-25 | Meta Platforms Technologies, Llc | Digital image sensor using a single-input comparator based quantizer |
| DE102022110845B4 (de) | 2022-05-03 | 2023-12-28 | Ifm Electronic Gmbh | Verfahren zum Betreiben eines PMD-Pixels |
| DE102022110844B4 (de) | 2022-05-03 | 2023-12-28 | Ifm Electronic Gmbh | Verfahren zum Betreiben eines PMD-Pixels |
Family Cites Families (395)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4596977A (en) | 1984-12-03 | 1986-06-24 | Honeywell Inc. | Dual slope analog to digital converter with out-of-range reset |
| US5053771A (en) | 1990-07-16 | 1991-10-01 | Eastman Kodak Company | Adaptive dual range analog to digital converter |
| JP2953297B2 (ja) | 1994-03-30 | 1999-09-27 | 日本電気株式会社 | 受光素子およびその駆動方法 |
| US5963369A (en) | 1996-06-03 | 1999-10-05 | Steinthal; Gregory | Digital solid-state binoculars |
| US5844512A (en) | 1997-07-28 | 1998-12-01 | Hewlett-Packard Company | Autoranging apparatus and method for improved dynamic ranging in analog to digital converters |
| US6057586A (en) | 1997-09-26 | 2000-05-02 | Intel Corporation | Method and apparatus for employing a light shield to modulate pixel color responsivity |
| US6529241B1 (en) | 1998-02-27 | 2003-03-04 | Intel Corporation | Photodetecting device supporting saturation detection and electronic shutter |
| JP4178608B2 (ja) | 1998-04-16 | 2008-11-12 | 株式会社ニコン | 固体撮像装置 |
| US6522395B1 (en) | 1999-04-30 | 2003-02-18 | Canesta, Inc. | Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS |
| US6486504B1 (en) | 1999-10-26 | 2002-11-26 | Eastman Kodak Company | CMOS image sensor with extended dynamic range |
| US6545624B2 (en) | 2000-02-11 | 2003-04-08 | Hyundai Electronics Industries Co., Ltd. | Image sensor with analog-to-digital converter that generates a variable slope ramp signal |
| JP4518616B2 (ja) | 2000-04-13 | 2010-08-04 | ソニー株式会社 | 固体撮像装置およびその駆動方法並びにカメラシステム |
| US20010040632A1 (en) | 2000-05-09 | 2001-11-15 | Yang David Xiao Dong | Multiple sampling via a time-indexed method to achieve wide dynamic ranges |
| US6384905B1 (en) | 2000-07-07 | 2002-05-07 | The United States Of America As Represented By The Secretary Of The Navy | Optic flow sensor with fused elementary motion detector outputs |
| JP3984808B2 (ja) | 2000-09-07 | 2007-10-03 | キヤノン株式会社 | 信号処理装置及びそれを用いた撮像装置並びに放射線撮像システム |
| JP2002314875A (ja) | 2001-01-29 | 2002-10-25 | Konica Corp | 撮影装置及び撮像素子 |
| US7079178B2 (en) | 2001-02-20 | 2006-07-18 | Jaroslav Hynecek | High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset |
| JP2002330349A (ja) | 2001-04-26 | 2002-11-15 | Fujitsu Ltd | Ｘｙアドレス型固体撮像装置 |
| US6642503B2 (en) | 2001-06-13 | 2003-11-04 | Texas Instruments Incorporated | Time domain sensing technique and system architecture for image sensor |
| JP4949573B2 (ja) | 2001-07-13 | 2012-06-13 | 浜松ホトニクス株式会社 | 光検出装置 |
| US9149175B2 (en) | 2001-07-26 | 2015-10-06 | Given Imaging Ltd. | Apparatus and method for light control in an in-vivo imaging device |
| US20030049925A1 (en) | 2001-09-10 | 2003-03-13 | Layman Paul Arthur | High-density inter-die interconnect structure |
| WO2003065418A2 (en) | 2002-02-01 | 2003-08-07 | Picometrix, Inc. | Planar avalanche photodiode |
| US6963369B1 (en) | 2002-04-01 | 2005-11-08 | Pixim, Inc. | Method for capturing and storing image information for multiple sampling operations in a digital pixel sensor |
| US7038820B1 (en) | 2002-04-03 | 2006-05-02 | Eastman Kodak Company | Automatic exposure control for an image sensor |
| JP4175828B2 (ja) | 2002-04-18 | 2008-11-05 | 抱 石井 | 撮像カメラ装置及びイメージャの画像データ読取り方法 |
| US7362365B1 (en) | 2002-06-26 | 2008-04-22 | Pixim, Inc. | Digital image capture having an ultra-high dynamic range |
| JP3792628B2 (ja) | 2002-09-02 | 2006-07-05 | 富士通株式会社 | 固体撮像装置及び画像読み出し方法 |
| CN1234234C (zh) | 2002-09-30 | 2005-12-28 | 松下电器产业株式会社 | 固体摄像器件及使用该固体摄像器件的设备 |
| ES2327835T3 (es) | 2003-01-10 | 2009-11-04 | Paul Scherrer Institut | Dispositivo de imagenes de recuento de fotones. |
| US7280143B2 (en) | 2003-04-14 | 2007-10-09 | Micron Technology, Inc. | CMOS image sensor with active reset and 4-transistor pixels |
| US7456879B2 (en) | 2003-08-29 | 2008-11-25 | Aptina Imaging Corporation | Digital correlated double sampling using dual analog path |
| US6885331B2 (en) | 2003-09-15 | 2005-04-26 | Micron Technology, Inc. | Ramp generation with capacitors |
| EP1530363B1 (en) | 2003-11-04 | 2010-08-11 | STMicroelectronics (Research & Development) Limited | Improvements in or relating to image sensors |
| FR2862448B1 (fr) | 2003-11-14 | 2006-12-29 | St Microelectronics Sa | Generateur de rampe de tension avec un asservissement de pente |
| KR100574959B1 (ko) | 2003-11-24 | 2006-04-28 | 삼성전자주식회사 | 자동 노출 조절 기능을 갖는 시모스 이미지 센서 |
| US6864817B1 (en) | 2003-12-30 | 2005-03-08 | Freescale Semiconductor, Inc. | Signaling dependent adaptive analog-to-digital converter (ADC) system and method of using same |
| US7129883B2 (en) | 2004-02-23 | 2006-10-31 | Sony Corporation | Method and apparatus for AD conversion, semiconductor device for detecting distribution of physical quantity, and electronic apparatus |
| EP1732134B1 (en) | 2004-02-27 | 2012-10-24 | National University Corporation Tohoku Unversity | Solid-state imagine device, line sensor, optical sensor, and method for operating solid-state imaging device |
| JP4317115B2 (ja) | 2004-04-12 | 2009-08-19 | 国立大学法人東北大学 | 固体撮像装置、光センサおよび固体撮像装置の動作方法 |
| CN101820537B (zh) | 2004-04-23 | 2013-04-03 | 住友电气工业株式会社 | 活动图像数据的编码方法、终端装置以及双向对话型系统 |
| GB0412296D0 (en) | 2004-06-02 | 2004-07-07 | Council Cent Lab Res Councils | Imaging device |
| US7508431B2 (en) | 2004-06-17 | 2009-03-24 | Hoya Corporation | Solid state imaging device |
| GB0416496D0 (en) | 2004-07-23 | 2004-08-25 | Council Of The Central Lab Of | Imaging device |
| JP4349232B2 (ja) | 2004-07-30 | 2009-10-21 | ソニー株式会社 | 半導体モジュール及びｍｏｓ型固体撮像装置 |
| EP1788802A1 (en) | 2004-08-23 | 2007-05-23 | Sony Corporation | Image pickup device, image pickup result processing method and integrated circuit |
| US8144227B2 (en) | 2004-09-02 | 2012-03-27 | Sony Corporation | Image pickup device and image pickup result outputting method |
| JP4835856B2 (ja) | 2005-01-06 | 2011-12-14 | 日本電気株式会社 | 半導体集積回路装置 |
| US7518645B2 (en) | 2005-01-06 | 2009-04-14 | Goodrich Corp. | CMOS active pixel sensor with improved dynamic range and method of operation |
| JP2006197393A (ja) | 2005-01-14 | 2006-07-27 | Canon Inc | 固体撮像装置、カメラ、及び固体撮像装置の駆動方法 |
| JP4459064B2 (ja) | 2005-01-14 | 2010-04-28 | キヤノン株式会社 | 固体撮像装置、その制御方法及びカメラ |
| JP4589131B2 (ja) | 2005-01-24 | 2010-12-01 | 株式会社フォトロン | 画像センサおよびその画像読み出し方法 |
| GB2438693B (en) | 2005-03-30 | 2009-07-08 | Micron Technology Inc | High density row ram for column parallel CMOS image sensors |
| US7468501B2 (en) | 2005-05-12 | 2008-12-23 | California Institute Of Technology | Linear dynamic range enhancement in a CMOS imager |
| TWI429066B (zh) | 2005-06-02 | 2014-03-01 | Sony Corp | Semiconductor image sensor module and manufacturing method thereof |
| US20070013983A1 (en) | 2005-07-04 | 2007-01-18 | Dai Nippon Printing Co., Ltd. | Holographic viewing device, and holographic viewing card incorporating it |
| US7522341B2 (en) * | 2005-07-12 | 2009-04-21 | Micron Technology, Inc. | Sharing of microlenses among pixels in image sensors |
| KR20080034508A (ko) | 2005-08-08 | 2008-04-21 | 요셉 러브너 | 적응형 노출 제어 |
| US7636115B2 (en) | 2005-08-11 | 2009-12-22 | Aptina Imaging Corporation | High dynamic range imaging device using multiple pixel cells |
| JP2007074447A (ja) | 2005-09-07 | 2007-03-22 | Fujitsu Ltd | Ｃｍｏｓセンサ |
| KR100775058B1 (ko) | 2005-09-29 | 2007-11-08 | 삼성전자주식회사 | 픽셀 및 이를 이용한 이미지 센서, 그리고 상기 이미지센서를 포함하는 이미지 처리 시스템 |
| US7608823B2 (en) | 2005-10-03 | 2009-10-27 | Teledyne Scientific & Imaging, Llc | Multimode focal plane array with electrically isolated commons for independent sub-array biasing |
| US7659925B2 (en) | 2005-10-04 | 2010-02-09 | Alexander Krymski | High speed CMOS image sensor circuits with memory readout |
| US7546026B2 (en) | 2005-10-25 | 2009-06-09 | Zoran Corporation | Camera exposure optimization techniques that take camera and scene motion into account |
| US7652313B2 (en) | 2005-11-10 | 2010-01-26 | International Business Machines Corporation | Deep trench contact and isolation of buried photodetectors |
| JPWO2007097287A1 (ja) | 2006-02-20 | 2009-07-16 | パナソニック株式会社 | 撮像装置及びレンズ鏡筒 |
| EP1830195A1 (en) | 2006-03-02 | 2007-09-05 | Dialog Semiconductor GmbH | Probeless DC testing of CMOS I/O circuits |
| JP4819561B2 (ja) | 2006-04-24 | 2011-11-24 | 浜松ホトニクス株式会社 | 固体撮像装置 |
| JP4827627B2 (ja) | 2006-06-16 | 2011-11-30 | キヤノン株式会社 | 撮像装置及びその処理方法 |
| US7326903B2 (en) | 2006-06-29 | 2008-02-05 | Noble Peak Vision Corp. | Mixed analog and digital pixel for high dynamic range readout |
| EP1881609A1 (en) | 2006-07-21 | 2008-01-23 | STMicroelectronics (Research & Development) Limited | Analogue to digital convertor having a non-linear ramp voltage |
| JP4289377B2 (ja) | 2006-08-21 | 2009-07-01 | ソニー株式会社 | 物理量検出装置及び撮像装置 |
| JP4855192B2 (ja) | 2006-09-14 | 2012-01-18 | 富士フイルム株式会社 | イメージセンサ及びデジタルカメラ |
| US7361989B1 (en) | 2006-09-26 | 2008-04-22 | International Business Machines Corporation | Stacked imager package |
| JP2008228232A (ja) | 2007-03-15 | 2008-09-25 | Canon Inc | 撮像装置、撮像方法、プログラム、及び記憶媒体 |
| US8107751B2 (en) | 2007-03-16 | 2012-01-31 | Sharp Laboratories Of America, Inc. | DPCM with adaptive range and PCM escape mode |
| US7839703B2 (en) | 2007-06-15 | 2010-11-23 | Micron Technology, Inc. | Subtraction circuits and digital-to-analog converters for semiconductor devices |
| US7825966B2 (en) | 2007-06-29 | 2010-11-02 | Omnivision Technologies, Inc. | High dynamic range sensor with blooming drain |
| JP5067850B2 (ja) | 2007-08-02 | 2012-11-07 | キヤノン株式会社 | システム、頭部装着型表示装置、その制御方法 |
| US7956914B2 (en) | 2007-08-07 | 2011-06-07 | Micron Technology, Inc. | Imager methods, apparatuses, and systems providing a skip mode with a wide dynamic range operation |
| US20090066820A1 (en) | 2007-09-06 | 2009-03-12 | Broadcom Corporation | Filtering optimization via implicit bayer grid subsampling |
| US7940311B2 (en) | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
| US8426793B1 (en) | 2007-10-04 | 2013-04-23 | Geoffrey L. Barrows | Vision sensor |
| EP2063630A1 (en) | 2007-11-26 | 2009-05-27 | Thomson Licensing | Video capture device with variable shutter integration time |
| US8369458B2 (en) | 2007-12-20 | 2013-02-05 | Ralink Technology Corporation | Wireless receiving system with an adaptively configurable analog to digital converter |
| WO2009111556A1 (en) | 2008-03-04 | 2009-09-11 | Mesa Imaging Ag | Drift field demodulation pixel with pinned photo diode |
| EP2104234B1 (en) | 2008-03-21 | 2011-08-31 | STMicroelectronics Limited | Analog-to-digital conversion in image sensors |
| US8098955B2 (en) | 2008-03-25 | 2012-01-17 | Point Grey Research Inc. | Efficient selection and application of regions of interest in digital imaging |
| JP5269456B2 (ja) | 2008-03-26 | 2013-08-21 | 株式会社東芝 | イメージセンサおよびその駆動方法 |
| US8089035B2 (en) | 2008-04-16 | 2012-01-03 | Tower Semiconductor Ltd. | CMOS image sensor with high sensitivity wide dynamic range pixel for high resolution applications |
| EP2133918B1 (en) | 2008-06-09 | 2015-01-28 | Sony Corporation | Solid-state imaging device, drive method thereof and electronic apparatus |
| JP4661912B2 (ja) | 2008-07-18 | 2011-03-30 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
| US20130218728A1 (en) | 2008-08-10 | 2013-08-22 | Rick Dan Hashop | Virtual on-line pre-shopping system and method |
| US7795650B2 (en) | 2008-12-09 | 2010-09-14 | Teledyne Scientific & Imaging Llc | Method and apparatus for backside illuminated image sensors using capacitively coupled readout integrated circuits |
| US8625012B2 (en) | 2009-02-05 | 2014-01-07 | The Hong Kong University Of Science And Technology | Apparatus and method for improving dynamic range and linearity of CMOS image sensor |
| JP5400406B2 (ja) | 2009-02-06 | 2014-01-29 | キヤノン株式会社 | 撮像装置 |
| KR101575851B1 (ko) | 2009-03-13 | 2015-12-10 | 삼성전자주식회사 | 불 휘발성 메모리 장치 및 그것의 프로그램 방법 |
| ATE543215T1 (de) | 2009-03-24 | 2012-02-15 | Sony Corp | Festkörper-abbildungsvorrichtung, ansteuerverfahren für festkörper- abbildungsvorrichtung und elektronische vorrichtung |
| JP5359465B2 (ja) * | 2009-03-31 | 2013-12-04 | ソニー株式会社 | 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 |
| JP2010283525A (ja) * | 2009-06-03 | 2010-12-16 | Toshiba Corp | 撮像装置 |
| JP5306269B2 (ja) | 2009-06-25 | 2013-10-02 | キヤノン株式会社 | 光干渉断層法を用いる撮像装置及び撮像方法 |
| US8569807B2 (en) | 2009-09-01 | 2013-10-29 | Taiwan Semiconductor Manufacturing Company, Ltd. | Backside illuminated image sensor having capacitor on pixel region |
| CN102334293B (zh) | 2009-09-11 | 2014-12-10 | 松下电器产业株式会社 | 模拟/数字变换器、图像传感器系统、照相机装置 |
| KR101727270B1 (ko) | 2009-11-06 | 2017-04-17 | 삼성전자주식회사 | 이미지 센서 |
| US8384800B2 (en) | 2009-11-23 | 2013-02-26 | Samsung Electronics Co., Ltd. | Methods of acquiring images |
| KR101111946B1 (ko) | 2009-12-17 | 2012-02-14 | 엠텍비젼 주식회사 | 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법 |
| WO2011078999A1 (en) | 2009-12-24 | 2011-06-30 | Imagerlabs Inc. | Adjustable cmos sensor array |
| EP2533521A4 (en) | 2010-02-05 | 2014-09-10 | Konica Minolta Advanced Layers | SEMICONDUCTOR IMAGE CAPTURE DEVICE |
| US20120200499A1 (en) | 2010-02-28 | 2012-08-09 | Osterhout Group, Inc. | Ar glasses with event, sensor, and user action based control of applications resident on external devices with feedback |
| US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| JP2011229120A (ja) | 2010-03-30 | 2011-11-10 | Sony Corp | 固体撮像装置、固体撮像装置の信号処理方法、及び、電子機器 |
| JP2011216966A (ja) | 2010-03-31 | 2011-10-27 | Sony Corp | 固体撮像素子および固体撮像素子の駆動方法、並びに電子機器 |
| JP2011258728A (ja) | 2010-06-08 | 2011-12-22 | Sharp Corp | 固体撮像素子および電子情報機器 |
| JP5554644B2 (ja) | 2010-06-29 | 2014-07-23 | パナソニック株式会社 | 固体撮像装置 |
| US20120016817A1 (en) | 2010-07-19 | 2012-01-19 | Smith S Alex | Predicting Life Changes of Members of a Social Networking System |
| US8606051B2 (en) | 2010-08-16 | 2013-12-10 | SK Hynix Inc. | Frame-wise calibration of column-parallel ADCs for image sensor array applications |
| KR20120029840A (ko) * | 2010-09-17 | 2012-03-27 | 삼성전자주식회사 | 이미지 센서의 구동 방법 |
| US8866945B2 (en) | 2010-09-26 | 2014-10-21 | Hiok Nam Tay | Color image sampling and reconstruction |
| CN103119928B (zh) | 2010-09-30 | 2016-05-25 | 佳能株式会社 | 固态成像装置 |
| US8773577B2 (en) | 2010-10-27 | 2014-07-08 | Qualcomm Incorporated | Region of interest extraction |
| US8698843B2 (en) | 2010-11-02 | 2014-04-15 | Google Inc. | Range of focus in an augmented reality application |
| US20120113119A1 (en) | 2010-11-05 | 2012-05-10 | Nova Research, Inc. | Super resolution infrared imaging system |
| JP5664141B2 (ja) | 2010-11-08 | 2015-02-04 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
| US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
| KR101710481B1 (ko) | 2010-11-29 | 2017-02-28 | 삼성전자주식회사 | Ｃｄｓ 회로, 이의 동작 방법, 및 이를 포함하는 장치들 |
| TWI462265B (zh) | 2010-11-30 | 2014-11-21 | Ind Tech Res Inst | 影像擷取裝置 |
| KR101754131B1 (ko) | 2010-12-01 | 2017-07-06 | 삼성전자주식회사 | 샘플링 회로와 광감지 장치 |
| US8294077B2 (en) | 2010-12-17 | 2012-10-23 | Omnivision Technologies, Inc. | Image sensor having supplemental capacitive coupling node |
| US8847136B2 (en) | 2011-01-02 | 2014-09-30 | Pixim, Inc. | Conversion gain modulation using charge sharing pixel |
| US8717467B2 (en) | 2011-01-25 | 2014-05-06 | Aptina Imaging Corporation | Imaging systems with array cameras for depth sensing |
| US8587501B2 (en) | 2011-02-17 | 2013-11-19 | Global Oled Technology Llc | Electroluminescent display device with optically communicating chiplets |
| US8674282B2 (en) | 2011-03-25 | 2014-03-18 | Aptina Imaging Corporation | Pumped pinned photodiode pixel array |
| TWI456990B (zh) | 2011-04-08 | 2014-10-11 | Pixart Imaging Inc | 高動態範圍影像感測電路及高動態範圍影像讀取方法 |
| KR101251744B1 (ko) | 2011-04-13 | 2013-04-05 | 엘지이노텍 주식회사 | Ｗｄｒ 픽셀 어레이, 이를 포함하는 ｗｄｒ 이미징 장치 및 그 구동방법 |
| KR101241704B1 (ko) | 2011-04-14 | 2013-03-19 | 엘지이노텍 주식회사 | 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법 |
| US8637800B2 (en) | 2011-04-19 | 2014-01-28 | Altasens, Inc. | Image sensor with hybrid heterostructure |
| US8575531B2 (en) | 2011-04-26 | 2013-11-05 | Aptina Imaging Corporation | Image sensor array for back side illumination with global shutter using a junction gate photodiode |
| US9093579B2 (en) | 2011-04-28 | 2015-07-28 | Semiconductor Components Industries, Llc | Dielectric barriers for pixel arrays |
| JP5808162B2 (ja) | 2011-06-23 | 2015-11-10 | キヤノン株式会社 | 撮像素子、撮像装置及び撮像素子の駆動方法 |
| US20190331914A1 (en) | 2011-07-20 | 2019-10-31 | Google Llc | Experience Sharing with Region-Of-Interest Selection |
| JP5868065B2 (ja) | 2011-08-05 | 2016-02-24 | キヤノン株式会社 | 撮像装置 |
| JP5901186B2 (ja) | 2011-09-05 | 2016-04-06 | キヤノン株式会社 | 固体撮像装置及びその駆動方法 |
| US20130056809A1 (en) | 2011-09-07 | 2013-03-07 | Duli Mao | Image Sensor with Reduced Noiseby Blocking Nitridation Over Selected Areas |
| US8890047B2 (en) | 2011-09-21 | 2014-11-18 | Aptina Imaging Corporation | Stacked-chip imaging systems |
| US8223024B1 (en) | 2011-09-21 | 2012-07-17 | Google Inc. | Locking mechanism based on unnatural movement of head-mounted display |
| US8461660B2 (en) | 2011-09-30 | 2013-06-11 | Omnivision Technologies, Inc. | CMOS image sensor with reset shield line |
| GB201117319D0 (en) | 2011-10-06 | 2011-11-16 | Isis Innovation | Active pixel image sensor |
| JP2013084785A (ja) | 2011-10-11 | 2013-05-09 | Sony Corp | 固体撮像装置、撮像装置 |
| JP2013090127A (ja) | 2011-10-18 | 2013-05-13 | Olympus Corp | 固体撮像装置および撮像装置 |
| US8804021B2 (en) | 2011-11-03 | 2014-08-12 | Omnivision Technologies, Inc. | Method, apparatus and system for providing improved full well capacity in an image sensor pixel |
| WO2013070942A1 (en) | 2011-11-08 | 2013-05-16 | Rambus Inc. | Image sensor sampled at non-uniform intervals |
| US10598929B2 (en) | 2011-11-09 | 2020-03-24 | Google Llc | Measurement method and system |
| JP5802520B2 (ja) | 2011-11-11 | 2015-10-28 | 株式会社 日立産業制御ソリューションズ | 撮像装置 |
| JP5963421B2 (ja) | 2011-11-17 | 2016-08-03 | オリンパス株式会社 | 固体撮像装置および撮像装置 |
| KR20130062188A (ko) | 2011-12-02 | 2013-06-12 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 이미지 처리 장치 |
| KR101801339B1 (ko) | 2011-12-07 | 2017-11-27 | 한국전자통신연구원 | 고속 광대역 주파수 비교 장치 |
| JP6051516B2 (ja) | 2011-12-07 | 2016-12-27 | セイコーエプソン株式会社 | 撮影装置および撮影方法 |
| US8754798B2 (en) | 2011-12-21 | 2014-06-17 | Realtek Semiconductor Corp. | High-speed successive-approximation-register analog-to-digital converter and method thereof |
| US20130180841A1 (en) | 2012-01-17 | 2013-07-18 | Esat Yilmaz | Sensor Stack with Opposing Electrodes |
| US8735795B2 (en) | 2012-01-20 | 2014-05-27 | Omnivision Technologies, Inc. | Image sensor with integrated ambient light detection |
| US9531990B1 (en) | 2012-01-21 | 2016-12-27 | Google Inc. | Compound prediction using multiple sources or prediction modes |
| CN104204904B (zh) | 2012-01-24 | 2018-05-18 | 亚利桑那大学评议会 | 紧凑式眼睛跟踪头戴式显示器 |
| CN103258829A (zh) | 2012-02-16 | 2013-08-21 | 索尼公司 | 固态成像装置、图像传感器及其制造方法以及电子设备 |
| JP6004664B2 (ja) | 2012-02-17 | 2016-10-12 | キヤノン株式会社 | 光電変換装置、光電変換装置の駆動方法 |
| US8742311B2 (en) | 2012-02-27 | 2014-06-03 | Omnivision Technologies, Inc. | Enhanced pixel cell architecture for an image sensor having a direct output from a buried channel source follower transistor to a bit line |
| JP6164846B2 (ja) | 2012-03-01 | 2017-07-19 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の駆動方法 |
| JP5965674B2 (ja) | 2012-03-05 | 2016-08-10 | オリンパス株式会社 | 固体撮像装置および撮像装置 |
| US8569700B2 (en) | 2012-03-06 | 2013-10-29 | Omnivision Technologies, Inc. | Image sensor for two-dimensional and three-dimensional image capture |
| TW201340708A (zh) | 2012-03-19 | 2013-10-01 | Sony Corp | 固體攝像裝置及電子機器 |
| KR101930755B1 (ko) | 2012-03-21 | 2018-12-19 | 삼성전자주식회사 | 이미지 센서의 구동 방법 |
| WO2013145753A1 (ja) | 2012-03-30 | 2013-10-03 | 株式会社ニコン | 撮像素子および撮像装置 |
| US8957358B2 (en) | 2012-04-27 | 2015-02-17 | Taiwan Semiconductor Manufacturing Company, Ltd. | CMOS image sensor chips with stacked scheme and methods for forming the same |
| US9270906B2 (en) | 2012-05-02 | 2016-02-23 | Semiconductor Components Industries, Llc | Exposure time selection using stacked-chip image sensors |
| US8963759B2 (en) | 2012-05-03 | 2015-02-24 | Semiconductor Components Industries, Llc | Imaging systems with per-column analog-to-digital converter non-linearity correction capabilities |
| US8779346B2 (en) | 2012-05-14 | 2014-07-15 | BAE Systems Imaging Solutions Inc. | Digital pixel sensor with reduced noise |
| JP5885608B2 (ja) | 2012-07-23 | 2016-03-15 | 株式会社東芝 | 固体撮像装置 |
| JP6071315B2 (ja) | 2012-08-08 | 2017-02-01 | オリンパス株式会社 | 固体撮像装置および撮像装置 |
| US9531961B2 (en) | 2015-05-01 | 2016-12-27 | Duelight Llc | Systems and methods for generating a digital image using separate color and intensity data |
| KR101965632B1 (ko) | 2012-09-07 | 2019-04-05 | 삼성전자 주식회사 | 아날로그-디지털 변환 회로, 이를 포함하는 이미지 센서, 및 그 동작 방법 |
| US9185273B2 (en) | 2012-09-19 | 2015-11-10 | Semiconductor Components Industries, Llc | Imaging pixels with improved dynamic range |
| US9343497B2 (en) | 2012-09-20 | 2016-05-17 | Semiconductor Components Industries, Llc | Imagers with stacked integrated circuit dies |
| US9094612B2 (en) | 2012-09-25 | 2015-07-28 | Semiconductor Components Industries, Llc | Back side illuminated global shutter image sensors with back side charge storage |
| KR20230004854A (ko) | 2012-10-05 | 2023-01-06 | 램버스 인코포레이티드 | 조건부-리셋, 멀티-비트 판독 이미지 센서 |
| US9478579B2 (en) | 2012-10-16 | 2016-10-25 | Omnivision Technologies, Inc. | Stacked chip image sensor with light-sensitive circuit elements on the bottom chip |
| CN103730455B (zh) | 2012-10-16 | 2017-04-12 | 豪威科技股份有限公司 | 底部芯片上具有光敏电路元件的堆叠芯片图像传感器 |
| ES2476115B1 (es) | 2012-12-11 | 2015-04-20 | Consejo Superior De Investigaciones Científicas (Csic) | Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores |
| US9153616B2 (en) | 2012-12-26 | 2015-10-06 | Olympus Corporation | Solid-state imaging device and imaging device with circuit elements distributed on multiple substrates, method of controlling solid-state imaging device, and imaging device with circuit elements distributed on multiple substrates |
| JP6369911B2 (ja) | 2013-01-25 | 2018-08-08 | テレダイン・イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・ユニパーソナルＴｅｌｅｄｙｎｅ Ｉｎｎｏｖａｃｉｏｎｅｓ Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃａｓ，Ｓｌｕ | 画像センサ用の自動関心領域機能 |
| US8773562B1 (en) | 2013-01-31 | 2014-07-08 | Apple Inc. | Vertically stacked image sensor |
| KR20140104169A (ko) | 2013-02-20 | 2014-08-28 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 컴퓨팅 시스템 |
| JP6164869B2 (ja) | 2013-02-26 | 2017-07-19 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の駆動方法 |
| GB2513579A (en) | 2013-04-29 | 2014-11-05 | Tobii Technology Ab | Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system |
| JP6221341B2 (ja) | 2013-05-16 | 2017-11-01 | ソニー株式会社 | 固体撮像装置、固体撮像装置の製造方法および電子機器 |
| JP2014236183A (ja) | 2013-06-05 | 2014-12-15 | 株式会社東芝 | イメージセンサ装置及びその製造方法 |
| JP6303297B2 (ja) | 2013-06-14 | 2018-04-04 | 富士通株式会社 | 端末装置、視線検出プログラムおよび視線検出方法 |
| JP6188451B2 (ja) | 2013-06-27 | 2017-08-30 | オリンパス株式会社 | アナログデジタル変換器および固体撮像装置 |
| US20150097951A1 (en) | 2013-07-17 | 2015-04-09 | Geoffrey Louis Barrows | Apparatus for Vision in Low Light Environments |
| TWI659652B (zh) | 2013-08-05 | 2019-05-11 | 新力股份有限公司 | 攝像裝置、電子機器 |
| US9054007B2 (en) | 2013-08-15 | 2015-06-09 | Omnivision Technologies, Inc. | Image sensor pixel cell with switched deep trench isolation structure |
| JP5604703B1 (ja) | 2013-09-10 | 2014-10-15 | 弘一 関根 | 固体撮像装置 |
| US9001251B2 (en) | 2013-09-10 | 2015-04-07 | Rambus Inc. | Oversampled image sensor with conditional pixel readout |
| ES2811152T3 (es) | 2013-09-16 | 2021-03-10 | Prophesee | Circuito de píxel dinámico de un solo fotodiodo y método de funcionamiento del mismo |
| US9410850B2 (en) | 2013-09-20 | 2016-08-09 | Vlad Joseph Novotny | Infrared imager readout electronics |
| US10043843B2 (en) | 2013-10-01 | 2018-08-07 | Forza Silicon Corporation | Stacked photodiodes for extended dynamic range and low light color discrimination |
| CA2888943C (en) | 2013-10-03 | 2015-08-18 | Sulon Technologies Inc. | Augmented reality system and method for positioning and mapping |
| FR3012003B1 (fr) | 2013-10-14 | 2016-12-30 | E2V Semiconductors | Conversion analogique numerique a rampe, a multiples conversions ou unique conversion suivant le niveau de lumiere recu par un pixel |
| JP6413233B2 (ja) | 2013-11-26 | 2018-10-31 | 株式会社ニコン | 撮像装置および撮像素子 |
| JP6394056B2 (ja) | 2013-11-27 | 2018-09-26 | ソニー株式会社 | Ａ／ｄ変換装置、グレイコード生成装置、撮像素子、並びに、電子機器 |
| KR20150071768A (ko) | 2013-12-18 | 2015-06-29 | 에스케이하이닉스 주식회사 | 이미지 센서 및 그 제조방법 |
| KR102210539B1 (ko) | 2013-12-26 | 2021-02-01 | 삼성전자주식회사 | 상관 이중 샘플링 회로, 이를 포함하는 아날로그-디지털 컨버터, 및 이미지 센서 |
| KR102130611B1 (ko) | 2013-12-31 | 2020-07-06 | 삼성전자주식회사 | 아날로그-디지털 변환 회로, 이를 포함하는 이미지 센서 및 이미지 센서의 동작 방법 |
| KR102159261B1 (ko) | 2014-01-21 | 2020-09-23 | 삼성전자 주식회사 | 출력신호를 보정할 수 있는 이미지 센서 |
| US20160085072A1 (en) | 2014-01-24 | 2016-03-24 | Osterhout Group, Inc. | See-through computer display systems |
| JP2015146364A (ja) | 2014-02-03 | 2015-08-13 | ソニー株式会社 | 固体撮像素子、固体撮像素子の駆動方法、固体撮像素子の製造方法および電子機器 |
| US9832409B2 (en) | 2014-02-07 | 2017-11-28 | National University Corporation Shizuoka University | Image sensor |
| CN110233978B (zh) | 2014-02-07 | 2022-03-11 | 拉姆伯斯公司 | 馈通补偿图像传感器 |
| KR102245973B1 (ko) | 2014-02-17 | 2021-04-29 | 삼성전자주식회사 | 상관 이중 샘플링 회로 및 이를 포함하는 이미지 센서 |
| JP6278730B2 (ja) | 2014-02-20 | 2018-02-14 | オリンパス株式会社 | 固体撮像装置および撮像システム |
| US20160011422A1 (en) | 2014-03-10 | 2016-01-14 | Ion Virtual Technology Corporation | Method and system for reducing motion blur when experiencing virtual or augmented reality environments |
| EP2924979B1 (en) | 2014-03-25 | 2023-01-18 | IMEC vzw | Improvements in or relating to imaging sensors |
| TWI656631B (zh) | 2014-03-28 | 2019-04-11 | 日商半導體能源研究所股份有限公司 | 攝像裝置 |
| US20150287766A1 (en) | 2014-04-02 | 2015-10-08 | Tae-Chan Kim | Unit pixel of an image sensor and image sensor including the same |
| KR102246553B1 (ko) | 2014-04-24 | 2021-04-30 | 엘지전자 주식회사 | Hmd 및 그 제어 방법 |
| US9711553B2 (en) | 2014-04-28 | 2017-07-18 | Samsung Electronics Co., Ltd. | Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor |
| US9491442B2 (en) | 2014-04-28 | 2016-11-08 | Samsung Electronics Co., Ltd. | Image processing device and mobile computing device having the same |
| US9672416B2 (en) | 2014-04-29 | 2017-06-06 | Microsoft Technology Licensing, Llc | Facial expression tracking |
| US9531976B2 (en) | 2014-05-29 | 2016-12-27 | Semiconductor Components Industries, Llc | Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions |
| JP2015230355A (ja) | 2014-06-04 | 2015-12-21 | リコーイメージング株式会社 | 撮像装置および撮像素子 |
| JP2015231046A (ja) | 2014-06-09 | 2015-12-21 | 株式会社東芝 | 固体撮像装置 |
| JP2016001633A (ja) | 2014-06-11 | 2016-01-07 | ソニー株式会社 | 固体撮像素子、および電子装置 |
| JP6406888B2 (ja) | 2014-06-17 | 2018-10-17 | キヤノン株式会社 | アナログデジタル変換回路の駆動方法、アナログデジタル変換回路、撮像装置、撮像システム、アナログデジタル変換回路の検査方法 |
| US9699393B2 (en) | 2014-06-26 | 2017-07-04 | Semiconductor Components Industries, Llc | Imaging systems for infrared and visible imaging with patterned infrared cutoff filters |
| US9247162B2 (en) | 2014-06-27 | 2016-01-26 | Omnivision Technologies, Inc. | System and method for digital correlated double sampling in an image sensor |
| KR102134636B1 (ko) | 2014-07-14 | 2020-07-16 | 삼성전자주식회사 | 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서 |
| KR20160008267A (ko) | 2014-07-14 | 2016-01-22 | 주식회사 윈스 | 네트워크 기반 영상감시체계에서의 사용자 행위 분석 시스템 |
| KR102192088B1 (ko) | 2014-07-18 | 2020-12-16 | 삼성전자주식회사 | 인지센서 및 이의 구동방법 |
| WO2016013412A1 (ja) | 2014-07-25 | 2016-01-28 | ソニー株式会社 | 固体撮像素子、撮像制御方法、信号処理方法、及び、電子機器 |
| WO2016012911A1 (ja) | 2014-07-25 | 2016-01-28 | 株式会社半導体エネルギー研究所 | 撮像装置 |
| US9432597B2 (en) | 2014-07-25 | 2016-08-30 | Rambus Inc. | Low-noise, high dynamic-range image sensor |
| US9344658B2 (en) | 2014-07-31 | 2016-05-17 | Omnivision Technologies, Inc. | Negative biased substrate for pixels in stacked image sensors |
| KR102374109B1 (ko) | 2014-08-01 | 2022-03-14 | 삼성전자주식회사 | 크로스토크 특성을 개선하는 이미지 센서 및 그의 제조 방법 |
| KR20160032586A (ko) | 2014-09-16 | 2016-03-24 | 삼성전자주식회사 | 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법 |
| JP6522919B2 (ja) | 2014-10-15 | 2019-05-29 | オリンパス株式会社 | 撮像素子、撮像装置 |
| US9325335B1 (en) | 2014-10-24 | 2016-04-26 | Teledyne Scientific & Imaging, Llc | Comparator circuits with local ramp buffering for a column-parallel single slope ADC |
| JP2016092661A (ja) | 2014-11-07 | 2016-05-23 | ソニー株式会社 | 撮像素子および駆動方法、並びに電子機器 |
| CN107113387B (zh) | 2014-11-12 | 2020-09-18 | 索尼公司 | 固态成像装置及电子设备 |
| US10284771B2 (en) | 2014-12-03 | 2019-05-07 | Nikon Corporation | Image-capturing apparatus, electronic device, and program |
| US9560296B2 (en) | 2014-12-05 | 2017-01-31 | Qualcomm Incorporated | Pixel readout architecture for full well capacity extension |
| CN104469195B (zh) | 2014-12-18 | 2017-11-21 | 北京思比科微电子技术股份有限公司 | 高动态范围图像传感器像素结构及其操作方法 |
| WO2016095057A1 (en) | 2014-12-19 | 2016-06-23 | Sulon Technologies Inc. | Peripheral tracking for an augmented reality head mounted device |
| US9591247B2 (en) | 2014-12-22 | 2017-03-07 | Google Inc. | Image sensor having an extended dynamic range upper limit |
| US9871065B2 (en) | 2014-12-22 | 2018-01-16 | Google Inc. | RGBZ pixel unit cell with first and second Z transfer gates |
| US9787928B2 (en) | 2015-01-06 | 2017-10-10 | Forza Silicon Corporation | Layout and timing schemes for ping-pong readout architecture |
| KR102410019B1 (ko) | 2015-01-08 | 2022-06-16 | 삼성전자주식회사 | 이미지 센서 |
| US10008530B2 (en) | 2015-01-30 | 2018-06-26 | Taiwan Semiconductor Manufacturing Company Ltd. | Image sensing device and manufacturing method thereof |
| US9515105B2 (en) | 2015-02-18 | 2016-12-06 | Semiconductor Components Industries, Llc | Dual photodiode image pixels with preferential blooming path |
| US9564468B2 (en) | 2015-03-20 | 2017-02-07 | Taiwan Semiconductor Manufacturing Co., Ltd. | Composite grid structure to reduce crosstalk in back side illumination image sensors |
| JP6407083B2 (ja) | 2015-03-30 | 2018-10-17 | キヤノン株式会社 | 光電変換装置、および、光電変換システム |
| US9524994B2 (en) | 2015-04-14 | 2016-12-20 | Semiconductor Components Industries, Llc | Image sensor pixels with multiple compartments |
| US9819882B2 (en) | 2015-06-05 | 2017-11-14 | Caeleste Cvba | Global shutter high dynamic range sensor |
| US10524667B2 (en) | 2015-06-14 | 2020-01-07 | Facense Ltd. | Respiration-based estimation of an aerobic activity parameter |
| US9743024B2 (en) | 2015-07-01 | 2017-08-22 | Massachusetts Institute Of Technology | Method and apparatus for on-chip per-pixel pseudo-random time coded exposure |
| WO2017003477A1 (en) | 2015-07-01 | 2017-01-05 | Tyrrell Brian M | Method and apparatus for on-chip per-pixel pseudo-random time coded exposure |
| US9848142B2 (en) | 2015-07-10 | 2017-12-19 | Semiconductor Components Industries, Llc | Methods for clocking an image sensor |
| WO2017013806A1 (ja) | 2015-07-23 | 2017-01-26 | オリンパス株式会社 | 固体撮像装置 |
| TWI704811B (zh) * | 2015-07-27 | 2020-09-11 | 日商新力股份有限公司 | 固體攝像裝置及其控制方法、以及電子機器 |
| US10534173B2 (en) | 2015-08-03 | 2020-01-14 | Facebook Technologies, Llc | Display with a tunable mask for augmented reality |
| US9807294B2 (en) | 2015-08-05 | 2017-10-31 | Omnivision Technologies, Inc. | Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods |
| US20170038504A1 (en) | 2015-08-05 | 2017-02-09 | Lustrous Electro-Optic Co., Ltd. | Close-up shots system and close-up shots module |
| KR102460175B1 (ko) | 2015-08-21 | 2022-10-28 | 삼성전자주식회사 | 쉐어드 픽셀 및 이를 포함하는 이미지 센서 |
| US10014333B2 (en) | 2015-08-26 | 2018-07-03 | Semiconductor Components Industries, Llc | Back-side illuminated pixels with interconnect layers |
| KR102523136B1 (ko) | 2015-09-01 | 2023-04-19 | 삼성전자주식회사 | 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀 |
| US9909922B2 (en) | 2015-09-03 | 2018-03-06 | Johnson & Johnson Vision Care, Inc. | Anti-aliasing photodetector system |
| JP2017055248A (ja) | 2015-09-09 | 2017-03-16 | ルネサスエレクトロニクス株式会社 | 撮像素子 |
| CN112040118B (zh) | 2015-09-16 | 2022-06-07 | 佳能株式会社 | 摄像设备 |
| US9948875B2 (en) | 2015-10-01 | 2018-04-17 | Semiconductor Components Industries, Llc | High dynamic range imaging pixels with improved readout |
| US11297258B2 (en) | 2015-10-01 | 2022-04-05 | Qualcomm Incorporated | High dynamic range solid state image sensor and camera system |
| US9654712B2 (en) | 2015-10-07 | 2017-05-16 | Semiconductor Components Industries, Llc | Pixels with a global shutter and high dynamic range |
| KR102433575B1 (ko) | 2015-10-12 | 2022-08-19 | 삼성전자주식회사 | 이미지 센서 |
| US9936151B2 (en) | 2015-10-16 | 2018-04-03 | Capsovision Inc | Single image sensor for capturing mixed structured-light images and regular images |
| EP3365916B1 (en) | 2015-10-21 | 2020-12-09 | Heptagon Micro Optics Pte. Ltd. | Demodulation pixel devices, arrays of pixel devices and optoelectronic devices incorporating the same |
| US9818777B2 (en) | 2015-11-12 | 2017-11-14 | Stmicroelectronics (Research & Development) Limited | Hybrid analog-digital pixel implemented in a stacked configuration |
| US10096631B2 (en) | 2015-11-30 | 2018-10-09 | Semiconductor Energy Laboratory Co., Ltd. | Signal processing circuit and semiconductor device including the signal processing circuit |
| JP6700758B2 (ja) | 2015-12-04 | 2020-05-27 | キヤノン株式会社 | 撮像装置の駆動方法 |
| US9991306B2 (en) | 2015-12-10 | 2018-06-05 | Semiconductor Components Industries, Llc | Hybrid bonded image sensor and method of operating such image sensor |
| KR20180110080A (ko) | 2016-02-08 | 2018-10-08 | 스페로 디바이시즈 인코포레이티드 | 아날로그 코-프로세서 |
| WO2017145207A1 (ja) | 2016-02-25 | 2017-08-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 信号復号方法、信号復号装置およびプログラム |
| US9936150B2 (en) * | 2016-03-17 | 2018-04-03 | Semiconductor Components Industries, Llc | Image sensors with a rolling shutter scanning mode and high dynamic range |
| US10715824B2 (en) | 2016-03-17 | 2020-07-14 | Facebook Technologies, Llc | System and method for data compressing optical sensor data prior to transferring to a host system |
| US10420523B2 (en) | 2016-03-21 | 2019-09-24 | The Board Of Trustees Of The Leland Stanford Junior University | Adaptive local window-based methods for characterizing features of interest in digital images and systems for practicing same |
| US10003726B2 (en) | 2016-03-25 | 2018-06-19 | Microsoft Technology Licensing, Llc | Illumination module for near eye-to-eye display system |
| WO2017169446A1 (ja) | 2016-03-29 | 2017-10-05 | 株式会社ニコン | 撮像素子および撮像装置 |
| JP2017183658A (ja) | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 固体撮像素子、撮像装置、および電子機器 |
| US10720465B2 (en) | 2016-03-31 | 2020-07-21 | Nikon Corporation | Image sensor and image capture device |
| JPWO2017169882A1 (ja) | 2016-03-31 | 2019-02-14 | ソニー株式会社 | 撮像素子、撮像素子の製造方法、及び、電子機器 |
| US10594974B2 (en) | 2016-04-07 | 2020-03-17 | Tobii Ab | Image sensor for vision based on human computer interaction |
| ES2847200T3 (es) | 2016-04-07 | 2021-08-02 | Tobii Ab | Sensor de imágenes para interacción humano-ordenador basada en visión por ordenador |
| US10225499B2 (en) | 2016-04-11 | 2019-03-05 | Semiconductor Components Industries, Llc | Backside illuminated global shutter pixel with active reset |
| US10110839B2 (en) | 2016-05-03 | 2018-10-23 | Semiconductor Components Industries, Llc | Dual-photodiode image pixel |
| US9967472B2 (en) | 2016-05-17 | 2018-05-08 | JVC Kenwood Corporation | Image sensor combining high dynamic range techniques |
| US10015416B2 (en) | 2016-05-24 | 2018-07-03 | Semiconductor Components Industries, Llc | Imaging systems with high dynamic range and phase detection pixels |
| US9900117B2 (en) | 2016-05-27 | 2018-02-20 | Nxp Usa, Inc. | Communication unit receiver, integrated circuit and method for ADC dynamic range selection |
| US10072974B2 (en) | 2016-06-06 | 2018-09-11 | Semiconductor Components Industries, Llc | Image sensors with LED flicker mitigaton global shutter pixles |
| WO2017214391A1 (en) | 2016-06-08 | 2017-12-14 | Invisage Technologies, Inc. | Image sensors with electronic shutter |
| EP3258683A1 (en) | 2016-06-13 | 2017-12-20 | ams AG | Image sensor and method for operating an image sensor |
| US20170366766A1 (en) | 2016-06-16 | 2017-12-21 | Semiconductor Components Industries, Llc | Image sensors having high dynamic range functionalities |
| US9942492B2 (en) | 2016-06-16 | 2018-04-10 | Semiconductor Components Industries, Llc | Image sensors having high dynamic range functionalities |
| JP6627656B2 (ja) | 2016-06-20 | 2020-01-08 | リコーイメージング株式会社 | 焦点検出装置 |
| US9967496B2 (en) | 2016-06-30 | 2018-05-08 | Sony Corporation | Active reset circuit for reset spread reduction in single-slope ADC |
| KR102504887B1 (ko) | 2016-07-06 | 2023-03-02 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 촬상 소자, 촬상 소자의 제조 방법 및 전자 기기 |
| IL246796B (en) | 2016-07-14 | 2020-05-31 | Semi Conductor Devices An Elbit Systems Rafael Partnership | Two-color light sensor and method |
| JP6806494B2 (ja) | 2016-08-24 | 2021-01-06 | キヤノン株式会社 | 撮像装置、撮像システム、移動体及び撮像装置の駆動方法 |
| US9979912B2 (en) | 2016-09-12 | 2018-05-22 | Semiconductor Components Industries, Llc | Image sensors with power supply noise rejection capabilities |
| JP2018046430A (ja) | 2016-09-15 | 2018-03-22 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| US10186535B2 (en) | 2016-09-19 | 2019-01-22 | Semiconductor Components Industries, Llc | Image sensors with stacked photodiodes |
| US9935618B1 (en) | 2016-09-30 | 2018-04-03 | Tower Semiconductor Ltd. | Schmitt trigger circuit with hysteresis determined by modified polysilicon gate dopants |
| US10484628B2 (en) | 2016-10-21 | 2019-11-19 | The Johns Hopkins University | Flexible pixel-wise exposure control and readout |
| US10110840B2 (en) | 2016-10-25 | 2018-10-23 | Semiconductor Components Industries, Llc | Image sensor pixels with overflow capabilities |
| US9800260B1 (en) | 2016-11-04 | 2017-10-24 | Analog Devices Global | Method and apparatus to increase dynamic range in delta-sigma ADC using internal feedback across all integrators in loop-filter |
| JP2018082261A (ja) | 2016-11-15 | 2018-05-24 | キヤノン株式会社 | 撮像素子 |
| KR102563846B1 (ko) | 2016-11-16 | 2023-08-03 | 매직 립, 인코포레이티드 | 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리 |
| KR20180056962A (ko) | 2016-11-21 | 2018-05-30 | 삼성전자주식회사 | 전원 제어 회로를 포함하는 이벤트 기반 센서 |
| GB2556910A (en) | 2016-11-25 | 2018-06-13 | Nokia Technologies Oy | Virtual reality display |
| US9955091B1 (en) | 2016-12-20 | 2018-04-24 | Omnivision Technologies, Inc. | High dynamic range image sensor read out architecture using in-frame multi-bit exposure control |
| KR20180072134A (ko) | 2016-12-21 | 2018-06-29 | 에스케이하이닉스 주식회사 | 아날로그-디지털 변환 장치 및 그에 따른 씨모스 이미지 센서 |
| KR102621752B1 (ko) | 2017-01-13 | 2024-01-05 | 삼성전자주식회사 | Mram을 포함한 씨모스 이미지 센서 |
| US10271037B2 (en) | 2017-01-20 | 2019-04-23 | Semiconductor Components Industries, Llc | Image sensors with hybrid three-dimensional imaging |
| EP3574470A4 (en) | 2017-01-25 | 2020-07-29 | BAE Systems Imaging Solutions Inc. | EXTENDED DYNAMIC RANGE IMAGING NETWORK |
| US20180220093A1 (en) | 2017-02-01 | 2018-08-02 | Renesas Electronics Corporation | Image sensor |
| US10070081B2 (en) | 2017-02-03 | 2018-09-04 | SmartSens Technology (U.S.), Inc. | Stacked image sensor pixel cell with dynamic range enhancement and selectable shutter modes and in-pixel CDS |
| US10218923B2 (en) | 2017-02-17 | 2019-02-26 | Semiconductor Components Industries, Llc | Methods and apparatus for pixel binning and readout |
| US10360732B2 (en) | 2017-03-23 | 2019-07-23 | Intel Corporation | Method and system of determining object positions for image processing using wireless network angle of transmission |
| KR102401583B1 (ko) | 2017-03-29 | 2022-05-24 | 삼성전자주식회사 | 이미지 센서 |
| EP3624441A4 (en) | 2017-05-10 | 2021-01-13 | Brillnics Inc. | SOLID IMAGE RECORDING DEVICE, DRIVING METHOD FOR SOLID IMAGE RECORDING DEVICE AND ELECTRONIC DEVICE |
| JP6461234B2 (ja) | 2017-05-19 | 2019-01-30 | キヤノン株式会社 | 撮像装置及び撮像システム |
| JP6957204B2 (ja) | 2017-05-30 | 2021-11-02 | オリンパス株式会社 | 顕微鏡システム、制御方法、及び、プログラム |
| US10917589B2 (en) | 2017-06-26 | 2021-02-09 | Facebook Technologies, Llc | Digital pixel with extended dynamic range |
| US10419701B2 (en) | 2017-06-26 | 2019-09-17 | Facebook Technologies, Llc | Digital pixel image sensor |
| US10686996B2 (en) | 2017-06-26 | 2020-06-16 | Facebook Technologies, Llc | Digital pixel with extended dynamic range |
| US10395376B2 (en) | 2017-07-19 | 2019-08-27 | Qualcomm Incorporated | CMOS image sensor on-die motion detection using inter-pixel mesh relationship |
| US10726627B2 (en) | 2017-07-25 | 2020-07-28 | Facebook Technologies, Llc | Sensor system based on stacked sensor layers |
| US10090342B1 (en) | 2017-08-01 | 2018-10-02 | Semiconductor Components Industries, Llc | Stacked image sensor capacitors and related methods |
| US10103193B1 (en) | 2017-08-03 | 2018-10-16 | Omnivision Technologies, Inc. | Apparatus and method for low dark current floating diffusion |
| US10750097B2 (en) | 2017-08-14 | 2020-08-18 | Facebooke Technologies, Llc | Varying exposure time of pixels in photo sensor using motion prediction |
| US10825854B2 (en) | 2017-08-16 | 2020-11-03 | Facebook Technologies, Llc | Stacked photo sensor assembly with pixel level interconnect |
| US10608101B2 (en) | 2017-08-16 | 2020-03-31 | Facebook Technologies, Llc | Detection circuit for photo sensor with stacked substrates |
| US10598546B2 (en) | 2017-08-17 | 2020-03-24 | Facebook Technologies, Llc | Detecting high intensity light in photo sensor |
| JP2019040897A (ja) | 2017-08-22 | 2019-03-14 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子及び電子機器 |
| JP7072362B2 (ja) | 2017-09-26 | 2022-05-20 | ブリルニクス シンガポール プライベート リミテッド | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
| JP6929750B2 (ja) | 2017-09-29 | 2021-09-01 | キヤノン株式会社 | 撮像装置、撮像システム、移動体 |
| JP6887130B2 (ja) | 2017-09-29 | 2021-06-16 | パナソニックＩｐマネジメント株式会社 | 監視カメラシステム及び監視方法 |
| JP7039236B2 (ja) | 2017-09-29 | 2022-03-22 | キヤノン株式会社 | 逐次比較型ａｄ変換器、撮像装置、撮像システム、移動体 |
| US10506217B2 (en) | 2017-10-09 | 2019-12-10 | Facebook Technologies, Llc | Head-mounted display tracking system |
| JP7100439B2 (ja) | 2017-10-20 | 2022-07-13 | ブリルニクス シンガポール プライベート リミテッド | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
| KR102467845B1 (ko) | 2017-10-24 | 2022-11-16 | 삼성전자주식회사 | 적층형 씨모스 이미지 센서 |
| US10764526B1 (en) | 2017-11-01 | 2020-09-01 | Facebook Technologies, Llc | Spatial derivative pixel array with adaptive quantization |
| JP7018293B2 (ja) | 2017-11-06 | 2022-02-10 | ブリルニクス シンガポール プライベート リミテッド | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
| US11039092B2 (en) | 2017-11-15 | 2021-06-15 | Nvidia Corporation | Sparse scanout for image sensors |
| US11393867B2 (en) | 2017-12-06 | 2022-07-19 | Facebook Technologies, Llc | Multi-photodiode pixel cell |
| DE112018006264T5 (de) | 2017-12-06 | 2020-08-20 | Sony Semiconductor Solutions Corporation | Festkörper-bildaufnahmevorrichtung, steuerverfahren für die festkörper-bildaufnahmevorrichtung und computerprogramm |
| US10708529B2 (en) | 2017-12-20 | 2020-07-07 | Semiconductor Components Industries, Llc | Image sensors with low-voltage transistors |
| US11057581B2 (en) | 2018-01-24 | 2021-07-06 | Facebook Technologies, Llc | Digital pixel array with multi-stage readouts |
| US20190246036A1 (en) | 2018-02-02 | 2019-08-08 | Futurewei Technologies, Inc. | Gesture- and gaze-based visual data acquisition system |
| KR102469080B1 (ko) | 2018-02-13 | 2022-11-23 | 에스케이하이닉스 주식회사 | 비교 장치 및 그에 따른 씨모스 이미지 센서 |
| US10827142B2 (en) | 2018-03-02 | 2020-11-03 | Facebook Technologies, Llc | Digital pixel array with adaptive exposure |
| JP2019153987A (ja) | 2018-03-06 | 2019-09-12 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び撮像装置の信号処理方法、並びに、電子機器 |
| US10969273B2 (en) | 2018-03-19 | 2021-04-06 | Facebook Technologies, Llc | Analog-to-digital converter having programmable quantization resolution |
| US11004881B2 (en) | 2018-04-03 | 2021-05-11 | Facebook Technologies, Llc | Global shutter image sensor |
| US10923523B2 (en) | 2018-04-16 | 2021-02-16 | Facebook Technologies, Llc | Multi-photodiode pixel cell |
| US10812742B2 (en) | 2018-04-18 | 2020-10-20 | Facebook Technologies, Llc | Apparatus and method for determining whether a photodiode saturates and outputting a digital value representing a charge from that photodiode based on that determination |
| US11233085B2 (en) | 2018-05-09 | 2022-01-25 | Facebook Technologies, Llc | Multi-photo pixel cell having vertical gate structure |
| US11348955B2 (en) | 2018-06-05 | 2022-05-31 | Brillnics Singapore Pte. Ltd. | Pixel structure for image sensors |
| US10804926B2 (en) | 2018-06-08 | 2020-10-13 | Facebook Technologies, Llc | Charge leakage compensation in analog-to-digital converter |
| US10834344B2 (en) | 2018-06-09 | 2020-11-10 | Facebook Technologies, Llc | Digital pixel with extended dynamic range |
| US10684681B2 (en) | 2018-06-11 | 2020-06-16 | Fotonation Limited | Neural network image processing apparatus |
| US10903260B2 (en) | 2018-06-11 | 2021-01-26 | Facebook Technologies, Llc | Multi-photodiode pixel cell |
| US11089210B2 (en) | 2018-06-11 | 2021-08-10 | Facebook Technologies, Llc | Configurable image sensor |
| US11089241B2 (en) | 2018-06-11 | 2021-08-10 | Facebook Technologies, Llc | Pixel cell with multiple photodiodes |
| US11463636B2 (en) | 2018-06-27 | 2022-10-04 | Facebook Technologies, Llc | Pixel sensor having multiple photodiodes |
| US10345447B1 (en) | 2018-06-27 | 2019-07-09 | Luminar Technologies, Inc. | Dynamic vision sensor to direct lidar scanning |
| US10897586B2 (en) | 2018-06-28 | 2021-01-19 | Facebook Technologies, Llc | Global shutter image sensor |
| US10708522B2 (en) | 2018-08-10 | 2020-07-07 | International Business Machines Corporation | Image sensor with analog sample and hold circuit control for analog neural networks |
| US10931884B2 (en) | 2018-08-20 | 2021-02-23 | Facebook Technologies, Llc | Pixel sensor having adaptive exposure time |
| US11956413B2 (en) | 2018-08-27 | 2024-04-09 | Meta Platforms Technologies, Llc | Pixel sensor having multiple photodiodes and shared comparator |
| US11595602B2 (en) | 2018-11-05 | 2023-02-28 | Meta Platforms Technologies, Llc | Image sensor post processing |
| US11102430B2 (en) | 2018-12-10 | 2021-08-24 | Facebook Technologies, Llc | Pixel sensor having multiple photodiodes |
| US11888002B2 (en) | 2018-12-17 | 2024-01-30 | Meta Platforms Technologies, Llc | Dynamically programmable image sensor |
| JP7319780B2 (ja) | 2019-01-11 | 2023-08-02 | ブリルニクス シンガポール プライベート リミテッド | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
| US11218660B1 (en) | 2019-03-26 | 2022-01-04 | Facebook Technologies, Llc | Pixel sensor having shared readout structure |
| US11943561B2 (en) | 2019-06-13 | 2024-03-26 | Meta Platforms Technologies, Llc | Non-linear quantization at pixel sensor |
| US11010327B2 (en) | 2019-07-23 | 2021-05-18 | Qualcomm Incorporated | I3C point to point |
| JP7460345B2 (ja) | 2019-09-30 | 2024-04-02 | ブリルニクス シンガポール プライベート リミテッド | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
| US11394905B2 (en) | 2019-12-13 | 2022-07-19 | Sony Semiconductor Solutions Corporation | Dynamic region of interest and frame rate for event based sensor and imaging camera |
| JP7455588B2 (ja) | 2020-01-17 | 2024-03-26 | キヤノン株式会社 | 撮像装置 |
| US11825228B2 (en) | 2020-05-20 | 2023-11-21 | Meta Platforms Technologies, Llc | Programmable pixel array having multiple power domains |
-
2019
- 2019-06-26 US US16/453,538 patent/US11463636B2/en active Active
- 2019-06-27 TW TW108122610A patent/TW202007139A/zh unknown
- 2019-06-27 JP JP2020564441A patent/JP2021528890A/ja active Pending
- 2019-06-27 CN CN201980057142.2A patent/CN112640438A/zh active Pending
- 2019-06-27 WO PCT/US2019/039410 patent/WO2020006174A1/en unknown
- 2019-06-27 KR KR1020217002689A patent/KR20210025617A/ko not_active Application Discontinuation
- 2019-06-27 EP EP19740456.9A patent/EP3815354A1/en active Pending
-
2022
- 2022-02-02 US US17/591,300 patent/US11863886B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20200007800A1 (en) | 2020-01-02 |
| US11463636B2 (en) | 2022-10-04 |
| US20220159204A1 (en) | 2022-05-19 |
| JP2021528890A (ja) | 2021-10-21 |
| TW202007139A (zh) | 2020-02-01 |
| WO2020006174A1 (en) | 2020-01-02 |
| CN112640438A (zh) | 2021-04-09 |
| EP3815354A1 (en) | 2021-05-05 |
| US11863886B2 (en) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11863886B2 (en) | Pixel sensor having multiple photodiodes | |
| US11102430B2 (en) | Pixel sensor having multiple photodiodes | |
| US11974044B2 (en) | Pixel sensor having adaptive exposure time | |
| US11956413B2 (en) | Pixel sensor having multiple photodiodes and shared comparator | |
| US10917589B2 (en) | Digital pixel with extended dynamic range | |
| US11943561B2 (en) | Non-linear quantization at pixel sensor | |
| CN111989912B (zh) | 多光电二极管像素单元 | |
| KR20210025638A (ko) | 전역적 셔터 이미지 센서 | |
| JP2020526104A (ja) | 拡張ダイナミックレンジを有するデジタルピクセル | |
| US11877080B2 (en) | Pixel sensor having shared readout structure | |
| KR20200139187A (ko) | 전역적 셔터 이미지 센서 | |
| US20230105527A1 (en) | Noise-reduction circuit for an image sensor | |
| WO2023049334A1 (en) | Digital pixel sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |