KR102620348B1 - 픽셀 파라미터의 픽셀 단위 코딩을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법 및 시스템 - Google Patents
픽셀 파라미터의 픽셀 단위 코딩을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR102620348B1 KR102620348B1 KR1020217038615A KR20217038615A KR102620348B1 KR 102620348 B1 KR102620348 B1 KR 102620348B1 KR 1020217038615 A KR1020217038615 A KR 1020217038615A KR 20217038615 A KR20217038615 A KR 20217038615A KR 102620348 B1 KR102620348 B1 KR 102620348B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- code
- subframe
- exposure
- tap
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000015654 memory Effects 0.000 claims description 43
- 230000003287 optical effect Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000010354 integration Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 230000005055 memory storage Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 56
- 238000003860 storage Methods 0.000 description 50
- 230000009977 dual effect Effects 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 23
- 238000013459 approach Methods 0.000 description 19
- 230000000295 complement effect Effects 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 17
- 239000003990 capacitor Substances 0.000 description 13
- 238000009792 diffusion process Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000012546 transfer Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 230000000873 masking effect Effects 0.000 description 9
- 238000012800 visualization Methods 0.000 description 9
- 238000010606 normalization Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 230000004907 flux Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 108020003175 receptors Proteins 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 235000012431 wafers Nutrition 0.000 description 4
- 102100030346 Antigen peptide transporter 1 Human genes 0.000 description 3
- 108010023335 Member 2 Subfamily B ATP Binding Cassette Transporter Proteins 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000007687 exposure technique Methods 0.000 description 3
- 238000012432 intermediate storage Methods 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 102100035175 SEC14-like protein 4 Human genes 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 101800000853 Tachykinin-associated peptide 3 Proteins 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 102100030343 Antigen peptide transporter 2 Human genes 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101800000849 Tachykinin-associated peptide 2 Proteins 0.000 description 1
- 101800000851 Tachykinin-associated peptide 4 Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005421 electrostatic potential Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4913—Circuits for detection, sampling, integration or read-out
- G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
코딩된 픽셀을 사용하여 이미지 센서 다이나믹 레인지를 확장하기 위한 방법 및 시스템이 제공된다. 방법은 다음의 단계들을 포함한다: 프레임의 각각의 서브프레임에 대한 광검출기 어레이 내의 픽셀에 픽셀 코드를 제공하는 단계; 각각의 서브프레임에 대한 광검출기 어레이 내의 픽셀의 각각의 픽셀의 센서 판독치를 수신하는 것; 각각의 서브프레임에 대해, 픽셀 코드에 기초하여, 하나 이상의 탭에서의 수집을 위해 또는 드레인으로 각각의 센서 판독치 값을 라우팅하는 단계; 프레임에 대한 단일의 픽셀 값을 결정하기 위해 탭의 각각에서 수집된 센서 판독치 값을 결합하는 단계; 및 프레임에 대한 각각의 픽셀에 대한 단일의 픽셀 값을 출력하는 단계.
Description
다음은 일반적으로 이미징에 관한 것으로, 더 구체적으로는, 픽셀 파라미터의 픽셀마다의 코딩(per-pixel coding)을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법 및 시스템에 관한 것이다.
스틸 카메라 및 비디오 카메라에서 확인될 수 있는 것들과 같은 이미징 센서는 복수의 감광성 수용체, 또는 센서, 또는 핀드 포토다이오드(pinned photodiode)와 같은 광검출기를 구비한다. 통상적으로, 각각의 수용체는 상보형 금속 산화물 반도체(complementary metal oxide semiconductor: CMOS)와 같은 반도체 기술을 사용하여 제조되는 디바이스이다. 광의 광자는 p-n 접합과 같은 수용체의 포토사이트(photosite) 상에서 수집된다. 픽셀은 이미지 센서 어레이의 기본 셀이다. 통상적으로, 각각의 픽셀에 대해 하나 이상의 포토사이트가 있다. 통상적으로, 광자는 하나 이상의 렌즈를 통해 이미징 센서의 광수용체로 지향된다. 각각의 포토사이트에 대해, 실리콘과 같은 수용체의 반도체에서 전하가 생성되는데, 여기서 이 광 생성 전하(photo-generated charge)는 수신되는 광의 강도에 통상적으로 비례한다. 각각의 전하의 값은 아날로그 대 디지털 컨버터(analog-to-digital converter: ADC)에 의해 디지털 값으로 변환되고 이미지를, 정지 사진 이미지로서뿐만 아니라 비디오 내 프레임으로서 생성하기 위해 사용된다.
한 양태에서, 코딩된 픽셀(coded pixel)을 사용하여 이미지 센서 다이나믹 레인지를 확장하기 위한 방법이 제공되는데, 이미지 센서는 유입하는 광 신호를 광 생성 전자 신호(photo-generated electronic signal)로 변환하기 위한 광검출기 어레이를 포함하고, 그 방법은 다음의 것을 포함한다: 프레임의 각각의 서브프레임에 대한 광검출기 어레이 내의 픽셀에 픽셀 코드를 제공하는 것; 각각의 서브프레임에 대한 광검출기 어레이 내의 픽셀의 각각의 픽셀의 센서 판독치(sensor readout)를 수신하는 것; 각각의 서브프레임에 대해, 픽셀 코드에 기초하여, 하나 이상의 탭에서의 수집을 위해 또는 드레인으로 각각의 센서 판독치 값을 라우팅하는 것; 프레임에 대한 단일의 픽셀 값을 결정하기 위해 탭의 각각에서 수집된 센서 판독치 값을 결합하는 것; 및 프레임에 대한 각각의 픽셀에 대한 단일의 픽셀 값을 출력하는 것.
방법의 특정한 경우에, 픽셀 코드는 각각의 픽셀의 노출 시간에 대응하는 코드를 포함하는데, 결과적으로 나타나는 광 생성 전하는 각각의 센서 판독치를 포함한다.
방법의 다른 경우에, 픽셀 코드는 광검출기에서 수신되는 신호의 신호 이득에 대응하는 코드를 포함한다.
방법의 또 다른 경우에, 각각의 픽셀 코드는 픽셀의 그룹에 상호 적용된다.
방법의 또 다른 경우에, 픽셀 코드는 사전 결정된다.
방법의 또 다른 경우에, 픽셀 코드는 이전에 수신된 픽셀 값에 기초하여 적응적으로 결정된다.
방법의 또 다른 경우에, 픽셀 코드는 이전에 수신된 픽셀 값에 기초하여 코드 메모리 저장소(code memory store)에 사전 로딩된다.
방법의 또 다른 경우에, 방법은 현재의 서브프레임의 센서 판독치가 수집됨에 따라 이전 서브프레임에 대한 픽셀 코드에 기초하여 각각의 탭 상의 수집된 전하를 분류하는(sorting) 것을 더 포함한다.
방법의 또 다른 경우에, 각각의 픽셀은 하나의 탭을 포함하고, 각각의 픽셀에 대한 픽셀 코드는 1 비트 2진수를 포함한다.
방법의 또 다른 경우에, 픽셀 중 하나 이상에 대한 픽셀 코드는, 하나 이상의 탭의 각각이 개별적으로 프로그래밍 가능한 통합 시간 간격을 갖는다는 것을 지시한다.
방법의 또 다른 경우에, 통합 시간 간격의 평균은 다수의 프레임에 걸쳐 균등화된다.
다른 양태에서, 코딩된 픽셀을 사용하여 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템이 제공되는데, 이미지 센서는 유입하는 광 신호를 광 생성 전자 신호로 변환하기 위한 광검출기 어레이를 포함하고, 시스템은 회로 로직을 포함하는데, 회로 로직은 다음의 것을 실행하도록 구성된다: 프레임의 각각의 서브프레임에 대한 광검출기 어레이 내의 픽셀에 픽셀 코드를 제공하기 위한 그리고, 각각의 서브프레임에 대해, 픽셀 코드에 기초하여, 픽셀의 각각의 픽셀의 광 생성 전자 신호 값을, 하나 이상의 탭에서의 수집을 위해 또는 드레인으로, 라우팅하기 위한 코딩 모듈; 프레임에 대한 단일의 픽셀 값을 결정하기 위해 탭의 각각에서 이용 가능한 수집된 신호 값을 결합하기 위한 하이 다이나믹 레인지(high-dynamic-range: HDR) 디코딩 모듈; 및 프레임에 대한 각각의 픽셀에 대한 단일의 픽셀 값을 출력하기 위한 출력 모듈.
시스템의 특정한 경우에, 픽셀 코드는 각각의 픽셀의 노출 시간에 대응하는 코드를 포함하는데, 결과적으로 나타나는 광 생성 전하는 각각의 센서 판독치를 포함한다.
시스템의 다른 경우에, 픽셀 코드는 광검출기에서 수신되는 신호의 신호 이득에 대응하는 코드를 포함한다.
시스템의 또 다른 경우에, 각각의 픽셀 코드는 픽셀의 그룹에 상호 적용된다.
시스템의 또 다른 경우에, 픽셀 코드는 이전에 수신된 픽셀 값에 기초하여 적응적으로 결정된다.
시스템의 또 다른 경우에, 코딩 모듈은 이전에 수신된 픽셀 값에 기초하여 코드 메모리 저장소에 로딩된 대로 픽셀 코드를 사용한다.
시스템의 또 다른 경우에, 코딩 모듈은 하나 이상의 이전 서브프레임에 대한 픽셀 코드 및 센서 판독치 값에 기초하여 각각의 탭 상의 수집된 전하를 분류한다.
시스템의 또 다른 경우에, 각각의 픽셀은 하나의 탭을 포함하고, 각각의 픽셀에 대한 픽셀 코드는 1 비트 2진수를 포함한다.
시스템의 또 다른 경우에, 광검출기 어레이 내의 각각의 픽셀은 하나 이상의 전하 수집 노드를 포함하고, 하나 이상의 픽셀로부터의 전하 수집 노드는 픽셀 코드에 기초하여 신호 이득을 수정하도록 결합된다.
시스템의 또 다른 경우에, 픽셀 코드는 유입하는 광 신호의 비행 시간을 감지하는 픽셀에 대한 픽셀 노출 시간을 지시한다.
시스템의 또 다른 경우에, 픽셀 코드는 유입하는 광 신호의 비행 시간을 감지하는 픽셀에 대한 신호 이득을 지시한다.
시스템의 또 다른 경우에, HDR 디코딩 모듈은 아날로그 대 디지털 컨버터(ADC)를 포함하고, ADC의 분해능은 프레임을 디지털화하는 것과 비교하여 서브프레임을 디지털화하는 것에 대해 상이하다.
시스템의 또 다른 경우에, HDR 디코딩 모듈은 아날로그 대 디지털 컨버터(ADC)를 포함하고, ADC의 하나 이상의 파라미터는 하나 이상의 서브프레임에 대해 또는 하나 이상의 프레임에 대해 동적으로 조정된다.
다른 양태에서, 픽셀마다의 코딩된 노출(per-pixel coded exposure) 및 그러한 픽셀마다의 코딩된 노출을 갖는 센서의 이전의 판독치를 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법이 제공되는데, 그 방법은 다음의 것을 포함한다: 이전의 판독치로부터 유도되는 현재의 코딩된 노출에 대한 현재의 코드 매트릭스를 생성하는 것; 현재의 코딩된 매트릭스를 픽셀로 전송하는 것; 픽셀의 각각의 픽셀의 현재의 원시(raw) 센서 판독치를 수신하는 것; 픽셀마다의 노출 시간에 기초하여 현재의 원시 센서 판독치를 프로세싱하는 것에 의해 하이 다이나믹 레인지(HDR) 이미지를 재구성하는 것; 및 HDR 이미지 및 현재의 원시 센서 판독치 중 적어도 하나를 출력하는 것.
이들 및 다른 실시형태가 본 명세서에서 고려되고 설명된다. 전술한 요약은 다음의 상세한 설명을 이해함에 있어서 숙련된 독자를 지원하기 위한 시스템 및 방법의 대표적인 양태를 제시한다는 것이 인식될 것이다.
본 발명의 특징부는 첨부된 도면에 대한 참조가 이루어지는 다음의 상세한 설명에서 더욱 명백하게 될 것인데, 첨부된 도면에서:
도 1은, 실시형태에 따른, 코딩된 픽셀을 사용하여 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템의 개략도;
도 2는 단일 프레임 하이 다이나믹 레인지(HDR) 접근법의 예의 다이어그램;
도 3은 공간 광 변조기(spatial light modulator: SLM) 접근법의 예의 다이어그램;
도 4a는, 실시형태에 따른, 개루프(open-loop) 하이 다이나믹 레인지(HDR) 이미징 방법의 예시적인 구현예의 플로우차트;
도 4b는, 실시형태에 따른, 폐루프(closed-loop) HDR 이미징 방법의 예시적인 구현예의 플로우차트;
도 5a는 종래의 이미지 센서의 노출 기술을 예시하기 위한 다이어그램;
도 5b는 코딩된 노출 픽셀(coded-exposure-pixel: CEP) 이미지 센서의 노출 기술을 예시하는 다이어그램;
도 6a는, 두 개의 탭이 임의의 2진 코드에 의해 제어되는 듀얼 탭 CEP 이미지 센서의 예시적인 노출 기능성(functionality)을 묘사하는 다이어그램;
도 6b는, 두 개의 버킷이 완전히 임의의 2진 코드에 의해 제어되는 듀얼 탭 CEP 이미지 센서의 예시적인 노출 기능성을 묘사하는 다이어그램;
도 6c는, 광 생성 전하를 복조하는 또는 그것을 배출하는(drain) 두 개의 상보적 1 비트 2진 코드에 의해 제어되는 간접 비행 시간(indirect time-of-flight: iToF) 픽셀의 예시적인 노출 기능성을 묘사하는 다이어그램;
도 7a는 복수의 탭을 나타내며 코딩된 노출 픽셀(coded-exposure pixel: CEP) 및 코딩된 이득 픽셀(coded-gain pixel: CGP) 둘 모두의 기능성을 포함하는 코딩된 픽셀(coded-pixel: CP) 픽셀 아키텍처의 예의 회로도;
도 7b는 추가적인 중간 전하 저장 노드가 추가된 코딩된 픽셀(CP) 픽셀 아키텍처의 예의 회로도;
도 7c는, 복수의 탭을 나타내며 코딩된 노출 픽셀(CEP) 및 코딩된 이득 픽셀(CGP) 둘 모두의 기능성을 포함하는, 조명 소스로부터 광검출기로 유입하는 광자의 비행 시간을 감지하기 위한 코딩된 픽셀(CP) 픽셀 아키텍처의 예의 회로도;
도 7d는 조명 소스로부터 광검출기로 유입하는 광자의 비행 시간을 감지하기 위한 코딩된 픽셀(CP) 픽셀 아키텍처의 예의 회로도인데, 여기서는 추가적인 중간 전하 저장 노드가 추가됨;
도 8a는 단일 탭 픽셀에 대한 픽셀 노출 코드의 예시적인 경우의 시공간 시각화임;
도 8b는 듀얼 탭 픽셀에 대한 픽셀 노출 코드의 예시적인 경우의 시공간 시각화임;
도 8c는 단일 탭 픽셀에 대한 픽셀 노출 코드의 예시적인 경우의 시공간 시각화인데, 여기서는 서브프레임 지속 기간 및 서브프레임 수 둘 모두가 각각의 프레임에 대해 동적으로 조정되고, 여기서는 n 번째 프레임의 프레임마다 다섯 개의 서브프레임이 있음;
도 8d는 단일 탭 픽셀에 대한 픽셀 노출 코드의 예시적인 경우의 시공간 시각화인데, 여기서는 서브프레임 지속 기간 및 서브프레임 수 둘 모두가 각각의 프레임에 대해 동적으로 조정되고, 여기서는 (n+1) 번째 프레임의 프레임마다 네 개의 서브프레임이 있음;
도 9a는 두 개의 픽셀 내 탭(in-pixel tap)에 대해 두 개의 노출 코드를 사용하는 것에 의한 HDR 이미징을 위한 듀얼 탭 픽셀의 두 개의 예에 대한 회로도;
도 9b는 탭 둘 모두에 대한 노출 기간이 연속적이고 프레임의 시작부터 시작하는 예를 도시하는 다이어그램;
도 9c는 탭 노출이 임의의 시간 코드에 의해 설정되는 예를 도시하는 다이어그램;
도 9d는 단일의 듀얼 탭 픽셀에 대한 시뮬레이팅된 탭마다의 신호 대 노이즈 비(signal-to-noise ratio: SNR) 대 입사광 강도의 플롯;
도 10a는 네 개의 픽셀 내 탭에 대해 네 개의 노출 코드를 사용하는 것에 의한 HDR 이미징을 위한 4 탭 픽셀(four-tap pixel)의 두 개의 예에 대한 회로도;
도 10b는 모든 탭에 대한 노출 기간이 연속적이고 프레임의 시작부터 시작하는 예를 도시하는 다이어그램;
도 10c는 탭 노출이 임의의 시간 코드에 의해 설정되는 예를 도시하는 다이어그램;
도 10d는 단일의 4 탭 픽셀에 대한 시뮬레이팅된 탭마다의 신호 대 노이즈 비(SNR) 대 입사광 강도의 플롯;
도 11a는 픽셀 어레이에 걸쳐 반복되는 TILEx 픽셀×TILEy 픽셀 사이즈의 단일 탭 픽셀의 이웃의 다이어그램;
도 11b는, 프레임 시간의 절반에 중심을 두는, 모든 픽셀에 대한 노출 기간이 연속적인 예를 도시하는 다이어그램;
도 11c는 타일 내의 픽셀의 각각에 대해 프로그래밍되는 임의의 시간 코드의 예를 도시하는 다이어그램;
도 11d는 네 개의 단일 탭 픽셀의 이웃에 대한 시뮬레이팅된 탭마다의 신호 대 노이즈 비(SNR) 대 입사광 강도의 예의 플롯;
도 12a는 픽셀 어레이에 걸쳐 반복되는 TILEx 픽셀×TILEy 픽셀 사이즈의 듀얼 탭 픽셀의 이웃의 다이어그램;
도 12b는, 프레임의 시작에서 시작하는, 모든 픽셀에 대한 노출 기간이 연속적인 다른 예를 도시하는 다이어그램;
도 12c는 타일 내의 픽셀의 각각에 대해 프로그래밍되는 임의의 시간 코드의 다른 예를 도시하는 다이어그램;
도 12d는 네 개의 단일 탭 픽셀의 이웃에 대한 시뮬레이팅된 탭마다의 신호 대 노이즈 비(SNR) 대 입사광 강도의 다른 예의 플롯;
도 13은, 각각의 노출 코드가 네 개의 프레임에 걸쳐 회전되고 반복되는, 2×2 단일 탭 픽셀 타일의 예임;
도 14는 CP 이미지 센서의 최상위 레벨 시스템 블록도의 예의 다이어그램;
도 15a는 코드 메모리 픽셀(code-memory pixel: CMP) 픽셀 아키텍처에 대한 듀얼 탭 코딩된 노출 픽셀(CEP) 아키텍처의 플로우차트;
도 15b는 일반화된 듀얼 탭 코딩된 노출 픽셀(CEP) 아키텍처의 플로우차트;
도 15c는 데이터 메모리 픽셀(data-memory pixel: DMP) 아키텍처에 대한 듀얼 탭 코딩된 노출 픽셀(CEP) 아키텍처의 플로우차트;
도 16a는 전역적 드레인(global drain)을 갖는 CMP 픽셀 아키텍처의 예의 회로도;
도 16b는 전역적 드레인을 갖는 DMP 픽셀 아키텍처의 예의 회로도;
도 16c는 픽셀마다의 코딩된 드레인(per-pixel coded drain)을 갖는 CMP 픽셀 아키텍처의 예의 회로도;
도 16d는 픽셀마다의 코딩된 드레인을 갖는 DMP 픽셀 아키텍처의 예의 회로도;
도 17a는 전역적 드레인을 갖는 CMP 픽셀 아키텍처의 다른 예의 회로도;
도 17b는 전역적 드레인을 갖는 DMP 픽셀 아키텍처의 다른 예의 회로도;
도 17c는 픽셀마다의 코딩된 드레인을 갖는 CMP 픽셀 아키텍처의 다른 예의 회로도;
도 17d는 픽셀마다의 코딩된 드레인을 갖는 DMP 픽셀 아키텍처의 다른 예의 회로도;
도 17e는 CMP 및 DMP 픽셀 아키텍처에 대한 예시적인 타이밍도;
도 18a는 듀얼 탭 CMP 이미지 센서 픽셀 예에 대한 예시적인 레이아웃 및 전위 다이어그램을 예시한 도면;
도 18b는 듀얼 탭 DMP 이미지 센서 픽셀 예에 대한 예시적인 레이아웃 및 전위 다이어그램을 예시한 도면;
도 19a는 CMP 아키텍처에 대한 픽셀마다의 코딩된 노출 및 전역적 이득 제어 둘 모두 갖는 듀얼 탭 픽셀의 예의 회로도;
도 19b는 DMP 아키텍처에 대한 픽셀마다의 코딩된 노출 및 전역적 이득 제어 둘 모두를 갖는 듀얼 탭 픽셀의 예의 회로도;
도 20a는 CMP 아키텍처에 대한 픽셀마다의 코딩된 노출 및 픽셀마다의 이득 제어 둘 모두를 갖는 듀얼 탭 픽셀의 예의 회로도;
도 20b는 DMP 아키텍처에 대한 픽셀마다의 코딩된 노출 및 픽셀마다의 이득 제어 둘 모두를 갖는 듀얼 탭 픽셀의 예의 회로도;
도 20c는 간접 비행 시간(iToF) CMP 아키텍처에 대한 픽셀마다의 코딩된 노출 및 픽셀마다의 이득 제어 둘 모두를 갖는 4 탭 픽셀의 예의 회로도;
도 20d는 iToF DMP 아키텍처에 대한 픽셀마다의 코딩된 노출 및 픽셀마다의 이득 제어 둘 모두를 갖는 4 탭 픽셀의 예의 회로도;
도 21a는 프로그래밍 가능 분해능 아날로그 대 디지털 컨버터(ADC)를 갖는 디지털 판독 회로부의 예의 다이어그램;
도 21b는, 예컨대 고정된 또는 가변 VREF를 갖는 비교기에 의해 구현되는, ADC 분해능이 조악한(coarse) 경우의 예시적인 동작 모드의 다이어그램;
도 21c는 ADC 분해능이 미세 분해능(fine resolution)으로 설정되는 경우의 예시적인 동작 모드의 다이어그램;
도 22a는, 조악한 ADC 기준 전압(VREF)이 일정하게 유지되고, 탭 값이 VREF에 도달한 이후 주어진 탭 상에서의 전하 축적이 하나의 서브프레임 레이턴시를 가지고 중단되는 경우의 가능한 픽셀 탭 값의 예를 도시하는 차트;
도 22b는, 일정한 조악한 ADC 기준 전압(VREF)에 대한, 서브프레임마다의 코드의 변화에 따른 신호 품질의 변동을 예시하는 SNR 대 입사광 강도를 도시하는 플롯;
도 22c는, 조악한 ADC 기준 전압(VREF)이 서브프레임마다 변하고 탭 값이 VREF에 도달한 이후 주어진 탭 상에서의 전하 축적이 하나의 서브프레임 레이턴시를 가지고 중단되는 경우의 가능한 픽셀 탭 값의 예를 도시하는 차트;
도 22d는, 시간에 따라 변하는 조악한 ADC 기준 전압(VREF)에 대한, 서브프레임마다의 코드의 변화에 따른 신호 품질의 변동을 예시하는 SNR 대 입사광 강도를 도시하는 플롯;
도 23은 픽셀 노출 시간의 프레임 대 프레임 동적 시공간 코딩의 예를 도식적으로 예시한 도면;
도 24a는 단일 프레임 내의 픽셀 노출 시간의 코딩된 시공간의 다른 예를 도식적으로 예시한 도면;
도 24b는 각각의 픽셀에 대한 예시적인 1 탭 실시형태의 개략적인 회로도;
도 25a는 1진 가중식(unary-weighted) 픽셀 노출 시간 설정 및 코드 시퀀스의 예임;
도 25b는 2진 가중식(binary-weighted) 픽셀 노출 시간 설정 및 코드 시퀀스의 예임;
도 26a는 도 25a의 1진 가중식 방식에 대한 조명의 전체 범위에 걸친 픽셀의 원시 출력의 예의 플롯;
도 26b는 도 25b의 2진 가중식 방식에 대한 조명의 전체 범위에 걸친 픽셀의 원시 출력의 예의 플롯;
도 27a는 도 26a의 정규화된 버전의 예의 플롯;
도 27b는 도 26b의 정규화된 버전의 예의 플롯;
도 28은 예시적인 파이프라인 구현예를 도시하는 플로우차트;
도 29는 픽셀마다의 코딩된 노출을 사용하는 예를 도식적으로 예시한 도면;
도 30은 도 29의 예에 대한 원시 출력 및 HDR 재구성의 예의 플롯을 예시한 도면;
도 31은 예시적인 실험을 위해 사용되는 장면의 이미지;
도 32a는 도 31의 예시적인 실험을 위해 낮은 노출을 사용하여 캡처되는 이미지를 도시한 도면;
도 32b는 도 31의 예시적인 실험에 대해 높은 노출 설정을 사용하여 캡처되는 이미지를 도시한 도면;
도 33은 3개의 상이한 코딩 방식에 대한 도 31의 예시적인 실험의 결과에 대한 비교를 예시한 도면;
도 34는 코딩 방식의 예시적인 예시를 도시한 도면;
도 35는 예시적인 대규모 집적(very-large-scale integration: VLSI) 아키텍처이다;
도 36a는 이미지 센서를 갖는 예시적인 카메라의 이미지;
도 36b는 이미지 센서에 대한 예시적인 칩 현미경 사진(micrograph);
도 36c는 도 36b의 예시적인 이미지 센서의 명세 및 다이나믹 레인지를 도시한 도면;
도 37은, 실시형태에 따른, 픽셀마다의 코딩된 노출을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법의 플로우차트;
도 38a는 시간적 픽셀 코딩의 예임;
도 38b는 부분적 시공간 코딩의 예임;
도 38c는 픽셀마다의 코딩된 노출 코딩(per-pixel coded-exposure coding)의 예임; 및
도 39는, 실시형태에 따른, 코딩된 픽셀을 사용하여 이미지 센서 다이나믹 레인지를 확장하기 위한 방법의 플로우차트.
도 1은, 실시형태에 따른, 코딩된 픽셀을 사용하여 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템의 개략도;
도 2는 단일 프레임 하이 다이나믹 레인지(HDR) 접근법의 예의 다이어그램;
도 3은 공간 광 변조기(spatial light modulator: SLM) 접근법의 예의 다이어그램;
도 4a는, 실시형태에 따른, 개루프(open-loop) 하이 다이나믹 레인지(HDR) 이미징 방법의 예시적인 구현예의 플로우차트;
도 4b는, 실시형태에 따른, 폐루프(closed-loop) HDR 이미징 방법의 예시적인 구현예의 플로우차트;
도 5a는 종래의 이미지 센서의 노출 기술을 예시하기 위한 다이어그램;
도 5b는 코딩된 노출 픽셀(coded-exposure-pixel: CEP) 이미지 센서의 노출 기술을 예시하는 다이어그램;
도 6a는, 두 개의 탭이 임의의 2진 코드에 의해 제어되는 듀얼 탭 CEP 이미지 센서의 예시적인 노출 기능성(functionality)을 묘사하는 다이어그램;
도 6b는, 두 개의 버킷이 완전히 임의의 2진 코드에 의해 제어되는 듀얼 탭 CEP 이미지 센서의 예시적인 노출 기능성을 묘사하는 다이어그램;
도 6c는, 광 생성 전하를 복조하는 또는 그것을 배출하는(drain) 두 개의 상보적 1 비트 2진 코드에 의해 제어되는 간접 비행 시간(indirect time-of-flight: iToF) 픽셀의 예시적인 노출 기능성을 묘사하는 다이어그램;
도 7a는 복수의 탭을 나타내며 코딩된 노출 픽셀(coded-exposure pixel: CEP) 및 코딩된 이득 픽셀(coded-gain pixel: CGP) 둘 모두의 기능성을 포함하는 코딩된 픽셀(coded-pixel: CP) 픽셀 아키텍처의 예의 회로도;
도 7b는 추가적인 중간 전하 저장 노드가 추가된 코딩된 픽셀(CP) 픽셀 아키텍처의 예의 회로도;
도 7c는, 복수의 탭을 나타내며 코딩된 노출 픽셀(CEP) 및 코딩된 이득 픽셀(CGP) 둘 모두의 기능성을 포함하는, 조명 소스로부터 광검출기로 유입하는 광자의 비행 시간을 감지하기 위한 코딩된 픽셀(CP) 픽셀 아키텍처의 예의 회로도;
도 7d는 조명 소스로부터 광검출기로 유입하는 광자의 비행 시간을 감지하기 위한 코딩된 픽셀(CP) 픽셀 아키텍처의 예의 회로도인데, 여기서는 추가적인 중간 전하 저장 노드가 추가됨;
도 8a는 단일 탭 픽셀에 대한 픽셀 노출 코드의 예시적인 경우의 시공간 시각화임;
도 8b는 듀얼 탭 픽셀에 대한 픽셀 노출 코드의 예시적인 경우의 시공간 시각화임;
도 8c는 단일 탭 픽셀에 대한 픽셀 노출 코드의 예시적인 경우의 시공간 시각화인데, 여기서는 서브프레임 지속 기간 및 서브프레임 수 둘 모두가 각각의 프레임에 대해 동적으로 조정되고, 여기서는 n 번째 프레임의 프레임마다 다섯 개의 서브프레임이 있음;
도 8d는 단일 탭 픽셀에 대한 픽셀 노출 코드의 예시적인 경우의 시공간 시각화인데, 여기서는 서브프레임 지속 기간 및 서브프레임 수 둘 모두가 각각의 프레임에 대해 동적으로 조정되고, 여기서는 (n+1) 번째 프레임의 프레임마다 네 개의 서브프레임이 있음;
도 9a는 두 개의 픽셀 내 탭(in-pixel tap)에 대해 두 개의 노출 코드를 사용하는 것에 의한 HDR 이미징을 위한 듀얼 탭 픽셀의 두 개의 예에 대한 회로도;
도 9b는 탭 둘 모두에 대한 노출 기간이 연속적이고 프레임의 시작부터 시작하는 예를 도시하는 다이어그램;
도 9c는 탭 노출이 임의의 시간 코드에 의해 설정되는 예를 도시하는 다이어그램;
도 9d는 단일의 듀얼 탭 픽셀에 대한 시뮬레이팅된 탭마다의 신호 대 노이즈 비(signal-to-noise ratio: SNR) 대 입사광 강도의 플롯;
도 10a는 네 개의 픽셀 내 탭에 대해 네 개의 노출 코드를 사용하는 것에 의한 HDR 이미징을 위한 4 탭 픽셀(four-tap pixel)의 두 개의 예에 대한 회로도;
도 10b는 모든 탭에 대한 노출 기간이 연속적이고 프레임의 시작부터 시작하는 예를 도시하는 다이어그램;
도 10c는 탭 노출이 임의의 시간 코드에 의해 설정되는 예를 도시하는 다이어그램;
도 10d는 단일의 4 탭 픽셀에 대한 시뮬레이팅된 탭마다의 신호 대 노이즈 비(SNR) 대 입사광 강도의 플롯;
도 11a는 픽셀 어레이에 걸쳐 반복되는 TILEx 픽셀×TILEy 픽셀 사이즈의 단일 탭 픽셀의 이웃의 다이어그램;
도 11b는, 프레임 시간의 절반에 중심을 두는, 모든 픽셀에 대한 노출 기간이 연속적인 예를 도시하는 다이어그램;
도 11c는 타일 내의 픽셀의 각각에 대해 프로그래밍되는 임의의 시간 코드의 예를 도시하는 다이어그램;
도 11d는 네 개의 단일 탭 픽셀의 이웃에 대한 시뮬레이팅된 탭마다의 신호 대 노이즈 비(SNR) 대 입사광 강도의 예의 플롯;
도 12a는 픽셀 어레이에 걸쳐 반복되는 TILEx 픽셀×TILEy 픽셀 사이즈의 듀얼 탭 픽셀의 이웃의 다이어그램;
도 12b는, 프레임의 시작에서 시작하는, 모든 픽셀에 대한 노출 기간이 연속적인 다른 예를 도시하는 다이어그램;
도 12c는 타일 내의 픽셀의 각각에 대해 프로그래밍되는 임의의 시간 코드의 다른 예를 도시하는 다이어그램;
도 12d는 네 개의 단일 탭 픽셀의 이웃에 대한 시뮬레이팅된 탭마다의 신호 대 노이즈 비(SNR) 대 입사광 강도의 다른 예의 플롯;
도 13은, 각각의 노출 코드가 네 개의 프레임에 걸쳐 회전되고 반복되는, 2×2 단일 탭 픽셀 타일의 예임;
도 14는 CP 이미지 센서의 최상위 레벨 시스템 블록도의 예의 다이어그램;
도 15a는 코드 메모리 픽셀(code-memory pixel: CMP) 픽셀 아키텍처에 대한 듀얼 탭 코딩된 노출 픽셀(CEP) 아키텍처의 플로우차트;
도 15b는 일반화된 듀얼 탭 코딩된 노출 픽셀(CEP) 아키텍처의 플로우차트;
도 15c는 데이터 메모리 픽셀(data-memory pixel: DMP) 아키텍처에 대한 듀얼 탭 코딩된 노출 픽셀(CEP) 아키텍처의 플로우차트;
도 16a는 전역적 드레인(global drain)을 갖는 CMP 픽셀 아키텍처의 예의 회로도;
도 16b는 전역적 드레인을 갖는 DMP 픽셀 아키텍처의 예의 회로도;
도 16c는 픽셀마다의 코딩된 드레인(per-pixel coded drain)을 갖는 CMP 픽셀 아키텍처의 예의 회로도;
도 16d는 픽셀마다의 코딩된 드레인을 갖는 DMP 픽셀 아키텍처의 예의 회로도;
도 17a는 전역적 드레인을 갖는 CMP 픽셀 아키텍처의 다른 예의 회로도;
도 17b는 전역적 드레인을 갖는 DMP 픽셀 아키텍처의 다른 예의 회로도;
도 17c는 픽셀마다의 코딩된 드레인을 갖는 CMP 픽셀 아키텍처의 다른 예의 회로도;
도 17d는 픽셀마다의 코딩된 드레인을 갖는 DMP 픽셀 아키텍처의 다른 예의 회로도;
도 17e는 CMP 및 DMP 픽셀 아키텍처에 대한 예시적인 타이밍도;
도 18a는 듀얼 탭 CMP 이미지 센서 픽셀 예에 대한 예시적인 레이아웃 및 전위 다이어그램을 예시한 도면;
도 18b는 듀얼 탭 DMP 이미지 센서 픽셀 예에 대한 예시적인 레이아웃 및 전위 다이어그램을 예시한 도면;
도 19a는 CMP 아키텍처에 대한 픽셀마다의 코딩된 노출 및 전역적 이득 제어 둘 모두 갖는 듀얼 탭 픽셀의 예의 회로도;
도 19b는 DMP 아키텍처에 대한 픽셀마다의 코딩된 노출 및 전역적 이득 제어 둘 모두를 갖는 듀얼 탭 픽셀의 예의 회로도;
도 20a는 CMP 아키텍처에 대한 픽셀마다의 코딩된 노출 및 픽셀마다의 이득 제어 둘 모두를 갖는 듀얼 탭 픽셀의 예의 회로도;
도 20b는 DMP 아키텍처에 대한 픽셀마다의 코딩된 노출 및 픽셀마다의 이득 제어 둘 모두를 갖는 듀얼 탭 픽셀의 예의 회로도;
도 20c는 간접 비행 시간(iToF) CMP 아키텍처에 대한 픽셀마다의 코딩된 노출 및 픽셀마다의 이득 제어 둘 모두를 갖는 4 탭 픽셀의 예의 회로도;
도 20d는 iToF DMP 아키텍처에 대한 픽셀마다의 코딩된 노출 및 픽셀마다의 이득 제어 둘 모두를 갖는 4 탭 픽셀의 예의 회로도;
도 21a는 프로그래밍 가능 분해능 아날로그 대 디지털 컨버터(ADC)를 갖는 디지털 판독 회로부의 예의 다이어그램;
도 21b는, 예컨대 고정된 또는 가변 VREF를 갖는 비교기에 의해 구현되는, ADC 분해능이 조악한(coarse) 경우의 예시적인 동작 모드의 다이어그램;
도 21c는 ADC 분해능이 미세 분해능(fine resolution)으로 설정되는 경우의 예시적인 동작 모드의 다이어그램;
도 22a는, 조악한 ADC 기준 전압(VREF)이 일정하게 유지되고, 탭 값이 VREF에 도달한 이후 주어진 탭 상에서의 전하 축적이 하나의 서브프레임 레이턴시를 가지고 중단되는 경우의 가능한 픽셀 탭 값의 예를 도시하는 차트;
도 22b는, 일정한 조악한 ADC 기준 전압(VREF)에 대한, 서브프레임마다의 코드의 변화에 따른 신호 품질의 변동을 예시하는 SNR 대 입사광 강도를 도시하는 플롯;
도 22c는, 조악한 ADC 기준 전압(VREF)이 서브프레임마다 변하고 탭 값이 VREF에 도달한 이후 주어진 탭 상에서의 전하 축적이 하나의 서브프레임 레이턴시를 가지고 중단되는 경우의 가능한 픽셀 탭 값의 예를 도시하는 차트;
도 22d는, 시간에 따라 변하는 조악한 ADC 기준 전압(VREF)에 대한, 서브프레임마다의 코드의 변화에 따른 신호 품질의 변동을 예시하는 SNR 대 입사광 강도를 도시하는 플롯;
도 23은 픽셀 노출 시간의 프레임 대 프레임 동적 시공간 코딩의 예를 도식적으로 예시한 도면;
도 24a는 단일 프레임 내의 픽셀 노출 시간의 코딩된 시공간의 다른 예를 도식적으로 예시한 도면;
도 24b는 각각의 픽셀에 대한 예시적인 1 탭 실시형태의 개략적인 회로도;
도 25a는 1진 가중식(unary-weighted) 픽셀 노출 시간 설정 및 코드 시퀀스의 예임;
도 25b는 2진 가중식(binary-weighted) 픽셀 노출 시간 설정 및 코드 시퀀스의 예임;
도 26a는 도 25a의 1진 가중식 방식에 대한 조명의 전체 범위에 걸친 픽셀의 원시 출력의 예의 플롯;
도 26b는 도 25b의 2진 가중식 방식에 대한 조명의 전체 범위에 걸친 픽셀의 원시 출력의 예의 플롯;
도 27a는 도 26a의 정규화된 버전의 예의 플롯;
도 27b는 도 26b의 정규화된 버전의 예의 플롯;
도 28은 예시적인 파이프라인 구현예를 도시하는 플로우차트;
도 29는 픽셀마다의 코딩된 노출을 사용하는 예를 도식적으로 예시한 도면;
도 30은 도 29의 예에 대한 원시 출력 및 HDR 재구성의 예의 플롯을 예시한 도면;
도 31은 예시적인 실험을 위해 사용되는 장면의 이미지;
도 32a는 도 31의 예시적인 실험을 위해 낮은 노출을 사용하여 캡처되는 이미지를 도시한 도면;
도 32b는 도 31의 예시적인 실험에 대해 높은 노출 설정을 사용하여 캡처되는 이미지를 도시한 도면;
도 33은 3개의 상이한 코딩 방식에 대한 도 31의 예시적인 실험의 결과에 대한 비교를 예시한 도면;
도 34는 코딩 방식의 예시적인 예시를 도시한 도면;
도 35는 예시적인 대규모 집적(very-large-scale integration: VLSI) 아키텍처이다;
도 36a는 이미지 센서를 갖는 예시적인 카메라의 이미지;
도 36b는 이미지 센서에 대한 예시적인 칩 현미경 사진(micrograph);
도 36c는 도 36b의 예시적인 이미지 센서의 명세 및 다이나믹 레인지를 도시한 도면;
도 37은, 실시형태에 따른, 픽셀마다의 코딩된 노출을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법의 플로우차트;
도 38a는 시간적 픽셀 코딩의 예임;
도 38b는 부분적 시공간 코딩의 예임;
도 38c는 픽셀마다의 코딩된 노출 코딩(per-pixel coded-exposure coding)의 예임; 및
도 39는, 실시형태에 따른, 코딩된 픽셀을 사용하여 이미지 센서 다이나믹 레인지를 확장하기 위한 방법의 플로우차트.
이제, 실시형태가 도면을 참조하여 설명될 것이다. 예시의 단순성 및 명확성을 위해, 적절한 것으로서 간주되는 경우, 대응하는 또는 유사한 엘리먼트를 나타내기 위해 도면에 걸쳐 참조 번호가 반복될 수도 있다. 또한, 본 명세서에서 설명되는 실시형태의 완전한 이해를 제공하기 위해 다수의 특정한 세부 사항이 기술된다. 그러나, 본 명세서에서 설명되는 실시형태는 이들 특정한 세부 사항이 없어도 실시될 수도 있다는 것이 기술 분야에서 통상의 기술을 가진 자에 의해 이해될 것이다. 다른 경우에, 널리 공지된 방법, 프로시저 및 컴포넌트는 본 명세서에서 설명되는 실시형태를 불명료하게 하지 않도록 상세하게 설명되지 않았다. 또한, 설명은 본 명세서에서 설명되는 실시형태의 범위를 제한하는 것으로서 간주되어서는 안된다.
본 설명 전반에 걸쳐 사용되는 다양한 용어는, 문맥이 달리 지시하지 않는 한, 다음과 같이 판독되고 이해될 수도 있다: 전체에 걸쳐 사용되는 바와 같은 "또는"은, 마치 "및/또는"으로 작성된 것처럼, 포괄적이다; 전체에 걸쳐 사용되는 바와 같은 단수 관사 및 대명사는 그들의 복수 형태를 포함하고, 그 반대의 경우도 가능하다; 유사하게, 대명사가 본 명세서에서 설명되는 임의의 것을 단수의 성(gender)에 의한 사용, 구현, 수행 등으로 제한하는 것으로 이해되어야 하지 않도록, 성이 있는(gendered) 대명사는 그들의 대응하는 대명사를 포함한다; "예시적인"은 "예시적인" 또는 "예시화하는"으로 이해되어야 하며, 다른 실시형태에 비해 반드시 "선호되는" 것으로 이해되지 않아야 한다. 용어에 대한 추가적인 정의는 본 명세서에서 제시될 수도 있다; 이들은, 본 설명의 판독으로부터 이해될 바와 같이, 그들 용어의 이전의 및 후속하는 사례에 적용될 수도 있다.
명령어를 실행하는 본 명세서에서 예시화되는 임의의 모듈, 유닛, 컴포넌트, 서버, 컴퓨터, 단말, 엔진 또는 디바이스는, 예를 들면, 자기 디스크, 광학 디스크, 또는 테이프와 같은, 저장 매체, 컴퓨터 저장 매체, 또는 데이터 스토리지 디바이스(착탈식 및/또는 비착탈식)와 같은 컴퓨터 판독 가능 매체를 포함할 수도 있거나 또는 다르게는 그에 대해 액세스할 수도 있다. 컴퓨터 저장 매체는, 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터와 같은, 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 불휘발성, 착탈식 및 비착탈식 매체를 포함할 수도 있다. 컴퓨터 저장 매체의 예는, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(digital versatile disk: DVD) 또는 다른 광학 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스, 또는 소망되는 정보를 저장하기 위해 사용될 수 있는, 그리고 애플리케이션, 모듈, 또는 둘 모두에 의해 액세스될 수 있는 임의의 다른 매체를 포함한다. 임의의 그러한 컴퓨터 저장 매체는 디바이스의 일부일 수도 있거나 또는 디바이스에 액세스 가능하거나 또는 연결 가능할 수도 있다. 게다가, 문맥이 명백하게 달리 나타내지 않는 한, 본 명세서에서 제시되는 임의의 프로세서 또는 컨트롤러는 단일의 프로세서로서 또는 복수의 프로세서로서 구현될 수도 있다. 복수의 프로세서는 어레이형일 수도 있거나 또는 분산될 수 있으며, 본 명세서에서 언급되는 임의의 프로세싱 기능은, 비록 단일의 프로세서가 예시화될 수도 있을지라도, 하나의 프로세서에 의해 또는 복수의 프로세서에 의해 실행될 수도 있다. 본 명세서에서 설명되는 임의의 방법, 애플리케이션 또는 모듈은, 그러한 컴퓨터 판독 가능 매체에 의해 저장될 수도 있거나 또는 다르게는 유지될 수도 있는 그리고 하나 이상의 프로세서에 의해 실행될 수도 있는 컴퓨터 판독 가능/실행 가능 명령어를 사용하여 구현될 수도 있다.
다음은, 일반적으로, 이미징에 관한 것으로, 더 구체적으로는, 픽셀마다의 코딩된 노출을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법 및 시스템에 관한 것이다.
"픽셀마다의(per-pixel)" 또는 "픽셀 단위(pixel-wise)"는, 본 명세서에서 사용될 때, 일반적으로, 픽셀마다 기반의 또는 픽셀 단위 기반의 동작 또는 기능을 지칭한다; 그러나 몇몇 경우에, 그것은 픽셀의 작은 그룹 단위 기반의 동작 또는 기능을 포함할 수 있다는 것이 이해된다.
활성 픽셀을 갖는 카메라의 제한된 다이나믹 레인지는, 일반적으로, 밝은 또는 어두운 장면을 캡처하는 것을 허용하지만, 그러나 동시에 둘 모두를 캡처하는 것을 허용하지는 않는다. 이 트레이드오프를 해결하기 위해 여러 가지 하이 다이나믹 레인지(HDR) 기술이 도입되었다. 고유 분해능 풀 프레임 레이트 HDR 접근법은, 다중 이득 픽셀 판독치, 이벤트 기반의 판독치 또는 레인지 압축 전달 함수(range compressing transfer function)(예를 들면, 대수(logarithmic))와 같은 픽셀에 상당한 보조 회로 오버헤드를 추가하지만, 그러나, 종종 낮은 충전율(fill factor) 및 픽셀 내 아날로그 회로 비이상성(non-ideality)으로부터 문제를 겪는다. 프레임 레이트가 다이나믹 레인지에 대해 교환될 수 있는 경우, 노출은 다수의 프레임에 걸쳐 종종 변동된다. 이 접근법은, 대부분의 카메라에서, 일반적으로, 비례적으로 더 높은 프레임 레이트를 요구하거나 또는 모션 블러(motion blur) 또는 고스팅(ghosting)으로 이어질 수 있다. 예를 들면, 짧은, 중간의, 긴, 그리고 아주 긴, 프레임의 시작에서 시작하는 상이한 연속적인 노출 시간 간격을 가지고 프로그래밍되는 단일의 저장 노드를 각각 갖는, 예를 들면, 프로그래밍 가능 픽셀의 2×2 타일을 활용하는 단일 프레임 HDR 접근법이 사용되었다. 이 접근법은 도 2에 도식적으로 예시된다. 이 접근법은 그것의 구조에 기인하여 네 배 더 낮은 이미지 분해능을 일반적으로 산출하고, 임의적으로 프로그래밍 가능한 비연속 노출 시간 간격을 허용하지 않는다. 다른 단일 프레임 HDR 접근법은, 공간적 광 변조기(SLM) 또는 디지털 마이크로미러 디바이스(digital micromirror device: DMD)와 같은 제어 가능한 2D 광 감쇠기를 카메라 전방에서 사용한다; 그러나 이 접근법은, 일반적으로, 높은 이미지 센서 공간 분해능으로 확장 가능하지 않으며, 높은 복잡도 및 높은 비용의 카메라 모듈을 갖는 것에 추가하여, 광학 왜곡이 발생하기 쉽다. 이 접근법은 도 3에 도식적으로 예시된다.
노출, 또는 노출 시간은, 광의 광자가 포토사이트에 도달하고 대응하는 감광성 수용체에 의해 감지되는 시간의 양이며, 픽셀 내에서 판독될 수도 있거나, 저장 노드로 전송될 수도 있거나, 배출될 수도 있거나, 또는 달리 사용될 수 있다. 카메라 내의 대부분의 이미지 센서의 제한된 다이나믹 레인지는, 밝은 장면 또는 어두운 장면 중 어느 하나를 캡처하는 것을 허용하지만, 그러나 주어진 프레임에 대해 둘 모두를 허용하지는 않는다.
픽셀 이득, 또는 신호 이득은, 신호가 픽셀의 출력으로 전달될 때 광 또는 광 생성 전하와 같은 픽셀 입력 신호가 스케일링되게 하는 인자이다.
이미지 센서 픽셀은 입사광 강도 또는 다른 광 특성, 예를 들면, 광이 센서까지 이동하는 데 걸리는 시간을 추정하기 위해 사용될 수 있다. 비행 시간(ToF)은 광이 광원으로부터 광검출기와 같은 수광기(light receiver)로 이동하는 시간이다. 간접 비행 시간(iToF) 방법은 명시적 타이머를 사용하지 않고 이 비행 시간을 측정한다. 예를 들면, 전송되고 있는 광을 변조하기 위한, 주기적 펄스 파형과 같은 변조 신호, 및 복조 신호, 예컨대 동일한 주파수의 다른 주기적 펄스 파형을 활용한다. 시간은, 수신된 변조된 광 신호와 복조 신호 사이의 위상차를 측정하는 것에 의해 결정될 수 있다.
픽셀 코드, 또는 코드는, 예를 들면, 픽셀 노출 시간, 픽셀 이득, 또는 픽셀의 다른 파라미터를 구성하기 위해, 픽셀에 의해 사용될 정보를 전달하는 숫자 또는 신호이다. 그것은, 예를 들면, 전압, 전류, 전하, 또는 시간과 같은 전자 신호에 의해 표현될 수 있고, 디지털 또는 아날로그 신호로서 또한 표현될 수 있으며, 연속 시간, 이산 시간, 또는 다른 표현 포맷으로 또한 표현될 수 있다.
임의 값 픽셀 코드, 또는 임의 픽셀 코드는, 모든 가능한 코드 값의 임의의 하위 클래스로 제한되지 않는 픽셀 코드 표현을 지칭하며, 따라서 코드는, 시스템 또는 유저에 의한 필요에 따라 또는 시스템 또는 유저에 의해 설정되는 바와 같이, 임의의 시점에서 임의의 값을 가질 수 있다. 예를 들면, 임의의 이산 시간 1 비트 2진 픽셀 코드의 시퀀스는, 필요에 따라, 시퀀스 내의 임의의 코드 샘플에 대해 0 또는 1의 값을 취할 수 있다.
몇몇 범용의 코딩된 노출 이미징 시스템은, 카메라의 각각의 단일 탭 픽셀로 들어오는 광을 통과시키거나 또는 차단하기 위해, 공간적 광 변조기(SLM), 디지털 마이크로미러 디바이스(DMD), 또는 액정 온 실리콘(liquid crystals on silicon: LCoS)을 활용하여, 그들을 부피가 크게 그리고 고가로 만든다. 본 실시형태에 따르면, 다중 탭 코딩된 노출 픽셀(CEP) 이미지 센서는, 예를 들면, 다음과 같은 다양한 이점을 제공할 수 있다: (1) CMOS-IS 기술에서의 직접적인 픽셀 프로그래밍 가능성에 기인하는 잠재적으로 더 작은 폼팩터 및 더 낮은 비용; (2) 많은 경우에, 외부 광학 디바이스가 필요하지 않기 때문의 더 나은 광학 신호 충실도; (3) 1 탭 픽셀이 "오프"인 경우에 광을 버리는 대신 다수의 탭 사이에서 광 생성 전하가 분류될 수 있는 것 때문의 더 나은 광 효율성; 및 (4) (각각의 노출에 대한 노이즈 기여 판독을 수행하는 동등한 속도의 고속 프레임 레이트 카메라와 비교하여) 광 생성 전하가 다수의 시간 간격에 걸쳐 선택적으로 축적될 수 있고 프레임마다 단지 한 번만 판독될 수 있는 것 때문의 더 낮은 노이즈.
이미지 센서 다이나믹 레인지를 확장하기 위해 사용될 수 있는 본 개시의 실시형태는 다음과 같은 코딩된 픽셀(CP)을 사용한다: (1) 각각의 픽셀 또는 픽셀의 그룹이 그/그들 고유의 픽셀마다의/그룹마다의(본 명세서에서 "픽셀마다의"로 지칭됨) 노출 시간을 가지도록 프로그래밍될 수 있는 코딩된 노출 픽셀(CEP); (2) 각각의 픽셀 또는 픽셀의 그룹이 그/그들 고유의 픽셀마다의/그룹마다의 신호 이득을 가지도록 프로그래밍될 수 있는 또는 제어될 수 있는 코딩된 이득 픽셀(CGP); 및 (3) 각각의 픽셀 또는 픽셀의 그룹이, 노출, 이득 및/또는 임의의 다른 파라미터를 포함할 수도 있는 그/그들 자신의 동작 파라미터를 가지도록 프로그래밍될 수 있는 또는 제어될 수 있는 다른 타입의 픽셀. 노출 시간(본 명세서에서 노출로서 지칭됨)은, 입력 광 신호의 함수인 전자 신호의 생성의 목적을 위해, 하나 이상의 광검출기가 광에 노출되는 시간 간격(들), 또는 하나 이상의 광검출기가 광에 실제로 노출되는 시간 간격(들)을 지칭한다. 신호 이득(본 명세서에서 이득으로서 지칭됨)은, 유입하는 광 신호로부터 시작하여 출력까지의 전체 신호 경로에서의 임의의 타입의 이득; 예를 들면, 광학 및/또는 전기 광 변조기의 이득, 광 생성 전하 변환 이득, 전압 이득, 전류 이득, 디지털 이득, 또는 임의의 다른 타입의 이득을 지칭한다. 광검출기(또는 포토사이트)는, 유입하는 광 신호를, 광 생성 전하, 전압, 또는 전류와 같은 광 생성 전자 신호로 변환하는 디바이스이다. 광검출기의 예는, 포토다이오드, 핀드 포토다이오드, 포토게이트, 포토트랜지스터, 또는 임의의 다른 감광성 전자 디바이스를 포함한다.
이제 도 1을 참조하면, 실시형태에 따른, 코딩된 픽셀을 사용하여 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템(100)이 도시되어 있다. 기술 분야에서 통상의 기술을 가진 자에 의해 이해되는 바와 같이, 몇몇 경우에, 시스템(100)의 일부 컴포넌트는 별개의 하드웨어 구현예 상에서 실행될 수 있다. 다른 경우에, 시스템(100)의 일부 컴포넌트는 국소적으로 또는 원격으로 분산될 수도 있는 하나 이상의 범용 프로세서 상에서 구현될 수 있다.
도 1은 시스템(100)의 실시형태의 다양한 물리적 및 논리적 컴포넌트를 도시한다. 도시되는 바와 같이, 시스템(100)은, 하나 이상의 프로세서(102), 데이터 스토리지(104), 출력 인터페이스(106), CP 이미지 센서(110), 코딩 모듈(112), HDR 디코딩 모듈(114), 출력 모듈(116), 및 컴포넌트가 서로 통신하는 것을 가능하게 하는 로컬 버스(118)를 비롯한, 다수의 물리적 및 논리적 컴포넌트를 구비한다. 하나의 실시형태에서, 모듈은 하나 이상의 프로세서(102) 상에서 실행될 수 있다. 다른 실시형태에서, 모듈은 하드웨어로, 전용 프로세서를 통해, 또는 네트워크를 통해 원격 프로세서 상에서 구현될 수 있다. 몇몇 경우에, 모듈의 기능은, 적절하게, 결합될 수 있거나 또는 추가로 분리될 수 있다. 몇몇 경우에, 출력 인터페이스(106)는 시스템(100)의 출력을 출력하기 위해 디스플레이 디바이스 또는 다른 컴퓨팅 디바이스와 통신할 수 있다. 다른 실시형태에서, 시스템(100)의 비필수적 엘리먼트는 생략될 수 있거나 또는 다른 엘리먼트와 결합될 수 있다.
CP 이미지 센서의 다이나믹 레인지는 도 4a 및 도 4b에서 묘사되는 플로우차트에 의해 예시되는 바와 같이, 몇몇 상이한 접근법에 의해 확장될 수 있다. 도 4a는, 실시형태에 따른, 개루프 하이 다이나믹 레인지(HDR) 이미징 방법을 예시한다. 센서의 다이나믹 레인지를 확장하기 위해, 픽셀마다의 동작 파라미터, 예를 들면, 노출 및 픽셀마다의 이득 코드가, 현재 이미지화된 장면으로부터의 정보를 사용하지 않고도 광검출기 어레이에 제공된다. 일례로서, 이들 코드는, 이용 가능한 이미지 데이터 및 다른 정보 예컨대 다른 센서로부터의 다른 현재의 또는 과거의 데이터에 기초하여 하나 이상의 인공 지능 머신 러닝 알고리즘에 의해 온라인에서 또는 오프라인에서 학습될 수 있다.
도 4b는, 실시형태에 따른, 폐루프 HDR 이미징 방법을 묘사한다. 도 4a에서 설명되는 기능성에 추가하여, 픽셀 코드는, 현재의 또는 과거의 프레임 또는 서브프레임에서 이용 가능한, 각각의 픽셀에 대한 강도 정보뿐만 아니라 장면에 대한 임의의 다른 정보와 같은, 이미지화되고 있는 현재의 그리고/또는 과거의 장면(들)에 기초하여 또한 동적으로 적응될 수 있다.
노출 시간 및 신호 이득에 대한 것들과 같은, 픽셀 코드를 사용한 각각의 개개의 픽셀의 동작 파라미터의 프로그래밍 가능성은, 코딩된 픽셀(CP) 이미지 센서의 유리한 속성(property)이다. CP 이미지 센서에서의 픽셀 코드는 다양한 타입, 포맷, 및 표현을 가질 수 있다. 예를 들면, 도 5b는, CP 이미지 센서의 하위 클래스인 코딩된 노출 픽셀(CEP) 이미지 센서의 동작의 예의 다이어그램을 예시하는데, 여기서, 각각의 픽셀에 대한 노출 시간은 프로그래밍 가능하다. 단일 탭 CEP 이미지 센서의 예에 대한 도 5b에서 묘사되는 CEP 이미지 센서 노출 기술과 비교될 수 있는, 종래의 이미지 센서의 노출 기술이 도 5a에서 묘사된다. 탭은 이 예에서 광 생성 전하와 같은 광 생성 전자 신호를 수집하기 위해 사용되는 픽셀 내의 노드이다. 탭은 커패시터, MOS 커패시터, 트렌치 커패시터, 차광식 플로팅 디퓨전 노드, 차광식 핀드 다이오드(light-shielded floating diffusion node)로서 구현될 수 있거나, 또는 임의의 다른 수단에 의해 구현될 수 있다. 도 5b에서, 하나의 프레임의 총 노출 간격은, 디지털 계수 또는 "코드"에 의해 제어되는 바와 같은, 노출의 세밀한 픽셀마다의 시간 제어를 위한, "서브프레임"으로서 공지되어 있는 다수(N개)의 프로그래밍 가능 하위 간격으로 분할되고, 각각의 서브프레임 내의 픽셀의 전체, 또는 일부로 전송된다. 이 예에서, 픽셀은 전하를 수집하거나 또는 수집하지 않을 수 있는 단지 하나의 탭을 가지며, 따라서, 주어진 서브프레임에서 이들 두 기능성 중 하나를 선택하기 위해, 1 비트 2진 코드가 사용될 수 있다. 결과적으로, 각각의 서브프레임에서, 픽셀 코드 값이 1인지 또는 0인지에 의존하여, 광 생성 신호는, 각각, 픽셀 내 탭 상에 통합되거나 또는 통합되지 않는다. 광 생성 전하가 주어진 서브프레임의 탭 상에서 통합되지 않는 경우, 그것은, 본 명세서에서 설명되는 바와 같이, 단일 탭 픽셀의 예에서는, 배출될 수 있거나, 또는 픽셀에서 하나보다 더 많은 탭이 이용 가능한 경우, 다른 탭으로 시프트될 수 있다.
도 6a 내지 6c는 픽셀마다 두 개 이상의 탭을 갖는 픽셀에 대한 CEP 이미지 센서의 예시적인 노출 기능성을 도시한다. 이 예는, 예시의 용이성을 위해, 단지 두 개의 탭만을 묘사한다. 도 6a는 듀얼 탭 CEP 이미지 센서의 노출 기능성을 묘사하는데, 여기서는, 두 개의 탭이 임의의 2진 코드에 의해 제어된다; 이 예에서, 임의의 2진 코드는 두 개의 탭에 대한 상보적인 1 비트 2진수이다. 1 비트 2진 코드(값 0 또는 1을 취함)는, 탭 1 및 2 상에서의 전하 축적에 각각 대응하는 코드 1 또는 코드 2 중 어느 하나를 나타낼 수 있다. 코드 0에 대한 표현이 없기 때문에, 이것은 일반적으로 개개의 서브프레임에서 픽셀마다의 프로그래밍 가능 광검출기 전하 배출을 허용하지 않지만, 그러나 모든 픽셀에 대한 전역적 전하 배출을 동시에 허용한다. 이 예에서, 픽셀마다 단일 비트 2진 코드만이 필요로 되고, 그 결과, 컴팩트한 픽셀 구현으로 귀결된다. 도 6b는 듀얼 탭 CEP 이미지 센서의 노출 기능성의 일례를 묘사하는데, 여기서, 두 개의 버킷은 완전히 임의적인 2진 코드(즉, 반드시 상보적일 필요는 없음)에 의해 제어된다. 이것은 개개의 서브프레임에서 픽셀마다의 프로그래밍 가능 광검출기 전하 배출을 허용하지만, 그러나 픽셀 코드를 표현하기 위해 하나보다 더 많은 비트를 필요로 한다. 이 예에서, 도 6b에서 묘사되는 바와 같이, 코드 0, 1, 2인 세 가지 상태가 필요로 된다. 이것은, 최대 4개의 상태를 인코딩하는 2 비트 2진 코드를 필요로 한다. 나머지 미사용 제4 상태는, 코딩된 이득 픽셀(CGP) 아키텍처에 대해 하기에서 설명되는 바와 같이 픽셀 내 프로그래밍 가능 이득 제어를 위해 활용될 수 있다. 도 6c는 간접 비행 시간(iToF) 픽셀에 대한 픽셀마다의 코딩의 일례를 묘사한다. iToF 감지 또는 이미징에서, 장면까지의 거리를 추정하는 데 필요로 되는 바와 같이, 광 생성 신호를 복조하기 위해서는 두 개의 탭이 필요로 된다. 도 6c의 예는 코드 1 및 0을 각각 사용하여 그러한 픽셀이 선택적으로 턴온되고 턴오프될 수 있는 방법을 예시한다. 이것은, 픽셀이 코드 1을 수신하는 경우 광 생성 신호 복조가 발생하고, 픽셀이 코드 0을 수신하는 경우 복조가 발생하지 않는다는 것을 의미한다. 강한 배경 조명의 존재 하에서와 같은, 다양한 까다로운 조건에서의 광 복조는, 예를 들면, iToF 픽셀 아키텍처를 비롯한, 픽셀의 다이나믹 레인지를 증가시키는 것에 의해 본 발명에서 해결되는 도전 과제를 제기한다.
CP 이미저 픽셀 내의 각각의 픽셀, 또는 픽셀의 그룹은, 각각의 픽셀 또는 픽셀의 그룹에 대해 임의의 시간 코드를 사용하는 그 자신의 프로그래밍된 동작 파라미터를 가질 수 있다. 예를 들면, 동작 파라미터는, CEP 아키텍처의 경우, 노출 시간을, 또는 CGP 아키텍처의 경우 신호 이득을 포함할 수 있다. 도 7a는, 픽셀마다의 코딩된 노출 픽셀(CEP) 및 픽셀마다의 코딩된 이득 픽셀(CGP) 아키텍처 둘 모두를 결합하는 예시적인 코딩된 픽셀(CP) 픽셀 아키텍처의 일례를 묘사한다. 서브프레임에서, 광 생성 전하는, 픽셀의 노출 코드에 의해 제어되는 바와 같이, 광검출기로부터 탭 중의 하나 이상의 탭으로 전송되거나 또는 다른 노드, 예를 들면, VDD로 배출된다. 그러한 만큼, 하나의 프레임 내에서, 전체 광 생성 전하는, 서브프레임마다 하나씩, 더 작은 부분으로 분할될 수 있고, 하나 이상의 탭 사이에서 분류될 수 있다. 각각의 탭은, 예를 들면, 광검출기로부터 전송되는 광 생성 전하를 저장하는 커패시터로서 심볼적으로(symbolically) 표현된다. 전하 전송 타이밍 및 지속 기간은, 일부 또는 모든 서브프레임 내의 일부 또는 모든 픽셀에 제공되는 픽셀마다의 노출 코드에 의해 제어될 수 있다. 신호 이득은, 도 7a에서 예시되는 바와 같이, 커패시터의 가변 값 속성에 의해 심볼적으로 표현될 수 있다. 이 상징적 표현은 다음의 예에 의해 설명될 수 있다: 두 개의 상이한 값의 커패시터 상으로 시프트되는 동일한 값의 광 생성 전하는, 그들 커패시터 상에서 상이한 전압으로 귀결되고 따라서 상이한 신호 이득으로 귀결된다. 각각의 탭의, 예를 들면, 각각의 커패시터의 사이즈, 따라서 각각의 탭에 대한 신호 이득은, 일부 또는 모든 서브프레임 내의 일부 또는 전체 픽셀에 공급되는 픽셀마다의 이득 코드에 의해 제어될 수 있다. 탭 커패시턴스는, 예를 들면, 여러 가지 플로팅 확산 노드를 함께 결합하거나 또는 비닝하는 것에 의해(저임피던스 노드에 연결되지 않은 경우 이들 중 하나는 드레인 노드일 수 있음), 탭을 추가적인 커패시터에 연결하는 것에 의해, 또는 다른 접근법에 의해 변조될 수 있다.
도 7b는 추가적인 중간 전하 저장 노드가 다이오드(SD)에 연결되는 CP 픽셀의 다른 예를 묘사한다. 그러한 추가적인 저장 노드는, 예를 들면, 더 간단한 전체 픽셀 회로 및 감소된 전체 픽셀 사이즈를 제공한다. 이 노드는, 실제로 저장 다이오드(storage diode)가 그러한 저장 노드를 구현하기 위한 하나의 예이기 때문에, 다이오드 심볼에 연결되는 것으로 심볼적으로 표현되지만, 그러나 그러한 것으로 제한되지는 않는다. 이 예에서, 광 생성 전하는, 먼저, 모든 픽셀에 대해 전역적으로, 동기적으로 노드(SD)로 시프트되고, 그 다음, 후속하여, 제공된 노출 코드에 기초하여 하나 이상의 탭 사이에서 분류된다. 도 7a에서 묘사되는 예시적인 아키텍처는 코드 메모리 픽셀(CMP)로서 지칭되고, 도 7b에서 묘사되는 예시적인 아키텍처는 데이터 메모리 픽셀(DMP)로서 지칭된다. 아키텍처 둘 모두는, 리셋 노이즈, 플리커 노이즈, 전자 회로 오프셋, 및 다른 저주파 노이즈 및 오프셋의 영향을 감소시키도록 이중 샘플링 및/또는 상관된 이중 샘플링을 구현하기 위해 필요에 따라 픽셀 내부 및 외부에서 다양한 추가적인 회로를 포함할 수 있다.
도 7c는, 임의의 노출 코드에 의해 제어되는 바와 같은, 사전 선택된 탭 쌍으로의 광 생성 전하의 복조를 수행하는 간접 비행 시간(iToF) CP 픽셀 아키텍처의 일례를 묘사한다. 아키텍처는 CEP 및 CGP 기능성 둘 모두를 결합하고, 따라서 픽셀 이득은 전하 저장 커패시턴스 값을 변경하는 것에 의해 또한 프로그래밍 가능하다. 서브프레임에서, 광 생성 전하는 신호(MOD) 및 그것의 상보적 신호()를 사용하여, 동일 인덱스 탭(equal-index tap)의 쌍 상에서 복조된다. 예를 들면, 주어진 서브프레임에서의 넌제로 코드(i)는, 도 7c에서 도시되는 바와 같이, 각각의 측 상에서 하나씩의 탭(R-TAP i 및 L-TAP i)의 쌍을 선택한다. 그 서브프레임에서, 광 생성 전하는, 신호(MOD)가 어써트되는(asserted) 경우, 우측의 탭(R-TAP i) 상에서 수집되고, 광 생성 전하는, 신호()가 어써트되는 경우, 좌측의 탭(L-TAP i) 상에서 수집된다.
도 7d는, 두 개의 저장 다이오드(L-SD 및 R-SD)의 상단 단자 상에서 두 개의 추가적인 중간 전하 저장 노드가 도입되는 iToF CP 픽셀 아키텍처의 다른 예를 묘사한다. 이들 저장 노드는, 신호(MOD 및 )를 사용하여 광검출기 PD에서 전송되는 복조된 광 생성 전하를 저장하기 위해 사용된다. 이 예에서, 광 생성 전하는 MOD 신호가 어써트되는 경우 우측의 저장 노드(R-SD) 상에서, 그리고 신호()가 어써트되는 경우 좌측의 저장 노드(L-SD) 상에서 수집된다. 주어진 서브프레임에서의 넌제로 코드(i)는, 저장 노드로부터 저장 노드에 연결되는 대응하는 인덱스 탭 또는 탭들로 전하를 전송한다.
도 8a는, 하나의 프레임 내의 N개의 서브프레임(여기서 N = 4)에 대한, 하나의 탭을 갖는 픽셀(즉, 단일 탭 픽셀)에 대한 임의의 노출 코드의 예시적인 시공간 시각화를 묘사한다. FRAMEx 픽셀×FRAMEy 픽셀의 공간 치수의 각각이 도시된다(이 예는 FRAMEx = 5 픽셀 및 FRAMEy = 5 픽셀을 갖는 5×5 서브프레임 예를 도시한다). t 축은 시간에 대응한다. 이 예에서는, 서브프레임마다 하나의 전하 전송이 있다. 코드 0은 전하가 배출된다는 것을 의미한다; 코드 1은 전하가 저장 노드로 시프트된다는 것을 의미한다. k번째 서브프레임 지속 기간 시간(Tk), 및 그 서브프레임 내의 주어진 픽셀에 대한 코드(ck) 둘 모두는 임의적으로 선택될 수 있다. 따라서, 그 픽셀에 대한 프로그래밍 가능 노출 시간은 다음과 같이 표현될 수 있다: 
. 도 8b는, N개의 서브프레임(여기서 N = 4)에 대한, 2개의 탭을 갖는 픽셀에 대한 임의의 노출 코드의 예시적인 시각화를 예시한다. 공간 치수의 각각은 5×5 픽셀이다. 코드 0은 전하가 배출된다는 것을 의미한다; 코드 1은 전하가 저장 노드 1로 시프트된다는 것을 의미하고 코드 2는 전하가 저장 노드 2로 시프트된다는 것을 의미한다.
가변적인 임의적 서브프레임 지속 기간 및 임의의 서브프레임 카운트는 단일 탭 픽셀의 예에 대해 도 8c 및 도 8d에 추가로 예시된다. 프레임 n 및 n+1에 대한 픽셀에 대한 노출 코드의 시공간 맵 시각화가 묘사되는데, 여기서 k번째 서브프레임 지속 기간 시간(Tk)은 각각의 서브프레임에 대해 동적으로 조정될 수 있다. 또한, 각각의 프레임에 대한 서브프레임의 수는 동적으로 조정될 수 있다. 이 예에서는, 도 8c에서 n 번째 프레임 내의 프레임마다 다섯 개의 서브프레임이 있지만, 그러나 도 8d의 (n+1) 번째 프레임 내의 프레임마다 네 개의 서브프레임이 있다. 따라서, k번째 서브프레임 지속 기간 시간(Tk), 및 그 서브프레임 내의 주어진 픽셀에 대한 코드(ck) 둘 모두는 임의적으로 선택될 수 있다.
특정한 픽셀 노출 코드의 예는, 픽셀이 노출되는 총 시간이 함수; 예를 들면, 램프 함수(ramp function), 지수 함수, 2진 가중식 함수, 로그 함수, 또는 시간 또는 임의의 다른 파라미터의 임의의 다른 분석적 또는 비분석적 함수로서 표현될 수 있는 코드일 수 있다. 추가적으로, 픽셀 코드의 임의적 본질(nature)은 다른 방식에서 유리하다. 예를 들면, 듀얼 탭 픽셀 노출 코드의 경우, 노출 제어는, 단지 연속적인 노출 시간보다 더 일반적으로서 정의될 수 있다. 구체적으로는, 탭 코드가 N개의 서브프레임 중 k 개에 대해 1인 경우, 그러면, 그 탭의 노출 시간은 k이다. 그러나 그 노출 시간을 구현하기 위한 k-choose-N개의 별개의 방식이 있다(예를 들면, 코드 시퀀스에서 1 및 2를 순열 배치하는 상이한 방식). 이들 방식은, 장면이 고정되어 있지 않은 경우, 동등하지 않을 수도 있다. 예를 들면, 압축 HDR 비디오의 경우, 픽셀 코드가, 단지 서브프레임의 총 수가 아니라, 1 또는 2인 정확한 서브프레임이 제어되어야 한다. 또한, 픽셀 코드의 임의의 본질은 상기 코드의 가장 유연한 표현일 수도 있으며, 따라서, 개루프 및 폐루프 HDR 이미징 둘 모두에 대해 가장 적합하다. 많은 경우에, 본 실시형태는 개루프 및 폐루프 HDR 이미징 둘 모두에서 활용될 수 있다.
도 8a 내지 도 8d에서 도시되는 예는, 픽셀마다의 프로그래밍 가능한 노출의 경우를 예시한다. 유사하게, 시스템(100)은 픽셀마다의 프로그래밍 가능 이득을 구현할 수 있다. 예를 들면, 광 생성 전하는 단일의 서브프레임 내에서 하나보다 더 많은 용량성 노드로 전송될 수 있다. 그러한 용량성 노드는, 예를 들면, 그것이 저임피던스 노드에 연결되지 않은 경우 드레인 노드의 플로팅 확산 및 하나 이상의 탭에 대응하는 플로팅 확산 노드일 수 있다. 전체 탭 웰 용량(well capacity)은 증가될 수 있는데, 이것은 픽셀 변환 이득이 감소시킨다. 다른 예에서, 본 명세서에서 설명되는 픽셀 회로 예와 관련하여 설명되는 바와 같은 것을 포함하여, 추가적인 이득 제어 엘리먼트가 사용될 수 있다.
코딩된 노출 픽셀(CEP) 이미지 센서는 CP 이미지 센서의 하위 클래스이다. 두 개 이상의 탭을 갖는 CEP 이미지 센서 픽셀은, 그들의 각각의 탭에 대해 상이한 노출 코드를 프로그래밍하는 것에 의해 HDR 이미징을 수행하기 위해 사용될 수 있다. 도 9a는, 그러한 목적을 위해 활용될 수 있는 두 개의 듀얼 탭 픽셀: 상단 상의 코드 메모리 픽셀(CMP), 여분의 전하 저장 노드를 포함하는, 저부 상의 데이터 메모리 픽셀(DMP)에 대한 단순화된 다이어그램의 예를 묘사한다. 픽셀 내의 두 개의 탭의 각각은, 제로 서브프레임에서부터 모든 서브프레임 지속 기간까지의 범위에 이르는, 임의적으로 프로그래밍 가능한 노출 시간을 갖는다. 이 예에서는, 모든 광 생성 전하(즉, 최대 신호를 위한 모든 광 생성 전하)를 수집하기 위해 두 개의 상보적 2진 코드가 사용된다. 도 9b는 두 개의 코드의 일례를 묘사하는데, 여기서, 탭 둘 모두에 대한 노출 기간은 연속적이고 프레임의 시작에서 시작한다. 도 9c는, 탭 노출 간격이 반드시 연속적이지는 않은 다른 예를 묘사한다. 픽셀 내의 두 개의 탭의 각각에 대해 어떤 임의적인 시간 코드가 프로그래밍될 수 있다. 코드의 완전히 임의적인 본질은, 예를 들면, 다이나믹 레인지에서의 개선 및/또는 다른 성능 개선을 위해, 비임의적인 코드에 대한 추가적인 자유도를 허용한다. 도 9d는 듀얼 탭 픽셀 내의 탭의 각각에 대한 시뮬레이팅된 신호 대 노이즈 비(SNR) 대 입사광 강도의 플롯의 일례를 묘사한다. 직관적인 예시의 목적을 위해, 도 9d에서 묘사되는 예시적인 시뮬레이션에 포함되는 유일한 노이즈는 광자 샷 노이즈(photon shot noise)이다. 다른 경우에, 다수의 탭으로부터의 신호를 결합하는 것에 의해, SNR에서 추가적인 향상이 획득될 수 있다. SNR 플롯은, 광 신호 레벨이, 두 개의 상이한 탭에 대응하는 두 개의 광 강도 하위 범위 사이의 경계 근처에 있을 때, 국소적 최소치에 도달한다. 도 9a 내지 9d는 CEP 아키텍처를 일례로서 사용하지만, 그러나 모든 CP 픽셀 아키텍처 타입; 예를 들면, 코딩된 이득 픽셀(CGP) 픽셀 아키텍처 또는 간접 비행 시간(iToF) 코딩된 픽셀 아키텍처에 동일한 개념이 적용될 수 있다.
도 10a는 HDR 이미징을 위해 활용될 수 있는 두 개의 4 탭 픽셀의 예시적인 다이어그램을 도시한다: 상단 상의 CMP, 및 저부 상의 DMP 픽셀 아키텍처. 4 개의 탭의 각각은, 제로 서브프레임에서부터 모든 서브프레임 지속 기간까지의 범위에 이르는, 임의적인 프로그래밍 가능 노출 시간을 갖는다. 도 10b는 네 개의 그러한 코드의 일례를 묘사하는데, 여기서 모든 탭에 대한 노출 간격은 인접하고 프레임의 시작에서 시작한다. 도 10c는 탭 노출 기간이 임의의 시간 코드에 의해 제어되는 다른 예를 묘사한다. 이 예에서는, 모든 광 생성 전하(즉, 최대 신호를 위한 모든 광 생성 전하)를 수집하기 위해 두 개의 상보적 2진 코드가 사용된다. 도 10d는 4 탭 픽셀 내의 탭의 각각에 대한 시뮬레이팅된 신호 대 노이즈 비(SNR) 대 입사광 강도의 플롯의 일례를 묘사한다. 예시의 명확성의 목적을 위해, 이 예시적인 시뮬레이션에서 포함되는 유일한 노이즈는 광자 샷 노이즈이며, 개개의 탭 신호는 SNR을 증가시키기 위해 결합되지 않는다. 도 10d는, 하위 범위의 증가된 수에 기인하여(네 개의 하위 범위 대 이전 예에서의 두 개의 하위 범위), 상이한 탭에 대응하는 광 강도 하위 범위 사이의 경계에서의 SNR 저하가 덜 현저하다는 것을 예시한다. 도 10a 내지 도 10d는 CEP 아키텍처를 일례로서 예시한 도면; 또 다른 경우에, 그것은 다른 CP 픽셀 아키텍처 타입, 예를 들면, 코딩된 이득 픽셀(CGP) 픽셀 아키텍처 또는 간접 비행 시간(iToF) 코딩된 픽셀 아키텍처에 적용될 수 있다.
CEP 이미지 센서 픽셀의 코드는, 공간 분해능을 향상된 다이나믹 레인지와 교환하기 위해, 픽셀을 이웃(예를 들면, 공간 타일)으로 그룹화하기 위해 사용될 수 있다. 시스템은, 유리하게도, 이미지 센서 개략도 또는 레이아웃에서 이러한 그룹화 기능성을 하드 코딩(hard-coding)하거나 또는 하드 와이어링(hard-wiring)할 필요 없이, 각각의 픽셀로 전송되는 임의 값의 코드를 사용하는 것에 의해 이것을 수행할 수 있다. 도 11a는 픽셀 어레이에 걸쳐 반복되는, TILEx = 2 및 TILEy = 2에 대한 단일 탭 픽셀의 TILEx×TILEy 공간 편제(spatial organization)를 유도하는 픽셀 코드의 예를 예시한다. 네 개의 픽셀의 각각은, 제로 서브프레임에서부터 모든 서브프레임 지속 기간까지의 범위에 이르는, 임의적으로 프로그래밍 가능 노출 시간을 갖는다. 도 11b는 그러한 네 개의 코드의 일례를 묘사한다. 이 경우, 상이하게 노출된 픽셀 사이에서 모션 블러 불균일성을 감소시키기 위해, 모든 픽셀에 대한 노출 간격은 인접하고 프레임의 하프 타임(half-time)에서 중앙에 위치된다. 그 예는, 더 높은 다이나믹 레인지를 획득하기 위해, 그 다음, 디모자이크될(demosaiced) 수 있는 2×2 Bayer(베이어)-RGB와 같은 타일 블록에 걸쳐 분산되는 4 레벨의 노출(1, N/3, 2N/3 및 N, 여기서 N은 서브프레임의 수임)을 사용하는 것이다. 도 11c는 픽셀 노출 간격이 반드시 연속적이지는 않은 다른 예를 묘사한다. 타일 내의 네 개 픽셀의 각각에 대해 어떤 임의의 시간 코드가 프로그래밍될 수 있어서, 추가적인 자유도를 허용할 수 있다; 예를 들면, 추가적으로 향상된 다이나믹 레인지 및/또는 다른 성능 향상을 위해서임. 도 11d는 4개의 탭의 각각에 대한 시뮬레이팅된 신호 대 노이즈 비(SNR) 대 입사광 강도의 플롯의 일례를 묘사한다. 예시의 명확성의 목적을 위해, 이 시뮬레이션에서 포함되는 유일한 노이즈는 광자 샷 노이즈이며, 개개의 탭 신호는 SNR을 증가시키기 위해 결합되지 않는다. 도 11d는, SNR이, 상이한 픽셀에 대응하는 광 강도 하위 범위 사이의 경계 근처에서 광 신호 레벨에 대한 국소적 최소치에 도달한다는 것을 예시한다. 도 11a 내지 도 11d는 CEP 아키텍처를 일례로서 예시한 도면; 또 다른 경우에, 그것은 다른 CP 픽셀 아키텍처 타입, 예를 들면, 코딩된 이득 픽셀(CGP) 픽셀 아키텍처 또는 간접 비행 시간(iToF) 코딩된 픽셀 아키텍처에 적용될 수 있다.
도 12a는 픽셀 어레이에 걸쳐 반복되는, TILEx = 2 및 TILEy = 2에 대한 듀얼 탭 픽셀의 TILEx×TILEy 공간 편제를 유도하는 픽셀 코드의 예를 예시한다. 네 개의 픽셀의 각각 내의 두 개의 탭의 각각은, 제로 서브프레임에서부터 모든 서브프레임 지속 기간까지의 범위에 이르는, 임의적으로 프로그래밍 가능한 노출 간격을 갖는다. 예를 들면, t1 내지 t4는, 2×2 픽셀 타일 내의 네 개의 픽셀 중 제1 탭의 노출 시간 간격이다. 도 12b는 여덟 개의 그러한 코드의 일례를 묘사하는데, 여기서 모든 픽셀에 대한 노출 간격은 인접하고 프레임의 시작에서 시작한다. 도 12c는 다른 예를 묘사하는데, 여기서는, 픽셀 노출 간격이 타일 내의 네 개 픽셀의 여덟 개의 탭의 각각에 대한 어떤 임의의 시간 코드에 의해 제어될 수 있다. 도 12d는, 하위 범위의 증가된 수에 기인하여(여덟 개의 하위 범위 대 도 11a 내지 도 11d의 예에서의 네 개의 하위 범위), 상이한 탭에 대응하는 광 강도 하위 범위 사이의 경계에서의 SNR 저하가 덜 현저하다는 것을 예시한다. 도 12a 내지 도 12d는 CEP 아키텍처를 일례로서 예시한 도면; 또 다른 경우에, 그것은 다른 CP 픽셀 아키텍처 타입, 예를 들면, 코딩된 이득 픽셀(CGP) 픽셀 아키텍처 또는 간접 비행 시간(iToF) 코딩된 픽셀 아키텍처에 적용될 수 있다.
몇몇 경우에, HDR 비디오의 스냅샷 압축 획득을 가능하게 하기 위해 다른 조치가 취해질 수 있다. 몇몇 로우 다이나믹 레인지 스냅샷 압축 비디오 획득 접근법에서, 개개의 단일 탭 픽셀은 도 8a에서 묘사되는 시공간 큐브를 샘플링하기 위해, 별개의 노출 간격을 할당받는다. 이들 간격은, 전체 시공간 큐브의 재구성, 즉 완전한 로우 다이나믹 레인지 비디오 시퀀스의 재구성이, 적절한 디코딩 알고리즘의 도움으로, 단지 하나의 캡처된 이미지로부터 계산될 수 있는 그러한 방식으로 선택된다. 단일의 스냅샷으로부터 HDR 비디오의 획득을 가능하게 하기 위해, CEP 픽셀에 할당되는 코드는, 노출 간격 및 총 노출 시간 둘 모두가, 도 8b에서 묘사되는 바와 같이, 픽셀 사이에서 그리고 픽셀 내의 탭 사이에서 변하도록 선택될 수 있다. 이들 코드는, 재구성된 HDR 비디오 프레임의 품질을 최대화하기 위해, 픽셀 어레이 내의 각각의 픽셀에 개별적으로 할당될 수 있다. 대안적으로, 픽셀 어레이는 TILEx×TILEy개의 이웃으로 편제될 수 있는데, 각각의 이웃은, 동일한 코드, 예를 들면, 도 8b의 코드를 수신한다. HDR 비디오는, 그 다음, 적절한 디코딩 알고리즘의 사용에 의해 획득된다. 코딩된 이득 픽셀(CGP) 픽셀 아키텍처 또는 간접 비행 시간(iToF) 코딩된 픽셀 아키텍처와 같은, 다른 CP 픽셀 아키텍처 타입에도 동일한 개념이 적용될 수 있다.
본 실시형태는, 대부분의 경우, 도 4에서 묘사되는 바와 같이, 개루프 및 폐루프 HDR 이미징 둘 모두에 적용 가능할 수 있다. 개루프 동작에서, 픽셀 코드 및 디코딩 알고리즘은 주어진 애플리케이션에서 HDR 성능을 최대화하기 위해 이전 트레이닝 데이터로부터 계산될 수 있거나 또는 수동으로 입력될 수 있다. 폐루프 동작에서, 픽셀 코드는, 이미지화되고 있는 장면에서 포화를 감소시키기 위해 및/또는 SNR을 증가시키기 위해, 더 일반적으로는, 애플리케이션 고유의 이미징 성능을 개선하기 위해, 적응적으로 계산될 수 있다. 예시적인 애플리케이션은, 고속 이미징, 오브젝트 검출, 추적, 인식, 로봇 내비게이션, 자율 주행, 3D 재구성, 및 AC 전구를 이미지화하는 것에 의한 전기 그리드의 원격 모니터링 및 분석(예를 들면, 그리드 위상 및/또는 주파수를 측정하는 것, 전구 타입을 인식하는 것 등을 포함하지만 그러나 이들로 제한되지는 않음)을 포함한다. 상기 픽셀 코드의 적응적 계산은 임의의 적절한 방식으로 구현될 수 있다; 예를 들면, (1) 이전의 비디오 프레임 또는 비디오 프레임의 시퀀스를 전체 픽셀 어레이에 대한 코드에 매핑하는 수동 입력된 함수, (2) PID 컨트롤러와 같은, 수동 입력된 제어 알고리즘, 및 (3) 사전 트레이닝 데이터에 기초하는 학습된 제어 알고리즘. 디코딩 알고리즘에도 유사한 고려 사항이 또한 적용될 수 있다. 수동으로 입력된 코드 생성 함수의 예가 본 명세서에서 설명된다.
몇몇 경우에, 버스트 모드 획득에 의해 획득되는 HDR 이미지에서 또는 비디오 프레임에서 단일의 HDR 픽셀 값을 구성하기 위해 하나보다 더 많은 CP 이미지 센서 픽셀이 사용되는 경우, 모션 블러 불균일성 또는 프레임간 가변성과 같은 아티팩트(artifact)를 감소시키기 위해 추가적이 조치가 취해질 수 있다. 예를 들면, CEP 이미지 센서에서, 이것은 2×2 픽셀 사이즈의 또는 임의의 다른 사이즈의 픽셀 타일과 같은 동일한 공간적 이웃 내의 다수의 픽셀 사이에서 노출 코드를 주기적으로 교환하는 것에 의해 행해질 수 있다. 도 13은 2×2 단일 탭 픽셀 어레이의 예를 예시하는데, 여기서, 네 개의 후속하는 프레임에 대한 노출 코드는 90 도만큼 네 번 회전된다. 이것은, 각각의 픽셀이, 네 개의 프레임의 지속 기간에 걸쳐 동일한 평균 시간 동안 노출되는 것을 허용하여, 이들 프레임 동안 발생하는 이미지화된 장면에서의 모션에 기인하는 블러를 균일하게 한다. 도 13은 CEP 아키텍처를 일례로서 묘사하지만, 그러나 동일한 개념이 코딩된 이득 픽셀(CGP) 픽셀 아키텍처와 같은 다른 CP 픽셀 아키텍처 타입에도 적용될 수 있다. 노출 코드는, 단일 탭 또는 다중 탭 픽셀의 이웃의 TILEx×TILEy 공간 편제를 프로그래밍 방식으로 부과하기 위해 사용될 수 있는데, 이것은 픽셀 어레이에 걸쳐 공간적으로 반복된다. 그 다음, 이웃 내의 픽셀의 각각은 임의적으로 프로그래밍 가능한 노출 간격(들)을 갖는다. 노출 코드는, TILEn개의 프레임에 걸쳐, 각각의 픽셀이 동일한 또는 대략 동일한 시간 간격(들) 동안 노출되도록, 각각의 후속하는 프레임의 픽셀 이웃 내에서 재편제될 수 있다. 이것은 공간적으로 뿐만 아니라 시간에 걸쳐 노출을 샘플링하여, 버스트 모드 디모자이크화(burst-mode demosaicking)의 일 형태를 가능하게 하는 비디오 내의 TILEx×TILEy×TILEn 픽셀의 치수의 작은 시공간 볼륨으로서 표현될 수 있다. CGP 아키텍처의 경우, 평균 픽셀 이득은 일반적으로 TILEn 개의 프레임 이후의 모든 픽셀에 대해 동일할 것이다.
본 실시형태는 RGB 컬러, 다중 스펙트럼, 편광, 중성 밀도, 및/또는 다른 다양한 필터 어레이가 장착된 CP 픽셀 센서의 다이나믹 레인지, 동작 범위 및/또는 색역(gamut)을 프로그래밍 방식으로 조정하기 위해 사용될 수 있다. 예를 들면, CEP 센서의 컬러 색역은 R 채널, G 채널 및/또는 B 채널 픽셀의 총 노출 시간을, 각각, 독립적으로 조정하는 픽셀 코드를 선택하는 것에 의해 시프트 및/또는 확장될 수 있다. 이들 코드는, 도 4에서 묘사되는 바와 같이, 개루프 또는 폐루프 동작에 대해, 각각, 선험적으로 명시될 수 있거나 또는 장면 종속적일 수 있고 타일 종속적일 수 있다. 코딩된 이득 픽셀(CGP) 픽셀 아키텍처와 같은 다른 CP 픽셀 아키텍처 타입에도 동일한 개념이 적용될 수 있다. 감쇠, 확산 및/또는 회절 센서 마스크, 및/또는 금속 렌즈가 장착된 센서에도 동일한 개념이 적용될 수 있다.
도 14는 CP 이미지 센서(1400)의 블록도의 일례를 묘사한다. 묘사된 기능 블록의 임의의 적절한 조합이 사용될 수 있다. 이미지 센서(1400) 내의 "픽셀 어레이"(1402)는 광검출기의 어레이를 포함한다. 이미지 센서(1400)는, 픽셀마다의 노출 코드 및 픽셀마다의 이득 코드를 생성하여 전달하기 위해, "코드 로딩 회로" 블록(1404) 및 "행 로직 및 드라이버" 블록(1406)을 또한 포함한다. 픽셀 출력은 "아날로그 판독 회로"(1408) 및 "ADC 판독 회로"(1410)를 사용하여 판독된다. "구성 레지스터" 블록(1412)은 온칩 제어 신호를 생성하기 위해 사용된다. "신호 프로세서"(1414)는, 예를 들면, 다음과 같은 다양한 컴퓨팅 기능을 수행한다: 개루프 및 폐루프 픽셀 코드 생성; 픽셀 코드를 수신하고 재구성하는 것; 픽셀 코드를 압축 해제하는 것; 하나 이상의 프레임 또는 서브프레임, 또는 하나 이상의 프레임 또는 서브프레임 내의 하나 이상의 주목하는 영역과 같은 이미지 센서로부터 출력 이미지 또는 비디오를 수신하는 것; 신호 프로세서에 공급되는 이 정보 및 다른 정보에 기초하여 픽셀 코드를 생성하는 것; 이미지 센서 판독 회로의 출력에 대해 행해지는 HDR 이미지 재구성, 및/또는 임의의 다른 타입의 이미지 또는 비디오 프로세싱. 추가적인 블록은, 예를 들면, 다음의 것을 포함할 수도 있다: 마이크로렌즈, 컬러 필터, 전기적 및 광학적 분리를 위한 깊은 트렌치 또는 얕은 트렌치와 같은 전면 및 후면 조명을 위한 디바이스, 구조물, 및 회로, 감쇠, 확산 및/또는 회절 센서 마스크, 금속 렌즈, 픽셀 안티 블루밍 제어 회로부, 픽셀 비닝(pixel binning) 회로, 상관 이중 샘플링 회로, 이중 샘플링 회로, 평균화 회로, 고정된 패턴 노이즈를 교정하기 위한 회로, 컬러 보정 및 향상 회로, 프로그래밍 가능 이득 제어 회로, 능동 조명 제어 회로, 비행 시간 이미징 제어 회로, 또는 동일한 집적 회로(본 명세서에서 칩으로서 지칭됨) 또는 동일한 웨이퍼 상에서, 또는 다른 집적 회로 또는 웨이퍼 상에서, 또는 적층식 웨이퍼 또는 적층식 다이 또는 싱글 패키지 또는 싱글 모듈 또는 다중 패키지 또는 다중 모듈 구성에서 구현되는 임의의 다른 픽셀 제어 회로부 또는 모듈.
다른 기능 블록이 동일한 이미지 센서 칩 상에서 또는 이미지 센서 칩 외부에서, 예컨대, 예를 들면, 다른 독립형 칩 상에서, 또는 적층식 다이 또는 적층식 웨이퍼 구성에서 이미지 센서 칩에 결합되는 또는 임의의 다른 하드웨어 또는 소프트웨어로 구현되는 다른 칩 상에서 포함될 수 있다. 이들 추가적인 기능 블록은, 예를 들면, 다음의 것을 포함할 수 있다: 디지털 또는 아날로그 신호 프로세서(또는 출력 비디오 프로세싱의 목적을 위해 사용될 수 있는 임의의 다른 컴퓨팅 디바이스), 픽셀 코드 생성기, 코드 압축, 코드 전달, 및/또는 코드 압축 해제, 온도 센서; 온도 기반의 제어 회로, 온도 제어 회로, 주변 광 센서, 실내 및 실외 인공 조명의 진폭 및/또는 위상을 측정하는 센서를 포함하는 인공 광 센서; 실내 및/또는 실외에서 인공 조명을 제어하는 인공 조명 제어 모듈 및 회로; 광 프로젝터, 레이저 광원, LED 광원, 컬러 광원, 다중 스펙트럼 광원, 초분광 광원, 또는 장면 또는 주변 환경을 조명하기 위해 사용되는 임의의 다른 광원과 같은 능동 조명 소스, 또는 임의의 다른 센서 및 제어 블록; 렌즈, 광 변조기, 미러, 디지털 마이크로 미러 디바이스(DMD), 또는 컬러 필터와 같은 광학 엘리먼트 또는 모듈.
CP 이미지 센서의 하위 클래스인 코딩된 노출 픽셀(CEP) 이미지 센서의 예에 대한 CP 이미지 센서 픽셀의 특정한 회로 레벨 구현예가 본 명세서에서 설명된다. 픽셀 레벨의 코딩된 노출 픽셀(CEP) 기능성은 적절한 접근법에 의해 구현될 수 있다. 도 15b는, 두 개의 탭의 예에 대한, CEP 이미지 센서 내의 다중 탭 픽셀의 예시적인 동작을 도시하는 플로우차트를 예시한다. 다수의 탭 사이에서 광 생성 전하의 코드 종속 분류(code-dependent sorting)를 구현하기 위해, 그 개개의 픽셀에 대한 코드인, 코드 1 및 2에, 각각, 기초하여 탭 1 또는 탭 2 상에서 광 생성 전하가 수집된다. 도 15a 및 도 15c는, 도 15b에서 도시되는 동작의 원리를 따르는 CEP 픽셀 아키텍처를 동작시키는 두 가지 예를 예시한다. 도 15a는 코드 메모리 픽셀(CMP) 예를 도시하고 도 15c는 데이터 메모리 픽셀(DMP) 예를 도시한다.
도 15a의 CMP 픽셀 아키텍처에서, 코드 값은 파이프라인 양식으로 이전 서브프레임 동안, "코드 메모리"로 지칭되는 픽셀 내 메모리에 사전 로딩되고, 현재의 서브프레임 노출 시간의 시작에서 광 생성 전하 분류에 적용된다. 따라서, 현재의 서브프레임에서 수집되는 광 생성 전하는 현재의 서브프레임 코드에 기초하여 각각의 탭 또는 탭들로 전송되고, 한편, 다음 번 서브프레임의 코드는 픽셀 코드 메모리에 사전 로딩된다. 이 목적을 위해 픽셀 내 파이프라인식 코드 메모리(in-pixel pipelined code memory)가 사용될 수 있다.
도 15c의 DMP 픽셀 아키텍처에서, "데이터 메모리"로서 지칭되는 중간 저장 노드가 사용된다. 이것은, 예를 들면, 저장 다이오드, 저장 핀드 다이오드(storage pinned diode), 또는 상이한 타입의 저장 엘리먼트와 같은 전하 도메인 메모리로서 구현될 수 있다. 그 다음, 각각의 서브프레임에 대해 행 단위 양식으로 픽셀에 적용되는 코드에 기초하여, 저장 다이오드에 대한 전하 "분류(sorting)"가 수행된다. 따라서, 저장 다이오드는, 다음 번 서브프레임의 광전하는 수집되고 있는 동안, 현재의 서브프레임의 전하의 분류를 허용한다. 더욱 상세하게는, 주어진 서브프레임에서의 전역적인 노출 이후, 광 생성 전하가 먼저 중간 전하 저장 노드로 전송된다. 다음 번 서브프레임의 노출 동안, 파이프라인식 양식으로, 현재의 서브프레임의 픽셀 코드는, 코드 1 및 2에 대해 저장된 광 생성 전하를 탭 1 또는 2로 각각 시프트하는 것에 의해 저장된 광 생성 전하를 분류하기 위해, 픽셀 외부 메모리로부터 행 단위로 적용된다. 이것은 프레임마다 N번 반복된다. 결과적으로, 프레임의 모든 서브프레임에 걸친 광 생성 전하는 픽셀마다의 코드 시퀀스에 따라 두 개의 탭에 걸쳐 선택적으로 통합되고 프레임의 끝에서 두 개의 이미지로서 한 번 판독된다.
CMP 픽셀 아키텍처(도 16a 및 도 16c) 및 DMP 픽셀 아키텍처(도 16b 및 도 16d)의 경우에 대한 듀얼 탭 CEP 픽셀의 예가 도 16a 내지 도 16d에서 예시된다. 도 16a 및 도 16b는, 두 개의 탭에 대한 코드가 상보적인 경우에 대응하고, 따라서, 픽셀마다 1 비트 2진수에 의해 표현될 수 있다.
도 16a는 1 비트 2진 서브프레임 코드를 행 단위로 로딩하기 위해 사용되는, 플립플롭과 같은 하나 이상의 메모리 엘리먼트를 포함하는 CMP 픽셀 아키텍처의 예의 회로도를 묘사한다. 이 예에서는, 두 개의 플립플롭이 있고 ROW_LOAD가 코드를 래치한다. 코드가 상보적인 경우, 상보적 출력을 갖는 단지 하나의 메모리 엘리먼트만이 사용될 수 있다. GLOBAL_EN이 어써트되는 경우, 메모리 출력은 인에이블되고 그것은 코드를 (전체 픽셀 어레이에 대해) 전역적으로 적용한다. GLOBAL_EN이 디어써트되는(de-asserted) 경우, 플립플롭 출력의 모두는 제로로 재설정된다. 하나 이상의 메모리는 "코드 메모리"로서 지칭된다. 각각의 픽셀에서의 코드에 기초하여, 두 개의 전송 게이트 중 하나 또는 둘 모두는 이 예에서는 핀드 포토다이오드(pinned-photodiode: PPD)인 광검출기를 대응하는 플로팅 확산 노드(CFD1 및/또는 CFD2)에 연결한다. 전송 게이트 둘 모두가 온되는 경우, 이것은 프로그래밍 가능한 픽셀마다의 이득 제어를 효과적으로 구현한다; 이것은 CGP 픽셀 아키텍처의 하나의 예이다.
도 16b는, 픽셀 아키텍처가 "데이터 메모리"로 지칭되는 추가적인 중간 저장 노드를 포함하는 DMP 픽셀 아키텍처의 일례의 회로도를 묘사한다. 이 예에서, 데이터 메모리는 저장 다이오드(SD)의 상부 단자 상의 노드로서 표현된다. 광검출기(PPD) 상에서 광 생성되는 전하는, 먼저, 데이터 메모리로 시프트되고, 후속하여, 픽셀 계수에 기초하여 두 개의 탭 사이에서, 행 단위 양식으로 분류된다.
두 개의 듀얼 탭 CEP 픽셀 아키텍처인 CMP 및 DMP 픽셀 아키텍처에 대한 픽셀 회로도의 두 개의 다른 예가 도 16c 및 도 16d에서 각각 예시되어 있다. 도 16c 및 도 16d는, 두 개의 탭에 대한 코드가 반드시 상보적이지는 않은 경우에 대응하고, 임의의 주어진 서브프레임 동안 축적되는 광 생성 전하는, 그것이 어떠한 탭으로도 전송되지 않을 때 배출될 수 있다. 도 16a 및 도 16b의 예와 비교하여, 추가적인 코드인 코드 0은, 주어진 픽셀 내의 임의의 주어진 서브프레임에서 광 생성 전하가 배출되는 때를 제어한다. 이것은 총 3개의 코드: CODE0, CODE1 및 CODE2를 필요로 한다.
도 16c는 광검출기로서 PPD 및 세 개의 픽셀 내 1 비트 2진 코드 메모리(이 예는 플립플롭을 사용함)를 갖는 듀얼 탭 CMP 픽셀 아키텍처의 예시적인 회로도를 도시한다. 세 개의 2진 코드는 두 개의 1 비트 2진 메모리 상에 또한 저장될 수 있지만, 그러나, 간략화를 위해, 세 개의 1 비트 2진 메모리를 갖는 예가 도시된다. CODE[0:2]로 표기되는 코드는, 주변의 코드 로딩 회로에 의해 메모리의 입력에서 이용 가능하게 만들어지며 행 단위 양식으로 ROW_LOAD에 의해 래치된다. 코드는, 모든 서브프레임의 시작에서, GLOBAL_EN 신호가 어써트될 때 메모리 출력 노드에서 이용 가능하게 만들어진다. 서브프레임의 끝에서, GLOBAL_EN 신호가 디어써트된다. 코드의 값에 기초하여, 광 생성 전하는 서브프레임의 노출 시간 동안 VDD로 배출되거나 또는 의도된 탭으로 조향된다(steered).
도 16d는, 두 픽셀에 대한 코드가 반드시 상보적이지는 않은 DMP 픽셀 아키텍처(이것은 여분의 중간 저장 노드를 포함함)의 예시적인 회로도를 도시하며, 임의의 주어진 서브프레임 동안 축적되는 광 생성 전하는 그것이 어떠한 탭으로도 전송되지 않을 때 배출될 수 있다. PPD에서의 광 생성 전하는 모든 서브프레임의 끝에서 GLOBAL_EN 신호를 어써트하는 것에 의해 SD로 전송될 수 있다. 그 다음, 노드(SD) 상의 전하는, 후속하는 서브프레임의 노출 시간 간격 동안 코드(이 예에서는 CODE0, CODE1 및 CODE2) 값에 기초하여 VDD로 배출되거나 또는 의도된 탭(들)으로 분류된다. 이것은 행 단위 방식으로 행해진다. 서브프레임 동안 광검출기(PPD)에서 수집되는 광 생성 전하는 또한, GLOBAL DRAIN 신호를 어써트하는 것에 의해 한 번에 모두 제거될 수 있다.
CMP 픽셀 아키텍처(도 17a 및 도 17c) 및 DMP 픽셀 아키텍처(도 17b 및 도 17d)의 경우에 대한 듀얼 탭 CEP 픽셀의 추가적인 예시적 구현예가 도 17a 내지 도 17d에서 예시되어 있다. 도 17a 및 도 17b는, 두 개의 탭에 대한 코드가 상보적인 경우에 대응하고, 따라서, 픽셀마다 1 비트 2진수에 의해 표현될 수 있다. 도 17a는, 두 개의 래치를 포함하는 CMP 픽셀 아키텍처의 일례를 묘사하는데, 여기서 하나의 래치는 서브프레임 코드를 행 단위로 사전 로딩하기 위해 사용되고 다른 하나의 래치는 이 코드를 전역적으로(전체 픽셀 어레이에) 적용하기 위해 사용된다. 각각의 픽셀에서의 코드에 기초하여, 두 개의 전송 게이트 중 하나는 핀드 포토다이오드(PPD)를 대응하는 플로팅 확산 노드에 연결한다. 각각의 픽셀에서의 코드는 판독 단계 동안 통합을 중단하기 위해 노출 신호를 사용하여 게이트 제어될 수 있다. 또한, 이 신호는, 어레이에서 디지털 스위칭에 의해 야기되는 인한 신호 및 공급 글리치(signal and supply glitch)가 PPD 전하 전송에 영향을 끼치지 않는 것을 보장하기 위해, 전역적 코드 업데이트 동안 낮게 유지될 수 있다. 이 시간 동안 생성되는 전하는, 노출 신호가 다시 어써트될 때까지 PPD에 저장될 수 있다.
도 17b는, 픽셀 아키텍처가 데이터 저장 다이오드 상에서 "데이터 메모리"를 포함하는 DMP 픽셀 아키텍처의 일례를 묘사한다. 광검출기(PPD) 상에서 광 생성되는 전하는, 먼저, 데이터 메모리로 시프트되고, 그 다음, 그들의 상보적인 코드에 기초하여, 행 단위 양식으로, 두 개의 탭 사이에서 분류된다. 광검출기 전하는, 예컨대 서브프레임의 끝에서, 전역적으로만 배출될 수 있다. 이 픽셀 토폴로지는 글로벌 셔터 픽셀과 유사할 수 있지만, 그러나 데이터 메모리(플로팅 확산 저장) 노드는, 단순히 판독이 아닌, 전하 분류를 위해 사용된다.
도 17c 및 도 17d는, 두 개의 탭에 대한 코드가 반드시 상보적이지는 않은 경우에 그들이 대응하고, 그 결과, 임의의 주어진 서브프레임 동안 축적되는 광 생성 전하는, 그것이 어떠한 탭으로도 전송되지 않을 때 배출될 수 있다는 점에서, 도 17a 및 도 17b와는 각각 상이하다. 추가적인 코드인 코드 0은, 광 생성 전하가 픽셀마다 프로그래밍 가능한 양식으로 임의의 주어진 서브프레임에서 배출될 수 있도록 사용될 수 있다.
도 17e의 타이밍도에서 도시되는 바와 같이, 각각의 서브프레임 동안 전하가 생성되어 PPD에 저장되고, 서브프레임의 끝에서, GLOB_LOAD 신호는 생성된 전하를 PPD로부터 모든 픽셀에 대한 저장 다이오드(충전 모드 메모리)로 전달한다. 후속하여, 그 서브프레임의 패턴은, 코드에 기초하여 탭 1 및 2 상의 전송 게이트를 통과하는 저장 노드로부터의 전하를 분류하기 위해, 행 단위로 픽셀로 전송된다. 동시에, 다음 번 서브프레임에 대한 광 생성 전하가 PPD에서 수집된다. CODE-UPLOAD는, (i) DMP 픽셀 아키텍처에 대한 SUBFRAME(i+1)과는 대조적으로, CMP 픽셀 아키텍처의 경우 SUBFRAME(i-1) 동안 발생한다는 것을 유의한다. 간략화를 위해, 픽셀마다의 이득 제어 기능성은 도 17a 내지 도 17d에 도시되지 않지만, 그러나, 예를 들면, 한 번에 하나보다 더 많은 탭으로 전하를 시프트하는 것에 의해, 플로팅 확산으로서 구성되는 드레인 노드로 그리고 탭으로 전하를 동시에 시프트하는 것에 의해, 또는 본 명세서에서 설명되는 바와 같은 추가적인 이득 제어 엘리먼트를 포함하는 것에 의해, 사용될 수 있다.
도 17a의 CMP 픽셀 아키텍처에 대한 그리고 도 17b의 DMP 픽셀 아키텍처에 대한 레이아웃 및 정전기 전위 다이어그램이 도 18a 및 도 18b에서 각각 묘사된다. 이들은 두 개의 탭에 대한 코드가 상보적인 경우에 대응하며, 따라서, 픽셀마다 1 비트 2진수에 의해 표현될 수 있다. 도 18a의 CMP 픽셀 예에서, 광 생성 전하는 개개의 픽셀의 코드에 기초하여 탭 중 하나로 이동된다.
도 18b의 DMP 픽셀 예에서, 전송 게이트(TGG)는, PPD로부터 모든 픽셀 내의 저장 다이오드로 전하를 전송하는 (도 17에서 예시되는 바와 같은) GLOB_LOAD 신호에 의해 제어된다. 전송 게이트(TG1 및 TG2)는 대응하는 코드에 기초하여 저장 다이오드 전하 분류를 담당한다. 주어진 서브프레임에서의 전역적 노출 이후, 광 생성 전하는, 먼저, 중간 전하 저장 노드; 예컨대 데이터 메모리로 전송된다. 다음 번 서브프레임의 노출 동안, 파이프라인식 양식으로, 현재의 서브프레임의 픽셀 코드는, 코드 1 및 2에 대해 저장된 광 생성 전하를 탭 1 또는 2로 각각 시프트하는 것에 의해 저장된 광 생성 전하를 분류하기 위해, 외부 메모리로부터 행 단위로 적용된다. 이것은 프레임마다 N 번 반복된다. 결과적으로, 프레임의 모든 서브프레임에 걸친 광 생성 전하는 픽셀마다의 코드 시퀀스에 따라 두 개의 탭에 걸쳐 선택적으로 통합되고 프레임의 끝에서 두 개의 이미지로서 한 번 판독된다. 몇몇 경우에, CMP 구조에서의 P형 금속 산화물 반도체(PMOS) 디바이스는 상당한 오버헤드 공간을 필요할 수도 있고, 따라서, 픽셀 충전율을 감소시킬 수도 있다. 다른 한편으로, DMP 픽셀은, 전체 면적이 더 작은 N형 금속 산화물 반도체(NMOS) 디바이스만을 사용할 수 있다.
CEP 픽셀 아키텍처의 다이나믹 레인지는 개개의 탭의 전체 웰 용량을 증가시키는 것에 의해 증가될 수 있다. 도 19a 및 도 19b는 듀얼 탭 CP 픽셀 아키텍처의 두 가지 예를 도시한다. 도 19a는 CMP를 도시하고, 도 19b는 DMP를 도시하는데, 픽셀마다의 코딩된 노출 기능성 및 전역적으로 프로그래밍 가능한 픽셀 이득을 갖는다. CMP 및 DMP 둘 모두에 대한, 픽셀 내의 탭의 전체 웰 용량은, 각각의 서브프레임에서의 전역적 신호(GAIN)를 제어하는 것에 의해 조정될 수 있다. CMP 및 DMP 픽셀 아키텍처 둘 모두는 픽셀마다의 코딩된 노출을 위해 사용될 수 있지만, 그러나 추가적인 동적 이득 제어 기능성과 함께 사용될 수 있다.
GAIN 신호가 낮은 경우, 광 생성 전하는 커패시터 상에서만 수집되는데, CFDi는 픽셀마다의 코드(CODEi)에 기초한 tapi와 관련되는 플로팅 확산 노드를 나타낸다. CFDi의 커패시턴스 값은 낮고, 따라서, 변환 이득은 높다. CP의 동작의 이러한 상태는, 일반적으로, 입사광 강도가 낮은 경우에 최적이다.
GAIN 신호가 높은 경우, 커패시터(CFDi 및 CHDRi)는 병렬 구성으로 연결되는데, 이것은 CP의 각각의 탭 상의 전체 웰 용량이 증가시킨다. PPD로부터의 광 생성 전하는 CODEi 값에 기초하여 VDD로 배출되거나 또는 의도된 탭으로 분류된다. 탭에서의 결합된 커패시턴스는 더 높고, 따라서, 변환 이득은 더 낮다. CP의 동작의 이러한 상태는, 일반적으로, 입사광 강도가 높은 경우에 최적이다.
몇몇 경우에, GAIN 신호는, 상이한 변환 이득 및 노출 설정을 사용하여 플로팅 확산 커패시터(CFDi) 및 HDR 커패시터(CHDRi) 상의 와이드 다이나믹 레인지 장면을 다수 회 샘플링하기 위해, 서브프레임으로부터 서브프레임으로 동적으로 변경될 수 있다.
도 20a 및 도 20b는 픽셀마다의 코딩된 노출 기능성 및 픽셀마다의 코딩된 이득 기능성을 갖는 듀얼 탭 CP 픽셀 아키텍처의 두 가지 예를 도시한다. 도 20a는 CMP를 도시하고, 도 20b는 DMP를 도시하는데, 픽셀마다의 코딩된 노출 기능성 및 픽셀마다의 코딩된 이득 기능성을 갖는다. 도 20a는, 픽셀마다의 노출 코드 및 픽셀마다의 이득 코드 둘 모두에 대한 광검출기(PPD) 및 픽셀 내 코드 메모리(이 예에서는 D-플립플롭)를 갖는 CP 픽셀 아키텍처의 예시적인 구현예를 도시한다. 이것은 2개의 탭을 갖는 CMP 픽셀 아키텍처의 일례이다. 코드 EXPOSURE CODE{0:2]는, 주어진 서브프레임에서 광 생성 전하를 수집하기 위해, 만약 있다면, 어떤 탭이 사용되는지를 결정하기 위해 사용되며, 코드 GAIN CODE{0:1]는, 개개의 탭의 변환 이득을 결정하기 위해 사용된다. CODEi(이 예에서는 CODE0, CODE1 및 CODE2)의 값에 기초하여, 광 생성 전하는 서브프레임의 노출 시간 동안 VDD로 배출되거나 또는 의도된 탭으로 조향된다. 탭의 변환 이득은, 제어 신호(GAINi)(이 예에서는 GAIN1, GAIN2)에 기초하여 개별적으로 선택될 수 있다. 도 20b는, 광검출기(PPD)와 플로팅 확산 노드(CFDi)(탭으로서 또한 지칭됨) 사이에서 중간 노드인 저장 다이오드(SD)를 갖는 듀얼 탭 DMP CP 픽셀 아키텍처의 예시적인 구현예를 도시한다. SD에서 수집되는 전하는, 후속하는 서브프레임의 노출 시간 동안 제어 신호(CODEi)(이 예에서는 CODE0, CODE1 및 CODE2)의 값에 기초하여 VDD로 배출되거나 또는 의도된 탭으로 분류된다. 탭 상의 전하를 분류할 때, 개개의 탭의 변환 이득은 제어 신호(GAINi)(이 예에서는 GAIN1, GAIN2)를 사용하여 독립적으로 제어될 수 있다.
도 20c 및 도 20d는 조명 소스로부터 광검출기로 유입하는 광자의 비행 시간을 감지하기 위한 4 탭 iToF CP 픽셀 아키텍처의 두 가지 예를 도시하는데, 픽셀마다의 코딩된 노출 기능성 및 픽셀마다의 코딩된 이득 기능성을 갖는다. 도 20c는 iToF CMP의 예를 도시하고, 도 20d는 iToF DMP의 예를 도시하는데, 픽셀마다의 코딩된 노출 기능성 및 픽셀마다의 코딩된 이득 기능성을 갖는다.
도 20c는, 광검출기(PPD) 및 픽셀 내 코드 메모리(이 예에서는 D-플립플롭)를 갖는 iToF CMP 픽셀 아키텍처의 예시적인 구현예를 도시한다. 코드 EXPOSURE CODE{0:2]는, 주어진 서브프레임에서 복조된 광 생성 전하를 수집하기 위해, 만약 있다면, 어떤 탭의 쌍(CFD1 상의 TAP1 및 CFD3 상의 TAP3 또는 CFD2 상의 TAP2 및 CFD4 상의 TAP4)이 사용되는지를 결정하기 위해 사용된다. 코드 EXPOSURE CODE{0:2] 및 GAIN CODE{0:3]는 D 플립플롭 또는 래치와 같은 픽셀 내 메모리에 로딩된다. CODEi(이 예에서는 CODE0, CODE1 및 CODE2) 및 신호(MOD 및 )의 값에 기초하여, 광 생성 전하는 서브프레임 동안 VDD(CODE0 = 1인 경우)로 배출되거나 또는 의도된 탭으로 조향된다. 제어 신호(GAINi)(이 예에서는 GAIN1, GAIN2, GAIN3, GAIN4)는 개개의 탭의 변환 이득을 설정한다. CFDi를 CHDRi와 연결하는 것에 의해 이득은 감소된다.
도 20d는, 저장 다이오드(R-SD 및 L-SD) 상에서 두 개의 추가적인 중간 전하 저장 노드를 갖는 iToF DMP 픽셀 아키텍처의 예시적인 구현예를 도시한다. 이들은, 묘사되는 바와 같이, 광검출기(PPD)와 플로팅 확산 노드(CFDi)(탭으로서 또한 지칭됨)의 쌍 사이에서 배치된다. 이 예에서, 광 생성 전하는 MOD 신호가 어써트되는 경우 우측의 저장 노드(R-SD) 상에서, 그리고 신호()가 어써트되는 경우 좌측 저장 노드(L-SD) 상에서 수집된다. L-SD 및 R-SD에서 수집되는 전하는, 후속하는 서브프레임 동안 제어 신호(CODEi)(이 예에서는 CODE0, CODE1 및 CODE2)의 값에 기초하여 VDD로 배출되거나 또는 의도된 탭으로 분류된다. 탭 상의 전하를 분류할 때, 개개의 탭의 변환 이득은 제어 신호(GAINi)(이 예에서는 GAIN1, GAIN2, GAIN3, GAIN4)를 사용하여 독립적으로 제어될 수 있다.
아날로그 대 디지털 컨버터(ADC)는, 이미지 센서 어레이와 동일한 칩 및 상이한 칩 둘 모두 상에서, 픽셀 탭 출력을 디지털화하기 위해 활용될 수 있다. 예를 들면, 기준 전압과 같은 그러한 ADC의 파라미터는, 하나 이상의 서브프레임 또는 하나 이상의 프레임에 대해 동적으로 구성될 수 있다. 도 21a는, 프로그래밍 가능 분해능(programmable resolution)을 갖는 ADC를 갖는 이미지 센서에서의 판독 아키텍처의 일례를 도시한다. 이미지 센서는 CP 어레이를 포함한다. ADC 분해능은 온칩 구성 레지스터 및/또는 외부 제어 신호를 사용하여 동적으로 구성될 수 있다. 도 21b에서, ADC는 조악한 분해능 모드(이 예에서는 일정한 VREF를 가정하여, 1 비트 분해능)로 구성된다. 이 모드에서, ADC는 짧은 서브프레임 노출 기간에 의해 제한되는 바와 같은 매우 빠른 레이트에서 픽셀 출력에 대한 조악한 강도 정보를 제공할 수 있다. 수직 스캐너는 픽셀 어레이의 행을 하나씩 선택한다. 행이 선택되면, 픽셀의 탭으로부터의 데이터가 하나 이상의 판독 라인인 READOUT[N-1:0]으로 로딩된다. 탭으로부터의 데이터는 판독(READOUT) 버스 상에서 동시에 이용 가능하게 만들어질 수 있거나, 또는 판독 라인은 다수의 탭에 의해 공유될 수 있고 데이터는 판독 라인 상에서 시간 및/또는 공간적으로 다중화될 수 있다. 판독 라인은 아날로그 판독 회로에 연결된다. 아날로그 판독 회로의 출력은 저분해능 ADC(이 예에서는 비교기가 사용됨) 입력에 연결되는데, 이것은 입력된 입력 아날로그 신호를 양자화하여 디지털 출력을 생성한다. 이 예에서, 판독 버스 상의 아날로그 신호 및 임의적으로 프로그래밍될 수 있는 기준 전압(VREF)에 기초하여, 각각의 탭에 대해 1 비트 출력이 생성된다. 이 예에서, ADC로부터의 디지털 출력은 고속 디지털 직렬 변환기(serializer)를 통해 칩 외부로 전송된다. 그러한 동작은, 예를 들면, 이전의 또는 현재의 서브프레임 중 어느 하나에 대해 탭이 여전히 광 생성 전하를 수집하고 있을 때 노출 동안 수행될 수 있다. 조악한 ADC 판독치는 고분해능 ADC와 비교하여 더 적은 수의 비트를 생성하고, 그러므로, 이 디지털 정보는 고분해능 ADC 프레임 판독치보다 더 빠르게 전송될 수 있다. 도 21c에서, ADC는 고분해능 모드에서 구성된다. 고분해능 ADC는 동일한 비교기와 같은 저분해능 ADC 회로를 재사용할 수도 있거나, 또는 재사용하지 않을 수도 있다. 이 모드에서, ADC는 각각의 픽셀 탭 출력의 더욱 정확한 디지털 표현을 제공할 수 있다. 이 예에서, ADC는 탭으로부터의 아날로그 데이터를 가장 높은 정확도를 가지고 디지털 숫자로 변환하기 위해 이 고분해능 모드에서 사용되는데, 종종 더 많은 전력 또는 더 높은 출력 데이터 레이트 또는 더 긴 판독 시간을 대가로 한다.
예를 들면, 조악한 ADC 분해능에서, 이미지 센서의 고속의 서브프레임마다의 아날로그 대 디지털 변환 및 판독 성능은, CP의 다이나믹 레인지를 증가시키기 위해 사용된다. 하기에서 나타내어지는 접근법은, 그러한 이미지 센서가 그 분해능이 변동될 때 사용될 수 있는 방법의 일례이다:
1. 모든 픽셀을 재설정함.
2. 조악한 고속 모드에서 ADC를 설정함.
3. VREF = VREF_PER_SUBFRAME[0]을 설정함
VREF_PER_SUBFRAME[k]는 서브프레임 k에 대한 기준 전압 레벨임.
4. 노출을 시작함
픽셀이 탭 상의 광 생성 전하를 수집함에 따라, 그들의 출력은 상승됨(실제로, 실제 탭 전압 신호는 통상적으로 강하됨).
5. TAP1 상의 광 생성 전하를 수집하기 위해 모든 픽셀에 대한 코드를 설정함
TAP_CURRENT = TAP1
6. 제1 서브프레임 이후, 모든 픽셀의 READOUT(판독) 전압을 VREF와 행 단위로 비교함
모든 픽셀에 대해
코드를 이전의 코드와 동일하게 유지함
TAP_CURRENT = TAP_CURRENT
7. 판독
노출이 끝난 이후, ADC를 고분해능 모드로 설정함.
높은 ADC 분해능에서 센서 출력 프레임을 판독함
조악한 분해능 ADC에 대한 것과 같은 기준 전압(VREF)은 모든 서브프레임에 대해 동적으로 조정될 수 있고; 다음 번 서브프레임에 대한 코드는 현재의 서브프레임에서의 ADC 출력에 기초하여 선택될 수 있다. 도 22a는, 최소 수의 픽셀이 포화된다는 것을 보장하기 위한 서브프레임 코드가 선택되는 경우에 가능한 픽셀 탭 값의 일례를 도시한다. 여기서, 기준 전압(VREF)은 사전 정의된 값으로 일정하게 유지된다. 상기의 예에 따라, 주어진 탭 상에서의 전하 축적은, 탭 값이 VREF에 도달한 이후, 하나의 서브프레임 레이턴시를 가지고 중단된다.
모든 서브프레임에 대한 VREF를 조정하는 것에 의해, 서브프레임마다의 SNR에서, 그리고, 결과적으로, 전체 SNR에서 추가적인 개선이 달성될 수 있다. 도 22b는, 일정한 기준 전압(VREF)에 대한, 서브프레임마다의 코드의 변화에 따른 신호 품질의 변동을 예시하는 서브프레임마다의 SNR 대 입사광 강도의 예시적인 플롯을 도시한다. 도 22c는, 최소 수의 픽셀이 포화된다는 것을 보장하기 위한 서브프레임 코드가 선택되는 경우에 가능한 픽셀 탭 값의 일례를 도시한다. 여기서, 기준 전압(VREF)은 다이나믹 레인지를 추가로 향상시키기 위해 모든 서브프레임 k에서 조정된다. 서브프레임 k에 대한 VREF는 
에 의해 주어지는데, 여기서 VSAT는 포화된 픽셀 탭 레벨과 관련되는 READOUT 버스의 전압이다. 도 22d는, VREF가 변경되는 경우, 서브프레임마다의 코드 변경에 따른 신호 품질의 변동이 관찰되는 서브프레임마다의 SNR 대 입사광 강도의 예시적인 플롯을 도시한다. 서브프레임마다의 SNR에서 추가적인 개선이 관찰될 수 있다.
도 39는, 실시형태에 따른, 코딩된 픽셀(200)을 사용하여 이미지 센서 다이나믹 레인지를 확장하기 위한 방법에 대한 플로우차트를 예시한다. 블록(202)에서, 코딩 모듈(112)은 각각의 서브프레임에 대한 이미지 센서(110)의 광검출기 어레이 내의 픽셀에 픽셀 코드를 제공한다. 각각의 픽셀에 대한 픽셀 코드는 노출 시간 또는 신호 이득, 또는 둘 모두, 또는 다른 프로그래밍 가능 픽셀 파라미터에 대한 코드를 포함할 수 있다. 블록(204)에서, 이미지 센서(110)는 각각의 서브프레임에 대한 광검출기 어레이 내의 픽셀의 각각의 픽셀의 센서 판독치를 수신한다. 블록(206)에서, 코딩 모듈(112)은 픽셀 코드에 기초하여 배출될 또는 복수의 탭 중 하나에서 수집될 픽셀의 각각의 픽셀의 센서 판독치를 라우팅한다. 블록(208)에서, HDR 디코딩 모듈(114)은 탭의 각각에서의 수집된 값을 결합하여 프레임에 대한 단일의 픽셀 값을 결정한다. 블록(210)에서, 출력 모듈(116)은 프레임에 대한 각각의 픽셀에 대한 단일의 픽셀 값을 출력한다.
폐루프 HDR 이미징 방법의 예시적인 구현예는 하기에서 제공된다. 이 예에서, 이전 프레임에 기초하여 동적으로 업데이트되는 온도계 픽셀마다의 노출 코딩을 갖는 단일 탭 CEP 이미지 센서가 사용된다. 이 방법은 제조된 프로토타입으로부터 획득되는 예시적인 실험 결과에 의해 유효성 확인된다(validated). 이 예에서 예시의 목적을 위해, (이전 프레임 이외의) 다른 과거의 또는 현재의 프레임도 사용되지 않고 또한 현재의 또는 과거의 서브프레임도 사용되지 않는다; 또한 픽셀마다의 이득 코딩도 사용되지 않는다.
유리하게는, 이 예에서, 코딩된 노출 픽셀(CEP) 픽셀 아키텍처를 사용하여 자신의 고유 분해능에서 이미지 센서의 다이나믹 레인지 확장을 위한 기술. CEP 이미지 센서는 개개의 픽셀의 노출 시간에 대한 임의의 프로그래밍 가능한 제어를 허용한다. 본 개시의 실시형태는, 예를 들면, 캡처된 프레임(프레임 [n])에서 각각의 픽셀의 광속(light flux)을 분석하고 묘사되는 바와 같이 다음 번 프레임(프레임 [n+1])에서 각각의 노출 시간에 대한 동적 조정을 행한다. 그러한 접근법의 일례가 도 23에서 도식적으로 예시되어 있다. 예시된 예에서, 백색으로 채워진 컬러는 픽셀이 온인 경우의 시간 간격을 나타내고 흑색으로 채워진 컬러는 픽셀이 오프인 경우의 시간 간격을 나타낸다. 예를 들면, 캡처된 프레임에서 이미지화된 장면의 낮은 밝기를 감지한 픽셀은 다음 번 프레임에서 더 높은 노출 시간을 가지도록 동적으로 프로그래밍된다; 예컨대, 도 23에서 어레이의 좌측 상단에 있는 픽셀. 캡처된 이미지에서 상이한 밝기에 대한 정규화 이후, HDR 이미지가 최적으로 재구성되고 시각화된다.
한 실시형태에서, CEP 이미지 센서(110)는 하나의 프레임의 노출 시간을 다수의 서브프레임으로 분할하는 것에 의해 이미징을 구현한다; 그 일례가 도 24a에서 예시되어 있다. 각각의 서브프레임에서, 각각의 픽셀은 코딩 모듈(112)에 의해 제공되는 노출 코드의 단일의 비트를 수신한다. 예를 들면, 도 24a에서 묘사되는 바와 같이, 코드 0은 각각의 서브프레임의 지속 기간 동안 픽셀을 턴오프하고, 코드 1은 각각의 서브프레임의 지속 기간 동안 픽셀을 턴온한다. 도 24b에서 예시되는 바와 같이, 노출 코드는, 픽셀의 래치에 로딩된 경우, 핀드 포토다이오드(PPD)와 같은 포토사이트로부터의 광 생성 전하를, 코드 1(래치 출력(Q)이 어써트됨)의 경우 수집 노드(CFD1)로 지향시키거나, 또는 코드 0의 경우 노드(VDD)를 통해 그들을 배출한다(래치 출력(
)이 어써트됨). 신호는 판독되기 이전에 다수의 순차적으로 제공된 코드에 대해 수집 노드(CFD1) 상에서 누적될 수 있다; 예를 들면, 후속하는 판독을 위해 버퍼링 증폭기(SF)를 사용하는 것에 의함.
한 실시형태에서, 현재 프레임의 픽셀에 전달되는 노출 코드는 이전 프레임의 그 픽셀에서의 또는 그 근처에서의 장면 밝기에 의존한다. 노출 코드 시퀀스는, 이전 프레임의 그 픽셀 또는 이웃 픽셀에 의해 수집되는 광 생성 전하에 의해 사전 결정되는 대로 픽셀에 순차적으로 제공된다. 코드 시퀀스는 디지털 비트, 1 및 0의 일련의 것이다. 노출 단계 동안, 각각의 픽셀은 사전 결정된 코드 시퀀스를 수신한다. 코드 시퀀스에서의 1의 수는 픽셀이 노출될 노출 기간의 비율을 결정하고, 0의 수는 픽셀이 노출되지 않는 노출 기간의 비율을 결정한다. 주어진 픽셀에 대한 코드 시퀀스에서 더 많은 1은, 픽셀이 더 긴 기간 동안 '온' 상태에 있을 것이라는 것을 의미하는데, 이것은 더 긴 노출 시간으로 해석되고 그 픽셀에 의해 더 많은 광을 포획하는 것을 허용한다. 주어진 픽셀에 대한 코드 시퀀스에서 더 많은 0은 픽셀이 더 긴 기간 동안 '오프' 상태에 있을 것이라는 것을 의미하는데, 이것은 더 짧은 노출 시간으로 해석되고, 그 픽셀에 의해 더 적은 광을 포획하는 것을 허용한다; 예를 들면, 이미지화된 장면에서 밝은 엘리먼트로부터 포화되지 않기 위해서임. 본 실시형태에서, 주어진 픽셀에 대한 코드 시퀀스에서 1 대 0의 선택은, 이전 프레임으로부터의 픽셀 또는 그 이웃 값에 기초한다. 이러한 방식으로, 코드 시퀀스에서의 1 및 0의 수는, 픽셀이 광의 대부분을 포획하도록 가능한 한 오래 노출되는 것을 보장할 수 있고, 동시에, 픽셀이 그 시간 동안 포화되지 않는 것을 보장할 수 있다. 몇몇 경우에, 초기 프레임의 일부 또는 모든 서브프레임에서, 모든 픽셀은, 초기 광 생성 전하를 수집하기 위해, 코드 1과 같은 동일한 초기 코드를 수신한다. 후속하는 프레임의 서브프레임에서, 이미지의 더 어두운 영역에 있는 픽셀은 유입하는 광 생성 전하의 더 많은 전하를 통합하기 위해 더 많은 1을 수신할 것이지만, 그러나 더 밝은 영역에 있는 픽셀은 유입하는 광 생성 전하의 더 많은 전하를 소모하기 위해 더 많은 0을 수신할 것이다.
본 명세서에서 설명되는 바와 같이, 코딩 모듈(112)에 의해 정의되는 바와 같은, 1 및 0을 수신하는 시퀀스는 노출 코드 시퀀스이다. 한 실시형태에서, 코드 시퀀스는 각각의 서브프레임 이전에 각각의 픽셀에 로딩된다. 코드가 0인 경우, 픽셀은 마스킹되고(masked) 그 서브프레임 동안 어떠한 광도 감지하지 않는다. 코드가 1인 경우, 픽셀은 그 서브프레임 동안 광을 감지한다. 도 6a 및 도 6b는, 두 개의 서브프레임 노출 코딩 방식에 대한, 4 서브프레임 셋업(즉, N = 4)에서의 노출 시간 설정 및 코드 시퀀스의 예를 도시한다. 네 개의 서브프레임의 각각은 시간(T1, T2, T3, T4) 동안 각각 활성이다. 이 예에서, 픽셀(P)은 DP1, DP2, DP3 및 DP4인 코드 시퀀스를 수신하는데, 여기서 DPi는 서브프레임 i 동안 픽셀(P)에 적용되는 0 또는 1 중 어느 하나의 디지털 비트이다. 예를 들면, 코드 시퀀스(C2)의 경우, 비트 시퀀스는 1100이다. 이 경우, 픽셀은 서브프레임 1 및 서브프레임 2 동안 코드 1을 수신하고, 그 외에는 제로를 수신한다. 이것은, 픽셀이 서브프레임 1 및 서브프레임 2 동안 광 생성 전하를 통합하고, 그 외에는 마스킹된다는(광 생성 전하를 수집하지 않는다는) 것을 의미한다. 따라서, 픽셀에 대한 유효 노출 시간은 T1+T2이다. 이러한 방식으로, 예를 들면, 코드 시퀀스(C4)는 낮은 광 강도 조건에서 가장 유용하고, 코드 시퀀스(C1)은 밝은 광 조건에서 가장 유용하다. 표 1은 네 개의 서브프레임 구현예에 대한 상이한 경우에 대한 효과적인 노출 시간을 나타낸다:
1진 가중식 서브프레임 노출 시간의 경우, 도 25a에서 도시되는 바와 같이, 하나의 프레임의 노출 시간(TEXP)은 네 개의 서브프레임으로 균등하게 분할되고, 
로서 표현된다. 대조적으로, 2진 가중식 서브프레임 노출 시간의 경우, 도 25b에서 도시되는 바와 같이, 각각의 서브프레임의 노출 시간은 이전 서브프레임보다 두 배 더 긴데, 
로서 표현된다. 모든 서브프레임의 누적 노출 시간은 픽셀의 유효 노출 시간을 제공한다. 예를 들면, C3을 사용하는 유효 노출 시간은 1진 가중식 서브프레임 노출의 경우 3TEXP/4이고, 2진 가중식 서브프레임 노출의 경우 7TEXP/15이다.
도 7a 및 도 7b는, 각각, 도 25a의 1진 가중식 방식 및 도 25b의 2진 가중식 방식에 대한 조명의 전체 범위에 걸친 픽셀의 원시 출력의 예를 도시한다. 플롯 둘 모두는 4개의 선분(line-segment)을 포함한다. 각각의 세그먼트는, 노출이 증가함에 따라, C4로부터 C1까지의 상이한 코드 시퀀스에 대응한다. 픽셀에서의 장면 밝기가 낮게 시작하는 경우, 코드 시퀀스(C4)가 사용되는데, 그 이유는, 높은 유효 노출 시간이 장면의 더 많은 세부 사항의 캡처를 허용하기 때문이다. 밝기가 증가되는 경우, 코드 시퀀스는, 픽셀 포화를 방지하기 위해, 코드 시퀀스(C3, C2 또는 C1)로 변경된다.
도 27a 및 도 27b는, 각각, 도 26a 및 도 7b의 정규화된 버전의 예를 도시한다. 한 실시형태에서, HDR 디코딩 모듈(114)에 의한 정규화는, 각각의 세그먼트의 대응하는 유효 노출 시간을 사용하여, 구분적(piece-wise) 선형 출력을 전체 범위 선형 응답으로 변환한다. 정규화 이후, 픽셀의 최대 유효 다이나믹 레인지는 일반적으로 향상된다. 4개의 서브프레임만을 갖는 이 예에서, 다이나믹 레인지는 1진 가중식 서브프레임 노출 시간의 경우 네 배만큼, 그리고 2진 가중식 서브프레임 노출 시간의 경우 열 다섯 배만큼 증가된다. 이러한 방식으로, 1진 가중식 서브프레임에 대한 정규화된 출력은 
이고 2진 가중식 서브프레임에 대한 정규화된 출력은 
이다; 여기서 I는 센서 출력이고, N은 서브프레임의 총 수이고, 그리고 C는 그 출력을 캡처하기 위해 사용되는 코드 시퀀스에서의(예를 들면, C1, C2, C3 또는 C4에서의) 1의 수이다.
본 실시형태의 예시적인 파이프라인 구현예를 도시하는 플로우차트가 도 28에서 예시되어 있다. 이러한 방식에서, 현재의 프레임이 디스플레이를 위해 판독되는 경우, 그것은 다음 번 프레임에 대한 노출 코드를 생성하기 위해 또한 사용된다. 이 기술은 1진 가중식 및 2진 가중식 서브프레임 노출 코딩 둘 모두에 대해 사용될 수 있다. 프레임 n에서, 하나의 또는 여러 개의 서브프레임이 주어진 픽셀에서 광을 통합한다. 출력에 기초하여, 프레임 n+1에 대해 새로운 노출 코드가 생성되어 업로딩된다. 동시에, 프레임 n의 출력을 정규화하는 것에 의해 HDR 디코딩 모듈(114)에 의해 HDR 이미지가 획득된다. 이 예시적인 4 서브프레임 구현예에서, 정규화는 8 비트 센서 출력 및 2 비트 노출 코드를 사용하여, 10 비트 HDR 이미지를 생성한다. 노출 융합 기술은 LDR 디스플레이 상에서 10 비트 HDR 이미지의 시각화를 허용한다. 본 명세서에서 설명되는 실시형태의 예시적인 구현예가 네 개의 서브프레임 구현예를 예시할 수도 있지만, 임의의 적절한 수의 서브프레임이 사용될 수도 있다는 것이 이해된다.
한 실시형태에서, 노출 코드(
)의 정의는, 픽셀 (i,j)가 서브프레임 번호 1에서부터 서브프레임 번호 
까지 전하를 통합할 것이라는 것이다. 는 
인 양의 정수이고, N은 하나의 프레임에서의 서브프레임의 수이다. 코딩 모듈(112)이 프레임 n에 대해 
을 CEP 이미지 센서(110)로 업로드한 이후, 캡처된 이미지는 
으로서 정의될 수 있다.
정규화 매트릭스(
)는 모든 픽셀의 유효 노출 시간을 포함한다. 수학식 (1) 및 (2)는 1진 가중식 및 2진 가중식 서브프레임 노출에 대한 
의 정의를 나타낸다:
여기서 T1은 제1 서브프레임의 노출 시간이다.
시스템(100)은 
및 
을 사용하여 프레임 n+1에 대한 새로운 노출 코드 매트릭스(
)를 생성하고, HDR 이미지(
)를 재구성한다.
픽셀의 광속(
)은 유효 노출 시간의 단위마다의 광 강도로서 정의된다:
새로운 정규화 매트릭스는 센서의 소망되는 픽셀 출력(J)을 광속 매트릭스로 나누는 것에 의해 획득된다:
몇몇 경우에, 소망되는 출력(J)은, 다음 번 프레임에서의 과노출 또는 노출 부족에 대한 최대 여유를 확보하기 위해, 픽셀 포화 레벨의 대략 절반으로 설정될 수 있다. 예를 들면, 픽셀의 포화 레벨이 약 180DN인 경우, 그러면, 동작을 위해 90DN의 J이 선택될 수 있다(DN은 디지털 숫자를 나타냄).
새로운 노출 코드 매트릭스(
)는 근사(approximation)와 함께 수학식 (4)의 역매핑을 사용하여 생성될 수 있다.
한 실시형태에서, 근사는 Cn+1(i,j)의 프레임 n+1의 픽셀(i,j)에 대한 비근사 코드(non-approximate code)를 가지고 시작하는 것을 포함할 수 있다. 1진 가중치의 경우:
수학식 (3)과 정리하면:
수학식 (1)과 정리하면:
다음의 단순하게 된 수학식에 도달한다:
상기의 수학식은 다음 번 프레임에 대한 정확한 코드 출력이다. 일반적으로, 
는 정수여야 하고, 따라서, 
는 
가 되도록 가장 가까운 유효 정수로 근사된다.
2진 가중치의 경우, 등가인 다음의 두 수학식을 사용하여 정확한 
을 획득하기 위해, 2진 가중치에 대해 유사한 단계가 적용될 수 있다:
여기서 
는, 
가 되도록, 상기의 두 수학식 중 어느 하나로부터 가장 가까운 유효 정수로 근사된다.
몇몇 경우에, HDR 이미지(
)의 재구성은 
에 의해 를 정규화하는 것을 필요로 할 수 있다:
여기서 TEXP는 프레임 n에 대한 총 노출 시간이다.
몇몇 경우에, 프레임 n에 대해, 출력 모듈(116)은 로우 다이나믹 레인지(low dynamic range: LDR) 모니터 상에서 시각화되도록 HDR 이미지(
)를 출력할 수 있다. 몇몇 경우에, 출력 모듈(116)은 다양한 노출 융합 및 감마 보정 기술을 사용할 수 있다.
몇몇 경우에, 재구성된 HDR 이미지는 전체 비트 깊이를 포괄하기 위해 여러 개의 8 비트 이미지로 분할될 수 있다. 몇몇 경우에, 노출 융합은 이 이미지 세트를 단일의 8 비트 이미지로 병합할 수 있다. 병합의 이점은, 이미지 세트로부터 소망되는 밝기 및 텍스쳐를 갖는 이미지를 선택적으로 표현한다는 것이다. 몇몇 경우에, 병합된 이미지를 미세 튜닝하기 위해 감마 보정이 사용될 수 있다. 일반적으로, 종래의 디스플레이는 24 비트 RGB 컬러 디스플레이이다. 이들 디스플레이는 28개의 상이한 그레이스케일 레벨을 나타낼 수 있다. 노출 융합을 사용하는 것에 의해, 시스템(100)은, 상이한 이미지로부터, 가장 많은 양의 정보를 전달하는 상이한 부분을 선택적으로 향상시킬 수 있다. 노출 융합은 상이한 노출 설정을 갖는 유사한 이미지의 세트를 입력으로서 취한다. 입력 이미지의 픽셀마다의 가중된 조합에 의해 생성되는 최종 이미지가 생성된다. 입력 이미지의 상이한 부분에 대한 가중치는, 대비, 포화 및 적정 노출도와 같은 품질에 기초하여 결정된다.
도 29는 본 실시형태에 따른 픽셀마다의 코딩된 노출을 사용하는 다른 예를 예시한다. 이 예에서, 하나의 프레임은 네 개의 서브프레임으로 세분화된다. 이 예에서, 코드 시퀀스(C1 내지 C4)가 사용된다. 코드는 각각의 서브프레임의 시작에서 업데이트된다. 우측의 시공간 볼륨은, 임의의 주어진 프레임에서 상이한 픽셀이, 그 픽셀에 적용되는 코드 시퀀스에 기초하여, 상이한 노출 시간을 가질 수 있는 방법의 예를 도시한다. 코드 시퀀스(C1)가 적용되는 경우, 픽셀은 짧은 시간 동안 노출되고, 코드 시퀀스(C4)가 적용되는 경우, 픽셀은 그 프레임의 전체 노출 기간 동안 노출된다. 도 30의 플롯에서 예시되는 바와 같이, 서브프레임 노출을 캡처하는 능력은 HDR 장면을 캡처하기 위해 사용된다. 이들 플롯에서, x 축은 증가하는 광도를 나타내고 y 축은 원시 센서 출력을 나타낸다. 예를 들면, 코드 시퀀스(C4)가 장면의 어두운 영역을 캡처하는 픽셀에 적용되는 경우, 그것은, 픽셀이 전체 프레임 기간 동안 노출되는 것을 보장한다; 그러나 동시에, 장면에서 밝은 영역이 있는 경우, 코드 시퀀스(C1)는 그 영역의 픽셀에 적용된다. 이 코딩된 노출은, 장면의 밝은 영역에 있는 픽셀을 포화시키지 않으면서, 장면의 어두운 영역으로부터의 광의 대부분이 포획되는 것을 보장한다. 도 30의 우측 플롯에서 도시되는 바와 같이, 센서 출력은 개개의 픽셀의 노출 시간에 기초하여 정규화될 수 있다. 정규화 이후, 이것은 이미지 센서의 유효 다이나믹 레인지를 증가시킬 수 있다.
도 37은, 실시형태에 따른, 픽셀마다의 코딩된 노출(300)을 사용하여 이미지 다이나믹 레인지를 확장하는 방법에 대한 플로우차트를 예시한다. 블록(302)에서, CEP 이미지 센서의 픽셀의 각각 픽셀의 초기 원시 센서 판독치가 수신된다. 이 초기 판독에서, CEP 이미지 센서는 균일한 코딩 매트릭스를 사용하여 코딩된다. 블록(304)에서, 현재의 코딩된 노출에 대한 코드 매트릭스가 초기 판독치로부터 유도된다. 몇몇 경우에, 현재의 코딩된 매트릭스는 초기 판독 이후의 후속하는 프레임을 위한 것이다. 다른 경우에, 초기 판독치는 임의의 이전에 획득된 픽셀 판독치로부터 유래될 수 있다. 블록(306)에서, 현재의 코딩된 매트릭스는 CEP 이미지 센서의 각각의 픽셀과 관련되는 래치로 전송된다. 블록(308)에서, CEP 이미지 센서의 픽셀의 각각의 픽셀의 현재의 원시 센서 판독치가 수신된다. 블록(310)에서, 현재의 원시 센서 판독치는 HDR 이미지를 재구성하기 위해 픽셀마다의 노출 시간에 기초하여 정규화된다. 블록(312)에서, HDR 이미지 및/또는 정규화된 값이 출력된다. 몇몇 경우에, 블록(304 내지 312)은, 초기 판독치로부터 유도하는 대신, 코드 매트릭스가 이전 프레임으로부터 유도되는 것을 제외하면, 각각의 후속하는 이미지 프레임에 대해 반복적으로 수행될 수 있다.
본 발명자는 본 실시형태의 이점을 예시하기 위해 예시적인 실험을 수행하였다. 예시적인 실험은 1진 가중식 및 2진 가중식 서브프레임 노출 시간 둘 모두에 대해 수행되었다. 예시적인 실험은, 0.11㎛ CMOS 이미지 센서 기술에서 제조되는 이미지 센서를, 핀드 포토다이오드(PPD) 픽셀 및 노출 코드를 저장하기 위한 픽셀 내 래치와 함께 사용하였다. 이미지 센서는 싱글 탭 모드(1개의 신호 저장 노드)에서 구성되었고, 서브프레임의 수(N)는 4로 설정되었다.
RGB 카메라를 사용하여 캡처되는 바와 같은, 예시적인 실험을 위해 사용되는 장면은 도 31에서 도시되어 있다. 도 32a 및 도 32b는 낮은 노출 설정 및 높은 노출 설정을 갖는 CEP 이미지 센서(110)를 사용하여 캡처되는 두 개의 이미지를, 각각, 도시한다. 도 32a 및 도 32b는 밝은 영역 및 어두운 영역 둘 모두를 동시에 캡처하는 어려움을 예시한다.
도 33은 세 가지 상이한 코딩 방식에 대한 예시적 실험의 결과에 대한 비교를 예시한다. 노출 코드 매트릭스는 상단에서 제공되고, 센서의 재구성된 HDR 출력은 저부에서 제공된다. 1진 가중식 서브프레임 노출의 경우, 두 가지 상이한 타이밍 셋업이 시연된다. 제1 행은, 1진 가중식 서브프레임 노출 시간이 다음과 같이 설정되는 방식 1의 결과를 도시한다: 
. 제2 행은, 1진 가중식 서브프레임 노출 시간이 다음과 같이 설정되는 방식 2의 결과를 도시한다: 
. 방식 2는 프레임마다 4TEXP/15의 총 노출 시간을 갖는다. 제3 행은, 2진 가중식 서브프레임 노출 시간을 사용한, 방식 3에 대한 결과를 도시한다. 제1 서브프레임에 대한 노출 시간은 T1 = TEXP/15이고 그것은 방식 1과 동일한 총 노출 시간(TEXP)을 갖는다. 도 33에서 수평의 직사각형을 사용하여 강조 표시되는 어두운 장면은 방식 1 및 3을 사용하여 잘 재구성된다. 도 33에서 수직의 직사각형을 사용하여 강조 표시되는 밝은 장면은 방식 2 및 3을 사용하여 잘 재구성된다. 예시적인 실험에서, 2진 가중식 서브프레임 노출 시간을 사용하는 것은 최상의 결과를 산출하였고 필요한 서브프레임의 수를 감소시켰고; 따라서 코드를 로딩하는 데 필요한 데이터 레이트를 감소시켰다는 것이 결정되었다.
예시적인 실험에서 예시되는 바와 같이, 본 실시형태는 이미지 센서 다이나믹 레인지를 확장하기 위한 유리한 접근법을 제공한다. 본 명세서에서 설명되는 실시형태에서, 장면 인식의 픽셀마다의 코딩된 노출을 사용하여 자신의 고유의 센서 분해능에서 이미지 센서의 다이나믹 레인지를 확장하기 위한 접근법이 제공된다.
유리하게는, 1진 가중식 서브프레임 노출 시간의 경우, 센서의 유효 다이나믹 레인지는 
만큼, 그리고, 2진 가중식 서브프레임 노출 시간의 경우, 
만큼 향상되는데, 여기서 N은 하나의 최대 레이트 비디오 프레임 내에서의 서브프레임의 수이다.
본 실시형태에서, 두 개의 코딩 방식이 설명된다; 그러나, 임의의 적절한 코딩 방식이 사용될 수 있다.
본 명세서에서 설명되는 실시형태는, CEP 픽셀 아키텍처를 가지며 유리하게는 코딩 모듈(112)에 의해 제공되는 노출 코드(마스킹으로서 지칭됨)를 사용하여 하나의 프레임 시간 동안 픽셀 단위의 프로그래밍 가능한 노출을 갖는 것을 활용하는 광학 이미지 센서(또는 이미저 또는 카메라)의 클래스를 사용한다. 코딩 모듈(112)의 마스킹을 사용하여, 시스템(100)은 어떤 픽셀이 마스킹될지를 개별적으로 선택할 수 있다. 한 실시형태에서, 픽셀이 "마스킹"되는 경우(코드 0), 본 명세서에서 "버킷(bucket)"으로서 지칭되는 그 픽셀과 관련되는 신호 수집 노드는 그 각각의 픽셀 내의 신호를 통합(수집)하지 않고 신호는 배출된다. 반대로, 픽셀이 "노출되고" 마스킹이 적용되지 않는 경우(코드 1), 버킷은 각각의 픽셀 내의 신호를 수집한다. 도 34는 이러한 접근법의 예시적인 예시를 도시한다. 코딩 모듈(112)에 의해 제공되는, 특정한 픽셀과 관련되는 마스킹 비트가 0인 경우, 픽셀에서 수신되는 광자는 무시된다. 반대로, 마스킹 비트가 1인 경우, 픽셀에서 수신되는 광자는 통합된다. 마스킹 비트는 모든 서브프레임에 대해 변경될 수 있다. 몇몇 경우에, 마스크 비트를 저장하기 위한 메모리는 두 개의 별개의 블록; 마스킹 비트의 다음 번 패턴을 사전 로딩하기 위한 제1 메모리 블록 및 마스킹 비트의 현재의 패턴을 적용하기 위한 제2 메모리 블록으로 분할될 수 있다. 마스크 로드, 저장 및 사용을 구현할 때, 신호 수집에 이용 가능한 시간을 제한하지 않기 위해, 마스크 핸들링을, 픽셀 노출과는 독립적으로 유지하는 것이 유용할 수 있다. 따라서, 마스킹 비트의 사전 저장의 파이프라인식 동작은 픽셀 내에서 또는 그 밖의 곳에서 두 개의 메모리 블록을 통해 사용될 수 있다.
본 개시가 이미지 센서(110)를 포토다이오드로서 언급하지만, 임의의 적절한 광검출기가 사용될 수 있다; 예를 들면, 핀드 포토다이오드, 포토게이트, 전하 결합 소자(charge-coupled device), 전하 주입 디바이스, 단일 광자 애벌란시 다이오드(single photon avalanche diode), 또는 등등. 본 실시형태는 광의 가시 스펙트럼을 언급하지만, 본 명세서에서 언급되는 바와 같은 광은, 가시 스펙트럼으로부터의 광과 함께, 또는 그 대신(예를 들면, 자외선, 근적외선, 단파장 적외선, 및/또는 장파장 적외선 내에 있음), 전자기 스펙트럼의 임의의 부분을 포함하는 것으로 이해된다.
도 35는 시스템(100)의 이미지 센서(110)의 예시적인 대규모 집적(VLSI) 아키텍처이다. 도 36a는 시스템(100)의 이미지 센서(110)를 가지고 사용될 수 있는 카메라의 일례이다. 도 36b는 244×162의 분해능을 갖는 시스템(100)의 픽셀마다의 코딩된 이미지 센서(110)의 예시적인 칩 현미경 사진(0.11㎛ 기술에서의 4 mm×3 mm)이다. 도 36c는 도 36b의 예시적인 이미지 센서의 명세 및 특성 묘사를 도시한다. 도 36c는, 도 36b의 이미지 센서에 대한, 상이한 코딩 전략 및 상이한 수의 서브프레임, 예를 들면, N = 4 및 N = 10에 대한 계산된 다이나믹 레인지 향상 값을 또한 도시한다.
도 38a는, 주어진 노출 기간에서 상이한 시간 간격에서 광을 수집하기 위해 전체 이미지 센서 픽셀 어레이에 코드 시퀀스가 적용되는 시간적 픽셀 코딩을 예시한다. 도 38b는, 이미지 센서의 상이한 픽셀 서브어레이가 상이한 코드 시퀀스를 수신하는 것을 허용하는 것에 의해 공간 도메인에서 향상된 프로그래밍 가능성을 제공하는 부분적 시공간 코딩을 예시한다. 도 38c는 본 실시형태의 픽셀마다의 코딩된 노출 코딩을 예시한다. 이 코딩 방식은 각각의 픽셀에 대한 코드 시퀀스를 독립적으로 허용한다. 단일의 프레임에서 다수의 코드가 업데이트될 수 있고, 프레임에 수신되는 광 생성 전하는 코드 시퀀스에 기초하여 통합될 수 있다.
유리하게는, 본 실시형태는 향상된 유연성 및 적용 가능성을 위해 임의의 값의 픽셀 코드를 사용할 수 있다. 추가적으로, 본 개시의 실시형태는 향상된 적응성을 위한 폐루프 또는 장면 종속 픽셀 코드 생성을 허용한다. 추가적으로, 본 개시의 실시형태는 픽셀 코드가 동시에, 또는 거의 동시에 업데이트되는 것을 허용한다.
본 발명이 소정의 특정한 실시형태를 참조하여 설명되었지만, 본 발명에 첨부되는 청구범위에서 개설되는(outlined) 바와 같은 본 발명의 취지 및 범위를 벗어나지 않으면서, 이들의 다양한 수정이 기술 분야의 숙련된 자에게는 명백할 것이다. 상기에서 열거되는 모든 참고 문헌의 전체 개시는 참조에 의해 본 명세서에 통합된다.
Claims (25)
- 코딩된 픽셀(coded pixel)을 사용하여 이미지 센서 다이나믹 레인지를 확장하기 위한 방법으로서, 상기 이미지 센서는 유입하는 광 신호를 광 생성 전자 신호(photo-generated electronic signal)로 변환하기 위한 광검출기 어레이를 포함하고, 상기 방법은,
프레임의 각각의 서브프레임에 대한 상기 광검출기 어레이 내의 픽셀에 픽셀 코드를 제공하는 단계;
각각의 서브프레임에 대한 상기 광검출기 어레이 내의 픽셀의 각각의 픽셀의 센서 판독치(sensor readout)를 수신하는 단계;
각각의 서브프레임에 대해, 상기 픽셀 코드에 기초하여, 하나 이상의 탭(tap)에서의 수집을 위해 또는 드레인으로 각각의 센서 판독치 값을 라우팅하는 단계;
상기 프레임에 대한 단일의 픽셀 값을 결정하기 위해 상기 탭의 각각에서 상기 수집된 센서 판독치 값을 결합하는 단계; 및
상기 프레임에 대한 각각의 픽셀에 대한 상기 단일의 픽셀 값을 출력하는 단계
를 포함하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 방법. - 제1항에 있어서, 상기 픽셀 코드는 상기 각각의 픽셀의 노출 시간에 대응하는 코드를 포함하되, 결과적으로 나타나는 광 생성 전하는 상기 각각의 센서 판독치를 포함하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 방법.
- 제1항에 있어서, 상기 픽셀 코드는 상기 광검출기에서 수신되는 상기 신호의 신호 이득에 대응하는 코드를 포함하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 방법.
- 제1항에 있어서, 각각의 픽셀 코드는 픽셀의 그룹에 상호 적용되는, 이미지 센서 다이나믹 레인지를 확장하기 위한 방법.
- 제1항에 있어서, 상기 픽셀 코드는 사전 결정되는, 이미지 센서 다이나믹 레인지를 확장하기 위한 방법.
- 제1항에 있어서, 상기 픽셀 코드는 이전에 수신된 픽셀 값에 기초하여 적응적으로 결정되는, 이미지 센서 다이나믹 레인지를 확장하기 위한 방법.
- 제6항에 있어서, 상기 픽셀 코드는 상기 이전에 수신된 픽셀 값에 기초하여 코드 메모리 저장소(code memory store)에 사전 로딩되는, 이미지 센서 다이나믹 레인지를 확장하기 위한 방법.
- 제6항에 있어서, 현재의 서브프레임의 상기 센서 판독치가 수집됨에 따라 이전 서브프레임에 대한 상기 픽셀 코드에 기초하여 각각의 탭 상의 상기 수집된 전하를 분류하는(sorting) 단계를 더 포함하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 방법.
- 제1항에 있어서, 각각의 픽셀은 하나의 탭을 포함하고, 각각의 픽셀에 대한 상기 픽셀 코드는 1 비트 2진수를 포함하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 방법.
- 제1항에 있어서, 상기 픽셀 중 하나 이상에 대한 상기 픽셀 코드는, 상기 하나 이상의 탭의 각각이 개별적으로 프로그래밍 가능한 통합 시간 간격을 갖는다는 것을 지시하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 방법.
- 제10항에 있어서, 상기 통합 시간 간격의 평균은 다수의 프레임에 걸쳐 균등화되는, 이미지 센서 다이나믹 레인지를 확장하기 위한 방법.
- 코딩된 픽셀을 사용하여 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템으로서, 상기 이미지 센서는 유입하는 광 신호를 광 생성 전자 신호로 변환하기 위한 광검출기 어레이를 포함하고, 상기 시스템은 회로 로직을 포함하되, 상기 회로 로직은,
프레임의 각각의 서브프레임에 대한 상기 광검출기 어레이 내의 픽셀에 픽셀 코드를 제공하기 위한 그리고, 각각의 서브프레임에 대해, 상기 픽셀 코드에 기초하여, 상기 픽셀의 각각의 픽셀의 상기 광 생성 전자 신호 값을, 하나 이상의 탭에서의 수집을 위해 또는 드레인으로, 라우팅하기 위한 코딩 모듈;
상기 프레임에 대한 단일의 픽셀 값을 결정하기 위해 상기 탭의 각각에서 이용 가능한 상기 수집된 신호 값을 결합하기 위한 하이 다이나믹 레인지(high-dynamic-range: HDR) 디코딩 모듈; 및
상기 프레임에 대한 각각의 픽셀에 대한 상기 단일의 픽셀 값을 출력하기 위한 출력 모듈
을 실행하도록 구성되는, 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템. - 제12항에 있어서, 상기 픽셀 코드는 상기 각각의 픽셀의 노출 시간에 대응하는 코드를 포함하되, 결과적으로 나타나는 광 생성 전하는 각각의 센서 판독치를 포함하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템.
- 제12항에 있어서, 상기 픽셀 코드는 상기 광검출기에서 수신되는 상기 신호의 신호 이득에 대응하는 코드를 포함하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템.
- 제12항에 있어서, 각각의 픽셀 코드는 픽셀의 그룹에 상호 적용되는, 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템.
- 제12항에 있어서, 상기 픽셀 코드는 이전에 수신된 픽셀 값에 기초하여 적응적으로 결정되는 코딩된 픽셀을 사용하여 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템.
- 제16항에 있어서, 상기 코딩 모듈은 상기 이전에 수신된 픽셀 값에 기초하여 코드 메모리 저장소에 로딩된 대로 상기 픽셀 코드를 사용하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템.
- 제16항에 있어서, 상기 코딩 모듈은 하나 이상의 이전 서브프레임에 대한 상기 픽셀 코드 및 센서 판독치 값에 기초하여 각각의 탭 상의 상기 수집된 전하를 분류하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템.
- 제12항에 있어서, 각각의 픽셀은 하나의 탭을 포함하고, 각각의 픽셀에 대한 상기 픽셀 코드는 1 비트 2진수를 포함하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템.
- 제14항에 있어서, 상기 광검출기 어레이 내의 각각의 픽셀은 하나 이상의 전하 수집 노드를 포함하고, 하나 이상의 픽셀로부터의 상기 전하 수집 노드는 상기 픽셀 코드에 기초하여 상기 신호 이득을 수정하도록 결합되는, 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템.
- 제13항에 있어서, 상기 픽셀 코드는 상기 유입하는 광 신호의 비행 시간을 감지하는 픽셀에 대한 픽셀 노출 시간을 지시하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템.
- 제14항에 있어서, 상기 픽셀 코드는 상기 유입하는 광 신호의 비행 시간을 감지하는 픽셀에 대한 신호 이득을 지시하는, 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템.
- 제12항에 있어서, 상기 HDR 디코딩 모듈은 아날로그 대 디지털 컨버터(analog-to-digital converter: ADC)를 포함하고, 상기 ADC의 분해능은 상기 프레임을 디지털화하는 것과 비교하여 상기 서브프레임을 디지털화하는 것에 대해 상이한, 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템.
- 제12항에 있어서, 상기 HDR 디코딩 모듈은 아날로그 대 디지털 컨버터(ADC)를 포함하고, 상기 ADC의 하나 이상의 파라미터는 하나 이상의 서브프레임에 대해 또는 하나 이상의 프레임에 대해 동적으로 조정되는, 이미지 센서 다이나믹 레인지를 확장하기 위한 시스템.
- 픽셀마다의 코딩된 노출(per-pixel coded exposure) 및 상기 픽셀마다의 코딩된 노출을 갖는 센서의 이전의 판독치를 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법으로서,
이전의 판독치로부터 유도되는 현재의 코딩된 노출에 대한 현재의 코드 매트릭스를 생성하는 단계;
상기 현재의 코딩된 매트릭스를 상기 픽셀로 전송하는 단계;
상기 픽셀의 각각의 픽셀의 현재의 원시(raw) 센서 판독치를 수신하는 단계;
픽셀마다의 노출 시간에 기초하여 상기 현재의 원시 센서 판독치를 프로세싱하는 것에 의해 하이 다이나믹 레인지(HDR) 이미지를 재구성하는 단계; 및
상기 HDR 이미지 및 상기 현재의 원시 센서 판독치 중 적어도 하나를 출력하는 단계
를 포함하는, 이미지 다이나믹 레인지를 확장하기 위한 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962864895P | 2019-06-21 | 2019-06-21 | |
| US62/864,895 | 2019-06-21 | ||
| PCT/CA2020/050858 WO2020252592A1 (en) | 2019-06-21 | 2020-06-19 | Method and system for extending image dynamic range using per-pixel coding of pixel parameters |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220022481A KR20220022481A (ko) | 2022-02-25 |
| KR102620348B1 true KR102620348B1 (ko) | 2024-01-02 |
Family
ID=74036913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217038615A KR102620348B1 (ko) | 2019-06-21 | 2020-06-19 | 픽셀 파라미터의 픽셀 단위 코딩을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법 및 시스템 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11856301B2 (ko) |
| JP (1) | JP2022537117A (ko) |
| KR (1) | KR102620348B1 (ko) |
| CA (1) | CA3138215A1 (ko) |
| WO (1) | WO2020252592A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12002837B2 (en) * | 2021-06-25 | 2024-06-04 | Microsoft Technology Licensing, Llc | Imaging sensor with near-infrared absorber |
| CN115379092A (zh) * | 2022-08-17 | 2022-11-22 | 中南大学 | 一种高动态范围视频获取方法、系统及终端 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160323524A1 (en) | 2013-12-04 | 2016-11-03 | Rambus Inc. | High dynamic-range image sensor |
| WO2018195669A1 (en) | 2017-04-28 | 2018-11-01 | The Governing Council Of The University Of Toronto | Method and system for pixel-wise imaging |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2256989B (en) | 1991-06-21 | 1995-02-08 | Sony Broadcast & Communication | Video image capture apparatus |
| JP2003521836A (ja) | 1999-03-04 | 2003-07-15 | ビジョン−サイエンシズ・インコーポレイテッド | 個別に制御可能な電子シャッター回路を備えた画像センサユニットセル |
| US7369167B2 (en) | 2003-06-02 | 2008-05-06 | Micron Technology, Inc. | Photo diode ID for CMOS imagers |
| WO2006026354A2 (en) * | 2004-08-25 | 2006-03-09 | Newport Imaging Corporation | Apparatus for multiple camera devices and method of operating same |
| US7973838B2 (en) | 2006-07-07 | 2011-07-05 | Immersive Media Company | Active mask for electronic imaging system |
| US8648948B2 (en) | 2009-09-30 | 2014-02-11 | Infrared Newco, Inc. | Imaging systems with multiple imaging pixel types and related methods |
| WO2011053678A1 (en) | 2009-10-28 | 2011-05-05 | The Trustees Of Columbia University In The City Of New York | Methods and systems for coded rolling shutter |
| EP2385698A3 (en) | 2010-04-30 | 2012-01-04 | Honda Motor Co., Ltd. | Imaging apparatus, imaging method, and imaging program |
| WO2012004709A1 (en) * | 2010-07-06 | 2012-01-12 | Koninklijke Philips Electronics N.V. | Generation of high dynamic range images from low dynamic range images |
| DE102012109129B4 (de) * | 2011-09-27 | 2017-06-29 | Heptagon Micro Optics Pte. Ltd. | Sensor-Pixelanordnung und getrennte Anordnung einer Speicherung und Akkumulation mit parallelem Erfassen und Auslesen |
| US8773562B1 (en) | 2013-01-31 | 2014-07-08 | Apple Inc. | Vertically stacked image sensor |
| US9741754B2 (en) | 2013-03-06 | 2017-08-22 | Apple Inc. | Charge transfer circuit with storage nodes in image sensors |
| US9549099B2 (en) | 2013-03-12 | 2017-01-17 | Apple Inc. | Hybrid image sensor |
| US9453730B2 (en) | 2013-03-20 | 2016-09-27 | Cognex Corporation | Machine vision 3D line scan image acquisition and processing |
| CN110233978B (zh) * | 2014-02-07 | 2022-03-11 | 拉姆伯斯公司 | 馈通补偿图像传感器 |
| US9929204B2 (en) | 2014-03-13 | 2018-03-27 | Samsung Electronics Co., Ltd. | Unit pixel of image sensor, image sensor including the same and method of manufacturing image sensor |
| JP6231940B2 (ja) | 2014-05-08 | 2017-11-15 | 浜松ホトニクス株式会社 | 測距装置及び測距装置の駆動方法 |
| CN107005662B (zh) | 2014-07-12 | 2020-04-28 | 雷神公司 | 具有集成压缩采样的读出集成电路和焦平面阵列成像系统 |
| SE538072C2 (sv) | 2014-08-21 | 2016-02-23 | Totalförsvarets Forskningsinstitut | An imaging system parallelizing compressive sensing imaging |
| US9467628B2 (en) | 2014-08-26 | 2016-10-11 | Sensors Unlimited, Inc. | High dynamic range image sensor |
| JP6422306B2 (ja) | 2014-11-04 | 2018-11-14 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| US9743024B2 (en) * | 2015-07-01 | 2017-08-22 | Massachusetts Institute Of Technology | Method and apparatus for on-chip per-pixel pseudo-random time coded exposure |
| KR102362138B1 (ko) * | 2015-07-23 | 2022-02-14 | 삼성전자주식회사 | 이미지 센서 모듈 및 그것을 포함하는 이미지 센서 장치 |
| JP6626573B2 (ja) * | 2015-11-02 | 2019-12-25 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ映像の、ｃｒｃコードを含むレイヤ表現および配信 |
| US9942503B2 (en) | 2016-02-23 | 2018-04-10 | Semiconductor Components Industries, Llc | Image sensors having high-efficiency charge storage capabilities |
| KR102385726B1 (ko) * | 2016-05-04 | 2022-04-12 | 인터디지털 브이씨 홀딩스 인코포레이티드 | 하이 다이내믹 레인지 화상을 코딩된 비트스트림으로 인코딩/디코딩하기 위한 방법 및 장치 |
| JP6746421B2 (ja) * | 2016-07-29 | 2020-08-26 | キヤノン株式会社 | 撮像装置 |
| US10484628B2 (en) * | 2016-10-21 | 2019-11-19 | The Johns Hopkins University | Flexible pixel-wise exposure control and readout |
| US10540733B2 (en) * | 2017-11-16 | 2020-01-21 | The Boeing Company | Frameless random-access image sensing |
| JP2020048018A (ja) * | 2018-09-18 | 2020-03-26 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、及び電子機器 |
| US10855896B1 (en) * | 2018-12-13 | 2020-12-01 | Facebook Technologies, Llc | Depth determination using time-of-flight and camera assembly with augmented pixels |
| US10791282B2 (en) | 2018-12-13 | 2020-09-29 | Fenwick & West LLP | High dynamic range camera assembly with augmented pixels |
| JP2020162100A (ja) * | 2019-03-28 | 2020-10-01 | ソニーセミコンダクタソリューションズ株式会社 | 受光装置および測距モジュール |
| WO2020234651A1 (en) * | 2019-05-21 | 2020-11-26 | Sony Semiconductor Solutions Corporation | Imaging devices for capturing color and depth information |
-
2020
- 2020-06-19 US US17/606,969 patent/US11856301B2/en active Active
- 2020-06-19 WO PCT/CA2020/050858 patent/WO2020252592A1/en active Application Filing
- 2020-06-19 JP JP2021571909A patent/JP2022537117A/ja active Pending
- 2020-06-19 CA CA3138215A patent/CA3138215A1/en active Granted
- 2020-06-19 KR KR1020217038615A patent/KR102620348B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160323524A1 (en) | 2013-12-04 | 2016-11-03 | Rambus Inc. | High dynamic-range image sensor |
| WO2018195669A1 (en) | 2017-04-28 | 2018-11-01 | The Governing Council Of The University Of Toronto | Method and system for pixel-wise imaging |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022537117A (ja) | 2022-08-24 |
| US20220239822A1 (en) | 2022-07-28 |
| US11856301B2 (en) | 2023-12-26 |
| KR20220022481A (ko) | 2022-02-25 |
| WO2020252592A1 (en) | 2020-12-24 |
| CA3138215A1 (en) | 2020-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110753192B (zh) | 一种集成电路图像传感器 | |
| CN105794203B (zh) | 高动态范围图像传感器 | |
| CN204633945U (zh) | 图像传感器、成像系统和处理器系统 | |
| US9467633B2 (en) | High dynamic range imaging systems having differential photodiode exposures | |
| US10904467B2 (en) | Imaging systems having dual storage gate overflow capabilities | |
| US9888198B2 (en) | Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities | |
| JP6267348B2 (ja) | 複数の短時間露出を使用してデジタル画像をキャプチャするためのシステムおよび方法 | |
| US9344647B2 (en) | Imaging systems with dynamic shutter operation | |
| JP6254159B2 (ja) | 単色センサを使用するワイドダイナミックレンジ | |
| US7446812B2 (en) | Wide dynamic range operations for imaging | |
| US8786732B2 (en) | Device and method for extending dynamic range in an image sensor | |
| US20140063300A1 (en) | High dynamic range imaging systems having clear filter pixel arrays | |
| EP3038356A1 (en) | Exposing pixel groups in producing digital images | |
| US20170251151A1 (en) | Image sensor operation for shutter modulation and high dynamic range | |
| US20170094203A1 (en) | Imaging systems with flicker mitigation and high dynamic range | |
| WO2013043259A1 (en) | Imaging system with foveated imaging capabilities | |
| CN109819184A (zh) | 图像传感器及减少图像传感器固定图像噪声的方法 | |
| KR20160045815A (ko) | 다수의 이미지 감지 엘리먼트들로 이미지들을 캡쳐하는 시스템 및 방법 | |
| KR102620348B1 (ko) | 픽셀 파라미터의 픽셀 단위 코딩을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법 및 시스템 | |
| CN110944126B (zh) | 成像系统和对图像传感器进行黑阶校正的方法 | |
| JP2017118191A (ja) | 撮像素子及びその駆動方法、並びに撮像装置 | |
| US10469731B2 (en) | Image sensor and imaging device including the same | |
| CA3138215C (en) | Method and system for extending image dynamic range using per-pixel coding of pixel parameters | |
| Gulve et al. | 39 000-Subexposures/s Dual-ADC CMOS Image Sensor With Dual-Tap Coded-Exposure Pixels for Single-Shot HDR and 3-D Computational Imaging | |
| US20240006430A1 (en) | Multiresolution imager for night vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |