KR20210013206A - 프로그램 가능한 화소 어레이 - Google Patents
프로그램 가능한 화소 어레이 Download PDFInfo
- Publication number
- KR20210013206A KR20210013206A KR1020207037369A KR20207037369A KR20210013206A KR 20210013206 A KR20210013206 A KR 20210013206A KR 1020207037369 A KR1020207037369 A KR 1020207037369A KR 20207037369 A KR20207037369 A KR 20207037369A KR 20210013206 A KR20210013206 A KR 20210013206A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- array
- pixel cell
- data
- programming
- Prior art date
Links
- 238000005259 measurement Methods 0.000 claims abstract description 58
- 230000002093 peripheral effect Effects 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000013139 quantization Methods 0.000 claims description 41
- 230000003287 optical effect Effects 0.000 claims description 17
- 239000004065 semiconductor Substances 0.000 claims description 15
- 239000000758 substrate Substances 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012805 post-processing Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 22
- 210000001508 eye Anatomy 0.000 description 18
- 238000007906 compression Methods 0.000 description 16
- 230000006835 compression Effects 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 15
- 238000012546 transfer Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 235000019589 hardness Nutrition 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 102100040862 Dual specificity protein kinase CLK1 Human genes 0.000 description 2
- 101000749294 Homo sapiens Dual specificity protein kinase CLK1 Proteins 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000023004 detection of visible light Effects 0.000 description 1
- 238000010494 dissociation reaction Methods 0.000 description 1
- 230000005593 dissociations Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H04N5/3745—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
- H04N25/535—Control of the integration time by using differing integration times for different sensor regions by dynamic region selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H04N5/23218—
-
- H04N5/23227—
-
- H04N5/23229—
-
- H04N5/345—
-
- H04N5/3535—
-
- H04N5/379—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Display Devices Of Pinball Game Machines (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
광 측정을 수행하기 위한 방법들 및 시스템들이 개시된다. 일 예에서, 장치는 화소 셀들의 어레이를 포함하며, 상기 화소 셀들의 어레이의 각각의 화소 셀은 광 측정 동작을 수행하고 상기 광 측정 동작의 디지털 출력을 생성하기 위해 구성된다. 상기 장치는: 화소 셀들의 어레이의 각각의 화소 셀에서 타겟팅된 프로그래밍 데이터를 포함한 화소 어레이 프로그래밍 맵을 수신하며, 각각의 화소 셀에서 타겟팅된 프로그래밍 데이터에 기초하여 각각의 화소 셀에서 광 측정 동작을 구성하도록 구성된 주변 회로를 추가로 포함한다. 상기 장치는 화소 셀들의 어레이의 적어도 일부의 디지털 출력들에 기초하여 이미지 프레임을 생성하도록 구성된 이미지 프로세서를 추가로 포함한다.
Description
관련 출원
이러한 특허 출원은 "모델-예측적 캡처를 위한 스마트 센서"라는 제목의, 2018년 5월 25일에 출원된 미국 가 특허 출원 번호 제62/676,849호, 및 "프로그램 가능한 화소 어레이"라는 제목의, 2019년 5월 23일에 출원된 미국 특허 출원 번호 제16/421,441호에 대한 우선권을 주장하며, 이것은 모든 목적들을 위해 여기에서 전체적으로 참조로 포함된다.
기술 분야
본 개시는 일반적으로 이미지 센서들에 관한 것이며, 보다 구체적으로 프로그램 가능한 화소 어레이를 포함한 이미지 센서들에 관한 것이다.
통상적인 이미지 센서는 화소 셀들의 어레이를 포함한다. 각각의 화소 셀은 광자들을 전하(예컨대, 전자들 또는 홀들)로 변환함으로써 광을 감지하기 위해 포토다이오드를 포함할 수 있다. 각각의 화소 셀에서 변환된 전하는 디지털 화소 값이 되도록 양자화될 수 있으며, 이미지는 디지털 화소 값들의 어레이로부터 생성될 수 있다. 많은 애플리케이션들은 고-분해능 이미지들 및/또는 높은 프레임 레이트들을 제공하도록 이미지 센서에 요구할 수 있다.
광 측정을 수행하기 위한 방법들 및 시스템들이 개시된다.
본 개시는 이미지 센서들에 관한 것이다. 보다 구체적으로, 및 제한 없이, 본 개시는 프로그램 가능한 화소 셀 어레이를 갖는 이미지 센서에 관한 것이다.
일 예에서, 장치는: 화소 셀들의 어레이로서, 상기 화소 셀들의 어레이의 각각의 화소 셀은 광 측정 동작을 수행하며 상기 광 측정 동작의 디지털 출력을 생성하도록 구성된, 상기 화소 셀들의 어레이; 주변 회로로서: 상기 화소 셀들의 어레이의 각각의 화소 셀에서 타겟팅된 프로그래밍 데이터를 포함한 화소 어레이 프로그래밍 맵을 수신하며; 상기 각각의 화소 셀에서 타겟팅된 프로그래밍 데이터에 기초하여 상기 각각의 화소 셀에서 광 측정 동작을 구성하도록 구성된, 상기 주변 회로; 및 상기 화소 셀들의 어레이의 적어도 일부의 디지털 출력들에 기초하여 이미지 프레임을 생성하도록 구성된 이미지 프로세서를 포함한다.
몇몇 양상들에서, 상기 화소 셀들의 어레이의 각각의 화소 셀은 개별적으로 어드레싱 가능한 구성 메모리와 연관된다. 주변 회로는: 상기 화소 어레이 프로그래밍 맵으로부터 화소 셀들의 어레이의 제 1 화소 셀에 대한 제 1 프로그래밍 데이터를 추출하고; 상기 화소 어레이 프로그래밍 맵으로부터 상기 화소 셀들의 어레이의 제 2 화소 셀에 대한 제 2 프로그래밍 데이터를 추출하고; 상기 제 1 프로그래밍 데이터에 기초하여 제 1 어드레스를 생성하고; 상기 제 2 프로그래밍 데이터에 기초하여 제 2 어드레스를 생성하고; 상기 제 1 어드레스에 기초하여, 상기 제 1 프로그래밍 데이터를 수신할 상기 제 1 화소 셀의 구성 메모리를 선택하며; 상기 제 2 어드레스에 기초하여, 상기 제 2 프로그래밍 데이터를 수신할 상기 제 2 화소 셀의 구성 메모리를 선택하도록 구성된다. 상기 제 1 프로그래밍 데이터 및 상기 제 2 프로그래밍 데이터는 상이하다.
몇몇 양상들에서, 상기 화소 어레이 프로그래밍 맵은 프로그래밍 데이터의 어레이를 포함한다. 상기 제 1 어드레스는 상기 프로그래밍 데이터의 어레이 내에서 제 1 프로그래밍 데이터의 위치에 기초하여 생성된다.
몇몇 양상들에서, 상기 각각의 화소 셀은 디지털 출력의 생성을 제어하기 위해 적어도 하나의 디바이스를 포함한다. 상기 주변 회로는: 상기 제 1 어드레스에 기초하여, 상기 제 1 화소 셀에서 제 1 디지털 출력의 생성을 가능화하기 위해 제 1 신호를 상기 제 1 화소 셀의 적어도 하나의 디바이스 스위치에 송신하며; 상기 제 2 어드레스에 기초하여, 상기 제 2 화소 셀에서 제 2 디지털 출력의 생성을 불능화하기 위해 제 2 신호를 상기 제 2 화소 셀의 적어도 하나의 디바이스에 송신하도록 구성된다.
몇몇 양상들에서, 상기 주변 회로는 상기 제 2 어드레스에 기초하여 상기 제 2 디지털 출력을 증폭시키도록 구성된 하나 이상의 감지 증폭기들을 불능화하기 위해 구성된다.
몇몇 양상들에서, 상기 주변 회로는 이미지 프로세서로의 제 1 디지털 출력을 포함한 디지털 출력들의 스트림을 출력하도록 구성된다. 상기 이미지 프로세서는: 상기 화소 어레이 프로그래밍 맵에 기초하여 상기 디지털 출력들의 스트림의 수신 타이밍을 동기화하며; 상기 동기화에 기초하여 상기 디지털 출력들의 스트림으로부터 상기 제 1 디지털 출력을 식별하도록 구성된다.
몇몇 양상들에서, 상기 제 1 프로그래밍 데이터 및 상기 제 2 프로그래밍 데이터는 이전 이미지 프레임으로부터 결정된 관심 영역에 기초하여 생성된다.
몇몇 양상들에서, 상기 각각의 화소 셀은 프로그램 가능한 노출 기간 내에서 광 측정 동작을 수행하도록 구성된다. 상기 주변 회로는: 상기 제 1 어드레스에 기초하여, 제 1 광 측정 동작을 위한 제 1 노출 기간을 설정하기 위해 제 1 신호를 상기 제 1 화소 셀에 송신하고; 상기 제 2 어드레스에 기초하여, 제 2 광 측정 동작을 위한 제 2 노출 기간을 설정하기 위해 제 2 신호를 상기 제 2 화소 셀에 송신하도록 구성되며, 상기 제 2 노출 기간은 상기 제 1 노출 기간과 상이하다. 상기 이미지 프로세서는 상기 제 1 광 측정 동작의 제 1 디지털 출력 및 상기 제 2 광 측정 동작의 제 2 디지털 출력을 수신하도록 구성된다.
몇몇 양상들에서, 상기 주변 회로는, 제 1 노출 기간을 0으로 설정하는 것 또는 상기 제 1 화소 셀을 리셋 상태에 두는 것 중 적어도 하나에 기초하여 상기 제 1 광 측정 동작을 수행하기 위해, 상기 제 1 어드레스에 기초하여, 상기 제 1 신호를 상기 제 1 화소 셀에 송신하도록 구성된다. 상기 이미지 프로세서는: 상기 제 1 디지털 출력에 기초하여 교정 동작을 수행하며; 상기 제 2 디지털 출력 및 상기 교정 동작의 결과에 기초하여 상기 제 2 화소 셀에 의해 수신된 광의 세기를 결정하도록 구성된다.
몇몇 양상들에서, 상기 각각의 화소 셀은 상기 광 측정 동작의 결과를 나타내는 아날로그 신호를 생성하도록 구성되며, 상기 디지털 출력은 프로그램 가능한 양자화 분해능으로 상기 아날로그 신호를 양자화하는 것에 기초하여 생성된다. 상기 주변 회로는: 상기 제 1 어드레스에 기초하여, 제 1 양자화 분해능을 설정하기 위해 제 1 신호를 제 1 화소 셀에 송신하며; 상기 제 2 어드레스에 기초하여, 상기 제 1 양자화 분해능과 상이한 제 2 양자화 분해능을 설정하기 위해 제 2 신호를 상기 제 2 화소 셀에 송신하도록 구성된다.
몇몇 양상들에서, 상기 각각의 화소 셀은 램핑 신호와 상기 아날로그 신호를 비교하는 것에 기초하여 상기 디지털 출력을 생성하도록 구성된 카운터를 포함하며, 상기 양자화 분해능은 상기 카운터로 공급된 클록 신호의 주파수에 기초하여 프로그램 가능하다. 상기 주변 회로는: 상기 제 1 어드레스에 기초하여, 상기 제 1 양자화 분해능을 설정하기 위해 제 1 클록 주파수의 제 1 클록 신호를 상기 제 1 화소 셀에 송신하며; 상기 제 2 어드레스에 기초하여, 상기 제 2 양자화 분해능을 설정하기 위해 제 2 클록 주파수의 제 2 클록 신호를 상기 제 2 화소 셀에 송신하도록 구성된다.
몇몇 양상들에서, 상기 제 1 화소 셀은 상기 제 1 화소 셀에서의 제 1 광 측정 동작으로부터의 제 1 아날로그 신호와 상기 제 2 화소 셀에서의 제 2 광 측정 동작으로부터의 제 2 아날로그 신호를 합산하는 것에 기초하여 합산 신호를 생성하도록 구성된 합산 회로를 포함한다. 상기 주변 회로는: 상기 제 1 어드레스에 기초하여, 상기 합산 신호를 양자화하는 것에 기초하여 제 1 디지털 출력을 생성하도록 상기 제 1 화소 셀을 구성하기 위해 제 1 신호를 송신하며; 상기 제 2 어드레스에 기초하여, 상기 제 2 화소 셀에 의한 제 2 디지털 출력의 생성을 불능화하기 위해 제 2 신호를 상기 제 2 화소 셀에 송신하도록 구성된다.
몇몇 양상들에서, 상기 각각의 화소는 제 1 파장 범위의 광을 측정하도록 구성된 제 1 포토다이오드 및 제 2 파장 범위의 광을 측정하기 위한 제 2 포토다이오드를 포함한다. 상기 주변 회로는: 상기 제 1 어드레스에 기초하여, 상기 제 1 포토다이오드로부터의 출력에 기초한 제 1 디지털 출력을 생성하기 위해 제 1 신호를 상기 제 1 화소 셀에 송신하며; 상기 제 2 어드레스에 기초하여, 상기 제 2 포토다이오드로부터의 출력에 기초한 제 2 디지털 출력을 생성하기 위해 제 2 신호를 상기 제 2 화소 셀에 송신하도록 구성된다.
몇몇 양상들에서, 상기 장치는 상기 화소 셀들의 어레이의 디지털 출력들 중 적어도 일부의 사후 처리를 수행하도록 구성된 사후 프로세서 회로를 추가로 포함한다. 상기 이미지 프로세서는 상기 화소 셀들의 어레이의 디지털 출력들 중 적어도 일부를 사후 처리하는 것에 기초하여 상기 이미지 프레임을 생성하도록 구성된다. 상기 사후 프로세서 회로, 상기 주변 회로, 및 상기 화소 셀들의 어레이는 반도체 기판상에 집적된다.
몇몇 양상들에서, 상기 화소 셀들의 어레이는 제 1 반도체 기판상에 형성된다. 상기 주변 회로 및 상기 사후 프로세서 회로 중 적어도 하나는 제 2 반도체 기판상에 형성된다. 상기 제 1 반도체 기판 및 상기 제 2 반도체 기판은 스택을 형성한다.
몇몇 양상들에서, 상기 사후 프로세서 회로는: 상기 화소 셀들의 어레이의 디지털 출력들 중 적어도 일부로부터, 오브젝트에 의한 구조화된 광의 반사에 대응하는 특징들을 추출하고; 상기 추출의 결과에 기초하여, 상기 디지털 출력들이 추출된 특징들을 나타내는 화소 셀들을 식별하며; 단지 상기 식별된 화소 셀들의 디지털 출력들만을 상기 이미지 프로세서에 송신하도록 구성된다.
몇몇 양상들에서, 상기 사후 프로세서 회로는: 상기 추출된 특징들의 서브 화소 위치들을 결정하며; 상기 오브젝트의 깊이 감지 동작을 수행하기 위해 상기 서브 화소 위치들을 애플리케이션으로 제공하도록 구성된다.
몇몇 양상들에서, 상기 사후 프로세서 회로는 상기 이미지 프로세서를 포함하며, 제 1 프레임 레이트로 상기 화소 셀들의 어레이에 의해 생성된 디지털 출력들을 수신하고 상기 제 1 프레임 레이트보다 낮은 제 2 프레임 레이트로 상기 디지털 출력들에 기초하여 이미지 프레임들을 생성하도록 구성된다.
몇몇 양상들에서, 상기 장치는 조명 시퀀스에 기초하여 씬의 상이한 부분들로 광을 투사하도록 구성된 조명기를 추가로 포함한다. 상기 화소 어레이 프로그래밍 맵은 상기 조명 시퀀스에 기초하여 생성된다.
몇몇 예들에서, 방법이 제공된다. 상기 방법은: 화소 셀들의 어레이의 각각의 화소 셀에서 타겟팅된 프로그래밍 데이터를 포함한 화소 어레이 프로그래밍 맵을 수신하는 것; 상기 화소 어레이 프로그래밍 맵으로부터 상기 화소 셀들의 어레이의 제 1 화소 셀에 대한 제 1 프로그래밍 데이터를 추출하는 것; 상기 화소 어레이 프로그래밍 맵으로부터 상기 화소 셀들의 어레이의 제 2 화소 셀에 대한 제 2 프로그래밍 데이터를 추출하는 것; 상기 제 1 프로그래밍 데이터에 기초하여 상기 제 1 화소 셀에서 제 1 광 측정 동작을 구성하는 것; 상기 제 2 프로그래밍 데이터에 기초하여 상기 제 2 화소 셀에서 제 2 광 측정 동작을 구성하는 것; 및 상기 제 1 화소 셀 또는 상기 제 2 화소 셀 중 적어도 하나에 의한 화소 데이터 출력에 기초하여 이미지 프레임을 생성하는 것을 포함한다.
본 발명에 따른 이미지 센서는 단지 화소 셀들의 서브세트만이 화소 데이터를 생성하도록 구성될 수 있으며, 이것은 호스트 프로세서에 송신되고 그것에 의해 처리된 화소 데이터의 볼륨을 감소시킬 수 있다. 이러한 구성들은 이미지 센서로 하여금, 대역폭 및 전력의 요건들을 완화시키면서 애플리케이션의 성능을 개선할 수 있는, 프레임 레이트로 호스트 프로세서에 의해 동작된 애플리케이션에 가장 적합한 정보를 포함한 고-분해능 이미지 데이터를 제공하도록 허용한다. 이러한 구성들은 착용 가능한 디바이스와 같은, 비교적 낮은 전력 및 낮은 대역폭 플랫폼 상에서 동작하는, 예를 들어, 앞서 언급한 2D 및 3D 애플리케이션들의 융합, 오브젝트 인식 및 추적 애플리케이션들, 위치 추적 애플리케이션 등의 성능들을 개선하는데 특히 유리하다.
예시적인 실시예들이 다음의 도면들을 참조하여 설명된다.
도 1a 및 도 1b는 근안 디스플레이의 실시예의 다이어그램들이다.
도 2는 근안 디스플레이의 단면의 실시예이다.
도 3은 단일 소스 어셈블리를 갖는 도파관 디스플레이의 실시예의 등각도를 예시한다.
도 4는 도파관 디스플레이의 실시예의 단면을 예시한다.
도 5는 근안 디스플레이를 포함한 시스템의 실시예의 블록도이다.
도 6a, 도 6b, 도 6c, 도 6d, 및 도 6e는 이미지 센서 및 그 동작들의 예들을 예시한다.
도 7a, 도 7b, 및 도 7c는 이미지 처리 시스템 및 그 동작들의 예를 예시한다.
도 8a 및 도 8b는 도 7a 내지 도 7c의 이미지 처리 시스템의 예시적인 구성요소들을 예시한다.
도 9a, 도 9b, 도 9c, 도 9d, 도 9e, 및 도 9f는 도 7a 내지 도 7c의 이미지 처리 시스템의 예시적인 구성요소들을 예시한다.
도 10a 및 도 10b는 도 7a 내지 도 7c의 이미지 처리 시스템의 예시적인 구성요소들을 예시한다.
도 11a 및 도 11b는 이미지 처리 시스템 및 그 동작들의 또 다른 예를 예시한다.
도 12는 도 7a 내지 도 7c 및 도 11a와 도 11b의 예시적인 이미지 처리 시스템들의 예시적인 동작을 예시한다.
도 13은 이미지 데이터를 생성하기 위한 예시적인 프로세스의 흐름도를 예시한다.
도면들은 단지 예시의 목적들을 위해 본 개시의 실시예들을 묘사한다. 이 기술분야의 숙련자는 예시된 구조들 및 방법들의 대안적인 실시예들이 본 개시의 원리들, 또는 내세워진 이점들로부터 벗어나지 않고 이용될 수 있다는 것을 다음의 설명으로부터 쉽게 인지할 것이다.
첨부된 도면들에서, 유사한 구성요소들 및/또는 도면들은 동일한 참조 라벨을 가질 수 있다. 뿐만 아니라, 동일한 유형의 다양한 구성요소들은 유사한 구성요소들을 구별하는 제 2 라벨 및 대시 기호에 의해 다음의 참조 라벨에 의해 구별될 수 있다. 단지 제 1 참조 라벨만이 명세서에서 사용된다면, 설명은 제 2 참조 라벨에 관계없이 동일한 제 1 참조 라벨을 갖는 유사한 구성요소들 중 임의의 것에 적용 가능하다.
도 1a 및 도 1b는 근안 디스플레이의 실시예의 다이어그램들이다.
도 2는 근안 디스플레이의 단면의 실시예이다.
도 3은 단일 소스 어셈블리를 갖는 도파관 디스플레이의 실시예의 등각도를 예시한다.
도 4는 도파관 디스플레이의 실시예의 단면을 예시한다.
도 5는 근안 디스플레이를 포함한 시스템의 실시예의 블록도이다.
도 6a, 도 6b, 도 6c, 도 6d, 및 도 6e는 이미지 센서 및 그 동작들의 예들을 예시한다.
도 7a, 도 7b, 및 도 7c는 이미지 처리 시스템 및 그 동작들의 예를 예시한다.
도 8a 및 도 8b는 도 7a 내지 도 7c의 이미지 처리 시스템의 예시적인 구성요소들을 예시한다.
도 9a, 도 9b, 도 9c, 도 9d, 도 9e, 및 도 9f는 도 7a 내지 도 7c의 이미지 처리 시스템의 예시적인 구성요소들을 예시한다.
도 10a 및 도 10b는 도 7a 내지 도 7c의 이미지 처리 시스템의 예시적인 구성요소들을 예시한다.
도 11a 및 도 11b는 이미지 처리 시스템 및 그 동작들의 또 다른 예를 예시한다.
도 12는 도 7a 내지 도 7c 및 도 11a와 도 11b의 예시적인 이미지 처리 시스템들의 예시적인 동작을 예시한다.
도 13은 이미지 데이터를 생성하기 위한 예시적인 프로세스의 흐름도를 예시한다.
도면들은 단지 예시의 목적들을 위해 본 개시의 실시예들을 묘사한다. 이 기술분야의 숙련자는 예시된 구조들 및 방법들의 대안적인 실시예들이 본 개시의 원리들, 또는 내세워진 이점들로부터 벗어나지 않고 이용될 수 있다는 것을 다음의 설명으로부터 쉽게 인지할 것이다.
첨부된 도면들에서, 유사한 구성요소들 및/또는 도면들은 동일한 참조 라벨을 가질 수 있다. 뿐만 아니라, 동일한 유형의 다양한 구성요소들은 유사한 구성요소들을 구별하는 제 2 라벨 및 대시 기호에 의해 다음의 참조 라벨에 의해 구별될 수 있다. 단지 제 1 참조 라벨만이 명세서에서 사용된다면, 설명은 제 2 참조 라벨에 관계없이 동일한 제 1 참조 라벨을 갖는 유사한 구성요소들 중 임의의 것에 적용 가능하다.
다음의 설명에서, 설명의 목적들을 위해, 특정 세부사항들이 특정한 발명의 실시예들의 철저한 이해를 제공하기 위해 제시된다. 그러나, 다양한 실시예들은 이들 특정 세부사항들 없이 실시될 수 있다는 것이 명백할 것이다. 도면들 및 설명은 제한을 위한 것이 아니다.
통상적인 이미지 센서는 화소 셀들의 어레이를 포함한다. 각각의 화소 셀은 광자들을 전하(예컨대, 전자들 또는 홀들)로 변환함으로써 입사 광을 감지하기 위해 포토다이오드를 포함한다. 화소 셀들의 어레이의 포토다이오드들에 의해 생성된 전하는 그 후 아날로그-디지털 변환기(ADC)에 의해 디지털 값들로 양자화될 수 있다. ADC는 예를 들어, 하나 이상의 양자화 레벨들과 전하를 나타내는 전압을 비교하기 위해 비교기를 사용함으로써 전하를 양자화할 수 있으며, 디지털 값은 비교 결과에 기초하여 생성될 수 있다. 디지털 값들은 그 후 이미지를 생성하기 위해 메모리에 저장될 수 있다.
이미지 센서로부터의 이미지 데이터는, 2D 및 3D 감지의 융합, 오브젝트 인식 및 추적, 위치 추적 등과 같은, 다양한 착용 가능한 애플리케이션들을 지원할 수 있다. 이들 애플리케이션들은 계산들을 수행하기 위해 상기 이미지의 화소들의 서브세트로부터 특징 정보를 추출할 수 있다. 예를 들어, 3D 감지를 수행하기 위해, 애플리케이션은 반사된 구조화된 광의 화소들(예컨대, 점들)을 식별하고, 송신된 구조화된 광과 상기 화소들로부터 추출된 패턴을 비교하며, 상기 비교에 기초하여 깊이 계산을 수행할 수 있다. 상기 애플리케이션은 또한 2D 및 3D 감지의 융합을 수행하기 위해 추출된 구조화된 광의 패턴을 제공하는 2D 화소 데이터를 동일한 화소 셀들로부터 식별할 수 있다. 오브젝트 인식 및 추적을 수행하기 위해, 애플리케이션은 또한 오브젝트의 이미지 특징들의 화소들을 식별하고, 상기 화소들로부터 이미지 특징들을 추출하며, 상기 추출 결과들에 기초하여 인식 및 추적을 수행할 수 있다. 이들 애플리케이션들은 통상적으로 호스트 프로세서상에서 실행되며, 이것은 이미지 센서와 전기적으로 연결되고 상호연결부들을 통해 상기 화소 데이터를 수신할 수 있다. 상기 호스트 프로세서, 상기 이미지 센서, 및 상기 상호연결부들은 착용 가능한 디바이스의 부분일 수 있다.
이들 애플리케이션들 모두는 고-분해능 이미지들 및/또는 고 프레임 레이트들로부터 이익을 얻을 수 있다. 더 높은-분해능 이미지들은 애플리케이션이 더 상세한 특징들/패턴들(예컨대, 반사된 구조화된 광의 더욱 개선된 패턴들, 더 상세한 이미지 특징들 등)을 추출하도록 허용하는 반면, 더 높은 프레임 레이트로 생성된 이미지들을 제공하는 것은 애플리케이션이 더 높은 샘플링 레이트로 오브젝트의 위치, 착용 가능한 디바이스의 위치 등을 추적할 수 있게 하며, 양쪽 모두는 애플리케이션들의 성능들을 개선할 수 있다.
그러나, 고-분해능 이미지들 및 고 프레임 레이트들은 다량의 화소 데이터의 생성, 송신, 및 처리를 야기할 수 있으며, 이것은 다수의 도전들을 보여줄 수 있다. 예를 들어, 높은 데이터 레이트로 다량의 화소 데이터를 송신하고 처리하는 것은 이미지 센서, 상호연결부, 및 호스트 프로세서에서 높은 전력 소비로 이어질 수 있다. 게다가, 이미지 센서 및 호스트 프로세서는 다량의 화소 데이터의 생성 및 처리에 대한 대역폭 제한들을 가하며 그것에 지연시간을 부가할 수 있다. 고 전력 및 고 대역폭 요건은 형태 인자 및 보안 고려사항들로 인해 비교적 낮은 속도로 및 비교적 낮은 전력을 갖고 동작하려는 경향이 있는 착용 가능한 디바이스에 대해 특히 문제가 될 수 있다.
본 개시는 상기 이슈들 중 적어도 일부를 처리할 수 있는 이미지 센서에 관한 것이다. 이미지 센서는 화소 셀들의 어레이 및 주변 회로를 포함한다. 상기 이미지 센서는 상호연결부를 통해 호스트 프로세서에 전기적으로 연결될 수 있다. 이미지 센서, 호스트 프로세서, 및 상호연결부는 착용 가능한 디바이스에 포함될 수 있다.
화소 셀들의 어레이의 각각의 화소 셀은 광 측정 동작을 수행하며 상기 광 측정 동작의 출력을 나타내는 화소 데이터를 생성할 수 있다. 주변 회로는 상기 화소 셀들의 어레이의 각각의 화소 셀에서 타겟팅된 프로그래밍 데이터를 포함한 화소 어레이 프로그래밍 맵을 수신하며, 상기 각각의 화소 셀에서 타겟팅된 프로그래밍 데이터에 기초하여 각각의 화소 셀에서 광 측정 동작을 구성할 수 있다. 몇몇 예들에서, 상기 화소 셀들의 어레이의 각각의 화소 셀은 개별적으로 어드레싱 가능한 구성 메모리와 연관되거나 또는 이를 포함할 수 있다. 주변 회로는 상기 화소 어레이 프로그래밍 맵으로부터 프로그래밍 데이터를 추출하며 상기 화소 셀의 어드레스와 각각의 화소 셀에서 타겟팅된 상기 추출된 프로그래밍 데이터를 연관시킬 수 있다. 주변 회로는 각각의 프로그래밍 데이터에 기초하여 각각의 화소 셀에서 광 측정 동작을 구성하도록 프로그래밍 데이터를 각각의 화소 셀의 구성 메모리에 송신하기 위해 제어 신호를 각각의 화소 셀에 송신할 수 있다. 호스트 프로세서는 상호연결부를 통해 이미지 센서로부터 화소 셀들의 어레이의 적어도 일부의 디지털 출력들을 수신하며, 수신된 디지털 출력들에 기초하여 애플리케이션을 동작시킬 수 있다.
주변 회로는, 화소 어레이 프로그래밍 맵에 기초하여, 단지 화소 셀들의 서브세트만이 화소 데이터를 생성하고 송신하도록 화소 셀들의 어레이를 구성할 수 있지만, 화소 셀들의 나머지는 하위 비트-깊이 및/또는 더 낮은 양자화 분해능을 갖는 화소 데이터를 출력하기 위해, 아날로그와 디지털 상관 이중 샘플링 동작 사이에서 스위칭하기 위해, 턴 오프되며 화소 데이터의 생성이 불능화되는 상태로 설정될 수 있다. 게다가, 주변 회로는 또한, 화소 어레이 프로그래밍 맵에 기초하여, 단지 화소 셀들의 서브세트로부터 호스트 프로세서로 디지털 출력들을 전송하도록 구성될 수 있다. 화소 셀들의 서브세트는 예를 들어, 화소 셀들의 나머지보다 적절한 정보를 애플리케이션으로 제공할 가능성이 더 있는 화소 셀들의 서브세트에 기초하여 선택될 수 있다. 예를 들어, 오브젝트 추적 애플리케이션을 위해, 화소 셀들의 서브세트는 추적되는 오브젝트의 화소 데이터를 포함할 가능성이 더 있는 것으로 결정될 수 있다. 또 다른 예로서, 3D 감지 애플리케이션에 대해, 화소 셀들의 서브세트는 반사된 구조화된 광의 화소 데이터를 포함할 가능성이 더 있는 것으로 결정될 수 있다. 몇몇 예들에서, 호스트 프로세서(또는 다른 프로세서들)는 이전 이미지 프레임으로부터의 반사된 구조화된 광의 이미지 특징들 및/또는 패턴들의 추출의 결과들에 기초하여 하나 이상의 관심 영역들(ROI들)을 식별할 수 있고, 화소 어레이 프로그래밍 맵은 ROI들을 시그널링하도록 구성될 수 있으며, 따라서 화소 셀 어레이에서 화소 셀들의 서브세트는 ROI들에 기초하여 화소 데이터를 생성하기 위해 선택될 수 있다. 호스트 프로세서(또는 다른 이미지 프로세서들)는 이전 이미지 프레임의 관심 영역들에 포함된 화소들 및 이미지 센서에 대한 오브젝트의 움직임의 속도 및 방향, 프레임 레이트 등과 같은, 다른 파라미터들에 기초하여 현재 이미지 프레임에서 화소들의 서브세트를 결정하며 화소 어레이 프로그래밍 맵에서 화소들의 서브세트에 대응하는 화소 셀들을 시그널링할 수 있다.
개시된 기술들을 이용하여, 이미지 센서는 단지 화소 셀들의 서브세트만이 화소 데이터를 생성하도록 구성될 수 있으며, 이것은 호스트 프로세서에 송신되고 그것에 의해 처리된 화소 데이터의 볼륨을 감소시킬 수 있다. 이러한 구성들은 이미지 센서로 하여금, 대역폭 및 전력의 요건들을 완화시키면서 애플리케이션의 성능을 개선할 수 있는, 프레임 레이트로 호스트 프로세서에 의해 동작된 애플리케이션에 가장 적합한 정보를 포함한 고-분해능 이미지 데이터를 제공하도록 허용한다. 이러한 구성들은 착용 가능한 디바이스와 같은, 비교적 낮은 전력 및 낮은 대역폭 플랫폼 상에서 동작하는, 예를 들어, 앞서 언급한 2D 및 3D 애플리케이션들의 융합, 오브젝트 인식 및 추적 애플리케이션들, 위치 추적 애플리케이션 등의 성능들을 개선하는데 특히 유리하다.
몇몇 예들에서, 화소 어레이 프로그래밍 맵을 사용한 ROI들의 시그널링은 이미지 센서에 의해 생성된 화소 데이터의 볼륨을 감소시키기 위해 화소 셀들의 어레이에 의해 구조화된 광의 송신 및 반사된 광의 수신을 동기화하기 위해 사용될 수 있다. 구체적으로, 조명기(또는 조명기들의 어레이)는 단지 애플리케이션(예컨대, 추적되는 오브젝트가 위치되는 곳)을 위한 관련 정보를 포함한 씬의 영역으로만 구조화된 광을 투사하도록 제어될 수 있다. 조명기는 화소 데이터를 생성하기 위해 ROI들로서 씬의 영역의 예상된 이미지 위치뿐만 아니라 화소 셀들의 서브세트들을 정의하는 화소 어레이 프로그래밍 맵에 기초하여 제어될 수 있다. 이러한 구성들을 갖고, 선택된 화소 셀들의 서브세트에 의해 생성된 화소 데이터는 애플리케이션에 대한 관심 정보를 포함할 가능성이 더 있으며, 이것은 이미지 센서에 의해 생성되고 송신된 화소 데이터의 볼륨을 감소시키면서 애플리케이션의 성능을 추가로 개선할 수 있다.
화소 셀들에서 화소 데이터 생성을 선택적으로 가능화/불능화하는 것 외에, 다른 기술들이 호스트 프로세서에 송신되고 그것에 의해 처리된 데이터의 볼륨을 추가로 감소시키기 위해 제안된다. 예를 들어, 화소 셀들의 어레이는 프로그래밍 맵에 의해 압축 감지 기법을 구현하도록 구성될 수 있으며, 여기에서 화소 셀들의 선택된 그룹 내에서의 마스터 화소 셀은 그룹 내에서의 화소 셀들의 모두의 광 측정 동작들의 아날로그 출력들을 합산하고 이를 디지털 화소 값으로 양자화하도록 구성된다. 디지털 화소 값은 화소 셀들의 그룹의 압축된 출력으로서 호스트 프로세서에 송신된다. 또 다른 예로서, 이미지 센서는 화소 셀들의 서브세트로부터 화소 데이터의 사후-처리를 수행하며, 사후-처리된 화소 데이터를 호스트 프로세서에 송신하기 위해 사후 프로세서를 포함할 수 있다. 사후-처리는 호스트 프로세서에 송신되고 그것에 의해 처리된 데이터의 볼륨을 추가로 감소시키기 위해 다양한 압축 기법들을 포함할 수 있다. 예를 들어, 사후-처리는 반사된 구조화된 광 패턴들의 화소(또는 서브-화소) 위치들을 결정하며, 단지 화소 위치들만을 호스트 프로세서에 송신하기 위해 구조화된 광 패턴 추출 기법(예컨대, 점 추출 기법)을 포함할 수 있다. 또 다른 예로서, 사후-프로세서는 실제 프레임 레이트로 화소 셀들의 어레이로부터 화소 데이터를 수신하고, 수신된 화소 데이터의 압축을 수행하며, 감소된 프레임 레이트로 압축된 데이터를 호스트 프로세서에 송신할 수 있다. 이들 예들에서, 호스트 프로세서에 송신되고 그것에 의해 처리된 데이터의 볼륨은 상당히 감소될 수 있으며, 이것은 전력 및 대역폭 제한들 내에서 호스트 프로세서에서의 이미지 처리의 달성 가능한 프레임 레이트 및 분해능을 증가시킬 수 있다.
데이터 압축 외에, 화소 어레이 프로그래밍 맵은 화소 셀들에서 광 측정 동작들의 다른 양상들을 구성하기 위해 사용될 수 있다. 몇몇 예들에서, 각각의 화소 셀에서 노출 시간은 화소 어레이 프로그래밍 맵에 의해 교정 동작을 지원하도록 개별적으로 구성될 수 있다. 예를 들어, 화소 셀들의 서브세트는 어두운 화소들을 나타내는 디지털 화소 데이터를 생성하기 위해 제로 노출 시간을 갖도록 구성될 수 있다. 제로가 아닌 노출 데이터를 갖는 다른 화소 셀들에 의해 생성된 화소 데이터는 화소 데이터에 영향을 줄 수 있는 온도 및/또는 다른 물리적 조건들의 효과들을 감안하기 위해 어두운 화소 데이터에 기초하여 조정될 수 있다. 또 다른 예로서, 각각의 화소 셀은 화소 어레이 프로그래밍 맵에 의해, 가시 범위에서(예컨대, 2D 감지를 위해), 적외선 범위에서(예컨대, 3D 감지를 위해), 또는 양쪽 모두에서(2D 및 3D 감지의 융합을 가능화하기 위해) 광의 측정을 수행하도록 구성될 수 있다. 이들 모두는 더 많은 애플리케이션들을 지원하기 위해 이미지 센서의 동작 유연성을 개선할 수 있으며, 이것은 사용자 경험을 개선할 수 있다.
개시된 기술들은 인공 현실 시스템을 포함하거나 또는 그것과 함께 구현될 수 있다. 인공 현실은 사용자로의 프리젠테이션 전에 몇몇 방식으로 조정되어 온 현실의 형태이며, 이것은 예컨대 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 그것의 몇몇 조합 및/또는 파생물을 포함할 수 있다. 인공 현실 콘텐트는 완전히 생성된 콘텐트 또는 캡처된(예컨대, 실-세계) 콘텐트와 조합된 생성된 콘텐트를 포함할 수 있다. 인공 현실 콘텐트는 비디오, 오디오, 햅틱 피드백, 또는 그것의 몇몇 조합을 포함할 수 있으며, 그 중 임의의 것은 단일 채널로 또는 다수의 채널들로(뷰어에게 3-차원 효과를 생성하는 스테레오 비디오와 같은) 제공될 수 있다. 부가적으로, 몇몇 실시예들에서, 인공 현실은 또한 예컨대, 인공 현실에서 콘텐트를 생성하고 및/또는 그 외 인공 현실에서 사용되는(예컨대, 그것에서 활동들을 수행하는) 애플리케이션들, 제품들, 액세서리들, 서비스들, 또는 그것의 몇몇 조합과 연관될 수 있다. 인공 현실 콘텐트를 제공하는 인공 현실 시스템은, 호스트 컴퓨터 시스템에 연결된 헤드-장착 디스플레이(HMD), 독립형 HMD, 이동 디바이스 또는 컴퓨팅 시스템, 또는 하나 이상의 뷰어들로 인공 현실 콘텐트를 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함한, 다양한 플랫폼들 상에서 구현될 수 있다.
도 1a는 근안 디스플레이(100)의 실시예의 다이어그램이다. 근안 디스플레이(100)는 사용자에게 미디어를 제공한다. 근안 디스플레이(100)에 의해 제공된 미디어의 예들은 하나 이상의 이미지들, 비디오, 및/또는 오디오를 포함한다. 몇몇 실시예들에서, 오디오는 근안 디스플레이(100), 콘솔, 또는 양쪽 모두로부터 오디오 정보를 수신하며 오디오 정보에 기초하여 오디오 데이터를 제공하는 외부 디바이스(예컨대, 스피커들 및/또는 헤드폰들)를 통해 제공된다. 근안 디스플레이(100)는 일반적으로 가상 현실(VR) 디스플레이로서 동작하도록 구성된다. 몇몇 실시예들에서, 근안 디스플레이(100)는 증강 현실(AR) 디스플레이 및/또는 혼합 현실(MR) 디스플레이로서 동작하도록 수정된다.
근안 디스플레이(100)는 프레임(105) 및 디스플레이(110)를 포함한다. 프레임(105)은 하나 이상의 광학 요소들에 결합된다. 디스플레이(110)는 사용자가 근안 디스플레이(100)에 의해 제공된 콘텐트를 보도록 구성된다. 몇몇 실시예들에서, 디스플레이(110)는 하나 이상의 이미지들로부터 사용자의 눈으로 광을 향하게 하기 위해 도파관 디스플레이 어셈블리를 포함한다.
근안 디스플레이(100)는 이미지 센서들(120a, 120b, 120c, 및 120d)을 추가로 포함한다. 이미지 센서들(120a, 120b, 120c, 및 120d)의 각각은 상이한 방향들을 따라 상이한 시야들을 나타내는 이미지 데이터를 생성하도록 구성된 화소 어레이를 포함할 수 있다. 예를 들어, 센서들(120a 및 120b)은 Z 축을 따라 방향 A를 향하는 두 개의 시야들을 나타내는 이미지 데이터를 제공하도록 구성될 수 있는 반면, 센서(120c)는 X 축을 따라 방향 B를 향하는 시야를 나타내는 이미지 데이터를 제공하도록 구성될 수 있으며, 센서(120d)는 X 축을 따라 방향 C를 향하는 시야를 나타내는 이미지 데이터를 제공하도록 구성될 수 있다.
몇몇 실시예들에서, 센서들(120a 내지 120d)은 근안 디스플레이(100)를 착용한 사용자에게 상호 작용적 VR/AR/MR 경험을 제공하기 위해, 입력 디바이스들로서 근안 디스플레이(100)의 디스플레이 콘텐트를 제어하거나 또는 그것에 영향을 주도록 구성될 수 있다. 예를 들어, 센서들(120a 내지 120d)은 사용자가 위치되는 물리적 환경의 물리적 이미지 데이터를 생성할 수 있다. 물리적 이미지 데이터는 물리적 환경에서 사용자의 움직임의 위치 및/또는 경로를 추적하기 위해 위치 추적 시스템으로 제공될 수 있다. 시스템은 그 후 상호 작용적 경험을 제공하기 위해, 예를 들어, 사용자의 위치 및 배향에 기초하여 디스플레이(110)로 제공된 이미지 데이터를 업데이트할 수 있다. 몇몇 실시예들에서, 위치 추적 시스템은 물리적 환경 내에서 사용자가 이동함에 따라 물리적 환경에서 및 사용자의 시야 내에서 오브젝트들의 세트를 추적하기 위해 SLAM 알고리즘을 동작시킬 수 있다. 위치 추적 시스템은 오브젝트의 세트에 기초하여 물리적 환경의 맵을 구성하고 업데이트하며, 상기 맵 내에서 사용자의 위치를 추적할 수 있다. 다수의 사야들에 대응하는 이미지 데이터를 제공함으로써, 센서들(120a 내지 120d)은 물리적 환경의 보다 전체적 뷰를 위치 추적 시스템에 제공할 수 있으며, 이것은 맵의 구성 및 업데이트에 포함될 더 많은 오브젝트들을 야기할 수 있다. 이러한 구성을 갖고, 물리적 환경 내에서 사용자의 위치를 추적하는 정확도 및 강력함이 개선될 수 있다.
몇몇 실시예들에서, 근안 디스플레이(100)는 광을 물리적 환경을 투사하기 위해 하나 이상의 활성 조명기들(130)을 추가로 포함할 수 있다. 투사된 광은 상이한 주파수 스펙트럼들(예컨대, 가시 광, 적외선 광, 자외선 광 등)과 연관될 수 있으며 다양한 목적들을 제공할 수 있다. 예를 들어, 조명기(130)는 예를 들어, 사용자의 위치 추적을 가능화하기 위해 센서들(120a 내지 120d)이 어두운 환경 내에서 상이한 오브젝트들의 이미지들을 캡처하는 것을 돕도록 어두운 환경에서(또는 낮은 강도의 적외선 광, 자외선 광 등을 갖는 환경에서) 광을 투사할 수 있다. 조명기(130)는 위치 추적 시스템이 맵 구성/업데이트를 위해 오브젝트들을 식별하는 것을 돕도록, 환경 내에서 오브젝트들로 특정한 마커들을 투사할 수 있다.
몇몇 실시예들에서, 조명기(130)는 또한 입체 이미징을 가능화할 수 있다. 예를 들어, 센서들(120a 또는 120b) 중 하나 이상은 가시광 감지를 위한 제 1 화소 어레이 및 적외선(IR) 광 감지를 위한 제 2 화소 어레이 양쪽 모두를 포함할 수 있다. 제 1 화소 어레이는 컬러 필터(예컨대, 베이어(Bayer) 필터)로 오버레이될 수 있으며, 제 1 화소 어레이의 각각은 화소는 특정한 컬러(예컨대, 적색, 녹색, 또는 청색 컬러들 중 하나)와 연관된 광의 세기를 측정하도록 구성된다. 제 2 화소 어레이(IR 광 감지를 위한)는 또한 단지 IR 광만을 허용하는 필터로 오버레이될 수 있으며, 제 2 화소 어레이의 각각의 화소는 IR 광들의 세기를 측정하도록 구성된다. 화소 어레이들은 오브젝트의 RGB 이미지 및 IR 이미지를 생성할 수 있으며, IR 이미지의 각각의 화소는 RGB 이미지의 각각의 화소에 매핑된다. 조명기(130)는 오브젝트 상에서 IR 마커들의 세트를 투사할 수 있으며, 그것의 이미지들은 IR 화소 어레이에 의해 캡처될 수 있다. 이미지에서 도시된 바와 같이 오브젝트의 IR 마커들의 분포에 기초하여, 시스템은 IR 화소 어레이로부터 오브젝트의 상이한 부분들의 거리를 추정하며, 거리들에 기초하여 오브젝트의 입체 이미지를 생성할 수 있다. 오브젝트의 입체 이미지에 기초하여, 시스템은, 예를 들어, 사용자에 대한 오브젝트의 상대적 위치를 결정할 수 있으며, 상호 작용적 경험을 제공하기 위해 상대적 위치 정보에 기초하여 디스플레이(100)로 제공된 이미지 데이터를 업데이트할 수 있다.
상기 논의된 바와 같이, 근안 디스플레이(100)는 매우 광범위한 광 세기들과 연관된 환경들에서 동작될 수 있다. 예를 들어, 근안 디스플레이(100)는 실내 환경에서 또는 옥외 환경에서, 및/또는 상이한 시각들에서 동작될 수 있다. 근안 디스플레이(100)는 또한 턴 온되는 활성 조명기(130)를 갖고 또는 그것 없이 동작할 수 있다. 그 결과, 이미지 센서들(120a 내지 120d)은 근안 디스플레이(100)를 위한 상이한 동작 환경들과 연관된 매우 광범위한 광 세기들에 걸쳐 적절히 동작할 수 있도록(예컨대, 입사 광의 세기와 연관성이 있는 출력을 생성하기 위해) 넓은 동적 범위를 가질 필요가 있을 수 있다.
도 1b는 근안 디스플레이(100)의 또 다른 실시예의 다이어그램이다. 도 1b는 근안 디스플레이(100)를 착용하는 사용자의 안구(들)(135)에 접하는 근안 디스플레이(100)의 측면을 예시한다. 도 1b에 도시된 바와 같이, 근안 디스플레이(100)는 복수의 조명기들(140a, 140b, 140c, 140d, 140e, 및 140f)을 추가로 포함할 수 있다. 근안 디스플레이(100)는 복수의 이미지 센서들(150a 및 150b)을 추가로 포함한다. 조명기들(140a, 140b, 및 140c)은 방향 D(도 1a의 방향 A와 반대인)를 향해 특정한 주파수 범위(예컨대, NIR)의 광들을 방출할 수 있다. 방출된 광은 특정한 패턴과 연관될 수 있으며, 사용자의 좌측 안구에 의해 반사될 수 있다. 센서(150a)는 반사된 광을 수신하며 반사된 패턴의 이미지를 생성하기 위해 화소 어레이를 포함할 수 있다. 유사하게, 조명기들(140d, 140e, 및 140f)은 패턴을 운반하는 NIR 광들을 방출할 수 있다. NIR 광들은 사용자의 우측 안구에 의해 반사될 수 있으며, 센서(150b)에 의해 수신될 수 있다. 센서(150b)는 또한 반사된 패턴의 이미지를 생성하기 위해 화소 어레이를 포함할 수 있다. 센서들(150a 및 150b)로부터의 반사된 패턴의 이미지들에 기초하여, 시스템은 사용자의 응시 포인트를 결정하며, 사용자에게 상호 작용적 경험을 제공하기 위해 결정된 응시 포인트에 기초하여 디스플레이(100)로 제공된 이미지 데이터를 업데이트할 수 있다.
상기 논의된 바와 같이, 사용자의 안구들의 손상을 피하기 위해, 조명기들(140a, 140b, 140c, 140d, 140e, 및 140f)은 통상적으로 매우 낮은 세기들의 광들을 출력하도록 구성된다. 이미지 센서들(150a 및 150b)이 도 1a의 이미지 센서들(120a 내지 120d)과 동일한 센서 디바이스들을 포함하는 경우에, 이미지 센서들(120a 내지 120d)은 입사 광의 세기가 매우 낮을 때 입사 광의 세기와 연관성이 있는 출력을 생성할 수 있을 필요가 있으며, 이것은 이미지 센서들의 동적 범위 요건을 추가로 증가시킬 수 있다.
게다가, 이미지 센서들(120a 내지 120d)은 안구들의 움직임들을 추적하기 위해 고속으로 출력을 생성할 수 있을 필요가 있을 것이다. 예를 들어, 사용자의 안구는 하나의 안구 위치로부터 또 다른 것으로 빠른 점프가 있을 수 있는 매우 급속한 움직임(예컨대, 신속안구(saccade) 움직임)을 수행할 수 있다. 사용자의 안구의 급속한 움직임을 추적하기 위해, 이미지 센서들(120a 내지 120d)은 고속으로 안구의 이미지들을 생성할 필요가 있다. 예를 들어, 이미지 센서들이 이미지 프레임을 생성하는 레이트(프레임 레이트)는 적어도 안구의 움직임의 속도와 일치할 필요가 있다. 높은 프레임 레이트는 이미지 프레임을 생성하는데 수반된 화소 셀들의 모두를 위한 짧은 총 노출 시간, 뿐만 아니라 센서 출력들을 이미지 생성을 위해 디지털 값들로 변환하기 위한 높은 속도를 요구한다. 게다가, 상기 논의된 바와 같이, 이미지 센서들은 또한 낮은 광 세기를 갖는 환경에서 동작할 수 있을 필요가 있다.
도 2는 도 1에 예시된 근안 디스플레이(100)의 단면(200)의 실시예이다. 디스플레이(110)는 적어도 하나의 도파관 디스플레이 어셈블리(210)를 포함한다. 사출 동공(230)은 사용자가 근안 디스플레이(100)를 착용할 때 사용자의 단일 안구(220)가 아이박스 영역에 위치되는 위치이다. 예시의 목적들을 위해, 도 2는 안구(220) 및 단일 도파관 디스플레이 어셈블리(210)와 연관된 단면을 도시하지만, 제 2 도파관 디스플레이는 사용자의 제 2 눈을 위해 사용된다.
도파관 디스플레이 어셈블리(210)는 사출 동공(230)에 위치된 아이박스로 및 안구(220)로 이미지 광을 향하게 하도록 구성된다. 도파관 디스플레이 어셈블리(210)는 하나 이상의 굴절률들을 갖는 하나 이상의 재료들(예컨대, 플라스틱, 유리 등)로 구성될 수 있다. 몇몇 실시예들에서, 근안 디스플레이(100)는 도파관 디스플레이 어셈블리(210)와 안구(220) 사이에 하나 이상의 광학 요소들을 포함한다.
몇몇 실시예들에서, 도파관 디스플레이 어셈블리(210)는 이에 제한되지 않지만, 스택형 도파관 디스플레이, 가변초점 도파관 디스플레이 등을 포함한 하나 이상의 도파관 디스플레이들의 스택을 포함한다. 스택형 도파관 디스플레이는 각각의 단색성 소스들이 상이한 컬러들이 도파관 디스플레이들을 적층시킴으로써 생성된 다색성 디스플레이(예컨대, 적색-녹색-청색(RGB) 디스플레이)이다. 스택형 도파관 디스플레이는 또한 다수의 평면들 상에 투사될 수 있는 다색성 디스플레이(예컨대, 다중-평면 컬러링 디스플레이) 이다. 몇몇 구성들에서, 스택형 도파관 디스플레이는 다수의 평면들 상에 투사될 수 있는 단색성 디스플레이이다(예컨대, 다중-평면 단색성 디스플레이). 가변초점 도파관 디스플레이는 도파관 디스플레이로부터 방출된 이미지 광의 초점 위치를 조정할 수 있는 디스플레이이다. 대안적인 실시예들에서, 도파관 디스플레이 어셈블리(210)는 스택형 도파관 디스플레이 및 가변초점 도파관 디스플레이를 포함할 수 있다.
도 3은 도파관 디스플레이(300)의 실시예의 등각도를 예시한다. 몇몇 실시예들에서, 도파관 디스플레이(300)는 근안 디스플레이(100)의 구성요소(예컨대, 도파관 디스플레이 어셈블리(210))이다. 몇몇 실시예들에서, 도파관 디스플레이(300)는 특정한 위치로 이미지 광을 향하게 하는 몇몇 다른 근안 디스플레이 또는 다른 시스템의 부분이다.
도파관 디스플레이(300)는 소스 어셈블리(310), 출력 도파관(320), 및 제어기(330)를 포함한다. 예시의 목적들을 위해, 도 3은 단일 안구(220)와 연관된 도파관 디스플레이(300)를 도시하지만, 몇몇 실시예들에서, 도파관 디스플레이(300)로부터 분리된, 또는 부분적으로 분리된 또 다른 도파관 디스플레이가 이미지 광을 사용자의 또 다른 눈으로 제공한다.
소스 어셈블리(310)는 이미지 광(355)을 생성한다. 소스 어셈블리(310)는 이미지 광(355)을 생성하며 이를 출력 도파관(320)의 제 1 측면(370-1) 상에 위치된 결합 요소(350)로 출력한다. 출력 도파관(320)은 확장된 이미지 광(340)을 사용자의 안구(220)로 출력하는 광학 도파관이다. 출력 도파관(320)은 제 1 측면(370-1) 상에 위치된 하나 이상의 결합 요소들(350)에서 이미지 광(355)을 수신하며 수신된 입력 이미지 광(355)을 지향 요소(360)로 안내한다. 몇몇 실시예들에서, 결합 요소(350)는 소스 어셈블리(310)로부터 출력 도파관(320)으로 이미지 광(355)을 결합한다. 결합 요소(350)는, 예컨대, 회절 격자, 홀로그램 격자, 하나 이상의 연쇄된 반사기들, 하나 이상의 프리즘 표면 요소들, 및/또는 홀로그램 반사기들의 어레이일 수 있다.
지향 요소(360)는 수신된 입력 이미지 광(355)이 결합해제 요소(365)를 통해 출력 도파관(320)으로부터 결합 해제되도록 수신된 입력 이미지 광(355)을 결합해제 요소(365)로 재지향시킨다. 지향 요소(360)는 출력 도파관(320)의 제 1 측면(370-1)의 부분이거나, 또는 그것에 부착된다. 결합해제 요소(365)는 출력 도파관(320)의 제 2 측면(370-2)의 부분이거나, 또는 그것에 부착되며, 따라서 지향 요소(360)는 결합해제 요소(365)의 반대편에 있다. 지향 요소(360) 및/또는 결합해제요소(365)는 예컨대, 회절 격자, 홀로그램 격자, 하나 이상의 연쇄된 반사기들, 하나 이상의 프리즘 표면 요소들, 및/또는 홀로그램 반사기들의 어레이일 수 있다.
제 2 측면(370-2)은 x-차원 및 y-차원을 따르는 평면을 나타낸다. 출력 도파관(320)은 이미지 광(355)의 총 내부 반사를 가능하게 하는 하나 이상의 재료들로 구성될 수 있다. 출력 도파관(320)은, 예컨대, 실리콘, 플라스틱, 유리, 및/또는 폴리머들로 구성될 수 있다. 출력 도파관(320)은 비교적 작은 형태 인자를 갖는다. 예를 들어, 출력 도파관(320)은 x-차원을 따라 폭이 대략 50mm, y-차원을 따라 길이가 30mm 및 z-차원을 따라 두께가 0.5 내지 1mm일 수 있다.
제어기(330)는 소스 어셈블리(310)의 스캐닝 동작들을 제어한다. 제어기(330)는 소스 어셈블리(310)를 위한 스캐닝 명령들을 결정한다. 몇몇 실시예들에서, 출력 도파관(320)은 큰 시야(FOV)를 갖고 사용자의 안구(220)로 확장된 이미지 광(340)을 출력한다. 예를 들어, 확장된 이미지 광(340)은 60도 이상 및/또는 150도 이하의 대각선 FOV(x 및 y에서)를 갖고 사용자의 안구(220)로 제공된다. 출력 도파관(320)은 20mm 이상 및/또는 50mm 이하의 길이; 및/또는 10mm 이상 및/또는 50mm 이하의 폭을 아이박스에 제공하도록 구성된다.
게다가, 제어기(330)는 또한 이미지 센서(370)에 의해 제공된 이미지 데이터에 기초하여, 소스 어셈블리(310)에 의해 생성된 이미지 광(355)을 제어한다. 이미지 센서(370)는 제 1 측면(370-1) 상에 위치될 수 있으며, 예를 들어, 사용자의 앞에 있는 물리적 환경의 이미지 데이터(예컨대, 위치 결정에 대한)를 생성하기 위go 도 1a의 이미지 센서들(120a 내지 120d)을 포함할 수 있다. 이미지 센서(370)는 또한 제 2 측면(370-2) 상에 위치될 수 있으며 사용자의 안구(220)의 이미지 데이터(예컨대, 응시 포인트 결정을 위한)를 생성하기 위해 도 1b의 이미지 센서들(150a 및 150b)을 포함할 수 있다. 이미지 센서(370)는 도파관 디스플레이(300) 내에 위치되지 않은 원격 콘솔과 인터페이스할 수 있다. 이미지 센서(370)는 예를 들어, 사용자의 위치, 사용자의 응시 포인트 등을 결정하며, 사용자로 디스플레이될 이미지들의 콘텐트를 결정할 수 있는, 원격 콘솔로 이미지 데이터를 제공할 수 있다. 원격 콘솔은 결정된 콘텐트에 관련된 명령들을 제어기(330)에 송신할 수 있다. 명령들에 기초하여, 제어기(330)는 소스 어셈블리(310)에 의해 이미지 광(355)의 생성 및 출력을 제어할 수 있다.
도 4는 도파관 디스플레이(300)의 단면(400)의 실시예를 예시한다. 단면(400)은 소스 어셈블리(310), 출력 도파관(320), 및 이미지 센서(370)를 포함한다. 도 4의 예에서, 이미지 센서(370)는 사용자의 앞에 있는 물리적 환경의 이미지를 생성하기 위해 제 1 측면(370-1) 상에 위치된 화소 셀들(402)의 세트를 포함할 수 있다. 몇몇 실시예들에서, 화소 셀들(402)의 세트의 노출을 제어하기 위해 화소 셀들(402)의 세트 및 물리적 환경 사이에 개재된 기계식 셔터(404)가 있을 수 있다. 몇몇 실시예들에서, 기계식 셔터(404)는 이하에서 논의될 바와 같이 전자 셔터 게이트로 대체될 수 있다. 화소 셀들(402)의 각각은 이미지의 하나의 화소에 대응할 수 있다. 도 4에 도시되지 않지만, 화소 셀들(402)의 각각은 또한 화소 셀들에 의해 감지될 광의 주파수 범위를 제어하기 위해 필터와 오버레이될 수 있다는 것이 이해된다.
원격 콘솔로부터 명령들을 수신한 후, 기계식 셔터(404)는 노출 기간에서 화소 셀들(402)의 세트를 개방하고 노출시킬 수 있다. 노출 기간 동안, 이미지 센서(370)는 화소 셀들(402)의 세트에 입사된 광들의 샘플들을 획득하며, 화소 셀들(402)의 세트에 의해 검출된 입사 광 샘플들의 세기 분포에 기초하여 이미지 데이터를 생성할 수 있다. 이미지 센서(370)는 그 후 이미지 데이터를, 디스플레이 콘텐트를 결정하는 원격 콘솔로 제공하며, 디스플레이 콘텐트 정보를 제어기(330)로 제공할 수 있다. 제어기(330)는 그 후 디스플레이 콘텐트 정보에 기초하여 이미지 광(355)을 결정할 수 있다.
소스 어셈블리(310)는 제어기(330)로부터의 명령들에 따라 이미지 광(355)을 생성한다. 소스 어셈블리(310)는 소스(410) 및 광학 시스템(415)을 포함한다. 소스(410)는 간섭성 또는 부분 간섭성 광을 생성하는 광원이다. 소스(410)는, 예컨대, 레이저 다이오드, 수직 공동 표면 방출 레이저, 및/또는 발광 다이오드일 수 있다.
광학 시스템(415)은 소스(410)로부터 광을 조절하는 하나 이상의 광학 구성요소들을 포함한다. 소스(410)로부터의 광을 조절하는 것은, 예컨대, 제어기(330)로부터의 명령들에 따라 배향을 확장하고, 시준하며, 및/또는 조정하는 것을 포함할 수 있다. 하나 이상의 광학 구성요소들은 하나 이상의 렌즈들, 액체 렌즈들, 미러들, 애퍼처들, 및/또는 격자들을 포함할 수 있다. 몇몇 실시예들에서, 광학 시스템(415)은 액체 렌즈 밖의 영역으로 광의 빔을 시프트하기 위해 스캐닝 각의 임계 값을 갖고 광의 빔의 스캐닝을 허용하는 복수의 전극들을 갖는 액체 렌즈를 포함한다. 광학 시스템(415)(및 또한 소스 어셈블리(310))으로부터 방출된 광은 이미지 광(355)으로 불리운다.
출력 도파관(320)은 이미지 광(355)을 수신한다. 결합 요소(350)는 소스 어셈블리(310)로부터 출력 도파관(320)으로 이미지 광을 결합시킨다. 결합 요소(350)가 회절 격자인 실시예들에서, 회절 격자의 피치는 총 내부 반사가 출력 도파관(320)에서 발생하도록 선택되며, 이미지 광(355)은 결합해제 요소(365)를 향해, 출력 도파관(320)에서 내부적으로 전파된다(예컨대, 총 내부 반사에 의해).
지향 요소(360)는 출력 도파관(320)으로부터의 결합 해제를 위해 결합해제 요소(365)를 향해 이미지 광(355)을 재지향시킨다. 지향 요소(360)가 회절 격자인 실시예들에서, 회절 격자의 피치는 입사 이미지 광(355)이 결합해제 요소(365)의 표면에 대해 복각(들)으로 출력 도파관(320)을 빠져나가게 하기 위해 선택된다.
몇몇 실시예들에서, 지향 요소(360) 및/또는 결합해제 요소(365)는 구조적으로 유사하다. 출력 도파관(320)을 빠져나간 확장된 이미지 광(340)은 하나 이상의 차원들을 따라 확장된다(예컨대, x-차원을 따라 길어질 수 있다). 몇몇 실시예들에서, 도파관 디스플레이(300)는 복수의 소스 어셈블리들(310) 및 복수의 출력 도파관들(320)을 포함한다. 소스 어셈블리들(310)의 각각은 1차 컬러(예컨대, 적색, 녹색, 또는 청색)에 대응하는 파장의 특정 대역의 단색성 이미지 광을 방출한다. 출력 도파관들(320)의 각각은 다중-컬러링되는 확장된 이미지 광(340)을 출력하기 위해 간격의 거리를 갖고 함께 적층될 수 있다.
도 5는 근안 디스플레이(100)를 포함한 시스템(500)의 실시예의 블록도이다. 시스템(500)은 근안 디스플레이(100), 이미징 디바이스(535), 입/출력 인터페이스(540), 및 각각이 제어 회로부들(510)에 결합되는 이미지 센서들(120a 내지 120d 및 150a 내지 150b)을 포함한다. 시스템(500)은 헤드-장착 디바이스, 착용 가능한 디바이스 등으로서 구성될 수 있다.
근안 디스플레이(100)는 사용자에게 미디어를 제공하는 디스플레이이다. 근안 디스플레이(100)에 의해 제공된 미디어의 예들은 하나 이상의 이미지들, 비디오, 및/또는 오디오를 포함한다. 몇몇 실시예들에서, 오디오는 근안 디스플레이(100) 및/또는 제어 회로부들(510)로부터 오디오 정보를 수신하며 오디오 정보에 기초한 오디오 데이터를 사용자에게 제공하는 외부 디바이스(예컨대, 스피커들 및/또는 헤드폰들)를 통해 제공된다. 몇몇 실시예들에서, 근안 디스플레이(100)는 또한 AR 안경으로서 동작할 수 있다. 몇몇 실시예들에서, 근안 디스플레이(100)는, 컴퓨터-생성 요소들(예컨대, 이미지들, 비디오들, 사운드 등)을 갖고, 물리적, 실-세계 환경의 뷰들을 증대시킨다.
근안 디스플레이(100)는 도파관 디스플레이 어셈블리(210), 하나 이상의 위치 센서들(525), 및/또는 관성 측정 유닛(IMU)(530)을 포함한다. 도파관 디스플레이 어셈블리(210)는 소스 어셈블리(310), 출력 도파관(320), 및 제어기(330)를 포함한다.
IMU(530)는 위치 센서들(525) 중 하나 이상으로부터 수신된 측정 신호들에 기초하여 근안 디스플레이(100)의 초기 위치에 대한 근안 디스플레이(100)의 추정된 위치를 나타내는 고속 교정 데이터를 생성하는 전자 디바이스이다.
이미징 디바이스(535)는 다양한 애플리케이션들을 위한 이미지 데이터를 생성할 수 있다. 예를 들어, 이미징 디바이스(535)는 제어 회로부들(510)로부터 수신된 교정 파라미터들에 따라 저속 교정 데이터를 제공하기 위해 이미지 데이터를 생성할 수 있다. 이미징 디바이스(535)는, 예를 들어, 사용자의 위치 추적을 수행하기 위해, 사용자가 위치되는 물리적 환경의 이미지 데이터를 생성하기 위해 도 1a의 이미지 센서들(120a 내지 120d)을 포함할 수 있다. 이미징 디바이스(535)는, 사용자의 관심 오브젝트를 식별하기 위해, 사용자의 응시 포인트를 결정하기 위한 이미지 데이터를 생성하기 위해, 예를 들어, 도 1b의 이미지 센서들(150a 내지 150b)을 추가로 포함할 수 있다.
입/출력 인터페이스(540)는 사용자로 하여금 동작 요청들을 제어 회로부들(510)로 전송하도록 허용하는 디바이스이다. 동작 요청은 특정한 동작을 수행하기 위한 요청이다. 예를 들어, 동작 요청은 애플리케이션을 시작하거나 또는 종료하기 위해 또는 애플리케이션 내에서 특정한 동작을 수행하는 것일 수 있다.
제어 회로부들(510)은 이미징 디바이스(535), 근안 디스플레이(100), 및 입력/출력 인터페이스(540) 중 하나 이상으로부터 수신된 정보에 따라 사용자로의 프리젠테이션을 위해 미디어를 근안 디스플레이(100)로 제공한다. 몇몇 예들에서, 제어 회로부들(510)은 헤드-장착 디바이스로서 구성된 시스템(500) 내에 하우징될 수 있다. 몇몇 예들에서, 제어 회로부들(510)은 시스템(500)의 다른 구성요소들과 통신적으로 결합된 독립형 콘솔 디바이스일 수 있다. 도 5에 도시된 예에서, 제어 회로부들(510)은 애플리케이션 저장소(545), 추적 모듈(550), 및 엔진(555)을 포함한다.
애플리케이션 저장소(545)는 제어 회로부들(510)에 의한 실행을 위해 하나 이상의 애플리케이션들을 저장한다. 애플리케이션은, 프로세서에 의해 실행될 때, 사용자로의 프리젠테이션을 위한 콘텐트를 생성하는 명령들의 그룹이다. 애플리케이션들의 예들은: 게이밍 애플리케이션들, 컨퍼런싱 애플리케이션들, 비디오 재생 애플리케이션들, 또는 다른 적절한 애플리케이션들을 포함한다.
추적 모듈(550)은 하나 이상의 교정 파라미터들을 사용하여 시스템(500)을 교정하며 근안 디스플레이(100)의 위치의 결정 시 에러를 감소시키기 위해 하나 이상의 교정 파라미터들을 조정할 수 있다.
추적 모듈(550)은 이미지 디바이스(535)로부터의 느린 교정 정보를 사용하여 근안 디스플레이(100)의 움직임들을 추적한다. 추적 모듈(550)은 또한 빠른 교정 정보로부터의 위치 정보를 사용하여 근안 디스플레이(100)의 기준 포인트의 위치들을 결정한다.
엔진(555)은 시스템(500) 내에서 애플리케이션들을 실행하며 추적 모듈(550)로부터 근안 디스플레이(100)의 위치 정보, 가속 정보, 속도 정보, 및/또는 예측된 미래 위치들을 수신한다. 몇몇 실시예들에서, 엔진(555)에 의해 수신된 정보는 사용자에게 제공된 콘텐트의 유형을 결정하는 도파관 디스플레이 어셈블리(210)로의 신호(예컨대, 디스플레이 명령들)를 생성하기 위해 사용될 수 있다. 예를 들어, 상호 작용적 경험을 제공하기 위해, 엔진(555)은 사용자의 위치(예컨대, 추적 모듈(550)에 의해 제공된), 또는 사용자의 응시 포인트(예컨대, 이미징 디바이스(535)에 의해 제공된 이미지 데이터에 기초한), 오브젝트와 사용자 간의 거리(예컨대, 이미징 디바이스(535)에 의해 제공된 이미지 데이터에 기초한)에 기초하여 사용자로 제공될 콘텐트를 결정할 수 있다.
도 6a, 도 6b, 도 6c, 도 6d, 및 도 6e는 이미지 센서 및 그것의 동작들의 예들을 예시한다. 도 6a에 도시된 바와 같이, 이미지 센서(600)는, 화소 셀(601)을 포함한, 화소 셀들의 어레이를 포함할 수 있으며, 이미지의 화소에 대응하는 디지털 세기 데이터를 생성할 수 있다. 화소 셀(601)은 도 4의 화소 셀들(402)의 부분일 수 있다. 도 6a에 도시된 바와 같이, 화소 셀(601)은 포토다이오드(602), 전자 셔터 게이트(603), 전달 게이트(604), 리셋 게이트(605), 전하 저장 디바이스(606), 및 양자화기(607)를 포함할 수 있다. 포토다이오드(602)는, 예를 들어, P-N 다이오드, P-I-N 다이오드, 핀형 다이오드 등을 포함할 수 있는 반면, 전하 저장 디바이스(606)는 전달 게이트(604)의 플로팅 드레인 노드일 수 있다. 포토다이오드(602)는 노출 기간 내에서 광을 수신할 때 전하를 생성하고 축적할 수 있으며, 노출 기간 내에 생성된 전하의 양은 광의 세기에 비례할 수 있다. 노출 기간은 가능화될 때 포토다이오드(602)에 의해 생성된 전하를 멀리 조향시킬 수 있는, 전자 셔터 게이트(603)를 제어하는 AB 신호의 타이밍에 기초하며, 가능화될 때 포토다이오드(602)에 의해 생성된 전하를 전하 저장 디바이스(606)로 전달할 수 있는 전달 게이트(604)를 제어하는 TX 신호의 타이밍에 기초하여 정의될 수 있다. 예를 들어, 도 6b를 참조하면, AB 신호는 포토다이오드(602)로 하여금 포토다이오드(602)가 포화될 때까지 전하를 생성하고 잔류 전하로서 전하의 적어도 일부를 축적하도록 허용하기 위해 시간 T0에서 디어서팅될 수 있다. T0은 노출 기간의 시작을 표시할 수 있다. TX 신호는 포화 후 포토다이오드(602)에 의해 생성된 부가적인 전하(예컨대, 오버플로우 전하)를 전하 저장 디바이스(606)로 전달하기 위해 부분-온 상태에서 전달 게이트(604)를 설정할 수 있다. 시간 T1에서, TG 신호는 잔류 전하를 전하 저장 디바이스(606)로 전달하기 위해 어서팅될 수 있으며, 따라서 전하 저장 디바이스(606)는 시간 T0에서 노출 기간의 시작 이래 포토다이오드(602)에 의해 생성된 전하의 모두를 저장할 수 있다. 시간 T2에서, TX 신호는 포토다이오드(602)로부터 전하 저장 디바이스(606)를 분리하기 위해 디어서팅될 수 있는 반면, AB 신호는 포토다이오드(602)에 의해 생성된 전하를 멀리 조향시키기 위해 어서팅될 수 있다. 시간 T2는 노출 기간의 끝을 표시할 수 있다. 시간 T2에서 전하 저장 디바이스(606)에 걸친 아날로그 전압은 전하 저장 디바이스(606)에 저장된 전하의 총 양을 나타낼 수 있으며, 이것은 노출 기간 내에서 포토다이오드(602)에 의해 생성된 전하의 총 양에 대응할 수 있다. TX 및 AB 신호들 양쪽 모두는 화소 셀(601)의 부분일 수 있는 제어기(도 6a에서 도시되지 않음)에 의해 생성될 수 있다. 아날로그 전압이 양자화된 후, 리셋 게이트(605)는 다음 측정을 준비하기 위해 전하 저장 디바이스(606)에서의 전하를 제거하도록 RST 신호에 의해 가능화될 수 있다.
양자화기(607)는 화소 값을 생성하기 위해 시간 T2 후 아날로그 전압을 양자화하기 위해 제어기에 의해 제어될 수 있다. 도 6c는 양자화기(607)에 의해 수행된 예시적인 양자화 동작을 예시한다. 도 6c에 도시된 바와 같이, 양자화기(607)는 비교 결정(도 6c에서 "결정"으로 라벨링됨)을 생성하기 위해 램핑 기준 전압(도 6c에서 "VREF"로 라벨링됨)과 전하 저장 디바이스(606)에서의 아날로그 변환기를 비교할 수 있다(예컨대, 비교기를 사용하여). 결정이 이동하는데 걸리는 시간은 아날로그 전압의 양자화의 결과를 나타내기 위해 측정될 수 있다. 몇몇 예들에서, 시간은 클록 신호(도 6c에서 "클록"으로 라벨링됨)에 기초하여 그것의 카운트 값을 주기적으로 업데이트하는 무-동조(free-running) 카운터에 의해 측정될 수 있으며, 비교기로부터의 비교 결정은 카운트 값이 메모리에 저장될 때 제어할 수 있다. 클록 신호의 주파수는 양자화 동작의 분해능을 설정할 수 있다. 예를 들어, 더 높은 클록 신호 주파수는 VREF 범위에 걸쳐 생성된 더 큰 카운트 범위(더 높은 비트 깊이를 갖는) 및 더 높은 양자화 분해능을 야기할 수 있는 반면, 더 낮은 클록 신호 주파수는 VREF 범위에 걸쳐 생성된 더 작은 카운트 범위(더 낮은 비트 깊이를 갖는) 및 더 낮은 양자화 분해능을 야기할 수 있다. 화소 데이터(예컨대, d00, d01 등)의 어레이는 이미지 센서(600)에 의해 출력될 수 있다. 화소 값들의 어레이는 오브젝트(612)의 이미지(610)를 생성하기 위해 추가로 처리될 수 있다.
이미지 센서(600)로부터의 이미지 데이터는 오브젝트(612)를 식별하고 추적하는 것, 이미지 센서(600)에 대하여 오브젝트(612)의 깊이 감지를 수행하는 것 등과 같은, 상이한 애플리케이션들을 지원하기 위해 호스트 프로세서(도 6a 내지 도 6e에서 도시되지 않음)에 송신될 수 있다. 이들 애플리케이션들 모두에 대해, 단지 화소 셀들의 서브세트만이 관련 정보(예컨대, 오브젝트(612)의 화소 데이터)를 제공하는 반면, 화소 셀들의 리셋은 관련 정보를 제공하지 않는다. 예를 들어, 도 6d를 참조하면, 시간 T0에서, 이미지 센서(600)의 화소 셀들(620)의 그룹은 오브젝트(612)에 의해 반사된 광을 수신하는 반면, 시간 T6에서, 오브젝트(612)는 시프트할 수 있으며(예컨대, 오브젝트(612)의 움직임, 이미지 센서(600)의 움직임, 또는 양쪽 모두로 인해), 이미지 센서(600)의 화소 셀들(630)의 그룹은 오브젝트(612)에 의해 반사된 광을 수신한다. 양쪽 시간들 T0 및 T6 모두에서, 이미지 센서(600)는 송신되는 화소 데이터의 볼륨을 감소시키기 위해 화소 셀들(620 및 630)의 그룹으로부터 호스트 프로세서로 화소 데이터만을 송신할 수 있다. 이러한 구성들은 더 높은 프레임 레이트에서 더 높은 분해능 이미지들의 송신을 허용할 수 있다. 예를 들어, 더 많은 화소 셀들을 포함한 더 큰 화소 셀 어레이는 이미지 분해능을 개선하기 위해 오브젝트(612)를 이미징하기 위해 사용될 수 있지만, 개선된 이미지 분해능을 제공하기 위해 요구되는 대역폭 및 전력은 단지, 화소 셀들의 서브세트만이 오브젝트(612)의 화소 데이터를 제공하고, 화소 데이터를 호스트 프로세서에 송신하는 화소 셀들을 포함할 때 감소될 수 있다. 유사하게, 이미지 센서(600)는 더 높은 프레임 레이트로 이미지들을 생성하도록 동작될 수 있지만, 대역폭 및 전력에서의 증가들은 각각의 이미지만이 화소 셀들의 서브세트에 의해 출력된 화소 값들을 포함할 때만 감소될 수 있다.
화소 데이터 송신의 볼륨은 또한 3D 감지의 경우에 감소될 수 있다. 예를 들어, 도 6e를 참조하면, 조명기(640)는 구조화된 광의 패턴(642)을 오브젝트(650)로 투사할 수 있다. 구조화된 광은 오브젝트(650)의 표면상에서 반사될 수 있으며, 반사된 광의 패턴(652)은 이미지를 생성하기 위해 이미지 센서(600)에 의해 캡처될 수 있다. 호스트 프로세서는 패턴(642)과 패턴(652)을 매칭시키며 이미지에서 패턴(652)의 이미지 위치들에 기초하여 이미지 센서(600)에 대한 오브젝트(650)의 깊이를 결정할 수 있다. 3D 감지를 위해, 단지 화소 셀들(660, 662, 665, 및 666)의 그룹들만이 관련 정보(예컨대, 패턴(652)의 화소 데이터)를 포함한다. 송신되는 화소 데이터의 볼륨을 감소시키기 위해, 이미지 센서(600)는 단지 화소 셀들(660, 662, 665, 및 666)의 그룹들로부터의 화소 데이터, 또는 이미지에서 패턴(652)의 이미지 위치 위치들을 호스트 프로세서로 전송하도록 구성될 수 있다.
도 7a, 도 7b, 도 7c, 도 7d, 및 도 7e는 이미지 처리 시스템(700) 및 그것의 동작들의 예들을 예시한다. 이미지 처리 시스템(700)은 호스트 디바이스(702) 및 이미지 센서(704)를 포함한다. 호스트 디바이스(702)는 예를 들어, 2D 및 3D 감지의 융합, 오브젝트 인지 및 추적, 위치 추적 등을 포함한 동작들을 수행할 수 있는 애플리케이션(708)을 동작시키는 호스트 프로세서(706)를 포함할 수 있다. 몇몇 예들에서, 이미지 처리 시스템(700)은 착용 가능한 디바이스에 있을 수 있다. 몇몇 예들에서, 처리 시스템(700)은 다수의 별개의 디바이스들로 나뉠 수 있다. 예를 들어, 호스트 디바이스(702)는 개인용 컴퓨터(PC), 스마트폰, 카메라 기지국, 또는 중앙 처리 유닛(CPU), 필드-프로그램 가능한 게이트 어레이(FPGA), 마이크로 제어기 유닛(MCU) 등과 같은 집적 회로일 수 있다. 호스트 디바이스(702) 및 이미지 센서(704)는 모바일 산업 프로세서 인터페이스(MIPI) 표준과 호환 가능한 상호연결부와 같은, 상호연결부(도 7a에 도시되지 않음)를 통해 전기적으로 연결될 수 있다.
도 7a를 참조하면, 이미지 센서(704)는 주변 회로(716) 및 화소 셀 어레이(718)를 포함한다. 화소 셀 어레이(718)의 각각의 화소 셀은 화소 데이터를 생성하도록 광 측정 동작을 수행하기 위해, 포토다이오드(602), 전자 셔터 게이트(603), 전달 게이트(604), 전하 저장 디바이스(606), 및 양자화기(607)와 같은, 도 6a의 화소 셀(601)과 유사한 구성요소들을 포함할 수 있다. 화소 셀 어레이(718)에서의 각각의 화소 셀은 구성 메모리를 포함할 수 있으며, 이것은 각각의 화소 셀에서 광 측정 동작을 구성/프로그래밍하도록 프로그래밍 데이터를 저장하기 위해, 화소 셀의 부분이거나 또는 그것의 외부에 있을 수 있다. 각각의 화소 셀의 구성 메모리는 개별적으로 어드레싱 가능할 수 있으며, 이것은 각각의 화소 셀에서의 광 측정 동작이 호스트 디바이스(702)에 의해 제공된 화소 어레이 프로그래밍 맵(720)에 기초하여 주변 회로(716)에 의해 개별적으로 프로그래밍되도록 허용한다. 프로그래밍 데이터는 광 측정 동작을 구성하기 위해 구성 메모리로부터 독출될 수 있다. 이하에서 상세하게 설명될 바와 같이, 화소 셀에서 광 측정 동작의 구성은, 예를 들어, 광 측정 동작으로부터 화소 데이터의 생성을 가능화하거나 또는 불능화하는 것, 광 측정 동작을 위한 노출 기간을 설정하는 것, 어두운 화소를 나타내는 화소 데이터를 생성하기 위해 다크 모드에서 화소 셀을 동작시키는 것, 양자화 분해능/비트 깊이를 설정하는 것, 측정되는 광의 파장 범위를 설정하는 것, 데이터 압축을 수행하는 것, 상관된 이중 샘플링의 모드를 설정하는 것 등을 포함할 수 있다. 몇몇 예들에서, 화소 셀 어레이(718) 및 주변 회로(716)는 이미지 센서(704)의 광 수신 표면을 최대화하기 위해 스택 구조를 형성할 수 있으며, 이것은 화소 셀 어레이(718)가 분해능을 개선하기 위해 더 많은 화소 셀들을 포함하도록 허용한다.
화소 어레이 프로그래밍 맵(720)은 화소 셀들의 어레이의 각각의 화소 셀에서 타겟팅된 프로그래밍 데이터를 포함할 수 있다. 도 7b는 화소 어레이 프로그래밍 맵(720)의 예를 예시한다. 도 7b에서 도시된 바와 같이, 화소 어레이 프로그래밍 맵(720)은 프로그래밍 데이터의 2-차원 어레이를 포함할 수 있으며, 상기 2-차원 어레이의 프로그래밍 데이터의 각각의 엔트리는 화소 셀 어레이(718)의 화소 셀에서 타겟팅된다. 예를 들어, 화소 셀 어레이(718)가 M 픽셀들의 폭(예컨대, 화소들의 M개 컬럼들) 및 N 픽셀들의 높이(예컨대, 화소들의 N개 로우들)를 갖는 경우에, 화소 어레이 프로그래밍 맵(720)은 또한 M개 엔트리들의 폭(예컨대, 엔트리들의 M개 컬럼들) 및 N개 엔트리들의 높이(예컨대, 엔트리들의 N개 로우들)를 갖는다. 화소 어레이 프로그래밍 맵(720)의 엔트리(0, 0)에서 프로그래밍 데이터(A00)는 화소 셀 어레이(718)의 화소 위치(0, 0)에서의 화소 셀(P00)에서 타겟팅되는 반면, 화소 어레이 프로그래밍 맵(720)의 엔트리(0, 1)에서 프로그래밍 데이터(A01)는 화소 셀 어레이(718)의 화소 위치(0, 1)에서의 화소 셀(P01)에서 타겟팅된다. 몇몇 예들에서, 화소 어레이 프로그래밍 맵(720)의 각각의 엔트리의 프로그래밍 데이터는 시리얼 데이터의 스트림을 형성하기 위해 좌측에서 우측으로의 다음 로우(예컨대, A10, A11, ... A1i)에 앞서, 좌측에서 우측으로(예컨대, A00, A01, ... A0i) 로우를 가로지르는 것과 같은, 미리 결정된 스캐닝 패턴을 순차적으로 따라 송신될 수 있다. 각각의 엔트리에 대한 프로그래밍 데이터는 스캐닝 패턴 및 엔트리들이 수신되는 순서에 기초하여 시리얼 데이터의 스트림으로부터 추출되고 식별될 수 있다. 몇몇 예들에서, 화소 어레이 프로그래밍 맵(720)은 특정한 프로그래밍 데이터가 프레임들 간에 업데이트될 필요가 있을 때에만 전송될 수 있으며, 단지 업데이트될 필요가 있는 프로그래밍 데이터만이 화소 어레이 프로그래밍 맵(720)에 포함된다.
구성 동작에 의존하여, 화소 어레이 프로그래밍 맵(720)의 각각의 엔트리는 이진 프로그래밍 데이터 또는 비-이진 프로그래밍 데이터를 포함할 수 있다. 도 7c는 화소 어레이 프로그래밍 맵들(720a 및 720b)의 예들을 예시한다. 도 7c에 도시된 바와 같이, 화소 어레이 프로그래밍 맵(720a)은 이진 프로그래밍 데이터 0 및 1을 포함한다. 몇몇 예들에서, 화소 어레이 프로그래밍 맵(720a)의 각각의 엔트리에서 이진 프로그래밍 데이터는 엔트리에 대응하는 화소 셀에서 화소 데이터의 생성을 가능화하거나(예컨대, 1로 설정된 프로그래밍 데이터를 갖고) 또는 불능화(예컨대, 0으로 설정된 프로그래밍 데이터를 갖고)할 수 있다. 화소 어레이 프로그래밍 맵(720a)의 각각의 엔트리에서 이진 프로그래밍 데이터는 또한 어두운 화소 데이터를 생성하기 위해 다크 모드(예컨대, 0으로 설정된 프로그래밍 데이터를 갖고)로 동작하도록, 또는 정상 모드(예컨대, 1로 설정된 프로그래밍 데이터를 갖고)로 동작하도록 엔트리에 대응하는 화소 셀을 구성할 수 있다. 화소 셀은 예를 들어, 리셋 상태에서 전하 저장 디바이스를 유지하는 것, 0의 지속 기간을 갖도록 노출 기간을 설정하는 것 등에 기초하여 다크 모드에서 동작될 수 있다. 또한, 화소 어레이 프로그래밍 맵(720b)은 -1, 0, 및 1과 같은 비-이진 프로그래밍 데이터를 포함할 수 있다. 화소 어레이 프로그래밍 맵(720b)의 비-이진 프로그래밍 데이터는, 도 7c에 도시된 바와 같이, 3개의 후보 구성들 중에서 구성을 택하기 위해 사용될 수 있다. 예를 들어, 화소 셀은 가시 광 파장 범위(예컨대, 1로 설정된 프로그래밍 데이터를 갖고)에서, 적외선 광 파장 범위(예컨대, 01로 설정된 프로그래밍 데이터를 갖고)에서, 또는 어떤 측정도 없이(예컨대, 0으로 설정된 프로그래밍 데이터를 갖고) 광 측정 동작을 수행하도록 구성될 수 있다. 화소 어레이 프로그래밍 맵(720b)의 비-이진 프로그래밍 데이터는 또한 예를 들어, 노출 기간의 지속 기간, 양자화 분해능/비트 깊이 등을 설정하기 위해 다른 값들을 띨 수 있다.
몇몇 예들에서, 화소 어레이 프로그래밍 맵(720a/b)은 화소 셀 어레이(718)로부터 화소 데이터를 소비하는 호스트 디바이스(702)에서 동작하는 애플리케이션(예컨대, 애플리케이션(708))에 의해 생성될 수 있다. 예를 들어, 애플리케이션(708)은 이미지로부터, 관련 정보를 포함하는 화소들을 식별하며, 상기 화소들을 포함한 관심 영역(ROI)을 결정할 수 있다. ROI에 대응하는 화소 데이터를 생성하는 화소 셀들이 그 후 식별될 수 있다. 예시적인 예로서, 다시 도 6d의 예를 참조하면, 애플리케이션(708)은 시간 T0에서 이미지에서 관련 정보(예컨대, 오브젝트(612)의 화소 데이터)를 제공하는 것으로서 화소 셀들(620)의 그룹을 포함한 ROI를 식별할 수 있다. 애플리케이션(708)은 그 후 예를 들어, 이미지 센서(600)에 대한 오브젝트(612)의 움직임의 속도 및 방향에 기초하여 시간 T0 내지 시간 T6 사이에서 ROI에서의 변화를 예측할 수 있다. 애플리케이션(708)은 그 후 시간 T0에서 화소 셀들(620)의 그룹의 이미지 위치 및 예측된 변화에 기초하여, 화소 셀들(630)의 그룹을 포함하는, 시간 T6에서의 ROI의 새로운 이미지 위치를 예측할 수 있다. 시간 T6에서의 화소 셀들(630)의 그룹의 이미지 위치에 기초하여, 애플리케이션(708)은 화소 셀들(630)의 그룹에 대응하는 엔트리들의 프로그래밍 데이터를 1로 설정하는 반면, 엔트리들의 나머지의 프로그래밍 데이터를 0으로 설정함으로써 화소 어레이 프로그래밍 맵(720a)을 생성할 수 있으며, 따라서 단지 화소 셀들(630)의 그룹만이 화소 데이터를 호스트 디바이스(702)에 송신한다. 몇몇 예들에서, ROI들은 또한 ROI들에 대응하는 각각의 화소 셀이 화소 데이터를 송신하는 반면, ROI 밖에서, 화소 셀들의 희박하게 분포된 세트가 화소 데이터를 송신하기 위해 선택되도록 불균일 공간 샘플링 레이트를 설정하기 위해 사용될 수 있다. 어떤 화소 셀들이 화소 데이터를 송신할지에 대한 선택은 화소 어레이 프로그래밍 맵(720a)에서 인코딩될 수 있다.
몇몇 예들에서, 애플리케이션(708)은 추적되는 오브젝트가 이전 이미지들에 기초하여 위치되는 환경의 모델을 유지하며, 환경 모델에 기초하여 현재 이미지에서 오브젝트의 화소 데이터를 제공할 가능성이 있는 화소 셀들을 예측한다. 몇몇 예들에서, 이미지 센서(704), 또는 이미지 센서(704)와 동일한 칩의 부분인 다른 처리 회로는, 또한 고정된 프리미티브들(예컨대, 시간 또는 공간 대비)을 계산하고 이들 프리미티브들에 기초하여 관련 정보가 발생하는 곳을 추정하며, 상기 추정에 기초하여 화소 어레이 프로그래밍 맵(720a)을 생성할 수 있다.
도 8a 및 도 8b는 주변 회로(716) 및 화소 셀 어레이(718)의 예시적인 구성요소들을 예시한다. 도 8a에 도시된 바와 같이, 주변 회로(716)는 프로그래밍 맵 파서(802), 컬럼 제어기(804), 로우 제어기(806), 및 화소 데이터 출력 모듈(807)을 포함할 수 있다. 프로그래밍 맵 파서(802)는 각각의 화소 셀에 대한 프로그래밍 데이터를 식별하기 위해, 직렬 데이터 스트림에 있을 수 있는, 화소 어레이 프로그래밍 맵(720)을 파싱할 수 있다. 프로그래밍 데이터의 식별은, 예를 들어, 2-차원 화소 어레이 프로그래밍 맵이 직렬 포맷으로 변환되는 미리 결정된 스캐닝 패턴, 뿐만 아니라 직렬 데이터 스트림으로부터 프로그래밍 데이터가 프로그래밍 맵 파서(802)에 의해 수신되는 순서에 기초할 수 있다. 프로그래밍 맵 파서(802)는 화소 셀들에서 타겟팅된 프로그래밍 데이터에 기초하여 화소 셀들의 로우 어드레스들, 화소 셀들의 컬럼 어드레스들, 및 하나 이상의 구성 신호들 간에 매핑을 생성할 수 있다. 상기 매핑에 기초하여, 프로그래밍 맵 파서(802)는 컬럼 어드레스들 및 구성 신호들을 포함한 제어 신호들(808)을 컬럼 제어기(804)로, 뿐만 아니라 컬럼 어드레스들 및 구성 신호들로 매핑된 로우 어드레스들을 포함한 제어 신호들(810)을 로우 제어기(806)에 송신할 수 있다. 몇몇 예들에서, 구성 신호들은 또한 제어 신호들(808)과 제어 신호들(810) 사이에서 분리될 수 있거나, 또는 제어 신호들(810)의 부분으로서 로우 제어기(806)로 전송될 수 있다.
컬럼 제어기(804) 및 로우 제어기(806)는 프로그래밍 맵 파서(802)로부터 수신된 구성 신호들을 화소 셀 어레이(718)의 각각의 화소 셀의 구성 메모리로 포워딩하도록 구성된다. 도 8a에 도시된 바와 같이, 컬럼 제어기(804)는 컬럼 버스들(C0, C1, ... Ci)의 복수의 세트들을 구동한다. 컬럼 버스들의 각각의 세트는 하나 이상의 버스들을 포함하며 컬럼 선택 신호 및/또는 다른 구성 신호들을 포함할 수 있는, 도 7a의 제어 신호들(722)을 화소 셀들의 컬럼으에 송신하기 위해 사용될 수 있다. 예를 들어, 컬럼 버스(들) C0은 화소 셀들(p00, p01, ... p0j)의 컬럼을 선택하기 위해 컬럼 선택 신호(808a)를 송신할 수 있고, 컬럼 버스(들) C1은 화소 셀(p10, p11, ... p1j)의 컬럼을 선택하기 위해 컬럼 선택 신호(808b)를 송신할 수 있다. 뿐만 아니라, 로우 제어기(806)는 R0, R1, ... RJ로 라벨링된 로우 버스들의 복수의 세트들을 구동한다. 로우 버스들의 각각의 세트는 또한 하나 이상의 버스들을 포함하며 로우 선택 신호들 및/또는 다른 구성 신호들을 포함할 수 있는, 도 7a의 제어 신호들(724)을 화소 셀들의 로우에 송신하기 위해 사용될 수 있다. 예를 들어, 로우 버스(들) R0은 화소 셀들(p00, p10, ... pi0)의 로우를 선택하기 위해 로우 선택 신호(810a)를 송신할 수 있고, 로우 버스(들) R1은 화소 셀(p01, p11, ... p1i)의 로우를 선택하기 위해 로우 선택 신호(810b)를 송신할 수 있다. 화소 셀 어레이(718) 내에서의 임의의 화소 셀은 구성 신호들을 수신하기 위해 로우 선택 신호 및 컬럼 신호의 조합에 기초하여 선택될 수 있다. 로우 선택 신호들, 컬럼 선택 신호들, 및 구성 신호들(만약에 있다면)은 상기 설명된 바와 같이, 프로그래밍 맵 파서(802)로부터의 제어 신호들(808 및 810)에 기초하여 동기화된다. 화소 셀들의 각각의 컬럼은 화소 데이터를 화소 데이터 출력 모듈(807)에 송신하기 위해 출력 버스들의 세트를 공유할 수 있다. 예를 들어, 화소 셀들(p00, p01, ... p0j)의 컬럼은 출력 버스들 D0을 공유할 수 있고, 화소 셀들(p10, p11, ... p1j)의 컬럼은 출력 버스들 D1을 공유할 수 있다.
화소 데이터 출력 모듈(807)은 버스들로부터 화소 데이터를 수신하고, 화소 데이터를 하나 이상의 직렬 데이터 스트림들로 변환하며(예컨대, 시프트 레지스터를 사용하여), MIPI와 같은 미리 결정된 프로토콜 하에서 데이터 스트림들을 호스트 디바이스(702)에 송신할 수 있다. 또한, 화소 데이터 출력 모듈(807)은 또한 예를 들어, 어떤 화소 셀이 화소 데이터를 출력하지 않는지, 각각의 화소 셀에 의해 출력된 화소 데이터의 비트 폭 등을 결정하기 위해 프로그래밍 맵 파서(802)로부터 제어 신호들(808 및 810)을 수신하며, 그 후 그에 따라 직렬 데이터 스트림들의 생성을 조정할 수 있다. 예를 들어, 화소 데이터 출력 모듈(807)은 예를 들어, 화소 셀들 간에 출력 화소 데이터의 가변 비트 폭들, 특정한 화소 셀들에서 화소 데이터 출력의 불능화 등을 감안하기 위해 직렬 데이터 스트림들을 생성하는데 다수의 비트들을 스킵하도록 시프트 레지스터를 제어할 수 있다.
도 8b는 각각의 화소 셀의 구성 메모리(830)(예컨대, 830a, 830b, 830c, 및 830d)를 포함한, 화소 셀 어레이(718)의 부가적인 세부사항들을 예시한다. 도 8b는 구성 메모리(830)가 각각의 화소 셀의 내부에 있음을 도시하지만, 구성 메모리(830)는 또한 각각의 화소 셀의 외부에 있을 수 있다는 것이 이해된다. 도 8b에 도시된 바와 같이, 각각의 화소 셀의 구성 메모리(830)는 S00, S10, S10, S11 등과 같은, 트랜지스터들(S)을 통해 컬럼 버스들(C) 및 로우 버스들(R)과 결합된다. 몇몇 예들에서, 컬럼 버스들(예컨대, C0, C1 등)의 각각의 세트 및 로우 버스들(예컨대, R0, R1 등)은 다수의 비트들을 포함할 수 있다. 예를 들어, 도 8b에서, 컬럼 버스들 및 로우 버스들의 각각의 세트는 N+1 비트들을 나를 수 있다. 몇몇 예들에서, 컬럼 버스들 및 로우 버스들의 각각의 세트는 또한 단일 데이터 비트를 나를 수 있다는 것이 이해된다. 각각의 화소 셀은 또한 구성 신호들의 화소 셀로의 송신을 제어하기 위해 T00, T10, T10, T11 등과 같은, 트랜지스터들(T)과 전기적으로 연결된다. 각각의 화소 셀의 트랜지스터(들)(S)는 구성 신호들을 화소 셀에 송신하도록 대응하는 트랜지스터들(T)을 가능화(또는 불능화)하기 위해 로우 및 컬럼 선택 신호들에 의해 구동될 수 있다. 몇몇 예들에서, 컬럼 제어기(804) 및 로우 제어기(806)는 다수의 화소 셀들의 구성 메모리(830)로 동시에 기록하기 위해 단일 기록 명령(예컨대, 호스트 디바이스(702)로부터)에 의해 프로그램될 수 있다. 컬럼 제어기(804) 및 로우 제어기(806)는 그 후 화소 셀들의 구성 메모리로 기록하도록 로우 버스들 및 컬럼 버스들을 제어할 수 있다.
도 8b에 도시된 예에서, 각각의 화소 셀의 구성 메모리(830)는 동적 랜덤 액세스 메모리(DRAM)로서 구현될 수 있지만, 몇몇 예들에서, 부가적인 로우/컬럼 버스들이 각각의 화소 셀의 구성 메모리(830)로 하여금 정적 랜덤 액세스 메모리(SRAM)로서 구현될 수 있게 하기 위해 화소 셀 어레이(718)에 포함될 수 있다.
또한, 각각의 화소 셀은 또한 화소 셀들의 컬럼 간에 출력 버스(D)의 공유를 제어하기 위해 O00, O10, O10, O11 등과 같은, 트랜지스터들(O)을 포함한다. 각각의 로우의 트랜지스터들(O)은 화소 데이터의 로우 단위 독출을 가능화하기 위해 판독 신호(예컨대, read_R0 read_R1 등)에 의해 제어될 수 있으며, 따라서 화소 셀들의 하나의 로우는 화소 셀들의 다음 로우에 앞서, 출력 버스들(D0, D1, ... Di)을 통해 화소 데이터를 출력한다.
프로그래밍이 이진 데이터에 기초하는 경우들에서(예컨대, 화소 셀에서 화소 데이터의 생성을 가능화/불능화하기 위해, 다크 모드에서 화소 셀을 동작시키기 위해 등), 컬럼 및 로우 선택 신호들은 화소 어레이 프로그래밍 맵(720)에서 이진 프로그래밍 데이터에 기초할 수 있으며, 구성 신호들은 로우/컬럼 버스들로부터보다는 고정된 소스로부터 올 수 있다. 예를 들어, 화소 셀에서 화소 데이터의 생성을 가능화하기 위해, 상기 화소 셀에 대한 로우 및 컬럼 선택 신호가 어서팅될 수 있으며, 구성 신호들은 화소 데이터 생성을 가능화하기 위해 상기 화소 셀의 구성 메모리(830)로 논리 1을 송신하도록 상기 화소 셀의 트랜지스터(T)를 가능화하기 위해, 전원으로부터 올 수 있다. 상기 화소 셀에서 화소 데이터의 생성을 불능화하기 위해, 상기 화소 셀에 대한 로우 및 컬럼 선택 신호는 화소 셀의 트랜지스터(T)가 상기 화소 셀의 구성 메모리(830)로 논리 1을 송신하는 것을 방지하기 위해 디어서팅될 수 있다. 프로그래밍이 비-이진 데이터에 기초하는 경우들에서(예컨대, 노출 기간 지속기간, 양자화 분해능/비트 깊이 등을 설정하기 위해), 컬럼 및/또는 로우 버스들은 또한 구성 데이터(예컨대, 노출 기간을 설정하기 위한 디지털 값, 양자화/비트 깊이를 설정하기 위한 클록 신호)를 운반할 수 있다. 다수의 화소 셀들의 구성 메모리는, 상기 설명된 바와 같이, 동시에 기록될 수 있다.
도 9a, 도 9b, 도 9c, 도 9d, 도 9e, 및 도 9f는 프로그램 가능한 화소 셀의 상이한 예들을 예시한다. 도면들의 각각에 예시된 프로그램 가능한 특징들은 단일 화소 셀로 조합될 수 있다는 것이 이해된다.
도 9a는 화소 데이터의 생성이 가능화/불능화될 수 있는 화소 셀(902)의 예를 예시한다. 도 9a를 참조하면, 화소 셀(902)은 포토다이오드(602), 전자 셔터 게이트(603), 전달 게이트(604), 전하 저장 디바이스(606), 및 비교기(904)와 메모리(906)를 포함한 양자화기(607)를 포함할 수 있다. 화소 셀(902)은 노출 기간이 시작하기 전에 전하 저장 디바이스(606)를 리셋하도록 제어될 수 있는 리셋 게이트(605)를 추가로 포함한다. 메모리(906)는 화소 셀(902)의 내부에 있거나 또는 외부에 있을 수 있는 무동조 카운터로부터 카운터 값들을 수신할 수 있다. 화소 셀(902)은 전하 저장 디바이스(606)에 아날로그 전압을 버퍼링하기 위해 전압 버퍼(908)를 추가로 포함한다. 비교기(904)는 카운터로부터의 카운터 값을 메모리(906)로 저장하도록 래치 신호를 생성하기 위해 램핑 VREF와 버퍼링된 전압을 비교할 수 있다. 도 6c에 대하여 상기 설명된 바와 같이, 래치 신호의 타이밍은 메모리(906)로 저장된 카운터 값을 결정하며, 저장된 카운터 값은 버퍼링된 아날로그 전압의 양자화의 결과를 나타내기 위해 화소 데이터로서 출력될 수 있다.
도 9a에 도시된 바와 같이, 전압 버퍼(908) 및 비교기(904)는 온/오프(ON/OFF) 신호에 의해 턴 온/오프될 수 있으며, 이것은 도 8b에 설명된 바와 같이, 로우 버스 및 컬럼 버스 상에서의 로우 선택 및 컬럼 선택 신호들에 기초하여 구성 메모리에 저장될 수 있다. 로우 및 컬럼 선택 신호들은 도 7c의 화소 어레이 프로그래밍 맵들(720a)에 기초하여 생성될 수 있다. 온/오프 신호는 그 후 구성 메모리로부터 독출될 수 있다. 비교기(904) 및 전압 버퍼(908)가 불능화될 때, 어떤 래치 신호도 생성되지 않는다. 메모리(906)는 카운터 값을 저장하지 않으며, 화소 데이터의 출력은 불능화될 수 있다. 몇몇 예들에서(도 9a에 도시되지 않음), 메모리(906)는 또한 온/오프 신호에 의해 파워 게이팅될 수 있다. 한편, 화소 데이터 출력 모듈(807)은 또한 상기 화소 셀의 화소 데이터 출력의 독출을 건너뛰기 위해 프로그래밍 맵 파서(802)로부터의 제어 신호들에 기초하여 구성될 수 있다. 이러한 구성들을 갖고, 통상적으로 화소 셀의 구성요소들 간에 대부분의 전력을 사용하여, 전압 버퍼 및 비교기를 불능화함으로써, 상당한 전력 절감이 화소 셀에서 달성될 수 있다. 게다가, 호스트 디바이스에 송신된 화소 데이터의 볼륨이 또한 감소될 수 있으며, 이것은 상호연결부에서 및 호스트 디바이스에서 전력 소비를 추가로 감소시킬 수 있다.
도 9b는 다크 모드에서 동작하도록 구성될 수 있는 화소 셀(912)의 예를 예시한다. 도 9b에 도시된 바와 같이, 화소 셀(912)은 다크 게이트(914)를 포함한다. 다크 게이트(914) 또는 리셋 게이트(605)(또는 양쪽 모두)는 전하 저장 디바이스(606)를 리셋할 수 있다. 도 9a와 유사하게, 다크 게이트(914)는, 도 8b에 설명된 바와 같이, 로우 버스 및 컬럼 버스 상에서 로우 선택 및 컬럼 선택 신호들에 기초하여 화소 셀의 트랜지스터(T)로부터 제어 신호를 수신하는, 구성 메모리로부터 제어 신호("DARK"로 라벨링됨)를 수신할 수 있다. 로우 및 컬럼 선택 신호들은 도 7c의 화소 어레이 프로그래밍 맵들(720a)에 기초하여 생성될 수 있다. DARK 신호가 어서팅될 때, 화소 셀(912)은 다크 화소(예컨대, 입사 광을 수신하지 않는 화소)를 나타내는 화소 출력을 생성할 수 있다. 화소 출력은 교정을 수행하기 위해(예컨대, 온도의 효과를 감안하기 위해) 사용될 수 있다. 예를 들어, 다른 화소 셀들은 정상 모드에서(예컨대, 다크 신호가 턴 오프됨) 동작할 수 있으며, 그것들의 화소 출력은 화소 출력에 대한 온도의 효과를 제거하기 위해 다크 화소 값에 기초하여 오프셋되거나 또는 스케일링될 수 있고, 따라서 조정된 화소 출력은 입사 광의 세기의 보다 정확한 표현을 제공할 수 있다.
도 9c는 프로그램 가능한 노출 기간을 갖는 화소 셀(922)의 예를 예시한다. 도 9c에 도시된 바와 같이, 화소 셀(922)은 전자 셔터 게이트(603)로의 AB 신호를 및 전달 게이트(604)로의 TX 신호를 제어하기 위해 제어기(924)를 포함한다. 제어기(924)는 노출 기간을 설정하기 위해, 도 6b에 설명된 바와 같이, 노출 기간 지속 기간을 나타내는 입력(926)을 수용하며 AB 신호의 방출과 TX 신호의 방출 간의 시간 차를 제어할 수 있다. 도 7c의 화소 어레이 프로그래밍 맵들(720b)은 각각의 화소 셀에 대한 노출 기간 지속기간을 운반하기 위해 사용될 수 있으며, 지속기간 정보는 컬럼 버스들(C) 및/또는 로우 버스들(R)을 통해 각각의 화소 셀의 구성 메모리로 포워딩될 수 있다. 몇몇 예들에서, 화소 셀(922)의 노출 기간은 도 9b에 설명된 바와 같이 교정을 위해 다크 화소 데이터를 생성하기 위해 0에서 설정될 수 있다. 몇몇 예들에서, 프로그램 가능한 노출 기간이 또한, 예를 들어, 선택적으로 그것들의 노출 기간들의 시작에서 화소 셀들의 그룹들을 턴 온하며 그것들의 노출 기간들의 끝에서 화소 셀들의 그룹들을 턴 오프하는 것에 기초하여 구현될 수 있다.
도 9d는 상이한 파장들의 광을 측정하도록, 또는 어떤 화소 데이터 출력도 생성하지 않도록 구성될 수 있는 화소 셀(932)의 예를 예시한다. 도 9d에 도시된 바와 같이, 화소 셀(932)은 제 1 포토다이오드(934), 제 1 포토다이오드 가능 게이트(936), 제 2 포토다이오드(938), 및 제 2 포토다이오드 가능 게이트(940)를 포함한다. 제 1 포토다이오드(934)는 적외선 파장 범위에서 광을 측정하도록 구성될 수 있는 반면, 제 2 포토다이오드(938)는 가시 파장 범위에서 광을 측정하도록 구성될 수 있다. 도 9d에 도시되지 않지만, 각각의 포토다이오드는 전자 셔터 게이트 및 전달 게이트와 결합될 수 있다는 것이 이해된다. 화소 셀(932)은 3개의 모드들 중 하나를 동작시키도록 구성될 수 있다. 제 1 모드에서, IR_en 신호가 어서팅될 수 있으며, 이것은 제 1 포토다이오드 가능 게이트(936)가 측정을 위해 제 1 포토다이오드(934)로부터 전하 저장 디바이스(606)로 전하를 전달하도록 허용한다. 제 2 모드에서, VIS_en 신호가 어서팅되며, 이것은 제 2 포토다이오드 가능 게이트(940)가 측정을 위해 제 2 포토다이오드(938)로부터 전하 저장 디바이스(606)로 전하를 전달하도록 허용한다. 제 1 모드 및 제 2 모드 양쪽 모두에서, 비교기(904) 및 전압 버퍼(908)는 전하의 양자화를 수행하기 위해 가능화된다. 제 3 모드에서, 비교기(904) 및 전압 버퍼(908)는 불능화되며, 화소 셀(932)은 화소 데이터를 출력하지 않는다. IR_en 신호, VIS_en 신호, 및 On/Off 신호는 컬럼 버스들(C) 및/또는 로우 버스들(R)을 통해 및 도 7c의 화소 어레이 프로그래밍 맵들(720b)에 기초하여 각각의 화소 셀의 구성 메모리로 제공될 수 있다. 몇몇 예들에서, 화소 셀(932)을 포함한 이미지 센서는 2D-3D 감지의 융합을 제공하기 위해 상이한 시간들에서 2D 이미지 프레임들(가시 광의 감지에 기초하여) 및 3D 이미지 프레임들(적외선 광의 감지에 기초하여)을 생성하도록 구성될 수 있다.
도 9e는 구성 가능한 양자화 분해능/비트 폭을 가질 수 있는 화소 셀(942)의 예를 예시한다. 양자화 분해능은 도 6c에서 설명된 바와 같이, 카운터 값이 카운터에 의해 업데이트되는 빈도를 설정하는 것에 기초하여 프로그램될 수 있다. 도 9e에 도시된 바와 같이, 화소 셀(942)의 양자화기(607)는 로컬 카운터(944) 및 디폴트 클록일 수 있는 클록 신호(CLK0)과, 더 높은 또는 더 낮은 양자화 분해능들을 제공하기 위해 CLK0보다 빠르거나 또는 느리게 동작할 수 있는, 클록 신호(CLK1) 사이에서 선택하기 위해 클록 다중화기(946)를 포함할 수 있다. 클록 신호의 선택은 RES_SEL 신호에 기초할 수 있다. 몇몇 예들에서, CLK0 및 CLK1 클록 신호들, 뿐만 아니라 RES_SEL 신호는 컬럼 버스들(C) 및/또는 로우 버스들(R)을 통해 및 도 7c의 화소 어레이 프로그래밍 맵들(720b)에 기초하여 화소 셀들로 공급될 수 있다. 한편, 화소 데이터 출력 모듈(807)은 또한 프로그래밍 맵 파서(802)로부터의 제어 신호들에 기초하여 더 낮은 양자화 분해능 및 더 낮은 비트 폭을 갖는 화소 셀들로부터 화소 데이터 출력의 특정한 비트들(예컨대, 최상위 비트들)의 독출을 건너뛰도록 구성될 수 있다. 몇몇 예들에서, 양자화 분해능/비트 깊이의 프로그래밍은 화소 데이터의 감지 및 송신의 효율을 최대화하기 위해 수행될 수 있다. 예를 들어, 애플리케이션에 대한 관련 정보를 제공하지 않는 것으로 결정되는 화소 셀들은 화소 데이터를 생성하는 것으로부터 불능화될 수 있거나, 또는 더 낮은 양자화 분해능에서 화소 데이터를 생성하도록 구성될 수 있는 반면, 관련 정보를 제공하는 것으로 결정되는 화소 셀들은 더 높은 양자화 분해능에서 화소 데이터를 생성하도록 구성될 수 있다.
클록 주파수들을 변경하는 것 외에, 다른 기술들이 양자화 분해능을 변경하기 위해 이용 가능하다. 예를 들어, 비교기(904)의 바이어스 전류는 또한 양자화 분해능을 설정할 수 있는 그것의 이득을 설정하도록 조정될 수 있다. 또 다른 예로서, 메모리(906)의 비트들의 서브세트는 비트 깊이를 변경하도록 가능화되거나 또는 불능화되기 위해 파워-게이팅될 수 있다. 각각의 화소에 대한 바이어스 전류 및 비트 깊이는 화소 어레이 프로그래밍 맵(720)에서 표시될 수 있다.
도 9f는 호스트로 전송된 화소 데이터를 감소시킬 수 있는, 그룹으로서 화소 비닝 동작을 수행하도록 구성될 수 있는, 두 개의 화소 셀들(952a, 및 952b)을 예시한다. 화소 셀(952a)은 그룹 내에서 마스터 화소 셀로서 지정될 수 있으며 전압 합산 회로(954) 및 전압 다중화기(956)를 포함할 수 있다. 화소 비닝 기법하에서 동작할 때, 화소 셀들(952a 및 952b)의 버퍼링된 아날로그 전압들(960a 및 960b)은 합산된 전압(962)을 생성하기 위해 전압 합산 회로(954)에 의해 합산될 수 있다. 전압 다중화기(956)는 그룹을 나타내는 화소 데이터를 생성하도록 양자화를 수행하기 위해 전압 합산 회로(954)로부터의 합산된 전압(962)을 양자화기(607a)의 비교기(904a)로 포워딩하도록 SUM 신호에 의해 제어될 수 있다. 게다가, 화소 셀(952b)의 양자화기(607b)의 비교기(904b)는 화소 셀(952b)에서 화소 데이터의 생성을 불능화하기 위해 반전 SUM 신호(
)에 의해 불능화될 수 있다. 화소 비닝 기법(pixel binning scheme)이 불능화될 때, 전압 다중화기(956)는 화소 데이터를 출력하기 위해 버퍼링된 아날로그 전압(960a)을 양자화를 위해 비교기(904a)로 포워딩하도록 SUM 신호에 의해 제어될 수 있는 반면, 화소 셀(952b)의 양자화기(607a)의 비교기(904a)는 또한 화소 데이터를 출력하도록 버퍼링된 아날로그 전압(960b)을 양자화하기 위해 가능화될 수 있다. 몇몇 예들에서, 앞서 언급한 화소 비닝 기법은 마스터 화소 셀들에 대응하는 프로그래밍 데이터를 화소 어레이 프로그래밍 맵(720a)에서 1로 설정함으로써 활성화될 수 있다. 컬럼 제어기(804) 및 로우 제어기(806)는 프로그래밍 맵 파서(802)로부터의 제어 신호들(808 및 810)에 기초하여 마스터 화소 셀들을 식별하며, 화소 비닝 동작을 수행하기 위해 SUM 신호를 마스터 화소 셀들로 및 그룹들 내에서의 다른 화소 셀들에 송신할 수 있다. 몇몇 예들에서, 화소 비닝 동작을 수행하는 화소들의 그룹들은 랜덤 함수에 기초하여 선택될 수 있다. 선택된 그룹들의 마스터 화소 셀들에 대응하는 프로그래밍 데이터는 화소 어레이 프로그래밍 맵(720a)에서 1로 설정될 수 있는 반면, 다른 그룹들의 마스터 화소 셀들에 대응하는 프로그래밍 데이터는 0으로 설정될 수 있다.
화소 비닝 외에, 다른 기술들이 화소 데이터를 압축하기 위해 이용될 수 있다. 일 예는 압축 감지이다. 압축 감지에서, 선택된 로우들/컬럼들에 걸친 화소 값들이 합산될 수 있다. 상이한 프레임들은 합산된 상이한 로우들/컬럼들을 가질 수 있으며, 이것은 각각의 프레임의 화소 데이터가 프레임에서 화소들의 수보다 적은 요소들을 갖는 하나 이상의 벡터들로 압축되도록 허용한다. 압축 감지를 수행하기 위해, 화소 셀 어레이(718)의 각각의 로우 또는 각각의 컬럼은 가산기를 포함할 수 있다. 화소 어레이 프로그래밍 맵(720a)에 기초하여, 화소 셀들의 하나 이상의 로우들/컬럼들은 합산을 위해 가산기로 화소 데이터를 출력하도록 제어될 수 있으며, 합산된 화소 데이터는 그 후 선택된 로우/컬럼의 개개의 화소 셀들의 화소 데이터 대신에 화소 데이터 출력 모듈(807)로 포워딩될 수 있다.
도 10a는 화소 데이터 출력 모듈(807)의 예시적인 구성요소들을 예시하는 반면, 도 10b는 화소 데이터 출력 모듈(807)의 예시적인 동작을 예시한다. 도 10a에 도시된 바와 같이, 화소 데이터 출력 모듈(807)은 출력 제어기(1002), 감지 증폭기들(1004)의 어레이, 및 병렬-직렬 데이터 변환기(1006)를 포함할 수 있다. 감지 증폭기들(1004)의 어레이는 각각이 화소 셀들의 컬럼에 대응하는, 출력 버스들(D0, D1, ... Di)로부터 수신된 디지털 화소 데이터 출력들의 신호 레벨을 증폭시키며, 증폭된 신호들을 병렬-직렬 데이터 변환기(1006)에 송신할 수 있다. 병렬-직렬 데이터 변환기(1006)는 병렬 데이터로서 증폭된 신호들을 수신하며 직렬 데이터 스트림(1010)의 형태로 병렬 데이터를 시프트하기 위해 시프트 레지스터(도 10a에 도시되지 않음)를 포함할 수 있다. 화소 데이터 출력 모듈(807)은 MIPI와 같은, 미리 결정된 프로토콜에 따라 직렬 데이터 스트림(1010)을 송신하기 위해 송신기 회로(도 10a에 도시되지 않음)를 추가로 포함한다.
출력 제어기(1002)는 프로그래밍 맵 파서(802)로부터의 제어 신호들(808 및 810)에 기초하여 감지 증폭기들(1004)의 어레이 및 병렬-직렬 데이터 변환기(1006)의 동작들을 제어할 수 있다. 제어 신호들(808 및 810)은 예를 들어, 특정한 화소 셀들에서 화소 데이터 생성이 불능화되고, 특정한 화소 셀들의 화소 데이터가 다른 화소 셀들과 상이한 비트 폭을 갖는다는 것을 나타낼 수 있다. 예를 들어, 도 10b를 참조하면, 출력 제어기(1002)는, 제어 신호들(808 및 810)(화소 어레이 프로그래밍 맵(720)으로부터 도출되는)에 기초하여, 화소 출력 생성이 화소 셀들((1,0) 및 (2,0))에서 불능화됨을 식별할 수 있다. 이러한 정보에 기초하여, 화소 셀들((0,0) 내지 (3,0))의 로우에 대해 출력 버스들의 독출을 수행할 때, 출력 제어기(1002)는 직렬 데이터 스트림(1010)에서 화소 셀들((1,0) 및 (2,0))로부터의 출력들을 포함하지 않도록 병렬-직렬 데이터 변환기(1006)를 제어할 수 있으며, 따라서 데이터 스트림(1010)은 화소 셀(0,0)로부터의 화소 데이터 바로 앞에 화소 셀 (3,0)로부터의 화소 데이터를 포함할 수 있다. 또 다른 예로서(도 10b에 도시되지 않음), 화소 어레이 프로그래밍 맵(720)은 화소 셀(0,0)에 의해 출력된 화소 데이터가 전체 비트 깊이를 갖는 반면, 화소 셀(3,0)에 의해 출력된 화소 데이터는 반 비트 깊이를 갖는다는 것을 나타낸다. 이러한 정보에 기초하여(제어 신호들(808 및 810)에서 반영된), 출력 제어기(1002)는 직렬 데이터 스트림(1010)에서 화소 셀(0,0)로부터 전체 출력들을 포함하지만, 데이터 스트림(1010)에서 화소 셀(3,0)로부터 출력들(예컨대, 최상위 비트들)의 절반을 건너뛰도록 병렬-직렬 데이터 변환기(1006)를 제어할 수 있다. 또한, 화소 셀들의 전체 로우가 화소 데이터를 생성하는 것으로부터 불능화되는 경우에, 출력 제어기(1002)는 또한 감지 증폭기들(1004)의 전체 어레이를 파워 오프하며 상기 화소 셀들의 로우로부터의 출력들을 병렬-직렬 데이터 변환기(1006)에 송신하지 않을 수 있다.
호스트 디바이스(702)는 또한 화소 어레이 맵(720)에 기초하여 데이터 스트림(1010)으로부터 화소 데이터의 수신 및 추출을 동기화할 수 있다. 예를 들어, 화소 어레이 프로그래밍 맵(720)에 기초하여, 호스트 디바이스(702)는 데이터 스트림(1010)의 비트들의 제 1 세트가 화소 셀(0, 0)의 화소 데이터이고, 데이터 스트림(1010)의 비트들의 제 1 세트를 바로 따르는 비트들의 제 2 세트가 화소 셀(3, 0)의 화소 데이터 등임을 결정할 수 있다.
도 11a를 참조하면, 몇몇 예들에서, 이미지 센서(704)는 화소 셀 어레이(718)에 의한 화소 데이터 출력의 사후 처리를 수행하며, 사후-처리된 데이터(1102)를 호스트 디바이스(702)에 송신하기 위해 사후 프로세서(1100)를 포함할 수 있다. 사후 처리는 호스트 디바이스(702)에 송신된 데이터의 볼륨을 추가로 감소시키기 위해 수행될 수 있다. 몇몇 예들에서, 사후 프로세서(1100)는 이미지 센서(704)의 적어도 몇몇 구성요소들과 동일한 칩(예컨대, 동일한 반도체 기판) 상에 있을 수 있다. 예를 들어, 이미지 센서(704)는 제 1 반도체 기판 및 제 2 반도체 기판의 스택을 포함할 수 있으며, 상기 제 1 반도체 기판은 화소 셀 어레이(718)를 가지면 상기 제 2 반도체 기판은 주변 회로(716) 및 사후-프로세서(1100)를 갖는다.
사후 프로세서(1100)는 데이터 압축 동작들을 수행하기 위해 화소 압축 모듈(1104), 점 추출 모듈(1106) 등을 포함할 수 있다. 몇몇 예들에서, 화소 압축 모듈(1104)은, 예를 들어, 선택된 그룹들의 화소 셀들의 화소 데이터 출력들을 합산하며, 선택된 그룹들의 출력들을 나타내기 위해 합산된 화소 데이터 출력들을 호스트 디바이스(702)에 송신하는 것에 기초하여 압축 감지 동작을 수행할 수 있다. 몇몇 예들에서, 화소 압축 모듈(1104)은 시간 압축 동작을 수행할 수 있으며, 여기에서 화소 압축 모듈(1104)은 제 1 프레임 레이트로 화소 셀 어레이(718)로부터 화소 데이터의 프레임들을 처리하고, 화소 데이터를 압축하며, 제 1 프레임 레이트보다 낮은 제 2 프레임 레이트로 압축된 화소 데이터를 호스트 디바이스로 출력할 수 있다. 압축은, 예를 들어, 동화상 전문가 그룹(MPEG) 표준에 기초할 수 있다. 몇몇 예들에서, 화소 압축 모듈(1104)은 또한 화소 데이터로부터 이미지 특징들을 추출하며(예컨대, 신경망 처리에 기초하여), 이미지 특징들을 포함한 화소 데이터만을 호스트 디바이스(702)에 송신할 수 있다.
사후 프로세서(1100)는 또한, HDR 다중 노출 캡처, 광학 흐름 등과 같은, 다른 상이한 유형들의 사후-처리를 수행할 수 있다. HDR은 상이한 노출 시간들과 다수의 프레임들을 조합할 것이다. 이러한 동작은 화소들이 포화된 데이터를 폐기하는 것을 허용하거나, 또는 신호가 잡음 플로어 아래 매립된다. 이러한 동작은 또한 다수의 측정들에 걸쳐 광자 속(photon flux)을 평균화하는 것을 허용한다. 광학 흐름에서, 예를 들어, 루카스-카나데(Lucas-Kanade) 방법을 사용하여 시간 도함수들 및 공간 도함수들을 계산하기 위해 두 개의 프레임들 간의 시간 차. 도함수들은 이미지 특징들의 추출, 컴퓨터 비전 등과 같은, 다양한 애플리케이션들을 위해 사용될 수 있다.
또한, 점 추출 모듈(1106)은 3D 감지를 위해 사용될 수 있는, 반사된 구조화된 광의 패턴들(예컨대, 점들)의 이미지 위치들(화소 또는 서브-화소 분해능에서)을 결정할 수 있다. 도 11b는 점 추출 동작(1120)의 예시적인 흐름을 예시한다. 도 11b를 참조하면, 점 추출 동작(1120)은 블러 동작(1122), 이미지 경도 추정 동작(1124), 코너 검출 동작(1126), 및 서브-화소 개선 동작(1128)을 포함할 수 있다. 블러 동작(1122)은 공간 및 시간 잡음을 감소시키기 위해 블러 커널 및 입력 이미지의 화소 데이터의 그룹들 사이에서 컨볼루션 동작들을 수행하는 것을 포함할 수 있다. 컨볼루션 동작들의 결과들은 입력 이미지와 동일한 차원을 갖는 잡음-처리된 화소 데이터의 어레이로서 블러 버퍼에 저장될 수 있다.
이미지 경도 추정 동작(1124)은 입력 이미지의 각각의 화소에 대해 수평 차원(도 11a에서 Ix로 표현됨)에 대하여 부분 도함수들 및 수직 차원(도 11b에서 Iy로 표현됨)에 대한 부분 도함수들의 추정치들을 계산하기 위해 소벨(Sobel) 커널을 갖고 잡음-처리된 화소 데이터의 그룹들 사이에서 컨볼루션 동작들을 수행하는 것을 포함할 수 있다.
코너 검출 동작(1126)은 부분 도함수들(Ix 및 Iy)의 어레이 상에서 수행될 수 있다. 몇몇 예들에서, 코너 검출 동작(1126)은 다음의 식에 기초하여 부분 도함수들(Ix 및 Iy)의 어레이의 윈도우(W) 내에서의 부분 도함수들(Ix 및 Iy)에 기초하여 행렬(M)을 계산할 수 있다.
(식 1)
식 1에서, 행렬(M)의 요소(m11)는 윈도우(W) 내에서 각각의 픽셀에 대한 Ix의 제곱의 곱들의 합에 의해 계산된다. 행렬(M)의 요소(m22)는 윈도우(W) 내에서 각각의 픽셀에 대한 Iy의 제곱의 곱들의 합에 의해 계산된다. 게다가, 요소들(m12 및 m21)의 각각은 윈도우(W) 내에서 각각의 픽셀에 대한 Ix 및 Iy의 곱들의 합에 의해 계산된다. 다수의 행렬들(M)은 부분 도함수들(Ix 및 Iy)의 어레이의 상이한 윈도우들(W)에 대해 계산될 수 있다.
각각의 행렬(M)(및 윈도우(W))에 대해, 해리스 코너 응답(R)은 다음의 식에 기초하여 계산될 수 있다.
식 2에서, det(M)은 행렬(M)의 행렬식이고, trace(M)은 행렬(M)의 대각 요소들(m11 및 m22)의 합을 나타내는 반면, k는 경험적으로 결정된 상수일 수 있으며 0.04 내지 0.06 사이의 범위 내에 있을 수 있다. 임계값보다 큰 해리스 코너 응답(R)을 갖는 윈도우는 상기 윈도우가 충분히 큰 이미지 경도들을 갖고 있다고 나타낼 수 있으며, 이러한 윈도우는 반사된 구조화된 광의 패턴(예컨대, 점)을 포함할 가능성이 있다. 윈도우의 화소 위치는 점의 화소 위치의 대략적인 추정치를 나타낼 수 있으며, 점들의 다수의 화소 위치들은 코너 검출 동작(1126)으로부터 산출될 수 있다.
서브화소 개선 동작(1128)은 그 후 점들의 화소 위치들 상에서 수행될 수 있다. 몇몇 예들에서, 가우스-뉴턴 최적화 동작은 서브화소 정밀도로 점들의 도심을 결정하기 위해 단일 커널(예컨대, 3x3 커널, 4x4 커널, 또는 화소들의 그룹) 내에서 이미지 데이터로 가우스 곡선을 맞추도록 수행될 수 있다.
몇몇 예들에서, 호스트 디바이스(702)는 또한 화소 어레이 프로그래밍 맵(720)을 사용하여 화소 셀 어레이(718)에서의 광 측정 동작들 및 조명기 사이에서의 광 투사 동작들을 조정할 수 있다. 도 12는 이러한 애플리케이션의 예를 예시한다. 도 12에 도시된 바와 같이, 조명기(1200)는 호스트 디바이스(702)에 의해, 오브젝트(1202)를 향해 구조화된 광을 투사하도록 제어될 수 있는 반면, 화소 셀 어레이(718)는 3D 감지를 수행하기 위해 오브젝트(1202)에 의해 반사된 광을 검출할 수 있다. 조명기(1200)는 조명기(1200)에 의해 스캐닝 패턴에 기초하여 단지 오브젝트(1202)의 부분만을 조명하도록 제어될 수 있다. 예를 들어, 조명기(1200)는 광 방출기들(예컨대, 발광 다이오드들)의 어레이를 포함할 수 있으며 단지 부분(1204)과 같은, 광 방출기들의 일부만이 오브젝트(1202)의 부분을 조명하기 위해 한 번에 호스트 디바이스(702)에 의해 활성화된다. 또 다른 예로서, 조명기(1200)는 단일 조명기 및 미러를 포함할 수 있다. 호스트 디바이스(702)는 오브젝트(1202)의 부분을 향해 단일 조명기에 의해 생성된 광을 반사하도록 미러를 제어할 수 있다.
호스트 디바이스(702)는 예를 들어, 한 번에, 서브세트(1206)와 같은, 화소 셀 어레이(718)의 화소 셀들의 서브세트가 오브젝트(1202)에 의해 반사된 광을 검출할 수 있게 함으로써 화소 셀 어레이(718)에서 광 측정 동작들과 오브젝트(1202)의 조명을 동기화할 수 있다. 서브세트들은 조명 시퀀스 동안 임의의 주어진 시간에, 화소 셀들의 선택된 서브세트가 오브젝트(1202)에 의해 반사된 광을 수신할 가능성이 가장 높도록 조명 시퀀스에 기초하여 결정된다. 동기화를 수행하기 위해, 호스트 디바이스(702)는 조명기(1200)의 광 방출기들의 활성화의 시퀀스, 조명기(1200)의 미러의 움직임의 시퀀스 등에 의해 반사된 바와 같이 조명기(1200)에 의한 조명의 시퀀스에 기초하여 화소 어레이 프로그래밍 맵(720)을 생성할 수 있다.
도 12에 설명된 기술들은 관련 정보를 갖는 영역들만을 조명함으로써 전력을 감소시키기 위해 사용될 수 있다. 예를 들어, 호스트 디바이스(702)는 관련 정보를 포함하는 오브젝트(1202)의 비교적 작은 면적에 걸쳐 광을 투사하도록 조명기(1200)를 제어하면서, 상기 작은 면적으로부터의 오브젝트(1202)로부터 반사된 광을 검출하기 위해 화소 셀 어레이(718)의 더 많은 화소 셀들을 할당할 수 있다. 이러한 구성들은 또한 화소 셀 어레이(718)의 전체 치수를 반드시 증가시키지 않고 고 분해능 3D 감지를 허용한다. 게다가, 단지 화소 셀 어레이(718)의 화소 셀들의 서브세트만이 화소 데이터를 송신하므로, 화소 데이터의 송신 및 처리를 위한 대역폭 및 전력이 또한 감소될 수 있다.
도 13은 이미지 데이터를 생성하기 위한 예시적인 방법(1300)의 흐름도이다. 방법(1300)은 예를 들어, 이미지 처리 시스템(700)과 같은 이미지 처리 시스템에 의해 수행될 수 있다. 이미지 처리 시스템은 화소 셀 어레이(718)와 같은, 화소 셀들의 어레이를 포함할 수 있으며, 여기에서 화소 셀들의 어레이의 각각의 화소 셀은 광 측정 동작을 수행하며 상기 광 측정 동작의 디지털 출력을 생성하도록 구성된다. 각각의 화소 셀은 또한 개별적으로 어드레싱 가능한 구성 메모리(예컨대, 구성 메모리(830))와 연관된다. 이미지 처리 시스템은 화소 셀들의 어레이에서 광 측정 동작들을 구성할 수 있는 주변 회로(예컨대, 주변 회로(716)) 및 화소 셀들의 어레이의 적어도 일부의 디지털 출력들에 기초하여 이미지 프레임을 생성하도록 구성된 이미지 프로세서(예컨대, 호스트 프로세서(706))를 추가로 포함한다.
방법(1300)은 단계 1302로 시작하며, 여기에서 주변 회로(716)는 화소 셀들의 어레이의 각각의 화소 셀에서 타겟팅된 프로그래밍 데이터를 포함한 화소 어레이 프로그래밍 맵을 수신한다. 화소 어레이 프로그래밍 맵은, 예를 들어, 화소 어레이 프로그래밍 맵(720)을 포함할 수 있다. 몇몇 예들에서, 화소 어레이 프로그래밍 맵(720)의 각각의 엔트리의 프로그래밍 데이터는 직렬 데이터의 스트림을 형성하기 위해, 좌측에서 우측으로 하나의 로우, 이어서 좌측에서 우측으로 다음 로우를 가로지르는 것과 같은, 미리 결정된 스캐닝 패턴을 순차적으로 따라 송신될 수 있다.
단계 1304에서, 주변 회로(716)는 화소 어레이 프로그래밍 맵으로부터 화소 셀들의 어레이의 제 1 화소 셀에 대한 제 1 프로그래밍 데이터를 추출할 수 있다. 단계 1306에서, 주변 회로(716)는 화소 어레이 프로그래밍 맵으로부터 화소 셀들의 어레이의 제 2 화소 셀에 대한 제 2 프로그래밍 데이터를 추출할 수 있다. 상기 설명된 바와 같이, 각각의 엔트리에 대한 프로그래밍 데이터는 스캐닝 패턴 및 엔트리들이 수신되는 순서에 기초하여 직렬 데이터의 스트림으로부터 추출되고 식별될 수 있다. 화소 셀들 및 엔트리들 간의 매핑에 기초하여, 주변 회로(716)는 화소 어레이 프로그래밍 맵으로부터 제 1 및 제 2 프로그래밍 데이터를 식별하고 추출할 수 있따.
단계 1306에서, 주변 회로(716)는 제 1 프로그래밍 데이터에 기초하여 제 1 화소 셀에서 제 1 광 측정 동작을 구성할 수 있다. 구성은 제 1 프로그래밍 데이터를 수신하도록 제 1 화소 셀의 구성 메모리를 선택하기 위해 각각 로우 버스들 및 컬럼 버스들을 따라 하나 이상의 로우 신호들 및 하나 이상의 컬럼 신호들을 송신하는 것에 기초할 수 있다. 구성은, 예를 들어, 제 1 화소 셀에서 화소 데이터의 생성을 가능화/불능화하는 것, 다크 모드(다크 화소 데이터를 생성하기 위해)에서 또는 정상 모드에서 동작하도록 제 1 화소를 구성하는 것, 측정의 파장 범위, 노출 기간의 지속기간, 양자화 분해능, 화소 비닝 동작, 압축 감지 등을 설정하는 것을 포함할 수 있다.
단계 1308에서, 주변 회로(716)는 제 2 프로그래밍 데이터에 기초하여 제 2 화소 셀에서 제 2 광 측정 동작을 구성할 수 있다. 구성은 제 2 프로그래밍 데이터를 수신하도록 제 2 화소 셀의 구성 메모리를 선택하기 위해 각각 로우 버스들 및 컬럼 버스들을 따라 하나 이상의 로우 신호들 및 하나 이상의 컬럼 신호들을 송신하는 것에 기초할 수 있다. 구성은, 예를 들어, 제 1 화소 셀에서 화소 데이터의 생성을 가능화/불능화하는 것, 다크 모드에서(다크 화소 데이터를 생성하기 위해) 또는 정산 모드에서 동작하도록 제 1 화소를 구성하는 것, 측정의 파장 범위, 노출 기간의 지속기간, 양자화 분해능, 화소 비닝 동작, 압축 감지 등을 설정하는 것 등을 포함할 수 있다. 제 1 프로그래밍 데이터 및 제 2 프로그래밍 데이터는 상이할 수 있다.
단계 1310에서, 이미지 프로세서는 제 1 화소 셀 또는 제 2 화소 셀 중 적어도 하나에 의해 출력된 화소 데이터에 기초하여 이미지 프레임을 생성할 수 있다. 예를 들어, 화소 셀들은 화소 데이터를 화소 데이터 출력 모듈로 출력할 수 있으며, 이것은 화소 데이터를 이미지 센서로 스트리밍할 수 있다. 이미지 센서는 상기 화소 데이터에 기초하여 이미지 프레임을 생성하도록 애플리케이션을 동작시킬 수 있다.
이러한 설명의 몇몇 부분들은 정보에 대한 동작들의 알고리즘들 및 심볼 표현들에 대하여 본 개시의 실시예들을 설명한다. 이들 알고리즘적 설명들 및 표현들은 본 작업의 본질을 이 기술분야의 다른 숙련자들에게 효과적으로 전달하기 위해 데이터 처리 기술들에서의 숙련자들에 의해 일반적으로 사용된다. 기능적으로, 계산적으로, 또는 논리적으로 설명되면서, 이들 동작들은 컴퓨터 프로그램들 또는 등가의 전기 회로들, 마이크로코드 등에 의해 구현될 수 있는 것으로 이해된다. 더욱이, 일반성의 손실 없이, 모듈들로서 이들 동작들의 구성들을 참조하는 것은 때때로 편리하다는 것이 증명되었다. 설명된 동작들 및 그것들의 연관된 모듈들은 소프트웨어, 펌웨어, 및/또는 하드웨어에서 구체화될 수 있다.
설명된 단계들, 동작들, 또는 프로세스들은 단독으로 또는 다른 디바이스들과 조합하여, 하나 이상의 하드웨어 또는 소프트웨어 모듈들을 갖고 수행되거나 또는 구현될 수 있다. 몇몇 실시예들에서, 소프트웨어 모듈은 설명된 단계들, 동작들, 또는 프로세스들 중 임의의 것 또는 모두를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있는, 컴퓨터 프로그램 코드를 포함한 컴퓨터-판독 가능한 매체를 포함한 컴퓨터 프로그램 제품을 갖고 구현된다.
본 개시의 실시예들은 또한 설명된 동작들을 수행하기 위한 장치와 관련될 수 있다. 장치는 요구된 목적들을 위해 특수하게 구성될 수 있으며, 및/또는 그것은 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 또는 재구성된 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 비-일시적, 유형의 컴퓨터 판독 가능한 저장 매체, 또는 전자 명령들을 저장하는데 적합한 임의의 유형의 미디어에 저장될 수 있으며, 이것은 컴퓨터 시스템 버스에 결합될 수 있다. 더욱이, 본 명세서에서 참조된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나 또는 증가된 컴퓨팅 능력을 위해 다수의 프로세서 설계들을 이용한 아키텍처들일 수 있다.
본 개시의 실시예들은 또한 여기에서 설명된 컴퓨팅 프로세스에 의해 생성되는 제품과 관련될 수 있다. 이러한 제품은 컴퓨팅 프로세스에서 기인한 정보를 포함할 수 있으며, 여기에서 정보는 비-일시적, 유형의 컴퓨터 판독 가능한 저장 매체상에 저장되며 여기에서 설명된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
본 명세서에서 사용된 언어는 원칙적으로 판독성 및 설명 목적들을 위해 선택되었으며, 그것은 본 발명의 주제를 상세히 설명하거나 또는 제한하기 위해 선택되지 않았다. 그러므로, 본 개시의 범위는 이러한 상세한 설명에 의해서가 아니라, 그것에 기초한 애플리케이션에 대해 발행한 임의의 청구항들에 의해 제한하고자 한다. 따라서, 실시예들의 개시는 다음의 청구항들에서 제시되는 본 개시의 범위를 제한하기 위한 것이 아닌, 예시를 위한 것이다.
Claims (20)
- 장치에 있어서,
화소 셀들의 어레이로서, 상기 화소 셀들의 어레이의 각각의 화소 셀은 광 측정 동작을 수행하고 상기 광 측정 동작의 디지털 출력을 생성하도록 구성되는, 상기 화소 셀들의 어레이;
주변 회로로서:
상기 화소 셀들의 어레이의 각각의 화소 셀에 타겟팅된 프로그래밍 데이터를 포함한 화소 어레이 프로그래밍 맵을 수신하며;
상기 각각의 화소 셀에 타겟팅된 상기 프로그래밍 데이터에 기초하여 상기 각각의 화소 셀에서 상기 광 측정 동작을 구성하도록 구성된, 상기 주변 회로; 및
상기 화소 셀들의 어레이의 적어도 일부의 디지털 출력들에 기초하여 이미지 프레임을 생성하도록 구성된 이미지 프로세서를 포함하는, 장치. - 제 1 항에 있어서,
상기 화소 셀들의 어레이의 각각의 화소 셀은 개별적으로 어드레싱 가능한 구성 메모리와 연관되고;
상기 주변 회로는:
상기 화소 어레이 프로그래밍 맵으로부터 상기 화소 셀들의 어레이의 제 1 화소 셀에 대한 제 1 프로그래밍 데이터를 추출하고;
상기 화소 어레이 프로그래밍 맵으로부터 상기 화소 셀들의 어레이의 제 2 화소 셀에 대한 제 2 프로그래밍 데이터를 추출하고;
상기 제 1 프로그래밍 데이터에 기초하여 제 1 어드레스를 생성하고;
상기 제 2 프로그래밍 데이터에 기초하여 제 2 어드레스를 생성하고;
상기 제 1 어드레스에 기초하여, 상기 제 1 프로그래밍 데이터를 수신할 상기 제 1 화소 셀의 구성 메모리를 선택하며;
상기 제 2 어드레스에 기초하여, 상기 제 2 프로그래밍 데이터를 수신할 상기 제 2 화소 셀의 구성 메모리를 선택하도록 구성되며;
상기 제 1 프로그래밍 데이터 및 상기 제 2 프로그래밍 데이터는 상이한, 장치. - 제 2 항에 있어서,
상기 화소 어레이 프로그래밍 맵은 프로그래밍 데이터의 어레이를 포함하며;
상기 제 1 어드레스는 상기 프로그래밍 데이터의 어레이 내에서 상기 제 1 프로그래밍 데이터의 위치에 기초하여 생성되는, 장치. - 제 2 항에 있어서,
상기 각각의 화소 셀은 상기 디지털 출력의 생성을 제어하기 위해 적어도 하나의 디바이스를 포함하며;
상기 주변 회로는:
상기 제 1 어드레스에 기초하여, 상기 제 1 화소 셀에서 제 1 디지털 출력의 생성을 가능화하기 위해 제 1 신호를 상기 제 1 화소 셀의 적어도 하나의 디바이스에 송신하며;
상기 제 2 어드레스에 기초하여, 상기 제 2 화소 셀에서 제 2 디지털 출력의 생성을 불능화하기 위해 제 2 신호를 상기 제 2 화소 셀의 적어도 하나의 디바이스에 송신하도록 구성되는, 장치. - 제 4 항에 있어서,
상기 주변 회로는 상기 제 2 어드레스에 기초하여 상기 제 2 디지털 출력을 증폭시키도록 구성된 하나 이상의 감지 증폭기들을 불능화하기 위해 구성되는, 장치. - 제 4 항에 있어서,
상기 주변 회로는 상기 제 1 디지털 출력을 포함한 디지털 출력들의 스트림을 상기 이미지 프로세서에 출력하도록 구성되며;
상기 이미지 프로세서는:
상기 화소 어레이 프로그래밍 맵에 기초하여 상기 디지털 출력들의 스트림의 수신 타이밍을 동기화하며;
상기 동기화에 기초하여 상기 디지털 출력들의 스트림으로부터 상기 제 1 디지털 출력을 식별하도록 구성되는, 장치. - 제 4 항에 있어서,
상기 제 1 프로그래밍 데이터 및 상기 제 2 프로그래밍 데이터는 이전 이미지 프레임으로부터 결정된 관심 영역에 기초하여 생성되는, 장치. - 제 2 항에 있어서,
상기 각각의 화소 셀은 프로그램 가능한 노출 기간 내에서 상기 광 측정 동작을 수행하도록 구성되고;
상기 주변 회로는:
상기 제 1 어드레스에 기초하여, 제 1 광 측정 동작을 위한 제 1 노출 기간을 설정하기 위해 제 1 신호를 상기 제 1 화소 셀에 송신하며;
상기 제 2 어드레스에 기초하여, 제 2 광 측정 동작을 위한 제 2 노출 기간을 설정하기 위해 제 2 신호를 상기 제 2 화소 셀에 송신하도록 구성되고, 상기 제 2 노출 기간은 상기 제 1 노출 기간과 상이하도록 구성되며;
상기 이미지 프로세서는 상기 제 1 광 측정 동작의 제 1 디지털 출력 및 상기 제 2 광 측정 동작의 제 2 디지털 출력을 수신하도록 구성되는, 장치. - 제 8 항에 있어서,
상기 주변 회로는, 상기 제 1 어드레스에 기초하여: 상기 제 1 노출 기간을 0으로 설정하는 것 또는 상기 제 1 화소 셀을 리셋 상태에 두는 것 중 적어도 하나에 기초하여 상기 제 1 광 측정 동작을 수행하기 위해 상기 제 1 신호를 상기 제 1 화소 셀에 송신하도록 구성되며;
상기 이미지 프로세서는:
상기 제 1 디지털 출력에 기초하여 교정 동작을 수행하며;
상기 제 2 디지털 출력 및 상기 교정 동작의 결과에 기초하여 상기 제 2 화소 셀에 의해 수신된 광의 세기를 결정하도록 구성되는, 장치. - 제 2 항에 있어서,
상기 각각의 화소 셀은 광 측정 동작의 결과를 나타내는 아날로그 신호를 생성하도록 구성되며, 상기 디지털 출력은 프로그램 가능한 양자화 분해능으로 상기 아날로그 신호를 양자화하는 것에 기초하여 생성되고;
상기 주변 회로는:
상기 제 1 어드레스에 기초하여, 제 1 양자화 분해능을 설정하기 위해 제 1 신호를 상기 제 1 화소 셀에 송신하며;
상기 제 2 어드레스에 기초하여, 상기 제 1 양자화 분해능과 상이한 제 2 양자화 분해능을 설정하기 위해 제 2 신호를 상기 제 2 화소 셀에 송신하도록 구성되는, 장치. - 제 10 항에 있어서,
상기 각각의 화소 셀은 램핑 신호와 상기 아날로그 신호를 비교하는 것에 기초하여 상기 디지털 출력을 생성하도록 구성된 카운터를 포함하고, 상기 양자화 분해능은 상기 카운터에 공급된 클록 신호의 주파수에 기초하여 프로그램 가능하며;
상기 주변 회로는:
상기 제 1 어드레스에 기초하여, 상기 제 1 양자화 분해능을 설정하기 위해 제 1 클록 주파수의 제 1 클록 신호를 상기 제 1 화소 셀에 송신하며;
상기 제 2 어드레스에 기초하여, 상기 제 2 양자화 분해능을 설정하기 위해 제 2 클록 주파수의 제 2 클록 신호를 상기 제 2 화소 셀에 송신하도록 구성되는, 장치. - 제 2 항에 있어서,
상기 제 1 화소 셀은 상기 제 1 화소 셀에서 제 1 광 측정 동작으로부터의 제 1 아날로그 신호와 상기 제 2 화소 셀에서 제 2 광 측정 동작으로부터의 제 2 아날로그 신호를 합산하는 것에 기초하여 합산 신호를 생성하도록 구성된 합산 회로를 포함하며;
상기 주변 회로는:
상기 제 1 어드레스에 기초하여, 상기 합산 신호를 양자화하는 것에 기초하여 제 1 디지털 출력을 생성하도록 상기 제 1 화소 셀을 구성하기 위해 제 1 신호를 송신하며;
상기 제 2 어드레스에 기초하여, 상기 제 2 화소 셀에 의한 제 2 디지털 출력의 생성을 불능화하기 위해 제 2 신호를 상기 제 2 화소 셀에 송신하도록 구성되는, 장치. - 제 2 항에 있어서,
상기 각각의 화소는 제 1 파장 범위의 광을 측정하도록 구성된 제 1 포토다이오드 및 제 2 파장 범위의 광을 측정하기 위한 제 2 포토다이오드를 포함하며;
상기 주변 회로는:
상기 제 1 어드레스에 기초하여, 상기 제 1 포토다이오드로부터의 출력에 기초하여 제 1 디지털 출력을 생성하기 위해 제 1 신호를 상기 제 1 화소 셀에 송신하며;
상기 제 2 어드레스에 기초하여, 상기 제 2 포토다이오드로부터의 출력에 기초하여 제 2 디지털 출력을 생성하기 위해 제 2 신호를 상기 제 2 화소 셀에 송신하도록 구성되는, 장치. - 제 1 항에 있어서,
상기 화소 셀들의 어레이의 디지털 출력들 중 적어도 일부의 사후 처리를 수행하도록 구성된 사후 프로세서 회로(post processor circuit)를 더 포함하며,
상기 이미지 프로세서는 상기 화소 셀들의 어레이의 디지털 출력들 중 상기 사후 처리된 적어도 일부에 기초하여 상기 이미지 프레임을 생성하도록 구성되고;
상기 사후 프로세서 회로, 상기 주변 회로, 및 상기 화소 셀들의 어레이는 반도체 기판상에 집적되는, 장치. - 제 14 항에 있어서,
상기 화소 셀들의 어레이는 제 1 반도체 기판상에 형성되고;
상기 주변 회로 및 상기 사후 프로세서 회로는 제 2 반도체 기판상에 형성되며;
상기 제 1 반도체 기판 및 상기 제 2 반도체 기판은 스택을 형성하는, 장치. - 제 14 항에 있어서,
상기 사후 프로세서 회로는:
상기 화소 셀들의 어레이의 디지털 출력들 중 적어도 일부로부터, 오브젝트에 의한 구조화된 광의 반사에 대응하는 특징들을 추출하고;
상기 추출의 결과에 기초하여, 상기 디지털 출력들이 상기 추출된 특징들을 나타내는 화소 셀들을 식별하며;
상기 식별된 화소 셀들의 디지털 출력들만을 상기 이미지 프로세서에 송신하도록 구성되는, 장치. - 제 16 항에 있어서,
상기 사후 프로세서 회로는:
상기 추출된 특징들의 서브 화소 위치들을 결정하며;
상기 오브젝트의 깊이 감지 동작을 수행하기 위해 상기 서브 화소 위치들을 애플리케이션으로 제공하도록 구성되는, 장치. - 제 15 항에 있어서,
상기 사후 프로세서 회로는
상기 이미지 프로세서를 포함하며:
제 1 프레임 레이트로 상기 화소 셀들의 어레이에 의해 생성된 디지털 출력들을 수신하며;
상기 제 1 프레임 레이트보다 낮은 제 2 프레임 레이트로 상기 디지털 출력들에 기초하여 이미지 프레임들을 생성하도록 구성되는, 장치. - 제 1 항에 있어서,
조명 시퀀스에 기초하여 씬(scene)의 상이한 부분들에 광을 투사하도록 구성된 조명기를 더 포함하며;
상기 화소 어레이 프로그래밍 맵은 상기 조명 시퀀스에 기초하여 생성되는, 장치. - 방법에 있어서,
화소 셀들의 어레이의 각각의 화소 셀에 타겟팅된 프로그래밍 데이터를 포함한 화소 어레이 프로그래밍 맵을 수신하는 단계;
상기 화소 어레이 프로그래밍 맵으로부터 상기 화소 셀들의 어레이의 제 1 화소 셀에 대한 제 1 프로그래밍 데이터를 추출하는 단계;
상기 화소 어레이 프로그래밍 맵으로부터 상기 화소 셀들의 어레이의 제 2 화소 셀에 대한 제 2 프로그래밍 데이터를 추출하는 단계;
상기 제 1 프로그래밍 데이터에 기초하여 상기 제 1 화소 셀에서 제 1 광 측정 동작을 구성하는 단계;
상기 제 2 프로그래밍 데이터에 기초하여 상기 제 2 화소 셀에서 제 2 광 측정 동작을 구성하는 단계; 및
상기 제 1 화소 셀 또는 상기 제 2 화소 셀 중 적어도 하나에 의해 출력된 화소 데이터에 기초하여 이미지 프레임을 생성하는 단계를 포함하는, 방법.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862676849P | 2018-05-25 | 2018-05-25 | |
| US62/676,849 | 2018-05-25 | ||
| US16/421,441 US12034015B2 (en) | 2019-05-23 | Programmable pixel array | |
| US16/421,441 | 2019-05-23 | ||
| PCT/US2019/034007 WO2019227050A1 (en) | 2018-05-25 | 2019-05-24 | Programmable pixel array |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210013206A true KR20210013206A (ko) | 2021-02-03 |
Family
ID=68614052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207037369A KR20210013206A (ko) | 2018-05-25 | 2019-05-24 | 프로그램 가능한 화소 어레이 |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP3804297A1 (ko) |
| JP (1) | JP2021525019A (ko) |
| KR (1) | KR20210013206A (ko) |
| CN (1) | CN112470459A (ko) |
| TW (1) | TWI810304B (ko) |
| WO (1) | WO2019227050A1 (ko) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7362355B1 (en) * | 2003-08-04 | 2008-04-22 | Pixim, Inc. | Digital CMOS image sensor incorporating a programmable multi-functional lookup table |
| US9723233B2 (en) * | 2012-04-18 | 2017-08-01 | Brightway Vision Ltd. | Controllable gated sensor |
| KR20140024707A (ko) * | 2012-08-21 | 2014-03-03 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 전자 기기 |
| US9743024B2 (en) * | 2015-07-01 | 2017-08-22 | Massachusetts Institute Of Technology | Method and apparatus for on-chip per-pixel pseudo-random time coded exposure |
| WO2017003477A1 (en) * | 2015-07-01 | 2017-01-05 | Tyrrell Brian M | Method and apparatus for on-chip per-pixel pseudo-random time coded exposure |
| US10484628B2 (en) * | 2016-10-21 | 2019-11-19 | The Johns Hopkins University | Flexible pixel-wise exposure control and readout |
-
2019
- 2019-05-24 WO PCT/US2019/034007 patent/WO2019227050A1/en unknown
- 2019-05-24 CN CN201980048866.0A patent/CN112470459A/zh active Pending
- 2019-05-24 EP EP19731047.7A patent/EP3804297A1/en active Pending
- 2019-05-24 KR KR1020207037369A patent/KR20210013206A/ko not_active Application Discontinuation
- 2019-05-24 JP JP2020561752A patent/JP2021525019A/ja not_active Ceased
- 2019-05-27 TW TW108118209A patent/TWI810304B/zh active
Also Published As
| Publication number | Publication date |
|---|---|
| TWI810304B (zh) | 2023-08-01 |
| TW202005356A (zh) | 2020-01-16 |
| CN112470459A (zh) | 2021-03-09 |
| US20190363118A1 (en) | 2019-11-28 |
| EP3804297A1 (en) | 2021-04-14 |
| WO2019227050A1 (en) | 2019-11-28 |
| JP2021525019A (ja) | 2021-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11888002B2 (en) | Dynamically programmable image sensor | |
| US11863886B2 (en) | Pixel sensor having multiple photodiodes | |
| US10931884B2 (en) | Pixel sensor having adaptive exposure time | |
| US11825228B2 (en) | Programmable pixel array having multiple power domains | |
| US11948089B2 (en) | Sparse image sensing and processing | |
| US11962928B2 (en) | Programmable pixel array | |
| US11910114B2 (en) | Multi-mode image sensor | |
| US11935291B2 (en) | Distributed sensor system | |
| US20210044742A1 (en) | Dynamically programmable image sensor | |
| US20220030183A1 (en) | Infrared and non-infrared channel blender for depth mapping using structured light | |
| US20220028102A1 (en) | Devices and methods for determining confidence in stereo matching using a classifier-based filter | |
| US12034015B2 (en) | Programmable pixel array | |
| KR20210013206A (ko) | 프로그램 가능한 화소 어레이 | |
| JP7515477B2 (ja) | プログラム可能なピクセルアレイ | |
| US20230105527A1 (en) | Noise-reduction circuit for an image sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| WITB | Written withdrawal of application |