KR20230026999A - 촬상 장치 - Google Patents
촬상 장치 Download PDFInfo
- Publication number
- KR20230026999A KR20230026999A KR1020227041404A KR20227041404A KR20230026999A KR 20230026999 A KR20230026999 A KR 20230026999A KR 1020227041404 A KR1020227041404 A KR 1020227041404A KR 20227041404 A KR20227041404 A KR 20227041404A KR 20230026999 A KR20230026999 A KR 20230026999A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- event
- pixels
- imaging device
- unit
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 130
- 239000004065 semiconductor Substances 0.000 claims abstract description 114
- 238000005259 measurement Methods 0.000 claims abstract description 94
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 230000004044 response Effects 0.000 claims abstract description 17
- 230000008859 change Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 48
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000012546 transfer Methods 0.000 description 16
- 238000009792 diffusion process Methods 0.000 description 10
- 230000003321 amplification Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000003199 nucleic acid amplification method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 239000000872 buffer Substances 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010791 quenching Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 241000724291 Tobacco streak virus Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14618—Containers
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14634—Assemblies, i.e. Hybrid structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
- H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
- H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
- H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
- H01L31/102—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
- H01L31/107—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
- H04N25/773—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
본 개시는 계조 레벨의 화소 신호 등 이벤트 검출 신호 이외의 신호를 출력할 수 있는 촬상 장치를 제공한다. 본 개시의 촬상 장치는 1층째의 반도체 칩 및 2층째의 반도체 칩의 적어도 2개의 반도체 칩이 적층되어 이루어지는 적층 칩 구조를 갖는다. 1층째의 반도체 칩에는 화소의 휘도 변화량이 소정의 임계치를 초과한 사상을 이벤트의 발생으로서 검출하여 이벤트 검출 신호를 출력하는 이벤트용 화소 및 광원부로부터의 조사광에 의거한 거리측정 대상물로부터의 반사광을 수광하고 광자의 수광에 응하여 신호를 발생하는 수광 소자를 포함하는 거리측정용 화소가 혼재하는 화소 어레이부가 마련되어 있다. 2층째의 반도체 칩에는 이벤트 검출 신호를 처리하는 이벤트용 화소의 아날로그 프론트 엔드부 및 수광 소자의 신호를 처리하는 거리측정용 화소의 아날로그 프론트 엔드부가 이벤트용 화소 및 거리측정용 화소의 각각에 대응하여 마련되어 있다.
Description
본 개시는 촬상 장치에 관한 것이다.
수직 동기 신호 등의 동기 신호에 동기하여 촬상을 행하는 주사형(동기형)의 촬상 장치에 대해 DVS(Dynamic Vision Sensor)라고 불리는 비주사형(비동기형)의 촬상 장치가 있다(예를 들면, 특허 문헌 1 참조). 비주사형의 촬상 장치는 입사광을 광전 변환하는 화소의 휘도 변화량이 소정의 임계치를 초과한 사상을 이벤트의 발생으로서 검출하여 이벤트 검출 신호를 출력한다.
DVS라고 불리는 비주사형(비동기형)의 촬상 장치에는 이벤트의 발생을 검출함에 의해 피사체의 움직임(동체)를 검출할 수 있을 뿐만 아니라 입사광의 광량에 응한 계조 레벨의 화소 신호 등 이벤트 검출 신호 이외의 신호를 출력할 수 있는 것이 바람직한다.
본 개시는 이벤트의 발생을 나타내는 이벤트 검출 신호 외에 입사광의 광량에 응한 계조 레벨의 화소 신호 등 이벤트 검출 신호 이외의 신호를 출력할 수 있는 촬상 장치를 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 개시의 촬상 장치는,
1층째의 반도체 칩 및 2층째의 반도체 칩의 적어도 2개의 반도체 칩이 적층되어 이루어지는 적층 칩 구조를 가지고
1층째의 반도체 칩에는 화소의 휘도 변화량이 소정의 임계치를 초과한 사상을 이벤트의 발생으로서 검출하여 이벤트 검출 신호를 출력하는 이벤트용 화소 및 입사광의 광량에 응한 계조 레벨의 화소 신호를 출력하는 계조용 화소가 혼재하는 화소 어레이부가 마련되어 있고
2층째의 반도체 칩에는 이벤트 검출 신호를 처리하는 이벤트용 화소의 아날로그 프론트 엔드부 및 화소 신호를 처리하는 계조용 화소의 아날로그 프론트 엔드부가 이벤트용 화소 및 계조용 화소의 각각에 대응하여 마련되어 있다.
상기한 목적을 달성하기 위한 본 개시의 다른 촬상 장치는,
1층째의 반도체 칩 및 2층째의 반도체 칩의 적어도 2개의 반도체 칩이 적층되어 이루어지는 적층 칩 구조를 가지고
1층째의 반도체 칩에는 화소의 휘도 변화량이 소정의 임계치를 초과한 사상을 이벤트의 발생으로서 검출하여 이벤트 검출 신호를 출력하는 이벤트용 화소 및 광원부로부터의 조사광에 의거한 거리측정 대상물로부터의 반사광을 수광하고 광자의 수광에 응하여 신호를 발생하는 수광 소자를 포함하는 거리측정용 화소가 혼재하는 화소 어레이부가 마련되어 있고
2층째의 반도체 칩에는 이벤트 검출 신호를 처리하는 이벤트용 화소의 아날로그 프론트 엔드부 및 수광 소자의 신호를 처리하는 거리측정용 화소의 아날로그 프론트 엔드부가 이벤트용 화소 및 거리측정용 화소의 각각에 대응하여 마련되어 있다.
도 1은 본 개시의 제1 실시 형태에 관한 촬상 장치의 시스템 구성의 개략을 도시하는 블록도.
도 2의 A는 계조용 회로의 구성의 한 예를 도시하는 블록도이고, 도 2의 B는 DVS 유닛의 구성의 한 예를 도시하는 블록도.
도 3은 계조용 화소의 구성의 한 구체례를 도시하는 회로도.
도 4는 DVS용 화소의 구성의 한 구체례를 도시하는 회로도.
도 5는 어드레스 이벤트 검출부의 구성의 한 예를 도시하는 블록도.
도 6은 본 개시의 제1 실시 형태에 관한 촬상 장치에서의 구체례 1에 관한 적층 칩 구조를 도시하는 개략도.
도 7의 A는 1층째의 반도체 칩의 계조용 화소 및 DVS용 화소와, 2층째의 반도체 칩의 각 아날로그 프론트 엔드부와의 대응 관계 1을 도시하는 도면이고, 도 7의 B는 그 대응 관계 2를 도시하는 도면.
도 8은 계조용 화소 및 DVS용 화소의 화소 어레이를 도시하는 이미지도.
도 9는 본 개시의 제1 실시 형태에 관한 촬상 장치에서의 구체례 2에 관한 적층 칩 구조를 도시하는 개략도.
도 10의 A는 본 개시의 제1 실시 형태에 관한 촬상 장치에서의 구성례 1에 관한 화소 배치를 도시하는 도면이고, 도 10의 B는 구성례 2에 관한 화소 배치를 도시하는 도면.
도 11의 A는 본 개시의 제1 실시 형태에 관한 촬상 장치에서의 구성례 3에 관한 화소 배치를 도시하는 도면이고, 도 11의 B는 구성례 4에 관한 화소 배치를 도시하는 도면.
도 12의 A는 본 개시의 제1 실시 형태에 관한 촬상 장치에서의 배치례 1에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면이고, 도 12의 B는 배치례 2에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면.
도 13의 A는 본 개시의 제1 실시 형태에 관한 촬상 장치에서의 배치례 3에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면이고, 도 13의 B는 배치례 4에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면.
도 14의 A는 구성례 1에 관한 적층 칩 구조의 개략을 도시하는 도면이고, 도 14의 B는 구성례 2에 관한 적층 칩 구조의 개략을 도시하는 도면.
도 15는 구성례 3에 관한 적층 칩 구조의 개략을 도시하는 도면.
도 16은 본 개시의 제2 실시 형태에 관한 촬상 장치의 시스템 구성의 개략을 도시하는 블록도.
도 17은 거리측정용 화소의 기본적인 화소 회로의 구성의 한 예를 도시하는 회로도.
도 18의 A는 본 개시의 제2 실시 형태에 관한 촬상 장치에서의 구체례 1에 관한 적층 칩 구조를 도시하는 개략도이고, 도 18의 B는 구체례 2에 관한 적층 칩 구조를 도시하는 개략도.
도 19의 A는 본 개시의 제2 실시 형태에 관한 촬상 장치에서의 구성례 1에 관한 화소 배치를 도시하는 도면이고, 도 19의 B는 구성례 2에 관한 화소 배치를 도시하는 도면.
도 20의 A는 본 개시의 제2 실시 형태에 관한 촬상 장치에서의 구성례 3에 관한 화소 배치를 도시하는 도면이고, 도 20의 B는 구성례 4에 관한 화소 배치를 도시하는 도면.
도 21의 A는 본 개시의 제2 실시 형태에 관한 촬상 장치에서의 배치례 1에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면이고, 도 21의 B는 배치례 2에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면.
도 22의 A는 본 개시의 제2 실시 형태에 관한 촬상 장치에서의 배치례 3에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면이고, 도 22의 B는 배치례 4에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면.
도 23은 본 개시의 제3 실시 형태에 관한 촬상 장치의 시스템 구성의 개략을 도시하는 블록도.
도 2의 A는 계조용 회로의 구성의 한 예를 도시하는 블록도이고, 도 2의 B는 DVS 유닛의 구성의 한 예를 도시하는 블록도.
도 3은 계조용 화소의 구성의 한 구체례를 도시하는 회로도.
도 4는 DVS용 화소의 구성의 한 구체례를 도시하는 회로도.
도 5는 어드레스 이벤트 검출부의 구성의 한 예를 도시하는 블록도.
도 6은 본 개시의 제1 실시 형태에 관한 촬상 장치에서의 구체례 1에 관한 적층 칩 구조를 도시하는 개략도.
도 7의 A는 1층째의 반도체 칩의 계조용 화소 및 DVS용 화소와, 2층째의 반도체 칩의 각 아날로그 프론트 엔드부와의 대응 관계 1을 도시하는 도면이고, 도 7의 B는 그 대응 관계 2를 도시하는 도면.
도 8은 계조용 화소 및 DVS용 화소의 화소 어레이를 도시하는 이미지도.
도 9는 본 개시의 제1 실시 형태에 관한 촬상 장치에서의 구체례 2에 관한 적층 칩 구조를 도시하는 개략도.
도 10의 A는 본 개시의 제1 실시 형태에 관한 촬상 장치에서의 구성례 1에 관한 화소 배치를 도시하는 도면이고, 도 10의 B는 구성례 2에 관한 화소 배치를 도시하는 도면.
도 11의 A는 본 개시의 제1 실시 형태에 관한 촬상 장치에서의 구성례 3에 관한 화소 배치를 도시하는 도면이고, 도 11의 B는 구성례 4에 관한 화소 배치를 도시하는 도면.
도 12의 A는 본 개시의 제1 실시 형태에 관한 촬상 장치에서의 배치례 1에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면이고, 도 12의 B는 배치례 2에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면.
도 13의 A는 본 개시의 제1 실시 형태에 관한 촬상 장치에서의 배치례 3에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면이고, 도 13의 B는 배치례 4에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면.
도 14의 A는 구성례 1에 관한 적층 칩 구조의 개략을 도시하는 도면이고, 도 14의 B는 구성례 2에 관한 적층 칩 구조의 개략을 도시하는 도면.
도 15는 구성례 3에 관한 적층 칩 구조의 개략을 도시하는 도면.
도 16은 본 개시의 제2 실시 형태에 관한 촬상 장치의 시스템 구성의 개략을 도시하는 블록도.
도 17은 거리측정용 화소의 기본적인 화소 회로의 구성의 한 예를 도시하는 회로도.
도 18의 A는 본 개시의 제2 실시 형태에 관한 촬상 장치에서의 구체례 1에 관한 적층 칩 구조를 도시하는 개략도이고, 도 18의 B는 구체례 2에 관한 적층 칩 구조를 도시하는 개략도.
도 19의 A는 본 개시의 제2 실시 형태에 관한 촬상 장치에서의 구성례 1에 관한 화소 배치를 도시하는 도면이고, 도 19의 B는 구성례 2에 관한 화소 배치를 도시하는 도면.
도 20의 A는 본 개시의 제2 실시 형태에 관한 촬상 장치에서의 구성례 3에 관한 화소 배치를 도시하는 도면이고, 도 20의 B는 구성례 4에 관한 화소 배치를 도시하는 도면.
도 21의 A는 본 개시의 제2 실시 형태에 관한 촬상 장치에서의 배치례 1에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면이고, 도 21의 B는 배치례 2에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면.
도 22의 A는 본 개시의 제2 실시 형태에 관한 촬상 장치에서의 배치례 3에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면이고, 도 22의 B는 배치례 4에 관한 DVS 유닛의 배치 및 DVS용 AFE와의 접속 관계를 도시하는 도면.
도 23은 본 개시의 제3 실시 형태에 관한 촬상 장치의 시스템 구성의 개략을 도시하는 블록도.
이하, 본 개시의 기술을 실시하기 위한 형태(이하, 「실시 형태」라고 기술한다)에 관해 도면을 이용하여 상세히 설명한다. 본 개시의 기술은 실시 형태로 한정되는 것이 아니다. 이하의 설명에서 동일 요소 또는 동일 기능을 갖는 요소에는 동일 부호를 이용하는 것으로 하고 중복되는 설명은 생략한다. 또한 설명은 이하의 순서로 행한다.
1. 본 개시의 촬상 장치 전반에 관한 설명
2. 제1 실시 형태에 관한 촬상 장치(이벤트용 화소+계조용 화소)
2-1. 시스템 구성례
2-1-1. 계조용 화소의 구성례
2-1-2. DVS용 화소의 구성례
2-1-3. 어드레스 이벤트 검출부의 구성례
2-2. 적층 칩 구조
2-2-1. 구체례 1(2층 구조인 예)
2-2-2. 구체례 2(3층 구조인 예)
2-3. 화소 어레이부의 구성례
2-3-1. 구성례 1(계조용 화소와 DVS용 화소로 구성되는 유닛을 소정의 규칙에 따라 나열하여 배치하는 예)
2-3-2. 구성례 2(DVS용 화소를 포함하는 유닛을 화소행의 단위로 나열하여 배치하는 예)
2-3-3. 구성례 3(DVS용 화소를 포함하는 유닛을 화소열의 단위로 나열하여 배치하는 예)
2-3-4. 구성례 4(DVS용 유닛을 불규칙하게 나열하여 배치하는 예)
2-4. DVS 유닛의 배치례
2-4-1. 배치례 1(DVS 유닛이 정방형으로 나열하여 배치된 4개의 DVS용 화소로 이루어지는 예)
2-4-2. 배치례 2(DVS 유닛이 행방향으로 나열하여 배치된 4개의 DVS용 화소로 이루어지는 예)
2-4-3. 배치례 3(DVS 유닛이 열방향으로 나열하여 배치된 4개의 DVS용 화소로 이루어지는 예)
2-4-4. 배치례 4(DVS 유닛의 사이즈가 계조용 화소의 사이즈보다도 큰 예)
2-5. 계조용 화소인 경우의 적층 칩 구조의 구성례
2-5-1. 적층 칩 구조의 구성례 1(글로벌 셔터 기능의 구성례)
2-5-2. 적층 칩 구조의 구성례 2(판독 기능의 구성례)
2-5-3. 적층 칩 구조의 구성례 3(에어리어 AD의 구성례)
2-6. 제1 실시 형태의 작용, 효과
3. 제2 실시 형태에 관한 촬상 장치(이벤트용 화소+거리측정용 화소)
3-1. 시스템 구성례
3-2. 적층 칩 구조
3-2-1. 구체례 1(상칩에 SPAD 소자를 탑재하고 하칩에 ??치 회로를 탑재하는 예)
3-2-2. 구체례 2(상칩 위의 복수의 SPAD 소자를 단위로 하여 하칩에 ??치 회로 및 시간 계측부를 탑재하는 예)
3-3. 화소 어레이부의 구성례
3-3-1. 구성례 1(DVS용 화소와 거리측정용 화소로 구성되는 유닛을 행렬형상으로 배치하는 예)
3-3-2. 구성례 2(DVS용 화소를 포함하는 유닛을 화소행의 단위로 나열하여 배치하는 예)
3-3-3. 구성례 3(DVS용 화소를 포함하는 유닛을 화소열의 단위로 나열하여 배치하는 예)
3-3-4. 구성례 4(DVS용 유닛을 랜덤하게 배치하는 예)
3-4. 제2 실시 형태의 작용, 효과
4. 제3 실시 형태에 관한 촬상 장치(이벤트용 화소+계조용 화소+거리측정용 화소)
5. 변형례
6. 응용례
7. 본 개시가 취할 수 있는 구성
<본 개시의 촬상 장치 전반에 관한 설명>
본 개시의 촬상 장치에서는 소정 수의 이벤트용 화소를 이벤트 화소 유닛으로 할 때 이벤트 화소 유닛에 관해 화소 어레이부 내에서 소정의 규칙에 따라 나란히 배치되어 있는 구성으로 할 수 있다.
상술한 바람직한 구성을 포함하는 본 개시의 촬상 장치에서는 이벤트 화소 유닛에 관해 소정 수의 계조용 화소의 조합을 화소 유닛으로 하여 화소 어레이부 내에 배치되어 있는 구성으로 할 수 있다. 또한 이벤트 화소 유닛에 관해 화소 어레이부의 행렬형상의 화소 배열에서 화소행의 단위, 또는 화소열의 단위로 나란히 배치되어 있는 구성으로 할 수 있다.
또한 상술한 바람직한 구성을 포함하는 본 개시의 촬상 장치에서는 소정 수의 이벤트용 화소를 이벤트 화소 유닛으로 할 때 이벤트 화소 유닛에 관해 불규칙하게 나란히 화소 어레이부 내에 배치되어 있는 구성으로 할 수 있다.
또한 상술한 바람직한 구성을 포함하는 본 개시의 촬상 장치에서는 이벤트용 화소에 관해 이벤트 화소 유닛 내에서 소정의 규칙에 따라 나란히 배치되어 있는 구성으로 할 수 있다. 구체적으로는 이벤트용 화소에 관해 이벤트 화소 유닛 내에서 정방형으로 나란히 또는 행렬형상의 화소 배열의 행방향으로 나란히 또는 열방향으로 나란히 배치되어 있는 구성으로 할 수 있다.
또한 상술한 바람직한 구성을 포함하는 본 개시의 촬상 장치에서는 이벤트용 화소의 사이즈에 관해 계조용 화소의 사이즈보다도 큰 구성으로 할 수 있다. 또한 계조용 화소의 수에 관해 이벤트용 화소의 수보다도 많은 구성으로 할 수 있다.
또한 상술한 바람직한 구성을 포함하는 본 개시의 촬상 장치에서는 화소 어레이부에는 이벤트 화소 및 계조 화소 외에 광원부로부터의 조사광에 의거한 거리측정 대상물로부터의 반사광을 수광하고 광자의 수광에 응하여 신호를 발생하는 수광 소자를 포함하는 거리측정용 화소가 혼재하여 있는 구성으로 할 수 있다. 그리고 2층째의 반도체 칩에는 수광 소자를 제어하는 ??치 회로가 거리측정용 화소에 대응하여 마련되어 있는 구성으로 할 수 있다.
또한 상술한 바람직한 구성을 포함하는 본 개시의 촬상 장치에서는 거리측정용 화소의 수광 소자에 관해 가이거 모드로 동작하는 애벌란시 포토 다이오드로 이루어지는 바람직하게는 단일 광자 애벌란시 다이오드로 이루어지는 구성으로 할 수 있다.
<제1 실시 형태에 관한 촬상 장치>
본 개시의 제1 실시 형태에 관한 촬상 장치는 1층째의 반도체 칩 및 2층째의 반도체 칩의 적어도 2개의 반도체 칩이 적층되어 이루어지는 적층 칩 구조를 갖고 있다. 그리고 1층째의 반도체 칩에 마련되는 화소 어레이부에 이벤트용 화소와 계조용 화소를 혼재시킨 구성으로 되어 있다.
여기서, 이벤트용 화소는 화소의 휘도 변화량이 소정의 임계치를 초과한 사상을 이벤트의 발생으로서 검출하여 이벤트 검출 신호를 출력하는 화소이다. 이벤트용 화소는 DVS라고 불리는 비주사형(비동기형)의 촬상 장치에서 이용된다. 따라서, 이하에서는 이벤트용 화소에 관해 DVS용 화소라고 기술하는 경우가 있다. 계조용 화소는 입사광의 광량에 응한 계조 레벨의 화소 신호를 출력한다.
[시스템 구성례]
도 1은 본 개시의 제1 실시 형태에 관한 촬상 장치의 시스템 구성의 개략을 도시하는 블록도이다.
도 1에 도시하는 바와 같이 제1 실시 형태에 관한 촬상 장치(10A)는 화소 어레이부(11), 액세스 제어부(12), DVS 판독부(13), 칼럼 신호 처리부(14), DVS용 신호 처리부(15), 계조용 신호 처리부(16), 타이밍 제어부(17), 타임 스탬프 생성부(18) 및 출력 인터페이스(I/F)(19A, 19B)를 갖는 구성으로 되어 있다.
화소 어레이부(11)에는 계조용 회로(20)와, 이벤트 화소 유닛인 DVS 유닛(30)이 혼재한 상태로 마련되어 있다. 계조용 회로(20)는 도 2의 A에 도시하는 바와 같이 계조용 화소(21) 및 계조용 화소(21)로부터 출력되는 화소 신호를 기억하는 계조용 메모리(22)로 구성되어 있다. DVS 유닛(30)은 도 2의 B에 도시하는 바와 같이 소정 수의 DVS용 화소(31), 예를 들면 4개의 DVS용 화소(31)를 단위로서 갖고 있다. DVS 유닛(30)은 4개의 DVS용 화소(31) 외에 4개의 DVS용 화소(31)로부터 출력되는 이벤트 검출 신호를 선택하는 셀렉터(32) 및 셀렉터(32)에서 선택된 이벤트 검출 신호를 처리하는 DVS용 AFE(아날로그 프론트 엔드)(35)를 갖고 있다.
액세스 제어부(12)는 계조용 화소(21)로부터 입사광의 광량에 응한 계조 레벨의 화소 신호를 판독할 때에 화소 어레이부(11)의 각 계조용 화소(21)에 대해 각종의 구동 신호를 출력한다. 액세스 제어부(12)는 또한 DVS용 화소(31)로부터 이벤트 검출 신호를 판독할 때에 화소 어레이부(11)의 각 DVS용 화소(31)에 대해 행 구동 신호를 출력한다.
DVS 판독부(13)는 액세스 제어부(12)에 의한 구동하에 화소 어레이부(11)의 각 DVS용 화소(31)로부터 이벤트 검출 신호를 판독하고 그 판독한 이벤트 검출 신호를 이벤트 데이터로서 DVS용 신호 처리부(15)에 공급한다.
칼럼 신호 처리부(14)는 예를 들면, 계조용 화소(21)의 화소열마다 마련된 화소열 수만큼의 아날로그-디지털 변환기를 가지고 액세스 제어부(12)에 의한 구동하에 화소 어레이부(11)의 각 계조용 화소(21)로부터 판독되는 아날로그의 화소 신호(계조용 휘도 신호)를 디지털의 화소 신호로 변환하여 계조용 신호 처리부(16)에 공급한다.
DVS용 신호 처리부(15)는 DVS 판독부(13)가 화소 어레이부(11)의 각 DVS용 화소(31)로부터 판독한 이벤트 검출 신호에 대해 후술하는 타임 스탬프의 부여 등의 신호 처리를 시행한 후 출력 인터페이스(I/F)(19A)를 통하여 촬상 장치(10A) 밖으로 이벤트 데이터로서 출력한다.
계조용 신호 처리부(16)는 칼럼 신호 처리부(14)로부터 출력되는 디지털의 화소 신호에 대해 CDS(Correlated Double Sampling: 상관 이중 샘플링) 처리나 후술하는 타임 스탬프의 부여 등의 신호 처리를 시행한 후 출력 인터페이스(I/F)(19B)를 통하여 촬상 장치(10A) 밖으로 계조 데이터로서 출력한다.
타이밍 제어부(17)는 각종의 타이밍 신호, 클록 신호 및 제어 신호 등을 생성하고 이들 생성한 신호를 기초로 DVS용 신호 처리부(15)나 계조용 신호 처리부(16) 등의 구동 제어를 행한다.
타임 스탬프 생성부(18)는 DVS 판독부(13)로부터 출력되는 이벤트 데이터 및 칼럼 신호 처리부(14)로부터 출력되는 화소 데이터에 대해 이벤트 데이터나 화소 데이터의 출력 타이밍의 상대적인 시각을 나타내는 타임 스탬프(시간 정보)를 생성한다. 이 생성된 타임 스탬프는 DVS용 신호 처리부(15)에서 이벤트 데이터에 계조용 신호 처리부(16)에서 화소 데이터에 부여된다.
계속해서, 계조용 화소(21) 및 DVS용 화소(31)의 구체적인 구성에 관해 한 구체례를 들어 설명한다.
(계조용 화소의 구성례)
도 3은 계조용 화소(21)의 구성의 한 구체례를 도시하는 회로도이다.
계조용 화소(21)는 광전 변환 소자로서 예를 들면, 포토 다이오드(211)를 갖고 있다. 계조용 화소(21)는 포토 다이오드(211) 외에 전송 트랜지스터(212), 리셋 트랜지스터(213), 증폭 트랜지스터(214) 및 선택 트랜지스터(215)를 갖는 구성으로 되어 있다.
여기서는 전송 트랜지스터(212), 리셋 트랜지스터(213), 증폭 트랜지스터(214) 및 선택 트랜지스터(215)의 4개의 트랜지스터로서는 예를 들면, N형의 MOS형 전계 효과 트랜지스터(Field Effect Transistor; FET)를 이용하고 있다. 단, 여기서 예시한 4개의 트랜지스터(212∼215)의 도전형의 조합은 한 예에 지나지 않고 이들의 조합으로 한정되는 것이 아니다.
이 계조용 화소(21)에 대해 복수의 화소 제어선이 동일 화소행의 각 계조용 화소(21)에 대해 공통으로 배선되어 있다. 이들 복수의 화소 제어선은 도 1에 도시하는 액세스 제어부(12)의 각 화소행에 대응한 출력단에 화소행 단위로 접속되어 있다. 액세스 제어부(12)는 계조용 화소(21)로부터 입사광의 광량에 응한 계조 레벨의 화소 신호를 판독할 때에 복수의 화소 제어선에 대해 각종의 구동 신호, 구체적으로는 전송 신호(TRG), 리셋 신호(RST) 및 선택 신호(SEL)를 적절히 출력한다.
포토 다이오드(211)는 애노드 전극이 저전위측 전원 (예를 들면, 그라운드)에 접속되어 있고 수광한 광을 그 광량에 응한 전하량의 광전하(여기서는 광전자)로 광전 변환하여 그 광전하를 축적한다. 포토 다이오드(211)의 캐소드 전극은 전송 트랜지스터(212)를 통하여 증폭 트랜지스터(214)의 게이트 전극과 전기적으로 접속되어 있다. 여기서, 증폭 트랜지스터(214)의 게이트 전극이 전기적으로 연결된 영역은 플로팅 디퓨전(부유 확산 영역/불순물 확산 영역)(FD)이다. 플로팅 디퓨전(FD)은 전하를 전압으로 변환하는 전하 전압 변환부이다.
전송 트랜지스터(212)의 게이트 전극에는 고레벨(예를 들면, VDD 레벨)이 액티브가 되는 전송 신호(TRG)가 액세스 제어부(12)로부터 주어진다. 전송 트랜지스터(212)는 전송 신호(TRG)에 응답하여 도통 상태가 됨으로써 포토 다이오드(211)에서 광전 변환되고 당해 포토 다이오드(211)에 축적된 광전하를 플로팅 디퓨전(FD)에 전송한다.
리셋 트랜지스터(213)는 고전위측 전원 전압(VDD)의 노드와 플로팅 디퓨전(FD) 사이에 접속되어 있다. 리셋 트랜지스터(213)의 게이트 전극에는 고레벨이 액티브가 되는 리셋 신호(RST)가 액세스 제어부(12)로부터 주어진다. 리셋 트랜지스터(213)는 리셋 신호(RST)에 응답하여 도통 상태가 되어, 플로팅 디퓨전(FD)의 전하를 전압(VDD)의 노드에 버림에 의해 플로팅 디퓨전(FD)을 리셋한다.
증폭 트랜지스터(214)는 게이트 전극이 플로팅 디퓨전(FD)에 드레인 전극이 고전위측 전원 전압(VDD)의 노드에 각각 접속되어 있다. 증폭 트랜지스터(214)는 포토 다이오드(211)에서의 광전 변환에 의해 얻어지는 신호를 판독하는 소스 팔로워의 입력부가 된다. 즉, 증폭 트랜지스터(214)는 소스 전극이 선택 트랜지스터(215)를 통하여 신호선(VSL)에 접속된다. 그리고 증폭 트랜지스터(214)와, 신호선(VSL)의 일단에 접속되는 부하 전류원(I)은 플로팅 디퓨전(FD)의 전압을 신호선(VSL)의 전위로 변환하는 소스 팔로워를 구성하고 있다.
선택 트랜지스터(215)는 드레인 전극이 증폭 트랜지스터(214)의 소스 전극에 접속되고 소스 전극이 신호선(VSL)에 접속되어 있다. 선택 트랜지스터(215)의 게이트 전극에는 고레벨이 액티브가 되는 선택 신호(SEL)가 액세스 제어부(12)로부터 주어진다. 선택 트랜지스터(215)는 선택 신호(SEL)에 응답하여 도통 상태가 됨으로써 계조용 화소(21)를 선택 상태로 하여 증폭 트랜지스터(214)로부터 출력되는 신호를 신호선(VSL)에 전달한다.
또한 상기한 회로례에서는 계조용 화소(21)의 회로 구성으로서 전송 트랜지스터(212), 리셋 트랜지스터(213), 증폭 트랜지스터(214) 및 선택 트랜지스터(215)로 이루어지는 즉 4개의 트랜지스터(Tr)로 이루어지는 4Tr 구성을 예로 들었지만 이것으로 한정되는 것이 아니다. 예를 들면, 선택 트랜지스터(215)를 생략하고 증폭 트랜지스터(214)에 선택 트랜지스터(215)의 기능을 갖게 하는 3Tr 구성으로 할 수도 있고 필요에 응하여 트랜지스터의 수를 늘린 5Tr 이상의 회로 구성으로 할 수도 있다.
(DVS용 화소의 구성례)
도 4는 DVS용 화소(31)의 구성의 한 구체례를 도시하는 회로도이다.
DVS 유닛(30)을 구성하는 복수(예를 들면, 4개)의 DVS용 화소(31)는 각각, 광전 변환부(311) 및 어드레스 이벤트 검출부(312)를 갖는 구성으로 되어 있다. 또한 DVS용 화소(31)의 주변 회로의 하나로서 아비터부(34)가 마련되어 있다. 아비터부(34)는 복수의 DVS용 화소(31)의 각각으로부터의 리퀘스트를 조정하고 조정 결과에 의거한 응답을 DVS용 화소(31)에 송신한다.
상기한 구성의 DVS용 화소(31)에서 광전 변환부(311)는 광전 변환 소자(수광 소자)(3111) 및 제어 트랜지스터(3112)를 갖는 구성으로 되어 있다. 제어 트랜지스터(3112)로서는 예를 들면, N형의 MOS(Metal Oxide Semiconductor) 트랜지스터를 이용할 수 있다.
광전 변환 소자(수광 소자)(3111)는 입사광을 광전 변환하여 입사광의 광량에 응한 전하량의 전하를 생성한다. 제어 트랜지스터(3112)의 게이트 전극에는 예를 들면 액세스 제어부(12)(도 1 참조)로부터 전송 신호(TRG)가 공급된다. 제어 트랜지스터(3112)는 전송 신호(TRG)에 응답하여 광전 변환 소자(3111)에서 광전 변환된 전하를 어드레스 이벤트 검출부(312)에 공급한다.
어드레스 이벤트 검출부(312)는 광전 변환부(3111)로부터의 광전류의 변화량이 소정의 임계치를 초과했는지의 여부에 의해 어드레스 이벤트(이하, 단지 「이벤트」라고 기술하는 경우가 있다)의 발생의 유무를 검출한다. 어드레스 이벤트는 예를 들면, 광전류의 변화량이 상한의 임계치를 초과한 취지를 나타내는 온 이벤트 및 광전류의 변화량이 하한의 임계치를 하회한 취지를 나타내는 오프 이벤트로 이루어진다. 또한 어드레스 이벤트의 검출 결과를 나타내는 이벤트 데이터(이벤트 검출 신호)는 예를 들면, 온 이벤트의 검출 결과를 나타내는 1비트 및 오프 이벤트의 검출 결과를 나타내는 1비트로 이루어진다.
어드레스 이벤트가 발생한 때에 어드레스 이벤트 검출부(312)는 이벤트 검출 신호의 송신을 요구하는 리퀘스트를 아비터부(34)에 공급한다. 그리고 어드레스 이벤트 검출부(312)는 리퀘스트에 대한 응답을 아비터부(34)로부터 수취하면 이벤트 검출 신호(이벤트 데이터)를 DVS 판독부(13)에 공급한다.
(어드레스 이벤트 검출부의 구성례)
도 5는 어드레스 이벤트 검출부(312)의 구성의 한 예를 도시하는 블록도이다. 도 5에 도시하는 바와 같이 본 구성례에 관한 어드레스 이벤트 검출부(312)는 전류 전압 변환부(3121), 버퍼(3122), 감산기(3123), 양자화기(3124) 및 전송부(3125)를 갖는 구성으로 되어 있다.
전류 전압 변환부(3121)는 DVS용 화소(31)의 광전 변환부(311)로부터의 광전류를 그 대수의 전압 신호로 변환한다. 전류 전압 변환부(3121)는 전류 전압 변환부(3121)에서 변환한 전압 신호를 버퍼(3122)에 공급한다. 버퍼(3122)는 전류 전압 변환부(3121)로부터 공급되는 전압 신호를 버퍼링하고 감산기(3123)에 공급한다.
감산기(3123)에는 액세스 제어부(12)(도 1 참조)로부터 행 구동 신호가 공급된다. 감산기(3123)는 행 구동 신호에 따라 버퍼(3122)로부터 공급되는 전압 신호의 레벨을 저하시킨다. 그리고 감산기(3123)는 레벨 저하 후의 전압 신호를 양자화기(3124)에 공급한다. 양자화기(3124)는 감산기(3123)로부터 공급되는 전압 신호를 디지털 신호로 양자화하여 이벤트 검출 신호(이벤트 데이터)로서 전송부(3125)에 출력한다.
전송부(3125)는 양자화기(3124)로부터 공급되는 이벤트 검출 신호(이벤트 데이터)를 아비터부(34) 등에 전송한다. 이 전송부(3125)는 어드레스 이벤트의 발생이 검출된 때에 이벤트 검출 신호의 송신을 요구하는 리퀘스트를 아비터부(34)에 공급한다. 그리고 전송부(3125)는 리퀘스트에 대한 응답을 아비터부(34)로부터 수취하면 이벤트 검출 신호(이벤트 데이터)를 DVS 판독부(13)에 공급한다. DVS용 화소(31)로부터의 이벤트 데이터의 판독에 관해서는 복수행 판독으로 하는 것도 가능하다.
[적층 칩 구조]
도 1에서는 제1 실시 형태에 관한 촬상 장치(10A)의 시스템 구성에 관해 편의상, 화소 어레이부(11), 액세스 제어부(12), DVS 판독부(13), 칼럼 신호 처리부(14), DVS용 신호 처리부(15), 계조용 신호 처리부(16), 타이밍 제어부(17) 및 타임 스탬프 생성부(18) 등이 평면적으로 배치된 이른바 평치 구조로서 도시하고 있다. 단, 제1 실시 형태에 관한 촬상 장치(10A)는 1층째의 반도체 칩 및 2층째의 반도체 칩의 적어도 2개의 반도체 칩이 적층되어 이루어지는 적층 칩 구조를 갖고 있다. 이하에 적층 칩 구조의 구체례에 관해 설명한다.
(구체례 1)
구체례 1은 적층 칩 구조가 2층 구조인 예이다. 구체례 1에 관한 적층 칩 구조의 개략도를 도 6에 도시한다.
도 6에 도시하는 바와 같이 구체례 1에 관한 적층 칩 구조는 1층째의 반도체 칩(41) 및 2층째의 반도체 칩(42)이 적층된 2층 구조로 되어 있다. 그리고 1층째의 반도체 칩(41)에는 계조용 화소(21) 및 DVS용 화소(31)가 혼재하는 화소 어레이부(11)가 마련되어 있다. 즉, 1층째의 반도체 칩(41)은 계조용 화소(21) 및 DVS용 화소(31)가 마련된 화소 칩이다.
2층째의 반도체 칩(42)에는 1층째의 반도체 칩(41)의 화소 어레이부(11)에 대응하여 화소 AFE(아날로그 프론트 엔드) 영역(44)이 마련되어 있다. 그리고 화소 AFE 영역(44)에는 계조용 메모리(22)(도 2의 A 참조)를 포함하는 계조용 화소(21)용의 아날로그 프론트 엔드부 및 DVS용 AFE(35)(도 2의 B 참조)를 포함하는 DVS용 화소(31)용의 아날로그 프론트 엔드부가 계조용 화소(21) 및 DVS용 화소(31)에 대응하여 마련되어 있다. 즉, 2층째의 반도체 칩(42)은 화소 AFE 영역(44)이 마련되는 화소 AFE 칩이다.
2층째의 반도체 칩(42)에는 또한 화소 AFE 영역(44)의 주변 영역에 액세스 제어부(12), DVS 판독부(13), 칼럼 신호 처리부(14), DVS용 신호 처리부(15), 계조용 신호 처리부(16), 타이밍 제어부(17) 및 타임 스탬프 생성부(18) 등이 마련되어 있다. 또한 1층째의 반도체 칩(41)의 계조용 화소(21) 및 DVS용 화소(31)와, 2층째의 반도체 칩(42)의 각 아날로그 프론트 엔드부는 Cu-Cu 접합을 포함하는 금속-금속 접합, 실리콘 관통 전극(Through Silicon Via: TSV), 마이크로 범프 등으로 이루어지는 접합부(45A, 45B)를 통하여 전기적으로 접속된다.
여기서, 상칩인 1층째의 반도체 칩(41)의 계조용 화소(21) 및 DVS용 화소(31)와, 하칩인 2층째의 반도체 칩(42)의 계조용 화소(21)용의 아날로그 프론트 엔드부(25) 및 DVS용 화소(31)용의 아날로그 프론트 엔드부(35)와의 대응 관계에 관해 설명한다.
도 7의 A는 1층째의 반도체 칩(41)의 계조용 화소(21) 및 DVS용 화소(31)와, 2층째의 반도체 칩(42)의 각 아날로그 프론트 엔드부(25, 35)와의 대응 관계 1을 도시하는 도면이다. 도 7의 A에 도시하는 대응 관계 1에서는 1층째의 반도체 칩(41)에서 예를 들면 4개의 DVS용 화소(31)를 단위로 하여 DVS 유닛(30)을 구성하고 있다. 그리고 DVS용 화소(31)에 관해 DVS 유닛(30)의 단위로 DVS용 화소(31)용의 아날로그 프론트 엔드부(35)와 대응시켜져 있다. 또한 계조용 화소(21)에 관해 계조용 화소(21)용의 아날로그 프론트 엔드부(25)와 1대 1로 대응시켜져 있다.
도 7의 B는 1층째의 반도체 칩(41)의 계조용 화소(21) 및 DVS용 화소(31)와, 2층째의 반도체 칩(42)의 각 아날로그 프론트 엔드부(25, 35)와의 대응 관계 2를 도시하는 도면이다. 도 7의 B에 도시하는 대응 관계 2에서는 1층째의 반도체 칩(41)에서 예를 들면 4개의 DVS용 화소(31)로 DVS 유닛(30)을 구성하고 이것에 대응하여 계조용 화소(21)에 대해서도 4개의 화소를 단위로 하여 계조 화소 유닛(24)을 구성하고 있다. 그리고 1층째의 반도체 칩(41)과 2층째의 반도체 칩(42)의 사이에서는 계조 화소 유닛(24) 및 DVS 유닛(30)과, 각 아날로그 프론트 엔드부(25, 35)를 유닛 단위로 1대 1로 대응시켜져 있다.
도 8에 계조용 화소(21) 및 DVS용 화소(31)의 화소 어레이의 이미지도를 도시한다. 여기서는 상칩인 1층째의 반도체 칩(41)의 계조용 화소(21)에 관해 R(적색)/G(녹색)/B(청색)의 베이어 배열을 예시하고 있다. 도 8에 도시하는 이미지도의 예에서는 R/Gr/Gb/B의 베이어 배열의 화소 어레이 중에 부분적으로 DVS용 화소(31)가 배치된 구성으로 되어 있다. 도 8로부터 분명한 바와 같이 계조용 화소(21)의 수는 이벤트용 화소인 DVS용 화소(31)의 수보다도 많은 구성으로 되어 있다. 이와 같이 DVS용 화소(31)에 비해 계조용 화소(21)의 수를 많이 배치함으로써 계조 데이터의 화질의 향상을 도모할 수 있다.
하칩인 2층째의 반도체 칩(42)에서는 DVS용 화소(31)용의 아날로그 프론트 엔드부(35)에 관해서는 세로 2×가로 2의 4개의 DVS용 화소(31)에서 공유하고 계조용 화소(21)용의 아날로그 프론트 엔드부(25)에 관해서는 화소 단위로 상칩의 계조용 화소(21)와 전기적으로 접속되어, 전압 도메인의 글로벌 셔터를 실현한다.
(구체례 2)
구체례 2는 적층 칩 구조가 3층 구조인 예이다. 구체례 2에 관한 적층 칩 구조의 개략도를 도 9에 도시한다.
도 9에 도시하는 바와 같이 구체례 2에 관한 적층 칩 구조는 1층째의 반도체 칩(41), 2층째의 반도체 칩(42) 및 3층째의 반도체 칩(43)이 적층된 3층 구조로 되어 있다. 그리고 1층째의 반도체 칩(41)에는 계조용 화소(21) 및 DVS용 화소(31)가 혼재하는 화소 어레이부(11)가 마련되어 있다. 즉, 1층째의 반도체 칩(41)은 계조용 화소(21) 및 DVS용 화소(31)가 마련된 화소 칩이다.
2층째의 반도체 칩(42)에는 1층째의 반도체 칩(41)의 화소 어레이부(11)에 대응하여 화소 AFE(아날로그 프론트 엔드) 영역(44)이 마련되어 있다. 그리고 화소 AFE 영역(44)에는 계조용 메모리(22)(도 2의 A 참조)를 포함하는 계조용 화소(21)용의 아날로그 프론트 엔드부 및 DVS용 AFE(35)(도 2의 B 참조)를 포함하는 DVS용 화소(31)용의 아날로그 프론트 엔드부가 계조용 화소(21) 및 DVS용 화소(31)에 대응하여 마련되어 있다. 즉, 2층째의 반도체 칩(42)은 화소 AFE 영역(44)이 마련되는 화소 AFE 칩이다.
3층째의 반도체 칩(43)에는 액세스 제어부(12), DVS 판독부(13), 칼럼 신호 처리부(14), DVS용 신호 처리부(15), 계조용 신호 처리부(16), 타이밍 제어부(17) 및 타임 스탬프 생성부(18) 등이 마련되어 있다. 또한 1층째의 반도체 칩(41)과 2층째의 반도체 칩(42)은 Cu-Cu 접합을 포함하는 금속-금속 접합, TSV, 마이크로 범프 등으로 이루어지는 접합부(45A, 45B)를 통하여 전기적으로 접속되고 2층째의 반도체 칩(42)과 3층째의 반도체 칩(43)은 Cu-Cu 접합을 포함하는 금속-금속 접합, TSV, 마이크로 범프 등으로 이루어지는 접합부(45B, 45C)를 통하여 전기적으로 접속된다.
상기한 구체례에서는 적층 칩 구조로서 2층 구조 및 3층 구조를 예시했지만 2층 구조 및 3층 구조로 한정되는 것이 아니고 4층 이상의 적층 칩 구조로 하는 것도 가능하다.
[화소 어레이부의 구성례]
계속해서, 제1 실시 형태에 관한 촬상 장치(10A)에서의 계조용 화소(21) 및 DVS용 화소(31)가 혼재하는 화소 어레이부(11)의 구성례에 관해 설명한다.
(구성례 1)
화소 어레이부(11)의 구성례 1은 계조용 화소(21)와 DVS용 화소(31)로 구성되는 유닛을 화소 어레이부(11) 내에서 소정의 규칙에 따라 나열하여 배치하는 예이다. 구성례 1에 관한 화소 배치를 도 10의 A에 도시한다.
구성례 1에 관한 화소 배치는 예를 들면, 4개의 화소(R/Gr/Gb/B)를 단위로 하는 12개의 계조용 화소(21) 및 4개의 DVS용 화소(31)를 단위로 하는 DVS 유닛(30)이 정방형으로 나란히 배치되어 이루어지는 화소 유닛(X)을 행렬형상으로 2차원 배치한 구성으로 되어 있다. 구성례 1에 관한 화소 배치에 의하면 유닛 단위로 계조 데이터와 이벤트 데이터를 연관시킬 수 있다.
(구성례 2)
구성례 2는 DVS용 화소(31)를 포함하는 유닛을 화소행의 단위로 나열하여 배치하는 예이다. 구성례 2에 관한 화소 배치를 도 10의 B에 도시한다.
구성례 2에 관한 화소 배치는 예를 들면, 4개의 화소(R/Gr/Gb/B)를 단위로 하는 12개의 계조용 화소(21) 및 4개의 DVS용 화소(31)를 단위로 하는 DVS 유닛(30)이 정방형으로 나란히 배치되어 이루어지는 화소 유닛(X)을 화소행의 단위로 나열하여 배치한 구성으로 되어 있다. 구성례 2에 관한 화소 배치에 의하면 계조용 화소(21)의 액세스시에 DVS용 화소(31)가 존재하지 않는(즉, 결함이 없는) 화소행을 선택할 수 있다.
(구성례 3)
구성례 3은 DVS용 화소(31)를 포함하는 유닛을 화소열의 단위로 나열하여 배치하는 예이다. 구성례 3에 관한 화소 배치를 도 11의 A에 도시한다.
구성례 3에 관한 화소 배치는 예를 들면, 4개의 화소(R/Gr/Gb/B)를 단위로 하는 12개의 계조용 화소(21) 및 4개의 DVS용 화소(31)를 단위로 하는 DVS 유닛(30)이 정방형으로 나란히 배치되어 이루어지는 화소 유닛(X)을 화소열의 단위로 나열하여 배치한 구성으로 되어 있다. 구성례 3에 관한 화소 배치에 의하면 구성례 2에 관한 화소 배치인 경우에 비해 화소행에 포함되는 이벤트 데이터량을 정돈할 수 있기 때문에 안정된 화질의 계조 데이터(R/G/B의 데이터)를 취득할 수 있다. 이 점에 관해서는 구성례 1에 관한 화소 배치인 경우도 마찬가지이다.
(구성례 4)
구성례 4는 DVS 유닛(30)을 불규칙하게 나열하여 배치하는 예이다. 구성례 4에 관한 화소 배치를 도 11의 B에 도시한다.
구성례 4에 관한 화소 배치는 예를 들면, 4개의 DVS용 화소(31)를 단위로 하는 DVS 유닛(30)을 랜덤하게 예를 들면, 4개의 DVS용 화소(31)를 정방형으로 나열하여 배치, 또는 행방향/열방향으로 나열하여 배치한 구성으로 되어 있다. 구성례 4에 관한 화소 배치에 의하면 압축 센싱과 마찬가지로 고해상의 데이터를 복원할 수 있다.
[DVS 유닛의 배치례]
계속해서, 제1 실시 형태에 관한 촬상 장치(10A)에서의 DVS 유닛(30)의 구성례에 관해 설명한다. 여기서는 예를 들면 4개의 DVS용 화소(31)를 단위로 하여 DVS 유닛(30)을 구성할 때 DVS 유닛(30)의 배치 및 적층 칩 구조에서의 DVS 유닛(30)과 DVS용 AFE(아날로그 프론트 엔드)(35)와의 접속 관계에 관해 설명한다. DVS용 화소(31)는 DVS 유닛(30) 내에서 소정의 규칙에 따라 나란히 배치된다.
(배치례 1)
배치례 1은 DVS 유닛(30)이 정방형으로 나란히 배치된 4개의 DVS용 화소(31)로 이루어지는 예이다. 배치례 1에 관한 DVS 유닛(30)의 배치 및 DVS용 AFE(35)와의 접속 관계를 도 12의 A에 도시한다. DVS 유닛(30)의 배치례 1에서는 정방형으로 나란히 배치된 4개의 DVS용 화소(31)에 대해 DVS용 화소(31)의 4개분의 사각형 영역의 크기의 하나의 DVS용 AFE(35)를 대응시켜서 전기적으로 접속하도록 하고 있다.
(배치례 2)
배치례 2는 DVS 유닛(30)이 행방향으로 나란히 배치된 4개의 DVS용 화소(31)로 이루어지는 예이다. 배치례 2에 관한 DVS 유닛의 배치 및 DVS용 AFE(35)와의 접속 관계를 도 12의 B에 도시한다. DVS 유닛(30)의 배치례 2에서는 행방향으로 나란히 가로로 길다란 장방형상으로 배치된 4개의 DVS용 화소(31)에 대해 DVS용 화소(31)의 4개분의 가로로 길다란 장방형의 영역의 크기의 하나의 DVS용 AFE(35)를 대응시켜서 전기적으로 접속하도록 하고 있다.
(배치례 3)
배치례 3은 DVS 유닛(30)이 열방향으로 나란히 배치된 4개의 DVS용 화소(31)로 이루어지는 예이다. 배치례 3에 관한 DVS 유닛의 배치 및 DVS용 AFE(35)와의 접속 관계를 도 13의 A에 도시한다. DVS 유닛(30)의 배치례 3에서는 열방향으로 나란히 세로로 길다란 장방형상으로 배치된 4개의 DVS용 화소(31)에 대해 DVS용 화소(31)의 4개분의 세로로 길다란 장방형의 영역의 크기의 하나의 DVS용 AFE(35)를 대응시켜서 전기적으로 접속하도록 하고 있다.
(배치례 4)
배치례 4는 DVS 유닛(30)의 사이즈가 계조용 화소(21)의 사이즈보다도 큰 예이다. 배치례 4에 관한 DVS 유닛의 배치 및 DVS용 AFE(35)와의 접속 관계를 도 13의 B에 도시한다. DVS 유닛(30)의 배치례 4에서는 DVS 유닛(30)의 사이즈를 계조용 화소(21)의 사이즈보다도 큰, 예를 들면, 정방형으로 나란히 배치된 DVS용 화소(31)의 4개분의 크기의 사이즈로서 구성하고 있다. 그리고 DVS 유닛(30)에 대해 당해 DVS 유닛(30)과 같은 크기의 하나의 DVS용 AFE(35)를 대응시켜서 전기적으로 접속하도록 하고 있다.
[계조용 화소인 경우의 적층 칩 구조의 구성례]
계속해서, 계조용 화소(21)인 경우의 적층 칩 구조의 구성례에 관해 설명한다.
(적층 칩 구조의 구성례 1)
적층 칩 구조의 구성례 1은 글로벌 셔터 기능의 구성례이다. 구성례 1에 관한 적층 칩 구조의 개략을 도 14의 A에 도시한다. 구성례 1에 관한 적층 칩 구조에서는 상칩인 1층째의 반도체 칩(41)에는 포토 다이오드(211), 전송 트랜지스터(212) 및 버퍼(216)가 화소마다 행렬형상으로 2차원 배치된다. 또한 하칩인 2층째의 반도체 칩(42)에는 신호 성분(이른바 D상 데이터) 및 리셋 성분(이른바 P상 데이터)을 처리하는 데이터 처리부(217) 등이 화소에 대응하여 탑재된다.
(적층 칩 구조의 구성례 2)
적층 칩 구조의 구성례 2는 판독 기능의 구성례이다. 구성례 2에 관한 적층 칩 구조의 개략을 도 14에 도시한다. 구성례 2에 관한 적층 칩 구조에서는 상칩인 1층째의 반도체 칩(41)에는 포토 다이오드(211) 및 전송 트랜지스터(212)가 화소마다 행렬형상으로 2차원 배치된다. 또한 하칩인 2층째의 반도체 칩(42)에는 리셋 트랜지스터(213), 증폭 트랜지스터(214) 및 선택 트랜지스터(215) 등이 화소에 대응하여 탑재된다.
(적층 칩 구조의 구성례 3)
적층 칩 구조의 구성례 3은 에어리어 AD의 구성례이다. 구성례 3에 관한 적층 칩 구조의 개략을 도 15에 도시한다. 구성례 3에 관한 적층 칩 구조에서는 상칩인 1층째의 반도체 칩(41)에는 예를 들면 도 3에 도시하는 회로 구성의 계조용 화소(21)가 행렬형상으로 2차원 배치된다. 또한 하칩인 2층째의 반도체 칩(42)에는 2차원 배치의 계조용 화소(21)에 대응하여 아날로그-디지털 변환기(ADC)(141)가 탑재된다. 이 구성이 에어리어 AD의 구성례이다.
[제1 실시 형태의 작용, 효과]
이상 설명한 바와 같이 제1 실시 형태에 관한 촬상 장치(10A)는 화소 어레이부(11)에 계조용 화소(21)와, 이벤트용 화소인 DVS용 화소(31)를 혼재시킨 구성으로 되어 있다. 따라서, 제1 실시 형태에 관한 촬상 장치(10A)에 의하면 이벤트의 발생을 나타내는 이벤트 검출 신호(이벤트 데이터)뿐만 아니라 입사광의 광량에 응한 계조 레벨의 화소 신호(계조 데이터)를 출력할 수 있다. 이에 의해 한 예로서 DVS용 화소(31)에서 피사체의 움직임을 검출하고 이벤트 데이터를 이용하여 보정을 행함으로써 어두운 환경하에서도 모션 블러가 없고 또한 계조용 화소(21)를 이용하여 S/N에 우수한 계조 데이터를 취득하는 등 촬상을 실현할 수 있다.
<제2 실시 형태에 관한 촬상 장치>
본 개시의 제2 실시 형태에 관한 촬상 장치는 1층째의 반도체 칩 및 2층째의 반도체 칩의 적어도 2개의 반도체 칩이 적층되어 이루어지는 적층 칩 구조를 가지고 1층째의 반도체 칩에 마련되는 화소 어레이부에 이벤트용 화소와 거리측정용 화소를 혼재시킨 구성으로 되어 있다.
여기서, 거리측정용 화소는 광원부로부터의 조사광에 의거한 거리측정 대상물로부터의 반사광을 수광하고 광자의 수광에 응하여 신호를 발생하는 수광 소자(광검출 소자)를 포함하는 화소이다. 광자의 수광에 응하여 신호를 발생하는 수광 소자로서는 예를 들면, SPAD(Single Photon Avalanche Diode: 단일 광자 애벌란시 다이오드) 소자를 예시할 수 있다. SPAD 소자는 브레이크다운 전압(항복 전압)을 초과한 역전압으로 소자를 동작시키는 DC적인 안정점이 없는 가이거 모드(Geiger mode)라고 불리는 영역에서 동작한다.
또한 여기서는 화소의 수광 소자로서 SPAD 소자를 예시했지만 SPAD 소자로 한정되는 것이 아니다. 즉, 수광 소자로서는 SPAD 소자 외에 APD(애벌란시 포토 다이오드)나 SiPM(실리콘 포토 멀티 플라이어) 등 가이거 모드로 동작하는 여러가지의 소자를 이용할 수 있다.
[시스템 구성례]
도 16은 본 개시의 제2 실시 형태에 관한 촬상 장치의 시스템 구성의 개략을 도시하는 블록도이다.
제2 실시 형태에 관한 촬상 장치(10B)는 화소 어레이부(11), 액세스 제어부(12), DVS 판독부(13), DVS용 신호 처리부(15), 타이밍 제어부(17), 타임 스탬프 생성부(18) 및 출력 인터페이스(I/F)(19A) 외에 시간 계측부(Time-to-Digital Converter: TDC)(61), 거리측정용 신호 처리부(62) 및 출력 인터페이스(19C)를 갖는 구성으로 되어 있다.
화소 어레이부(11)에는 DVS 유닛(30)과 거리측정용 화소(50)가 혼재한 상태로 마련되어 있다. DVS 유닛(30)으로서는 이벤트용 화소인 DVS용 화소(31)를 포함하는 제1 실시 형태에서 예시한 구성의 것(도 2의 B 참조)을 이용할 수 있다.
거리측정용 화소(50)의 기본적인 화소 회로의 구성의 한 예를 도 17에 도시한다. 여기서는 1화소분의 기본 구성을 도시하고 있다. 거리측정용 화소(50)는 예를 들면, 수광 소자로서의 SPAD 소자(51), ??치 회로(52) 및 판독 회로(53)를 갖는 구성으로 되어 있다.
SPAD 소자(51)는 캐소드 전극이 제1 전원에 접속되고 애노드 전극이 ??치 회로(52)를 통하여 제2 전원에 접속되어 있다. SPAD 소자(51)의 캐소드 전극에는 제1 전원으로부터 애벌란시 증배가 발생하는 큰 전압 즉, 브레이크다운 전압 이상의 전압이 인가된다.
??치 회로(52)는 SPAD 소자(51)의 단자간 전압, 즉, 캐소드 전극과 애노드 전극 사이의 전압을 PN 다이오드의 브레이크다운 전압보다도 내림으로써 애벌란시 증배를 정지시킨다. 이 동작이 이른바 ??치 동작이다.
판독 회로(53)는 예를 들면, P형 MOS 트랜지스터(Qp) 및 N형 MOS 트랜지스터(Qn)로 이루어지는 CMOS 인버터 회로에 의해 구성되어 있고 SPAD 소자(51)의 반응 에지를 검출한다. 판독 회로(53)의 검출 출력은 SPAD 출력(화소 출력)으로서 도 16에 도시하는 시간 계측부(TDC)(61)에 공급된다.
상기한 구성의 제2 실시 형태에 관한 촬상 장치(10B)에서는 DVS용 화소(31)를 구비하고 이벤트 정보를 취득 가능한 구성에 더하여 광자의 수광에 응하여 신호를 발생하는 SPAD 소자(51)를 포함하는 거리측정용 화소(50)를 구비하고 측정 대상물(피사체)까지의 거리의 측정이 가능한 구성으로 되어 있다.
거리측정 대상물까지의 거리를 측정하는 측정법으로서 예를 들면, 거리측정 대상물을 향하여 광원부로부터 조사한 광이 당해 거리측정 대상물에서 반사되어 돌아올 때까지의 시간을 계측하는 ToF(Time of Flight: 비행 시간)법을 채용할 수 있다. ToF법을 채용하기 위해 제2 실시 형태에 관한 촬상 장치(10B)의 외부 장치로서 거리측정 대상물을 향하여 광을 조사하기 위한 광원부(70)가 마련되어 있다. 제2 실시 형태에 관한 촬상 장치(10B)와 광원부(70)와의 조합에 의해 거리측정 장치(시스템)를 구성할 수 있다.
광원부(70)는 예를 들면 반도체 레이저로 이루어지고 레이저 구동부(도시 생략)에 의해 구동됨에 의해 측정 대상물(피사체)을 향하여 레이저광을 조사한다. 광원부(70)로부터의 조사 레이저광은 측정 대상물(피사체)에서 반사되고 그 반사광은 SPAD 소자(51)를 포함하는 거리측정용 화소(50)에 입사한다.
도 16으로 설명을 되돌린다. 시간 계측부(TDC)(61)는 거리측정용 화소(50)로부터 출력되는 SPAD 출력에 의거하여 측정 대상물을 향하여 조사한 레이저광이 당해 측정 대상물에서 반사되어 돌아올 때까지의 시간을 계측한다. 시간 계측은 복수회 실행되고 복수회 계측된 시간을 쌓아올린 ToF 히스토그램의 피크의 위치를 검출함에 의해 시간을 계측한다.
시간 계측의 방법으로서는 광원부(70)로부터 측정 대상물을 향하여 레이저광을 조사한 타이밍으로부터 거리측정용 화소(50)가 측정 대상물로부터의 반사광을 수광한 타이밍까지의 시간을 계측하는 방법을 예시할 수 있다. 시간 계측의 그 밖의 방법으로서 광원부(70)로부터 소정의 주기로 펄스광을 조사하고 거리측정용 화소(50)가 당해 펄스광을 수광한 때의 주기를 검출하고 발광의 주기와 수광의 주기와의 위상차로부터 시간을 계측하는 방법을 예시할 수 있다.
시간 계측부(61)의 계측 결과는 거리측정용 신호 처리부(62)에 공급된다. 거리측정용 신호 처리부(62)는 시간 계측부(61)의 계측 결과에 대해 소정의 신호 처리를 시행한 후 출력 인터페이스(19C)를 통하여 거리측정 데이터로서 출력한다.
[적층 칩 구조]
도 16에서는 제2 실시 형태에 관한 촬상 장치(10B)의 시스템 구성에 관해 편의상, 화소 어레이부(11), 액세스 제어부(12), DVS 판독부(13), 시간 계측부(61), DVS용 신호 처리부(15), 거리측정용 신호 처리부(62), 타이밍 제어부(17) 및 타임 스탬프 생성부(18) 등이 평면적으로 배치된 평치 구조로서 도시하고 있다. 단, 제2 실시 형태에 관한 촬상 장치(10B)는 제1 실시 형태에 관한 촬상 장치(10A)와 마찬가지로 1층째의 반도체 칩 및 2층째의 반도체 칩의 적어도 2개의 반도체 칩이 적층되어 이루어지는 적층 칩 구조를 갖고 있다.
이하에 적층 칩 구조의 구체례에 관해 설명한다. 이하에서는 2층 구조를 예로 들어 설명하지만 적층 칩 구조로서는 2층 구조로 한정되는 것이 아니고 제1 실시 형태에 관한 촬상 장치(10A)인 경우와 마찬가지로 3층 이상의 적층 칩 구조로 하는 것도 가능하다.
(구체례 1)
구체례 1은 상칩인 1층째의 반도체 칩(41)에 SPAD 소자(51)를 탑재하고 하칩인 2층째의 반도체 칩(42)에 ??치 회로(52)를 탑재하는 예이다. 구체례 1에 관한 적층 칩 구조의 개략도를 도 18의 A에 도시한다.
도 18의 A에 도시하는 바와 같이 구체례 1에 관한 적층 칩 구조에서는 상칩인 1층째의 반도체 칩(41)상에 어레이형상으로 배치되어 이루어지는 SPAD 소자(51)에 대해 하칩인 2층째의 반도체 칩(42)상에는 SPAD 소자(51)의 ??치 동작을 제어하는 ??치 회로(52) 및 판독 회로(53)가 1대1의 대응 관계를 갖고 탑재된 구성으로 되어 있다.
(구체례 2)
구체례 2는 상칩인 1층째의 반도체 칩(41)상의 복수의 SPAD 소자(51)를 단위로 하여 하칩인 2층째의 반도체 칩(42)에 ??치 회로(52) 및 시간 계측부(TDC)(61)를 탑재하는 예이다. 구체례 2에 관한 적층 칩 구조의 개략도를 도 18의 B에 도시한다.
도 18의 B에 도시하는 바와 같이 구체례 2에 관한 적층 칩 구조에서는 상칩인 1층째의 반도체 칩(41)상에 어레이형상으로 배치되어 이루어지는 복수의 SPAD 소자(51)를 단위로 하여 하칩인 2층째의 반도체 칩(42)상에는 ??치 회로(52), 판독 회로(53) 및 시간 계측부(TDC)(61)가 1대1의 대응 관계를 갖고 탑재된 구성으로 되어 있다.
[화소 어레이부의 구성례]
계속해서, 제2 실시 형태에 관한 촬상 장치(10B)에서의 DVS용 화소(31) 및 거리측정용 화소(50)가 혼재하는 화소 어레이부(11)의 구성례에 관해 설명한다.
(구성례 1)
화소 어레이부(11)의 구성례 1은 DVS용 화소(31)와 SPAD 소자(51)로 구성되는 유닛을 행렬형상으로 배치하는 예이다. 구성례 1에 관한 화소 배치를 도 19의 A에 도시한다.
구성례 1에 관한 화소 배치는 예를 들면, 4개의 DVS용 화소(31) 및 12개의 SPAD 소자(51)를 단위로 하는 DVS 유닛(30)이 정방형으로 나란히 배치되어 이루어지는 화소 유닛(X)을 행렬형상으로 2차원 배치한 구성으로 되어 있다. 구성례 1에 관한 화소 배치에 의하면 유닛 단위로 거리측정 데이터와 이벤트 데이터를 연관시킬 수 있다.
(구성례 2)
구성례 2는 DVS용 화소(31)를 포함하는 유닛을 화소행의 단위로 나열하여 배치하는 예이다. 구성례 2에 관한 화소 배치를 도 19의 B에 도시한다.
구성례 2에 관한 화소 배치는 예를 들면, 4개의 DVS용 화소(31) 및 12개의 SPAD 소자(51)를 단위로 하는 DVS 유닛(30)이 정방형으로 나열하여 배치되어 이루어지는 화소 유닛(X)을 화소행의 단위로 나열하여 배치한 구성으로 되어 있다. 구성례 2에 관한 화소 배치에 의하면 SPAD 소자(51)의 액세스시에 DVS용 화소(31)가 존재하지 않는(즉, 결함이 없는) 화소행을 선택할 수 있다.
(구성례 3)
구성례 3은 DVS용 화소(31)를 포함하는 유닛을 화소열의 단위로 나열하여 배치하는 예이다. 구성례 3에 관한 화소 배치를 도 20의 A에 도시한다.
구성례 3에 관한 화소 배치는 예를 들면, 4개의 DVS용 화소(31) 및 12개의 SPAD 소자(51)를 단위로 하는 DVS 유닛(30)이 정방형으로 나열하여 배치되어 이루어지는 화소 유닛(X)을 화소열의 단위로 나열하여 배치한 구성으로 되어 있다. 구성례 3에 관한 화소 배치에 의하면 구성례 2에 관한 화소 배치인 경우에 비해 화소행에 포함된 이벤트 데이터량을 정돈할 수 있기 때문에 안정된 화질의 계조 데이터(R/G/B의 데이터)를 취득할 수 있다. 이 점에 관해서는 구성례 1에 관한 화소 배치인 경우도 마찬가지이다.
(구성례 4)
구성례 4는 DVS 유닛(30)을 랜덤하게 배치하는 예이다. 구성례 4에 관한 화소 배치를 도 20의 B에 도시한다.
구성례 4에 관한 화소 배치는 예를 들면, 4개의 DVS용 화소(31)를 단위로 하는 DVS 유닛(30)을 랜덤하게 예를 들면, 4개의 DVS용 화소(31)를 정방형으로 나열하여 배치, 또는 행방향/열방향으로 나열하여 배치한 구성으로 되어 있다. 구성례 4에 관한 화소 배치에 의하면 압축 센싱과 마찬가지로 고해상의 데이터를 복원할 수 있다.
[DVS 유닛의 배치례]
계속해서, 제2 실시 형태에 관한 촬상 장치(10B)에서의 DVS 유닛(30)의 구성례에 관해 설명한다. 여기서는 예를 들면 4개의 DVS용 화소(31)를 단위로 하여 DVS 유닛(30)을 구성할 때 DVS 유닛(30)의 배치 및 적층 칩 구조에서의 DVS 유닛(30)과 DVS용 AFE(아날로그 프론트 엔드)(35)와의 접속 관계에 관해 설명한다.
(배치례 1)
배치례 1은 DVS 유닛(30)이 정방형으로 나란히 배치된 4개의 DVS용 화소(31)로 이루어지는 예이다. 배치례 1에 관한 DVS 유닛(30)의 배치 및 DVS용 AFE(35)와의 접속 관계를 도 21의 A에 도시한다. DVS 유닛(30)의 배치례 1에서는 정방형으로 나란히 배치된 4개의 DVS용 화소(31)에 대해 DVS용 화소(31)의 4개분의 사각형 영역의 크기의 하나의 DVS용 AFE(35)를 대응시켜서 전기적으로 접속하도록 하고 있다.
(배치례 2)
배치례 2는 DVS 유닛(30)이 행방향으로 나란히 배치된 4개의 DVS용 화소(31)로 이루어지는 예이다. 배치례 2에 관한 DVS 유닛의 배치 및 DVS용 AFE(35)와의 접속 관계를 도 21의 B에 도시한다. DVS 유닛(30)의 배치례 2에서는 행방향으로 나란히 가로로 길다란 장방형상으로 배치된 4개의 DVS용 화소(31)에 대해 DVS용 화소(31)의 4개분의 가로로 길다란 장방형의 영역의 크기의 하나의 DVS용 AFE(35)를 대응시켜서 전기적으로 접속하도록 하고 있다.
(배치례 3)
배치례 3은 DVS 유닛(30)이 열방향으로 나란히 배치된 4개의 DVS용 화소(31)로 이루어지는 예이다. 배치례 3에 관한 DVS 유닛의 배치 및 DVS용 AFE(35)와의 접속 관계를 도 22의 A에 도시한다. DVS 유닛(30)의 배치례 3에서는 열방향으로 나란히 세로로 길다란 장방형상으로 배치된 4개의 DVS용 화소(31)에 대해 DVS용 화소(31)의 4개분의 세로로 길다란 장방형의 영역의 크기의 하나의 DVS용 AFE(35)를 대응시켜서 전기적으로 접속하도록 하고 있다.
(배치례 4)
배치례 4는 DVS 유닛(30)의 사이즈가 SPAD 소자(51)를 포함하는 거리측정용 화소(50)의 사이즈보다도 큰 예이다. 배치례 4에 관한 DVS 유닛의 배치 및 DVS용 AFE(35)와의 접속 관계를 도 22의 B에 도시한다. DVS 유닛(30)의 배치례 4에서는 DVS 유닛(30)의 사이즈를 SPAD 소자(51)를 포함하는 거리측정용 화소(50)의 사이즈보다도 큰, 예를 들면, 정방형으로 나란히 배치된 DVS용 화소(31)의 4개분의 크기의 사이즈로서 구성하고 있다. 그리고 DVS 유닛(30)에 대해 당해 DVS 유닛(30)과 같은 크기의 하나의 DVS용 AFE(35)를 대응시켜서 전기적으로 접속하도록 하고 있다.
[제2 실시 형태의 작용, 효과]
이상 설명한 바와 같이 제2 실시 형태에 관한 촬상 장치(10B)는 이벤트용 화소인 DVS용 화소(31)와, SPAD 소자(51)를 포함하는 거리측정용 화소(50)를 혼재시킨 구성으로 되어 있다. 따라서, 제2 실시 형태에 관한 촬상 장치(10B)에 의하면 이벤트의 발생을 나타내는 이벤트 데이터뿐만 아니라 측정 대상물(피사체)까지의 거리 정보인 거리측정 데이터를 출력할 수 있다. 이에 의해 예를 들면, DVS용 화소(31)에서 동체를 검출하고 그 검출한 동체만 거리측정 데이터에 의거하여 거리측정을 행하도록 함으로써 전 피사체에 대해 거리측정을 행하는 경우에 비해 저소비 전력으로의 거리측정을 실현할 수 있다.
<제3 실시 형태에 관한 촬상 장치>
본 개시의 제3 실시 형태에 관한 촬상 장치는 1층째의 반도체 칩 및 2층째의 반도체 칩의 적어도 2개의 반도체 칩이 적층되어 이루어지는 적층 칩 구조를 가지고 1층째의 반도체 칩에 마련되는 화소 어레이부에 이벤트용 화소, 계조용 화소 및 거리측정용 화소를 혼재시킨 구성으로 되어 있다. 즉, 본 개시의 제3 실시 형태에 관한 촬상 장치는 제1 실시 형태에 관한 촬상 장치의 구성과, 제2 실시 형태에 관한 촬상 장치의 구성을 조합시킨 구성으로 되어 있다.
[시스템 구성례]
도 23은 본 개시의 제3 실시 형태에 관한 촬상 장치의 시스템 구성의 개략을 도시하는 블록도이다.
제3 실시 형태에 관한 촬상 장치(10C)는 화소 어레이부(11), 액세스 제어부(12), DVS 판독부(13), 칼럼 신호 처리부(14), DVS용 신호 처리부(15), 계조용 신호 처리부(16), 타이밍 제어부(17), 타임 스탬프 생성부(18) 및 출력 인터페이스(19A, 19B)를 갖는다. 이것은 도 1에 도시하는 제1 실시 형태에 관한 촬상 장치(10A)의 구성이다. 제3 실시 형태에 관한 촬상 장치(10C)는 또한 시간 계측부(TDC)(61), 거리측정용 신호 처리부(62) 및 출력 인터페이스(19C)를 갖는다. 이것은 도 16에 도시하는 제2 실시 형태에 관한 촬상 장치(10B)의 구성이다.
[제3 실시 형태의 작용, 효과]
이상 설명한 바와 같이 제3 실시 형태에 관한 촬상 장치(10C)는 이벤트용 화소인 DVS용 화소(31) 및 SPAD 소자(51)를 포함하는 거리측정용 화소(50)를 혼재시킨 구성으로 되어 있다. 따라서, 제3 실시 형태에 관한 촬상 장치(10C)에 의하면 이벤트의 발생을 나타내는 이벤트 데이터뿐만 아니라 입사광의 광량에 응한 계조 레벨의 화소 신호(계조 데이터) 및 측정 대상물(피사체)까지의 거리 정보인 거리측정 데이터를 출력할 수 있다.
이에 의해 제1 실시 형태의 작용, 효과 및 제2 실시 형태의 작용, 효과를 얻을 수 있다. 구체적으로는 한 예로서 DVS용 화소(31)에서 피사체의 움직임을 검출하고 이벤트 데이터를 이용하여 보정을 행함으로써 어두운 환경하에서도 모션 블러 없이 또한 계조용 화소(21)를 이용하여 S/N에 우수한 계조 데이터를 취득하는 등 촬상을 실현할 수 있다. 또한 예를 들면, DVS용 화소(31)에서 동체를 검출하고 그 검출한 동체만 거리측정 데이터에 의거하여 거리측정을 행하도록 함으로써 전체 피사체에 대해 거리측정을 행하는 경우에 비해 저소비 전력으로의 거리측정을 실현할 수 있다.
<변형례>
이상, 본 개시에 관한 기술에 관해 바람직한 실시 형태에 의거하여 설명했지만 본 개시에 관한 기술은 당해 실시 형태로 한정되는 것이 아니다. 상기한 실시 형태에서 설명한 이벤트용 화소 및 계조용 화소가 혼재하는 제1 실시 형태에 관한 촬상 장치, 이벤트용 화소 및 거리측정용 화소가 혼재하는 제2 실시 형태에 관한 촬상 장치 및 이벤트용 화소, 계조용 화소 및 거리측정용 화소가 혼재하는 제3 실시 형태에 관한 촬상 장치의 구성, 구조는 예시이고 적절히 변경할 수 있다.
<응용례>
제1 실시 형태에 관한 촬상 장치, 제2 실시 형태에 관한 촬상 장치, 또는 제3 실시 형태에 관한 촬상 장치는 가시광, 적외광, 자외광, X선 등의 광을 센싱하는 다양한 장치에 사용할 수 있다. 다양한 장치의 구체례에 관해 이하에 열거한다.
·디지털 카메라나 카메라 기능 부착의 휴대 기기 등의 감상용으로 제공되는 화상을 촬영하는 장치
·자동 정지 등의 안전운전이나 운전자의 상태의 인식 등을 위해 자동차의 전방이나 후방, 주위, 차내 등을 촬영하는 차량탑재용 센서, 주행 차량이나 도로를 감시하는 감시 카메라, 차량 사이 등의 거리측정을 행하는 거리측정 센서 등의 교통용으로 제공되는 장치
·유저의 제스처를 촬영하여 그 제스처에 따른 기기 조작을 행하기 위해 TV나 냉장고, 에어 컨디셔너 등의 가전에 제공되는 장치
·내시경이나 적외광의 수광에 의한 혈관 촬영을 행하는 장치 등의 의료나 헬스 케어용으로 제공되는 장치
·방범 용도의 감시 카메라나 인물 인증 용도의 카메라 등의 보안용으로 제공되는 장치
·피부를 촬영하는 피부 측정기나 두피를 촬영하는 마이크로스코프 등의 미용용으로 제공되는 장치
·스포츠 용도 등 용의 액션 카메라나 웨어러블 카메라 등의 스포츠용으로 제공되는 장치
·밭이나 작물의 상태를 감시하기 위한 카메라 등의 농업용으로 제공되는 장치
<본 개시가 취할 수 있는 구성>
또한 본 개시는 이하와 같은 구성을 취할 수도 있다.
≪A. 촬상 장치≫
[A-01] 1층째의 반도체 칩 및 2층째의 반도체 칩의 적어도 2개의 반도체 칩이 적층되어 이루어지는 적층 칩 구조를 가지며,
1층째의 반도체 칩에는 화소의 휘도 변화량이 소정의 임계치를 초과한 사상을 이벤트의 발생으로서 검출하여 이벤트 검출 신호를 출력하는 이벤트용 화소 및 입사광의 광량에 응한 계조 레벨의 화소 신호를 출력하는 계조용 화소가 혼재하는 화소 어레이부가 마련되어 있고,
2층째의 반도체 칩에는 이벤트 검출 신호를 처리하는 이벤트용 화소의 아날로그 프론트 엔드부 및 화소 신호를 처리하는 계조용 화소의 아날로그 프론트 엔드부가 이벤트용 화소 및 계조용 화소의 각각에 대응하여 마련되어 있는 촬상 장치.
[A-02] 소정 수의 이벤트용 화소를 이벤트 화소 유닛으로 할 때,
이벤트 화소 유닛은 화소 어레이부 내에서 소정의 규칙에 따라 나란히 배치되어 있는 상기 [A-01]에 기재된 촬상 장치.
[A-03] 이벤트 화소 유닛은 소정 수의 계조용 화소의 조합을 화소 유닛으로 하여 화소 어레이부 내에 배치되어 있는 상기 [A-02]에 기재된 촬상 장치.
[A-04] 이벤트 화소 유닛은 화소 어레이부의 행렬형상의 화소 배열에서 화소행의 단위로 나란히 배치되어 있는 상기 [A-02]에 기재된 촬상 장치.
[A-05] 이벤트 화소 유닛은 화소 어레이부의 행렬형상의 화소 배열에서 화소열의 단위로 나란히 배치되어 있는 상기 [A-02]에 기재된 촬상 장치.
[A-06] 소정 수의 이벤트용 화소를 이벤트 화소 유닛으로 할 때,
이벤트 화소 유닛은 불규칙하게 나란히 화소 어레이부 내에 배치되어 있는 상기 [A-01]에 기재된 촬상 장치.
[A-07] 이벤트용 화소는 이벤트 화소 유닛 내에서 소정의 규칙에 따라 나란히 배치되어 있는 상기 [A-02]에 기재된 촬상 장치.
[A-08] 이벤트용 화소는 이벤트 화소 유닛 내에서 정방형으로 나란히 배치되어 있는 상기 [A-07]에 기재된 촬상 장치.
[A-09] 이벤트용 화소는 이벤트 화소 유닛 내에서 행렬형상의 화소 배열의 행방향으로 나란히 배치되어 있는 상기 [A-07]에 기재된 촬상 장치.
[A-10] 이벤트용 화소는 이벤트 화소 유닛 내에서 행렬형상의 화소 배열의 열방향으로 나란히 배치되어 있는 상기 [A-07]에 기재된 촬상 장치.
[A-11] 이벤트용 화소의 사이즈는 계조용 화소의 사이즈보다도 큰 상기 [A-07]에 기재된 촬상 장치.
[A-12] 계조용 화소의 수는 이벤트용 화소의 수보다도 많은 상기 [A-01] 내지 상기 [A-11]의 어느 하나에 기재된 촬상 장치.
[A-13] 화소 어레이부에는 이벤트 화소 및 계조 화소 외에 광원부로부터의 조사광에 의거한 거리측정 대상물로부터의 반사광을 수광하고 광자의 수광에 응하여 신호를 발생하는 수광 소자를 포함하는 거리측정용 화소가 혼재하여 있는 상기 [A-01]에 기재된 촬상 장치.
[A-14] 2층째의 반도체 칩에는 수광 소자를 제어하는 ??치 회로가 거리측정용 화소에 대응하여 마련되어 있는 상기 [A-13]에 기재된 촬상 장치.
[A-15] 거리측정용 화소의 수광 소자는 가이거 모드로 동작하는 애벌란시 포토 다이오드로 이루어지는 상기 [A-13] 또는 상기 [A-14]에 기재된 촬상 장치.
[A-16] 거리측정용 화소의 수광 소자는 단일 광자 애벌란시 다이오드로 이루어지는 상기 [A-15]에 기재된 촬상 장치.
≪B. 다른 촬상 장치≫
[B-01] 1층째의 반도체 칩 및 2층째의 반도체 칩의 적어도 2개의 반도체 칩이 적층되어 이루어지는 적층 칩 구조를 가지며,
1층째의 반도체 칩에는 화소의 휘도 변화량이 소정의 임계치를 초과한 사상을 이벤트의 발생으로서 검출하여 이벤트 검출 신호를 출력하는 이벤트용 화소 및 광원부로부터의 조사광에 의거한 거리측정 대상물로부터의 반사광을 수광하고 광자의 수광에 응하여 신호를 발생하는 수광 소자를 포함하는 거리측정용 화소가 혼재하는 화소 어레이부가 마련되어 있고,
2층째의 반도체 칩에는 이벤트 검출 신호를 처리하는 이벤트용 화소의 아날로그 프론트 엔드부 및 수광 소자의 신호를 처리하는 거리측정용 화소의 아날로그 프론트 엔드부가 이벤트용 화소 및 거리측정용 화소의 각각에 대응하여 마련되어 있는 촬상 장치.
[B-02] 2층째의 반도체 칩에는 수광 소자를 제어하는 ??치 회로가 거리측정용 화소에 대응하여 마련되어 있는 상기 [B-01]에 기재된 촬상 장치.
[B-03] 거리측정용 화소의 수광 소자는 가이거 모드로 동작하는 애벌란시 포토 다이오드로 이루어지는 상기 [B-01] 또는 상기 [B-02]에 기재된 촬상 장치.
[B-04] 거리측정용 화소의 수광 소자는 단일 광자 애벌란시 다이오드로 이루어지는 상기 [B-03]에 기재된 촬상 장치.
10A: 제1 실시 형태에 관한 촬상 장치
10B: 제2 실시 형태에 관한 촬상 장치
10C: 제3 실시 형태에 관한 촬상 장치
11: 화소 어레이부 12: 액세스 제어부
13: DVS 제어부 14: 칼럼 신호 처리부
15: DVS용 신호 처리부 16: 계조용 신호 처리부
17: 타이밍 제어부 18: 타임 스탬프 생성부
19A, 19B: 출력 인터페이스(I/F) 20: 계조용 회로
21: 계조용 화소 22: 계조용 메모리
24: 계조 화소 유닛 30: DVS 유닛(이벤트 화소 유닛)
31: DVS용 화소 32: 셀렉터
35: DVS용 AFE(아날로그 프론트 엔드) 41: 1상째의 반도체 칩
42: 2상째의 반도체 칩 43: 3상째의 반도체 칩
50: 거리측정용 회로 51: SPAD 소자
52: ??치 회로 53: 판독 회로
61: 시간 계측부(TDC) 62: 거리측정용 신호 처리부
70: 광원부
10B: 제2 실시 형태에 관한 촬상 장치
10C: 제3 실시 형태에 관한 촬상 장치
11: 화소 어레이부 12: 액세스 제어부
13: DVS 제어부 14: 칼럼 신호 처리부
15: DVS용 신호 처리부 16: 계조용 신호 처리부
17: 타이밍 제어부 18: 타임 스탬프 생성부
19A, 19B: 출력 인터페이스(I/F) 20: 계조용 회로
21: 계조용 화소 22: 계조용 메모리
24: 계조 화소 유닛 30: DVS 유닛(이벤트 화소 유닛)
31: DVS용 화소 32: 셀렉터
35: DVS용 AFE(아날로그 프론트 엔드) 41: 1상째의 반도체 칩
42: 2상째의 반도체 칩 43: 3상째의 반도체 칩
50: 거리측정용 회로 51: SPAD 소자
52: ??치 회로 53: 판독 회로
61: 시간 계측부(TDC) 62: 거리측정용 신호 처리부
70: 광원부
Claims (20)
1층째의 반도체 칩 및 2층째의 반도체 칩의 적어도 2개의 반도체 칩이 적층되어 이루어지는 적층 칩 구조를 가지며,
1층째의 반도체 칩에는 화소의 휘도 변화량이 소정의 임계치를 초과한 사상을 이벤트의 발생으로서 검출하여 이벤트 검출 신호를 출력하는 이벤트용 화소 및 입사광의 광량에 응한 계조 레벨의 화소 신호를 출력하는 계조용 화소가 혼재하는 화소 어레이부가 마련되어 있고,
2층째의 반도체 칩에는 이벤트 검출 신호를 처리하는 이벤트용 화소의 아날로그 프론트 엔드부 및 화소 신호를 처리하는 계조용 화소의 아날로그 프론트 엔드부가 이벤트용 화소 및 계조용 화소의 각각에 대응하여 마련되어 있는 것을 특징으로 하는 촬상 장치.
1층째의 반도체 칩에는 화소의 휘도 변화량이 소정의 임계치를 초과한 사상을 이벤트의 발생으로서 검출하여 이벤트 검출 신호를 출력하는 이벤트용 화소 및 입사광의 광량에 응한 계조 레벨의 화소 신호를 출력하는 계조용 화소가 혼재하는 화소 어레이부가 마련되어 있고,
2층째의 반도체 칩에는 이벤트 검출 신호를 처리하는 이벤트용 화소의 아날로그 프론트 엔드부 및 화소 신호를 처리하는 계조용 화소의 아날로그 프론트 엔드부가 이벤트용 화소 및 계조용 화소의 각각에 대응하여 마련되어 있는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
소정 수의 이벤트용 화소를 이벤트 화소 유닛으로 할 때,
이벤트 화소 유닛은 화소 어레이부 내에서 소정의 규칙에 따라 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
소정 수의 이벤트용 화소를 이벤트 화소 유닛으로 할 때,
이벤트 화소 유닛은 화소 어레이부 내에서 소정의 규칙에 따라 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
제2항에 있어서,
이벤트 화소 유닛은 소정 수의 계조용 화소의 조합을 화소 유닛으로 하여 화소 어레이부 내에 배치되어 있는 것을 특징으로 하는 촬상 장치.
이벤트 화소 유닛은 소정 수의 계조용 화소의 조합을 화소 유닛으로 하여 화소 어레이부 내에 배치되어 있는 것을 특징으로 하는 촬상 장치.
제2항에 있어서,
이벤트 화소 유닛은 화소 어레이부의 행렬형상의 화소 배열에서 화소행의 단위로 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
이벤트 화소 유닛은 화소 어레이부의 행렬형상의 화소 배열에서 화소행의 단위로 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
제2항에 있어서,
이벤트 화소 유닛은 화소 어레이부의 행렬형상의 화소 배열에서 화소열의 단위로 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
이벤트 화소 유닛은 화소 어레이부의 행렬형상의 화소 배열에서 화소열의 단위로 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
소정 수의 이벤트용 화소를 이벤트 화소 유닛으로 할 때,
이벤트 화소 유닛은 불규칙하게 나란히 화소 어레이부 내에 배치되어 있는 것을 특징으로 하는 촬상 장치.
소정 수의 이벤트용 화소를 이벤트 화소 유닛으로 할 때,
이벤트 화소 유닛은 불규칙하게 나란히 화소 어레이부 내에 배치되어 있는 것을 특징으로 하는 촬상 장치.
제2항에 있어서,
이벤트용 화소는 이벤트 화소 유닛 내에서 소정의 규칙에 따라 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
이벤트용 화소는 이벤트 화소 유닛 내에서 소정의 규칙에 따라 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
제7항에 있어서,
이벤트용 화소는 이벤트 화소 유닛 내에서 정방형으로 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
이벤트용 화소는 이벤트 화소 유닛 내에서 정방형으로 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
제7항에 있어서,
이벤트용 화소는 이벤트 화소 유닛 내에서 행렬형상의 화소 배열의 행방향으로 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
이벤트용 화소는 이벤트 화소 유닛 내에서 행렬형상의 화소 배열의 행방향으로 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
제7항에 있어서,
이벤트용 화소는 이벤트 화소 유닛 내에서 행렬형상의 화소 배열의 열방향으로 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
이벤트용 화소는 이벤트 화소 유닛 내에서 행렬형상의 화소 배열의 열방향으로 나란히 배치되어 있는 것을 특징으로 하는 촬상 장치.
제7항에 있어서,
이벤트용 화소의 사이즈는 계조용 화소의 사이즈보다도 큰 것을 특징으로 하는 촬상 장치.
이벤트용 화소의 사이즈는 계조용 화소의 사이즈보다도 큰 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
계조용 화소의 수는 이벤트용 화소의 수보다도 많은 것을 특징으로 하는 촬상 장치.
계조용 화소의 수는 이벤트용 화소의 수보다도 많은 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
화소 어레이부에는 이벤트 화소 및 계조 화소 외에 광원부로부터의 조사광에 의거한 거리측정 대상물로부터의 반사광을 수광하고 광자의 수광에 응하여 신호를 발생하는 수광 소자를 포함하는 거리측정용 화소가 혼재하여 있는 것을 특징으로 하는 촬상 장치.
화소 어레이부에는 이벤트 화소 및 계조 화소 외에 광원부로부터의 조사광에 의거한 거리측정 대상물로부터의 반사광을 수광하고 광자의 수광에 응하여 신호를 발생하는 수광 소자를 포함하는 거리측정용 화소가 혼재하여 있는 것을 특징으로 하는 촬상 장치.
제13항에 있어서,
2층째의 반도체 칩에는 수광 소자를 제어하는 ??치 회로가 거리측정용 화소에 대응하여 마련되어 있는 것을 특징으로 하는 촬상 장치.
2층째의 반도체 칩에는 수광 소자를 제어하는 ??치 회로가 거리측정용 화소에 대응하여 마련되어 있는 것을 특징으로 하는 촬상 장치.
제13항에 있어서,
거리측정용 화소의 수광 소자는 가이거 모드로 동작하는 애벌란시 포토 다이오드로 이루어지는 것을 특징으로 하는 촬상 장치.
거리측정용 화소의 수광 소자는 가이거 모드로 동작하는 애벌란시 포토 다이오드로 이루어지는 것을 특징으로 하는 촬상 장치.
제15항에 있어서,
거리측정용 화소의 수광 소자는 단일 광자 애벌란시 다이오드로 이루어지는 것을 특징으로 하는 촬상 장치.
거리측정용 화소의 수광 소자는 단일 광자 애벌란시 다이오드로 이루어지는 것을 특징으로 하는 촬상 장치.
1층째의 반도체 칩 및 2층째의 반도체 칩의 적어도 2개의 반도체 칩이 적층되어 이루어지는 적층 칩 구조를 가지며,
1층째의 반도체 칩에는 화소의 휘도 변화량이 소정의 임계치를 초과한 사상을 이벤트의 발생으로서 검출하여 이벤트 검출 신호를 출력하는 이벤트용 화소 및 광원부로부터의 조사광에 의거한 거리측정 대상물로부터의 반사광을 수광하고 광자의 수광에 응하여 신호를 발생하는 수광 소자를 포함하는 거리측정용 화소가 혼재하는 화소 어레이부가 마련되어 있고,
2층째의 반도체 칩에는 이벤트 검출 신호를 처리하는 이벤트용 화소의 아날로그 프론트 엔드부 및 수광 소자의 신호를 처리하는 거리측정용 화소의 아날로그 프론트 엔드부가 이벤트용 화소 및 거리측정용 화소의 각각에 대응하여 마련되어 있는 것을 특징으로 하는 촬상 장치.
1층째의 반도체 칩에는 화소의 휘도 변화량이 소정의 임계치를 초과한 사상을 이벤트의 발생으로서 검출하여 이벤트 검출 신호를 출력하는 이벤트용 화소 및 광원부로부터의 조사광에 의거한 거리측정 대상물로부터의 반사광을 수광하고 광자의 수광에 응하여 신호를 발생하는 수광 소자를 포함하는 거리측정용 화소가 혼재하는 화소 어레이부가 마련되어 있고,
2층째의 반도체 칩에는 이벤트 검출 신호를 처리하는 이벤트용 화소의 아날로그 프론트 엔드부 및 수광 소자의 신호를 처리하는 거리측정용 화소의 아날로그 프론트 엔드부가 이벤트용 화소 및 거리측정용 화소의 각각에 대응하여 마련되어 있는 것을 특징으로 하는 촬상 장치.
제17항에 있어서,
2층째의 반도체 칩에는 수광 소자를 제어하는 ??치 회로가 거리측정용 화소에 대응하여 마련되어 있는 것을 특징으로 하는 촬상 장치.
2층째의 반도체 칩에는 수광 소자를 제어하는 ??치 회로가 거리측정용 화소에 대응하여 마련되어 있는 것을 특징으로 하는 촬상 장치.
제17항에 있어서,
거리측정용 화소의 수광 소자는 가이거 모드로 동작하는 애벌란시 포토 다이오드로 이루어지는 것을 특징으로 하는 촬상 장치.
거리측정용 화소의 수광 소자는 가이거 모드로 동작하는 애벌란시 포토 다이오드로 이루어지는 것을 특징으로 하는 촬상 장치.
제19항에 있어서,
거리측정용 화소의 수광 소자는 단일 광자 애벌란시 다이오드로 이루어지는 것을 특징으로 하는 촬상 장치.
거리측정용 화소의 수광 소자는 단일 광자 애벌란시 다이오드로 이루어지는 것을 특징으로 하는 촬상 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2020-105876 | 2020-06-19 | ||
| JP2020105876 | 2020-06-19 | ||
| PCT/JP2021/021302 WO2021256290A1 (ja) | 2020-06-19 | 2021-06-04 | 撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230026999A true KR20230026999A (ko) | 2023-02-27 |
Family
ID=79267919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227041404A KR20230026999A (ko) | 2020-06-19 | 2021-06-04 | 촬상 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230224605A1 (ko) |
| KR (1) | KR20230026999A (ko) |
| CN (1) | CN115668972A (ko) |
| DE (1) | DE112021003310T5 (ko) |
| WO (1) | WO2021256290A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022119380A (ja) | 2021-02-04 | 2022-08-17 | キヤノン株式会社 | 光電変換装置、光電変換システム |
| WO2023197755A1 (zh) * | 2022-04-15 | 2023-10-19 | 浙桂(杭州)半导体科技有限责任公司 | 雪崩二极管控制电路及雪崩二极管传感器 |
| CN116184364B (zh) * | 2023-04-27 | 2023-07-07 | 上海杰茗科技有限公司 | 一种iToF相机的多机干扰检测与去除方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019087471A1 (ja) | 2017-10-30 | 2019-05-09 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101887988B1 (ko) * | 2012-07-03 | 2018-08-14 | 삼성전자 주식회사 | 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템 |
| KR101896666B1 (ko) * | 2012-07-05 | 2018-09-07 | 삼성전자주식회사 | 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템 |
| JP6440844B2 (ja) * | 2015-07-14 | 2018-12-19 | オリンパス株式会社 | 固体撮像装置 |
| CN108370424B (zh) * | 2015-12-16 | 2021-06-15 | 索尼公司 | 成像元件、驱动方法和电子设备 |
| US11221400B2 (en) * | 2018-03-27 | 2022-01-11 | Omnivision Technologies, Inc. | Dual mode stacked photomultipliers suitable for use in long range time of flight applications |
| JP2020053827A (ja) * | 2018-09-27 | 2020-04-02 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、および、撮像装置 |
| JP2020088480A (ja) * | 2018-11-19 | 2020-06-04 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、および、撮像装置 |
| JP2020088722A (ja) * | 2018-11-29 | 2020-06-04 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、および、撮像装置 |
| JP2020096347A (ja) * | 2018-11-29 | 2020-06-18 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
-
2021
- 2021-06-04 KR KR1020227041404A patent/KR20230026999A/ko active Search and Examination
- 2021-06-04 WO PCT/JP2021/021302 patent/WO2021256290A1/ja active Application Filing
- 2021-06-04 US US18/000,655 patent/US20230224605A1/en active Pending
- 2021-06-04 DE DE112021003310.7T patent/DE112021003310T5/de active Pending
- 2021-06-04 CN CN202180035596.7A patent/CN115668972A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019087471A1 (ja) | 2017-10-30 | 2019-05-09 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115668972A (zh) | 2023-01-31 |
| WO2021256290A1 (ja) | 2021-12-23 |
| DE112021003310T5 (de) | 2023-04-20 |
| US20230224605A1 (en) | 2023-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20230026999A (ko) | 촬상 장치 | |
| US10741605B2 (en) | Solid-state image sensor, imaging device, and electronic equipment | |
| US11470276B2 (en) | Imaging element, driving method, and electronic device | |
| Guerrieri et al. | Two-dimensional SPAD imaging camera for photon counting | |
| US8582011B2 (en) | Simultaneous global shutter and correlated double sampling read out in multiple photosensor pixels | |
| KR102590610B1 (ko) | 촬상 소자 및 구동 방법, 및 전자 기기 | |
| US8355068B2 (en) | Solid-state image sensing device, analog-digital conversion method of solid-state image sensing device, and electronic apparatus | |
| TWI406402B (zh) | 用於背側照明影像感測器之電路與光感測器重疊 | |
| JP2021193814A (ja) | 撮像装置 | |
| CN108886591B (zh) | 摄像装置以及具备该摄像装置的摄像机系统 | |
| US20080136933A1 (en) | Apparatus for controlling operation of a multiple photosensor pixel image sensor | |
| US20230156365A1 (en) | Photoelectric conversion device, photoelectric conversion system, and moving body | |
| Takayanagi et al. | HDR CMOS image sensors for automotive applications | |
| US10574912B2 (en) | Method and apparatus for an image sensor capable of simultaneous integration of electrons and holes | |
| US11037977B2 (en) | Stacked image sensor capable of simultaneous integration of electrons and holes | |
| US20190238764A1 (en) | Solid-state imaging device, solid-state imaging device operation method, imaging apparatus, and electronic apparatus | |
| KR102060194B1 (ko) | 이미지 센싱 장치 및 이의 동작 방법 | |
| US20210193701A1 (en) | Imaging systems and methods for generating image data in ambient light conditions | |
| US20210152770A1 (en) | Systems and methods for generating time trace information | |
| Theuwissen et al. | Building a better mousetrap | |
| TW202339487A (zh) | 固態攝像裝置、電子機器及測距系統 | |
| Bardoux | Review of APS technologies | |
| Kern et al. | Review of APS technologies | |
| El Gamal et al. | Session 19 overview-imagers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |