KR20210095865A - 센서 및 제어 방법 - Google Patents
센서 및 제어 방법 Download PDFInfo
- Publication number
- KR20210095865A KR20210095865A KR1020217013761A KR20217013761A KR20210095865A KR 20210095865 A KR20210095865 A KR 20210095865A KR 1020217013761 A KR1020217013761 A KR 1020217013761A KR 20217013761 A KR20217013761 A KR 20217013761A KR 20210095865 A KR20210095865 A KR 20210095865A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- event
- unit
- light
- gain
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 202
- 238000006243 chemical reaction Methods 0.000 claims abstract description 66
- 230000008859 change Effects 0.000 claims abstract description 61
- 230000007246 mechanism Effects 0.000 claims description 80
- 230000005540 biological transmission Effects 0.000 claims description 57
- 239000003990 capacitor Substances 0.000 claims description 49
- 230000004044 response Effects 0.000 claims description 33
- 230000010287 polarization Effects 0.000 claims description 26
- 238000005516 engineering process Methods 0.000 abstract description 25
- 230000003287 optical effect Effects 0.000 description 76
- 238000010586 diagram Methods 0.000 description 74
- 238000013139 quantization Methods 0.000 description 66
- 230000000875 corresponding effect Effects 0.000 description 61
- 238000003384 imaging method Methods 0.000 description 46
- 230000035945 sensitivity Effects 0.000 description 36
- 238000012546 transfer Methods 0.000 description 27
- 239000000872 buffer Substances 0.000 description 18
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 238000005286 illumination Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 101100243108 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PDI1 gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H04N5/341—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H04N5/369—
-
- H04N9/0455—
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Power Engineering (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
본 기술은 화소의 전기 신호의 변화인 이벤트의 검출을 유연하게 행할 수 있도록 하는 센서 및 제어 방법에 관한 것이다. 센서는 광을 수광하고, 광전 변환을 행하여 전기 신호를 생성하는 화소와, 화소의 전기 신호의 변화인 이벤트를 검출하는 이벤트 검출부를 가지고, 이벤트 검출부의 게인을 화소마다 조정한다. 본 기술은 예를 들면, 화소의 전기 신호의 변화인 이벤트를 검출하는 센서에 적용할 수 있다.
Description
본 기술은 센서 및 제어 방법에 관한 것으로 특히, 예를 들면, 화소의 전기 신호의 변화인 이벤트의 검출을 유연하게 행할 수 있도록 하는 센서 및 제어 방법에 관한 것이다.
화소의 휘도 변화를 이벤트로 하여 이벤트가 발생한 경우에 이벤트의 발생을 나타내는 이벤트 데이터를 출력하는 이미지 센서가 제안되어 있다(예를 들면, 특허 문헌 1을 참조).
여기서, 수직 동기 신호에 동기하여 촬상을 행하고, 래스터 스캔 형식으로 프레임 데이터를 출력하는 이미지 센서는 동기형의 이미지 센서라고 할 수 있다. 이에 대해 이벤트 데이터를 출력하는 이미지 센서는 이벤트 데이터가 발생한 화소의 수시 판독을 행하기 때문에 비동기형의 이미지 센서라고 할 수 있다. 비동기형의 이미지 센서는 예를 들면, DVS(Dynamic Vision Sensor)라고 불린다.
DVS에 관해서는 이벤트의 검출을 유연하게 행하는 것이 요청되고 있다.
본 기술은 이와 같은 상황을 감안하여 이루어진 것이고, 이벤트의 검출을 유연하게 행할 수 있도록 하는 것이다.
본 기술의 센서는 광을 수광하고, 광전 변환을 행하여 전기 신호를 생성하는 화소와, 상기 화소의 전기 신호의 변화인 이벤트를 검출하는 이벤트 검출부와, 상기 이벤트 검출부의 게인을 상기 투과 기구가 투과하는 상기 화소마다 조정하는 게인 조정 기구를 구비하는 센서이다.
본 기술의 제어 방법은 광을 수광하고, 광전 변환을 행하여 전기 신호를 생성하는 화소와, 상기 화소의 전기 신호의 변화인 이벤트를 검출하는 이벤트 검출부를 구비하는 센서의 상기 이벤트 검출부의 게인을 상기 화소마다 조정하는 스텝을 포함하는 제어 방법이다.
본 기술의 센서 및 제어 방법에서는 광을 수광하고, 광전 변환을 행하여 전기 신호를 생성하는 화소의 전기 신호의 변화인 이벤트가 이벤트 검출부에 의해 검출된다. 상기 이벤트 검출부의 게인은 상기 화소마다 조정된다.
센서는 독립한 장치이라도 좋고, 1개의 장치를 구성하고 있는 내부 블록이라도 좋다. 또한, 센서는 모듈이나 반도체 칩으로서 구성할 수 있다.
도 1은 본 기술이 적용될 수 있는 센서 칩의 구성례를 도시하는 도.
도 2는 센서부(21) 및 로직부(22)의 구성례를 도시하는 블록도.
도 3은 화소 어레이부(31)의 구성례를 도시하는 블록도.
도 4는 화소 블록(41)의 구성례를 도시하는 회로도.
도 5는 이벤트 검출부(52)의 구성례를 도시하는 블록도.
도 6은 전류 전압 변환부(81)의 구성례를 도시하는 회로도.
도 7은 감산부(83) 및 양자화부(84)의 구성례를 도시하는 회로도.
도 8은 센서부(21)의 동작의 한 예를 설명하는 타이밍 차트.
도 9는 이벤트 데이터에 응하여 프레임 데이터를 생성하는 방법의 예를 설명하는 도.
도 10은 본 기술을 적용한 센서 칩의 한 실시의 형태의 구성례를 도시하는 도.
도 11은 센서부(201)의 구성례를 도시하는 블록도.
도 12는 화소 어레이부(211)의 구성례의 개요를 도시하는 사시도.
도 13은 화소 어레이부(211)의 구성례를 도시하는 블록도.
도 14는 화소 블록(41)의 구성례를 도시하는 회로도.
도 15는 이벤트 검출부(52k)의 구성례를 도시하는 블록도.
도 16은 양자화부(84)의 구성례를 도시하는 블록도.
도 17은 임계치 설정부(231k)의 구성례를 도시하는 회로도.
도 18은 센서 칩(200)의 동작의 예를 설명하는 플로우 차트.
도 19는 광학 필터(221k)로서 CF(301k)를 채용한 경우의 화소 어레이부(211)의 구성례의 개요를 도시하는 사시도.
도 20은 광학 필터(221k)로서 베이어 배열의 CF(301k)를 채용한 경우의 화소 어레이부(211)의 구성례를 도시하는 블록도.
도 21은 광학 필터(221k)로서 베이어 배열의 CF(301k)를 채용한 경우의 이벤트의 검출과, 화소 신호의 출력을 설명하는 도.
도 22는 이벤트 임계치(Vth(k))의 설정에 의해 이벤트 검출부(52k)의 게인이 조정되는 것을 설명하는 도.
도 23은 이벤트 임계치(Vth(k))의 설정에 의해 이벤트 검출부(52k)의 게인이 조정되는 것을 설명하는 도.
도 24는 CF(301)의 배열의 예를 도시하는 도.
도 25는 소정의 색의 광을 투과하는 투과 기구의 예를 도시하는 도.
도 26은 광학 필터(221k)로서 편광 필터(331k)를 채용한 경우의 화소 어레이부(211)의 구성례의 개요를 도시하는 사시도.
도 27은 광학 필터(221k)로서 베이어 배열의 편광 필터(331k)를 채용한 경우의 화소 어레이부(211)의 구성례를 도시하는 블록도.
도 28은 양자화부(84)의 다른 구성례를 도시하는 블록도.
도 29는 임계치 설정부(231k)가 설정하는 이벤트 임계치(Vth(k))(H) 및 Vth(k)(L)의 예와, 양자화부(84)가 출력하는 양자화치(H) 및 양자화치(L)의 예를 도시하는 도.
도 30은 이벤트 검출부(52k)의 구성례를 도시하는 블록도.
도 31은 감산부(83)가 갖는 연산 증폭기(102)의 구성례를 도시하는 회로도.
도 32는 게인 조정 기구(222)의 다른 예를 갖는 화소 어레이부(211)의 구성례를 도시하는 블록도.
도 33은 게인 조정 기구(222)로서 기능하는 이벤트 검출부(401k)의 제1 구성례를 도시하는 블록도.
도 34는 전류 전압 변환부(411)의 구성례를 도시하는 회로도.
도 35는 전류 전압 변환부(411)에 의한 이벤트 검출부(401k)의 게인의 조정 방법을 설명하는 도.
도 36은 게인 조정 기구(222)로서 기능하는 이벤트 검출부(401k)의 제2 구성례를 도시하는 블록도.
도 37은 감산부(431)의 구성례를 도시하는 회로도.
도 38은 게인의 fine 조정과 coarse 조정이 가능한 화소 어레이부(211)의 구성례를 도시하는 블록도.
도 39는 이벤트 검출부(501k)의 구성례를 도시하는 블록도.
도 40은 이벤트 검출부(501k)의 게인의 fine 조정과 coarse 조정을 설명하는 도.
도 41은 이벤트 검출부(501k)의 게인의 fine 조정과 coarse 조정의 예를 설명하는 도.
도 42는 조명의 스펙트럼과, CF의 분광 특성의 예를 도시하는 도.
도 43은 R광, G광, B광에 대한 감도의 조정의 예를 도시하는 도.
도 44는 차량 제어 시스템의 개략적인 구성의 한 예를 도시하는 블록도.
도 45는 차외 정보 검출부 및 촬상부의 설치 위치의 한 예를 도시하는 설명도.
도 2는 센서부(21) 및 로직부(22)의 구성례를 도시하는 블록도.
도 3은 화소 어레이부(31)의 구성례를 도시하는 블록도.
도 4는 화소 블록(41)의 구성례를 도시하는 회로도.
도 5는 이벤트 검출부(52)의 구성례를 도시하는 블록도.
도 6은 전류 전압 변환부(81)의 구성례를 도시하는 회로도.
도 7은 감산부(83) 및 양자화부(84)의 구성례를 도시하는 회로도.
도 8은 센서부(21)의 동작의 한 예를 설명하는 타이밍 차트.
도 9는 이벤트 데이터에 응하여 프레임 데이터를 생성하는 방법의 예를 설명하는 도.
도 10은 본 기술을 적용한 센서 칩의 한 실시의 형태의 구성례를 도시하는 도.
도 11은 센서부(201)의 구성례를 도시하는 블록도.
도 12는 화소 어레이부(211)의 구성례의 개요를 도시하는 사시도.
도 13은 화소 어레이부(211)의 구성례를 도시하는 블록도.
도 14는 화소 블록(41)의 구성례를 도시하는 회로도.
도 15는 이벤트 검출부(52k)의 구성례를 도시하는 블록도.
도 16은 양자화부(84)의 구성례를 도시하는 블록도.
도 17은 임계치 설정부(231k)의 구성례를 도시하는 회로도.
도 18은 센서 칩(200)의 동작의 예를 설명하는 플로우 차트.
도 19는 광학 필터(221k)로서 CF(301k)를 채용한 경우의 화소 어레이부(211)의 구성례의 개요를 도시하는 사시도.
도 20은 광학 필터(221k)로서 베이어 배열의 CF(301k)를 채용한 경우의 화소 어레이부(211)의 구성례를 도시하는 블록도.
도 21은 광학 필터(221k)로서 베이어 배열의 CF(301k)를 채용한 경우의 이벤트의 검출과, 화소 신호의 출력을 설명하는 도.
도 22는 이벤트 임계치(Vth(k))의 설정에 의해 이벤트 검출부(52k)의 게인이 조정되는 것을 설명하는 도.
도 23은 이벤트 임계치(Vth(k))의 설정에 의해 이벤트 검출부(52k)의 게인이 조정되는 것을 설명하는 도.
도 24는 CF(301)의 배열의 예를 도시하는 도.
도 25는 소정의 색의 광을 투과하는 투과 기구의 예를 도시하는 도.
도 26은 광학 필터(221k)로서 편광 필터(331k)를 채용한 경우의 화소 어레이부(211)의 구성례의 개요를 도시하는 사시도.
도 27은 광학 필터(221k)로서 베이어 배열의 편광 필터(331k)를 채용한 경우의 화소 어레이부(211)의 구성례를 도시하는 블록도.
도 28은 양자화부(84)의 다른 구성례를 도시하는 블록도.
도 29는 임계치 설정부(231k)가 설정하는 이벤트 임계치(Vth(k))(H) 및 Vth(k)(L)의 예와, 양자화부(84)가 출력하는 양자화치(H) 및 양자화치(L)의 예를 도시하는 도.
도 30은 이벤트 검출부(52k)의 구성례를 도시하는 블록도.
도 31은 감산부(83)가 갖는 연산 증폭기(102)의 구성례를 도시하는 회로도.
도 32는 게인 조정 기구(222)의 다른 예를 갖는 화소 어레이부(211)의 구성례를 도시하는 블록도.
도 33은 게인 조정 기구(222)로서 기능하는 이벤트 검출부(401k)의 제1 구성례를 도시하는 블록도.
도 34는 전류 전압 변환부(411)의 구성례를 도시하는 회로도.
도 35는 전류 전압 변환부(411)에 의한 이벤트 검출부(401k)의 게인의 조정 방법을 설명하는 도.
도 36은 게인 조정 기구(222)로서 기능하는 이벤트 검출부(401k)의 제2 구성례를 도시하는 블록도.
도 37은 감산부(431)의 구성례를 도시하는 회로도.
도 38은 게인의 fine 조정과 coarse 조정이 가능한 화소 어레이부(211)의 구성례를 도시하는 블록도.
도 39는 이벤트 검출부(501k)의 구성례를 도시하는 블록도.
도 40은 이벤트 검출부(501k)의 게인의 fine 조정과 coarse 조정을 설명하는 도.
도 41은 이벤트 검출부(501k)의 게인의 fine 조정과 coarse 조정의 예를 설명하는 도.
도 42는 조명의 스펙트럼과, CF의 분광 특성의 예를 도시하는 도.
도 43은 R광, G광, B광에 대한 감도의 조정의 예를 도시하는 도.
도 44는 차량 제어 시스템의 개략적인 구성의 한 예를 도시하는 블록도.
도 45는 차외 정보 검출부 및 촬상부의 설치 위치의 한 예를 도시하는 설명도.
이하, 본 기술의 실시의 형태에 관해 설명하는데, 그 전단계의 준비로서 본 기술이 적용될 수 있는 비동기형의 이미지 센서로서의 센서 칩에 관해 설명한다.
<본 기술이 적용될 수 있는 센서 칩>
도 1은 본 기술이 적용될 수 있는 센서 칩의 구성례를 도시하는 도면이다.
센서 칩(10)은 1칩의 반도체 칩이고, 복수의 다이(기판)로서의 센서 다이(기판)(11)와 로직 다이(12)가 적층되어 구성된다. 또한, 센서 칩(10)은 1개의 다이로 구성할 수도 있으며 3개 이상의 다이를 적층하여 구성할 수도 있다.
도 1의 센서 칩(10)에서, 센서 다이(11)에는 센서부(21)(로서의 회로)가 구성되고, 로직 다이(12)에는 로직부(22)가 구성되어 있다. 또한, 센서부(21)에 관해서는 그 일부를 로직 다이(12)에 구성할 수 있다. 또한, 로직부(22)에 관해서는 그 일부를 센서 다이(11)에 구성할 수 있다.
센서부(21)는 입사광의 광전 변환을 행하여 전기 신호를 생성하는 화소를 가지고, 화소의 전기 신호의 변화인 이벤트의 발생을 나타내는 이벤트 데이터를 이벤트 검출부(52)(도 3)에서 생성한다. 센서부(21)는 이벤트 데이터를 로직부(22)에 공급한다. 즉, 센서부(21)는 화소에서 입사광의 광전 변환을 행하여 전기 신호를 생성하는 촬상을 행하고, 전기 신호의 출력을 행한다. 센서부(21)는 화소의 전기 신호의 변화인 이벤트의 발생을 나타내는 이벤트 데이터를 생성할 뿐만 아니라 촬상 데이터(화소 신호)를 화소 신호 생성부(53)(도 3)로부터 로직부(22)에 출력한다.
여기서, 동기형의 이미지 센서란, 수직 동기 신호에 동기하여 촬상을 행하고, 래스터 스캔 형식으로 프레임 데이터를 출력하는 이미지 센서이다. 센서부(21)는 이벤트 데이터를 출력함에 있어 수직 동기 신호에 동기하여 동작하는 것은 아니기 때문에 동기형의 이미지 센서에 대해 비동기형(의 이미지 센서)이라고 할 수 있다.
또한, 센서부(21)에서는 상술한 바와 같이, 이벤트 데이터 외에 동기형의 이미지 센서와 마찬가지로 프레임 데이터를 생성하여 출력할 수 있다. 또한, 센서부(21)에서는 이벤트가 발생한 화소의 전기 신호를 프레임 데이터의 화소의 화소치가 되는 화소 신호로서 이벤트 데이터와 함께 출력할 수 있다.
로직부(22)는 필요에 응하여 센서부(21)의 제어를 행한다. 또한, 로직부(22)는 센서부(21)로부터의 이벤트 데이터에 응하여 프레임 데이터를 생성하는 데이터 처리나 센서부(21)로부터의 촬상 데이터, 또는 센서부(21)로부터의 이벤트 데이터에 응하여 생성된 프레임 데이터를 대상으로 하는 화상 처리 등의 각종의 데이터 처리를 행하고, 이벤트 데이터나, 프레임 데이터, 촬상 데이터의 각종의 데이터 처리를 행함에 의해 얻어지는 데이터 처리 결과를 출력한다.
<센서부(21)의 구성례>
도 2는 도 1의 센서부(21)의 구성례를 도시하는 블록도이다.
센서부(21)는 화소 어레이부(31), 구동부(32), 아비터(33), AD(Analog to Digital) 변환부(34) 및 출력부(35)를 구비한다.
화소 어레이부(31)는 복수의 화소(51)(도 3)가 2차원 격자형상으로 배열되어 구성된다. 화소 어레이부(31)는 화소(51)의 광전 변환에 의해 생성되는 전기 신호로서의 광 전류에 소정의 임계치를 초과하는 변화(임계치 이상의 변화를 필요에 응하여 포함함)가 발생한 경우에 그 광 전류의 변화를 이벤트로서 검출한다. 화소 어레이부(31)는 이벤트를 검출한 경우, 이벤트의 발생을 나타내는 이벤트 데이터의 출력을 요구하는 리퀘스트를 아비터(33)에 출력한다. 그리고, 화소 어레이부(31)는 아비터(33)로부터 이벤트 데이터의 출력의 허가를 나타내는 응답을 수취한 경우, 이벤트 데이터를 구동부(32) 및 출력부(35)에 출력한다. 또한, 화소 어레이부(31)는 이벤트가 검출된 화소(51)의 전기 신호를 화소 신호 생성부(53)를 통하여 화소 신호로서 AD 변환부(34)에 출력한다.
구동부(32)는 화소 어레이부(31)에 제어 신호를 공급함에 의해 화소 어레이부(31)를 구동한다. 예를 들면, 구동부(32)는 화소 어레이부(31)로부터 이벤트 데이터가 출력된 화소(51)를 구동하고, 그 화소(51)의 화소 신호를 AD 변환부(34)에 공급(출력)시킨다.
아비터(33)는 화소 어레이부(31)로부터의 이벤트 데이터의 출력을 요구하는 리퀘스트를 조정하고, 이벤트 데이터의 출력의 허가 또는 불허가를 나타내는 응답이나 이벤트 검출을 리셋하는 리셋 신호를 화소 어레이부(31)에 돌려 준다.
AD 변환부(34)는 예를 들면, 후술하는 화소 블록(41)(도 3)의 열마다, 예를 들면, 싱글 슬로프형의 ADC(AD Converter)(도시 생략)를 가진다. AD 변환부(34)는 각 열의 ADC에서, 그 열의 화소 블록(41)의 화소(51)의 화소 신호를 AD 변환하고, 출력부(35)에 공급한다. 또한, AD 변환부(34)에서는 화소 신호의 AD 변환과 함께, CDS(Correlated Double Sampling)를 행할 수가 있다.
출력부(35)는 AD 변환부(34)로부터의 화소 신호나, 화소 어레이부(31)로부터의 이벤트 데이터에 필요한 처리를 시행하고 로직부(22)로부터 출력한다.
여기서, 화소(51)에서 생성되는 광 전류의 변화는 화소(51)에 입사하는 광의 광량 변화라고도 파악할 수 있기 때문에 이벤트는 화소(51)의 광량 변화(임계치를 초과하는 광량 변화)라고도 말할 수 있다.
이벤트의 발생을 나타내는 이벤트 데이터에는 적어도 이벤트로서의 광량 변화가 발생한 화소 블록의 위치를 나타내는 위치 정보(좌표 등)가 포함된다. 그 외에 이벤트 데이터에는 광량 변화의 극성(정부)을 포함하게 할 수 있다.
화소 어레이부(31)로부터 이벤트가 발생한 타이밍에서 출력되는 이벤트 데이터의 계열에 관해서는 이벤트 데이터끼리의 간격이 이벤트의 발생 시 그대로 유지되어 있는 한, 이벤트 데이터는 이벤트가 발생한(상대적인) 시각을 나타내는 시각 정보를 암시적으로 포함하고 있다고 할 수 있다. 단, 이벤트 데이터가 메모리에 기억되는 것 등에 의해 이벤트 데이터끼리의 간격이 이벤트의 발생 시 그대로로 유지되지 않게 되면, 이벤트 데이터에 암시적으로 포함되는 시각 정보가 상실된다. 그 때문에 출력부(35)는 이벤트 데이터끼리의 간격이 이벤트의 발생 시 그대로 유지되지 않게 되기 전에 이벤트 데이터에 타임 스탬프 등의 이벤트가 발생한(상대적인) 시각을 나타내는 시각 정보를 포함시킨다. 이벤트 데이터에 시각 정보를 포함시키는 처리는 이벤트 데이터에 암시적으로 포함되는 시각 정보가 상실되기 전이라면, 출력부(35) 이외의 임의의 블록에서 행할 수 있다.
<화소 어레이부(31)의 구성례>
도 3은 도 2의 화소 어레이부(31)의 구성례를 도시하는 블록도이다.
화소 어레이부(31)는 복수의 화소 블록(41)을 가진다. 화소 블록(41)은 I행×J열(I 및 J는 정수)로 배열된 1 이상의 I×J개의 화소(51), 이벤트 검출부(52) 및 화소 신호 생성부(53)를 구비한다. 화소 블록(41) 내의 1 이상의 화소(51)는 이벤트 검출부(52) 및 화소 신호 생성부(53)를 공유한다. 또한, 화소 블록(41)의 열마다에는 화소 블록(41)과 AD 변환부(34)의 ADC를 접속하는 VSL(Vertical Signal Line)이 배선된다.
화소(51)는 피사체로부터의 입사광을 수광하고, 광전 변환하여 전기 신호로서의 광 전류를 생성한다. 화소(51)는 구동부(32)의 제어에 따라 광 전류를 이벤트 검출부(52)에 공급한다.
이벤트 검출부(52)는 구동부(32)의 제어에 따라 화소(51)의 각각으로부터의 광 전류의 소정의 임계치를 초과하는 변화를 이벤트로서 검출한다. 이벤트 검출부(52)는 이벤트를 검출한 경우, 이벤트의 발생을 나타내는 이벤트 데이터의 출력을 요구하는 리퀘스트를 아비터(33)(도 2)에 공급한다. 그리고, 이벤트 검출부(52)는 리퀘스트에 대해 이벤트 데이터의 출력을 허가하는 취지의 응답을 아비터(33)로부터 수취하면, 이벤트 데이터를 구동부(32) 및 출력부(35)에 출력한다.
화소 신호 생성부(53)는 이벤트 검출부(52)에서 이벤트가 검출된 경우에 구동부(32)의 제어에 따라 화소(51)의 광전 변환된 전압을 화소 신호로서 생성하고, VSL을 통하여 AD 변환부(34)에 공급한다.
여기서, 광 전류의 소정의 임계치를 초과하는 변화를 이벤트로서 검출하는 것은 동시에 광 전류의 소정의 임계치를 초과하는 변화가 없었던 것을 이벤트로서 검출하고 있다고 파악할 수 있다. 화소 신호 생성부(53)에서는 화소 신호의 생성을 이벤트로서의 광 전류의 소정의 임계치를 초과하는 변화가 검출된 경우 외에 이벤트로서의 광 전류의 소정의 임계치를 초과하는 변화가 없었던 것이 검출된 경우에 행할 수 있다.
<화소 블록(41)의 구성례>
도 4는 화소 블록(41)의 구성례를 도시하는 회로도이다.
화소 블록(41)은 도 3에서 설명한 바와 같이, 화소(51), 이벤트 검출부(52) 및 화소 신호 생성부(53)를 구비한다.
화소(51)는 광전 변환 소자(61), 전송 트랜지스터(62 및 63)를 구비한다.
광전 변환 소자(61)는 예를 들면, PD(Photodiode)로 구성되고, 입사광을 수광하고, 광전 변환하여 전하를 생성한다.
전송 트랜지스터(62)는 예를 들면, N(Negative)형의 MOS(Metal-Oxide-Semiconductor) FET(Field Effect Transistor)로 구성된다. 화소 블록(41)을 구성하는 I×J개의 화소(51) 중의 n번째의 화소(51)를 구성하는 전송 트랜지스터(62)는 구동부(32)(도 2)로부터 공급되는 제어 신호(ORGn)에 따라 온/오프한다. 전송 트랜지스터(62)가 온함에 의해 광전 변환 소자(61)에서 생성된 전하는 광 전류로서 이벤트 검출부(52)에 전송(공급)된다.
전송 트랜지스터(63)는 예를 들면, N형의 MOS(NMOS) FET으로 구성된다. 화소 블록(41)을 구성하는 I×J개의 화소(51) 중의 n번째의 화소(51)를 구성하는 전송 트랜지스터(63)는 구동부(32)로부터 공급되는 제어 신호(전송 신호)(TRGn)에 따라 온/오프한다. 전송 트랜지스터(63)가 온함에 의해 광전 변환 소자(61)에서 생성된 전하는 화소 신호 생성부(53)의 FD(74)에 전송된다.
화소 블록(41)을 구성하는 I×J개의 화소(51)는 노드(60)를 통하여 그 화소 블록(41)을 구성하는 이벤트 검출부(52)에 접속되어 있다. 따라서, 화소(51)(의 광전 변환 소자)(61)에서 생성된 광 전류는 노드(60)를 통하여 이벤트 검출부(52)에 공급된다. 그 결과, 이벤트 검출부(52)에는 화소 블록(41) 내의 모든 화소(51)의 광 전류의 합이 공급된다. 따라서, 이벤트 검출부(52)에서는 화소 블록(41)을 구성하는 I×J개의 화소(51)로부터 공급되는 광 전류의 합의 변화가 이벤트로서 검출된다.
화소 신호 생성부(53)는 리셋 트랜지스터(71), 증폭 트랜지스터(72), 선택 트랜지스터(73) 및 FD(Floating Diffusion)(74)를 구비한다.
리셋 트랜지스터(71), 증폭 트랜지스터(72) 및 선택 트랜지스터(73)는 예를 들면, N형의 MOS FET으로 구성된다.
리셋 트랜지스터(71)는 구동부(32)(도 2)로부터 공급되는 제어 신호(RST)에 따라 온/오프한다. 리셋 트랜지스터(71)가 온함에 의해 FD(74)가 전원(VDD)에 접속되고, FD(74)에 축적된 전하가 전원(VDD)에 배출된다. 이에 의해 FD(74)는 리셋된다.
증폭 트랜지스터(72)의 게이트는 FD(74)에 드레인은 전원(VDD)에 소스는 선택 트랜지스터(73)를 통하여 VSL에 각각 접속된다. 증폭 트랜지스터(72)는 소스 팔로워가 되어 있고, 게이트에 공급되는 FD(74)의 전압에 대응하는 전압(전기 신호)을 선택 트랜지스터(73)를 통하여 VSL에 출력한다.
선택 트랜지스터(73)는 구동부(32)로부터 공급되는 제어 신호(SEL)에 따라 온/오프한다. 선택 트랜지스터(73)가 온함에 의해 증폭 트랜지스터(72)로부터의 FD(74)의 전압에 대응하는 전압이, VSL에 출력된다.
FD(74)는 화소(51)의 광전 변환 소자(61)로부터 전송 트랜지스터(63)를 통하여 전송되어 오는 전하를 축적하고, 전압으로 변환한다.
이상과 같이 구성되는 화소(51) 및 화소 신호 생성부(53)에 관해서는 구동부(32)는 전송 트랜지스터(62)를 제어 신호(OFGn)에 의해 온으로 하여 화소(51)의 광전 변환 소자(61)에서 생성된 전하에 의한 광 전류를 이벤트 검출부(52)에 공급시킨다. 이에 의해 이벤트 검출부(52)에는 화소 블록(41) 내의 모든 화소(51)의 광 전류의 합의 전류가 공급된다.
화소 블록(41)에서, 이벤트 검출부(52)가 이벤트로서의 광 전류(의 합)의 변화를 검출하면, 구동부(32)는 그 화소 블록(41)의 모든 화소(51)의 전송 트랜지스터(62)를 오프로 하여 이벤트 검출부(52)에의 광 전류의 공급을 정지시킨다. 그리고, 구동부(32)는 이벤트의 검출 후, 제어 신호(선택 신호)(SEL)로 화소(51)의 행을 선택 후에 광전 변환 소자(61)를 리셋하고 노광을 시작하게 한다. 구동부(32)는 노광 완료 후에 전송 신호(TRGn)에 의해 이벤트가 검출된 화소 블록(41) 내의 화소(51)의 전송 트랜지스터(63)를 순차적으로 온으로 하여 광전 변환 소자(61)에서 생성된 전하를 FD(74)에 전송시킨다. FD(74)에서는 화소(51)(의 광전 변환 소자(61))로부터 전송되는 전하가 축적된다. FD(74)에 축적된 전하에 대응하는 전압은 화소(51)의 화소 신호로서 증폭 트랜지스터(72) 및 선택 트랜지스터(73)를 통하여 VSL에 출력된다.
이상과 같이, 센서부(21)(도 2)에서는 이벤트가 검출된 화소 블록(41)만의 화소(51)의 화소 신호가 순차적으로 VSL에 출력된다. VSL에 출력된 화소 신호는 AD 변환부(34)에 공급되어 AD 변환된다.
여기서, 화소 블록(41) 내의 각 화소(51)에 관해서는 전송 트랜지스터(63)를 순차적으로 온으로 하는 것이 아니라, 동시에 온으로 할 수 있다. 이 경우, 화소 블록(41) 내의 모든 화소(51)의 화소 신호의 합을 출력할 수 있다.
도 3의 화소 어레이부(31)에서, 화소 블록(41)이 복수의 화소(51)로 구성되는 경우에는 그 복수의 화소(51)에서, 이벤트 검출부(52) 및 화소 신호 생성부(53)가 공유된다. 이에 의해 1개의 화소(51)에 대해 1개의 이벤트 검출부(52) 및 1개의 화소 신호 생성부(53)를 마련하는 경우에 비교하여 이벤트 검출부(52) 및 화소 신호 생성부(53)의 수를 적게 할 수 있어서 화소 어레이부(31)의 규모를 억제할 수 있다.
또한, 화소 블록(41)은 복수의 화소(51)가 아니고, 1개의 화소(51)로 구성할 수 있다.
또한, 화소 블록(41)에서는 화소(51)마다, 이벤트 검출부(52)를 마련할 수 있다. 화소 블록(41)의 복수의 화소(51)에서, 이벤트 검출부(52)를 공유하는 경우에는 화소 블록(41)의 단위로 이벤트가 검출되지만, 화소(51)마다, 이벤트 검출부(52)를 마련하는 경우에는 화소(51)의 단위로 이벤트를 검출할 수 있다.
또한, 화소 신호를 출력할 필요 없는 경우에는 화소 블록(41)은 화소 신호 생성부(53)를 마련하지 않고 구성할 수 있다. 화소 블록(41)을 화소 신호 생성부(53)를 마련하지 않고 구성하는 경우에는 AD 변환부(34) 및 전송 트랜지스터(63)를 마련하지 않고, 센서부(21)를 구성할 수 있다. 이 경우, 화소 어레이부(31)의 규모를 억제할 수 있다.
<이벤트 검출부(52)의 구성례>
도 5는 도 3의 이벤트 검출부(52)의 구성례를 도시하는 블록도이다.
이벤트 검출부(52)는 전류 전압 변환부(81), 버퍼(82), 감산부(83), 양자화부(84) 및 전송부(85)를 구비한다.
전류 전압 변환부(81)는 화소(51)로부터의 광 전류(의 합)를 그 광 전류의 대수에 대응하는 전압(이하, 광 전압이라고도 한다)으로 변환하고, 버퍼(82)에 공급한다.
버퍼(82)는 전류 전압 변환부(81)로부터의 광 전압을 버퍼링하고, 감산부(83)에 공급한다.
감산부(83)는 현재의 광 전압과, 현재와 미소 시간만큼 다른 타이밍의 광 전압의 차를 연산하고, 그 차에 대응하는 차신호를 양자화부(84)에 공급한다.
양자화부(84)는 감산부(83)로부터의 차신호를 디지탈 신호로 양자화하고, 차신호의 양자화치를 전송부(85)에 공급한다.
전송부(85)는 양자화부(84)로부터의 차신호의 양자화치에 응하여 이벤트 데이터를 출력부(35)에 전송(출력)한다. 즉, 전송부(85)는 이벤트 데이터의 출력을 요구하는 리퀘스트를 아비터(33)에 공급한다. 그리고, 전송부(85)는 리퀘스트에 대해 이벤트 데이터의 출력을 허가하는 취지의 응답을 아비터(33)로부터 수취하면, 이벤트 데이터를 출력부(35)에 출력한다.
<전류 전압 변환부(81)의 구성례>
도 6은 도 5의 전류 전압 변환부(81)의 구성례를 도시하는 회로도이다.
전류 전압 변환부(81)는 트랜지스터(91 내지 93)로 구성된다. 트랜지스터(91 및 93)로서는 예를 들면, N형의 MOS FET을 채용할 수 있고, 트랜지스터(92)로서는 예를 들면, P형의 MOS(PMOS) FET을 채용할 수 있다.
트랜지스터(91)의 소스는 트랜지스터(93)의 게이트와 접속되고, 트랜지스터(91)의 소스와 트랜지스터(93)의 게이트의 접속점에는 화소(51)로부터의 광 전류가 공급된다. 트랜지스터(91)의 드레인은 전원(VDD)에 접속되고, 그 게이트는 트랜지스터(93)의 드레인에 접속된다.
트랜지스터(92)의 소스는 전원(VDD)에 접속되고, 그 드레인은 트랜지스터(91)의 게이트와 트랜지스터(93)의 드레인의 접속점에 접속된다. 트랜지스터(92)의 게이트에는 소정의 바이어스 전압(Vbias)이 인가된다.
트랜지스터(93)의 소스는 접지된다.
전류 전압 변환부(81)에서, 트랜지스터(91)의 드레인은 전원(VDD)측에 접속되어 있고, 소스 팔로워가 되어 있다. 소스 팔로워가 되어 있는 트랜지스터(91)와, 그 소스에 게이트가 접속되어 있는 트랜지스터(93)에서, 화소(51)로부터의 광 전류는 그 광 전류의 대수에 대응하는 광 전압으로 변환된다.
광 전압은 트랜지스터(91)의 게이트와 트랜지스터(93)의 드레인의 접속점으로부터 버퍼(82)(도 5)에 공급된다.
<감산부(83) 및 양자화부(84)의 구성례>
도 7은 도 5의 감산부(83) 및 양자화부(84)의 구성례를 도시하는 회로도이다.
감산부(83)는 콘덴서(101), 연산 증폭기(102), 콘덴서(103) 및 스위치(104)를 구비한다. 양자화부(84)는 컴퍼레이터(111)를 구비한다.
콘덴서(101)의 일단은 버퍼(82)(도 5)의 출력 단자에 접속되고, 타단은 연산 증폭기(102)의 입력 단자에 접속된다. 따라서, 연산 증폭기(102)의 입력 단자에는 콘덴서(101)를 통하여 광 전압이 입력된다.
연산 증폭기(102)의 출력 단자는 컴퍼레이터(111)의 비반전 입력 단자(+)에 접속된다.
콘덴서(103)의 일단은 연산 증폭기(102)의 입력 단자에 접속되고, 타단은 연산 증폭기(102)의 출력 단자에 접속된다.
스위치(104)는 콘덴서(103)의 양단의 접속을 온/오프하도록 콘덴서(103)에 접속된다. 스위치(104)는 아비터(33)로부터의 리셋 신호에 따라 이벤트 검출 후 등에 온/오프함에 의해 콘덴서(103)의 양단의 접속을 온/오프한다.
스위치(104)를 온했을 때의 콘덴서(101)의 버퍼(82)(도 5)측의 광 전압을 Vinit라고 나타냄과 함께, 콘덴서(101)의 용량(정전 용량)을 C1이라고 나타내는 것으로 한다. 연산 증폭기(102)의 입력 단자는 가상 접지가 되어 있고, 스위치(104)가 온인 경우에 콘덴서(101)에 축적되는 전하(Qinit)는 식 (1)에 의해 표시된다.
Qinit = C1 ×Vinit … (1)
또한, 스위치(104)가 온인 경우에는 콘덴서(103)의 양단은 단락되기 때문에 콘덴서(103)에 축적되는 전하는 제로가 된다.
그 후, 스위치(104)가 오프가 된 경우의 콘덴서(101)의 버퍼(82)(도 5)측의 광 전압을 Vafter이라고 나타내는 것으로 하면, 스위치(104)가 오프가 된 경우에 콘덴서(101)에 축적되는 전하(Qafter)는 식 (2)에 의해 표시된다.
Qafter = C1×Vafter … (2)
콘덴서(103)의 용량을 C2라고 나타냄과 함께, 연산 증폭기(102)의 출력 전압을 Vout라고 나타내는 것으로 하면, 콘덴서(103)에 축적되는 전하(Q2)는 식 (3)에 의해 표시된다.
Q2 = -C2×Vout … (3)
스위치(104)가 오프하기 전후에서, 콘덴서(101)의 전하와 콘덴서(103)의 전하를 합친 총 전하량은 변화하지 않기 때문에 식 (4)가 성립한다.
Qinit = Qafter + Q2 … (4)
식 (4)에 식 (1) 내지 식 (3)을 대입하면, 식 (5)를 얻을 수 있다.
Vout = -(C1/C2)×(Vafter - Vinit) … (5)
식 (5)에 의하면, 감산부(83)에서는 광 전압(Vafter 및 Vinit)의 감산, 즉, 광 전압(Vafter과 Vinit)의 차(Vafter - Vinit)에 대응하는 차신호(Vout)의 산출이 행해진다. 식 (5)에 의하면, 감산부(83)의 감산의 게인은 C1/C2가 된다. 통상, 게인을 최대화하는 것이 바람직하기 때문에 C1을 크게, C2를 작게 설계하는 것이 바람직하다. 한편, C2가 너무 작으면, kTC 노이즈가 증대하고, 노이즈 특성이 악화할 우려가 있기 때문에 C2의 용량 삭감은 노이즈를 허용할 수 있는 범위로 제한된다. 또한, 화소 블록(41)마다 감산부(83)를 포함하는 이벤트 검출부(52)가 탑재되기 때문에 용량(C1이나 C2)에는 면적상의 제약이 있다. 이들을 고려하여 용량(C1 및 C2)의 값이 결정된다.
컴퍼레이터(111)는 감산부(83)로부터의 차신호와, 반전 입력 단자(-)에 인가된 소정의 임계치(전압)(Vth)를 비교한다. 컴퍼레이터(111)는 차신호와 임계치(Vth)와의 비교 결과를 나타내는 예를 들면, H(High) 레벨 또는 L(Low) 레벨을 차신호의 양자화치로서 전송부(85)에 출력한다.
전송부(85)는 양자화부(84)로부터의 차신호의 양자화치에 응하여 이벤트로서의 광량 변화가 발생했다고 인정되는 경우, 즉, 차신호(Vout)가 임계치(Vth)보다 대(또는 소)인 경우에 이벤트의 발생을 나타내는 이벤트 데이터(예를 들면, H 레벨)를 출력부(35)에 출력한다. 예를 들면, 전송부(85)는 양자화부(84)로부터의 차신호의 양자화치를 이벤트 데이터로서 출력부(35)에 출력한다.
출력부(35)는 전송부(85)로부터의 이벤트 데이터에 그 이벤트 데이터가 나타내는 이벤트가 발생한 화소(51)(를 갖는 화소 블록(41))의 위치 정보 및 이벤트가 발생한 시각을 나타내는 시각 정보, 나아가서는 필요에 응하여 이벤트로서의 광량 변화의 극성을 포함하여 출력한다.
이벤트가 발생한 화소(51)의 위치 정보, 이벤트가 발생한 시각을 나타내는 시각 정보, 이벤트로서의 광량 변화의 극성을 포함하는 이벤트 데이터의 데이터 형식으로서는 예를 들면, AER(Address Event Representation)이라고 불리는 데이터 형식을 채용할 수 있다.
또한, 이벤트 검출부(52) 전체의 게인(A)은 전류 전압 변환부(81)의 게인을 CGlog로 하고, 버퍼(82)의 게인을 1로 하고, 양자화부(84)의 게인을 G라고 하면, 다음 식에 의해 표시된다.
A = CGlogC1/C2G(Σiphoto_n) … (6)
iphoto_n은 화소 블록(41)을 구성하는 I×J개의 화소(51) 중의 n번째의 화소(51)의 광 전류를 나타낸다. 식 (6)의 Σ은 n을 1부터 I×J까지의 정수로 변화시켜서 취하는 서메이션을 나타낸다.
또한, 화소(51)에서는 컬러 필터 등의 소정의 광을 투과하는 광학 필터를 마련하는 것 등에 의해 입사광으로서 임의의 광을 수광할 수 있다. 예를 들면, 화소(51)에서, 입사광으로서 가시광을 수광하는 경우, 이벤트 데이터는 시인할 수 있는 피사체가 비치는 화상에서의 화소치의 변화의 발생을 나타낸다. 또한, 예를 들면, 화소(51)에서, 입사광으로서 거리 측정을 위한 적외선이나 밀리미터파 등을 수광하는 경우, 이벤트 데이터는 피사체까지의 거리의 변화의 발생을 나타낸다. 또한, 예를 들면, 화소(51)에서, 입사광으로서 온도의 측정을 위한 적외선을 수광하는 경우, 이벤트 데이터는 피사체의 온도의 변화의 발생을 나타낸다. 본 실시의 형태에서는 화소(51)에서, 입사광으로서 가시광을 수광하는 것으로 한다.
도 8은 도 2의 센서부(21)의 동작의 한 예를 설명하는 타이밍 차트이다.
타이밍(T0)에서, 구동부(32)는 제어 신호(OFGn)를 전부 L 레벨에서 H 레벨로 하여 화소 블록(41) 내의 전 화소(51)의 전송 트랜지스터(62)를 온으로 한다. 이에 의해 화소 블록(41) 내의 전 화소(51)의 광 전류의 합이, 이벤트 검출부(52)에 공급된다. 이때, 전송 신호(TRGn)는 전부 L 레벨이고, 전 화소(51)의 전송 트랜지스터(63)는 오프이다.
예를 들면, 타이밍(T1)에서, 이벤트 검출부(52)는 이벤트를 검출하면, 그 이벤트의 검출에 응하여 H 레벨의 이벤트 데이터를 출력한다.
구동부(32)는 H 레벨의 이벤트 데이터에 응하여 타이밍(T2)에서 제어 신호(OFGn)를 전부 L 레벨로 하여 화소(51)로부터 이벤트 검출부(52)에의 광 전류의 공급을 정지시킨다. 또한, 구동부(32)는 제어 신호(SEL)를 H 레벨로 하고 제어 신호(RST) 및 전송 신호(TRGn)를 일정 기간만큼 H 레벨로 하여 광전 변환 소자(61)의 전하를 전원(VDD)에 배출시킴으로써, 화소(51)를 리셋한다. 구동부(32)는 노광 시간 종료 후에 제어 신호(RST)를 H 레벨로 하여 FD(74)를 리셋한다. 화소 신호 생성부(53)는 FD(74)의 리셋 시의 FD(74)의 전압에 대응하는 화소 신호를 리셋 레벨로서 출력하고, AD 변환부(34)는 그 리셋 레벨을 AD 변환한다.
리셋 레벨의 AD 변환 후, 구동부(32)는 전송 신호(TRG1)를 일정 기간만큼 H 레벨로 하여 이벤트가 검출된 화소 블록(41) 내의 1번째의 화소(51)(의 광전 변환 소자(61))의 광전 변환에 의해 생성된 전하를 FD(74)에 전송시킨다. 화소 신호 생성부(53)는 화소(51)로부터 전하가 전송된 FD(74)의 전압에 대응하는 화소 신호를 신호 레벨로서 출력하고, AD 변환부(34)는 그 신호 레벨을 AD 변환한다.
AD 변환부(34)는 AD 변환 후의 신호 레벨과 리셋 레벨의 차분을 화상(프레임 데이터)의 화소치가 되는 화소 신호로서 출력부(35)에 출력한다.
여기서, 신호 레벨과 리셋 레벨의 차분을 화상의 화소치가 되는 화소 신호로서 구하는 처리는 CDS라고 불린다. CDS는 신호 레벨 및 리셋 레벨의 AD 변환 후에 행하는 것 외에 AD 변환부(34)에서 싱글 슬로프형의 AD 변환이 행해지는 경우에는 리셋 레벨의 AD 변환 결과를 초기치로 하여 신호 레벨의 AD 변환을 행함에 의해 신호 레벨 및 리셋 레벨의 AD 변환과 동시에 행할 수 있다.
화소 블록(41) 내의 1번째의 화소(51)의 화소 신호의 AD 변환 후, 구동부(32)는 전송 신호(TRG2)를 일정 기간만큼 H 레벨로 함으로써, 이벤트가 검출된 화소 블록(41) 내의 2번째의 화소(51)의 화소 신호를 출력시킨다.
센서부(21)에서는 이하, 같은 동작이 행해지고, 이벤트가 검출된 화소 블록(41) 내의 각각의 화소(51)의 화소 신호가 순차적으로 출력된다.
화소 블록(41) 내의 이벤트가 검출된 화소(51)의 화소 신호가 출력되면, 구동부(32)는 제어 신호(OFGn)를 H 레벨로 하여 화소 블록(41) 내의 화소(51)의 전송 트랜지스터(62)를 온으로 하고 이하, 같은 동작이 반복된다.
<이벤트 데이터에 응한 프레임 데이터의 생성>
도 9는 이벤트 데이터에 응하여 프레임 데이터를 생성하는 방법의 예를 설명하는 도면이다.
로직부(22)는 예를 들면, 외부로부터의 지령 등에 응하여 프레임 간격 및 프레임 폭을 설정한다. 여기서, 프레임 간격이란, 이벤트 데이터에 응하여 생성되는 프레임 데이터의 프레임의 간격을 나타낸다. 프레임 폭이란, 1 프레임의 프레임 데이터의 생성에 이용하는 이벤트 데이터의 시간폭을 나타낸다. 로직부(22)가 설정한 프레임 간격 및 프레임 폭을 각각 설정 프레임 간격 및 설정 프레임 폭이라고도 한다.
로직부(22)는 설정 프레임 간격 및 설정 프레임 폭 및 센서부(21)로부터의 이벤트 데이터에 응하여 프레임 형식의 화상 데이터인 프레임 데이터를 생성함에 의해 이벤트 데이터를 프레임 데이터로 변환한다.
즉, 로직부(22)는 설정 프레임 간격마다, 설정 프레임 간격의 선두로부터 설정 프레임 폭 내의 이벤트 데이터에 응하여 프레임 데이터를 생성한다.
지금, 이벤트 데이터가 이벤트가 발생한 시각을 나타내는 시각 정보(이하, 이벤트의 시각이라고도 한다)(ti) 및 이벤트가 발생한 화소(51)(를 갖는 화소 블록(41))의 위치 정보(이하, 이벤트의 위치라고도 한다)로서의 좌표(x, y)를 포함하는 것으로 한다.
도 9에서는 x축, y축 및 시간축(t)으로 구성되는 3차원 (시)공간에서, 이벤트 데이터로서의 점이, 그 이벤트 데이터에 포함되는 이벤트의 시각(t) 및 이벤트의 위치(로서의 좌표)(x, y)에 플롯되어 있다.
즉, 이벤트 데이터에 포함되는 이벤트의 시각(t) 및 이벤트의 위치(x, y)로 표시되는 3차원 공간상의 위치(x, y, t)를 이벤트의 시공간 위치라고 말하는 것으로 하면, 도 9에서는 이벤트 데이터가 이벤트의 시공간 위치(x, y, t)에 점으로서 플롯되어 있다.
로직부(22)는 예를 들면, 외부로부터 프레임 데이터의 생성이 지시된 시각이나, 센서 칩(10)의 전원이 온으로 된 시각 등의 소정의 시각을 프레임 데이터의 생성을 시작하는 생성 개시시각으로 하여 이벤트 데이터에 응한 프레임 데이터의 생성을 시작한다.
지금, 생성 개시시각으로부터 설정 프레임 간격마다의 시간축(t) 방향으로 설정 프레임 폭의 두께(높이)를 갖는 직방체를 프레임 볼륨이라고 말하는 것으로 한다. 프레임 볼륨의 x축 방향 및 y축 방향의 사이즈는 예를 들면, 화소 블록(41) 또는 화소(51)의 x축 방향 및 y축 방향의 개수와 동등하다.
로직부(22)는 설정 프레임 간격마다, 설정 프레임 간격의 선두로부터 설정 프레임 폭의 프레임 볼륨 내의 이벤트 데이터에 응하여(이벤트 데이터를 이용하여), 1 프레임의 프레임 데이터를 생성한다.
프레임 데이터의 생성은 예를 들면, 이벤트 데이터에 포함되는 이벤트의 위치(x, y)의 프레임의 화소(의 화소치)를 백색으로 프레임의 다른 위치의 화소를 그레이 등의 소정의 색으로 세트함으로써 행할 수 있다.
그 외에 프레임 데이터의 생성은 이벤트 데이터가 이벤트로서의 광량 변화의 극성을 포함하는 경우에는 이벤트 데이터에 포함되는 극성을 고려하여 행할 수 있다. 예를 들면, 극성이 정인 경우에는 화소를 백색으로 세트하고, 극성이 부인 경우에는 화소를 흑색으로 세트할 수 있다.
또한, 도 3 및 도 4에서 설명한 바와 같이, 이벤트 데이터를 출력함과 함께, 화소(51)의 화소 신호를 출력하는 경우에는 이벤트 데이터에 응하여 화소(51)의 화소 신호를 이용하여 프레임 데이터를 생성할 수 있다. 즉, 프레임에서, 이벤트 데이터에 포함되는 이벤트의 위치(x, y)의 (화소 블록(41)에 대응하는 블록 내의) 화소를 그 위치(x, y)의 화소(51)의 화소 신호로 세트함과 함께, 다른 위치의 화소를 그레이 등의 소정의 색으로 세트함으로써, 프레임 데이터를 생성할 수 있다.
또한, 프레임 볼륨 내에는 이벤트의 시각(t)이 다르지만, 이벤트의 위치(x, y)가 동일한 이벤트 데이터가 복수 존재하는 경우가 있다. 이 경우, 예를 들면, 이벤트의 시각(t)이 가장 새로운 또는 오래된 이벤트 데이터를 우선시킬 수 있다. 또한, 이벤트 데이터가 극성을 포함하는 경우에는 이벤트의 시각(t)이 다르지만, 이벤트의 위치(x, y)가 동일한 복수의 이벤트 데이터의 극성을 가산하고, 그 가산에 의해 얻어지는 가산치에 응한 화소치를 이벤트의 위치(x, y)의 화소로 세트할 수 있다.
여기서, 프레임 폭과 프레임 간격이 동일한 경우, 프레임 볼륨은 간극 없이 접한 상태가 된다. 또한, 프레임 간격이 프레임 폭보다 큰 경우, 프레임 볼륨은 간극을 두고 나열된 상태가 된다. 프레임 폭이 프레임 간격보다 큰 경우, 프레임 볼륨은 일부가 중복되는 형태로 나열된 상태가 된다.
<본 기술을 적용한 센서 칩>
도 10은 본 기술을 적용한 센서 칩의 한 실시의 형태의 구성례를 도시하는 도면이다.
또한, 도면 중, 도 1의 센서 칩(10)과 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 10의 센서 칩(200)은 도 1의 센서 칩(10)과 마찬가지로 비동기형의 (이미지)센서이고, 센서 다이(11)와 로직 다이(12)가 적층되어 구성된다. 그리고, 센서 다이(11)에는 센서부(201)가 구성되고, 로직 다이(12)에는 로직부(22)가 구성되어 있다.
따라서, 도 10의 센서 칩(200)은 센서 다이(11)와 로직 다이(12)로 구성되고, 로직 다이(12)에 로직부(22)가 구성되어 있는 점에서, 도 1의 센서 칩(10)과 공통된다. 단, 센서 칩(200)은 센서 다이(11)에 센서부(21)에 대신하여 센서부(201)가 구성되어 있는 점에서 센서 칩(10)과 상위하다.
<센서부(201)의 구성례>
도 11은 도 10의 센서부(201)의 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 2의 센서부(21)와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 11에서, 센서부(201)는 구동부(32), 아비터(33), AD 변환부(34), 출력부(35) 및 화소 어레이부(211)를 구비한다.
도 2에서, 예를 들면, 센서부(21)가 화소 어레이부(31)를 가지고, 로직부(22)가 구동부(32) 내지 출력부(35)를 갖는 것으로 하면, 도 11의 센서부(201)는 구동부(32) 내지 출력부(35)를 가지고, 도 2의 센서부(21)는 구동부(32) 내지 출력부(35)를 갖지 않는 점에서, 센서부(201)와 센서부(21)는 상위하다. 또한, 센서부(201)는 화소 어레이부(31)에 대신하여 화소 어레이부(211)를 가지고, 센서부(21)는 화소 어레이부(31)를 갖는 점에서, 센서부(201)와 센서부(21)는 상위하다.
<화소 어레이부(211)의 구성례>
도 12는 도 11의 화소 어레이부(211)의 구성례의 개요를 도시하는 사시도이다.
화소 어레이부(211)는 화소 어레이부(31)와 마찬가지로 복수의 화소(51)가 2차원 격자형상으로 배열되어 구성된다.
화소(51)의 입사광이 입사하는 측에는 소정의 광을 투과하는 투과 기구로서의 광학 필터(221k)가 마련되어 있다.
광학 필터(221k)는 그 광학 필터(22)에 입사하는 입사광 중의 소정의 파장(대)의 광이나, 소정의 편광 방향의 광(편광)을 투과하고, 그 광학 필터(221k)가 마련된 화소(51)에 입사시킨다.
따라서, 화소 어레이부(211)에서, 화소(51)는 그 화소(51)에 마련되어 있는 광학 필터(221k)를 투과한 광을 수광하고, 광전 변환을 행함에 의해 그 광에 대응하는 전기 신호로서의 광 전류를 생성한다.
화소 어레이부(211)는 화소 어레이부(31)와 마찬가지로 이벤트 검출부(52)를 가진다. 단, 화소 어레이부(31)에서는 이벤트 검출부(52)는 화소 블록(41)(도 3)마다 마련되어 있었는데, 화소 어레이부(211)에서는 화소(51)마다 마련되어 있다.
이벤트 검출부(52)는 그 이벤트 검출부(52)가 마련된 화소(51)의 전기 신호로서의 광 전류에 소정의 임계치를 초과하는 변화를 이벤트로서 검출한다.
도 12에서는 광학 필터(221k)로서 광학 필터(2211, 2212, 2213 및 2214)의 4종류가 존재한다. 광학 필터(2211 내지 2214) 는 투과시키는 광의 파장(대)이나 편광 방향이 다르도록 구성된다. 따라서, 광학 필터(2211 내지 2214)를 투과한 광을 수광하는 화소(51) 각각에서는 다른 종류의 광, 즉, 파장이나 편광 방향 등이 다른 광이 수광된다.
광학 필터(2211)는 가로×세로가 2×2 화소 중의 왼쪽 위의 화소(51)의 위치에 마련되고, 광학 필터(2212)는 오른쪽 위의 화소(51)의 위치에 마련되어 있다. 광학 필터(2213)는 왼쪽 아래의 화소(51)의 위치에 마련되고, 광학 필터(2214)는 오른쪽 아래의 화소(51)의 위치에 마련되어 있다.
광학 필터(2211 내지 2214)는 이상과 같은 2×2로 배치된 광학 필터(2211 내지 2214)를 단위로 하여 화소 어레이부(211)에 2차원 격자형상으로 배열된 화소(51)에 반복(주기적으로) 배치되어 있다.
이하, 광학 필터(2211 내지 2214)를 구별한 필요가 없는 경우, 단지, 광학 필터(221)라고도 기재한다.
또한, 광학 필터(221)가 상술한 바와 같이, 어떤 단위로 반복 배치되는 경우의 그 반복의 단위를 반복 단위라고도 한다. 도 12에서는 2×2로 배치된 광학 필터(2211 내지 2214)가 반복 단위이다.
도 12에서는 소정의 광을 투과하는 투과 기구로서 다른 광을 투과하는 2×2로 배치된 광학 필터(2211 내지 2214)(를 반복 단위로 하여 반복 배치된 광학 필터)를 채용했기 때문에 화소 어레이부(211)를 구성하는 각 화소(51)에서는 광학 필터(2211 내지 2214)의 어느 하나를 투과한 광, 즉, 4종류의 광 중의 어느 하나가 수광된다. 투과 기구로서는 화소(51)에서, 4종류의 광 중의 어느 하나가 수광되는 기구 외에 2 또는 3종류의 광 중의 어느 하나가 수광되는 기구, 또는 4종류 이상의 광 중의 어느 하나가 수광되는 기구를 채용할 수 있다.
여기서, 소정의 광을 투과한다는 것은 소정의 광 이외의 광을 차단하는 것이기 때문에 광학 필터(221) 등의 소정의 광을 투과하는 투과 기구는 소정의 광을 차단하는 차단 기구이기도 한다. 또한, 투과 기구는 투과하는 광 또는 차단하는 광을 선택하는 선택 기구라고도 할 수 있다.
화소 어레이부(211)에는 그 외에 게인 조정 기구(222)가 마련되어 있다. 게인 조정 기구(222)는 예를 들면, 투과 기구로서의 광학 필터(221k)가 투과하는 광(의 종류)마다, 이벤트 검출부(52)의 게인을 직접적 또는 간접적(의사적)으로 조정한다. 게인 조정 기구(222)는 투과 기구로서의 광학 필터(221k)가 투과하는 광마다의 이벤트 검출부(52)의 게인의 조정을 센서 칩(200)에서, 피사체를 촬상하는 환경, 예를 들면, 피사체를 조명하는 형광등이나 백열등 등의 광원의 색 온도에 응하여 행할 수 있다. 예를 들면, 피사체를 촬상할 때의 광원의 색 온도에 응하여 투과 기구로서의 광학 필터(221k)가 투과하는 광마다, 각 광의 이벤트의 검출의 감도가 동일하게 되도록 이벤트 검출부(52)의 게인을 조정할 수 있다.
또한, 도 12에서, 게인 조정 기구(222)는 이벤트 검출부(52)의 하부에 나타나고 있는데, 도 12는 화소 어레이부(211)가 게인 조정 기구(222)를 갖는 것을 모식적으로 도시한 도면이고, 게인 조정 기구(222)는 반드시, 이벤트 검출부(52)의 하부에 마련되는 것은 아니다.
또한, 게인 조정 기구(222)에 의한 게인의 조정은 화이트 밸런스 등의 게인의 설정 후에 행할 수 있다.
도 13은 도 12의 화소 어레이부(211)의 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 3의 화소 어레이부(31)와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
화소 어레이부(211)는 복수의 화소 블록(41) 및 반복 단위인 2×2개의 광학 필터(221)을 투과하는 광(의 종류)에 대응하는 4개의 임계치 설정부(2311, 2312, 2313 및 2314)를 구비한다. 화소 블록(41)은 복수로서의 예를 들면, 반복 단위로 대응하는 2×2개의 화소(51)인 화소(511, 512, 513 및 514), 화소(51k)마다 마련된 이벤트 검출부(52)인 이벤트 검출부(521, 522, 523 및 524) 및 화소 신호 생성부(53)를 구비한다. 또한, 화소 블록(41)의 열마다는 화소 블록(41)과 AD 변환부(34)의 ADC를 접속하는 VSL이 배선되어 있다.
따라서, 화소 어레이부(211)는 복수의 화소 블록(41)을 갖는 점, 화소 블록(41)이, 화소(51k), 이벤트 검출부(52k) 및 화소 신호 생성부(53)를 갖는 점 및 화소 블록(41)과 AD 변환부(34)의 ADC를 접속하는 VSL이 배선되어 있는 점에서, 도 3의 화소 어레이부(31)와 공통된다.
단, 화소 어레이부(211)는 화소 블록(41)이 반복 단위로 대응하는 2×2개의 화소(511 내지 514)를 새롭게 갖는 점, 이벤트 검출부(52k)가 화소(51k)마다 마련되어 있는 점 및 임계치 설정부(2311 내지 2314)가 새롭게 마련되어 있는 점에서, 도 3의 화소 어레이부(31)와 상위하다.
따라서, 화소 어레이부(31)(도 3, 도 4)에서는 화소 블록(41)을 구성하는 1 이상의 화소(51)의 광 전류의 합의 변화가 이벤트로서 검출되는 것에 대해 화소 어레이부(211)에서는 이벤트 검출부(521 내지 524)에서, 화소 블록(41) 내의 2×2개의 화소(511 내지 514)의 광 전류의 변화가 각각 이벤트로서 검출된다.
또한, 화소 어레이부(211)에서는 화소 블록(41)의 화소(511 내지 514)의 1 이상에서 이벤트가 발생한 경우, 즉, 이벤트 검출부(521 내지 524)의 어느 하나에 1 이상에서 이벤트가 검출된 경우에 이벤트가 검출된 1 이상의 이벤트 검출부(52k) 각각이 출력하는 이벤트 데이터를 1개의 이벤트 데이터에 통합하여(정리하여) 출력할 수 있다.
임계치 설정부(231k)는 게인 조정 기구(222)의 예이고, 이벤트를 검출할 때에 이용되는 임계치(이하, 이벤트 임계치이라고도 한다)를 투과 기구로서의 광학 필터(221)가 투과하는 광(의 종류)마다 설정한다. 임계치 설정부(231k)는 예를 들면, 외부로부터의 지령에 응하여 또는 외부로부터의 지령에 응하여 도시하지 않은 내장 레지스터에 설정되는 설정치에 응하여 이벤트 임계치를 설정(조정)할 수 있다.
여기서, 광학 필터(221k)는 화소(51k)에 대해 마련되어 있고, 화소(51k)는 그 화소(51k)에 대해 마련된 광학 필터(221k)를 투과한 광을 수광한다.
임계치 설정부(231k)는 광학 필터(221k)를 투과한 광을 수광하는 화소(51k)의 이벤트(화소(51k)의 광 전류의 변화)를 검출할 때에 이용되는 이벤트 임계치(Vth(k))를 설정하고, 화소(51k)의 이벤트를 검출하는 이벤트 검출부(52k)에 공급한다.
이벤트 검출부(52k)는 화소(51k)의 광 전류의 이벤트 임계치(Vth(k))(에 대응하는 임계치)를 초과하는 변화를 이벤트로서 검출한다. 따라서, 화소 어레이부(211)에서는 화소(51k)가 수광하는 광(의 종류)마다 다른 이벤트 임계치(Vth(k))를 설정하고, 이벤트를 검출할 수 있다.
이하, 화소(511 내지 514)를 구별할 필요가 없는 경우, 단지, 화소(51)라고도 기재한다. 마찬가지로 이벤트 검출부(521 내지 524)를 구별할 필요가 없는 경우, 이벤트 검출부(52)라고도 기재하고, 임계치 설정부(2311 내지 2314)를 구별할 필요가 없는 경우, 임계치 설정부(231)라고도 기재한다.
또한, 본 실시의 형태에서는 임계치 설정부(231)가 화소 어레이부(211)에 마련되어 있는데, 임계치 설정부(231)는 화소 어레이부(211)의 외부에 마련할 수 있다. 예를 들면, 임계치 설정부(231)는 센서부(201)의 화소 어레이부(211) 이외의 부분이나, 로직부(22)의 임의의 부분, 그 외에 센서 칩(200)의 외부에 마련할 수 있다.
<화소 블록(41)의 구성례>
도 14는 도 13의 화소 블록(41)의 구성례를 도시하는 회로도이다.
또한, 도면 중, 도 4의 경우와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 14에서, 화소 블록(41)은 도 13에서 설명한 바와 같이, 복수로서의 반복 단위로 대응하는 2×2개의 화소(511 내지 514), 화소(51k)마다 마련된 이벤트 검출부(521 내지 524) 및 화소 신호 생성부(53)를 가진다.
따라서, 도 14의 화소 블록(41)은 화소(51k), 이벤트 검출부(52k) 및 화소 신호 생성부(53)를 갖는 점에서, 도 4의 경우와 공통된다.
단, 도 14의 화소 블록(41)은 이벤트 검출부(52k)가 화소(51k)마다 마련되어 있는 점에서, 도 4의 경우와 상위하다.
화소(51k)는 광전 변환 소자(61), 전송 트랜지스터(62 및 63)를 구비하고, 도 4의 경우와 마찬가지로 구성된다. 화소 신호 생성부(53)는 리셋 트랜지스터(71), 증폭 트랜지스터(72), 선택 트랜지스터(73) 및 FD(74)를 구비하고, 도 4의 경우와 마찬가지로 구성된다.
또한, 화소 블록(41)에서는 이벤트 검출부(52k)와 함께, 화소 신호 생성부(53)도 화소(51k)마다 마련할 수 있다. 이벤트 검출부(52k) 및 화소 신호 생성부(53)를 화소(51k)마다 마련하는 것은 화소 블록(41)를 구성하는 화소(51k)가 1화소인 것과 등가이다.
<이벤트 검출부(52k)의 구성례>
도 15는 도 13 및 도 14의 이벤트 검출부(52k)의 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 5의 경우와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 15에서, 이벤트 검출부(52k)는 전류 전압 변환부(81), 버퍼(82), 감산부(83), 양자화부(84) 및 전송부(85)를 구비한다.
따라서, 도 15의 이벤트 검출부(52k)는 도 5의 경우와 마찬가지로 구성된다.
단, 도 15의 이벤트 검출부(52k)는 임계치 설정부(231k)로부터 양자화부(84)에 이벤트 임계치(Vth(k))가 공급되는 점에서, 임계치 설정부(231k)로부터 양자화부(84)에 이벤트 임계치(Vth(k))가 공급되지 않는 도 5의 경우와 상위하다.
도 16은 도 15의 양자화부(84)의 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 7의 경우와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 16에서, 양자화부(84)는 컴퍼레이터(111)를 가지고, 도 7의 경우와 마찬가지로 구성된다.
단, 도 16의 양자화부(84)에서는 컴퍼레이터(111)의 반전 입력 단자(-)에 임계치 설정부(231k)로부터의 이벤트 임계치(Vth(k))가 공급(인가)된다.
따라서, 도 16의 양자화부(84)에서는 컴퍼레이터(111)에서, 감산부(83)로부터의 차신호와, 임계치 설정부(231k)로부터의 이벤트 임계치(Vth(k))가 비교되고, 그 비교 결과를 나타내는 양자화치가 전송부(85)에 출력된다.
전송부(85)에서는 양자화부(84)의 양자화치에 응하여 차신호(Vout)가 이벤트 임계치(Vth(k))보다 대(또는 소)인 경우에 이벤트의 발생을 나타내는 이벤트 데이터(예를 들면, H 레벨 또는 L 레벨)를 출력부(35)에 출력한다.
따라서, 이벤트 검출부(52k)에서는 이벤트 임계치(Vth(k))가 작은 값으로 설정된 경우, 차신호가 작아도 즉, 화소(51k)의 광 전류의 변화가 작아도 그 광 전류의 작은 변화가 이벤트로서 검출된다. 한편, 이벤트 임계치(Vth(k))가 큰 값으로 설정된 경우, 차신호가 크지 않으면, 즉, 화소(51k)의 광 전류의 변화가 크지 않으면, 광 전류의 변화가 이벤트로서 검출되지 않는다.
이상에서, 이벤트 임계치(Vth(k))를 어떤 값으로 설정하는지에 따라 이벤트 검출부(52k)의 게인을 간접적(실질적)으로 조정할 수 있다. 예를 들면, 이벤트 임계치(Vth(k))를 미리 결정된 디폴트값의 1/2로 설정함에 의해 그 이벤트 임계치(Vth(k))를 이용하는 이벤트 검출부(52k)의 게인을 디폴트값을 이용하는 경우의 2배로 조정할 수 있다. 이 경우, 화소(51k)의 광 전류의 변화를 검출하는 감도가 향상되어 광 전류의 작은 변화를 이벤트로서 검출할 수 있다.
이상과 같이, 이벤트 검출부(52k)에서 이용되는 이벤트 임계치(Vth(k))의 설정에 의해 이벤트 검출부(52k)의 게인을 실질적으로 조정할 수 있고, 이에 의해 이벤트의 검출을 유연하게 행할 수 있다. 즉, 예를 들면, 화소(51k)의 광 전류의 약간의 변화나 큰 변화를 이벤트로서 검출할 수 있다.
<임계치 설정부(231k)의 구성례>
도 17은 임계치 설정부(231k)의 구성례를 도시하는 회로도이다.
도 17의 A는 임계치 설정부(231k)의 제1 구성례를 도시하고 있다.
도 17의 A에서, 임계치 설정부(231k)는 러더 회로(251), 연산 증폭기(252), 전압(E)의 전원, 저항치(Rf)의 저항 및 스위치(sw0 내지 sw3)를 갖는 이른바 러더형의 DA(Digital to Analog) 변환기(250)로 구성된다.
러더 회로(251)는 저항치(R)의 복수의 저항과, 저항치(2R)의 복수의 저항으로 구성되고, 도 17에서, 저항치(2R)의 저항 중의 오른쪽으로부터 2번째 이후의 저항으로부터 우측을 봤을 때에 어느 저항에서 보아도 임피던스가 저항치(R)가 되도록 구성되어 있다. 예를 들면, 오른쪽으로부터 2번째의 저항치(2R)의 저항으로부터 우측을 본 경우, 저항치(2R)의 2개의 저항이 병렬 접속되어 있기 때문에 저항치는 R이 된다. 또한, 예를 들면, 오른쪽으로부터 3번째의 저항치(2R)의 저항으로부터 우측을 본 경우, 저항치(2R)의 저항과, 저항치(R)의 2개의 저항의 직렬 접속, 즉, 저항치(2R)의 저항이 병렬 접속되어 있기 때문에 저항치는 R이 된다. 이하, 마찬가지로 저항치(2R)의 저항 중의 오른쪽으로부터 2번째 이후의 저항으로부터 우측을 봤을 때에 어느 저항에서 보아도 저항치는 저항치(2R)의 2개의 저항이 병렬 접속된 R이 된다.
지금, 전압(E)의 전원로부터 흐르는 전류를 i라고 나타내는 것으로 한다.
상술한 바와 같이, 러더 회로(251)에서는 저항치(2R)의 저항 중의 오른쪽으로부터 2번째 이후의 저항으로부터 우측을 봤을 때에 어느 저항에서 보아도 저항치는 저항치(2R)의 2개의 저항이 병렬 접속된 R이 되기 때문에 왼쪽으로부터 1번째, 2번째, 3번째 및 4번째의 저항치(2R)의 저항에 흐르는 전류는 각각 i/2, i/4, i/8, i/16이 된다. 또한, 전류 i는 식 i=E/R로 표시된다.
스위치(sw#j)는 왼쪽으로부터 4-j번째의 저항치(2R)의 저항(의 일단)에 접속되어 있고, 스위치(sw#j)에 공급되는 제어 비트(b#j)에 응하여 단자(a) 또는 단자(b)를 선택한다. 예를 들면, 스위치(sw#j)는 제어 비트(b#j)가 0인 경우에 단자(a)를 선택하고, 제어 비트(b#j)가 1인 경우에 단자(b)를 선택한다.
단자(a)는 그라운드(어스)에 접속되어 있고, 단자(b)는 연산 증폭기(252)의 반전 입력 단자(-)에 접속되어 있다.
따라서, 스위치(sw#j)가 단자(a)를 선택한 경우, 왼쪽으로부터 4-j번째의 저항치(2R)의 저항에 흐르는 전류는 스위치(sw#j)를 통하여 그라운드에 흐른다. 또한, 스위치(sw#j)가 단자(b)를 선택한 경우, 왼쪽으로부터 4-j번째의 저항치(2R)의 저항에 흐르는 전류는 스위치(sw#j)를 통하여 연산 증폭기(252)의 반전 입력 단자에 공급된다.
연산 증폭기(252)의 비반전 입력 단자(+)는 그라운드에 접속되고, 연산 증폭기(252)의 반전 입력 단자는 스위치(sw#j)의 단자(b) 및 저항치(Rf)의 저항의 일단과 접속되어 있다. 연산 증폭기(252)의 출력 단자는 저항치(Rf)의 저항의 타단과 접속되어 있다.
이상과 같이 구성되는 임계치 설정부(231k)에서는 예를 들면, 외부로부터의 지령으로서의 제어 비트(b#j)에 응하여 스위치(sw#j)가 단자(a) 또는 단자(b)를 선택하고, 스위치(sw#j)의 단자(a) 또는 단자(b)의 선택에 의해 연산 증폭기(252)의 출력 단자(와 그라운드 사이)에 나타나는 전압이, 이벤트 임계치(Vth(k))로 설정된다.
예를 들면, 스위치(sw0)가 단자(b)를 선택하고, 다른 스위치(sw1 내지 sw3)가 단자(a)를 선택한 경우, 가상 접지의 연산 증폭기(252)의 반전 입력 단자측에 흐르는 전류는 i/16이 된다. 이 경우, 이벤트 임계치(Vth(k))는 연산 증폭기(252)의 출력 단자에 나타나는 전압(-i/16×Rf)으로 설정된다.
또한, 예를 들면, 스위치(sw3)가 단자(b)를 선택하고, 다른 스위치(sw0 내지 sw2)가 단자(a)를 선택한 경우, 가상 접지의 연산 증폭기(252)의 반전 입력 단자측에 흐르는 전류는 i/2가 된다. 이 경우, 이벤트 임계치(Vth(k))는 연산 증폭기(252)의 출력 단자에 나타나는 전압(-i/2×Rf)으로 설정된다.
이상과 같이, 제어 비트(b#j)에 의해 스위치(sw#j)의 단자(a) 또는 단자(b)의 선택을 제어함에 의해 이벤트 임계치(Vth(k))를 가변으로 설정할 수 있다.
또한, 임계치 설정부(231k)를 DA 변환기(250)로 구성함에 의해 이벤트 임계치(Vth(k))를 세밀한 폭으로 설정할 수 있고, 이벤트 검출부(52k)의 게인을 세밀하게 조정하는 fine 조정을 행할 수 있다.
도 17의 B는 임계치 설정부(231k)의 제2 구성례를 도시하고 있다.
도 17의 B에서, 임계치 설정부(231k)는 PMOS의 FET(261), 전류원(262), PMOS의 FET(263) 및 저항(264)을 갖는 DA 변환기(260)로 구성된다.
DA 변환기(260)에서, FET(261 및 263)의 소스는 전원(VDD)에 접속되고, FET(261)의 드레인은 전류원(262)에 접속된다.
그리고, FET(261)의 게이트와 FET(263)의 게이트가 접속되고, FET(261)의 드레인은 FET(261)의 게이트와 FET(263)의 게이트의 접속점에 접속된다.
따라서, FET(261) 및 FET(263)은 FET(261)을 미러원(mirror source)으로 함과 함께, FET(263)을 미러처(mirror destination)로 하는 커런트 미러를 구성한다.
미러처의 FET(263)에는 미러원의 FET(261)에 흐르는 전류, 즉, 전류원(262)이 흘리는 전류에 응한 전류(미러비(mirror ratio) 배의 전류)가 흐른다.
미러처의 FET(263)의 드레인에는 일단이 접지된 저항(264)의 타단이 접속된다.
여기서, 도 17의 B에서, 미러처의 FET(263)에 기재되어 있는 화살표는 FET(263)이 복수의 FET이고, 그 복수의 FET가 미러원의 FET(261)에 병렬로 접속되어 있는 것, 즉, 복수의 FET 각각의 게이트가 FET(261)의 게이트에 드레인이 전원(VDD)에 소스가 저항(264)에 각각 접속되어 있는 것을 나타낸다.
또한, 미러처의 FET(263)에 기재되어 있는 화살표는 FET(263)로서의 복수의 FET 중에서, 전류원(262)이 흘리는 전류에 응한 전류를 흘리는 FET(이하, 가동 FET라고도 한다)의 수를 조정할 수 있는 것을 나타낸다.
FET(263)로서의 복수의 FET 중에서, 가동 FET의 수를 조정함에 의해 저항(264)에 흐르는 전류가 변화한다.
이상과 같이 구성되는 임계치 설정부(231k)에서는 예를 들면, 외부로부터의 지령에 응하여 가동 FET의 수가 설정되고, 그 가동 FET이 저항(264)에 흘리는 전류에 의해 생기는 전압 강하가 이벤트 임계치(Vth(k))로 설정된다.
예를 들면, 1개의 가동 FET에 흐르는 전류를 i, 가동 FET의 수를 N, 저항(264)의 저항치를 R이라고, 각각 나타내는 것으로 하면, 이벤트 임계치(Vth(k))는 가동 FET가 저항(264)에 흘리는 전류에 의해 생기는 전압 강하(iRN)로 설정된다.
따라서, 가동 FET의 수(N)에 의해 이벤트 임계치(Vth(k))를 가변으로 설정할 수 있다. 또한, DA 변환기(260)에 의하면, DA 변환기(250)와 마찬가지로 이벤트 임계치(Vth(k))를 세밀한 폭으로 설정할 수 있고, 이벤트 검출부(52k)의 게인을 세밀하게 조정하는 fine 조정을 행할 수 있다.
도 18은 도 10의 센서 칩(200)의 동작의 예를 설명하는 플로우 차트이다.
스텝 S11에서, 게인 조정 기구(222)(도 12)는 이벤트 검출부(52)의 게인을 투과 기구로서의 광학 필터(221)가 투과하는 소정의 광(의 종류)마다 조정하고, 처리는 스텝 S12로 진행된다.
즉, 스텝 S11에서는 예를 들면, 게인 조정 기구(222)로서의 임계치 설정부(231k)가 이벤트 임계치(Vth(k))를 광학 필터(221k)가 투과하는 광(의 종류)마다 설정함으로써, 이벤트 검출부(52k)의 게인을 광학 필터(221k)가 투과하는 광마다 조정한다.
스텝 S12에서는 게인의 조정 후의 이벤트 검출부(52k)가 이벤트가 발생하면, 그 이벤트를 검출하고, 이에 의해 이벤트 데이터와, 이벤트가 검출된 화소(51k)의 화소 신호가 센서부(21)로부터 로직부(22)에 출력된다.
그 후, 처리는 스텝 S12에서 스텝 S13에 진행되고, 로직부(22)는 센서부(21)로부터의 이벤트 데이터에 응하여 동일하게, 센서부(21)로부터의 이벤트 데이터로부터의 화소 신호를 이용하여 프레임 데이터를 생성하는 등의 데이터 처리를 행하고, 데이터 처리 결과를 출력한다.
<광학 필터(221k)로서 CF(301k)를 채용한 경우의 화소 어레이부(211)의 구성례>
도 19는 광학 필터(221k)로서 CF(301k)를 채용한 경우의 화소 어레이부(211)의 구성례의 개요를 도시하는 사시도이다.
또한, 도면 중, 도 12의 경우와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 19에서는 도 12의 광학 필터(2211, 2212, 2213 및 2214)로서 CF(Color Filter)(3011, 3012, 3013 및 3014)가 채용되어 있다.
CF(301k)는 베이어 배열의 OCCF(On Chip Color Filter)이고, CF(3011)는 R(Red)의 광을 CF(3012 및 3013)는 G(Green)의 광을 CF(3014)는 B(Blue)의 광을 각각 투과한다.
이하, CF(3011)를 투과하는 R의 광을 R광이라고도 하고, CF(3012)를 투과하는 G의 광을 G광 또는 GR광이라고도 한다. 또한, CF(3013)를 투과하는 G의 광을 G광 또는 GB광이라고도 하고, CF(3014)를 투과하는 B의 광을 B광이라고도 한다. 또한, CF(3011 내지 3014)를 구별할 필요가 없는 경우, 단지, CF(301)라고도 기재한다.
베이어 배열의 CF(301)에 관해서는 2×2로 배치된 CF(3011 내지 3014)를 반복 단위로 하여 그 반복 단위가 반복 배치되어 있다.
또한, 베이어 배열의 CF(301)에서, 반복 단위를 구성하는 CF(3012 및 3013) 각각을 투과하는 Gr광 및 GB광은 모두, G광으로 동일 종류의 광이라고 할 수 있다. 단, Gr광 및 GB광은 반복 단위를 구성하는 별개의 CF(3012 및 3013) 각각을 투과하는 광이기 때문에 여기서는 다른 종류의 광으로서 취급하는 것으로 한다. 이상과 같은 반복 단위를 구성하는 별개의 CF(3012 및 3013) 각각을 투과하는 Gr광 및 GB광에 관해서는 이상과 같이 다른 종류의 광으로서 취급해도 좋고, 동일 종류의 광으로서 취급해도 좋다.
<화소 어레이부(211)의 구성례>
도 20은 광학 필터(221k)로서 베이어 배열의 CF(301k)를 채용한 경우의 화소 어레이부(211)의 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 13의 경우와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
화소 어레이부(211)는 복수의 화소 블록(41) 및 반복 단위인 2×2개의 광학 필터(221)로서의 CF(301)를 투과하는 광(의 종류)에 대응하는 4개의 임계치 설정부(2311, 2312, 2313 및 2314)를 구비한다. 화소 블록(41)은 복수로서의 예를 들면, 반복 단위에 대응하는 2×2개의 화소(51)인 화소(511, 512, 513 및 514), 화소(51k)마다 마련된 이벤트 검출부(52)인 이벤트 검출부(52k) 및 화소 신호 생성부(53)를 구비한다. 또한, 화소 블록(41)의 열마다에는 화소 블록(41)과 AD 변환부(34)의 ADC를 접속하는 VSL이 배선되어 있다.
따라서, 도 20의 화소 어레이부(211)는 도 13의 경우와 마찬가지로 구성된다.
단, 임계치 설정부(2311)는 CF(3011)를 투과한 R광을 수광하는 화소(511)(이하, R 화소(511)라고도 한다)의 이벤트를 검출할 때에 이용되는 이벤트 임계치(Vth(1))를 설정하고, R 화소(511)의 이벤트를 검출하는 이벤트 검출부(521)에 공급한다. 또한, 임계치 설정부(2312)는 CF(3012)를 투과한 GR광을 수광하는 화소(512)(이하, Gr 화소(512)라고도 한다)의 이벤트를 검출할 때에 이용되는 이벤트 임계치(Vth(2))를 설정하고, Gr 화소(512)의 이벤트를 검출하는 이벤트 검출부(522)에 공급한다. 또한, 임계치 설정부(2313)는 CF(3013)를 투과한 GB광을 수광하는 화소(513)(이하, Gb 화소(513)라고도 한다)의 이벤트를 검출할 때에 이용되는 이벤트 임계치(Vth(3))를 설정하고, Gb 화소(513)의 이벤트를 검출하는 이벤트 검출부(523)에 공급한다. 또한, 임계치 설정부(2314)는 CF(3014)를 투과한 B광을 수광하는 화소(514)(이하, B 화소(514)라고도 한다)의 이벤트를 검출할 때에 이용되는 이벤트 임계치(Vth(4))를 설정하고, B 화소(514)의 이벤트를 검출하는 이벤트 검출부(524)에 공급한다.
도 21은 광학 필터(221k)로서 베이어 배열의 CF(301k)를 채용한 경우의 이벤트의 검출과, 화소 신호의 출력을 설명하는 도면이다.
화소 블록(41)은 베이어 배열의 CF(301k)의 반복 단위에 대응하는 R 화소(511), Gr 화소(512), Gb 화소(513) 및 B 화소(514)를 가진다. 그리고, 화소 블록(41)에서는 그 화소 블록(41)을 구성하는 R 화소(511), Gr 화소(512), Gb 화소(513) 및 B 화소(514) 중의 1 이상의 화소(51k)의 이벤트가 검출된 경우에 화소 블록(41)을 구성하는 R 화소(511), Gr 화소(512), Gb 화소(513) 및 B 화소(514) 모든 화소 신호가 노광 시간 후에(VSL에) 출력된다.
도 21에서는 R 화소(511)의 이벤트가 검출되고, 그 R 화소(511)를 갖는 화소 블록(41)을 구성하는 R 화소(511), Gr 화소(512), Gb 화소(513) 및 B 화소(514) 모든 화소 신호가 출력되어 있다.
이상과 같이, 화소 블록(41)이, 베이어 배열의 CF(301k)의 반복 단위에 대응하는 R 화소(511), Gr 화소(512), Gb 화소(513) 및 B 화소(514)를 가지고, 그 R 화소(511), Gr 화소(512), Gb 화소(513) 및 B 화소(514) 중의 1 이상의 화소(51k)의 이벤트가 검출된 경우에 화소 블록(41)을 구성하는 R 화소(511), Gr 화소(512), Gb 화소(513) 및 B 화소(514) 모든 화소 신호를 출력함으로써, 이벤트가 발생한 화소(51k)에서 광(피사체 광)이 수광된 피사체의 색채를 재현할 수 있다.
즉, 광학 필터(221k)로서 베이어 배열의 CF(301k)를 채용한 경우, 화소 신호를 이용하여 피사체의 색채를 재현한 프레임 데이터를 생성하기 위해서는 베이어 배열의 CF(301k)의 반복 단위에 대응하느 R 화소(511), Gr 화소(512), Gb 화소(513) 및 B 화소(514) 모든 화소 신호가 필요해진다.
따라서, 예를 들면, R 화소(511)의 이벤트가 검출된 경우에 그 이벤트가 검출된 R 화소(511)의 화소 신호만을 출력하는 경우에는 프레임 데이터에서, 색채를 재현할 수 없고, 색 어긋남이 생긴다.
화소 블록(41)을 반복 단위에 대응하는 화소(511 내지 514)로 구성하고, 그 화소(511 내지 514) 중의 어느 하나에서 이벤트가 발생한 경우라도 반복 단위에 대응하는 화소(511 내지 514)의 화소 신호를 출력함으로써, 프레임 데이터에서, 피사체의 색채를 재현할 수 있고, 색 어긋남이 일어나는 것을 억제할 수 있다.
또한, 광학 필터(221k)로서 베이어 배열의 CF(301k)를 채용한 경우에 도 3과 마찬가지로 화소(511 내지 514)에서 각각 수광되는 R광, GR광, GB광 및 B광에 대응하는 광 전류의 변화의 합이 이벤트 임계치를 초과하고 있는 것을 이벤트로서 검출하는 것과, 백색광에 대응하는 광 전류가 이벤트 임계치를 초과하고 있는 것을 이벤트로서 검출하는 것, 즉, CF(301) 없는 상태에서 이벤트를 검출하는 것과는 등가이다.
<이벤트 임계치(Vth(k))의 설정에 의한 게인의 조정>
도 22는 이벤트 임계치(Vth(k))의 설정에 의해 이벤트 검출부(52k)의 게인이 (실질적으로) 조정되는 것을 설명하는 도면이다.
예를 들면, 지금, R 화소(511), Gr 화소(512), Gb 화소(513) 및 B 화소(514)가 각각 R광, GR광, GB광 및 B광에 대해 동일한 감도를 가지고, 동일한 광량의 R광, GR광, GB광 및 B광을 수광한 경우에 동일한 화소 신호(광 전류에 대응하는 광 전압)가 생성되는 것으로 한다.
광학 필터(221k)로서 베이어 배열의 CF(301k)를 채용한 센서 칩(200)에서, 전경으로서 동일 휘도의 적색의 동체(動體), 녹색의 동체 및 청색의 동체가 존재하는 장면을 촬상한 경우, 각 동체의 윤곽 부분의 광을 수광한 화소(51)의 화소 신호는 (개략) 같은 변화량만큼 변화한다.
즉, 적색의 동체의 윤곽 부분의 광을 수광한 R 화소(511)의 화소 신호, 녹색의 동체의 윤곽 부분의 광을 수광한 Gb 화소(512) 및 Gr 화소(513)의 화소 신호 및 청색의 동체의 윤곽 부분의 광을 수광한 B 화소(514)의 화소 신호는 동일한 변화량만큼 변화한다.
따라서, 이벤트 임계치(Vth(1) 내지 Vth(4))를 R광, GR광, GB광 및 B광의 각각마다 설정할 수 없고, 이벤트 임계치(Vth(1) 내지 Vth(4))가 미리 결정된 일정치에 고정되는 경우에는 도 22의 좌측에 도시하는 바와 같이, 적색의 동체의 윤곽 부분의 광을 수광한 R 화소(511), 녹색의 동체의 윤곽 부분의 광을 수광한 Gb 화소(512) 및 Gr 화소(513) 및 청색의 동체의 윤곽 부분의 광을 수광한 B 화소(514)의 모두에 관해, 이벤트가 검출되고, H 레벨의 이벤트 데이터가 출력된다(또는 적색의 동체의 윤곽 부분의 광을 수광한 R 화소(511), 녹색의 동체의 윤곽 부분의 광을 수광한 Gb 화소(512) 및 Gr 화소(513) 및 청색의 동체의 윤곽 부분의 광을 수광한 B 화소(514)의 모두에 관해, 이벤트가 검출되지 않는다).
이상과 같이, R 화소(511), Gr 화소(512), Gb 화소(513) 및 B 화소(514)가 각각 R광, GR광, GB광 및 B광에 대해 동일한 감도를 가지고, 이벤트 임계치(Vth(1) 내지 Vth(4))가 미리 결정된 일정치에 고정되는 경우에는 동일 휘도의 적색의 동체, 녹색의 동체 및 청색의 동체에 관해서는 어느 색의 동체에 대해서도 이벤트가 검출된다(또는 이벤트가 검출되지 않는다).
한편, 이벤트 임계치(Vth(1) 내지 Vth(4))를 R광, GR광, GB광 및 B광의 각각마다 설정할 수 있는 경우에는 예를 들면, 도 22의 우측에 도시한 바와 같이, 이벤트 임계치(Vth(1))를 소정의 디폴트값으로 설정함과 함께, 이벤트 임계치(Vth(2) 내지 Vth(4))를 디폴트값보다 큰 값으로 설정함으로써, 적색의 동체의 윤곽 부분의 광을 수광한 R 화소(511)에 관해서는 이벤트가 검출되고, H 레벨의 이벤트 데이터가 출력되지만, 녹색의 동체의 윤곽 부분의 광을 수광한 Gb 화소(512) 및 Gr 화소(513) 및 청색의 동체의 윤곽 부분의 광을 수광한 B 화소(514)에 관해서는 이벤트가 검출되지 않는다.
따라서, 이벤트 임계치(Vth(1) 내지 Vth(4))를 R광, GR광, GB광 및 B광의 각각마다 설정함에 의해 실질적으로 화소(51)의 특정한 색의 광에 대한 감도가 조정되고, 특정한 색의 광의 이벤트(특정한 광에 대응하는 화소 신호의 변화)를 검출하는 이벤트 검출부(52)의 게인을 조정할 수 있다.
예를 들면, 상술한 바와 같이, 이벤트 임계치(Vth(1))를 소정의 디폴트값으로 설정함과 함께, 이벤트 임계치(Vth(2) 내지 Vth(4))를 디폴트값보다 큰 값으로 설정함으로써, 적색의 동체의 윤곽 부분의 광을 수광한 R 화소(511)에 관해서는 이벤트가 검출되고, 녹색의 동체의 윤곽 부분의 광을 수광한 Gb 화소(512) 및 Gr 화소(513) 및 청색의 동체의 윤곽 부분의 광을 수광한 B 화소(514)에 관해서는 이벤트가 검출되지 않게 된다.
따라서, 센서 칩(200)을 물체의 검출에 적용하는 경우에 그 검출의 검출 대상 이외의 물체인 비검출 대상의 색을 미리 알고 있을 때에는 그 비검출 대상의 색의 광의 이벤트의 검출에 이용하는 이벤트 임계치를 큰 값으로 설정함에 의해 비검출 대상이 촬상되었을 때에 불필요한 노이즈가 되는 이벤트가 검출되는 것을 억제할 수 있다.
한편, 검출 대상의 색을 미리 알고 있을 때에는 그 검출 대상의 색의 광의 이벤트의 검출에 이용하는 이벤트 임계치를 작은 값으로 설정함에 의해 검출 대상이 촬상되었을 때에 이벤트가 검출되기 쉽게 할 수 있다.
도 23은 이벤트 임계치(Vth(k))의 설정에 의해 이벤트 검출부(52k)의 게인이 조정되는 것을 설명하는 도면이다.
예를 들면, 지금, R 화소(511), Gr 화소(512), Gb 화소(513) 및 B 화소(514)가 각각 R광, GR광, GB광 및 B광에 대해 다른 감도를 갖는 것으로 한다.
이 경우, 광학 필터(221k)로서 베이어 배열의 CF(301k)를 채용한 센서 칩(200)에서, 전경으로서 적색의 동체, 녹색의 동체 및 청색의 동체가 존재하는 장면을 촬상했을 때에 적색의 동체, 녹색의 동체 및 청색의 동체의 휘도가 동일해도 각 동체의 윤곽 부분의 광을 수광한 화소(51)의 화소 신호의 변화량은 도 23의 좌측에 도시하는 바와 같이, 화소(51)의 감도에 응하여 다르다.
즉, 적색의 동체의 윤곽 부분의 광을 수광한 R 화소(511)의 화소 신호, 녹색의 동체의 윤곽 부분의 광을 수광한 Gb 화소(512) 및 Gr 화소(513)의 화소 신호 및 청색의 동체의 윤곽 부분의 광을 수광한 B 화소(514)의 화소 신호 각각의 변화량은 동일하게 되지 않는다.
예를 들면, Gr 화소(512) 및 Gb 화소(513)의 (G광에 대한) 감도가 높고, R 화소(511)의 (R광에 대한) 감도 및 B 화소(514)의 (B광에 대한) 감도가 낮은 경우에는 Gr 화소(512) 및 Gb 화소(513)의 화소 신호의 변화는 크고, R 화소(511) 및 B 화소(514)의 화소 신호의 변화는 작아진다.
따라서, 이벤트 임계치(Vth(1) 내지 Vth(4))를 R광, GR광, GB광 및 B광의 각각마다 설정할 수 없고, 이벤트 임계치(Vth(1) 내지 Vth(4))가 미리 결정된 일정치로 고정되는 경우에는 도 23의 좌측에 도시되는 바와 같이, 녹색의 동체의 윤곽 부분의 광을 수광한 Gb 화소(512) 및 Gr 화소(513)에 관해서는 이벤트가 검출되고, H 레벨의 이벤트 데이터가 출력되지만, 적색의 동체의 윤곽 부분의 광을 수광한 R 화소(511), 청색의 동체의 윤곽 부분의 광을 수광한 B 화소(514)에 관해서는 이벤트가 검출되지 않는다.
이상과 같이, R 화소(511), Gr 화소(512), Gb 화소(513) 및 B 화소(514)가 각각 R광, GR광, GB광 및 B광에 대해 다른 감도를 가지고, 이벤트 임계치(Vth(1) 내지 Vth(4))가 미리 결정된 일정치로 고정되는 경우에는 동체의 휘도가 동일해도 동체의 색에 따라 이벤트가 검출될 때와, 검출되지 않을 때가 생긴다.
한편, 이벤트 임계치(Vth(1) 내지 Vth(4))를 R광, GR광, GB광 및 B광의 각각마다 설정할 수 있는 경우에는 예를 들면, 도 23의 우측에 도시되는 바와 같이, 이벤트 임계치(Vth(2)) 및 Vth(3)를 소정의 디폴트값으로 설정함과 함께, 이벤트 임계치(Vth(1)) 및 Vth(4)를 디폴트값보다 작은 값으로 설정함으로써, 감도가 높은 Gb 화소(512) 및 Gr 화소(513) 및 감도가 낮은 R 화소(511) 및 B 화소(514)의 어느 것에 대해서도 이벤트가 검출되고, H 레벨의 이벤트 데이터가 출력된다.
따라서, 이벤트 임계치(Vth(1) 내지 Vth(4))를 R광, GR광, GB광 및 B광의 각각마다 설정함에 의해 실질적으로 화소(51)의 특정한 색의 광에 대한 감도가 조정되고, 특정한 색의 광의 이벤트를 검출하는 이벤트 검출부(52)의 게인을 조정할 수 있다.
이상과 같이, R광, GR광, GB광 및 B광의 각각마다, 이벤트 임계치(Vth(1) 내지 Vth(4))를 설정함에 의해 이벤트 검출부(52)의 게인을 조정함으로써, 이벤트의 검출을 유연하게 행할 수 있다.
예를 들면, 센서 칩(200)에서, 소정의 색의 광의 변화를 이벤트로서 검출하기 쉽게(엔한스)(부스트) 할 수 있다. 또한, 배경이 약간 움직이는 것 등에 의해 의도하지 않는 이벤트(페이크(fake) 이벤트)가 검출되는 것을 억제하는 것이나, 특정한 색의 검출 대상이 움직이는 것에 의한 이벤트를 검출하기 쉽게 하여 검출 대상의 검출률을 향상시킬 수 있다.
또한, R, G, B의 광 등의 파장이 다른 광마다, 화소(51)의 감도가 다른 경우에는 각 파장의 광에 관해, 동일한 광량으로 이벤트가 검출되도록 이벤트 임계치(Vth(1) 내지 Vth(4))를 설정함으로써, 이벤트의 검출에 관해, 각 파장의 광을 수광하는 화소(51)의 감도를 보상할 수 있다.
또한, 본 실시의 형태에서는 화소 블록(41)을 반복 단위에 대응하는 2×2개의 화소(51)로 구성하는 것으로 했지만, 화소 블록(41)은 동일 종류의 광, 예를 들면, 동일한 색의 광을 수광하는 복수의 화소(51)로 구성할 수 있다. 이 경우, 화소 블록(41)에서, 이벤트 검출부(52)는 도 13 등에 도시한 바와 같이, 화소(51)마다 마련할 필요는 없고, 도 3에 도시한 바와 같이, 화소 블록(41) 내의 복수의 화소(51)에서, 1개의 이벤트 검출부(52)를 공유할 수 있다. 화소 블록(41)을 동일 종류의 광을 수광하는 복수의 화소(51)로 구성하는 경우에는 그 복수의 화소(51) 각각의 이벤트의 검출에 이용되는 이벤트 임계치는 동일해지기 때문이다.
또한, 화소 블록(41)에서는 그 화소 블록(41) 내의 복수의 화소(511 내지 514) 각각의 전송 트랜지스터(62)를 시분할로 온으로 하고 그 복수의 화소(511 내지 514) 각각의 광 전류를 시분할로 이벤트 검출부(52)에 공급하고, 복수의 화소(511 내지 514)의 이벤트를 시분할로 검출할 수 있다. 이 경우, 화소 블록(41)에서는 도 3의 경우와 마찬가지로 화소 블록(41) 내의 복수의 화소(511 내지 514)에서, 1개의 이벤트 검출부(52)를 공유할 수 있다. 또한, 이 경우, 화소 어레이부(211)(도 20)에서는 임계치 설정부(231)를 1개만 마련하고, 그 1개의 임계치 설정부(231)에서, 이벤트 임계치(Vth(1) 내지 Vth(4))를 시분할로 설정하고, 화소 블록(41) 내의 복수의 화소(11 내지 514) 에서 공유되는 1개의 이벤트 검출부(52)에 공급함으로써, 이벤트 검출부(52)의 게인을 R광, GR광, GB광 및 B광의 각각마다 조정할 수 있다.
또한, 본 실시의 형태에서는 Gr광 및 GB광을 다른 종류의 광으로서 취급하고, GR광의 이벤트를 검출할 때의 이벤트 임계치(Vth(2))와, GB광의 이벤트를 검출할 때의 이벤트 임계치(Vth(3))를 별개로 설정하는 것으로 했지만, Gr광 및 GB광에 관해서는 동일 종류의 광(G광)으로서 취급하고, 이벤트 임계치(Vth(2)) 및 이벤트 임계치(Vth(3))로서는 동일한 값을 설정할 수 있다. 이 경우, 이벤트 임계치(Vth(2))를 설정하는 임계치 설정부(2312) 및 이벤트 임계치(Vth(3))를 설정하는 임계치 설정부(2313)는 1개의 임계치 설정부로 구성할 수 있다.
<CF(301)의 배열>
도 24는 CF(301)의 배열의 예를 도시하는 도면이다.
CF(301)의 배열로서는 도 24의 A나, 도 24의 B, 도 24의 C에 도시하는 배열을 채용할 수 있다. 또한, 도 24에서, R은 R광을 투과하는 CF(301)를 나타내고, G, Gr, Gb는 G광을 투과하는 CF(301)를 나타내고, B는 B광을 투과하는 CF(301)를 나타낸다.
도 24의 A는 2×2개를 반복 단위로 하는 베이어 배열을 도시하고 있다.
도 24의 B는 6×6개를 반복 단위로 하는 배열을 도시하고 있다. 도 23의 B의 배열은 예를 들면, 후지필름사의 이미지 센서 X-Trans CMOS에 채용되어 있다.
도 24의 C는 4×4개를 반복 단위로 하는 quadra 배열을 도시하고 있다.
화소 블록(41)은 이상과 같은 다양한 배열의 CF(301)의 반복 단위에 대응하는 화소(51)로 구성할 수 있다.
도 25는 소정의 색의 광을 투과하는 투과 기구의 예를 도시하는 도면이다.
소정의 색의 광을 투과하는 투과 기구로서는 CF(301) 외에 광전 변환 소자(61)를 B층, G층 및 R층의 3층으로 배치하고, 그 B층, G층 및 R층에서, B광, G광 및 R광을 각각 수광하는 층구조를 채용할 수 있다.
투과 기구로서 층구조를 채용하는 경우에는 1화소에서, R, G, B의 색을 재현할 수 있다. 이벤트 임계치는 R광, G광 및 B광 각각마다 설정할 수 있다.
투과 기구로서의 층구조는 예를 들면, Foveon사의 이미지 센서 Foveon X3에 채용되어 있다. 투과 기구로서의 층구조는 반복 단위가 1×1개의 CF라고 파악할 수 있다.
<광학 필터(221k)로서 편광 필터(331k)를 채용한 경우의 화소 어레이부(211)의 구성례>
도 26은 광학 필터(221k)로서 편광 필터(331k)를 채용한 경우의 화소 어레이부(211)의 구성례의 개요를 도시하는 사시도이다.
또한, 도면 중, 도 12의 경우와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 26에서는 도 12의 광학 필터(2211, 2212, 2213 및 2214)로서 편광 필터(3311, 3312, 3313 및 3314)가 채용되어 있다.
편광 필터(331k)는 소정의 편광 방향의 광(편광)을 투과하는 필터이고, 예를 들면, 편광 필터(3311)는 수평 방향의 편광 방향의 광(이하, 제1 편광이라고도 한다)을 편광 필터(3312)는 좌측으로 비스듬한 상방향의 편광 방향의 광(이하, 제2 편광이라고도 한다)을 편광 필터(3313)는 우측으로 비스듬한 상방향의 편광 방향의 광(이하, 제3 편광이라고도 한다)을 편광 필터(3314)는 수직 방향의 편광 방향의 광(이하, 제4 편광이라고도 G한다)을 각각 투과한다.
이하, 편광 필터(3311 내지 3314)를 구별할 필요가 없는 경우, 단지, 편광 필터(331)라고도 기재한다.
편광 필터(331)에 관해서는 2×2로 배치된 편광 필터(3311 내지 3314)를 반복 단위로 하여 그 반복 단위가 반복 배치되어 있다.
<화소 어레이부(211)의 구성례>
도 27은 광학 필터(221k)로서 편광 필터(331k)를 채용한 경우의 화소 어레이부(211)의 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 13의 경우와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
화소 어레이부(211)는 복수의 화소 블록(41) 및 반복 단위인 2×2개의 광학 필터(221)으로서의 편광 필터(331)를 투과하는 광(의 종류)에 대응하는 4개의 임계치 설정부(2311, 2312, 2313 및 2314)를 구비한다. 화소 블록(41)은 복수로서의 예를 들면, 반복 단위에 대응하는 2×2개의 화소(51)인 화소(511, 512, 513 및 514), 화소(51k)마다 마련된 이벤트 검출부(52k) 및 화소 신호 생성부(53)를 구비한다. 또한, 화소 블록(41)의 열마다는 화소 블록(41)과 AD 변환부(34)의 ADC를 접속하는 VSL이 배선되어 있다.
따라서, 도 27의 화소 어레이부(211)는 도 13의 경우와 마찬가지로 구성된다.
단, 임계치 설정부(2311)는 편광 필터(3311)를 투과한 제1 편광을 수광하는 화소(511)의 이벤트를 검출할 때에 이용되는 이벤트 임계치(Vth(1))를 설정하고, 화소(511)의 이벤트를 검출하는 이벤트 검출부(521)에 공급한다. 또한, 임계치 설정부(2312)는 편광 필터(3312)를 투과한 제2 편광을 수광하는 화소(512)의 이벤트를 검출할 때에 이용되는 이벤트 임계치(Vth(2))를 설정하고, 화소(512)의 이벤트를 검출하는 이벤트 검출부(522)에 공급한다. 또한, 임계치 설정부(2313)는 편광 필터(3313)를 투과한 제3 편광을 수광하는 화소(513)의 이벤트를 검출할 때에 이용되는 이벤트 임계치(Vth(3))를 설정하고, 화소(513)의 이벤트를 검출하는 이벤트 검출부(523)에 공급한다. 또한, 임계치 설정부(2314)는 편광 필터(3314)를 투과한 제4 편광을 수광하는 화소(514)의 이벤트를 검출할 때에 이용되는 이벤트 임계치(Vth(4))를 설정하고, 화소(514)의 이벤트를 검출하는 이벤트 검출부(524)에 공급한다.
이상과 같이, 화소(51)에서 수광하는 편광(의 편광 방향)마다, 이벤트 임계치(Vth(1) 내지 Vth(4))를 설정하는 경우에도 이벤트 검출부(52)의 게인을 조정하고, 이벤트의 검출을 유연하게 행할 수 있다.
<양자화부(84)의 다른 구성례>
도 28은 도 15의 양자화부(84)의 다른 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 16의 경우와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 28에서, 양자화부(84)는 컴퍼레이터(111 및 112)를 가진다.
따라서, 도 28의 양자화부(84)는 컴퍼레이터(111)를 갖는 점에서, 도 16의 경우와 공통된다. 단, 도 28의 양자화부(84)는 컴퍼레이터(112)를 새롭게 갖는 점에서, 도 16의 경우와 상위하다.
도 28의 양자화부(84)를 갖는 이벤트 검출부(52k)(도 15)에서는 이벤트 외에 이벤트로서의 광량 변화의 극성도 검출된다.
즉, 양자화부(84)가 도 28에 도시하는 바와 같이 구성되는 경우, 임계치 설정부(231k)는 도 17의 DA 변환기(250 또는 260)를 2개 가지고, 그 2개의 DA 변환기(250 또는 260)에 의해 정의 극성의 이벤트를 검출하기 위한 이벤트 임계치(Vth(k))(H) 및 부의 극성의 이벤트를 검출하기 위한 이벤트 임계치(Vth(k))(L)(<Vth(k)(H))를 설정한다. 그리고, 임계치 설정부(231k)는 이벤트 임계치(Vth(k))(H)를 컴퍼레이터(111)에 공급함과 함께, 이벤트 임계치(Vth(k))(L)를 컴퍼레이터(112)에 공급한다.
도 28의 양자화부(84)에서는 컴퍼레이터(111)는 감산부(83)로부터의 차신호와, 임계치 설정부(231k)로부터의 이벤트 임계치(Vth(k))(H)를 비교하고, 그 비교 결과를 나타내는 양자화치(H)를 전송부(85)에 출력한다. 또한, 컴퍼레이터(112)는 감산부(83)로부터의 차신호와, 임계치 설정부(231k)로부터의 이벤트 임계치(Vth(k))(L)를 비교하고, 그 비교 결과를 나타내는 양자화치(L)를 전송부(85)로 출력한다.
전송부(85)(도 15)는 양자화부(84)의 양자화치(H)에 응하여 차신호(Vout)가 이벤트 임계치(Vth(k))(H)보다 큰 경우에 정극성의 이벤트의 발생을 나타내는 이벤트 데이터(예를 들면, H 레벨의 펄스)를 출력부(35)로 출력한다.
또한, 전송부(85)는 양자화부(84)의 양자화치(L)에 응하여 차신호(Vout)가 이벤트 임계치(Vth(k))(L)보다 작은 경우에 부극성의 이벤트의 발생을 나타내는 이벤트 데이터(예를 들면, L 레벨의 펄스)를 출력부(35)로 출력한다.
또한, 컴퍼레이터(111)는 예를 들면, 도 28에 도시하는 바와 같이, 소스가 전원(VDD)에 접속된 PMOS의 FET(121)의 드레인과, 소스가 접지된 NMOS의 FET(122)의 드레인을 접속함에 의해 구성할 수 있다. 이 경우, 차신호를 FET(121)의 게이트에 공급함과 함께, 이벤트 임계치(Vth(k))(H)를 FET(122)의 게이트에 공급하고, FET(121)의 드레인과 FET(122)의 드레인의 접속점의 전압을 양자화치(H)로서 출력할 수 있다.
마찬가지로 컴퍼레이터(112)는 예를 들면, 도 28에 도시하는 바와 같이, 소스가 전원(VDD)에 접속된 PMOS의 FET(131)의 드레인과, 소스가 접지된 NMOS의 FET(132)의 드레인을 접속함에 의해 구성할 수 있다. 이 경우, 차신호를 FET(131)의 게이트에 공급함과 함께, 이벤트 임계치(Vth(k))(L)를 FET(132)의 게이트에 공급하고, FET(131)의 드레인과 FET(132)의 드레인의 접속점의 전압을 양자화치(L)로서 출력할 수 있다.
도 29는 임계치 설정부(231k)가 설정하는 이벤트 임계치(Vth(k))(H) 및 Vth(k)(L)의 예와, 양자화부(84)가 출력하는 양자화치(H) 및 양자화치(L)의 예를 도시하는 도면이다.
도 29의 A는 이벤트 임계치(Vth(k))(H)가 임계치(VH0)에 설정됨과 함께, 이벤트 임계치(Vth(k))(L)가 임계치(VL0)로 설정되는 경우를 나타내고 있다.
도 29의 B는 이벤트 임계치(Vth(k))(H)가 임계치(VH1)(<VH0)로 설정됨과 함께, 이벤트 임계치(Vth(k))(L)가 임계치(VL1)(>VL0)로 설정되는 경우를 나타내고 있다.
임계치 설정부(231k)는 예를 들면, 정의 극성의 이벤트를 검출하기 위한 이벤트 임계치(Vth(k))(H)를 임계치(VH0 및 VH1) 중 큰 쪽의 임계치(VH0)로 설정하는 경우, 부의 극성의 이벤트를 검출하기 위한 이벤트 임계치(Vth(k))(L)를 임계치(VL0 및 VL1) 중 작은 쪽의 임계치(VL0)로 설정한다.
또한, 임계치 설정부(231k)는 예를 들면, 이벤트 임계치(Vth(k))(H)를 임계치(VH0 및 VH1) 중 작은 쪽의 임계치(VH1)로 설정하는 경우, 이벤트 임계치(Vth(k))(L)를 임계치(VL0 및 VL1) 중 큰 쪽의 임계치(VL1)로 설정한다.
도 29의 A에 도시하는 바와 같이, 이벤트 임계치(Vth(k)(H) 및 Vth(k)(L))가 임계치(VH0 및 VL0)로 각각 설정되어 있는 경우, 차신호가 임계치(VL0)보다 작아지면(휘도가 밝게 되도록 변화하면), 양자화치(L)는 L 레벨에서 H 레벨이 되고, 차신호가 임계치(VH0)보다 커지면(휘도가 어둡게 되도록 변화하면), 양자화치(H)는 H 레벨에서 L 레벨이 된다. 그리고, 소정 기간 경과 후에 양자화치(L) 및 양자화치(H)는 원래 레벨로 리셋된다.
도 29의 B에 도시하는 바와 같이, 이벤트 임계치(Vth(k)(H) 및 Vth(k)(L))가 임계치(VH1 및 VL1)로 각각 설정되어 있는 경우, 차신호가 임계치(VL1)보다 작아지면, 양자화치(L)는 L 레벨에서 H 레벨이 되고, 차신호가 임계치(VH1)보다 커지면, 양자화치(H)는 H 레벨에서 L 레벨이 된다. 그리고, 소정 기간 경과 후에 양자화치(L) 및 양자화치(H)는 원래 레벨로 리셋된다.
예를 들면, VH1=VH0/2, VL0=VL1/2인 경우, 이벤트 임계치(Vth(k)(H) 및 Vth(k)(L))가 임계치(VH1 및 VL1)로 각각 설정되었을 때의 이벤트 검출부(52k)의 게인은 이벤트 임계치(Vth(k)(H) 및 Vth(k)(L))가 임계치(VH0 및 VL0)로 각각 설정되었을 때의 2배로 실질적으로 조정된다.
<이벤트 검출부(52k)의 다른 구성례>
도 30은 도 13 및 도 14의 이벤트 검출부(52k)의 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 15의 경우와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 30에서, 이벤트 검출부(52k)는 전류 전압 변환부(81), 버퍼(82), 감산부(83), 양자화부(84) 및 전송부(85)를 구비한다.
따라서, 도 30의 이벤트 검출부(52k)는 도 15의 경우와 마찬가지로 구성된다.
단, 도 30에서는 임계치 설정부(231k)는 이벤트 임계치(Vth(k))를 설정함과 함께, 또는 이벤트 임계치(Vth(k))를 설정하는 것에 대신하여 감산부(83)가 출력하는 차신호의 기준이 되는 기준 전압을 이벤트 임계치(Vth(k))를 설정하는 경우와 마찬가지로 설정하여 감산부(83)에 공급한다.
감산부(83)는 임계치 설정부(231k)로부터의 기준 전압을 기준으로 하는 전압의 차신호를 출력한다.
도 31은 도 30의 감산부(83)가 갖는 연산 증폭기(102)의 구성례를 도시하는 회로도이다.
즉, 감산부(83)는 도 7에 도시한 바와 같이, 콘덴서(101), 연산 증폭기(102), 콘덴서(103) 및 스위치(104)로 구성된다. 도 31은 그와 같이 구성되는 감산부(83)의 연산 증폭기(102)의 구성례를 도시하고 있다.
도 31에서, 연산 증폭기(102)는 소스가 전원(VDD)에 접속된 PMOS의 FET(371)의 드레인과, 소스가 접지된 NMOS의 FET(372)의 드레인을 접속함에 의해 구성된다. 이 경우, FET(371)의 게이트가 연산 증폭기(102)의 입력 단자가 되고, FET(371)의 드레인과 FET(372)의 드레인의 접속점이 연산 증폭기(102)의 출력 단자가 된다.
임계치 설정부(231k)(도 30)가 설정하는 기준 전압은 FET(372)의 게이트에 공급된다. 이 경우, 연산 증폭기(102)의 출력 단자로부터는 FET(372)의 게이트에 공급되는 기준 전압을 기준으로 하는 차신호가 출력된다.
따라서, 기준 전압을 변경함에 의해 차신호는 오프셋하기 때문에 기준 전압의 설정에 의하면, 이벤트 임계치(Vth(k))를 설정하는 경우와 같은 효과를 이루는 것 즉, 이벤트 검출부(52k)의 게인을 실질적으로 조정할 수 있다.
또한, 도 31에서는 연산 증폭기(102)를 PMOS의 FET(371)의 드레인과, NMOS의 FET(372)의 드레인을 접속함에 의해 구성하는 것으로 했지만, 연산 증폭기(102)는 트랜지스터의 차동쌍에 의해 구성할 수 있다. 연산 증폭기(102)를 트랜지스터의 차동쌍에 의해 구성하는 경우, 연산 증폭기(102)의 반전 입력 단자에는 콘덴서(101)를 통하여 광 전압을 공급하고, 연산 증폭기(102)의 비반전 입력 단자에는 임계치 설정부(231k)로부터의 기준 전압을 공급할 수 있다.
이상, 게인 조정 기구(222)의 예로서 임계치 설정부(231k)를 갖는 화소 어레이부(211)에 관해 설명했지만, 이하, 게인 조정 기구(222)의 다른 예를 갖는 화소 어레이부(211)에 관해 설명한다.
<게인 조정 기구(222)의 다른 예를 갖는 화소 어레이부(211)>
도 32는 게인 조정 기구(222)의 다른 예를 갖는 화소 어레이부(211)의 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 13의 경우와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 32에서, 화소 어레이부(211)는 복수의 화소 블록(41)을 구비한다. 화소 블록(41)은 복수로서의 예를 들면, 광학 필터(221)의 반복 단위에 대응하는 2×2개의 화소(51)인 화소(511, 512, 513 및 514), 화소(51k)마다 마련된 이벤트 검출부(4011, 4012, 4013 및 4014) 및 화소 신호 생성부(53)를 구비한다. 또한, 화소 블록(41)의 열마다에는 화소 블록(41)과 AD 변환부(34)의 ADC를 접속하는 VSL이 배선되어 있다.
따라서, 도 32의 화소 어레이부(211)는 복수의 화소 블록(41)을 갖는 점, 화소 블록(41)이, 화소(511, 512, 513 및 514) 및 화소 신호 생성부(53)를 갖는 점에서 도 13의 경우와 공통된다.
단, 도 32의 화소 어레이부(211)는 임계치 설정부(2311 내지 2314)를 갖지 않는 점 및 화소 블록(41)이 이벤트 검출부(52k)에 대신하여 이벤트 검출부(401k)를 갖는 점에서 도 13의 경우와 상위하다.
이벤트 검출부(401k)는 이벤트 검출부(52k)와 마찬가지로 화소(51k)의 이벤트를 검출하는 것 외에 게인 조정 기구(222)로서 기능한다.
<게인 조정 기구(222)로서 기능하는 이벤트 검출부(401k)의 제1 구성례>
도 33은 게인 조정 기구(222)로서 기능하는 이벤트 검출부(401k)의 제1 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 5의 이벤트 검출부(52)와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 33에서, 이벤트 검출부(401k)는 버퍼(82), 감산부(83), 양자화부(84), 전송부(85) 및 전류 전압 변환부(411)를 구비한다.
따라서, 도 33의 이벤트 검출부(401k)는 버퍼(82) 내지 전송부(85)를 갖는 점에서, 도 5의 이벤트 검출부(52)와 마찬가지로 구성된다. 단, 이벤트 검출부(401k)는 전류 전압 변환부(81)에 대신하여 전류 전압 변환부(411)를 갖는 점에서 이벤트 검출부(52)와 상위하다.
도 34는 도 33의 전류 전압 변환부(411)의 구성례를 도시하는 회로도이다.
또한, 도면 중, 도 6과 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
전류 전압 변환부(411)는 트랜지스터(91 내지 93), 트랜지스터(421 및 422) 및 스위치(423, 424 및 425)로 구성된다.
따라서, 도 34의 전류 전압 변환부(411)는 트랜지스터(91 내지 93)를 갖는 점에서, 도 6의 전류 전압 변환부(81)와 공통된다. 단, 전류 전압 변환부(411)는 트랜지스터(421 및 422) 및 스위치(423 내지 425)를 새롭게 갖는 점에서, 전류 전압 변환부(81)와 상위하다.
트랜지스터(421 및 422)로서는 트랜지스터(91 및 93)와 마찬가지로 예를 들면, N형의 MOS FET을 채용할 수 있다.
트랜지스터(421)의 드레인은 트랜지스터(91)의 소스에 접속되고, 그 게이트는 스위치(426)를 통하여 트랜지스터(93)의 드레인에 접속된다. 트랜지스터(421)의 소스는 트랜지스터(93)의 게이트와 접속되고, 트랜지스터(421)의 소스와 트랜지스터(93)의 게이트의 접속점에는 화소(51)로부터의 광 전류가 공급된다.
트랜지스터(422)의 드레인은 트랜지스터(91)의 게이트와 트랜지스터(92)의 드레인의 접속점에 접속되고, 그 게이트는 스위치(425)를 통하여 트랜지스터(91)의 소스와 트랜지스터(421)의 드레인의 접속점에 접속된다. 트랜지스터(422)의 소스는 트랜지스터(93)의 드레인과 접속된다.
스위치(423)는 트랜지스터(421)의 드레인과 소스의 사이의 접속을 온/오프하도록 트랜지스터(421)의 드레인과 소스에 접속된다.
스위치(424)는 트랜지스터(422)의 드레인과 소스의 사이의 접속을 온/오프하도록 트랜지스터(422)의 드레인과 소스에 접속된다.
스위치(425)는 트랜지스터(91)의 소스와 트랜지스터(421)의 드레인의 접속점과, 트랜지스터(422)의 게이트의 접속을 온/오프하도록 트랜지스터(91)의 소스와 트랜지스터(421)의 드레인의 접속점 및 트랜지스터(422)의 게이트에 접속된다.
스위치(426)는 트랜지스터(421)의 게이트와, 트랜지스터(93)의 드레인과 트랜지스터(422)의 소스의 접속점과의 접속을 온/오프하도록 트랜지스터(421)의 게이트 및 트랜지스터(93)의 드레인과 트랜지스터(422)의 소스의 접속점에 접속된다.
이상과 같이 구성되는 전류 전압 변환부(411)에서는 트랜지스터(93)의 게이트와 트랜지스터(421)의 소스의 접속점에 공급되는 광 전류가 그 광 전류의 대수에 대응하는 광 전압으로 변환된다. 그리고, 광 전압은 트랜지스터(91)의 게이트와 트랜지스터(422)의 드레인의 접속점에서 출력된다.
도 35는 도 34의 전류 전압 변환부(411)에 의한 이벤트 검출부(401k)의 게인의 조정 방법을 설명하는 도면이다.
전류 전압 변환부(411)에서는 스위치(423 및 424)가 온 또는 오프로 되는 경우, 각각 스위치(425 및 426)가 오프 또는 온으로 됨으로써, 이벤트 검출부(401k)의 게인이 조정된다.
도 35의 A는 스위치(423 및 424)가 온이고, 스위치(425 및 426)가 오프인 경우의 전류 전압 변환부(411)의 실질적인 회로 구성을 도시하고 있다.
도 35의 B는 스위치(423 및 424)가 오프이고, 스위치(425 및 426)가 온인 경우의 전류 전압 변환부(411)의 실질적인 회로 구성을 도시하고 있다.
스위치(423 및 424)가 온이고, 스위치(425 및 426)가 오프인 경우, 전류 전압 변환부(411)는 트랜지스터(91 및 421)가 캐스케이드 접속되지 않고, 또한, 트랜지스터(93 및 422)가 캐스케이드 접속되어 있지 않는 구성으로 되고, 도 35의 A에 도시하는 바와 같이, 도 6의 전류 전압 변환부(81)와 마찬가지로 구성된다.
스위치(423 및 424)가 오프이고, 스위치(425 및 426)가 온인 경우의 전류 전압 변환부(411)는 도 35의 B에 도시하는 바와 같이, 트랜지스터(91 및 421)가 캐스케이드 접속됨과 함께, 트랜지스터(93 및 422)가 캐스케이드 접속된 구성이 된다.
예를 들면, 트랜지스터(91 및 93) 및 트랜지스터(421 및 422)가 동일한 사양의 FET라고 하면, 스위치(423 및 424)가 오프이고, 스위치(425 및 426)이 온인 경우(도 35의 B)의 이벤트 검출부(401k)의 게인은 스위치(423 및 424)가 온이고, 스위치(425 및 426)가 오프인 경우(도 35의 A)의 약 2배로 조정된다.
이상과 같이, 전류 전압 변환부(411)의 회로 구성을 트랜지스터가 캐스케이드 접속된 구성(도 35의 B)과, 캐스케이드 접속되어 있지 않는 구성(비 캐스케이드 접속의 구성)(도 35의 A)으로 전환하는 회로 구성의 전환을 투과 기구로서의 광학 필터(221k)가 투과하는 광마다 행함에 의해 이벤트 검출부(401k)의 게인을 조정할 수 있다.
또한, 여기서는 트랜지스터를 2단의 캐스케이드 접속으로 하는 것으로 했지만, 트랜지스터의 캐스케이드 접속은 3단 이상으로 할 수 있다.
<게인 조정 기구(222)로서 기능하는 이벤트 검출부(401k)의 제2 구성례>
도 36은 게인 조정 기구(222)로서 기능하는 이벤트 검출부(401k)의 제2 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 5의 이벤트 검출부(52)와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 36에서, 이벤트 검출부(401k)는 전류 전압 변환부(81), 버퍼(82), 양자화부(84), 전송부(85) 및 감산부(431)을 구비한다.
따라서, 도 36의 이벤트 검출부(401k)는 전류 전압 변환부(81), 버퍼(82), 양자화부(84) 및 전송부(85)를 갖는 점에서, 도 5의 이벤트 검출부(52)와 마찬가지로 구성된다. 단, 이벤트 검출부(401k)는 감산부(83)에 대신하여 감산부(431)를 갖는 점에서 이벤트 검출부(52)와 상위하다.
도 37은 도 36의 감산부(431)의 구성례를 도시하는 회로도이다.
또한, 도면 중, 도 7과 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
감산부(431)는 연산 증폭기(102), 스위치(104) 및 가변 용량(440 및 450)을 구비한다.
따라서, 감산부(431)는 연산 증폭기(102) 및 스위치(104)를 갖는 점에서 도 7의 감산부(83)와 공통된다. 단, 감산부(431)는 콘덴서(101)에 대신하여 가변 용량(440)을 가짐과 함께, 콘덴서(103)에 대신하여 가변 용량(450)을 갖는 점에서 감산부(83)와 상위하다.
가변 용량(440)은 가변적인 용량을 가지고, 예를 들면, 콘덴서(441 및 442) 및 스위치(443)로 구성할 수 있다.
콘덴서(441 및 442)의 용량을 C1로 나타내는 것으로 하면, 스위치(443)가 오프인 경우, 가변 용량(440)의 용량은 C1이 되고, 스위치(443)가 온인 경우, 가변 용량(440)의 용량은 2×C1이 된다.
스위치(443)가 온인 경우의 이벤트 검출부(401k)의 게인은 스위치(443)가 오프인 경우의 2배로 조정된다.
가변 용량(450)은 가변적인 용량을 가지고, 예를 들면, 콘덴서(451 및 452) 및 스위치(453)로 구성할 수 있다.
콘덴서(451 및 452)의 용량을 C2로 나타내는 것으로 하면, 스위치(453)가 오프인 경우, 가변 용량(450)의 용량은 C2가 되고, 스위치(453)가 온인 경우, 가변 용량(450)의 용량은 2×C2가 된다.
스위치(453)가 온인 경우의 이벤트 검출부(401k)의 게인은 스위치(453)가 오프인 경우의 1/2배로 조정된다.
감산부(431)에서는 가변 용량(440)(제1 용량)과 가변 용량(450)(제2 용량)의 용량비에 의해 이벤트 검출부(401k)의 게인을 조정할 수 있다. 따라서, 투과 기구로서의 광학 필터(221k)가 투과하는 광마다, 가변 용량(440 및 450) 중의 일방 또는 양방의 용량을 변경함에 의해 이벤트 검출부(401k)의 게인을 투과 기구로서의 광학 필터(221k)가 투과하는 광마다 조정할 수 있다.
이상과 같이, 이벤트 검출부(401k)의 게인의 조정을 투과 기구로서의 광학 필터(221k)(도 12)가 투과하는 광마다 행함에 의해 이벤트의 검출을 유연하게 행할 수 있다. 즉, 예를 들면, 센서 칩(200)에서, 소정의 색의 광이나 편광의 변화를 이벤트로서 검출하기 쉽게 할 수 있다. 또한, 배경이 약간 움직인 것 등에 의해 의도하지 않는 이벤트(페이크 이벤트)가 검출되는 것을 억제하는 것이나, 특정한 색의 검출 대상이 움직인 것에 의한 이벤트를 검출하기 쉽게 하여 검출 대상의 검출률을 향상시킬 수 있다.
또한, R, G, B의 광 등의 파장이 다른 광마다, 화소(51)의 감도가 다른 경우에는 각 파장의 광에 관해, 동일한 광량으로 이벤트가 검출되도록 이벤트 검출부(401k)의 게인을 조정함으로써, 이벤트의 검출에 관해, 각 파장의 광을 수광하는 화소(51)의 감도를 보상할 수 있다.
<게인의 fine 조정과 coarse 조정이 가능한 화소 어레이부(211)>
도 38은 게인의 fine 조정과 coarse 조정이 가능한 화소 어레이부(211)의 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 13의 경우와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 38에서, 화소 어레이부(211)는 복수의 화소 블록(41) 및 임계치 설정부(2311 내지 2314)를 구비한다. 화소 블록(41)은 2×2개의 화소(511 내지 514), 화소(51k)마다 마련된 이벤트 검출부(5011, 5012, 5013 및 5014) 및 화소 신호 생성부(53)를 구비한다. 또한, 화소 블록(41)의 열마다에는 화소 블록(41)과 AD 변환부(34)의 ADC를 접속하는 VSL이 배선되어 있다.
따라서, 도 38의 화소 어레이부(211)는 복수의 화소 블록(41)을 갖는 점, 화소 블록(41)이, 화소(511 내지 514) 및 화소 신호 생성부(53)를 갖는 점에서, 도 13의 경우와 공통된다.
단, 도 38의 화소 어레이부(211)는 화소 블록(41)이, 이벤트 검출부(52k)에 대신하여 이벤트 검출부(501k)를 갖는 점에서, 도 13의 경우와 상위하다.
이벤트 검출부(501k)는 이벤트 검출부(52k)와 마찬가지로 화소(51k)의 이벤트를 검출하는 것 외에 게인 조정 기구(222)로서 기능한다.
도 38의 화소 어레이부(211)에서는 임계치 설정부(231k) 및 이벤트 검출부(501k)가 게인 조정 기구(222)로서 기능한다. 게인 조정 기구(222)로서의 임계치 설정부(231k) 및 이벤트 검출부(501k)에서는 이벤트 검출부(501k)의 게인을 거칠게 조정하는 coarse 조정과, 이벤트 검출부(501k)의 게인을 세밀하게 조정하는 fine 조정을 행할 수 있다. 즉, 게인 조정 기구(222)로서의 임계치 설정부(231k) 및 이벤트 검출부(501k)에서는 이벤트 검출부(501k)의 게인을 거친 소정의 입도(fine 조정보다도 거친 입도)로 조정하는 coarse 조정과, 이벤트 검출부(501k)의 게인을 coarse 조정보다도 세밀한 입도로 조정하는 fine 조정을 행할 수 있다.
도 39는 도 38의 이벤트 검출부(501k)의 구성례를 도시하는 블록도이다.
또한, 도면 중, 도 15, 도 33 및 도 36의 경우와 대응하는 부분에 관해서는 동일한 부호를 붙이고 있으며, 이하에서는 그 설명은 적절히 생략한다.
도 39에서, 이벤트 검출부(501k)는 버퍼(82), 양자화부(84), 전송부(85), 전류 전압 변환부(411) 및 감산부(431)를 구비한다.
따라서, 이벤트 검출부(501k)는 버퍼(82), 양자화부(84) 및 전송부(85)를 갖는 점에서, 도 15의 경우와 공통된다. 단, 이벤트 검출부(501k)는 전류 전압 변환부(81)에 대신하며, 도 33의 전류 전압 변환부(411)를 갖는 점 및 감산부(83)에 대신하며, 도 36의 감산부(431)를 갖는 점에서, 도 15의 경우와 상위하다.
투과 기구로서의 광학 필터(221k)가 투과하는 광마다의 이벤트 검출부(501k)의 게인의 조정은 임계치 설정부(231k)에 의한 이벤트 임계치(Vth(k))의 설정, 전류 전압 변환부(411)의 회로 구성의 전환 및 감산부(431)에서의 가변 용량(440)과 콘덴서(103)의 용량비의 변경의 1 이상에 의해 행할 수 있다.
도 40은 이벤트 검출부(501k)의 게인의 fine 조정과 coarse 조정을 설명하는 도면이다.
전류 전압 변환부(411)의 회로 구성의 전환에 의한 전류 전압 변환부(411)의 게인의 조정 및 감산부(431)에서의 가변 용량(440)과 콘덴서(103)의 용량비의 변경에 의한 감산부(431)의 게인의 조정에 의하면, 이벤트 검출부(501k)의 게인을 거칠게 조정하는 coarse 조정을 행할 수 있다.
임계치 설정부(231k)에 의한 이벤트 임계치(Vth(k))의 설정에 의한 양자화부(84)의 게인의 조정에 의하면, 이벤트 검출부(501k)의 게인을 세밀하게 조정하는 fine 조정을 행할 수 있다.
전류 전압 변환부(411)의 게인의 조정 및 감산부(431)의 게인의 조정 중의 일방 또는 양방과, 양자화부(84)의 게인의 조정을 조합시켜서, 이벤트 검출부(501k)의 게인을 조정함에 의해 이벤트 검출부(501k)의 게인을 넓은 범위에서, 또한, 세밀하게 조정할 수 있다.
도 41은 이벤트 검출부(501k)의 게인의 fine 조정과 coarse 조정의 예를 설명하는 도면이다.
이벤트 검출부(501k)의 게인의 조정은 전류 전압 변환부(411), 감산부(431) 및 양자화부(84)의 1 이상의 블록의 게인을 조정함에 의해 행할 수 있다.
예를 들면, 전류 전압 변환부(411)의 게인을 2배로 감산부(431)의 게인을 2배로 양자화부(84)의 게인을 1.1배로 각각 조정함에 의해 이벤트 검출부(501k)의 게인을 4.4(=2×2×1.1)배로 조정할 수 있다. 또한, 예를 들면, 전류 전압 변환부(411)의 게인을 2배로 감산부(431)의 게인을 1/2배로 양자화부(84)의 게인을 1.1배로 각각 조정함에 의해 이벤트 검출부(501k)의 게인을 1.1(=2×1/2×1.1)배로 조정할 수 있다.
전류 전압 변환부(411)나 감산부(431)의 게인의 조정에 의하면, 도 40에서 설명한 바와 같이, 이벤트 검출부(501k)의 게인을 고칠게 조정하는 coarse 조정을 행할 수 있다.
전류 전압 변환부(411)의 게인은 전류 전압 변환부(411)를 구성하는 트랜지스터(91 내지 93 및 421 및 422)(도 34)의 특성으로 정해지기 때문에 프로세스 편차를 가진다. 또한, 전류 전압 변환부(411)의 게인에 관해서는 높은 정밀도로 조정하는 것이 곤란하다.
감산부(431)의 게인은 가변 용량(440 및 450)(도 37)의 용량비로 정해지고, 디폴트의 게인의 2배나 1/2배 등으로 조정할 수 있다. 가변 용량(440 및 450)은 화소(51k)마다 마련되기 때문에 감산부(431)의 게인을 높은 정밀도로 조정하도록 가변 용량(440 및 450)을 마련하려고 하면, 화소(51)의 사이즈(면적)의 제약을 받는다.
양자화부(84)의 게인은 예를 들면, 임계치 설정부(231k)를 도 17의 B에 도시한 바와 같은 커런트 미러를 갖는 DA 변환기(260)로 구성하는 경우에는 커런트 미러를 구성하는 미러처의 FET(263)으로서의 복수의 FET 중에서, 전류원(262)이 흘리는 전류에 응한 전류를 흘리는 가동 FET의 수를 조정함으로써 고정밀로 조정할 수 있다.
또한, 투과 기구로서의 광학 필터(221k)가 투과하는 광마다, 예를 들면, R광, G광 및 B광마다, 이벤트 검출부(501k)의 게인을 조정하는 경우에는 임계치 설정부(231k)는 예를 들면, 화소(51k)의 외부에 마련할 수 있다. 임계치 설정부(231k)를 화소(51k)의 외부에 마련하는 경우에는 전류 전압 변환부(411)나 감산부(431)의 게인을 조정하는 경우에 비교하여 면적의 제약이 작다.
이벤트 검출부(501k)의 게인을 예를 들면, 0.5배 내지 2.5배의 범위에서 조정하는 경우, 그 0.5배 내지 2.5배의 범위의 이벤트 검출부(501k)의 게인의 조정은 양자화부(84)의 게인의 fine 조정에 의해 행할 수도 있고, 양자화부(84)의 게인의 fine 조정과, 전류 전압 변환부(411) 및 감산부(431)의 게인의 coarse 조정의 조합에 의해 행할 수도 있다.
단, 양자화부(84)의 게인의 fine 조정뿐만 아니라, 양자화부(84)의 게인의 fine 조정과, 전류 전압 변환부(411) 및 감산부(431)의 게인의 coarse 조정의 조합에 의해 이벤트 검출부(501k)의 게인을 조정하는 경우에는 양자화부(84)의 게인의 fine 조정만에 의해 이벤트 검출부(501k)의 게인을 조정하는 경우에 비교하여 임계치 설정부(231k)를 구성하는 DA 변환기(260)가 갖는 커런트 미러의 미러처의 FET(263)로서의 복수의 FET의 개수를 적게 할 수 있다. 그 결과, 임계치 설정부(231k)(를 구성하는 DA 변환기(260))의 면적을 작게 할 수 있다.
또한, 양자화부(84)의 게인의 fine 조정은 전류 전압 변환부(411) 및 감산부(431)의 게인의 프로세스 편차에 기인하는 편차의 캘리브레이션에 사용할 수 있다. 예를 들면, 전류 전압 변환부(411)의 게인을 2배로 설계한 경우에 전류 전압 변환부(411)의 실제의 게인이 프로세스 편차에 기인하여 1.8배일 때에 양자화부(84)의 게인을 1.1배로 함에 의해 전체로서 게인을 2(1.8×1.1)배로 캘리브레이션할 수 있다.
도 42는 조명의 스펙트럼과, CF(301k)의 분광 특성의 예를 도시하는 도면이다.
조명의 스펙트럼은 조명의 종류마다 다르고, 조명이 발하는 광의 각 파장의 강도는 다르다. 또한, 광학 필터(221k)로서 CF(301k)(도 19)가 채용되어 있는 것으로 하면, 화소(51k)의 R광, G광 및 B광에 대한 감도는 예를 들면, CF(301k)의 분광 특성에 의해 다르다.
동기형의 이미지 센서에서는 조명이 발하는 광의 각 파장의 강도의 차이나, 화소(51k)의 R광, G광 및 B광에 대한 감도의 차이는 화이트 밸런스에 의해 조정된다.
비동기형의 센서인 센서 칩(200)(도 10)에서는 이벤트 검출부(501k)가 화소(51k)마다 이벤트를 검출하기 때문에 이벤트의 검출의 감도는 화소(51k)가 수광하는 광에 대한 화소(51k)의 감도에 의해 다르다.
화소(51k)가 수광하는 광에 대한 화소(51k)의 감도는 조명의 스펙트럼과 CF(301k)의 분광 특성의 곱으로 표시된다.
도 42의 조명의 스펙트럼과 CF(301k)의 분광 특성에 따르면, 예를 들면, 피사체가 백열 전구로 조명되어 있는 경우, B광이나 G광을 수광하는 화소(51k)보다도 R광을 수광하는 화소(51k)의 감도가 높아진다.
그래서, 동기형의 이미지 센서에서의 화이트 밸런스의 조정을 R광, G광 및 B광을 수광하는 화소(51k) 각각에 적용하고, R광, G광 및 B광을 수광하는 화소(51k)의 이벤트를 검출하는 이벤트 검출부(501k)의 게인을 조정함에 의해 조명이 변경된 경우에도 R광, G광 및 B광을 수광하는 화소(51k) 각각의 감도를 동일한 감도로 조정할 수 있다.
도 43은 R광, G광 및 B광을 수광하는 화소(51k) 각각의 감도의 조정의 예를 도시하는 도면이다.
도 43에서는 R광을 수광하는 화소(51k)의 감도를 1로서 B광을 수광하는 화소(51k)의 감도가 1/2.2로 되어 있고, G광을 수광하는 화소(51k)의 감도가 1/1.6으로 되어 있다.
이 경우, 예를 들면, R광을 수광하는 화소(51k)의 이벤트를 검출하는 이벤트 검출부(501k)의 게인을 1배로 조정하는 한편, B광을 수광하는 화소(51k)의 이벤트를 검출하는 이벤트 검출부(501k)의 게인을 2.2배로 조정함과 함께, G광을 수광하는 화소(51k)의 이벤트를 검출하는 이벤트 검출부(501k)의 게인을 1.6배로 조정함에 의해 R광, G광 및 B광을 수광하는 화소(51k) 각각의 감도를 동일한 감도로 조정할 수 있다.
또한, 센서 칩(200)은 광학 필터(221k)(도 12)를 마련하지 않고 구성할 수 있다. 이 경우, 이벤트 검출부(52k, 401k 및 501k)의 게인은 화소(51k)가 수광하는 광학 필터(221k)가 투과하는 광마다가 아니고, 화소(51)마다 조정할 수 있다.
예를 들면, 소정의 피사체를 검출하는 경우에 그 피사체의 위치를 예측할 수 있을 때에는 그 위치로부터의 광을 수광하는 화소(51)의 감도가 높아지도록 이벤트 검출부(52k, 401k 및 501k)의 게인을 조정할 수 있다.
또한, 이벤트 검출부(52k, 401k 및 501k)의 게인의 조정은 화소(51)에 마련되는 온 칩 렌즈의 감도 편차의 보상에 이용할 수 있다.
<이동체에의 응용례>
본 개시에 관한 기술(본 기술)은 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 관한 기술은 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등의 어느 한 종류의 이동체에 탑재되는 장치로서 실현되어도 좋다.
도 44는 본 개시에 관한 기술이 적용될 수 있는 이동체 제어 시스템의 한 예인 차량 제어 시스템의 개략적인 구성례를 도시하는 블록도이다.
차량 제어 시스템(12000)은 통신 네트워크(12001)를 통하여 접속된 복수의 전자 제어 유닛을 구비한다. 도 44에 도시한 예에서는 차량 제어 시스템(12000)은 구동계 제어 유닛(12010), 바디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040) 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서 마이크로 컴퓨터(12051), 음성 화상 출력부(12052) 및 차량 탑재 네트워크 I/F(interface)(12053)가 도시되어 있다.
구동계 제어 유닛(12010)은 각종 프로그램에 따라 차량의 구동계에 관련되는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은 내연 기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다.
바디계 제어 유닛(12020)은 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 바디계 제어 유닛(12020)은 키레스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드 램프, 백 램프, 브레이크 램프, 윙커 또는 포그램프 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 바디계 제어 유닛(12020)에는 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 바디계 제어 유닛(12020)은 이들 전파 또는 신호의 입력을 접수하여 차량의 도어 로크 장치, 파워 윈도우 장치, 램프 등을 제어한다.
차외 정보 검출 유닛(12030)은 차량 제어 시스템(12000)을 탑재한 차량의 외부의 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은 촬상부(12031)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은 수신한 화상에 의거하여 사람, 차, 장애물, 표지 또는 노면상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행해도 좋다.
촬상부(12031)는 광을 수광하고, 그 광의 수광량에 응한 전기 신호를 출력하는 광센서이다. 촬상부(12031)는 전기 신호를 화상으로서 출력할 수도 있고, 거리 측정의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은 가시광이라도 좋고, 적외선 등의 비가시광이라도 좋다.
차내 정보 검출 유닛(12040)은 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는 예를 들어 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은 운전자 상태 검출부(12041)로부터 입력되는 검출 정보에 의거하여 운전자의 피로 정도 또는 집중 정도를 산출해도 좋고, 운전자가 앉아서 졸고 있지 않는지를 판별해도 좋다.
마이크로 컴퓨터(12051)는 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 의거하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표치를 연산하고, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는 차량의 충돌 회피 또는 충격 완화, 차간 거리에 의거하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량의 주위의 정보에 의거하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함에 의해 운전자의 조작에 근거하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
또한, 마이크로 컴퓨터(12051)는 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 의거하여 바디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는 차외 정보 검출 유닛(12030)에서 검지한 선행차 또는 대향차의 위치에 응하여 헤드 램프를 제어하고, 하이 빔을 로우 빔으로 전환하는 등의 방현(防眩)을 도모하는 것을 목적으로 한 협조 제어를 행할 수 있다.
음성 화상 출력부(12052)는 차량의 탑승자 또는 차외에 대해 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치에 음성 및 화상 중의 적어도 일방의 출력 신호를 송신한다. 도 44의 예에서는 출력 장치로서 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되어 있다. 표시부(12062)는 예를 들면, 온 보드 디스플레이 및 헤드 업 디스플레이의 적어도 하나를 포함하고 있어도 좋다.
도 45는 촬상부(12031)의 설치 위치의 예를 도시하는 도면이다.
도 45에서는 차량(12100)은 촬상부(12031)로서 촬상부(12101, 12102, 12103, 12104, 12105)를 가진다.
촬상부(12101, 12102, 12103, 12104, 12105)는 예를 들면, 차량(12100)의 프런트 노우즈, 사이드 미러, 리어 범퍼, 백 도어 및 차실 내의 프런트글라스의 상부 등의 위치에 마련된다. 프런트 노우즈에 구비되는 촬상부(12101) 및 차실 내의 프런트글라스의 상부에 구비되는 촬상부(12105)는 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(12102, 12103)는 주로 차량(12100)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(12104)는 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101 및 12105)에서 취득되는 전방의 화상은 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 45에는 촬상부(12101 내지 12104)의 촬영 범위의 한 예가 도시되어 있다. 촬상 범위(12111)는 프런트 노우즈에 마련된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는 각각 사이드 미러에 마련된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는 리어 범퍼 또는 백 도어에 마련된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)에서 촬상된 화상 데이터가 맞겹쳐짐에 의해 차량(12100)을 상방에서 본 부감(俯瞰) 화상을 얻을 수 있다.
촬상부(12101 내지 12104)의 적어도 하나는 거리 정보를 취득하는 기능을 가지고 있어도 좋다. 예를 들면, 촬상부(12101 내지 12104)의 적어도 하나는 복수의 촬상 소자로 이루어지는 스테레오 카메라라도 좋고, 위상차 검출용의 화소를 갖는 촬상 소자라도 좋다.
예를 들면, 마이크로 컴퓨터(12051)는 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로 촬상 범위(12111 내지 12114) 내에서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대 속도)를 구함에 의해 특히 차량(12100)의 진행로상에 있는 가장 가까운 입체물로 차량(12100)과 개략 같은 방향으로 소정의 속도(예를 들면, 0㎞/h 이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는 선행차의 내 차와의 사이에 미리 확보해야 할 차간 거리를 설정하고, 자동 브레이크 제어(추종 정지 제어도 포함한다)나 자동 가속 제어(추종 발진 제어도 포함한다) 등을 행할 수 있다. 이와 같이 운전자의 조작에 근거하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.
예를 들면, 마이크로 컴퓨터(12051)는 촬상부(12101 내지 12104)로부터 얻어진 거리 정보를 기초로 입체물에 관한 입체물 데이터를 이륜차, 보통 차량, 대형 차량, 보행자, 전신주 등 그 외의 입체물로 분류하여 추출하고, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는 차량(12100)의 주변의 장애물을 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는 각 장애물과의 충돌의 위험도를 나타내는 충돌 리스크를 판단하고, 충돌 리스크가 설정치 이상으로 충돌 가능성이 있는 상황일 때에는 오디오 스피커(12061)나 표시부(12062)를 통하여 드라이버에게 경보를 출력하는 것이나, 구동계 제어 유닛(12010)을 통하여 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.
촬상부(12101 내지 12104)의 적어도 하나는 적외선을 검출하는 적외선 카메라라도 좋다. 예를 들면, 마이크로 컴퓨터(12051)는 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지의 여부를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은 예를 들어 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에서의 특징점을 추출하는 순서와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인지의 여부를 판별하는 순서에 의해 행해진다. 마이크로 컴퓨터(12051)가 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하고, 보행자를 인식하면, 음성 화상 출력부(12052)는 당해 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는 보행자를 나타내는 아이콘 등을 소망하는 위치에 표시하도록 표시부(12062)를 제어해도 좋다.
이상, 본 개시에 관한 기술이 적용될 수 있는 차량 제어 시스템의 한 예에 관해 설명하였다. 본 개시에 관한 기술은 이상 설명한 구성 중, 예를 들면, 촬상부(12031)에 적용될 수 있다. 구체적으로는 도 10의 센서 칩(200)은 촬상부(12031)에 적용할 수 있다. 촬상부(12031)에 본 개시에 관한 기술을 적용함에 의해 이벤트의 검출을 유연하게 행하고, 그 이벤트의 검출에 의해 얻을 수 있는 이벤트 데이터의 데이터 처리에 의해 적절한 운전 지원을 행할 수 있다.
또한, 본 기술의 실시의 형태는 상술한 실시의 형태로 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 여러 가지 변경이 가능하다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이고 한정되는 것은 아니고, 다른 효과가 있어도 좋다.
또한, 본 기술은 이하의 구성을 취할 수 있다.
<1> 광을 수광하고, 광전 변환을 행하여 전기 신호를 생성하는 화소와,
상기 화소의 전기 신호의 변화인 이벤트를 검출하는 이벤트 검출부와,
상기 이벤트 검출부의 게인을 상기 화소마다 조정하는 게인 조정 기구를 구비하는 센서.
<2> 소정의 광을 투과하는 투과 기구를 더 구비하고,
상기 화소는 상기 투과 기구를 투과하는 소정의 광을 수광하고,
상기 게인 조정 기구는 상기 이벤트 검출부의 게인을 상기 투과 기구가 투과하는 상기 소정의 광마다 조정하는 <1>에 기재된 센서.
<3> 상기 게인 조정 기구로서 상기 이벤트를 검출할 때에 이용되는 임계치를 상기 화소가 수광하는 상기 소정의 광마다 설정하는 임계치 설정부를 구비하는 <2>에 기재된 센서.
<4> 상기 투과 기구는 컬러 필터인 <3>에 기재된 센서.
<5> 상기 임계치 설정부는 상기 화소가 수광하는 상기 컬러 필터가 투과하는 광의 색마다, 상기 임계치를 설정하는 <4>에 기재된 센서.
<6> 상기 투과 기구는 편광 필터인 <3>에 기재된 센서.
<7> 상기 임계치 설정부는 상기 화소가 수광하는 상기 편광 필터가 투과하는 광의 편광 방향마다, 상기 임계치를 설정하는 <6>에 기재된 센서.
<8> 상기 이벤트 검출부는 상기 화소의 광 전류를 상기 광 전류에 대응하는 전압으로 변환하는 전류 전압 변환부를 가지고,
소정의 임계치를 초과하는 상기 전압의 변화를 상기 이벤트로서 검출하고,
상기 게인 조정 기구로서 트랜지스터가 캐스케이드 접속된 구성과 캐스케이드 접속되어 있지 않는 구성으로 회로 구성을 전환 가능한 상기 전류 전압 변환부를 구비하는 <1> 또는 <2>에 기재된 센서.
<9> 상기 이벤트 검출부는 제1 용량 및 제2 용량을 포함하고, 상기 화소의 광 전류에 대응하는 전압의 다른 타이밍의 전압끼리의 차에 대응하는 차신호를 구하는 감산부를 가지고,
상기 게인 조정 기구로서 상기 제1 용량과 상기 제2 용량의 용량비가 변경 가능한 상기 감산부를 구비하는 <1> 또는 <2>에 기재된 센서.
<10> 상기 게인 조정 기구는 상기 이벤트 검출부의 게인을 거칠게 조정하는 coarse 조정과, 상기 이벤트 검출부의 게인을 세밀하게 조정하는 fine 조정을 행하는 <1> 또는 <2>에 기재된 센서.
<11> 상기 이벤트 검출부는 상기 화소의 광 전류를 상기 광 전류에 대응하는 전압으로 변환하는 전류 전압 변환부와,
제1 용량 및 제2 용량을 포함하고, 다른 타이밍의 상기 전압끼리의 차에 대응하는 차신호를 구하는 감산부를 가지고,
상기 차신호와 임계치를 비교함에 의해 상기 이벤트를 검출하고, 상기 게인 조정 기구로서,
트랜지스터가 캐스케이드 접속된 구성과 캐스케이드 접속되어 있지 않는 구성으로 회로 구성이 전환 가능한 상기 전류 전압 변환부 및 상기 제1 용량과 상기 제2 용량의 용량비가 변경 가능한 상기 감산부 중의 일방 또는 양방과,
상기 임계치를 설정하는 임계치 설정부를 구비하고,
상기 전류 전압 변환부의 회로 구성의 전환 및 상기 감산부에서의 상기 용량비의 변경 중의 일방 또는 양방에 의해 상기 coarse 조정을 행하고,
상기 임계치 설정부에 의한 상기 임계치의 설정에 의해 상기 fine 조정을 행하는 <10>에 기재된 센서.
<12> 상기 투과 기구는 컬러 필터이고,
상기 게인 조정 기구는 피사체를 촬상하는 환경에 응하여 상기 이벤트 검출부의 게인을 상기 화소가 수광하는 상기 컬러 필터가 투과하는 광의 색마다 조정하는 <2> 내지 <11> 중 어느 하나에 기재된 센서.
<13> 상기 이벤트가 검출된 상기 화소의 광 전류에 대응하는 전압의 신호를 화소 신호로서 생성하는 화소 신호 생성부를 또한 구비하는 <1> 내지 <12> 중 어느 하나에 기재된 센서.
<14> 광을 수광하고, 광전 변환을 행하여 전기 신호를 생성하는 화소와,
상기 화소의 전기 신호의 변화인 이벤트를 검출하는 이벤트 검출부를 구비하는 센서의 상기 이벤트 검출부의 게인을 상기 화소마다 조정하는 스텝을 포함하는 제어 방법.
10: 센서 칩 11: 센서 다이
12: 로직 다이 21: 센서부
22: 로직부 31: 화소 어레이부
32: 구동부 33: 아비터
34: AD 변환부 35: 출력부
41: 화소 블록 51, 511 내지 514: 화소
52, 521 내지 524: 이벤트 검출부 53: 화소 신호 생성부
60: 노드 61: 광전 변환 소자
62, 63: 전송 트랜지스터 71: 리셋 트랜지스터
72: 증폭 트랜지스터 73: 선택 트랜지스터
74: FD 81: 전류 전압 변환부
82: 버퍼 83: 감산부
84: 양자화부 85: 전송부
91 내지 93: 트랜지스터 101: 콘덴서
102: 연산 증폭기 103: 콘덴서
104: 스위치 111, 112: 컴퍼레이터
200: 센서 칩 201: 센서부
211: 화소 어레이부 2211 내지 2214: 광학 필터
222: 게인 조정 기구 2311 내지 2314: 임계치 설정부
250: DA 변환기 251: 러더 회로
252: 연산 증폭기 260: D/A 변환기
261: FET 262: 전류원
263: FET 264: 저항
3011 내지 3014: CF 3311 내지 3314: 편광 필터
371, 372: FET 4011 내지 4014: 이벤트 검출부
411: 전류 전압 변환부 421, 422: 트랜지스터
423 내지 426: 스위치 431: 감산부
441, 442: 콘덴서 443: 스위치
5011 내지 5014: 이벤트 검출부
12: 로직 다이 21: 센서부
22: 로직부 31: 화소 어레이부
32: 구동부 33: 아비터
34: AD 변환부 35: 출력부
41: 화소 블록 51, 511 내지 514: 화소
52, 521 내지 524: 이벤트 검출부 53: 화소 신호 생성부
60: 노드 61: 광전 변환 소자
62, 63: 전송 트랜지스터 71: 리셋 트랜지스터
72: 증폭 트랜지스터 73: 선택 트랜지스터
74: FD 81: 전류 전압 변환부
82: 버퍼 83: 감산부
84: 양자화부 85: 전송부
91 내지 93: 트랜지스터 101: 콘덴서
102: 연산 증폭기 103: 콘덴서
104: 스위치 111, 112: 컴퍼레이터
200: 센서 칩 201: 센서부
211: 화소 어레이부 2211 내지 2214: 광학 필터
222: 게인 조정 기구 2311 내지 2314: 임계치 설정부
250: DA 변환기 251: 러더 회로
252: 연산 증폭기 260: D/A 변환기
261: FET 262: 전류원
263: FET 264: 저항
3011 내지 3014: CF 3311 내지 3314: 편광 필터
371, 372: FET 4011 내지 4014: 이벤트 검출부
411: 전류 전압 변환부 421, 422: 트랜지스터
423 내지 426: 스위치 431: 감산부
441, 442: 콘덴서 443: 스위치
5011 내지 5014: 이벤트 검출부
Claims (14)
- 광을 수광하고, 광전 변환을 행하여 전기 신호를 생성하는 화소와,
상기 화소의 전기 신호의 변화인 이벤트를 검출하는 이벤트 검출부와,
상기 이벤트 검출부의 게인을 상기 화소마다 조정하는 게인 조정 기구를 구비하는 것을 특징으로 하는 센서. - 제1항에 있어서,
소정의 광을 투과하는 투과 기구를 더 구비하고,
상기 화소는 상기 투과 기구를 투과하는 소정의 광을 수광하고,
상기 게인 조정 기구는 상기 이벤트 검출부의 게인을 상기 투과 기구가 투과하는 상기 소정의 광마다 조정하는 것을 특징으로 하는 센서. - 제2항에 있어서,
상기 게인 조정 기구로서 상기 이벤트를 검출할 때에 이용되는 임계치를 상기 화소가 수광하는 상기 소정의 광마다 설정하는 임계치 설정부를 구비하는 것을 특징으로 하는 센서. - 제3항에 있어서,
상기 투과 기구는 컬러 필터인 것을 특징으로 하는 센서. - 제4항에 있어서,
상기 임계치 설정부는 상기 화소가 수광하는 상기 컬러 필터가 투과하는 광의 색마다, 상기 임계치를 설정하는 것을 특징으로 하는 센서. - 제3항에 있어서,
상기 투과 기구는 편광 필터인 것을 특징으로 하는 센서. - 제6항에 있어서,
상기 임계치 설정부는 상기 화소가 수광하는 상기 편광 필터가 투과하는 광의 편광 방향마다, 상기 임계치를 설정하는 것을 특징으로 하는 센서. - 제1항에 있어서,
상기 이벤트 검출부는,
상기 화소의 광 전류를 상기광 전류에 대응하는 전압으로 변환하는 전류 전압 변환부를 가지고,
소정의 임계치를 초과하는 상기 전압의 변화를 상기 이벤트로서 검출하고,
상기 게인 조정 기구로서 트랜지스터가 캐스케이드 접속된 구성과 캐스케이드 접속되어 있지 않는 구성으로 회로 구성이 전환 가능한 상기 전류 전압 변환부를 구비하는 것을 특징으로 하는 센서. - 제1항에 있어서,
상기 이벤트 검출부는 제1 용량 및 제2 용량을 포함하고, 상기 화소의 광 전류에 대응하는 전압의 다른 타이밍의 전압끼리의 차에 대응하는 차신호를 구하는 감산부를 가지고,
상기 게인 조정 기구로서 상기 제1 용량과 상기 제2 용량의 용량비가 변경 가능한 상기 감산부를 구비하는 것을 특징으로 하는 센서. - 제1항에 있어서,
상기 게인 조정 기구는 상기 이벤트 검출부의 게인을 거칠게 조정하는 coarse 조정과, 상기 이벤트 검출부의 게인을 세밀하게 조정하는 fine 조정을 행하는 것을 특징으로 하는 센서. - 제10항에 있어서,
상기 이벤트 검출부는,
상기 화소의 광 전류를 상기 광 전류에 대응하는 전압으로 변환하는 전류 전압 변환부와,
제1 용량 및 제2 용량을 포함하고, 다른 타이밍의 상기 전압끼리의 차에 대응하는 차신호를 구하는 감산부를 가지고,
상기 차신호와 임계치를 비교함에 의해 상기 이벤트를 검출하고,
상기 게인 조정 기구로서,
트랜지스터가 캐스케이드 접속된 구성과 캐스케이드 접속되어 있지 않는 구성으로 회로 구성이 전환 가능한 상기 전류 전압 변환부 및 상기 제1 용량과 상기 제2 용량의 용량비가 변경 가능한 상기 감산부 중의 일방 또는 양방과,
상기 임계치를 설정하는 임계치 설정부를 구비하고,
상기 전류 전압 변환부의 회로 구성의 전환 및 상기 감산부에서의 상기 용량비의 변경 중의 일방 또는 양방에 의해 상기 coarse 조정을 행하고,
상기 임계치 설정부에 의한 상기 임계치의 설정에 의해 상기 fine 조정을 행하는 것을 특징으로 하는 센서. - 제2항에 있어서,
상기 투과 기구는 컬러 필터이고,
상기 게인 조정 기구는 피사체를 촬상하는 환경에 응하여 상기 이벤트 검출부의 게인을 상기 화소가 수광하는 상기 컬러 필터가 투과하는 광의 색마다 조정하는 것을 특징으로 하는 센서. - 제1항에 있어서,
상기 이벤트가 검출된 상기 화소의 광 전류에 대응하는 전압의 신호를 화소 신호로서 생성하는 화소 신호 생성부를 더 구비하는 것을 특징으로 하는 센서. - 광을 수광하고, 광전 변환을 행하여 전기 신호를 생성하는 화소와,
상기 화소의 전기 신호의 변화인 이벤트를 검출하는 이벤트 검출부를 구비하는 센서의 상기 이벤트 검출부의 게인을 상기 화소마다 조정하는 스텝을 포함하는 것을 특징으로 하는 제어 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018221958A JP2020088676A (ja) | 2018-11-28 | 2018-11-28 | センサ及び制御方法 |
| JPJP-P-2018-221958 | 2018-11-28 | ||
| PCT/JP2019/044629 WO2020110743A1 (ja) | 2018-11-28 | 2019-11-14 | センサ及び制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210095865A true KR20210095865A (ko) | 2021-08-03 |
Family
ID=70854299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217013761A KR20210095865A (ko) | 2018-11-28 | 2019-11-14 | 센서 및 제어 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240015412A1 (ko) |
| JP (1) | JP2020088676A (ko) |
| KR (1) | KR20210095865A (ko) |
| CN (1) | CN112912775A (ko) |
| WO (1) | WO2020110743A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021153287A1 (ko) * | 2020-01-31 | 2021-08-05 | ||
| JP2021197710A (ja) * | 2020-06-18 | 2021-12-27 | ソニーセミコンダクタソリューションズ株式会社 | センサ装置、制御方法、プログラム |
| JPWO2021261070A1 (ko) * | 2020-06-26 | 2021-12-30 | ||
| JP2023123881A (ja) * | 2020-07-09 | 2023-09-06 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び撮像方法 |
| DE112021004820T5 (de) * | 2020-09-16 | 2023-07-27 | Sony Group Corporation | Festkörperbildgebungsvorrichtung und erkennungssystem |
| CN116057707A (zh) * | 2020-09-16 | 2023-05-02 | 索尼集团公司 | 固态成像装置和识别系统 |
| JP2022125515A (ja) * | 2021-02-17 | 2022-08-29 | ソニーセミコンダクタソリューションズ株式会社 | 画像センサおよび電子機器 |
| JP2022156089A (ja) * | 2021-03-31 | 2022-10-14 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子及び撮像装置 |
| JP2022186480A (ja) * | 2021-06-04 | 2022-12-15 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、電子機器、および撮像方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017535999A (ja) | 2014-09-30 | 2017-11-30 | クアルコム，インコーポレイテッド | フレームベースとイベントベースのハイブリッド方式を使用するセンサアーキテクチャ |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5212779B2 (ja) * | 2007-12-18 | 2013-06-19 | 株式会社ニコン | 表面検査装置および表面検査方法 |
| JP2009303088A (ja) * | 2008-06-17 | 2009-12-24 | Panasonic Corp | 固体撮像装置、その駆動方法及びカメラ |
| JP2010093744A (ja) * | 2008-10-10 | 2010-04-22 | Sony Corp | 受信装置、パラメータ設定方法、記録媒体および光通信システム |
| JP2010151702A (ja) * | 2008-12-26 | 2010-07-08 | Konica Minolta Sensing Inc | 分光データ表示装置、分光データ表示プログラム及び分光データ表示方法 |
| US9549158B2 (en) * | 2012-04-18 | 2017-01-17 | Brightway Vision Ltd. | Controllable single pixel sensors |
| US9606606B2 (en) * | 2013-06-03 | 2017-03-28 | Qualcomm Incorporated | Multifunctional pixel and display |
| JP6192428B2 (ja) * | 2013-08-20 | 2017-09-06 | オリンパス株式会社 | 撮像装置 |
| CN103676974B (zh) * | 2013-12-18 | 2016-04-06 | 中北大学 | 基于仿生偏振光检测的太阳跟踪装置 |
| KR102331920B1 (ko) * | 2014-12-26 | 2021-11-29 | 삼성전자주식회사 | 동작 정보, 조도 정보 및 근접 정보를 위한 센서 및 그 센서를 이용하는 프로세서의 동작 방법 |
| JP6566749B2 (ja) * | 2015-07-01 | 2019-08-28 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像素子、イメージセンサ、および情報処理装置 |
| JP2018022935A (ja) * | 2016-08-01 | 2018-02-08 | ソニー株式会社 | 撮像装置、および、撮像装置の制御方法 |
| CN107957395B (zh) * | 2016-10-17 | 2020-07-03 | 山东赛蒙斯生物技术有限公司 | 用于透明/半透明产品中异物的检测装置 |
| EP3313064A1 (en) * | 2016-10-20 | 2018-04-25 | Chronocam | Pixel circuit for detecting time-dependent visual data |
| US10516841B2 (en) * | 2017-03-08 | 2019-12-24 | Samsung Electronics Co., Ltd. | Pixel, pixel driving circuit, and vision sensor including the same |
| US11212468B2 (en) * | 2018-03-14 | 2021-12-28 | Sony Advanced Visual Sensing Ag | Event-based vision sensor with direct memory control |
| US11140349B2 (en) * | 2018-09-07 | 2021-10-05 | Samsung Electronics Co., Ltd. | Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel |
-
2018
- 2018-11-28 JP JP2018221958A patent/JP2020088676A/ja active Pending
-
2019
- 2019-11-14 KR KR1020217013761A patent/KR20210095865A/ko not_active Application Discontinuation
- 2019-11-14 WO PCT/JP2019/044629 patent/WO2020110743A1/ja active Application Filing
- 2019-11-14 US US17/295,280 patent/US20240015412A1/en active Pending
- 2019-11-14 CN CN201980069236.1A patent/CN112912775A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017535999A (ja) | 2014-09-30 | 2017-11-30 | クアルコム，インコーポレイテッド | フレームベースとイベントベースのハイブリッド方式を使用するセンサアーキテクチャ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020088676A (ja) | 2020-06-04 |
| WO2020110743A1 (ja) | 2020-06-04 |
| CN112912775A (zh) | 2021-06-04 |
| US20240015412A1 (en) | 2024-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210095865A (ko) | 센서 및 제어 방법 | |
| CN112913222B (zh) | 传感器和控制方法 | |
| TWI820078B (zh) | 固體攝像元件 | |
| US11888004B2 (en) | Imaging apparatus having phase difference detection pixels receiving light transmitted through a same color filter | |
| US11509840B2 (en) | Solid-state imaging device, signal processing chip, and electronic apparatus | |
| CN112913224B (zh) | 固态成像元件和成像装置 | |
| WO2020066803A1 (ja) | 固体撮像素子、および、撮像装置 | |
| US20230402475A1 (en) | Imaging apparatus and electronic device | |
| WO2020129657A1 (ja) | センサ及び制御方法 | |
| WO2020246186A1 (ja) | 撮像システム | |
| US11451725B2 (en) | Solid-state imaging element, imaging apparatus, and method for controlling solid-state imaging element | |
| CN117546477A (zh) | 成像装置、电子设备及光检测方法 | |
| WO2023161005A1 (en) | Sensor device and method for operating a sensor device | |
| KR20230131833A (ko) | 촬상 장치 및 전자기기 | |
| CN116195268A (zh) | 固态摄像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |