WO2016021266A1 - 撮像装置及び画素信号読み出し方法 - Google Patents

撮像装置及び画素信号読み出し方法 Download PDF

Info

Publication number
WO2016021266A1
WO2016021266A1 PCT/JP2015/064209 JP2015064209W WO2016021266A1 WO 2016021266 A1 WO2016021266 A1 WO 2016021266A1 JP 2015064209 W JP2015064209 W JP 2015064209W WO 2016021266 A1 WO2016021266 A1 WO 2016021266A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel signal
image sensor
light
nanocarbon film
image
Prior art date
Application number
PCT/JP2015/064209
Other languages
English (en)
French (fr)
Inventor
出羽 恭子
原田 耕一
光永 知生
若林 準人
角野 宏治
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2016021266A1 publication Critical patent/WO2016021266A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present disclosure relates to an imaging apparatus and a pixel signal readout method.
  • an electronic imaging device disclosed in Japanese Patent Application Laid-Open No. 2007-134805 divides all pixels of a solid-state imaging element into several divided areas, and reads out the pixels in the divided areas alternately, thereby reducing the Realize low power consumption.
  • the semiconductor device disclosed in Japanese Patent Application Laid-Open No. 2012-165168 includes an element array unit in which unit elements are arranged in a matrix, and signal processing that performs predetermined signal processing based on unit signals output from the unit elements.
  • a signal processing unit having a circuit for each column, and in an element selection mode in which only information on a part of unit elements of one row in the element array unit is required, the unit elements that are not required
  • the function of the signal processing circuit is controlled so that the corresponding signal processing circuit is in a lower power consumption state than in the normal operation mode.
  • Non-Patent Document 1 Y. Hitomi, et al., "Video from a Single Coded Exposure Photograph using a Learned Over-Complete Dictionary", IEEE International Conference on Computer Vision (ICCV), Nov ., See 2011).
  • a moving image is regarded as three-dimensional data, and data in a form in which a three-dimensional cubic lattice is thinned is compressed and restored by applying sparse coding as a signal processing algorithm. . If the number of elements of the vector is large, but most of them are zero, it is only necessary to hold information on what number of bases, so that data compression can be achieved.
  • the moving image data thinned out spatially and temporally is interpreted as data compressed in this way as it is, and the subsequent processing is performed along with it.
  • Non-Patent Document 1 mentioned above does not mention anything about the reduction of power consumption of the entire imaging apparatus including the imaging element.
  • an object of the present disclosure is to provide an imaging apparatus and a pixel signal reading method having a configuration and structure that can sufficiently reduce the power consumption of the entire imaging apparatus including the imaging element.
  • an imaging apparatus includes: Image sensors arranged in a two-dimensional matrix in a first direction and a second direction, Pixel signal readout device, and Analog-to-digital converter, With Since the analog-digital converter is randomly operated by the pixel signal reading device, the pixel signal reading of the image sensor is performed randomly on the time axis.
  • an imaging apparatus includes: Image sensors arranged in a two-dimensional matrix in a first direction and a second direction, Pixel signal readout device, and Readout amplifier, With When the readout amplifier is operated at random by the pixel signal readout device, readout of the pixel signal of the image sensor is performed randomly on the time axis.
  • a pixel signal readout method includes Image sensors arranged in a two-dimensional matrix in a first direction and a second direction, Pixel signal readout device, and Analog-to-digital converter, A pixel signal readout method in an imaging apparatus comprising: The pixel signal reading device randomly operates the analog-to-digital converter to randomly read the pixel signal of the image sensor along the time axis.
  • a pixel signal readout method includes: Image sensors arranged in a two-dimensional matrix in a first direction and a second direction, Pixel signal readout device, and Readout amplifier, A pixel signal readout method in an imaging apparatus comprising: The pixel signal readout of the image sensor is randomly performed on the time axis by randomly operating the readout amplifier by the pixel signal readout device.
  • the analog-digital converter or the readout amplifier is randomly operated by the pixel signal readout device, thereby Pixel signal readout is performed randomly on the time axis.
  • Pixel signal readout of the image sensor is performed randomly on the time axis, it is possible to obtain a smaller amount of data than reading all pixels (all image sensors), and data compression after analog-to-digital conversion. Therefore, it is possible to apply a signal processing technique that does not require a processing circuit.
  • FIG. 1A and FIG. 1B are a conceptual diagram of the imaging apparatus of Example 1 and a conceptual diagram of one imaging element unit, respectively.
  • 2A and 2B are diagrams schematically illustrating an operation state of the analog-to-digital converter in the first and second exposure period segments of one image sensor unit in the image pickup apparatus according to the first embodiment.
  • FIG. 3 is a diagram schematically illustrating a state of a pixel signal output to the outside via the analog-digital converter in the image sensor unit of the first embodiment.
  • FIG. 4 is a conceptual diagram of one image sensor unit in the image pickup apparatus according to the second embodiment.
  • FIG. 5 is a conceptual diagram of one image sensor unit in the image pickup apparatus according to the third embodiment.
  • FIG. 6 is a conceptual diagram of one image sensor unit in the image pickup apparatus according to the fourth embodiment.
  • 7A and 7B are a flowchart illustrating an example of the operation of the motion detection circuit in the imaging apparatus according to the fifth exemplary embodiment, and a block diagram illustrating the configuration of the motion detection circuit, respectively.
  • 8A and 8B are schematic cross-sectional views of the light control device in the imaging apparatus according to the eighth embodiment.
  • FIG. 9A is a schematic partial end view of the light control device in the imaging device of Example 9
  • FIG. 9B is a diagram when a voltage is applied to a pair of electrodes of the light control device in the imaging device of Example 9.
  • FIG. 9C is a conceptual diagram illustrating the behavior of the first nanocarbon film and the second nanocarbon film, and FIG.
  • FIG. 9C illustrates light of the light control layer when a voltage is applied to a pair of electrodes of the light control device in the imaging device of Example 9. It is a conceptual diagram which shows the relationship between the transmittance
  • FIG. 10 is a schematic partial end view of the light control device in the imaging apparatus according to the tenth embodiment.
  • 11A and 11B are schematic partial end views of the light control device in the imaging apparatus according to the eleventh embodiment.
  • FIG. 12 is a schematic partial end view of the light control device in the imaging apparatus according to the twelfth embodiment.
  • 13A and 13B are schematic partial cross-sectional views of the image sensor according to the thirteenth embodiment.
  • FIG. 14A and 14B are diagrams schematically illustrating a layout of an imaging element group in the imaging apparatus according to the thirteenth embodiment.
  • FIG. 15B and FIG. 15B are diagrams schematically illustrating the layout of the imaging element group in the imaging devices of Example 13 and Example 16, respectively.
  • FIG. 16 is a diagram schematically illustrating a state of a pixel signal output to the outside via an analog-digital converter in the image sensor unit of the thirteenth embodiment.
  • FIG. 17 is a diagram illustrating an example of a configuration of a pixel driving circuit in the imaging apparatus according to the thirteenth embodiment.
  • FIG. 18A is a diagram illustrating an example of a configuration of a part of a pixel drive circuit in the imaging device of Example 13, and FIG.
  • FIG. 18B is applied to the nanocarbon film control first signal line and the nanocarbon film control second signal line. It is a figure which shows the change of the light transmission rate of the voltage to adjust, and the light modulation apparatus which comprises an image pick-up element.
  • 19A, 19B, and 19C are conceptual diagrams illustrating the light transmittance characteristics of the light control device in the imaging device of Example 13.
  • FIG. 20A and 20B are a diagram illustrating a configuration of an internal circuit of an image sensor that configures the image pickup apparatus according to the thirteenth embodiment, and a diagram illustrating a control state in which light incident on the image sensor is converted into an image output signal. is there.
  • FIG. 21 is a diagram illustrating temporal changes in the control signals in the pixel driving circuit and the light transmittance in the image sensors with respect to (two image sensors) ⁇ (two image sensors).
  • FIG. 22 is a diagram illustrating an example of a random pulse voltage used in Example 13.
  • FIG. 23A and FIG. 23B are diagrams conceptually showing the structure of the logic circuit chip constituting the image pickup apparatus of Example 13.
  • FIG. 24 is a conceptual diagram of an imaging apparatus having a structure in which a first semiconductor chip and a second semiconductor chip are stacked in the imaging apparatus according to the thirteenth embodiment.
  • FIG. 25 is a circuit diagram illustrating a specific configuration of a circuit on the first semiconductor chip side and a circuit on the second semiconductor chip side in the imaging apparatus according to the thirteenth embodiment.
  • FIG. 26 is a timing chart for explaining the operation of the single slope type analog-digital converter in the imaging apparatus according to the thirteenth embodiment.
  • FIG. 27 is a block diagram illustrating a specific configuration example of the signal processing unit in the imaging apparatus according to the thirteenth embodiment.
  • FIG. 28A and FIG. 28B are schematic cross-sectional views of modifications of the light control device in the image sensor that constitutes the image pickup device of the thirteenth embodiment.
  • FIG. 29 is a diagram schematically illustrating a partial arrangement of image pickup elements that constitute a modification of the image pickup apparatus according to the thirteenth embodiment.
  • FIG. 30 is a diagram schematically illustrating an arrangement of a part of an image sensor that constitutes another modified example of the image pickup apparatus according to the thirteenth embodiment.
  • FIGS 33A and 33B are diagrams conceptually showing the structure of the logic circuit chip constituting the image pickup apparatus of Example 14.
  • 32A and 32B are conceptual diagrams of an image sensor of Example 15.
  • FIGS 33A and 33B respectively, a predetermined voltage V 0 which when a predetermined voltage is applied V 0 which pulsed light control device constituting the imaging apparatus of Example 17, a change in light transmittance schematically
  • FIG. 5 is a diagram schematically illustrating the amount of accumulated charge accumulated in one frame period when a predetermined pulsed voltage V 0 is applied to the light control device.
  • FIG. 34B schematically show changes in the predetermined voltage V 0 and the light transmittance when a predetermined pulse voltage V 0 is applied to the light control device that constitutes the image pickup apparatus of Embodiment 17, respectively.
  • FIG. 5 is a diagram schematically illustrating the amount of accumulated charge accumulated in one frame period when a predetermined pulsed voltage V 0 is applied to the light control device.
  • FIG. 35A and FIG. 35B are a schematic partial cross-sectional view and an equivalent circuit diagram of an image sensor that controls the operation of the light control device provided in the image sensor by a thin film transistor (TFT) provided in the image sensor, respectively. It is.
  • FIG. 36B each schematically show the arrangement of a light control device that configures each of the four image pickup devices and the thin film transistor that controls one of the light control devices in the image pickup device shown in FIG. 35A. And a conceptual diagram showing a schematic cross section of a thin film transistor and the like.
  • FIG. 37 is a graph showing a light transmission spectrum of a nanocarbon film laminated structure having a dielectric material layer made of Al 2 O 3 .
  • FIG. 38A is a graph showing a light transmission spectrum of a nanocarbon film laminated structure having a dielectric material layer made of IGZO, and FIG. 38B is based on the light transmission spectrum when the applied voltage is 0 V in FIG. 38A.
  • FIG. 39A, FIG. 39B, FIG. 39C, and FIG. 39D are diagrams schematically showing fluctuations in the forbidden band based on fluctuations in the Fermi level E f in the graphene band structure.
  • FIG. 40 is a diagram showing a change in light transmittance in the infrared region when a film-like graphene layer is sandwiched between a pair of electrodes and the applied voltage is changed.
  • Example 1 imaging device and pixel signal readout method according to the first aspect of the present disclosure
  • Example 2 Imaging device and pixel signal readout method according to the second aspect of the present disclosure
  • Example 4 Modification of Example 3 6
  • Example 5 modification of Example 1 to Example 4. Motion detection, etc.
  • Example 6 Modification of Example 1 to Example 5. Coded exposure
  • Example 7 (Modification of Examples 1 to 6; SVE processing) 9. [Embodiment 8] (Modification of Embodiments 1 to 7.
  • Light control device having the first configuration 10.
  • Example 9 (Modification of Example 1 to Example 8.
  • Example 10 (modification of Example 9)
  • Example 11 (modification of Example 1 to Example 8.
  • Light control device of third configuration) 13
  • Example 12 (Modification of Example 1 to Example 8.
  • Example 13 (Modification of imaging device according to first to second aspects of present disclosure) 15.
  • Example 14 (Modification of Example 13) 16.
  • Example 15 (modification of Example 13 to Example 14) 17.
  • Example 16 (Modification of Examples 13 to 15) 18.
  • the analog-digital converter may be directly turned on / off randomly by the pixel signal readout device, or the analog-digital conversion may be performed.
  • a switching element is placed between the image sensor and the image sensor, the pixel signal readout device operates the switching element at random, and the pixel signal from the image sensor is input to the analog-to-digital converter and corresponds to the black level It is also possible to randomly switch between two systems in which the pixel signal to be input is input from the pixel signal reading device to the analog-digital converter.
  • the readout amplifier may be directly turned on / off at random by the pixel signal readout device, or the readout amplifier and the imaging A switching element is arranged between the pixel element, the switching element is randomly operated by the pixel signal reading device, and the pixel signal from the imaging element is input to the reading amplifier, and the pixel signal corresponding to the black level is the pixel signal. Switching from the reading device to the reading amplifier to the two systems may be performed at random.
  • the pixel signal readout device is provided with a random signal generation / transmission circuit.
  • the random signal generation / transmission circuit includes, for example, a pseudo random signal generation circuit.
  • the pixel signal readout device is controlled based on a signal processing algorithm.
  • the imaging device or the pixel signal readout method according to the second aspect of the present disclosure A total of K ⁇ L image sensors, K in the first direction and L in the second direction, are arranged,
  • the K ⁇ L image sensors form I image sensor units in the first direction and J image sensor units in the second direction.
  • the analog-digital converter or the readout amplifier is L j arranged along the second direction.
  • One image sensor group consisting of a plurality of image sensor elements is arranged, and is arranged in the first direction by the analog-digital converter or the read amplifier being operated at random by the pixel signal read device.
  • K i image sensors less than K i (including 0, in some cases, K i or less) image sensors are randomly selected, and pixel signals are read out from the selected image sensors. . Then, such processing is sequentially repeated along the second direction. Thus, one imaging frame or one exposure period segment described later is completed.
  • the same operation and processing are simultaneously performed in all the image sensor units. That is, in all of the image sensor units, the analog-digital converter is randomly operated by the pixel signal readout device at the same time, and the pixel signal readout of the image sensor is performed randomly on the time axis.
  • the imaging apparatus or the pixel signal readout method according to the second aspect of the present disclosure A total of K ⁇ L image sensors, K in the first direction and L in the second direction, are arranged, One analog-digital converter or readout amplifier is arranged in an image sensor group composed of L image sensors arranged along the second direction. An analog-digital converter or readout amplifier is randomly operated by the pixel signal readout device, so that less than K imaging devices are randomly selected from among the K imaging devices arranged in the first direction. The pixel signal can be read from the selected image sensor. Such a form may be referred to as a “B aspect of the present disclosure”.
  • an analog-digital converter or a readout amplifier is randomly operated by the pixel signal readout device, and among the K imaging devices arranged in the first direction, Less than K (including 0, in some cases, K or less) image sensors are randomly selected, and pixel signals are read from the selected image sensors. Then, such processing is sequentially repeated along the second direction. Thus, one imaging frame or one exposure period segment described later is completed.
  • the imaging apparatus or the pixel signal readout method according to the second aspect of the present disclosure A total of K ⁇ L image sensors, K in the first direction and L in the second direction, are arranged, One analog-to-digital converter or readout amplifier is arranged in one image sensor, An analog-digital converter or readout amplifier is randomly operated by the pixel signal readout device, so that less than K ⁇ L image sensors are randomly selected from among the K ⁇ L image sensors, and the selected imaging is performed.
  • the pixel signal can be read from the element.
  • Such a form may be referred to as “C aspect of the present disclosure”.
  • the exposure period of each imaging element is divided into one or two or more exposure period segments, and the accumulated time of the divided exposure period segments Can be configured to be the same in all the image sensors.
  • Each time length of the divided exposure period segments is random (ie, not constant). As a result, the saturation charge amount in the image sensor can be effectively utilized.
  • the exposure period of each imaging element is divided into two or more exposure period segments, and at least one in each exposure period segment.
  • the imaging element includes a light receiving element (photoelectric conversion element) and a light control device (light control element) disposed on the light incident side of the light receiving element.
  • the light control device includes a light control layer in which a first nanocarbon film, a first intermediate layer, a dielectric material layer, and a second intermediate layer are stacked, M layers (where M ⁇ 1), and further, A second nanocarbon film is formed on the second intermediate layer constituting the Mth light control layer, Under the control of the pixel signal readout device, a voltage can be applied to the first nanocarbon film and the second nanocarbon film to control the incidence of light on the image sensor.
  • the light control device having such a configuration is referred to as a “first light control device”.
  • a light control device (light control element) having the first configuration a light control layer having a first nanocarbon film and a second nanocarbon film is provided, and the first nanocarbon film and the first nanocarbon film are provided. Since a voltage is applied to the two-nanocarbon film, the light transmittance of the light control layer can be controlled.
  • the pixel signal reading device under the control of the pixel signal reading device, the pixel signal is read from the selected image sensor, and the light incident start and light incident completion to the image sensor are random in time. It can be set as the structure performed.
  • the start of light incidence and the completion of light incidence to the image sensor are performed randomly in terms of time, but it is possible to adopt a form in which the time length from the start of light incidence to the completion of light incidence is constant, It is also possible to adopt a mode in which the time length from the start of incidence to the completion of light incidence is random.
  • the time length from the start of light incidence to the completion of light incidence is made random, the time of light incidence start can be made random.
  • the light input start and light input completion to the image sensor are performed randomly in time, the amount of information of the obtained pixel signal can be increased, resolution can be prevented, and power consumption can be further reduced. Can be achieved.
  • a pulse-like voltage can be randomly applied to the first nanocarbon film and the second nanocarbon film.
  • the integrated value of the application time of the pulse voltage to the first nanocarbon film and the second nanocarbon film may be constant.
  • the imaging device further includes a motion detection circuit that detects the motion of the subject, The state in which the analog-digital converter or the readout amplifier is randomly operated by the pixel signal readout device can be changed based on whether or not the motion of the subject is detected by the motion detection circuit. Specifically, when the motion of the subject is detected by the motion detection circuit, all analog-digital converters or readout amplifiers are operated, or the image compression processing is not performed, or the image A form in which the compression rate (described later) is set to a low state may be employed.
  • the motion detection circuit can be configured to include a high-frequency detection filter.
  • the high frequency can be detected by Fourier transform, weblet transform, discrete cosine transform, or the like.
  • the motion detection can be performed on a high frequency in the vicinity of the sampling frequency detected by Fourier transform, Weblet transform, discrete cosine transform or the like with a predetermined frequency as a threshold.
  • HDR High Dynamic Range imaging
  • SVE spatialally Variable Variation
  • the analog-to-digital converter may be a well-known analog-to-digital converter.
  • the analog-to-digital converter a single slope type analog-to-digital converter, a successive approximation type analog-to-digital converter, or Delta-sigma modulation type ( ⁇ modulation type) analog-to-digital converter, and the analog-to-digital converter may include a Gray code counter.
  • the analog-digital converter is not limited to these, and may include a flash type, a half flash type, a sublens type, a pipeline type, a bit per stage type, a magnitude amplifier type, and the like.
  • the read amplifier may be a read amplifier (read circuit) having a known configuration and structure.
  • the light receiving element in the image sensor include a photosensor (photodiode), and a CMOS image sensor and a CCD image sensor are configured by the light receiving element.
  • a bolometer type light receiving element may be used.
  • the imaging element or the imaging device itself can be an imaging element or an imaging device having a known configuration and structure.
  • the imaging element may be a backside illumination type or a frontside illumination type.
  • imaging apparatus including the various preferable modes and configurations described above, and the first to second aspects of the present disclosure including the various preferable modes and configurations described above.
  • imaging device of the present disclosure the pixel that processes the readout pixel signal It is preferable to further include a signal processing device.
  • the light control device (light control device) provided in the imaging device is not limited to the light control device having the first configuration described above.
  • the imaging element includes a light receiving element and a light control device arranged on the light incident side of the light receiving element,
  • the light control device includes a pair of electrodes, and a light control layer sandwiched between the pair of electrodes,
  • the light control layer includes a first dielectric material layer, a first intermediate layer, a first nanocarbon film doped with an impurity of the first conductivity type or not doped with an impurity
  • the first conductivity type is a conductivity type Having a laminated structure of a second nanocarbon film doped with an impurity of a second conductivity type different from that of the second nanocarbon film, a second intermediate layer and a second dielectric material layer not doped with an impurity
  • a light control device having a configuration in which a voltage is applied to the pair of electrodes may be provided.
  • the light control device having such a configuration is referred to as “
  • the light control layer is a first dielectric material layer, doped with an impurity of the first conductivity type, or doped with no impurity. Since it has a laminated structure of one nanocarbon film, a second nanocarbon film doped with impurities of the second conductivity type or not doped with impurities, and a second dielectric material layer, a voltage is applied to the pair of electrodes. Is applied, a positive or negative charge is induced in one of the first nanocarbon film and the second nanocarbon film, and a negative or positive charge is induced in the other, depending on the polarity of the applied voltage.
  • the wavelength band of light that can pass through the light control layer with high light transmittance is determined. That is, the light transmittance of the light control layer can be controlled.
  • the first nanocarbon film and the second nanocarbon film are doped.
  • a PN junction is formed at the interface of the film, and when a reverse bias voltage is applied to the pair of electrodes, charges are held in each of the first nanocarbon film and the second nanocarbon film.
  • the first nanocarbon film and / or the second nanocarbon film is not doped with impurities, if an appropriate voltage is applied to the pair of electrodes, the first nanocarbon film and the second nanocarbon film Electric charges are held in each of the carbon films.
  • pixel signal readout is performed from the selected image sensor under the control of the pixel signal readout device, and light incidence start and light incidence completion to the image sensor are performed.
  • It can be set as the structure performed at random in time.
  • the start of light incidence and the completion of light incidence to the image sensor are performed randomly in terms of time, but it is possible to adopt a form in which the time length from the start of light incidence to the completion of light incidence is constant, It is also possible to adopt a mode in which the time length from the start of incidence to the completion of light incidence is random.
  • each image sensor can be configured to randomly apply a pulsed voltage to a pair of electrodes, and further to a pulsed voltage to a pair of electrodes.
  • the integrated value of the application time can be configured to be constant.
  • the imaging element includes a light receiving element and a light control device disposed on the light incident side of the light receiving element.
  • the light control device includes a pair of electrodes, and a light control layer sandwiched between the pair of electrodes,
  • the light control layer is a stack of a first dielectric material layer, a first intermediate layer, a nanocarbon film doped with impurities or not doped, a second intermediate layer, and a second dielectric material layer Has a structure
  • a light control device having a configuration in which a voltage different from the voltage applied to the pair of electrodes is applied to the nanocarbon film can also be provided.
  • the light control device having such a configuration is referred to as a “light control device having a third configuration”.
  • the light control layer includes the first dielectric material layer, the nanocarbon film doped with impurities, or not doped with impurities.
  • the light transmittance of the light control layer can be controlled. it can.
  • each image sensor can be configured to randomly apply a pulsed voltage to a pair of electrodes, and further to a pulsed voltage to a pair of electrodes.
  • the integrated value of the application time can be configured to be constant.
  • the imaging element includes a light receiving element and a light control device disposed on the light incident side of the light receiving element.
  • the light control device includes a stacked structure in which a pair of electrodes and a light control layer of a P layer (where P ⁇ 1) is sandwiched between the pair of electrodes,
  • the p-th dimming layer (where 1 ⁇ p ⁇ P) is a first dielectric material layer, a first intermediate layer, a first nanocrystal doped with an n-type impurity, or not doped with an impurity.
  • a third dielectric material layer is further formed on the fourth intermediate layer,
  • the second nanocarbon film may be a light control device configured to be applied with a voltage different from that of the first nanocarbon film.
  • the light control device having such a configuration is referred to as a “fourth light control device”.
  • the light control device (light control element) having such a fourth configuration includes a laminated structure in which P layers (where P ⁇ 1) having a predetermined configuration are stacked. Since a voltage different from that of the first nanocarbon film is applied to the second nanocarbon film, the light transmittance of the light control layer can be controlled.
  • the pixel signal is read out from the selected image sensor under the control of the pixel signal readout device, and the start of light incidence and the completion of light incidence to the image sensor are performed. It can be set as the structure performed at random in time.
  • the start of light incidence and the completion of light incidence to the image sensor are performed randomly in terms of time, but it is possible to adopt a form in which the time length from the start of light incidence to the completion of light incidence is constant, It is also possible to adopt a mode in which the time length from the start of incidence to the completion of light incidence is random.
  • each image sensor can be configured to randomly apply a pulsed voltage to a pair of electrodes, and further to a pulsed voltage to a pair of electrodes.
  • the integrated value of the application time can be configured to be constant.
  • the light control devices having the first to fourth configurations function as a planarizing layer and also function as an antireflection layer between the nanocarbon film and the dielectric material layer. Since the intermediate layer is formed, the flatness between the nanocarbon film and the dielectric material layer is improved, the adhesion is improved, and unnecessary reflection of incident light between the nanocarbon film and the dielectric material layer is unnecessary. Generation
  • production suppression can be aimed at. Further, by appropriately selecting the voltage to be applied (predetermined voltage V 0 ), the effective light transmittance of the light control layer for light having a wavelength of ⁇ 0 or more can be controlled.
  • the light transmittance for light having a wavelength of ⁇ 0 or more is approximately 100.
  • the desired light transmittance value can be obtained accurately and easily, and can be set to the desired light transmittance value.
  • the nanocarbon film has no wavelength dependency in the light transmittance, and the time required to change the light transmittance is short.
  • the pair of electrodes may be common to the image sensor including the light control device, or alternatively, the light control device A pair of electrodes that are common to the image pickup device including the image pickup device that does not include the light control device may be provided in common.
  • the light transmittance in the light control layer is controlled by applying a voltage to the first nanocarbon film and the second nanocarbon film. It can be in the form.
  • the light control device having the first configuration including such a configuration when M is an odd number, the odd-numbered first nanocarbon film is connected to the first wiring, and the even-numbered first nanocarbon film is connected. The carbon film and the second nanocarbon film are connected to the second wiring.
  • M is an even number
  • the odd-numbered first nanocarbon film and the second nanocarbon film are connected to the first wiring, and the even-numbered number.
  • the first nanocarbon film may be connected to the second wiring.
  • the amount of charge generated in the first nanocarbon film and / or the second nanocarbon film is controlled by applying a voltage to the pair of electrodes.
  • the light transmittance in the light control layer can be controlled.
  • N light control layers and (N + 1) electrodes, N light control layers and (N + 1) electrodes are alternately stacked,
  • the odd-numbered electrodes may be connected to the first wiring, and the even-numbered electrodes may be connected to the second wiring.
  • the first conductivity type is n-type
  • the second conductivity type is p-type
  • a higher voltage is applied to the first electrode facing the first nanocarbon film via the first dielectric material layer than to the second electrode facing the second nanocarbon film via the second dielectric material layer. It can be set as a form. That is, by adopting such a form, a negative charge is induced in the first nanocarbon film, and a positive charge is induced in the second nanocarbon film.
  • the first nanocarbon film is doped with an n-type impurity and the second nanocarbon film is doped with a p-type impurity, the interface between the first nanocarbon film and the second nanocarbon film is formed.
  • the PN junction is formed, and charges are held in each of the first nanocarbon film and the second nanocarbon film while a reverse bias voltage is applied to the pair of electrodes. As a result, the wavelength band of light that can pass through the light control layer with high light transmittance is determined.
  • the impurity is p-type, and the nanocarbon film is configured to be applied with a voltage higher than a voltage applied to the pair of electrodes.
  • the impurity is n-type, and the nanocarbon film can be configured to be applied with a voltage lower than the voltage applied to the pair of electrodes.
  • the pair of electrodes has a voltage equal to or lower than a voltage applied to the second nanocarbon film, and is equal to or higher than a voltage applied to the first nanocarbon film.
  • the voltage can be applied.
  • the first nanocarbon film is connected to the first wiring
  • the second nanocarbon film is connected to the second wiring. Can do.
  • the first nanocarbon film, the second nanocarbon film, and the nanocarbon film are formed of graphene.
  • the present invention is not limited to this, and a form composed of carbon nanotubes or fullerenes can also be used. Since the thickness of graphene is the thickness of one atomic layer, the thickness of the light control device can be reduced by constructing the nanocarbon film from graphene, and the height of the imaging device or imaging device can be reduced. (Thinning) can be achieved.
  • the materials constituting the first intermediate layer and the second intermediate layer may be the various preferable examples described above.
  • the materials constituting the first intermediate layer, the second intermediate layer, the third intermediate layer, and the fourth intermediate layer are titanium dioxide, titanium nitride, chromium oxide, and amorphous silicon.
  • Magnesium fluoride, silicon nitride, and silicon oxide, and at least one material selected from the group consisting of silicon oxide can be used.
  • a color filter layer may be disposed on the light incident side of the light receiving element.
  • the color filter layer may be arranged on the light incident side of the light control device.
  • the imaging device may further have a light shielding film.
  • the light control device is provided in the image sensor arranged in a row unit, or The light control device is provided in the image sensor arranged in a row unit, or The light control device can be configured to be provided in all the image sensors.
  • a random pulse voltage is generated, and the generated random pulse voltage is sent to an imaging device including a light control device. It is possible to adopt a configuration having a random pulse voltage generating / sending device. Such a configuration may be referred to as “random exposure” for convenience.
  • one random pulse voltage generating / sending device can be arranged for a plurality of image sensors provided with the light control device, and one image pickup device provided with the light control device.
  • One random pulse voltage generating / sending device may be arranged for the element.
  • the random pulse voltage can have a positive and negative polarity.
  • the operation of the random pulse voltage generating / sending device may be controlled by the pixel signal reading device. That is, when an analog-to-digital converter or readout amplifier is operated randomly by the pixel signal readout device, random pulse voltage is generated and transmitted to an image sensor connected to the analog-to-digital converter or readout amplifier.
  • the device may send a random pulse voltage.
  • a pulse voltage calculated based on an output signal obtained by an imaging device including a dimmer is applied. It can be set as a structure. Such a configuration may also be referred to as “random exposure” for convenience. Application of the pulse voltage may be controlled by a pixel signal reading device.
  • the image output signal from the imaging device including the light control device is thinned spatially and temporally.
  • the image output signal is compressed.
  • a pixel signal reading device (in some cases, a random pulse voltage generating / sending device that further generates a random pulse voltage and sends the generated random pulse voltage to an image sensor provided with a light control device) is a second semiconductor chip. It is provided in The first semiconductor chip and the second semiconductor chip are stacked, The pixel signal readout device and the analog-digital converter or readout amplifier (and in some cases, the dimming device and the random pulse voltage generation / transmission device) are connected via a through silicon via (TSV).
  • TSV through silicon via
  • the imaging element can be a backside illumination type, but is not limited to this, and can also be a frontside illumination type.
  • Random pulse voltage generating / sending device that generates a random pulse voltage and sends the generated random pulse voltage to an image sensor equipped with a light control device.
  • the light control device and the random pulse voltage generating / sending device can be connected by a connection wiring made of a nanocarbon film or a transparent conductive material layer.
  • the imaging elements are arranged in a two-dimensional matrix in the first direction and the second direction
  • the first nanocarbon film extends in the first direction and is common to the imaging elements arranged in the first direction
  • the second nanocarbon film extends in the second direction and is common to the imaging elements arranged in the second direction
  • a positive random pulse voltage may be applied to the first nanocarbon film
  • a negative random pulse voltage may be applied to the second nanocarbon film.
  • the end of the first nanocarbon film extending in the first direction is patterned into a comb-shaped electrode
  • the end of the second nanocarbon film extending in the second direction is patterned into a comb-shaped electrode. It can be set as a form.
  • the operation of the light control device provided in each imaging element is changed to a thin film transistor (TFT) provided in each imaging device.
  • TFT thin film transistor
  • the thin film transistor can be manufactured by a relatively simple process without sacrificing the aperture ratio of the pixel.
  • the pair of electrodes in the light control devices having the second configuration to the fourth configuration may be composed of a nanocarbon film, a transparent conductive material layer, or one of the pair of electrodes. It may be composed of a nanocarbon film, and the other may be composed of a transparent conductive material layer.
  • ITO indium-tin composite oxide, Indium Tin Oxide, Sn-doped In 2 O 3 , crystalline ITO and amorphous ITO
  • IZO indium-zinc composite oxide, Indium Zinc Oxide
  • AZO aluminum oxide-doped zinc oxide
  • GZO gallium-doped zinc oxide
  • AlMgZnO aluminum oxide and magnesium oxide-doped zinc oxide
  • IGO indium-gallium composite oxide
  • IGO In-GaZnO 4
  • IFO F-doped In 2 O 3
  • FTO F-doped SnO 2
  • zinc oxide (ZnO) B doped ZnO, InSnZnO, or be exemplified ITiO (in 2 O 3 of Ti-doped) That.
  • ITiO in 2 O 3 of Ti-doped
  • the first dielectric material layer, the second dielectric material layer, and the third dielectric material layer must be made of a material that is transparent to light incident on the light control device having the first to fourth configurations. is there.
  • an insulating material constituting the first dielectric material layer, the second dielectric material layer, and the third dielectric material layer known insulating materials such as SiO 2 , NSG (non-doped silicate glass), BPSG (boron.
  • Phosphorus silicate glass PSG, BSG, AsSG, PbSG, SbSG, SOG (spin on glass), SiOC, SiOF, and other SiO 2 materials; SiN materials including SiON, SiCN; aluminum oxide (Al 2 O 3 ) , Titanium oxide (TiO 2 ), ZnO, indium oxide (In 2 O 3 ), tin oxide (SnO 2 ), gallium oxide (Ga 2 O 3 ), tellurium oxide (TeO 2 ), germanium oxide (GeO 2 ), oxidation cadmium (CdO), tungsten oxide (WO 3), a metal oxide such as molybdenum oxide (MoO 3); metal nitride; metal oxynitride It can be exemplified, and they can be used alone or in combination.
  • various printing methods such as various CVD methods, coating methods, various PVD methods including sputtering methods and vacuum deposition methods, and screen printing methods. And publicly known methods such as sol-gel method.
  • the first dielectric material layer and the second dielectric material layer may be formed of the first nanocarbon without causing dielectric breakdown when a voltage is applied to the pair of electrodes. It is preferable to use a material having a high charge density of polarization charge capable of inducing charges in the film and the second nanocarbon film. In order to increase the amount of charge accumulated in the nanocarbon film by applying a voltage, a dielectric material having a high relative dielectric constant (paraelectric) is used as a dielectric material constituting the first dielectric material layer and the second dielectric material layer.
  • paraelectric a dielectric material having a high relative dielectric constant
  • Body material or ferroelectric material for example, a dielectric material having a relative dielectric constant of 2.0 or more, preferably a dielectric material having a relative dielectric constant of 4.0 or more, more preferably a relative dielectric constant of 8.0 or more. It is desirable to use a dielectric material.
  • a dielectric material As the dielectric material constituting the first dielectric material layer and the second dielectric material layer, a ferroelectric material having spontaneous polarization can also be used.
  • PVDF polyvinylidene fluoride
  • HDPE High Density Polyethylene
  • organic materials such as amorphous fluororesin, ionic liquid, liquid crystal, and the like can be given.
  • inorganic oxides have high dielectric properties and insulating properties, but have low transmittance in the far infrared region.
  • CaF 2 having high transparency in the far infrared region is used as the dielectric material constituting the first dielectric material layer and the second dielectric material layer. It is preferable.
  • a metamaterial is used as a dielectric material. The dielectric constants and the like of various dielectric materials are shown in Table 1 below. The above description can also be applied to the light control devices having the first configuration, the third configuration to the fourth configuration.
  • h-BN hexagonal boron nitride
  • STO strontium titanate (SrTiO 3 )
  • BTO barium titanate
  • PZT lead zirconate titanate
  • PTO titanate Lead
  • PTZT represents lead lanthanum zirconate titanate ((Pb, La) (Zr, Tr) O 3 ).
  • the light control having a plurality of light control layers
  • a dopant layer may be formed on the nanocarbon film.
  • the dopant layer can be an electron-accepting (p-type) dopant layer, or it can be an electron-donating (n-type) dopant layer.
  • Materials constituting the electron-accepting type (p-type) dopant layer include chlorides such as AuCl 3 , HAuCl 4 and PtCl 4 ; acids such as HNO 3 , H 2 SO 4 , HCl and nitromethane; Group III such as boron and aluminum Element: An electron-withdrawing molecule such as oxygen can be mentioned, and as a material constituting an electron-donating (n-type) dopant layer, in addition to a group V element such as nitrogen and phosphorus, a pyridine compound, a nitride, Examples thereof include electron-donating molecules such as alkali metals and aromatic compounds having an alkyl group.
  • the thickness of the dielectric material layer may be adjusted so that light of a wavelength whose light transmittance should be controlled is multiple-reflected inside the light control layer. By doing so, the light transmittance when the light control layer is transparent can be close to 100%.
  • the light transmittance per layer of the nanocarbon film can be obtained. For example, it can be made lower than 97.7%.
  • a nanocarbon film can be composed of graphene, but graphene refers to a sheet-like substance of sp 2 -bonded carbon atoms having a thickness of 1 atom, and is made from carbon atoms and their bonds. Hexagonal lattice structure like a honeycomb.
  • the light transmittance at the time of transparency per light control layer is as high as almost 100%. That is, the sheet resistance value per light control layer is as low as 1 k ⁇ / ⁇ , and the film thickness is as thin as 0.3 nm.
  • FIG. 39A, FIG. 39B, FIG. 39C, and FIG. 39D schematically show the variation of the forbidden band based on the variation of the Fermi level E f in the graphene band structure.
  • graphene is a zero-gap semiconductor in which the valence band and the conduction band have a linear dispersion relationship with the Dirac point Dp as a symmetry point.
  • the Fermi level E f exists at the Dirac point Dp, but can be shifted by applying a voltage or doping.
  • FIG. 40 shows the experimental results in this report.
  • FIG. 40 shows a change in light transmittance in the infrared region when a film-like graphene layer is sandwiched between a pair of electrodes and the applied voltage is changed.
  • the horizontal axis represents wavelength (nm), and the vertical axis represents Is the light transmittance (%).
  • the applied voltage is changed in the range of 0.25 eV to 4 eV.
  • the vertical axis of the graph is 100% light transmittance below and 97.6% light transmittance above (the amount absorbed by the graphene 1 layer).
  • the light transmittance is closer to 100% in the long region than in the short wavelength region.
  • the region where the light transmittance approaches 100% is expanded to the short wavelength side. Therefore, the wavelength region of light that can be modulated (controlled) by the applied voltage is reduced to the short wavelength side. It can be seen that it can be expanded.
  • the above results are for a single atomic layer.
  • the light transmittance can be changed according to the wavelength from the near infrared region to the infrared region and the terahertz region depending on the magnitude of the applied voltage.
  • Example 1 Image pickup apparatus and pixel signal readout method according to first aspect of present disclosure
  • a aspect of present disclosure Time length of exposure period segment: constant
  • Example 2 Implementation of modification / arrangement of switching elements of Example 1
  • Example 3 Imaging Device and Pixel Signal Reading Method According to Second Aspect of Present Disclosure
  • a Aspect of Disclosed Example A4 Modification of Example 3 / Arrangement of Switching Element
  • Aspect B of Disclosed Aspect C Example 5: Modification / motion detection of Example 1 to Example 4
  • Example 6 Modification of Example 1 to Example 5 / encoded exposure
  • Example 7 Modification of Example 1 to Example 6 / HDR / SVE Processing
  • Example 8 Modification of Example 1 to Example 7 / Light Control Device of First Configuration Exposure Period Segment Time Length: Constant
  • Example 9 Modification of Example 1 to Example 8 / Second Configuration Light control device Exposure period Segment time length : Fixed embodiment
  • Example 14 Modification of Example 13 Each of the imaging elements Application of random pulse voltage
  • Example 15 Modification of Example 13 to Example 14 Random pulse voltage is generated using random information originally present in the image sensor
  • Example 16 Example 13 to Example Arrangement example of an imaging device for receiving the deformation infrared 15 17: control of deformation duty ratio of Example 13 to Example 16
  • Example 1 relates to the imaging apparatus and the pixel signal readout method according to the first aspect of the present disclosure, and specifically relates to the A aspect of the present disclosure.
  • FIG. 1A shows a conceptual diagram of the image pickup apparatus of Example 1
  • FIG. 1B shows a conceptual diagram of one image sensor unit and the like.
  • the imaging apparatus of Example 1 is The imaging elements 12 arranged in a two-dimensional matrix in the first direction and the second direction, Pixel signal readout device (pixel signal readout circuit) 16, and Analog-to-digital converter 13 (13 1 , 13 2 ... 13 8 ), It has. Then, the pixel signal reading device 16 randomly operates the analog-digital converters 13 (13 1 , 13 2 ... 13 8 ), so that the pixel signals of the image sensor 12 are read randomly on the time axis. .
  • the pixel signal readout method of Embodiment 1 is The imaging elements 12 arranged in a two-dimensional matrix in the first direction and the second direction, Pixel signal readout device 16, and Analog-to-digital converter 13 (13 1 , 13 2 ...
  • a pixel signal readout method in an imaging apparatus comprising: The pixel-signal readout device 16 randomly operates the analog-digital converters 13 (13 1 , 13 2 ... 13 8 ), so that the pixel signals of the image sensor 12 are randomly read on the time axis.
  • the imaging device according to the first embodiment is the imaging device according to the A aspect of the present disclosure as described above, A total of K ⁇ L imaging elements 12 are arranged, K in the first direction and L in the second direction, The K ⁇ L image sensors 12 constitute I image sensor units 11 in the first direction and J image sensor units 11 in the second direction.
  • the analog-digital converter (hereinafter sometimes referred to as “AD converter”) is a known single slope type analog-digital converter.
  • the pixel signal readout device 16 that operates the AD converter 13 at random includes a random signal generation / transmission circuit that can generate a signal that operates the AD converter 13 (or a readout amplifier described later) at random. Yes.
  • the random signal generation / transmission circuit includes, for example, a pseudo random signal generation circuit.
  • the single slope AD converter will be described in a thirteenth embodiment.
  • the values of K i and L j are not limited to these values.
  • the AD converters 13 1 , 13 2 ... 13 8 are configured by L j (eight in the example shown in FIG. 1B) imaging elements 12 arranged along the second direction. One is arranged in the image sensor group. Then, when the AD converter 13 1, 13 2 ... 13 8 by the pixel signal readout unit 16 is operated randomly, among a K i of pieces of the image pickup device 12 arranged in the first direction, K i Less than the number of image sensors 12 are selected at random, and pixel signals are read from the selected image sensors 12.
  • Example 1 the exposure period of each image sensor 12 is divided into, for example, eight exposure period segments in one imaging frame.
  • the exposure period of the exposure period segment is the same.
  • each AD converter 13 can substitute for a random signal generation / transmission circuit. That is, the control logic unit of the AD converter 13 may generate a random signal for operating the AD converter at random. It is also possible to substitute the random signal generating / sending circuit with various transistors provided in each image sensor. That is, a random signal for operating the AD converter 13 at random may be generated based on noise generated from various transistors provided in each image sensor. The same applies to the embodiments described below.
  • the operation of the AD converter 13 is random as described above. The same applies to the following.
  • pixel signal readout of the image sensor 12 (1, 6) is performed. After reading, the AD converter 13 enters an off state or a standby state. The same applies to the following.
  • the pixel signal reading device 16 The AD converter 13 2 is activated. Then, pixel signal readout of the image sensor 12 (2, 2) is performed. Next, in the image sensor 12 (3, 1), 12 (3, 2)... 12 (3, 8) located in the third row of the image sensor unit 11 i, j , the pixel signal reading device 16 The AD converter 13 5 is activated. Then, pixel signal readout of the image sensor 12 (3, 5) is performed. Next, in the image sensor 12 (4, 1), 12 (4, 2)...
  • the pixel signal reading device 16 located in the fourth row of the image sensor unit 11 i, j , the pixel signal reading device 16
  • the AD converter 13 3 and the AD converter 13 7 are activated.
  • pixel signal readout of the image sensor 12 (4, 3), (4, 7) is performed.
  • the pixel signal reading device 16 The AD converter 13 4 is activated.
  • pixel signal readout of the image sensor 12 (5, 4) is performed.
  • the pixel signal reading device 16 AD converter 13 6 are activated. And pixel signal read-out of image sensor 12 (6, 6) is performed. Next, in the image sensor 12 (7, 1), 12 (7, 2)... 12 (7, 8) located in the seventh row of the image sensor unit 11 i, j , the pixel signal reading device 16 The AD converter 13 2 is activated. Then, pixel signal readout of the image sensor 12 (7, 2) is performed. Next, in the image sensor 12 (8, 1), 12 (8, 2)... 12 (8, 8) located in the eighth row of the image sensor unit 11 i, j , the pixel signal reading device 16 The AD converter 13 4 and the AD converter 13 8 are activated. Then, pixel signal readout of the image sensors 12 (8, 4) and 12 (8, 8) is performed. Thus, the pixel signal readout of the 64 image sensors 12 in the first exposure period segment is completed.
  • the AD converter 13 4 and AD converter 13 6 are operated by the pixel signal reading device 16.
  • pixel signal readout of the image sensors 12 (1, 4) and 12 (1, 6) is performed.
  • the image sensor 12 (2, 1), 12 (2, 2)... 12 (2, 8) located in the second row of the image sensor unit 11 i, j the pixel signal reading device 16 All AD converters 13 are not operated.
  • the pixel signal reading device 16 All the AD converters 13 cannot be operated.
  • the image sensor 12 (4, 1), 12 (4, 2)... 12 (4, 8) located in the fourth row of the image sensor unit 11 i, j the pixel signal reading device 16
  • the AD converter 13 5 is activated.
  • pixel signal readout of the image sensor 12 (4, 5) is performed.
  • the pixel signal reading device 16 The AD converters 13 2 and 13 4 are activated.
  • pixel signal readout of the image sensors 12 (5, 2) and 12 (5, 4) is performed.
  • the image sensor 12 (6, 1), 12 (6, 2)... 12 (6, 8) located in the sixth row of the image sensor unit 11 i, j the pixel signal reading device 16 All the AD converters 13 cannot be operated.
  • the image sensor 12 (7, 1), 12 (7, 2)... 12 (7, 8) located in the seventh row of the image sensor unit 11 i, j the pixel signal reading device 16
  • the AD converter 13 2 and the AD converter 13 7 are activated.
  • pixel signal readout of the image sensors 12 (7, 2) and 12 (7, 7) is performed.
  • the pixel signal reading device 16 The AD converter 13 1 is activated. Then, pixel signal readout of the image sensor 12 (8, 1) is performed. Thus, the pixel signal readout of the 64 image sensors 12 in the second exposure period segment is completed.
  • the pixel signal readout of the image sensor 12 based on the random operation of the AD converter 13 as described above is sequentially performed from the third exposure period segment to the eighth exposure period segment.
  • These pixel signals have randomness on the time axis. That is, in each imaging device 12, pixel signal readout is performed on the time axis (in other words, a total of eight exposures from the first exposure period segment to the eighth exposure period segment in one imaging frame). (In the period segment).
  • the AD converters 13 that operate are a part of the AD converters 13 and can reduce the power consumption of the entire AD converter.
  • the image pickup device hardly reaches the saturation charge amount, and the dynamic range can be expanded.
  • each of the AD converters 13 1, 13 2 digitally converted pixel signals by ... 13 8, the memory 17 1, 17 2 ... 17 8, once stored. That is, in each of the eight memories 17 1 , 17 2 ... 17 8 , eight pixel signals (from the first exposure period segment to the first exposure period segment) are arranged from the image sensor 12 arranged along the second direction. The pixel signal in the eighth exposure period segment) is added and stored. Finally, the pixel signals stored in each of the eight memories 17 1 , 17 2, ... 178 8 are output to the outside as image data via a horizontal transfer circuit 33 described later.
  • the compression ratio of the image is (1/8).
  • the compression rate of the image is determined by how the pixel signals in the first exposure period segment to the eighth exposure period segment are added. For example, when each of the pixel signals digitally converted by the AD converters 13 1 , 13 2 ... 13 8 is stored in each of the four memories 17 and output to the outside as image data, the image compression rate Is (1/16), and when it is stored in each of the 16 memories 17 and output to the outside as image data, the compression ratio of the image is (1/4). Note that the memory 17 is not shown in FIGS. 2A and 2B.
  • FIG. 3 for example, (1, 1) represents the image sensor 12 (1, 1), and the thin line segment shown below is a pixel signal readout state in the image sensor, and the pixel signal is read.
  • Japanese Patent Laid-Open No. 2003-234967 proposes a technique for compressing an image by subjecting a signal from an analog-digital converter (AD converter) to discrete cosine transform.
  • AD converter analog-digital converter
  • the weblet conversion proposed in Japanese Patent Laid-Open No. 2006-025270 also has a problem that the image quality is deteriorated during image restoration, and there is a problem that the area of the image compression circuit increases and a problem that power consumption increases. .
  • DCT discrete cosine transform
  • This DCT technology has been used for a long time because of its high compression efficiency, and has become the mainstream of today's image coding technology.
  • the image is divided into arbitrary transform blocks, and processing such as quantization and encoding is performed for each block, so noise such as block distortion and mosquito noise is mixed in the restored image as the compression rate is increased.
  • the image quality is deteriorated.
  • filter bank coding has attracted attention as an encoding method in which these noises are difficult to mix. Examples of filter bank coding include subband coding and weblet transform coding.
  • Subband coding is a method in which a signal is band-limited by a low-pass filter and a high-pass filter, and the entire output signal is further filtered.
  • Weblet transform coding is a method in which a signal is band-limited by a low-pass filter and a high-pass filter, and only a low frequency band having a large amount of information is hierarchically filtered. These encodings are realized using techniques such as filter banks and decimation / interpolation.
  • JPEG2000 and Motion-JPEG2000 as international standards adopting weblet transform coding, and weblet transform is adopted for transform coding to realize high compression performance.
  • both the DCT technique and the weblet transform use orthogonal bases, and image quality degradation at the time of image restoration is a problem.
  • AD analog-digital
  • the data compression technique based on sparse coding which is data compression described in Non-Patent Document 1
  • the data compression technique based on sparse coding is applied to the AD converter.
  • the moving image is regarded as three-dimensional data
  • the moving image is compressed by applying a signal processing method such as sparse coding as a signal processing algorithm, the output data from the image sensor is reduced, and the three-dimensional cubic lattice is thinned out.
  • the data in the form is restored using the basis obtained using the dictionary.
  • the obtained pixel signal is the matrix “ M I”
  • the shutter function for each pixel is the matrix “ M S”
  • the space ⁇ when the time volume matrix and "M E” these matrix
  • M I M S M E
  • the exposure period of each image sensor is divided into two or more exposure period segments (specifically, in the first embodiment, the exposure period of each image sensor is 8 in one imaging frame. Divided into two exposure period segments), and in each exposure period segment, random exposure is performed so that at least one image sensor is exposed, and signal processing of the read pixel signal is performed, thereby obtaining one imaging frame, It is possible to obtain a state of being divided into a plurality of imaging frames (eight imaging frames in the first embodiment). Therefore, the imaging frame rate can be increased by, for example, 8 times without increasing the driving frequency of the imaging element. That is, a high frame rate can be realized. Such operation mode switching can be performed, for example, by a user of the imaging apparatus operating a changeover switch. The same applies to the various embodiments described below.
  • the pixel signal readout of the image sensor is randomly performed on the time axis by the AD converter being randomly operated by the pixel signal readout device. That is, since not all the AD converters provided in the image pickup apparatus are operated but some AD converters are operated, the power consumption of the image pickup apparatus can be reduced. In addition, since pixel signal reading of the image sensor is performed randomly on the time axis, it is possible to obtain a smaller amount of data than reading all pixels (all image sensors), and for data compression after AD conversion. Signal processing techniques that do not require a processing circuit can be applied.
  • the image data output from the imaging apparatus can be reduced.
  • the image data when using the cloud, it is essential that the image data is small so that communication for distributing images is not burdened.
  • By performing the compressive sensing it is possible to compress the image data to a capacity considering the communication load and distribute the image. If the system is equipped with a device that monitors the traffic, it is possible to determine the upload timing of the image from the monitored traffic, or to upload the image by compressing it at the optimal compression rate for the communication traffic at that timing. It becomes.
  • memory, hard disks, small data centers, etc. are placed between consumer devices such as cameras and camcorders using the imaging device of the present disclosure and the cloud, and image data is temporarily stored and uploaded to the cloud. It is also possible.
  • Image data stored in a memory, hard disk, or small data center located between a consumer device and the cloud is image data that is determined to need to be uploaded after determining the status of communication traffic and selecting images. .
  • This determination or sorting is performed using a sorting engine or a recognition engine. Therefore, the sorting engine and the recognition engine may be arranged anywhere in the logic part of the imaging device, consumer equipment such as a camera or camcorder incorporating the imaging device, a memory, a hard disk, a small data center, or the like. Furthermore, it is possible to temporarily restore image data by arranging a base necessary for restoring compressed image data in a memory, a hard disk, or a small data center.
  • the second embodiment is a modification of the first embodiment.
  • the AD converter 13 is directly turned on / off by the pixel signal reading device 16.
  • Example 2 a conceptual diagram of one image sensor unit is shown in FIG. 4 between the AD converter 13 (13 1 , 13 2 ... 13 8 ) and the image sensor 12.
  • Switching elements 14 (14 1 , 14 2 ... 14 8 ) made of FETs are arranged. Then, the switching element 14 is randomly operated by the pixel signal reading device 16 and the pixel signal from the imaging device 12 is input to the AD converter 13 and the pixel signal corresponding to the black level is input to the pixel signal reading device 16. To the AD converter 13 is randomly switched to two systems.
  • the imaging apparatus and pixel signal readout method of the second embodiment can be the same as the imaging apparatus and pixel signal readout method of the first embodiment, and thus detailed description thereof is omitted.
  • the AD converter to which the pixel signal is input is a part of the whole, and the pixel signal corresponding to the black level is input to the AD converter to which the pixel signal is not input.
  • the power consumption of the AD converter that is not input can be suppressed, and the power consumption of the entire AD converter can be reduced.
  • Example 3 relates to an imaging apparatus and a pixel signal readout method according to the second aspect of the present disclosure, and specifically relates to an A aspect of the present disclosure.
  • FIG. 5 is a conceptual diagram of one image sensor unit and the like in the image pickup apparatus according to the third embodiment.
  • the imaging apparatus of Example 3 is The imaging elements 12 arranged in a two-dimensional matrix in the first direction and the second direction, Pixel signal readout device 16, and Read amplifier 15 (15 1 , 15 2 ... 15 8 ), With The readout amplifier 15 (15 1 , 15 2 ... 15 8 ) is operated at random by the pixel signal readout device 16, whereby the pixel signal readout of the image sensor 12 is performed randomly on the time axis.
  • the pixel signal readout method of the third embodiment is as follows. The imaging elements 12 arranged in a two-dimensional matrix in the first direction and the second direction, Pixel signal readout device 16, and Read amplifier 15 (15 1 , 15 2 ...
  • a pixel signal readout method in an imaging apparatus comprising: The pixel signal readout device 16 randomly operates the readout amplifier 15 (15 1 , 15 2 ... 15 8 ) to read out the pixel signal of the image sensor 12 at random on the time axis.
  • the readout amplifier (readout circuit) 15 when the readout amplifier (readout circuit) 15 is in an activated (on) state, the pixel signal is sent to the AD converter 13. On the other hand, when the readout amplifier 15 is inactive (off), the pixel signal is not sent to the AD converter 13, so that the power consumption of the AD converter can be suppressed, and the power consumption of the entire AD converter can be reduced. Reduction can be achieved.
  • the imaging apparatus and pixel signal readout method of the third embodiment can be basically the same as the imaging apparatus and pixel signal readout method of the first embodiment, and thus detailed description thereof is omitted.
  • the pixel signal reading device randomly operates the read amplifier on the time axis by operating the read amplifier at random. That is, since not all the readout amplifiers provided in the imaging apparatus are operated, but a part of the readout amplifiers are operated, the power consumption of the imaging apparatus can be reduced.
  • pixel signal reading of the image sensor is performed randomly on the time axis, it is possible to obtain a smaller amount of data than reading all pixels (all image sensors), and for data compression after AD conversion. Signal processing techniques that do not require a processing circuit can be applied.
  • the fourth embodiment is a modification of the third embodiment.
  • the readout amplifier 15 is directly turned on / off by the pixel signal readout apparatus 16.
  • Example 4 a conceptual diagram of one image sensor unit is shown in FIG. 6 between the readout amplifier 15 (15 1 , 15 2 ... 15 8 ) and the image sensor 12.
  • Switching elements 14 (14 1 , 14 2 ... 14 8 ) made of FETs are arranged. Then, the switching element 14 is randomly operated by the pixel signal reading device 16 and the pixel signal from the imaging device 12 is input to the AD converter 13 and the pixel signal corresponding to the black level is input to the pixel signal reading device 16. Are randomly switched to two systems to be input to the read amplifier 15.
  • the imaging apparatus and pixel signal readout method of the fourth embodiment can be the same as the imaging apparatus and pixel signal readout method of the third embodiment, and thus detailed description thereof is omitted.
  • the AD converter to which the pixel signal is input is a part of the whole, and the pixel signal corresponding to the black level is input to the AD converter to which the pixel signal is not input.
  • the power consumption of the AD converter that is not input can be suppressed, and the power consumption of the entire AD converter can be reduced.
  • the A mode of the present disclosure is used.
  • the B mode of the present disclosure can be used. That is, A total of K ⁇ L imaging elements 12 are arranged, K in the first direction and L in the second direction, One AD converter 13 or readout amplifier 15 is disposed in an image sensor group composed of L image sensors 12 arranged along the second direction. Since the AD converter 13, the read amplifier 15, or the switching element 14 is randomly operated by the pixel signal reading device 16, less than K image pickup elements among the K image pickup elements 12 arranged in the first direction. 12 is selected at random, and pixel signals are read from the selected image sensor 12.
  • K ⁇ L imaging elements 12 are arranged, K in the first direction and L in the second direction.
  • One AD converter 13 or one readout amplifier 15 is arranged in one image sensor 12, Since the AD converter 13, the read amplifier 15, or the switching element 14 is randomly operated by the pixel signal reading device 16, less than K ⁇ L image sensors 12 are randomly selected among the K ⁇ L image sensors 12. The pixel signal is read out from the selected image sensor 12 selected.
  • the AD converter 13 or the readout amplifier 15 is arranged for each imaging device 12, and the reset timing and readout timing are set for each imaging device, thereby changing the time length of the exposure period segment in one imaging frame. Can be made. This makes it possible to perform the same operation and processing in each image sensor as in the case where a light control device is provided in the image sensor in Example 8 to be described later.
  • the fifth embodiment is a modification of the first to fourth embodiments described above.
  • the imaging apparatus further includes a motion detection circuit that detects the motion of the subject. Then, based on whether or not the motion of the subject is detected by the motion detection circuit, the state in which the analog-digital converter or the read amplifier is randomly operated by the pixel signal read device is changed. Specifically, when the motion of the subject is detected by the motion detection circuit, all analog-digital converters or readout amplifiers are operated, or the image compression processing is not performed, or the image Set the compression ratio low.
  • the motion detection circuit can be configured to include high-frequency detection filters HPF 1 and HPF 2 .
  • the high frequency is detected by a well-known method using Fourier transform, weblet transform, discrete cosine transform, or the like.
  • motion detection is performed on a high frequency around a sampling frequency detected by Fourier transform, Weblet transform, discrete cosine transform, or the like using a predetermined frequency as a threshold value based on a known method.
  • the AD converter 13, the read amplifier 15, or the switching element 14 is randomly operated by the pixel signal read device 16.
  • the pixel signal readout of the image sensor 12 is performed randomly on the time axis.
  • the obtained pixel signals are temporarily stored in the image memory in an order corresponding to the original pixel arrangement.
  • pixel signals in all the image sensors are stored in the image memory, and image data is configured.
  • the motion detection circuit receives the image data read during a predetermined exposure period as input, and determines the presence or absence of motion (subject motion) in the input image.
  • the determination result is sent to the pixel signal reading device 16, and the pixel signal reading device 16 controls the operation of the AD converter 13 or the reading amplifier 15 based on the motion determination result.
  • FIG. 7A shows a flowchart of an example of the operation of the motion detection circuit
  • FIG. 7B shows a block diagram illustrating the configuration of the motion detection circuit.
  • the pixel signal readout device 16 randomly operates the AD converter 13, the readout amplifier 15, or the switching element 14, so that the pixel signal readout of the image sensor 12 is performed randomly on the time axis, so that the subject moves. If there is no motion, the correlation between adjacent pixels is very high, but if there is movement in the subject, the correlation between adjacent pixels is low. As a result, the larger the movement of the subject, the more the random dot image.
  • the motion detection in the fifth embodiment uses the fact that the pixel signal readout of the image sensor 12 in the first to fourth embodiments is performed randomly on the time axis, and the random dot condition of the image is performed according to the procedure described below. And determine the presence or absence of movement.
  • the pixel signal reading device 16 sets the next exposure period of the image sensor (specifically, the time length of the next exposure period segment) to the current exposure period (specifically, Is set longer than the current exposure period segment time length).
  • the next exposure period of the image sensor is set to be longer than the first threshold value of the time length of the preset exposure period segment.
  • the next exposure period of the image sensor is set to the current exposure period (specifically, the current exposure period segment). Shorter than the time length).
  • the next exposure period of the image sensor is set to be shorter than a second threshold value of a preset time length of the exposure period segment.
  • pixel signal readout of the image sensor 12 is performed randomly on the time axis, it is relatively easy to restore a still scene from acquired image data, but dynamic scene image restoration may be difficult. . Therefore, when the movement of the subject is detected, an effect of avoiding the difficulty of image restoration by shortening the exposure period of the image sensor can be expected, and conversely, when the movement of the subject is not detected, By making the exposure period longer, the effect of reducing the number of output image data per unit time can be expected. In these cases, only the exposure period may be changed while maintaining randomness.
  • the high frequency detection filter HPF 1 is applied to the input image. Specifically, the input image is subjected to Fourier transform, and a spatial high-frequency component is extracted using a high-frequency detection filter.
  • a high-frequency detection filter that is highly responsive to the difference in values between adjacent pixels is used.
  • the high frequency detection filter HPF 2 is applied to the input image.
  • the high frequency detection filter HPF 2 is a high frequency detection filter having a frequency characteristic that does not react to a difference in values between adjacent pixels but reacts highly to the structure of a subject (a component having a low correlation between adjacent pixels such as an edge). Is used.
  • Step-B the output of the high frequency detection filter HPF 2 is multiplied by a predetermined coefficient value for level adjustment.
  • Step-C an output value obtained by multiplying the output value of the high frequency detection filter HPF 2 by the coefficient value is subtracted from the output value of the high frequency detection filter HPF 1 .
  • components derived from the original subject structure are removed from the output value of the high frequency detection filter HPF 1 and random dot-like components derived from motion (motion components, high frequency components derived from motion) are extracted as much as possible.
  • the sum total sum of high-frequency components derived from motion per one image frame
  • Step-D Determination is made by applying a predetermined threshold to the total obtained in this way.
  • Step-E When the motion of the subject is detected by the motion detection circuit, all AD converters 13 or readout amplifiers 15 are operated in the next imaging frame, or the image compression processing is not performed, or The image compression rate is set to a low state.
  • the sixth embodiment is a modification of the first to fifth embodiments.
  • the pixel signal readout device 16 randomly operates the AD converter 13, the readout amplifier 15, or the switching element 14, so that pixel signal readout of the image sensor is performed randomly on the time axis. Is called.
  • the exposure time of each pixel in the first to fifth embodiments is randomly divided into a plurality of periods.
  • the point spread function Point ⁇ spread function, PSF, also called point spread function
  • PSF point spread function
  • the high dynamic range synthesis method or the SVE method is applied to the pixel signal obtained by the imaging apparatus described in the first to sixth embodiments. That is, by dividing the pixel signal amount (charge accumulation amount) of each image sensor by the total charge accumulation time of the image sensor, the sensitivity of each image sensor can be made uniform and the dynamic range can be expanded. .
  • the pixel signal value may be set to “0” for the saturated image sensor or the image sensor causing blackout, or may be interpolated by surrounding image sensors. Since the original exposure is random, the pixel signal after the pixel signal of the saturated pixel or the blackout pixel is replaced with “0” in this way also maintains the randomness. Then, further compression sensing signal processing is performed on the pixel signal, whereby image compression and dynamic range expansion can be realized simultaneously. Note that the SVE method can be applied without a dimmer.
  • the eighth embodiment is a modification of the first to seventh embodiments described above.
  • various dimming devices (the first to fourth dimming devices) will be described.
  • the thirteenth to seventeenth embodiments the first to fourth embodiments will be described.
  • An imaging apparatus will be described in which an imaging device having a light control device described in Examples 8 to 12 is applied to the imaging apparatus described in Example 7.
  • the imaging element includes a light receiving element (photoelectric conversion element) and a light control device (light control element) arranged on the light incident side of the light receiving element.
  • the light control device is the light control device (light control device) having the first configuration.
  • the light control device (light control device) 100 according to the eighth embodiment includes a first nanocarbon film 114, a first intermediate layer 117A, a dielectric, and the like.
  • a second nanocarbon film 115 is formed on the second intermediate layer 117B constituting the Mth light control layer 113M. Then, under the control of the pixel signal reading device 16, the voltage is applied to the first nanocarbon film 114 and the second nanocarbon film 115, so that the incidence of light on the image sensor 12 is controlled.
  • the pixel signal is read out from the selected image sensor 12 under the control of the pixel signal readout device 16, and the light incident start and light incident completion to the image sensor 12 are temporally performed. Randomly done. Further, in each imaging element 12, a pulsed voltage is randomly applied to the first nanocarbon film 114 and the second nanocarbon film 115. Further, the integrated value of the application time of the pulse voltage to the first nanocarbon film 114 and the second nanocarbon film 115 is constant. That is, in one exposure period segment, from the start of light incidence to the completion of light incidence corresponds to an effective exposure period segment, and the time length of the effective exposure period segment is constant. Then, under the control of the pixel signal reading device 16, the total length of effective exposure period segments in one imaging frame is made constant. The same applies to the following embodiments.
  • the second intermediate layer 117B that constitutes the Mth light control layer 113M.
  • a second nanocarbon film 115 is formed underneath. That is, whether the second nanocarbon film 115 is formed on or below the second intermediate layer 117B constituting the Mth dimming layer 113M depends on whether the second nanocarbon film 115 is formed on the first nanocarbon film 114 or below. It is a relative one depending on the positional relationship with the second nanocarbon film 115.
  • the first nanocarbon film 114 is positioned above the second nanocarbon film 115, the second nanocarbon film 115 constitutes the Mth dimming layer 113M.
  • the second nanocarbon film 115 is formed “on” the second intermediate layer 117B constituting the Mth dimming layer 113M. Included in the concept of “formed”.
  • the light transmittance in the light control layers 113 and 113 M is increased by applying a voltage to the first nanocarbon film 114 and the second nanocarbon film 115. Be controlled. That is, by applying appropriate voltages to the first nanocarbon film 114 and the second nanocarbon film 115, to be a transparent state light control layer 113 and 113 M with respect to light having a desired wavelength range it can.
  • M is an odd number (see FIG. 8A)
  • the odd-numbered first nanocarbon film 114 is connected to the common first wiring 118
  • the even-numbered first nanocarbon film 114 and the second nanocarbon film 115 are connected. Are connected to the common second wiring 119.
  • M is an even number (see FIG.
  • the odd-numbered first nanocarbon film 114 and the second nanocarbon film 115 are connected to the common first wiring 118, and the even-numbered first nanocarbon film 114.
  • the first wiring 118 and the second wiring 119 are connected to a light control device control circuit (not shown).
  • a positive potential may be applied to the first wiring 118 and the second wiring 119 may be grounded.
  • the first wiring 118 may be grounded and a positive potential may be applied to the second wiring 119.
  • a negative potential may be applied to the first wiring 118 and the second wiring 119 may be grounded.
  • the first wiring 118 may be grounded and a negative potential may be applied to the second wiring 119.
  • a positive potential may be applied to the first wiring 118 and a negative potential may be applied to the second wiring 119.
  • a negative potential may be applied to the first wiring 118 and a positive potential applied to the second wiring 119. May be.
  • M is an odd number (see FIG. 8A)
  • the odd-numbered first nanocarbon film 114 is electrically connected through a first contact hole (not shown) and connected to the common first wiring 118.
  • the even-numbered first nanocarbon film 114 and second nanocarbon film 115 may be electrically connected through a second contact hole (not shown) and connected to the common second wiring 119.
  • M is an even number
  • the odd-numbered first nanocarbon film 114 and the second nanocarbon film 115 are electrically connected through a first contact hole (not shown). Even if the even-numbered first nanocarbon film 114 is connected to the common first wiring 118 through the second contact hole (not shown) and connected to the common second wiring 119. Good.
  • the first nanocarbon film 114 and the second nanocarbon film 115 are made of graphene.
  • the first intermediate layer 117A and the second intermediate layer 117B are made of titanium dioxide (TiO 2 ), and the dielectric material layer 116 is made of Al 2 O 3 , HfO 2 , ZrO 2 or the like.
  • the first wiring 118 and the second wiring 119 are nano-wired in order to prevent a decrease in light transmittance and an effect on visibility caused by providing the first wiring, the second wiring, and the connection wiring described later. It consists of a carbon film or alternatively a transparent conductive material layer.
  • the materials constituting the nanocarbon film, the intermediate layer, the dielectric material layer, the first wiring, the second wiring, and the connection wiring can be the same.
  • Graphene can be formed, for example, by the manufacturing method described below. That is, a film containing a graphenization catalyst is formed on the substrate. Then, simultaneously with supplying the vapor phase carbon supply source to the film containing the graphenization catalyst, the vapor phase carbon supply source is heat-treated to generate graphene. Thereafter, by cooling the graphene at a predetermined cooling rate, the film-like graphene can be formed on the film containing the graphene catalyst.
  • graphene catalyst in addition to carbon compounds such as SiC, Ni, Co, Fe, Pt, Au, Al, Cr, Cu, Mg, Mn, Mo, Rh, Si, Ta, Ti, W, U, V, and Mention may be made of at least one metal selected from Zr.
  • a vapor phase carbon source for example, at least selected from carbon monoxide, methane, ethane, ethylene, ethanol, acetylene, propane, butane, butadiene, pentane, pentene, cyclopentadiene, hexane, cyclohexane, benzene and toluene
  • carbon monoxide methane, ethane, ethylene, ethanol, acetylene, propane, butane, butadiene, pentane, pentene, cyclopentadiene, hexane, cyclohexane, benzene and toluene
  • One type of carbon source can be mentioned.
  • the graphene can be obtained by isolate
  • a rolled copper foil having a thickness of 35 ⁇ m is heated to 1000 ° C. in a hydrogen atmosphere (hydrogen flow rate 20 sccm) in an electric furnace, and methane gas Is supplied at a flow rate of 30 sccm for 30 minutes, thereby forming the first nanocarbon film 114 made of graphene on the copper foil.
  • a first intermediate layer 117A, a dielectric material layer 116, and a second intermediate layer 117B are sequentially formed on the graphene.
  • the first light control layer can be formed.
  • a first nanocarbon film 114 made of graphene, a first intermediate layer 117A, a dielectric material layer 116, and a second intermediate layer 117B are sequentially formed on the copper foil.
  • An optical layer can be formed.
  • middle layer 117B by spin coating the solution is dried and a PMMA film
  • PMMA polymethylmethacrylate
  • the PMMA film is removed using an acetone solvent.
  • a laminated structure in which two light control layers are laminated can be obtained.
  • the second nanocarbon film 115 is formed on the second intermediate layer constituting the Mth dimming layer as described above. Bonding may be performed based on a similar method.
  • a substrate on which an imaging element is previously formed may be bonded.
  • the first nanocarbon film 114 is bonded to the transparent substrate in advance, and then the first intermediate layer 117A, the dielectric material layer 116, the second layer is formed on the first nanocarbon film 114.
  • the intermediate layer 117B may be formed sequentially.
  • a method of continuously forming a film by a roll-to-roll method, a method of locally forming an electrode by heating an electrode, or the like can be applied.
  • the Fermi level E f is changed by changing the value of the voltage applied between the first wiring 118 and the second wiring 119.
  • the light transmittance for light of a desired wavelength (frequency) can be changed (controlled).
  • the Fermi level E f can also be moved by performing a doping process on the first nanocarbon film 114 and the second nanocarbon film 115.
  • the rate can be changed (controlled).
  • the amount of carriers doped into graphene increases by configuring the dielectric material layer that constitutes the light control layer from a dielectric material having a high relative dielectric constant. That is, it is possible to increase the amount of charge held in the first nanocarbon film 114 and the second nanocarbon film 115. As a result, the light transmittance with respect to light having a desired wavelength (frequency) can be changed (controlled).
  • FIG. 37 and FIG. 38A show an example of a light transmission spectrum of a nanocarbon film laminated structure in which a first nanocarbon film / dielectric material layer / second nanocarbon film is laminated.
  • FIG. 37 is an example in which the dielectric material layer in the nanocarbon film laminated structure is composed of Al 2 O 3 , the second nanocarbon film is grounded, and the voltage applied to the first nanocarbon film is expressed as follows: The range is from -70 volts to +70 volts.
  • the vertical axis in FIG. 37 indicates the light transmittance (unit:%).
  • FIG. 37 shows the light transmittance (unit:%).
  • FIG. 38A is an example in which the dielectric material layer in the nanocarbon film laminated structure is composed of IGZO, the second nanocarbon film is grounded, and the voltage applied to the first nanocarbon film is from ⁇ 20 volts. It is changed in the range of +40 volts.
  • shaft of FIG. 38A shows a light transmittance.
  • FIG. 38B is a graph obtained by processing FIG. 38A in order to explain the change in the light transmission spectrum due to the applied voltage, and the light transmission spectrum when the applied voltage is 0 V in FIG. 38A is used as a reference.
  • the light transmission spectrum (middle thick line) with an applied voltage of +30 volts or higher shows a rise of the spectrum from around 1100 nm. That is, it can be seen that the wavelength range of light that can be transmitted by the applied voltage (region where the light transmittance can be modulated) can be expanded to around 1100 nm.
  • the light transmission spectrum (middle thick line) of the applied voltage +20 volts rises from the shorter wavelength side than 1000 nm. That is, it can be seen that the wavelength region of light that can be transmitted by the applied voltage (region where light transmittance can be modulated) can be expanded to a wavelength shorter than 1000 nm.
  • the relative dielectric constant of IGZO is larger than that of Al 2 O 3 . Therefore, it can be seen that the dielectric material layer having a higher relative dielectric constant shifts the wavelength of the forbidden transition to the short wavelength side by applying a voltage, and the wavelength range of light that can be transmitted can be expanded to the short wavelength side. Further, as shown in FIG. 37, it can be seen that the wavelength range of light that can be transmitted can be expanded to the shorter wavelength side as the applied voltage is larger. For example, it can be seen that the wavelength range of light that can be transmitted up to about 1200 nm at an applied voltage of 10 volts and that can be transmitted up to about 1100 nm at an applied voltage of 30 volts can be seen.
  • the light control layer having the first nanocarbon film and the second nanocarbon film is provided. Since a voltage is applied to the two-nanocarbon film, the light transmittance of the light control layer can be controlled. That is, by applying a predetermined voltage V 0 to the first nanocarbon film and the second nanocarbon film, the light control layer can be made transparent with respect to light having a desired wavelength range.
  • the light transmittance modulation width (light transmittance change width ⁇ T) per one layer of graphene is about 2.3%, but when forming the light control layer, the interface between the graphene and the dielectric material layer is uniform. Otherwise, the carrier from the dielectric material is not doped into the graphene, and the light transmittance modulation of the graphene may be non-uniform.
  • the surface of the dielectric material layer may be rough, and even if graphene is laminated on such a dielectric material layer, Since the interface is rough, all the carriers may not be doped into graphene.
  • an intermediate layer between the dielectric material layer and the nanocarbon film, that is, between the nanocarbon film and the dielectric material layer, an intermediate layer that functions as a planarization layer for improving flatness.
  • the intermediate layer also functions as an adhesion improving layer and an antireflection layer at the same time, the adhesion between the nanocarbon film and the dielectric material layer is improved, and between the nanocarbon film and the dielectric material layer is improved. It is also possible to prevent the occurrence of peeling and to suppress unnecessary reflection of incident light between the nanocarbon film and the dielectric material layer.
  • the nanocarbon film has no wavelength dependency in the light transmittance, the transmission spectrum is flat, the hue is neutral, and the time required to change the light transmittance is short.
  • mechanical drive is unnecessary, the structure can be simplified, and the height (thinning) and miniaturization are easy.
  • the voltage to be applied it is possible to control the effective light transmittance of the light control layer with respect to light having a wavelength longer than the desired wavelength.
  • the value of the desired wavelength is blue (
  • V 0 when a predetermined voltage V 0 is applied, the light transmittance with respect to light having a wavelength greater than a desired wavelength (for example, light having a wavelength band greater than or equal to visible light) is set to approximately 100%. By doing so, a desired light transmittance value can be obtained accurately and easily.
  • V 0 when a predetermined voltage V 0 is applied, the light transmittance with respect to light having a wavelength greater than a desired wavelength (for example, light having a wavelength band greater than or equal to visible light) is set to approximately 100%.
  • the odd-numbered first nanocarbon film, the even-numbered first nanocarbon film, and the second nanocarbon film may be doped with impurities.
  • [A-1] A nanocarbon film connected to the first wiring is doped with impurities of the first conductivity type, and a nanocarbon film connected to the second wiring is doped with impurities of the second conductivity type.
  • A-2 A state where the nanocarbon film connected to the first wiring is doped with impurities of the first conductivity type, and a state where the nanocarbon film connected to the second wiring is not doped
  • A-3 Nanocarbon film connected to the first wiring is not doped with impurities, and the nanocarbon film connected to the second wiring is doped with impurities of the second conductivity type
  • B-1 The nanocarbon film connected to the first wiring is doped with the second conductivity type impurity, and the nanocarbon film connected to the second wiring is doped with the first conductivity type impurity.
  • the ninth embodiment is a modification of the first to eighth embodiments, but relates to a light control device (light control element) having a second configuration.
  • the light control device (light control element) 200 of Example 9 is A pair of electrodes 211, 212, and A light control layer 213 sandwiched between a pair of electrodes 211 and 212; It has.
  • the light control layer 213 includes the first dielectric material layer 216A, the first intermediate layer 217A, the first nanocarbon film 214 doped with impurities of the first conductivity type, or doped with no impurities.
  • the second nanocarbon film 215, the second intermediate layer 217B, and the second dielectric material layer 216B doped with an impurity of a second conductivity type different from the conductivity type, or not doped with an impurity.
  • a voltage is applied to the pair of electrodes 211 and 212 having a stacked structure.
  • the first nanocarbon film 214 is doped with impurities of the first conductivity type (more specifically, n-type), and the second nanocarbon film 215 is doped. Are doped with impurities of the second conductivity type (more specifically, p-type).
  • the first nanocarbon film 214 and the second nanocarbon film 215 are made of graphene as in the eighth embodiment.
  • the first electrode 211 and the second electrode 212 constituting the pair of electrodes are made of a nanocarbon film, specifically, a single layer of graphene.
  • the first dielectric material layer 216A, the second dielectric material layer 216B, the first intermediate layer 217A, and the second intermediate layer 217B are made of the materials described in the eighth embodiment.
  • the amount of charge generated in the first nanocarbon film 214 and / or the second nanocarbon film 215 is controlled by applying a voltage to the pair of electrodes 211 and 212.
  • the light transmittance in the light control layer 213 is controlled. Note that the two layers of the first nanocarbon film 214 and the second nanocarbon film 215 are laminated, and the light transmittance modulation width per graphene layer is about 2%.
  • the light transmittance modulation width (change width of light transmittance) ⁇ T is about 4%.
  • the first conductivity type is n-type
  • the second conductivity type is p-type
  • the first nanocarbon film 214 is opposed to the first dielectric material layer 216A via the first dielectric material layer 216A.
  • a voltage higher than that of the second electrode 212 facing the second nanocarbon film 215 via the second dielectric material layer 216B is applied to the electrode 211 (see FIG. 9B).
  • the second nanocarbon film 215 and the second dielectric material layer 216B are in an electrically floating state. Therefore, a negative charge is induced in the first nanocarbon film 214, and a positive charge is induced in the second nanocarbon film 215 (see FIG. 9B).
  • the first nanocarbon film 214 is doped with an n-type impurity and the second nanocarbon film 215 is doped with a p-type impurity, the first nanocarbon film 214 and the second nanocarbon film 214 are doped.
  • a PN junction is formed at the interface of the carbon film 215. Accordingly, a depletion layer is formed between the first nanocarbon film 214 and the second nanocarbon film 215 while the reverse bias voltage is applied to the pair of electrodes 211 and 212. Electric charges are held in each of the film 214 and the second nanocarbon film 215. As a result of the above, the wavelength band of light that can pass (transmit) through the light control layer 213 with high light transmittance is determined.
  • the relationship between the light control state of the light control device and the wavelength band of light can be controlled in accordance with the voltage applied to the pair of electrodes 211 and 212. If the pair of electrodes 211 and 212 is replaced with the first nanocarbon film 114 and the second nanocarbon film 115, the above description can be applied to the light control device in the eighth embodiment.
  • a rolled copper foil having a thickness of 35 ⁇ m is heated to 1000 ° C. in a hydrogen atmosphere (hydrogen flow rate 20 sccm) in an electric furnace, and methane gas Is supplied at a flow rate of 30 sccm for 30 minutes, thereby forming the first nanocarbon film 214 made of graphene on the copper foil.
  • methane gas Is supplied at a flow rate of 30 sccm for 30 minutes, thereby forming the first nanocarbon film 214 made of graphene on the copper foil.
  • a dopant layer is formed on the graphene.
  • an aqueous copper nitrate solution is used to bond the copper.
  • a rolled copper foil having a thickness of 35 ⁇ m is heated to 1000 ° C. in a hydrogen atmosphere (hydrogen flow rate 20 sccm) in an electric furnace, and methane gas is supplied at a flow rate of 30 sccm for 30 minutes.
  • a second nanocarbon film 215 made of graphene is formed on the copper foil.
  • a dopant layer is formed on the graphene, and further, a second intermediate layer 217B and a second dielectric material layer 216B are formed.
  • an acetone diluted solution of polymethyl methacrylate (PMMA) is applied on the second dielectric material layer 216B by spin coating, and then the solution is dried to form a PMMA film.
  • the copper foil is removed using an aqueous iron nitrate solution, the second nanocarbon film 215 bonded to the PMMA film is transferred onto the first nanocarbon film 214, and then the PMMA film is removed using an acetone solvent.
  • the first dielectric material layer 216A, the first intermediate layer 217A, the first nanocarbon film 214 and the second nanocarbon film 215 made of graphene, the second intermediate layer 217B, and the second dielectric material layer 216B are stacked.
  • a structure can be obtained.
  • an image sensor is formed on the base in advance.
  • a method of continuously forming a film by a roll-to-roll method, a method of locally forming an electrode by heating an electrode, or the like can be applied.
  • the first nanocarbon film or the second nanocarbon film is selected depending on the polarity of the applied voltage.
  • a positive or negative charge is induced on one side, and a negative or positive charge is induced on the other side.
  • the wavelength band of light that can pass through the light control layer with high light transmittance is determined. That is, the light transmittance of the light control layer in a desired wavelength band can be controlled.
  • the first nanocarbon film and the second nanocarbon film are doped.
  • a PN junction is formed at the interface of the carbon film, and charges are held in each of the first nanocarbon film and the second nanocarbon film while a reverse bias voltage is applied to the pair of electrodes. In addition, since no current flows between the pair of electrodes, low power consumption can be achieved.
  • the tenth embodiment is a modification of the ninth embodiment.
  • the light control layer 213 of Example 9 has a structure in which an N layer is stacked, and the change width of the light transmittance can be increased.
  • the N light control layers are divided into groups composed of N ′ layer light control devices.
  • one electrode is connected to the first wiring 218 and the other electrode is connected to the second wiring 219. You may connect to.
  • Example 11 is a modification of Example 1 to Example 8, but relates to a light control device (light control element) having a third configuration.
  • the light control devices (light control elements) 300 1 and 300 2 in Example 11 are: A pair of electrodes 311, 312, and A light control layer 313 sandwiched between a pair of electrodes, With The light control layer 313 includes a first dielectric material layer 316A, a first intermediate layer 317A, a nanocarbon film 314 doped or not doped with impurities, a second intermediate layer 317B, and a second dielectric Having a laminated structure of body material layers 316B, A voltage different from the voltage applied to the pair of electrodes 311 and 312 is applied to the nanocarbon film 314.
  • the impurity is p-type, and a voltage higher than the voltage applied to the pair of electrodes 311 and 312 is applied to the nanocarbon film 314.
  • the impurity is n-type, and a voltage lower than the voltage applied to the pair of electrodes 311 and 312 is applied to the nanocarbon film 314.
  • the nanocarbon film 314 is made of graphene.
  • the light control device (light control device) in the eleventh embodiment can be the same as the light control device (light control device) described in the ninth embodiment, and thus detailed description thereof is omitted.
  • the light control layer includes a first dielectric material layer, a nanocarbon film doped with impurities or not doped with impurities, and a second dielectric. Since it has a stacked structure of material layers and a voltage different from the voltage applied to the pair of electrodes is applied to the nanocarbon film, the light transmittance of the light control layer can be controlled.
  • Example 12 is a modification of Example 1 to Example 8, but relates to a light control device (light control element) having a fourth configuration.
  • the light control device (light control element) 400 in Example 12 is A pair of electrodes 411, 412; and A laminated structure 413 ′ in which a P layer (where P ⁇ 1) dimming layer 413 is sandwiched between a pair of electrodes 411 and 412; With The p-th dimming layer 413 (where 1 ⁇ p ⁇ P) is doped with the first dielectric material layer 416A, the first intermediate layer 417A, n-type impurities, or not doped with impurities.
  • the first nanocarbon film 414, the second intermediate layer 417B, the second dielectric material layer 416B, the third intermediate layer 417C, the second nanocarbon film 415 doped with p-type impurities or not doped with impurities.
  • a voltage different from that of the first nanocarbon film 414 is applied to the second nanocarbon film 415. Specifically, a voltage higher than that of the first nanocarbon film 414 is applied to the second nanocarbon film 415.
  • a third dielectric material layer 416C is formed under the fourth intermediate layer 417D. That is, whether the third dielectric material layer 416C is formed above or below the fourth intermediate layer 417D depends on the position of the first dimming layer and the P th dimming layer. Relative depending on the relationship.
  • the third dielectric material layer 416C is formed “below” the fourth intermediate layer 417D.
  • such a configuration is also referred to as “a third dielectric material layer 416C is further formed“ above ”the fourth intermediate layer 417D in the P-th dimming layer 413”. Included in the concept.
  • the electrode 412 and the first nanocarbon film 414 are connected to a common first wiring 418, and the electrode 411 and the second nanocarbon film 415 are connected to a common second wiring 419. Therefore, the same voltage as that applied to the second nanocarbon film 415 is applied to the electrode 411 through the common second wiring 419. On the other hand, the same voltage as that applied to the first nanocarbon film 414 is applied to the electrode 412 through the common first wiring 418.
  • the light control device (light control device) in the twelfth embodiment can be the same as the light control device (light control device) described in the ninth embodiment.
  • the light control device (light control element) in Example 13 includes a stacked structure in which P layers (where P ⁇ 1) having a predetermined configuration are stacked, and the second nanocarbon film Since a voltage different from that of the first nanocarbon film is applied, the light transmittance of the light control layer can be controlled.
  • the thirteenth embodiment relates to an imaging apparatus according to the first to second embodiments of the present disclosure to which the eighth to twelfth embodiments are applied.
  • the imaging devices R 1 , G 1 , and B 1 according to the thirteenth embodiment are disposed on the light receiving element (photosensor, photodiode, photoelectric conversion element) 27 and the light incident side of the light receiving device.
  • the light control device having the first configuration to the light control devices 100, 200, 200 ′, 300 1 , 300 2 , and 400 having the fourth configuration described in FIG.
  • the light control devices 100, 200, 200 ′, 300 1 , 300 2 , and 400 may be collectively referred to as “light control device 21” hereinafter.
  • the pixel signal reading device 16 controls the pixel signal reading device 16 together with the random operation of the AD converter 13, the reading amplifier 15, or the switching element 14.
  • the randomness of the pixel signal increases, and the image resolution and the spatial resolution can be improved.
  • FIG. 13A and 13B are schematic partial cross-sectional views of the image sensor of Example 13.
  • FIG. 14A, 14B, and 15A schematically illustrate the layout of the image sensor group.
  • the imaging element 12 1 shown in FIG. 13A is an image pickup device of the back-illuminated type, also the image pickup element 12 2 shown in FIG. 13B is an image capturing device of front-illuminated.
  • the image sensors R 1 , G 1 , and B 1 are arranged based on, for example, a Bayer arrangement.
  • the image sensors 12 1 and 20 2 include a silicon semiconductor substrate 22, an interlayer insulating film 23 made of SiO 2 , and the light control devices 21 (100, 200, 200 ′, 300 1 , 100 described in the eighth to twelfth embodiments). 300 2 , 400), a protective film 24, a color filter layer (or transparent film) 25, and a condenser lens (on-chip lens) 26 are laminated. That is, the color filter layer 25 is disposed on the light incident side of the light receiving element.
  • a light receiving element 27 is formed on the surface portion of the silicon semiconductor substrate 22. Further, a light shielding film 28 is provided between the image sensor.
  • the light shielding film 28 is specifically provided in a lattice shape at a portion between adjacent pixels, that is, between the pixels.
  • a laminated structure such as a light control device 21 is formed on the back surface side of the silicon semiconductor substrate 22.
  • silicon is used in the front-illuminated image sensor 12 2 .
  • a laminated structure such as a light control device 21 is formed on the front surface side of the semiconductor substrate 22.
  • the imaging device 12 1 of the back-illuminated type the surface of the silicon semiconductor substrate 22, an interlayer insulating layer 29A made of SiO 2, the protective layer 29B is formed. The incident light is photoelectrically converted in the light receiving element 27 to generate and accumulate signal charges.
  • the 1st wiring and the 2nd wiring are distribute
  • the configuration and structure of the back-illuminated image sensor 12 1 and the front-illuminated image sensor 12 2 can be known configurations and structures except for the light control device 21, detailed description thereof is omitted.
  • the imaging device itself can be configured similarly to a known imaging device, and the driving method of the imaging element and the driving method of the imaging device can also be a known driving method. Is omitted. Since the image pickup device of the thirteenth embodiment can achieve a reduction in height (thinner), an image pickup device and an image pickup device with high sensitivity and low color mixing and sensitivity shading between pixels can be obtained.
  • R 1 is an image sensor on which a red color filter layer is formed, and receives red light. Such an image sensor is referred to as a “red image sensor” for convenience.
  • G 1 is an image sensor on which a green color filter layer is formed, and receives green light. Such an image sensor is referred to as a “green image sensor” for convenience.
  • B 1 is an image pickup element on which a blue color filter layer is formed, and receives blue light.
  • a blue image sensor for convenience.
  • one red image sensor, two green image sensors, and one blue image sensor constitute one unit image sensor group.
  • FIG. 14A, FIG. 14B, and FIG. The element is illustrated
  • the light control device 21 when no voltage is applied, absorbs about 2.3% of light per nanocarbon film. Therefore, for example, in the light control device 21, if the number of nanocarbon films is 60, the light transmittance of the light control device 21 when no voltage is applied and the entire light transmittance is about 25%. On the other hand, by applying the predetermined voltage V 0 , the light transmittance of the light control device 21 as a whole becomes a value close to 100%.
  • the dynamic range is represented by the ratio of the saturation signal amount that is the maximum signal amount and the noise. As the dynamic range is larger, an image output signal in a bright scene and an image output signal in a dark scene can be reliably obtained.
  • the light transmittance is controlled by controlling the light transmittance of each light control device 21 (that is, by controlling the value of the predetermined voltage V 0 applied to the light control device 21). By doing this, or by reducing the light transmittance to a desired value), it is possible to control the time until the saturation charge amount in each image sensor is reached. As a result, the dynamic range can be expanded.
  • the first electrode and the second electrode are made of graphene, light is also absorbed in the first electrode and the second electrode, but it is at most 4%, and the first electrode and the second electrode are formed from the transparent conductive material layer made of ITO or the like. The amount of light absorbed is less than when an electrode is configured.
  • the light control device 21 is disposed in the region between the color filter layer 25 and the silicon semiconductor substrate 22, the light control device 21 may be disposed in a region between the color filter layer 25 and the condenser lens 26.
  • a random pulse voltage generating / sending device for generating a random pulse voltage and sending the generated random pulse voltage to an image sensor provided with a light control device.
  • a random pulse voltage generating / sending device (not shown) is provided that generates a random pulse voltage and sends the generated random pulse voltage to an image sensor provided with a light control device.
  • one or a plurality of random pulse voltage generating / sending devices are arranged for a plurality of imaging devices including a light control device.
  • the light control device and the random pulse voltage generating / sending device are connected by a connection wiring made of a nanocarbon film or a transparent conductive material layer.
  • the operation of the random pulse voltage generating / sending device is controlled by the pixel signal reading device 16. That is, when the AD converter 13, the read amplifier 15, or the switching element 14 is randomly operated by the pixel signal reading device 16, the image pickup device connected to the AD converter 13 or the read amplifier 15 is also randomly selected.
  • the pulse voltage generating / sending device sends out a random pulse voltage.
  • each image sensor shown in FIG. 16 is the same as the example of the first embodiment described based on FIGS. 2A, 2B, and 3.
  • the lengths of the thick line segments (the pixel signal readout state in the image sensor and the pixel signal being read out) shown below the image sensor number are randomly different.
  • the image sensors are arranged in a two-dimensional matrix in the first direction and the second direction,
  • the first nanocarbon film extends in the first direction and is common to the imaging elements arranged in the first direction,
  • the second nanocarbon film extends in the second direction and is common to the imaging elements arranged in the second direction,
  • a positive random pulse voltage is applied to the first nanocarbon film, and a negative random pulse voltage is applied to the second nanocarbon film.
  • one of the pair of electrodes can be shared by the imaging device. That is, it is possible to adopt a mode in which the first electrode in each dimming device is shared or the second electrode is shared between the adjacent imaging devices, whereby the configuration of the imaging device, The structure can be simplified. Specifically, in these cases, the first electrode or the second electrode may be a so-called solid electrode between the imaging elements.
  • one random pulse voltage generating / sending device is arranged for a plurality of imaging elements occupying one column (arranged in the column direction). ing.
  • a vertical scanning circuit (V SCAN CIRCUIT) 31 and a horizontal scanning circuit (H SCAN CIRCUIT) 32 which will be described later with reference to FIG. 17 also serve as a random pulse voltage generating / sending device.
  • a random pulse voltage is applied from the random pulse voltage generating / sending device to the first nanocarbon film and the second nanocarbon film of the light control device constituting each imaging device, or alternatively, the first electrode and the second nanocarbon film. Applied to the electrode.
  • the light transmittance of the light control device in each image sensor changes randomly. That is, the light transmittance of the light control device in each image sensor changes from a low value to a high value randomly.
  • the integrated amount of the random pulse voltage corresponds to the charge accumulation amount in the light receiving element, if the application of the random pulse voltage is continued for a predetermined time, the charge is accumulated in the light receiving element.
  • the random pulse voltage for each image sensor at random in, for example, 16 exposure period segments, that is, for example, 16 exposure periods for each image sensor (1 pixel). Images are obtained by changing the light transmission in each of the segments. Then, a moving image is restored using these images.
  • the number of exposure period segments (16 in this example) is appropriately selected according to the compression rate.
  • the period from the start of light incidence to the completion of light incidence corresponds to the effective exposure period segment, and the time length of the effective exposure period segment is random. Furthermore, the light entry start time is also random.
  • the effective exposure period segment is made random in time length, and further effective exposure is achieved. By making the start time of the period segment random, the randomness on the time axis of the pixel signal readout of the image sensor can be further enhanced.
  • the amount of information of the obtained pixel signal increases, resolution deterioration can be prevented, and further reduction in power consumption can be achieved. Note that, under the control of the pixel signal reading device 16, the total length of effective exposure period segments in one imaging frame is made constant.
  • the image data can be compressed because the images captured continuously for a fixed time can be expressed by a finite number of images using the sparsity of the image. Furthermore, since not all images are sparse, it is possible to perform data conversion in advance in order to provide sparsity, and to convert the images to sparsity. As described above, since the moving image data having a large capacity can be originally compressed, it is possible to communicate images wirelessly. As a result, the power consumption value can be greatly reduced compared to the result of image processing performed by the imaging apparatus main body.
  • an image output signal is obtained with exposure within a certain time.
  • an image output signal equivalent to this is expressed by integrating a random exposure pattern and a moving image state at a certain time. Therefore, the image output signal of the image sensor can be compressed by representing a continuous moving image with a finite image output signal. That is, the image output signal is compressed by thinning out the image output signal from the image sensor provided with the light control device spatially and temporally.
  • FIG. 17 shows the configuration of the pixel drive circuit in the imaging apparatus of the thirteenth embodiment.
  • (7 image sensors) ⁇ (7 image sensors) are illustrated.
  • the pixel drive circuit includes a vertical scanning circuit (V SCAN CIRCUIT) 31 that generates pixel control signals in units of rows and a horizontal scanning circuit (H SCAN CIRCUIT) 32 that generates pixel control signals in units of columns. .
  • the image sensors (pixels, PIX) are arranged in a two-dimensional matrix (in a lattice). From the vertical scanning circuit 31, pixel reset control signal lines (RST1 to RST7), pixel transfer control signal lines (TRG1 to TRG7), and pixel selection control signal lines (SEL1 to SEL7) extend from the vertical scanning circuit 31 for each row.
  • the imaging devices (pixels) in the row are connected to one pixel reset control signal line, one pixel transfer control signal line, and one pixel selection control signal line.
  • the pixel driving circuit according to the thirteenth embodiment further includes a horizontal transfer circuit (H TRANSFER CIRCUIT) 33 for outputting an image output signal read from the image sensor (pixel) to the outside.
  • H TRANSFER CIRCUIT horizontal transfer circuit
  • Vertical signal lines (VSL1 to VSL7) are wired for each column, and image sensors (pixels) in the same column are connected to one vertical signal line, and all vertical signal lines are connected to AD converters ( It is connected to a horizontal transfer circuit 33 via an ADC, an AD converter 13) and a memory (MEM, 17).
  • the first nanocarbon film (or the second nanocarbon film) of the light control device that constitutes each of the imaging elements arranged in the row direction is formed in common to the imaging elements arranged in the row direction.
  • the second nanocarbon film (or the first nanocarbon film) of the light control device that constitutes each of the imaging elements arranged in the column direction is formed in common with the imaging elements arranged in the column direction.
  • SM8 to SM14 are shown.
  • the nanocarbon films (SM1 to SM7) for each row are connected to the vertical scanning circuit 31 via nanocarbon film control first signal lines (horizontal laminated film control signal lines, HC1 to HC7) corresponding to connection wirings. .
  • the nanocarbon films (SM8 to SM14) of each column are connected to the horizontal scanning circuit 32 via nanocarbon film control second signal lines (vertical laminated film control signal lines, VC1 to VC7) corresponding to connection wirings.
  • the vertical scanning circuit (V SCAN CIRCUIT) 31 and the horizontal scanning circuit (H SCAN CIRCUIT) 32 also serve as a random pulse voltage generating / sending device, and the nanocarbon film control first signal lines HC1 to HC7 and nano A voltage is applied to the nanocarbon film via the carbon film control second signal lines VC1 to VC7.
  • connection wiring is made of a nanocarbon film or a transparent conductive material layer.
  • the first nanocarbon films SM1 to SM7 are replaced with the first electrode or the second electrode, and the second nanocarbon films SM8 to SM14 are replaced.
  • the second electrode or the first electrode may be read.
  • FIG. 18A shows a view that is easy to see from FIG. 17 except for various elements related to pixel driving.
  • the third row is passed through the nano carbon film control first signal line (HC3) extending from the vertical scanning circuit 31.
  • HC3 nano carbon film control first signal line
  • V 2 > 0 a positive random pulse voltage
  • V 3 a negative random pulse voltage
  • V 4 ⁇ 0 a negative random pulse voltage
  • the AD converter ADC connected to the vertical signal line VSL3 is selected and operated by the pixel signal readout device 16.
  • FIG. 18B shows the voltage applied to the nanocarbon film control first signal line (HC3), the voltage applied to the nanocarbon film control second signal line (VC3), and the adjustments constituting the image sensor SM3-10.
  • the state of light transmittance change of the optical device is shown.
  • the horizontal axis of FIG. 18B is time.
  • a period from time t 1 to t 6 is a period during which the image sensor is exposed in, for example, 16 exposure period segments.
  • the voltage applied to the nanocarbon film control first signal line (HC3) is set relatively low (V 1 volt), and the nanocarbon film control second signal line (VC3).
  • the light transmittance of the light control device is low (see the light transmittance characteristics shown in FIG. 19A), and the light control device is connected to the light receiving element. Blocks incident visible light.
  • the first specified voltage high voltage V 2 > V 1
  • the nanocarbon film control first signal line HC3
  • the second specified voltage low voltage V 4 ⁇ V 3
  • the nanocarbon film control second signal line VC 3
  • the light transmittance of the dimmer is low until the period t 2 and after the period t 5 (see the light transmittance characteristic shown in FIG. 19A), and the dimmer is visible light incident on the light receiving element. Block. Further, even during the periods t 2 to t 3 and the periods t 4 to t 5 , the light control device exhibits the light transmittance characteristics as shown in FIG. 19B, and the light control device is visible to be incident on the light receiving element. Block out light. On the other hand, in the period t 3 to t 4 , the light control device shows the light transmittance characteristic as shown in FIG. 19C, and the light control device makes visible light incident on the light receiving element.
  • Example 13 for example, a positive random pulse voltage is applied to the nanocarbon film control first signal line, and a negative random pulse voltage is applied to the nanocarbon film control second signal line.
  • V 1 ⁇ V 3
  • V 1 and V 3 can be ground potential, V 1 ⁇ 1 volt, V 2 ⁇ 2 volt, V 3 ⁇ 1 volt V 4 ⁇ -2 volts.
  • the light transmittance is modulated in the infrared region.
  • an infrared cut filter is usually provided at the light incident portion. Arrange. Therefore, modulation of light transmittance as shown in FIGS. 19A and 19B is not used.
  • the light transmittance modulation as shown in FIGS. 19A and 19B is appropriately used except for the infrared cut filter. That's fine.
  • FIG. 20A shows a configuration of an internal circuit of an image sensor (pixel, PIX) constituting the image pickup apparatus of Example 13, and FIG. 20B shows a control state in which incident light to the image sensor is converted into an image output signal.
  • one imaging element receives incident light, photoelectrically converts light to accumulate photoelectric charges (photodiode) PD, floating diffusion FD that temporarily accumulates charges generated by the light receiving element PD, A first transistor TR 1 that controls the transfer of charge from the light receiving element PD to the floating diffusion FD, a second transistor TR 2 that resets the charge of the floating diffusion FD, and an output signal proportional to the charge accumulated in the floating diffusion FD
  • the third transistor TR 3 for extracting (accumulated charge signal) and the fourth transistor TR 4 for controlling reading of the output signal (accumulated charge signal) are configured.
  • a pixel reset control signal line, a pixel transfer control signal line, and a pixel selection control signal line extend from the vertical scanning circuit 31 to each row.
  • FIG. 20A one pixel reset control signal line (RST)
  • One pixel transfer control signal line (TRG) and one pixel selection control signal line (SEL) are illustrated.
  • the first transistor TR 1 is connected to the pixel transfer control signal line (TRG)
  • the second transistor TR 2 is connected to the pixel reset control signal line (RST)
  • the fourth transistor TR 4 is connected to the pixel selection control signal line. (SEL) connected.
  • the fourth transistor TR 4 is further connected to a vertical signal line (VSL).
  • FIG. 20B shows the timing at which each control signal is applied.
  • the horizontal axis is time.
  • the imaging device converts the output signal (accumulated charge signal) into an image output signal at the end of each of the exposure periods (periods t 1 to t 6 ) of the 16 exposure period segments, and outputs the floating diffusion FD.
  • the operation of resetting is repeated.
  • a pixel reset control signal RST-S
  • the potential of the floating diffusion FD is reset to V DD level.
  • a pixel selection control signal SEL-S
  • the reset potential of the floating diffusion FD is read out to the vertical signal line (VSL) via the third transistor TR 3 and the fourth transistor TR 4. .
  • the pixel transfer control signal (TRG-S) is applied to the first transistor TR 1 and is proportional to the light incident during the exposure period.
  • the charge accumulated in the light receiving element PD is transferred to the floating diffusion FD, and the potential change of the floating diffusion FD accompanying therewith is vertical as an image output signal via the third transistor TR 3 and the fourth transistor TR 4.
  • the image output signal read out continuously is calculated as a differential signal discretized by an AD converter (ADC) and a memory (MEM) connected to the vertical signal line (VSL), and transferred horizontally. Output by circuit 33.
  • FIG. 21 shows temporal changes in the control signals in the pixel drive circuit and the light transmittance in the image sensors for (two image sensors) ⁇ (two image sensors).
  • the horizontal axis of FIG. 21 is time.
  • HC1 and HC2 are applied voltages to the nanocarbon films (SM1, SM2) in the first row and the second row, respectively, and VC1, VC2 are respectively in the first column and the second column.
  • the voltage applied to the nanocarbon films (SM8, SM9) is shown. These four applied voltages are configured to give the first specified voltage and the second specified voltage to the nanocarbon film at different timings. As described with reference to FIG.
  • the voltage application to the nanocarbon film in the corresponding row and the nanocarbon film in the column is performed simultaneously with the first specified voltage and the second specified voltage. Only when this occurs, the light transmittance increases.
  • the voltage HC1 applied to the nanocarbon film (SM1) in the first row becomes the first specified voltage in the period t 11 to t 16 .
  • the image sensor SM1-8 having the light control device configured by the nanocarbon film in the first row and the nanocarbon film in the first column is dimmed during the period t 11 to t 15 .
  • the value of the light transmittance of the device is increased and light is received.
  • the imaging element SM1-9 having the light control device constituted by the nanocarbon film in the first row and the nanocarbon film in the second row has the light transmittance of the light control device in the period t 14 to t 16 . The value of becomes higher and light is received.
  • the image sensor SM2-8 having a light control device composed of the nanocarbon film in the second row and the nanocarbon film in the first column has received light from the light control device during the period t 13 to t 15 .
  • the value of the rate increases and receives light.
  • the imaging element SM2-9 having the light control device constituted by the nanocarbon film in the second row and the nanocarbon film in the second row has the light transmittance of the light control device during the period t 14 to t 18 . The value of becomes higher and light is received.
  • the reset of the floating diffusion FD and the charge transfer from the floating diffusion FD in each image sensor are performed by three pixel control signals (RST1, TRG1, SEL1) in the first row and three pixel control signals ( RST2, TRG2, SEL2).
  • the control timing is the same as that described with reference to FIG. 20B, but the first row and the second row share the same vertical signal line (VSL1, VSL2), so it is necessary to slightly shift the read timing for each row. .
  • the first-row pixel transfer control signal (TRG1) is applied at t 11 and t 17
  • the second row of the pixel transfer control signal (TRG2) is applied at t 12 and t 18 So that Although the transfer times of various control signals for controlling the operation of the image sensor are different for each row, the periods t 11 to t 17 and t 12 to t 18 have the same length, which is a frame period.
  • the substantial exposure period of each image sensor is a period in which the light transmittance of the corresponding light control device is large (high) in the frame period of the corresponding row.
  • the reset of the internal circuit and the charge transfer are controlled in units of rows, but the light transmittance of the light control device corresponding to each image sensor is controlled to be different for each image sensor. Therefore, the substantial exposure period of each image sensor differs for each image sensor.
  • one of the characteristics of the nanocarbon film is the light transmittance response speed.
  • the response rate of light transmittance of graphene is on the order of gigahertz. Therefore, for example, when application by a pulse voltage is performed, light transmittance modulation according to the pulse voltage becomes possible. That is, a charge proportional to the integration of the pulse voltage is accumulated in the light receiving element.
  • Example 13 for example, a random pulse voltage is generated in each of 16 exposure period segments to perform image compression.
  • FIG. 22 shows an example of the random pulse voltage used in Example 13. Different pulse voltage patterns are generated for each image sensor (pixel), and three pulse voltage patterns are shown in FIG. A random pulse voltage is generated by the random pulse voltage generation / transmission device, and the random pulse voltage is transmitted to each of the imaging elements. Then, light transmittance modulation corresponding to the random pulse voltage is performed for each image sensor. As a result, images with various light transmittances (for example, 16 types) are obtained within 16 exposure period segments (indicated by dotted lines in FIG. 22), and these images are signal processed to create compressed images. To do. The compressed image is restored in another device. Therefore, the signal processing of the imaging device is reduced, and the output of the obtained image can be reduced.
  • various light transmittances for example, 16 types
  • the imaging device can be a stacked image sensor, for example.
  • the imaging apparatus stacks an image sensor chip (first semiconductor chip) that is an assembly of back-illuminated imaging elements and a logic circuit chip (second semiconductor chip) that is an assembly of drive circuits. (By pasting together).
  • the configuration of the logic circuit chip is conceptually shown in FIGS. 23A and 23B.
  • a drive circuit for an image sensor including the pixel signal reading device 16, a signal processing circuit for an image output signal read from the image sensor, and the like are arranged.
  • a random pulse voltage generating / sending device for controlling the light transmittance of the nanocarbon film is arranged.
  • the random pulse voltage generating / sending device spatially overlaps, for example, an image sensor region in which image sensors are arranged (shown by a region surrounded by a dotted line in FIGS. 23A and 23B and FIGS. 31A and 31B). It is a part of the logic circuit area that does not become an element and is arranged in the four-direction area (see FIG. 23A), or when the propagation delay is not a problem, it is arranged in the outer two-direction area (FIG. 23B). reference). Then, a random pulse voltage is generated in order to independently control the light transmittance of each image sensor.
  • Each random pulse voltage generating / sending device is formed with an electrode for sending a random pulse voltage, and after lamination with the image sensor chip, through a through-silicon via (TSV). Connection wiring extending to the back side of the image sensor chip, and further connected to the first wiring and the second wiring.
  • TSV through-silicon via
  • a logic circuit area that does not spatially overlap with the imaging element area in which the imaging elements are arranged. It may be arranged in the region on both sides of the outer side, or may be arranged only in the region on one side of the outer side when propagation delay is not a problem as shown in FIG. 31B.
  • FIG. 24 shows a conceptual diagram of the stacked image sensor shown in FIG. 23B.
  • the imaging elements 12 arranged in a two-dimensional matrix are provided in a first semiconductor chip (image sensor chip) 511, generate a random pulse voltage, and adjust the generated random pulse voltage to a dimming device.
  • a random pulse voltage generating / sending device 522 for sending out to the provided image sensor is provided in the second semiconductor chip (logic circuit chip) 521.
  • FIG. 24 shows only one random pulse voltage generating / sending device 522.
  • the first semiconductor chip 511 and the second semiconductor chip 521 are stacked based on a known method. In FIG. 24, the first semiconductor chip 511 and the second semiconductor chip 521 are shown separated from each other for the sake of explanation.
  • the light control device and the random pulse voltage generation / transmission device 522 are connected through a through silicon via (TSV) 531. Or you may employ
  • the imaging element can be back-illuminated or can be front-illuminated.
  • the second semiconductor chip 521 is provided with various circuits 523 including a logic circuit that drives and controls the image sensor.
  • the second semiconductor chip (logic circuit chip) 521 is provided with an AD converter 13 composed of a single slope AD converter.
  • the AD converter 13 and the image sensor 12 are also formed through silicon vias (TSV). ) 531 is connected.
  • the first semiconductor chip 511 is provided with an image sensor 12 and a vertical scanning circuit 31.
  • a signal processing unit 541 is disposed on the second semiconductor chip 521.
  • the signal processing unit 541 includes an AD converter 13 including a comparator (comparator) 551 and a counter unit 552, a ramp voltage generator (hereinafter also referred to as “reference voltage generation unit”) 554, a data latch unit, and a parallel unit.
  • a horizontal transfer circuit 33 including a serial conversion unit, a memory unit 542 (memory 17), a data processing unit 543, a control unit 544 (including a clock supply unit connected to the AD converter 13), a current source 545, a decoder 546, A row decoder 547 and an interface (IF) unit 548 are included.
  • the AD converter 13 composed of a single slope type AD converter is: A ramp voltage generator (reference voltage generator) 554, A comparator (comparator) 551 to which an analog signal acquired by the image sensor 12 and a lamp voltage from a lamp voltage generator (reference voltage generation unit) 554 are input; and A counter unit 552 that is supplied with a clock CK from a clock supply unit (not shown) provided in the control unit 544 and operates based on an output signal of the comparator 551; Have The clock supply unit is composed of a known PLL circuit.
  • the second semiconductor chip 521 includes the memory unit 542, the data processing unit 543, the control unit 544, the current source 545, the decoder 546, the row decoder 547, the interface (IF) unit 548, and the like.
  • an image sensor driving unit (not shown) for driving the image sensor 12 is provided.
  • predetermined signal processing including digitization (AD conversion) is performed in parallel (column parallel) on a column basis with respect to the analog signal read from the image sensor 12.
  • the signal processing unit 541 includes an AD converter 13 that digitizes an analog signal from the image sensor 12, and transfers AD-converted image data (digital data) to the memory unit 542.
  • the memory unit 542 stores image data that has been subjected to predetermined signal processing in the signal processing unit 541.
  • the memory unit 542 may be configured from a non-volatile memory or may be configured from a volatile memory.
  • the data processing unit 543 reads the image data stored in the memory unit 542 in a predetermined order, performs various processes, and outputs the processed data outside the chip.
  • the control unit 544 is a signal processing unit such as an image sensor driving unit, a memory unit 542, a data processing unit 543, or the like based on a reference signal such as a horizontal synchronization signal, a vertical synchronization signal, and a master clock given from outside the chip. Each operation of 541 is controlled.
  • control unit 544 includes a circuit on the first semiconductor chip 511 side (the vertical scanning circuit 31 and the image sensor 12) and a signal processing unit 541 on the second semiconductor chip 521 side (a memory unit 542, a data processing unit 543, and the like). Control is performed while synchronizing with
  • the current source 545 is connected to each of the vertical signal lines VSL from which analog signals are read out from the image sensor 12 for each column.
  • the current source 545 has a so-called load MOS circuit configuration including, for example, a MOS transistor whose gate potential is biased to a constant potential so as to supply a certain constant current to the vertical signal line VSL.
  • the current source 545 composed of this load MOS circuit supplies the constant current to the fourth transistor TR 4 of the image sensor 12 included in the selected row, thereby operating the fourth transistor TR 4 as a source follower.
  • the decoder 546 gives an address signal for designating the address of the selected row to the vertical scanning circuit 31.
  • the row decoder 547 specifies a row address when writing image data to the memory unit 542 or reading image data from the memory unit 542 under the control of the control unit 544.
  • the signal processing unit 541 includes the AD converter 13 that digitizes (AD converts) an analog signal read from the image pickup device 12 through the vertical signal line VSL. Signal processing (column parallel AD) is performed in parallel.
  • the signal processing unit 541 further includes a ramp voltage generator (reference voltage generation unit) 554 that generates a reference voltage V ref used when AD conversion is performed by the AD converter 13.
  • the reference voltage generation unit 554 generates a reference voltage V ref having a so-called ramp (RAMP) waveform (gradient waveform) in which the voltage value changes stepwise as time passes.
  • the reference voltage generation unit 554 can be configured using, for example, a DA converter (digital-analog converter), but is not limited thereto.
  • the AD converter 13 generates, for example, a pulse signal having a magnitude (pulse width) in the time axis direction corresponding to the magnitude of the level of the analog signal, and measures the length of the pulse width period of the pulse signal.
  • AD conversion processing is performed.
  • the AD converter 13 includes at least a comparator (COMP) 551 and a counter unit 552.
  • the comparator 551 uses an analog signal (signal level and reset level) read from the image sensor 12 via the vertical signal line VSL as a comparison input, and uses the reference voltage of the ramp waveform supplied from the reference voltage generation unit 554 as a reference input. Compare both inputs.
  • the ramp waveform is a waveform in which the voltage changes in an inclined manner (step shape) as time passes.
  • the output of the comparator 551 becomes the first state (for example, high level) when the reference voltage becomes larger than the analog signal, for example. On the other hand, when the reference voltage is equal to or lower than the analog signal, the output is in the second state (for example, low level).
  • the output signal of the comparator 551 becomes a pulse signal having a pulse width corresponding to the level of the analog signal.
  • an up / down counter is used as the counter unit 552.
  • the counter 552 is supplied with the clock CK at the same timing as the reference voltage supply start timing to the comparator 551.
  • the counter unit 552 which is an up / down counter performs a down (DOWN) count or an up (UP) count in synchronization with the clock CK, so that the period of the pulse width of the output pulse of the comparator 551, that is, the comparison The comparison period from the start of the operation to the end of the comparison operation is measured.
  • the counter unit 552 performs down-counting on the reset level and up-counting on the signal level with respect to the reset level and the signal level sequentially read from the image sensor 12.
  • the AD converter 13 performs a CDS (Correlated Double Sampling) process in addition to the AD conversion process.
  • CDS Correlated Double Sampling
  • the “CDS processing” is to remove the fixed pattern noise unique to the image sensor such as the reset noise of the image sensor 12 and the threshold variation of the fourth transistor TR 4 by taking the difference between the signal level and the reset level. It is processing to do.
  • the count result (count value) of the counter unit 552 becomes a digital value (final form of the pixel signal) obtained by digitizing the analog signal.
  • FIG. 551 Alternatively, another example of a timing chart in the single slope type analog-digital converter is shown in FIG.
  • a comparator 551 arranged for each column, an analog signal (signal level) from the image sensor 12 is compared with a reference signal V ref that changes stepwise.
  • counting is performed by the counter unit 552 using the reference clock CK until the level of the analog signal (signal level V Sig ) and the level of the reference signal V ref intersect and the output of the comparator 551 is inverted.
  • the analog signal is converted into a digital signal (ie, AD converted).
  • the counter unit 552 includes a down counter.
  • the AD conversion is performed twice with one reading of the analog signal.
  • AD conversion of the reset level (P phase) of the image sensor 12 is executed.
  • the reset level P phase includes variations for each image sensor.
  • an analog signal obtained by each image sensor 12 is read to the vertical signal line VSL (D phase), and AD conversion is executed. Since the D phase includes variations for each image sensor, correlated double sampling (CDS) processing can be realized by executing (D phase level ⁇ P phase level).
  • CDS correlated double sampling
  • the horizontal scanning circuit 33 includes a data latch unit 555 and a parallel-serial conversion unit 556, and has a pipeline configuration in which image data digitized by the AD converter 13 is pipeline-transferred to the memory unit 542.
  • digitization processing is performed by the AD converter 13 within one horizontal period (within one imaging frame), and the digitized image data is transferred to the data latch unit 555 within the next one horizontal period.
  • the data latch unit 555 latches the image data digitized by the AD converter 13.
  • the parallel-serial conversion unit 556 converts the image data output from the data latch unit 555 from parallel data to serial data.
  • the memory portion 542 is provided with a column decoder / sense amplifier 549 as its peripheral circuit.
  • the row decoder 547 (see FIG. 25) designates a row address for the memory unit 542, whereas the column decoder designates a column address for the memory unit 542.
  • the sense amplifier amplifies a weak voltage read from the memory unit 542 through the bit line to a level that can be handled as a digital level.
  • the image data read through the column decoder / sense amplifier 549 is output to the outside of the second semiconductor chip 521 through the data processing unit 543 and the interface unit 548.
  • “parallel-serial conversion unit” is referred to as “para-serial conversion unit”.
  • the parallel-serial conversion unit 556 and the column decoder / sense amplifier 549 are not shown in FIG.
  • a pad portion 532 for electrical connection with the outside and a TSV 531 for electrical connection with the second semiconductor chip 521 are provided in the peripheral portion of the first semiconductor chip 511.
  • a bonding pad portion is provided in the lower second semiconductor chip 521, an opening is provided in the first semiconductor chip 511, and the first semiconductor chip 511 is provided in the bonding pad portion provided in the second semiconductor chip 521. It is also possible to adopt a configuration in which wire bonding is performed through the opening or a substrate mounting from the second semiconductor chip 521 using the TSV structure.
  • the electrical connection between the imaging device 12 in the first semiconductor chip 511 and various circuits in the second semiconductor chip 521 can be performed via bumps based on a chip-on-chip system.
  • Example 13 it was possible to reduce the power consumption of the imaging apparatus to about 1/5 of the conventional one by compressing the image obtained by the imaging device and compressing the size of the output image. .
  • FIG. 28A and 28B are schematic cross-sectional views of modifications of the light control device in the image sensor that constitutes the imaging device of Example 13.
  • FIG. The light control device (light control device) shown in FIG. 28A is a modification of the light control device (light control device) shown in FIG. 8A, and the light control device (light control device) shown in FIG. It is a modification of the light control apparatus (light control element) shown to 8B.
  • the random pulse voltage has positive and negative polarities. When a random pulse voltage having a positive polarity is applied to the first nanocarbon film, a random pulse voltage having a negative polarity is applied to the second nanocarbon film. Alternatively, when a random pulse voltage having a negative polarity is applied to the first nanocarbon film, a random pulse voltage having a positive polarity can be applied to the second nanocarbon film.
  • a plurality of first dimming devices constituting each of the image pickup elements arranged in the row direction are provided.
  • the nanocarbon films (or a plurality of second nanocarbon films) SM101 ′ to SM107 ′,... Are formed in common to the imaging elements arranged in the row direction (that is, occupying one row).
  • a plurality of second nanocarbon films (or a plurality of first nanocarbon films) SM201 ′ to SM207 ′... Of the light control device constituting each of the imaging elements arranged in the column direction are arranged in the column direction. It is formed in common for the image sensor (that occupies one column).
  • the nanocarbon films SM101 ′ to SM107 ′ and the nanocarbon films SM201 ′ are alternately stacked.
  • the nanocarbon films SM101 ′ to SM107 ′ and the nanocarbon films SM202 ′, SM203 ′, SM204 ′, SM205 ′, SM206 ′, and SM207 ′ are alternately laminated. Note that in FIG. 29 and FIG. 30 described next, the first nanocarbon film and the second nanocarbon film are hatched to clearly show them.
  • the nanocarbon film is patterned in a band shape, if the width of the band-like nanocarbon film is sufficiently larger (wider) than the size of the light receiving element, problems such as stray light and color mixing can be reliably prevented. can do.
  • FIG. 30 schematically shows the arrangement of a part of a modification of the image sensor arranged in a two-dimensional matrix.
  • the integration of the contact resistance value between the nanocarbon film and the connection wiring is the high-speed light of the nanocarbon film. May affect transmission modulation.
  • the end of the first nanocarbon film extending in the first direction is patterned into a comb-like electrode
  • the end of the second nanocarbon film extending in the second direction is shaped into a comb-like electrode. It can be set as the form patterned. Specifically, in the example shown in FIG.
  • the ends of the second nanocarbon films (or first nanocarbon films) SM201 ′ to SM207 ′,... Of the light control device that constitutes each of the image pickup devices arranged in the column direction are so-called Patterned into a comb-like electrode.
  • the peripheral length of the end is about 20 times. By doing so, the contact resistance value between the nanocarbon film and the connection wiring can be reduced to about 1/20.
  • a certain amount of dead space is required between the effective pixel area and the chip end as a countermeasure against shading.
  • a contact portion between a nanocarbon film and a metal has a high contact resistance, which delays an electric signal.
  • the nanocarbon film itself has a low resistance, it has a low electron density near the Fermi level, and therefore has a high contact resistance with a metal.
  • the contact area with the connection wiring is increased, whereby the contact resistance with the connection wiring can be reduced.
  • Example 14 is a modification of Example 13.
  • the light transmittance of the nanocarbon film was controlled by forming a kind of “and circuit” by the nanocarbon film control first signal line and the nanocarbon film control second signal line.
  • a random pulse voltage is applied to each image sensor.
  • the application pattern of the random pulse voltage applied to the image sensor can be set to an arbitrary pattern.
  • a random pulse voltage is applied from the random pulse voltage generating / sending device to the first electrode or the second electrode of the light control device that constitutes each image sensor.
  • the light transmittance of the light control device in each image sensor changes randomly.
  • the light transmittance of the light control device in each image sensor changes from a low value to a high value at random.
  • the integrated amount of the random pulse voltage corresponds to the charge accumulation amount in the light receiving element, if the application of the random pulse voltage is continued for a predetermined time, the charge is accumulated in the light receiving element.
  • the first electrode, the first nanocarbon film, the second electrode, and the second nanocarbon film are formed on each of the imaging elements.
  • the first electrode, the first nanocarbon film, and the second nanocarbon film are respectively imaged.
  • the second electrode may be provided in common to all the imaging devices, or alternatively, the first nanocarbon film, the second nanocarbon film, and the second electrode may be provided independently of the elements. While forming independently with respect to an image pick-up element, the 1st electrode may be provided in common with respect to all the image pick-up elements.
  • the first nanocarbon film is disposed adjacent to the first electrode.
  • the second nanocarbon film may be disposed adjacent to the first electrode.
  • the top electrode is the first film
  • the top nanocarbon film is the second film
  • the bottom nanocarbon film is the (U-1) th (where U is 4
  • the odd-numbered films are electrically connected to each other via a first contact hole (not shown)
  • the films are electrically connected to each other via a second contact hole (not shown).
  • the second electrode is provided in common for all the image sensors, the first electrode is connected to one of the wires connected to the random pulse voltage generating / sending device, a random pulse is applied, and the second electrode is grounded. Is done.
  • the second electrode is connected to one of the wires connected to the random pulse voltage generating / sending device, and a random pulse is applied to the first electrode. Is grounded.
  • a two-layer wiring process using a transparent conductive film or a nanocarbon film may be used for the connection wiring between the random pulse voltage generation / transmission device and the first electrode or the second electrode. it can.
  • image compression is performed by generating a random pulse voltage in, for example, 16 exposure period segments.
  • the random pulse voltage generator / transmitter generates (7 image sensors) ⁇ (7 image sensors), that is, for example, 16 types of random pulse voltages are generated for every 49 pixels, and the random pulse voltage is applied to each image sensor. Sent out. Then, in each of the image sensors, light transmittance modulation according to the random pulse voltage is performed.
  • images with various (for example, 16 types) light transmittances are obtained within the 16 exposure period segments, and these images are signal-processed to create a compressed image.
  • the compressed image is restored in another device. Therefore, the signal processing of the imaging device is reduced, and the output of the obtained image can be reduced.
  • Example 15 is a modification of Example 13 to Example 14.
  • a random pulse voltage generating / sending device was used to generate a random pulse voltage.
  • the pulse voltage calculated based on the output signal (accumulated charge signal) obtained by the imaging device provided with the light control device is applied to the nanocarbon film as a random pulse voltage.
  • the image output signal is compressed by thinning out the image output signal from the image sensor provided with the light control device spatially and temporally. Specifically, information in the image sensor is used to generate a random pulse voltage. That is, random exposure is realized by the light control device, and at that time, a random pulse voltage is generated by using random information originally present in the image sensor.
  • the fifteenth embodiment attention is paid to variations of the light receiving elements (photosensors, photodiodes, photoelectric conversion elements) 27 constituting the imaging element. Then, a signal (output signal, accumulated charge signal) from the light receiving element 27 is made constant by a logic circuit, and a random pulse voltage is generated by normalizing with a pulse potential. That is, (Photodiode signal / transistor applied voltage + reference potential) Is calculated for each image sensor by a logic circuit, amplified, and sent to a light control device, thereby realizing random exposure.
  • FIG. 32A and FIG. 32B are conceptual diagrams of the image pickup device of the fifteenth embodiment.
  • the image pickup device shown in FIG. 32A is an image pickup device based on the image pickup device of the eighth embodiment shown in FIG.
  • the image pickup device shown is an image pickup device based on the image pickup device of the thirteenth embodiment shown in FIG. 7B, and is generated and amplified by a logic circuit (not shown) provided in the accumulated charge detection circuit 41.
  • a pulse voltage is applied to the nanocarbon film constituting the light control device 21 in the image sensor.
  • a voltage holding capacitor 42 is disposed between the accumulated charge detection circuit 41 and the dimmer 21.
  • the accumulated charge detection circuit 41 that monitors the output signal (accumulated charge signal) from the light receiving element 27 constituting the image sensor may be provided for each image sensor, thereby eliminating the need for a random pulse voltage generating / sending device. . If it is difficult to provide the accumulated charge detection circuit 41 for each image pickup device, one accumulated charge detection circuit 41 is provided for each row or column of the image pickup device, and the calculation is performed in the peripheral circuit. You may apply the random pulse voltage calculated so that it may become random for every element to the nano carbon film which comprises the light control apparatus 21 in each image pick-up element.
  • the image output signal from the image sensor is sent to the AD converter 13 and is output from the AD converter 13.
  • a pulse voltage calculated based on noise generated in the AD converter 13 is used as a random pulse voltage. It can also be applied to the nanocarbon film. That is, paying attention to the noise variation of the electric signal of the AD converter 13, the noise variation from the AD converter 13 is made constant by the logic circuit and is normalized by the pulse potential to generate a random pulse voltage and to the light control device Sending out realizes random exposure.
  • the sixteenth embodiment is a modification of the thirteenth to fifteenth embodiments.
  • IR 1 (referred to as “infrared imaging element IR 1 ” for convenience) is provided.
  • the infrared imaging element IR 1 also includes a light control device 21.
  • a unit image sensor group is configured by the image sensors R 1 , G 1 , B 1 , and IR 1 . In FIG. 15B, four unit image sensor groups are shown.
  • the infrared imaging element IR 1 is not provided with a color filter layer, but instead is provided with a transparent film that allows light in the entire wavelength region to pass through.
  • This transparent film is a film for filling a step on the surface of the element generated when the color filter layer is not formed, and is provided as necessary.
  • a light control device that transmits light in the infrared band can be obtained by appropriately selecting a predetermined voltage V 0 applied to the light control device 21.
  • the wavelength range of light that can pass can be changed based on the voltage applied to the light control device 21.
  • the dynamic range in the infrared imaging element IR 1 can be expanded.
  • the light control device may function as a color filter without providing a color filter layer.
  • the material of the dielectric material layer in the light control device 21 provided in each of the red image sensor, the green image sensor, and the blue image sensor is changed. That is, for example, the dielectric material layer in the infrared imaging element IR 1 is composed of SiO 2, the dielectric material layer in the red imaging element R 1 is composed of HfO 2, and the dielectric material layer in the green imaging element G 1 is ZrO 2. 2 and the dielectric material layer in the blue image pickup device B 1 is made of PLZT.
  • the relative dielectric constant of the material constituting the dielectric material layer is different, the amount of charge induced in the nanocarbon film is different, and as a result, light with a wavelength of ⁇ 0 or more is more than light with a wavelength of less than ⁇ 0 It is possible to change the value of ⁇ 0 in the light control device that passes (transmits) with high light transmittance.
  • a signal component corresponding to the light in the infrared region and the red region and a noise component ⁇ E are obtained.
  • the green image sensor G 1 a signal component corresponding to light in the infrared region to the green region and a noise component ⁇ E are obtained.
  • the blue image pickup element B 1 a signal component corresponding to light in the infrared region to the blue region and a noise component ⁇ E are obtained. Accordingly, the signal components in the red region in the red image sensor R 1 is be obtained by subtracting from the total signal component obtained by the red image sensor R 1, the total signal component obtained by the infrared imaging device IR 1 it can. The signal components in the green region of the green image sensor G 1 from the overall signal component obtained by the green image sensor G 1, be obtained by subtracting the signal component of the whole obtained in the red image sensor R 1 it can.
  • the signal component in the blue region in the blue image sensor B be obtained by subtracting from the total signal component obtained by the blue image sensor B 1, the overall signal component obtained by the green image sensor G 1 Can do. Further, in the infrared imaging element IR 1, the overall signal component of the infrared imaging device IR 1, by subtracting the noise component ⁇ E of the image pickup device R 1, G 1, B 1 in the state where no voltage is applied, the infrared region Signal components can be obtained. Such a modification can also be applied to the image sensor described in the thirteenth to fifteenth embodiments.
  • the seventeenth embodiment is a modification of the thirteenth to sixteenth embodiments, and specifically relates to a light transmittance control method for an image sensor. That is, the light transmittance control method of the light control device (light control element) in Example 17 is: (A) By applying a predetermined voltage V 0 between the paired nano carbon films (between the first nano carbon film 114 and the second nano carbon film 115), a wavelength of wavelength ⁇ 0 or more Is a light transmittance control method of a light control device (light control element) that passes the light with a light transmittance higher than that of light having a wavelength less than ⁇ 0 , or (B) By applying a predetermined voltage V 0 between the pair of electrodes 211 and 212, light having a wavelength of ⁇ 0 or more passes through with a higher light transmittance than light having a wavelength of less than ⁇ 0.
  • a light transmittance control method of the light control device (light control element) to be made or (C) By applying a predetermined voltage V 0 between the pair of electrodes 311, 312 and the nanocarbon film 314, light having a wavelength of wavelength ⁇ 0 or more is made to be more than light having a wavelength of less than wavelength ⁇ 0. It is a light transmittance control method of a light control device (light control element) that passes at a high light transmittance, or, (D) By applying a predetermined voltage V 0 between the first nanocarbon film 414 (and electrode 412) and the second nanocarbon film 415 (and electrode 411), light having a wavelength of ⁇ 0 or more is emitted. This is a light transmittance control method for a light control device (light control element) that allows light having a higher light transmittance than light having a wavelength less than ⁇ 0 to pass through.
  • the light with a wavelength of ⁇ 0 or more is adjusted by changing the duty ratio of the predetermined pulsed voltage V 0.
  • the pulse voltage is not a random pulse voltage. Note that “application of the predetermined voltage V 0 ” in the above (a) to (d) is expressed as “applying the predetermined voltage V 0 to the first nanocarbon film 114 or the like” for convenience.
  • FIG. 33B and FIG. 34B show the accumulated charge amount accumulated in the light receiving element based on the light passing through the light control device in a certain period (for example, one frame period).
  • the light transmittance of the light control device is higher in the period t than in the period (Tt). Therefore, a large amount of charge can be obtained. Therefore, as shown in FIG. 33B and FIG.
  • the amount of accumulated charge is larger in the period t than in the period (T ⁇ t).
  • the duty ratio D is higher in the example shown in FIG. 33A than in the example shown in FIG. 34A.
  • the solid line indicates the accumulated charge amount during the period t
  • the dotted line indicates the accumulated charge amount during the period (Tt).
  • the value obtained by converting the change in the light transmittance of the nanocarbon film in the light control layer into a frequency is higher than the frequency of the pulse voltage.
  • the frequency of the pulse voltage is preferably 1 ⁇ 10 2 Hz or more and 1 ⁇ 10 5 Hz or less. Specifically, the change in the light transmittance of the nanocarbon film in the light control layer is converted into the frequency.
  • the dynamic range is represented by the ratio of the saturation signal amount, which is the maximum signal amount, and noise.
  • the dynamic range is larger, an image output signal in a bright scene and an image output signal in a dark scene can be reliably obtained.
  • the value of the predetermined voltage V 0 applied to the light control device 21 and the duty ratio D are set. Until the saturation charge amount is reached by controlling the light transmittance by controlling, or by not applying a voltage to the light control device 21, or by reducing the light transmittance to a desired value. As a result, the dynamic range can be expanded.
  • the value of the predetermined voltage V 0 applied to the dimmer 21 and the duty ratio D are controlled to maximize the light transmittance.
  • the user of the imaging device can switch between a shooting mode that expands the dynamic range and a shooting mode that emphasizes resolution, or the imaging device automatically switches, so that the optimal shooting mode can be selected. Shooting can be performed.
  • the light transmittance of the light control device 21 can be changed based on the voltage applied to the light control device 21 and can pass therethrough.
  • the wavelength range of light can be changed.
  • the dynamic range in the infrared imaging element IR 1 can be expanded.
  • the light control is performed for light having a wavelength of ⁇ 0 or more by changing the duty ratio of the predetermined pulsed voltage V 0. Since the effective light transmittance of the layer is controlled, for example, the value of the wavelength ⁇ 0 is blue (for example, 380 nm), and light having a wavelength of ⁇ 0 or more when a predetermined voltage V 0 is applied (for example, By setting the light transmittance for light having a wavelength band equal to or greater than visible light) to be approximately 100%, a desired light transmittance value can be obtained accurately and easily, and the desired light transmittance can be obtained. The light transmittance value can be set. In addition, the nanocarbon film has no wavelength dependency in the light transmittance, and the time required to change the light transmittance is short.
  • the present disclosure has been described based on the preferred embodiments, the present disclosure is not limited to these embodiments.
  • the configurations and structures of the image pickup device, the image pickup apparatus, and the analog-digital converter, and the configuration of the pixel signal reading method described in the embodiments are examples, and can be appropriately changed.
  • the mechanical shutter can be replaced, the mechanical shutter can be omitted.
  • all A / D converters are operated, a switching element or the like is provided in the horizontal scanning circuit, and only the necessary A / D converter outputs are selectively transferred to the memory unit. Also good.
  • FIG. 35A shows an equivalent circuit diagram
  • FIG. 36A schematically shows the arrangement of a light control device that configures each of the four image sensors and a thin film transistor (TFT) that controls one of the light control devices.
  • FIG. 36B shows a conceptual diagram showing a schematic cross section of the TFT and the like along the arrow BB in FIG. 36A.
  • One source / drain region of the thin film transistor (TFT) is connected to the drive pulse line, the other source / drain region is connected to the dimmer, and the gate of the thin film transistor (TFT) is the dimmer selection line. It is connected to the.
  • a voltage is applied to the gate portion of the thin film transistor (TFT) from the dimmer selection line, and the thin film transistor (TFT) is turned on.
  • a pulse voltage for driving the light control device from the drive pulse line is applied to one source / drain region of the thin film transistor (TFT), and as a result, the light control device is driven.
  • the light control device driving pulse voltage is held in the light control device even during a period in which the thin film transistor (TFT) is turned off.
  • this light control device also functions as a pulse voltage holding capacitor.
  • the thin film transistor (TFT) can be manufactured by a relatively simple process without sacrificing the aperture ratio of the pixel.
  • the imaging element 12 1 shown in FIG. 35A is an image pickup element of the back-illuminated type, FIG. 13B, it goes without saying that it may be a surface-illuminated imaging device shown in FIG. 32B.
  • the light receiving element can also be composed of an organic photoelectric conversion layer.
  • the organic photoelectric conversion layer is made of a material capable of photoelectric conversion in response to green light, for example, an organic material containing a rhodamine dye, a melocyanine dye, quinacridone, or the like can be given.
  • pentacene and its derivatives TIPS-pentacene, etc.
  • naphthacene and its derivatives rubberrene, hexapropylnaphthacene
  • thiophene and its derivatives P3HT, etc.
  • fullerene and its derivatives PCBM, etc.
  • TCNQ perylene and its derivatives
  • porphyrin and its porphyrin derivatives acridine and its derivatives, coumarin and its derivatives, quinacridone and its derivatives, cyanine and its derivatives, squarylium and its derivatives, oxazine and its derivatives, xanthene Triphenylamine and its derivatives, benzidine and its derivatives, pyrazoline and its derivatives, stilamine and its derivatives, hydrazone and its derivatives, triphenylmethane and its derivatives, Sol and derivatives thereof, polysilane and derivatives thereof, polysilane and derivatives
  • the organic material represented by these can also be used independently, and 2 or more types can also be mixed or laminated
  • this indication can also take the following structures.
  • ⁇ Imaging Device Image sensors arranged in a two-dimensional matrix in a first direction and a second direction, Pixel signal readout device, and Analog-to-digital converter, With An image pickup apparatus that reads out pixel signals of an image pickup element at random on a time axis by causing an analog-digital converter to be operated randomly by a pixel signal read out apparatus.
  • a total of K ⁇ L imaging elements, K in the first direction and L in the second direction, are arranged, The K ⁇ L image sensors form I image sensor units in the first direction and J image sensor units in the second direction.
  • the image pickup apparatus according to [A01], in which pixel signals are read out from the selected image pickup device.
  • One analog-to-digital converter is disposed in an image sensor group composed of L image sensors arranged along the second direction. Since the analog-digital converter is randomly operated by the pixel signal reading device, less than K image sensors are randomly selected and selected from the K image elements arranged in the first direction.
  • the imaging element includes a light receiving element and a light control device arranged on the light incident side of the light receiving element,
  • the light control device includes a light control layer in which a first nanocarbon film, a first intermediate layer, a dielectric material layer, and a second intermediate layer are stacked, M layers (where M ⁇ 1), and further, A second nanocarbon film is formed on the second intermediate layer constituting the Mth light control layer, Any one of [A02] to [A04], in which light is applied to the image sensor by applying a voltage to the first nanocarbon film and the second nanocarbon film under the control of the pixel signal readout device.
  • the imaging device according to item.
  • [A06] The imaging apparatus according to [A05], in which a thin film transistor that controls the operation of the light control device provided in the imaging element is provided in the imaging element. [A07] Under the control of the pixel signal readout device, pixel signal readout is performed from the selected imaging device, and light incidence start and light incidence completion to the imaging device are performed randomly in time [A05] or [ A06]. [A08] The imaging apparatus according to any one of [A05] to [A07], wherein a pulsed voltage is randomly applied to the first nanocarbon film and the second nanocarbon film. [A09] The imaging device according to [A08], in which the integrated value of the application time of the pulse voltage to the first nanocarbon film and the second nanocarbon film is constant.
  • Imaging apparatus it further includes a motion detection circuit for detecting the motion of the subject,
  • the imaging apparatus according to any one of [A01] to [A09], wherein a state in which the analog-digital converter is randomly operated by the pixel signal reading device is changed based on whether or not the motion of the subject is detected by the motion detection circuit.
  • Imaging device Image sensors arranged in a two-dimensional matrix in a first direction and a second direction, Pixel signal readout device, and Readout amplifier, With An image pickup apparatus that reads out pixel signals of an image pickup element at random along a time axis by causing a read amplifier to be operated at random by a pixel signal read out apparatus.
  • the K ⁇ L image sensors form I image sensor units in the first direction and J image sensor units in the second direction.
  • the imaging apparatus in which pixel signals are read from the imaging element.
  • One read amplifier is arranged in an image sensor group composed of L image sensors arranged along the second direction.
  • the readout amplifier is randomly operated by the pixel signal readout device, less than K image sensors are randomly selected from the K image sensors arranged in the first direction.
  • the imaging device in which pixel signal readout is performed.
  • the imaging device according to [B01] performed.
  • the imaging element includes a light receiving element and a light control device disposed on the light incident side of the light receiving element.
  • the light control device includes a light control layer in which a first nanocarbon film, a first intermediate layer, a dielectric material layer, and a second intermediate layer are stacked, M layers (where M ⁇ 1), and further, A second nanocarbon film is formed on the second intermediate layer constituting the Mth light control layer, Any one of [B02] to [B04], in which light is applied to the image sensor by applying a voltage to the first nanocarbon film and the second nanocarbon film under the control of the pixel signal readout device.
  • the imaging device according to item. [B06] The imaging device according to [B05], in which a thin film transistor that controls the operation of the light control device provided in the imaging device is provided in the imaging device.
  • FIG. 1 Pixel signal readout is performed from the selected image sensor under the control of the pixel signal readout device, and light incidence start and light incidence completion to the image sensor are performed randomly in time [B05] or [B07] B06].
  • FIG. 1 The imaging device according to any one of [B05] to [B07], wherein a pulsed voltage is randomly applied to the first nanocarbon film and the second nanocarbon film.
  • FIG. 1 The imaging device according to [B08], in which the integrated value of the application time of the pulse voltage to the first nanocarbon film and the second nanocarbon film is constant.
  • [B10] It further includes a motion detection circuit for detecting the motion of the subject, The imaging apparatus according to any one of [B01] to [B09], wherein a state in which the readout amplifier is randomly operated by the pixel signal readout device is changed based on whether or not the motion of the subject is detected by the motion detection circuit.
  • the light transmittance in the light control layer is controlled by applying a voltage to the first nanocarbon film and the second nanocarbon film.
  • [A05] to [A09] or [B05] to [B09] The imaging device according to any one of the above.
  • the material constituting the first intermediate layer and the second intermediate layer is at least one selected from the group consisting of titanium dioxide, titanium nitride, chromium oxide, amorphous silicon, magnesium fluoride, silicon nitride, and silicon oxide.
  • the imaging element includes a light receiving element and a light control device arranged on the light incident side of the light receiving element,
  • the light control device includes a pair of electrodes, and a light control layer sandwiched between the pair of electrodes,
  • the light control layer includes a first dielectric material layer, a first intermediate layer, a first nanocarbon film doped with an impurity of the first conductivity type or not doped with an impurity, and the first conductivity type is a conductivity type Having a laminated structure of a second nanocarbon film doped with an impurity of a second conductivity type different from that of the second nanocarbon film, a second intermediate layer and a second dielectric material layer not doped with an impurity, Any one of [A02] to [A04] or [B02] to [B04], in which light is applied to the image sensor by applying a voltage to the pair of electrodes under the control of the pixel signal readout device.
  • the imaging device according to item.
  • [D02] The imaging apparatus according to [D01], in which a thin film transistor that controls an operation of the light control device provided in the imaging element is provided in the imaging element.
  • [D03] Under the control of the pixel signal readout device, pixel signal readout is performed from the selected image sensor, and light incidence start and light incidence completion to the image sensor are performed randomly in time [D01] or [D01] D02].
  • [D04] The imaging apparatus according to any one of [D01] to [D03], wherein a pulsed voltage is randomly applied to the pair of electrodes.
  • [D05] The amount of charge generated in the first nanocarbon film and / or the second nanocarbon film is controlled by applying a voltage to the pair of electrodes, thereby controlling the light transmittance in the light control layer [
  • the imaging apparatus according to any one of [D01] to [D04].
  • [D06] comprising N light control layers and (N + 1) electrodes, N light control layers and (N + 1) electrodes are alternately stacked,
  • the imaging device according to any one of [D01] to [D05], in which the odd-numbered electrodes are connected to the first wiring, and the even-numbered electrodes are connected to the second wiring.
  • the first conductivity type is n-type
  • the second conductivity type is p-type
  • a higher voltage is applied to the first electrode facing the first nanocarbon film via the first dielectric material layer than to the second electrode facing the second nanocarbon film via the second dielectric material layer.
  • the imaging device according to any one of [D01] to [D06].
  • the first nanocarbon film is made of graphene, carbon nanotube, or fullerene
  • the second nanocarbon film is made of graphene, carbon nanotube, or fullerene, and any one of [D01] to [D07]
  • the imaging apparatus according to item 1.
  • the material constituting the first intermediate layer and the second intermediate layer is at least one selected from the group consisting of titanium dioxide, titanium nitride, chromium oxide, amorphous silicon, magnesium fluoride, silicon nitride, and silicon oxide.
  • the imaging apparatus according to any one of [D01] to [D08], which is a material of the above.
  • the imaging element includes a light receiving element and a light control device arranged on the light incident side of the light receiving element,
  • the light control device includes a pair of electrodes, and a light control layer sandwiched between the pair of electrodes,
  • the light control layer is a stack of a first dielectric material layer, a first intermediate layer, a nanocarbon film doped with impurities or not doped, a second intermediate layer, and a second dielectric material layer Has a structure
  • the imaging device according to any one of [A02] to [A04] or [B02] to [B04], wherein a voltage different from a voltage applied to the pair of electrodes is applied to the nanocarbon film.
  • [E02] The imaging apparatus according to [E01], wherein a thin film transistor that controls the operation of the light control device provided in the imaging element is provided in the imaging element. [E03] Under the control of the pixel signal readout device, pixel signal readout is performed from the selected image sensor, and light incidence start and light incidence completion to the image sensor are randomly performed in time [E01] or [E01] E02]. [E04] The imaging device according to any one of [E01] to [E03], wherein a pulsed voltage is randomly applied to the pair of electrodes.
  • the impurity is p-type, The imaging device according to any one of [E01] to [E04], wherein a voltage higher than a voltage applied to the pair of electrodes is applied to the nanocarbon film.
  • the impurity is n-type, The imaging device according to any one of [E01] to [E04], wherein a voltage lower than a voltage applied to the pair of electrodes is applied to the nanocarbon film.
  • the material constituting the first intermediate layer and the second intermediate layer is at least one selected from the group consisting of titanium dioxide, titanium nitride, chromium oxide, amorphous silicon, magnesium fluoride, silicon nitride, and silicon oxide.
  • the imaging element includes a light receiving element and a light control device arranged on the light incident side of the light receiving element,
  • the light control device includes a stacked structure in which a pair of electrodes and a light control layer of a P layer (where P ⁇ 1) is sandwiched between the pair of electrodes,
  • the p-th dimming layer (where 1 ⁇ p ⁇ P) is a first dielectric material layer, a first intermediate layer, a first nanocrystal doped with an n-type impurity, or not doped with an impurity.
  • the imaging device according to any one of [A02] to [A04] or [B02] to [B04], in which a voltage different from that of the first nanocarbon film is applied to the second nanocarbon film.
  • the imaging apparatus according to [F01] in which a thin film transistor that controls an operation of the light control device provided in the imaging element is provided in the imaging element.
  • pixel signal readout is performed from the selected image sensor, and light incidence start and light incidence completion to the image sensor are randomly performed in time [F01] or [F01] F02].
  • the imaging device according to any one of [F01] to [F03], wherein a pulsed voltage is randomly applied to the pair of electrodes.
  • the pair of electrodes is applied with a voltage that is equal to or lower than the voltage applied to the second nanocarbon film and higher than the voltage applied to the first nanocarbon film [F01] to [F04].
  • the imaging device according to any one of the above.
  • the imaging device according to any one of [F01] to [F05], in which the first nanocarbon film is connected to the first wiring, and the second nanocarbon film is connected to the second wiring.
  • the first nanocarbon film is made of graphene, carbon nanotube, or fullerene
  • the second nanocarbon film is made of graphene, carbon nanotube, or fullerene, and any one of [F01] to [F06]
  • the imaging apparatus according to item 1.
  • Materials constituting the first intermediate layer, the second intermediate layer, the third intermediate layer, and the fourth intermediate layer are titanium dioxide, titanium nitride, chromium oxide, amorphous silicon, magnesium fluoride, silicon nitride, and silicon oxide.
  • the imaging device according to any one of [F01] to [F07], which is at least one material selected from the group consisting of: [G01] Any one of [C01] to [F07] including a random pulse voltage generating / sending device that generates a random pulse voltage and sends the generated random pulse voltage to an imaging device including a light control device.
  • [H01] The imaging device according to any one of [C01] to [G03], to which a pulse voltage calculated based on an output signal obtained by an imaging device including a light control device is applied.
  • the image output signal is compressed according to any one of [C01] to [G01], in which the image output signal from the imaging device including the light control device is thinned spatially and temporally. Imaging device.
  • the imaging elements arranged in a two-dimensional matrix are provided on the first semiconductor chip, A random pulse voltage generating / sending device for generating a random pulse voltage and sending the generated random pulse voltage to an imaging device equipped with a light control device is provided in the second semiconductor chip, The first semiconductor chip and the second semiconductor chip are stacked, The dimmer and the random pulse voltage generator / transmitter are connected via a through silicon via or connected via a bump to any one of [C01] to [H02] The imaging device described. [H04] The imaging device according to [H03], wherein the imaging element is a backside illumination type.
  • a random pulse voltage generating / sending device for generating a random pulse voltage and sending the generated random pulse voltage to an image sensor provided with a light control device is provided.
  • the imaging device according to any one of [C01] to [H04], wherein the light control device and the random pulse voltage generation / transmission device are connected by a connection wiring made of a nanocarbon film or a transparent conductive material layer.
  • the imaging elements are arranged in a two-dimensional matrix in the first direction and the second direction,
  • the first nanocarbon film extends in the first direction and is common to the imaging elements arranged in the first direction,
  • the second nanocarbon film extends in the second direction and is common to the imaging elements arranged in the second direction, Any one of [C01] to [H05] (provided that a positive random pulse voltage is applied to the first nanocarbon film and a negative random pulse voltage is applied to the second nanocarbon film.
  • [A06], [B06], [D02], [E02] and [F02] are excluded).
  • Pixel signal readout method second mode / readout amplifier >> Image sensors arranged in a two-dimensional matrix in a first direction and a second direction, Pixel signal readout device, and Readout amplifier
  • a pixel signal readout method in an imaging apparatus comprising: A pixel signal readout method in which pixel signals of an image sensor are randomly read on a time axis by randomly operating a read amplifier by a pixel signal readout device.
  • Random pulse voltage generating / sending device 523 ... Various circuits, 531 ... Through silicon via (TSV), 532 ... Pad part, 541 ... Signal processing part, 542 ... Memory part, 543 ... Data processing part, 544: Control unit, 545 ... Current source, 546 ... Decoder, 547 ... Row decoder, 548 ... Interface (IF) unit, 549 ... Column decoder / sense amplifier, 551 ... ⁇ Comparator ( Comparator), 552 ... counter, 554 ... ramp voltage generator (reference voltage generating unit), 555 ... data latch unit, 556 ... parallel - serial converter (parallel-serial conversion unit), R 1 , G 1 , B 1 , IR 1 ... Image sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Abstract

撮像装置は、第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子12、画素信号読出し装置16、及び、アナログ-デジタル変換器13又は読出しアンプを備えており、画素信号読出し装置16によってアナログ-デジタル変換器13又は読出しアンプがランダムに作動させられることで、撮像素子12の画素信号読み出しが時間軸でランダムに行われる。

Description

撮像装置及び画素信号読み出し方法
 本開示は、撮像装置及び画素信号読み出し方法に関する。
 近年、クラウド技術のコンセプトが盛んに議論され、撮像装置や撮像素子といったイメージングデバイスを搭載した電子機器のクラウド端末としての役割が期待されている。そして、近い将来には、様々な電子機器がクラウドと繋がり、これらの電子機器同士、電子機器と使用者、使用者とクラウドとが繋がる社会が実現されると予測されている。それ故、このような社会の流れに鑑み、クラウドを始めとするネットワーク社会で利用するための電子機器に搭載可能なイメージングデバイスの開発が求められている。
 ところで、クラウドに様々な電子機器が繋がる場合、膨大な通信量や消費電力の増加等、種々の課題を解決する必要がある。通信分野では通信量を増やす開発が行われているが、通信量の増加には限界があろう。また、無線通信等は、ネットワーク社会の発達に伴い使用者が増えると、直ちに通信量の取り合いとなり、通信帯域の不足が生じる。一方、イメージングデバイスにあっては、画素信号処理の部分での電力消費、通信時における電力消費が課題である。更に、イメージングデバイスによって得られた画像の通信を考えた場合、画像サイズとその通信量(通信レート)も課題とされる。
 撮像素子を含む撮像装置全体の消費電力を低減するための撮像素子の駆動方法や信号処理の開発が、鋭意、進められている。具体的には、例えば、特開2007-134805に開示された電子撮像装置は、固体撮像素子が有する全画素を数個の分割エリアに分割し、分割エリアの画素を交互に読み出すことにより、低消費電力化を実現する。また、特開2012-165168に開示された半導体装置は、単位素子が行列状に配された素子アレイ部と、単位素子から出力された単位信号に基づいて予め定められた信号処理を行う信号処理回路を列毎に具備する信号処理部とを備え、素子アレイ部における1行分の単位素子の内の一部の単位素子の情報のみを必要とする素子選択モード時には、必要とされない単位素子に対応する信号処理回路が通常動作モード時よりも低消費電力状態となるようにこの信号処理回路の機能が制御される。
 通常、イメージングデバイスによって得られる画像を圧縮して通信することにより、通信時の電力消費量を低減させている。これまで、画像圧縮信号処理については、幾つかの提案がなされている。例えば、撮像素子における露光制御に基づき、全画素(全撮像素子)を読み出すよりも少ない量のデータを得ることができ、しかも、アナログ-デジタル変換後にデータ圧縮のための処理回路が必要とされない信号処理技術が周知である(例えば、非特許文献1:Y. Hitomi, et al., "Video from a Single Coded Exposure Photograph using a Learned Over-Complete Dictionary", IEEE International Conference on Computer Vision (ICCV), Nov., 2011 を参照)。即ち、動画を3次元のデータとして捉えて、3次元の立方格子が間引かれた形態のデータを、信号処理アルゴリズムとしてのスパース・コーディング(sparse coding)を応用して、圧縮し、復元を行う。ベクトルの要素数は多いが、その内の殆どがゼロであれば、何番目の基底の数が何かという情報のみを保持すればよいので、データ圧縮を達成することができる。動画応用では、空間的及び時間的に間引きされた動画データを、そのまま、このような考え方で圧縮されたデータであると解釈し、それに沿って、後段の処理を行う。
特開2007-134805 特開2012-165168 国際公開WO2002/056604 特開2004-172858 特開2011-044891
Y. Hitomi, et al., "Video from a Single Coded Exposure Photograph using a Learned Over-Complete Dictionary", IEEE International Conference on Computer Vision (ICCV), Nov., 2011
 しかしながら、上記の特許公開公報に開示された技術では、撮像素子を含む撮像装置全体の消費電力の低減は十分とは云い難い。また、上記の非特許文献1には、撮像素子を含む撮像装置全体の消費電力の低減に関して、何ら、言及されていない。
 従って、本開示の目的は、撮像素子を含む撮像装置全体の消費電力の低減を十分に図り得る構成、構造を有する撮像装置及び画素信号読み出し方法を提供することにある。
 上記の目的を達成するための本開示の第1の態様に係る撮像装置は、
 第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子、
 画素信号読出し装置、及び、
 アナログ-デジタル変換器、
を備えており、
 画素信号読出し装置によってアナログ-デジタル変換器がランダムに作動させられることで、撮像素子の画素信号読み出しが時間軸でランダムに行われる。
 上記の目的を達成するための本開示の第2の態様に係る撮像装置は、
 第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子、
 画素信号読出し装置、及び、
 読出しアンプ、
を備えており、
 画素信号読出し装置によって読出しアンプがランダムに作動させられることで、撮像素子の画素信号読み出しが時間軸でランダムに行われる。
 上記の目的を達成するための本開示の第1の態様に係る画素信号読み出し方法は、
 第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子、
 画素信号読出し装置、及び、
 アナログ-デジタル変換器、
を備えた撮像装置における画素信号読み出し方法であって、
 画素信号読出し装置によってアナログ-デジタル変換器をランダムに作動させることで、撮像素子の画素信号読み出しを時間軸でランダムに行う。
 上記の目的を達成するための本開示の第2の態様に係る画素信号読み出し方法は、
 第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子、
 画素信号読出し装置、及び、
 読出しアンプ、
を備えた撮像装置における画素信号読み出し方法であって、
 画素信号読出し装置によって読出しアンプをランダムに作動させることで、撮像素子の画素信号読み出しを時間軸でランダムに行う。
 本開示の第1の態様~第2の態様に係る撮像装置あるいは画素信号読み出し方法にあっては、画素信号読出し装置によってアナログ-デジタル変換器あるいは読出しアンプをランダムに作動させることで、撮像素子の画素信号読み出しが時間軸でランダムに行われる。即ち、撮像装置に配設された全てのアナログ-デジタル変換器あるいは読出しアンプを作動させるのではなく、一部のアナログ-デジタル変換器あるいは読出しアンプを作動させるので、撮像装置の消費電力の低減を図ることができる。しかも、撮像素子の画素信号読み出しが時間軸でランダムに行われるが故に、全画素(全撮像素子)を読み出すよりも少ない量のデータを得ることができ、しかも、アナログ-デジタル変換後にデータ圧縮のための処理回路が必要とされない信号処理技術を適用することができる。尚、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また、付加的な効果があってもよい。
図1A及び図1Bは、それぞれ、実施例1の撮像装置の概念図、及び、1つの撮像素子ユニットの概念図である。 図2A及び図2Bは、実施例1の撮像装置において、1つの撮像素子ユニットの第1番目及び第2番目の露光期間セグメントにおけるアナログ-デジタル変換器の作動状態を模式的に示す図である。 図3は、実施例1の撮像素子ユニットにおいて、アナログ-デジタル変換器を経由して外部に出力される画素信号の状態を模式的に示す図である。 図4は、実施例2の撮像装置における1つの撮像素子ユニットの概念図である。 図5は、実施例3の撮像装置における1つの撮像素子ユニットの概念図である。 図6は、実施例4の撮像装置における1つの撮像素子ユニットの概念図である。 図7A及び図7Bは、それぞれ、実施例5の撮像装置における動き検出回路の動作の一例のフローチャート、及び、動き検出回路の構成を説明するブロック図である。 図8A及び図8Bは、実施例8の撮像装置における調光装置の模式的な断面図である。 図9Aは、実施例9の撮像装置における調光装置の模式的な一部端面図であり、図9Bは、実施例9の撮像装置における調光装置の一対の電極に電圧を印加したときの第1ナノカーボン膜及び第2ナノカーボン膜の挙動を示す概念図であり、図9Cは、実施例9の撮像装置における調光装置の一対の電極に電圧を印加したときの調光層の光透過率と調光装置を通過した光の波長帯域との関係を示す概念図である。 図10は、実施例10の撮像装置における調光装置の模式的な一部端面図である。 図11A及び図11Bは、実施例11の撮像装置における調光装置の模式的な一部端面図である。 図12は、実施例12の撮像装置における調光装置の模式的な一部端面図である。 図13A及び図13Bは、実施例13の撮像素子の模式的な一部断面図である。 図14A及び図14Bは、実施例13の撮像装置における撮像素子群のレイアウトを模式的に示す図である。 図15B及び図15Bは、それぞれ、実施例13及び実施例16の撮像装置における撮像素子群のレイアウトを模式的に示す図である。 図16は、実施例13の撮像素子ユニットにおいて、アナログ-デジタル変換器を経由して外部に出力される画素信号の状態を模式的に示す図である。 図17は、実施例13の撮像装置における画素駆動回路の構成の一例を示す図である。 図18Aは、実施例13の撮像装置における画素駆動回路の一部分の構成の一例を示す図であり、図18Bは、ナノカーボン膜制御第1信号線、ナノカーボン膜制御第2信号線に印加される電圧、及び、撮像素子を構成する調光装置の光透過率の変化を示す図である。 図19A、図19B及び図19Cは、実施例13の撮像装置における調光装置の光透過率特性を示す概念図である。 図20A及び図20Bは、それぞれ、実施例13の撮像装置を構成する撮像素子の内部回路の構成を示す図、及び、撮像素子への入射光を画像出力信号に変換する制御状態を示す図である。 図21は、(2つの撮像素子)×(2つの撮像素子)に関する画素駆動回路における各制御信号及び各撮像素子における光透過率の時間変化を示す図である。 図22は、実施例13において用いたランダムパルス電圧の一例を示す図である。 図23A及び図23Bは、実施例13の撮像装置を構成するロジック回路チップの構成を概念的に示す図である。 図24は、実施例13の撮像装置において、第1半導体チップと第2半導体チップとが積層された構造を有する撮像装置の概念図である。 図25は、実施例13の撮像装置における第1半導体チップ側の回路及び第2半導体チップ側の回路の具体的な構成を示す回路図である。 図26は、実施例13の撮像装置におけるシングルスロープ型アナログ-デジタル変換器の動作を説明するためのタイミングチャートである。 図27は、実施例13の撮像装置における信号処理部の具体的な構成例を示すブロック図である。 図28A及び図28Bは、実施例13の撮像装置を構成する撮像素子における調光装置の変形例の模式的な断面図である。 図29は、実施例13の撮像装置の変形例を構成する撮像素子の一部の配置を模式的に示す図である。 図30は、実施例13の撮像装置の別の変形例を構成する撮像素子の一部の配置を模式的に示す図である。 図31A及び図31Bは、実施例14の撮像装置を構成するロジック回路チップの構成を概念的に示す図である。 図32A及び図32Bは、実施例15の撮像素子の概念図である。 図33A及び図33Bは、それぞれ、実施例17の撮像装置を構成する調光装置にパルス状の所定の電圧V0を印加した場合の所定の電圧V0、光透過率の変化を模式的に示す図、及び、調光装置にパルス状の所定の電圧V0を印加した場合の1フレーム期間に蓄積される蓄積電荷量を模式的に示す図である。 図34A及び図34Bは、それぞれ、実施例17の撮像装置を構成する調光装置にパルス状の所定の電圧V0を印加した場合の所定の電圧V0、光透過率の変化を模式的に示す図、及び、調光装置にパルス状の所定の電圧V0を印加した場合の1フレーム期間に蓄積される蓄積電荷量を模式的に示す図である。 図35A及び図35Bは、それぞれ、撮像素子に設けられた調光装置の動作を撮像素子に設けられた薄膜トランジスタ(TFT)によって制御する撮像素子の模式的な一部断面図、及び、等価回路図である。 図36A並びに図36Bは、それぞれ、図35Aに示した撮像素子に関して、4つの撮像素子のそれぞれを構成する調光装置、及び、その内の1つの調光装置を制御する薄膜トランジスタの配置を模式的に示す図、並びに、薄膜トランジスタ等の模式的な断面を示す概念図である。 図37は、Al23から成る誘電体材料層を有するナノカーボン膜積層構造体の光透過スペクトルを示すグラフである。 図38Aは、IGZOから成る誘電体材料層を有するナノカーボン膜積層構造体の光透過スペクトルを示すグラフであり、図38Bは、図38Aにおける印加電圧0ボルトのときの光透過スペクトルを基準とした場合のスペクトル比a(0ボルト/0ボルト)及びスペクトル比b(+20ボルト/0ボルト)を示すグラフである。 図39A、図39B、図39C及び図39Dは、グラフェンのバンド構造において、フェルミ準位Efの変動に基づく禁制帯の変動を模式的に示した図である。 図40は、フィルム状のグラフェン1層を一対の電極で挟み、印加電圧を変化させたときの赤外領域の光透過率変化を示す図である。
 以下、図面を参照して、実施例に基づき本開示を説明するが、本開示は実施例に限定されるものではなく、実施例における種々の数値や材料は例示である。尚、説明は、以下の順序で行う。
1.本開示の第1の態様~第2の態様に係る撮像装置及び画素信号読み出し方法、全般に関する説明
2.実施例1(本開示の第1の態様に係る撮像装置及び画素信号読み出し方法)
3.実施例2(実施例1の変形)
4.実施例3(本開示の第2の態様に係る撮像装置及び画素信号読み出し方法)
5.実施例4(実施例3の変形)
6.実施例5(実施例1~実施例4の変形。動き検出等)
7.実施例6(実施例1~実施例5の変形。符号化露光)
8.実施例7(実施例1~実施例6の変形。SVE処理)
9.実施例8(実施例1~実施例7の変形。第1の構成の調光装置)
10.実施例9(実施例1~実施例8の変形。第2の構成の調光装置)
11.実施例10(実施例9の変形)
12.実施例11(実施例1~実施例8の変形。第3の構成の調光装置)
13.実施例12(実施例1~実施例8の変形。第4の構成の調光装置)
14.実施例13(本開示の第1の態様~第2の態様に係る撮像装置の変形)
15.実施例14(実施例13の変形)
16.実施例15(実施例13~実施例14の変形)
17.実施例16(実施例13~実施例15の変形)
18.実施例17(実施例13~実施例16の変形)
19.その他
〈本開示の第1の態様~第2の態様に係る撮像装置及び画素信号読み出し方法、全般に関する説明〉
 本開示の第1の態様に係る撮像装置あるいは画素信号読み出し方法にあっては、画素信号読出し装置によって、直接、アナログ-デジタル変換器をランダムにオン/オフしてもよいし、アナログ-デジタル変換器と撮像素子との間にスイッチング素子を配し、画素信号読出し装置によってスイッチング素子をランダムに作動させ、撮像素子からの画素信号をアナログ-デジタル変換器に入力させる系統、及び、黒レベルに相当する画素信号を画素信号読出し装置からアナログ-デジタル変換器に入力させる系統の2つの系統への切替えをランダムに行ってもよい。同様に、本開示の第2の態様に係る撮像装置あるいは画素信号読み出し方法にあっては、画素信号読出し装置によって、直接、読出しアンプをランダムにオン/オフしてもよいし、読出しアンプと撮像素子との間にスイッチング素子を配し、画素信号読出し装置によってスイッチング素子をランダムに作動させ、撮像素子からの画素信号を読出しアンプに入力させる系統、及び、黒レベルに相当する画素信号を画素信号読出し装置から読出しアンプに入力させる系統の2つの系統への切替えをランダムに行ってもよい。画素信号読出し装置には、ランダム信号発生・送出回路が備えられている。ランダム信号発生・送出回路には、例えば、擬似ランダム信号発生回路が備えられている。また、画素信号読出し装置は、信号処理アルゴリズムに基づき制御される。
 本開示の第1の態様に係る撮像装置あるいは画素信号読み出し方法、本開示の第2の態様に係る撮像装置あるいは画素信号読み出し方法にあっては、
 第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
 K×L個の撮像素子によって、第1の方向にI個、第2の方向にJ個の撮像素子ユニットが構成されており、
 第(i,j)番目(但し、i=1,2・・・Iであり、j=1,2・・・Jである)の撮像素子ユニットは、第1の方向にKi個、第2の方向にLj個の撮像素子から構成されており、
 第(i,j)番目の撮像素子ユニットにおいて、Ki個のアナログ-デジタル変換器あるいは読出しアンプが配置されており、
 第(i,j)番目の撮像素子ユニットにおいて、画素信号読出し装置によって、アナログ-デジタル変換器あるいは読出しアンプがランダムに作動させられることで、(Ki×Lj)個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる形態とすることができる。尚、このような形態を、『本開示のA態様』と呼ぶ場合がある。
 具体的には、本開示のA態様にあっては、第(i,j)番目の撮像素子ユニットにおいて、アナログ-デジタル変換器あるいは読出しアンプは、第2の方向に沿って配列されたLj個の撮像素子から構成された撮像素子群のそれぞれに1つ配置されており、画素信号読出し装置によってアナログ-デジタル変換器あるいは読出しアンプがランダムに作動させられることで、第1の方向に配列されたKi個の撮像素子の内、Ki個未満(0個を含み、場合によっては、Ki個以下)の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる。そして、第2の方向に沿って、このような処理を、順次、繰り返す。こうして、1撮像フレームあるいは後述する1露光期間セグメントが完了する。尚、本開示のA態様にあっては、全ての撮像素子ユニットにおいて、同時に、同様の操作、処理が行われる。即ち、全ての撮像素子ユニットにおいて、同時に、同様に、画素信号読出し装置によってアナログ-デジタル変換器がランダムに作動させられ、撮像素子の画素信号読み出しが時間軸でランダムに行われる。
 あるいは又、本開示の第1の態様に係る撮像装置あるいは画素信号読み出し方法、本開示の第2の態様に係る撮像装置あるいは画素信号読み出し方法にあっては、
 第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
 アナログ-デジタル変換器あるいは読出しアンプは、第2の方向に沿って配列されたL個の撮像素子から構成された撮像素子群に1つ配置されており、
 画素信号読出し装置によってアナログ-デジタル変換器あるいは読出しアンプがランダムに作動させられることで、第1の方向に配列されたK個の撮像素子の内、K個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる形態とすることができる。尚、このような形態を、『本開示のB態様』と呼ぶ場合がある。
 具体的には、本開示のB態様において、画素信号読出し装置によってアナログ-デジタル変換器あるいは読出しアンプがランダムに作動させられることで、第1の方向に配列されたK個の撮像素子の内、K個未満(0個を含み、場合によっては、K個以下)の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる。そして、第2の方向に沿って、このような処理を、順次、繰り返す。こうして、1撮像フレームあるいは後述する1露光期間セグメントが完了する。
 あるいは又、本開示の第1の態様に係る撮像装置あるいは画素信号読み出し方法、本開示の第2の態様に係る撮像装置あるいは画素信号読み出し方法にあっては、
 第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
 アナログ-デジタル変換器あるいは読出しアンプは、1つの撮像素子に1つ配置されており、
 画素信号読出し装置によってアナログ-デジタル変換器あるいは読出しアンプがランダムに作動させられることで、K×L個の撮像素子の内、K×L個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる形態とすることができる。尚、このような形態を、『本開示のC態様』と呼ぶ場合がある。こうして、1撮像フレームあるいは後述する1露光期間セグメントが完了する。
 本開示のA態様、B態様、C態様にあっては、1撮像フレームにおいて、各撮像素子の露光期間は、1又は2以上の露光期間セグメントに分割され、分割された露光期間セグメントの積算時間は、全ての撮像素子において同じである構成とすることができる。分割された露光期間セグメントのそれぞれの時間長さはランダムである(即ち、一定ではない)。そして、その結果、撮像素子における飽和電荷量を有効活用することができる。
 あるいは又、本開示のA態様、B態様、C態様にあっては、1撮像フレームにおいて、各撮像素子の露光期間を2以上の露光期間セグメントに分割し、各露光期間セグメントにおいて、少なくとも1つの撮像素子が露光されるようにランダム露光を行い、読み出された画素信号の信号処理を行うことで、1撮像フレームを、あたかも、複数の撮像フレームに分割した状態を得ることができる。そして、この結果、撮像素子の駆動周波数を増加させること無く、撮像フレームレートを増加させることができる。
 あるいは又、本開示のA態様、B態様、C態様において、
 撮像素子は、受光素子(光電変換素子)、及び、受光素子の光入射側に配置された調光装置(調光素子)を備えており、
 調光装置は、第1ナノカーボン膜、第1中間層、誘電体材料層及び第2中間層が積層された調光層が、M層(但し、M≧1)、積層され、更に、第M番目の調光層を構成する第2中間層の上には第2ナノカーボン膜が形成されて成り、
 画素信号読出し装置の制御下、第1ナノカーボン膜及び第2ナノカーボン膜に電圧が印加されることで、撮像素子への光の入射が制御される構成とすることができる。尚、このような構成の調光装置を、便宜上、『第1の構成の調光装置』と呼ぶ。このような第1の構成の調光装置(調光素子)にあっては、第1ナノカーボン膜及び第2ナノカーボン膜を有する調光層が設けられており、第1ナノカーボン膜及び第2ナノカーボン膜に電圧が印加されるので、調光層の光透過率の制御を行うことができる。そして、このような構成にあっては、画素信号読出し装置の制御下、選択された撮像素子から画素信号読み出しが行われ、且つ、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われる構成とすることができる。ここで、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われるが、光入射開始から光入射完了までの時間長さを一定とする形態を採用することもできるし、光入射開始から光入射完了までの時間長さをランダムとする形態を採用することもできる。光入射開始から光入射完了までの時間長さをランダムとする場合、光入射開始の時刻をランダムとすることもできる。以下においても同様である。撮像素子への光入射開始及び光入射完了が時間的にランダムに行われることで、得られる画素信号の情報量が増加し、解像度の劣化を防止することができるし、一層の低消費電力化を達成することができる。更には、これらの構成にあっては、各撮像素子において、第1ナノカーボン膜及び第2ナノカーボン膜にパルス状の電圧がランダムに印加される構成とすることができるし、更には、第1ナノカーボン膜及び第2ナノカーボン膜へのパルス状の電圧の印加時間の積算値は一定である構成とすることができる。
 更には、以上に説明した各種の好ましい形態、構成を含む本開示の第1の態様に係る撮像装置あるいは画素信号読み出し方法、本開示の第2の態様に係る撮像装置あるいは画素信号読み出し方法にあっては、
 撮像装置は、被写体の動きを検出する動き検出回路を更に備えており、
 動き検出回路による被写体の動き検出の有無に基づき、画素信号読出し装置によってアナログ-デジタル変換器あるいは読出しアンプをランダムに作動させる状態を変える形態とすることができる。具体的には、動き検出回路によって被写体の動きが検出された場合、全てのアナログ-デジタル変換器あるいは読出しアンプを作動させるか、あるいは又、画像の圧縮処理を行わないか、あるいは又、画像の圧縮率(後述する)を低い状態とするといった形態を採用すればよい。
 ここで、動き検出のために、動き検出回路は、高周波検出フィルタを備えている構成とすることができる。そして、高周波を、フーリエ変換、ウェブレット(weblet)変換、離散コサイン変換等で検出する構成とすることができる。また、動き検出は、所定の周波数を閾値として、フーリエ変換、ウェブレット変換、離散コサイン変換等で検出したサンプリング周波数付近の高周波に対して行う構成とすることができる。
 更には、以上に説明した各種の好ましい形態、構成において、ハイダイナミックレンジ合成(High Dynamic Range imaging、HDR)方式、あるいは、SVE(Spatially Varying Exposure)方式を適用することもできる。HDR方式、SVE方式に関しては、例えば、国際公開WO2002/056604、特開2004-172858を参照のこと。
 更には、以上に説明した各種の好ましい形態、構成において、符号化露光(Coded Exposure)を適用することで、画像に暈けが生じることを防止することができる。符号化露光に関しては、例えば、特開2011-044891を参照のこと。
 アナログ-デジタル変換器は周知のアナログ-デジタル変換器とすることができ、具体的には、アナログ-デジタル変換器として、シングルスロープ型アナログ-デジタル変換器、逐次比較型アナログ-デジタル変換器、又は、デルタ-シグマ変調型(ΔΣ変調型)アナログ-デジタル変換器を挙げることができるし、また、アナログ-デジタル変換器は、グレイコードカウンタを備えていてもよい。但し、アナログ-デジタル変換器は、これらに限定するものではなく、フラッシュ型、ハーフ・フラッシュ型、サブレンシング型、パイプライン型、ビット・パー・ステージ型、マグニチュード・アンプ型等を挙げることもできる。読出しアンプは、周知の構成、構造を有する読出しアンプ(読出し回路)とすればよい。撮像素子における受光素子として、具体的には、フォトセンサ(フォトダイオード)を挙げることができ、受光素子によってCMOSイメージセンサやCCDイメージセンサが構成される。あるいは又、ボロメータ型の受光素子とすることもできる。撮像素子あるいは撮像装置、それ自体は、周知の構成、構造の撮像素子あるいは撮像装置とすることができる。撮像素子は、裏面照射型であってもよいし、表面照射型であってもよい。
 以上に説明した各種の好ましい形態、構成を含む本開示の第1の態様~第2の態様に係る撮像装置、以上に説明した各種の好ましい形態、構成を含む本開示の第1の態様~第2の態様に係る画素信号読み出し方法において使用される撮像装置(以下、これらの総称して、『本開示の撮像装置等』と呼ぶ)にあっては、読み出された画素信号を処理する画素信号処理装置を更に備えている形態とすることが好ましい。
 撮像素子に備えられた調光装置(調光素子)は、上述した第1の構成の調光装置に限定するものではない。例えば、
 撮像素子は、受光素子、及び、受光素子の光入射側に配置された調光装置を備えており、
 調光装置は、一対の電極、及び、一対の電極に挟まれた調光層を備えており、
 調光層は、第1誘電体材料層、第1中間層、第1導電型の不純物がドーピングされた、又は、不純物がドーピングされていない第1ナノカーボン膜、第1導電型とは導電型が異なる第2導電型の不純物がドーピングされた、又は、不純物がドーピングされていない第2ナノカーボン膜、第2中間層及び第2誘電体材料層の積層構造を有し、
 一対の電極に電圧が印加される構成の調光装置とすることもできる。尚、このような構成の調光装置を、便宜上、『第2の構成の調光装置』と呼ぶ。
 このような第2の構成の調光装置(調光素子)において、調光層は、第1誘電体材料層、第1導電型の不純物がドーピングされた、又は、不純物がドーピングされていない第1ナノカーボン膜、第2導電型の不純物がドーピングされた、又は、不純物がドーピングされていない第2ナノカーボン膜、及び、第2誘電体材料層の積層構造を有するので、一対の電極に電圧を印加したとき、印加された電圧の極性に応じて、第1ナノカーボン膜及び第2ナノカーボン膜のいずれか一方に正又は負の電荷が誘起され、他方に負又は正の電荷が誘起される。その結果、調光層を高い光透過率にて通過可能な光の波長帯域が決まる。即ち、調光層の光透過率の制御を行うことができる。ここで、第1ナノカーボン膜には第1導電型の不純物がドーピングされ、第2ナノカーボン膜には第2導電型の不純物がドーピングされていれば、第1ナノカーボン膜と第2ナノカーボン膜の界面にはPN接合が形成され、逆バイアス状態の電圧を一対の電極に印加すれば、第1ナノカーボン膜及び第2ナノカーボン膜のそれぞれに電荷が保持される。あるいは又、第1ナノカーボン膜及び/又は第2ナノカーボン膜に不純物がドーピングされていない場合であっても、適切な電圧を一対の電極に印加すれば、第1ナノカーボン膜及び第2ナノカーボン膜のそれぞれに電荷が保持される。
 そして、第2の構成の調光装置にあっては、画素信号読出し装置の制御下、選択された撮像素子から画素信号読み出しが行われ、且つ、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われる構成とすることができる。ここで、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われるが、光入射開始から光入射完了までの時間長さを一定とする形態を採用することもできるし、光入射開始から光入射完了までの時間長さをランダムとする形態を採用することもできる。更には、これらの構成にあっては、各撮像素子において、一対の電極にパルス状の電圧がランダムに印加される構成とすることができるし、更には、一対の電極へのパルス状の電圧の印加時間の積算値は一定である構成とすることができる。
 あるいは又、撮像素子は、受光素子、及び、受光素子の光入射側に配置された調光装置を備えており、
 調光装置は、一対の電極、及び、一対の電極に挟まれた調光層を備えており、
 調光層は、第1誘電体材料層、第1中間層、不純物がドーピングされた、又は、不純物がドーピングされていないナノカーボン膜、第2中間層、及び、第2誘電体材料層の積層構造を有し、
 一対の電極に印加される電圧と異なる電圧がナノカーボン膜に印加される構成の調光装置とすることもできる。尚、このような構成の調光装置を、便宜上、『第3の構成の調光装置』と呼ぶ。
 このような第3の構成の調光装置(調光素子)にあっては、調光層は、第1誘電体材料層、不純物がドーピングされた、又は、不純物がドーピングされていないナノカーボン膜、及び、第2誘電体材料層の積層構造を有し、一対の電極に印加される電圧と異なる電圧がナノカーボン膜に印加されるので、調光層の光透過率の制御を行うことができる。
 そして、第3の構成の調光装置にあっては、画素信号読出し装置の制御下、選択された撮像素子から画素信号読み出しが行われ、且つ、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われる構成とすることができる。ここで、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われるが、光入射開始から光入射完了までの時間長さを一定とする形態を採用することもできるし、光入射開始から光入射完了までの時間長さをランダムとする形態を採用することもできる。更には、これらの構成にあっては、各撮像素子において、一対の電極にパルス状の電圧がランダムに印加される構成とすることができるし、更には、一対の電極へのパルス状の電圧の印加時間の積算値は一定である構成とすることができる。
 あるいは又、撮像素子は、受光素子、及び、受光素子の光入射側に配置された調光装置を備えており、
 調光装置は、一対の電極、及び、一対の電極に挟まれたP層(但し、P≧1)の調光層が積層された積層構造体を備えており、
 第p番目の調光層(但し、1≦p≦P)は、第1誘電体材料層、第1中間層、n型の不純物がドーピングされた、又は、不純物がドーピングされていない第1ナノカーボン膜、第2中間層、第2誘電体材料層、第3中間層、p型の不純物がドーピングされた、又は、不純物がドーピングされていない第2ナノカーボン膜、及び、第4中間層の積層構造を有し、
 第P番目の調光層にあっては、更に、第4中間層の上に第3誘電体材料層が形成されており、
 第2ナノカーボン膜には、第1ナノカーボン膜と異なる電圧が印加される構成の調光装置とすることもできる。尚、このような構成の調光装置を、便宜上、『第4の構成の調光装置』と呼ぶ。
 このような第4の構成の調光装置(調光素子)にあっては、所定の構成を有するP層(但し、P≧1)の調光層が積層された積層構造体を備えており、第2ナノカーボン膜には、第1ナノカーボン膜と異なる電圧が印加されるので、調光層の光透過率の制御を行うことができる。
 そして、第4の構成の調光装置にあっては、画素信号読出し装置の制御下、選択された撮像素子から画素信号読み出しが行われ、且つ、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われる構成とすることができる。ここで、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われるが、光入射開始から光入射完了までの時間長さを一定とする形態を採用することもできるし、光入射開始から光入射完了までの時間長さをランダムとする形態を採用することもできる。更には、これらの構成にあっては、各撮像素子において、一対の電極にパルス状の電圧がランダムに印加される構成とすることができるし、更には、一対の電極へのパルス状の電圧の印加時間の積算値は一定である構成とすることができる。
 しかも、第2の構成~第4の構成の調光装置にあっては、一対の電極の間には電流が流れないので、低消費電力を達成することができる。
 加えて、第1の構成~第4の構成の調光装置にあっては、ナノカーボン膜と誘電体材料層との間に、平坦化層として機能し、また、反射防止層としても機能する中間層が形成されているので、ナノカーボン膜と誘電体材料層との間の平坦性の改善、密着性の改善、ナノカーボン膜と誘電体材料層との間での入射光の不要な反射発生の抑制を図ることができる。また、印加する電圧(所定の電圧V0)を適切に選択することで、波長λ0以上の波長の光に対する調光層の実効的な光透過率を制御することができ、例えば、波長λ0の値を青色(例えば,380nm)とし、所定の電圧V0を印加したときの波長λ0以上の波長の光(例えば、可視光以上の波長帯域を有する光)に対する光透過率が概ね100%となるように設定することで、所望の光透過率の値を正確に、しかも、容易に得ることができるし、所望の光透過率の値に設定することができる。更には、ナノカーボン膜は、光透過率に波長依存性が無く、また、光透過率の変化に要する時間が短い。
 第2の構成~第4の構成の調光装置を備えた撮像装置において、一対の電極は、調光装置を備えた撮像素子において共通である形態とすることができ、あるいは又、調光装置を備えた撮像素子において共通である一対の電極が、調光装置を備えていない撮像素子にも共通に設けられている形態とすることができる。
 また、第1の構成の調光装置にあっては、上述したとおり、第1ナノカーボン膜及び第2ナノカーボン膜に電圧が印加されることで、調光層における光透過率が制御される形態とすることができる。そして、このような形態を含む第1の構成の調光装置にあっては、Mが奇数の場合、奇数番目の第1ナノカーボン膜は、第1配線に接続され、偶数番目の第1ナノカーボン膜及び第2ナノカーボン膜は、第2配線に接続されており、Mが偶数の場合、奇数番目の第1ナノカーボン膜及び第2ナノカーボン膜は、第1配線に接続され、偶数番目の第1ナノカーボン膜は、第2配線に接続されている形態とすることができる。
 上記の好ましい形態を含む第2の構成の調光装置にあっては、一対の電極に電圧が印加されることで第1ナノカーボン膜及び/又は第2ナノカーボン膜に生じる電荷量が制御され、以て、調光層における光透過率が制御される形態とすることができる。
 更には、以上に説明した各種の好ましい形態を含む第2の構成の調光装置にあっては、
 N層の調光層、及び、(N+1)個の電極を備えており、
 N層の調光層、及び、(N+1)個の電極は、交互に積層されており、
 奇数番目の電極は第1配線に接続され、偶数番目の電極は第2配線に接続されている形態とすることができる。
 更には、以上に説明した各種の好ましい形態を含む第2の構成の調光装置において、
 第1導電型はn型であり、第2導電型はp型であり、
 第1ナノカーボン膜と第1誘電体材料層を介して対向する第1電極には、第2ナノカーボン膜と第2誘電体材料層を介して対向する第2電極よりも高い電圧が印加される形態とすることができる。即ち、このような形態を採用することによって、第1ナノカーボン膜には負の電荷が誘起され、第2ナノカーボン膜には正の電荷が誘起される。ここで、第1ナノカーボン膜にはn型の不純物がドーピングされ、第2ナノカーボン膜にはp型の不純物がドーピングされていれば、第1ナノカーボン膜と第2ナノカーボン膜の界面にはPN接合が形成され、逆バイアス状態の電圧を一対の電極に印加している間、第1ナノカーボン膜及び第2ナノカーボン膜のそれぞれに、電荷が保持される。そして、以上の結果として、調光層を高い光透過率にて通過可能な光の波長帯域が決定される。
 上記の好ましい形態を含む第3の構成の調光装置において、不純物はp型であり、ナノカーボン膜には、一対の電極に印加される電圧よりも高い電圧が印加される形態とすることができ、あるいは又、不純物はn型であり、ナノカーボン膜には、一対の電極に印加される電圧よりも低い電圧が印加される形態とすることができる。
 上記の好ましい形態を含む第4の構成の調光装置において、一対の電極には、第2ナノカーボン膜に印加される電圧以下の電圧であって、第1ナノカーボン膜に印加される電圧以上の電圧が印加される形態とすることができる。そして、このような形態を含む第4の構成の調光装置においては、第1ナノカーボン膜は第1配線に接続され、第2ナノカーボン膜は第2配線に接続されている形態とすることができる。
 以上に説明した各種の好ましい形態を含む第1の構成~第4の構成の調光装置において、第1ナノカーボン膜、第2ナノカーボン膜、ナノカーボン膜は、グラフェンから構成されている形態とすることができるが、これに限定するものではなく、カーボンナノチューブあるいはフラーレンから構成されている形態とすることもできる。グラフェンの厚さは原子1層分の厚さであるが故に、ナノカーボン膜をグラフェンから構成することで、調光装置の厚さを薄くすることができ、撮像素子あるいは撮像装置の低背化(薄型化)を達成することができる。
 以上に説明した各種の好ましい形態を含む第1の構成~第3の構成の調光装置において、第1中間層及び第2中間層を構成する材料は、あるいは又、以上に説明した各種の好ましい形態を含む第4の構成の調光装置において、第1中間層、第2中間層、第3中間層及び第4中間層を構成する材料は、二酸化チタン、チッ化チタン、酸化クロム、アモルファスシリコン、フッ化マグネシウム、窒化珪素及び酸化ケイ素から成る群から選択された少なくとも1種類の材料である形態とすることができる。
 以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等において、受光素子の光入射側にはカラーフィルター層が配置されている形態とすることができ、更には、この場合、調光装置を備えた撮像素子において、カラーフィルター層は、調光装置の光入射側に配置されている形態とすることができる。
 更には、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等において、撮像素子は、更に、遮光膜を有している形態とすることができる。
 更には、以上に説明した各種の好ましい形態を含む本開示の撮像装置等において、
 調光装置は、行単位に配列された撮像素子に備えられており、又は、
 調光装置は、列単位に配列された撮像素子に備えられており、又は、
 調光装置は、全ての撮像素子に備えられている形態とすることができる。
 更には、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等にあっては、ランダムパルス電圧を発生させ、発生させたランダムパルス電圧を調光装置を備えた撮像素子に送出するランダムパルス電圧発生・送出装置を有する構成とすることができる。尚、このような構成を、便宜上、『ランダム露光』と呼ぶ場合がある。そして、この場合、調光装置を備えた複数の撮像素子に対して、ランダムパルス電圧発生・送出装置が1つ配されている構成とすることができるし、調光装置を備えた1つの撮像素子に対して、ランダムパルス電圧発生・送出装置が1つ配されている構成とすることができる。また、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等にあっては、ランダムパルス電圧は正負の極性を有する形態とすることができる。ランダムパルス電圧発生・送出装置の動作は、画素信号読出し装置によって制御すればよい。即ち、画素信号読出し装置によってアナログ-デジタル変換器あるいは読出しアンプをランダムに作動させるとき、併せて、このアナログ-デジタル変換器あるいは読出しアンプに接続された撮像素子に対して、ランダムパルス電圧発生・送出装置はランダムパルス電圧を送出すればよい。
 あるいは又、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等にあっては、調光装置を備えた撮像素子によって得られた出力信号に基づき算出されたパルス電圧が印加される構成とすることができる。尚、このような構成も、便宜上、『ランダム露光』と呼ぶ場合がある。パルス電圧の印加は、画素信号読出し装置によって制御すればよい。
 更には、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等にあっては、調光装置を備えた撮像素子からの画像出力信号が空間的及び時間的に間引かれることによって画像出力信号が圧縮される。
 更には、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等にあっては、
 2次元マトリクス状に配列された撮像素子は、第1半導体チップに設けられており、
 画素信号読出し装置(場合によっては、更に、ランダムパルス電圧を発生させ、発生させたランダムパルス電圧を調光装置を備えた撮像素子に送出するランダムパルス電圧発生・送出装置)が、第2半導体チップに設けられており、
 第1半導体チップと第2半導体チップは積層されており、
 画素信号読出し装置とアナログ-デジタル変換器あるいは読出しアンプとは(場合によっては、更に、調光装置とランダムパルス電圧発生・送出装置とは)、スルー・シリコン・ビア(TSV)を介して接続されている形態とすることができるし、あるいは又、バンプを介して接続されている形態(所謂チップ・オン・チップ方式に基づく形態)とすることができる。尚、このような形態にあっては、撮像素子を裏面照射型することができるが、これに限定するものではなく、表面照射型とすることもできる。
 更には、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等にあっては、
 ランダムパルス電圧を発生させ、発生させたランダムパルス電圧を調光装置を備えた撮像素子に送出するランダムパルス電圧発生・送出装置が備えられており、
 調光装置とランダムパルス電圧発生・送出装置とは、ナノカーボン膜又は透明導電材料層から成る接続配線で接続されている形態とすることができる。
 更には、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等にあっては、
 撮像素子は、第1の方向及び第2の方向に2次元マトリクス状に配列されており、
 第1ナノカーボン膜は、第1の方向に延び、第1の方向に配列された撮像素子において共通であり、
 第2ナノカーボン膜は、第2の方向に延び、第2の方向に配列された撮像素子において共通であり、
 第1ナノカーボン膜には正極性のランダムパルス電圧が印加されると共に、第2ナノカーボン膜には負極性のランダムパルス電圧が印加される形態とすることができる。そして、この場合、第1の方向に延びる第1ナノカーボン膜の端部は櫛形電極状にパターニングされており、第2の方向に延びる第2ナノカーボン膜の端部は櫛形電極状にパターニングされている形態とすることができる。
 あるいは又、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等にあっては、各撮像素子に設けられた調光装置の動作を、各撮像素子に設けられた薄膜トランジスタ(TFT)によって制御してもよい。薄膜トランジスタを、例えば、撮像素子と撮像素子との間の遮光膜の上に設けることで、画素の開口率を犠牲にすること無く、比較的簡易なプロセスで作製することができる。
 第2の構成~第4の構成の調光装置における一対の電極は、ナノカーボン膜から構成されていてもよいし、透明導電材料層から構成されていてもよいし、一対の電極の一方がナノカーボン膜から構成され、他方が透明導電材料層から構成されていてもよい。透明導電材料層を構成する材料として、ITO(インジウム-スズ複合酸化物,Indium Tin Oxide,SnドープのIn23、結晶性ITO及びアモルファスITOを含む)、IZO(インジウム-亜鉛複合酸化物、Indium Zinc Oxide)、AZO(酸化アルミニウム・ドープの酸化亜鉛)、GZO(ガリウム・ドープの酸化亜鉛)、AlMgZnO(酸化アルミニウム及び酸化マグネシウム・ドープの酸化亜鉛)、インジウム-ガリウム複合酸化物(IGO)、In-GaZnO4(IGZO)、IFO(FドープのIn23)、アンチモンドープSnO2(ATO)、FTO(FドープのSnO2)、酸化錫(SnO2)、酸化亜鉛(ZnO)、BドープのZnO、InSnZnO、又は、ITiO(TiドープのIn23)を例示することができる。第1配線、第2配線、接続配線を構成する材料も同様とすることができる。
 第1誘電体材料層、第2誘電体材料層及び第3誘電体材料層は、第1の構成~第4の構成の調光装置に入射する光に対して透明な材料から構成する必要がある。第1誘電体材料層、第2誘電体材料層及び第3誘電体材料層を構成する絶縁材料として、周知の絶縁材料、例えば、SiO2、NSG(ノンドープ・シリケート・ガラス)、BPSG(ホウ素・リン・シリケート・ガラス)、PSG、BSG、AsSG、PbSG、SbSG、SOG(スピンオングラス)、SiOC、SiOF等のSiO2系材料;SiON、SiCNを含むSiN系材料;酸化アルミニウム(Al23)、酸化チタン(TiO2)、ZnO、酸化インジウム(In23)、酸化錫(SnO2)、酸化ガリウム(Ga23)、酸化テルル(TeO2)、酸化ゲルマニウム(GeO2)、酸化カドミウム(CdO)、酸化タングステン(WO3)、酸化モリブデン(MoO3)等の金属酸化物;金属窒化物;金属酸窒化物等を挙げることができ、これらを、単独あるいは適宜組み合わせて使用することができる。第1誘電体材料層、第2誘電体材料層、第3誘電体材料層の形成方法として、各種CVD法、塗布法、スパッタリング法や真空蒸着法を含む各種PVD法、スクリーン印刷法といった各種印刷法、ゾル-ゲル法等の公知の方法を挙げることができる。
 あるいは又、第2の構成の調光装置において、第1誘電体材料層及び第2誘電体材料層は、一対の電極に電圧が印加されたとき、絶縁破壊が生じることなく、第1ナノカーボン膜及び第2ナノカーボン膜に電荷を誘起することができる分極電荷の電荷密度が高い材料を用いることが好ましい。電圧印加によってナノカーボン膜に蓄積される電荷量を多くするために、第1誘電体材料層及び第2誘電体材料層を構成する誘電体材料として、比誘電率が大きい誘電体材料(常誘電体材料あるいは強誘電体材料)、例えば、比誘電率が2.0以上の誘電体材料、好ましくは比誘電率が4.0以上の誘電体材料、より好ましくは比誘電率が8.0以上の誘電体材料を用いることが望ましい。第1誘電体材料層及び第2誘電体材料層を構成する誘電体材料として、自発分極を有する強誘電体材料を用いることもできる。あるいは又、ポリフッ化ビニリデン(PVDF)(比誘電率:約10)、HDPE(High Density Polyethylene)、アモルファスフッ素樹脂等の有機物、イオン液体、液晶等を挙げることもできる。一般に、無機酸化物は、高い誘電性と絶縁性とを有する一方で、遠赤外線領域の透過性は低い。遠赤外線領域の光透過率制御を行う場合には、第1誘電体材料層及び第2誘電体材料層を構成する誘電体材料として、例えば、遠赤外線領域の透過性が高いCaF2等を用いることが好ましい。また、誘電体材料として、メタマテリアルを用いることも可能である。各種誘電体材料の比誘電率等を以下の表1に示す。尚、以上の説明は、第1の構成、第3の構成~第4の構成の調光装置に対しても適用することができる。
[表1]
誘電体材料   比誘電率    絶縁耐圧(MV/cm) 電荷密度(μC/cm2
SiO2       4      10           3.5
Al23      8.2     8.2         6.0
h-BN      4      20           7.1
HfO2      18.5     7.4        12.0
ZrO2      29       6          15.4
ZnO       7.9
TiO2       8.5
IGZO      9
SiN       7      40           2.5
GaN       9.5
STO     140~200   2          24.8~35.4
BTO     200       0.4         7.1
PZT     700       0.5        30.9
PTO     100~200   0.675       6.1~11.9
PLZT    200       3          53.1
CaF2       6.6     0.3         0.17
HDPE      2.3
 ここで、「h-BN」は六方晶窒化ホウ素、「STO」はチタン酸ストロンチウム(SrTiO3)、「BTO」はチタン酸バリウム、「PZT」はチタン酸ジルコン酸鉛、「PTO」はチタン酸鉛、「PLZT」はチタン酸ジルコン酸ランタン鉛((Pb,La)(Zr,Tr)O3)を示す。
 ナノカーボン膜1層当たりの光透過率は約97.7%(光吸収率は約2.3%)であるので、光透過率を大きく低下させるためには複数の調光層を有する調光装置を用いればよい。例えば、60層のナノカーボン膜が積層された調光装置にあっては、全体として、光透過率を0.97760=約25%にまで下げることができる。
 ナノカーボン膜に第1導電型や第2導電型の不純物をドーピングするためには、例えば、化学ドーピングを行えばよい。化学ドーピングを行うためには、具体的には、ナノカーボン膜上にドーパント層を形成すればよい。ドーパント層は、電子受容型(p型)のドーパント層とすることができるし、あるいは又、電子供与型(n型)のドーパント層とすることができる。電子受容型(p型)のドーパント層を構成する材料として、AuCl3、HAuCl4、PtCl4等の塩化物;HNO3、H2SO4、HCl、ニトロメタン等の酸;ホウ素やアルミニウムといったIII族元素;酸素等の電子吸引性分子を挙げることができるし、電子供与型(n型)のドーパント層を構成する材料として、窒素やリンといったV族元素の他に、ピリジン系化合物、窒化物、アルカリ金属類、アルキル基を有する芳香族化合物等の電子供与性分子を挙げることができる。
 必要に応じて、光透過率を制御すべき波長の光が調光層の内部で多重反射するように、誘電体材料層の厚さを調節してもよい。こうすることにより、調光層の透明時の光透過率を100%に近づけることができる。
 また、必要に応じて、ナノカーボン膜上あるいは上方に、金属ナノ粒子や金属ナノワイヤを形成し、これらの表面プラズモン・ポラリトン現象を利用することにより、ナノカーボン膜1層当たりの光透過率を、例えば97.7%よりも低くすることができる。
 上述したとおり、ナノカーボン膜をグラフェンから構成することができるが、グラフェン(graphene)とは、1原子の厚さのsp2結合炭素原子のシート状物質を指し、炭素原子とその結合から作製された蜂の巣のような六角形格子構造を有する。そして、このような特性のグラフェンを、撮像素子や撮像装置、調光装置、シャッター装置といった電子デバイスに応用する利点として、調光層1層当たりの透明時の光透過率がほぼ100%と高いこと、調光層1層当たりのシート抵抗値が1kΩ/□と低いこと、膜厚が0.3nmと薄いことを挙げることができる。
 また、グラフェンは、上述したとおり、電圧の印加により光透過率が変化するという特徴を有する。図39A、図39B、図39C、図39Dに、グラフェンのバンド構造において、フェルミ準位Efの変動に基づく禁制帯の変動を模式的に示す。
 図39Aに示すように、グラフェンは、通常の半導体とは異なり、ディラックポイントDpを対称点として、価電子帯と伝導帯が線形の分散関係を有するゼロギャップ半導体である。通常、フェルミ準位Efは、ディラックポイントDpに存在するが、電圧の印加やドーピング処理によってシフトさせることができる。
 例えば、図39Bに示すように、電圧の印加やドーピング処理によってフェルミ準位Efを移動させた場合、例えば矢印Eaで示すように、2|ΔEf|よりも大きいエネルギーの光学遷移は可能である。一方、矢印Ebで示すように、2|ΔEf|以下のエネルギーの光学遷移は禁制にできる。即ち、2|ΔEf|以下のエネルギーを有する光に対してグラフェンは透明である。このように、グラフェンでは、フェルミ準位Efをシフトさせることで、所望の波長(周波数)の光に対する光透過率を変える(制御する)ことができる。図39Cに示すように、グラフェンにn型の不純物をドーピングした場合、フェルミ準位Efを、ディラックポイントDpから伝導帯側にシフトさせることができる。一方、図39Dに示すように、グラフェンにp型の不純物をドーピングした場合、フェルミ順位Efを、ディラックポイントDpから価電子帯側にシフトさせることができる。
 また、グラフェンに電圧を印加すると赤外領域の光透過率が変化することがChenらによって報告されている(Nature 471, 617-620 (2011))。図40に、この報告における実験結果を示す。図40には、フィルム状のグラフェン1層を一対の電極で挟み、印加電圧を変化させたときの赤外領域の光透過率変化が示されており、横軸は波長(nm)、縦軸は光透過率(%)である。
 図40に示すように、印加電圧を、0.25eVから4eVの範囲で変化させている。また、グラフの縦軸は、下が光透過率100%、上が光透過率97.6%(グラフェン1層が吸収する量)である。図40によれば、測定した全波長領域において、印加電圧を高い方向に変化させると、波長が短い領域に比べて、長い領域の方が光透過率は100%に近づくことが判る。更に、印加電圧が高い程、光透過率が100%に近づく領域が短波長側に拡大していることから、印加電圧によって光透過率を変調(制御)可能な光の波長領域を短波長側に拡大できることが判る。以上の結果は原子1層における結果であるが、このように、印加電圧の大小により、近赤外領域から赤外領域、テラヘルツ領域まで、光透過率を波長に応じて変化させることができる。
 また、これらの特性は、グラフェンのみならず、カーボンナノチューブやフラーレン等の他のナノカーボン材料にも共通している。
 以下、実施例に基づき、本開示の第1の態様~第2の態様に係る撮像装置及び画素信号読み出し方法を説明するが、各実施例は、以下の構成を有する。
実施例1 :本開示の第1の態様に係る撮像装置及び画素信号読み出し方法
      本開示のA態様
      露光期間セグメントの時間長さ:一定
実施例2 :実施例1の変形/スイッチング素子の配設
実施例3 :本開示の第2の態様に係る撮像装置及び画素信号読み出し方法
      本開示のA態様
実施例4 :実施例3の変形/スイッチング素子の配設
      本開示のB態様/本開示のC態様
実施例5 :実施例1~実施例4の変形/動き検出
実施例6 :実施例1~実施例5の変形/符号化露光
実施例7 :実施例1~実施例6の変形/HDR/SVE処理
実施例8 :実施例1~実施例7の変形/第1の構成の調光装置
      露光期間セグメントの時間長さ:一定
実施例9 :実施例1~実施例8の変形/第2の構成の調光装置
      露光期間セグメントの時間長さ:一定
実施例10:実施例9の変形
実施例11:実施例1~実施例8の変形/第3の構成の調光装置
      露光期間セグメントの時間長さ:一定
実施例12:実施例1~実施例8の変形/第4の構成の調光装置
      露光期間セグメントの時間長さ:一定
実施例13:実施例8~実施例12を適用した本開示の第1の態様~第2の態様に係る撮      像装置
      露光期間セグメントの時間長さ:ランダム
      ナノカーボン膜制御第1信号線とナノカーボン膜制御第2信号線はアンド回      路を構成
実施例14:実施例13の変形
      撮像素子のそれぞれにランダムパルス電圧を印加
実施例15:実施例13~実施例14の変形
      撮像素子内部に本来存在するランダムな情報を用いてランダムパルス電圧を      生成
実施例16:実施例13~実施例15の変形
      赤外線を受光する撮像素子の配設
実施例17:実施例13~実施例16の変形
      デューティ比の制御
 実施例1は、本開示の第1の態様に係る撮像装置及び画素信号読み出し方法に関し、具体的には、本開示のA態様に関する。実施例1の撮像装置の概念図を図1Aに示し、1つの撮像素子ユニット等の概念図を図1Bに示す。
 実施例1の撮像装置は、
 第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子12、
 画素信号読出し装置(画素信号読出し回路)16、及び、
 アナログ-デジタル変換器13(131,132・・・138)、
を備えている。そして、画素信号読出し装置16によってアナログ-デジタル変換器13(131,132・・・138)がランダムに作動させられることで、撮像素子12の画素信号読み出しが時間軸でランダムに行われる。あるいは又、実施例1の画素信号読み出し方法は、
 第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子12、
 画素信号読出し装置16、及び、
 アナログ-デジタル変換器13(131,132・・・138)、
を備えた撮像装置における画素信号読み出し方法であって、
 画素信号読出し装置16によってアナログ-デジタル変換器13(131,132・・・138)をランダムに作動させることで、撮像素子12の画素信号読み出しを時間軸でランダムに行う。
 具体的には、実施例1の撮像装置は、上記のとおり、本開示のA態様に係る撮像装置であり、
 第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子12が配列されており、
 K×L個の撮像素子12によって、第1の方向にI個、第2の方向にJ個の撮像素子ユニット11が構成されており、
 第(i,j)番目(但し、i=1,2・・・Iであり、j=1,2・・・Jである)の撮像素子ユニット11i,jは、第1の方向にKi個、第2の方向にLj個の撮像素子12から構成されており、
 第(i,j)番目の撮像素子ユニット11i,jにおいて、Ki個のアナログ-デジタル変換器(あるいは後述する読出しアンプ)が配置されており、
 第(i,j)番目の撮像素子ユニット11i,jにおいて、画素信号読出し装置16によって、アナログ-デジタル変換器(あるいは後述する読出しアンプ)がランダムに作動させられることで、(Ki×Lj)個未満の撮像素子12がランダムに選択され、選択された撮像素子12から画素信号読み出しが行われる。
 ここで、アナログ-デジタル変換器(以下、『AD変換器』と呼ぶ場合がある)は、周知のシングルスロープ型アナログ-デジタル変換器から成る。また、AD変換器13をランダムに作動させる画素信号読出し装置16は、ランダムにAD変換器13(あるいは後述する読出しアンプ)を作動させる信号を発生させることのできるランダム信号発生・送出回路を備えている。ランダム信号発生・送出回路には、例えば、擬似ランダム信号発生回路が備えられている。シングルスロープ型AD変換器については、実施例13において説明する。
 図1Bに示した例では、Ki=8,Lj=8である。但し、Ki,Ljの値はこれらの値に限定するものではない。ここで、AD変換器131,132・・・138は、第2の方向に沿って配列されたLj個(図1Bに示した例では8個)の撮像素子12から構成された撮像素子群に1つ配置されている。そして、画素信号読出し装置16によってAD変換器131,132・・・138がランダムに作動させられることで、第1の方向に配列されたKi個の撮像素子12の内、Ki個未満の撮像素子12がランダムに選択され、選択された撮像素子12から画素信号読み出しが行われる。
 実施例1にあっては、1撮像フレームにおいて、各撮像素子12の露光期間は、例えば、8つの露光期間セグメントに分割されている。露光期間セグメントの露光期間は同一である。
 場合によっては、ランダム信号発生・送出回路を各AD変換器13で代用することも可能である。即ち、AD変換器13の制御ロジック部でAD変換器をランダムに作動させるためのランダム信号を発生させてもよい。また、ランダム信号発生・送出回路を、各撮像素子に設けられた種々のトランジスタで代用することも可能である。即ち、各撮像素子に設けられた種々のトランジスタから発生するノイズに基づき、AD変換器13をランダムに作動させるためのランダム信号を発生させてもよい。以下に説明する実施例においても同様とすることができる。
 図2Aに示すように、第1番目の露光期間セグメントにおいては、撮像素子ユニット11i,jの第1行目に位置する撮像素子12(1,1),12(1,2)・・・12(1,8)において、画素信号読出し装置16によってAD変換器136が作動させられ(オン状態となり)、残りのAD変換器13は作動させられない(オフ状態あるいはスタンバイ状態のままである)。以下においても同様である。AD変換器13の作動は、上述したとおり、ランダムである。以下においても同様である。そして、撮像素子12(1,6)の画素信号読み出しが行われる。読み出し後、AD変換器13はオフ状態あるいはスタンバイ状態となる。以下においても同様である。次に、撮像素子ユニット11i,jの第2行目に位置する撮像素子12(2,1),12(2,2)・・・12(2,8)において、画素信号読出し装置16によってAD変換器132が作動させられる。そして、撮像素子12(2,2)の画素信号読み出しが行われる。次に、撮像素子ユニット11i,jの第3行目に位置する撮像素子12(3,1),12(3,2)・・・12(3,8)において、画素信号読出し装置16によってAD変換器135が作動させられる。そして、撮像素子12(3,5)の画素信号読み出しが行われる。次に、撮像素子ユニット11i,jの第4行目に位置する撮像素子12(4,1),12(4,2)・・・12(4,8)において、画素信号読出し装置16によってAD変換器133,AD変換器137が作動させられる。そして、撮像素子12(4,3),(4,7)の画素信号読み出しが行われる。次に、撮像素子ユニット11i,jの第5行目に位置する撮像素子12(5,1),12(5,2)・・・12(5,8)において、画素信号読出し装置16によってAD変換器134が作動させられる。そして、撮像素子12(5,4)の画素信号読み出しが行われる。次に、撮像素子ユニット11i,jの第6行目に位置する撮像素子12(6,1),12(6,2)・・・12(6,8)において、画素信号読出し装置16によってAD変換器136が作動させられる。そして、撮像素子12(6,6)の画素信号読み出しが行われる。次に、撮像素子ユニット11i,jの第7行目に位置する撮像素子12(7,1),12(7,2)・・・12(7,8)において、画素信号読出し装置16によってAD変換器132が作動させられる。そして、撮像素子12(7,2)の画素信号読み出しが行われる。次に、撮像素子ユニット11i,jの第8行目に位置する撮像素子12(8,1),12(8,2)・・・12(8,8)において、画素信号読出し装置16によってAD変換器134,AD変換器138が作動させられる。そして、撮像素子12(8,4),12(8,8)の画素信号読み出しが行われる。以上によって、第1番目の露光期間セグメントにおける64個の撮像素子12の画素信号読み出しが完了する。
 次いで、第2番目の露光期間セグメントにおいては、撮像素子ユニット11i,jの第1行目に位置する撮像素子12(1,1),12(1,2)・・・12(1,8)において、画素信号読出し装置16によってAD変換器134,AD変換器136が作動させられる。そして、撮像素子12(1,4),12(1,6)の画素信号読み出しが行われる。次に、撮像素子ユニット11i,jの第2行目に位置する撮像素子12(2,1),12(2,2)・・・12(2,8)において、画素信号読出し装置16によっては全てのAD変換器13が作動させられない。次に、撮像素子ユニット11i,jの第3行目に位置する撮像素子12(3,1),12(3,2)・・・12(3,8)において、画素信号読出し装置16によって全てのAD変換器13が作動させられない。次に、撮像素子ユニット11i,jの第4行目に位置する撮像素子12(4,1),12(4,2)・・・12(4,8)において、画素信号読出し装置16によってAD変換器135が作動させられる。そして、撮像素子12(4,5)の画素信号読み出しが行われる。次に、撮像素子ユニット11i,jの第5行目に位置する撮像素子12(5,1),12(5,2)・・・12(5,8)において、画素信号読出し装置16によってAD変換器132,134が作動させられる。そして、撮像素子12(5,2),12(5,4)の画素信号読み出しが行われる。次に、撮像素子ユニット11i,jの第6行目に位置する撮像素子12(6,1),12(6,2)・・・12(6,8)において、画素信号読出し装置16によって全てのAD変換器13が作動させられない。次に、撮像素子ユニット11i,jの第7行目に位置する撮像素子12(7,1),12(7,2)・・・12(7,8)において、画素信号読出し装置16によってAD変換器132,AD変換器137が作動させられる。そして、撮像素子12(7,2),12(7,7)の画素信号読み出しが行われる。次に、撮像素子ユニット11i,jの第8行目に位置する撮像素子12(8,1),12(8,2)・・・12(8,8)において、画素信号読出し装置16によってAD変換器131が作動させられる。そして、撮像素子12(8,1)の画素信号読み出しが行われる。以上によって、第2番目の露光期間セグメントにおける64個の撮像素子12の画素信号読み出しが完了する。
 以上のようなAD変換器13のランダムな作動に基づく撮像素子12の画素信号読み出しを、第3番目の露光期間セグメントから第8番目の露光期間セグメントまで、順次、行う。これらの画素信号は、時間軸でランダム性を有する。即ち、各撮像素子12において、画素信号読み出しが、時間軸で(云い換えれば、1撮像フレーム内に、第1番目の露光期間セグメントから第8番目の露光期間セグメントまで、合計、8回の露光期間セグメントにおいて)、ランダムに行われる。こうして、8つの露光期間セグメントにおいて、8×8の撮像素子12における画素信号を得ることができる。しかも、作動するAD変換器13は、一部のAD変換器13であり、AD変換器全体としての消費電力の削減を図ることができる。また、複数の露光期間セグメントとすることによって、撮像素子が飽和電荷量に達し難くなり、ダイナミックレンジの拡大を図ることができる。
 尚、各AD変換器131,132・・・138によってデジタル変換された画素信号のそれぞれは、メモリ171,172・・・178に、一旦、記憶される。即ち、8個のメモリ171,172・・・178のそれぞれには、第2の方向に沿って配列された撮像素子12からの8つの画素信号(第1番目の露光期間セグメントから第8番目の露光期間セグメントにおける画素信号)が加算されて、記憶される。そして、最終的には、8個のメモリ171,172・・・178のそれぞれにおいて記憶された画素信号が画像データとして、後述する水平転送回路33を介して外部に出力される。ここで、このような形態にあっては、64個の撮像素子12における画素信号が8個のメモリに記憶されるので、画像の圧縮率は(1/8)である。第1番目の露光期間セグメントから第8番目の露光期間セグメントにおける画素信号をどのようにして加算するかで、画像の圧縮率が決定される。例えば、各AD変換器131,132・・・138によってデジタル変換された画素信号のそれぞれを4個のメモリ17のそれぞれにおいて記憶し、画像データとして外部に出力する場合、画像の圧縮率は(1/16)であるし、16個のメモリ17のそれぞれにおいて記憶し、画像データとして外部に出力する場合、画像の圧縮率は(1/4)である。尚、図2A及び図2Bにあっては、メモリ17の図示は省略した。
 以上に説明した撮像素子ユニット11i,jにおいて、AD変換器13を経由してメモリ171,172・・・178に、一旦、記憶される画素信号の状態を模式的に図3に示す。尚、図3において、例えば、(1,1)は、撮像素子12(1,1)を表し、その下に示す細い線分は、撮像素子における画素信号読み出し状態であって、画素信号が読み出されていない状態(あるいは、1露光期間セグメント内において,撮像素子が作動すべき時間長さ)を示し、太い線分(例えば、撮像素子12(1,6)の下の太い線分)は、撮像素子における画素信号読み出し状態であって、画素信号が読み出されている状態を示す。
 ところで、通常、撮像装置(イメージングデバイス)によって得られる画像を圧縮して通信することにより、通信時の電力消費量を低減させている。これまで、画像圧縮信号処理については、幾つかの提案がなされている。例えば、特開2003-234967では、アナログ-デジタル変換器(AD変換器)からの信号を離散コサイン変換することで画像を圧縮する技術が提案されている。しかしながら、圧縮時の離散コサイン変換では、画像を復元するときに画質劣化が生じることも問題である。特開2006-025270で提案されているウェブレット変換も、画像復元時に画質が劣化する懸念があるし、画像圧縮回路の部分の面積が増加するといった問題や、消費電力が増加するといった問題もある。
 一般的な画像圧縮技術では、離散コサイン変換(DCT)技術が用いられている。このDCT技術は、圧縮効率が良いため、古くから用いられており、今日の画像符号化技術の主流になっている。しかしながら、DCT技術では、 画像を任意の変換ブロックに分割し、 ブロック毎に量子化・符号化等の処理が行われるため、圧縮率を上げるにつれてブロック歪みやモスキート雑音等の雑音が復元画像に混入し、画質の劣化が生じてしまう。そこで、これらの雑音が混入し難い符号化方式として、フィルタバンク符号化が注目されている。フィルタバンク符号化として、サブバンド符号化や、ウェブレット変換符号化を挙げることができる。サブバンド符号化は、ローパスフィルタ及びハイパスフィルタによって信号を帯域制限し、その出力信号全体を更にフィルタリングする方法である。ウェブレット変換符号化は、ローパスフィルタ及びハイパスフィルタによって信号を帯域制限し、情報量の多い低周波数帯域のみを階層的にフィルタリングする方法である。これらの符号化は、フィルタバンクやデシメーション・インタポレーションといった技術を用いて実現される。ウェブレット変換符号化を採用した国際標準規格としてJPEG2000や、Motion-JPEG2000があり、変換符号化にはウェブレット変換が採用され、高い圧縮性能を実現している。上記の国際標準規格では、変換符号化にDCT技術やウェブレット変換を用いており、これらの変換は、変換前及び変換後の座標系がそれぞれ直交していることから、直交変換と呼ばれている。直交変換による画像圧縮によって、画像を低ビットレートで伝送・蓄積が可能である。
 また、液晶表示装置やプラズマ表示装置等の表示装置の大画面化に伴い、蓄積された画像データを再利用する際の様々な問題が指摘されている。画像圧縮において最も考慮される点が圧縮率であるため、圧縮効率を改善すべく様々な研究が行われてきており、DCT技術における圧縮率に比べて、フィルタバンク符号化における圧縮率の方が高い。しかしながら、一般に、フィルタバンク符号化技術は、DCT技術に比べて、処理速度の点で劣る。
 ところで、DCT技術、ウェブレット変換のいずれも直交基底を使用するものであり、画像復元時の画質劣化が問題である。ウェブレット変換、離散コサイン変換を撮像装置内で行う場合、アナログ-デジタル(AD)変換後のデータをウェブレット変換や離散コサイン変換を行うための処理回路を通すことによって、これらの変換技術を利用したデータ圧縮を行う。
 実施例1にあっては、撮像素子の画素信号読み出しが時間軸でランダムに行われるが故に、非特許文献1に記載されたデータ圧縮であるスパース・コーディングに基づくデータ圧縮技術をAD変換器までで実現することができるし、圧縮画像復元時の画質の劣化といった問題をスパース・コーディングといったコンプレッシブセンシングの信号処理技術により解決することができる。即ち、動画を3次元のデータとして捉え、信号処理アルゴリズムとしてのスパース・コーディングといった信号処理手法を応用して動画を圧縮し、撮像素子からの出力データを低減させ、3次元の立方格子が間引かれた形態のデータを辞書を用いて得られた基底を使用して復元する。具体的には、得られた画素信号を行列「MI」、画素毎のシャッターファンクション(shutter function,AD変換器をランダムに作動させるための信号が該当する)を行列「MS」、空間-時間ボリュームを行列「ME」としたとき、これらの行列は、
MI=MM
といった関係にある。尚、上付き文字「M」は、次に続くアルファベットが行列(又は、ベクトル)であることを示す。ここで、行列「MI」は、得られた画素信号であるが故に既知の行列であり、行列「ME」は未知の行列である。また、最適な基底を得るための辞書を「MD」、辞書を用いて得られた基底(スパースベクトル)を「Mα」とすると、
ME=MMα
と変換できるので、
MI=MMMα
より、「Mα」を非特許文献1に基づき求めることができ、その結果「ME」を求めることができ、画像の再生を行うことができる。画像の再生は、外部(チップ外)で行われる。
 シャッターファンクションMSを得るための処理を通常の撮像素子で行うことを試みた場合、AD変換器や読出しアンプをランダムに作動させたり、AD変換器への入力をランダムにオン/オフする等の制御を行うことになるが、撮像素子の配置と異なる順序でデータが読み出されてしまう。撮像素子の配置と一致した順序に並んだデータを得るためには、
(1)画像データをランダムに読み出した後、撮像素子外で並べ替え処理を行う(具体的にはフレームメモリ等を用いて画像データの並べ替え処理を行う)。
あるいは又、
(2)撮像素子毎にデータ保持用の容量を備えておく。
ことが必要とされる。然るに、本開示の撮像装置にあっては、上述した調光装置を備えた撮像素子を用いるが故に、これらは不要である。
 尚、1撮像フレームにおいて、各撮像素子の露光期間を2以上の露光期間セグメントに分割し(具体的には、実施例1にあっては、1撮像フレームにおいて、各撮像素子の露光期間を8つの露光期間セグメントに分割し)、各露光期間セグメントにおいて、少なくとも1つの撮像素子が露光されるようにランダム露光を行い、読み出された画素信号の信号処理を行うことで、1撮像フレームを、あたかも、複数の撮像フレーム(実施例1にあっては8撮像フレーム)に分割した状態を得ることができる。それ故、撮像素子の駆動周波数を増加させること無く、撮像フレームレートを、例えば、8倍、増加させることができる。即ち、ハイ・フレーム・レートを実現することができる。このような動作モードの切り替えは、例えば、撮像装置の使用者が切替えスイッチを操作することで行うことができる。以下に説明する各種実施例においても同様とすることができる。
 以上に説明したとおり、実施例1にあっては、画素信号読出し装置によってAD変換器がランダムに作動させられることで、撮像素子の画素信号読み出しが時間軸でランダムに行われる。即ち、撮像装置に配設された全てのAD変換器を作動させるのではなく、一部のAD変換器を作動させるので、撮像装置の消費電力の低減を図ることができる。しかも、撮像素子の画素信号読み出しが時間軸でランダムに行われるが故に、全画素(全撮像素子)を読み出すよりも少ない量のデータを得ることができ、しかも、AD変換後にデータ圧縮のための処理回路が必要とされない信号処理技術を適用することができる。
 実施例1にあっては、撮像装置から出力される画像データを小さくすることができる。前述したように、クラウド利用を行うにあたり、画像の流通のための通信に負荷がかかることのないように、画像データは小さいことが必須条件となる。コンプレッシブセンシングを行うことにより、通信負荷を鑑みた容量に画像データを圧縮し、画像を流通させることが可能となる。システムに通信量をモニタする装置を設ければ、モニタした通信量から、画像をアップロードするタイミングを見極める、若しくは、そのタイミングの通信トラフィックに最適な圧縮率で画像を圧縮してアップロードするなどが可能となる。また、本開示の撮像装置を使用したカメラやカムコーダ等の民生機器とクラウドの間にメモリやハードディスク、小規模なデータセンタ等を配置して、一次的に画像データを記憶し、クラウドにアップロードすることも可能である。民生機器とクラウドの間に配置されたメモリやハードディスク、小規模なデータセンタに記憶された画像データは、通信トラフィックの状態の判定や画像を選別した後にアップロードが必要と判断された画像データである。この判定や選別は、選別エンジンや認識エンジンを用いて行う。従って、この選別エンジンや認識エンジンは、撮像装置のロジック部分、撮像装置を組み込んだカメラやカムコーダ等の民生機器、メモリやハードディスク、小規模なデータセンタ等のどこに配置されていてもよい。更には、圧縮された画像データの復元に必要な基底をメモリやハードディスク、小規模なデータセンタに配置し、一時的に画像データを復元することも可能である。
 実施例2は、実施例1の変形である。実施例1の撮像装置あるいは画素信号読み出し方法にあっては、画素信号読出し装置16によって、直接、AD変換器13をオン/オフした。一方、実施例2にあっては、1つの撮像素子ユニットの概念図を図4に示すように、AD変換器13(131,132・・・138)と撮像素子12との間に、FETから成るスイッチング素子14(141,142・・・148)を配する。そして、画素信号読出し装置16によってスイッチング素子14がランダムに作動させられ、撮像素子12からの画素信号をAD変換器13に入力させる系統、及び、黒レベルに相当する画素信号を画素信号読出し装置16からAD変換器13に入力させる系統の2つの系統への切替えをランダムに行う。
 以上の点を除き,実施例2の撮像装置、画素信号読み出し方法は、実施例1の撮像装置、画素信号読み出し方法と同様とすることができるので、詳細な説明は省略する。
 実施例2にあっては、画素信号が入力するAD変換器は全体の一部であり、画素信号が入力しないAD変換器には黒レベルに相当する画素信号が入力されるので、画素信号が入力しないAD変換器の消費電力を抑制することができ、AD変換器全体としての消費電力の削減を図ることができる。
 実施例3は、本開示の第2の態様に係る撮像装置及び画素信号読み出し方法に関し、具体的には、本開示のA態様に関する。実施例3の撮像装置における1つの撮像素子ユニット等の概念図を図5に示す。
 実施例3の撮像装置は、
 第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子12、
 画素信号読出し装置16、及び、
 読出しアンプ15(151,152・・・158)、
を備えており、
 画素信号読出し装置16によって読出しアンプ15(151,152・・・158)がランダムに作動させられることで、撮像素子12の画素信号読み出しが時間軸でランダムに行われる。また、実施例3の画素信号読み出し方法は、
 第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子12、
 画素信号読出し装置16、及び、
 読出しアンプ15(151,152・・・158)、
を備えた撮像装置における画素信号読み出し方法であって、
 画素信号読出し装置16によって読出しアンプ15(151,152・・・158)をランダムに作動させることで、撮像素子12の画素信号読み出しを時間軸でランダムに行う。
 実施例3にあっては、読出しアンプ(読出し回路)15が作動(オン)状態である場合、画素信号はAD変換器13に送出される。一方、読出しアンプ15が不作動(オフ)状態である場合、画素信号はAD変換器13に送出されないので、AD変換器の消費電力を抑制することができ、AD変換器全体としての消費電力の削減を図ることができる。
 以上の点を除き,実施例3の撮像装置、画素信号読み出し方法は、実施例1の撮像装置、画素信号読み出し方法と基本的に同様とすることができるので、詳細な説明は省略する。このように、実施例3にあっては、画素信号読出し装置によって読出しアンプがランダムに作動させられることで、撮像素子の画素信号読み出しが時間軸でランダムに行われる。即ち、撮像装置に配設された全ての読出しアンプを作動させるのではなく、一部の読出しアンプを作動させるので、撮像装置の消費電力の低減を図ることができる。しかも、撮像素子の画素信号読み出しが時間軸でランダムに行われるが故に、全画素(全撮像素子)を読み出すよりも少ない量のデータを得ることができ、しかも、AD変換後にデータ圧縮のための処理回路が必要とされない信号処理技術を適用することができる。
 実施例4は、実施例3の変形である。実施例3の撮像装置あるいは画素信号読み出し方法にあっては、画素信号読出し装置16によって、直接、読出しアンプ15をオン/オフした。一方、実施例4にあっては、1つの撮像素子ユニットの概念図を図6に示すように、読出しアンプ15(151,152・・・158)と撮像素子12との間に、FETから成るスイッチング素子14(141,142・・・148)を配する。そして、画素信号読出し装置16によってスイッチング素子14がランダムに作動させられ、撮像素子12からの画素信号をAD変換器13に入力させる系統、及び、黒レベルに相当する画素信号を画素信号読出し装置16から読出しアンプ15に入力させる系統の2つの系統への切替えをランダムに行う。
 以上の点を除き,実施例4の撮像装置、画素信号読み出し方法は、実施例3の撮像装置、画素信号読み出し方法と同様とすることができるので、詳細な説明は省略する。
 実施例4にあっては、画素信号が入力するAD変換器は全体の一部であり、画素信号が入力しないAD変換器には黒レベルに相当する画素信号が入力されるので、画素信号が入力しないAD変換器の消費電力を抑制することができ、AD変換器全体としての消費電力の削減を図ることができる。
 尚、実施例1~実施例4においては、本開示のA態様としたが、実施例1~実施例4の変形として、本開示のB態様とすることもできる。即ち、
 第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子12が配列されており、
 AD変換器13あるいは読出しアンプ15は、第2の方向に沿って配列されたL個の撮像素子12から構成された撮像素子群に1つ配置されており、
 画素信号読出し装置16によってAD変換器13あるいは読出しアンプ15あるいはスイッチング素子14がランダムに作動させられることで、第1の方向に配列されたK個の撮像素子12の内、K個未満の撮像素子12がランダムに選択され、選択された撮像素子12から画素信号読み出しが行われる。
 あるいは又、本開示のC態様とすることもできる。即ち
 第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子12が配列されており、
 AD変換器13あるいは読出しアンプ15は、1つの撮像素子12に1つ配置されており、
 画素信号読出し装置16によってAD変換器13あるいは読出しアンプ15あるいはスイッチング素子14がランダムに作動させられることで、K×L個の撮像素子12の内、K×L個未満の撮像素子12がランダムに選択され、選択された撮像素子12から画素信号読み出しが行われる。
 尚、AD変換器13あるいは読出しアンプ15を1つの撮像素子12に1つ配置し、リセットタイミング及び読出しタイミングを撮像素子毎に設定することで、1撮像フレームにおける露光期間セグメントの時間長さを変化させることができる。そして、これによって、後述する実施例8における撮像素子に調光装置を設けた場合と同じ動作、処理を、各撮像素子において行うことが可能となる。
 実施例5は、以上に説明した実施例1~実施例4の変形である。実施例5にあっては、撮像装置は、被写体の動きを検出する動き検出回路を更に備えている。そして、動き検出回路による被写体の動き検出の有無に基づき、画素信号読出し装置によってアナログ-デジタル変換器あるいは読出しアンプをランダムに作動させる状態を変える。具体的には、動き検出回路によって被写体の動きが検出された場合、全てのアナログ-デジタル変換器あるいは読出しアンプを作動させるか、あるいは又、画像の圧縮処理を行わないか、あるいは又、画像の圧縮率を低い状態とする。
 ここで、動き検出のために、動き検出回路は、高周波検出フィルタHPF1,HPF2を備えている構成とすることができる。そして、高周波を、フーリエ変換、ウェブレット(weblet)変換、離散コサイン変換等を用いた周知の方法で検出する。また、動き検出は、周知の方法に基づき、所定の周波数を閾値として、フーリエ変換、ウェブレット変換、離散コサイン変換等で検出したサンプリング周波数付近の高周波に対して行う。
 具体的には、実施例5にあっても、実施例1~実施例4と同様に、画素信号読出し装置16によってAD変換器13あるいは読出しアンプ15あるいはスイッチング素子14がランダムに作動させられることで、撮像素子12の画素信号読み出しが時間軸でランダムに行われる。得られた画素信号は、一旦、画像メモリに、元の画素配列に対応するような順序で格納される。そして、所定の露光期間後、全ての撮像素子における画素信号が画像メモリに格納され、画像データが構成される。動き検出回路は、所定の露光期間に読み出されたこの画像データを入力として、入力された画像内の動き(被写体の動き)の有無を判定する。判定結果は、画素信号読出し装置16に送られ、画素信号読出し装置16は、動き判定結果に基づいてAD変換器13あるいは読出しアンプ15の作動を制御する。
 図7Aに、動き検出回路の動作の一例のフローチャートを示し、図7Bに、動き検出回路の構成を説明するブロック図を示す。ところで、画素信号読出し装置16によってAD変換器13あるいは読出しアンプ15あるいはスイッチング素子14がランダムに作動させられることで、撮像素子12の画素信号読み出しが時間軸でランダムに行われるが故に、被写体に動きがなければ隣接画素間の相関は非常に高いが、被写体に動きがあれば隣接画素間の相関は低い。その結果、被写体の動きが大きいほどランダムドット状の画像となる。もしも、撮像装置において、画素配列の周期に対して入射光の帯域が十分に制限されていれば、ランダムドット状の画像を、被写体の動きがあるときのみ出力することが一層確実になる。実施例5における動き検出は、このような実施例1~実施例4における撮像素子12の画素信号読み出しが時間軸でランダムに行われることを利用して、以下に述べる手順で画像のランダムドット具合を調べ、動きの有無を判定する。
 そして、例えば、被写体の動きが検出されない場合、画素信号読出し装置16は、撮像素子の次回の露光期間(具体的には、次回の露光期間セグメントの時間長さ)を現時点の露光期間(具体的には、現時点の露光期間セグメントの時間長さ)よりも長く設定する。あるいは又、撮像素子の次回の露光期間を、予め設定された露光期間セグメントの時間長さの第1閾値よりも長く設定する。一方、被写体の動きが検出された場合、撮像素子の次回の露光期間(具体的には、次回の露光期間セグメントの時間長さ)を現時点の露光期間(具体的には、現時点の露光期間セグメントの時間長さ)よりも短く設定する。あるいは又、撮像素子の次回の露光期間を、予め設定された露光期間セグメントの時間長さの第2閾値よりも短く設定する。撮像素子12の画素信号読み出しが時間軸でランダムに行われるが、取得された画像データから静止したシーンの画像復元は比較的容易であるが、動的なシーンの画像復元は困難な場合がある。そこで、被写体の動きが検出されたときには、このように、撮像素子の露光期間を短くすることにより画像復元の困難さを回避する効果が期待できるし、逆に、被写体の動きが検出されない場合、より露光期間を長くすることによって、単位時間当たりの出力画像データ数を削減できるという効果が期待できる。尚、これらの場合、ランダム性を保ったまま、露光期間のみを変更すればよい。
  [工程-A]
 具体的には、先ず、入力画像に高周波検出フィルタHPF1を適用する。具体的には、入力画像をフーリエ変換し、高周波検出フィルタを用いて空間高周波成分を抽出する。高周波検出フィルタHPF1として、隣接画素間の値の差に高く反応するような高周波検出フィルタを用いる。一方、入力画像に高周波検出フィルタHPF2を適用する。高周波検出フィルタHPF2には、隣接画素間の値の差には反応しないが被写体の構造(エッジ等のように隣接画素間の相関が低い成分)に高く反応するような周波数特性の高周波検出フィルタを用いる。
  [工程-B]
 そして、高周波検出フィルタHPF2の出力に、レベル合わせのための所定の係数値を乗算する。
  [工程-C]
 次いで、高周波検出フィルタHPF1の出力値から、高周波検出フィルタHPF2の出力値に係数値を乗じた出力値を減算する。これによって、高周波検出フィルタHPF1の出力値から本来の被写体構造由来の成分を除去して、できるだけ動き由来のランダムドット状の成分(動き成分、動き由来の高周波成分)を取り出す。そして、以上の処理を全ての撮像素子において行うことで、全ての撮像素子における総和(1撮像フレーム当たりの動き由来の高周波成分の総和)を算出する。
  [工程-D]
 こうして得られた総和に対して所定の閾値を適用して判定する。動き由来の高周波成分が大きいほど、[工程-C]において得られた総和が大きくなるので、閾値より大きい場合、被写体に動きがあったと判定する。一方、閾値を超えない場合、被写体には動きがあったとは判定しない。
  [工程-E]
 そして、動き検出回路によって被写体の動きが検出された場合、次の撮像フレームにおいて、全てのAD変換器13あるいは読出しアンプ15を作動させるか、あるいは又、画像の圧縮処理を行わないか、あるいは又、画像の圧縮率を低い状態とする。
 実施例6は、実施例1~実施例5の変形である。実施例1~実施例5においては、画素信号読出し装置16によってAD変換器13あるいは読出しアンプ15あるいはスイッチング素子14がランダムに作動させられることで、撮像素子の画素信号読み出しが時間軸でランダムに行われる。実施例6では、実施例1~実施例5における各画素の露光時間をランダムに複数の期間に分割する。その結果、点拡がり関数(Point spread function,PSF。点像分布関数とも呼ばれる)にヌル・ポイント(null point)が無くなるので、符号化露光に基づく信号処理による振れ補正(暈けの除去)を一層高精度に行うことができる。
 実施例7にあっては、実施例1~実施例6において説明した撮像装置で得られた画素信号に対して、ハイダイナミックレンジ合成方式、あるいは、SVE方式を適用する。即ち、各撮像素子の画素信号量(電荷蓄積量)をその撮像素子のトータルの電荷蓄積時間で除して規格化することで、各撮像素子の感度を揃え、ダイナミックレンジを拡大することができる。このとき、飽和した撮像素子や黒潰れを起こしている撮像素子に関しては、画素信号値を「0」とすればよいし、あるいは又、周りの撮像素子によって補間すればよい。元の露光がランダムなので、このようにして飽和画素や黒潰れ画素の画素信号を「0」で置き換えた後の画素信号もランダム性を維持している。そして、この画素信号に対して更にコンプレッシブセンシングの信号処理を行うことで、画像圧縮とダイナミックレンジの拡大を同時に実現することができる。尚、調光装置無しでもSVE方式の適用は可能である。
 実施例8は、以上に説明した実施例1~実施例7の変形である。実施例8~実施例12においては、各種の調光装置(第1の構成~第4の構成の調光装置)に関する説明を行い、実施例13~実施例17においては、実施例1~実施例7において説明した撮像装置に対して、実施例8~実施例12において説明する調光装置を有する撮像素子を適用した撮像装置の説明を行う。
 実施例8において、撮像素子は、受光素子(光電変換素子)、及び、受光素子の光入射側に配置された調光装置(調光素子)を備えている。ここで、実施例8において、調光装置(調光素子)は、第1の構成の調光装置(調光素子)である。そして、図8A及び図8Bに模式的な一部断面図を示すように、実施例8における調光装置(調光素子)100は、第1ナノカーボン膜114、第1中間層117A、誘電体材料層116及び第2中間層117Bが積層された調光層113が、M層(但し、M≧1であり、図8Aに示す例ではM=3、図8Bに示す例ではM=4)、積層され、更に、第M番目の調光層113Mを構成する第2中間層117Bの上には第2ナノカーボン膜115が形成されて成る。そして、画素信号読出し装置16の制御下、第1ナノカーボン膜114及び第2ナノカーボン膜115に電圧が印加されることで、撮像素子12への光の入射が制御される。
 そして、実施例8にあっては、画素信号読出し装置16の制御下、選択された撮像素子12から画素信号読み出しが行われ、且つ、撮像素子12への光入射開始及び光入射完了が時間的にランダムに行われる。更には、各撮像素子12において、第1ナノカーボン膜114及び第2ナノカーボン膜115にパルス状の電圧がランダムに印加される。また、第1ナノカーボン膜114及び第2ナノカーボン膜115へのパルス状の電圧の印加時間の積算値は一定である。即ち、1露光期間セグメントにおいて、光入射開始から光入射完了までが、実効的な露光期間セグメントに相当し、実効的な露光期間セグメントの時間長さは一定である。そして、画素信号読出し装置16の制御下、1撮像フレームにおける実効的な露光期間セグメントの時間長さの総計を一定にする。以下の実施例においても同様である。
 尚、図示した例では、第1ナノカーボン膜114が上側に位置し、第2ナノカーボン膜115が下側に位置するので、第M番目の調光層113Mを構成する第2中間層117Bの下には第2ナノカーボン膜115が形成されている。即ち、第2ナノカーボン膜115が、第M番目の調光層113Mを構成する第2中間層117Bの上に形成されているか、下に形成されているかは、第1ナノカーボン膜114と第2ナノカーボン膜115との位置関係に依存した相対的なものである。上述したような、第1ナノカーボン膜114が第2ナノカーボン膜115よりも上に位置する場合には、第2ナノカーボン膜115が第M番目の調光層113Mを構成する第2中間層117Bの「下」に形成されているが、このような構成も、『第M番目の調光層113Mを構成する第2中間層117Bの「上」に、第2ナノカーボン膜115が形成されている』という概念に包含される。
 ここで、実施例8における調光装置100にあっては、第1ナノカーボン膜114及び第2ナノカーボン膜115に電圧が印加されることで、調光層113,113Mにおける光透過率が制御される。即ち、第1ナノカーボン膜114及び第2ナノカーボン膜115に適切な電圧を印加することで、所望の波長レンジを有する光に対して調光層113,113Mを透明な状態とすることができる。そして、Mが奇数の場合(図8A参照)、奇数番目の第1ナノカーボン膜114は、共通の第1配線118に接続され、偶数番目の第1ナノカーボン膜114及び第2ナノカーボン膜115は、共通の第2配線119に接続されている。一方、Mが偶数の場合(図8B参照)、奇数番目の第1ナノカーボン膜114及び第2ナノカーボン膜115は、共通の第1配線118に接続され、偶数番目の第1ナノカーボン膜114は、共通の第2配線119に接続されている。第1配線118、第2配線119は、図示しない調光装置制御回路に接続されている。例えば、第1配線118に正の電位を加え、第2配線119を接地してもよいし、あるいは又、第1配線118を接地し、第2配線119に正の電位を加えてもよいし、第1配線118に負の電位を加え、第2配線119を接地してもよいし、あるいは又、第1配線118を接地し、第2配線119に負の電位を加えてもよいし、第1配線118に正の電位を加え、第2配線119に負の電位を加えてもよいし、あるいは又、第1配線118に負の電位を加え、第2配線119に正の電位を加えてもよい。尚、Mが奇数の場合(図8A参照)、奇数番目の第1ナノカーボン膜114を第1のコンタクトホール(図示せず)を介して電気的に接続すると共に共通の第1配線118に接続し、偶数番目の第1ナノカーボン膜114及び第2ナノカーボン膜115を第2のコンタクトホール(図示せず)を介して電気的に接続すると共に共通の第2配線119に接続してもよい。同様に、Mが偶数の場合(図8B参照)、奇数番目の第1ナノカーボン膜114及び第2ナノカーボン膜115を第1のコンタクトホール(図示せず)を介して電気的に接続すると共に共通の第1配線118に接続し、偶数番目の第1ナノカーボン膜114を第2のコンタクトホール(図示せず)を介して電気的に接続すると共に共通の第2配線119に接続してもよい。
 第1ナノカーボン膜114及び第2ナノカーボン膜115はグラフェンから構成されている。また、第1中間層117A及び第2中間層117Bは二酸化チタン(TiO2)から成り、誘電体材料層116は、Al23やHfO2、ZrO2等から成る。更には、第1配線、第2配線、後述する接続配線を設けることに起因した光透過率の低下や視認性への影響を防止するために、第1配線118及び第2配線119は、ナノカーボン膜から成り、あるいは又、透明導電材料層から成る。以下において説明する種々の実施例においても、ナノカーボン膜、中間層、誘電体材料層、第1配線、第2配線、接続配線を構成する材料を同様とすることができる。
 グラフェンは、例えば、以下に説明する製造方法で形成することができる。即ち、基体上にグラフェン化触媒を含む膜を成膜する。そして、グラフェン化触媒を含む膜に対して気相炭素供給源を供給すると同時に、気相炭素供給源を熱処理して、グラフェンを生成させる。その後、グラフェンを所定の冷却速度で冷却することで、フィルム状のグラフェンをグラフェン化触媒を含む膜上に形成することができる。グラフェン化触媒として、SiC等の炭素化合物の他、Ni、Co、Fe、Pt、Au、Al、Cr、Cu、Mg、Mn、Mo、Rh、Si、Ta、Ti、W、U、V、及びZrから選択される少なくとも1種類の金属を挙げることができる。また、気相炭素供給源として、例えば、一酸化炭素、メタン、エタン、エチレン、エタノール、アセチレン、プロパン、ブタン、ブタジエン、ペンタン、ペンテン、シクロペンタジエン、ヘキサン、シクロヘキサン、ベンゼン及びトルエンから選択される少なくとも1種類の炭素源を挙げることができる。そして、以上のようにして形成されたフィルム状のグラフェンを、グラフェン化触媒を含む膜から分離することにより、グラフェンを得ることができる。
 具体的には、実施例8における調光装置を製造するには、例えば、圧延した厚さ35μmの銅箔を電気炉内で水素雰囲気(水素流量20sccm)中において1000゜Cに加熱し、メタンガスを30sccmの流量で30分間、供給することで、グラフェンから成る第1ナノカーボン膜114を銅箔上に形成する。次いで、グラフェン上に、第1中間層117A、誘電体材料層116、第2中間層117Bを、順次、形成する。こうして、第1層目の調光層を形成することができる。一方、同様にして、グラフェンから成る第1ナノカーボン膜114、第1中間層117A、誘電体材料層116、第2中間層117Bが、順次、銅箔上に形成された第2層目の調光層を形成することができる。そして、第2中間層117Bの上にポリメチルメタクリレート(PMMA)のアセトン希釈溶液をスピンコートにて塗布した後、溶液を乾燥させてPMMA膜を形成する。その後、第2層目の調光層における銅箔を硝酸鉄水溶液を用いて除去し、PMMA膜に貼り合わされた第2層目の調光層を構成する第1ナノカーボン膜114を、第1層目の調光層を構成する第2中間層117B上に転写した後、アセトン溶媒を用いてPMMA膜を除去する。こうして、2層の調光層が積層された積層構造を得ることができる。そして、このようにして所望の層数(M層)を有する積層構造を形成した後、第2ナノカーボン膜115を、第M番目の調光層を構成する第2中間層上に、上記と同様の方法に基づき貼り合わせればよい。最後に、こうして得られた積層構造から銅箔を除去した後、撮像素子が予め形成された基体とを貼り合わせればよい。上記の成膜工程にあっては、第1ナノカーボン膜114を予め透明基板上に貼り合わせた後、第1ナノカーボン膜114上に、第1中間層117A、誘電体材料層116、第2中間層117Bを、順次、形成してもよい。各成膜工程においては、例えば、ロール・ツー・ロール方式による連続的に成膜する方法や、局所的に電極を加熱し連続的にグラフェンを成膜する方法等を適用することもできる。
 先に、図39A、図39B、図39C、図39Dを用いて説明したように、第1配線118と第2配線119との間に印加する電圧の値を変えることで、フェルミ準位Efを移動させることができる結果、所望の波長(周波数)の光に対する光透過率を変える(制御する)ことができる。あるいは又、第1ナノカーボン膜114、第2ナノカーボン膜115に対してドーピング処理を行うことでも、フェルミ準位Efを移動させることができる結果、所望の波長(周波数)の光に対する光透過率を変える(制御する)ことができる。
 あるいは又、高い比誘電率を有する誘電体材料から調光層を構成する誘電体材料層を構成することで、グラフェンにドープされるキャリアの量が多くなる。即ち、第1ナノカーボン膜114、第2ナノカーボン膜115において保持される電荷量の増加を図ることができる。そして、以上の結果、所望の波長(周波数)の光に対する光透過率を変える(制御する)ことができる。
 以下、比誘電率の異なるAl23(比誘電率=8.2)、IGZO(比誘電率=9)を誘電体材料層として用いて、透過可能な光の波長領域の拡大が図られる例を説明する。
 図37及び図38Aに、第1ナノカーボン膜/誘電体材料層/第2ナノカーボン膜を積層したナノカーボン膜積層構造体の光透過スペクトルの一例を示す。ここで、図37は、ナノカーボン膜積層構造体における誘電体材料層をAl23から構成した例であり、第2ナノカーボン膜を接地し、第1ナノカーボン膜への印加電圧を、-70ボルトから+70ボルトの範囲で変化させている。図37の縦軸は光透過率(単位:%)を示す。一方、図38Aは、ナノカーボン膜積層構造体における誘電体材料層をIGZOから構成した例であり、第2ナノカーボン膜を接地し、第1ナノカーボン膜への印加電圧を、-20ボルトから+40ボルトの範囲で変化させている。図38Aの縦軸は光透過率を示す。更には、図38Bは、印加電圧による光透過スペクトルの変化を説明するために、図38Aを処理したグラフであり、図38Aにおける印加電圧0ボルトのときの光透過スペクトルを基準とした場合の、スペクトル比a(0ボルト/0ボルト)及びスペクトル比b(+20ボルト/0ボルト)である。
 図37に示すように、誘電体材料層をAl23から構成した場合、印加電圧+30ボルト以上の光透過スペクトル(中太線)は、1100nm付近からスペクトルの立ち上がりがみられる。即ち、印加電圧によって透過可能な光の波長領域(光透過率変調可能な領域)を1100nm付近まで拡大できることが判る。一方、図38Aに示すように、誘電体材料層をIGZOから構成した場合、印加電圧+20ボルトの光透過スペクトル(中太線)は、1000nmよりも短波長側から立ち上がりがみられる。即ち、印加電圧によって透過可能な光の波長領域(光透過率変調可能な領域)を1000nmよりも短波長側に拡大できることが判る。
 比誘電率の値は、Al23よりもIGZOの比誘電率の方が大きい。従って、比誘電率が大きい誘電体材料層ほど、電圧印加によって禁制遷移の波長が短波長側にシフトし、透過可能な光の波長領域が短波長側に拡大できることが判る。また、図37に示すように、印加電圧が大きいほど、透過可能な光の波長領域をより短波長側に拡大できることが判る。例えば、印加電圧10ボルトでは、1200nm付近まで、印加電圧30ボルトでは、1100nm付近まで透過可能な光の波長範囲を拡大できることが判る。
 以上のとおり、実施例8における調光装置(調光素子)にあっては、第1ナノカーボン膜及び第2ナノカーボン膜を有する調光層が設けられており、第1ナノカーボン膜及び第2ナノカーボン膜に電圧が印加されるので、調光層の光透過率の制御を行うことができる。即ち、第1ナノカーボン膜及び第2ナノカーボン膜に所定の電圧V0を印加することで、所望の波長レンジを有する光に対して調光層を透明な状態とすることができる。
 ところで、グラフェン1層当たりの光透過率変調幅(光透過率の変化幅ΔT)は約2.3%であるが、調光層を形成する際、グラフェンと誘電体材料層との界面が均一でないと、誘電体材料からのキャリアがグラフェンにドープされず、グラフェンの光透過率変調が不均一になる虞がある。特に、強誘電体材料から成る誘電体材料層をスパッタリング法等で成膜するとき、誘電体材料層の表面が荒れる場合があり、このような誘電体材料層の上にグラフェンを積層しても、界面が荒れているために、キャリア全てがグラフェンにドープされない虞がある。然るに、誘電体材料層とナノカーボン膜との間に中間層を形成することで、即ち、ナノカーボン膜と誘電体材料層との間に、平坦性を改善する平坦化層として機能する中間層を形成することで、このような問題の発生を確実に防止することができる。また、中間層は、同時に、密着改善層及び反射防止層としても機能するので、ナノカーボン膜と誘電体材料層との間の密着性の改善、ナノカーボン膜と誘電体材料層との間における剥離発生の防止、ナノカーボン膜と誘電体材料層との間での入射光の不要な反射発生の抑制を図ることもできる。また、ナノカーボン膜は、光透過率に波長依存性が無く、透過スペクトルが平坦であり、色相がニュートラルであるし、光透過率の変化に要する時間が短い。しかも、機械的な駆動が不要であり、構造を簡素化することができるし、低背化(薄型化)、微細化が容易である。更には、印加する電圧を適切に選択することで、所望の波長以上の波長の光に対する調光層の実効的な光透過率を制御することができ、例えば、所望の波長の値を青色(例えば,380nm)とし、所定の電圧V0を印加したとき、所望の波長以上の波長の光(例えば、可視光以上の波長帯域を有する光)に対する光透過率が概ね100%となるように設定することで、所望の光透過率の値を正確に、しかも、容易に得ることができる。以下の実施例においても同様である。
 奇数番目の第1ナノカーボン膜、偶数番目の第1ナノカーボン膜、及び、第2ナノカーボン膜に、不純物をドーピングしてもよい。具体的には、
[A-1](第1配線に接続されたナノカーボン膜に第1導電型の不純物がドーピングされた状態,第2配線に接続されたナノカーボン膜に第2導電型の不純物がドーピングされた状態)
[A-2](第1配線に接続されたナノカーボン膜に第1導電型の不純物がドーピングされた状態,第2配線に接続されたナノカーボン膜に不純物がドーピングされていない状態)
[A-3](第1配線に接続されたナノカーボン膜に不純物がドーピングされていない状態,第2配線に接続されたナノカーボン膜に第2導電型の不純物がドーピングされた状態)
[B-1](第1配線に接続されたナノカーボン膜に第2導電型の不純物がドーピングされた状態,第2配線に接続されたナノカーボン膜に第1導電型の不純物がドーピングされた状態)
[B-2](第1配線に接続されたナノカーボン膜に第2導電型の不純物がドーピングされた状態,第2配線に接続されたナノカーボン膜に不純物がドーピングされていない状態)
[B-3](第1配線に接続されたナノカーボン膜に不純物がドーピングされていない状態,第2配線に接続されたナノカーボン膜に第1導電型の不純物がドーピングされた状態)
の6通りの状態を挙げることができる。
 実施例9は、実施例1~実施例8の変形であるが、第2の構成の調光装置(調光素子)に関する。図9Aに模式的な一部断面図を示すように、実施例9の調光装置(調光素子)200は、
 一対の電極211,212、及び、
 一対の電極211,212に挟まれた調光層213、
を備えている。そして、調光層213は、第1誘電体材料層216A、第1中間層217A、第1導電型の不純物がドーピングされた、又は、不純物がドーピングされていない第1ナノカーボン膜214、第1導電型とは導電型が異なる第2導電型の不純物がドーピングされた、又は、不純物がドーピングされていない第2ナノカーボン膜215、第2中間層217B、及び、第2誘電体材料層216Bの積層構造を有し、一対の電極211,212に電圧が印加される。
 尚、(第1ナノカーボン膜214における不純物のドーピング状態,第2ナノカーボン膜215における不純物のドーピング状態)として、
[C-1](第1ナノカーボン膜214に第1導電型の不純物がドーピングされた状態,第2ナノカーボン膜215に第2導電型の不純物がドーピングされた状態)
[C-2](第1ナノカーボン膜214に第1導電型の不純物がドーピングされた状態,第2ナノカーボン膜215に不純物がドーピングされていない状態)
[D-1](第1ナノカーボン膜214に不純物がドーピングされていない状態,第2ナノカーボン膜215に第2導電型の不純物がドーピングされた状態)
[D-2](第1ナノカーボン膜214に不純物がドーピングされていない状態,第2ナノカーボン膜215に不純物がドーピングされていない状態)
の4通りの状態を挙げることができる。具体的には、実施例9にあっては、第1ナノカーボン膜214には、第1導電型(より具体的には、n型)の不純物がドーピングされており、第2ナノカーボン膜215には、第2導電型(より具体的には、p型)の不純物がドーピングされている。
 ここで、第1ナノカーボン膜214及び第2ナノカーボン膜215は、実施例8と同様にグラフェンから構成されている。また、一対の電極を構成する第1電極211及び第2電極212は、ナノカーボン膜、具体的には、1層のグラフェンから構成されている。第1誘電体材料層216A、第2誘電体材料層216B、第1中間層217A、第2中間層217Bは、実施例8において説明した材料から構成されている。
 そして、実施例9における調光装置にあっては、一対の電極211,212に電圧が印加されることで第1ナノカーボン膜214及び/又は第2ナノカーボン膜215に生じる電荷量が制御され、調光層213における光透過率が制御される。尚、第1ナノカーボン膜214及び第2ナノカーボン膜215の2層が積層されており、グラフェン1層当たりの光透過率変調幅は約2%であるので、実施例9における調光装置の光透過率変調幅(光透過率の変化幅)ΔTは約4%である。
 具体的には、上述したとおり、第1導電型はn型であり、第2導電型はp型であり、第1ナノカーボン膜214と第1誘電体材料層216Aを介して対向する第1電極211には、第2ナノカーボン膜215と第2誘電体材料層216Bを介して対向する第2電極212よりも高い電圧が印加される(図9B参照)。第2ナノカーボン膜215及び第2誘電体材料層216Bは、電気的にフローティング状態にある。それ故、第1ナノカーボン膜214には負の電荷が誘起され、第2ナノカーボン膜215には正の電荷が誘起される(図9B参照)。ここで、第1ナノカーボン膜214にはn型の不純物がドーピングされており、第2ナノカーボン膜215にはp型の不純物がドーピングされているので、第1ナノカーボン膜214と第2ナノカーボン膜215の界面にはPN接合が形成される。従って、逆バイアス状態の電圧を一対の電極211,212に印加している間、第1ナノカーボン膜214と第2ナノカーボン膜215との間に空乏層が形成されるので、第1ナノカーボン膜214及び第2ナノカーボン膜215のそれぞれに、電荷が保持される。そして、以上の結果として、調光層213を高い光透過率にて通過(透過)可能な光の波長帯域が決定される。
 具体的には、一対の電極211,212の間に高い第1の電圧VHを印加すると、調光層213の光透過率と調光装置を通過した光の波長との関係は、図9Cの概念図における「A」の状態となる。一方、一対の電極211,212の間に低い第2の電圧VL(VL<VH)を印加すると、調光層213の光透過率と調光装置を通過した光の波長との関係は、図9Cの概念図における「B」の状態となる。これによって、一対の電極211,212の間への第1の電圧VHの印加時、波長λL以上の波長の光を、波長λL未満の波長の光よりも高い光透過率にて通過(透過)させることができる(図9Cの概念図における「A」の状態を参照)。また、一対の電極211,212の間への第2の電圧VLの印加時、波長λH(但し、λH>λL)以上の波長の光を、波長λH未満の波長の光よりも高い光透過率にて通過(透過)させることができる(図9Cの概念図における「B」の状態)。即ち、一対の電極211,212に印加される電圧に応じて、調光装置の調光状態と光の波長帯域との関係を制御することができる。尚、一対の電極211,212を第1ナノカーボン膜114、第2ナノカーボン膜115に置き換えれば、以上の説明は、実施例8における調光装置に対して適用することができる。
 具体的には、実施例9における調光装置を製造するには、例えば、圧延した厚さ35μmの銅箔を電気炉内で水素雰囲気(水素流量20sccm)中において1000゜Cに加熱し、メタンガスを30sccmの流量で30分間、供給することで、グラフェンから成る第1ナノカーボン膜214を銅箔上に形成する。次いで、ドーパント層をグラフェン上に形成する。そして、第1電極211、第1誘電体材料層216A及び第1中間層217Aが形成された基体の第1中間層217Aと第1ナノカーボン膜214とを貼り合わせ、硝酸鉄水溶液を用いて銅箔を除去する。一方、同様に、例えば、圧延した厚さ35μmの銅箔を電気炉内で水素雰囲気(水素流量20sccm)中において1000゜Cに加熱し、メタンガスを30sccmの流量で30分間、供給することで、グラフェンから成る第2ナノカーボン膜215を銅箔上に形成する。次いで、ドーパント層をグラフェン上に形成し、更に、第2中間層217B、第2誘電体材料層216Bを形成する。そして、第2誘電体材料層216Bの上にポリメチルメタクリレート(PMMA)のアセトン希釈溶液をスピンコートにて塗布した後、溶液を乾燥させてPMMA膜を形成する。その後、硝酸鉄水溶液を用いて銅箔を除去し、PMMA膜に貼り合わされた第2ナノカーボン膜215を第1ナノカーボン膜214上に転写した後、アセトン溶媒を用いてPMMA膜を除去する。こうして、第1誘電体材料層216A、第1中間層217A、グラフェンから成る第1ナノカーボン膜214及び第2ナノカーボン膜215、第2中間層217B、並びに、第2誘電体材料層216Bの積層構造を得ることができる。尚、基体には、例えば、撮像素子が予め形成されている。各成膜工程においては、例えば、ロール・ツー・ロール方式による連続的に成膜する方法や、局所的に電極を加熱し連続的にグラフェンを成膜する方法等を適用することもできる。
 実施例9における調光装置(調光素子)にあっては、一対の電極に電圧を印加したとき、印加された電圧の極性に応じて、第1ナノカーボン膜及び第2ナノカーボン膜のいずれか一方に正又は負の電荷が誘起され、他方に負又は正の電荷が誘起される。その結果、調光層を高い光透過率にて通過可能な光の波長帯域が決まる。即ち、所望の波長帯域における調光層の光透過率の制御を行うことができる。しかも、第1ナノカーボン膜には第1導電型の不純物がドーピングされており、第2ナノカーボン膜には第2導電型の不純物がドーピングされているので、第1ナノカーボン膜と第2ナノカーボン膜の界面にはPN接合が形成され、逆バイアス状態の電圧を一対の電極に印加している間、第1ナノカーボン膜及び第2ナノカーボン膜のそれぞれに電荷が保持される。また、一対の電極の間には電流が流れないので、低消費電力を達成することができる。
 実施例10は、実施例9の変形である。模式的な一部断面図を図10に示すように、実施例10における調光装置(調光素子)200’にあっては、
 N層(図示した例では、N=5)の調光層、及び、(N+1)個の電極を備えており、
 N層の調光層、及び、(N+1)個の電極は、交互に積層されており、
 奇数番目の電極は第1配線218に接続され、偶数番目の電極は第2配線219に接続されている。
 具体的には、第1電極211、第1誘電体材料層216A、第1中間層217A、第1ナノカーボン膜214、第2ナノカーボン膜215、第2中間層217B、第2誘電体材料層216B、第2電極212、第2誘電体材料層216B、第2中間層217B、第2ナノカーボン膜215、第1ナノカーボン膜214、第1中間層217A、第1誘電体材料層216A、第1電極211、第1誘電体材料層216A、第1中間層217A、第1ナノカーボン膜214、第2ナノカーボン膜215、第2中間層217B、第2誘電体材料層216B、第2電極212・・・といった構造を有する。即ち、奇数番目の調光層と、偶数番目の調光層とでは、第1誘電体材料層、第1ナノカーボン膜、第1中間層、第2ナノカーボン膜、第2中間層及び第2誘電体材料層の積層順が逆転している。そして、このような構成を採用することで、全体としては、実施例9の調光層213が、N層、積層された構造となり、光透過率の変化幅の拡大を図ることができる。
 尚、N層の調光層をN’層の調光装置から成る群に分け、調光装置の各群において、一方の電極を第1配線218に接続し、他方の電極を第2配線219に接続してもよい。
 実施例11は、実施例1~実施例8の変形であるが、第3の構成の調光装置(調光素子)に関する。図11A、図11Bに模式的な一部断面図を示すように、実施例11における調光装置(調光素子)3001,3002は、
 一対の電極311,312、及び、
 一対の電極に挟まれた調光層313、
を備えており、
 調光層313は、第1誘電体材料層316A、第1中間層317A、不純物がドーピングされた、又は、不純物がドーピングされていないナノカーボン膜314、第2中間層317B、及び、第2誘電体材料層316Bの積層構造を有し、
 一対の電極311,312に印加される電圧と異なる電圧がナノカーボン膜314に印加される。
 具体的には、図11Aに示すように、不純物はp型であり、ナノカーボン膜314には、一対の電極311,312に印加される電圧よりも高い電圧が印加される。あるいは又、図11Bに示すように、不純物はn型であり、ナノカーボン膜314には、一対の電極311,312に印加される電圧よりも低い電圧が印加される。尚、実施例8と同様に、ナノカーボン膜314は、グラフェンから構成されている。
 以上に説明した点を除き、実施例11における調光装置(調光素子)は、実施例9において説明した調光装置(調光素子)と同様とすることができるので、詳細な説明は省略する。実施例11における調光装置(調光素子)において、調光層は、第1誘電体材料層、不純物がドーピングされた、又は、不純物がドーピングされていないナノカーボン膜、及び、第2誘電体材料層の積層構造を有し、一対の電極に印加される電圧と異なる電圧がナノカーボン膜に印加されるので、調光層の光透過率の制御を行うことができる。
 実施例12は、実施例1~実施例8の変形であるが、第4の構成の調光装置(調光素子)に関する。図12に模式的な一部断面図を示すように、実施例12における調光装置(調光素子)400は、
 一対の電極411,412、及び、
 一対の電極411,412に挟まれたP層(但し、P≧1)の調光層413が積層された積層構造体413’、
を備えており、
 第p番目の調光層413(但し、1≦p≦P)は、第1誘電体材料層416A、第1中間層417A、n型の不純物がドーピングされた、又は、不純物がドーピングされていない第1ナノカーボン膜414、第2中間層417B、第2誘電体材料層416B、第3中間層417C、p型の不純物がドーピングされた、又は、不純物がドーピングされていない第2ナノカーボン膜415、及び、第4中間層417Dの積層構造を有し、
 第P番目の調光層413にあっては、更に、第4中間層417Dの上に第3誘電体材料層416Cが形成されており、
 第2ナノカーボン膜415には、第1ナノカーボン膜414と異なる電圧が印加される。具体的には、第2ナノカーボン膜415には、第1ナノカーボン膜414よりも高い電圧が印加される。
 尚、図示した例では、第1番目の調光層413が上側に位置し、第P番目の調光層413が下側に位置するので、第P番目の調光層413にあっては、更に、第4中間層417Dの下に第3誘電体材料層416Cが形成されている。即ち、第3誘電体材料層416Cが、第4中間層417Dの上に形成されているか、下に形成されているかは、第1番目の調光層と第P番目の調光層との位置関係に依存した相対的なものである。上述したような、第1番目の調光層が第P番目の調光層よりも上に位置する場合には、第4中間層417Dの「下」に第3誘電体材料層416Cが形成されているが、このような構成も、『第P番目の調光層413にあっては、更に、第4中間層417Dの「上」に第3誘電体材料層416Cが形成されている』という概念に包含される。
 電極412及び第1ナノカーボン膜414は、共通の第1配線418に接続され、電極411及び第2ナノカーボン膜415は、共通の第2配線419に接続されている。従って、電極411には、共通の第2配線419を介して、第2ナノカーボン膜415に印加される電圧と同じ電圧が印加される。一方、電極412には、共通の第1配線418を介して、第1ナノカーボン膜414に印加される電圧と同じ電圧が印加される。
 以上に説明した点を除き、実施例12における調光装置(調光素子)は、実施例9において説明した調光装置(調光素子)と同様とすることができるので、詳細な説明は省略する。実施例13における調光装置(調光素子)においては、所定の構成を有するP層(但し、P≧1)の調光層が積層された積層構造体を備えており、第2ナノカーボン膜には、第1ナノカーボン膜と異なる電圧が印加されるので、調光層の光透過率の制御を行うことができる。
 実施例13は、実施例8~実施例12を適用した本開示の第1の態様~第2の態様に係る撮像装置に関する。実施例13の撮像素子R1,G1,B1は、受光素子(フォトセンサ、フォトダイオード、光電変換素子)27、及び、受光素子の光入射側に配置され、実施例8~実施例12において説明した第1の構成の調光装置~第4の構成の調光装置100,200,200’,3001,3002,400から構成されている。尚、調光装置100,200,200’,3001,3002,400を総称して、以下、『調光装置21』と呼ぶ場合がある。
 実施例13あるいは後述する実施例14~実施例17においては、画素信号読出し装置16によるAD変換器13あるいは読出しアンプ15あるいはスイッチング素子14のランダムな作動と併せて、画素信号読出し装置16の制御下、調光装置21によって受光素子27への光の入射を制御、制限することで、画素信号のランダムさが増加し、像解像度や空間解像度を向上させることができる。
 実施例13の撮像素子の模式的な一部断面図を図13A及び図13Bに示す。また、図14A、図14B、図15Aに、撮像素子群のレイアウトを模式的に例示する。ここで、図13Aに示す撮像素子121は、裏面照射型の撮像素子であり、また、図13Bに示す撮像素子122は、表面照射型の撮像素子である。撮像素子R1,G1,B1は、例えば、ベイヤ配列に基づき配列されている。
 撮像素子121,202は、シリコン半導体基板22と、SiO2から成る層間絶縁膜23と、実施例8~実施例12において説明した調光装置21(100,200,200’,3001,3002,400)と、保護膜24と、カラーフィルター層(あるいは、透明膜)25と、集光レンズ(オンチップレンズ)26とが積層された構造を有する。即ち、カラーフィルター層25は、受光素子の光入射側に配置されている。シリコン半導体基板22の表面部分には受光素子27が形成されている。また、撮像素子と撮像素子との間には、遮光膜28が設けられている。尚、遮光膜28は、具体的には、隣接する画素間の部分に、即ち、画素と画素との間に、一種、格子状に設けられている。裏面照射型の撮像素子121にあっては、シリコン半導体基板22の裏面側に、調光装置21等の積層構造が形成されており、表面照射型の撮像素子122にあっては、シリコン半導体基板22の表面側に、調光装置21等の積層構造が形成されている。また、裏面照射型の撮像素子121にあっては、シリコン半導体基板22の表面側に、SiO2から成る層間絶縁層29A、保護膜29Bが形成されている。入射した光が受光素子27において光電変換されることによって信号電荷が生成され、蓄積される。調光装置21には第1配線、第2配線が配されているが、第1配線、第2配線の図示は省略している。裏面照射型の撮像素子121及び表面照射型の撮像素子122の構成、構造は、調光装置21を除き、周知の構成、構造とすることができるので、詳細な説明は省略する。また、撮像装置、それ自体も、周知の撮像装置と同様の構成とすることができるし、撮像素子の駆動方法、撮像装置の駆動方法も周知の駆動方法とすることができるので、詳細な説明は省略する。実施例13の撮像素子は、低背化(薄型化)を達成することができるので、高感度で、しかも、画素間の混色や感度シェーディングが小さい撮像素子、撮像装置を得ることができる。
 図14A、図14B、図15Aにおいて、「R1」は、赤色カラーフィルター層が形成された撮像素子であり、赤色を受光する。このような撮像素子を、便宜上、『赤色撮像素子』と呼ぶ。また、「G1」は、緑色カラーフィルター層が形成された撮像素子であり、緑色を受光する。このような撮像素子を、便宜上、『緑色撮像素子』と呼ぶ。更には、「B1」は、青色カラーフィルター層が形成された撮像素子であり、青色を受光する。このような撮像素子を、便宜上、『青色撮像素子』と呼ぶ。図示した例では、1つの赤色撮像素子、2つの緑色撮像素子及び1つの青色撮像素子によって1つの単位撮像素子群が構成されており、図14A、図14B、図15Aにおいては、64個の撮像素子が図示されている
 ところで、調光装置21は、電圧を印加しない場合、ナノカーボン膜、1枚、当たり約2.3%の光を吸収する。従って、例えば、調光装置21において、ナノカーボン膜の膜数を60とすれば、電圧を印加しないときの調光装置21、全体としての光透過率は約25%となる。一方、所定の電圧V0を印加することで、調光装置21、全体としての光透過率は100%に近い値となる。
 ダイナミックレンジは、最大信号量である飽和信号量とノイズの比で表される。そして、このダイナミックレンジが大きい程、明るいシーンでの画像出力信号と暗いシーンでの画像出力信号とを確実に得ることができる。実施例13の撮像素子では、各調光装置21の光透過率を制御することで(即ち、調光装置21に印加する所定の電圧V0の値を制御することによって、光透過率を制御することで、あるいは又、光透過率を所望の値まで下げることで)、各撮像素子における飽和電荷量に達するまでの時間を制御することができる。そして、以上の結果として、ダイナミックレンジの拡大を図ることができる。
 グラフェンから第1電極及び第2電極を構成すると、第1電極及び第2電極においても光が吸収されるが、高々4%であり、ITO等から成る透明導電材料層から第1電極及び第2電極を構成する場合よりも、光が吸収される量は少ない。調光装置21を、カラーフィルター層25とシリコン半導体基板22の間の領域に配置したが、調光装置21を、カラーフィルター層25と集光レンズ26の間の領域に配置してもよい。
 そして、実施例13の撮像装置にあっては、ランダム露光を実行する。即ち、ランダムパルス電圧を発生させ、発生させたランダムパルス電圧を調光装置を備えた撮像素子に送出するランダムパルス電圧発生・送出装置が備えられている。具体的には、ランダムパルス電圧を発生させ、発生させたランダムパルス電圧を調光装置を備えた撮像素子に送出するランダムパルス電圧発生・送出装置(図示せず)を有する。ここで、調光装置を備えた複数の撮像素子に対して、ランダムパルス電圧発生・送出装置が、1つ又は複数、配されている。尚、調光装置とランダムパルス電圧発生・送出装置とは、ナノカーボン膜又は透明導電材料層から成る接続配線で接続されている。ランダムパルス電圧発生・送出装置の動作は、画素信号読出し装置16によって制御される。即ち、画素信号読出し装置16によってAD変換器13あるいは読出しアンプ15あるいはスイッチング素子14をランダムに作動させるとき、併せて、このAD変換器13あるいは読出しアンプ15に接続された撮像素子に対して、ランダムパルス電圧発生・送出装置はランダムパルス電圧を送出する。
 撮像素子ユニット11i,jにおいて、AD変換器13を経由して、メモリに、一旦、記憶される画素信号の状態を模式的に図16に示す。但し、便宜上、図16に示した各撮像素子の動作は、図2A、図2B及び図3に基づいて説明した実施例1の例と同様とした。実施例1と異なり、撮像素子の番号の下に示す太い線分(撮像素子における画素信号読み出し状態であって、画素信号が読み出されている状態)の長さは、ランダムに異なっている。
 そして、撮像素子は、第1の方向及び第2の方向に2次元マトリクス状に配列されており、
 第1ナノカーボン膜は、第1の方向に延び、第1の方向に配列された撮像素子において共通であり、
 第2ナノカーボン膜は、第2の方向に延び、第2の方向に配列された撮像素子において共通であり、
 第1ナノカーボン膜には正極性のランダムパルス電圧が印加されると共に、第2ナノカーボン膜には負極性のランダムパルス電圧が印加される。
 尚、一対の電極の一方は、撮像素子において共通とすることができる。即ち、隣接する撮像素子間において、各調光装置における第1電極が共通化され、あるいは又、第2電極が共通化されている形態を採用することができ、これによって、撮像素子の構成、構造の簡素化を図ることができる。具体的には、これらの場合にあっては、第1電極あるいは第2電極を、撮像素子間において、所謂ベタ電極とすればよい。
 具体的には、実施例13の撮像装置にあっては、例えば、1列を占める(列方向に配列された)複数の撮像素子に対して、ランダムパルス電圧発生・送出装置が1つ配されている。尚、図17を参照して後に説明する垂直走査回路(V SCAN CIRCUIT)31及び水平走査回路(H SCAN CIRCUIT)32が、ランダムパルス電圧発生・送出装置を兼ねている。そして、ランダムパルス電圧発生・送出装置から、ランダムパルス電圧が、各撮像素子を構成する調光装置の第1ナノカーボン膜及び第2ナノカーボン膜に印加され、あるいは又、第1電極及び第2電極に印加される。その結果、各撮像素子における調光装置の光透過率がランダムに変化する。即ち、各撮像素子における調光装置の光透過率が低い値からランダムに高い値に変化する。ここで、ランダムパルス電圧の積算量が受光素子における電荷蓄積量に相当するため、ランダムパルス電圧の印加を、所定の時間、継続すると、受光素子内に電荷が蓄積されていく。このように、撮像素子毎にランダムパルス電圧に応じた光透過率変調を、例えば16の露光期間セグメントにおいてランダムに行うことによって、即ち、1撮像素子(1画素)毎に、例えば16の露光期間セグメントのそれぞれにおいて光透過率を変化させることによって画像を得る。そして、これらの画像を用いて動画を復元する。尚、露光期間セグメントの数(この例では16)は、圧縮率に応じて、適宜、選択される。また、前述したとおり、露光期間セグメントにおいて、光入射開始から光入射完了までが実効的な露光期間セグメントに相当し、実効的な露光期間セグメントの時間長さはランダムである。更には、光入射開始の時刻もランダムである。このように、画素信号読出し装置16によるAD変換器13あるいは読出しアンプ15のランダムな作動に加えて、実効的な露光期間セグメントの時間長さをランダムとすることで、更には、実効的な露光期間セグメントの開始時刻をランダムとすることで、撮像素子の画素信号読み出しの時間軸でのランダム性を一層高めることができる。そして、その結果、得られる画素信号の情報量が増加し、解像度の劣化を防止することができるし、一層の低消費電力化を達成することができる。尚、画素信号読出し装置16の制御下、1撮像フレームにおける実効的な露光期間セグメントの時間長さの総計を一定にする。
 そして、画像のスパース性を利用して一定時間に連続して撮像された画像を有限の画像数で表現することができるため、画像データの圧縮が可能となる。更に、全ての画像がスパースであるとは限らないため、スパース性を持たせるために予めデータ変換を行い、スパース性を持たせた画像に変換することも可能である。このように、本来、容量の大きな動画の画像データが圧縮可能となるので、画像を無線にて通信することが実現可能となる。その結果、撮像装置本体で画像処理を行った結果と比べて、消費電力値を大幅に削減することができる。
 従来方式の撮像では、一定時間内の露光で画像出力信号を得る。一方、本開示の撮像装置にあっては、これと同等の画像出力信号をランダムな露光パターンと、或る時刻の動画状態の積算で表現する。従って、連続した動画を有限の画像出力信号で表すことにより、撮像素子の画像出力信号を圧縮することができる。即ち、調光装置を備えた撮像素子からの画像出力信号が空間的及び時間的に間引かれることによって画像出力信号が圧縮される。
 図17に、実施例13の撮像装置における画素駆動回路の構成を示す。尚、図17では、便宜上、(7つの撮像素子)×(7つの撮像素子)を図示する。
 実施例13における画素駆動回路は、行単位の画素制御信号を生成する垂直走査回路(V SCAN CIRCUIT)31、列単位の画素制御信号を生成する水平走査回路(H SCAN CIRCUIT)32を備えている。撮像素子(画素,PIX)は、2次元マトリクス状に(格子状に)配置されている。垂直走査回路31から、各行毎に、画素リセット制御信号線(RST1~RST7)、画素転送制御信号線(TRG1~TRG7)、及び、画素選択制御信号線(SEL1~SEL7)が延びており、同一行の撮像素子(画素)は、1本の画素リセット制御信号線、1本の画素転送制御信号線、1本の画素選択制御信号線に接続されている。
 実施例13における画素駆動回路は、更に、撮像素子(画素)から読み出された画像出力信号を外部に出力するための水平転送回路(H TRANSFER CIRCUIT)33を備えている。列毎に垂直信号線(VSL1~VSL7)が配線され、同一列の撮像素子(画素)は、1本の垂直信号線に接続されており、全ての垂直信号線は、それぞれ、AD変換器(ADC,AD変換器13)及びメモリ(MEM,17)を介して水平転送回路33に接続されている。
 行方向に並んだ撮像素子のそれぞれを構成する調光装置の第1ナノカーボン膜(あるいは第2ナノカーボン膜)は、行方向に並んだ撮像素子に共通に形成されており、図17では、SM1~SM7で示している。また、列方向に並んだ撮像素子のそれぞれを構成する調光装置の第2ナノカーボン膜(あるいは第1ナノカーボン膜)は、列方向に並んだ撮像素子に共通に形成されており、図17では、SM8~SM14で示している。各行単位のナノカーボン膜(SM1~SM7)は、接続配線に相当するナノカーボン膜制御第1信号線(水平積層膜制御信号線,HC1~HC7)を介して垂直走査回路31に接続されている。また、各列単位のナノカーボン膜(SM8~SM14)は、接続配線に相当するナノカーボン膜制御第2信号線(垂直積層膜制御信号線,VC1~VC7)を介して水平走査回路32に接続されている。前述したとおり、垂直走査回路(V SCAN CIRCUIT)31及び水平走査回路(H SCAN CIRCUIT)32が、ランダムパルス電圧発生・送出装置を兼ねており、ナノカーボン膜制御第1信号線HC1~HC7及びナノカーボン膜制御第2信号線VC1~VC7を介して、ナノカーボン膜に電圧が印加される。このような構成を採用することで、撮像素子の製造プロセスの簡素化を図ることができ、画素を微細化することができる。接続配線は、ナノカーボン膜又は透明導電材料層から成る。尚、第1電極及び第2電極を備えている調光装置にあっては、第1ナノカーボン膜SM1~SM7を、第1電極あるいは第2電極と読み替え、第2ナノカーボン膜SM8~SM14を、第2電極あるいは第1電極と読み替えればよい。
 図18Aには、図17から、画素駆動に関する各種の要素を除き、見易くした図を示す。1つの撮像素子(画素)SM3-10を構成する調光装置の光透過率を制御するためには垂直走査回路31から延びるナノカーボン膜制御第1信号線(HC3)を介して第3行目の共通ナノカーボン膜SM3に例えば正極性のランダムパルス電圧(V2>0)を印加すると共に、水平走査回路32から延びるナノカーボン膜制御第2信号線(VC3)を介して第3列目の共通ナノカーボン膜SM10に例えば負極性のランダムパルス電圧(V4<0)を印加する。併せて、垂直信号線VSL3に接続されたAD変換器ADCが、画素信号読出し装置16によって選択され、作動させられる。
 図18Bには、ナノカーボン膜制御第1信号線(HC3)に印加される電圧、ナノカーボン膜制御第2信号線(VC3)に印加される電圧、及び、撮像素子SM3-10を構成する調光装置の光透過率変化の様子を示す。図18Bの横軸は時間である。ここで、時刻t1からt6までの期間が、撮像素子が例えば16の露光期間セグメントにおいて露光される期間である。期間t1~t6以外の期間では、ナノカーボン膜制御第1信号線(HC3)に印加される電圧は相対的に低く設定され(V1ボルト)、ナノカーボン膜制御第2信号線(VC3)に印加される電圧は相対的に高く設定されており(V3ボルト)、調光装置の光透過率は低く(図19Aに示す光透過率特性を参照)、調光装置は受光素子に入射する可視光を遮る。一方、期間t2~t4にあっては、ナノカーボン膜制御第1信号線(HC3)に第1規定電圧(高い電圧V2>V1)が印加され、期間t3~t5にあっては、ナノカーボン膜制御第2信号線(VC3)に第2規定電圧(低い電圧V4<V3)が印加される。以上の結果、期間t2まで、及び、期間t5以降では、調光装置の光透過率は低く(図19Aに示す光透過率特性を参照)、調光装置は受光素子に入射する可視光を遮る。また、期間t2~t3、及び、期間t4~t5にあっても、調光装置は、図19Bに示すような光透過率特性を示し、調光装置は受光素子に入射する可視光を遮る。一方、期間t3~t4にあっては、調光装置は、図19Cに示すような光透過率特性を示し、調光装置は受光素子へ可視光の入射させる。以上のとおり、実施例13においては、ナノカーボン膜制御第1信号線に例えば正極性のランダムパルス電圧を印加し、ナノカーボン膜制御第2信号線に例えば負極性のランダムパルス電圧を印加するといった、一種の「アンド回路」を構成することで、ナノカーボン膜の光透過率制御を行うことができる。尚、例えば、V1=-V3とすることができるし、V1及びV3を接地電位とすることもできるし、V1≒-1ボルト、V2≒2ボルト、V3≒1ボルト、V4≒-2ボルトを例示することもできる。
 尚、図19A及び図19Bに示した状態にあっては、光透過率の変調が赤外領域で生じるが、この場合、可視光用途の撮像装置では、通常、光入射部に赤外線カットフィルターを配する。従って、図19A及び図19Bに示すような光透過率の変調は使用されない。しかしながら、例えば監視用途等において赤外線領域における光透過率の変調が必要とされる場合には、赤外線カットフィルターを除き、図19A及び図19Bに示すような光透過率の変調を、適宜、使用すればよい。
 実施例13の撮像装置を構成する撮像素子(画素,PIX)の内部回路の構成を図20Aに示し、撮像素子への入射光を画像出力信号に変換する制御状態を図20Bに示す。具体的には、1つの撮像素子は、入射光を受光し、光電変換して電荷を蓄積する受光素子(フォトダイオード)PD、受光素子PDで発生した電荷を一時的に蓄積するフローティングディフュージョンFD、受光素子PDからフローティングディフュージョンFDへの電荷の転送を制御する第1のトランジスタTR1、フローティングディフュージョンFDの電荷をリセットする第2のトランジスタTR2、フローティングディフュージョンFDに蓄積された電荷に比例した出力信号(蓄積電荷信号)を取り出す第3のトランジスタTR3、出力信号(蓄積電荷信号)の読み出しを制御する第4のトランジスタTR4から構成されている。図17に示したように、垂直走査回路31から各行に対して画素リセット制御信号線、画素転送制御信号線、画素選択制御信号線が延びるが、図20Aでは、1本の画素リセット制御信号線(RST)、1本の画素転送制御信号線(TRG)、1本の画素選択制御信号線(SEL)を図示している。第1のトランジスタTR1は画素転送制御信号線(TRG)に接続され、第2のトランジスタTR2は画素リセット制御信号線(RST)に接続され、第4のトランジスタTR4は画素選択制御信号線(SEL)に接続されている。第4のトランジスタTR4は、更には、垂直信号線(VSL)にも接続されている。
 図20Bに、それぞれの制御信号が印加されるタイミングを示す。横軸は時間である。撮像素子は、16の露光期間セグメントの露光期間(期間t1~t6)のそれぞれの終了毎に、出力信号(蓄積電荷信号)を画像出力信号に変換して出力すると共に、フローティングディフュージョンFDをリセットするという動作を繰り返す。露光期間の終了において、先ず、画素リセット制御信号(RST-S)が第2のトランジスタTR2に印加され、フローティングディフュージョンFDの電位がVDDレベルにリセットされる。次に、画素選択制御信号(SEL-S)が印加され、リセットされたフローティングディフュージョンFDの電位が第3のトランジスタTR3、第4のトランジスタTR4を介して垂直信号線(VSL)に読み出される。次に、画素選択制御信号(SEL-S)が印加され続けた状態で、画素転送制御信号(TRG-S)が第1のトランジスタTR1に印加され、露光期間中に入射した光に比例して受光素子PDに蓄積された電荷がフローティングディフュージョンFDに転送され、それに伴うフローティングディフュージョンFDの電位変化が、第3のトランジスタTR3、第4のトランジスタTR4を介して、画像出力信号として、垂直信号線(VSL)に読み出される。このように、連続して読み出された画像出力信号は、垂直信号線(VSL)に接続されたAD変換器(ADC)及びメモリ(MEM)によって離散化された差分信号が算出され、水平転送回路33によって出力される。
 図21に、(2つの撮像素子)×(2つの撮像素子)に関する画素駆動回路における各制御信号及び各撮像素子における光透過率の時間変化を示す。図21の横軸は時間である。ここで、HC1,HC2は、それぞれ、第1行目及び第2行目のナノカーボン膜(SM1,SM2)への印加電圧、VC1,VC2は、それぞれ、第1列目及び第2列目のナノカーボン膜(SM8,SM9)への印加電圧を示す。これら4つの印加電圧は、互いに異なるタイミングでナノカーボン膜に第1規定電圧及び第2規定電圧を与えるように構成されている。図18Bを用いて説明したように、各撮像素子を構成する調光装置は、対応する行のナノカーボン膜と列のナノカーボン膜への電圧印加が同時に第1規定電圧及び第2規定電圧となったときにのみ光透過率が増加する。例えば、第1行目のナノカーボン膜(SM1)への印加電圧HC1は、期間t11~t16において、第1規定電圧となる。また、第2行目のナノカーボン膜(SM2)への印加電圧HC2は、期間t13~t18において、第1規定電圧となる。更には、第1列目のナノカーボン膜(SM8)への印加電圧VC1は、期間t11~t15において、第2規定電圧となる。また、第2列目のナノカーボン膜(SM9)への印加電圧VC2は、期間t14~t18において、第2規定電圧となる。そして、以上の結果として、第1行目のナノカーボン膜と第1列目のナノカーボン膜によって構成される調光装置を有する撮像素子SM1-8は、期間t11~t15において、調光装置の光透過率の値が高くなり、光を受光する。また、第1行目のナノカーボン膜と第2列目のナノカーボン膜によって構成される調光装置を有する撮像素子SM1-9は、期間t14~t16において、調光装置の光透過率の値が高くなり、光を受光する。更には、第2行目のナノカーボン膜と第1列目のナノカーボン膜によって構成される調光装置を有する撮像素子SM2-8は、期間t13~t15において、調光装置の光透過率の値が高くなり、光を受光する。また、第2行目のナノカーボン膜と第2列目のナノカーボン膜によって構成される調光装置を有する撮像素子SM2-9は、期間t14~t18において、調光装置の光透過率の値が高くなり、光を受光する。
 一方、各撮像素子におけるフローティングディフュージョンFDのリセット及びフローティングディフュージョンFDからの電荷転送は、第1行目の3つの画素制御信号(RST1,TRG1、SEL1)と第2行目の3つの画素制御信号(RST2,TRG2、SEL2)によって制御される。その制御タイミングは図20Bでの説明と同様であるが、第1行目と第2行目は同じ垂直信号線(VSL1,VSL2)を共有するため、行毎に読み出しタイミングを若干ずらす必要がある。例えば、第1行目の画素転送制御信号(TRG1)がt11及びt17において印加されるのに対して、第2行目の画素転送制御信号(TRG2)はt12及びt18において印加されるようにする。撮像素子の動作を制御する各種の制御信号の転送時刻は行毎にずれるが、t11~t17、t12~t18の期間は同じ長さであり、これがフレーム期間となる。そして、各撮像素子の実質的な露光期間は、対応する行のフレーム期間中の中で、対応する調光装置の光透過率が大きな(高い)期間となる。
 このように、内部回路のリセットと電荷転送は行単位で同一の制御が行われるが、各撮像素子に対応する調光装置の光透過率は、撮像素子毎に異なるように制御される。従って、各撮像素子の実質的な露光期間は、撮像素子毎に異なっている。
 また、ナノカーボン膜の特徴の1つに、光透過率応答速度がある。グラフェンの光透過率応答速度はギガヘルツオーダである。そのため、例えばパルス電圧による印加を行うと、パルス電圧に応じた光透過率変調が可能となる。即ち、パルス電圧の積算に比例した電荷が受光素子に蓄積される。
 実施例13にあっては、例えば16の露光期間セグメントのそれぞれにおいてランダムパルス電圧を発生させて画像圧縮を行う。図22に、実施例13において用いたランダムパルス電圧の一例を示す。各撮像素子(画素)に対して異なるパルス電圧パターンを発生させるが、その内の3つのパルス電圧パターンを図22に示す。ランダムパルス電圧発生・送出装置によって、ランダムパルス電圧が発生され、撮像素子のそれぞれにランダムパルス電圧が送出される。そして、1撮像素子毎に、ランダムパルス電圧に応じた光透過率変調が行われる。その結果、16の露光期間セグメント(図22では、点線で示す)内で様々な(例えば、16種類の)光透過率での画像が得られ、これらの画像を信号処理して圧縮画像を作成する。圧縮された画像は別の装置内で復元される。そのため、撮像装置の信号処理が軽減され、また、得られる画像の出力を小さくすることができる。
 撮像装置は、具体的には、例えば、積層型イメージセンサとすることができる。即ち、撮像装置は、裏面照射型の撮像素子の集合体であるイメージセンサチップ(第1半導体チップ)、及び、駆動回路の集合体であるロジック回路チップ(第2半導体チップ)を積層することで(貼り合わせることで)、得ることができる。ロジック回路チップの構成を、概念的に図23A及び図23Bに示す。ロジック回路領域には、画素信号読出し装置16を含む撮像素子の駆動回路や、撮像素子から読み出された画像出力信号の信号処理回路等が配置されている。ロジック回路チップにはナノカーボン膜の光透過率を制御するためのランダムパルス電圧発生・送出装置が配置されている。ランダムパルス電圧発生・送出装置は、例えば、撮像素子が配列された撮像素子領域(図23A及び図23B、並びに、図31A及び図31Bにおいては点線で囲まれた領域で示す)と空間的に重ならないロジック回路領域の部分であって四方向の領域に配置されており(図23A参照)、あるいは又、伝播遅延が問題にならない場合には外側の二方向の領域に配置されている(図23B参照)。そして、各撮像素子の光透過率を独立に制御するためにランダムパルス電圧を生成する。各ランダムパルス電圧発生・送出装置には、ランダムパルス電圧を送出するための電極が形成されており、イメージセンサチップとの積層後、スルー・シリコン・ビア(Through-Silicon Via,TSV)を介してイメージセンサチップの裏面側に延びる接続配線、更には、第1配線、第2配線と接続される。ランダムパルス電圧発生・送出装置を、撮像素子領域と空間的に重ならないロジック回路領域の部分(外側の両側の領域あるいは外側の四方向の領域)に配置することで、ナノカーボン膜とTSV埋め込み金属層との間のコンタクト抵抗が高いことに起因する伝播遅延を低減させることができる。尚、後述する実施例14にあっては、図23A及び図23Bに示した配置以外にも、図31Aに示すように、撮像素子が配列された撮像素子領域と空間的に重ならないロジック回路領域の部分であって外側の両側の領域に配置してもよいし、図31Bに示すように、伝播遅延が問題にならない場合には外側の一方の側の領域のみに配置してもよい。
 例えば、図23Bに示した積層型イメージセンサの概念図を図24に示す。ここで、2次元マトリクス状に配列された撮像素子12は、第1半導体チップ(イメージセンサチップ)511に設けられており、ランダムパルス電圧を発生させ、発生させたランダムパルス電圧を調光装置を備えた撮像素子に送出するランダムパルス電圧発生・送出装置522が、第2半導体チップ(ロジック回路チップ)521に設けられている。但し、図24には、ランダムパルス電圧発生・送出装置522を1つのみ図示した。そして、第1半導体チップ511と第2半導体チップ521とは、周知の方法に基づき積層されている。尚、図24においては、説明の関係上、第1半導体チップ511と第2半導体チップ521とを分離した状態で図示している。そして、調光装置とランダムパルス電圧発生・送出装置522とは、スルー・シリコン・ビア(TSV)531を介して接続されている。あるいは又、バンプを介して接続されている形態(チップ・オン・チップ方式に基づく形態)を採用してもよい。尚、撮像素子を裏面照射型することができ、あるいは又、表面照射型することもできる。第2半導体チップ521には、その他、撮像素子を駆動、制御するロジック回路を含む各種回路523が設けられている。
 また、第2半導体チップ(ロジック回路チップ)521には、シングルスロープ型AD変換器から成るAD変換器13が設けられており、AD変換器13と撮像素子12も、スルー・シリコン・ビア(TSV)531を介して接続されている。
 図25に概念図を示すように、第1半導体チップ511には、撮像素子12及び垂直走査回路31が配されている。一方、第2半導体チップ521には信号処理部541が配されている。信号処理部541は、比較器(コンパレータ)551及びカウンタ部552を備えたAD変換器13、ランプ電圧生成器(以下、『参照電圧生成部』と呼ぶ場合がある)554、データラッチ部及びパラレル-シリアル変換部を含む水平転送回路33、メモリ部542(メモリ17)、データ処理部543、制御部544(AD変換器13に接続されたクロック供給部を含む)、電流源545、デコーダ546、行デコーダ547、及び、インターフェース(IF)部548から構成されている。
 シングルスロープ型AD変換器から成るAD変換器13は、
 ランプ電圧生成器(参照電圧生成部)554、
 撮像素子12によって取得されたアナログ信号と、ランプ電圧生成器(参照電圧生成部)554からのランプ電圧とが入力される比較器(コンパレータ)551、及び、
 制御部544に設けられたクロック供給部(図示せず)からクロックCKが供給され、比較器551の出力信号に基づいて動作するカウンタ部552、
を有する。クロック供給部は周知のPLL回路から構成されている。
 上述したとおり、第2半導体チップ521には、メモリ部542、データ処理部543、制御部544、電流源545、デコーダ546、行デコーダ547、及び、インターフェース(IF)部548等が設けられており、また、撮像素子12を駆動する撮像素子駆動部(図示せず)が設けられている。信号処理部541にあっては、撮像素子12から読み出されたアナログ信号に対して、列単位で並列(列並列)にデジタル化(AD変換)を含む所定の信号処理を行う。そして、信号処理部541は、撮像素子12からのアナログ信号をデジタル化するAD変換器13を有しており、AD変換された画像データ(デジタルデータ)をメモリ部542に転送する。メモリ部542は、信号処理部541において所定の信号処理が施された画像データを格納する。メモリ部542は、不揮発性メモリから構成されていてもよいし、揮発性メモリから構成されていてもよい。データ処理部543は、メモリ部542に格納された画像データを所定の順番に読み出し、種々の処理を行い、チップ外に出力する。制御部544は、例えばチップ外から与えられる水平同期信号、垂直同期信号、及び、マスタークロック等の基準信号に基づいて、撮像素子駆動部や、メモリ部542、データ処理部543等の信号処理部541の各動作の制御を行う。このとき、制御部544は、第1半導体チップ511側の回路(垂直走査回路31や撮像素子12)と、第2半導体チップ521側の信号処理部541(メモリ部542、データ処理部543等)との同期を取りつつ、制御を行う。
 電流源545には、撮像素子12から列毎にアナログ信号が読み出される垂直信号線VSLの各々が接続されている。電流源545は、例えば、垂直信号線VSLに或る一定の電流を供給するように、ゲート電位が一定電位にバイアスされたMOSトランジスタから成る、所謂、負荷MOS回路構成を有する。この負荷MOS回路から成る電流源545は、選択された行に含まれる撮像素子12の第4のトランジスタTR4に定電流を供給することにより、第4のトランジスタTR4をソースフォロアとして動作させる。デコーダ546は、制御部544の制御下、撮像素子12を行単位で選択する際に、その選択行のアドレスを指定するアドレス信号を垂直走査回路31に対して与える。行デコーダ547は、制御部544の制御下、メモリ部542に画像データを書き込んだり、メモリ部542から画像データを読み出したりする際の行アドレスを指定する。
 信号処理部541は、前述したとおり、撮像素子12から垂直信号線VSLを通して読み出されるアナログ信号をデジタル化(AD変換)するAD変換器13を有しており、アナログ信号に対して列の単位で並列に信号処理(列並列AD)を行う。信号処理部541は、更に、AD変換器13でのAD変換の際に用いる参照電圧Vrefを生成するランプ電圧生成器(参照電圧生成部)554を有する。参照電圧生成部554は、時間が経過するにつれて電圧値が階段状に変化する、所謂、ランプ(RAMP)波形(傾斜状の波形)の参照電圧Vrefを生成する。参照電圧生成部554は、例えば、DA変換器(デジタル-アナログ変換器)を用いて構成することができるが、これに限定するものではない。
 AD変換器13は、例えば、アナログ信号のレベルの大きさに対応した時間軸方向に大きさ(パルス幅)を有するパルス信号を生成し、このパルス信号のパルス幅の期間の長さを計測することによってAD変換処理を行う。より具体的には、AD変換器13は、比較器(COMP)551及びカウンタ部552を少なくとも有する。比較器551は、撮像素子12から垂直信号線VSLを介して読み出されるアナログ信号(信号レベル及びリセットレベル)を比較入力とし、参照電圧生成部554から供給されるランプ波形の参照電圧を基準入力とし、両入力を比較する。ランプ波形は、時間が経過するにつれて、電圧が傾斜状(階段状)に変化する波形である。そして、比較器551の出力は、例えば、参照電圧がアナログ信号よりも大きくなるとき、第1の状態(例えば、高レベル)となる。一方、参照電圧がアナログ信号以下のとき、出力は第2の状態(例えば、低レベル)となる。比較器551の出力信号が、アナログ信号のレベルの大きさに対応したパルス幅を有するパルス信号となる。
 カウンタ部552として、例えば、アップ/ダウンカウンタが用いられる。カウンタ部552には、比較器551に対する参照電圧の供給開始タイミングと同じタイミングでクロックCKが与えられる。アップ/ダウンカウンタであるカウンタ部552は、クロックCKに同期してダウン(DOWN)カウント、又は、アップ(UP)カウントを行うことで、比較器551の出力パルスのパルス幅の期間、即ち、比較動作の開始から比較動作の終了までの比較期間を計測する。この計測動作の際、カウンタ部552は、撮像素子12から順に読み出されるリセットレベル及び信号レベルに関して、リセットレベルに対してはダウンカウントを行い、信号レベルに対してはアップカウントを行う。そして、このダウンカウント/アップカウントの動作により、信号レベルリセットレベルとの差分をとることができる。その結果、AD変換器13では、AD変換処理に加えてCDS(Correlated Double Sampling:相関二重サンプリング)処理が行われる。ここで、「CDS処理」とは、信号レベルとリセットレベルとの差分を取ることにより、撮像素子12のリセットノイズや第4のトランジスタTR4の閾値ばらつき等の撮像素子固有の固定パターンノイズを除去する処理である。そして、カウンタ部552のカウント結果(カウント値)が、アナログ信号をデジタル化したデジタル値(画素信号の最終形態)となる。
 あるいは又、シングルスロープ型アナログ-デジタル変換器におけるタイミングチャートの別の例を図26に示す。列毎に配置された比較器551において、撮像素子12からのアナログ信号(信号レベル)が、階段状に変化する参照信号Vrefと比較される。このとき、アナログ信号(信号レベルVSig)と参照信号Vrefのレベルが交差し、そして、比較器551の出力が反転するまで、基準クロックCKを用いてカウンタ部552でカウントが行われる。これにより、アナログ信号がデジタル信号に変換される(即ち、AD変換される)。カウンタ部552はダウンカウンタから構成されている。AD変換は、アナログ信号の1度の読み出しで2回行われる。即ち、第1回目は、撮像素子12のリセットレベル(P相)のAD変換が実行される。このリセットレベルP相には撮像素子毎のばらつきが含まれる。第2回目は、各撮像素子12で得られたアナログ信号が垂直信号線VSLに読み出され(D相)、AD変換が実行される。このD相にも撮像素子毎のばらつきが含まれるため、(D相レベル-P相レベル)を実行することで、相関二重サンプリング(CDS)処理を実現することができる。
 信号処理部541の具体的な構成例を図27のブロック図に示す。水平走査回路33は、データラッチ部555及びパラレル-シリアル変換部556を有し、AD変換器13でデジタル化された画像データをメモリ部542にパイプライン転送するパイプライン構成となっている。そして、このとき、1水平期間内(1撮像フレーム内)にAD変換器13によるデジタル化処理が行われ、デジタル化された画像データは次の1水平期間内にデータラッチ部555に転送される処理が行われる。ここで、データラッチ部555は、AD変換器13でデジタル化された画像データをラッチする。また、パラレル-シリアル変換部556は、データラッチ部555から出力される画像データをパラレルデータからシリアルデータに変換する。一方、メモリ部542には、その周辺回路として列デコーダ/センスアンプ549が設けられている。行デコーダ547(図25参照)がメモリ部542に対して行アドレスを指定するのに対して、列デコーダは、メモリ部542に対して列アドレスを指定する。また、センスアンプは、メモリ部542からビット線を通して読み出される微弱な電圧を、デジタルレベルとして取り扱いが可能となるレベルにまで増幅する。そして、列デコーダ/センスアンプ549を通して読み出された画像データは、データ処理部543及びインターフェース部548を介して第2半導体チップ521の外部へ出力される。尚、図面においては、「パラレル-シリアル変換部」を「パラシリ変換部」と表記する。また、パラレル-シリアル変換部556、列デコーダ/センスアンプ549は、図25には図示していない。
 第1半導体チップ511の周縁部には、外部との電気的接続を行うためのパッド部532や、第2半導体チップ521との間での電気的接続を行うためのTSV531が設けられている。また、下側の第2半導体チップ521にボンディングパッド部を設けて第1半導体チップ511に開口部を設け、第2半導体チップ521に設けられたボンディングパッド部に、第1半導体チップ511に設けられた開口部を介してワイヤボンディングする構成や、第2半導体チップ521からTSV構造を用いて基板実装する構成とすることも可能である。あるいは又、第1半導体チップ511における撮像素子12と第2半導体チップ521における各種回路との間の電気的接続を、チップ・オン・チップ方式に基づきバンプを介して行うこともできる。
 以上によって、実施例13にあっては、撮像素子によって得られる画像を圧縮し、出力画像のサイズを圧縮することで、撮像装置の消費電力を従来の約1/5に低減することができた。
 実施例13の撮像装置を構成する撮像素子における調光装置の変形例の模式的な断面図を、図28A及び図28Bに示す。尚、図28Aに示す調光装置(調光素子)は、図8Aに示した調光装置(調光素子)の変形例であり、図28Bに示す調光装置(調光素子)は、図8Bに示した調光装置(調光素子)の変形例である。これらの変形例にあっては、ランダムパルス電圧は正負の極性を有する。そして、正の極性を有するランダムパルス電圧が第1ナノカーボン膜に印加されるとき、負の極性を有するランダムパルス電圧が第2ナノカーボン膜に印加される。あるいは又、負の極性を有するランダムパルス電圧が第1ナノカーボン膜に印加されるとき、正の極性を有するランダムパルス電圧が第2ナノカーボン膜に印加される構成とすることもできる。
 ここで、図29に、2次元マトリクス状に配列された撮像素子の一部の配置を模式的に示すように、行方向に並んだ撮像素子のそれぞれを構成する調光装置の複数の第1ナノカーボン膜(あるいは複数の第2ナノカーボン膜)SM101'~SM107'・・・は、行方向に並んだ(即ち、1行を占める)撮像素子に共通に形成されている。また、列方向に並んだ撮像素子のそれぞれを構成する調光装置の複数の第2ナノカーボン膜(あるいは複数の第1ナノカーボン膜)SM201'~SM207'・・・は、列方向に並んだ(即ち、1列を占める)撮像素子に共通に形成されている。ナノカーボン膜SM101'~SM107'とナノカーボン膜SM201'とは交互に積層されている。ナノカーボン膜SM101'~SM107'とナノカーボン膜SM202',SM203',SM204',SM205',SM206',SM207'のそれぞれも、同様に、交互に積層されている。尚、図29及び次に述べる図30にあっては、第1ナノカーボン膜及び第2ナノカーボン膜を明示するために、これらに斜線を付した。そして、正負の極性を有するランダムパルス電圧を、これらの第1ナノカーボン膜、第2ナノカーボン膜に印加することで、即ち、ランダムパルス電圧の印加を、行単位及び列単位で行うことで、アンド回路のロジックを使用することにより、各撮像素子を構成する調光装置の光透過率の制御を撮像素子毎に行うことができる。従って、撮像素子の近傍にランダムパルス電圧を印加するための配線を設ける必要が無くなり、配線の簡略化を図ることができる。尚、ナノカーボン膜は帯状にパターニングされているが、帯状のナノカーボン膜の幅を、受光素子の大きさよりも充分に大きく(広く)すれば、迷光や混色等の問題の発生を確実に防止することができる。
 また、図30に、2次元マトリクス状に配列された撮像素子の変形例の一部の配置を模式的に示す。ところで、ナノカーボン膜の高速光透過率変調、撮像素子の増加やナノカーボン膜の積層に起因して、ナノカーボン膜と接続配線との間のコンタクト抵抗値の積算が、ナノカーボン膜の高速光透過率変調に影響を与える可能性がある。これに対処するために、第1の方向に延びる第1ナノカーボン膜の端部は櫛形電極状にパターニングされており、第2の方向に延びる第2ナノカーボン膜の端部は櫛形電極状にパターニングされている形態とすることができる。具体的には、図30に示す例にあっては、行方向に並んだ撮像素子のそれぞれを構成する調光装置の第1ナノカーボン膜(あるいは第2ナノカーボン膜)SM101'~SM107'・・・の端部、列方向に並んだ撮像素子のそれぞれを構成する調光装置の第2ナノカーボン膜(あるいは第1ナノカーボン膜)SM201'~SM207'・・・の端部は、所謂、櫛形電極状にパターニングされている。例えば、端部の周辺長を約20倍とする。こうすることで、ナノカーボン膜と接続配線との間のコンタクト抵抗値を約1/20に低減することができる。尚、実際の撮像装置にあっては、シェーディング対策として、有効画素領域とチップ端との間にある程度のデッドスペースが必要となる。従って、この空間を利用してナノカーボン膜の端部を引き延ばすと、最大で0.1mm程度まで延ばすことができる。一般に、ナノカーボン膜と金属との接触部分はコンタクト抵抗が高く、これが電気信号を遅延させる。ナノカーボン膜、それ自体の抵抗は低いが、フェルミレベル付近の電子密度が低いため、金属とのコンタクト抵抗が高い。然るに、ナノカーボン膜の端部を櫛形電極状とすることにより、接続配線との接触面積が増大し、これによって、接続配線との間のコンタクト抵抗の低減を図ることができる。
 例えば、画素サイズを1μm角としたとき、グラフェンと接続配線との接触抵抗は、
10×-5×107×104=106オーム
となり、撮像素子毎の電荷は、40×10-6×10-8~0.4pCとなる。従って、(仮想)容量は、概ね、(0.4)/4=0.1pFとなる。これより、グラフェンから構成された一種のコンデンサの時定数RCは、
RC=(103+106)×0.1
  ≒100ナノ秒
と見積もられる。例えば100万画素(1000画素×1000画素)の撮像装置を使用する場合、1行分の容量が1000列分加算され、正極、負極側での切り替えスピードが200マイクロ秒程度となる。仮に、静止画の撮像フレームレート100fpsで駆動する場合、1撮像フレームは10ミリ秒であり、その1/10程度のスピードでパルス電圧が立ち上がればよいとすると、パルス電圧の立ち上がり時間として、例えば1ミリ秒が要求される。この200マイクロ秒といった値は、要求される切り替えスピード1ミリ秒よりも短いが、
(A)将来、画素数が増加した場合、容量が増加すること
(B)グラフェンと接続配線との間のコンタクト抵抗は上記の値よりも実際にはかなり高い値であること
(C)プロセス変動等の影響を受けて容量が変動する場合があること
を鑑みると、コンタクト抵抗の低減を図ることが好ましい。
 実施例14は、実施例13の変形である。実施例13においては、ナノカーボン膜制御第1信号線とナノカーボン膜制御第2信号線とによって一種の「アンド回路」を構成することで、ナノカーボン膜の光透過率制御を行った。一方、実施例14においては、撮像素子のそれぞれにランダムパルス電圧を印加する。そして、このような構成を採用することで、撮像素子に印加するランダムパルス電圧の印加パターンを任意のパターンとすることができる。尚、実施例14においては、本開示のC態様を採用することが好ましい。
 即ち、ランダムパルス電圧発生・送出装置から、ランダムパルス電圧が、各撮像素子を構成する調光装置の第1電極又は第2電極に印加される。その結果、各撮像素子における調光装置の光透過率がランダムに変化する。具体的には、各撮像素子における調光装置の光透過率が低い値からランダムに高い値に変化する。ここで、ランダムパルス電圧の積算量が受光素子における電荷蓄積量に相当するため、ランダムパルス電圧の印加を、所定の時間、継続すると、受光素子内に電荷が蓄積されていく。このように、撮像素子毎にランダムパルス電圧に応じた光透過率変調を、例えば、16の露光期間セグメントにおいてランダムに行うことによって、即ち、1撮像素子(1画素)毎に、例えば16の露光期間セグメントのそれぞれにおいて光透過率を変化させることによって画像を得る。そして、これらの画像を用いて動画を復元する。尚、露光期間セグメントの数(この例では16)は、圧縮率に応じて、適宜、選択される。
 尚、撮像素子のそれぞれに第1電極、第1ナノカーボン膜、第2電極、第2ナノカーボン膜を形成するが、第1電極、第1ナノカーボン膜、第2ナノカーボン膜をそれぞれの撮像素子に対して独立に形成すると共に、第2電極は全ての撮像素子に対して共通に設けてもよいし、あるいは又、第1ナノカーボン膜、第2ナノカーボン膜、第2電極をそれぞれの撮像素子に対して独立に形成すると共に、第1電極は全ての撮像素子に対して共通に設けてもよい。ここで、第1電極あるいは第2電極と、第1ナノカーボン膜あるいは第2ナノカーボン膜との位置関係は相対的なものなので、第1電極に隣接して第1ナノカーボン膜を配してもよいし、第1電極に隣接して第2ナノカーボン膜を配してもよい。今、一番上の電極を第1番目の膜とし、一番上のナノカーボン膜を第2番目の膜、一番下のナノカーボン膜を第(U-1)番目(但し、Uは4以上の自然数)の膜、一番下の電極を第U番目の膜とすると、奇数番目の膜は、第1のコンタクトホール(図示せず)を介して互いに電気的に接続され、偶数番目の膜は、第2のコンタクトホール(図示せず)を介して互いに電気的に接続される。第2電極を全ての撮像素子に対して共通に設ける場合、第1電極はランダムパルス電圧発生・送出装置に接続された配線の1つに接続され、ランダムパルスが印加され、第2電極は接地される。また、第1電極を全ての撮像素子に対して共通に設ける場合、第2電極はランダムパルス電圧発生・送出装置に接続された配線の1つに接続され、ランダムパルスが印加され、第1電極は接地される。入射光を遮らないように、ランダムパルス電圧発生・送出装置と第1電極又は第2電極との接続配線には、例えば、透明導電膜又はナノカーボン膜を用いた2層配線プロセスを用いることができる。
 実施例14にあっても、例えば16の露光期間セグメントにおいてランダムパルス電圧を発生させて画像圧縮を行う。ランダムパルス電圧発生・送出装置によって、(7つの撮像素子)×(7つの撮像素子)、即ち、49画素毎に、例えば16種類のランダムパルス電圧が発生され、撮像素子のそれぞれにランダムパルス電圧が送出される。そして、撮像素子のそれぞれにおいて、ランダムパルス電圧に応じた光透過率変調が行われる。その結果、16の露光期間セグメント内で様々な(例えば16種類の)光透過率での画像が得られ、これらの画像を信号処理して圧縮画像を作成する。圧縮された画像は別の装置内で復元される。そのため、撮像装置の信号処理が軽減され、また、得られる画像の出力を小さくすることができる。
 実施例15は、実施例13~実施例14の変形である。実施例13~実施例14においては、ランダムパルス電圧を発生させるためにランダムパルス電圧発生・送出装置を用いた。一方、実施例15にあっては、調光装置を備えた撮像素子によって得られた出力信号(蓄積電荷信号)に基づき算出されたパルス電圧が、ランダムパルス電圧としてナノカーボン膜に印加される。尚、実施例15にあっては、調光装置を備えた撮像素子からの画像出力信号が空間的及び時間的に間引かれることによって画像出力信号が圧縮される。具体的には、ランダムパルス電圧を発生させるために、撮像素子内部の情報を用いる。即ち、ランダム露光を調光装置で実現するが、その際、撮像素子内部に本来存在するランダムな情報を用いてランダムパルス電圧を生成する。
 具体的には、実施例15では、撮像素子を構成する受光素子(フォトセンサ、フォトダイオード、光電変換素子)27が有するばらつきに着目した。そして、受光素子27からの信号(出力信号、蓄積電荷信号)をロジック回路によって定数化し、パルス電位で規格化することによりランダムパルス電圧を生成する。即ち、
(フォトダイオード信号/トランジスタ印加電圧 + 基準電位)
をロジック回路で撮像素子毎に演算し、増幅し、調光装置へ送出することによって、ランダム露光を実現する。
 図32A及び図32Bに実施例15の撮像素子の概念図を示すが、図32Aに示す撮像素子は、図13Aに示した実施例8の撮像素子を基にした撮像素子であり、図32Bに示す撮像素子は、図7Bに示した実施例13の撮像素子を基にした撮像素子であり、蓄積電荷検出回路41内に設けられたロジック回路(図示せず)によって生成され、増幅されたランダムパルス電圧が、撮像素子における調光装置21を構成するナノカーボン膜に印加される。尚、蓄積電荷検出回路41と調光装置21との間には、電圧保持容量42が配されている。撮像素子を構成する受光素子27からの出力信号(蓄積電荷信号)をモニタする蓄積電荷検出回路41は、撮像素子毎に設けてもよく、これによって、ランダムパルス電圧発生・送出装置は不要となる。尚、撮像素子毎に蓄積電荷検出回路41を設けることが困難である場合には、撮像素子の行毎あるいは列毎に1つ、蓄積電荷検出回路41を設けて、周辺回路で演算後、撮像素子毎にランダムとなるように算出したランダムパルス電圧を、各撮像素子における調光装置21を構成するナノカーボン膜に印加してもよい。
 ところで、撮像素子からの画像出力信号は、AD変換器13に送出され、AD変換器13から出力されるが、AD変換器13において発生するノイズに基づき算出されたパルス電圧を、ランダムパルス電圧としてナノカーボン膜に印加することもできる。即ち、AD変換器13の電気信号のノイズばらつきに着目し、AD変換器13からのノイスばらつきをロジック回路によって定数化し、パルス電位で規格化することによりランダムパルス電圧を生成し、調光装置へ送出することによって、ランダム露光を実現する。
 実施例16は、実施例13~実施例15の変形である。実施例16にあっては、図15Bに撮像素子群のレイアウトを模式的に示すように、赤色撮像素子R1、緑色撮像素子G1及び青色撮像素子B1、並びに、赤外線を受光する撮像素子IR1(便宜上、『赤外線撮像素子IR1』と呼ぶ)を備えている。赤外線撮像素子IR1も調光装置21を備えている。撮像素子R1,G1,B1,IR1によって、単位撮像素子群が構成されている。図15Bにおいては、4つの単位撮像素子群が図示されている。尚、赤外線撮像素子IR1には、カラーフィルター層が設けられておらず、代わりに、全波長領域の光を通過させる透明膜が設けられている。この透明膜は、カラーフィルター層が形成されないことによって発生する素子表面の段差を埋めるための膜であり、必要に応じて設けられる。赤外線撮像素子IR1にあっては、調光装置21に印加する所定の電圧V0を適切に選択することで、赤外線帯域の光を通過させる調光装置を得ることができる。
 実施例16の撮像素子、撮像装置にあっても、調光装置21へ印加される電圧に基づき、通過可能な光の波長領域を変えることができる。また、実施例16にあっては、赤外線撮像素子IR1におけるダイナミックレンジの拡大を図ることができる。
 場合によっては、カラーフィルター層を設けずに、調光装置をカラーフィルターとして機能させてもよい。具体的には、赤色撮像素子、緑色撮像素子、青色撮像素子のそれぞれに設けられた調光装置21における誘電体材料層の材料を変える。即ち、例えば、赤外線撮像素子IR1における誘電体材料層をSiO2から構成し、赤色撮像素子R1における誘電体材料層をHfO2から構成し、緑色撮像素子G1における誘電体材料層をZrO2から構成し、青色撮像素子B1における誘電体材料層をPLZTから構成する。誘電体材料層を構成する材料の比誘電率が異なると、ナノカーボン膜に誘起される電荷量が異なり、その結果、波長λ0以上の波長の光を波長λ0未満の波長の光よりも高い光透過率にて通過(透過)させる調光装置におけるλ0の値を換えることができる。ここで、赤色撮像素子R1では、赤外領域と赤色領域の光に応じた信号成分と、ノイズ成分ΔEが得られる。同様に、緑色撮像素子G1では、赤外領域~緑色領域の光に応じた信号成分と、ノイズ成分ΔEが得られる。また、青色撮像素子B1では、赤外領域~青色領域の光に応じた信号成分と、ノイズ成分ΔEが得られる。従って、赤色撮像素子R1における赤色領域の信号成分は、赤色撮像素子R1で得られた全体の信号成分から、赤外線撮像素子IR1で得られた全体の信号成分を差し引くことにより得ることができる。また、緑色撮像素子G1における緑色領域の信号成分は、緑色撮像素子G1で得られた全体の信号成分から、赤色撮像素子R1で得られた全体の信号成分を差し引くことにより得ることができる。更には、青色撮像素子B1における青色領域の信号成分は、青色撮像素子B1で得られた全体の信号成分から、緑色撮像素子G1で得られた全体の信号成分を差し引くことにより得ることができる。また、赤外線撮像素子IR1では、赤外線撮像素子IR1の全体の信号成分から、電圧を印加しない状態での撮像素子R1,G1,B1のノイズ成分ΔEを差し引くことにより、赤外領域の信号成分を得ることができる。尚、このような変形例は、実施例13~実施例15において説明した撮像素子にも適用することができる。
 実施例17は、実施例13~実施例16の変形であり、具体的には、撮像素子の光透過率制御方法に関する。即ち、実施例17における調光装置(調光素子)の光透過率制御方法は、
(a)対となったナノカーボン膜との間に(第1ナノカーボン膜114と第2ナノカーボン膜115との間に)所定の電圧V0を印加することで、波長λ0以上の波長の光を、波長λ0未満の波長の光よりも高い光透過率にて通過させる調光装置(調光素子)の光透過率制御方法であり、あるいは又、
(b)一対の電極211,212の間に所定の電圧V0を印加することで、波長λ0以上の波長の光を、波長λ0未満の波長の光よりも高い光透過率にて通過させる調光装置(調光素子)の光透過率制御方法であり、あるいは又、
(c)一対の電極311,312とナノカーボン膜314との間に所定の電圧V0をに印加することで、波長λ0以上の波長の光を、波長λ0未満の波長の光よりも高い光透過率にて通過させる調光装置(調光素子)の光透過率制御方法であり、あるいは又、
(d)第1ナノカーボン膜414(及び電極412)と第2ナノカーボン膜415(及び電極411)との間に所定の電圧V0を印加することで、波長λ0以上の波長の光を、波長λ0未満の波長の光よりも高い光透過率にて通過させる調光装置(調光素子)の光透過率制御方法である。
 そして、これらの調光装置(調光素子)の光透過率制御方法にあっては、パルス状の所定の電圧V0のデューティ比を変化させることで、波長λ0以上の波長の光に対する調光層の実効的な光透過率を制御する。尚、実施例17にあっては、パルス状の電圧はランダムパルス電圧ではない。尚、上記の(a)~(d)における「所定の電圧V0の印加」を、便宜上、『第1ナノカーボン膜114等へ所定の電圧V0を印加する』と表現する。
 具体的には、第1ナノカーボン膜114等へ、パルス周期T、デューティ比D=t/Tの所定の電圧V0を印加したときの電圧変化(あるいは光透過率)を図33A、図34Aに示し、或る期間(例えば、1フレーム期間)において、調光装置を通過した光に基づき受光素子に蓄積される蓄積電荷量を図33B、図34Bに示す。図33A、図34Aのグラフに示すように、期間tにおいては、期間(T-t)に比べて、調光装置の光透過率は高い。それ故、多くの電荷量を得ることができる。従って、図33B、図34Bに示すように、期間tでは、期間(T-t)に比べて、蓄積電荷量は多くなる。尚、デューティ比Dは、図33Aに示す例の方が、図34Aに示す例よりも高い値である。また、図33B、図34Bにおいて、実線は期間tでの蓄積電荷量を示し、点線は期間(T-t)での蓄積電荷量を示す。パルス状の所定の電圧V0を印加した場合に、1フレーム期間に得られ蓄積電荷量は、期間tにおける蓄積電荷量と期間(T-t)における蓄積電荷量との積算で得られる。従って、パルス状の所定の電圧V0のデューティ比Dを変えることで、1フレーム期間に得られ蓄積電荷量を変化させることができる(図33B、図34B参照)。即ち、調光層113等の実効的な光透過率、即ち、或る期間における平均的な調光層113等の光透過率を制御することができる。より具体的には、或る期間において、調光層113等の光透過率を最大値としたときに調光層113等を通過した光の光量をQ0、デューティ比D=t/Tの所定の電圧V0を印加したときに調光層113等を通過した光の光量をQ1としたとき、調光層113等の実効的な光透過率は(Q1/Q0)で表すことができる。そして、以上の結果として、撮像素子や撮像装置のダイナミックレンジの拡大を図ることができるし、撮像時、明るい部分と暗い部分の両方の情報量を得ることができる。
 尚、実施例17の光透過率制御方法において、調光層におけるナノカーボン膜の光透過率の変化を周波数に換算した値は、パルス状の電圧の周波数よりも高い。パルス状の電圧の周波数は、1×102Hz以上、1×105Hz以下であることが好ましく、具体的には、調光層におけるナノカーボン膜の光透過率の変化を周波数に換算した値は、2.4×103Hz(2.4kHz)であり、パルス状の所定の電圧V0の周波数は、限定するものではないが、例えば、240Hzである。即ち、例えば、T=4.2×10-3秒である。
 先に説明したように、ダイナミックレンジは、最大信号量である飽和信号量とノイズの比で表される。そして、このダイナミックレンジが大きい程、明るいシーンでの画像出力信号と暗いシーンでの画像出力信号とを確実に得ることができる。例えば、上述した実施例13の撮像素子では、調光装置21を備えた撮像素子R1,G1,B1において、調光装置21に印加する所定の電圧V0の値及びデューティ比Dを制御することによって、あるいは又、調光装置21に電圧を印加しないことによって、光透過率を制御することで、あるいは又、光透過率を所望の値まで下げることで、飽和電荷量に達するまでの時間を制御することができ、その結果として、ダイナミックレンジの拡大を図ることができる。一方、調光装置21を備えた撮像素子R1,G1,B1において、調光装置21に印加する所定の電圧V0の値及びデューティ比Dを制御して光透過率を最大とすることで、ダイナミックレンジの拡大を図る撮影モードと解像度を重視する撮影モードとを、例えば、撮像装置の使用者が切り換え、あるいは又、撮像装置が自動的に切り換えることで、最適な撮影モードでの撮影を行うことができる。
 また、先に説明した実施例16の撮像素子、撮像装置にあっては、調光装置21へ印加される電圧に基づき、調光装置21の光透過率を変えることができ、しかも、通過可能な光の波長領域を変えることができる。また、実施例16にあっては、赤外線撮像素子IR1におけるダイナミックレンジの拡大を図ることができる。
 実施例17における調光装置(調光素子)の光透過率制御方法にあっては、パルス状の所定の電圧V0のデューティ比を変化させることで波長λ0以上の波長の光に対する調光層の実効的な光透過率を制御するので、例えば、波長λ0の値を青色(例えば,380nm)とし、所定の電圧V0を印加したときの波長λ0以上の波長の光(例えば、可視光以上の波長帯域を有する光)に対する光透過率が概ね100%となるように設定することで、所望の光透過率の値を正確に、しかも、容易に得ることができるし、所望の光透過率の値に設定することができる。加えて、ナノカーボン膜は、光透過率に波長依存性が無く、光透過率の変化に要する時間が短い。
 以上、本開示を好ましい実施例に基づき説明したが、本開示はこれらの実施例に限定するものではない。実施例において説明した撮像素子、撮像装置、アナログ-デジタル変換器の構成、構造、画素信号読み出し方法の構成は例示であり、適宜、変更することができる。撮像素子に調光装置を備えることで、静止画撮像時。メカニカルシャッタを代替することができるので、メカニカルシャッタを省略することができる。場合によっては、全てのA/D変換器を動作させておき、水平走査回路にスイッチング素子等を設けておき、必要なA/D変換器の出力のみを選択的にメモリ部に転送する構成としてもよい。
 各撮像素子に設けられた調光装置の動作を、各撮像素子に設けられた薄膜トランジスタ(TFT)によって制御してもよい。図13A、図32Aに示した撮像素子の変形例を図35Aの模式的な一部断面図に示す。また、等価回路図を図35Bに示し、4つの撮像素子のそれぞれを構成する調光装置、及び、その内の1つの調光装置を制御する薄膜トランジスタ(TFT)の配置を模式的に図36Aに示し、図36Aの矢印B-Bに沿ったTFT等の模式的な断面を示す概念図を図36Bに示す。薄膜トランジスタ(TFT)の一方のソース/ドレイン領域は駆動パルス線に接続されており、他方のソース/ドレイン領域は調光装置に接続されており、薄膜トランジスタ(TFT)のゲート部は調光装置選択線に接続されている。調光装置選択線から薄膜トランジスタ(TFT)のゲート部に電圧が印加され、薄膜トランジスタ(TFT)がオン状態となる。そして、薄膜トランジスタ(TFT)の一方のソース/ドレイン領域には駆動パルス線から調光装置を駆動するためのパルス電圧が印加され、以上の結果として、調光装置が駆動される。尚、この調光装置駆動パルス電圧は、薄膜トランジスタ(TFT)がオフ状態となる期間にも調光装置に保持される。即ち、この調光装置はパルス電圧保持容量としても機能する。薄膜トランジスタ(TFT)を、例えば、撮像素子と撮像素子との間の遮光膜28の上に設けることで、画素の開口率を犠牲にすること無く、比較的簡易なプロセスで作製することができる。尚、図35Aに示した撮像素子121は、裏面照射型の撮像素子であるが、図13B、図32Bに示した表面照射型の撮像素子とすることもできることは云うまでもない。
 受光素子を有機光電変換層から構成することもできる。有機光電変換層を、例えば、緑色の光に応じて光電変換可能な材料で構成する場合、例えば、ローダーミン系色素、メラシアニン系色素、キナクリドン等を含む有機材料を挙げることができる。あるいは又、有機光電変換層を構成する材料として、ペンタセン及びその誘導体(TIPS-ペンタセン等)、ナフタセン及びその誘導体(ルブレン、ヘキサプロピルナフタセン)、チオフェン及びその誘導体(P3HT等)、フラーレン及びその誘導体(PCBM等)、TCNQ、ペリレン及びその誘導体、ポルフィリン及びそのポルフィリン誘導体、アクリジン及びその誘導体、クマリン及びその誘導体、キナクリドン及びその誘導体、シアニン及びその誘導体、スクエアリリウム及びその誘導体、オキサジン及びその誘導体、キサンテントリフェニルアミン及びその誘導体、ベンジジン及びその誘導体、ピラゾリン及びその誘導体、スチルアミン及びその誘導体、ヒドラゾン及びその誘導体、トリフェニルメタン及びその誘導体、カルバゾール及びその誘導体、ポリシラン及びその誘導体、チオフェン及びその誘導体、ポリアミン及びその誘導体、オキサジアゾール及びその誘導体、トリアゾール及びその誘導体、トリアジン及びその誘導体、キノキサリン及びその誘導体、フェナンスロリン及びその誘導体、アルミニウムキノリン及びその誘導体、ポリパラフェニレンビニレン及びその誘導体、ポリフルオレン及びその誘導体、ポリビニルカルバゾール及びその誘導体、ポリチオール及びその誘導体、ポリピロール及びその誘導体、ポリチオフェン及びその誘導体を例示することができる。尚、これらに代表される有機材料を、単独で用いることもできるし、2種類以上、混合あるいは積層して用いることもできる。そして、これらに代表される有機材料において、赤色、緑色、青色のそれぞれの波長帯域にピーク感度を有する材料を選択することで、赤色撮像素子、緑色撮像素子、青色撮像素子を構成する受光素子を形成することができる。
 尚、本開示は、以下のような構成を取ることもできる。
[A01]《本開示の第1の態様に係る撮像装置》
 第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子、
 画素信号読出し装置、及び、
 アナログ-デジタル変換器、
を備えており、
 画素信号読出し装置によってアナログ-デジタル変換器がランダムに作動させられることで、撮像素子の画素信号読み出しを時間軸でランダムに行う撮像装置。
[A02]第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
 K×L個の撮像素子によって、第1の方向にI個、第2の方向にJ個の撮像素子ユニットが構成されており、
 第(i,j)番目(但し、i=1,2・・・Iであり、j=1,2・・・Jである)の撮像素子ユニットは、第1の方向にKi個、第2の方向にLj個の撮像素子から構成されており、
 第(i,j)番目の撮像素子ユニットにおいて、Ki個のアナログ-デジタル変換器が配置されており、
 第(i,j)番目の撮像素子ユニットにおいて、画素信号読出し装置によって、アナログ-デジタル変換器がランダムに作動させられることで、(Ki×Lj)個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる[A01]に記載の撮像装置。
[A03]第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
 アナログ-デジタル変換器は、第2の方向に沿って配列されたL個の撮像素子から構成された撮像素子群に1つ配置されており、
 画素信号読出し装置によってアナログ-デジタル変換器がランダムに作動させられることで、第1の方向に配列されたK個の撮像素子の内、K個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる[A01]に記載の撮像装置。
[A04]第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
 アナログ-デジタル変換器は、1つの撮像素子に1つ配置されており、
 画素信号読出し装置によってアナログ-デジタル変換器がランダムに作動させられることで、K×L個の撮像素子の内、K×L個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる[A01]に記載の撮像装置。
[A05]《第1の構成の調光装置》
 撮像素子は、受光素子、及び、受光素子の光入射側に配置された調光装置を備えており、
 調光装置は、第1ナノカーボン膜、第1中間層、誘電体材料層及び第2中間層が積層された調光層が、M層(但し、M≧1)、積層され、更に、第M番目の調光層を構成する第2中間層の上には第2ナノカーボン膜が形成されて成り、
 画素信号読出し装置の制御下、第1ナノカーボン膜及び第2ナノカーボン膜に電圧が印加されることで、撮像素子への光の入射が制御される[A02]乃至[A04]のいずれか1項に記載の撮像装置。
[A06]撮像素子に設けられた調光装置の動作を制御する薄膜トランジスタが撮像素子に設けられている[A05]に記載の撮像装置。
[A07]画素信号読出し装置の制御下、選択された撮像素子から画素信号読み出しが行われ、且つ、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われる[A05]又は[A06]に記載の撮像装置。
[A08]第1ナノカーボン膜及び第2ナノカーボン膜にパルス状の電圧がランダムに印加される[A05]乃至[A07]のいずれか1項に記載の撮像装置。
[A09]第1ナノカーボン膜及び第2ナノカーボン膜へのパルス状の電圧の印加時間の積算値は一定である[A08]に記載の撮像装置。
[A10]被写体の動きを検出する動き検出回路を更に備えており、
 動き検出回路による被写体の動き検出の有無に基づき、画素信号読出し装置によってアナログ-デジタル変換器をランダムに作動させる状態を変える[A01]乃至[A09]のいずれか1項に記載の撮像装置。
[B01]《本開示の第2の態様に係る撮像装置》
 第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子、
 画素信号読出し装置、及び、
 読出しアンプ、
を備えており、
 画素信号読出し装置によって読出しアンプがランダムに作動させられることで、撮像素子の画素信号読み出しを時間軸でランダムに行う撮像装置。
[B02]第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
 K×L個の撮像素子によって、第1の方向にI個、第2の方向にJ個の撮像素子ユニットが構成されており、
 第(i,j)番目(但し、i=1,2・・・Iであり、j=1,2・・・Jである)の撮像素子ユニットは、第1の方向にKi個、第2の方向にLj個の撮像素子から構成されており、
 第(i,j)番目の撮像素子ユニットにおいて、Ki個の読出しアンプが配置されており、
 第(i,j)番目の撮像素子ユニットにおいて、画素信号読出し装置によって、読出しアンプがランダムに作動させられることで、(Ki×Lj)個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる[B01]に記載の撮像装置。
[B03]第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
 読出しアンプは、第2の方向に沿って配列されたL個の撮像素子から構成された撮像素子群に1つ配置されており、
 画素信号読出し装置によって読出しアンプがランダムに作動させられることで、第1の方向に配列されたK個の撮像素子の内、K個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる[B01]に記載の撮像装置。
[B04]第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
 読出しアンプは、1つの撮像素子に1つ配置されており、
 画素信号読出し装置によって読出しアンプがランダムに作動させられることで、K×L個の撮像素子の内、K×L個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる[B01]に記載の撮像装置。
[B05]撮像素子は、受光素子、及び、受光素子の光入射側に配置された調光装置を備えており、
 調光装置は、第1ナノカーボン膜、第1中間層、誘電体材料層及び第2中間層が積層された調光層が、M層(但し、M≧1)、積層され、更に、第M番目の調光層を構成する第2中間層の上には第2ナノカーボン膜が形成されて成り、
 画素信号読出し装置の制御下、第1ナノカーボン膜及び第2ナノカーボン膜に電圧が印加されることで、撮像素子への光の入射が制御される[B02]乃至[B04]のいずれか1項に記載の撮像装置。
[B06]撮像素子に設けられた調光装置の動作を制御する薄膜トランジスタが撮像素子に設けられている[B05]に記載の撮像装置。
[B07]画素信号読出し装置の制御下、選択された撮像素子から画素信号読み出しが行われ、且つ、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われる[B05]又は[B06]に記載の撮像装置。
[B08]第1ナノカーボン膜及び第2ナノカーボン膜にパルス状の電圧がランダムに印加される[B05]乃至[B07]のいずれか1項に記載の撮像装置。
[B09]第1ナノカーボン膜及び第2ナノカーボン膜へのパルス状の電圧の印加時間の積算値は一定である[B08]に記載の撮像装置。
[B10]被写体の動きを検出する動き検出回路を更に備えており、
 動き検出回路による被写体の動き検出の有無に基づき、画素信号読出し装置によって読出しアンプをランダムに作動させる状態を変える[B01]乃至[B09]のいずれか1項に記載の撮像装置。
[C01]第1ナノカーボン膜及び第2ナノカーボン膜に電圧が印加されることで、調光層における光透過率が制御される[A05]乃至[A09]又は[B05]乃至[B09]のいずれか1項に記載の撮像装置。
[C02]Kが奇数の場合、奇数番目の第1ナノカーボン膜は、第1配線に接続され、偶数番目の第1ナノカーボン膜及び第2ナノカーボン膜は、第2配線に接続されており、
 Kが偶数の場合、奇数番目の第1ナノカーボン膜及び第2ナノカーボン膜は、第1配線に接続され、偶数番目の第1ナノカーボン膜は、第2配線に接続されている[C01]に記載の撮像装置。
[C03]第1ナノカーボン膜は、グラフェン、カーボンナノチューブ又はフラーレンから構成されており、第2ナノカーボン膜は、グラフェン、カーボンナノチューブ又はフラーレンから構成されている[C01]又は[C02]に記載の撮像装置。
[C04]第1中間層及び第2中間層を構成する材料は、二酸化チタン、チッ化チタン、酸化クロム、アモルファスシリコン、フッ化マグネシウム、窒化珪素及び酸化ケイ素から成る群から選択された少なくとも1種類の材料である[C01]乃至[C03]のいずれか1項に記載の撮像装置。
[D01]《第2の構成の調光装置》
 撮像素子は、受光素子、及び、受光素子の光入射側に配置された調光装置を備えており、
 調光装置は、一対の電極、及び、一対の電極に挟まれた調光層を備えており、
 調光層は、第1誘電体材料層、第1中間層、第1導電型の不純物がドーピングされた、又は、不純物がドーピングされていない第1ナノカーボン膜、第1導電型とは導電型が異なる第2導電型の不純物がドーピングされた、又は、不純物がドーピングされていない第2ナノカーボン膜、第2中間層及び第2誘電体材料層の積層構造を有し、
 画素信号読出し装置の制御下、一対の電極に電圧が印加されることで、撮像素子への光の入射が制御される[A02]乃至[A04]又は[B02]乃至[B04]のいずれか1項に記載の撮像装置。
[D02]撮像素子に設けられた調光装置の動作を制御する薄膜トランジスタが撮像素子に設けられている[D01]に記載の撮像装置。
[D03]画素信号読出し装置の制御下、選択された撮像素子から画素信号読み出しが行われ、且つ、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われる[D01]又は[D02]に記載の撮像装置。
[D04]一対の電極にパルス状の電圧がランダムに印加される[D01]乃至[D03]のいずれか1項に記載の撮像装置。
[D05]一対の電極に電圧が印加されることで第1ナノカーボン膜及び/又は第2ナノカーボン膜に生じる電荷量が制御され、以て、調光層における光透過率が制御される[D01]乃至[D04]のいずれか1項に記載の撮像装置。
[D06]N層の調光層、及び、(N+1)個の電極を備えており、
 N層の調光層、及び、(N+1)個の電極は、交互に積層されており、
 奇数番目の電極は第1配線に接続され、偶数番目の電極は第2配線に接続されている[D01]乃至[D05]のいずれか1項に記載の撮像装置。
[D07]第1導電型はn型であり、第2導電型はp型であり、
 第1ナノカーボン膜と第1誘電体材料層を介して対向する第1電極には、第2ナノカーボン膜と第2誘電体材料層を介して対向する第2電極よりも高い電圧が印加される[D01]乃至[D06]のいずれか1項に記載の撮像装置。
[D08]第1ナノカーボン膜は、グラフェン、カーボンナノチューブ又はフラーレンから構成されており、第2ナノカーボン膜は、グラフェン、カーボンナノチューブ又はフラーレンから構成されている[D01]乃至[D07]のいずれか1項に記載の撮像装置。
[D09]第1中間層及び第2中間層を構成する材料は、二酸化チタン、チッ化チタン、酸化クロム、アモルファスシリコン、フッ化マグネシウム、窒化珪素及び酸化ケイ素から成る群から選択された少なくとも1種類の材料である[D01]乃至[D08]のいずれか1項に記載の撮像装置。
[E01]《第3の構成の調光装置》
 撮像素子は、受光素子、及び、受光素子の光入射側に配置された調光装置を備えており、
 調光装置は、一対の電極、及び、一対の電極に挟まれた調光層を備えており、
 調光層は、第1誘電体材料層、第1中間層、不純物がドーピングされた、又は、不純物がドーピングされていないナノカーボン膜、第2中間層、及び、第2誘電体材料層の積層構造を有し、
 一対の電極に印加される電圧と異なる電圧がナノカーボン膜に印加される[A02]乃至[A04]又は[B02]乃至[B04]のいずれか1項に記載の撮像装置。
[E02]撮像素子に設けられた調光装置の動作を制御する薄膜トランジスタが撮像素子に設けられている[E01]に記載の撮像装置。
[E03]画素信号読出し装置の制御下、選択された撮像素子から画素信号読み出しが行われ、且つ、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われる[E01]又は[E02]に記載の撮像装置。
[E04]一対の電極にパルス状の電圧がランダムに印加される[E01]乃至[E03]のいずれか1項に記載の撮像装置。
[E05]不純物はp型であり、
 ナノカーボン膜には、一対の電極に印加される電圧よりも高い電圧が印加される[E01]乃至[E04]のいずれか1項に記載の撮像装置。
[E06]不純物はn型であり、
 ナノカーボン膜には、一対の電極に印加される電圧よりも低い電圧が印加される[E01]乃至[E04]のいずれか1項に記載の撮像装置。
[E07]ナノカーボン膜は、グラフェン、カーボンナノチューブ又はフラーレンから構成されている[E01]乃至[E06]のいずれか1項に記載の撮像装置。
[E08]第1中間層及び第2中間層を構成する材料は、二酸化チタン、チッ化チタン、酸化クロム、アモルファスシリコン、フッ化マグネシウム、窒化珪素及び酸化ケイ素から成る群から選択された少なくとも1種類の材料である[E01]乃至[E07]のいずれか1項に記載の撮像装置。
[F01]《第4の構成の調光装置》
 撮像素子は、受光素子、及び、受光素子の光入射側に配置された調光装置を備えており、
 調光装置は、一対の電極、及び、一対の電極に挟まれたP層(但し、P≧1)の調光層が積層された積層構造体を備えており、
 第p番目の調光層(但し、1≦p≦P)は、第1誘電体材料層、第1中間層、n型の不純物がドーピングされた、又は、不純物がドーピングされていない第1ナノカーボン膜、第2中間層、第2誘電体材料層、第3中間層、p型の不純物がドーピングされた、又は、不純物がドーピングされていない第2ナノカーボン膜、及び、第4中間層の積層構造を有し、
 第P番目の調光層にあっては、更に、第4中間層の上に第3誘電体材料層が形成されており、
 第2ナノカーボン膜には、第1ナノカーボン膜と異なる電圧が印加される[A02]乃至[A04]又は[B02]乃至[B04]のいずれか1項に記載の撮像装置。
[F02]撮像素子に設けられた調光装置の動作を制御する薄膜トランジスタが撮像素子に設けられている[F01]に記載の撮像装置。
[F03]画素信号読出し装置の制御下、選択された撮像素子から画素信号読み出しが行われ、且つ、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われる[F01]又は[F02]に記載の撮像装置。
[F04]一対の電極にパルス状の電圧がランダムに印加される[F01]乃至[F03]のいずれか1項に記載の撮像装置。
[F05]一対の電極には、第2ナノカーボン膜に印加される電圧以下の電圧であって、第1ナノカーボン膜に印加される電圧以上の電圧が印加される[F01]乃至[F04]のいずれか1項に記載の撮像装置。
[F06]第1ナノカーボン膜は第1配線に接続され、第2ナノカーボン膜は第2配線に接続されている[F01]乃至[F05]のいずれか1項に記載の撮像装置。
[F07]第1ナノカーボン膜は、グラフェン、カーボンナノチューブ又はフラーレンから構成されており、第2ナノカーボン膜は、グラフェン、カーボンナノチューブ又はフラーレンから構成されている[F01]乃至[F06]のいずれか1項に記載の撮像装置。
[F08]第1中間層、第2中間層、第3中間層及び第4中間層を構成する材料は、二酸化チタン、チッ化チタン、酸化クロム、アモルファスシリコン、フッ化マグネシウム、窒化珪素及び酸化ケイ素から成る群から選択された少なくとも1種類の材料である[F01]乃至[F07]のいずれか1項に記載の撮像装置。
[G01]ランダムパルス電圧を発生させ、発生させたランダムパルス電圧を調光装置を備えた撮像素子に送出するランダムパルス電圧発生・送出装置を有する[C01]乃至[F07]のいずれか1項に記載の撮像装置。
[G02]調光装置を備えた複数の撮像素子に対して、ランダムパルス電圧発生・送出装置が1つ配されている[G01]に記載の撮像装置。
[G03]ランダムパルス電圧は正負の極性を有する[G01]又は[G02]に記載の撮像装置。
[H01]調光装置を備えた撮像素子によって得られた出力信号に基づき算出されたパルス電圧が印加される[C01]乃至[G03]のいずれか1項に記載の撮像装置。
[H02]調光装置を備えた撮像素子からの画像出力信号が空間的及び時間的に間引かれることによって画像出力信号が圧縮される[C01]乃至[G01]のいずれか1項に記載の撮像装置。
[H03]2次元マトリクス状に配列された撮像素子は、第1半導体チップに設けられており、
 ランダムパルス電圧を発生させ、発生させたランダムパルス電圧を調光装置を備えた撮像素子に送出するランダムパルス電圧発生・送出装置が、第2半導体チップに設けられており、
 第1半導体チップと第2半導体チップは積層されており、
 調光装置とランダムパルス電圧発生・送出装置とは、スルー・シリコン・ビアを介して接続されており、又は、バンプを介して接続されている[C01]乃至[H02]のいずれか1項に記載の撮像装置。
[H04]撮像素子は裏面照射型である[H03]に記載の撮像装置。
[H05]ランダムパルス電圧を発生させ、発生させたランダムパルス電圧を調光装置を備えた撮像素子に送出するランダムパルス電圧発生・送出装置が備えられており、
 調光装置とランダムパルス電圧発生・送出装置とは、ナノカーボン膜又は透明導電材料層から成る接続配線で接続されている[C01]乃至[H04]のいずれか1項に記載の撮像装置。
[H06]撮像素子は、第1の方向及び第2の方向に2次元マトリクス状に配列されており、
 第1ナノカーボン膜は、第1の方向に延び、第1の方向に配列された撮像素子において共通であり、
 第2ナノカーボン膜は、第2の方向に延び、第2の方向に配列された撮像素子において共通であり、
 第1ナノカーボン膜には正極性のランダムパルス電圧が印加されると共に、第2ナノカーボン膜には負極性のランダムパルス電圧が印加される[C01]乃至[H05]のいずれか1項(但し、[A06]、[B06]、[D02]、[E02]及び[F02]を除く)に記載の撮像装置。
[H07]第1の方向に延びる第1ナノカーボン膜の端部は、櫛形電極状にパターニングされており、
 第2の方向に延びる第2ナノカーボン膜の端部は、櫛形電極状にパターニングされている[H06]に記載の撮像装置。
[J01]《画素信号読み出し方法・・・第1の態様/アナログ-デジタル変換器》
 第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子、
 画素信号読出し装置、及び、
 アナログ-デジタル変換器、
を備えた撮像装置における画素信号読み出し方法であって、
 画素信号読出し装置によってアナログ-デジタル変換器をランダムに作動させることで、撮像素子の画素信号読み出しを時間軸でランダムに行う画素信号読み出し方法。
[J02]《画素信号読み出し方法・・・第2の態様/読出しアンプ》
 第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子、
 画素信号読出し装置、及び、
 読出しアンプ、
を備えた撮像装置における画素信号読み出し方法であって、
 画素信号読出し装置によって読出しアンプをランダムに作動させることで、撮像素子の画素信号読み出しを時間軸でランダムに行う画素信号読み出し方法。
11・・・撮像素子ユニット11、12,121,122・・・撮像素子、131,132,133,134,135,136,137,138・・・アナログ-デジタル変換器(AD変換器)、141,142,143,144,145,146,147,148・・・スイッチング素子、151,152,153,154,155,156,157,158・・・読出しアンプ、16・・・画素信号読出し装置(画素信号読出し回路)、100,200,200’,3001,3002,400・・・調光装置、211,212,311,312,411,412・・・電極、113,113M,213,313,413・・・調光層、413’・・・調光層の積層構造体、114,214,314,414・・・第1ナノカーボン膜、115,215,415・・・第2ナノカーボン膜、116・・・誘電体材料層、216A,316A,416A・・・第1誘電体材料層、216B,316B,416B・・・第2誘電体材料層、416C・・・第3誘電体材料層、117A,217A,317A,417A・・・第1中間層、117B,217B,317B,417B・・・第2中間層、417C・・・第3中間層、417D・・・第4中間層、118,218,418・・・第1配線、119,219,419・・・第2配線、21・・・調光装置、22・・・シリコン半導体基板、23・・・層間絶縁膜、24・・・保護膜、25・・・カラーフィルター層(あるいは、平坦化膜)、26・・・集光レンズ(オンチップレンズ)、27・・・受光素子(フォトセンサ、フォトダイオード、光電変換素子)、28・・・遮光膜、29A・・・層間絶縁層、29B・・・保護膜、31・・・垂直走査回路、32・・・水平走査回路、33・・・水平転送回路、41・・・蓄積電荷検出回路、42・・・電圧保持容量、511・・・第1半導体チップ、521・・・第2半導体チップ、522・・・ランダムパルス電圧発生・送出装置、523・・・各種回路、531・・・スルー・シリコン・ビア(TSV)、532・・・パッド部、541・・・信号処理部、542・・・メモリ部、543・・・データ処理部、544・・・制御部、545・・・電流源、546・・・デコーダ、547・・・行デコーダ、548・・・インターフェース(IF)部、549・・・列デコーダ/センスアンプ、551・・・比較器(コンパレータ)、552・・・カウンタ部、554・・・ランプ電圧生成器(参照電圧生成部)、555・・・データラッチ部、556・・・パラレル-シリアル変換部(パラシリ変換部)、R1,G1,B1,IR1・・・撮像素子

Claims (20)

  1.  第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子、
     画素信号読出し装置、及び、
     アナログ-デジタル変換器、
    を備えており、
     画素信号読出し装置によってアナログ-デジタル変換器がランダムに作動させられることで、撮像素子の画素信号読み出しを時間軸でランダムに行う撮像装置。
  2.  第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
     K×L個の撮像素子によって、第1の方向にI個、第2の方向にJ個の撮像素子ユニットが構成されており、
     第(i,j)番目(但し、i=1,2・・・Iであり、j=1,2・・・Jである)の撮像素子ユニットは、第1の方向にKi個、第2の方向にLj個の撮像素子から構成されており、
     第(i,j)番目の撮像素子ユニットにおいて、Ki個のアナログ-デジタル変換器が配置されており、
     第(i,j)番目の撮像素子ユニットにおいて、画素信号読出し装置によって、アナログ-デジタル変換器がランダムに作動させられることで、(Ki×Lj)個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる請求項1に記載の撮像装置。
  3.  第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
     アナログ-デジタル変換器は、第2の方向に沿って配列されたL個の撮像素子から構成された撮像素子群に1つ配置されており、
     画素信号読出し装置によってアナログ-デジタル変換器がランダムに作動させられることで、第1の方向に配列されたK個の撮像素子の内、K個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる請求項1に記載の撮像装置。
  4.  第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
     アナログ-デジタル変換器は、1つの撮像素子に1つ配置されており、
     画素信号読出し装置によってアナログ-デジタル変換器がランダムに作動させられることで、K×L個の撮像素子の内、K×L個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる請求項1に記載の撮像装置。
  5.  撮像素子は、受光素子、及び、受光素子の光入射側に配置された調光装置を備えており、
     調光装置は、第1ナノカーボン膜、第1中間層、誘電体材料層及び第2中間層が積層された調光層が、M層(但し、M≧1)、積層され、更に、第M番目の調光層を構成する第2中間層の上には第2ナノカーボン膜が形成されて成り、
     画素信号読出し装置の制御下、第1ナノカーボン膜及び第2ナノカーボン膜に電圧が印加されることで、撮像素子への光の入射が制御される請求項2に記載の撮像装置。
  6.  画素信号読出し装置の制御下、選択された撮像素子から画素信号読み出しが行われ、且つ、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われる請求項5に記載の撮像装置。
  7.  第1ナノカーボン膜及び第2ナノカーボン膜にパルス状の電圧がランダムに印加される請求項5に記載の撮像装置。
  8.  第1ナノカーボン膜及び第2ナノカーボン膜へのパルス状の電圧の印加時間の積算値は一定である請求項7に記載の撮像装置。
  9.  被写体の動きを検出する動き検出回路を更に備えており、
     動き検出回路による被写体の動き検出の有無に基づき、画素信号読出し装置によってアナログ-デジタル変換器をランダムに作動させる状態を変える請求項1に記載の撮像装置。
  10.  第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子、
     画素信号読出し装置、及び、
     読出しアンプ、
    を備えており、
     画素信号読出し装置によって読出しアンプがランダムに作動させられることで、撮像素子の画素信号読み出しを時間軸でランダムに行う撮像装置。
  11.  第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
     K×L個の撮像素子によって、第1の方向にI個、第2の方向にJ個の撮像素子ユニットが構成されており、
     第(i,j)番目(但し、i=1,2・・・Iであり、j=1,2・・・Jである)の撮像素子ユニットは、第1の方向にKi個、第2の方向にLj個の撮像素子から構成されており、
     第(i,j)番目の撮像素子ユニットにおいて、Ki個の読出しアンプが配置されており、
     第(i,j)番目の撮像素子ユニットにおいて、画素信号読出し装置によって、読出しアンプがランダムに作動させられることで、(Ki×Lj)個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる請求項10に記載の撮像装置。
  12.  第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
     読出しアンプは、第2の方向に沿って配列されたL個の撮像素子から構成された撮像素子群に1つ配置されており、
     画素信号読出し装置によって読出しアンプがランダムに作動させられることで、第1の方向に配列されたK個の撮像素子の内、K個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる請求項10に記載の撮像装置。
  13.  第1の方向にK個、第2の方向にL個の、合計、K×L個の撮像素子が配列されており、
     読出しアンプは、1つの撮像素子に1つ配置されており、
     画素信号読出し装置によって読出しアンプがランダムに作動させられることで、K×L個の撮像素子の内、K×L個未満の撮像素子がランダムに選択され、選択された撮像素子から画素信号読み出しが行われる請求項10に記載の撮像装置。
  14.  撮像素子は、受光素子、及び、受光素子の光入射側に配置された調光装置を備えており、
     調光装置は、第1ナノカーボン膜、第1中間層、誘電体材料層及び第2中間層が積層された調光層が、M層(但し、M≧1)、積層され、更に、第M番目の調光層を構成する第2中間層の上には第2ナノカーボン膜が形成されて成り、
     画素信号読出し装置の制御下、第1ナノカーボン膜及び第2ナノカーボン膜に電圧が印加されることで、撮像素子への光の入射が制御される請求項11に記載の撮像装置。
  15.  画素信号読出し装置の制御下、選択された撮像素子から画素信号読み出しが行われ、且つ、撮像素子への光入射開始及び光入射完了が時間的にランダムに行われる請求項14に記載の撮像装置。
  16.  第1ナノカーボン膜及び第2ナノカーボン膜にパルス状の電圧がランダムに印加される請求項14に記載の撮像装置。
  17.  第1ナノカーボン膜及び第2ナノカーボン膜へのパルス状の電圧の印加時間の積算値は一定である請求項16に記載の撮像装置。
  18.  被写体の動きを検出する動き検出回路を更に備えており、
     動き検出回路による被写体の動き検出の有無に基づき、画素信号読出し装置によって読出しアンプをランダムに作動させる状態を変える請求項10に記載の撮像装置。
  19.  第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子、
     画素信号読出し装置、及び、
     アナログ-デジタル変換器、
    を備えた撮像装置における画素信号読み出し方法であって、
     画素信号読出し装置によってアナログ-デジタル変換器をランダムに作動させることで、撮像素子の画素信号読み出しを時間軸でランダムに行う画素信号読み出し方法。
  20.  第1の方向及び第2の方向に2次元マトリクス状に配列された撮像素子、
     画素信号読出し装置、及び、
     読出しアンプ、
    を備えた撮像装置における画素信号読み出し方法であって、
     画素信号読出し装置によって読出しアンプをランダムに作動させることで、撮像素子の画素信号読み出しを時間軸でランダムに行う画素信号読み出し方法。
PCT/JP2015/064209 2014-08-05 2015-05-18 撮像装置及び画素信号読み出し方法 WO2016021266A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-159508 2014-08-05
JP2014159508A JP2016039392A (ja) 2014-08-05 2014-08-05 撮像装置及び画素信号読み出し方法

Publications (1)

Publication Number Publication Date
WO2016021266A1 true WO2016021266A1 (ja) 2016-02-11

Family

ID=55263545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064209 WO2016021266A1 (ja) 2014-08-05 2015-05-18 撮像装置及び画素信号読み出し方法

Country Status (2)

Country Link
JP (1) JP2016039392A (ja)
WO (1) WO2016021266A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6401834B1 (ja) * 2017-08-04 2018-10-10 浜松ホトニクス株式会社 透過型光電陰極及び電子管
WO2018235780A1 (ja) * 2017-06-23 2018-12-27 キヤノン株式会社 有機光電変換素子、撮像素子及び撮像装置
US10917107B2 (en) 2017-01-17 2021-02-09 Sony Corporation Analog-digital converter, solid-state image sensing device, and electronic system
CN113169194A (zh) * 2018-08-21 2021-07-23 ams国际有限公司 图像传感器、图像传感器装置以及包括所述两者的计算机断层成像设备
US12007283B2 (en) 2019-02-28 2024-06-11 Panasonic Intellectual Property Management Co., Ltd. Infrared sensor and infrared sensor array

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102650654B1 (ko) * 2016-11-08 2024-03-25 삼성전자주식회사 높은 광전변환 효율과 낮은 암전류를 구현할 수 있는 이미지 센서
JP6706850B2 (ja) * 2016-12-27 2020-06-10 パナソニックIpマネジメント株式会社 撮像装置、カメラ、及び撮像方法
WO2018173347A1 (ja) * 2017-03-22 2018-09-27 三菱電機株式会社 電磁波検出器、電磁波検出器アレイおよび電磁波検出方法
US10827142B2 (en) * 2018-03-02 2020-11-03 Facebook Technologies, Llc Digital pixel array with adaptive exposure

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130194A (ja) * 2008-11-26 2010-06-10 Nikon Corp A/d変換装置および撮像装置
JP2011091535A (ja) * 2009-10-21 2011-05-06 Nikon Corp 撮像装置
JP2012227827A (ja) * 2011-04-21 2012-11-15 Canon Inc 撮像素子及び撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130194A (ja) * 2008-11-26 2010-06-10 Nikon Corp A/d変換装置および撮像装置
JP2011091535A (ja) * 2009-10-21 2011-05-06 Nikon Corp 撮像装置
JP2012227827A (ja) * 2011-04-21 2012-11-15 Canon Inc 撮像素子及び撮像装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10917107B2 (en) 2017-01-17 2021-02-09 Sony Corporation Analog-digital converter, solid-state image sensing device, and electronic system
WO2018235780A1 (ja) * 2017-06-23 2018-12-27 キヤノン株式会社 有機光電変換素子、撮像素子及び撮像装置
JP2019006702A (ja) * 2017-06-23 2019-01-17 キヤノン株式会社 有機光電変換素子、撮像素子及び撮像装置
US11557727B2 (en) 2017-06-23 2023-01-17 Canon Kabushiki Kaisha Organic photoelectric conversion element, image pickup element, and image pickup apparatus
JP6401834B1 (ja) * 2017-08-04 2018-10-10 浜松ホトニクス株式会社 透過型光電陰極及び電子管
WO2019026381A1 (ja) * 2017-08-04 2019-02-07 浜松ホトニクス株式会社 透過型光電陰極及び電子管
JP2019032942A (ja) * 2017-08-04 2019-02-28 浜松ホトニクス株式会社 透過型光電陰極及び電子管
CN110998785A (zh) * 2017-08-04 2020-04-10 浜松光子学株式会社 透过型光电阴极和电子管
US10790129B2 (en) 2017-08-04 2020-09-29 Hamamatsu Photonics K.K. Transmissive photocathode and electron tube
CN110998785B (zh) * 2017-08-04 2022-07-22 浜松光子学株式会社 透过型光电阴极和电子管
CN113169194A (zh) * 2018-08-21 2021-07-23 ams国际有限公司 图像传感器、图像传感器装置以及包括所述两者的计算机断层成像设备
US12007283B2 (en) 2019-02-28 2024-06-11 Panasonic Intellectual Property Management Co., Ltd. Infrared sensor and infrared sensor array

Also Published As

Publication number Publication date
JP2016039392A (ja) 2016-03-22

Similar Documents

Publication Publication Date Title
WO2016021265A1 (ja) 撮像装置及び画素信号読み出し方法
WO2016021266A1 (ja) 撮像装置及び画素信号読み出し方法
WO2015098334A1 (ja) 調光装置、撮像素子及び撮像装置
JP5942901B2 (ja) 固体撮像素子および電子機器
KR102628546B1 (ko) 촬상 소자, 적층형 촬상 소자 및 고체 촬상 장치
KR102595958B1 (ko) 촬상 소자, 적층형 촬상 소자 및 고체 촬상 장치
KR102582170B1 (ko) 촬상소자, 적층형 촬상소자 및 고체 촬상 장치
US11430833B2 (en) Imaging element, laminated imaging element, and solid-state imaging device
KR102604847B1 (ko) 촬상 소자, 적층형 촬상 소자 및 고체 촬상 장치
TWI816679B (zh) 攝像元件、積層型攝像元件及固體攝像裝置
CN111052382A (zh) 摄像元件、层叠式摄像元件和固态摄像装置
JP7347487B2 (ja) 撮像素子、積層型撮像素子及び固体撮像装置、並びに、固体撮像装置の駆動方法
WO2015060010A1 (ja) 調光装置、撮像素子及び撮像装置、並びに、調光装置の光透過率制御方法
JP7392767B2 (ja) 撮像素子、積層型撮像素子及び固体撮像装置
JP2023063537A (ja) 撮像素子、積層型撮像素子及び固体撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15830148

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15830148

Country of ref document: EP

Kind code of ref document: A1