WO2019012369A1 - 撮像装置、及び電子機器 - Google Patents

撮像装置、及び電子機器 Download PDF

Info

Publication number
WO2019012369A1
WO2019012369A1 PCT/IB2018/054888 IB2018054888W WO2019012369A1 WO 2019012369 A1 WO2019012369 A1 WO 2019012369A1 IB 2018054888 W IB2018054888 W IB 2018054888W WO 2019012369 A1 WO2019012369 A1 WO 2019012369A1
Authority
WO
WIPO (PCT)
Prior art keywords
transistor
signal line
signal
electrically connected
circuit
Prior art date
Application number
PCT/IB2018/054888
Other languages
English (en)
French (fr)
Inventor
山本朗央
福留貴浩
Original Assignee
株式会社半導体エネルギー研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社半導体エネルギー研究所 filed Critical 株式会社半導体エネルギー研究所
Priority to KR1020207003452A priority Critical patent/KR20200028967A/ko
Priority to US16/628,914 priority patent/US10951850B2/en
Priority to JP2019529317A priority patent/JP7144413B2/ja
Priority to CN201880045145.XA priority patent/CN110832845B/zh
Priority to EP18831474.4A priority patent/EP3654635A4/en
Publication of WO2019012369A1 publication Critical patent/WO2019012369A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/48—Analogue computers for specific processes, systems or devices, e.g. simulators
    • G06G7/60—Analogue computers for specific processes, systems or devices, e.g. simulators for living beings, e.g. their nervous systems ; for problems in the medical field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses

Definitions

  • One embodiment of the present invention relates to an imaging device and an electronic device.
  • one embodiment of the present invention is not limited to the above technical field.
  • the technical field of one embodiment of the invention disclosed in the present specification and the like relates to an object, a method, or a method of manufacturing.
  • one embodiment of the present invention relates to a semiconductor device, a display device, a light-emitting device, a power storage device, a memory device, a driving method thereof, or a manufacturing method thereof.
  • a semiconductor device refers to an element, a circuit, a device, or the like that can function by utilizing semiconductor characteristics.
  • a semiconductor element such as a transistor or a diode is a semiconductor device.
  • a circuit including a semiconductor element is a semiconductor device.
  • a device including a circuit including a semiconductor element is a semiconductor device.
  • IoT Internet of things
  • AI Artificial Intelligence
  • the amount of data of image data increases with the increase in resolution and gradation of a display device, an efficient management method is required. Further, the increase in the amount of data increases the amount of calculation for processing image data, so the power consumption and the calculation processing time also increase.
  • Patent Document 1 discloses a technique for adding an arithmetic function to an imaging device.
  • an imaging apparatus provided with a solid-state imaging device such as a CMOS image sensor, high-quality images can be easily taken by technological development. In the next generation, it is required that the imaging apparatus be equipped with more intelligent functions.
  • advanced image processing In order to recognize an object from image data, advanced image processing is required.
  • advanced image processing various analysis processes for analyzing an image, such as filtering process and comparison operation process, are used.
  • analysis processing for image processing the amount of computation increases according to the number of pixels to be processed, and the processing time increases according to the amount of computation. For example, in an in-vehicle image system or the like, there is a problem that an increase in processing time affects safety. In addition, in the image system, there is a problem that the power consumption increases due to the increase in the amount of calculation.
  • an object of one embodiment of the present invention is to provide an imaging device with a novel configuration.
  • an object of one embodiment of the present invention is to provide an imaging device having a pooling layer of a neural network.
  • an object of one embodiment of the present invention is to provide an imaging device with a novel configuration which can reduce the amount of calculation and shorten the processing time.
  • an object of one embodiment of the present invention is to provide an imaging device with a novel structure which can reduce power consumption.
  • One embodiment of the present invention is an imaging device having a neural network interface, wherein the imaging device includes a pixel area (10), a first circuit (11), a second circuit (12), and a third.
  • the pixel region includes a plurality of pixels (P), and the pixel includes a first transistor (25), a circuit (13), a fourth circuit (14), and a first signal line Wx.
  • the fourth circuit has a neural network interface.
  • the pixel is electrically connected to the third circuit through the first signal line Wx, the third circuit is electrically connected to the fourth circuit, and the first circuit is a scan signal to the pixel
  • the second circuit has a function of applying a weight potential to the pixel selected by the scanning signal.
  • the pixel has a function of obtaining a first signal by photoelectric conversion from light, and the pixel has a function of multiplying a first signal by a first transistor and a weight potential by a first transistor.
  • the transistor of has a function of generating a multiplication term of the first signal, the weight potential, a first offset term (C4), and a second offset term (C6).
  • the third circuit has a function of subtracting the first offset term
  • the fourth circuit has a function of subtracting the second offset term.
  • the fourth circuit has a function of determining a multiplication term, and the fourth circuit is an imaging device characterized by outputting a determination result through a neural network interface.
  • the second circuit further has a function of applying an offset potential to the pixel selected by the scanning signal, and the pixel generates the second signal by adding the offset potential to the first signal.
  • the pixel has a function of generating a third signal by adding a weight potential to the offset potential, and the pixel has a fourth function of adding an offset potential and a weight potential to the first signal.
  • Has a function of generating a signal of The first transistor has a function of multiplying the second signal by an arbitrary magnification to generate a fifth signal, and the first transistor multiplies the third signal by an arbitrary magnification and the sixth signal.
  • the first transistor has a function of multiplying the fourth signal by an arbitrary factor to generate a seventh signal.
  • the third circuit has a function of storing a second signal, and the third circuit has a function of generating an eighth signal by computing the seventh signal and the fifth signal. ing.
  • the fourth circuit has a function of storing an eighth signal, and the fourth circuit has a function of generating a ninth signal by calculating the eighth signal and the sixth signal.
  • the multiplication term of the first signal and the weight potential is output to the ninth signal, the fourth circuit has a function of determining the ninth signal, and the fourth circuit is a neural network.
  • an imaging device is characterized in that the determination result is output via an interface.
  • the imaging device further includes an analog-to-digital converter (15), a signal line Pio, and a wiring VRS, and the pixel analog-digital converts the first data via the signal line Pio. It has a function of outputting to a circuit, and has a function of inputting a first potential applied to the wiring VRS to the pixel through the signal line Pio, and supplies the wiring VRS to the pixel through the signal line Pio.
  • the imaging device is characterized in that it functions as a neuron of a neural network when a first potential to be generated is input.
  • the imaging device further includes the wiring VPD, the wiring VDM, the signal line G1, the signal line G2, the signal line G3, the signal line Tx, the signal line Res, the signal line S1, and the signal line S2, Are the photoelectric conversion element (50), the first transistor (21), the second transistor (22), the third transistor (23), the fourth transistor (24), the fifth transistor (25), the fifth The sixth transistor (26), the seventh transistor (27), the first capacitive element (C1), the second capacitive element (C2), and the third capacitive element (C3) are included.
  • the first circuit (11) is electrically connected to the pixel through the signal line G1, the first circuit is electrically connected to the pixel through the signal line G2, and the first circuit is a signal
  • the second circuit (12) is electrically connected to the pixel through the signal line S1, and the second circuit is electrically connected to the pixel through the signal line S2. It is electrically connected.
  • One of the electrodes of the photoelectric conversion element is electrically connected to the wiring VPD
  • the other of the electrodes of the photoelectric conversion element is electrically connected to one of the source or the drain of the first transistor
  • the gate of the first transistor Is electrically connected to the signal line Tx
  • the other of the source or the drain of the first transistor is one of the source or the drain of the second transistor, the gate of the third transistor, and the first capacitive element.
  • the other of the source or the drain of the second transistor is electrically connected to the wiring VRS
  • the gate of the second transistor is electrically connected to the signal line Res.
  • One of the source and the drain of the third transistor is electrically connected to the wiring VDM, and the other of the source and the drain of the third transistor is a fourth transistor.
  • One of the source or the drain and one of the electrodes of the second capacitor element are electrically connected, and the other of the source or the drain of the fourth transistor is electrically connected to the wiring Pio, and the gate of the fourth transistor Is electrically connected to the signal line G3, and the other electrode of the second capacitive element is the gate of the fifth transistor, one of the source or drain of the sixth transistor, and the electrode of the third capacitive element
  • One of the source or the drain of the fifth transistor is electrically connected to the first signal line Wx, and the other one of the source or the drain of the sixth transistor is the signal line S1.
  • the gate of the sixth transistor is electrically connected to the signal line G1, and the other electrode of the third capacitive element is connected to one of the source and the drain of the seventh transistor.
  • the other of the source and the drain of the seventh transistor is electrically connected to the signal line S2, and the gate of the seventh transistor is formed by being electrically connected to the signal line G2.
  • the imaging device further includes the signal line Csw, the signal line Cswb, the signal line Eabs, the signal line Osp, the signal line Ewx, the signal line Mac, and the wiring VIV
  • the third circuit is a current mirror
  • a current mirror circuit includes an eighth transistor (31), a ninth transistor (32), a tenth transistor (33), and an eleventh transistor (34).
  • a twelfth transistor (35) and the memory circuit includes a thirteenth transistor (36), a fourteenth transistor (37), a fifteenth transistor (38), and a fourth capacitive element (C4).
  • the output circuit includes a sixteenth transistor (39) and a resistor element R1.
  • the wiring VDM is electrically connected to one of the source or drain of the eighth transistor (31) and one of the source or drain of the ninth transistor (32), and the gate of the eighth transistor (31) is The eighth transistor is electrically connected to the gate of the ninth transistor (32), one of the source or drain of the tenth transistor (33), and one of the source or drain of the eleventh transistor (34).
  • the other of the source or the drain of (31) is electrically connected to the other of the source or the drain of the tenth transistor (33) and one of the source or the drain of the twelfth transistor (35).
  • the gate of (33) is electrically connected to the signal line Cswb, and the gate of the eleventh transistor (34) is connected to the signal line Csw.
  • the gate of the twelfth transistor (35) is electrically connected to the signal line Eabs, and the other of the source or the drain of the twelfth transistor (35) is connected to the first signal line Wx,
  • the other of the source or drain of the ninth (32) transistor is electrically connected to one of the source or drain of the sixteenth transistor (36), and the other of the source or drain of the eleventh transistor (34);
  • the gate of the fourteenth transistor (37) is electrically connected to one of the source or drain of the thirteenth transistor (36) and one of the fourteenth transistor (37), and the signal line Osp.
  • the other of the source or drain of the fourteenth transistor (37) is one of the source or drain of the fifteenth transistor (38) and the fourth capacitor
  • the gate of the fifteenth transistor (38) is electrically connected to one of the electrodes of the element (C4) and the gate of the thirteenth transistor (36), and is electrically connected to the signal line Res.
  • the other of the source and the drain of the transistor (39) is electrically connected to one of the electrodes of the resistance element R1 and the signal line Mac, and the gate of the sixteenth transistor (39) is electrically connected to the signal line Ewx
  • the other of the electrodes of the resistance element R1 is electrically connected to the wiring VIV.
  • the imaging device further includes the signal line Sh, the signal line CL, the signal line Out, the wiring VCDS, and the wiring JD
  • the fourth circuit includes the CDS circuit and the determination circuit.
  • the CDS circuit includes a fifth capacitance element (C5), a sixth capacitance element (C6), an operational amplifier OP1, and a seventeenth transistor (41), and the determination circuit includes a seventh capacitance element (C7). , An operational amplifier OP2, and an eighteenth transistor (41).
  • the signal line Mac is electrically connected to one of the electrodes of the fifth capacitive element (C5), and the first input terminal of the operational amplifier OP1 is the other of the electrodes of the fifth capacitive element (C5), and the sixth
  • the gate of the seventeenth (41) transistor is electrically connected to the signal line CL.
  • the gate of the seventeenth (41) transistor is electrically connected to one of the electrodes of the capacitor element (C6) and one of the source or drain of the seventeenth transistor (41).
  • the second input terminal of the operational amplifier OP1 is electrically connected to the wiring VCDS, and the output terminal of the operational amplifier OP1 is the other of the electrodes of the sixth capacitive element (C6) and the seventeenth transistor (41)
  • the gate of the eighteenth transistor is electrically connected to the signal line Sh, and the eighteenth transistor is electrically connected to the other of the source or the drain of the transistor and the one of the source or the drain of the eighteenth transistor (42).
  • the other of the source and the drain of the inverter is electrically connected to the first input terminal of the operational amplifier OP2 and one of the electrodes of the seventh capacitive element (C7), and the second input terminal of the operational amplifier OP2 is connected to the wiring JD It is preferable that the imaging device is electrically connected to the output terminal of the operational amplifier OP2 and the signal line Out, and the signal line Out is connected to the neural network.
  • the imaging device further includes a second signal line Wx, a signal line Bsel1, and a switch Bsw.
  • the switch Bsw has a function of electrically connecting the first signal line Wx and the second signal line Wx by a signal applied to the wiring Bsel
  • the third circuit includes the first signal line Wx.
  • a plurality of fifth signals, a plurality of sixth signals, and a plurality of seventh signals are provided from the plurality of connected pixels and the plurality of pixels connected to the second signal line Wx.
  • the third circuit has a function of adding the fifth signal, the sixth signal, and the seventh signal supplied from the respective pixels and then subtracting the first offset term.
  • the imaging apparatus preferably has a function of selecting a selection range of a plurality of pixels according to a signal supplied to the switch Bsw, and the imaging apparatus is preferably an imaging apparatus characterized in that pooling processing according to the selection range of the pixels is performed.
  • the photoelectric conversion element is preferably an imaging device including selenium or a compound containing selenium.
  • an imaging device is preferable in which the thirteenth transistor (36) has the same size as the channel length and the channel width of the fifth transistor (25).
  • the imaging device is characterized in that the second voltage applied to the wiring VIV is smaller than the third voltage applied to the wiring VDM.
  • an imaging device is preferable in which the metal oxide is In, Zn, and M (M is Al, Ti, Ga, Sn, Y, Zr, La, Ce, Nd, or Hf).
  • An electronic device including the imaging device according to any one of the above and a display device is preferable.
  • an aspect of the present invention can provide an imaging device with a novel configuration.
  • one aspect of the present invention can provide an imaging device having a pooling layer of a neural network.
  • one embodiment of the present invention can provide an imaging device with a novel configuration which can reduce the amount of calculation and shorten the processing time.
  • one embodiment of the present invention can provide an imaging device with a novel configuration which can reduce power consumption.
  • the effects of one embodiment of the present invention are not limited to the effects listed above.
  • the above listed effects do not disturb the existence of other effects.
  • the other effects are the effects not mentioned in this item described in the following description.
  • the effects not mentioned in this item can be derived by the person skilled in the art from the description such as the specification or the drawings, and can be appropriately extracted from these descriptions.
  • one embodiment of the present invention has at least one of the effects and / or other effects listed above. Therefore, one aspect of the present invention may not have the effects listed above in some cases.
  • FIG. 2 is a block diagram illustrating an imaging device.
  • FIG. 2 is a circuit diagram illustrating an imaging device.
  • FIG. 2 is a circuit diagram illustrating an imaging device.
  • 7 is a timing chart illustrating the operation of the imaging device.
  • FIG. 3 is a diagram illustrating a configuration of a pixel of an imaging device.
  • FIG. 3 is a diagram illustrating a configuration of a pixel of an imaging device.
  • FIG. 3 is a diagram illustrating a configuration of a pixel of an imaging device.
  • FIG. 3 is a diagram illustrating a configuration of a pixel of an imaging device.
  • FIG. 3 is a diagram illustrating a configuration of a pixel of an imaging device.
  • FIG. 3 is a diagram illustrating a configuration of a pixel of an imaging device.
  • FIG. 3 is a diagram illustrating a configuration of a pixel of an imaging device.
  • BRIEF DESCRIPTION OF THE DRAWINGS The package which accommodated the imaging device, and the perspective view of a module.
  • FIG. 8 is a block diagram illustrating an electronic device.
  • FIG. 2 shows an example of the configuration of an electronic device.
  • FIG. 2 shows an example of the configuration of an electronic device.
  • Embodiment 1 In this embodiment mode, an imaging device which reduces an offset component generated when performing multiplication by a transistor will be described with reference to FIGS.
  • the imaging device 100 is connected to the neural network 17 and the processor 18.
  • the imaging device 100 can output data to the neural network 17 via a neural network interface, and can further output imaging data to the processor 18.
  • the processor 18 can control the imaging device 100 and a neural network.
  • the imaging device 100 includes a pixel area 10, a circuit 11, a circuit 12, circuits 13 (1) to 13 (m / 2), circuits 14 (1) to 14 (m / 2), and an analog digital conversion circuit 15 (1).
  • an analog-to-digital converter 15 (m) To the analog-to-digital converter 15 (m), and the switch module 16 (1) to the switch module (m / 2).
  • the circuit 13, the circuit 14, the analog-to-digital converter circuit 15, and the switch module 16 will be described.
  • m and n are positive integers of 1 or more.
  • the imaging device 100 includes the signal line Pio (1) to the signal line Pio (m), the first signal line Wx to the signal line Wx (m / 2), the signal line Out, the signal line IOsel, the wiring VRS, and a plurality of A switch Bsw, a plurality of switches Bsw2 and a plurality of signal lines Bsel1 are provided. Furthermore, although not shown in FIG. 1, the signal lines G1 (1) to G1 (n), the signal lines G2 (1) to G2 (n), the signal lines G3 (1) to G3 ( n) signal lines S1 (1) to S1 (m) and signal lines S2 (1) to S2 (m).
  • the pixel area 10 includes pixels P (1, 1) to P (m, n).
  • the pixel area 10 can group the pixels P into any selection range.
  • the selection range can be determined by the switch Bsw, the switch Bsw2, the signal line Bsel1, and the signal line Bsel2. Therefore, it is preferable to arrange the switch Bsw, the switch Bsw2, the signal line Bsel1, and the signal line Bsel2 according to the selection range.
  • the pixel P or the pixel P (i, j) in the i-th column and the j-th row of the pixel area is described.
  • i is a positive integer less than or equal to m
  • j is a positive integer less than or equal to n.
  • the range AG1, the range AG2, or the range AG3 indicates a selectable range having different numbers of pixels.
  • the selectable range is not limited to the above, and it is preferable that pixels in different ranges can be selected.
  • the selectable range is the selection range of the pooling process in the neural network.
  • the neural network can reduce the amount of operation and make it easier to obtain features by the pooling process with different selection ranges. Therefore, the imaging apparatus 100 can reduce the operation amount of the neural network, and reduce the power consumption and the processing time by outputting the imaging data subjected to the pooling process to the neural network.
  • the circuit 11 is electrically connected to the pixel extending in the column direction through the signal line G1, and the circuit 11 extends in the column direction through the signal line G2.
  • the circuit 11 is electrically connected to the existing pixel, and the circuit 11 is electrically connected to the pixel extending in the column direction through the signal line G3.
  • Circuit 12 is electrically connected to the pixels extending in the row direction through signal line S1, and circuit 12 is electrically connected to the pixels extending in the row direction through signal line S2.
  • the pixel P (1,1) to the pixel P (2, n) are electrically connected to the circuit 13 (1) through the first signal line Wx, and the circuit 13 (1) is , And the circuit 14 (1).
  • the output of the circuit 14 (1) is electrically connected to the neural network via the signal line Out.
  • the circuit 11 has a function of providing a scan signal to the pixel P (i, j) through the signal line G1 (j) to the signal line G3 (j), and the circuit 12 selects the pixel P selected by the scan signal
  • the offset potential W and the weight potential w (i, j) can be given to i, j).
  • the pixel P (i, j) can obtain the first signal by photoelectric conversion from light. Furthermore, the pixel P (i, j) can generate a second signal by adding an offset potential to the first signal. In addition, the pixel P (i, j) can generate a third signal by adding a weight potential to the offset potential. In addition, the pixel P (i, j) can generate a fourth signal by adding the offset potential and the weight potential to the first signal.
  • the pixel P (i, j) can multiply the second signal by an arbitrary magnification to generate a fifth signal. Also, the pixel P (i, j) can generate the sixth signal by multiplying the third signal by an arbitrary magnification. In addition, the pixel P (i, j) can generate the seventh signal by multiplying the fourth signal by an arbitrary magnification.
  • the circuit 13 can store the second signal. Furthermore, the circuit 13 can generate an eighth signal by calculating the seventh signal and the fifth signal.
  • the circuit 14 can store an eighth signal. Furthermore, the circuit 14 can generate a ninth signal by calculating the eighth signal and the sixth signal. The multiplication term of the first signal and the weight potential is output as the ninth signal. Therefore, the circuit 14 can output the determination result of the ninth signal to the neural network. That is, the circuit 14 has the function of a neural network interface.
  • the pixel P (1, 1) is electrically connected to the switch module 16 (1) via the signal line Pio (1).
  • the switch module (1) can connect the signal line Pio (1) to either the analog-to-digital converter 15 (1) or the wiring VRS by a signal supplied to the signal line IOsel.
  • the pixel P (1, 1) functions as an imaging device by providing the first data to the analog-to-digital converter 15 (1) through the signal line Pio.
  • the pixel P (1, 1) functions as a neuron of a neural network.
  • the imaging device 100 further includes a signal line Tx, a signal line Res, a signal line Csw, a signal line Cswb, a signal line Eabs, a signal line Osp, a signal line Ewx, a signal line Mac, a signal line Sh, a signal line CL, and a signal line Out. And a wiring VPD, a wiring VDM, a wiring VRS, a wiring VIV, a wiring VCDS, a wiring JD, and a wiring GND.
  • the pixel P (i, j) includes a photoelectric conversion element 50, a transistor 21, a transistor 22, a transistor 23, a transistor 24, a transistor 25, a transistor 26, a transistor 27, a capacitive element C1, a capacitive element C2, a capacitive element C3, a node FN1, It has nodes FN2 and FN3.
  • One of the electrodes of the photoelectric conversion element 50 is electrically connected to the wiring VPD, the other of the electrodes of the photoelectric conversion element 50 is electrically connected to one of the source or drain of the transistor 21, and the gate of the transistor 21 is a signal It is electrically connected to the line Tx.
  • the other of the source and the drain of the transistor 21 is electrically connected to one of the source or the drain of the transistor 22, the gate of the transistor 23, and one of the electrodes of the capacitor C1, and the other of the source or the drain of the transistor 22 is
  • the gate of the transistor 22 is electrically connected to the wiring VRS, and the gate of the transistor 22 is electrically connected to the signal line Res.
  • One of the source or drain of the transistor 23 is electrically connected to the wiring VDM, and the other of the source or drain of the transistor 23 is electrically connected to one of the source or drain of the transistor 24 and one of the electrodes of the capacitive element C2. It is connected.
  • the other of the source and the drain of the transistor 24 is electrically connected to the wiring Pio (i), and the gate of the transistor 24 is electrically connected to the signal line G3.
  • the other electrode of the capacitive element C2 is electrically connected to the gate of the transistor 25, one of the source or drain of the transistor 26, and one of the electrodes of the capacitive element C3.
  • One of the source and the drain of the transistor 25 is electrically connected to the signal line Wx.
  • the other of the source and the drain of the transistor 25 is electrically connected to the wiring GND.
  • the other of the source and the drain of the transistor 26 is electrically connected to the signal line S1 (i), and the gate of the transistor 26 is electrically connected to the signal line G1 (j).
  • the other electrode of capacitive element C3 is electrically connected to one of the source or drain of transistor 27, and the other one of the source or drain of transistor 27 is electrically connected to signal line S2 (i).
  • the gate is electrically connected to the signal line G2 (j).
  • the node FN1 is formed by connecting the other of the source and the drain of the transistor 21, one of the source and the drain of the transistor 22, the gate of the transistor 23, and one of the electrodes of the capacitive element C1.
  • the node FN2 is formed by connecting the other of the source and the drain of the transistor 23, one of the source and the drain of the transistor 24, and one of the electrodes of the capacitor C2.
  • the node FN3 is formed by connecting the other electrode of the capacitive element C2, the gate of the transistor 25, one of the source and the drain of the transistor 26, and one of the electrodes of the capacitive element C3.
  • the circuit 13 includes a current mirror circuit, a memory circuit, and an output circuit.
  • the current mirror circuit includes a transistor 31, a transistor 32, a transistor 33, a transistor 34, and a transistor 35.
  • the memory circuit includes a transistor 36, a transistor 37, a transistor 38, and a capacitor C4.
  • the output circuit includes a transistor 39 and a resistance element R1.
  • the wiring VDM is electrically connected to one of the source or drain of the transistor 31 and one of the source or drain of the transistor 32.
  • the gate of the transistor 31 is the gate of the transistor 32 and one of the source or drain of the transistor 33.
  • the source or drain of the transistor 34 is electrically connected.
  • the other of the source or the drain of the transistor 31 is electrically connected to the other of the source or the drain of the transistor 33 and one of the source or the drain of the transistor 35.
  • the gate of the transistor 33 is electrically connected to the signal line Cswb
  • the gate of the transistor 34 is electrically connected to the signal line Csw
  • the gate of the transistor 35 is electrically connected to the signal line Eabs.
  • the other of the source and the drain of the transistor 35 is electrically connected to the signal line Wx and one of the source or the drain of the transistor 39.
  • the other of the source or the drain of the transistor 32 is electrically connected to the other of the source or the drain of the transistor 34, one of the source or the drain of the transistor 36, and one of the transistors 37.
  • the other of the source and the drain of the transistor 36 is electrically connected to the wiring GND.
  • the gate of transistor 37 is electrically connected to signal line Osp, and the other of the source or drain of transistor 37 is one of the source or drain of transistor 38, one of the electrodes of capacitive element C4, and the gate of transistor 36.
  • the gate of the transistor 38 is electrically connected to the signal line Res.
  • the other of the source and the drain of the transistor 38 is electrically connected to the other of the electrodes of the capacitor C4 and the wiring GND.
  • the other of the source and the drain of the transistor 39 is electrically connected to one of the electrodes of the resistive element R1 and the signal line Mac, the gate of the transistor 39 is electrically connected to the signal line Ewx, and the electrode of the resistive element R1 The other is electrically connected to the wiring VIV.
  • the circuit 14 includes a CDS circuit and a determination circuit.
  • the CDS circuit includes a capacitive element C5, a capacitive element C6, an operational amplifier OP1, and a transistor 41.
  • the determination circuit includes a capacitive element C6, an operational amplifier OP2, and a transistor.
  • the signal line Mac is electrically connected to one of the electrodes of the capacitive element C5.
  • the first input terminal of the operational amplifier OP1 is electrically connected to the other of the electrodes of the capacitive element C5, one of the electrodes of the capacitive element C6, and one of the source or drain of the transistor 41.
  • the gate of the transistor 41 is electrically connected to the signal line CL.
  • the second input terminal of the operational amplifier OP1 is electrically connected to the wiring VCDS, and the output terminal of the operational amplifier OP1 is the other of the electrode of the capacitive element C6, the other of the source or drain of the transistor 41, and the source of the transistor 42 or the source It is electrically connected to one of the drains.
  • the gate of the transistor 42 is electrically connected to the signal line Sh.
  • the other of the source and the drain of the transistor 42 is electrically connected to the first input terminal of the operational amplifier OP2 and one of the electrodes of the capacitive element C7, and the second input terminal of the operational amplifier OP2 is electrically connected to the wiring JD. It is connected.
  • the output terminal of the operational amplifier OP1 is electrically connected to the signal line Out, and the signal line Out is connected to the neural network.
  • the pixel P (i, j) preferably has two functions.
  • the first function has a function as an imaging device.
  • the second function functions as a neuron and has a function of multiplying imaging data by a weighting factor.
  • the weighting factor is preferably given by voltage as a weighting potential.
  • the imaging data vi (i, j) is output to the signal line Pio (i) through the transistor 24.
  • the imaging data vi (i, j) is supplied to the analog-to-digital converter 15 (i) via the switch module 16 (i / 2), and the analog-to-digital converter (i) i, j) can be output to processor 18;
  • a potential as a power supply of the photoelectric conversion element 50 is applied to the wiring VPD, and a reset potential for resetting the node FN1 is applied to the wiring VRS through the transistor 22.
  • the transistor 21 is turned on by a signal supplied to the signal line Tx, and the photoelectric conversion element 50 can supply a photocurrent generated by photoelectric conversion to the capacitive element C1.
  • the photocurrent applied to the capacitive element C1 is voltage-converted by the capacitive element C1 to update the node FN1.
  • a voltage lower than the potential of the node FN1 by the threshold voltage Vth23 of the transistor 23 is applied to the node FN2 as imaging data vi (i, j).
  • the imaging data vi (i, j) is output to the signal line Pio (i) through the transistor 24, and is further applied to the analog-to-digital converter 15 (i) through the signal line Pio (i).
  • the imaging data vi (i, j) corresponds to a first signal.
  • the pixel P (i, j) can have the multiplication function of the product-sum operation function of a neuron.
  • the pixel P (i, j) can perform multiplication using a transistor by controlling the node FN3 with the capacitor C2, the capacitor C3, and the transistors 25 to 27. That is, the pixel P (i, j) can obtain a multiplication result as a change in the potential of the node FN3 as a change in the drain current of the transistor 25.
  • the drain current Id of the transistor 25 can be expressed by equation (1).
  • variable ⁇ can be expressed by equation (2).
  • the variable ⁇ is a variable that the transistor 25 has.
  • the weighting potential w (i, j) is applied to the node FN3 from the signal line S1 (i) through the transistor 26.
  • the reset potential applied to the wiring VRS is supplied to the node FN2 through the transistor 22, and it is preferable that the imaging data vi (i, j) be obtained when the reset potential is supplied to the node FN1.
  • imaging data vi (i, j) generated by the photoelectric conversion element 50 is supplied to the node FN2. Accordingly, the potential Vgs of the transistor 25 is such that the imaging data vi (i, j) is added to the weight potential w (i, j) stored in the node FN3 via the capacitive element C2. Therefore, the drain current Id of the transistor 25 is expressed by Equation (3).
  • the threshold value Vth of Expression (3) indicates the threshold value of the transistor 25.
  • the potential of the node FN3 is converted by a capacitance ratio A of the capacitive element C2, the capacitive element C3, and the gate capacitance of the transistor 25.
  • the capacity ratio A will be described as 1.
  • Formula (4) can be obtained by expanding and arranging Formula (3.1). Expression (4) can be organized into a multiplication term of imaging data using a transistor 25 and a weight potential, and an offset term A1 (Expression (4.1)) other than the multiplication term.
  • the offset term A1 is preferably reduced by the circuit. Therefore, in the equation (5), in order to reduce the offset term A1, the offset term A2 shown in the equation (5.1) depending on the imaging data vi (i, j) from the equation (3.1) It is preferable to subtract the offset term A3 shown in the dependent equation (5.2).
  • Formula (5.3) can be obtained by expanding Formula (5).
  • Formula (6) can be obtained by arranging each term. Therefore, by subtracting the offset term A2 and the offset term A3 from Expression 3.1, the offset term A1 can be reduced to a size that can be represented only by the threshold value Vth of the transistor 25.
  • the weight potential w (i, j) can be reworded as a weighting factor.
  • the weighting factors can be set from positive values to negative values. However, even if the weighting factor is a negative value, it is preferable that the weighting potential w (i, j) is a positive potential. Therefore, even if the weighting factor is a negative value, it is preferable to add the offset potential W to the weighting potential w (i, j) so that the weighting potential w (i, j) is a positive potential. Therefore, the equation (5.4) adds the offset potential W to each term of the equation (5).
  • Formula (7) can be obtained by expanding and arranging Formula (5.4). Therefore, the offset component of the offset term A1 can be reduced to the offset potential W and the threshold value Vth of the transistor 25.
  • the circuits 13 and 14 are used to subtract the offset components. It is preferable to do.
  • the circuit 13 subtracts the offset term A2 depending on the imaging data vi (i, j) represented by the equation (5.1), and the circuit 14 reduces the weight potential w (i, j) represented by the equation (5.2).
  • An offset term A3 which depends on j) can be subtracted.
  • the offset potential W is applied to the node FN3 from the signal line S1 (i) through the transistor 26.
  • the offset potential W is applied to the other of the electrodes of the capacitive element C3 from the signal line S2 (i) through the transistor 27. Therefore, the same offset potential W is given to any electrode of the capacitive element C3.
  • the reset potential applied to the wiring VRS via the transistor 24 is applied to the node FN2. Further, it is preferable that the node FN1 be supplied with a reset potential through the transistor 22 by a signal supplied to the signal line Res.
  • the potential applied to the wiring GND is applied to the capacitive element C4 through the transistor 38 by the signal applied to the signal line Res.
  • the reset potential may be the same as the potential applied to the wiring VRS, or may be any of the reference potentials of the imaging device 100. Note that the potential applied to the wiring GND may be the same as the reference potential of the imaging device 100.
  • the operational amplifier OP1 forms a voltage follower. Therefore, the potential applied to the wiring VCDS connected to the second input terminal of the operational amplifier OP1 is output to the output terminal of the operational amplifier OP1.
  • the node Cdsin connected to the first input terminal of the operational amplifier OP1 is supplied with the potential supplied to the wiring VCDS through the transistor 41. That is, the capacitive element C6 is reset by the potential applied to the wiring VCDS.
  • the transistor 42 is turned on by the signal supplied to the signal line Sh, and the first input terminal of the operational amplifier OP2 is supplied with the potential supplied to the wiring VCDS output to the output terminal of the operational amplifier OP1.
  • the capacitive element C7 is reset by the potential applied to the wiring VCDS.
  • Vgs of the transistor 25 is a voltage obtained by adding the imaging data vi (i, j) output to the node FN2 via the capacitive element C2 to the offset potential W stored in the node FN3. That is, the second signal is generated by adding the offset potential W to the imaging data vi (i, j).
  • the result of multiplication of the transistor 25 in accordance with the second signal applied to the gate of the transistor 25 is applied to the signal line Wx as a drain current. At this time, the signal applied to the signal line Wx can be used as a fifth signal.
  • the transistors 33, 35, and 37 are turned on by signals supplied to the signal line Eabs, the signal line Cswb, and the signal line Osp.
  • the transistors 33 and 35 are turned on, the transistors 31, 32 and 33 form a circuit of a current mirror.
  • the fifth signal flowing to the transistor 31 is copied to the transistor 32, and is applied to the capacitive element C4 via the transistor 37.
  • the transistor 36 is preferably a transistor having the same channel length and channel width as the transistor 25.
  • Node FN 4 can store a second signal of the same size as node FN 3 as transistor 36 flows a current of the same size as the current flowing through transistor 25.
  • the transistors 33 and 37 are turned off. Furthermore, the weight potential w (i, j) is given to the other of the electrodes of the capacitive element C3 through the transistor 27.
  • the node FN3 generates a fourth signal obtained by adding the weight potential w (i, j) to the second signal.
  • the result of multiplication of the transistor 25 in accordance with the signal applied to the gate of the transistor 25 is applied to the signal line Wx as the drain current. At this time, the signal applied to the signal line Wx can be used as a seventh signal.
  • the signals supplied to the signal line Eabs, the signal line Csw, and the signal line Ewx turn on the transistors 34, 35, and 39.
  • the transistors 34 and 35 With the transistors 34 and 35 turned on, the transistors 31, 32 and 34 form a circuit of a current mirror.
  • the fifth signal flowing to the transistor 32 is copied to the transistor 31, and the fifth signal can be subtracted from the seventh signal flowing to the signal line Wx. Therefore, in the signal line Wx, the offset term A2 depending on the imaging data vi (i, j) is subtracted from the seventh signal.
  • the resistance element R1 is connected to the signal line Wx via the transistor 39.
  • the eighth signal is generated by converting the current obtained by subtracting the fifth signal from the seventh signal into a voltage by the resistor element R1. It is preferable that the potential applied to the wiring VIV be smaller than the power supply voltage of the current mirror circuit applied to the wiring VDM. As an example, when an intermediate potential between the wiring VDM and the reference potential GND of the circuit is applied to the wiring VIV, it is preferable for the weighting factor to calculate either a positive value or a negative value.
  • the eighth signal is applied to the signal line Mac.
  • the eighth signal applied to the wiring Mac is applied to the node Cdsin through the capacitive element C5 included in the circuit 14. Thereafter, the transistor 41 is turned off by the signal supplied to the signal line CL.
  • the node Cdsin can store the eighth signal because it becomes a floating node. Furthermore, the transistor 35 is turned off by the signal applied to the signal line Eabs.
  • the reset potential is applied to the node FN2 through the transistor 24.
  • a third signal obtained by adding the weight potential w (i, j) to the offset potential W is generated.
  • the transistor 25 applies the result multiplied by the signal applied to the gate to the signal line Wx as a drain current.
  • the signal line Mac is provided with a sixth signal generated by converting the potential of the signal line Wx into a voltage by the resistor element R1.
  • the sixth signal is applied to node Cdsin via capacitive element C5.
  • the node Cdsout connected to the output terminal of the operational amplifier OP1 is supplied with a ninth signal generated by subtracting the sixth signal from the eighth signal. Therefore, an offset term A3 dependent on the weight potential w (i, j) is subtracted from the eighth signal from the eighth signal. Therefore, the ninth signal is a multiplication term of the imaging data vi (i, j) and the weight potential w (i, j) as shown by the equation (7), and the offset component is It is possible to reduce the offset term depending on the threshold value Vth.
  • the ninth signal is applied via the transistor 42 to the first input terminal of the operational amplifier OP2.
  • the timing of applying the ninth signal to the operational amplifier OP2 can be controlled by the signal applied to the signal line Sh.
  • the determination voltage is applied to the second input terminal of the operational amplifier OP2 from the wiring JD.
  • the determination result is given to the signal line Out from the output terminal of the operational amplifier OP2.
  • a transistor with small off current is preferable to use as each of the transistor 21, the transistor 22, the transistor 24, the transistor 26, and the transistor 27. Deterioration of imaging data stored in the nodes FN1 and FN2 can be suppressed by using transistors with small off current as the transistors 21, 22 and 24. In addition, deterioration of the second signal, the third signal, and the fourth signal stored in the node FN3 can be suppressed by using a transistor with small off current as the transistor 26 and the transistor 27. A transistor with a small off current is described in detail in Embodiment 2.
  • FIG. 3 shows an example in which a plurality of pixels P (i, j) to pixels P (i + 1, j + 1) are connected to the circuit 13 through the signal line Wx.
  • the number of pixels P connected to the signal line Wx is not limited.
  • a plurality of pixels P included in a range AG selected by the pooling process can be connected to the circuit 13 as shown in FIG.
  • the pixel P has a function of multiplying the imaging data vi (i, j), the weight potential w (i, j), and the offset potential W, and the circuit 13 and the circuit 14 are generated when multiplying by the pixel P And the function of subtracting the offset term.
  • the signal line Wx has a function of adding the outputs of the plurality of pixels P by connecting the plurality of pixels P via the signal line Wx. Therefore, the plurality of pixels P, the circuit 13 and the circuit 14 can have the function of the product-sum operation that the neuron of the neural network has. Therefore, the product-sum operation calculated by the plurality of pixels P, the circuit 13 and the circuit 14 can be expressed by equation (8).
  • reset potential (* 1) is applied to nodes FN1, FN2, and FN4, respectively.
  • the nodes Cdsin and Cdsout are each reset by the potential applied to the wiring VCDS.
  • a signal of “H” is given to the signal line G1 (j) and the signal line G2 (j) to set the signal line S1 (i to the other of the electrodes of the node FN3 and the capacitive element C3 connected to the node FN3.
  • the signal line S2 (i) can apply an offset potential W.
  • the node FN1 can be updated with the imaging data data (i, j) (* 2) output from the photoelectric conversion element 50 through the transistor 21 by applying the signal of “H” to the signal line Tx.
  • the imaging data vi (i, j) (* 3) which is lower than the imaging data data (i, j) by the threshold voltage Vth23 of the transistor 23, is supplied to the node FN2.
  • the imaging data vi (i, j) means the first data.
  • the node FN3 stores a second signal to which the imaging data vi (i, j) and the offset potential are added.
  • the current mirror circuit of FIG. 13 is activated by giving the signal of “L” to the signal line Cswb and the signal line Eabs, and further, the signal of “H” is given to the signal line Osp. Can be copied and stored in the node FN4.
  • the offset potential W and the weight potential w (i) are applied to the other of the electrodes of the capacitive element C3 connected to the node FN3 via the signal line S2 (i).
  • J) can be applied to give a third signal (* 5). Therefore, the fourth signal (* 6) to which the imaging data vi (i, j), the offset potential and the weight potential w (i, j) are added is stored in the node FN3.
  • the fifth signal generated by the transistor 36 can be subtracted from the seventh signal generated by the transistor 25 by applying a signal of “L” to the signal line Csw. Furthermore, at T5, an eighth signal is generated by the resistance element R1 by giving a signal of “H” to the signal line Ewx, and an eighth signal (* 7) to be supplied to the node Cdsin of the circuit 14 is provided. it can.
  • the current mirror circuit of the circuit 13 is stopped by supplying a signal of "H” to the signal line Csw and the signal line Eabs.
  • the eighth signal (* 7) can be stored in the node Cdsin by giving the signal line “L” to the signal line CL.
  • a signal of "H” is applied to the signal line G3 (j) to update the node FN2 with the reset potential. Therefore, the node FN3 is updated to the third signal (* 5), and the ninth signal (* 8) is generated at the node Cdsin of the circuit 14.
  • the ninth signal (* 8) is determined by the determination voltage applied to the wiring JD by providing the signal line “H” to the signal line Sh, and the operational amplifier OP2 determines the determination result Result (*) to the signal line Out. 9) can be given.
  • the timing chart shown in FIG. 4 shows an example in which the pixel P (i, j) in FIG. 2, the circuit 13 and the circuit 14 are used, as shown in FIG. It is good also as composition used.
  • the imaging apparatus 100 perform the pooling process by one imaging using the global shutter method.
  • the imaging apparatus 100 can reduce power consumption and processing time by providing a neural network interface that outputs data after the pooling process.
  • the imaging device 100 can reduce the offset term generated by the multiplication operation of the imaging data vi (i, j) by the pixel P and the weight potential w (i, j).
  • FIG. 5 shows an imaging device 100 having pixels different from those in FIG. In FIG. 5, points different from FIG. 2 will be described.
  • the pixel P (i, j) shown in FIG. 5 further has a signal line Res2 (j), and includes a transistor 27 included in the pixel P (i, j) in FIG. 2 and a capacitive element C3. It is different in not having a point.
  • a reset potential (* 1) is applied to the node FN1, the node FN2, and the node FN4 by applying a signal of “H” to the signal line Res, the signal line Res2, the signal line CL, the signal line Sh, and the signal line G3.
  • the nodes Cdsin and Cdsout are each reset by the potential applied to the wiring VCDS. Further, by applying a signal of "H” to the signal line G1 (j), the offset potential W can be applied to the node FN3 through the signal line S1 (i).
  • the node FN1 can be updated with the imaging data data (i, j) (* 2) output from the photoelectric conversion element 50 through the transistor 21 by providing the signal line “H” to the signal line Tx.
  • the imaging data vi (i, j) means first data.
  • the node FN3 stores a second signal to which the imaging data vi (i, j) and the offset potential are added.
  • the current mirror circuit of FIG. 13 is activated by giving the signal of “L” to the signal line Cswb and the signal line Eabs, and further, by giving the signal of “H” to the signal line Osp, the node FN3 Can be copied and stored in the node FN4.
  • the reset potential (* 1) is applied to the node FN1, the node FN2, and the node FN4 by applying the signal of “H” to the signal line Res, the signal line CL, the signal line Sh, and the signal line G3.
  • a signal of “H” is applied to signal line G1 (j) to add the third potential obtained by adding offset potential W and weight potential w (i, j) to node FN3 via signal line S1 (i).
  • Signal (* 5) can be given.
  • the node FN1 can be updated with the imaging data data (i, j) (* 2) output from the photoelectric conversion element 50 through the transistor 21 by providing the signal line “H” to the signal line Tx. .
  • the imaging data vi (i, j) (* 3) is output to the node FN2. Therefore, the fourth signal (* 6) to which the imaging data vi (i, j), the offset potential and the weight potential w (i, j) are added is stored in the node FN3.
  • the fifth signal generated by the transistor 36 can be subtracted from the seventh signal generated by the transistor 25 by applying a signal of “L” to the signal line Csw.
  • an eighth signal is generated by the resistance element R1 by giving a signal of “H” to the signal line Ewx, and an eighth signal (* 7) to be supplied to the node Cdsin of the circuit 14 is provided. it can.
  • the current mirror circuit of the circuit 13 is stopped by supplying a signal of "H” to the signal line Csw and the signal line Eabs.
  • the eighth signal (* 7) can be stored in the node Cdsin by giving the signal line “L” to the signal line CL.
  • a signal of "H” is applied to the signal line G3 (j) to update the node FN2 with the reset potential. Therefore, the node FN3 is updated with the third signal (* 5), and the ninth signal (* 8) is generated at the node Cdsin of the circuit 14.
  • the ninth signal (* 8) is determined by the determination voltage applied to the wiring JD by providing the signal line “H” to the signal line Sh, and the operational amplifier OP2 determines the determination result Result (* 9) to the signal line Out. ) Can be given.
  • the timing chart shown in FIG. 6 is characterized in that the pixel P (i, j) in FIG. 5 is imaged twice.
  • the imaging device 100 having the pixel P described in FIG. 5 is suitable for use under a light source which is always stable as in the inspection process in a factory.
  • the imaging device 100 can have more pixels P by reducing the components of the pixels P. Therefore, in the inspection process and the like, it is possible to carry out detailed inspection with higher definition.
  • FIG. 7A illustrates the configuration of a pixel including the pixel circuit described in Embodiment 1.
  • the pixel illustrated in FIG. 7A is an example having a stacked-layer structure of the layer 261 and the layer 262.
  • the layer 261 includes the photoelectric conversion element 50.
  • the photoelectric conversion element 50 can be a stack of the layer 265a, the layer 265b, and the layer 265c as illustrated in FIG. 7C.
  • the photoelectric conversion element 50 illustrated in FIG. 7C is a pn junction photodiode.
  • a p + -type semiconductor can be used for the layer 265a, an n-type semiconductor for the layer 265b, and an n + -type semiconductor for the layer 265c.
  • an n + -type semiconductor may be used for the layer 265a
  • a p-type semiconductor may be used for the layer 265b
  • a p + -type semiconductor may be used for the layer 265c.
  • it may be a pin junction photodiode in which the layer 265 b is an i-type semiconductor.
  • the pn junction photodiode or the pin junction photodiode can be formed using single crystal silicon.
  • the pin junction photodiode can be formed using a thin film of amorphous silicon, microcrystalline silicon, polycrystalline silicon, or the like.
  • the photoelectric conversion element 50 included in the layer 261 may be a stack of the layer 266a, the layer 266b, the layer 266c, and the layer 266d.
  • the photoelectric conversion element 50 illustrated in FIG. 7D is an example of an avalanche photodiode, the layer 266a and the layer 266d correspond to electrodes, and the layer 266b and the layer 266c correspond to a photoelectric conversion portion.
  • the layer 266a is preferably a low-resistance metal layer or the like.
  • a low-resistance metal layer or the like aluminum, titanium, tungsten, tantalum, silver or laminates thereof can be used.
  • the layer 266 d is preferably a conductive layer having high transparency to visible light.
  • a conductive layer having high transparency to visible light For example, indium oxide, tin oxide, zinc oxide, indium-tin oxide, gallium-zinc oxide, indium-gallium-zinc oxide, or graphene can be used. Note that the layer 266d may be omitted.
  • the layers 266 b and the layers 266 c of the photoelectric conversion portion can be formed as, for example, a pn junction photodiode in which a selenium-based material is used as a photoelectric conversion layer. It is preferable to use a selenium-based material which is a p-type semiconductor as the layer 266b, and a gallium oxide or the like which is an n-type semiconductor as the layer 266c.
  • a photoelectric conversion element using a selenium-based material has high external quantum efficiency with respect to visible light.
  • amplification of the carrier with respect to the incident light quantity can be enlarged by utilizing avalanche multiplication.
  • a selenium-based material has a high light absorption coefficient, it has a production advantage such as being able to form a photoelectric conversion layer as a thin film.
  • the thin film of a selenium-based material can be formed by a vacuum evaporation method, a sputtering method, or the like.
  • crystalline selenium such as single crystal selenium or polycrystalline selenium, amorphous selenium, a compound of copper, indium, selenium (CIS), or a compound of copper, indium, gallium, selenium (CIGS), etc. Can be used.
  • the n-type semiconductor is preferably formed of a material having a wide band gap and a light transmitting property with respect to visible light.
  • a material having a wide band gap and a light transmitting property with respect to visible light For example, zinc oxide, gallium oxide, indium oxide, tin oxide, an oxide in which they are mixed, or the like can be used.
  • these materials also function as a hole injection blocking layer and can also reduce dark current.
  • a silicon substrate can be used, for example.
  • a Si transistor or the like is provided, and in addition to the above-described pixel circuit, a circuit for driving the pixel circuit, an image signal reading circuit, an image processing circuit, or the like can be provided.
  • the pixel may have a stacked-layer structure of the layer 261, the layer 263, and the layer 262 as illustrated in FIG. 7B.
  • the layer 263 can include an OS transistor (eg, the transistors 21 and 22 of the pixel circuit).
  • the layer 262 preferably includes a Si transistor (eg, the transistors 23 and 25 of the pixel circuit).
  • the elements included in the pixel circuit can be dispersed in a plurality of layers, and the elements can be stacked to be provided, so that the area of the imaging device can be reduced.
  • the layer 262 may be a supporting substrate and the pixel circuit may be provided in the layer 261 and the layer 263.
  • FIG. 8A is a view for explaining an example of the cross section of the pixel shown in FIG. 7A.
  • the layer 261 includes, as the photoelectric conversion element 50, a pn junction type photodiode in which silicon is used as a photoelectric conversion layer.
  • the layer 262 includes a Si transistor or the like which constitutes a pixel circuit.
  • the layer 265a can be a p + -type region
  • the layer 265b can be an n-type region
  • the layer 265c can be an n + -type region.
  • the layer 265b is provided with a region 236 for connecting the power supply line and the layer 265c.
  • region 236 can be a p + -type region.
  • the Si transistor shows a planar type structure having a channel formation region in the silicon substrate 240.
  • the silicon transistor has a fin type.
  • the semiconductor layer may be included.
  • FIG. 10A corresponds to a cross section in the channel length direction
  • FIG. 10B corresponds to a cross section in the channel width direction.
  • the transistor may be a transistor including a semiconductor layer 245 of a silicon thin film.
  • the semiconductor layer 245 can be, for example, single crystal silicon (SOI (Silicon on Insulator)) formed over the insulating layer 246 over the silicon substrate 240.
  • SOI Silicon on Insulator
  • FIG. 8A illustrates a configuration example in which electrical connection between an element included in the layer 261 and an element included in the layer 262 is obtained by a bonding technique.
  • the layer 261 is provided with an insulating layer 242, a conductive layer 233, and a conductive layer 234.
  • the conductive layer 233 and the conductive layer 234 each have a region embedded in the insulating layer 242.
  • the conductive layer 233 is electrically connected to the layer 265a.
  • the conductive layer 234 is electrically connected to the region 236.
  • the surfaces of the insulating layer 242, the conductive layer 233, and the conductive layer 234 are planarized so that the heights thereof coincide with each other.
  • the insulating layer 241, the conductive layer 231, and the conductive layer 232 are provided.
  • the conductive layer 231 and the conductive layer 232 each have a region embedded in the insulating layer 241.
  • the conductive layer 232 is electrically connected to the power supply line.
  • the conductive layer 231 is electrically connected to the source or the drain of the transistor 21.
  • the surfaces of the insulating layer 241, the conductive layer 231, and the conductive layer 232 are planarized so that the heights thereof coincide with each other.
  • the conductive layer 231 and the conductive layer 233 preferably contain the same metal element as the main component.
  • the conductive layer 232 and the conductive layer 234 preferably have the same main component as the metal element.
  • the insulating layer 241 and the insulating layer 242 preferably include the same components.
  • the conductive layers 231, 232, 233, and 234 Cu, Al, Sn, Zn, W, Ag, Pt, Au, or the like can be used.
  • Cu, Al, W or Au is used because of ease of bonding.
  • silicon oxide, silicon oxynitride, silicon nitride oxide, silicon nitride, titanium nitride, or the like can be used.
  • the same insulating material described above is preferably used in each of the insulating layer 241 and the insulating layer 242.
  • connection of the combination of the conductive layer 231 and the conductive layer 233 and the combination of the conductive layer 232 and the conductive layer 234 can be obtained.
  • a connection having mechanical strength between the insulating layer 241 and the insulating layer 242 can be obtained.
  • a surface activation bonding method can be used in which the oxide film on the surface, the adsorption layer of impurities and the like are removed by sputtering or the like and the cleaned and activated surfaces are brought into contact with each other for bonding.
  • a diffusion bonding method of bonding surfaces to each other by using temperature and pressure in combination can be used. In both cases, bonding at the atomic level occurs, so that not only electrical but also mechanically excellent bonding can be obtained.
  • the surfaces treated with hydrophilic treatment with oxygen plasma etc. are brought into contact with each other for temporary bonding, and the hydrophilicity is to perform main bonding by dehydration by heat treatment.
  • a bonding method or the like can be used.
  • Hydrophilic bonding also results in bonding at the atomic level, so that mechanically superior bonding can be obtained.
  • an insulating layer and a metal layer are mixed in each bonding surface, and thus, for example, a surface activation bonding method and a hydrophilic bonding method may be performed in combination.
  • the surface may be cleaned, the surface of the metal layer may be treated to prevent oxidation, and then the surface may be subjected to hydrophilic treatment for bonding.
  • the surface of the metal layer may be made of a non-oxidizable metal such as Au and subjected to hydrophilic treatment.
  • FIG. 8B is a cross-sectional view of a case where a pn junction photodiode having a selenium-based material as a photoelectric conversion layer is used for the layer 261 of the pixel shown in FIG. 7A. It has a layer 266a as one electrode, layers 266b and 266c as a photoelectric conversion layer, and a layer 266d as the other electrode.
  • the layer 261 can be formed directly on the layer 262.
  • the layer 266 a is electrically connected to the source or the drain of the transistor 21.
  • the layer 266 d is electrically connected to the power supply line through the conductive layer 237.
  • FIG. 9A is a view for explaining an example of the cross section of the pixel shown in FIG. 7B.
  • the layer 261 includes, as the photoelectric conversion element 50, a pn junction type photodiode in which silicon is used as a photoelectric conversion layer.
  • the layer 262 has a Si transistor or the like.
  • the layer 263 includes an OS transistor or the like.
  • the layer 261 and the layer 263 illustrate a structural example in which electrical connection is obtained by bonding.
  • the OS transistor is a self-aligned structure, but as shown in FIG. 10D, it may be a non-self-aligned top gate transistor.
  • the transistor 21 is shown to have a back gate 235, it may have no back gate.
  • the back gate 235 may be electrically connected to the front gate of a transistor provided opposite to the back gate 235 as illustrated in FIG.
  • the back gate 235 may be configured to be able to supply a fixed potential different from that of the front gate.
  • the capacitive element C2 can be formed using insulating layers 251, 252, and 253 provided between the conductive layer forming the back gate 235 and the conductive layer 231.
  • An insulating layer 243 having a function of preventing diffusion of hydrogen is provided between the region where the OS transistor is formed and the region where the Si transistor is formed. Hydrogen in the insulating layer provided in the vicinity of the channel formation regions of the transistors 23 and 25 terminates dangling bonds of silicon. On the other hand, hydrogen in the insulating layer provided in the vicinity of the channel formation region of the transistor 21 is one of the factors generating carriers in the oxide semiconductor layer.
  • the insulating layer 243 can improve the reliability of the transistors 23 and 25 by confining hydrogen in one of the layers. In addition, by suppressing the diffusion of hydrogen from one layer to the other layer, the reliability of the transistor 21 can also be improved.
  • the insulating layer 243 for example, aluminum oxide, aluminum oxynitride, gallium oxide, gallium oxide, yttrium oxide, yttrium oxide, hafnium oxide, hafnium oxide, yttria stabilized zirconia (YSZ), or the like can be used.
  • aluminum oxide, aluminum oxynitride, gallium oxide, gallium oxide, yttrium oxide, yttrium oxide, hafnium oxide, hafnium oxide, yttria stabilized zirconia (YSZ), or the like can be used.
  • FIG. 9B is a cross-sectional view of a case where a pn junction photodiode having a selenium-based material as a photoelectric conversion layer is used for the layer 261 of the pixel shown in FIG. 7B.
  • the layer 261 can be formed directly on the layer 263.
  • the details of the layers 261, 262, 263 can be referred to the above description.
  • FIG. 11A is a perspective view illustrating an example in which a color filter or the like is added to a pixel of the imaging device of one embodiment of the present invention.
  • An insulating layer 280 is formed over the layer 261 where the photoelectric conversion element 50 is formed.
  • the insulating layer 280 can be formed using a silicon oxide film or the like which has high transparency to visible light.
  • a silicon nitride film may be stacked as a passivation layer.
  • a dielectric film such as hafnium oxide may be stacked as the antireflective layer.
  • the light shielding layer 281 may be formed on the insulating layer 280.
  • the light shielding layer 281 has a function of preventing color mixing of light passing through the upper color filter.
  • a metal film such as aluminum or tungsten can be used.
  • the metal film and a dielectric film having a function as an antireflection layer may be stacked.
  • An organic resin layer 282 can be provided over the insulating layer 280 and the light shielding layer 281 as a planarization film.
  • color filters 283 (color filters 283a, 283b, 283c) are formed for each pixel. For example, by assigning colors such as R (red), G (green), B (blue), Y (yellow), C (cyan), M (magenta) to the color filters 283 a, 283 b and 283 c, a color image You can get
  • An insulating layer 286 or the like which transmits light with respect to visible light can be provided over the color filter 283.
  • an optical conversion layer 285 may be used instead of the color filter 283.
  • an infrared imaging device can be obtained by using, as the optical conversion layer 285, a filter that blocks light having a wavelength of visible light or less.
  • a filter that blocks light of a wavelength less than or equal to the near infrared light is used as the optical conversion layer 285, a far infrared light imaging device can be obtained.
  • an ultraviolet imaging device can be obtained.
  • a visible light color filter and an infrared or ultraviolet filter may be combined.
  • an imaging device that obtains an image that visualizes the intensity of radiation used for an X-ray imaging device or the like can be obtained.
  • radiation such as X-rays transmitted through an object
  • light fluorescent light
  • the photoelectric conversion element 50 the imaging device having the configuration may be used as a radiation detector or the like.
  • the scintillator contains a substance that absorbs the energy and emits visible light or ultraviolet light when irradiated with radiation such as X-rays or gamma rays.
  • Gd 2 O 2 S Tb
  • Gd 2 O 2 S Pr
  • Gd 2 O 2 S Eu
  • BaFCl Eu
  • distributed to resin or ceramics can be used.
  • a microlens array 284 may be provided on the color filter 283. Light passing through the individual lenses of the microlens array 284 passes through the color filter 283 immediately below and is irradiated to the photoelectric conversion element 50. Further, a microlens array 284 may be provided over the optical conversion layer 285 shown in FIG.
  • Example of package and module configuration Hereinafter, an example of a package containing an image sensor chip and a camera module will be described.
  • the configuration of the imaging device can be used for the image sensor chip.
  • FIG. 12A1 is an external perspective view of the top side of the package containing the image sensor chip.
  • the package includes a package substrate 410 for fixing the image sensor chip 450, a cover glass 420, and an adhesive 430 for bonding the two.
  • FIG. 12A2 is an external perspective view of the lower surface side of the package.
  • a BGA Ball grid array
  • LGA Land grid array
  • PGA Peripheral Component Interconnect Express
  • FIG. 12A3 is a perspective view of the package without the cover glass 420 and part of the adhesive 430.
  • An electrode pad 460 is formed on the package substrate 410, and the electrode pad 460 and the bump 440 are electrically connected through a through hole.
  • the electrode pad 460 is electrically connected to the image sensor chip 450 by a wire 470.
  • FIG. 12B1 is an external perspective view of the upper surface side of the camera module in which the image sensor chip is housed in a lens integrated type package.
  • the camera module includes a package substrate 411 for fixing the image sensor chip 451, a lens cover 421, a lens 435, and the like.
  • an IC chip 490 having a function as a drive circuit of an imaging device and a signal conversion circuit is also provided between the package substrate 411 and the image sensor chip 451 and has a configuration as a system in package (SiP). There is.
  • FIG. 12B2 is an external perspective view of the lower surface side of the camera module.
  • the lower and side surfaces of the package substrate 411 have a configuration of a quad flat no-lead package (QFN) in which lands 441 for mounting are provided.
  • QFN quad flat no-lead package
  • the configuration is an example, and a quad flat package (QFP) or the above-described BGA may be provided.
  • FIG. 12B3 is a perspective view of the module illustrated with the lens cover 421 and a part of the lens 435 omitted.
  • the land 441 is electrically connected to the electrode pad 461, and the electrode pad 461 is electrically connected to the image sensor chip 451 or the IC chip 490 by a wire 471.
  • the image sensor chip By mounting the image sensor chip in a package of the above-described form, mounting on a printed circuit board or the like becomes easy, and the image sensor chip can be incorporated into various semiconductor devices and electronic devices.
  • a display device As an electronic device that can use the imaging device according to one aspect of the present invention, a display device, a personal computer, an image storage device or an image reproduction device provided with a recording medium, a mobile phone, a game machine including a mobile type , E-book reader, video camera, camera such as digital still camera, goggle type display (head mounted display), navigation system, sound reproduction device (car audio, digital audio player etc), copier, facsimile, printer, printer complex machine , Automated teller machines (ATMs), vending machines, etc.
  • ATMs Automated teller machines
  • These electronic devices preferably include the imaging device of one embodiment of the present invention. Furthermore, the electronic device preferably comprises a neural network 17.
  • the neural network 17 can reduce arithmetic processing and further reduce power consumption in image recognition as compared to feature detection by a processor. Therefore, the imaging device according to one embodiment of the present invention includes a neural network interface that outputs the data subjected to pooling processing to the neural network 17.
  • FIG. 13 shows a common control unit of the electronic device as an example.
  • the control unit of the electronic device preferably includes the imaging device of one embodiment of the present invention, the neural network 17, the processor 18, and the communication module 19.
  • the imaging apparatus has a circuit 14 functioning as a neural network interface, and an analog-to-digital converter 15 which outputs imaging data as an image.
  • the neural network 17 includes a GPU (Graphics Processing Unit) 17a, a storage device 17b, and a plurality of sensors 17c.
  • GPU Graphics Processing Unit
  • the output of the circuit 14 is preferably connected directly to the GPU 17a.
  • the output of circuit 14 may be connected to the shared bus of neural network 17.
  • the sensor may include any one or more of an acceleration sensor, an orientation sensor, a pressure sensor, a temperature sensor, a humidity sensor, an illuminance sensor, a positioning sensor (for example, a GPS (Global Positioning System)), and the like.
  • the electronic device manages or monitors the state in which the electronic device is in use and the state of an object that the electronic device wants to manage by managing data acquired by the imaging device and data acquired from the sensor. Can.
  • FIG. 1 Specific examples of these electronic devices are shown in FIG. 1
  • FIG. 14A illustrates a monitoring camera, which includes a support 951, a camera unit 952, a protective cover 953, and the like.
  • the camera unit 952 is provided with a rotation mechanism and the like, and by being installed on a ceiling, imaging of the entire surroundings becomes possible.
  • the imaging device of one embodiment of the present invention can be provided as one of components for obtaining an image in the camera unit.
  • the surveillance camera is a conventional name and does not limit the application.
  • a device having a function as a surveillance camera is also called a camera or a video camera.
  • FIG. 14B illustrates a video camera, which includes a first housing 971, a second housing 972, a display portion 973, operation keys 974, a lens 975, a connection portion 976, and the like.
  • the operation key 974 and the lens 975 are provided in the first housing 971, and the display unit 973 is provided in the second housing 972.
  • the imaging device of one embodiment of the present invention can be provided as one of components for capturing an image in the video camera.
  • FIG. 14C illustrates a digital camera, which includes a housing 961, a shutter button 962, a microphone 963, a light emitting portion 967, a lens 965, and the like.
  • the imaging device of one embodiment of the present invention can be provided as one of components for capturing an image in the digital camera.
  • FIG. 14D illustrates a watch-type information terminal, which includes a display portion 932, a housing and wristband 933, a camera 939, and the like.
  • the display unit 932 includes a touch panel for operating the information terminal.
  • the display portion 932 and the housing / wristband 933 have flexibility and can be easily worn on the body.
  • the imaging device of one embodiment of the present invention can be provided as one of the components for obtaining an image in the information terminal.
  • FIG. 14E illustrates an example of a mobile phone, which includes a housing 981, a display portion 982, operation buttons 983, an external connection port 984, a speaker 985, a microphone 986, a camera 987, and the like.
  • the mobile phone includes the touch sensor in the display portion 982. All operations such as making a call and inputting characters can be performed by touching the display portion 982 with a finger, a stylus, or the like.
  • the imaging device of one embodiment of the present invention can be provided as one of components for obtaining an image in the mobile phone.
  • FIG. 14F illustrates a portable data terminal, which includes a housing 911, a display portion 912, a camera 919, and the like. Information can be input / output by the touch panel function of the display portion 912.
  • the imaging device of one embodiment of the present invention can be provided as one of components for obtaining an image in the portable data terminal.
  • a display element, a display device which is a device having a display element, a light emitting element, and a light emitting device which is a device having a light emitting element have various modes or have various elements.
  • the display element, the display device, the light emitting element or the light emitting device is, for example, an EL (electroluminescent) element (EL element including organic and inorganic substances, organic EL element, inorganic EL element), LED chip (white LED chip, red LED chip, Green LED chip, blue LED chip, etc., transistor (transistor that emits light according to current), plasma display panel (PDP), electron emitting element, display element using carbon nanotube, liquid crystal element, electron ink, electro wetting element , Electrophoretic elements, display elements using MEMS (micro-electro-mechanical system) (eg, grating light valve (GLV), digital micro mirror device (DMD), DMS (digital micro shutter), MIRASOL R), IMOD (interferometric modul
  • MEMS micro-
  • the display element, the display device, the light emitting element, or the light emitting device may have a display medium in which the contrast, the luminance, the reflectance, the transmittance, and the like are changed by electric or magnetic action.
  • An example of a display device using an EL element is an EL display.
  • As an example of a display device using an electron emission element there is a field emission display (FED) or a surface-conduction electron-emitter display (SED).
  • FED field emission display
  • SED surface-conduction electron-emitter display
  • Examples of a display device using a liquid crystal element include a liquid crystal display (transmissive liquid crystal display, semi-transmissive liquid crystal display, reflective liquid crystal display, direct view liquid crystal display, projection liquid crystal display) and the like.
  • Examples of a display device using an electronic ink, an electronic powder fluid (registered trademark), or an electrophoretic element include electronic paper.
  • An example of a display using quantum dots for each pixel is a quantum dot display. Note that the quantum dots may be provided not in the display element but in part of the backlight. By using quantum dots, display with high color purity can be performed.
  • part or all of the pixel electrodes may have a function as a reflective electrode.
  • part or all of the pixel electrode may contain aluminum, silver, or the like.
  • a storage circuit such as an SRAM can be provided under the reflective electrode. This further reduces power consumption.
  • graphene or graphite may be disposed under an electrode of the LED chip or a nitride semiconductor.
  • Graphene or graphite may have a plurality of layers stacked to form a multilayer film.
  • a nitride semiconductor for example, an n-type GaN semiconductor layer having a crystal can be easily formed thereon.
  • a p-type GaN semiconductor layer or the like having a crystal can be provided thereon to form an LED chip.
  • an AlN layer may be provided between graphene or graphite and an n-type GaN semiconductor layer having a crystal.
  • the GaN semiconductor layer included in the LED chip may be deposited by MOCVD.
  • the GaN semiconductor layer included in the LED chip can also be deposited by a sputtering method.
  • a space in which the display element is sealed for example, an element substrate on which the display element is disposed and an element substrate are disposed opposite to each other
  • the desiccant may be disposed between the opposing substrate and the By arranging the desiccant, it is possible to prevent the movement of the MEMS or the like due to moisture from becoming difficult to move or being easily deteriorated.
  • FIG. 15A shows the appearance of the vehicle 5000.
  • the vehicle 5000 includes a plurality of cameras 5005 (in FIG. 15A, a camera 5005a, a camera 5005b, a camera 5005c, a camera 5005d, a camera 5005e, and a camera 5005f).
  • the camera 5005a has a function of imaging a front situation
  • the camera 5005b has a function of imaging a rear situation
  • the camera 5005c has a function of imaging a right front situation
  • the camera 5005d Has a function of imaging the situation in the left front
  • a camera 5005e has a function of imaging the situation in the right rear
  • a camera 5005f has a function of imaging the situation in the left rear.
  • the number and functions of the cameras for imaging the surroundings of the vehicle are not limited to the above configuration.
  • a camera for capturing an image of the rear of the vehicle may be provided in front of the vehicle.
  • the room of the vehicle 5000 is shown in FIG.
  • the vehicle 5000 includes a display portion 5001, a display panel 5008a, a display panel 5008b, and a display panel 5009.
  • the display portion of the display system of one embodiment of the present invention can be used for one or more of the display portion 5001, the display panel 5008a, the display panel 5008b, and the display panel 5009.
  • FIG. 15B shows an example in which the display unit 5001 is mounted on a vehicle with a right handle
  • the present invention is not particularly limited, and the display unit 5001 can also be mounted on a vehicle with a left handle. In this case, the left and right arrangement of the configuration shown in FIG.
  • FIG. 15B shows a dashboard 5002, a steering wheel 5003, a windshield 5004, and the like disposed around the driver's seat and the passenger's seat.
  • the display unit 5001 is disposed at a predetermined position of the dashboard 5002, specifically, around the driver, and has an approximate T-shape.
  • FIG. 15B illustrates an example in which one display portion 5001 formed using a plurality of display panels 5007 (display panels 5007 a, 5007 b, 5007 c, 5007 d) is provided along the dashboard 5002.
  • the display unit 5001 may be divided into a plurality of places.
  • the plurality of display panels 5007 may have flexibility.
  • the display portion 5001 can be processed into a complicated shape, and the display portion 5001 is provided along a curved surface of the dashboard 5002 or the like, a connection portion of a handle, a display portion of an instrument, an air outlet 5006, or the like A configuration in which the display area of the portion 5001 is not provided can be easily realized.
  • the display panels 5008 a and 5008 b are each provided in a pillar portion.
  • an imaging unit for example, the camera 5005 shown in FIG. 15A
  • the view blocked by the pillar can be complemented.
  • a video captured by the camera 5005 d can be displayed as a video 5008 c on the display panel 5008 a.
  • the display panel 5009 may have a function of displaying an image from a rear imaging unit (for example, the camera 5005 b).
  • the display panels 5007, 5008a, 5008b, and 5009 may have a function of displaying legal speed, traffic information, and the like.
  • Each of the display panels 5008 a and 5008 b preferably has flexibility. This makes it easy to provide the display panels 5008 a and 5008 b along the curved surface of the pillar portion.
  • the display panel preferably has a function capable of displaying an image corrected so as to reduce distortion of an image.
  • image processing using a neural network is preferable.
  • FIGS. 15A and 15B show an example in which the cameras 5005c and 5005d are installed instead of the side mirrors, both the side mirrors and the camera may be installed.
  • a CCD camera, a CMOS camera, or the like can be used.
  • infrared cameras may be used in combination.
  • the infrared camera has a higher output level as the temperature of the subject is higher, so it can detect or extract a living body such as a person or an animal.
  • the images captured by the camera 5005 can be output to any one or more of the display panel 5007, the display panel 5008a, the display panel 5008b, and the display panel 5009.
  • the driving of the vehicle is mainly supported using the display unit 5001, the display panel 5008a, the display panel 5008b, and the display panel 5009.
  • the driver's blind spot can be viewed by capturing the situation around the vehicle at a wide angle of view with the camera 5005 and displaying the image on the display panel 5007, the display panel 5008a, the display panel 5008b, and the display panel 5009 And prevent the occurrence of an accident.
  • image discontinuity at a joint between the display panels 5007a, 5007b, 5007c, and 5007d can be corrected.
  • a distance image sensor may be provided on the roof of a car or the like, and an image obtained by the distance image sensor may be displayed on the display unit 5001.
  • a distance image sensor an image sensor, a rider (LIDAR: Light Detection and Ranging) or the like can be used.
  • LIDAR Light Detection and Ranging
  • the display unit 5001 may have a function of displaying map information, traffic information, television video, DVD video, and the like.
  • the map information can be largely displayed as one display screen of the display panels 5007a, 5007b, 5007c, and 5007d. Note that the number of display panels 5007 can be increased according to the displayed image.
  • the images displayed on the display panels 5007a, 5007b, 5007c, and 5007d can be freely set according to the driver's preference. For example, a television image or DVD image is displayed on the left display panel 5007d, map information is displayed on the central display panel 5007b, instruments are displayed on the right display panel 5007c, and audio is near the shift lever (or Can be displayed on the display panel 5007a). Further, by combining a plurality of display panels 5007, a failsafe function can be added to the display portion 5001. For example, even if a certain display panel 5007 fails due to any cause, the display area can be changed and display can be performed using another display panel 5007.
  • the windshield 5004 has a display panel 5004a.
  • the display panel 5004 a has a function of transmitting visible light. The driver can visually recognize the background through the display panel 5004a.
  • the display panel 5004 a has a function of performing display for prompting the driver to call attention.
  • FIG. 15B illustrates the configuration in which the display panel 5004 a is provided on the windshield 5004, the present invention is not limited to this.
  • the windshield 5004 may be replaced with a display panel 5004a.
  • contents described in one embodiment may be other contents described in the embodiment (or part of the contents) and one or more other implementations.
  • Application, combination, replacement, or the like can be performed on at least one of the contents described in the form of (or some of the contents).
  • FIG. 1 a figure (or a part) described in one embodiment may be another part of the figure, another figure (or a part) described in the embodiment, and one or more other figures. More drawings can be configured by combining with at least one of the drawings described in the embodiment (which may be part of the drawings).
  • the terms indicating the arrangement such as “above” and “below” are used for the sake of convenience to explain the positional relationship between the configurations with reference to the drawings.
  • the positional relationship between the components changes appropriately in accordance with the direction in which each component is depicted. Therefore, the phrase indicating the arrangement is not limited to the description described in the specification, and can be appropriately rephrased depending on the situation.
  • the terms “upper” and “lower” do not limit that the positional relationship between components is directly above or below and in direct contact with each other.
  • the electrode Y does not have to be formed in direct contact with the insulating layer X, and another configuration may be provided between the insulating layer X and the electrode Y Do not exclude those that contain elements.
  • the sizes, the thicknesses of layers, or the regions are shown in arbitrary sizes for the convenience of description. Therefore, it is not necessarily limited to the scale.
  • the drawings are schematically shown for the sake of clarity, and are not limited to the shapes or values shown in the drawings. For example, variations in signal, voltage or current due to noise, or variations in signal, voltage or current due to timing deviation can be included.
  • the gates may be referred to as a first gate or a second gate, or as a front gate.
  • the words “front gate” can be reworded to each other simply as the word “gate”.
  • the phrase “back gate” can be rephrased to each other simply as the phrase “gate”.
  • a bottom gate refers to a terminal formed before a channel formation region in manufacturing a transistor, and a “top gate” is formed after a channel formation region in manufacturing a transistor. Refers to the terminal.
  • the transistor has three terminals called a gate, a source, and a drain.
  • the gate is a terminal that functions as a control terminal that controls the conduction state of the transistor.
  • Two input / output terminals functioning as a source or a drain become one source and the other becomes a drain depending on the type of transistor and the level of the potential applied to each terminal. Therefore, in this specification and the like, the terms “source” and “drain” can be used interchangeably.
  • electrode and “wiring” do not functionally limit these components.
  • electrodes may be used as part of “wirings” and vice versa.
  • the terms “electrode” and “wiring” include the case where a plurality of “electrodes” and “wirings” are integrally formed.
  • the voltage and the potential can be appropriately rephrased.
  • the voltage is a potential difference from a reference potential.
  • the reference potential is a ground potential (ground potential)
  • the voltage can be rephrased as a potential.
  • the ground potential does not necessarily mean 0 V. Note that the potential is relative, and the potential given to the wiring or the like may be changed depending on the reference potential.
  • membrane and layer can be replaced with each other depending on the situation or depending on the situation.
  • the terms “insulating layer” and “insulating film” may be able to be changed to the term "insulator”.
  • terms such as “wiring”, “signal line”, and “power supply line” can be replaced with each other depending on the case or depending on the situation. For example, it may be possible to change the term “wiring” to the term “signal line”. Also, for example, it may be possible to change the term “wiring” to a term such as "power supply line”. Also, the reverse is also true, and it may be possible to change the terms such as “signal line” and “power supply line” to the term “wiring”. Terms such as “power supply line” may be able to be changed to terms such as “signal line”. Also, the reverse is also true, and terms such as “signal line” may be able to be changed to terms such as "power supply line”.
  • the term “potential” applied to the wiring may be changed to the term “signal” or the like. Also, the reverse is also true, and a term such as “signal” may be able to be changed to the term “potential”.
  • the impurity of the semiconductor means, for example, elements other than the main components of the semiconductor layer.
  • an element having a concentration of less than 0.1 atomic% is an impurity.
  • the inclusion of impurities may cause, for example, formation of DOS (Density of States) in a semiconductor, reduction in carrier mobility, or reduction in crystallinity.
  • examples of the impurity that changes the characteristics of the semiconductor include elements other than the group 1 element, the group 2 element, the group 13 element, the group 14 element, the group 15 element, and the main component.
  • transition metals and the like there are transition metals and the like, and in particular, for example, hydrogen (also included in water), lithium, sodium, silicon, boron, phosphorus, carbon, nitrogen and the like.
  • oxygen vacancies may be formed by mixing of impurities such as hydrogen.
  • the semiconductor is a silicon layer
  • examples of the impurity that changes the characteristics of the semiconductor include oxygen, a group 1 element excluding hydrogen, a group 2 element, a group 13 element, and a group 15 element.
  • a transistor is an element having at least three terminals of a gate, a drain, and a source.
  • a channel formation region is provided between the drain (drain terminal, drain region or drain electrode) and the source (source terminal, source region or source electrode).
  • the functions of the source and the drain may be switched when adopting transistors of different polarities or when the direction of current changes in circuit operation. Therefore, in this specification and the like, the terms “source” and “drain” can be used interchangeably.
  • a switch is a switch which is turned on (on) or turned off (off) and has a function of controlling whether current flows or not.
  • a switch refers to one having a function of selecting a path through which current flows.
  • an electrical switch or a mechanical switch can be used. That is, the switch may be any switch that can control the current, and is not limited to a specific switch.
  • Examples of electrical switches include transistors (eg, bipolar transistors, MOS transistors, etc.), diodes (eg, PN diodes, PIN diodes, Schottky diodes, MIM (Metal Insulator Metal) diodes, MIS (Metal Insulator Semiconductor) diodes. , A diode-connected transistor, or a logic circuit combining these.
  • transistors eg, bipolar transistors, MOS transistors, etc.
  • diodes eg, PN diodes, PIN diodes, Schottky diodes, MIM (Metal Insulator Metal) diodes, MIS (Metal Insulator Semiconductor) diodes.
  • MIM Metal Insulator Metal
  • MIS Metal Insulator Semiconductor
  • the “conductive state” of the transistor refers to a state in which the source electrode and the drain electrode of the transistor can be regarded as being electrically shorted.
  • the “non-conductive state” of a transistor refers to a state in which the source electrode and the drain electrode of the transistor can be regarded as being electrically disconnected.
  • the polarity (conductivity type) of the transistor is not particularly limited.
  • a mechanical switch is a switch using MEMS (micro-electro-mechanical system) technology, such as a digital micro mirror device (DMD).
  • MEMS micro-electro-mechanical system
  • DMD digital micro mirror device
  • the switch has a mechanically movable electrode, and the movement of the electrode operates to control conduction and non-conduction.
  • connection relation for example, the connection relation shown in the figure or the sentence, and includes other than the connection relation shown in the figure or the sentence.
  • X, Y, and the like used here are objects (eg, devices, elements, circuits, wirings, electrodes, terminals, conductive films, layers, and the like).
  • an element for example, a switch, a transistor, a capacitor, an inductor, a resistor, a diode, a display, or the like
  • the switch has a function of controlling on and off. That is, the switch has a function of turning on (on) or non-conducting (off) and controlling whether current flows or not.
  • a circuit for example, a logic circuit (for example, an inverter, a NAND circuit, a NOR circuit, etc.) that enables functional connection of X and Y, signal conversion Circuits (DA converter circuit, AD converter circuit, gamma correction circuit, etc.), potential level converter circuits (power supply circuits (boost circuit, step-down circuit etc.), level shifter circuits for changing the potential level of signals, etc.) voltage source, current source, switching A circuit, an amplifier circuit (a circuit capable of increasing the signal amplitude or current amount, etc., an operational amplifier, a differential amplifier circuit, a source follower circuit, a buffer circuit, etc.), a signal generation circuit, a memory circuit, a control circuit, etc. It is possible to connect one or more in between. As an example, even if another circuit is interposed between X and Y, X and Y are functionally connected if the signal output from X is transmitted to Y. Do.
  • the source (or the first terminal or the like) of the transistor is electrically connected to X via (or not via) Z1 and the drain (or the second terminal or the like) of the transistor is or the transistor Z2
  • the source of the transistor (or the first terminal or the like) is directly connected to a part of Z1
  • another part of Z1 Is directly connected to X
  • the drain (or the second terminal, etc.) of the transistor is directly connected to a part of Z2
  • another part of Z2 is directly connected to Y
  • X and Y, the source (or the first terminal or the like) of the transistor and the drain (or the second terminal or the like) are electrically connected to each other, and X, the source of the transistor (or the first And the like), the drain (or the second terminal or the like) of the transistor, and Y are electrically connected in this order.
  • the source of the transistor (or the first terminal, etc.) is electrically connected to X, the drain of the transistor (or the second terminal, etc. is electrically connected to Y, X, the source of the transistor ( Alternatively, it can be expressed that “the drain (or the second terminal) of the transistor (such as the second terminal) and Y are electrically connected in this order”.
  • X is electrically connected to Y through the source (or the first terminal or the like) and the drain (or the second terminal or the like) of the transistor
  • X, the source of the transistor (or the first A terminal or the like), a drain (or a second terminal or the like) of the transistor, and Y can be expressed as “provided in this order of connection”.
  • the source (or the first terminal or the like) and the drain (or the second terminal or the like) of the transistor can be defined.
  • these expression methods are an example and are not limited to these expression methods.
  • X, Y, Z1, and Z2 each denote an object (eg, a device, an element, a circuit, a wiring, an electrode, a terminal, a conductive film, a layer, or the like).
  • parallel refers to a state in which two straight lines are arranged at an angle of ⁇ 10 ° or more and 10 ° or less. Therefore, the case of -5 degrees or more and 5 degrees or less is also included.
  • substantially parallel means the state by which two straight lines are arrange
  • vertical means that two straight lines are arranged at an angle of 80 ° or more and 100 ° or less. Therefore, the case of 85 degrees or more and 95 degrees or less is also included.
  • substantially perpendicular refers to a state in which two straight lines are arranged at an angle of 60 ° or more and 120 ° or less.
  • Bsw switch, Bsw2: switch, C1: capacitive element, C2: capacitive element, C3: capacitive element, C4: capacitive element, C5: capacitive element, C6: capacitive element, C7: capacitive element, FN1: node, FN2: node , FN3: node, FN4: node, OP1: operational amplifier, OP2: operational amplifier, R1: resistive element, 10: pixel region, 11: circuit, 12: circuit, 13: circuit, 14: circuit, 15: analog-digital conversion circuit, 16: switch module, 17: neural network, 17a: GPU, 17b: storage device, 17c: sensor, 18: processor, 19: communication module, 21: transistor, 22: transistor, 23: transistor, 24: transistor, 25: 25 Transistor, 26: transistor, 27: transistor, 31: transistor Ta: 32: transistor 33: transistor 34: transistor 35: transistor 36: transistor 37: transistor 38: transistor 39: transistor 41: transistor 42: transistor 50: photoelectric

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Metal-Oxide And Bipolar Metal-Oxide Semiconductor Integrated Circuits (AREA)
  • Thin Film Transistor (AREA)

Abstract

トランジスタによる乗算のオフセット成分を低減する。 撮像装置は、画素領域、第１の回路、第２の回路、第３の回路、及び第４の回路を有する。画素領域 は、 複数の画素を有し、 画素は、 第１のトランジスタを有する。 第１の回路と第２の回路とによって 選択される画素には、 オフセット電位と重み電位を与える。 画素は、 光から光電変換することで第１ の信号を取得し、 第１のトランジスタは、 第１の信号と、 重み電位とを乗算する。 第１のトランジス タは、第１の信号と重み電位との乗算項と、オフセット電位と、を用いて、第１のオフセット項と、 第２のオフセット項とを生成する。 第３の回路は、 第１のオフセット項を減算し、 第４の回路は、 第 ２のオフセット項を減算する。 第４の回路は、 乗算項を判定し、 さらに第４の回路が有するニューラ ルネットワークインターフェースを介して判定結果を出力する。

Description

撮像装置、及び電子機器
　本発明の一態様は、撮像装置、及び電子機器に関する。
　なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の一態様の技術分野は、物、方法、又は、製造方法に関する。特に、本発明の一態様は、半導体装置、表示装置、発光装置、蓄電装置、記憶装置、それらの駆動方法、又はそれらの製造方法に関する。
　なお、本明細書等において、半導体装置は、半導体特性を利用することで機能しうる素子、回路、又は装置等を指す。一例としては、トランジスタ、ダイオード等の半導体素子は半導体装置である。また別の一例としては、半導体素子を有する回路は、半導体装置である。また別の一例としては、半導体素子を有する回路を備えた装置は、半導体装置である。
　ＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　ｔｈｉｎｇｓ）、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）などの情報技術の発展により、扱われるデータ量が増大の傾向を示している。電子機器がＩｏＴ、ＡＩなどの情報技術を利用するためには、大量のデータを分散して管理することが求められている。
　画像データは、表示装置の高精細化、高階調化に伴いデータ量が増大するため、効率のよい管理方法が求められている。またデータ量の増大は、画像データを処理するための演算量が増大するため、消費電力、及び演算処理時間も増大する。
　車載用電子機器の画像システム、及び移動する対象物を監視する画像システムなどでは、ＡＩを用いることで画像認識の向上が注目されている。例えば、撮像装置に演算機能を付加する技術が特許文献１に開示されている。
特開２０１６−１２３０８７号公報
　ＣＭＯＳイメージセンサなどの固体撮像素子を備える撮像装置では、技術発達により高画質な画像が容易に撮影できるようになっている。次世代においては、撮像装置にさらに知的な機能を搭載することが求められている。
　画像データから対象物を認識するには、高度な画像処理が必要とされる。高度な画像処理では、フィルタ処理、比較演算処理などの画像を解析するための様々な解析処理が用いられる。画像処理のための解析処理は、処理する画素数に応じて演算量が増大し、演算量に応じて処理時間が増大する。例えば、車載用画像システムなどでは、処理時間の増大が安全性に影響を及ぼす問題がある。また、画像システムでは、演算量の増大により消費電力が大きくなる課題がある。
　上記問題に鑑み、本発明の一態様は、新規な構成の撮像装置を提供することを課題の一とする。又は、本発明の一態様は、ニューラルネットワークのプーリング層を有する撮像装置を提供することを課題の一とする。又は、本発明の一態様は、演算量を抑えて処理時間を短縮することができる新規な構成の撮像装置を提供することを課題の一とする。又は、本発明の一態様は、消費電力を低減することができる新規な構成の撮像装置を提供することを課題の一とする。
　なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。
　なお、本発明の一態様の課題は、上記列挙した課題に限定されない。上記列挙した課題は、他の課題の存在を妨げるものではない。なお他の課題は、以下の記載で述べる、本項目で言及していない課題である。本項目で言及していない課題は、当業者であれば明細書又は図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した記載、及び／又は他の課題のうち、少なくとも一つの課題を解決するものである。
　本発明の一態様は、ニューラルネットワークインターフェースを有する撮像装置であって、撮像装置は、画素領域（１０）と、第１の回路（１１）と、第２の回路（１２）と、第３の回路（１３）と、第４の回路（１４）と、第１の信号線Ｗｘと、を有し、画素領域は、複数の画素（Ｐ）を有し、画素は、第１のトランジスタ（２５）を有し、第４の回路は、ニューラルネットワークインターフェースを有している。画素は、第１の信号線Ｗｘを介して第３の回路と電気的に接続され、第３の回路は、第４の回路と電気的に接続され、第１の回路は、画素に走査信号を与える機能を有し、第２の回路は、走査信号によって選択される画素に重み電位を与える機能を有している。画素は、光から光電変換することで第１の信号を取得する機能を有し、画素は、第１のトランジスタによって第１の信号と、重み電位と、を乗算する機能を有し、第１のトランジスタは、第１の信号と、重み電位との乗算項と、第１のオフセット項（Ｃ４）と、第２のオフセット項（Ｃ６）とを生成する機能を有している。第３の回路は、第１のオフセット項を減算する機能を有し、第４の回路は、第２のオフセット項を減算する機能を有している。第４の回路は、乗算項を判定する機能を有し、第４の回路は、ニューラルネットワークインターフェースを介して判定結果を出力することを特徴とする撮像装置である。
　上記各構成において、第２の回路は、さらに、走査信号によって選択される画素にオフセット電位を与える機能を有し、画素は、第１の信号にオフセット電位を加えることで第２の信号を生成する機能を有し、画素は、オフセット電位に重み電位を加えることで第３の信号を生成する機能を有し、画素は、第１の信号にオフセット電位と重み電位とを加えることで第４の信号を生成する機能を有している。第１のトランジスタは、第２の信号を任意の倍率で乗算し第５の信号を生成する機能を有し、第１のトランジスタは、第３の信号を任意の倍率で乗算し第６の信号を生成する機能を有し、第１のトランジスタは、第４の信号を任意の倍率で乗算し第７の信号を生成する機能を有している。第３の回路は、第２の信号を記憶する機能を有し、第３の回路は、第７の信号と第５の信号とを演算することで第８の信号を生成する機能を有している。第４の回路は、第８の信号を記憶する機能を有し、第４の回路は、第８の信号と第６の信号とを演算することで第９の信号を生成する機能を有し、第９の信号には、第１の信号と、重み電位との乗算項が出力され、第４の回路は、第９の信号を判定する機能を有し、第４の回路は、ニューラルネットワークインターフェースを介して判定結果を出力することを特徴とする撮像装置が好ましい。
　上記各構成において、撮像装置は、さらに、アナログデジタル変換回路（１５）と、信号線Ｐｉｏと、配線ＶＲＳと、を有し、画素は、信号線Ｐｉｏを介して第１のデータをアナログデジタル変換回路に出力する機能を有し、画素には、信号線Ｐｉｏを介して配線ＶＲＳに与えられる第１の電位が入力される機能を有し、画素は、信号線Ｐｉｏを介して配線ＶＲＳに与えられる第１の電位が入力されるときニューラルネットワークのニューロンとして機能することを特徴とする撮像装置が好ましい。
　上記各構成において、撮像装置は、さらに、配線ＶＰＤ、配線ＶＤＭ、信号線Ｇ１、信号線Ｇ２、信号線Ｇ３、信号線Ｔｘ、信号線Ｒｅｓ、信号線Ｓ１、及び信号線Ｓ２を有し、画素は、光電変換素子（５０）、第１のトランジスタ（２１）、第２のトランジスタ（２２）、第３のトランジスタ（２３）、第４のトランジスタ（２４）、第５のトランジスタ（２５）、第６のトランジスタ（２６）、第７のトランジスタ（２７）、第１の容量素子（Ｃ１）、第２の容量素子（Ｃ２）、及び第３の容量素子（Ｃ３）を有している。第１の回路（１１）は、信号線Ｇ１を介して画素と電気的に接続され、第１の回路は、信号線Ｇ２を介して画素と電気的に接続され、第１の回路は、信号線Ｇ３を介して画素と電気的に接続され、第２の回路（１２）は、信号線Ｓ１を介して画素と電気的に接続され、第２の回路は、信号線Ｓ２を介して画素と電気的に接続されている。光電変換素子の電極の一方は、配線ＶＰＤと電気的に接続され、光電変換素子の電極の他方は、第１のトランジスタのソース又はドレインの一方と電気的に接続され、第１のトランジスタのゲートは、信号線Ｔｘと電気的に接続され、第１のトランジスタのソース又はドレインの他方は、第２のトランジスタのソース又はドレインの一方と、第３のトランジスタのゲートと、第１の容量素子の電極の一方と電気的に接続され、第２のトランジスタのソース又はドレインの他方は、配線ＶＲＳと電気的に接続され、第２のトランジスタのゲートは、信号線Ｒｅｓと電気的に接続され、第３のトランジスタのソース又はドレインの一方は、配線ＶＤＭと電気的に接続され、第３のトランジスタのソース又はドレインの他方は、第４のトランジスタのソース又はドレインの一方と、第２の容量素子の電極の一方と電気的に接続され、第４のトランジスタのソース又はドレインの他方は、配線Ｐｉｏと電気的に接続され、第４のトランジスタのゲートは、信号線Ｇ３と電気的に接続され、第２の容量素子の他方の電極は、第５のトランジスタのゲートと、第６のトランジスタのソース又はドレインの一方と、第３の容量素子の電極の一方と電気的に接続され、第５のトランジスタのソース又はドレインの一方は、第１の信号線Ｗｘと電気的に接続され、第６のトランジスタのソース又はドレインの他方は、信号線Ｓ１と電気的に接続され、第６のトランジスタのゲートは、信号線Ｇ１と電気的に接続され、第３の容量素子の他方の電極は、第７のトランジスタのソース又はドレインの一方と電気的に接続され、第７のトランジスタのソース又はドレインの他方は、信号線Ｓ２と電気的に接続され、第７のトランジスタのゲートは、信号線Ｇ２と電気的に接続されることで形成されることを特徴とする撮像装置が好ましい。
　上記各構成において、撮像装置は、さらに、信号線Ｃｓｗ、信号線Ｃｓｗｂ、信号線Ｅａｂｓ、信号線Ｏｓｐ、信号線Ｅｗｘ、信号線Ｍａｃ、及び配線ＶＩＶを有し、第３の回路は、カレントミラー回路と、記憶回路と、出力回路と、を有し、カレントミラー回路は、第８のトランジスタ（３１）、第９のトランジスタ（３２）、第１０のトランジスタ（３３）、第１１のトランジスタ（３４）、及び第１２のトランジスタ（３５）を有し、記憶回路は、第１３のトランジスタ（３６）、第１４のトランジスタ（３７）、第１５のトランジスタ（３８）、及び第４の容量素子（Ｃ４）を有し、出力回路は、第１６のトランジスタ（３９）、及び抵抗素子Ｒ１を有している。配線ＶＤＭは、第８のトランジスタ（３１）のソース又はドレインの一方と、第９のトランジスタ（３２）のソース又はドレインの一方と電気的に接続され、第８のトランジスタ（３１）のゲートは、第９のトランジスタ（３２）のゲートと、第１０のトランジスタ（３３）のソース又はドレインの一方と、第１１のトランジスタ（３４）のソース又はドレインの一方と電気的に接続され、第８のトランジスタ（３１）のソース又はドレインの他方は、第１０のトランジスタ（３３）のソース又はドレインの他方と、第１２のトランジスタ（３５）のソース又はドレインの一方と電気的に接続され、第１０のトランジスタ（３３）のゲートは、信号線Ｃｓｗｂと電気的に接続され、第１１のトランジスタ（３４）のゲートは、信号線Ｃｓｗと電気的に接続され、第１２のトランジスタ（３５）のゲートは、信号線Ｅａｂｓと電気的に接続され、第１２のトランジスタ（３５）のソース又はドレインの他方は、第１の信号線Ｗｘと、第１６のトランジスタ（３６）のソース又はドレインの一方と電気的に接続され、第９（３２）のトランジスタのソース又はドレインの他方は、第１１のトランジスタ（３４）のソース又はドレインの他方と、第１３のトランジスタ（３６）のソース又はドレインの一方と、第１４のトランジスタ（３７）の一方と電気的に接続され、第１４のトランジスタ（３７）のゲートは、信号線Ｏｓｐと電気的に接続され、第１４のトランジスタ（３７）のソース又はドレインの他方は、第１５のトランジスタ（３８）のソース又はドレインの一方と、第４の容量素子（Ｃ４）の電極の一方と、第１３のトランジスタ（３６）のゲートと電気的に接続され、第１５のトランジスタ（３８）のゲートは、信号線Ｒｅｓと電気的に接続され、第１６のトランジスタ（３９）のソース又はドレインの他方は、抵抗素子Ｒ１の電極の一方と、信号線Ｍａｃと電気的に接続され、第１６のトランジスタ（３９）のゲートは、信号線Ｅｗｘと電気的に接続され、抵抗素子Ｒ１の電極の他方は、配線ＶＩＶに電気的に接続されることを特徴とする撮像装置が好ましい。
　上記各構成において、撮像装置は、さらに、信号線Ｓｈ、信号線ＣＬ、信号線Ｏｕｔ、配線ＶＣＤＳ、及び配線ＪＤを有し、第４の回路は、ＣＤＳ回路と、判定回路と、を有し、ＣＤＳ回路は、第５の容量素子（Ｃ５）、第６の容量素子（Ｃ６）、オペアンプＯＰ１、及び第１７のトランジスタ（４１）を有し、判定回路は、第７の容量素子（Ｃ７）、オペアンプＯＰ２、及び第１８のトランジスタ（４１）を有している。信号線Ｍａｃは、第５の容量素子（Ｃ５）の電極の一方と電気的に接続され、オペアンプＯＰ１の第１の入力端子は、第５の容量素子（Ｃ５）の電極の他方と、第６の容量素子（Ｃ６）の電極の一方と、第１７のトランジスタ（４１）のソース又はドレインの一方と電気的に接続され、第１７（４１）のトランジスタのゲートは、信号線ＣＬと電気的に接続され、オペアンプＯＰ１の第２の入力端子は、配線ＶＣＤＳと電気的に接続され、オペアンプＯＰ１の出力端子は、第６の容量素子（Ｃ６）の電極の他方と、第１７のトランジスタ（４１）のソース又はドレインの他方と、第１８のトランジスタ（４２）のソース又はドレインの一方と電気的に接続され、第１８のトランジスタのゲートは、信号線Ｓｈと電気的に接続され、第１８のトランジスタのソース又はドレインの他方は、オペアンプＯＰ２の第１の入力端子と、第７の容量素子（Ｃ７）の電極の一方と電気的に接続され、オペアンプＯＰ２の第２の入力端子は、配線ＪＤと電気的に接続され、オペアンプＯＰ２の出力端子は、信号線Ｏｕｔと電気的に接続され、信号線Ｏｕｔは、ニューラルネットワークと接続されることを特徴とする撮像装置が好ましい。
　上記各構成において、撮像装置は、さらに、第２の信号線Ｗｘと、信号線Ｂｓｅｌ１と、スイッチＢｓｗと、を有している。スイッチＢｓｗは、配線Ｂｓｅｌに与えられる信号によって第１の信号線Ｗｘと第２の信号線Ｗｘとを電気的に接続する機能を有し、第３の回路には、第１の信号線Ｗｘに接続される複数の画素と、第２の信号線Ｗｘに接続される複数の画素とから、複数の第５の信号と、複数の第６の信号と、複数の第７の信号とが与えられる機能を有し、第３の回路は、それぞれの画素から与えられる第５の信号、第６の信号、第７の信号を加算してから、第１のオフセット項を減算する機能を有する。撮像装置は、スイッチＢｓｗに与える信号によって複数の画素の選択範囲を選択できる機能を有し、撮像装置は、画素の選択範囲に応じたプーリング処理がされることを特徴とする撮像装置が好ましい。
　上記各構成において、光電変換素子は、セレン又はセレンを含む化合物を有する撮像装置が好ましい。
　上記各構成において、第１のトランジスタ（２１）、第２のトランジスタ（２２）、第４のトランジスタ（２４）、第６のトランジスタ（２６）、及び第７のトランジスタ（２７）のいずれか一もしくは複数が、チャネル形成領域に金属酸化物を有する撮像装置が好ましい。
　上記各構成において、第１３のトランジスタ（３６）は、第５のトランジスタ（２５）のチャネル長及びチャネル幅と同じ大きさを有することを特徴とする撮像装置が好ましい。
　上記各構成において、配線ＶＩＶに与えられる第２の電圧は、配線ＶＤＭに与えられる第３の電圧よりも小さいことを特徴とする撮像装置が好ましい。
　上記各構成において、金属酸化物は、Ｉｎと、Ｚｎと、Ｍ（ＭはＡｌ、Ｔｉ、Ｇａ、Ｓｎ、Ｙ、Ｚｒ、Ｌａ、Ｃｅ、Ｎｄ又はＨｆ）と、を有する撮像装置が好ましい。
　上記のいずれか一に記載の撮像装置と、表示装置と、を有する電子機器が好ましい。
　上記問題に鑑み、本発明の一態様は、新規な構成の撮像装置を提供することができる。又は、本発明の一態様は、ニューラルネットワークのプーリング層を有する撮像装置を提供することができる。又は、本発明の一態様は、演算量を抑えて処理時間を短縮することができる新規な構成の撮像装置を提供することができる。又は、本発明の一態様は、消費電力を低減することができる新規な構成の撮像装置を提供することができる。
　なお、本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお、他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば明細書又は図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、及び／又は他の効果のうち、少なくとも一つの効果を有するものである。したがって本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。
撮像装置を説明するブロック図。 撮像装置を説明する回路図。 撮像装置を説明する回路図。 撮像装置の動作を説明するタイミングチャート。 撮像装置を説明する回路図。 撮像装置の動作を説明するタイミングチャート。 撮像装置の画素の構成を説明する図。 撮像装置の画素の構成を説明する図。 撮像装置の画素の構成を説明する図。 撮像装置の画素の構成を説明する図。 撮像装置の画素の構成を説明する図。 撮像装置を収めたパッケージ、モジュールの斜視図。 電子機器を説明するブロック図。 電子機器の構成例を示す図。 電子機器の構成例を示す図。
（実施の形態１）
　本実施の形態では、トランジスタによる乗算をする場合に生成されるオフセット成分を低減する撮像装置について、図１乃至図６を用いて説明する。
　はじめに、撮像装置１００のブロック図について、図１を参照して説明する。撮像装置１００は、ニューラルネットワーク１７と、プロセッサ１８とに接続されている。撮像装置１００は、ニューラルネットワークインターフェースを介してニューラルネットワーク１７へデータを出力し、さらに、プロセッサ１８に撮像データを出力することができる。また、プロセッサ１８は、撮像装置１００と、ニューラルネットワークと、を制御することができる。
　撮像装置１００は、画素領域１０、回路１１、回路１２、回路１３（１）乃至回路１３（ｍ／２）、回路１４（１）乃至回路１４（ｍ／２）、アナログデジタル変換回路１５（１）乃至アナログデジタル変換回路１５（ｍ）、スイッチモジュール１６（１）乃至スイッチモジュール（ｍ／２）を有している。特に座標の指定がされない場合には、回路１３、回路１４、アナログデジタル変換回路１５、及びスイッチモジュール１６として説明する。ｍ、ｎは、１以上の正の整数である。
　また、撮像装置１００は、信号線Ｐｉｏ（１）乃至信号線Ｐｉｏ（ｍ）、第１の信号線Ｗｘ乃至信号線Ｗｘ（ｍ／２）、信号線Ｏｕｔ、信号線ＩＯｓｅｌ、配線ＶＲＳ、複数のスイッチＢｓｗ、複数のスイッチＢｓｗ２、及び複数の信号線Ｂｓｅｌ１を有している。さらに、図１では図示していないが、信号線Ｇ１（１）乃至信号線Ｇ１（ｎ）、信号線Ｇ２（１）乃至信号線Ｇ２（ｎ）、信号線Ｇ３（１）乃至信号線Ｇ３（ｎ）、信号線Ｓ１（１）乃至信号線Ｓ１（ｍ）、信号線Ｓ２（１）乃至信号線Ｓ２（ｍ）を有している。
　画素領域１０は、画素Ｐ（１，１）乃至画素Ｐ（ｍ，ｎ）を有している。画素領域１０は、任意の選択範囲で画素Ｐをグループ化することができる。選択範囲は、スイッチＢｓｗ、スイッチＢｓｗ２、信号線Ｂｓｅｌ１、及び信号線Ｂｓｅｌ２によって決めることができる。したがって、選択範囲に応じてスイッチＢｓｗ、スイッチＢｓｗ２、信号線Ｂｓｅｌ１、及び信号線Ｂｓｅｌ２を配置することが好ましい。以降、画素の座標を指定しないときは、画素Ｐ、もしくは画素領域のｉ列目ｊ行目の画素Ｐ（ｉ，ｊ）として説明をする。ｉは、ｍ以下の正の整数であり、ｊは、ｎ以下の正の整数である。
　図１において、範囲ＡＧ１、範囲ＡＧ２、又は範囲ＡＧ３は、異なる数の画素を有する選択可能範囲を示している。ただし、選択可能範囲は、上記に限定されず異なる範囲の画素を選択することができることが好ましい。選択可能範囲は、ニューラルネットワークにおけるプーリング処理の選択範囲になる。ニューラルネットワークは、選択範囲が異なるプーリング処理によって、演算量を減らし、さらに特徴を得られやすくすることができる。したがって撮像装置１００は、プーリング処理された撮像データをニューラルネットワークに出力することで、ニューラルネットワークの演算量を減らし、消費電力と、処理時間を低減することができる。
　図１には図示されていないが、回路１１は、信号線Ｇ１を介して列方向に延在する画素と電気的に接続され、また、回路１１は、信号線Ｇ２を介して列方向に延在する画素と電気的に接続され、また、回路１１は、信号線Ｇ３を介して列方向に延在する画素と電気的に接続されている。回路１２は、信号線Ｓ１を介して行方向に延在する画素と電気的に接続され、また、回路１２は、信号線Ｓ２を介して行方向に延在する画素と電気的に接続されている。
　一例として、範囲ＡＧ２では、第１の信号線Ｗｘを介して画素Ｐ（１，１）乃至画素Ｐ（２，ｎ）が回路１３（１）と電気的に接続され、回路１３（１）は、回路１４（１）と電気的に接続されている。回路１４（１）の出力は、信号線Ｏｕｔを介してニューラルネットワークと電気的に接続されている。
　回路１１は、信号線Ｇ１（ｊ）乃至信号線Ｇ３（ｊ）を介して画素Ｐ（ｉ，ｊ）に走査信号を与える機能を有し、回路１２は、走査信号によって選択される画素Ｐ（ｉ，ｊ）にオフセット電位Ｗと、重み電位ｗ（ｉ，ｊ）と、を与えることができる。
　画素Ｐ（ｉ，ｊ）は、光から光電変換することで第１の信号を取得することができる。さらに、画素Ｐ（ｉ，ｊ）は、第１の信号にオフセット電位を加えることで第２の信号を生成することができる。また、画素Ｐ（ｉ，ｊ）は、オフセット電位に重み電位を加えることで第３の信号を生成することができる。また、画素Ｐ（ｉ，ｊ）は、第１の信号にオフセット電位と重み電位とを加えることで第４の信号を生成することができる。
　画素Ｐ（ｉ，ｊ）は、第２の信号を任意の倍率で乗算し第５の信号を生成することができる。また、画素Ｐ（ｉ，ｊ）は、第３の信号を任意の倍率で乗算し第６の信号を生成することができる。また、画素Ｐ（ｉ，ｊ）は、第４の信号を任意の倍率で乗算し第７の信号を生成することができる。
　回路１３は、第２の信号を記憶することができる。さらに、回路１３は、第７の信号と第５の信号とを演算することで第８の信号を生成することができる。
　回路１４は、第８の信号を記憶することができる。さらに、回路１４は、第８の信号と第６の信号とを演算することで第９の信号を生成することができる。第９の信号には、第１の信号と、重み電位との乗算項が出力される。したがって、回路１４は、第９の信号の判定結果をニューラルネットワークへ出力することができる。つまり、回路１４は、ニューラルネットワークインターフェースの機能を有している。
　また、一例として図１では、信号線Ｐｉｏ（１）を介して画素Ｐ（１，１）がスイッチモジュール１６（１）と電気的に接続されている。スイッチモジュール（１）は、信号線ＩＯｓｅｌに与えられる信号によって、信号線Ｐｉｏ（１）をアナログデジタル変換回路１５（１）又は配線ＶＲＳのいずれかに接続することができる。画素Ｐ（１，１）は、信号線Ｐｉｏを介して第１のデータをアナログデジタル変換回路１５（１）に与えることで撮像素子として機能する。又は、画素Ｐ（１，１）に信号線Ｐｉｏ（１）を介して配線ＶＲＳに与えられるリセット電位が入力される場合、画素Ｐ（１，１）は、ニューラルネットワークのニューロンとして機能する。
　図２では、画素Ｐ（ｉ，ｊ）、回路１３、及び回路１４の詳細について回路図を参照して説明する。
　撮像装置１００は、さらに、信号線Ｔｘ、信号線Ｒｅｓ、信号線Ｃｓｗ、信号線Ｃｓｗｂ、信号線Ｅａｂｓ、信号線Ｏｓｐ、信号線Ｅｗｘ、信号線Ｍａｃ、信号線Ｓｈ、信号線ＣＬ、信号線Ｏｕｔ、配線ＶＰＤ、配線ＶＤＭ、配線ＶＲＳ、配線ＶＩＶ、配線ＶＣＤＳ、配線ＪＤ、及び配線ＧＮＤを有している。
　画素Ｐ（ｉ，ｊ）は、光電変換素子５０、トランジスタ２１、トランジスタ２２、トランジスタ２３、トランジスタ２４、トランジスタ２５、トランジスタ２６、トランジスタ２７、容量素子Ｃ１、容量素子Ｃ２、容量素子Ｃ３、ノードＦＮ１、ノードＦＮ２、及びノードＦＮ３を有している。
　光電変換素子５０の電極の一方は、配線ＶＰＤと電気的に接続され、光電変換素子５０の電極の他方はトランジスタ２１のソース又はドレインの一方と電気的に接続され、トランジスタ２１のゲートは、信号線Ｔｘと電気的に接続されている。
　トランジスタ２１のソース又はドレインの他方は、トランジスタ２２のソース又はドレインの一方と、トランジスタ２３のゲートと、容量素子Ｃ１の電極の一方と電気的に接続され、トランジスタ２２のソース又はドレインの他方は、配線ＶＲＳと電気的に接続され、トランジスタ２２のゲートは、信号線Ｒｅｓと電気的に接続されている。トランジスタ２３のソース又はドレインの一方は、配線ＶＤＭと電気的に接続され、トランジスタ２３のソース又はドレインの他方は、トランジスタ２４のソース又はドレインの一方と、容量素子Ｃ２の電極の一方と電気的に接続されている。トランジスタ２４のソース又はドレインの他方は、配線Ｐｉｏ（ｉ）と電気的に接続され、トランジスタ２４のゲートは、信号線Ｇ３と電気的に接続されている。
　容量素子Ｃ２の他方の電極は、トランジスタ２５のゲートと、トランジスタ２６のソース又はドレインの一方と、容量素子Ｃ３の電極の一方と電気的に接続されている。トランジスタ２５のソース又はドレインの一方は、信号線Ｗｘと電気的に接続されている。トランジスタ２５のソース又はドレインの他方は、配線ＧＮＤに電気的に接続されている。
　トランジスタ２６のソース又はドレインの他方は、信号線Ｓ１（ｉ）と電気的に接続され、トランジスタ２６のゲートは、信号線Ｇ１（ｊ）と電気的に接続されている。容量素子Ｃ３の他方の電極は、トランジスタ２７のソース又はドレインの一方と電気的に接続され、トランジスタ２７のソース又はドレインの他方は、信号線Ｓ２（ｉ）と電気的に接続され、トランジスタ２７のゲートは、信号線Ｇ２（ｊ）と電気的に接続されている。
　ノードＦＮ１は、トランジスタ２１のソース又はドレインの他方と、トランジスタ２２のソース又はドレインの一方と、トランジスタ２３のゲートと、容量素子Ｃ１の電極の一方とが接続されることで形成されている。ノードＦＮ２は、トランジスタ２３のソース又はドレインの他方と、トランジスタ２４のソース又はドレインの一方と、容量素子Ｃ２の電極の一方とが接続されることで形成されている。ノードＦＮ３は、容量素子Ｃ２の他方の電極と、トランジスタ２５のゲートと、トランジスタ２６のソース又はドレインの一方と、容量素子Ｃ３の電極の一方と、が接続されることで形成されている。
　回路１３は、カレントミラー回路と、記憶回路と、出力回路と、を有し、カレントミラー回路は、トランジスタ３１、トランジスタ３２、トランジスタ３３、トランジスタ３４、及びトランジスタ３５を有している。
　記憶回路は、トランジスタ３６、トランジスタ３７、トランジスタ３８、及び容量素子Ｃ４を有している。
　出力回路は、トランジスタ３９、及び抵抗素子Ｒ１を有している。
　配線ＶＤＭは、トランジスタ３１のソース又はドレインの一方と、トランジスタ３２のソース又はドレインの一方と電気的に接続され、トランジスタ３１のゲートは、トランジスタ３２のゲートと、トランジスタ３３のソース又はドレインの一方と、トランジスタ３４のソース又はドレインの一方と電気的に接続されている。トランジスタ３１のソース又はドレインの他方は、トランジスタ３３のソース又はドレインの他方と、トランジスタ３５のソース又はドレインの一方と電気的に接続されている。
　トランジスタ３３のゲートは、信号線Ｃｓｗｂと電気的に接続され、トランジスタ３４のゲートは、信号線Ｃｓｗと電気的に接続され、トランジスタ３５のゲートは、信号線Ｅａｂｓと電気的に接続されている。トランジスタ３５のソース又はドレインの他方は、信号線Ｗｘと、トランジスタ３９のソース又はドレインの一方と電気的に接続されている。
　トランジスタ３２のソース又はドレインの他方は、トランジスタ３４のソース又はドレインの他方と、トランジスタ３６のソース又はドレインの一方と、トランジスタ３７の一方と電気的に接続されている。トランジスタ３６のソース又はドレインの他方は配線ＧＮＤに電気的に接続されている。
　トランジスタ３７のゲートは、信号線Ｏｓｐと電気的に接続され、トランジスタ３７のソース又はドレインの他方は、トランジスタ３８のソース又はドレインの一方と、容量素子Ｃ４の電極の一方と、トランジスタ３６のゲートと電気的に接続され、トランジスタ３８のゲートは、信号線Ｒｅｓと電気的に接続されている。トランジスタ３８のソース又はドレインの他方は、容量素子Ｃ４の電極の他方と、配線ＧＮＤとに電気的に接続されている。
　トランジスタ３９のソース又はドレインの他方は、抵抗素子Ｒ１の電極の一方と、信号線Ｍａｃと電気的に接続され、トランジスタ３９のゲートは、信号線Ｅｗｘと電気的に接続され、抵抗素子Ｒ１の電極の他方は、配線ＶＩＶと電気的に接続されている。
　回路１４は、ＣＤＳ回路と、判定回路と、を有している。
　ＣＤＳ回路は、容量素子Ｃ５、容量素子Ｃ６、オペアンプＯＰ１、及びトランジスタ４１を有している。
　判定回路は、容量素子Ｃ６、オペアンプＯＰ２、及びトランジスタ４２を有している。
　信号線Ｍａｃは、容量素子Ｃ５の電極の一方と電気的に接続されている。オペアンプＯＰ１の第１の入力端子は、容量素子Ｃ５の電極の他方と、容量素子Ｃ６の電極の一方と、トランジスタ４１のソース又はドレインの一方と電気的に接続されている。トランジスタ４１のゲートは、信号線ＣＬと電気的に接続されている。オペアンプＯＰ１の第２の入力端子は、配線ＶＣＤＳと電気的に接続され、オペアンプＯＰ１の出力端子は、容量素子Ｃ６の電極の他方と、トランジスタ４１のソース又はドレインの他方と、トランジスタ４２のソース又はドレインの一方と電気的に接続されている。
　トランジスタ４２のゲートは、信号線Ｓｈと電気的に接続されている。トランジスタ４２のソース又はドレインの他方は、オペアンプＯＰ２の第１の入力端子と、容量素子Ｃ７の電極の一方と電気的に接続され、オペアンプＯＰ２の第２の入力端子は、配線ＪＤと電気的に接続されている。オペアンプＯＰ１の出力端子は、信号線Ｏｕｔと電気的に接続され、信号線Ｏｕｔは、ニューラルネットワークと接続される。
　画素Ｐ（ｉ，ｊ）は、二つの機能を備えていることが好ましい。第１の機能は撮像素子としての機能を備えている。第２の機能は、ニューロンとして機能し、撮像データに重み係数を乗算する機能を備えている。重み係数は、重み電位として電圧で与えられることが好ましい。
　画素Ｐ（ｉ，ｊ）が撮像素子として機能するときは、トランジスタ２４を介して信号線Ｐｉｏ（ｉ）に撮像データｖｉ（ｉ，ｊ）を出力する。撮像データｖｉ（ｉ，ｊ）は、スイッチモジュール１６（ｉ／２）を介してアナログデジタル変換回路１５（ｉ）に与えられ、アナログデジタル変換回路（ｉ）は、デジタル変換された撮像データｖｉ（ｉ，ｊ）をプロセッサ１８に出力することができる。
　最初に、画素Ｐ（ｉ，ｊ）が撮像素子として機能する場合について詳細な説明をする。配線ＶＰＤには、光電変換素子５０の電源としての電位が与えられ、配線ＶＲＳには、トランジスタ２２を介してノードＦＮ１をリセットするためのリセット電位が与えられる。トランジスタ２１は、信号線Ｔｘに与えられる信号によってオン状態になり、光電変換素子５０が光電変換によって生成される光電流を容量素子Ｃ１に与えることができる。容量素子Ｃ１に与えられた光電流は、容量素子Ｃ１によって電圧変換されノードＦＮ１を更新する。ノードＦＮ２には、ノードＦＮ１の電位からトランジスタ２３の閾値電圧Ｖｔｈ２３だけ低い電圧が撮像データｖｉ（ｉ，ｊ）として与えられる。撮像データｖｉ（ｉ，ｊ）は、トランジスタ２４を介して信号線Ｐｉｏ（ｉ）に出力され、さらに、信号線Ｐｉｏ（ｉ）を介してアナログデジタル変換回路１５（ｉ）に与えられる。撮像データｖｉ（ｉ，ｊ）は、第１の信号に相当する。
　次に、画素Ｐ（ｉ，ｊ）、回路１３、及び回路１４がニューロンとして機能する場合について説明する。画素Ｐ（ｉ，ｊ）は、ニューロンが有する積和演算機能の乗算機能を有することができる。画素Ｐ（ｉ，ｊ）は、容量素子Ｃ２、容量素子Ｃ３、及びトランジスタ２５乃至トランジスタ２７でノードＦＮ３を制御することでトランジスタを用いた乗算をすることができる。つまり、画素Ｐ（ｉ，ｊ）は、ノードＦＮ３の電位の変化をトランジスタ２５のドレイン電流の変化として乗算結果を得ることができる。
　まず、画素Ｐ（ｉ，ｊ）がニューロンとして機能する場合について詳細に説明する。トランジスタ２５のドレイン電流Ｉｄは、式（１）で表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで変数βは、式（２）で表すことができる。よって、変数βは、トランジスタ２５が有する変数であることがわかる。
Figure JPOXMLDOC01-appb-M000002
　トランジスタ２５を用いて乗算する場合、ノードＦＮ３には、トランジスタ２６を介して信号線Ｓ１（ｉ）から重み電位ｗ（ｉ，ｊ）が与えられる。このとき、ノードＦＮ２には、トランジスタ２２を介して配線ＶＲＳに与えられるリセット電位が与えられ、ノードＦＮ１にリセット電位が与えられた場合の撮像データｖｉ（ｉ，ｊ）であることが好ましい。
　次に光電変換素子５０によって生成される撮像データｖｉ（ｉ，ｊ）が、ノードＦＮ２に与えられる。よって、トランジスタ２５のＶｇｓの電位は、ノードＦＮ３に記憶される重み電位ｗ（ｉ，ｊ）に、容量素子Ｃ２を介して撮像データｖｉ（ｉ，ｊ）が加えられる。したがって、トランジスタ２５のドレイン電流Ｉｄは、式（３）で示される。なお、式（３）の閾値Ｖｔｈは、トランジスタ２５の閾値を示している。
Figure JPOXMLDOC01-appb-M000003
　また、ノードＦＮ３の電位は、容量素子Ｃ２と、容量素子Ｃ３と、トランジスタ２５のゲート容量との容量比Ａによって換算される。ただし、計算式の説明を簡便にするために容量比Ａを１として説明をする。容量比Ａを正確に算出するためには、トランジスタ２５のゲート容量だけでなく、容量素子Ｃ２、容量素子Ｃ３、トランジスタ２６のソース又はドレインの一方とゲート間で形成される容量、及び寄生容量等を考慮することが好ましい。ドレイン電流Ｉｄは、Ａ＝１とすると式（３．１）で表すことができる。
Figure JPOXMLDOC01-appb-M000004
　式（４）は、式（３．１）を展開し整理することで得ることができる。式（４）は、トランジスタ２５を用いた撮像データと重み電位との乗算項と、乗算項以外のオフセット項Ａ１（式（４．１））とに整理することができる。
Figure JPOXMLDOC01-appb-M000005
　式（４）で示すように、トランジスタ２５を用いた乗算では、オフセット項Ａ１の影響を低減させることが好ましい。よって、オフセット項Ａ１は、回路で低減させることが好ましい。したがって式（５）では、オフセット項Ａ１を低減するために、式（３．１）から撮像データｖｉ（ｉ，ｊ）に依存する式（５．１）に示すオフセット項Ａ２と、重み電位に依存する式（５．２）に示すオフセット項Ａ３を減算することが好ましい。
Figure JPOXMLDOC01-appb-M000006
　式（５．３）は、式（５）を展開することで得ることができる。
Figure JPOXMLDOC01-appb-M000007
　式（６）は、各項を整理することで得ることができる。したがって、式３．１から、オフセット項Ａ２、オフセット項Ａ３を減算することで、オフセット項Ａ１は、トランジスタ２５の閾値Ｖｔｈのみで表せる大きさまで低減することができる。
Figure JPOXMLDOC01-appb-M000008
　ここで、重み電位ｗ（ｉ，ｊ）について説明を補足する。重み電位ｗ（ｉ，ｊ）は、重み係数と言い換えることができる。重み係数は、正の値から負の値まで設定することができる。ただし、重み係数が負の値であっても重み電位ｗ（ｉ，ｊ）は、正の電位であることが好ましい。したがって、重み係数が負の値であっても重み電位ｗ（ｉ，ｊ）が正の電位であるためには、重み電位ｗ（ｉ，ｊ）にオフセット電位Ｗを加えることが好ましい。よって、式（５．４）は、式（５）の各項にオフセット電位Ｗを加えている。
Figure JPOXMLDOC01-appb-M000009
　式（７）は、式（５．４）を展開し整理することで得ることができる。したがってオフセット項Ａ１のオフセット成分は、オフセット電位Ｗとトランジスタ２５の閾値Ｖｔｈまで削減することができる。
Figure JPOXMLDOC01-appb-M000010
　なお、画素Ｐ（ｉ，ｊ）では、式（５．１）、式（５．２）で示されるオフセット成分を減算することが難しいため、回路１３、及び回路１４を用いてオフセット成分を減算することが好ましい。回路１３は、式（５．１）で示される撮像データｖｉ（ｉ，ｊ）に依存するオフセット項Ａ２を減算し、回路１４は、式（５．２）で示される重み電位ｗ（ｉ，ｊ）に依存するオフセット項Ａ３を減算することができる。
　続いて、図２を参照して、式（５．１）、式（５．２）で示されるオフセット成分を減算する方法について説明する。ノードＦＮ３には、トランジスタ２６を介して信号線Ｓ１（ｉ）からオフセット電位Ｗが与えられる。また、容量素子Ｃ３の電極の他方には、トランジスタ２７を介して信号線Ｓ２（ｉ）からオフセット電位Ｗが与えられる。よって、容量素子Ｃ３は、容量素子Ｃ３のいずれの電極も同じオフセット電位Ｗが与えられる。ノードＦＮ２には、トランジスタ２４を介して配線ＶＲＳに与えられるリセット電位が与えられる。且つ、信号線Ｒｅｓに与えられる信号によって、ノードＦＮ１は、トランジスタ２２を介してリセット電位が与えられることが好ましい。また容量素子Ｃ４には、信号線Ｒｅｓに与えられる信号によってトランジスタ３８を介して配線ＧＮＤに与えられる電位が与えられる。リセット電位は、配線ＶＲＳに与えられる電位と同じでもよいし、撮像装置１００の基準電位のいずれでもよい。なお、配線ＧＮＤに与えられる電位は、撮像装置１００の基準電位と同じでもよい。
　また、回路１４では、信号線ＣＬに与えられる信号によってトランジスタ４１がオン状態になると、オペアンプＯＰ１はボルテージフォロワを形成する。したがって、オペアンプＯＰ１の第２の入力端子に接続されている配線ＶＣＤＳに与えられる電位がオペアンプＯＰ１の出力端子に出力される。よって、オペアンプＯＰ１の第１の入力端子に接続されるノードＣｄｓｉｎは、トランジスタ４１を介して配線ＶＣＤＳに与えられる電位が与えられる。つまり容量素子Ｃ６は、配線ＶＣＤＳに与えられる電位によってリセットされる。さらに、信号線Ｓｈに与えられる信号によってトランジスタ４２がオン状態になり、オペアンプＯＰ２の第１の入力端子は、オペアンプＯＰ１の出力端子に出力される配線ＶＣＤＳに与えられる電位が与えられる。容量素子Ｃ７は、配線ＶＣＤＳに与えられる電位でリセットされる。
　次に、光電変換素子によって生成される撮像データｖｉ（ｉ，ｊ）が、ノードＦＮ２に与えられる。よって、トランジスタ２５のＶｇｓは、ノードＦＮ３に記憶されるオフセット電位Ｗに、容量素子Ｃ２を介してノードＦＮ２に出力される撮像データｖｉ（ｉ，ｊ）が加えられた電圧になる。つまり、第２の信号は、撮像データｖｉ（ｉ，ｊ）にオフセット電位Ｗを加えることで生成される。
　トランジスタ２５は、トランジスタ２５のゲートに与えられる第２の信号に応じ乗算された結果がドレイン電流として信号線Ｗｘに与えられる。このとき、信号線Ｗｘに与えられる信号を第５の信号とすることができる。
　さらに、信号線Ｅａｂｓ、信号線Ｃｓｗｂ、及び信号線Ｏｓｐに与えられる信号によって、トランジスタ３３、トランジスタ３５、及びトランジスタ３７がオン状態になる。トランジスタ３３、及びトランジスタ３５がオン状態になることでトランジスタ３１、トランジスタ３２、及びトランジスタ３３は、カレントミラーの回路を形成する。トランジスタ３１に流れる第５の信号は、トランジスタ３２にコピーされ、トランジスタ３７を介して容量素子Ｃ４に与えられる。トランジスタ３６は、トランジスタ２５と同じ大きさのチャネル長及びチャネル幅を有するトランジスタであることが好ましい。トランジスタ３６がトランジスタ２５に流れる電流と同じ大きさの電流を流すことで、ノードＦＮ４がノードＦＮ３と同じ大きさの第２の信号を記憶することができる。
　次に、トランジスタ３３、及びトランジスタ３７を、オフ状態にする。さらに容量素子Ｃ３の電極の他方には、トランジスタ２７を介して重み電位ｗ（ｉ，ｊ）が与えられる。ノードＦＮ３は、第２の信号に重み電位ｗ（ｉ，ｊ）を加えた第４の信号が生成される。トランジスタ２５は、トランジスタ２５のゲートに与えられる信号に応じ乗算された結果がドレイン電流として信号線Ｗｘに与えられる。このとき、信号線Ｗｘに与えられる信号を第７の信号とすることができる。
　さらに、信号線Ｅａｂｓ、信号線Ｃｓｗ、及び信号線Ｅｗｘに与えられる信号によって、トランジスタ３４、トランジスタ３５、及びトランジスタ３９がオン状態になる。トランジスタ３４、及びトランジスタ３５がオン状態になることでトランジスタ３１、トランジスタ３２、及びトランジスタ３４は、カレントミラーの回路を形成する。トランジスタ３２に流れる第５の信号は、トランジスタ３１にコピーされ、信号線Ｗｘに流れる第７の信号から第５の信号を減算することができる。したがって、信号線Ｗｘは、第７の信号から撮像データｖｉ（ｉ，ｊ）に依存するオフセット項Ａ２が減算されることになる。
　抵抗素子Ｒ１は、トランジスタ３９を介し信号線Ｗｘと接続されている。第８の信号は、第７の信号から第５の信号が減算された電流を抵抗素子Ｒ１によって電圧に変換することで生成される。配線ＶＩＶに与えられる電位は、配線ＶＤＭに与えられているカレントミラー回路の電源電圧よりも小さいことが好ましい。一例として、配線ＶＤＭと回路の基準電位ＧＮＤとの中間電位を配線ＶＩＶに与えると、重み係数が、正の値、又は負の値のいずれについても演算するには好適である。
　第８の信号は、信号線Ｍａｃに与えられる。配線Ｍａｃに与えられた第８の信号は、回路１４が有する容量素子Ｃ５を介してノードＣｄｓｉｎに与えられる。その後、トランジスタ４１は、信号線ＣＬに与えられる信号によってオフ状態になる。ノードＣｄｓｉｎは、フローティングノードになるため第８の信号を記憶することができる。さらに、トランジスタ３５は、信号線Ｅａｂｓに与えられる信号によりオフ状態になる。
　次に、ノードＦＮ２には、トランジスタ２４を介してリセット電位が与えられる。ノードＦＮ３には、オフセット電位Ｗに重み電位ｗ（ｉ，ｊ）を加えた第３の信号が生成される。トランジスタ２５は、ゲートに与えられる信号に応じて乗算された結果をドレイン電流として信号線Ｗｘに与える。信号線Ｍａｃには、信号線Ｗｘの電位を抵抗素子Ｒ１によって電圧に変換することで生成される第６の信号が与えられる。
　第６の信号は、容量素子Ｃ５を介してノードＣｄｓｉｎに与えられる。オペアンプＯＰ１の出力端子に接続されるノードＣｄｓｏｕｔには、第８の信号から第６の信号が減算されて生成される第９の信号が与えられる。よって、ノードＣｄｓｏｕｔに与えられる第９の信号は、第８の信号から重み電位ｗ（ｉ，ｊ）に依存するオフセット項Ａ３が減算されることになる。したがって、第９の信号は、式（７）で示すように撮像データｖｉ（ｉ，ｊ）と重み電位ｗ（ｉ，ｊ）との乗算項になり、オフセット成分をオフセット電位Ｗとトランジスタ２５の閾値Ｖｔｈに依存するオフセット項まで低減することができる。
　第９の信号は、トランジスタ４２を介してオペアンプＯＰ２の第１の入力端子に与えられる。第９の信号をオペアンプＯＰ２に与えるタイミングは、信号線Ｓｈに与えられる信号によって制御することができる。オペアンプＯＰ２の第２の入力端子には、配線ＪＤより判定電圧が与えられる。判定結果は、オペアンプＯＰ２の出力端子より信号線Ｏｕｔに与えられる。
　トランジスタ２１、トランジスタ２２、トランジスタ２４、トランジスタ２６、及びトランジスタ２７には、オフ電流の小さなトランジスタを用いることが好ましい。トランジスタ２１、トランジスタ２２、及びトランジスタ２４には、オフ電流の小さなトランジスタを用いることで、ノードＦＮ１、及びノードＦＮ２に記憶される撮像データの劣化を抑えることができる。また、トランジスタ２６、及びトランジスタ２７には、オフ電流の小さなトランジスタを用いることで、ノードＦＮ３に記憶される第２の信号、第３の信号、及び第４の信号の劣化を抑えることができる。オフ電流の小さなトランジスタについては、実施の形態２で詳細な説明をする。
　図３では、信号線Ｗｘを介して複数の画素Ｐ（ｉ，ｊ）乃至画素Ｐ（ｉ＋１，ｊ＋１）が回路１３に接続される例を示している。ただし、信号線Ｗｘに接続される画素Ｐの数は限定されない。回路１３には、図１で示すようにプーリング処理で選択する範囲ＡＧが有する複数の画素Ｐを接続することができる。
　画素Ｐは、撮像データｖｉ（ｉ，ｊ）、重み電位ｗ（ｉ，ｊ）、及びオフセット電位Ｗを乗算する機能を有し、回路１３、及び回路１４は、画素Ｐで乗算する場合に生成されるオフセット項を減算する機能を有している。図３では、信号線Ｗｘを介して複数の画素Ｐと接続することで、信号線Ｗｘは、複数の画素Ｐの出力を加算する機能を有している。したがって、複数の画素Ｐ、回路１３、及び回路１４は、ニューラルネットワークのニューロンが有する積和演算の機能を有することができる。よって、複数の画素Ｐ、回路１３、及び回路１４で演算される積和演算は、式（８）で示すことができる。
Figure JPOXMLDOC01-appb-M000011
　続いて、図２の撮像装置１００の動作を、図４のタイミングチャートを参照して説明する。
　Ｔ１では、信号線Ｒｅｓ、信号線ＣＬ、信号線Ｓｈ、及び信号線Ｇ３に“Ｈ”の信号を与えることで、ノードＦＮ１、ノードＦＮ２、及びノードＦＮ４にそれぞれリセット電位（＊１）が与えられる。ノードＣｄｓｉｎ、ノードＣｄｓｏｕｔは、それぞれ配線ＶＣＤＳに与えられる電位でリセットされる。また信号線Ｇ１（ｊ）、及び信号線Ｇ２（ｊ）に“Ｈ”の信号を与えることで、ノードＦＮ３と、ノードＦＮ３に接続される容量素子Ｃ３の電極の他方に、信号線Ｓ１（ｉ）及び信号線Ｓ２（ｉ）を介してオフセット電位Ｗを与えることができる。
　Ｔ２では、信号線Ｔｘに“Ｈ”の信号を与えることでトランジスタ２１を介して光電変換素子５０が出力する撮像データｄａｔａ（ｉ，ｊ）（＊２）でノードＦＮ１を更新することができる。ノードＦＮ２には、撮像データｄａｔａ（ｉ，ｊ）からトランジスタ２３の閾値電圧Ｖｔｈ２３だけ低い撮像データｖｉ（ｉ，ｊ）（＊３）が与えられる。なお、撮像データｖｉ（ｉ，ｊ）は第１のデータを意味している。ノードＦＮ３には、撮像データｖｉ（ｉ，ｊ）とオフセット電位が加えられた、第２の信号が記憶される。
　Ｔ３では、信号線Ｃｓｗｂ、及び信号線Ｅａｂｓに“Ｌ”の信号を与えることで、図１３のカレントミラー回路を起動し、さらに、信号線Ｏｓｐに“Ｈ”の信号を与えることで、ノードＦＮ３が記憶する第２の信号をノードＦＮ４にコピーして記憶させることができる。
　Ｔ４では、信号線Ｇ２に“Ｈ”の信号を与えることで、ノードＦＮ３に接続される容量素子Ｃ３の電極の他方に、信号線Ｓ２（ｉ）を介してオフセット電位Ｗと重み電位ｗ（ｉ，ｊ）とを加えた第３の信号（＊５）を与えることができる。したがって、ノードＦＮ３には、撮像データｖｉ（ｉ，ｊ）とオフセット電位と重み電位ｗ（ｉ，ｊ）とが加えられた第４の信号（＊６）が記憶される。
　Ｔ５では、信号線Ｃｓｗに“Ｌ”の信号を与えることで、トランジスタ２５によって生成される第７の信号から、トランジスタ３６によって生成される第５の信号を減算することができる。さらに、Ｔ５では、信号線Ｅｗｘに“Ｈ”の信号を与えることで、抵抗素子Ｒ１によって第８の信号を生成し、回路１４のノードＣｄｓｉｎに与える第８の信号（＊７）を与えることができる。
　Ｔ６では、信号線Ｃｓｗと、信号線Ｅａｂｓとに“Ｈ”の信号を与えることで、回路１３のカレントミラー回路を停止する。また、信号線ＣＬに“Ｌ”の信号を与えることで、ノードＣｄｓｉｎに第８の信号（＊７）を記憶させることができる。さらに、信号線Ｇ３（ｊ）に“Ｈ”の信号を与えることで、ノードＦＮ２をリセット電位で更新する。よってノードＦＮ３は、第３の信号（＊５）に更新され、回路１４のノードＣｄｓｉｎには、第９の信号（＊８）が生成される。
　Ｔ７では、信号線Ｓｈに“Ｈ”の信号を与えることで、第９の信号（＊８）は、配線ＪＤに与えられる判定電圧によって判定され、オペアンプＯＰ２が信号線Ｏｕｔに判定結果Ｒｅｓｕｌｔ（＊９）を与えることができる。
　図４で示すタイミングチャートでは、図２の画素Ｐ（ｉ，ｊ）と、回路１３、及び回路１４で構成される例を用いて示しているが、図３で示すように複数の画素Ｐを用いる構成としてもよい。また複数の画素Ｐを用いてプーリング処理するときは、駆動タイミングを調整することが好ましい。また、撮像装置１００は、グローバルシャッター方式を用いて一回の撮像によってプーリング処理を行うことが好ましい。撮像装置１００が、プーリング処理後のデータを出力するニューラルネットワークインターフェースを備えることで、消費電力と、処理時間とを低減することができる。さらに撮像装置１００は、画素Ｐによる撮像データｖｉ（ｉ，ｊ）と、重み電位ｗ（ｉ，ｊ）との乗算の演算で生成されるオフセット項を低減することができる。
　図５は、図２と異なる画素を有する撮像装置１００について示している。図５では、図２と異なる点について説明する。図５で示す画素Ｐ（ｉ，ｊ）は、さらに、信号線Ｒｅｓ２（ｊ）を有し、図２の画素Ｐ（ｉ，ｊ）が有しているトランジスタ２７と、容量素子Ｃ３とを備えていない点が異なっている。
　図５の撮像装置１００の動作を、図６のタイミングチャートを参照して説明する。
　Ｔ１１では、信号線Ｒｅｓ、信号線Ｒｅｓ２、信号線ＣＬ、信号線Ｓｈ、及び信号線Ｇ３に“Ｈ”の信号を与えることで、ノードＦＮ１、ノードＦＮ２、及びノードＦＮ４にそれぞれリセット電位（＊１）を与えることができる。ノードＣｄｓｉｎ、ノードＣｄｓｏｕｔは、それぞれ配線ＶＣＤＳに与えられる電位でリセットされる。また信号線Ｇ１（ｊ）に“Ｈ”の信号を与えることで、ノードＦＮ３に、信号線Ｓ１（ｉ）を介してオフセット電位Ｗを与えることができる。
　Ｔ１２では、信号線Ｔｘに“Ｈ”の信号を与えることでトランジスタ２１を介して光電変換素子５０が出力する撮像データｄａｔａ（ｉ，ｊ）（＊２）でノードＦＮ１を更新することができる。ノードＦＮ２には、撮像データｄａｔａ（ｉ，ｊ）からトランジスタ２３の閾値電圧Ｖｔｈ２３だけ低い撮像データｖｉ（ｉ，ｊ）（＊３）が与えられる。なお、撮像データｖｉ（ｉ，ｊ）は、第１のデータを意味している。ノードＦＮ３には、撮像データｖｉ（ｉ，ｊ）とオフセット電位が加えられた、第２の信号が記憶される。
　Ｔ１３では、信号線Ｃｓｗｂ、及び信号線Ｅａｂｓに“Ｌ”の信号を与えることで、図１３のカレントミラー回路を起動し、さらに、信号線Ｏｓｐに“Ｈ”の信号を与えることで、ノードＦＮ３が記憶する第２の信号をノードＦＮ４にコピーして記憶させることができる。
　Ｔ１４では、信号線Ｒｅｓ、信号線ＣＬ、信号線Ｓｈ、及び信号線Ｇ３に“Ｈ”の信号を与えることで、ノードＦＮ１、ノードＦＮ２、及びノードＦＮ４にそれぞれリセット電位（＊１）を与えることができる。さらに、信号線Ｇ１（ｊ）に“Ｈ”の信号を与えることで、ノードＦＮ３に、信号線Ｓ１（ｉ）を介してオフセット電位Ｗと重み電位ｗ（ｉ，ｊ）とを加えた第３の信号（＊５）を与えることができる。
　Ｔ１５では、信号線Ｔｘに“Ｈ”の信号を与えることで、トランジスタ２１を介して光電変換素子５０が出力する撮像データｄａｔａ（ｉ，ｊ）（＊２）でノードＦＮ１を更新することができる。ノードＦＮ２には、撮像データｖｉ（ｉ，ｊ）（＊３）が出力される。したがって、ノードＦＮ３には、撮像データｖｉ（ｉ，ｊ）とオフセット電位と重み電位ｗ（ｉ，ｊ）とが加えられた第４の信号（＊６）が記憶される。
　さらに、Ｔ５では、信号線Ｃｓｗに“Ｌ”の信号を与えることで、トランジスタ２５によって生成される第７の信号から、トランジスタ３６によって生成される第５の信号を減算することができる。さらに、Ｔ１５では、信号線Ｅｗｘに“Ｈ”の信号を与えることで、抵抗素子Ｒ１によって第８の信号を生成し、回路１４のノードＣｄｓｉｎに与える第８の信号（＊７）を与えることができる。
　Ｔ１６では、信号線Ｃｓｗと、信号線Ｅａｂｓに“Ｈ”の信号を与えることで、回路１３のカレントミラー回路を停止する。また、信号線ＣＬに“Ｌ”の信号を与えることで、ノードＣｄｓｉｎに第８の信号（＊７）を記憶させることができる。さらに、信号線Ｇ３（ｊ）に“Ｈ”の信号を与えることで、ノードＦＮ２をリセット電位で更新する。よってノードＦＮ３が第３の信号（＊５）で更新され、回路１４のノードＣｄｓｉｎには、第９の信号（＊８）が生成される。
　Ｔ１７では、信号線Ｓｈに“Ｈ”の信号を与えることで、第９の信号（＊８）が配線ＪＤに与えられる判定電圧によって判定され、オペアンプＯＰ２が信号線Ｏｕｔに判定結果Ｒｅｓｕｌｔ（＊９）を与えることができる。
　図６で示すタイミングチャートでは、図５の画素Ｐ（ｉ，ｊ）が二回撮像することを特徴としている。例えば、図５で説明する画素Ｐを有する撮像装置１００は、工場における検査工程のように常に安定している光源の下で使用するには好適である。撮像装置１００は、画素Ｐの構成要素を少なくすることでより多くの画素Ｐを有することができる。したがって、検査工程などでは、より精細度の高い詳細な検査をすることができる。
　以上、本実施の形態で示す構成、方法は、他の実施の形態で示す構成、方法と適宜組み合わせて用いることができる。
（実施の形態２）
　本実施の形態では、撮像装置の一例について図面を参照して説明する。
＜画素回路の構成例＞
　図７（Ａ）に、実施の形態１で説明した画素回路を有する画素の構成を例示する。図７（Ａ）に示す画素は、層２６１及び層２６２の積層構成を有する例である。
　層２６１は、光電変換素子５０を有する。光電変換素子５０は、図７（Ｃ）に示すように層２６５ａと、層２６５ｂと、層２６５ｃとの積層とすることができる。
　図７（Ｃ）に示す光電変換素子５０はｐｎ接合型フォトダイオードであり、例えば、層２６５ａにｐ＋型半導体、層２６５ｂにｎ型半導体、層２６５ｃにｎ＋型半導体を用いることができる。又は、層２６５ａにｎ＋型半導体、層２６５ｂにｐ型半導体、層２６５ｃにｐ＋型半導体を用いてもよい。又は、層２６５ｂをｉ型半導体としたｐｉｎ接合型フォトダイオードであってもよい。
　上記ｐｎ接合型フォトダイオード又はｐｉｎ接合型フォトダイオードは、単結晶シリコンを用いて形成することができる。また、ｐｉｎ接合型フォトダイオードとしては、非晶質シリコン、微結晶シリコン、多結晶シリコンなどの薄膜を用いて形成することもできる。
　また、層２６１が有する光電変換素子５０は、図７（Ｄ）に示すように、層２６６ａと、層２６６ｂと、層２６６ｃ、層２６６ｄとの積層としてもよい。図７（Ｄ）に示す光電変換素子５０はアバランシェフォトダイオードの一例であり、層２６６ａ、層２６６ｄは電極に相当し、層２６６ｂ、層２６６ｃは光電変換部に相当する。
　層２６６ａは、低抵抗の金属層などとすることが好ましい。例えば、アルミニウム、チタン、タングステン、タンタル、銀又はそれらの積層を用いることができる。
　層２６６ｄは、可視光に対して高い透光性を有する導電層を用いることが好ましい。例えば、インジウム酸化物、錫酸化物、亜鉛酸化物、インジウム−錫酸化物、ガリウム−亜鉛酸化物、インジウム−ガリウム−亜鉛酸化物、又はグラフェンなどを用いることができる。なお、層２６６ｄを省く構成とすることもできる。
　光電変換部の層２６６ｂ、層２６６ｃは、例えばセレン系材料を光電変換層としたｐｎ接合型フォトダイオードの構成とすることができる。層２６６ｂとしてはｐ型半導体であるセレン系材料を用い、層２６６ｃとしてはｎ型半導体であるガリウム酸化物などを用いることが好ましい。
　セレン系材料を用いた光電変換素子は、可視光に対する外部量子効率が高い特性を有する。当該光電変換素子では、アバランシェ増倍を利用することにより、入射される光量に対するキャリアの増幅を大きくすることができる。また、セレン系材料は光吸収係数が高いため、光電変換層を薄膜で作製できるなどの生産上の利点を有する。セレン系材料の薄膜は、真空蒸着法又はスパッタ法などを用いて形成することができる。
　セレン系材料としては、単結晶セレンや多結晶セレンなどの結晶性セレン、非晶質セレン、銅、インジウム、セレンの化合物（ＣＩＳ）、又は、銅、インジウム、ガリウム、セレンの化合物（ＣＩＧＳ）などを用いることができる。
　ｎ型半導体は、バンドギャップが広く、可視光に対して透光性を有する材料で形成することが好ましい。例えば、亜鉛酸化物、ガリウム酸化物、インジウム酸化物、錫酸化物、又はそれらが混在した酸化物などを用いることができる。また、これらの材料は正孔注入阻止層としての機能も有し、暗電流を小さくすることもできる。
　図７（Ａ）に示す層２６２としては、例えばシリコン基板を用いることができる。当該シリコン基板には、Ｓｉトランジスタ等が設けられ、前述した画素回路の他、当該画素回路を駆動する回路、画像信号の読み出し回路、画像処理回路等を設けることができる。
　また、画素は、図７（Ｂ）に示すように層２６１、層２６３及び層２６２の積層構成を有していてもよい。
　層２６３は、ＯＳトランジスタ（例えば、画素回路のトランジスタ２１、２２）を有することができる。このとき、層２６２は、Ｓｉトランジスタ（例えば、画素回路のトランジスタ２３、２５）を有することが好ましい。
　当該構成とすることで、画素回路を構成する要素を複数の層に分散させ、かつ当該要素を重ねて設けることができるため、撮像装置の面積を小さくすることができる。なお、図７（Ｂ）の構成において、層２６２を支持基板とし、層２６１及び層２６３に画素回路を設けてもよい。
　図８（Ａ）は、図７（Ａ）に示す画素の断面の一例を説明する図である。層２６１は光電変換素子５０として、シリコンを光電変換層とするｐｎ接合型フォトダイオードを有する。層２６２は、画素回路を構成するＳｉトランジスタ等を有する。
　光電変換素子５０において、層２６５ａはｐ＋型領域、層２６５ｂはｎ型領域、層２６５ｃはｎ＋型領域とすることができる。また、層２６５ｂには、電源線と層２６５ｃとを接続するための領域２３６が設けられる。例えば、領域２３６はｐ＋型領域とすることができる。
　図８（Ａ）において、Ｓｉトランジスタはシリコン基板２４０にチャネル形成領域を有するプレーナー型の構成を示しているが、図１０（Ａ）、（Ｂ）に示すように、シリコン基板２４０にフィン型の半導体層を有する構成であってもよい。図１０（Ａ）はチャネル長方向の断面、図１０（Ｂ）はチャネル幅方向の断面に相当する。
　又は、図１０（Ｃ）に示すように、シリコン薄膜の半導体層２４５を有するトランジスタであってもよい。半導体層２４５は、例えば、シリコン基板２４０上の絶縁層２４６上に形成された単結晶シリコン（ＳＯＩ（Ｓｉｌｉｃｏｎ　ｏｎ　Ｉｎｓｕｌａｔｏｒ））とすることができる。
　ここで、図８（Ａ）では、層２６１が有する要素と層２６２が有する要素との電気的な接続を貼り合わせ技術で得る構成例を示している。
　層２６１には、絶縁層２４２、導電層２３３及び導電層２３４が設けられる。導電層２３３及び導電層２３４は、絶縁層２４２に埋設された領域を有する。導電層２３３は、層２６５ａと電気的に接続される。導電層２３４は、領域２３６と電気的に接続される。また、絶縁層２４２、導電層２３３及び導電層２３４の表面は、それぞれ高さが一致するように平坦化されている。
　層２６２には、絶縁層２４１、導電層２３１及び導電層２３２が設けられる。導電層２３１及び導電層２３２は、絶縁層２４１に埋設された領域を有する。導電層２３２は、電源線と電気的に接続される。導電層２３１は、トランジスタ２１のソース又はドレインと電気的に接続される。また、絶縁層２４１、導電層２３１及び導電層２３２の表面は、それぞれ高さが一致するように平坦化されている。
　ここで、導電層２３１及び導電層２３３は、主成分が同一の金属元素であることが好ましい。導電層２３２及び導電層２３４は、主成分が同一の金属元素であることが好ましい。また、絶縁層２４１及び絶縁層２４２は、同一の成分で構成されていることが好ましい。
　例えば、導電層２３１、２３２、２３３、２３４には、Ｃｕ、Ａｌ、Ｓｎ、Ｚｎ、Ｗ、Ａｇ、Ｐｔ又はＡｕなどを用いることができる。接合のしやすさから、好ましくはＣｕ、Ａｌ、Ｗ、又はＡｕを用いる。また、絶縁層２４１、２４２には、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、窒化チタンなどを用いることができる。
　つまり、導電層２３１及び導電層２３３の組み合わせと、導電層２３２及び導電層２３４の組み合わせのそれぞれに、上記に示す同一の金属材料を用いることが好ましい。また、絶縁層２４１及び絶縁層２４２のそれぞれに、上記に示す同一の絶縁材料を用いることが好ましい。当該構成とすることで、層２６１と層２６２の境を接合位置とする、貼り合わせを行うことができる。
　当該貼り合わせによって、導電層２３１及び導電層２３３の組み合わせと、導電層２３２及び導電層２３４の組み合わせのそれぞれの電気的な接続を得ることができる。また、絶縁層２４１及び絶縁層２４２の機械的な強度を有する接続を得ることができる。
　金属層同士の接合には、表面の酸化膜及び不純物の吸着層などをスパッタリング処理などで除去し、清浄化及び活性化した表面同士を接触させて接合する表面活性化接合法を用いることができる。又は、温度と圧力を併用して表面同士を接合する拡散接合法などを用いることができる。どちらも原子レベルでの結合が起こるため、電気的だけでなく機械的にも優れた接合を得ることができる。
　また、絶縁層同士の接合には、研磨などによって高い平坦性を得たのち、酸素プラズマ等で親水性処理をした表面同士を接触させて仮接合し、熱処理による脱水で本接合を行う親水性接合法などを用いることができる。親水性接合法も原子レベルでの結合が起こるため、機械的に優れた接合を得ることができる。
　層２６１と、層２６２を貼り合わせる場合、それぞれの接合面には絶縁層と金属層が混在するため、例えば、表面活性化接合法及び親水性接合法を組み合わせて行えばよい。
　例えば、研磨後に表面を清浄化し、金属層の表面に酸化防止処理を行ったのちに親水性処理を行って接合する方法などを用いることができる。また、金属層の表面をＡｕなどの難酸化性金属とし、親水性処理を行ってもよい。なお、上述した方法以外の接合方法を用いてもよい。
　図８（Ｂ）は、図７（Ａ）に示す画素の層２６１にセレン系材料を光電変換層とするｐｎ接合型フォトダイオードを用いた場合の断面図である。一方の電極として層２６６ａと、光電変換層として層２６６ｂ、２６６ｃと、他方の電極として層２６６ｄを有する。
　この場合、層２６１は、層２６２上に直接形成することができる。層２６６ａは、トランジスタ２１のソース又はドレインと電気的に接続される。層２６６ｄは、導電層２３７を介して電源線と電気的に接続される。
　図９（Ａ）は、図７（Ｂ）に示す画素の断面の一例を説明する図である。層２６１は光電変換素子５０として、シリコンを光電変換層とするｐｎ接合型フォトダイオードを有する。層２６２はＳｉトランジスタ等を有する。層２６３はＯＳトランジスタ等を有する。層２６１と層２６３とは、貼り合わせで電気的な接続を得る構成例を示している。
　図９（Ａ）において、ＯＳトランジスタはセルフアライン型の構成を示しているが、図１０（Ｄ）に示すように、ノンセルフアライン型のトップゲート型トランジスタであってもよい。
　トランジスタ２１はバックゲート２３５を有する構成を示しているが、バックゲートを有さない形態であってもよい。バックゲート２３５は、図１０（Ｅ）に示すように、対向して設けられるトランジスタのフロントゲートと電気的に接続する場合がある。又は、バックゲート２３５にフロントゲートとは異なる固定電位を供給することができる構成であってもよい。
　容量素子Ｃ２は、バックゲート２３５を形成する導電層と、導電層２３１との間に設けられた絶縁層２５１、２５２、２５３を用いて形成することができる。
　ＯＳトランジスタが形成される領域とＳｉトランジスタが形成される領域との間には、水素の拡散を防止する機能を有する絶縁層２４３が設けられる。トランジスタ２３、２５のチャネル形成領域近傍に設けられる絶縁層中の水素は、シリコンのダングリングボンドを終端する。一方、トランジスタ２１のチャネル形成領域の近傍に設けられる絶縁層中の水素は、酸化物半導体層中にキャリアを生成する要因の一つとなる。
　絶縁層２４３により、一方の層に水素を閉じ込めることでトランジスタ２３、２５の信頼性を向上させることができる。また、一方の層から他方の層への水素の拡散が抑制されることでトランジスタ２１の信頼性も向上させることができる。
　絶縁層２４３としては、例えば、酸化アルミニウム、酸化窒化アルミニウム、酸化ガリウム、酸化窒化ガリウム、酸化イットリウム、酸化窒化イットリウム、酸化ハフニウム、酸化窒化ハフニウム、イットリア安定化ジルコニア（ＹＳＺ）等を用いることができる。
　図９（Ｂ）は、図７（Ｂ）に示す画素の層２６１にセレン系材料を光電変換層とするｐｎ接合型フォトダイオードを用いた場合の断面図である。層２６１は、層２６３上に直接形成することができる。層２６１、２６２、２６３の詳細は、前述の説明を参照できる。
＜その他の画素の構成要素＞
　図１１（Ａ）は、本発明の一態様の撮像装置の画素にカラーフィルタ等を付加した例を示す斜視図である。当該斜視図では、複数の画素の断面もあわせて図示している。光電変換素子５０が形成される層２６１上には、絶縁層２８０が形成される。絶縁層２８０は可視光に対して透光性の高い酸化シリコン膜などを用いることができる。また、パッシベーション層として窒化シリコン膜を積層してもよい。また、反射防止層として、酸化ハフニウムなどの誘電体膜を積層してもよい。
　絶縁層２８０上には、遮光層２８１が形成されてもよい。遮光層２８１は、上部のカラーフィルタを通る光の混色を防止する機能を有する。遮光層２８１には、アルミニウム、タングステンなどの金属膜を用いることができる。また、当該金属膜と反射防止層としての機能を有する誘電体膜を積層してもよい。
　絶縁層２８０及び遮光層２８１上には、平坦化膜として有機樹脂層２８２を設けることができる。また、画素別にカラーフィルタ２８３（カラーフィルタ２８３ａ、２８３ｂ、２８３ｃ）が形成される。例えば、カラーフィルタ２８３ａ、２８３ｂ、２８３ｃに、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｙ（黄）、Ｃ（シアン）、Ｍ（マゼンタ）などの色を割り当てることにより、カラー画像を得ることができる。
　カラーフィルタ２８３上には、可視光に対して透光性を有する絶縁層２８６などを設けることができる。
　また、図１１（Ｂ）に示すように、カラーフィルタ２８３の代わりに光学変換層２８５を用いてもよい。このような構成とすることで、様々な波長領域における画像が得られる撮像装置とすることができる。
　例えば、光学変換層２８５に可視光線の波長以下の光を遮るフィルタを用いれば、赤外線撮像装置とすることができる。また、光学変換層２８５に近赤外線の波長以下の光を遮るフィルタを用いれば、遠赤外線撮像装置とすることができる。また、光学変換層２８５に可視光線の波長以上の光を遮るフィルタを用いれば、紫外線撮像装置とすることができる。可視光のカラーフィルタと赤外線もしくは紫外線のフィルタを組み合わせてもよい。
　また、光学変換層２８５にシンチレータを用いれば、Ｘ線撮像装置などに用いる放射線の強弱を可視化した画像を得る撮像装置とすることができる。被写体を透過したＸ線等の放射線がシンチレータに入射されると、フォトルミネッセンス現象により可視光線や紫外光線などの光（蛍光）に変換される。そして、当該光を光電変換素子５０で検知することにより画像データを取得する。また、放射線検出器などに当該構成の撮像装置を用いてもよい。
　シンチレータは、Ｘ線やガンマ線などの放射線が照射されると、そのエネルギーを吸収して可視光や紫外光を発する物質を含む。例えば、Ｇｄ２Ｏ２Ｓ：Ｔｂ、Ｇｄ２Ｏ２Ｓ：Ｐｒ、Ｇｄ２Ｏ２Ｓ：Ｅｕ、ＢａＦＣｌ：Ｅｕ、ＮａＩ、ＣｓＩ、ＣａＦ２、ＢａＦ２、ＣｅＦ３、ＬｉＦ、ＬｉＩ、ＺｎＯなどを樹脂やセラミクスに分散させたものを用いることができる。
　なお、セレン系材料を用いた光電変換素子５０においては、Ｘ線等の放射線を電荷に直接変換することができるため、シンチレータを不要とする構成とすることもできる。
　また、図１１（Ｃ）に示すように、カラーフィルタ２８３上にマイクロレンズアレイ２８４を設けてもよい。マイクロレンズアレイ２８４が有する個々のレンズを通る光が直下のカラーフィルタ２８３を通り、光電変換素子５０に照射されるようになる。また、図１１（Ｂ）に示す光学変換層２８５上にマイクロレンズアレイ２８４を設けてもよい。
＜パッケージ、モジュールの構成例＞
　以下では、イメージセンサチップを収めたパッケージ及びカメラモジュールの一例について説明する。当該イメージセンサチップには、上記撮像装置の構成を用いることができる。
　図１２（Ａ１）は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ４５０を固定するパッケージ基板４１０、カバーガラス４２０及び両者を接着する接着剤４３０等を有する。
　図１２（Ａ２）は、当該パッケージの下面側の外観斜視図である。パッケージの下面には、半田ボールをバンプ４４０としたＢＧＡ（Ｂａｌｌ　ｇｒｉｄ　ａｒｒａｙ）を有する。なお、ＢＧＡに限らず、ＬＧＡ（Ｌａｎｄ　ｇｒｉｄ　ａｒｒａｙ）やＰＧＡ（Ｐｉｎ　Ｇｒｉｄ　Ａｒｒａｙ）などを有していてもよい。
　図１２（Ａ３）は、カバーガラス４２０及び接着剤４３０の一部を省いて図示したパッケージの斜視図である。パッケージ基板４１０上には電極パッド４６０が形成され、電極パッド４６０及びバンプ４４０はスルーホールを介して電気的に接続されている。電極パッド４６０は、イメージセンサチップ４５０とワイヤ４７０によって電気的に接続されている。
　また、図１２（Ｂ１）は、イメージセンサチップをレンズ一体型のパッケージに収めたカメラモジュールの上面側の外観斜視図である。当該カメラモジュールは、イメージセンサチップ４５１を固定するパッケージ基板４１１、レンズカバー４２１、及びレンズ４３５等を有する。また、パッケージ基板４１１及びイメージセンサチップ４５１の間には撮像装置の駆動回路及び信号変換回路などの機能を有するＩＣチップ４９０も設けられており、ＳｉＰ（Ｓｙｓｔｅｍ　ｉｎ　ｐａｃｋａｇｅ）としての構成を有している。
　図１２（Ｂ２）は、当該カメラモジュールの下面側の外観斜視図である。パッケージ基板４１１の下面及び側面には、実装用のランド４４１が設けられたＱＦＮ（Ｑｕａｄ　ｆｌａｔ　ｎｏ−ｌｅａｄ　ｐａｃｋａｇｅ）の構成を有する。なお、当該構成は一例であり、ＱＦＰ（Ｑｕａｄ　ｆｌａｔ　ｐａｃｋａｇｅ）や前述したＢＧＡが設けられていてもよい。
　図１２（Ｂ３）は、レンズカバー４２１及びレンズ４３５の一部を省いて図示したモジュールの斜視図である。ランド４４１は電極パッド４６１と電気的に接続され、電極パッド４６１はイメージセンサチップ４５１又はＩＣチップ４９０とワイヤ４７１によって電気的に接続されている。
　イメージセンサチップを上述したような形態のパッケージに収めることでプリント基板等への実装が容易になり、イメージセンサチップを様々な半導体装置、電子機器に組み込むことができる。
（実施の形態３）
　本発明の一態様に係る撮像装置を用いることができる電子機器として、表示機器、パーソナルコンピュータ、記録媒体を備えた画像記憶装置又は画像再生装置、携帯電話、携帯型を含むゲーム機、携帯データ端末、電子書籍端末、ビデオカメラ、デジタルスチルカメラ等のカメラ、ゴーグル型ディスプレイ（ヘッドマウントディスプレイ）、ナビゲーションシステム、音響再生装置（カーオーディオ、デジタルオーディオプレイヤー等）、複写機、ファクシミリ、プリンタ、プリンタ複合機、現金自動預け入れ払い機（ＡＴＭ）、自動販売機などが挙げられる。
　これらの電子機器は、本発明の一様態の撮像装置を備えていることが好ましい。さらに、電子機器は、ニューラルネットワーク１７を備えていることが好ましい。ニューラルネットワーク１７は、画像認識において、プロセッサによる特徴検出に比べ、演算処理を低減し、さらに消費電力を低減することができる。したがって、本発明の一様態の撮像装置は、ニューラルネットワーク１７に対し、プーリング処理されたデータを出力するニューラルネットワークインターフェースを備えている。
　図１３は、一例として電子機器の共通する制御部を示している。電子機器の制御部は、本発明の一態様の撮像装置、ニューラルネットワーク１７、プロセッサ１８、通信モジュール１９を備えていることが好ましい。撮像装置は、ニューラルネットワークインターフェースとして機能する回路１４と、撮像データを画像として出力するアナログデジタル変換回路１５とを有している。ニューラルネットワーク１７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１７ａと、記憶装置１７ｂと、複数のセンサ１７ｃとを有している。
　回路１４の出力は、ＧＰＵ１７ａと直接接続することが好ましい。もしくは、回路１４の出力が、ニューラルネットワーク１７の共有バスに接続されていてもよい。センサは、加速度センサ、方位センサ、圧力センサ、温度センサ、湿度センサ、照度センサ、測位センサ（例えば、ＧＰＳ（全地球測位システム））等のいずれか一もしくは複数を備えることができる。電子機器は、撮像装置の取得するデータと、センサから取得するデータとを管理することで、電子機器の使用されている状態と、電子機器が管理したい対象物の状態とを管理又は監視することができる。
　これら電子機器の具体例を図１４に示す。
　図１４（Ａ）は監視カメラであり、支持台９５１、カメラユニット９５２、保護カバー９５３等を有する。カメラユニット９５２には回転機構などが設けられ、天井に設置することで全周囲の撮像が可能となる。当該カメラユニットにおける画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。なお、監視カメラとは慣用的な名称であり、用途を限定するものではない。例えば監視カメラとしての機能を有する機器はカメラ、又はビデオカメラとも呼ばれる。
　図１４（Ｂ）はビデオカメラであり、第１筐体９７１、第２筐体９７２、表示部９７３、操作キー９７４、レンズ９７５、接続部９７６等を有する。操作キー９７４及びレンズ９７５は第１筐体９７１に設けられており、表示部９７３は第２筐体９７２に設けられている。当該ビデオカメラにおける画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
　図１４（Ｃ）はデジタルカメラであり、筐体９６１、シャッターボタン９６２、マイク９６３、発光部９６７、レンズ９６５等を有する。当該デジタルカメラにおける画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
　図１４（Ｄ）は腕時計型の情報端末であり、表示部９３２、筐体兼リストバンド９３３、カメラ９３９等を有する。表示部９３２は、情報端末の操作を行うためのタッチパネルを備える。表示部９３２及び筐体兼リストバンド９３３は可撓性を有し、身体への装着性が優れている。当該情報端末における画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
　図１４（Ｅ）携帯電話機の一例であり、筐体９８１、表示部９８２、操作ボタン９８３、外部接続ポート９８４、スピーカ９８５、マイク９８６、カメラ９８７等を有する。当該携帯電話機は、表示部９８２にタッチセンサを備える。電話を掛ける、或いは文字を入力するなどのあらゆる操作は、指やスタイラスなどで表示部９８２に触れることで行うことができる。当該携帯電話機における画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
　図１４（Ｆ）は携帯データ端末であり、筐体９１１、表示部９１２、カメラ９１９等を有する。表示部９１２が有するタッチパネル機能により情報の入出力を行うことができる。当該携帯データ端末における画像を取得するための部品の一つとして本発明の一態様の撮像装置を備えることができる。
　また、本明細書等において、表示素子、表示素子を有する装置である表示装置、発光素子、及び発光素子を有する装置である発光装置は、様々な形態を用いること、又は様々な素子を有することができる。表示素子、表示装置、発光素子又は発光装置は、例えば、ＥＬ（エレクトロルミネッセンス）素子（有機物及び無機物を含むＥＬ素子、有機ＥＬ素子、無機ＥＬ素子）、ＬＥＤチップ（白色ＬＥＤチップ、赤色ＬＥＤチップ、緑色ＬＥＤチップ、青色ＬＥＤチップなど）、トランジスタ（電流に応じて発光するトランジスタ）、プラズマディスプレイパネル（ＰＤＰ）、電子放出素子、カーボンナノチューブを用いた表示素子、液晶素子、電子インク、エレクトロウェッティング素子、電気泳動素子、ＭＥＭＳ（マイクロ・エレクトロ・メカニカル・システム）を用いた表示素子（例えば、グレーティングライトバルブ（ＧＬＶ）、デジタルマイクロミラーデバイス（ＤＭＤ）、ＤＭＳ（デジタル・マイクロ・シャッター）、ＭＩＲＡＳＯＬ（登録商標）、ＩＭＯＤ（インターフェロメトリック・モジュレーション）素子、シャッター方式のＭＥＭＳ表示素子、光干渉方式のＭＥＭＳ表示素子、圧電セラミックディスプレイなど）、又は、量子ドットなどの少なくとも一つを有している。これらの他にも、表示素子、表示装置、発光素子又は発光装置は、電気的又は磁気的作用により、コントラスト、輝度、反射率、透過率などが変化する表示媒体を有していてもよい。ＥＬ素子を用いた表示装置の一例としては、ＥＬディスプレイなどがある。電子放出素子を用いた表示装置の一例としては、フィールドエミッションディスプレイ（ＦＥＤ）又はＳＥＤ方式平面型ディスプレイ（ＳＥＤ：Ｓｕｒｆａｃｅ−ｃｏｎｄｕｃｔｉｏｎ　Ｅｌｅｃｔｒｏｎ−ｅｍｉｔｔｅｒ　Ｄｉｓｐｌａｙ）などがある。液晶素子を用いた表示装置の一例としては、液晶ディスプレイ（透過型液晶ディスプレイ、半透過型液晶ディスプレイ、反射型液晶ディスプレイ、直視型液晶ディスプレイ、投射型液晶ディスプレイ）などがある。電子インク、電子粉流体（登録商標）、又は電気泳動素子を用いた表示装置の一例としては、電子ペーパーなどがある。量子ドットを各画素に用いた表示装置の一例としては、量子ドットディスプレイなどがある。なお、量子ドットは、表示素子としてではなく、バックライトの一部に設けてもよい。量子ドットを用いることにより、色純度の高い表示を行うことができる。なお、半透過型液晶ディスプレイや反射型液晶ディスプレイを実現する場合には、画素電極の一部、又は、全部が、反射電極としての機能を有するようにすればよい。例えば、画素電極の一部、又は、全部が、アルミニウム、銀、などを有するようにすればよい。さらに、その場合、反射電極の下に、ＳＲＡＭなどの記憶回路を設けることも可能である。これにより、さらに、消費電力を低減することができる。なお、ＬＥＤチップを用いる場合、ＬＥＤチップの電極や窒化物半導体の下に、グラフェンやグラファイトを配置してもよい。グラフェンやグラファイトは、複数の層を重ねて、多層膜としてもよい。このように、グラフェンやグラファイトを設けることにより、その上に、窒化物半導体、例えば、結晶を有するｎ型ＧａＮ半導体層などを容易に成膜することができる。さらに、その上に、結晶を有するｐ型ＧａＮ半導体層などを設けて、ＬＥＤチップを構成することができる。なお、グラフェンやグラファイトと、結晶を有するｎ型ＧａＮ半導体層との間に、ＡｌＮ層を設けてもよい。なお、ＬＥＤチップが有するＧａＮ半導体層は、ＭＯＣＶＤで成膜してもよい。ただし、グラフェンを設けることにより、ＬＥＤチップが有するＧａＮ半導体層は、スパッタ法で成膜することも可能である。また、ＭＥＭＳ（マイクロ・エレクトロ・メカニカル・システム）を用いた表示素子においては、表示素子が封止されている空間（例えば、表示素子が配置されている素子基板と、素子基板に対向して配置されている対向基板との間）に、乾燥剤を配置してもよい。乾燥剤を配置することにより、ＭＥＭＳなどが水分によって動きにくくなることや、劣化しやすくなることを防止することができる。
　また、図１５（Ａ）、（Ｂ）を用いて、本発明の一態様の表示システムの車両への搭載例について説明する。
　図１５（Ａ）に、車両５０００の外観を示す。車両５０００は、複数のカメラ５００５（図１５（Ａ）では、カメラ５００５ａ、カメラ５００５ｂ、カメラ５００５ｃ、カメラ５００５ｄ、カメラ５００５ｅ、及びカメラ５００５ｆ）を有する。例えば、カメラ５００５ａは、前方の状況を撮像する機能を有し、カメラ５００５ｂは、後方の状況を撮像する機能を有し、カメラ５００５ｃは、右前方の状況を撮像する機能を有し、カメラ５００５ｄは、左前方の状況を撮像する機能を有し、カメラ５００５ｅは、右後方の状況を撮像する機能を有し、カメラ５００５ｆは、左後方の状況を撮像する機能を有する。ただし、車両の周囲を撮像するカメラの数及び機能は、上記構成に限定されない。例えば、車両の前方に、車両の後方を撮像するカメラなどを設けてもよい。
　図１５（Ｂ）に、車両５０００の室内を示す。車両５０００は、表示部５００１、表示パネル５００８ａ、表示パネル５００８ｂ、及び表示パネル５００９を有する。表示部５００１、表示パネル５００８ａ、表示パネル５００８ｂ、及び表示パネル５００９の一つ又は複数に、本発明の一態様の表示システムの表示部を用いることができる。なお、図１５（Ｂ）には表示部５００１が右ハンドルの車両に搭載された例を示すが、特に限定されず、左ハンドルの車両に搭載することもできる。この場合、図１５（Ｂ）に示す構成の左右の配置が替わる。
　図１５（Ｂ）には、運転席と助手席の周辺に配置されるダッシュボード５００２、ハンドル５００３、フロントガラス５００４などを示している。表示部５００１は、ダッシュボード５００２の所定の位置、具体的には運転者の回りに配置され、概略Ｔ字形状を有する。図１５（Ｂ）には、複数の表示パネル５００７（表示パネル５００７ａ、５００７ｂ、５００７ｃ、５００７ｄ）を用いて形成される１つの表示部５００１を、ダッシュボード５００２に沿って設けた例を示しているが、表示部５００１は複数箇所に分けて配置してもよい。
　なお、複数の表示パネル５００７は可撓性を有していてもよい。この場合、表示部５００１を複雑な形状に加工することができ、表示部５００１をダッシュボード５００２などの曲面に沿って設ける構成や、ハンドルの接続部分、計器の表示部、送風口５００６などに表示部５００１の表示領域を設けない構成などを容易に実現することができる。
　表示パネル５００８ａ、５００８ｂは、それぞれ、ピラー部分に設けられている。車体に設けられた撮像手段（例えば、図１５（Ａ）で示したカメラ５００５）からの映像を、表示パネル５００８ａ、５００８ｂに表示することで、ピラーで遮られた視界を補完することができる。例えば、表示パネル５００８ａに、カメラ５００５ｄで撮像した映像を、映像５００８ｃとして表示することができる。同様に、表示パネル５００８ｂに、カメラ５００５ｃで撮像した映像を、表示することが好ましい。
　表示パネル５００９は、後方の撮像手段（例えば、カメラ５００５ｂ）からの映像を表示する機能を有していてもよい。
　また、表示パネル５００７、５００８ａ、５００８ｂ、５００９は、法定速度や、交通情報などを表示する機能を有していてもよい。
　表示パネル５００８ａ、５００８ｂは、それぞれ、可撓性を有することが好ましい。これにより、ピラー部分の曲面に沿って、表示パネル５００８ａ、５００８ｂを設けることが容易となる。
　また、運転席から、曲面に設けられた表示パネルを見る際に、映像が歪んで見える恐れがある。そのため、表示パネルは、映像の歪みが低減されるように補正された画像を表示できる機能を有することが好ましい。当該画像の補正には、ニューラルネットワークを用いた画像処理が好適である。
　なお、図１５（Ａ）、（Ｂ）においてはサイドミラーの代わりにカメラ５００５ｃ、５００５ｄを設置する例を示しているが、サイドミラーとカメラの両方を設置してもよい。
　カメラ５００５としては、ＣＣＤカメラやＣＭＯＳカメラなどを用いることができる。また、これらのカメラに加えて、赤外線カメラを組み合わせて用いてもよい。赤外線カメラは、被写体の温度が高いほど出力レベルが高くなるため、人や動物等の生体を検知又は抽出することができる。
　カメラ５００５で撮像された画像は、それぞれ、表示パネル５００７、表示パネル５００８ａ、表示パネル５００８ｂ、及び表示パネル５００９のいずれか一又は複数に出力することができる。この表示部５００１、表示パネル５００８ａ、表示パネル５００８ｂ、及び表示パネル５００９を用いて主に車両の運転を支援する。カメラ５００５によって車両の周囲の状況を幅広い画角で撮影し、その画像を表示パネル５００７、表示パネル５００８ａ、表示パネル５００８ｂ、及び表示パネル５００９に表示することで、運転者の死角領域の視認が可能となり、事故の発生を防止することができる。
　また、本発明の一態様の表示システムを用いることにより、表示パネル５００７ａ、５００７ｂ、５００７ｃ、及び５００７ｄのつなぎ目における映像の不連続性を補正することができる。これにより、つなぎ目が目立たない映像の表示が可能となり、運転時における表示部５００１の視認性を向上させることができる。
　また、車のルーフ上などに距離画像センサを設け、距離画像センサによって得られた画像を表示部５００１に表示してもよい。距離画像センサとしては、イメージセンサやライダー（ＬＩＤＡＲ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）などを用いることができる。イメージセンサによって得られた画像と、距離画像センサによって得られた画像とを表示部５００１に表示することにより、より多くの情報を運転手に提供し、運転を支援することができる。
　また、表示部５００１は、地図情報、交通情報、テレビ映像、ＤＶＤ映像などを表示する機能を有していてもよい。例えば、表示パネル５００７ａ、５００７ｂ、５００７ｃ、及び５００７ｄを１つの表示画面として、地図情報を大きく表示することができる。なお、表示パネル５００７の数は、表示される映像に応じて増やすことができる。
　また、表示パネル５００７ａ、５００７ｂ、５００７ｃ、及び５００７ｄに表示される映像は、運転手の好みによって自由に設定することができる。例えば、テレビ映像、ＤＶＤ映像を左側の表示パネル５００７ｄに表示し、地図情報を中央部の表示パネル５００７ｂに表示し、計器類を右側の表示パネル５００７ｃに表示し、オーディオ類をシフトレバー近傍（もしくは運転席と助手席の間）の表示パネル５００７ａに表示することができる。また、複数の表示パネル５００７を組み合わせることにより、表示部５００１にフェールセーフの機能を付加することができる。例えば、ある表示パネル５００７が何らかの原因で故障したとしても、表示領域を変更し、他の表示パネル５００７を用いて表示を行うことができる。
　また、フロントガラス５００４は、表示パネル５００４ａを有する。表示パネル５００４ａは、可視光を透過する機能を有する。運転手は、表示パネル５００４ａを介して、背景を視認することができる。なお、表示パネル５００４ａは、運転手に対して注意喚起を促す表示などを行う機能を有する。また、図１５（Ｂ）では、フロントガラス５００４に表示パネル５００４ａを設ける構成について例示したが、これに限定されない。例えば、フロントガラス５００４を表示パネル５００４ａに置き換えてもよい。
　なお、本実施の形態は、本明細書で示す他の実施の形態と適宜組み合わせることができる。
（本明細書等の記載に関する付記）
　以上の実施の形態における各構成の説明について、以下に付記する。
＜実施の形態で述べた本発明の一態様に関する付記＞
　各実施の形態に示す構成は、他の実施の形態に示す構成と適宜組み合わせて、本発明の一態様とすることができる。また、１つの実施の形態の中に、複数の構成例が示される場合は、互いに構成例を適宜組み合わせることが可能である。
　なお、ある一つの実施の形態の中で述べる内容（一部の内容でもよい）は、その実施の形態で述べる別の内容（一部の内容でもよい）と、一つもしくは複数の別の実施の形態で述べる内容（一部の内容でもよい）との少なくとも一つの内容に対して、適用、組み合わせ、又は置き換えなどを行うことができる。
　なお、実施の形態の中で述べる内容とは、各々の実施の形態において、様々な図を用いて述べる内容、又は明細書に記載される文章を用いて述べる内容のことである。
　なお、ある一つの実施の形態において述べる図（一部でもよい）は、その図の別の部分、その実施の形態において述べる別の図（一部でもよい）と、一つもしくは複数の別の実施の形態において述べる図（一部でもよい）との少なくとも一つの図に対して、組み合わせることにより、さらに多くの図を構成させることができる。
＜序数詞に関する付記＞
　本明細書等において、「第１」、「第２」、「第３」という序数詞は、構成要素の混同を避けるために付したものである。したがって、構成要素の数を限定するものではない。また、構成要素の順序を限定するものではない。また例えば、本明細書等の実施の形態の一において「第１」に言及された構成要素が、他の実施の形態、あるいは特許請求の範囲において「第２」に言及された構成要素とすることもありうる。また例えば、本明細書等の実施の形態の一において「第１」に言及された構成要素を、他の実施の形態、あるいは特許請求の範囲において省略することもありうる。
＜図面を説明する記載に関する付記＞
　実施の形態について図面を参照しながら説明している。ただし、実施の形態は多くの異なる態様で実施することが可能であり、趣旨及びその範囲から逸脱することなく、その形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は、実施の形態の記載内容に限定して解釈されるものではない。なお、実施の形態の発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。
　また、本明細書等において、「上に」、「下に」などの配置を示す語句は、構成同士の位置関係を、図面を参照して説明するために、便宜上用いている。構成同士の位置関係は、各構成を描写する方向に応じて適宜変化する。そのため、配置を示す語句は、明細書で説明した記載に限定されず、状況に応じて適切に言い換えることができる。
　また、「上」や「下」の用語は、構成要素の位置関係が直上又は直下で、かつ、直接接していることを限定するものではない。例えば、「絶縁層Ｘ上の電極Ｙ」の表現であれば、絶縁層Ｘの上に電極Ｙが直接接して形成されている必要はなく、絶縁層Ｘと電極Ｙとの間に他の構成要素を含むものを除外しない。
　また、図面において、大きさ、層の厚さ、又は領域は、説明の便宜上任意の大きさに示したものである。よって、必ずしもそのスケールに限定されない。なお図面は明確性を期すために模式的に示したものであり、図面に示す形状又は値などに限定されない。例えば、ノイズによる信号、電圧、もしくは電流のばらつき、又は、タイミングのずれによる信号、電圧、もしくは電流のばらつきなどを含むことが可能である。
　また、図面において、斜視図などにおいて、図面の明確性を期すために、一部の構成要素の記載を省略している場合がある。
　また、図面において、同一の要素又は同様な機能を有する要素、同一の材質の要素、あるいは同時に形成される要素等には同一の符号を付す場合があり、その繰り返しの説明は省略する場合がある。
＜言い換え可能な記載に関する付記＞
　本明細書等において、トランジスタの接続関係を説明する際、「ソース又はドレインの一方」（又は第１電極、又は第１端子）、「ソース又はドレインの他方」（又は第２電極、又は第２端子）と表記している。これは、トランジスタのソースとドレインは、トランジスタの構造又は動作条件等によって変わるためである。なおトランジスタのソースとドレインの呼称については、ソース（ドレイン）端子や、ソース（ドレイン）電極等、状況に応じて適切に言い換えることができる。また、本明細書等では、ゲート以外の２つの端子を第１端子、第２端子と呼ぶ場合や、第３端子、第４端子と呼ぶ場合がある。また、本明細書等に記載するトランジスタが２つ以上のゲートを有するとき（この構成をデュアルゲート構造という場合がある）、それらのゲートを第１ゲート、第２ゲートと呼ぶ場合や、フロントゲート、バックゲートと呼ぶ場合がある。特に、「フロントゲート」という語句は、単に「ゲート」という語句に互いに言い換えることができる。また、「バックゲート」という語句は、単に「ゲート」という語句に互いに言い換えることができる。なお、ボトムゲートとは、トランジスタの作製時において、チャネル形成領域よりも先に形成される端子のことをいい、「トップゲート」とは、トランジスタの作製時において、チャネル形成領域よりも後に形成される端子のことをいう。
　トランジスタは、ゲート、ソース、及びドレインと呼ばれる３つの端子を有する。ゲートは、トランジスタの導通状態を制御する制御端子として機能する端子である。ソース又はドレインとして機能する２つの入出力端子は、トランジスタの型及び各端子に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。このため、本明細書等においては、ソースやドレインの用語は、入れ替えて用いることができるものとする。
　また、本明細書等において「電極」や「配線」の用語は、これらの構成要素を機能的に限定するものではない。例えば、「電極」は「配線」の一部として用いられることがあり、その逆もまた同様である。さらに、「電極」や「配線」の用語は、複数の「電極」や「配線」が一体となって形成されている場合なども含む。
　また、本明細書等において、電圧と電位は、適宜言い換えることができる。電圧は、基準となる電位からの電位差のことであり、例えば基準となる電位をグラウンド電位（接地電位）とすると、電圧を電位に言い換えることができる。グラウンド電位は必ずしも０Ｖを意味するとは限らない。なお電位は相対的なものであり、基準となる電位によっては、配線等に与える電位を変化させる場合がある。
　なお本明細書等において、「膜」、「層」などの語句は、場合によっては、又は、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を、「導電膜」という用語に変更することが可能な場合がある。又は、例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。又は、場合によっては、又は、状況に応じて、「膜」、「層」などの語句を使わずに、別の用語に入れ替えることが可能である。例えば、「導電層」又は「導電膜」という用語を、「導電体」という用語に変更することが可能な場合がある。又は、例えば、「絶縁層」「絶縁膜」という用語を、「絶縁体」という用語に変更することが可能な場合がある。
　なお本明細書等において、「配線」、「信号線」、「電源線」などの用語は、場合によっては、又は、状況に応じて、互いに入れ替えることが可能である。例えば、「配線」という用語を、「信号線」という用語に変更することが可能な場合がある。また、例えば、「配線」という用語を、「電源線」などの用語に変更することが可能な場合がある。また、その逆も同様で、「信号線」「電源線」などの用語を、「配線」という用語に変更することが可能な場合がある。「電源線」などの用語は、「信号線」などの用語に変更することが可能な場合がある。また、その逆も同様で「信号線」などの用語は、「電源線」などの用語に変更することが可能な場合がある。また、配線に印加されている「電位」という用語を、場合によっては、又は、状況に応じて、「信号」などという用語に変更することが可能な場合がある。また、その逆も同様で、「信号」などの用語は、「電位」という用語に変更することが可能な場合がある。
＜語句の定義に関する付記＞
　以下では、上記実施の形態中で言及した語句の定義について説明する。
＜＜半導体の不純物について＞＞
　半導体の不純物とは、例えば、半導体層を構成する主成分以外をいう。例えば、濃度が０．１原子％未満の元素は不純物である。不純物が含まれることにより、例えば、半導体にＤＯＳ（Ｄｅｎｓｉｔｙ　ｏｆ　Ｓｔａｔｅｓ）が形成されることや、キャリア移動度が低下することや、結晶性が低下することなどが起こる場合がある。半導体が酸化物半導体である場合、半導体の特性を変化させる不純物としては、例えば、第１族元素、第２族元素、第１３族元素、第１４族元素、第１５族元素、主成分以外の遷移金属などがあり、特に、例えば、水素（水にも含まれる）、リチウム、ナトリウム、シリコン、ホウ素、リン、炭素、窒素などがある。酸化物半導体の場合、例えば水素などの不純物の混入によって酸素欠損を形成する場合がある。また、半導体がシリコン層である場合、半導体の特性を変化させる不純物としては、例えば、酸素、水素を除く第１族元素、第２族元素、第１３族元素、第１５族元素などがある。
＜＜トランジスタについて＞＞
　本明細書において、トランジスタとは、ゲートと、ドレインと、ソースとを含む少なくとも三つの端子を有する素子である。そして、ドレイン（ドレイン端子、ドレイン領域又はドレイン電極）とソース（ソース端子、ソース領域又はソース電極）の間にチャネル形成領域を有する。ゲート−ソース間にしきい値電圧を超える電圧を与えることによって、チャネル形成領域にチャネルが形成され、ソース‐ドレイン間に電流を流すことができる。
　また、ソースやドレインの機能は、異なる極性のトランジスタを採用する場合や、回路動作において電流の方向が変化する場合などには入れ替わることがある。このため、本明細書等においては、ソースやドレインの用語は、入れ替えて用いることができるものとする。
＜＜スイッチについて＞＞
　本明細書等において、スイッチとは、導通状態（オン状態）、又は、非導通状態（オフ状態）になり、電流を流すか流さないかを制御する機能を有するものをいう。又は、スイッチとは、電流を流す経路を選択する機能を有するものをいう。
　一例としては、電気的スイッチ又は機械的なスイッチなどを用いることができる。つまり、スイッチは、電流を制御できるものであればよく、特定のものに限定されない。
　電気的なスイッチの一例としては、トランジスタ（例えば、バイポーラトランジスタ、ＭＯＳトランジスタなど）、ダイオード（例えば、ＰＮダイオード、ＰＩＮダイオード、ショットキーダイオード、ＭＩＭ（Ｍｅｔａｌ　Ｉｎｓｕｌａｔｏｒ　Ｍｅｔａｌ）ダイオード、ＭＩＳ（Ｍｅｔａｌ　Ｉｎｓｕｌａｔｏｒ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）ダイオード、ダイオード接続のトランジスタなど）、又はこれらを組み合わせた論理回路などがある。
　なお、スイッチとしてトランジスタを用いる場合、トランジスタの「導通状態」とは、トランジスタのソース電極とドレイン電極が電気的に短絡されているとみなせる状態をいう。また、トランジスタの「非導通状態」とは、トランジスタのソース電極とドレイン電極が電気的に遮断されているとみなせる状態をいう。なおトランジスタを単なるスイッチとして動作させる場合には、トランジスタの極性（導電型）は特に限定されない。
　機械的なスイッチの一例としては、デジタルマイクロミラーデバイス（ＤＭＤ）のように、ＭＥＭＳ（マイクロ・エレクトロ・メカニカル・システム）技術を用いたスイッチがある。そのスイッチは、機械的に動かすことが可能な電極を有し、その電極が動くことによって、導通と非導通とを制御して動作する。
＜＜接続について＞＞
　本明細書等において、ＸとＹとが接続されている、と記載する場合は、ＸとＹとが電気的に接続されている場合と、ＸとＹとが機能的に接続されている場合と、ＸとＹとが直接接続されている場合とを含むものとする。したがって、所定の接続関係、例えば、図又は文章に示された接続関係に限定されず、図又は文章に示された接続関係以外のものも含むものとする。
　ここで使用するＸ、Ｙなどは、対象物（例えば、装置、素子、回路、配線、電極、端子、導電膜、層、など）であるとする。
　ＸとＹとが電気的に接続されている場合の一例としては、ＸとＹとの電気的な接続を可能とする素子（例えば、スイッチ、トランジスタ、容量素子、インダクタ、抵抗素子、ダイオード、表示素子、発光素子、負荷など）が、ＸとＹとの間に１個以上接続されることが可能である。なお、スイッチは、オンオフが制御される機能を有している。つまり、スイッチは、導通状態（オン状態）、又は、非導通状態（オフ状態）になり、電流を流すか流さないかを制御する機能を有している。
　ＸとＹとが機能的に接続されている場合の一例としては、ＸとＹとの機能的な接続を可能とする回路（例えば、論理回路（インバータ、ＮＡＮＤ回路、ＮＯＲ回路など）、信号変換回路（ＤＡ変換回路、ＡＤ変換回路、ガンマ補正回路など）、電位レベル変換回路（電源回路（昇圧回路、降圧回路など）、信号の電位レベルを変えるレベルシフタ回路など）、電圧源、電流源、切り替え回路、増幅回路（信号振幅又は電流量などを大きくできる回路、オペアンプ、差動増幅回路、ソースフォロワ回路、バッファ回路など）、信号生成回路、記憶回路、制御回路など）が、ＸとＹとの間に１個以上接続されることが可能である。なお、一例として、ＸとＹとの間に別の回路を挟んでいても、Ｘから出力された信号がＹへ伝達される場合は、ＸとＹとは機能的に接続されているものとする。
　なお、ＸとＹとが電気的に接続されている、と明示的に記載する場合は、ＸとＹとが電気的に接続されている場合（つまり、ＸとＹとの間に別の素子又は別の回路を挟んで接続されている場合）と、ＸとＹとが機能的に接続されている場合（つまり、ＸとＹとの間に別の回路を挟んで機能的に接続されている場合）と、ＸとＹとが直接接続されている場合（つまり、ＸとＹとの間に別の素子又は別の回路を挟まずに接続されている場合）とを含むものとする。つまり、電気的に接続されている、と明示的に記載する場合は、単に、接続されている、とのみ明示的に記載されている場合と同じであるとする。
　なお、例えば、トランジスタのソース（又は第１の端子など）が、Ｚ１を介して（又は介さず）、Ｘと電気的に接続され、トランジスタのドレイン（又は第２の端子など）が、Ｚ２を介して（又は介さず）、Ｙと電気的に接続されている場合や、トランジスタのソース（又は第１の端子など）が、Ｚ１の一部と直接的に接続され、Ｚ１の別の一部がＸと直接的に接続され、トランジスタのドレイン（又は第２の端子など）が、Ｚ２の一部と直接的に接続され、Ｚ２の別の一部がＹと直接的に接続されている場合では、以下のように表現することができる。
　例えば、「ＸとＹとトランジスタのソース（又は第１の端子など）とドレイン（又は第２の端子など）とは、互いに電気的に接続されており、Ｘ、トランジスタのソース（又は第１の端子など）、トランジスタのドレイン（又は第２の端子など）、Ｙの順序で電気的に接続されている。」と表現することができる。又は、「トランジスタのソース（又は第１の端子など）は、Ｘと電気的に接続され、トランジスタのドレイン（又は第２の端子など）はＹと電気的に接続され、Ｘ、トランジスタのソース（又は第１の端子など）、トランジスタのドレイン（又は第２の端子など）、Ｙは、この順序で電気的に接続されている」と表現することができる。又は、「Ｘは、トランジスタのソース（又は第１の端子など）とドレイン（又は第２の端子など）とを介して、Ｙと電気的に接続され、Ｘ、トランジスタのソース（又は第１の端子など）、トランジスタのドレイン（又は第２の端子など）、Ｙは、この接続順序で設けられている」と表現することができる。これらの例と同様な表現方法を用いて、回路構成における接続の順序について規定することにより、トランジスタのソース（又は第１の端子など）と、ドレイン（又は第２の端子など）とを、区別して、技術的範囲を決定することができる。なお、これらの表現方法は、一例であり、これらの表現方法に限定されない。ここで、Ｘ、Ｙ、Ｚ１、Ｚ２は、対象物（例えば、装置、素子、回路、配線、電極、端子、導電膜、層、など）であるとする。
　なお、回路図上は独立している構成要素同士が電気的に接続しているように図示されている場合であっても、１つの構成要素が、複数の構成要素の機能を併せ持っている場合もある。例えば配線の一部が電極としても機能する場合は、一の導電膜が、配線の機能、及び電極の機能の両方の構成要素の機能を併せ持っている。したがって、本明細書における電気的に接続とは、このような、一の導電膜が、複数の構成要素の機能を併せ持っている場合も、その範疇に含める。
＜＜平行、垂直について＞＞
　本明細書において、「平行」とは、二つの直線が−１０°以上１０°以下の角度で配置されている状態をいう。したがって、−５°以上５°以下の場合も含まれる。また、「略平行」とは、二つの直線が−３０°以上３０°以下の角度で配置されている状態をいう。また、「垂直」とは、二つの直線が８０°以上１００°以下の角度で配置されている状態をいう。したがって、８５°以上９５°以下の場合も含まれる。また、「略垂直」とは、二つの直線が６０°以上１２０°以下の角度で配置されている状態をいう。
Ｂｓｗ：スイッチ、Ｂｓｗ２：スイッチ、Ｃ１：容量素子、Ｃ２：容量素子、Ｃ３：容量素子、Ｃ４：容量素子、Ｃ５：容量素子、Ｃ６：容量素子、Ｃ７：容量素子、ＦＮ１：ノード、ＦＮ２：ノード、ＦＮ３：ノード、ＦＮ４：ノード、ＯＰ１：オペアンプ、ＯＰ２：オペアンプ、Ｒ１：抵抗素子、１０：画素領域、１１：回路、１２：回路、１３：回路、１４：回路、１５：アナログデジタル変換回路、１６：スイッチモジュール、１７：ニューラルネットワーク、１７ａ：ＧＰＵ、１７ｂ：記憶装置、１７ｃ：センサ、１８：プロセッサ、１９：通信モジュール、２１：トランジスタ、２２：トランジスタ、２３：トランジスタ、２４：トランジスタ、２５：トランジスタ、２６：トランジスタ、２７：トランジスタ、３１：トランジスタ、３２：トランジスタ、３３：トランジスタ、３４：トランジスタ、３５：トランジスタ、３６：トランジスタ、３７：トランジスタ、３８：トランジスタ、３９：トランジスタ、４１：トランジスタ、４２：トランジスタ、５０：光電変換素子、１００：撮像装置、２３１：導電層、２３２：導電層、２３３：導電層、２３４：導電層、２３５：バックゲート、２３６：領域、２３７：導電層、２４０：シリコン基板、２４１：絶縁層、２４２：絶縁層、２４３：絶縁層、２４５：半導体層、２４６：絶縁層、２５１：絶縁層、２５２：絶縁層、２５３：絶縁層、２８０：絶縁層、２８１：遮光層、２８２：有機樹脂層、２８３：カラーフィルタ、２８３ａ：カラーフィルタ、２８３ｂ：カラーフィルタ、２８３ｃ：カラーフィルタ、２８４：マイクロレンズアレイ、２８５：光学変換層、２８６：絶縁層、４１０：パッケージ基板、４１１：パッケージ基板、４２０：カバーガラス、４２１：レンズカバー、４３０：接着剤、４３５：レンズ、４４０：バンプ、４４１：ランド、４５０：イメージセンサチップ、４５１：イメージセンサチップ、４６０：電極パッド、４６１：電極パッド、４７０：ワイヤ、４７１：ワイヤ、４９０：ＩＣチップ、９１１：筐体、９１２：表示部、９１９：カメラ、９３２：表示部、９３３：筐体兼リストバンド、９３９：カメラ、９５１：支持台、９５２：カメラユニット、９５３：保護カバー、９６１：筐体、９６３：マイク、９６５：レンズ、９６７：発光部、９７１：筐体、９７２：筐体、９７３：表示部、９７４：操作キー、９７５：レンズ、９７６：接続部、９８１：筐体、９８２：表示部、９８３：操作ボタン、９８４：外部接続ポート、９８５：スピーカ、９８６：マイク、９８７：カメラ、５０００：車両、５００１：表示部、５００２：ダッシュボード、５００３：ハンドル、５００４：フロントガラス、５００４ａ：表示パネル、５００５：カメラ、５００５ａ：カメラ、５００５ｂ：カメラ、５００５ｃ：カメラ、５００５ｄ：カメラ、５００５ｅ：カメラ、５００５ｆ：カメラ５００６：送風口、５００７：表示パネル、５００７ａ：表示パネル、５００７ｂ：表示パネル、５００７ｃ：表示パネル、５００７ｄ：表示パネル、５００８ａ：表示パネル、５００８ｂ：表示パネル、５００８ｃ：映像、５００９：表示パネル、

Claims (13)

  1. 　ニューラルネットワークインターフェースを有する撮像装置であって、
    　前記撮像装置は、画素領域と、第１の回路と、第２の回路と、第３の回路と、第４の回路と、第１の信号線Ｗｘと、を有し、
    　前記画素領域は、複数の画素を有し、
    　前記画素は、第１のトランジスタを有し、
    　前記第４の回路は、前記ニューラルネットワークインターフェースを有し、
    　前記画素は、前記第１の信号線Ｗｘを介して前記第３の回路と電気的に接続され、
    　前記第３の回路は、前記第４の回路と電気的に接続され、
    　前記第１の回路は、前記画素に走査信号を与える機能を有し、
    　前記第２の回路は、前記走査信号によって選択される前記画素に重み電位を与える機能を有し、
    　前記画素は、光から光電変換することで第１の信号を取得する機能を有し、
    　前記画素は、前記第１のトランジスタによって前記第１の信号と、前記重み電位と、を乗算する機能を有し、
    　前記第１のトランジスタは、前記第１の信号と、前記重み電位との乗算項と、第１のオフセット項と、第２のオフセット項とを生成する機能を有し、
    　前記第３の回路は、前記第１のオフセット項を減算する機能を有し、
    　前記第４の回路は、前記第２のオフセット項を減算する機能を有し、
    　前記第４の回路は、前記乗算項を判定する機能を有し、
    　前記第４の回路は、前記ニューラルネットワークインターフェースを介して判定結果を出力することを特徴とする撮像装置。
  2. 　請求項１において、
    　前記第２の回路は、さらに、前記走査信号によって選択される前記画素にオフセット電位を与える機能を有し、
    　前記画素は、前記第１の信号に前記オフセット電位を加えることで第２の信号を生成する機能を有し、
    　前記画素は、前記オフセット電位に前記重み電位を加えることで第３の信号を生成する機能を有し、
    　前記画素は、前記第１の信号に前記オフセット電位と前記重み電位とを加えることで第４の信号を生成する機能を有し、
    　前記第１のトランジスタは、前記第２の信号を任意の倍率で乗算し第５の信号を生成する機能を有し、
    　前記第１のトランジスタは、前記第３の信号を任意の倍率で乗算し第６の信号を生成する機能を有し、
    　前記第１のトランジスタは、前記第４の信号を任意の倍率で乗算し第７の信号を生成する機能を有し、
    　前記第３の回路は、前記第２の信号を記憶する機能を有し、
    　前記第３の回路は、前記第７の信号と前記第５の信号とを演算することで第８の信号を生成する機能を有し、
    　前記第４の回路は、前記第８の信号を記憶する機能を有し、
    　前記第４の回路は、前記第８の信号と前記第６の信号とを演算することで第９の信号を生成する機能を有し、
    　前記第９の信号には、前記第１の信号と、前記重み電位との乗算項が出力され、
    　前記第４の回路は、前記第９の信号を判定する機能を有し、
    　前記第４の回路は、前記ニューラルネットワークインターフェースを介して判定結果を出力することを特徴とする撮像装置。
  3. 　請求項１又は請求項２において、
    　前記撮像装置は、さらに、アナログデジタル変換回路と、信号線Ｐｉｏと、配線ＶＲＳと、を有し、
    　前記画素は、前記信号線Ｐｉｏを介して前記第１のデータを前記アナログデジタル変換回路に出力する機能を有し、
    　前記画素には、前記信号線Ｐｉｏを介して前記配線ＶＲＳに与えられる第１の電位が入力される機能を有し、
    　前記画素は、前記信号線Ｐｉｏを介して前記配線ＶＲＳに与えられる第１の電位が入力されるときニューラルネットワークのニューロンとして機能することを特徴とする撮像装置。
  4. 　請求項１又は請求項２において、
    　前記撮像装置は、さらに、配線ＶＰＤ、配線ＶＤＭ、信号線Ｇ１、信号線Ｇ２、信号線Ｇ３、信号線Ｔｘ、信号線Ｒｅｓ、信号線Ｓ１、及び信号線Ｓ２を有し、
    　前記画素は、光電変換素子、第２のトランジスタ、第３のトランジスタ、第４のトランジスタ、第５のトランジスタ、第６のトランジスタ、第７のトランジスタ、第１の容量素子、第２の容量素子、及び第３の容量素子を有し、
    　前記第１の回路は、前記信号線Ｇ１を介して画素と電気的に接続され、
    　前記第１の回路は、前記信号線Ｇ２を介して画素と電気的に接続され、
    　前記第１の回路は、前記信号線Ｇ３を介して画素と電気的に接続され、
    　前記第２の回路は、前記信号線Ｓ１を介して画素と電気的に接続され、
    　前記第２の回路は、前記信号線Ｓ２を介して画素と電気的に接続され、
    　前記光電変換素子の電極の一方は、前記配線ＶＰＤと電気的に接続され、
    　前記光電変換素子の電極の他方は、前記第２のトランジスタのソース又はドレインの一方と電気的に接続され、
    　前記第２のトランジスタのゲートは、前記信号線Ｔｘと電気的に接続され、
    　前記第２のトランジスタのソース又はドレインの他方は、前記第３のトランジスタのソース又はドレインの一方と、前記第４のトランジスタのゲートと、前記第１の容量素子の電極の一方と電気的に接続され、
    　前記第３のトランジスタのソース又はドレインの他方は、前記配線ＶＲＳと電気的に接続され、
    　前記第３のトランジスタのゲートは、前記信号線Ｒｅｓと電気的に接続され、
    　前記第４のトランジスタのソース又はドレインの一方は、前記配線ＶＤＭと電気的に接続され、
    　前記第４のトランジスタのソース又はドレインの他方は、前記第５のトランジスタのソース又はドレインの一方と、前記第２の容量素子の電極の一方と電気的に接続され、
    　前記第５のトランジスタのソース又はドレインの他方は、前記配線Ｐｉｏと電気的に接続され、
    　前記第５のトランジスタのゲートは、前記信号線Ｇ３と電気的に接続され、
    　前記第２の容量素子の他方の電極は、前記第１のトランジスタのゲートと、前記第６のトランジスタのソース又はドレインの一方と、前記第３の容量素子の電極の一方と電気的に接続され、
    　前記第１のトランジスタのソース又はドレインの一方は、前記第１の信号線Ｗｘと電気的に接続され、
    　前記第６のトランジスタのソース又はドレインの他方は、前記信号線Ｓ１と電気的に接続され、
    　前記第６のトランジスタのゲートは、前記信号線Ｇ１と電気的に接続され、
    　前記第３の容量素子の他方の電極は、前記第７のトランジスタのソース又はドレインの一方と電気的に接続され、
    　前記第７のトランジスタのソース又はドレインの他方は、前記信号線Ｓ２と電気的に接続され、
    　前記第７のトランジスタのゲートは、前記信号線Ｇ２と電気的に接続されることで形成されることを特徴とする撮像装置。
  5. 　請求項４において、
    　前記撮像装置は、さらに、信号線Ｃｓｗ、信号線Ｃｓｗｂ、信号線Ｅａｂｓ、信号線Ｏｓｐ、信号線Ｅｗｘ、信号線Ｍａｃ、及び配線ＶＩＶを有し、
    　前記第３の回路は、カレントミラー回路と、記憶回路と、出力回路と、を有し、
    　前記カレントミラー回路は、第８のトランジスタ、第９のトランジスタ、第１０のトランジスタ、第１１のトランジスタ、及び第１２のトランジスタを有し、
    　前記記憶回路は、第１３のトランジスタ、第１４のトランジスタ、第１５のトランジスタ、及び第４の容量素子を有し、
    　前記出力回路は、第１６のトランジスタ、及び抵抗素子Ｒ１を有し、
    　前記配線ＶＤＭは、前記第８のトランジスタのソース又はドレインの一方と、前記第９のトランジスタのソース又はドレインの一方と電気的に接続され、
    　前記第８のトランジスタのゲートは、前記第９のトランジスタのゲートと、前記第１０のトランジスタのソース又はドレインの一方と、前記第１１のトランジスタのソース又はドレインの一方と電気的に接続され、
    　前記第８のトランジスタのソース又はドレインの他方は、前記第１０のトランジスタのソース又はドレインの他方と、前記第１２のトランジスタのソース又はドレインの一方と電気的に接続され、
    　前記第１０のトランジスタのゲートは、前記信号線Ｃｓｗｂと電気的に接続され、
    　前記第１１のトランジスタのゲートは、前記信号線Ｃｓｗと電気的に接続され、
    　前記第１２のトランジスタのゲートは、前記信号線Ｅａｂｓと電気的に接続され、
    　前記第１２のトランジスタのソース又はドレインの他方は、前記第１の信号線Ｗｘと、前記第１５のトランジスタのソース又はドレインの一方と電気的に接続され、
    　前記第９のトランジスタのソース又はドレインの他方は、前記第１１のトランジスタのソース又はドレインの他方と、前記第１３のトランジスタのソース又はドレインの一方と、前記第１４のトランジスタの一方と電気的に接続され、
    　前記第１４のトランジスタのゲートは、前記信号線Ｏｓｐと電気的に接続され、
    　前記第１４のトランジスタのソース又はドレインの他方は、前記第１５のトランジスタのソース又はドレインの一方と、前記第４の容量素子の電極の一方と、前記第１３のトランジスタのゲートと電気的に接続され、
    　前記第１５のトランジスタのゲートは、前記信号線Ｒｅｓと電気的に接続され、
    　前記第１６のトランジスタのソース又はドレインの他方は、前記抵抗素子Ｒ１の電極の一方と、前記信号線Ｍａｃと電気的に接続され、
    　前記第１６のトランジスタのゲートは、前記信号線Ｅｗｘと電気的に接続され、
    　前記抵抗素子Ｒ１の電極の他方は、前記配線ＶＩＶに電気的に接続されることを特徴とする撮像装置。
  6. 　請求項１又は請求項２において、
    　前記撮像装置は、さらに、信号線Ｓｈ、信号線ＣＬ、信号線Ｏｕｔ、配線ＶＣＤＳ、及び配線ＪＤを有し、
    　前記第４の回路は、ＣＤＳ回路と、判定回路と、を有し、
    　前記ＣＤＳ回路は、第５の容量素子、第６の容量素子、オペアンプＯＰ１、及び第１７のトランジスタを有し、
    　前記判定回路は、第７の容量素子、オペアンプＯＰ２、及び第１８のトランジスタを有し、
    　前記信号線Ｍａｃは、前記第５の容量素子の電極の一方と電気的に接続され、
    　前記オペアンプＯＰ１の第１の入力端子は、前記第５の容量素子の電極の他方と、前記第６の容量素子の電極の一方と、前記第１７のトランジスタのソース又はドレインの一方と電気的に接続され、
    　前記第１７のトランジスタのゲートは、前記信号線ＣＬと電気的に接続され、
    　前記オペアンプＯＰ１の第２の入力端子は、前記配線ＶＣＤＳと電気的に接続され、
    　前記オペアンプＯＰ１の出力端子は、前記第６の容量素子の電極の他方と、前記第１７のトランジスタのソース又はドレインの他方と、前記第１８のトランジスタのソース又はドレインの一方と電気的に接続され、
    　前記第１８のトランジスタのゲートは、前記信号線Ｓｈと電気的に接続され、
    　前記第１８のトランジスタのソース又はドレインの他方は、前記オペアンプＯＰ２の第１の入力端子と、前記第７の容量素子の電極の一方と電気的に接続され、
    　前記オペアンプＯＰ２の第２の入力端子は、前記配線ＪＤと電気的に接続され、
    　前記オペアンプＯＰ２の出力端子は、前記信号線Ｏｕｔと電気的に接続され、
    　前記信号線Ｏｕｔは、前記ニューラルネットワークと接続されることを特徴とする撮像装置。
  7. 　請求項１又は請求項２において、
    　前記撮像装置は、さらに、前記第２の信号線Ｗｘと、信号線Ｂｓｅｌ１と、スイッチＢｓｗと、を有し、
    　前記スイッチＢｓｗは、前記配線Ｂｓｅｌに与えられる信号によって前記第１の信号線Ｗｘと前記第２の信号線Ｗｘとを電気的に接続する機能を有し、
    　前記第３の回路には、前記第１の信号線Ｗｘに接続される複数の前記画素と、前記第２の信号線Ｗｘに接続される複数の前記画素とから、複数の前記第５の信号と、複数の前記第６の信号と、複数の前記第７の信号とが与えられる機能を有し、
    　第３の回路は、それぞれの画素から与えられる第５の信号、第６の信号、及び第７の信号を加算してから、第１のオフセット項を減算する機能を有し、
    　前記撮像装置は、前記スイッチＢｓｗに与える信号によって複数の前記画素の選択範囲を選択できる機能を有し、
    　前記撮像装置は、前記画素の選択範囲に応じたプーリング処理がされることを特徴とする撮像装置。
  8. 　請求項４において、
    　前記光電変換素子は、セレン又はセレンを含む化合物を有する撮像装置。
  9. 　請求項４において、
    　前記第１のトランジスタ、前記第２のトランジスタ、前記第４のトランジスタ、前記第６のトランジスタ、及び前記第７のトランジスタのいずれか一もしくは複数が、チャネル形成領域に金属酸化物を有する撮像装置。
  10. 　請求項４において、
    　前記第１３のトランジスタは、前記第５のトランジスタのチャネル長及びチャネル幅と同じ大きさを有することを特徴とする撮像装置。
  11. 　請求項５において、
    　前記配線ＶＩＶに与えられる第２の電位は、前記配線ＶＤＭに与えられる第３の電位よりも小さいことを特徴とする撮像装置。
  12. 　請求項１０において、
    　前記金属酸化物は、Ｉｎと、Ｚｎと、Ｍ（ＭはＡｌ、Ｔｉ、Ｇａ、Ｓｎ、Ｙ、Ｚｒ、Ｌａ、Ｃｅ、Ｎｄ又はＨｆ）と、を有する撮像装置。
  13. 　請求項１又は請求項２に記載の前記撮像装置と、表示装置と、を有する電子機器。
PCT/IB2018/054888 2017-07-14 2018-07-02 撮像装置、及び電子機器 WO2019012369A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020207003452A KR20200028967A (ko) 2017-07-14 2018-07-02 촬상 장치 및 전자 기기
US16/628,914 US10951850B2 (en) 2017-07-14 2018-07-02 Imaging device and electronic device
JP2019529317A JP7144413B2 (ja) 2017-07-14 2018-07-02 撮像装置
CN201880045145.XA CN110832845B (zh) 2017-07-14 2018-07-02 摄像装置及电子设备
EP18831474.4A EP3654635A4 (en) 2017-07-14 2018-07-02 IMAGING DEVICE AND ELECTRONIC DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017137910 2017-07-14
JP2017-137910 2017-07-14

Publications (1)

Publication Number Publication Date
WO2019012369A1 true WO2019012369A1 (ja) 2019-01-17

Family

ID=65002562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2018/054888 WO2019012369A1 (ja) 2017-07-14 2018-07-02 撮像装置、及び電子機器

Country Status (6)

Country Link
US (1) US10951850B2 (ja)
EP (1) EP3654635A4 (ja)
JP (1) JP7144413B2 (ja)
KR (1) KR20200028967A (ja)
CN (1) CN110832845B (ja)
WO (1) WO2019012369A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020250095A1 (ja) * 2019-06-14 2020-12-17 株式会社半導体エネルギー研究所 撮像装置および電子機器
WO2021033065A1 (ja) * 2019-08-22 2021-02-25 株式会社半導体エネルギー研究所 撮像装置および電子機器
WO2021048695A1 (ja) * 2019-09-13 2021-03-18 株式会社半導体エネルギー研究所 撮像装置、及びその駆動方法
WO2021053449A1 (ja) * 2019-09-20 2021-03-25 株式会社半導体エネルギー研究所 撮像システムおよび電子機器
WO2021165781A1 (ja) * 2020-02-20 2021-08-26 株式会社半導体エネルギー研究所 撮像装置、電子機器および移動体
WO2021191719A1 (ja) * 2020-03-27 2021-09-30 株式会社半導体エネルギー研究所 撮像装置および電子機器

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109786399B (zh) * 2017-11-13 2022-04-05 睿生光电股份有限公司 检测装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016123087A (ja) 2014-12-10 2016-07-07 株式会社半導体エネルギー研究所 半導体装置および電子機器
JP2017054502A (ja) * 2015-08-31 2017-03-16 株式会社半導体エネルギー研究所 半導体装置、又は該半導体装置を有する電子機器
JP2017063420A (ja) * 2015-09-25 2017-03-30 株式会社半導体エネルギー研究所 半導体装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3642591B2 (ja) * 1994-11-29 2005-04-27 株式会社日立メディコ 画像処理装置
JP3810725B2 (ja) * 2001-09-21 2006-08-16 株式会社半導体エネルギー研究所 発光装置及び電子機器
US7151844B2 (en) * 2001-12-06 2006-12-19 General Motors Corporation Image sensor method and apparatus having hardware implemented edge detection processing
US7215370B2 (en) * 2003-07-23 2007-05-08 Alphaplus Semiconductor Inc. Pseudo-BJT based retinal focal-plane sensing system
CN104520896B (zh) * 2012-01-27 2017-09-29 韩国科学技术院 视觉神经电路装置及利用视觉神经电路装置的视觉神经模仿系统
US9762834B2 (en) * 2014-09-30 2017-09-12 Qualcomm Incorporated Configurable hardware for computing computer vision features
US20160328642A1 (en) * 2015-05-06 2016-11-10 Indiana University Research And Technology Corporation Sensor signal processing using an analog neural network
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
US11403833B2 (en) 2017-05-18 2022-08-02 Semiconductor Energy Laboratory Co., Ltd. Image detection module and information management system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016123087A (ja) 2014-12-10 2016-07-07 株式会社半導体エネルギー研究所 半導体装置および電子機器
JP2017054502A (ja) * 2015-08-31 2017-03-16 株式会社半導体エネルギー研究所 半導体装置、又は該半導体装置を有する電子機器
JP2017063420A (ja) * 2015-09-25 2017-03-30 株式会社半導体エネルギー研究所 半導体装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3654635A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020250095A1 (ja) * 2019-06-14 2020-12-17 株式会社半導体エネルギー研究所 撮像装置および電子機器
JP7480137B2 (ja) 2019-06-14 2024-05-09 株式会社半導体エネルギー研究所 撮像装置および電子機器
WO2021033065A1 (ja) * 2019-08-22 2021-02-25 株式会社半導体エネルギー研究所 撮像装置および電子機器
WO2021048695A1 (ja) * 2019-09-13 2021-03-18 株式会社半導体エネルギー研究所 撮像装置、及びその駆動方法
WO2021053449A1 (ja) * 2019-09-20 2021-03-25 株式会社半導体エネルギー研究所 撮像システムおよび電子機器
US11956570B2 (en) 2019-09-20 2024-04-09 Semiconductor Energy Laboratory Co., Ltd. Imaging system and electronic device
WO2021165781A1 (ja) * 2020-02-20 2021-08-26 株式会社半導体エネルギー研究所 撮像装置、電子機器および移動体
WO2021191719A1 (ja) * 2020-03-27 2021-09-30 株式会社半導体エネルギー研究所 撮像装置および電子機器

Also Published As

Publication number Publication date
US10951850B2 (en) 2021-03-16
US20200145600A1 (en) 2020-05-07
CN110832845B (zh) 2022-07-05
CN110832845A (zh) 2020-02-21
JP7144413B2 (ja) 2022-09-29
JPWO2019012369A1 (ja) 2020-07-27
EP3654635A4 (en) 2020-12-30
KR20200028967A (ko) 2020-03-17
EP3654635A1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
JP7144413B2 (ja) 撮像装置
JP7322239B2 (ja) 撮像装置および電子機器
JP7335990B2 (ja) 撮像装置
JP7224429B2 (ja) 撮像装置、及び電子機器
JP7217227B2 (ja) 撮像装置、及び電子機器
WO2020222059A1 (ja) 撮像装置、その動作方法、および電子機器
WO2021191719A1 (ja) 撮像装置および電子機器
US20220359592A1 (en) Imaging device and electronic device
JP2019009640A (ja) 撮像装置および電子機器
WO2021214616A1 (ja) 撮像装置
WO2021209868A1 (ja) 撮像装置および電子機器
WO2021165781A1 (ja) 撮像装置、電子機器および移動体
WO2021053449A1 (ja) 撮像システムおよび電子機器
WO2020250095A1 (ja) 撮像装置および電子機器
JP2018164139A (ja) 撮像装置および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18831474

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019529317

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20207003452

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018831474

Country of ref document: EP

Effective date: 20200214