WO2021191719A1 - 撮像装置および電子機器 - Google Patents

撮像装置および電子機器 Download PDF

Info

Publication number
WO2021191719A1
WO2021191719A1 PCT/IB2021/052110 IB2021052110W WO2021191719A1 WO 2021191719 A1 WO2021191719 A1 WO 2021191719A1 IB 2021052110 W IB2021052110 W IB 2021052110W WO 2021191719 A1 WO2021191719 A1 WO 2021191719A1
Authority
WO
WIPO (PCT)
Prior art keywords
transistor
circuit
layer
electrically connected
drain
Prior art date
Application number
PCT/IB2021/052110
Other languages
English (en)
French (fr)
Inventor
廣瀬丈也
米田誠一
井上広樹
池田隆之
山崎舜平
Original Assignee
株式会社半導体エネルギー研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社半導体エネルギー研究所 filed Critical 株式会社半導体エネルギー研究所
Priority to CN202180024385.3A priority Critical patent/CN115336254A/zh
Priority to US17/911,193 priority patent/US20230109524A1/en
Priority to JP2022509744A priority patent/JPWO2021191719A1/ja
Priority to KR1020227034842A priority patent/KR20220160007A/ko
Publication of WO2021191719A1 publication Critical patent/WO2021191719A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • One aspect of the present invention relates to an imaging device.
  • One aspect of the present invention is not limited to the above technical fields.
  • the technical field of one aspect of the invention disclosed in the present specification and the like relates to a product, a method, or a manufacturing method.
  • one aspect of the invention relates to a process, machine, manufacture, or composition of matter. Therefore, more specifically, the technical fields of one aspect of the present invention disclosed in the present specification include semiconductor devices, display devices, liquid crystal display devices, light emitting devices, lighting devices, power storage devices, storage devices, imaging devices, and the like. An operating method or a method of manufacturing them can be given as an example.
  • the semiconductor device refers to all devices that can function by utilizing the semiconductor characteristics.
  • Transistors and semiconductor circuits are one aspect of semiconductor devices.
  • the storage device, the display device, the image pickup device, and the electronic device may have a semiconductor device.
  • Patent Document 1 discloses an image pickup apparatus having an oxide semiconductor and using a transistor having an extremely low off-current in a pixel circuit.
  • Patent Document 2 discloses a technique for adding a calculation function to an image pickup apparatus.
  • Imaging devices installed in mobile devices and the like have a general function of acquiring high-resolution images. In the next generation, it is required that the image pickup device be equipped with more intelligent functions.
  • the image data (analog data) acquired by the image pickup apparatus is converted into digital data, and after being taken out to the outside, image processing is performed as necessary. If the processing can be performed in the imaging device, the cooperation with an external device becomes faster and the convenience of the user is improved. In addition, the load and power consumption of peripheral devices can be reduced. Further, if complicated data processing can be performed in the state of analog data, the time required for data conversion can be shortened.
  • the distance information can be inferred by calculating the luminance gradient from the difference information of the data between adjacent pixels and using the luminance gradient as the data by using DNN (deep neural network) or the like.
  • DNN deep neural network
  • a mobile information terminal such as a smartphone can acquire information on the distance of the captured subject and process the captured image (such as blurring the front and back of the target subject).
  • the information on the distance is acquired by using parallax by a plurality of cameras. If distance information can be obtained by image processing, the cameras can be integrated and the manufacturing cost can be reduced.
  • one aspect of the present invention is to provide an image pickup apparatus capable of performing image processing.
  • one of the purposes is to provide an imaging device capable of acquiring distance information.
  • Another object of the present invention is to provide an imaging device capable of acquiring information on the luminance gradient between adjacent pixels.
  • Another object of the present invention is to provide an imaging device that functions as a part of a neural network.
  • Another object of the present invention is to provide an image pickup device having low power consumption.
  • one of the purposes is to provide a highly reliable imaging device.
  • one of the purposes is to provide a new imaging device or the like.
  • Another object of the present invention is to provide a method for driving the image pickup apparatus.
  • one of the purposes is to provide a new semiconductor device or the like.
  • One aspect of the present invention relates to an image pickup apparatus having an image processing function.
  • One aspect of the present invention includes a pixel and a readout circuit, and the pixel has a first light receiving circuit, a second light receiving circuit, an amplifier circuit, and an amplifier circuit, and the amplifier circuit has an amplifier circuit.
  • the potential corresponding to the difference between the first data held in the first light receiving circuit and the second data held in the second light receiving circuit can be output to the amplifier circuit, and the amplifier circuit can output the potential. It has a first node and a second node, and a first potential output by an amplifier circuit is written in the first node when the first data and the second data have the same value.
  • the second potential output by the amplifier circuit when the first data and the second data are generated by photoelectric conversion is written to the second node, and the first node and the second node A third potential can be added to each, and the read circuit uses the current flowing according to the potential of the first node and the current flowing according to the potential of the second node to obtain the second potential.
  • the read circuit has a current mirror circuit and a correlated double sampling circuit, and the current mirror circuit has a first transistor and a second transistor, and the source or drain of the first transistor. One and the gate are electrically connected to the first node, and one of the source or drain of the second transistor can be electrically connected to the second node and the correlated double sampling circuit.
  • another aspect of the present invention includes a pixel, a read-out circuit, and the pixel has a first light-receiving circuit, a second light-receiving circuit, an amplification circuit, and an arithmetic circuit.
  • the amplification circuit has a first input terminal and a second input terminal
  • the arithmetic circuit has a first node, a second node, a first capacitor, and a second capacitor.
  • a first transistor and a second transistor, the first node is electrically connected to one electrode of the first capacitor and the gate of the first transistor, and the second node.
  • the readout circuit is electrically connected, the first light receiving circuit is electrically connected to the first input terminal, the second light receiving circuit is electrically connected to the second input terminal, and the first The first potential output by the amplification circuit when the same potential is input to the first input terminal and the second input terminal is written to the node, and the first light receiving circuit is written to the second node.
  • the second potential output by the amplification circuit is written according to the difference between the generated data and the data generated by the second light receiving circuit, and the first node and the second node each have a first potential.
  • a third potential can be added via a capacitor or a second capacitor, and the readout circuit will perform a second calculation using the current flowing through the first transistor and the current flowing through the second transistor. It is an imaging device capable of extracting the product of a potential and a third potential.
  • the read circuit has a current mirror circuit and a correlated double sampling circuit, and the current mirror circuit has a third transistor and a fourth transistor, and the source or drain of the third transistor.
  • One and the gate are electrically connected to one of the source or drain of the first transistor, and one of the source or drain of the fourth transistor is one of the source or drain of the second transistor and a correlated double sampling circuit. Can be electrically connected to.
  • Each of the first light receiving circuit and the second light receiving circuit has a photoelectric conversion device, a fifth transistor, a sixth transistor, and a third capacitor, and one electrode of the photoelectric conversion device is , Which is electrically connected to one of the source or drain of the fifth transistor, the other of the source or drain of the fifth transistor is one of the source or drain of the sixth transistor, and one electrode of the third transistor.
  • the other of the source or drain of the sixth transistor of the first light receiving circuit is electrically connected to the first input terminal and is electrically connected to the second light receiving circuit of the sixth transistor.
  • the other of the source or drain can be electrically connected to the second input terminal.
  • the fifth transistor and the sixth transistor have a metal oxide in the channel forming region, and the metal oxides are In, Zn, and M (M is Al, Ti, Ga, Ge, Sn, Y, Zr). , La, Ce, Nd or Hf), and preferably.
  • Each of the first light receiving circuit and the second light receiving circuit further has a seventh transistor and an eighth transistor, and the gate of the seventh transistor is electric with one electrode of the third capacitor. It is preferable that one of the source or drain of the seventh transistor is electrically connected to one of the source or drain of the eighth transistor.
  • the amplification circuit includes a ninth transistor, a tenth transistor, and an eleventh transistor, and one of the source or drain of the ninth transistor is of the third capacitor of the first light receiving circuit. Electrically connected to one electrode, the other of the source or drain of the ninth transistor is electrically connected to the first input terminal, and one of the source or drain of the tenth transistor receives the second light. Electrically connected to one electrode of the third transistor of the circuit, the other of the source or drain of the tenth transistor is electrically connected to the second input terminal and the source or drain of the eleventh transistor. One can be electrically connected to the first input terminal and the other of the source or drain of the eleventh transistor can be electrically connected to the second input terminal.
  • the ninth transistor to the eleventh transistor have a metal oxide in the channel forming region, and the metal oxides are In, Zn, and M (M is Al, Ti, Ga, Ge, Sn, Y, Zr). , La, Ce, Nd or Hf), and preferably.
  • a plurality of pixels can be electrically connected to one readout circuit.
  • Another aspect of the present invention is an electronic device that processes a part of an image based on the distance information of the subject in the image captured by the image pickup device and the image analyzed by the image pickup device.
  • an image pickup apparatus capable of performing image processing.
  • an imaging device capable of acquiring distance information.
  • an imaging device capable of acquiring information on the luminance gradient between adjacent pixels.
  • an imaging device that functions as a part of a neural network can be provided.
  • a low power consumption imaging device can be provided.
  • a highly reliable imaging device can be provided.
  • a new imaging device or the like can be provided.
  • a method for driving the image pickup apparatus can be provided.
  • a new semiconductor device or the like can be provided.
  • FIG. 1 is a block diagram illustrating an imaging device.
  • FIG. 2 is a diagram illustrating a pixel block 200 and a circuit 240.
  • FIG. 3 is a diagram illustrating the pixel 100.
  • FIG. 4A is a diagram illustrating a light receiving circuit.
  • FIG. 4B is a diagram illustrating a differential amplifier circuit.
  • 5A and 5B are diagrams illustrating a current source circuit.
  • FIG. 6 is a timing chart illustrating the operation of the pixel block 200.
  • 7A and 7B are diagrams for explaining the circuit 301 and the circuit 302.
  • FIG. 8 is a diagram illustrating a memory cell.
  • 9A and 9B are diagrams showing a configuration example of a neural network.
  • 10A to 10D are diagrams for explaining the configuration of pixels of the image pickup apparatus.
  • FIG. 11A to 11C are diagrams for explaining the configuration of the photoelectric conversion device.
  • FIG. 12 is a cross-sectional view illustrating the pixels.
  • 13A to 13C are diagrams for explaining Si transistors.
  • FIG. 14 is a cross-sectional view illustrating the pixels.
  • FIG. 15 is a cross-sectional view illustrating the pixels.
  • FIG. 16 is a cross-sectional view illustrating the pixels.
  • 17A to 17D are diagrams for explaining an OS transistor.
  • FIG. 18 is a cross-sectional view illustrating the pixels.
  • 19A to 19C are perspective views (cross-sectional views) illustrating pixels.
  • 20A1 to 20A3 and 20B1 to 20B3 are perspective views of a package and a module containing an imaging device.
  • 21A to 21F are diagrams for explaining electronic devices.
  • FIG. 22 is a diagram illustrating an automobile.
  • the element may be composed of a plurality of elements as long as there is no functional inconvenience.
  • a plurality of transistors operating as switches may be connected in series or in parallel.
  • the capacitor may be divided and arranged at a plurality of positions.
  • one conductor may have a plurality of functions such as wiring, electrodes, and terminals, and in the present specification, a plurality of names may be used for the same element. Further, even if the elements are shown to be directly connected on the circuit diagram, the elements may actually be connected via one or a plurality of conductors. , In the present specification, such a configuration is also included in the category of direct connection.
  • the imaging device holds analog data (image data) acquired in the imaging operation in pixels, and can extract data obtained by multiplying the analog data by an arbitrary weighting coefficient.
  • the difference data between the adjacent light receiving devices can be acquired, and the information of the luminance gradient can be obtained.
  • the information By incorporating the information into a neural network or the like, it is possible to infer distance information or the like. Further, since a huge amount of image data can be held in the pixels in the state of analog data, processing can be performed efficiently.
  • the distance information in the image it is possible to support the picking work by the robot, the automatic driving of the moving body, the distance measurement, and the like. Further, in smartphones and the like, a plurality of cameras are used to acquire distance information, but distance information can be obtained with one camera, and the manufacturing cost can be reduced.
  • FIG. 1 is a block diagram illustrating an imaging device according to an aspect of the present invention.
  • the imaging device includes a pixel array 300, a circuit 301, a circuit 302, a circuit 303, a circuit 304, and a circuit 305.
  • Each of the circuits 301 to 305 is not limited to a single circuit configuration, and may be configured by a combination of a plurality of circuits. Alternatively, any one of the above circuits may be integrated. Further, a circuit other than the above may be connected.
  • the pixel array 300 has an imaging function and a calculation function.
  • the circuit 301 has an arithmetic function.
  • the circuit 302 has an arithmetic function or a data conversion function.
  • the circuits 303 and 304 have a selection function.
  • the circuit 305 has a function of supplying a potential for multiply-accumulate calculation to the pixels.
  • a shift register, a decoder, or the like can be used for the circuit having the selection function.
  • the circuits 301 and 302 may be provided externally.
  • the pixel array 300 has a plurality of pixel blocks 200. As shown in FIG. 2, the pixel block 200 has a pixel array 210 and a circuit 220.
  • the pixel array 210 has a plurality of pixels 100 arranged in a matrix, and each pixel 100 is electrically connected to the wiring 151 and the wiring 152, and the wiring 151 and the wiring 152 are electrically connected to the circuit 220, respectively. Connected to.
  • the circuit 220 is a read circuit and has a circuit 230 and a circuit 240.
  • the circuit 230 is a current source circuit and has a function of controlling the current flowing through the pixel array 210 and the circuit 240.
  • the circuit 240 is a difference extraction circuit, and for example, a correlated double sampling circuit (CDS circuit) can be used.
  • CDS circuit correlated double sampling circuit
  • the circuit 230, the circuit 240, and the pixel array 210 are preferably formed so that any two or more of them have an overlapping region. With this configuration, the area of the pixel block 200 can be reduced and the resolution can be increased.
  • the circuit 240 can also be provided outside the pixel block 200.
  • the number of pixels of the pixel array 210 is set to 3 ⁇ 3 as an example, but the number of pixels is not limited to this. For example, it can be 2 ⁇ 2, 4 ⁇ 4, or the like. Alternatively, the number of pixels in the horizontal direction and the number of pixels in the vertical direction may be different. Alternatively, a switch or the like may be provided between the pixel 100 and the wiring 151 and the wiring 152 to make the number of pixels variable. Further, some pixels may be shared by adjacent pixel blocks 200. Further, an amplifier circuit or a gain adjustment circuit may be electrically connected to the wiring 151.
  • the pixel 100 can acquire image data, generate arithmetic data using the image data, generate data obtained by adding the arithmetic data and a weighting coefficient, and the like. Further, the pixel block 200 having the above configuration can be operated as a product-sum calculation circuit.
  • FIG. 10 A configuration example of the pixel 100 is shown in FIG.
  • the pixel 100 has circuits 10a and 10b, a circuit 20, and a circuit 30.
  • the circuits 10a and 10b are light receiving circuits and have a function of generating imaging data by a photoelectric conversion device.
  • the circuit 20 is a differential amplifier circuit, and has a function of outputting an amplified data potential according to a difference in data input from the circuit 10a and the circuit 10b.
  • the circuit 30 is an arithmetic circuit, and has a function of holding a data potential output from the circuit 20 and a function of giving a weight (potential corresponding to a weighting coefficient) to the data potential.
  • the circuits 10a and 10b can have the same configuration, and include a photoelectric conversion device 101 (photoelectric conversion devices 101a and 101b), transistors 102 (transistors 102a and 102b), transistors 103 (transistors 103a and 103b), and a capacitor 106. (Capacitors 106a, 106b) can be provided.
  • One electrode of the photoelectric conversion device 101 is electrically connected to one of the source and drain of the transistor 102.
  • the other of the source or drain of the transistor 102 is electrically connected to one of the source or drain of the transistor 103 and one of the electrodes of the capacitor 106.
  • the other electrode of the photoelectric conversion device 101 is electrically connected to the wiring 114.
  • the other of the source or drain of the transistor 103 is electrically connected to the wiring 115.
  • the gate of the transistor 102 is electrically connected to the wiring 116.
  • the gate of the transistor 103 is electrically connected to the wiring 117.
  • a node FD (node FDa, node FDb) is an electrical connection point between the other of the source or drain of the transistor 102, one of the source or drain of the transistor 103, and one electrode of the capacitor 106.
  • the wirings 114 and 115 can have a function as a power supply line.
  • the wiring 114 can function as a high-potential power supply line
  • the wiring 115 can function as a low-potential power supply line.
  • the wirings 116 and 117 can function as signal lines for controlling the continuity of each transistor.
  • a photodiode can be used as the photoelectric conversion device 101. Regardless of the type of photodiode, a Si photodiode having silicon in the photoelectric conversion layer, an organic photodiode having an organic photoconductive film in the photoelectric conversion layer, or the like can be used. If it is desired to increase the light detection sensitivity at low illuminance, it is preferable to use an avalanche photodiode.
  • the transistor 102 can have a function of controlling the potential of the node FD.
  • the transistor 103 can have a function of initializing the potential of the node FD.
  • a high voltage may be applied, and it is preferable to use a high voltage transistor for the transistor connected to the photoelectric conversion device 101.
  • a high voltage transistor for example, a transistor using a metal oxide in the channel forming region (hereinafter, OS transistor) or the like can be used. Specifically, it is preferable to apply an OS transistor to the transistor 102.
  • the OS transistor also has a characteristic that the off-current is extremely low.
  • the period during which the electric charge can be held in the node FD can be extremely extended. Therefore, it is possible to apply the global shutter method in which charge accumulation operation is performed simultaneously in all pixels without complicating the circuit configuration and operation method. Further, while holding the image data in the node FD, it is possible to perform a plurality of operations using the image data.
  • Si transistor silicon in the channel forming region
  • an OS transistor and a Si transistor may be arbitrarily combined and applied.
  • the Si transistor include a transistor having amorphous silicon, a transistor having crystalline silicon (microcrystalline silicon, low temperature polysilicon, single crystal silicon), and the like.
  • the above is an example of the circuit configuration of the circuits 10a and 10b, and the photoelectric conversion operation can be performed by another circuit configuration.
  • the circuits 10a and 10b may have a configuration including transistors 175 (transistors 175a and 175b) and transistors 176 (transistors 176a and 176b).
  • the gate of transistor 175 is electrically connected to the node FD.
  • One of the source or drain of the transistor 175 is electrically connected to the wiring 118, and the other of the source or drain of the transistor 175 is electrically connected to one of the source or drain of the transistor 176.
  • the other of the source or drain of the transistor 176 is electrically connected to the wiring OUT.
  • the wiring 118 can function as a power supply line and may be connected to the wiring 115.
  • the transistor 175 is a source follower element that outputs data according to the potential of the node FD. Further, the transistor 176 functions as a selection transistor for selecting a light receiving circuit to be read. Therefore, by using the circuits 10a and 10b having the configuration of FIG. 4A, the image data can be read out from each light receiving circuit to the wiring OUT. Further, in this configuration, image data can be read out in parallel with the operation of the circuit 20.
  • the circuit 20 can include a transistor 104 (transistors 104a, 104b), a transistor 105 (transistors 105a, 105b), a transistor 107, a transistor 108, and a transistor 131 (transistors 131a, 131b).
  • One of the source or drain of transistor 104a is electrically connected to one of the gate of transistor 105a and one of the source or drain of transistor 107.
  • One of the source or drain of transistor 104b is electrically connected to the gate of transistor 105b and the other of source or drain of transistor 107.
  • One of the source or drain of the transistor 105a is electrically connected to one of the source or drain of the transistor 131a and the gate.
  • One of the source or drain of transistor 105b is electrically connected to one of the source or drain of transistor 131b and the gate.
  • the other of the source or drain of the transistor 105a is electrically connected to the other of the source or drain of the transistor 105b and one of the source or drain of the transistor 108.
  • the other of the source or drain of the transistor 131 is electrically connected to the wiring 124.
  • the other of the source or drain of the transistor 108 is electrically connected to a reference potential line or a low potential power supply line such as GND wiring.
  • the gate of the transistor 104a is electrically connected to the wiring 121.
  • the gate of the transistor 104b is electrically connected to the wiring 122.
  • the gate of the transistor 107 is electrically connected to the wiring 123.
  • the wiring 124 can have a function as, for example, a power supply line for supplying a high potential power source.
  • the wiring 121, the wiring 122, and the wiring 123 can have a function as a signal line for controlling the continuity of each transistor.
  • the transistor 104 functions as a switch.
  • the other of the source or drain of the transistor 104a is electrically connected to the node FDa of the circuit 10a.
  • the other side of the source or drain of the transistor 104b is electrically connected to the node FDb of the circuit 10b. Therefore, it can be said that the transistor 104 is an element of the circuits 10a and 10b.
  • the transistor 105 functions as a differential transistor pair in the differential amplifier circuit.
  • the gate of the transistor 105a functions as a first input terminal of the circuit 20.
  • the gate of the transistor 105b functions as a second input terminal of the circuit 20. Therefore, the data generated by the circuit 10a can be input to the first input terminal. Further, the data generated by the circuit 10b can be input to the second input terminal.
  • the transistor 107 functions as a switch, and the first input terminal and the second input terminal can have the same potential.
  • the switch can be used when acquiring reference data.
  • the transistor 108 functions as a current source, and an appropriate potential (Bias) is supplied to the gate.
  • An appropriate potential (Bias) is supplied to the gate.
  • a resistance element may be used instead of the transistor 108.
  • the transistor 131 functions as a voltage conversion circuit. Although the transistor 131 is illustrated as a diode-connected p-channel transistor in FIG. 3, it may be a diode-connected n-channel transistor. Alternatively, a diode element, a resistance element, or a cascode circuit may be used instead of the transistor 131.
  • a part of the wiring connecting one of the source or drain of the transistor 105b and one of the source or drain of the transistor 131b also functions as an output terminal, and is represented as a node N in FIG.
  • An amplified data potential can be output to the output terminal (node N) according to the difference between the output data of the circuit 10a and the output data of the circuit 10b.
  • the circuit 20 may have a configuration in which the transistor 104 and the transistor 107 are omitted.
  • the transistor 104 and the transistor 107 are provided so that the first input terminal and the second input terminal have the same potential, but if the potential (reset potential) of the wiring 115 supplied from the transistor 103 is used as the potential, the potential of the wiring 115 (reset potential) can be used.
  • the transistor 104 and the transistor 107 can be omitted.
  • the circuit 30 can have a configuration including a transistor 132, a transistor 133, a transistor 134, a transistor 142, a transistor 143, a transistor 144, a capacitor 135, and a capacitor 145.
  • One of the source or drain of transistor 132 is electrically connected to one electrode of capacitor 135 and the gate of transistor 133.
  • the other electrode of the capacitor 135 is electrically connected to one of the source or drain of the transistor 134.
  • One of the source or drain of the transistor 142 is electrically connected to one electrode of the capacitor 145 and the gate of the transistor 143.
  • the other electrode of the capacitor 145 is electrically connected to one of the source or drain of the transistor 144.
  • the gate of the transistor 132 is electrically connected to the wiring 125.
  • the gate of the transistor 142 is electrically connected to the wiring 126.
  • the gate of the transistor 134 and the gate of the transistor 144 are electrically connected to the wiring 127.
  • the other source or drain of transistor 132 and the other source or drain of transistor 142 are electrically connected to node N.
  • the other of the source or drain of the transistor 134 and the other of the source or drain of the transistor 144 are electrically connected to the wiring 128.
  • One of the source and drain of the transistor 133 is electrically connected to the wiring 151.
  • One of the source or drain of the transistor 143 is electrically connected to the wiring 152.
  • the other of the source or drain of the transistor 133 and the other of the source or drain of the transistor 143 are electrically connected to a reference or low potential line of force such as GND wiring.
  • the wiring 125, the wiring 126, and the wiring 127 can have a function as a signal line for controlling the continuity of each transistor.
  • the wiring 128 is, for example, a wiring capable of supplying a potential corresponding to a weighting coefficient (such as a filter for convolution processing), and is electrically connected to the circuit 305 (see FIG. 1).
  • the wiring 151 is a wiring electrically connected to the circuit 230 and the circuit 240, and the wiring 152 is a wiring electrically connected to the circuit 230 (see FIG. 2).
  • a point (wiring) to which one of the source or drain of the transistor 132, one electrode of the capacitor 135, and the gate of the transistor 133 are connected is referred to as a node P1.
  • a point (wiring) to which one of the source or drain of the transistor 142, one electrode of the capacitor 145, and the gate of the transistor 143 is connected is referred to as a node P2.
  • Data output by the circuit 20 can be stored in the node P1 and the node P2. Further, the node P1 and the node P2 can be made floating. Therefore, the potential (weighting coefficient) supplied from the wiring 128 can be given to the data held in the node P1 and the node P2 by the capacitive coupling of the capacitor 135 or the capacitor 145.
  • the readout circuit 220 includes a circuit 230 that functions as a current source circuit and a circuit 240 that functions as a difference extraction circuit.
  • the circuit 230 can flow a current according to the data held in the pixel 100, and can be configured as shown in FIG. 5A, for example.
  • the circuit 230 can be configured to include a current supply unit 225 and a current mirror unit 226.
  • FIG. 5A shows a configuration using an n-ch type transistor.
  • the current supply unit 225 may have a configuration including transistors 222 and 252 and transistors 223 and 253.
  • One of the source and drain of the transistor 222 is electrically connected to the signal line FG.
  • the other of the source or drain of transistor 222 is electrically connected to the gate of transistor 223.
  • One of the source and drain of the transistor 252 is electrically connected to the signal line FGREF.
  • the other of the source or drain of transistor 252 is electrically connected to the gate of transistor 253.
  • the gate of transistor 222 and the gate of transistor 252 are electrically connected to wiring 213.
  • One of the source or drain of the transistor 223 is electrically connected to the wiring 151.
  • One of the source or drain of the transistor 253 is electrically connected to the wiring 152.
  • the other of the source or drain of the transistor 223 and the other of the source or drain of the transistor 253 are electrically connected to the high potential power line (VDD).
  • an appropriate signal potential is supplied to the signal lines FG and FGREF, and by supplying a high potential (“H”) to the wiring 213, the transistors 222 and 252 and the transistors 223 and 253 become conductive.
  • the wiring 151 and the wiring 152 can be supplied with an electric current.
  • the current mirror unit 226 may have a transistor 254 and a transistor 224.
  • One of the gate and source or drain of transistor 254 is electrically connected to wire 152.
  • One of the source or drain of the transistor 224 is electrically connected to the wiring 151.
  • the other source or drain of transistor 224 and the other source or drain of transistor 254 are electrically connected to a low potential power line (VSS).
  • the gate of the transistor 224 is electrically connected to the gate of the transistor 254, and the same current (ICM) as that of the transistor 254 can be passed through the transistor 224.
  • the current supply unit 225 may have a configuration using a p-ch type transistor as shown in FIG. 5B.
  • the output side of the transistor 262 is electrically connected to the wiring 152 and the gate of the transistor 261.
  • the circuit 240 is a difference extraction circuit, and the product of the data and the weighting coefficient (product-sum calculation result) can be extracted by using the current flowing through the pixel 100 and the circuit 230. As shown in FIG. 2, each pixel 100 is electrically connected to each other by wiring 151. The circuit 240 can perform calculations using the sum of the currents flowing through the transistors 133 of each pixel 100.
  • the circuit 240 includes a capacitor 202, a transistor 203, a transistor 204, a transistor 205, a transistor 206, and a transistor 207 as a voltage conversion circuit.
  • An appropriate analog potential (Bias) is applied to the gate of transistor 207.
  • One electrode of the capacitor 202 is electrically connected to one of the source or drain of transistor 203 and the gate of transistor 204.
  • One of the source or drain of transistor 204 is electrically connected to one of the source or drain of transistor 205 and one of the source or drain of transistor 206.
  • the other electrode of the capacitor 202 is electrically connected to one of the wires 151 and the source or drain of the transistor 207.
  • a point connecting one electrode of the capacitor 202, one of the source or drain of the transistor 203, and the gate of the transistor 204 is referred to as a node C.
  • the other of the source or drain of transistor 203 is electrically connected to wiring 218.
  • the other of the source or drain of transistor 204 is electrically connected to wire 219.
  • the other of the source or drain of the transistor 205 is electrically connected to a reference power line such as GND wiring.
  • the other of the source or drain of the transistor 206 is electrically connected to the wiring 212.
  • the other of the source or drain of transistor 207 is electrically connected to a reference power line such as GND wiring.
  • the gate of transistor 203 is electrically connected to wiring 216.
  • the gate of the transistor 205 is electrically connected to the wiring 215.
  • the gate of transistor 206 is electrically connected to wiring 214.
  • Wiring 218 and 219 can have a function as a power supply line.
  • the wiring 218 can have a function as a wiring for supplying a reset potential (Vr) for reading.
  • the wiring 219 can function as a high-potential power supply line.
  • the wirings 214, 215, and 216 can function as signal lines for controlling the continuity of each transistor.
  • the wiring 212 is an output line and can be electrically connected to, for example, the circuit 301 shown in FIG.
  • the transistor 203 can have a function of resetting the potential of the node C to the potential of the wiring 218.
  • the transistors 204 and 205 can have a function as a source follower circuit.
  • the transistor 206 can have a function of controlling reading.
  • the circuit 240 has a function as a correlated double sampling circuit (CDS circuit), and can be replaced with a circuit having another configuration having the function.
  • CDS circuit correlated double sampling circuit
  • the data obtained by voltage-converting the current flowing from the circuit 230 to the circuit 240 based on the reference data and the difference data and the current flowing from the circuit 230 to the circuit 240 when the reference data and the difference data are weighted are voltage-converted.
  • the differential potential with the data is extracted by the circuit 240.
  • the differential potential corresponds to data obtained by removing various offset components from the current flowing through the circuit 220, and is data obtained by voltage-converting the current represented by the term of the product of the difference data and the weighting coefficient. That is, the product of the difference data and the weighting coefficient can be extracted.
  • the description of the operation of the pixel 100 is omitted, and the difference data (obtained by photoelectric conversion) of the circuit 10a and the circuit 10b is connected to the node P1.
  • the data potential X corresponding to the difference between the data) is stored, and the data potential (reference data, ideally 0) output by the circuit 20 when there is no difference between the outputs of the circuit 10a and the circuit 10b is stored in the node P2. It will be described as being in the stored state. The detailed operation of the pixel 100 will be described later.
  • an offset component other than the product of the difference data (potential X) and the weighting coefficient (potential W) can be removed to extract the target WX.
  • the flow of WX extraction when the circuit shown in FIG. 5A is used as the circuit 230 is as follows.
  • the transistor 203 is brought into a conductive state, and the potential Vr is written from the wiring 218 to the node C.
  • the potential Vr is a reset potential used for the read operation.
  • the difference data (potential X) is written in the node P1 of the circuit 30 of the pixel 100. Further, it is assumed that the reference data 0 is written in the node P2. Further, the weighting coefficient written from the wiring 128 is set to 0.
  • the total current flowing from the circuit 230 to the transistor 133 of each pixel 100 is k ⁇ (XV th ) 2 . Further, the total current flowing from the circuit 230 to the transistor 143 of each pixel 100 is k ⁇ (0 ⁇ V th ) 2 .
  • k is a constant and Vth is the threshold voltage of each transistor.
  • the total current flowing through the transistor 223 is defined as an IC
  • the total current flowing through the transistor 253 is defined as an ICFEF
  • the total current flowing through the transistor 224 and the transistor 254 is defined as an ICM (see FIG. 5A).
  • ICM 0 ICREF 0- k ⁇ (0-V th ) 2 .
  • the transistor 203 of the circuit 240 is brought into a non-conducting state, and the potential Vr is held at the node C.
  • a potential corresponding to the weighting coefficient (W) is supplied to the wiring 128, and the weighting coefficient (W) is given to the node P1 and the node P2 by capacitive coupling.
  • the total current flowing from the circuit 230 to the transistor 133 of each pixel 100 is k ⁇ (X + W ⁇ V th ) 2 . Further, the total current flowing from the circuit 230 to the transistor 143 of each pixel 100 is k ⁇ (WV th ) 2 .
  • the difference can be extracted by the circuit 240.
  • IR 0 is initialized as the potential Vr of the node C, and the potential of the wiring 151 changes from the state of the weight coefficient 0 to the state of the weight coefficient W when the node C is floating. ( Corresponding to the difference between IR 0 and IR) is added to the node C by the capacitive coupling of the capacitor 202.
  • the pixel 100 described here has the configuration shown in FIG. Further, it is assumed that a predetermined potential is supplied to the power supply line and the like.
  • the transistor 104b and the transistor 107 are conductive, and the potential of the node FDb is input to the first input terminal (gate of the transistor 105a) and the second input terminal (gate of the transistor 105b) of the circuit 20.
  • the output terminal (node N) of the circuit 20 outputs the amplified data potential according to the difference between the data input to the first input terminal and the data input to the second input terminal. ..
  • the data potential output to the output terminal (node N) of the circuit 20 can be referred to as reference data.
  • the reference data is data that is output when there is no difference between the data input to the first input terminal and the data input to the second input terminal.
  • the reference data may be output when the node FDa and the node FDb are set to the reset potentials.
  • the potential of the wiring 126 is "H" at time T4
  • the potential of the output terminal (node N) of the circuit 20 is written to the node P2 of the circuit 30.
  • the potential of the wiring 126 is set to “L”, and the potential of the node P2 is held.
  • the potential of the wiring 127 is set to "H”
  • the potential of the other electrode of the capacitors 135 and 145 is set to the potential of the wiring 128 (for example, 0).
  • the data potential amplified according to the difference between the node FDa and the node FDb is output to the output terminal (node N) of the circuit 20.
  • the data potential output to the output terminal (node N) of the circuit 20 is a potential amplified according to the difference between the image data acquired by the circuit 10a and the image data acquired by the circuit 10b, and is different from the difference data. Can be called. Alternatively, it can also be called image data or imaging data.
  • the potential of the wiring 125 is "H” at time T6
  • the potential of the output terminal (node N) of the circuit 20 is written to the node P1 of the circuit 30.
  • the potential of the wiring 125 is set to “L”, and the potential of the node P1 is held.
  • the ICREF is the sum of the current (ICM) flowing through the transistor 254 and the current flowing through the transistor 143 of the circuit 30.
  • the current IC is the sum of the current (ICM) flowing through the transistor 224, the current flowing through the transistor 133 of the circuit 30, and the current flowing through the transistor 207 of the circuit 240.
  • the potential of the wiring 151 is determined in the above state, the potential of the wiring 216 is set to "H”, and the potential “Vr" of the wiring 218 is written to the node C. Then, the potential of the wiring 216 is set to "L”, the node C is set to floating, and the potential "Vr" is held.
  • the circuit 240 can output the signal potential corresponding to the WX to the wiring 212 by the source follower operation.
  • the potential of the wiring 127 is set to "L”
  • the potential of the wiring 213 is set to “L”
  • the potential of the wiring 214 is set to “L”
  • the potential of the wiring 215 is set to “L”
  • the WX output from the circuit 240 by the above operation can be input to the circuit 301.
  • the data of the node P1 and the node P2 may have a time difference.
  • information including motion parallax can be extracted.
  • Depth (distance) information can be obtained from motion parallax, and a stereoscopic image can be constructed.
  • FIG. 7A is a diagram illustrating a circuit 301 and a circuit 302 connected to the circuit 240.
  • the product-sum calculation result data output from the circuit 240 is sequentially input to the circuit 301.
  • the circuit 301 may have various arithmetic functions. Alternatively, the function of the circuit 301 may be replaced by software processing.
  • the circuit 301 can have a circuit that performs an operation of an activation function.
  • a comparator circuit can be used for the circuit.
  • the comparator circuit outputs the result of comparing the input data with the set threshold value as binary data. That is, the pixel block 200 and the circuit 301 can act as a part of the neural network.
  • the circuit 301 may have an A / D converter.
  • the circuit 301 can convert the analog data into digital data.
  • the circuit 10a and the circuit 10b shown in FIG. 4A can be electrically connected to the circuit 301 via the wiring OUT.
  • the data output by the pixel block 200 corresponds to the image data of a plurality of bits, but if it can be binarized by the circuit 301, it can be said that the image data is compressed.
  • the data output from the circuit 301 is sequentially input to the circuit 302.
  • the circuit 302 can be configured to include, for example, a latch circuit and a shift register. With this configuration, parallel serial conversion can be performed, and the data input in parallel can be output to the wiring 311 as serial data.
  • the connection destination of the wiring 311 is not limited. For example, it can be connected to a neural network, a storage device, a communication device, or the like.
  • the circuit 302 may have a neural network.
  • the neural network has memory cells arranged in a matrix, and each memory cell holds a weighting coefficient.
  • the data output from the circuit 301 is input to each of the memory cells 320, and the product-sum operation can be performed.
  • the number of memory cells shown in FIG. 7B is an example and is not limited.
  • the neural network shown in FIG. 7B has memory cells 320 and reference memory cells 325 installed in a matrix, a circuit 330, a circuit 350, a circuit 360, and a circuit 370.
  • FIG. 8 shows an example of the memory cell 320 and the reference memory cell 325.
  • Reference memory cells 325 are provided in an arbitrary row.
  • the memory cell 320 and the reference memory cell 325 have a similar configuration and include a transistor 161 and a transistor 162 and a capacitor 163.
  • One of the source or drain of transistor 161 is electrically connected to the gate of transistor 162.
  • the gate of transistor 162 is electrically connected to one electrode of capacitor 163.
  • a node NM is a point where one of the source and drain of the transistor 161, the gate of the transistor 162, and one electrode of the capacitor 163 are connected.
  • the gate of the transistor 161 is electrically connected to the wiring WL.
  • the other electrode of the capacitor 163 is electrically connected to the wiring RW.
  • One of the source and drain of the transistor 162 is electrically connected to a reference potential wiring such as a GND wiring.
  • the other of the source or drain of the transistor 161 is electrically connected to the wiring WD.
  • the other of the source or drain of the transistor 162 is electrically connected to the wiring BL.
  • the other of the source or drain of the transistor 161 is electrically connected to the wiring WDref.
  • the other of the source or drain of the transistor 162 is electrically connected to the wiring BLref.
  • the wiring WL is electrically connected to the circuit 330.
  • a decoder, a shift register, or the like can be used for the circuit 330.
  • the wiring RW is electrically connected to the circuit 301.
  • Binary data output from the circuit 301 is written to each memory cell.
  • a sequential circuit such as a shift register may be provided between the circuit 301 and each memory cell.
  • the wiring WD and the wiring WDref are electrically connected to the circuit 350.
  • a decoder, a shift register, or the like can be used for the circuit 350.
  • the circuit 350 may have a D / A converter and an SRAM.
  • the circuit 350 can output the weighting factor written to the node NM.
  • the wiring BL and the wiring BLref are electrically connected to the circuit 360.
  • the circuit 360 can have the same configuration as the circuit 240.
  • the circuit 360 can obtain a signal obtained by removing the offset component from the product-sum calculation result.
  • the circuit 360 is electrically connected to the circuit 370.
  • the circuit 370 can also be rephrased as an activation function circuit.
  • the activation function circuit has a function of performing an operation for converting a signal input from the circuit 360 according to a predefined activation function.
  • As the activation function for example, a sigmoid function, a tanh function, a softmax function, a ReLU function, a threshold function, and the like can be used.
  • the signal converted by the activation function circuit is output to the outside as output data.
  • the neural network NN can be composed of an input layer IL, an output layer OL, and an intermediate layer (hidden layer) HL.
  • the input layer IL, the output layer OL, and the intermediate layer HL each have one or more neurons (units).
  • the intermediate layer HL may be one layer or two or more layers.
  • a neural network having two or more intermediate layers HL can also be called a DNN (deep neural network). Learning using a deep neural network can also be called deep learning.
  • Input data is input to each neuron in the input layer IL.
  • the output signals of the neurons in the anterior layer or the posterior layer are input to each neuron in the middle layer HL.
  • the output signals of the neurons in the presheaf layer are input to each neuron in the output layer OL.
  • Each neuron may be connected to all neurons in the anterior and posterior layers (fully connected), or may be connected to some neurons.
  • FIG. 9B shows an example of calculation by neurons.
  • two neurons in the presheaf layer that output a signal to the neuron N and the neuron N are shown.
  • the output x 1 of the presheaf neuron and the output x 2 of the presheaf neuron are input to the neuron N.
  • the sum of the multiplication result of the output x 1 and the weight w 1 (x 1 w 1 ) and the multiplication result of the output x 2 and the weight w 2 (x 2 w 2 ) is x 1 w 1 + x 2 w 2.
  • the operation by the neuron includes the operation of adding the product of the output of the neuron in the previous layer and the weight, that is, the product-sum operation (x 1 w 1 + x 2 w 2 above ).
  • This product-sum operation may be performed by software using a program or by hardware.
  • the product-sum calculation is performed using an analog circuit as hardware.
  • an analog circuit is used for the product-sum calculation circuit, the processing speed can be improved and the power consumption can be reduced by reducing the circuit scale of the product-sum calculation circuit or reducing the number of times the memory is accessed.
  • the product-sum calculation circuit preferably has an OS transistor. Since the OS transistor has an extremely small off current, it is suitable as a transistor constituting an analog memory of a product-sum calculation circuit.
  • the product-sum calculation circuit may be configured by using both the Si transistor and the OS transistor.
  • FIG. 10A is a diagram showing an example of the pixel structure of the image pickup apparatus, and can be a laminated structure of layers 561 and 563.
  • Layer 561 has a photoelectric conversion device 101.
  • the photoelectric conversion device 101 can have a layer 565a and a layer 565b as shown in FIG. 11A. In some cases, the layer may be referred to as an area.
  • the photoelectric conversion device 101 shown in FIG. 11A is a pn junction type photodiode.
  • a p-type semiconductor can be used for the layer 565a and an n-type semiconductor can be used for the layer 565b.
  • an n-type semiconductor may be used for the layer 565a and a p-type semiconductor may be used for the layer 565b.
  • the pn junction type photodiode can be typically formed by using single crystal silicon.
  • a photodiode having a single crystal silicon as a photoelectric conversion layer has a relatively wide spectral sensitivity characteristic from ultraviolet light to near infrared light, and can detect light of various wavelengths by combining with an optical conversion layer described later. Can be done.
  • a compound semiconductor may be used as the photoelectric conversion layer of the pn junction type photodiode.
  • the compound semiconductor include gallium-arsenide-phosphorus compound (GaAsP), gallium-phosphorus compound (GaP), indium-gallium-arsenide compound (InGaAs), lead-sulfur compound (PbS), and lead-selenium compound (PbSe). ), Indium-arsenide compound (InAs), indium-antimonide compound (InSb), mercury-cadmium-tellulu compound (HgCdTe) and the like can be used.
  • the compound semiconductor includes a compound semiconductor having Group 13 elements (aluminum, gallium, indium, etc.) and Group 15 elements (nitrogen, phosphorus, arsenic, antimony, etc.) (also referred to as Group 3-5 compound semiconductor), or Group 12 elements. It is preferably a compound semiconductor (also referred to as a Group 2-6 compound semiconductor) having (magnesium, zinc, cadmium, mercury, etc.) and Group 16 elements (oxygen, sulfur, selenium, tellurium, etc.).
  • the band gap of a compound semiconductor can be changed according to the combination of constituent elements and the atomic number ratio thereof, a photodiode having sensitivity in various wavelength ranges from ultraviolet light to infrared light can be formed.
  • the wavelength of ultraviolet light is around 0.01 ⁇ m to 0.38 ⁇ m
  • the wavelength of visible light is around 0.38 ⁇ m to 0.75 ⁇ m
  • the wavelength of near infrared light is around 0.75 ⁇ m to 2.5 ⁇ m.
  • the wavelength of mid-infrared light can be generally defined as around 2.5 ⁇ m to 4 ⁇ m
  • the wavelength of far-infrared light can be generally defined as near 4 ⁇ m to around 1000 ⁇ m.
  • GaP gallium phosphide
  • the photoelectric conversion layer in order to form a photodiode having light sensitivity from ultraviolet light to visible light, GaP or the like can be used for the photoelectric conversion layer.
  • the above-mentioned silicon or GaAsP can be used for the photoelectric conversion layer.
  • InGaAs or the like in order to form a photodiode having light sensitivity from visible light to mid-infrared light.
  • PbS, InAs, or the like can be used for the photoelectric conversion layer.
  • PbSe, InSb, HgCdTe or the like can be used for the photoelectric conversion layer.
  • the photodiode using the compound semiconductor may be a pin junction as well as a pn junction. Further, the pn junction and the pin junction are not limited to the homozygous structure, and may be a heterojunction structure.
  • a first compound semiconductor can be used for one layer of the pn junction structure, and a second compound semiconductor different from the first compound semiconductor can be used for the other layer.
  • a first compound semiconductor can be used for any one or two layers of the pin junction structure, and a second compound semiconductor different from the first compound semiconductor can be used for the other layers.
  • One of the first compound semiconductor and the second compound semiconductor may be a single semiconductor such as silicon.
  • the photoelectric conversion layer of the photodiode may be formed by using a different material for each pixel. Pixels that detect ultraviolet light by using this configuration. It is possible to form an image pickup apparatus having any two types of pixels, such as a pixel that detects visible light and a pixel that detects infrared light, or three types of pixels.
  • the photoelectric conversion device 101 included in the layer 561 may be a laminate of the layer 566a, the layer 566b, the layer 566c, and the layer 566d.
  • the photoelectric conversion device 101 shown in FIG. 11B is an example of an avalanche photodiode, in which layers 566a and 566d correspond to electrodes, and layers 566b and 566c correspond to photoelectric conversion units.
  • the layer 566a is preferably a low resistance metal layer or the like.
  • a low resistance metal layer or the like aluminum, titanium, tungsten, tantalum, silver or a laminate thereof can be used.
  • the layer 566d it is preferable to use a conductive layer having high translucency with respect to visible light.
  • a conductive layer having high translucency with respect to visible light For example, indium oxide, tin oxide, zinc oxide, indium-tin oxide, gallium-zinc oxide, indium-gallium-zinc oxide, graphene and the like can be used.
  • the layer 566d may be omitted.
  • the layers 566b and 566c of the photoelectric conversion unit can be configured as a pn junction type photodiode using, for example, a selenium-based material as a photoelectric conversion layer. It is preferable that a selenium-based material, which is a p-type semiconductor, is used as the layer 566b, and gallium oxide, which is an n-type semiconductor, is used as the layer 566c.
  • a photoelectric conversion device using a selenium-based material has a characteristic of high external quantum efficiency with respect to visible light.
  • the amplification of electrons with respect to the amount of incident light can be increased by utilizing the avalanche multiplication.
  • the selenium-based material has a high light absorption coefficient, it has a production advantage such that the photoelectric conversion layer can be formed of a thin film.
  • a thin film of a selenium-based material can be formed by a vacuum vapor deposition method, a sputtering method, or the like.
  • selenium-based material crystalline selenium (single crystal selenium, polycrystalline selenium) and amorphous selenium can be used. These have photosensitivity from ultraviolet light to visible light. Further, a compound of copper, indium and selenium (CIS), a compound of copper, indium, gallium and selenium (CIGS) and the like can be used. These have photosensitivity from ultraviolet light to near infrared light.
  • CIS copper, indium and selenium
  • CGS indium, gallium and selenium
  • the n-type semiconductor is preferably formed of a material having a wide bandgap and translucency with respect to visible light.
  • a material having a wide bandgap and translucency with respect to visible light For example, zinc oxide, gallium oxide, indium oxide, tin oxide, or an oxide in which they are mixed can be used.
  • these materials also have a function as a hole injection blocking layer, and can reduce the dark current.
  • the photoelectric conversion device 101 included in the layer 561 may be a laminate of the layer 567a, the layer 567b, the layer 567c, the layer 567d, and the layer 567e.
  • the photoelectric conversion device 101 shown in FIG. 11C is an example of an organic photoconductive film, layer 567a is a lower electrode, layer 567e is a translucent upper electrode, and layers 567b, 567c, and 567d correspond to a photoelectric conversion unit. ..
  • One of the layers 567b and 567d of the photoelectric conversion unit can be a hole transport layer and the other can be an electron transport layer. Further, the layer 567c can be a photoelectric conversion layer.
  • the hole transport layer for example, molybdenum oxide or the like can be used.
  • the electron transport layer for example, fullerenes such as C 60 and C 70 , or derivatives thereof and the like can be used.
  • the photoelectric conversion layer a mixed layer (bulk heterojunction structure) of an n-type organic semiconductor and a p-type organic semiconductor can be used.
  • a mixed layer bulk heterojunction structure
  • organic semiconductors There are various types of organic semiconductors, and a material having photosensitivity at a target wavelength may be selected for the photoelectric conversion layer.
  • a silicon substrate can be used as the layer 563 shown in FIG. 10A.
  • the silicon substrate has a Si transistor and the like.
  • the Si transistor can be used to form a circuit for driving the pixel circuit, an image signal readout circuit, an image processing circuit, a neural network, a communication circuit, and the like.
  • a storage circuit such as a DRAM (Dynamic Random Access Memory), a CPU (Central Processing Unit), an MCU (Micro Controller Unit), or the like may be formed.
  • the above circuit excluding the pixel circuit is referred to as a functional circuit.
  • a part or all of them may be provided on the layer 563. can.
  • the layer 563 may be a stack of a plurality of layers as shown in FIG. 10B.
  • FIG. 10B three layers of layers 563a, 563b, and 563c are illustrated, but two layers may be used.
  • the layer 563 may be a stack of four or more layers. These layers can be laminated by using, for example, a bonding step. With this configuration, the pixel circuit and the functional circuit can be dispersed in a plurality of layers, and the pixel circuit and the functional circuit can be provided in an overlapping manner, so that a compact and highly functional imaging device can be manufactured.
  • the pixel may have a laminated structure of layers 561, 562, and 563.
  • Layer 562 can have an OS transistor.
  • One or more of the above-mentioned functional circuits may be formed of OS transistors.
  • one or more functional circuits may be formed by using the Si transistor included in the layer 563 and the OS transistor included in the layer 562.
  • the layer 563 may be used as a support substrate such as a glass substrate, and the functional circuit may be formed by the OS transistor included in the layer 562.
  • a normally-off CPU (also referred to as "Noff-CPU") can be realized by using an OS transistor and a Si transistor.
  • the Nonf-CPU is an integrated circuit including a normally-off type transistor that is in a non-conducting state (also referred to as an off state) even when the gate voltage is 0V.
  • the Noff-CPU can stop the power supply to the unnecessary circuit in the Noff-CPU and put the circuit in the standby state. No power is consumed in the circuit where the power supply is stopped and the circuit is in the standby state. Therefore, the Nonf-CPU can minimize the amount of power used. Further, the Nonf-CPU can retain information necessary for operation such as setting conditions for a long period of time even if the power supply is stopped. To return from the standby state, it is only necessary to restart the power supply to the circuit, and it is not necessary to rewrite the setting conditions and the like. That is, high-speed recovery from the standby state is possible. In this way, the Nonf-CPU can reduce the power consumption without significantly reducing the operating speed.
  • the layer 562 may be a stack of a plurality of layers as shown in FIG. 10D.
  • FIG. 10D two layers of layers 562a and 563b are illustrated, but three or more layers may be laminated. These layers can be formed so as to be stacked on, for example, layer 563.
  • the layer formed on the layer 563 and the layer formed on the layer 561 may be bonded together.
  • a metal oxide having an energy gap of 2 eV or more, preferably 2.5 eV or more, more preferably 3 eV or more can be used.
  • a typical example is an oxide semiconductor containing indium, and for example, CAAC-OS or CAC-OS, which will be described later, can be used.
  • CAAC-OS is suitable for transistors and the like in which the atoms constituting the crystal are stable and reliability is important. Further, since CAC-OS exhibits high mobility characteristics, it is suitable for a transistor or the like that performs high-speed driving.
  • the OS transistor Since the OS transistor has a large energy gap in the semiconductor layer, it exhibits an extremely low off-current characteristic of several yA / ⁇ m (current value per 1 ⁇ m of channel width). Further, the OS transistor has features different from those of the Si transistor such as impact ionization, avalanche breakdown, and short channel effect, and can form a circuit having high withstand voltage and high reliability. In addition, variations in electrical characteristics due to crystallinity non-uniformity, which is a problem with Si transistors, are unlikely to occur with OS transistors.
  • the semiconductor layer of the OS transistor includes, for example, indium, zinc and M (one or more selected from metals such as indium, titanium, gallium, germanium, yttrium, zirconium, lanthanum, cerium, tin, neodymium or hafnium). It can be a film represented by an In—M—Zn-based oxide containing.
  • the In—M—Zn-based oxide can be typically formed by a sputtering method. Alternatively, it may be formed by using an ALD (Atomic layer deposition) method.
  • the atomic number ratio of the metal element of the sputtering target used for forming the In—M—Zn-based oxide by the sputtering method preferably satisfies In ⁇ M and Zn ⁇ M.
  • the atomic number ratio of the semiconductor layer to be formed includes fluctuations of plus or minus 40% of the atomic number ratio of the metal element contained in the sputtering target.
  • the semiconductor layer an oxide semiconductor having a low carrier density is used.
  • the semiconductor layer has a carrier density of 1 ⁇ 10 17 / cm 3 or less, preferably 1 ⁇ 10 15 / cm 3 or less, more preferably 1 ⁇ 10 13 / cm 3 or less, and more preferably 1 ⁇ 10 11 / cm. 3 or less, more preferably less than 1 ⁇ 10 10 / cm 3, it is possible to use an oxide semiconductor of 1 ⁇ 10 -9 / cm 3 or more carrier density.
  • Such oxide semiconductors are referred to as high-purity intrinsic or substantially high-purity intrinsic oxide semiconductors. It can be said that the oxide semiconductor is an oxide semiconductor having a low defect level density and stable characteristics.
  • a transistor having an appropriate composition may be used according to the required semiconductor characteristics and electrical characteristics (field effect mobility, threshold voltage, etc.) of the transistor. Further, in order to obtain the required semiconductor characteristics of the transistor, it is preferable that the carrier density, impurity concentration, defect density, atomic number ratio of metal element and oxygen, interatomic distance, density and the like of the semiconductor layer are appropriate. ..
  • the concentration of silicon or carbon in the semiconductor layer is set to 2 ⁇ 10 18 atoms / cm 3 or less, preferably 2 ⁇ 10 17 atoms / cm 3 or less.
  • the concentration of alkali metal or alkaline earth metal in the semiconductor layer is 1 ⁇ 10 18 atoms / cm 3 or less, preferably 2 ⁇ 10 16 atoms / cm 3 or less.
  • the nitrogen concentration in the semiconductor layer is preferably 5 ⁇ 10 18 atoms / cm 3 or less.
  • the oxide semiconductor constituting the semiconductor layer when the oxide semiconductor constituting the semiconductor layer contains hydrogen, it reacts with oxygen bonded to a metal atom to become water, which may form an oxygen deficiency in the oxide semiconductor. If the channel formation region in the oxide semiconductor contains oxygen deficiency, the transistor may have a normally-on characteristic. In addition, a defect containing hydrogen in an oxygen deficiency may function as a donor and generate electrons as carriers. In addition, a part of hydrogen may be combined with oxygen that is bonded to a metal atom to generate an electron as a carrier. Therefore, a transistor using an oxide semiconductor containing a large amount of hydrogen tends to have a normally-on characteristic.
  • Defects containing hydrogen in oxygen deficiencies can function as donors for oxide semiconductors. However, it is difficult to quantitatively evaluate the defect. Therefore, in oxide semiconductors, the carrier concentration may be evaluated instead of the donor concentration. Therefore, in the present specification and the like, as the parameter of the oxide semiconductor, the carrier concentration assuming a state in which an electric field is not applied may be used instead of the donor concentration. That is, the "carrier concentration" described in the present specification and the like may be paraphrased as the "donor concentration".
  • the hydrogen concentration obtained by secondary ion mass spectrometry is less than 1 ⁇ 10 20 atoms / cm 3 , preferably 1 ⁇ 10 19 atoms / cm. It is less than 3, more preferably less than 5 ⁇ 10 18 atoms / cm 3 , and even more preferably less than 1 ⁇ 10 18 atoms / cm 3 .
  • the semiconductor layer may have a non-single crystal structure, for example.
  • the non-single crystal structure includes, for example, a CAAC-OS (C-Axis Aligned Crystalline Oxide Semiconductor) having crystals oriented on the c-axis, a polycrystalline structure, a microcrystal structure, or an amorphous structure.
  • CAAC-OS C-Axis Aligned Crystalline Oxide Semiconductor
  • the amorphous structure has the highest defect level density
  • CAAC-OS has the lowest defect level density.
  • An oxide semiconductor film having an amorphous structure has, for example, a disordered atomic arrangement and no crystal component.
  • the oxide film having an amorphous structure has, for example, a completely amorphous structure and has no crystal portion.
  • the semiconductor layer is a mixed film having two or more of an amorphous structure region, a microcrystal structure region, a polycrystalline structure region, a CAAC-OS region, and a single crystal structure region. good.
  • the mixed film may have, for example, a single-layer structure or a laminated structure including any two or more of the above-mentioned regions.
  • CAC Cloud-Aligned Composite
  • the CAC-OS is, for example, a composition of a material in which the elements constituting the oxide semiconductor are unevenly distributed in a size of 0.5 nm or more and 10 nm or less, preferably 1 nm or more and 2 nm or less, or a size close thereto.
  • the oxide semiconductor one or more metal elements are unevenly distributed, and the region having the metal elements is 0.5 nm or more and 10 nm or less, preferably 1 nm or more and 2 nm or less, or a size in the vicinity thereof.
  • the state of being mixed with is also called a mosaic shape or a patch shape.
  • the oxide semiconductor preferably contains at least indium. In particular, it preferably contains indium and zinc. Also, in addition to them, aluminum, gallium, yttrium, copper, vanadium, beryllium, boron, silicon, titanium, iron, nickel, germanium, zirconium, molybdenum, lanthanum, cerium, neodymium, hafnium, tantalum, tungsten, or magnesium, etc. One or more selected from the above may be included.
  • CAC-OS in In-Ga-Zn oxide is indium oxide (hereinafter, InO).
  • InO indium oxide
  • X1 is a real number greater than 0
  • In X2 Zn Y2 O Z2 X2, Y2, and Z2 are real numbers greater than 0
  • GaO X3 (X3 is a real number larger than 0)
  • gallium zinc oxide hereinafter, Ga X4 Zn Y4 O Z4 (X4, Y4, and Z4 are real numbers larger than 0)
  • the material is separated into a mosaic-like structure, and the mosaic-like InO X1 or In X2 Zn Y2 O Z2 is uniformly distributed in the film (hereinafter, also referred to as cloud-like).
  • CAC-OS is a composite oxide semiconductor having a structure in which a region containing GaO X3 as a main component and a region containing In X2 Zn Y2 O Z2 or InO X1 as a main component are mixed.
  • the atomic number ratio of In to the element M in the first region is larger than the atomic number ratio of In to the element M in the second region. It is assumed that the concentration of In is higher than that of region 2.
  • IGZO is a common name, and may refer to one compound consisting of In, Ga, Zn, and O. As a typical example, it is represented by InGaO 3 (ZnO) m1 (m1 is a natural number) or In (1 + x0) Ga (1-x0) O 3 (ZnO) m0 (-1 ⁇ x0 ⁇ 1, m0 is an arbitrary number). Crystalline compounds can be mentioned.
  • the crystalline compound has a single crystal structure, a polycrystalline structure, or a CAAC structure.
  • the CAAC structure is a crystal structure in which a plurality of IGZO nanocrystals have a c-axis orientation and are connected without being oriented on the ab plane.
  • CAC-OS relates to the material composition of oxide semiconductors.
  • CAC-OS is a region that is partially observed as nanoparticles containing Ga as a main component and nanoparticles containing In as a main component in a material composition containing In, Ga, Zn, and O. The regions observed in the shape are randomly dispersed in a mosaic pattern. Therefore, in CAC-OS, the crystal structure is a secondary element.
  • the CAC-OS does not include a laminated structure of two or more types of films having different compositions. For example, it does not include a structure consisting of two layers, a film containing In as a main component and a film containing Ga as a main component.
  • CAC-OS has a region observed in the form of nanoparticles containing the metal element as a main component and a nano having In as a main component in a part.
  • the regions observed in the form of particles refer to a configuration in which the regions are randomly dispersed in a mosaic pattern.
  • the CAC-OS can be formed by a sputtering method, for example, under the condition that the substrate is not intentionally heated.
  • a sputtering method one or more selected from an inert gas (typically argon), an oxygen gas, and a nitrogen gas may be used as the film forming gas. good.
  • the lower the flow rate ratio of the oxygen gas to the total flow rate of the film-forming gas at the time of film formation is preferable.
  • the flow rate ratio of the oxygen gas is preferably 0% or more and less than 30%, preferably 0% or more and 10% or less. ..
  • CAC-OS is characterized by the fact that no clear peak is observed when measured using the ⁇ / 2 ⁇ scan by the Out-of-plane method, which is one of the X-ray diffraction (XRD) measurement methods. Have. That is, from the X-ray diffraction measurement, it can be seen that the orientation of the measurement region in the ab plane direction and the c-axis direction is not observed.
  • XRD X-ray diffraction
  • CAC-OS has a ring-shaped region with high brightness (ring region) and the ring in an electron diffraction pattern obtained by irradiating an electron beam having a probe diameter of 1 nm (also referred to as a nanobeam electron beam). Multiple bright spots are observed in the area. Therefore, from the electron diffraction pattern, it can be seen that the crystal structure of CAC-OS has an nc (nano-crystal) structure having no orientation in the planar direction and the cross-sectional direction.
  • GaO X3 is the main component by EDX mapping acquired by using energy dispersive X-ray spectroscopy (EDX). It can be confirmed that the region and the region containing In X2 Zn Y2 O Z2 or InO X1 as the main component have a structure in which they are unevenly distributed and mixed.
  • EDX energy dispersive X-ray spectroscopy
  • CAC-OS has a structure different from that of the IGZO compound in which metal elements are uniformly distributed, and has properties different from those of the IGZO compound. That is, the CAC-OS is a region in which GaO X3 or the like is the main component and a region in which In X2 Zn Y2 O Z2 or InO X1 is the main component are phase-separated from each other and each element is the main component. Has a mosaic-like structure.
  • the region in which In X2 Zn Y2 O Z2 or InO X1 is the main component is a region having higher conductivity than the region in which GaO X3 or the like is the main component. That is, when the carrier flows through the region where In X2 Zn Y2 O Z2 or InO X1 is the main component, the conductivity as an oxide semiconductor is exhibited. Therefore, a high field effect mobility ( ⁇ ) can be realized by distributing the region containing In X2 Zn Y2 O Z2 or InO X1 as the main component in the oxide semiconductor in a cloud shape.
  • the region in which GaO X3 or the like is the main component is a region having higher insulating property than the region in which In X2 Zn Y2 O Z2 or InO X1 is the main component. That is, since the region containing GaO X3 or the like as the main component is distributed in the oxide semiconductor, the leakage current can be suppressed and a good switching operation can be realized.
  • CAC-OS when CAC-OS is used for a semiconductor element, the insulation property caused by GaO X3 and the like and the conductivity caused by In X2 Zn Y2 O Z2 or InO X1 act complementarily to be high. On current (I on ) and high field effect mobility ( ⁇ ) can be achieved.
  • CAC-OS is suitable as a constituent material for various semiconductor devices.
  • ⁇ Laminate structure 1> Next, the laminated structure of the image pickup apparatus will be described with reference to a cross-sectional view.
  • the elements such as the insulating layer and the conductive layer shown below are examples, and other elements may be included. Alternatively, some of the elements shown below may be omitted.
  • the laminated structure shown below can be formed by using a bonding step, a polishing step, or the like, if necessary.
  • FIG. 12 is an example of a cross-sectional view of a laminated body having layers 560, 561 and 563 and having a bonding surface between the layers 563a and 563b constituting the layer 563.
  • the layer 563b can have a functional circuit provided on the silicon substrate 611.
  • the transistor 105, the transistor 108, and the transistor 131 included in the circuit 20 are shown as a part of the functional circuit.
  • the layer 563b is provided with a silicon substrate 611 and insulating layers 612, 613, 614, 616, 617, and 618.
  • the insulating layer 612 has a function as a protective film.
  • the insulating layers 613, 613, 616, and 617 have functions as an interlayer insulating film and a flattening film.
  • the insulating layer 618 and the conductive layer 619 have a function as a bonding layer.
  • the conductive layer 619 is electrically connected to the gate of the transistor 105.
  • a silicon nitride film, a silicon oxide film, an aluminum oxide film, or the like can be used as the protective film.
  • an inorganic insulating film such as a silicon oxide film or an organic insulating film such as an acrylic resin or a polyimide resin can be used.
  • a silicon nitride film, a silicon oxide film, an aluminum oxide film, or the like can be used as the dielectric layer of the capacitor. The bonding layer will be described later.
  • Conductors that can be used as wiring, electrodes, and plugs for electrical connections between devices include aluminum, chromium, copper, silver, gold, platinum, tantalum, nickel, titanium, molybdenum, tungsten, and hafnium. , Vanadium, niobium, manganese, magnesium, zirconium, beryllium, indium, ruthenium, iridium, strontium, lanthanum, etc. Etc. may be appropriately selected and used.
  • the conductor is not limited to a single layer, and may be a plurality of layers made of different materials.
  • Layer 563a has elements of pixel 100. Further, it may have an element of a functional circuit. Here, the transistor 102 is shown as a part of the elements of the pixel 100. Further, as an element of the functional circuit, the transistor 104 included in the circuit 20 is shown.
  • the layer 563a is provided with a silicon substrate 632 and insulating layers 631, 633, 634, 635, 637, 638. Further, conductive layers 636 and 639 are provided.
  • the insulating layer 631 and the conductive layer 639 have a function as a bonding layer.
  • the insulating layers 634, 635, and 637 have a function as an interlayer insulating film and a flattening film.
  • the insulating layer 633 has a function as a protective film.
  • the insulating layer 638 has a function of insulating the silicon substrate 632 and the conductive layer 639.
  • the insulating layer 638 can be formed of the same material as other insulating layers. Further, the insulating layer 638 may be made of the same material as the insulating layer 631.
  • the conductive layer 639 is electrically connected to the other of the source or drain of the transistor 105 and to the conductive layer 619. Further, the conductive layer 636 is electrically connected to the wiring 114 (see FIG. 3).
  • the Si transistor shown in FIG. 12 is a fin type having a channel forming region on a silicon substrate (silicon substrates 611, 632). A cross section in the channel width direction (cross section of A1-A2 shown in layer 563a of FIG. 12) is shown in FIG. 13A.
  • the Si transistor may be a planar type as shown in FIG. 13B.
  • the transistor may have a semiconductor layer 545 of a silicon thin film.
  • the semiconductor layer 545 can be, for example, single crystal silicon (SOI (Silicon on Insulator)) formed on the insulating layer 546 on the silicon substrate 611.
  • SOI Silicon on Insulator
  • Layer 561 has a photoelectric conversion device 101.
  • the photoelectric conversion device 101 can be formed on the layer 563a.
  • FIG. 12 shows a configuration in which the organic photoconductive film shown in FIG. 11C is used for the photoelectric conversion layer as the photoelectric conversion device 101.
  • the layer 567a is used as a cathode and the layer 567e is used as an anode.
  • the layer 561 is provided with insulating layers 651, 652, 653, 654, and a conductive layer 655.
  • the insulating layers 651, 653, and 654 have a function as an interlayer insulating film and a flattening film. Further, the insulating layer 654 is provided so as to cover the end portion of the photoelectric conversion device 101, and has a function of preventing a short circuit between the layer 567e and the layer 567a.
  • the insulating layer 652 has a function as an element separation layer. It is preferable to use an organic insulating film or the like as the element separation layer.
  • the layer 567a corresponding to the cathode of the photoelectric conversion device 101 is electrically connected to one of the source and drain of the transistor 102 included in the layer 563a.
  • the layer 567e corresponding to the anode of the photoelectric conversion device 101 is electrically connected to the conductive layer 636 of the layer 563a via the conductive layer 655.
  • Layer 560 is formed on layer 561.
  • Layer 560 includes a light-shielding layer 671, an optical conversion layer 672, and a microlens array 673.
  • the light-shielding layer 671 can suppress the inflow of light to adjacent pixels.
  • a metal layer such as aluminum or tungsten can be used for the light-shielding layer 671. Further, the metal layer and a dielectric film having a function as an antireflection film may be laminated.
  • a color filter can be used for the optical conversion layer 672.
  • a color image can be obtained by assigning colors such as (red), G (green), B (blue), Y (yellow), C (cyan), and M (magenta) to the color filter for each pixel.
  • colors such as (red), G (green), B (blue), Y (yellow), C (cyan), and M (magenta) to the color filter for each pixel.
  • the color filter 672R (red), the color filter 672G (green), and the color filter 672B (blue) can be assigned to different pixels.
  • an image pickup device capable of obtaining images in various wavelength regions can be obtained.
  • the infrared imaging apparatus can be obtained.
  • the optical conversion layer 672 uses a filter that blocks light having a wavelength of near infrared rays or less, a far infrared ray imaging device can be obtained.
  • the optical conversion layer 672 uses an ultraviolet filter that blocks light having a wavelength equal to or higher than that of visible light, the optical conversion layer 672 can be used as an ultraviolet imaging device.
  • a plurality of different optical conversion layers may be arranged in one image pickup apparatus.
  • the color filter 672R red
  • the color filter 672G green
  • the color filter 672B blue
  • the infrared filter 672IR can be assigned to different pixels. In this configuration, a visible light image and an infrared light image can be acquired at the same time.
  • the color filter 672R red
  • the color filter 672G green
  • the color filter 672B blue
  • the ultraviolet filter 672UV can be assigned to different pixels.
  • a visible light image and an ultraviolet light image can be acquired at the same time.
  • the image pickup device can obtain an image that visualizes the intensity of radiation used in an X-ray image pickup device or the like.
  • radiation such as X-rays transmitted through a subject
  • a scintillator it is converted into light (fluorescence) such as visible light or ultraviolet light by a photoluminescence phenomenon.
  • the image data is acquired by detecting the light with the photoelectric conversion device 101.
  • an imaging device having the above configuration may be used as a radiation detector or the like.
  • Scintillators include substances that, when irradiated with radiation such as X-rays or gamma rays, absorb the energy and emit visible or ultraviolet light.
  • radiation such as X-rays or gamma rays
  • Gd 2 O 2 S Tb
  • Gd 2 O 2 S Pr
  • Gd 2 O 2 S Eu
  • BaFCl Eu
  • NaI, CsI, CaF 2 , BaF 2 , CeF 3 LiF, LiI, ZnO, etc.
  • Those dispersed in resin or ceramics can be used.
  • an inspection function, a security function, a sensor function, and the like can be added to the imaging device.
  • an inspection function, a security function, a sensor function, and the like can be added to the imaging device.
  • an inspection function, a security function, a sensor function, and the like can be added to the imaging device.
  • non-destructive inspection of products selection of agricultural products (sugar content meter function, etc.), vein authentication, medical inspection, etc.
  • vein authentication e.g., vein authentication, medical inspection, etc.
  • ultraviolet light it is possible to detect ultraviolet light emitted from a light source or a flame, and it is possible to manage a light source, a heat source, a production apparatus, and the like.
  • a microlens array 673 is provided on the optical conversion layer 672. Light passing through the individual lenses of the microlens array 673 passes through the optical conversion layer 672 directly below and irradiates the photoelectric conversion device 101. By providing the microlens array 673, the focused light can be incident on the photoelectric conversion device 101, so that photoelectric conversion can be performed efficiently.
  • the microlens array 673 is preferably formed of a resin or glass having high translucency with respect to light of a target wavelength.
  • the layer 563b is provided with an insulating layer 618 and a conductive layer 619.
  • the conductive layer 619 has a region embedded in the insulating layer 618. Further, the surfaces of the insulating layer 618 and the conductive layer 619 are flattened so that their heights match.
  • the layer 563a is provided with an insulating layer 631 and a conductive layer 639.
  • the conductive layer 639 has a region embedded in the insulating layer 631. Further, the surfaces of the insulating layer 631 and the conductive layer 639 are flattened so that their heights match.
  • the conductive layer 619 and the conductive layer 639 are metal elements having the same main components. Further, it is preferable that the insulating layer 618 and the insulating layer 631 are composed of the same components.
  • Cu, Al, Sn, Zn, W, Ag, Pt, Au, or the like can be used for the conductive layers 619 and 639.
  • Cu, Al, W, or Au is preferably used because of the ease of joining.
  • silicon oxide, silicon oxide nitride, silicon nitride oxide, silicon nitride, titanium nitride and the like can be used for the insulating layers 618 and 631.
  • the conductive layer 619 and the conductive layer 639 may have a multi-layer structure of a plurality of layers, and in that case, the surface layer (bonding surface) may be the same metal material. Further, the insulating layer 618 and the insulating layer 631 may also have a multi-layer structure of a plurality of layers, in which case, the insulating materials having the same surface layer (bonding surface) may be used.
  • a surface-activated bonding method can be used in which the oxide film on the surface and the adsorption layer of impurities are removed by sputtering or the like, and the cleaned and activated surfaces are brought into contact with each other for bonding. ..
  • a diffusion bonding method or the like in which surfaces are bonded to each other by using both temperature and pressure can be used. Since bonds occur at the atomic level in both cases, excellent bonding can be obtained not only electrically but also mechanically.
  • the surfaces treated with hydrophilicity by oxygen plasma or the like are brought into contact with each other for temporary bonding, and then main bonding is performed by dehydration by heat treatment.
  • a joining method or the like can be used. Since the hydrophilic bonding method also causes bonding at the atomic level, it is possible to obtain mechanically excellent bonding.
  • a method can be used in which the surface is cleaned after polishing, the surface of the metal layer is subjected to an antioxidant treatment, and then a hydrophilic treatment is performed to join the metal layer.
  • the surface of the metal layer may be made of a refractory metal such as Au and subjected to hydrophilic treatment.
  • a joining method other than the above-mentioned method may be used.
  • the circuit of the layer 563b and the element of the pixel 100 of the layer 563a can be electrically connected.
  • FIG. 14 is a modification of the laminated structure shown in FIG. 12, in which the configuration of the photoelectric conversion device 101 included in the layer 561 and the partial configuration of the layer 563a are different, and the bonded surface is also formed between the layer 561 and the layer 563a. It is a configuration having.
  • the layer 561 has a photoelectric conversion device 101, insulating layers 661, 662, 664, 665 and conductive layers 685, 686.
  • the photoelectric conversion device 101 is a pn junction type photodiode, and has a layer 565b corresponding to a p-type region and a layer 565a corresponding to an n-type region.
  • a pn junction type photodiode is formed on a silicon substrate.
  • the photoelectric conversion device 101 is an embedded photodiode, and a thin p-type region (a part of the layer 565b) provided on the surface side (current extraction side) of the layer 565a can suppress dark current and reduce noise. can.
  • the insulating layer 661 and the conductive layers 685 and 686 have a function as a bonding layer.
  • the insulating layer 662 has a function as an interlayer insulating film and a flattening film.
  • the insulating layer 664 has a function as an element separation layer.
  • the silicon substrate is provided with a groove for separating pixels, and the insulating layer 665 is provided on the upper surface of the silicon substrate and the groove.
  • the insulating layer 665 By providing the insulating layer 665, it is possible to prevent the carriers generated in the photoelectric conversion device 101 from flowing out to the adjacent pixels.
  • the insulating layer 665 also has a function of suppressing the intrusion of stray light. Therefore, the insulating layer 665 can suppress color mixing.
  • An antireflection film may be provided between the upper surface of the silicon substrate and the insulating layer 665.
  • the insulating layer 664 can be formed by using the LOCOS (LOCOxidation of Silicon) method. Alternatively, it may be formed by using an STI (Shallow Trench Isolation) method or the like.
  • LOCOS LOCxidation of Silicon
  • STI Shallow Trench Isolation
  • an inorganic insulating film such as silicon oxide or silicon nitride, or an organic insulating film such as a polyimide resin or an acrylic resin can be used.
  • the insulating layer 665 may have a multi-layer structure. Further, a space may be provided in a part of the insulating layer 665. The space may have a gas such as air or an inert gas. Further, the space may be in a decompressed state.
  • the layer 565a (n-type region, corresponding to the cathode) of the photoelectric conversion device 101 is electrically connected to the conductive layer 685.
  • the layer 565b (p-type region, corresponding to the anode) is electrically connected to the conductive layer 686.
  • the conductive layers 685 and 686 have a region embedded in the insulating layer 661. Further, the surfaces of the insulating layer 661 and the conductive layers 685 and 686 are flattened so that their heights match.
  • an insulating layer 638 is formed on the insulating layer 637. Further, a conductive layer 683 that is electrically connected to one of the source and drain of the transistor 102 and a conductive layer 684 that is electrically connected to the conductive layer 636 are formed.
  • the insulating layer 638 and the conductive layers 683 and 684 have a function as a bonding layer.
  • the conductive layers 683 and 684 have a region embedded in the insulating layer 638. Further, the surfaces of the insulating layer 638 and the conductive layers 683 and 684 are flattened so that their heights match.
  • the conductive layers 683, 684, 685, and 686 are the same bonded layers as the conductive layers 619 and 639 described above. Further, the insulating layers 638 and 661 are the same bonded layers as the above-mentioned insulating layers 618 and 631.
  • the conductive layer 683 and the conductive layer 685 one of the source or drain of the transistor 102 can be electrically connected to the layer 565a (n-type region, corresponding to the cathode) of the photoelectric conversion device 101. Further, by laminating the conductive layer 684 and the conductive layer 686, the layer 565b (p-type region, corresponding to the anode) of the photoelectric conversion device 101 and the wiring 114 (see FIG. 3) can be electrically connected. Further, by laminating the insulating layer 638 and the insulating layer 661, the layer 561 and the layer 563a can be electrically and mechanically bonded.
  • FIG. 15 is a modification different from the above, and the transistor 102 is provided on the layer 561.
  • one of the source or drain of the transistor 102 is directly connected to the photoelectric conversion device 101, and the other of the source or drain acts as a node FD.
  • the charge accumulated by the photoelectric conversion device 101 can be completely transferred, and an image pickup device with less noise can be obtained.
  • the other of the source or drain of the transistor 102 included in the layer 561 is electrically connected to the conductive layer 692.
  • one of the source and drain of the transistor 104 included in the layer 563 is electrically connected to the conductive layer 691.
  • the conductive layers 691 and 692 are the same bonded layers as the conductive layers 619 and 639 described above.
  • FIG. 16 is an example of a cross-sectional view of a laminated body having layers 560, 561, 562, and 563 and having no bonding surface.
  • a Si transistor is provided on the layer 563.
  • An OS transistor is provided on the layer 562. Since the configurations of the layers 563, 561 and 560 are the same as those shown in FIG. 12, the description thereof will be omitted here.
  • Layer 562 is formed on layer 563.
  • Layer 562 has an OS transistor.
  • the transistor 102 and the transistor 104 are shown. In the cross-sectional view shown in FIG. 16, the electrical connection between the two is not shown.
  • the layer 562 is provided with insulating layers 621, 622, 623, 624, 625, 626, 628. Further, a conductive layer 627 is provided. The conductive layer 627 can be electrically connected to the wiring 114 (see FIG. 3).
  • the insulating layer 621 has a function as a blocking layer.
  • the insulating layers 622, 623, 625, 626, and 628 have functions as an interlayer insulating film and a flattening film.
  • the insulating layer 624 has a function as a protective film.
  • the blocking layer it is preferable to use a film having a function of preventing the diffusion of hydrogen.
  • hydrogen is required to terminate dangling bonds, but hydrogen in the vicinity of the OS transistor becomes one of the factors that generate carriers in the oxide semiconductor layer, which reduces reliability. .. Therefore, it is preferable to provide a hydrogen blocking film between the layer on which the Si device is formed and the layer on which the OS transistor is formed.
  • the blocking film for example, aluminum oxide, aluminum nitride, gallium oxide, gallium oxide, yttrium oxide, yttrium oxide, hafnium oxide, hafnium oxide, yttria-stabilized zirconia (YSZ) and the like can be used.
  • aluminum oxide, aluminum nitride, gallium oxide, gallium oxide, yttrium oxide, yttrium oxide, hafnium oxide, hafnium oxide, yttria-stabilized zirconia (YSZ) and the like can be used.
  • the other of the source or drain of the transistor 104 is electrically connected to the gate of the transistor 105 via a plug. Further, the conductive layer 627 is electrically connected to the wiring 114 (see FIG. 3A).
  • One of the source and drain of the transistor 102 is electrically connected to the cathode of the photoelectric conversion device 101 included in the layer 561.
  • the conductive layer 627 is electrically connected to the anode of the photoelectric conversion device 101 included in the layer 561.
  • FIG. 17A shows the details of the OS transistor.
  • the OS transistor shown in FIG. 17A is a self-aligned type in which an insulating layer is provided on a laminate of an oxide semiconductor layer and a conductive layer, and an opening reaching the oxide semiconductor layer is provided to form a source electrode 705 and a drain electrode 706. It is the composition of.
  • the OS transistor may have a channel forming region 708, a source region 703, and a drain region 704 formed in the oxide semiconductor layer, as well as a gate electrode 701 and a gate insulating film 702. At least the gate insulating film 702 and the gate electrode 701 are provided in the opening. An oxide semiconductor layer 707 may be further provided in the opening.
  • the OS transistor may have a self-aligned configuration in which the source region 703 and the drain region 704 are formed in the semiconductor layer using the gate electrode 701 as a mask.
  • FIG. 17C it may be a non-self-aligned top gate type transistor having a region where the source electrode 705 or the drain electrode 706 and the gate electrode 701 overlap.
  • the OS transistor shows a structure having a back gate 735, it may have a structure without a back gate.
  • the back gate 735 may be electrically connected to the front gate of the transistor provided opposite to each other as shown in the cross-sectional view of the transistor in the channel width direction shown in FIG. 17D.
  • FIG. 17D shows a cross section of the transistor B1-B2 of FIG. 17A as an example, but the same applies to transistors having other structures.
  • the back gate 735 may be configured to be able to supply a fixed potential different from that of the front gate.
  • FIG. 18 is a modification of the laminated structure shown in FIG. 17, in which the configuration of the photoelectric conversion device 101 included in the layer 561 and the partial configuration of the layer 562 are different, and a bonded surface is formed between the layer 561 and the layer 562. It is a structure to have.
  • the photoelectric conversion device 101 included in the layer 561 is a pn junction type photodiode, and has the same configuration as shown in FIG.
  • an insulating layer 648 is formed on the insulating layer 628. Further, a conductive layer 688 electrically connected to one of the source or drain of the transistor 102 and a conductive layer 689 electrically connected to the conductive layer 627 are formed.
  • the insulating layer 648 and the conductive layers 688 and 689 have a function as a bonding layer.
  • the conductive layers 688 and 689 have a region embedded in the insulating layer 648. Further, the surfaces of the insulating layer 648 and the conductive layers 683 and 684 are flattened so that their heights match.
  • the conductive layers 688 and 689 are the same bonded layers as the above-mentioned conductive layers 619 and 639.
  • the insulating layer 648 is the same bonded layer as the above-mentioned insulating layers 618 and 631.
  • the conductive layer 688 and the conductive layer 685 by laminating the conductive layer 688 and the conductive layer 685, one of the source or drain of the transistor 102 can be electrically connected to the layer 565a (n-type region, corresponding to the cathode) of the photoelectric conversion device. Further, by laminating the conductive layer 689 and the conductive layer 686, the layer 565b (p-type region, corresponding to the anode) of the photoelectric conversion device and the wiring 114 (see FIG. 3) can be electrically connected. Further, by laminating the insulating layer 648 and the insulating layer 661, the layer 561 and the layer 562a can be electrically and mechanically bonded.
  • a configuration in which the transistor 102 is provided on the layer 561 shown in FIG. 15 may be applied to the configuration.
  • FIG. 20A1 is an external perspective view of the upper surface side of the package containing the image sensor chip.
  • the package has a package substrate 410 for fixing the image sensor chip 450 (see FIG. 20A3), a cover glass 420, an adhesive 430 for adhering both, and the like.
  • FIG. 20A2 is an external perspective view of the lower surface side of the package.
  • BGA Ball grid array
  • LGA Land grid array
  • PGA Peripheral array
  • FIG. 20A3 is a perspective view of the package shown by omitting a part of the cover glass 420 and the adhesive 430.
  • An electrode pad 460 is formed on the package substrate 410, and the electrode pad 460 and the bump 440 are electrically connected via a through hole.
  • the electrode pad 460 is electrically connected to the image sensor chip 450 by a wire 470.
  • FIG. 20B1 is an external perspective view of the upper surface side of the camera module in which the image sensor chip is housed in a lens-integrated package.
  • the camera module has an image sensor chip 451 (a package substrate 411 for fixing FIG. 20B3, a lens cover 421, a lens 435, etc.
  • An IC chip 490 having a function such as a signal conversion circuit (FIG. 20B3 is also provided, and has a configuration as a SiP (Sensem in package)).
  • FIG. 20B2 is an external perspective view of the lower surface side of the camera module.
  • the lower surface and the side surface of the package substrate 411 have a QFN (Quad flat no-lead package) configuration in which a land 441 for mounting is provided.
  • the configuration is an example, and QFP (Quad flat package) or the above-mentioned BGA may be provided.
  • FIG. 20B3 is a perspective view of the module shown by omitting a part of the lens cover 421 and the lens 435.
  • the land 441 is electrically connected to the electrode pad 461, and the electrode pad 461 is electrically connected to the image sensor chip 451 or the IC chip 490 by a wire 471.
  • the image sensor chip By housing the image sensor chip in a package having the above-mentioned form, it can be easily mounted on a printed circuit board or the like, and the image sensor chip can be incorporated into various semiconductor devices and electronic devices.
  • Electronic devices that can use the imaging device according to one aspect of the present invention include a display device, a personal computer, an image storage device or image reproduction device provided with a recording medium, a mobile phone, a game machine including a portable type, and a portable data terminal.
  • Electronic book terminals video cameras, cameras such as digital still cameras, goggles type displays (head mount displays), navigation systems, sound reproduction devices (car audio, digital audio players, etc.), copiers, facsimiles, printers, multifunction printers , Automatic cash deposit / payment machine (ATM), vending machine, etc. Specific examples of these electronic devices are shown in FIGS. 21A to 21F.
  • FIG. 21A is an example of a portable information terminal, which includes a housing 981, a display unit 982, an operation button 983, an external connection port 984, a speaker 985, a microphone 986, a camera 987, and the like.
  • the portable information terminal includes a touch sensor on the display unit 982. All operations such as making a phone call or inputting characters can be performed by touching the display unit 982 with a finger or a stylus.
  • An imaging device according to an aspect of the present invention and an operation method thereof can be applied to the portable information terminal.
  • the camera 987 has an imaging device according to an aspect of the present invention, and can acquire distance information of a subject from an image acquired by the camera 987. Based on the distance information, a part of the image acquired by the camera 987 can be processed. For example, image processing that blurs the front and back of the main subject can be performed.
  • FIG. 21B is an information terminal, which includes a housing 911, a display unit 912, a speaker 913, a camera 919, and the like. Information can be input and output by the touch panel function of the display unit 912. In addition, characters and the like can be recognized from the image acquired by the camera 919, and the characters can be output as voice by the speaker 913.
  • An imaging device according to an aspect of the present invention and an operation method thereof can be applied to the portable data terminal.
  • FIG. 21C is a surveillance camera, which has a support base 951, a camera unit 952, a protective cover 953, and the like.
  • the camera unit 952 is provided with a rotation mechanism or the like, and by installing it on the ceiling, it is possible to take an image of the entire surroundings.
  • An image pickup apparatus according to an aspect of the present invention and an operation method thereof can be applied to an element for image acquisition in the camera unit.
  • the surveillance camera is an idiomatic name and does not limit its use.
  • a device having a function as a surveillance camera is also called a camera or a video camera.
  • FIG. 21D is a video camera, which includes a first housing 971, a second housing 972, a display unit 973, an operation key 974, a lens 975, a connection unit 976, a speaker 977, a microphone 978, and the like.
  • the operation key 974 and the lens 975 are provided in the first housing 971, and the display unit 973 is provided in the second housing 972.
  • An imaging device according to one aspect of the present invention and an operation method thereof can be applied to the video camera.
  • FIG. 21E is a digital camera, which includes a housing 961, a shutter button 962, a microphone 963, a light emitting unit 967, a lens 965, and the like.
  • An imaging device according to one aspect of the present invention and an operation method thereof can be applied to the digital camera.
  • FIG. 21F is a wristwatch-type information terminal, which includes a display unit 932, a housing / wristband 933, a camera 939, and the like.
  • the display unit 932 includes a touch panel for operating the information terminal.
  • the display unit 932 and the housing / wristband 933 have flexibility and are excellent in wearability to the body.
  • An imaging device according to an aspect of the present invention and an operation method thereof can be applied to the information terminal.
  • FIG. 22A illustrates an external view of an automobile as an example of a moving body.
  • the automobile 890 has a plurality of cameras 891 and the like, and can acquire information on the front, rear, left, right, and above of the automobile 890.
  • An image pickup apparatus according to an aspect of the present invention and an operation method thereof can be applied to the camera 891.
  • the automobile 890 is equipped with various sensors (not shown) such as an infrared radar, a millimeter wave radar, and a laser radar.
  • the automobile 890 can analyze the images acquired by the camera 891 for a plurality of imaging directions 892, determine the surrounding traffic conditions such as the presence or absence of guardrails and pedestrians, and perform automatic driving. It can also be used in systems for road guidance, danger prediction, and the like.
  • the obtained image data is subjected to arithmetic processing such as a neural network to increase the resolution of the image, reduce image noise, face recognition (for security purposes, etc.), and object recognition. It can perform processing such as (purpose of automatic operation, etc.), image compression, image correction (wide dynamic range), image restoration of lensless image sensor, positioning, character recognition, and reduction of reflection reflection.
  • arithmetic processing such as a neural network to increase the resolution of the image, reduce image noise, face recognition (for security purposes, etc.), and object recognition. It can perform processing such as (purpose of automatic operation, etc.), image compression, image correction (wide dynamic range), image restoration of lensless image sensor, positioning, character recognition, and reduction of reflection reflection.
  • the automobile is described as an example of the moving body, but the automobile may be an automobile having an internal combustion engine, an electric vehicle, a hydrogen vehicle, or the like.
  • the moving body is not limited to the automobile.
  • moving objects include trains, monorails, ships, flying objects (helicopters, unmanned aerial vehicles (drones), airplanes, rockets), etc., and the computer of one aspect of the present invention is applied to these moving objects. Therefore, a system using artificial intelligence can be provided.
  • 10a circuit, 10b: circuit, 20: circuit, 30: circuit, 100: pixel, 101: photoelectric conversion device, 101a: photoelectric conversion device, 101b: photoelectric conversion device, 102: transistor, 102a: transistor, 102b: transistor, 103: Transistor, 103a: Transistor, 103b: Transistor, 104: Transistor, 104a: Transistor, 104b: Transistor, 105: Transistor, 105a: Transistor, 105b: Transistor, 106: Capacitor, 106a: Capacitor, 106b: Transistor, 107: Transistor, 108: Transistor, 114: Wiring, 115: Wiring, 116: Wiring, 117: Wiring, 118: Wiring, 121: Wiring, 122: Wiring, 123: Wiring, 124: Wiring, 125: Wiring, 126: Wiring, 127: Wiring, 128: Wiring, 131: Transistor

Abstract

画像処理機能を有する撮像装置を提供する。 画像処理などの付加機能を備えた撮像装置であって、撮像動作で取得したアナログデータを画素に保持し、当該アナログデータと任意の重み係数とを乗じたデータを取り出すことができる。画素では、隣接する受光デバイス間の差分データを取得することができ、輝度勾配の情報を得ることができる。当該情報をニューラルネットワークなどに取り込むことで、距離情報などの推論を行うことができる。また、膨大な画像データをアナログデータの状態で画素に保持することができるため、効率良く処理を行うことができる。

Description

撮像装置および電子機器
本発明の一態様は、撮像装置に関する。
なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の一態様の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物（コンポジション・オブ・マター）に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、液晶表示装置、発光装置、照明装置、蓄電装置、記憶装置、撮像装置、それらの動作方法、または、それらの製造方法、を一例として挙げることができる。
なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。トランジスタ、半導体回路は半導体装置の一態様である。また、記憶装置、表示装置、撮像装置、電子機器は、半導体装置を有する場合がある。
基板上に形成された酸化物半導体薄膜を用いてトランジスタを構成する技術が注目されている。例えば、酸化物半導体を有するオフ電流が極めて低いトランジスタを画素回路に用いる構成の撮像装置が特許文献１に開示されている。
また、撮像装置に演算機能を付加する技術が特許文献２に開示されている。
特開２０１１−１１９７１１号公報 特開２０１６−１２３０８７号公報
携帯機器などに搭載される撮像装置では、高解像度の画像を取得できる機能が一般化している。次世代においては、撮像装置にさらに知的な機能を搭載することが求められている。
撮像装置で取得した画像データ（アナログデータ）は、デジタルデータに変換され、外部に取り出した後に必要に応じて画像処理が行われる。当該処理を撮像装置内で行うことができれば、外部の機器との連携がより高速となり、使用者の利便性が向上する。また、周辺装置などの負荷および消費電力も低減することができる。また、アナログデータの状態で複雑なデータ処理が行えれば、データ変換に要する時間も短縮することができる。
例えば、隣接する画素間のデータの差分情報から輝度勾配を算出し、当該輝度勾配をデータとしてＤＮＮ（ディープニューラルネットワーク）などを用いることにより、距離情報を推論することができる。画素間の差分データの演算およびＤＮＮの一部の演算を撮像装置内で行うことにより、低消費電力で高速な推論が可能となる。
また、スマートフォンなどの携帯情報端末では、撮像された被写体の距離の情報を取得し、撮像した画像の加工（目的とする被写体の前後をぼかすなど）を行うことができる。当該距離の情報は、複数のカメラによる視差を用いて取得している。画像処理により距離の情報を得ることができれば、カメラを一つにすることができ、製造コストを低減することができる。
したがって、本発明の一態様では、画像処理を行うことができる撮像装置を提供することを目的の一つとする。または、距離の情報を取得できる撮像装置を提供することを目的の一つとする。または、隣接する画素間の輝度勾配の情報を取得できる撮像装置を提供することを目的の一つとする。または、ニューラルネットワークの一部の要素として機能する撮像装置を提供することを目的の一つとする。または、低消費電力の撮像装置を提供することを目的の一つとする。または、信頼性の高い撮像装置を提供することを目的の一つとする。または、新規な撮像装置などを提供することを目的の一つとする。または、上記撮像装置の駆動方法を提供することを目的の一つとする。または、新規な半導体装置などを提供することを目的の一つとする。
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。
本発明の一態様は、画像処理機能を有する撮像装置に関する。
本発明の一態様は、画素と、読み出し回路と、を有し、画素は、第１の受光回路と、第２の受光回路と、増幅回路と、演算回路と、を有し、増幅回路は、第１の受光回路に保持された第１のデータと、第２の受光回路に保持された第２のデータとの差分に応じた電位を演算回路に出力することができ、演算回路は、第１のノードと、第２のノードと、を有し、第１のノードには、第１のデータと第２のデータを同じ値としたときに増幅回路が出力する第１の電位が書き込まれ、第２のノードには、第１のデータおよび第２のデータが光電変換により生成されたときに増幅回路が出力する第２の電位が書き込まれ、第１のノードおよび第２のノードのそれぞれには、第３の電位を加算することができ、読み出し回路は、第１のノードの電位に従って流れる電流と、第２のノードの電位に従って流れる電流を用いた演算により、第２の電位と第３の電位との積を抽出することができる撮像装置である。
読み出し回路は、カレントミラー回路と、相関二重サンプリング回路と、を有し、カレントミラー回路は、第１のトランジスタと、第２のトランジスタと、を有し、第１のトランジスタのソースまたはドレインの一方およびゲートは、第１のノードと電気的に接続され、第２のトランジスタのソースまたはドレインの一方は、第２のノードおよび相関二重サンプリング回路と電気的に接続することができる。
また、本発明の他の一態様は、画素と、読み出し回路と、を有し、画素は、第１の受光回路と、第２の受光回路と、増幅回路と、演算回路と、を有し、増幅回路は、第１の入力端子と、第２の入力端子と、を有し、演算回路は、第１のノードと、第２のノードと、第１のキャパシタと、第２のキャパシタと、第１のトランジスタと、第２のトランジスタと、を有し、第１のノードには、第１のキャパシタの一方の電極および第１のトランジスタのゲートが電気的に接続され、第２のノードには、第２のキャパシタの一方の電極および第２のトランジスタのゲートが電気的に接続され、第１のトランジスタのソースまたはドレインの一方、および第２のトランジスタのソースまたはドレインの一方には、読み出し回路が電気的に接続され、第１の受光回路は、第１の入力端子と電気的に接続され、第２の受光回路は、第２の入力端子と電気的に接続され、第１のノードには、第１の入力端子および第２の入力端子に同じ電位が入力されたときに増幅回路が出力する第１の電位が書き込まれ、第２のノードには、第１の受光回路が生成するデータと、第２の受光回路が生成するデータとの差分に応じて増幅回路が出力する第２の電位が書き込まれ、第１のノードおよび第２のノードのそれぞれには、第１のキャパシタまたは第２のキャパシタを介して、第３の電位を加算することができ、読み出し回路は、第１のトランジスタに流れる電流と、第２のトランジスタに流れる電流を用いた演算により、第２の電位と第３の電位との積を抽出することができる撮像装置である。
読み出し回路は、カレントミラー回路と、相関二重サンプリング回路と、を有し、カレントミラー回路は、第３のトランジスタと、第４のトランジスタと、を有し、第３のトランジスタのソースまたはドレインの一方およびゲートは、第１のトランジスタのソースまたはドレインの一方と電気的に接続され、第４のトランジスタのソースまたはドレインの一方は、第２のトランジスタのソースまたはドレインの一方および相関二重サンプリング回路と電気的に接続することができる。
第１の受光回路および第２の受光回路のそれぞれは、光電変換デバイスと、第５のトランジスタと、第６のトランジスタと、第３のキャパシタと、を有し、光電変換デバイスの一方の電極は、第５のトランジスタのソースまたはドレインの一方と電気的に接続され、第５のトランジスタのソースまたはドレインの他方は、第６のトランジスタのソースまたはドレインの一方、および第３のキャパシタの一方の電極と電気的に接続され、第１の受光回路が有する第６のトランジスタのソースまたはドレインの他方は、第１の入力端子と電気的に接続され、第２の受光回路が有する第６のトランジスタのソースまたはドレインの他方は、第２の入力端子と電気的に接続することができる。
第５のトランジスタおよび第６のトランジスタは、チャネル形成領域に金属酸化物を有し、金属酸化物は、Ｉｎと、Ｚｎと、Ｍ（ＭはＡｌ、Ｔｉ、Ｇａ、Ｇｅ、Ｓｎ、Ｙ、Ｚｒ、Ｌａ、Ｃｅ、ＮｄまたはＨｆの一つまたは複数）と、を有することが好ましい。
第１の受光回路および第２の受光回路のそれぞれは、さらに第７のトランジスタと、第８のトランジスタと、を有し、第７のトランジスタのゲートは、第３のキャパシタの一方の電極と電気的に接続され、第７のトランジスタのソースまたはドレインの一方は、第８のトランジスタのソースまたはドレインの一方と電気的に接続することが好ましい。
増幅回路は、第９のトランジスタと、第１０のトランジスタと、第１１のトランジスタと、を有し、第９のトランジスタのソースまたはドレインの一方は、第１の受光回路が有する第３のキャパシタの一方の電極と電気的に接続され、第９のトランジスタのソースまたはドレインの他方は、第１の入力端子と電気的に接続され、第１０のトランジスタのソースまたはドレインの一方は、第２の受光回路が有する第３のキャパシタの一方の電極と電気的に接続され、第１０のトランジスタのソースまたはドレインの他方は、第２の入力端子と電気的に接続され、第１１のトランジスタのソースまたはドレインの一方は、第１の入力端子と電気的に接続され、第１１のトランジスタのソースまたはドレインの他方は、第２の入力端子と電気的に接続することができる。
第９のトランジスタ乃至第１１のトランジスタは、チャネル形成領域に金属酸化物を有し、金属酸化物は、Ｉｎと、Ｚｎと、Ｍ（ＭはＡｌ、Ｔｉ、Ｇａ、Ｇｅ、Ｓｎ、Ｙ、Ｚｒ、Ｌａ、Ｃｅ、ＮｄまたはＨｆの一つまたは複数）と、を有することが好ましい。
また、上記において、一つの読み出し回路には、複数の画素を電気的に接続することができる。
また、本発明の他の一態様は、上記撮像装置で撮像した画像と、上記撮像装置で解析した画像における被写体の距離情報に基づき、画像の一部を加工する電子機器である。
本発明の一態様を用いることで、画像処理を行うことができる撮像装置を提供することができる。または、距離の情報を取得できる撮像装置を提供することができる。または、隣接する画素間の輝度勾配の情報を取得できる撮像装置を提供することができる。または、ニューラルネットワークの一部の要素として機能する撮像装置を提供することができる。または、低消費電力の撮像装置を提供することができる。または、信頼性の高い撮像装置を提供することができる。または、新規な撮像装置などを提供することができる。または、上記撮像装置の駆動方法を提供することができる。または、新規な半導体装置などを提供することができる。
図１は、撮像装置を説明するブロック図である。
図２は、画素ブロック２００および回路２４０を説明する図である。
図３は、画素１００を説明する図である。
図４Ａは、受光回路を説明する図である。図４Ｂは、差動増幅回路を説明する図である。
図５Ａ、図５Ｂは、電流源回路を説明する図である。
図６は、画素ブロック２００の動作を説明するタイミングチャートである。
図７Ａ、図７Ｂは、回路３０１および回路３０２を説明する図である。
図８は、メモリセルを説明する図である。
図９Ａ、図９Ｂは、ニューラルネットワークの構成例を示す図である。
図１０Ａ乃至図１０Ｄは、撮像装置の画素の構成を説明する図である。
図１１Ａ乃至図１１Ｃは、光電変換デバイスの構成を説明する図である。
図１２は、画素を説明する断面図である。
図１３Ａ乃至図１３Ｃは、Ｓｉトランジスタを説明する図である。
図１４は、画素を説明する断面図である。
図１５は、画素を説明する断面図である。
図１６は、画素を説明する断面図である。
図１７Ａ乃至図１７Ｄは、ＯＳトランジスタを説明する図である。
図１８は、画素を説明する断面図である。
図１９Ａ乃至図１９Ｃは、画素を説明する斜視図（断面図）である。
図２０Ａ１乃至図２０Ａ３、図２０Ｂ１乃至図２０Ｂ３は、撮像装置を収めたパッケージ、モジュールの斜視図である。
図２１Ａ乃至図２１Ｆは、電子機器を説明する図である。
図２２は、自動車を説明する図である。
実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略することがある。なお、図を構成する同じ要素のハッチングを異なる図面間で適宜省略または変更する場合もある。
また、回路図上では単一の要素として図示されている場合であっても、機能的に不都合がなければ、当該要素が複数で構成されてもよい。例えば、スイッチとして動作するトランジスタは、複数が直列または並列に接続されてもよい場合がある。また、キャパシタを分割して複数の位置に配置する場合もある。
また、一つの導電体が、配線、電極および端子のような複数の機能を併せ持っている場合があり、本明細書においては、同一の要素に対して複数の呼称を用いる場合がある。また、回路図上で要素間が直接接続されているように図示されている場合であっても、実際には当該要素間が一つまたは複数の導電体を介して接続されている場合があり、本明細書ではこのような構成でも直接接続の範疇に含める。
（実施の形態１）
本実施の形態では、本発明の一態様である撮像装置について、図面を参照して説明する。
本発明の一態様は、画像処理などの付加機能を備えた撮像装置である。当該撮像装置は、撮像動作で取得したアナログデータ（画像データ）を画素に保持し、当該アナログデータと任意の重み係数とを乗じたデータを取り出すことができる。
また、画素では、隣接する受光デバイス間の差分データを取得することができ、輝度勾配の情報を得ることができる。当該情報をニューラルネットワークなどに取り込むことで、距離情報などの推論を行うことができる。また、膨大な画像データをアナログデータの状態で画素に保持することができるため、効率良く処理を行うことができる。
画像における距離の情報を得ることで、ロボットによるピッキング作業、移動体の自動運転、距離計測などを支援することができる。また、スマートフォンなどにおいては、距離情報の取得に複数のカメラを用いていたが、一つのカメラで距離情報を得ることができ、製造コストを低減することができる。
＜撮像装置＞
図１は、本発明の一態様の撮像装置を説明するブロック図である。撮像装置は、画素アレイ３００と、回路３０１と、回路３０２と、回路３０３と、回路３０４と、回路３０５を有する。なお、回路３０１乃至回路３０５のそれぞれは、単一の回路構成に限らず、複数の回路の組み合わせで構成される場合がある。または、上記いずれか複数の回路が統合されていてもよい。また、上記以外の回路が接続されてもよい。
画素アレイ３００は、撮像機能および演算機能を有する。回路３０１は、演算機能を有する。回路３０２は、演算機能またはデータ変換機能を有する。回路３０３、３０４は、選択機能を有する。回路３０５は、画素に積和演算用の電位を供給する機能を有する。選択機能を有する回路には、シフトレジスタまたはデコーダなどを用いることができる。なお、回路３０１、３０２は、外部に設けられていてもよい。
画素アレイ３００は、複数の画素ブロック２００を有する。画素ブロック２００は、図２に示すように、画素アレイ２１０および回路２２０を有する。
画素アレイ２１０は、マトリクス状に配置された複数の画素１００を有し、それぞれの画素１００は、配線１５１および配線１５２と電気的に接続され、配線１５１および配線１５２は、それぞれ回路２２０と電気的に接続される。
回路２２０は読み出し回路であり、回路２３０および回路２４０を有する。回路２３０は電流源回路であり、画素アレイ２１０および回路２４０に流れる電流を制御する機能を有する。回路２４０は、差分抽出回路であり、例えば、相関二重サンプリング回路（ＣＤＳ回路）を用いることができる。
回路２３０、回路２４０、および画素アレイ２１０は、いずれか２つ以上が互いに重なる領域を有するように形成されることが好ましい。当該構成とすることで、画素ブロック２００の面積を小さくすることができ、解像度を上げることができる。なお、回路２４０は、画素ブロック２００の外側に設けることもできる。
なお、図２においては、一例として画素アレイ２１０が有する画素数を３×３としているが、これに限らない。例えば、２×２、４×４などとすることができる。または、水平方向と垂直方向の画素数が異なっていてもよい。または、画素１００と配線１５１および配線１５２のそれぞれの間にスイッチなどを設け、画素数を可変としてもよい。また、一部の画素を隣り合う画素ブロック２００で共有してもよい。また、配線１５１には、増幅回路またはゲイン調整回路が電気的に接続されていてもよい。
画素１００では、画像データの取得、当該画像データを用いた演算データの生成、当該演算データと重み係数とを加算したデータの生成、などを行うことができる。また、上記構成の画素ブロック２００は、積和演算回路として動作させることができる。
＜画素回路＞
画素１００の構成例を図３に示す。画素１００は、回路１０ａ、１０ｂ、回路２０、回路３０を有する。
回路１０ａ、１０ｂは受光回路であり、光電変換デバイスにより撮像データを生成する機能を有する。回路２０は差動増幅回路であり、回路１０ａおよび回路１０ｂから入力されたデータの差に応じて増幅されたデータ電位を出力する機能を有する。回路３０は演算回路であり、回路２０から出力されたデータ電位を保持する機能、および当該データ電位に重み（重み係数に相当する電位）を与える機能を有する。
＜受光回路＞
回路１０ａ、１０ｂは同様の構成とすることができ、光電変換デバイス１０１（光電変換デバイス１０１ａ、１０１ｂ）と、トランジスタ１０２（トランジスタ１０２ａ、１０２ｂ）と、トランジスタ１０３（トランジスタ１０３ａ、１０３ｂ）と、キャパシタ１０６（キャパシタ１０６ａ、１０６ｂ）を有することができる。
光電変換デバイス１０１の一方の電極は、トランジスタ１０２のソースまたはドレインの一方と電気的に接続される。トランジスタ１０２のソースまたはドレインの他方は、トランジスタ１０３のソースまたはドレインの一方、およびキャパシタ１０６の一方の電極と電気的に接続される。
光電変換デバイス１０１の他方の電極は、配線１１４と電気的に接続される。トランジスタ１０３のソースまたはドレインの他方は、配線１１５と電気的に接続される。トランジスタ１０２のゲートは、配線１１６と電気的に接続される。トランジスタ１０３のゲートは、配線１１７と電気的に接続される。
ここで、トランジスタ１０２のソースまたはドレインの他方と、トランジスタ１０３のソースまたはドレインの一方と、キャパシタ１０６の一方の電極との電気的な接続点をノードＦＤ（ノードＦＤａ、ノードＦＤｂ）とする。
配線１１４、１１５は、電源線としての機能を有することができる。例えば、配線１１４、は高電位電源線、配線１１５は低電位電源線として機能させることができる。配線１１６、１１７は、各トランジスタの導通を制御する信号線として機能させることができる。
光電変換デバイス１０１としては、フォトダイオードを用いることができる。フォトダイオードの種類は問わず、シリコンを光電変換層に有するＳｉフォトダイオード、有機光導電膜を光電変換層に有する有機フォトダイオードなどを用いることができる。なお、低照度時の光検出感度を高めたい場合は、アバランシェフォトダイオードを用いることが好ましい。
トランジスタ１０２は、ノードＦＤの電位を制御する機能を有することができる。トランジスタ１０３は、ノードＦＤの電位を初期化する機能を有することができる。
光電変換デバイス１０１にアバランシェフォトダイオードを用いる場合は、高電圧を印加することがあり、光電変換デバイス１０１と接続されるトランジスタには高耐圧のトランジスタを用いることが好ましい。高耐圧のトランジスタには、例えば、チャネル形成領域に金属酸化物を用いたトランジスタ（以下、ＯＳトランジスタ）などを用いることができる。具体的には、トランジスタ１０２にＯＳトランジスタを適用することが好ましい。
また、ＯＳトランジスタは、オフ電流が極めて低い特性も有する。トランジスタ１０２、１０３にＯＳトランジスタを用いることによって、ノードＦＤで電荷を保持できる期間を極めて長くすることができる。そのため、回路構成および動作方法を複雑にすることなく、全画素で同時に電荷の蓄積動作を行うグローバルシャッタ方式を適用することができる。また、ノードＦＤに画像データを保持させつつ、当該画像データを用いた複数回の演算を行うこともできる。
一方で、高速動作などが望まれる場合は、シリコンをチャネル形成領域に用いた移動度が高いトランジスタ（以下、Ｓｉトランジスタ）を用いることが好ましい。したがって、トランジスタ１０２、１０３にＳｉトランジスタを適用してもよい。
なお、上記に限らず、ＯＳトランジスタおよびＳｉトランジスタを任意に組み合わせて適用してもよい。Ｓｉトランジスタとしては、アモルファスシリコンを有するトランジスタ、結晶性のシリコン（微結晶シリコン、低温ポリシリコン、単結晶シリコン）を有するトランジスタなどが挙げられる。
なお、上記は回路１０ａ、１０ｂの回路構成の一例であり、光電変換動作に関しては他の回路構成で行うこともできる。
また、回路１０ａ、１０ｂは、図４Ａに示すように、トランジスタ１７５（トランジスタ１７５ａ、１７５ｂ）、およびトランジスタ１７６（トランジスタ１７６ａ、１７６ｂ）を有する構成としてもよい。
トランジスタ１７５のゲートは、ノードＦＤと電気的に接続される。トランジスタ１７５のソースまたはドレインの一方は、配線１１８と電気的に接続される、トランジスタ１７５のソースまたはドレインの他方は、トランジスタ１７６のソースまたはドレインの一方と電気的に接続される。トランジスタ１７６のソースまたはドレインの他方は、配線ＯＵＴと電気的に接続される。配線１１８は、電源線として機能することができ、配線１１５と接続されていてもよい。
トランジスタ１７５は、ノードＦＤの電位に従ってデータを出力するソースフォロアの要素である。また、トランジスタ１７６は、読み出す受光回路を選択するための選択トランジスタとして機能する。したがって、図４Ａの構成の回路１０ａ、１０ｂを用いることで、各受光回路から画像データを配線ＯＵＴに読み出すことができる。また、当該構成では、回路２０の動作と並行して画像データの読み出しを行うこともできる。
＜差動増幅回路＞
回路２０は、トランジスタ１０４（トランジスタ１０４ａ、１０４ｂ）と、トランジスタ１０５（トランジスタ１０５ａ、１０５ｂ）と、トランジスタ１０７と、トランジスタ１０８と、トランジスタ１３１（トランジスタ１３１ａ、１３１ｂ）を有する構成とすることができる。
トランジスタ１０４ａのソースまたはドレインの一方は、トランジスタ１０５ａのゲートおよびトランジスタ１０７のソースまたはドレインの一方と電気的に接続される。トランジスタ１０４ｂのソースまたはドレインの一方は、トランジスタ１０５ｂのゲートおよびトランジスタ１０７のソースまたはドレインの他方と電気的に接続される。トランジスタ１０５ａのソースまたはドレインの一方は、トランジスタ１３１ａのソースまたはドレインの一方およびゲートと電気的に接続される。トランジスタ１０５ｂのソースまたはドレインの一方は、トランジスタ１３１ｂのソースまたはドレインの一方およびゲートと電気的に接続される。トランジスタ１０５ａのソースまたはドレインの他方は、トランジスタ１０５ｂのソースまたはドレインの他方およびトランジスタ１０８のソースまたはドレインの一方と電気的に接続される。
トランジスタ１３１のソースまたはドレインの他方は、配線１２４と電気的に接続される。トランジスタ１０８のソースまたはドレインの他方は、ＧＮＤ配線などの基準電位線または低電位電源線と電気的に接続される。トランジスタ１０４ａのゲートは、配線１２１と電気的に接続される。トランジスタ１０４ｂのゲートは、配線１２２と電気的に接続される。トランジスタ１０７のゲートは、配線１２３と電気的に接続される。
配線１２４は、例えば、高電位電源を供給する電源線としての機能を有することができる。配線１２１、配線１２２、配線１２３は、各トランジスタの導通を制御する信号線としての機能を有することができる。
トランジスタ１０４は、スイッチとして機能する。トランジスタ１０４ａのソースまたはドレインの他方は回路１０ａのノードＦＤａと電気的に接続される。また、トランジスタ１０４ｂのソースまたはドレインの他方は、回路１０ｂのノードＦＤｂと電気的に接続される。したがって、トランジスタ１０４は、回路１０ａ、１０ｂの要素であるということもできる。
トランジスタ１０５は、差動増幅回路の差動トランジスタ対として機能する。トランジスタ１０５ａのゲートは、回路２０の第１の入力端子として機能する。また、トランジスタ１０５ｂのゲートは、回路２０の第２の入力端子として機能する。したがって、第１の入力端子には、回路１０ａが生成したデータを入力することができる。また、第２の入力端子には、回路１０ｂが生成したデータを入力することができる。
トランジスタ１０７はスイッチとして機能し、第１の入力端子と第２の入力端子とを同じ電位にすることができる。当該スイッチは、参照データの取得時に用いることができる。
トランジスタ１０８は電流源として機能し、ゲートには適切な電位（Ｂｉａｓ）が供給される。なお、トランジスタ１０８の替わりに抵抗素子を用いてもよい。
トランジスタ１３１は、電圧変換回路として機能する。なお、図３では、トランジスタ１３１をダイオード接続のｐチャネル型トランジスタとして例示しているが、ダイオード接続のｎチャネル型トランジスタとしてもよい。または、トランジスタ１３１の替わりにダイオード素子、抵抗素子、またはカスコード回路を用いてもよい。
また、トランジスタ１０５ｂのソースまたはドレインの一方とトランジスタ１３１ｂのソースまたはドレインの一方を接続する配線の一部は出力端子としても機能し、図３では、ノードＮとして表している。出力端子（ノードＮ）には、回路１０ａの出力データと回路１０ｂの出力データの差に応じて増幅されたデータ電位を出力することができる。
なお、回路２０は、図４Ｂに示すように、トランジスタ１０４およびトランジスタ１０７を省いた構成としてもよい。トランジスタ１０４およびトランジスタ１０７は、第１の入力端子および第２の入力端子を同じ電位とするために設けられるが、当該電位としてトランジスタ１０３から供給される配線１１５の電位（リセット電位）を用いれば、トランジスタ１０４およびトランジスタ１０７を省くことができる。
＜演算回路＞
回路３０は、トランジスタ１３２と、トランジスタ１３３と、トランジスタ１３４と、トランジスタ１４２と、トランジスタ１４３と、トランジスタ１４４と、キャパシタ１３５と、キャパシタ１４５を有する構成とすることができる。
トランジスタ１３２のソースまたはドレインの一方は、キャパシタ１３５の一方の電極およびトランジスタ１３３のゲートと電気的に接続される。キャパシタ１３５の他方の電極は、トランジスタ１３４のソースまたはドレインの一方と電気的に接続される。トランジスタ１４２のソースまたはドレインの一方は、キャパシタ１４５の一方の電極およびトランジスタ１４３のゲートと電気的に接続される。キャパシタ１４５の他方の電極は、トランジスタ１４４のソースまたはドレインの一方と電気的に接続される。
トランジスタ１３２のゲートは、配線１２５と電気的に接続される。トランジスタ１４２のゲートは、配線１２６と電気的に接続される。トランジスタ１３４のゲートおよびトランジスタ１４４のゲートは、配線１２７と電気的に接続される。トランジスタ１３２のソースまたはドレインの他方およびトランジスタ１４２のソースまたはドレインの他方は、ノードＮと電気的に接続される。トランジスタ１３４のソースまたはドレインの他方およびトランジスタ１４４のソースまたはドレインの他方は、配線１２８と電気的に接続される。
トランジスタ１３３のソースまたはドレインの一方は、配線１５１と電気的に接続される。トランジスタ１４３のソースまたはドレインの一方は、配線１５２と電気的に接続される。
トランジスタ１３３のソースまたはドレインの他方およびトランジスタ１４３のソースまたはドレインの他方は、ＧＮＤ配線などの基準電位線または低電位電源線と電気的に接続される。
配線１２５、配線１２６、配線１２７は、各トランジスタの導通を制御する信号線としての機能を有することができる。配線１２８は、例えば、重み係数（畳み込み処理のフィルタなど）に相当する電位を供給することができる配線であり、回路３０５（図１参照）と電気的に接続される。配線１５１は、回路２３０および回路２４０と電気的に接続される配線であり、配線１５２は、回路２３０と電気的に接続される配線である（図２参照）。
ここで、トランジスタ１３２のソースまたはドレインの一方、キャパシタ１３５の一方の電極、およびトランジスタ１３３のゲートが接続される点（配線）をノードＰ１とする。また、トランジスタ１４２のソースまたはドレインの一方、キャパシタ１４５の一方の電極、およびトランジスタ１４３のゲートが接続される点（配線）をノードＰ２とする。
ノードＰ１およびノードＰ２には、回路２０が出力するデータを格納することができる。また、ノードＰ１およびノードＰ２はフローティングとすることができる。したがって、ノードＰ１およびノードＰ２に保持されたデータに、配線１２８から供給される電位（重み係数）をキャパシタ１３５またはキャパシタ１４５の容量結合で与えることができる。
＜読み出し回路＞
次に、読み出し回路２２０の構成について説明する。読み出し回路２２０は、電流源回路として機能する回路２３０と、差分抽出回路として機能する回路２４０を有する。
＜電流源回路＞
回路２３０は画素１００に保持されたデータに従って電流を流すことができ、例えば、図５Ａに示す構成とすることができる。回路２３０は、電流供給部２２５およびカレントミラー部２２６を有する構成とすることができる。
図５Ａは、ｎ−ｃｈ型トランジスタを用いた構成である。電流供給部２２５は、トランジスタ２２２、２５２、トランジスタ２２３、２５３を有する構成とすることができる。
トランジスタ２２２のソースまたはドレインの一方は、信号線ＦＧと電気的に接続される。トランジスタ２２２のソースまたはドレインの他方は、トランジスタ２２３のゲートと電気的に接続される。トランジスタ２５２のソースまたはドレインの一方は、信号線ＦＧＲＥＦと電気的に接続される。トランジスタ２５２のソースまたはドレインの他方は、トランジスタ２５３のゲートと電気的に接続される。トランジスタ２２２のゲート、およびトランジスタ２５２のゲートは、配線２１３と電気的に接続される。
トランジスタ２２３のソースまたはドレインの一方は配線１５１と電気的に接続される。トランジスタ２５３のソースまたはドレインの一方は配線１５２と電気的に接続される。トランジスタ２２３のソースまたはドレインの他方、およびトランジスタ２５３のソースまたはドレインの他方は、高電位電源線（ＶＤＤ）と電気的に接続される。
電流供給部２２５では、信号線ＦＧ、ＦＧＲＥＦには適切な信号電位が供給され、配線２１３に高電位（“Ｈ”）を供給することで、トランジスタ２２２、２５２、およびトランジスタ２２３、２５３が導通し、配線１５１および配線１５２に電流を供給することができる。
カレントミラー部２２６は、トランジスタ２５４、およびトランジスタ２２４を有する構成とすることができる。トランジスタ２５４のゲートおよびソースまたはドレインの一方は配線１５２と電気的に接続される。トランジスタ２２４のソースまたはドレインの一方は配線１５１と電気的に接続される。トランジスタ２２４のソースまたはドレインの他方およびトランジスタ２５４のソースまたはドレインの他方は、低電位電源線（ＶＳＳ）と電気的に接続される。トランジスタ２２４のゲートはトランジスタ２５４のゲートと電気的に接続され、トランジスタ２２４にはトランジスタ２５４と同じ電流（ＩＣＭ）を流すことができる。
なお、電流供給部２２５は、図５Ｂに示すようにｐ−ｃｈ型トランジスタを用いた構成であってもよい。トランジスタ２６２の出力側が配線１５２およびトランジスタ２６１のゲートと電気的に接続された構成となっている。
＜差分抽出回路＞
回路２４０は差分抽出回路であり、画素１００および回路２３０に流れる電流を用いて、データと重み係数との積（積和演算結果）を抽出することができる。図２に示すように、各画素１００は、配線１５１で互いに電気的に接続される。回路２４０は、各画素１００のトランジスタ１３３に流れる電流の和を用いて演算を行うことができる。
回路２４０は、キャパシタ２０２と、トランジスタ２０３と、トランジスタ２０４と、トランジスタ２０５と、トランジスタ２０６と、電圧変換回路としてトランジスタ２０７を有する。トランジスタ２０７のゲートには、適切なアナログ電位（Ｂｉａｓ）が印加される。
キャパシタ２０２の一方の電極は、トランジスタ２０３のソースまたはドレインの一方、およびトランジスタ２０４のゲートと電気的に接続される。トランジスタ２０４のソースまたはドレインの一方は、トランジスタ２０５のソースまたはドレインの一方、およびトランジスタ２０６のソースまたはドレインの一方と電気的に接続される。キャパシタ２０２の他方の電極は、配線１５１およびトランジスタ２０７のソースまたはドレインの一方と電気的に接続される。
ここで、キャパシタ２０２の一方の電極、トランジスタ２０３のソースまたはドレインの一方、およびトランジスタ２０４のゲートを接続する点をノードＣとする。
トランジスタ２０３のソースまたはドレインの他方は、配線２１８と電気的に接続される。トランジスタ２０４のソースまたはドレインの他方は、配線２１９と電気的に接続される。トランジスタ２０５のソースまたはドレインの他方は、ＧＮＤ配線などの基準電源線と電気的に接続される。トランジスタ２０６のソースまたはドレインの他方は、配線２１２と電気的に接続される。トランジスタ２０７のソースまたはドレインの他方は、ＧＮＤ配線などの基準電源線と電気的に接続される。トランジスタ２０３のゲートは、配線２１６と電気的に接続される。トランジスタ２０５のゲートは、配線２１５と電気的に接続される。トランジスタ２０６のゲートは、配線２１４と電気的に接続される。
配線２１８、２１９は、電源線としての機能を有することができる。例えば、配線２１８は、読み出し用のリセット電位（Ｖｒ）を供給する配線としての機能を有することができる。配線２１９は、高電位電源線として機能させることができる。配線２１４、２１５、２１６は、各トランジスタの導通を制御する信号線として機能させることができる。配線２１２は出力線であり、例えば、図１に示す回路３０１と電気的に接続することができる。
トランジスタ２０３は、ノードＣの電位を配線２１８の電位にリセットする機能を有することができる。トランジスタ２０４、２０５は、ソースフォロア回路としての機能を有することができる。トランジスタ２０６は、読み出しを制御する機能を有することができる。なお、回路２４０は、相関二重サンプリング回路（ＣＤＳ回路）としての機能を有し、当該機能を有する他の構成の回路に置き換えることもできる。
＜動作＞
次に、本発明の一態様の撮像装置の動作を説明する。本発明の一態様では、まず、画素１００において、回路１０ａと回路１０ｂの出力に差がないときのデータ（参照データ）を取得する。次に、回路１０ａと回路１０ｂのそれぞれにおいて、光電変換により画像データを取得し、それらの差分データを取得する。
次に、参照データおよび差分データに基づいて回路２３０から回路２４０に流れる電流を電圧変換したデータと、参照データおよび差分データに重みを与えたときに回路２３０から回路２４０に流れる電流を電圧変換したデータとの差分電位を回路２４０で抽出する。
当該差分電位は、回路２２０が流す電流から様々なオフセット成分を除いたデータに相当し、差分データと重み係数との積の項で表される電流を電圧変換したデータとなる。すなわち、差分データと重み係数との積を抽出することができる。
差分データと重み係数との積の抽出について、ここでは全体の流れを説明するため、画素１００の動作の説明は省略し、ノードＰ１に、回路１０ａおよび回路１０ｂの差分データ（光電変換により得られたデータの差分）に相当するデータ電位Ｘが格納され、ノードＰ２に、回路１０ａと回路１０ｂの出力に差がないときに回路２０が出力するデータ電位（参照データ、理想的には０）が格納された状態であるとして説明する。画素１００の詳細な動作は後述する。
画素ブロック２００では、差分データ（電位Ｘ）と重み係数（電位Ｗ）との積以外のオフセット成分を除去し、目的のＷＸを抽出することができる。回路２３０として図５Ａに示す回路を用いた場合のＷＸ抽出の流れは以下の通りである。
まず、回路２４０において、トランジスタ２０３を導通状態とし、配線２１８からノードＣに電位Ｖｒを書き込む。ここで電位Ｖｒは、読み出し動作に用いるリセット電位である。
このとき、画素１００の回路３０のノードＰ１には、差分データ（電位Ｘ）が書き込まれているとする。また、ノードＰ２には、参照データ０が書き込まれていることとする。また、配線１２８から書き込まれる重み係数は０とする。
このとき、回路２３０から各画素１００のトランジスタ１３３に流れる電流の合計は、ｋΣ（Ｘ−Ｖｔｈ）２となる。また、回路２３０から各画素１００のトランジスタ１４３に流れる電流の合計は、ｋΣ（０−Ｖｔｈ）２となる。ここで、ｋは定数、Ｖｔｈはそれぞれのトランジスタのしきい値電圧である。
回路２３０において、トランジスタ２２３に流れる電流の合計をＩＣ、トランジスタ２５３に流れる電流の合計をＩＣＦＥＦ、トランジスタ２２４およびトランジスタ２５４に流れる電流をＩＣＭとする（図５Ａ参照）。
このとき、ＩＣＲＥＦ０（重み０のときのＩＣＲＥＦ）＝ＩＣＭ０＋ｋΣ（０−Ｖｔｈ）２であるから、ＩＣＭ０＝ＩＣＲＥＦ０−ｋΣ（０−Ｖｔｈ）２となる。
ここで、回路２４０のトランジスタ２０７に流れる電流ＩＲ０（重み０のときのＩＲ）は、ＩＲ０＝ＩＣ−ＩＣＭ０−ｋΣ（Ｘ−Ｖｔｈ）２となる。すなわち、ＩＲ０＝ＩＣ−ＩＣＲＥＦ０＋ｋΣ（０−Ｖｔｈ）２−ｋΣ（Ｘ−Ｖｔｈ）２となる。
そして、回路２４０のトランジスタ２０３を非導通状態とし、ノードＣに電位Ｖｒを保持する。
次に、配線１２８に重み係数（Ｗ）に相当する電位を供給し、容量結合でノードＰ１、ノードＰ２に重み係数（Ｗ）を与える。
このとき、回路２３０から各画素１００のトランジスタ１３３に流れる電流の合計は、ｋΣ（Ｘ＋Ｗ−Ｖｔｈ）２となる。また、回路２３０から各画素１００のトランジスタ１４３に流れる電流の合計は、ｋΣ（Ｗ−Ｖｔｈ）２となる。
したがって、回路２４０のトランジスタ２０７に流れる電流ＩＲは、ＩＲ＝ＩＣ−ＩＣＭ−ｋΣ（Ｘ＋Ｗ−Ｖｔｈ）２となる。すなわち、ＩＲ＝ＩＣ−ＩＣＲＥＦ＋ｋΣ（Ｗ−Ｖｔｈ）２−ｋΣ（Ｘ＋Ｗ−Ｖｔｈ）２となる。
ここで、ＩＲ０とＩＲの差分をとると、ＩＲ０−ＩＲ＝ｋΣ（Ｖｔｈ２−（Ｘ−Ｖｔｈ）２−（Ｗ−Ｖｔｈ）２＋（Ｗ＋Ｘ−Ｖｔｈ）２）＝ｋΣ（２ＷＸ）となる。すなわち、オフセット成分が除かれ、ＷＸからなる項を抽出することができる。
上記差分は、回路２４０で抽出することができる。ＩＲ０はノードＣの電位Ｖｒとして初期化されており、ノードＣがフローティングの状態で配線１５１の電位が、重み係数０の状態から重み係数Ｗの状態に変化することから、当該電位の差分Ｙ（ＩＲ０とＩＲの差分に相当）がキャパシタ２０２の容量結合でノードＣに付加される。ここで、ノードＣはＶｒ＋Ｙとなり、電位Ｖｒ＝０とみなせば、ＹはＩＲ０とＩＲの差分を電圧変換した電位そのものである。すなわち、ＷＸを抽出することができる。
次に、図６に示すタイミングチャートに従って、画素１００の動作および画素ブロック２００の動作を説明する。なお、ここで説明する画素１００は、図３に示す構成とする。また、電源線などには所定の電位が供給されていることとする。
＜画素１００の動作＞
時刻Ｔ１に、配線１１６の電位を“Ｈ”、配線１１７の電位を“Ｈ”、配線１２１の電位を“Ｈ”、配線１２２の電位を“Ｈ”、配線１２３の電位を“Ｌ”とすると、回路１０ａおよび回路１０ｂにおいて、トランジスタ１０２、トランジスタ１０３が導通し、ノードＦＤａの電位およびノードＦＤｂの電位がリセット電位（配線１１５の電位）となる。
時刻Ｔ２に、配線１１６の電位を“Ｌ”、配線１１７の電位を“Ｌ”、配線１２１の電位を“Ｌ”、配線１２２の電位を“Ｌ”、配線１２３の電位を“Ｌ”とすると、トランジスタ１０２、トランジスタ１０３、トランジスタ１０４が非導通となり、ノードＦＤａおよびノードＦＤｂには、リセット電位が保持される。また、光電変換デバイス１０１では、蓄積動作が開始される。
時刻Ｔ３に、配線１１６の電位を“Ｈ”、配線１２２の電位を“Ｈ”、配線１２３の電位を“Ｈ”とすると、トランジスタ１０２が導通し、光電変換デバイス１０１に蓄積された電荷がノードＦＤａおよびノードＦＤｂに転送される。その後、配線１１６の電位を“Ｌ”とし、ノードＦＤａおよびノードＦＤｂの電位を保持する。
また、トランジスタ１０４ｂ、トランジスタ１０７が導通し、ノードＦＤｂの電位が回路２０の第１の入力端子（トランジスタ１０５ａのゲート）および第２の入力端子（トランジスタ１０５ｂのゲート）に入力される。
このとき、回路２０の出力端子（ノードＮ）には、第１の入力端子に入力されたデータと第２の入力端子に入力されたデータの差に応じて増幅されたデータ電位が出力される。ここで、回路２０の出力端子（ノードＮ）に出力されるデータ電位は、参照データと呼ぶことかできる。参照データは、第１の入力端子に入力されたデータと第２の入力端子に入力されたデータとの差がないときに出力されるデータである。
なお、回路２０に図４Ｂの構成を用いた場合は、ノードＦＤａおよびノードＦＤｂをリセット電位としたときに参照データを出力すればよい。
時刻Ｔ４に、配線１２６の電位を“Ｈ”とすると、回路３０のノードＰ２に回路２０の出力端子（ノードＮ）の電位が書き込まれる。その後、配線１２６の電位を“Ｌ”とし、ノードＰ２の電位を保持する。なお、時刻Ｔ４より前に配線１２７の電位を“Ｈ”とし、キャパシタ１３５、１４５の他方の電極の電位を配線１２８の電位（例えば０）としておく。
時刻Ｔ５に、配線１２１の電位を“Ｈ”、配線１２２の電位を“Ｈ”、配線１２３の電位を“Ｌ”とすると、トランジスタ１０４ａが導通し、トランジスタ１０７が非導通となり、回路２０の第１の入力端子にはノードＦＤａの電位が書き込まれる。なお、回路２０の第２の入力端子には、ノードＦＤｂの電位が書き込まれている。
したがって、回路２０の出力端子（ノードＮ）には、ノードＦＤａとノードＦＤｂとの差分に応じて増幅されたデータ電位が出力される。ここで、回路２０の出力端子（ノードＮ）に出力されるデータ電位は、回路１０ａが取得した画像データと回路１０ｂが取得した画像データの差に応じて増幅された電位であり、差分データと呼ぶことができる。または、画像データ、撮像データと呼ぶこともできる。
時刻Ｔ６に、配線１２５の電位を“Ｈ”とすると、回路３０のノードＰ１に回路２０の出力端子（ノードＮ）の電位が書き込まれる。その後、配線１２５の電位を“Ｌ”とし、ノードＰ１の電位を保持する。
時刻Ｔ７に、配線１２１の電位を“Ｌ”、配線１２２の電位を“Ｌ”、配線１２７の電位を“Ｌ”とすると、トランジスタ１０４、トランジスタ１３４、トランジスタ１４４が非導通となり、回路１０ａ、回路１０ｂ、および回路２０の一連の動作が終了する。
＜回路２２０、回路２３０の動作＞
また、時刻Ｔ７に、配線２１３の電位を“Ｈ”とすると、回路２３０において、トランジスタ２２２、トランジスタ２５２のゲートに適切なバイアスが供給され、トランジスタ２２３に電流ＩＣが流れ、トランジスタ２５３に電流ＩＣＲＥＦが流れる（図５Ａ参照）。そして、配線２１３の電位を“Ｌ”とする。
ここで、ＩＣＲＥＦは、トランジスタ２５４に流れる電流（ＩＣＭ）と、回路３０のトランジスタ１４３に流れる電流の和になる。また、電流ＩＣは、トランジスタ２２４に流れる電流（ＩＣＭ）と、回路３０のトランジスタ１３３に流れる電流と、回路２４０のトランジスタ２０７に流れる電流との和になる。
また、上記状態で配線１５１の電位が確定しているとき、配線２１６の電位を“Ｈ”とし、ノードＣに配線２１８の電位“Ｖｒ”を書き込む。そして、配線２１６の電位を“Ｌ”とし、ノードＣをフローティングとして電位“Ｖｒ”を保持する。
時刻Ｔ８に、配線１２７の電位を“Ｈ”とし、トランジスタ１３４、１４４を導通させ、配線１２８に重み係数に相当する電位Ｗを供給すると、回路３０のノードＰ１、ノードＰ２に保持されている電位に、電位Ｗが容量結合で与えられる。このとき、重み係数０の状態から重み係数Ｗの状態に変化することから、回路２３０のトランジスタ２０７に流れる電流が変化する。
このとき、配線１５１の電位の変化分“Ｙ”がキャパシタ２０２の容量結合でノードＣに付加される。ここで、ノードＣの電位は“Ｖｒ＋Ｙ”となり、電位“Ｖｒ”＝０とみなせば、ノードＣの電位はトランジスタ２０７に流れる電流の差分を電圧変換した電位“Ｙ”となる。すなわち、前述した電流式に従ってＷＸを抽出することができる。
時刻Ｔ９に、配線２１４の電位を“Ｈ”、配線２１５に適切なバイアスを供給すると、回路２４０はソースフォロア動作により、ＷＸに応じた信号電位を配線２１２に出力することができる。
時刻Ｔ１０に、配線１２７の電位を“Ｌ”、配線２１３の電位を“Ｌ”、配線２１４の電位を“Ｌ”、配線２１５の電位を“Ｌ”とし、読み出し動作を終了する。
上記動作によって回路２４０から出力されるＷＸは、回路３０１に入力することができる。
なお、上記ではノードＰ１およびノードＰ２に同時性のあるデータを書き込み、当該データに従ったデータを抽出する例を示したが、ノードＰ１およびノードＰ２のデータに時差があってもよい。例えば、第１のフレームのデータをノードＰ１に書き込み、第２のフレームのデータをノードＰ２に書き込むことで、運動視差を含む情報を抽出することができる。運動視差からは奥行（距離）の情報を得ることができ、立体映像を構成することができる。
＜回路３０１、３０２＞
図７Ａは、回路２４０と接続する回路３０１および回路３０２を説明する図である。回路２４０から出力される積和演算結果のデータは、回路３０１に順次入力される。回路３０１は、様々な演算機能を有していてもよい。または、回路３０１の機能をソフトウェア処理で代替えしてもよい。
例えば、回路３０１は、活性化関数の演算を行う回路を有することができる。当該回路には、例えばコンパレータ回路を用いることができる。コンパレータ回路では、入力されたデータと、設定されたしきい値とを比較した結果を２値データとして出力する。すなわち、画素ブロック２００および回路３０１は、ニューラルネットワークの一部の要素として作用することができる。
また、回路３０１はＡ／Ｄコンバータを有していてもよい。積和演算などを行わず、画像データを外部に出力するときは、回路３０１でアナログデータをデジタルデータに変換することができる。例えば、図４Ａに示す回路１０ａおよび回路１０ｂが配線ＯＵＴを介して回路３０１と電気的に接続することができる。
また、画素ブロック２００が出力するデータは複数ビットの画像データに相当するが、回路３０１で２値化できる場合は、画像データを圧縮しているともいえる。
回路３０１から出力されたデータは、回路３０２に順次入力される。回路３０２は、例えばラッチ回路およびシフトレジスタなどを有する構成とすることができる。当該構成によって、パラレルシリアル変換を行うことができ、並行して入力されたデータを配線３１１にシリアルデータとして出力することができる。配線３１１の接続先は限定されない。例えば、ニューラルネットワーク、記憶装置、通信装置などと接続することができる。
また、図７Ｂに示すように、回路３０２はニューラルネットワークを有していてもよい。当該ニューラルネットワークは、マトリクス状に配置されたメモリセルを有し、各メモリセルには重み係数が保持されている。回路３０１から出力されたデータはメモリセル３２０にそれぞれ入力され、積和演算を行うことができる。なお、図７Ｂに示すメモリセルの数は一例であり、限定されない。
図７Ｂに示すニューラルネットワークは、マトリクス状に設置されたメモリセル３２０および参照メモリセル３２５と、回路３３０と、回路３５０と、回路３６０と、回路３７０を有する。
図８にメモリセル３２０および参照メモリセル３２５の一例を示す。参照メモリセル３２５は、任意の一列に設けられる。メモリセル３２０および参照メモリセル３２５は同様の構成を有し、トランジスタ１６１と、トランジスタ１６２と、キャパシタ１６３と、を有する。
トランジスタ１６１のソースまたはドレインの一方は、トランジスタ１６２のゲートと電気的に接続される。トランジスタ１６２のゲートは、キャパシタ１６３の一方の電極と電気的に接続される。ここで、トランジスタ１６１のソースまたはドレインの一方、トランジスタ１６２のゲート、キャパシタ１６３の一方の電極が接続される点をノードＮＭとする。
トランジスタ１６１のゲートは、配線ＷＬと電気的に接続される。キャパシタ１６３の他方の電極は、配線ＲＷと電気的に接続される。トランジスタ１６２のソースまたはドレインの一方は、ＧＮＤ配線等の基準電位配線と電気的に接続される。
メモリセル３２０において、トランジスタ１６１のソースまたはドレインの他方は、配線ＷＤと電気的に接続される。トランジスタ１６２のソースまたはドレインの他方は、配線ＢＬと電気的に接続される。
参照メモリセル３２５において、トランジスタ１６１のソースまたはドレインの他方は、配線ＷＤｒｅｆと電気的に接続される。トランジスタ１６２のソースまたはドレインの他方は、配線ＢＬｒｅｆと電気的に接続される。
配線ＷＬは、回路３３０と電気的に接続される。回路３３０にはデコーダまたはシフトレジスタなどを用いることができる。
配線ＲＷは、回路３０１と電気的に接続される。各メモリセルには、回路３０１から出力された２値のデータが書き込まれる。なお、回路３０１と各メモリセルとの間にシフトレジスタなどの順序回路を有していてもよい。
配線ＷＤおよび配線ＷＤｒｅｆは、回路３５０と電気的に接続される。回路３５０には、デコーダまたはシフトレジスタなどを用いることができる。また、回路３５０は、Ｄ／ＡコンバータおよびＳＲＡＭを有していてもよい。回路３５０は、ノードＮＭに書き込まれる重み係数を出力することができる。
配線ＢＬおよび配線ＢＬｒｅｆは、回路３６０と電気的に接続される。回路３６０は、回路２４０と同等の構成とすることができる。回路３６０により、積和演算結果からオフセット成分を除いた信号を得ることができる。
回路３６０は、回路３７０と電気的に接続される。回路３７０は、活性化関数回路とも換言できる。活性化関数回路は、回路３６０から入力された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数としては、例えば、シグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、しきい値関数などを用いることができる。活性化関数回路によって変換された信号は、出力データとして外部に出力される。
図９Ａに示すように、ニューラルネットワークＮＮは、入力層ＩＬ、出力層ＯＬ、中間層（隠れ層）ＨＬによって構成することができる。入力層ＩＬ、出力層ＯＬ、中間層ＨＬは、それぞれ１または複数のニューロン（ユニット）を有する。なお、中間層ＨＬは１層であってもよいし２層以上であってもよい。２層以上の中間層ＨＬを有するニューラルネットワークはＤＮＮ（ディープニューラルネットワーク）と呼ぶこともできる。また、ディープニューラルネットワークを用いた学習は、深層学習と呼ぶこともできる。
入力層ＩＬの各ニューロンには、入力データが入力される。中間層ＨＬの各ニューロンには、前層または後層のニューロンの出力信号が入力される。出力層ＯＬの各ニューロンには、前層のニューロンの出力信号が入力される。なお、各ニューロンは、前後の層の全てのニューロンと結合されていてもよいし（全結合）、一部のニューロンと結合されていてもよい。
図９Ｂに、ニューロンによる演算の例を示す。ここでは、ニューロンＮと、ニューロンＮに信号を出力する前層の２つのニューロンを示している。ニューロンＮには、前層のニューロンの出力ｘ１と、前層のニューロンの出力ｘ２が入力される。そして、ニューロンＮにおいて、出力ｘ１と重みｗ１の乗算結果（ｘ１ｗ１）と出力ｘ２と重みｗ２の乗算結果（ｘ２ｗ２）の総和ｘ１ｗ１＋ｘ２ｗ２が計算された後、必要に応じてバイアスｂが加算され、値ａ＝ｘ１ｗ１＋ｘ２ｗ２＋ｂが得られる。そして、値ａは活性化関数ｈによって変換され、ニューロンＮから出力信号ｙ＝ａｈが出力される。
このように、ニューロンによる演算には、前層のニューロンの出力と重みの積を足し合わせる演算、すなわち積和演算が含まれる（上記のｘ１ｗ１＋ｘ２ｗ２）。この積和演算は、プログラムを用いてソフトウェア上で行ってもよいし、ハードウェアによって行われてもよい。
本発明の一態様では、ハードウェアとしてアナログ回路を用いて積和演算を行う。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、または、メモリへのアクセス回数の減少による処理速度の向上および消費電力の低減を図ることができる。
積和演算回路は、ＯＳトランジスタを有する構成とすることが好ましい。ＯＳトランジスタはオフ電流が極めて小さいため、積和演算回路のアナログメモリを構成するトランジスタとして好適である。なお、ＳｉトランジスタとＯＳトランジスタの両方を用いて積和演算回路を構成してもよい。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
（実施の形態２）
本実施の形態では、本発明の一態様の撮像装置の構造例などについて説明する。
＜構造例＞
図１０Ａは、撮像装置の画素の構造の一例を示す図であり、層５６１および層５６３の積層構造とすることができる。
層５６１は、光電変換デバイス１０１を有する。光電変換デバイス１０１は、図１１Ａに示すように層５６５ａと、層５６５ｂを有することができる。なお、場合によって、層を領域と言い換えてもよい。
図１１Ａに示す光電変換デバイス１０１はｐｎ接合型フォトダイオードであり、例えば、層５６５ａにｐ型半導体、層５６５ｂにｎ型半導体を用いることができる。または、層５６５ａにｎ型半導体、層５６５ｂにｐ型半導体用いてもよい。
上記ｐｎ接合型フォトダイオードは、代表的には単結晶シリコンを用いて形成することができる。単結晶シリコンを光電変換層とするフォトダイオードは、紫外光から近赤外光まで比較的広い分光感度特性を有し、後述する光学変換層と組み合わせることで、様々な波長の光を検出することができる。
そのほか、ｐｎ接合型フォトダイオードの光電変換層として、化合物半導体を用いてもよい。当該化合物半導体としては、例えば、ガリウム−ヒ素−リン化合物（ＧａＡｓＰ）、ガリウム−リン化合物（ＧａＰ）、インジウム−ガリウム−ヒ素化合物（ＩｎＧａＡｓ）、鉛−硫黄化合物（ＰｂＳ）、鉛−セレン化合物（ＰｂＳｅ）、インジウム−ヒ素化合物（ＩｎＡｓ）、インジウム−アンチモン化合物（ＩｎＳｂ）、水銀−カドミウム−テルル化合物（ＨｇＣｄＴｅ）などを用いることができる。
化合物半導体としては、１３族元素（アルミニウム、ガリウム、インジウムなど）および１５族元素（窒素、リン、ヒ素、アンチモンなど）を有する化合物半導体（３−５族化合物半導体とも言う）、または、１２族元素（マグネシウム、亜鉛、カドミウム、水銀など）および１６族元素（酸素、硫黄、セレン、テルルなど）を有する化合物半導体（２−６族化合物半導体とも言う）であることが好ましい。
化合物半導体は、構成元素の組み合わせおよびその原子数比に応じてバンドギャップを変化させることができるため、紫外光から赤外光まで様々な波長範囲に感度を有するフォトダイオードを形成することができる。
なお、紫外光の波長は、０．０１μｍ近傍乃至０．３８μｍ近傍、可視光の波長は、０．３８μｍ近傍乃至０．７５μｍ近傍、近赤外光の波長は、０．７５μｍ近傍乃至２．５μｍ近傍）、中赤外光の波長は、２．５μｍ近傍乃至４μｍ近傍、遠赤外光の波長は、４μｍ近傍乃至１０００μｍ近傍、と一般的に定義することができる。
例えば、紫外光から可視光にかけて光感度を有するフォトダイオードを形成するには、光電変換層にＧａＰなどを用いることができる。また、紫外光から近赤外光にかけて光感度を有するフォトダイオードを形成するには、光電変換層に前述したシリコンまたはＧａＡｓＰなどを用いることができる。また、可視光から中赤外光にかけて光感度を有するフォトダイオードを形成するには、光電変換層にＩｎＧａＡｓなどを用いることができる。また、近赤外光から中赤外光にかけて光感度を有するフォトダイオードを形成するには、光電変換層にＰｂＳまたはＩｎＡｓなどを用いることができる。また、中赤外光から遠赤外光にかけて光感度を有するフォトダイオードを形成するには、光電変換層にＰｂＳｅ、ＩｎＳｂまたはＨｇＣｄＴｅなどを用いることができる。
なお、上記化合物半導体を用いたフォトダイオードは、ｐｎ接合だけでなく、ｐｉｎ接合であってもよい。また、ｐｎ接合およびｐｉｎ接合は、ホモ接合構造に限らず、ヘテロ接合構造であってもよい。
例えば、ヘテロ接合では、ｐｎ接合構造の一方の層に第１の化合物半導体を用い、他方の層に第１の化合物半導体とは異なる第２の化合物半導体を用いることができる。また、ｐｉｎ接合構造のいずれか１層または２層に第１の化合物半導体を用い、その他の層に第１の化合物半導体とは異なる第２の化合物半導体を用いることができる。なお、第１の化合物半導体または第２の化合物半導体の一方は、シリコンなどの単体の半導体であってもよい。
なお、画素毎に異なる材料を用いて、フォトダイオードの光電変換層を形成してもよい。当該構成を用いることで、紫外光を検出する画素。可視光を検出する画素、赤外光を検出する画素などのいずれか２種類の画素、または３種類の画素を有する撮像装置を形成することができる。
また、層５６１が有する光電変換デバイス１０１は、図１１Ｂに示すように、層５６６ａと、層５６６ｂと、層５６６ｃと、層５６６ｄとの積層としてもよい。図１１Ｂに示す光電変換デバイス１０１はアバランシェフォトダイオードの一例であり、層５６６ａ、層５６６ｄは電極に相当し、層５６６ｂ、５６６ｃは光電変換部に相当する。
層５６６ａは、低抵抗の金属層などとすることが好ましい。例えば、アルミニウム、チタン、タングステン、タンタル、銀またはそれらの積層を用いることができる。
層５６６ｄは、可視光に対して高い透光性を有する導電層を用いることが好ましい。例えば、インジウム酸化物、錫酸化物、亜鉛酸化物、インジウム−錫酸化物、ガリウム−亜鉛酸化物、インジウム−ガリウム−亜鉛酸化物、またはグラフェンなどを用いることができる。なお、層５６６ｄを省く構成とすることもできる。
光電変換部の層５６６ｂ、５６６ｃは、例えばセレン系材料を光電変換層としたｐｎ接合型フォトダイオードの構成とするができる。層５６６ｂとしてはｐ型半導体であるセレン系材料を用い、層５６６ｃとしてはｎ型半導体であるガリウム酸化物などを用いることが好ましい。
セレン系材料を用いた光電変換デバイスは、可視光に対する外部量子効率が高い特性を有する。当該光電変換デバイスでは、アバランシェ増倍を利用することにより、入射される光の量に対する電子の増幅を大きくすることができる。また、セレン系材料は光吸収係数が高いため、光電変換層を薄膜で作製できるなどの生産上の利点を有する。セレン系材料の薄膜は、真空蒸着法またはスパッタ法などを用いて形成することができる。
セレン系材料としては、結晶性セレン（単結晶セレン、多結晶セレン）、非晶質セレンを用いることができる。これらは、紫外光から可視光にかけて光感度を有する。また、銅、インジウム、セレンの化合物（ＣＩＳ）、または、銅、インジウム、ガリウム、セレンの化合物（ＣＩＧＳ）などを用いることができる。これらは、紫外光から近赤外光にかけて光感度を有する。
ｎ型半導体は、バンドギャップが広く、可視光に対して透光性を有する材料で形成することが好ましい。例えば、亜鉛酸化物、ガリウム酸化物、インジウム酸化物、錫酸化物、またはそれらが混在した酸化物などを用いることができる。また、これらの材料は正孔注入阻止層としての機能も有し、暗電流を小さくすることもできる。
また、層５６１が有する光電変換デバイス１０１は、図１１Ｃに示すように、層５６７ａと、層５６７ｂと、層５６７ｃと、層５６７ｄと、層５６７ｅとの積層としてもよい。図１１Ｃに示す光電変換デバイス１０１は有機光導電膜の一例であり、層５６７ａは下部電極、層５６７ｅは透光性を有する上部電極であり、層５６７ｂ、５６７ｃ、５６７ｄは光電変換部に相当する。
光電変換部の層５６７ｂ、５６７ｄのいずれか一方はホール輸送層、他方は電子輸送層とすることができる。また、層５６７ｃは光電変換層とすることができる。
ホール輸送層としては、例えば酸化モリブデンなどを用いることができる。電子輸送層としては、例えば、Ｃ６０、Ｃ７０などのフラーレン、またはそれらの誘導体などを用いることができる。
光電変換層としては、ｎ型有機半導体およびｐ型有機半導体の混合層（バルクヘテロ接合構造）を用いることができる。有機半導体には様々な種類があり、目的の波長に光感度を有する材料を光電変換層に選べばよい。
図１０Ａに示す層５６３としては、例えばシリコン基板を用いることができる。当該シリコン基板は、Ｓｉトランジスタ等を有する。当該Ｓｉトランジスタを用いて、画素回路の他、当該画素回路を駆動する回路、画像信号の読み出し回路、画像処理回路、ニューラルネットワーク、通信回路等を形成することができる。また、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの記憶回路、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＣＵ（Ｍｉｃｒｏ　Ｃｏｎｔｒｏｌｌｅｒ　Ｕｎｉｔ）などを形成してもよい。なお、画素回路を除く上記回路を本実施の形態では、機能回路と呼ぶ。
例えば、実施の形態１で説明した画素回路（画素１００）および機能回路（回路２２０、３０１、３０２、３０３、３０４、３０５など）が有するトランジスタにおいて、その一部または全てを層５６３に設けることができる。
また、層５６３は、図１０Ｂに示すように複数の層の積層であってもよい。図１０Ｂでは、層５６３ａ、５６３ｂ、５６３ｃの三層を例示しているが、二層であってもよい。または、層５６３は四層以上の積層であってもよい。これらの層は、例えば貼り合わせ工程などを用いて積層することができる。当該構成とすることで、画素回路と機能回路を複数の層に分散させ、画素回路と機能回路を重ねて設けることができるため、小型で高機能の撮像装置を作製することができる。
また、画素は、図１０Ｃに示すように層５６１、層５６２および層５６３の積層構造を有していてもよい。
層５６２は、ＯＳトランジスタを有することができる。前述した機能回路の一つ以上をＯＳトランジスタで形成してもよい。または、層５６３が有するＳｉトランジスタと層５６２が有するＯＳトランジスタを用いて、機能回路の一つ以上を形成してもよい。または、層５６３をガラス基板などの支持基板とし、層５６２が有するＯＳトランジスタで機能回路を形成してもよい。
例えば、ＯＳトランジスタおよびＳｉトランジスタを用いて、ノーマリーオフＣＰＵ（「Ｎｏｆｆ−ＣＰＵ」ともいう）を実現することができる。なお、Ｎｏｆｆ−ＣＰＵとは、ゲート電圧が０Ｖであっても非導通状態（オフ状態ともいう）であるノーマリーオフ型のトランジスタを含む集積回路である。
Ｎｏｆｆ−ＣＰＵは、Ｎｏｆｆ−ＣＰＵ内の動作不要な回路への電力供給を停止し、当該回路を待機状態にすることができる。電力供給が停止され、待機状態になった回路では電力が消費されない。よって、Ｎｏｆｆ−ＣＰＵは、電力使用量を最小限にすることができる。また、Ｎｏｆｆ−ＣＰＵは、電力供給が停止されても設定条件などの動作に必要な情報を長期間保持することができる。待機状態からの復帰は当該回路への電力供給を再開するだけでよく、設定条件などの再書き込みが不要である。すなわち、待機状態からの高速復帰が可能である。このように、Ｎｏｆｆ−ＣＰＵは、動作速度を大きく落とすことなく消費電力を低減できる。
また、層５６２は、図１０Ｄに示すように複数の層の積層であってもよい。図１０Ｄでは、層５６２ａ、５６３ｂの二層を例示しているが、三層以上の積層であってもよい。これらの層は、例えば層５６３上に積み上げるように形成することができる。または、層５６３上に形成した層と、層５６１上に形成した層とを貼り合わせて形成してもよい。
ＯＳトランジスタに用いる半導体材料としては、エネルギーギャップが２ｅＶ以上、好ましくは２．５ｅＶ以上、より好ましくは３ｅＶ以上である金属酸化物を用いることができる。代表的には、インジウムを含む酸化物半導体などであり、例えば、後述するＣＡＡＣ−ＯＳまたはＣＡＣ−ＯＳなどを用いることができる。ＣＡＡＣ−ＯＳは結晶を構成する原子が安定であり、信頼性を重視するトランジスタなどに適する。また、ＣＡＣ−ＯＳは、高移動度特性を示すため、高速駆動を行うトランジスタなどに適する。
ＯＳトランジスタは半導体層のエネルギーギャップが大きいため、数ｙＡ／μｍ（チャネル幅１μｍあたりの電流値）という極めて低いオフ電流特性を示す。また、ＯＳトランジスタは、インパクトイオン化、アバランシェ降伏、および短チャネル効果などが生じないなどＳｉトランジスタとは異なる特徴を有し、高耐圧で信頼性の高い回路を形成することができる。また、Ｓｉトランジスタでは問題となる結晶性の不均一性に起因する電気特性のばらつきもＯＳトランジスタでは生じにくい。
ＯＳトランジスタが有する半導体層は、例えばインジウム、亜鉛およびＭ（アルミニウム、チタン、ガリウム、ゲルマニウム、イットリウム、ジルコニウム、ランタン、セリウム、スズ、ネオジムまたはハフニウム等の金属から選ばれた一つ、または複数）を含むＩｎ−Ｍ−Ｚｎ系酸化物で表記される膜とすることができる。Ｉｎ−Ｍ−Ｚｎ系酸化物は、代表的には、スパッタリング法で形成することができる。または、ＡＬＤ（Ａｔｏｍｉｃ　ｌａｙｅｒ　ｄｅｐｏｓｉｔｉｏｎ）法を用いて形成してもよい。
Ｉｎ−Ｍ−Ｚｎ系酸化物をスパッタリング法で形成するために用いるスパッタリングターゲットの金属元素の原子数比は、Ｉｎ≧Ｍ、Ｚｎ≧Ｍを満たすことが好ましい。このようなスパッタリングターゲットの金属元素の原子数比として、Ｉｎ：Ｍ：Ｚｎ＝１：１：１、Ｉｎ：Ｍ：Ｚｎ＝１：１：１．２、Ｉｎ：Ｍ：Ｚｎ＝３：１：２、Ｉｎ：Ｍ：Ｚｎ＝４：２：３、Ｉｎ：Ｍ：Ｚｎ＝４：２：４．１、Ｉｎ：Ｍ：Ｚｎ＝５：１：６、Ｉｎ：Ｍ：Ｚｎ＝５：１：７、Ｉｎ：Ｍ：Ｚｎ＝５：１：８等が好ましい。なお、成膜される半導体層の原子数比はそれぞれ、上記のスパッタリングターゲットに含まれる金属元素の原子数比のプラスマイナス４０％の変動を含む。
半導体層としては、キャリア密度の低い酸化物半導体を用いる。例えば、半導体層は、キャリア密度が１×１０１７／ｃｍ３以下、好ましくは１×１０１５／ｃｍ３以下、さらに好ましくは１×１０１３／ｃｍ３以下、より好ましくは１×１０１１／ｃｍ３以下、さらに好ましくは１×１０１０／ｃｍ３未満であり、１×１０−９／ｃｍ３以上のキャリア密度の酸化物半導体を用いることができる。そのような酸化物半導体を、高純度真性または実質的に高純度真性な酸化物半導体と呼ぶ。当該酸化物半導体は欠陥準位密度が低く、安定な特性を有する酸化物半導体であるといえる。
なお、これらに限られず、必要とするトランジスタの半導体特性および電気特性（電界効果移動度、しきい値電圧等）に応じて適切な組成のものを用いればよい。また、必要とするトランジスタの半導体特性を得るために、半導体層のキャリア密度、不純物濃度、欠陥密度、金属元素と酸素の原子数比、原子間距離、密度等を適切なものとすることが好ましい。
半導体層を構成する酸化物半導体において、第１４族元素の一つであるシリコンまたは炭素が含まれると、酸素欠損が増加し、ｎ型化してしまう。このため、半導体層におけるシリコンまたは炭素の濃度（二次イオン質量分析法により得られる濃度）を、２×１０１８ａｔｏｍｓ／ｃｍ３以下、好ましくは２×１０１７ａｔｏｍｓ／ｃｍ３以下とする。
また、アルカリ金属およびアルカリ土類金属は、酸化物半導体と結合するとキャリアを生成する場合があり、トランジスタのオフ電流が増大してしまうことがある。このため、半導体層におけるアルカリ金属またはアルカリ土類金属の濃度（二次イオン質量分析法により得られる濃度）を、１×１０１８ａｔｏｍｓ／ｃｍ３以下、好ましくは２×１０１６ａｔｏｍｓ／ｃｍ３以下にする。
また、半導体層を構成する酸化物半導体に窒素が含まれていると、キャリアである電子が生じてキャリア密度が増加し、ｎ型化しやすい。この結果、窒素が含まれている酸化物半導体を用いたトランジスタはノーマリーオン特性となりやすい。このため半導体層における窒素濃度（二次イオン質量分析法により得られる濃度）は、５×１０１８ａｔｏｍｓ／ｃｍ３以下にすることが好ましい。
また、半導体層を構成する酸化物半導体に水素が含まれていると、金属原子と結合する酸素と反応して水になるため、酸化物半導体中に酸素欠損を形成する場合がある。酸化物半導体中のチャネル形成領域に酸素欠損が含まれていると、トランジスタはノーマリーオン特性となる場合がある。さらに、酸素欠損に水素が入った欠陥はドナーとして機能し、キャリアである電子が生成されることがある。また、水素の一部が金属原子と結合する酸素と結合して、キャリアである電子を生成する場合がある。したがって、水素が多く含まれている酸化物半導体を用いたトランジスタは、ノーマリーオン特性となりやすい。
酸素欠損に水素が入った欠陥は、酸化物半導体のドナーとして機能しうる。しかしながら、当該欠陥を定量的に評価することは困難である。そこで、酸化物半導体においては、ドナー濃度ではなく、キャリア濃度で評価される場合がある。よって、本明細書等では、酸化物半導体のパラメータとして、ドナー濃度ではなく、電界が印加されない状態を想定したキャリア濃度を用いる場合がある。つまり、本明細書等に記載の「キャリア濃度」は、「ドナー濃度」と言い換えることができる場合がある。
よって、酸化物半導体中の水素はできる限り低減されていることが好ましい。具体的には、酸化物半導体において、二次イオン質量分析法（ＳＩＭＳ：Ｓｅｃｏｎｄａｒｙ　Ｉｏｎ　Ｍａｓｓ　Ｓｐｅｃｔｒｏｍｅｔｒｙ）により得られる水素濃度を、１×１０２０ａｔｏｍｓ／ｃｍ３未満、好ましくは１×１０１９ａｔｏｍｓ／ｃｍ３未満、より好ましくは５×１０１８ａｔｏｍｓ／ｃｍ３未満、さらに好ましくは１×１０１８ａｔｏｍｓ／ｃｍ３未満とする。水素などの不純物が十分に低減された酸化物半導体をトランジスタのチャネル形成領域に用いることで、安定した電気特性を付与することができる。
また、半導体層は、例えば非単結晶構造でもよい。非単結晶構造は、例えば、ｃ軸に配向した結晶を有するＣＡＡＣ−ＯＳ（Ｃ−Ａｘｉｓ　Ａｌｉｇｎｅｄ　Ｃｒｙｓｔａｌｌｉｎｅ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、多結晶構造、微結晶構造、または非晶質構造を含む。非単結晶構造において、非晶質構造は最も欠陥準位密度が高く、ＣＡＡＣ−ＯＳは最も欠陥準位密度が低い。
非晶質構造の酸化物半導体膜は、例えば、原子配列が無秩序であり、結晶成分を有さない。または、非晶質構造の酸化物膜は、例えば、完全な非晶質構造であり、結晶部を有さない。
なお、半導体層が、非晶質構造の領域、微結晶構造の領域、多結晶構造の領域、ＣＡＡＣ−ＯＳの領域、単結晶構造の領域のうち、二種以上を有する混合膜であってもよい。混合膜は、例えば上述した領域のうち、いずれか二種以上の領域を含む単層構造、または積層構造を有する場合がある。
以下では、非単結晶の半導体層の一態様であるＣＡＣ（Ｃｌｏｕｄ−Ａｌｉｇｎｅｄ　Ｃｏｍｐｏｓｉｔｅ）−ＯＳの構成について説明する。
ＣＡＣ−ＯＳとは、例えば、酸化物半導体を構成する元素が、０．５ｎｍ以上１０ｎｍ以下、好ましくは、１ｎｍ以上２ｎｍ以下、またはその近傍のサイズで偏在した材料の一構成である。なお、以下では、酸化物半導体において、一つあるいはそれ以上の金属元素が偏在し、該金属元素を有する領域が、０．５ｎｍ以上１０ｎｍ以下、好ましくは、１ｎｍ以上２ｎｍ以下、またはその近傍のサイズで混合した状態をモザイク状、またはパッチ状ともいう。
なお、酸化物半導体は、少なくともインジウムを含むことが好ましい。特にインジウムおよび亜鉛を含むことが好ましい。また、それらに加えて、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種が含まれていてもよい。
例えば、Ｉｎ−Ｇａ−Ｚｎ酸化物におけるＣＡＣ−ＯＳ（ＣＡＣ−ＯＳの中でもＩｎ−Ｇａ−Ｚｎ酸化物を、特にＣＡＣ−ＩＧＺＯと呼称してもよい。）とは、インジウム酸化物（以下、ＩｎＯＸ１（Ｘ１は０よりも大きい実数）とする。）、またはインジウム亜鉛酸化物（以下、ＩｎＸ２ＺｎＹ２ＯＺ２（Ｘ２、Ｙ２、およびＺ２は０よりも大きい実数）とする。）と、ガリウム酸化物（以下、ＧａＯＸ３（Ｘ３は０よりも大きい実数）とする。）、またはガリウム亜鉛酸化物（以下、ＧａＸ４ＺｎＹ４ＯＺ４（Ｘ４、Ｙ４、およびＺ４は０よりも大きい実数）とする。）などと、に材料が分離することでモザイク状となり、モザイク状のＩｎＯＸ１、またはＩｎＸ２ＺｎＹ２ＯＺ２が、膜中に均一に分布した構成（以下、クラウド状ともいう。）である。
つまり、ＣＡＣ−ＯＳは、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とが、混合している構成を有する複合酸化物半導体である。なお、本明細書において、例えば、第１の領域の元素Ｍに対するＩｎの原子数比が、第２の領域の元素Ｍに対するＩｎの原子数比よりも大きいことを、第１の領域は、第２の領域と比較して、Ｉｎの濃度が高いとする。
なお、ＩＧＺＯは通称であり、Ｉｎ、Ｇａ、Ｚｎ、およびＯによる１つの化合物をいう場合がある。代表例として、ＩｎＧａＯ３（ＺｎＯ）ｍ１（ｍ１は自然数）、またはＩｎ（１＋ｘ０）Ｇａ（１−ｘ０）Ｏ３（ＺｎＯ）ｍ０（−１≦ｘ０≦１、ｍ０は任意数）で表される結晶性の化合物が挙げられる。
上記結晶性の化合物は、単結晶構造、多結晶構造、またはＣＡＡＣ構造を有する。なお、ＣＡＡＣ構造とは、複数のＩＧＺＯのナノ結晶がｃ軸配向を有し、かつａ−ｂ面においては配向せずに連結した結晶構造である。
一方、ＣＡＣ−ＯＳは、酸化物半導体の材料構成に関する。ＣＡＣ−ＯＳとは、Ｉｎ、Ｇａ、Ｚｎ、およびＯを含む材料構成において、一部にＧａを主成分とするナノ粒子状に観察される領域と、一部にＩｎを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。したがって、ＣＡＣ−ＯＳにおいて、結晶構造は副次的な要素である。
なお、ＣＡＣ−ＯＳは、組成の異なる二種類以上の膜の積層構造は含まないものとする。例えば、Ｉｎを主成分とする膜と、Ｇａを主成分とする膜との２層からなる構造は、含まない。
なお、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とは、明確な境界が観察できない場合がある。
なお、ガリウムの代わりに、アルミニウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種が含まれている場合、ＣＡＣ−ＯＳは、一部に該金属元素を主成分とするナノ粒子状に観察される領域と、一部にＩｎを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。
ＣＡＣ−ＯＳは、例えば基板を意図的に加熱しない条件で、スパッタリング法により形成することができる。また、ＣＡＣ−ＯＳをスパッタリング法で形成する場合、成膜ガスとして、不活性ガス（代表的にはアルゴン）、酸素ガス、および窒素ガスの中から選ばれたいずれか一つまたは複数を用いればよい。また、成膜時の成膜ガスの総流量に対する酸素ガスの流量比は低いほど好ましく、例えば酸素ガスの流量比を０％以上３０％未満、好ましくは０％以上１０％以下とすることが好ましい。
ＣＡＣ−ＯＳは、Ｘ線回折（ＸＲＤ：Ｘ−ｒａｙ　ｄｉｆｆｒａｃｔｉｏｎ）測定法のひとつであるＯｕｔ−ｏｆ−ｐｌａｎｅ法によるθ／２θスキャンを用いて測定したときに、明確なピークが観察されないという特徴を有する。すなわち、Ｘ線回折測定から、測定領域のａ−ｂ面方向、およびｃ軸方向の配向は見られないことが分かる。
また、ＣＡＣ−ＯＳは、プローブ径が１ｎｍの電子線（ナノビーム電子線ともいう。）を照射することで得られる電子線回折パターンにおいて、リング状に輝度の高い領域（リング領域）と、該リング領域に複数の輝点が観測される。したがって、電子線回折パターンから、ＣＡＣ−ＯＳの結晶構造が、平面方向、および断面方向において、配向性を有さないｎｃ（ｎａｎｏ−ｃｒｙｓｔａｌ）構造を有することがわかる。
また、例えば、Ｉｎ−Ｇａ−Ｚｎ酸化物におけるＣＡＣ−ＯＳでは、エネルギー分散型Ｘ線分光法（ＥＤＸ：Ｅｎｅｒｇｙ　Ｄｉｓｐｅｒｓｉｖｅ　Ｘ−ｒａｙ　ｓｐｅｃｔｒｏｓｃｏｐｙ）を用いて取得したＥＤＸマッピングにより、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とが、偏在し、混合している構造を有することが確認できる。
ＣＡＣ−ＯＳは、金属元素が均一に分布したＩＧＺＯ化合物とは異なる構造であり、ＩＧＺＯ化合物と異なる性質を有する。つまり、ＣＡＣ−ＯＳは、ＧａＯＸ３などが主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域と、に互いに相分離し、各元素を主成分とする領域がモザイク状である構造を有する。
ここで、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域は、ＧａＯＸ３などが主成分である領域と比較して、導電性が高い領域である。つまり、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域を、キャリアが流れることにより、酸化物半導体としての導電性が発現する。したがって、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域が、酸化物半導体中にクラウド状に分布することで、高い電界効果移動度（μ）が実現できる。
一方、ＧａＯＸ３などが主成分である領域は、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域と比較して、絶縁性が高い領域である。つまり、ＧａＯＸ３などが主成分である領域が、酸化物半導体中に分布することで、リーク電流を抑制し、良好なスイッチング動作を実現できる。
したがって、ＣＡＣ−ＯＳを半導体素子に用いた場合、ＧａＯＸ３などに起因する絶縁性と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１に起因する導電性とが、相補的に作用することにより、高いオン電流（Ｉｏｎ）、および高い電界効果移動度（μ）を実現することができる。
また、ＣＡＣ−ＯＳを用いた半導体素子は、信頼性が高い。したがって、ＣＡＣ−ＯＳは、様々な半導体装置の構成材料として適している。
＜積層構造１＞
次に、撮像装置の積層構造について、断面図を用いて説明する。なお、以下に示す絶縁層および導電層などの要素は一例であり、さらに他の要素が含まれていてもよい。または、以下に示す要素の一部が省かれていてもよい。また、以下に示す積層構造は、必要に応じて、貼り合わせ工程、研磨工程などを用いて形成することができる。
図１２は、層５６０、５６１、層５６３を有し、層５６３を構成する層５６３ａと層５６３ｂの間に貼り合わせ面を有する積層体の断面図の一例である。
＜層５６３ｂ＞
層５６３ｂは、シリコン基板６１１に設けられた機能回路を有することができる。ここでは、機能回路の一部として、回路２０が有するトランジスタ１０５、トランジスタ１０８およびトランジスタ１３１を示している。
層５６３ｂには、シリコン基板６１１、絶縁層６１２、６１３、６１４、６１６、６１７、６１８が設けられる。絶縁層６１２は保護膜としての機能を有する。絶縁層６１３、６１３、６１６、６１７は、層間絶縁膜および平坦化膜としての機能を有する。絶縁層６１８および導電層６１９は、貼り合わせ層としての機能を有する。導電層６１９は、トランジスタ１０５のゲートと電気的に接続される。
保護膜としては、例えば、窒化シリコン膜、酸化シリコン膜、酸化アルミニウム膜などを用いることができる。層間絶縁膜および平坦化膜としては、例えば、酸化シリコン膜などの無機絶縁膜、アクリル樹脂、ポリイミド樹脂などの有機絶縁膜を用いることができる。キャパシタの誘電体層としては、窒化シリコン膜、酸化シリコン膜、酸化アルミニウム膜などを用いることができる。貼り合わせ層に関しては後述する。
なお、デバイス間の電気的な接続に用いられる配線、電極およびプラグとして用いることのできる導電体には、アルミニウム、クロム、銅、銀、金、白金、タンタル、ニッケル、チタン、モリブデン、タングステン、ハフニウム、バナジウム、ニオブ、マンガン、マグネシウム、ジルコニウム、ベリリウム、インジウム、ルテニウム、イリジウム、ストロンチウム、ランタンなどから選ばれた金属元素、または上述した金属元素を成分とする合金か、上述した金属元素を組み合わせた合金等を適宜選択して用いればよい。当該導電体は単層に限らず、異なる材料で構成された複数の層であってもよい。
＜層５６３ａ＞
層５６３ａは、画素１００の要素を有する。また、機能回路の要素を有していてもよい。ここでは、画素１００の要素の一部として、トランジスタ１０２を示している。また、機能回路の要素として、回路２０が有するトランジスタ１０４を示している。
層５６３ａには、シリコン基板６３２、絶縁層６３１、６３３、６３４、６３５、６３７、６３８が設けられる。また、導電層６３６、６３９が設けられる。
絶縁層６３１および導電層６３９は、貼り合わせ層としての機能を有する。絶縁層６３４、６３５、６３７は、層間絶縁膜および平坦化膜としての機能を有する。絶縁層６３３は、保護膜としての機能を有する。絶縁層６３８は、シリコン基板６３２と導電層６３９を絶縁する機能を有する。絶縁層６３８は、他の絶縁層と同様の材料で形成することができる。また、絶縁層６３８は、絶縁層６３１と同一の材料で形成されていてもよい。
導電層６３９は、トランジスタ１０５のソースまたはドレインの他方および導電層６１９と電気的に接続される。また、導電層６３６は、配線１１４（図３参照）と電気的に接続される。
図１２に示すＳｉトランジスタはシリコン基板（シリコン基板６１１、６３２）にチャネル形成領域を有するフィン型である。チャネル幅方向の断面（図１２の層５６３ａに示すＡ１−Ａ２の断面）を図１３Ａに示す。なお、Ｓｉトランジスタは、図１３Ｂに示すようにプレーナー型であってもよい。
または、図１３Ｃに示すように、シリコン薄膜の半導体層５４５を有するトランジスタであってもよい。半導体層５４５は、例えば、シリコン基板６１１上の絶縁層５４６上に形成された単結晶シリコン（ＳＯＩ（Ｓｉｌｉｃｏｎ　ｏｎ　Ｉｎｓｕｌａｔｏｒ））とすることができる。
＜層５６１＞
層５６１は、光電変換デバイス１０１を有する。光電変換デバイス１０１は、層５６３ａ上に形成することができる。図１２では、光電変換デバイス１０１として、図１１Ｃに示す有機光導電膜を光電変換層に用いた構成を示している。なお、ここでは、層５６７ａをカソード、層５６７ｅをアノードとする。
層５６１には、絶縁層６５１、６５２、６５３、６５４、および導電層６５５が設けられる。
絶縁層６５１、６５３、６５４は、層間絶縁膜および平坦化膜としての機能を有する。また、絶縁層６５４は光電変換デバイス１０１の端部を覆って設けられ、層５６７ｅと層５６７ａとの短絡を防止する機能も有する。絶縁層６５２は、素子分離層としての機能を有する。素子分離層としては、有機絶縁膜などを用いることが好ましい。
光電変換デバイス１０１のカソードに相当する層５６７ａは、層５６３ａが有するトランジスタ１０２のソースまたはドレインの一方と電気的に接続される。光電変換デバイス１０１のアノードに相当する層５６７ｅは、導電層６５５を介して、層５６３ａが有する導電層６３６と電気的に接続される。
＜層５６０＞
層５６０は、層５６１上に形成される。層５６０は、遮光層６７１、光学変換層６７２およびマイクロレンズアレイ６７３を有する。
遮光層６７１は、隣接する画素への光の流入を抑えることができる。遮光層６７１には、アルミニウム、タングステンなどの金属層を用いることができる。また、当該金属層と反射防止膜としての機能を有する誘電体膜を積層してもよい。
光電変換デバイス１０１が可視光に感度を有するとき、光学変換層６７２にカラーフィルタを用いることができる。カラーフィルタに（赤）、Ｇ（緑）、Ｂ（青）、Ｙ（黄）、Ｃ（シアン）、Ｍ（マゼンタ）などの色を画素別に割り当てることにより、カラー画像を得ることができる。例えば、図１９Ａの斜視図（断面を含む）に示すように、カラーフィルタ６７２Ｒ（赤）、カラーフィルタ６７２Ｇ（緑）、カラーフィルタ６７２Ｂ（青）をそれぞれ異なる画素に割り当てることができる。
また、適切な光電変換デバイス１０１と光学変換層６７２との組み合わせにおいて、光学変換層６７２に波長カットフィルタを用いれば、様々な波長領域における画像が得られる撮像装置とすることができる。
例えば、光学変換層６７２に可視光線の波長以下の光を遮る赤外線フィルタを用いれば、赤外線撮像装置とすることができる。また、光学変換層６７２に近赤外線の波長以下の光を遮るフィルタを用いれば、遠赤外線撮像装置とすることができる。また、光学変換層６７２に可視光線の波長以上の光を遮る紫外線フィルタを用いれば、紫外線撮像装置とすることができる。
なお、一つの撮像装置内に異なる光学変換層を複数配置してもよい。例えば、図１９Ｂに示すように、カラーフィルタ６７２Ｒ（赤）、カラーフィルタ６７２Ｇ（緑）、カラーフィルタ６７２Ｂ（青）、赤外線フィルタ６７２ＩＲをそれぞれ異なる画素に割り当てることができる。当該構成では、可視光画像および赤外光画像を同時に取得することができる。
または、図１９Ｃに示すように、カラーフィルタ６７２Ｒ（赤）、カラーフィルタ６７２Ｇ（緑）、カラーフィルタ６７２Ｂ（青）、紫外線フィルタ６７２ＵＶをそれぞれ異なる画素に割り当てることができる。当該構成では、可視光画像および紫外光画像を同時に取得することができる。
また、光学変換層６７２にシンチレータを用いれば、Ｘ線撮像装置などに用いる放射線の強弱を可視化した画像を得る撮像装置とすることができる。被写体を透過したＸ線等の放射線がシンチレータに入射されると、フォトルミネッセンス現象により可視光線または紫外光線などの光（蛍光）に変換される。そして、当該光を光電変換デバイス１０１で検知することにより画像データを取得する。また、放射線検出器などに当該構成の撮像装置を用いてもよい。
シンチレータは、Ｘ線またはガンマ線などの放射線が照射されると、そのエネルギーを吸収して可視光または紫外光を発する物質を含む。例えば、Ｇｄ２Ｏ２Ｓ：Ｔｂ、Ｇｄ２Ｏ２Ｓ：Ｐｒ、Ｇｄ２Ｏ２Ｓ：Ｅｕ、ＢａＦＣｌ：Ｅｕ、ＮａＩ、ＣｓＩ、ＣａＦ２、ＢａＦ２、ＣｅＦ３、ＬｉＦ、ＬｉＩ、ＺｎＯなどを樹脂またはセラミクスに分散させたものを用いることができる。
赤外光または紫外光による撮像を行うことで、検査機能、セキュリティ機能、センサ機能などを撮像装置に付与することができる。例えば、赤外光による撮像を行うことで、生産物の非破壊検査、農産物の選別（糖度計機能など）、静脈認証、医療検査などを行うことができる。また、紫外光による撮像を行うことで、光源または火炎から放出される紫外光を検出することができ、光源、熱源、生産装置等の管理などを行うことができる。
光学変換層６７２上にはマイクロレンズアレイ６７３が設けられる。マイクロレンズアレイ６７３が有する個々のレンズを通る光が直下の光学変換層６７２を通り、光電変換デバイス１０１に照射されるようになる。マイクロレンズアレイ６７３を設けることにより、集光した光を光電変換デバイス１０１に入射することができるため、効率よく光電変換を行うことができる。マイクロレンズアレイ６７３は、目的の波長の光に対して透光性の高い樹脂またはガラスなどで形成することが好ましい。
＜貼り合わせ＞
次に、層５６３ｂと層５６３ａの貼り合わせについて説明する。
層５６３ｂには、絶縁層６１８および導電層６１９が設けられる。導電層６１９は、絶縁層６１８に埋設された領域を有する。また、絶縁層６１８および導電層６１９の表面は、それぞれ高さが一致するように平坦化されている。
層５６３ａには、絶縁層６３１および導電層６３９が設けられる。導電層６３９は、絶縁層６３１に埋設された領域を有する。また、絶縁層６３１および導電層６３９の表面は、それぞれ高さが一致するように平坦化されている。
ここで、導電層６１９および導電層６３９は、主成分が同一の金属元素であることが好ましい。また、絶縁層６１８および絶縁層６３１は、同一の成分で構成されていることが好ましい。
例えば、導電層６１９、６３９には、Ｃｕ、Ａｌ、Ｓｎ、Ｚｎ、Ｗ、Ａｇ、ＰｔまたはＡｕなどを用いることができる。接合のしやすさから、好ましくはＣｕ、Ａｌ、Ｗ、またはＡｕを用いる。また、絶縁層６１８、６３１には、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、窒化チタンなどを用いることができる。
つまり、導電層６１９および導電層６３９のそれぞれに、上記に示す同一の金属材料を用いることが好ましい。また、絶縁層６１８および絶縁層６３１のそれぞれに、上記に示す同一の絶縁材料を用いることが好ましい。当該構成とすることで、層５６３ｂと層５６３ａの境を接合位置とする、貼り合わせを行うことができる。
なお、導電層６１９および導電層６３９は複数の層の多層構造であってもよく、その場合は、表層（接合面）が同一の金属材料であればよい。また、絶縁層６１８および絶縁層６３１も複数の層の多層構造であってもよく、その場合は、表層（接合面）が同一の絶縁材料であればよい。
当該貼り合わせによって、導電層６１９および導電層６３９の電気的な接続を得ることができる。また、絶縁層６１８および絶縁層６３１の機械的な強度を有する接続を得ることができる。
金属層同士の接合には、表面の酸化膜および不純物の吸着層などをスパッタリング処理などで除去し、清浄化および活性化した表面同士を接触させて接合する表面活性化接合法を用いることができる。または、温度と圧力を併用して表面同士を接合する拡散接合法などを用いることができる。どちらも原子レベルでの結合が起こるため、電気的だけでなく機械的にも優れた接合を得ることができる。
また、絶縁層同士の接合には、研磨などによって高い平坦性を得たのち、酸素プラズマ等で親水性処理をした表面同士を接触させて仮接合し、熱処理による脱水で本接合を行う親水性接合法などを用いることができる。親水性接合法も原子レベルでの結合が起こるため、機械的に優れた接合を得ることができる。
層５６３ｂと層５６３ａを貼り合わせる場合、それぞれの接合面には絶縁層と金属層が混在するため、例えば、表面活性化接合法および親水性接合法を組み合わせて行えばよい。
例えば、研磨後に表面を清浄化し、金属層の表面に酸化防止処理を行ったのちに親水性処理を行って接合する方法などを用いることができる。また、金属層の表面をＡｕなどの難酸化性金属とし、親水性処理を行ってもよい。なお、上述した方法以外の接合方法を用いてもよい。
上記の貼り合わせにより、層５６３ｂが有する回路と、層５６３ａが有する画素１００の要素を電気的に接続することができる。
＜積層構造１の変形例＞
図１４は、図１２に示す積層構造の変形例であり、層５６１が有する光電変換デバイス１０１の構成、および層５６３ａの一部構成が異なり、層５６１と層５６３ａとの間にも貼り合わせ面を有する構成である。
層５６１は、光電変換デバイス１０１、絶縁層６６１、６６２、６６４、６６５および導電層６８５、６８６を有する。
光電変換デバイス１０１はｐｎ接合型のフォトダイオードであり、ｐ型領域に相当する層５６５ｂおよびｎ型領域に相当する層５６５ａを有する。なお、ここでは、ｐｎ接合型のフォトダイオードがシリコン基板に形成された例を示す。光電変換デバイス１０１は埋め込み型フォトダイオードであり、層５６５ａの表面側（電流の取り出し側）に設けられた薄いｐ型の領域（層５６５ｂの一部）によって暗電流を抑えノイズを低減させることができる。
絶縁層６６１、導電層６８５、６８６は、貼り合わせ層としての機能を有する。絶縁層６６２は、層間絶縁膜および平坦化膜としての機能を有する。絶縁層６６４は、素子分離層としての機能を有する。
シリコン基板には画素を分離する溝が設けられ、絶縁層６６５はシリコン基板上面および当該溝に設けられる。絶縁層６６５が設けられることにより、光電変換デバイス１０１内で発生したキャリアが隣接する画素に流出することを抑えることができる。また、絶縁層６６５は、迷光の侵入を抑制する機能も有する。したがって、絶縁層６６５により、混色を抑制することができる。なお、シリコン基板の上面と絶縁層６６５との間に反射防止膜が設けられていてもよい。
絶縁層６６４は、ＬＯＣＯＳ（ＬＯＣａｌ　Ｏｘｉｄａｔｉｏｎ　ｏｆ　Ｓｉｌｉｃｏｎ）法を用いて形成することができる。または、ＳＴＩ（Ｓｈａｌｌｏｗ　Ｔｒｅｎｃｈ　Ｉｓｏｌａｔｉｏｎ）法等を用いて形成してもよい。絶縁層６６５としては、例えば、酸化シリコン、窒化シリコンなどの無機絶縁膜、ポリイミド樹脂、アクリル樹脂などの有機絶縁膜を用いることができる。なお、絶縁層６６５は多層構成であってもよい。また、絶縁層６６５の一部に空間を設けてもよい。当該空間は空気または不活性ガスなどの気体を有していてもよい。また、当該空間は減圧状態であってもよい。
光電変換デバイス１０１の層５６５ａ（ｎ型領域、カソードに相当）は、導電層６８５と電気的に接続される。層５６５ｂ（ｐ型領域、アノードに相当）は、導電層６８６と電気的に接続される。導電層６８５、６８６は、絶縁層６６１に埋設された領域を有する。また、絶縁層６６１および導電層６８５、６８６の表面は、それぞれ高さが一致するように平坦化されている。
層５６３ａにおいて、絶縁層６３７上には、絶縁層６３８が形成される。また、トランジスタ１０２のソースまたはドレインの一方と電気的に接続される導電層６８３、および導電層６３６と電気的に接続される導電層６８４が形成される。
絶縁層６３８、導電層６８３、６８４は、貼り合わせ層としての機能を有する。導電層６８３、６８４は、絶縁層６３８に埋設された領域を有する。また、絶縁層６３８および導電層６８３、６８４の表面は、それぞれ高さが一致するように平坦化されている。
ここで、導電層６８３、６８４、６８５、６８６は、前述した導電層６１９、６３９と同じ貼り合わせ層である。また、絶縁層６３８、６６１は、前述した絶縁層６１８、６３１と同じ貼り合わせ層である。
したがって、導電層６８３と導電層６８５を貼り合わせることで、光電変換デバイス１０１の層５６５ａ（ｎ型領域、カソードに相当）とトランジスタ１０２のソースまたはドレインの一方を電気的に接続することができる。また、導電層６８４と導電層６８６を貼り合わせることで、光電変換デバイス１０１の層５６５ｂ（ｐ型領域、アノードに相当）と配線１１４（図３参照）を電気的に接続することができる。また、絶縁層６３８と絶縁層６６１を貼り合わせることで、層５６１と層５６３ａの電気的な接合および機械的な接合を行うことができる。
また、図１５は上記とは異なる変形例であり、トランジスタ１０２が層５６１に設けられる構成である。当該構成では、トランジスタ１０２のソースまたはドレインの一方は、光電変換デバイス１０１と直結され、ソースまたはドレインの他方は、ノードＦＤとして作用する。当該構成では、光電変換デバイス１０１で蓄積した電荷の完全転送が可能であり、ノイズの少ない撮像装置とすることができる。
ここで、層５６１が有するトランジスタ１０２のソースまたはドレインの他方は、導電層６９２と電気的に接続される。また、層５６３が有するトランジスタ１０４のソースまたはドレインの一方は、導電層６９１と電気的に接続される。導電層６９１、６９２は、前述した導電層６１９、６３９と同じ貼り合わせ層である。
＜積層構造２＞
図１６は、層５６０、５６１、５６２、５６３を有し、貼り合わせ面を有さない積層体の断面図の一例である。層５６３には、Ｓｉトランジスタが設けられる。層５６２には、ＯＳトランジスタが設けられる。なお、層５６３、層５６１および層５６０の構成は、図１２に示す構成と同一であるため、ここでは説明を省略する。
＜層５６２＞
層５６２は、層５６３上に形成される。層５６２は、ＯＳトランジスタを有する。ここでは、トランジスタ１０２およびトランジスタ１０４を示している。図１６に示す断面図では、両者の電気的な接続は図示されていない。
層５６２には、絶縁層６２１、６２２、６２３、６２４、６２５、６２６、６２８が設けられる。また、導電層６２７が設けられる。導電層６２７は、配線１１４（図３参照）と電気的に接続することができる。
絶縁層６２１は、ブロッキング層としての機能を有する。絶縁層６２２、６２３、６２５、６２６、６２８は、層間絶縁膜および平坦化膜としての機能を有する。絶縁層６２４は、保護膜としての機能を有する。
ブロッキング層としては、水素の拡散を防止する機能を有する膜を用いることが好ましい。Ｓｉデバイスにおいて、水素はダングリングボンドを終端するために必要とされるが、ＯＳトランジスタの近傍にある水素は、酸化物半導体層中にキャリアを生成する要因の一つとなり、信頼性を低下させる。したがって、Ｓｉデバイスが形成される層とＯＳトランジスタが形成される層との間には、水素のブロッキング膜が設けられることが好ましい。
当該ブロッキング膜としては、例えば、酸化アルミニウム、酸化窒化アルミニウム、酸化ガリウム、酸化窒化ガリウム、酸化イットリウム、酸化窒化イットリウム、酸化ハフニウム、酸化窒化ハフニウム、イットリア安定化ジルコニア（ＹＳＺ）等を用いることができる。
トランジスタ１０４のソースまたはドレインの他方は、プラグを介してトランジスタ１０５のゲートと電気的に接続される。また、導電層６２７は、配線１１４（図３Ａ参照）と電気的に接続される。
トランジスタ１０２のソースまたはドレインの一方は、層５６１が有する光電変換デバイス１０１のカソードと電気的に接続される。導電層６２７は、層５６１が有する光電変換デバイス１０１のアノードと電気的に接続される。
図１７ＡにＯＳトランジスタの詳細を示す。図１７Ａに示すＯＳトランジスタは、酸化物半導体層および導電層の積層上に絶縁層を設け、当該酸化物半導体層に達する開口部を設けることでソース電極７０５およびドレイン電極７０６を形成するセルフアライン型の構成である。
ＯＳトランジスタは、酸化物半導体層に形成されるチャネル形成領域７０８、ソース領域７０３およびドレイン領域７０４のほか、ゲート電極７０１、ゲート絶縁膜７０２を有する構成とすることができる。当該開口部には少なくともゲート絶縁膜７０２およびゲート電極７０１が設けられる。当該開口部には、さらに酸化物半導体層７０７が設けられていてもよい。
ＯＳトランジスタは、図１７Ｂに示すように、ゲート電極７０１をマスクとして半導体層にソース領域７０３およびドレイン領域７０４を形成するセルフアライン型の構成としてもよい。
または、図１７Ｃに示すように、ソース電極７０５またはドレイン電極７０６とゲート電極７０１とが重なる領域を有するノンセルフアライン型のトップゲート型トランジスタであってもよい。
ＯＳトランジスタはバックゲート７３５を有する構造を示しているが、バックゲートを有さない構造であってもよい。バックゲート７３５は、図１７Ｄに示すトランジスタのチャネル幅方向の断面図のように、対向して設けられるトランジスタのフロントゲートと電気的に接続してもよい。なお、図１７Ｄは図１７ＡのトランジスタのＢ１−Ｂ２の断面を例として示しているが、その他の構造のトランジスタも同様である。また、バックゲート７３５にフロントゲートとは異なる固定電位を供給することができる構成であってもよい。
＜積層構造２の変形例＞
図１８は、図１７に示す積層構造の変形例であり、層５６１が有する光電変換デバイス１０１の構成、および層５６２の一部構成が異なり、層５６１と層５６２との間に貼り合わせ面を有する構成である。
層５６１が有する光電変換デバイス１０１は、ｐｎ接合型のフォトダイオードであり、図１４に示す構成と同様である。
層５６２において、絶縁層６２８上には、絶縁層６４８が形成される。また、トランジスタ１０２のソースまたはドレインの一方と電気的に接続される導電層６８８、および導電層６２７と電気的に接続される導電層６８９が形成される。
絶縁層６４８、導電層６８８、６８９は、貼り合わせ層としての機能を有する。導電層６８８、６８９は、絶縁層６４８に埋設された領域を有する。また、絶縁層６４８および導電層６８３、６８４の表面は、それぞれ高さが一致するように平坦化されている。
ここで、導電層６８８、６８９は、前述した導電層６１９、６３９と同じ貼り合わせ層である。また、絶縁層６４８は、前述した絶縁層６１８、６３１と同じ貼り合わせ層である。
したがって、導電層６８８と導電層６８５を貼り合わせることで、光電変換デバイスの層５６５ａ（ｎ型領域、カソードに相当）とトランジスタ１０２のソースまたはドレインの一方を電気的に接続することができる。また、導電層６８９と導電層６８６を貼り合わせることで、光電変換デバイスの層５６５ｂ（ｐ型領域、アノードに相当）と配線１１４（図３参照）を電気的に接続することができる。また、絶縁層６４８と絶縁層６６１を貼り合わせることで、層５６１と層５６２ａの電気的な接合および機械的な接合を行うことができる。
Ｓｉデバイスを複数積層する場合、研磨工程および貼り合わせ工程が複数回必要になる。そのため、工程数が多い、専用の装置が必要、低歩留まりなどの課題があり、製造コストも高い。ＯＳトランジスタは、デバイスが形成された半導体基板上に積層して形成することができるため、貼り合わせ工程を削減することができる。
なお、当該構成に、図１５に示す層５６１にトランジスタ１０２を設ける構成を適用してもよい。
＜パッケージ、モジュール＞
図２０Ａ１は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ４５０（図２０Ａ３参照）を固定するパッケージ基板４１０、カバーガラス４２０および両者を接着する接着剤４３０等を有する。
図２０Ａ２は、当該パッケージの下面側の外観斜視図である。パッケージの下面には、半田ボールをバンプ４４０としたＢＧＡ（Ｂａｌｌ　ｇｒｉｄ　ａｒｒａｙ）を有する。なお、ＢＧＡに限らず、ＬＧＡ（Ｌａｎｄ　ｇｒｉｄ　ａｒｒａｙ）またはＰＧＡ（Ｐｉｎ　Ｇｒｉｄ　Ａｒｒａｙ）などを有していてもよい。
図２０Ａ３は、カバーガラス４２０および接着剤４３０の一部を省いて図示したパッケージの斜視図である。パッケージ基板４１０上には電極パッド４６０が形成され、電極パッド４６０およびバンプ４４０はスルーホールを介して電気的に接続されている。電極パッド４６０は、イメージセンサチップ４５０とワイヤ４７０によって電気的に接続されている。
また、図２０Ｂ１は、イメージセンサチップをレンズ一体型のパッケージに収めたカメラモジュールの上面側の外観斜視図である。当該カメラモジュールは、イメージセンサチップ４５１（図２０Ｂ３を固定するパッケージ基板４１１、レンズカバー４２１、およびレンズ４３５等を有する。また、パッケージ基板４１１およびイメージセンサチップ４５１の間には撮像装置の駆動回路および信号変換回路などの機能を有するＩＣチップ４９０（図２０Ｂ３も設けられており、ＳｉＰ（Ｓｙｓｔｅｍ　ｉｎ　ｐａｃｋａｇｅ）としての構成を有している。
図２０Ｂ２は、当該カメラモジュールの下面側の外観斜視図である。パッケージ基板４１１の下面および側面には、実装用のランド４４１が設けられたＱＦＮ（Ｑｕａｄ　ｆｌａｔ　ｎｏ−ｌｅａｄ　ｐａｃｋａｇｅ）の構成を有する。なお、当該構成は一例であり、ＱＦＰ（Ｑｕａｄ　ｆｌａｔ　ｐａｃｋａｇｅ）または前述したＢＧＡが設けられていてもよい。
図２０Ｂ３は、レンズカバー４２１およびレンズ４３５の一部を省いて図示したモジュールの斜視図である。ランド４４１は電極パッド４６１と電気的に接続され、電極パッド４６１はイメージセンサチップ４５１またはＩＣチップ４９０とワイヤ４７１によって電気的に接続されている。
イメージセンサチップを上述したような形態のパッケージに収めることでプリント基板等への実装が容易になり、イメージセンサチップを様々な半導体装置、電子機器に組み込むことができる。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
（実施の形態３）
本発明の一態様に係る撮像装置を用いることができる電子機器として、表示機器、パーソナルコンピュータ、記録媒体を備えた画像記憶装置または画像再生装置、携帯電話、携帯型を含むゲーム機、携帯データ端末、電子書籍端末、ビデオカメラ、デジタルスチルカメラ等のカメラ、ゴーグル型ディスプレイ（ヘッドマウントディスプレイ）、ナビゲーションシステム、音響再生装置（カーオーディオ、デジタルオーディオプレイヤー等）、複写機、ファクシミリ、プリンタ、プリンタ複合機、現金自動預け入れ払い機（ＡＴＭ）、自動販売機などが挙げられる。これら電子機器の具体例を図２１Ａ乃至図２１Ｆに示す。
図２１Ａは携帯型情報端末の一例であり、筐体９８１、表示部９８２、操作ボタン９８３、外部接続ポート９８４、スピーカ９８５、マイク９８６、カメラ９８７等を有する。当該携帯型情報端末は、表示部９８２にタッチセンサを備える。電話を掛ける、或いは文字を入力するなどのあらゆる操作は、指またはスタイラスなどで表示部９８２に触れることで行うことができる。当該携帯型情報端末に本発明の一態様の撮像装置およびその動作方法を適用することができる。
カメラ９８７は本発明の一態様の撮像装置を有し、カメラ９８７で取得した画像から被写体の距離情報を取得することができる。当該距離情報に基づいて、カメラ９８７で取得した画像の一部を加工することができる。例えば、主の被写体の前後をぼかす画像処理などを行うことができる。
図２１Ｂは情報端末であり、筐体９１１、表示部９１２、スピーカ９１３、カメラ９１９等を有する。表示部９１２が有するタッチパネル機能により情報の入出力を行うことができる。また、カメラ９１９で取得した画像から文字等を認識し、スピーカ９１３で当該文字を音声出力することができる。当該携帯データ端末に本発明の一態様の撮像装置およびその動作方法を適用することができる。
図２１Ｃは監視カメラであり、支持台９５１、カメラユニット９５２、保護カバー９５３等を有する。カメラユニット９５２には回転機構などが設けられ、天井に設置することで全周囲の撮像が可能となる。当該カメラユニットにおける画像取得のための要素に本発明の一態様の撮像装置およびその動作方法を適用することができる。なお、監視カメラとは慣用的な名称であり、用途を限定するものではない。例えば監視カメラとしての機能を有する機器はカメラ、またはビデオカメラとも呼ばれる。
図２１Ｄはビデオカメラであり、第１筐体９７１、第２筐体９７２、表示部９７３、操作キー９７４、レンズ９７５、接続部９７６、スピーカ９７７、マイク９７８等を有する。操作キー９７４およびレンズ９７５は第１筐体９７１に設けられており、表示部９７３は第２筐体９７２に設けられている。当該ビデオカメラに本発明の一態様の撮像装置およびその動作方法を適用することができる。
図２１Ｅはデジタルカメラであり、筐体９６１、シャッターボタン９６２、マイク９６３、発光部９６７、レンズ９６５等を有する。当該デジタルカメラに本発明の一態様の撮像装置およびその動作方法を適用することができる。
図２１Ｆは腕時計型の情報端末であり、表示部９３２、筐体兼リストバンド９３３、カメラ９３９等を有する。表示部９３２は、情報端末の操作を行うためのタッチパネルを備える。表示部９３２および筐体兼リストバンド９３３は可撓性を有し、身体への装着性が優れている。当該情報端末に本発明の一態様の撮像装置およびその動作方法を適用することができる。
図２２Ａは、移動体の一例として自動車の外観図を図示している。自動車８９０は、複数のカメラ８９１等を有し、自動車８９０の前後左右および上方の情報を取得することができる。カメラ８９１には、本発明の一態様の撮像装置およびその動作方法を適用することができる。また、自動車８９０は、赤外線レーダー、ミリ波レーダー、レーザーレーダーなど各種センサ（図示せず）などを備える。自動車８９０は、複数の撮像方向８９２に対してカメラ８９１が取得した画像の解析を行い、ガードレールおよび歩行者の有無など、周囲の交通状況を判断し、自動運転を行うことができる。また、道路案内、危険予測などを行うシステムに用いることができる。
本発明の一態様の撮像装置では、得られた画像データをニューラルネットワークなどの演算処理を行うことで、例えば、画像の高解像度化、画像ノイズの低減、顔認識（防犯目的など）、物体認識（自動運転の目的など）、画像圧縮、画像補正（広ダイナミックレンジ化）、レンズレスイメージセンサの画像復元、位置決め、文字認識、反射映り込み低減などの処理を行うことができる。
なお、上述では、移動体の一例として自動車について説明しているが、自動車は、内燃機関を有する自動車、電気自動車、水素自動車など、いずれであってもよい。また、移動体は自動車に限定されない。例えば、移動体としては、電車、モノレール、船、飛行体（ヘリコプター、無人航空機（ドローン）、飛行機、ロケット）なども挙げることができ、これらの移動体に本発明の一態様のコンピュータを適用して、人工知能を利用したシステムを付与することができる。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
１０ａ：回路、１０ｂ：回路、２０：回路、３０：回路、１００：画素、１０１：光電変換デバイス、１０１ａ：光電変換デバイス、１０１ｂ：光電変換デバイス、１０２：トランジスタ、１０２ａ：トランジスタ、１０２ｂ：トランジスタ、１０３：トランジスタ、１０３ａ：トランジスタ、１０３ｂ：トランジスタ、１０４：トランジスタ、１０４ａ：トランジスタ、１０４ｂ：トランジスタ、１０５：トランジスタ、１０５ａ：トランジスタ、１０５ｂ：トランジスタ、１０６：キャパシタ、１０６ａ：キャパシタ、１０６ｂ：キャパシタ、１０７：トランジスタ、１０８：トランジスタ、１１４：配線、１１５：配線、１１６：配線、１１７：配線、１１８：配線、１２１：配線、１２２：配線、１２３：配線、１２４：配線、１２５：配線、１２６：配線、１２７：配線、１２８：配線、１３１：トランジスタ、１３１ａ：トランジスタ、１３１ｂ：トランジスタ、１３２：トランジスタ、１３３：トランジスタ、１３４：トランジスタ、１３５：キャパシタ、１４２：トランジスタ、１４３：トランジスタ、１４４：トランジスタ、１４５：キャパシタ、１５１：配線、１５２：配線、１６１：トランジスタ、１６２：トランジスタ、１６３：キャパシタ、１７５：トランジスタ、１７５ａ：トランジスタ、１７５ｂ：トランジスタ、１７６：トランジスタ、１７６ａ：トランジスタ、１７６ｂ：トランジスタ、２００：画素ブロック、２０２：キャパシタ、２０３：トランジスタ、２０４：トランジスタ、２０５：トランジスタ、２０６：トランジスタ、２０７：トランジスタ、２１０：画素アレイ、２１２：配線、２１３：配線、２１４：配線、２１５：配線、２１６：配線、２１８：配線、２１９：配線、２２０：回路、２２２：トランジスタ、２２３：トランジスタ、２２４：トランジスタ、２２５：電流供給部、２２６：カレントミラー部、２３０：回路、２４０：回路、２５２：トランジスタ、２５３：トランジスタ、２５４：トランジスタ、２６１：トランジスタ、２６２：トランジスタ、３００：画素アレイ、３０１：回路、３０２：回路、３０３：回路、３０４：回路、３０５：回路、３１１：配線、３２０：メモリセル、３２５：参照メモリセル、３３０：回路、３５０：回路、３６０：回路、３７０：回路、４１０：パッケージ基板、４１１：パッケージ基板、４２０：カバーガラス、４２１：レンズカバー、４３０：接着剤、４３５：レンズ、４４０：バンプ、４４１：ランド、４５０：イメージセンサチップ、４５１：イメージセンサチップ、４６０：電極パッド、４６１：電極パッド、４７０：ワイヤ、４７１：ワイヤ、４９０：ＩＣチップ、５４５：半導体層、５４６：絶縁層、５６０：層、５６１：層、５６２：層、５６２ａ：層、５６３：層、５６３ａ：層、５６３ｂ：層、５６３ｃ：層、５６５ａ：層、５６５ｂ：層、５６６ａ：層、５６６ｂ：層、５６６ｃ：層、５６６ｄ：層、５６７ａ：層、５６７ｂ：層、５６７ｃ：層、５６７ｄ：層、５６７ｅ：層、６１１：シリコン基板、６１２：絶縁層、６１３：絶縁層、６１４：絶縁層、６１６：絶縁層、６１７：絶縁層、６１８：絶縁層、６１９：導電層、６２１：絶縁層、６２２：絶縁層、６２３：絶縁層、６２４：絶縁層、６２５：絶縁層、６２６：絶縁層、６２７：導電層、６２８：絶縁層、６３１：絶縁層、６３２：シリコン基板、６３３：絶縁層、６３４：絶縁層、６３５：絶縁層、６３６：導電層、６３７：絶縁層、６３８：絶縁層、６３９：導電層、６４８：絶縁層、６５１：絶縁層、６５２：絶縁層、６５３：絶縁層、６５４：絶縁層、６５５：導電層、６６１：絶縁層、６６２：絶縁層、６６４：絶縁層、６６５：絶縁層、６７１：遮光層、６７２：光学変換層、６７２Ｂ：カラーフィルタ、６７２Ｇ：カラーフィルタ、６７２ＩＲ：赤外線フィルタ、６７２Ｒ：カラーフィルタ、６７２ＵＶ：紫外線フィルタ、６７３：マイクロレンズアレイ、６８３：導電層、６８４：導電層、６８５：導電層、６８６：導電層、６８８：導電層、６８９：導電層、６９１：導電層、６９２：導電層、７０１：ゲート電極、７０２：ゲート絶縁膜、７０３：ソース領域、７０４：ドレイン領域、７０５：ソース電極、７０６：ドレイン電極、７０７：酸化物半導体層、７０８：チャネル形成領域、７３５：バックゲート、８９０：自動車、８９１：カメラ、８９２：撮像方向、９１１：筐体、９１２：表示部、９１３：スピーカ、９１９：カメラ、９３２：表示部、９３３：筐体兼リストバンド、９３９：カメラ、９５１：支持台、９５２：カメラユニット、９５３：保護カバー、９６１：筐体、９６２：シャッターボタン、９６３：マイク、９６５：レンズ、９６７：発光部、９７１：筐体、９７２：筐体、９７３：表示部、９７４：操作キー、９７５：レンズ、９７６：接続部、９７７：スピーカ、９７８：マイク、９８１：筐体、９８２：表示部、９８３：操作ボタン、９８４：外部接続ポート、９８５：スピーカ、９８６：マイク、９８７：カメラ

Claims (11)

  1. 画素と、読み出し回路と、を有し、
    前記画素は、第１の受光回路と、第２の受光回路と、増幅回路と、演算回路と、を有し、
    前記増幅回路は、前記第１の受光回路に保持された第１のデータと、前記第２の受光回路に保持された第２のデータとの差分に応じて増幅した電位を前記演算回路に出力することができ、
    前記演算回路は、第１のノードと、第２のノードと、を有し、
    前記第１のノードには、前記第１のデータと前記第２のデータを同じ値としたときに前記増幅回路が出力する第１の電位が書き込まれ、
    前記第２のノードには、前記第１のデータおよび前記第２のデータが光電変換により生成されたときに前記増幅回路が出力する第２の電位が書き込まれ、
    前記第１のノードおよび前記第２のノードのそれぞれには、第３の電位を加算することができ、
    前記読み出し回路は、前記第１のノードの電位に従って流れる電流と、前記第２のノードの電位に従って流れる電流を用いた演算により、前記第２の電位と前記第３の電位との積を抽出することができる撮像装置。
  2. 請求項１において、
    前記読み出し回路は、カレントミラー回路と、相関二重サンプリング回路と、を有し、
    前記カレントミラー回路は、第１のトランジスタと、第２のトランジスタと、を有し、
    前記第１のトランジスタのソースまたはドレインの一方およびゲートは、前記第１のノードと電気的に接続され、
    前記第２のトランジスタのソースまたはドレインの一方は、前記第２のノードおよび前記相関二重サンプリング回路と電気的に接続される撮像装置。
  3. 画素と、読み出し回路と、を有し、
    前記画素は、第１の受光回路と、第２の受光回路と、増幅回路と、演算回路と、を有し、
    前記増幅回路は、第１の入力端子と、第２の入力端子と、を有し、
    前記演算回路は、第１のノードと、第２のノードと、第１のキャパシタと、第２のキャパシタと、第１のトランジスタと、第２のトランジスタと、を有し、
    前記第１のノードには、前記第１のキャパシタの一方の電極および前記第１のトランジスタのゲートが電気的に接続され、
    前記第２のノードには、前記第２のキャパシタの一方の電極および前記第２のトランジスタのゲートが電気的に接続され、
    前記第１のトランジスタのソースまたはドレインの一方、および前記第２のトランジスタのソースまたはドレインの一方には、前記読み出し回路が電気的に接続され、
    前記第１の受光回路は、前記第１の入力端子と電気的に接続され、
    前記第２の受光回路は、前記第２の入力端子と電気的に接続され、
    前記第１のノードには、前記第１の入力端子および前記第２の入力端子に同じ電位が入力されたときに前記増幅回路が出力する第１の電位が書き込まれ、
    前記第２のノードには、前記第１の受光回路が生成するデータと、前記第２の受光回路が生成するデータとの差分に応じて前記増幅回路が出力する第２の電位が書き込まれ、
    前記第１のノードおよび前記第２のノードのそれぞれには、前記第１のキャパシタまたは前記第２のキャパシタを介して、第３の電位を加算することができ、
    前記読み出し回路は、前記第１のトランジスタに流れる電流と、前記第２のトランジスタに流れる電流を用いた演算により、前記第２の電位と前記第３の電位との積を抽出することができる撮像装置。
  4. 請求項３において、
    前記読み出し回路は、カレントミラー回路と、相関二重サンプリング回路と、を有し、
    前記カレントミラー回路は、第３のトランジスタと、第４のトランジスタと、を有し、
    前記第３のトランジスタのソースまたはドレインの一方およびゲートは、前記第１のトランジスタのソースまたはドレインの一方と電気的に接続され、
    前記第４のトランジスタのソースまたはドレインの一方は、前記第２のトランジスタのソースまたはドレインの一方および前記相関二重サンプリング回路と電気的に接続される撮像装置。
  5. 請求項３または４において、
    前記第１の受光回路および前記第２の受光回路のそれぞれは、光電変換デバイスと、第５のトランジスタと、第６のトランジスタと、第３のキャパシタと、を有し、
    前記光電変換デバイスの一方の電極は、前記第５のトランジスタのソースまたはドレインの一方と電気的に接続され、前記第５のトランジスタのソースまたはドレインの他方は、前記第６のトランジスタのソースまたはドレインの一方、および前記第３のキャパシタの一方の電極と電気的に接続され、
    前記第１の受光回路が有する前記第６のトランジスタのソースまたはドレインの他方は、前記第１の入力端子と電気的に接続され、
    前記第２の受光回路が有する前記第６のトランジスタのソースまたはドレインの他方は、前記第２の入力端子と電気的に接続される撮像装置。
  6. 請求項５において、
    前記第５のトランジスタおよび前記第６のトランジスタは、チャネル形成領域に金属酸化物を有し、前記金属酸化物は、Ｉｎと、Ｚｎと、Ｍ（ＭはＡｌ、Ｔｉ、Ｇａ、Ｇｅ、Ｓｎ、Ｙ、Ｚｒ、Ｌａ、Ｃｅ、ＮｄまたはＨｆの一つまたは複数）と、を有する撮像装置。
  7. 請求項５または６において、
    前記第１の受光回路および前記第２の受光回路のそれぞれは、さらに第７のトランジスタと、第８のトランジスタと、を有し、
    前記第７のトランジスタのゲートは、前記第３のキャパシタの一方の電極と電気的に接続され、
    前記第７のトランジスタのソースまたはドレインの一方は、前記第８のトランジスタのソースまたはドレインの一方と電気的に接続される撮像装置。
  8. 請求項５乃至７のいずれか一項において、
    前記増幅回路は、第９のトランジスタと、第１０のトランジスタと、第１１のトランジスタと、を有し、
    前記第９のトランジスタのソースまたはドレインの一方は、前記第１の受光回路が有する前記第３のキャパシタの一方の電極と電気的に接続され、
    前記第９のトランジスタのソースまたはドレインの他方は、前記第１の入力端子と電気的に接続され、
    前記第１０のトランジスタのソースまたはドレインの一方は、前記第２の受光回路が有する前記第３のキャパシタの一方の電極と電気的に接続され、
    前記第１０のトランジスタのソースまたはドレインの他方は、前記第２の入力端子と電気的に接続され、
    前記第１１のトランジスタのソースまたはドレインの一方は、前記第１の入力端子と電気的に接続され、
    前記第１１のトランジスタのソースまたはドレインの他方は、前記第２の入力端子と電気的に接続される撮像装置。
  9. 請求項８において、
    前記第９のトランジスタ乃至第１１のトランジスタは、チャネル形成領域に金属酸化物を有し、前記金属酸化物は、Ｉｎと、Ｚｎと、Ｍ（ＭはＡｌ、Ｔｉ、Ｇａ、Ｇｅ、Ｓｎ、Ｙ、Ｚｒ、Ｌａ、Ｃｅ、ＮｄまたはＨｆの一つまたは複数）と、を有する撮像装置。
  10. 請求項１乃至９のいずれか一項において、
    一つの前記読み出し回路には、複数の前記画素が電気的に接続されている撮像装置。
  11. 請求項１乃至１０のいずれか一項に記載の撮像装置を有し、前記撮像装置で撮像した画像と、前記撮像装置で解析した前記画像における被写体の距離情報に基づき、前記画像の一部を加工する電子機器。
PCT/IB2021/052110 2020-03-27 2021-03-15 撮像装置および電子機器 WO2021191719A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180024385.3A CN115336254A (zh) 2020-03-27 2021-03-15 摄像装置及电子设备
US17/911,193 US20230109524A1 (en) 2020-03-27 2021-03-15 Imaging device and electronic device
JP2022509744A JPWO2021191719A1 (ja) 2020-03-27 2021-03-15
KR1020227034842A KR20220160007A (ko) 2020-03-27 2021-03-15 촬상 장치 및 전자 기기

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020057810 2020-03-27
JP2020-057810 2020-03-27

Publications (1)

Publication Number Publication Date
WO2021191719A1 true WO2021191719A1 (ja) 2021-09-30

Family

ID=77890986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2021/052110 WO2021191719A1 (ja) 2020-03-27 2021-03-15 撮像装置および電子機器

Country Status (5)

Country Link
US (1) US20230109524A1 (ja)
JP (1) JPWO2021191719A1 (ja)
KR (1) KR20220160007A (ja)
CN (1) CN115336254A (ja)
WO (1) WO2021191719A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220147799A1 (en) * 2020-11-12 2022-05-12 Samsung Electronics Co., Ltd. Neural computer including image sensor capable of controlling photocurrent

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016123087A (ja) * 2014-12-10 2016-07-07 株式会社半導体エネルギー研究所 半導体装置および電子機器
WO2018215882A1 (ja) * 2017-05-26 2018-11-29 株式会社半導体エネルギー研究所 撮像装置および電子機器
WO2019012369A1 (ja) * 2017-07-14 2019-01-17 株式会社半導体エネルギー研究所 撮像装置、及び電子機器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3642591B2 (ja) * 1994-11-29 2005-04-27 株式会社日立メディコ 画像処理装置
US7151844B2 (en) * 2001-12-06 2006-12-19 General Motors Corporation Image sensor method and apparatus having hardware implemented edge detection processing
US7215370B2 (en) * 2003-07-23 2007-05-08 Alphaplus Semiconductor Inc. Pseudo-BJT based retinal focal-plane sensing system
CN104485341A (zh) 2009-11-06 2015-04-01 株式会社半导体能源研究所 半导体装置
US9762834B2 (en) * 2014-09-30 2017-09-12 Qualcomm Incorporated Configurable hardware for computing computer vision features
US20160328642A1 (en) * 2015-05-06 2016-11-10 Indiana University Research And Technology Corporation Sensor signal processing using an analog neural network
JP2017063420A (ja) * 2015-09-25 2017-03-30 株式会社半導体エネルギー研究所 半導体装置
KR102631381B1 (ko) * 2016-11-07 2024-01-31 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016123087A (ja) * 2014-12-10 2016-07-07 株式会社半導体エネルギー研究所 半導体装置および電子機器
WO2018215882A1 (ja) * 2017-05-26 2018-11-29 株式会社半導体エネルギー研究所 撮像装置および電子機器
WO2019012369A1 (ja) * 2017-07-14 2019-01-17 株式会社半導体エネルギー研究所 撮像装置、及び電子機器

Also Published As

Publication number Publication date
JPWO2021191719A1 (ja) 2021-09-30
KR20220160007A (ko) 2022-12-05
US20230109524A1 (en) 2023-04-06
CN115336254A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
JP7467587B2 (ja) 撮像装置及び電子機器
US11728355B2 (en) Imaging device and electronic device
US20220321794A1 (en) Imaging device and electronic device
WO2021191719A1 (ja) 撮像装置および電子機器
WO2021033065A1 (ja) 撮像装置および電子機器
WO2020222059A1 (ja) 撮像装置、その動作方法、および電子機器
WO2021214616A1 (ja) 撮像装置
WO2021209868A1 (ja) 撮像装置および電子機器
WO2021165781A1 (ja) 撮像装置、電子機器および移動体
WO2022018561A1 (ja) 撮像装置および電子機器
JP7480137B2 (ja) 撮像装置および電子機器
WO2021053449A1 (ja) 撮像システムおよび電子機器
WO2022064307A1 (ja) 撮像装置および電子機器
CN115211101A (zh) 摄像装置及电子设备
JP2018164139A (ja) 撮像装置および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21775432

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022509744

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20227034842

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21775432

Country of ref document: EP

Kind code of ref document: A1