WO2021019333A1 - 撮像装置、その動作方法および電子機器 - Google Patents

撮像装置、その動作方法および電子機器 Download PDF

Info

Publication number
WO2021019333A1
WO2021019333A1 PCT/IB2020/056539 IB2020056539W WO2021019333A1 WO 2021019333 A1 WO2021019333 A1 WO 2021019333A1 IB 2020056539 W IB2020056539 W IB 2020056539W WO 2021019333 A1 WO2021019333 A1 WO 2021019333A1
Authority
WO
WIPO (PCT)
Prior art keywords
transistor
circuit
data
potential
layer
Prior art date
Application number
PCT/IB2020/056539
Other languages
English (en)
French (fr)
Inventor
井上広樹
米田誠一
根来雄介
石津貴彦
小林英智
Original Assignee
株式会社半導体エネルギー研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社半導体エネルギー研究所 filed Critical 株式会社半導体エネルギー研究所
Priority to JP2021536435A priority Critical patent/JPWO2021019333A5/ja
Priority to US17/628,293 priority patent/US11937007B2/en
Priority to CN202080053606.5A priority patent/CN114175619A/zh
Priority to KR1020227005418A priority patent/KR20220039753A/ko
Publication of WO2021019333A1 publication Critical patent/WO2021019333A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
    • H01L21/04—Manufacture or treatment of semiconductor devices or of parts thereof the devices having potential barriers, e.g. a PN junction, depletion layer or carrier concentration layer
    • H01L21/18—Manufacture or treatment of semiconductor devices or of parts thereof the devices having potential barriers, e.g. a PN junction, depletion layer or carrier concentration layer the devices having semiconductor bodies comprising elements of Group IV of the Periodic Table or AIIIBV compounds with or without impurities, e.g. doping materials
    • H01L21/30—Treatment of semiconductor bodies using processes or apparatus not provided for in groups H01L21/20 - H01L21/26
    • H01L21/31—Treatment of semiconductor bodies using processes or apparatus not provided for in groups H01L21/20 - H01L21/26 to form insulating layers thereon, e.g. for masking or by using photolithographic techniques; After treatment of these layers; Selection of materials for these layers
    • H01L21/3205—Deposition of non-insulating-, e.g. conductive- or resistive-, layers on insulating layers; After-treatment of these layers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/70—Manufacture or treatment of devices consisting of a plurality of solid state components formed in or on a common substrate or of parts thereof; Manufacture of integrated circuit devices or of parts thereof
    • H01L21/71—Manufacture of specific parts of devices defined in group H01L21/70
    • H01L21/768—Applying interconnections to be used for carrying current between separate components within a device comprising conductors and dielectrics
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00—Details of semiconductor or other solid state devices
    • H01L23/52—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames
    • H01L23/522—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames including external interconnections consisting of a multilayer structure of conductive and insulating layers inseparably formed on the semiconductor body
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/02—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers
    • H01L27/12—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being other than a semiconductor body, e.g. an insulating body
    • H01L27/1203—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being other than a semiconductor body, e.g. an insulating body the substrate comprising an insulating body on a semiconductor body, e.g. SOI
    • H01L27/1207—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being other than a semiconductor body, e.g. an insulating body the substrate comprising an insulating body on a semiconductor body, e.g. SOI combined with devices in contact with the semiconductor body, i.e. bulk/SOI hybrid circuits
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14665—Imagers using a photoconductor layer
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H01L29/772—Field effect transistors
    • H01L29/78—Field effect transistors with field effect produced by an insulated gate
    • H01L29/786—Thin film transistors, i.e. transistors with a channel being at least partly a thin film
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B12/00—Dynamic random access memory [DRAM] devices
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30—Devices controlled by radiation
    • H10K39/32—Organic image sensors

Definitions

  • One aspect of the present invention relates to an imaging device.
  • One aspect of the present invention is not limited to the above technical fields.
  • the technical field of one aspect of the invention disclosed in the present specification and the like relates to a product, a method, or a manufacturing method.
  • one aspect of the invention relates to a process, machine, manufacture, or composition (composition of matter). Therefore, more specifically, the technical fields of one aspect of the present invention disclosed in the present specification include semiconductor devices, display devices, liquid crystal display devices, light emitting devices, lighting devices, power storage devices, storage devices, imaging devices, and the like.
  • the operation method or the manufacturing method thereof can be given as an example.
  • the semiconductor device refers to all devices that can function by utilizing the semiconductor characteristics.
  • Transistors and semiconductor circuits are one aspect of semiconductor devices.
  • the storage device, the display device, the image pickup device, and the electronic device may have a semiconductor device.
  • Patent Document 1 discloses an image pickup apparatus having an oxide semiconductor and using a transistor having an extremely low off-current in a pixel circuit.
  • Patent Document 2 discloses a technique for adding a calculation function to an image pickup apparatus.
  • an image pickup device equipped with a solid-state image sensor such as a CMOS image sensor
  • high-quality images can be easily taken due to technological development.
  • the imaging device it is required that the imaging device be equipped with more intelligent functions.
  • image data compression and image recognition are processed after digital data conversion of image data (analog data) is performed and extracted to the outside. If the processing can be performed in the imaging device, the cooperation with an external device becomes faster and the convenience of the user is improved. In addition, the load and power consumption of peripheral devices can be reduced. Further, if complicated data processing can be performed in the state of analog data, the time required for data conversion can be shortened.
  • surveillance cameras and the like are always in operation and consume a large amount of power.
  • the power consumption can be significantly reduced if the operation can be simplified when the event does not occur and the operation shifts to the normal imaging operation when the event occurs. Further, when no event has occurred, it is preferable that power gating can reduce power consumption.
  • one aspect of the present invention is to provide an image pickup apparatus capable of performing image processing.
  • Another object of the present invention is to provide an imaging device capable of detecting a change in a subject.
  • one of the purposes is to provide an image pickup device with low power consumption.
  • one of the purposes is to provide a small imaging device.
  • one of the purposes is to provide a highly reliable imaging device.
  • one of the purposes is to provide a new imaging device or the like.
  • one of the purposes is to provide an operation method of the above-mentioned imaging device.
  • one of the purposes is to provide a new semiconductor device or the like.
  • One aspect of the present invention relates to an imaging device having a motion detection function and an image processing function and operating with low power consumption. Or, it relates to the operation method.
  • One aspect of the present invention is an image pickup apparatus having a pixel, a first circuit, and a second circuit, and the first circuit has a function of supplying a first potential to the pixel.
  • the pixel has a function of acquiring the first data and the second data, and the pixel has a function of generating a third data which is a difference between the first data and the second data.
  • the second circuit has the third data output by the pixels and the fourth data. It is an image pickup apparatus having a function of generating the fifth data corresponding to the difference between.
  • another aspect of the present invention is an image pickup apparatus having a pixel block, a first circuit, and a second circuit, and the pixel block has a plurality of pixels arranged in a matrix.
  • the first circuit has a function of supplying the first potential to the pixel
  • the pixel has a function of acquiring the first data and the second data
  • the pixel has the function of acquiring the first data and the first data. It has a function of generating a third data which is a difference from the second data
  • the pixel has a function of adding a potential based on the first potential to the third data to generate a fourth data.
  • the fifth data corresponding to the difference between the sum of the third data output by the plurality of pixels of the pixel block and the sum of the fourth data output by the plurality of pixels of the pixel block. It is an image pickup apparatus having a function of generating.
  • the pixels include a photoelectric conversion device, a first transistor, a second transistor, a third transistor, a fourth transistor, a fifth transistor, a sixth transistor, a first capacitor, and the like.
  • a photoelectric conversion device With a second capacitor, one electrode of the photoelectric conversion device is electrically connected to one of the source or drain of the first transistor, and the other of the source or drain of the first transistor is the second.
  • one of the source or drain of the fourth transistor is electrically connected to one of the source or drain of the fifth transistor and the second
  • the other electrode of the capacitor is electrically connected to one of the source or drain of the sixth transistor, the other of the source or drain of the fifth transistor is electrically connected to the second circuit, and the sixth The other of the source or drain of the capacitor can be electrically connected to the first circuit.
  • a correlated double sampling circuit can be used for the second circuit.
  • the transistor contained in the pixel has a metal oxide in the channel forming region, and the metal oxides are In, Zn, and M (M is Al, Ti, Ga, Ge, Sn, Y, Zr, La, Ce, It is preferable to have one or more of Nd or Hf).
  • another aspect of the present invention includes a first step of starting an imaging operation at a first frame rate, a second step of capturing and storing a reference image, and a third step of capturing a comparative image.
  • the sixth step of comparing the feature amounts of the above is performed in the above order, and when it is determined that the first feature amount is detected from the second feature amount, the image pickup operation is performed by switching to the second frame rate.
  • This is an operation method of the image pickup apparatus that returns to the third step when it is determined that the first feature amount is not detected from the second feature amount.
  • the second frame rate is preferably larger than the first frame rate.
  • the first frame rate is preferably 0.1 fps or more and 10 fps or less, and the second frame rate is preferably 15 fps or more and 240 fps or less.
  • Power gating may be performed during the period during which the imaging operation is performed at the first frame rate.
  • an image pickup apparatus capable of performing image processing.
  • an imaging device capable of detecting a change in a subject.
  • a low power consumption imaging device can be provided.
  • a small imaging device can be provided.
  • a highly reliable imaging device can be provided.
  • a new imaging device or the like can be provided.
  • a method of operating the image pickup apparatus can be provided.
  • a new semiconductor device or the like can be provided.
  • FIG. 1 is a block diagram illustrating an imaging device.
  • FIG. 2 is a diagram illustrating the pixel block 200 and the circuit 201.
  • 3A and 3B are diagrams for explaining the pixel 100.
  • 4A and 4B are diagrams for explaining the pixel 100.
  • FIG. 5 is a timing chart illustrating a normal imaging operation.
  • FIG. 6 is a timing chart illustrating a motion detection operation (no difference) and a product-sum calculation operation.
  • FIG. 7 is a timing chart for explaining the motion detection operation (with a difference).
  • FIG. 8 is a diagram illustrating the circuit 304.
  • FIG. 9 is a timing chart illustrating the operation of the circuit 304.
  • FIG. 10 is a timing chart illustrating the operation of the circuit 304.
  • FIG. 11A and 11B are diagrams for explaining the circuit 301 and the circuit 302.
  • FIG. 12 is a diagram illustrating a memory cell.
  • 13A and 13B are diagrams showing a configuration example of a neural network.
  • FIG. 14 is a flowchart illustrating the operation of the image pickup apparatus.
  • 15A and 15B are diagrams for explaining the operation of the image pickup apparatus.
  • 16A to 16D are diagrams for explaining the configuration of pixels of the image pickup apparatus.
  • 17A to 17C are diagrams for explaining the configuration of the photoelectric conversion device.
  • FIG. 18 is a cross-sectional view illustrating the pixels.
  • 19A to 19C are diagrams for explaining Si transistors.
  • FIG. 20 is a cross-sectional view illustrating the pixels.
  • FIG. 21 is a cross-sectional view illustrating the pixels.
  • FIG. 22A to 22D are diagrams illustrating an OS transistor.
  • FIG. 23 is a cross-sectional view illustrating the pixels.
  • 24A1 to 24A3 and 24B1 to 24B3 are perspective views of a package and a module containing an imaging device.
  • FIG. 25A is a block diagram illustrating a memory circuit.
  • 25B to 25E are circuit diagrams illustrating memory cells.
  • 26A and 26B are block diagrams showing a configuration example of a semiconductor device.
  • 27A to 27D are diagrams for explaining an operation example of power management of the semiconductor device.
  • FIG. 28 is a flowchart showing an operation example of power management of the semiconductor device.
  • 29A and 29B are block diagrams showing a configuration example of a semiconductor device.
  • FIG. 30 is a block diagram showing a configuration example of a processor core.
  • FIG. 31 is a circuit diagram showing a configuration example of the storage circuit.
  • FIG. 32 is a timing chart illustrating an operation example of the storage circuit.
  • FIG. 33 is a circuit diagram showing a configuration example of a memory cell of the cache.
  • FIG. 34 is a timing chart illustrating an operation example of the memory cell.
  • 35A to 35F are diagrams for explaining an electronic device.
  • the element may be composed of a plurality of elements as long as there is no functional inconvenience.
  • a plurality of transistors operating as switches may be connected in series or in parallel.
  • the capacitor may be divided and arranged at a plurality of positions.
  • one conductor may have a plurality of functions such as wiring, electrodes, and terminals, and in the present specification, a plurality of names may be used for the same element. Further, even if the elements are shown to be directly connected on the circuit diagram, the elements may actually be connected via one or a plurality of conductors. , In the present specification, such a configuration is also included in the category of direct connection.
  • the imaging device holds analog data (image data) acquired in the imaging operation in pixels, and can extract data obtained by multiplying the analog data by an arbitrary weighting coefficient.
  • processing such as image recognition can be performed. Since a huge amount of image data can be held in pixels in the state of analog data, processing can be performed efficiently.
  • the image pickup apparatus of one aspect of the present invention has a motion detection function.
  • the imaging device can detect the difference between the reference frame image and the frame image to be compared, and can switch from the motion detection mode to the normal imaging mode when a significant difference is detected.
  • power consumption can be suppressed by operating at a low frame rate.
  • high-quality image data can be acquired by operating at a high frame rate.
  • the image pickup apparatus of one aspect of the present invention can switch from the motion detection mode to the normal image pickup mode when a specific image is recognized by combining the image recognition function and the motion detection function described above. Therefore, for example, humans, animals, plants, etc. can be separated, and it is also possible to deal with abnormalities such as defective products, occurrence of changes over time, and natural disasters.
  • FIG. 1 is a block diagram illustrating an imaging device according to an aspect of the present invention.
  • the imaging device includes a pixel array 300, a circuit 201, a circuit 301, a circuit 302, a circuit 303, a circuit 304, and a circuit 305.
  • the circuit 201 and the circuits 301 to 305 are not limited to a single circuit configuration, and may be composed of a plurality of circuits. Alternatively, any one of the above circuits may be integrated. Further, a circuit other than the above may be connected.
  • the pixel array 300 has an imaging function and a calculation function.
  • the circuits 201 and 301 have an arithmetic function.
  • the circuit 302 has an arithmetic function or a data conversion function.
  • the circuits 303 and 304 have a selection function.
  • the circuit 305 has a function of supplying a potential for multiply-accumulate calculation to the pixels.
  • a shift register, a decoder, or the like can be used for the circuit having the selection function.
  • the circuits 301 and 302 may be provided externally.
  • the pixel array 300 has a plurality of pixel blocks 200. As shown in FIG. 2, the pixel block 200 has a plurality of pixels 100 arranged in a matrix, and each pixel 100 is electrically connected to the circuit 201.
  • the circuit 201 can also be provided in the pixel block 200.
  • the number of pixels of the pixel block 200 is set to 2 ⁇ 2 as an example, but the number is not limited to this. For example, it can be 3 ⁇ 3, 4 ⁇ 4, or the like. Alternatively, the number of pixels in the horizontal direction and the number of pixels in the vertical direction may be different. Further, some pixels may be shared by adjacent pixel blocks.
  • the pixel block 200 operates as a product-sum calculation circuit. Further, the circuit 201 electrically connected to the pixel block 200 has a function of extracting the product of the image data and the weighting coefficient from the pixel 100.
  • the pixel 100 has a photoelectric conversion device 101, a transistor 102, a transistor 103, a capacitor 104, a transistor 105, a capacitor 106, a transistor 107, a transistor 108, and a transistor 109. Can be done.
  • One electrode of the photoelectric conversion device 101 is electrically connected to one of the source and drain of the transistor 102.
  • the other of the source or drain of the transistor 102 is electrically connected to one of the source or drain of the transistor 103 and one of the electrodes of the capacitor 104.
  • the other electrode of the capacitor 104 is electrically connected to one of the source or drain of the transistor 105, one electrode of the capacitor 106, and the gate of the transistor 107.
  • One of the source or drain of transistor 107 is electrically connected to one of the source or drain of transistor 108.
  • the other electrode of the capacitor 106 is electrically connected to one of the source or drain of the transistor 109.
  • the other electrode of the photoelectric conversion device 101 is electrically connected to the wiring 113.
  • the other of the source or drain of the transistor 103 is electrically connected to the wiring 114.
  • the other of the source or drain of the transistor 105 is electrically connected to the wiring 115.
  • the other of the source or drain of the transistor 107 is electrically connected to a GND wiring or the like.
  • the other of the source or drain of the transistor 108 is electrically connected to the wiring 112.
  • the other of the source or drain of the transistor 109 is electrically connected to the wiring 111.
  • the gate of the transistor 102 is electrically connected to the wiring 121.
  • the gate of the transistor 103 is electrically connected to the wiring 122.
  • the gate of the transistor 105 is electrically connected to the wiring 123.
  • the gate of the transistor 108 is electrically connected to the wiring 125.
  • the gate of the transistor 109 is electrically connected to the wiring 124.
  • a node N1 is an electrical connection point (wiring) between the other of the source or drain of the transistor 102, the other of the source or drain of the transistor 103, and one electrode of the capacitor 104. Further, the other electrode of the capacitor 104, one of the source or drain of the transistor 105, one electrode of the capacitor 106, and the gate electrical connection point (wiring) of the transistor 107 are designated as a node N2.
  • Wiring 113, 114, 115 can have a function as a power line.
  • the wirings 114 and 115 can function as high-potential power lines, and the wiring 113 can function as low-potential power lines.
  • Wiring 121, 122, 123, 124, 125 can function as a signal line for controlling the continuity of each transistor.
  • the wiring 111 can function as a wiring that supplies a potential corresponding to a weighting coefficient to the pixel 100.
  • the wiring 112 can function as a wiring that electrically connects the pixel 100 and the circuit 201.
  • An amplifier circuit or a gain adjustment circuit may be electrically connected to the wiring 112.
  • a photodiode can be used as the photoelectric conversion device 101. Regardless of the type of photodiode, a Si photodiode having silicon in the photoelectric conversion layer, an organic photodiode having an organic photoconductor in the photoelectric conversion layer, or the like can be used. If it is desired to increase the light detection sensitivity at low illuminance, it is preferable to use an avalanche photodiode.
  • the transistor 102 can have a function of controlling the potential of the node N1.
  • the transistor 103 can have a function of initializing the potential of the node N1.
  • the transistor 105 can have a function of initializing the potential of the node N2.
  • the transistor 107 can have a function of controlling the current flowing through the circuit 201 according to the potential of the node N2.
  • the transistor 108 can have a function of selecting pixels.
  • the transistor 109 can have a function of supplying a potential corresponding to a weighting coefficient to the node N2.
  • the transistor 107 and the transistor 108 electrically connect one of the source or drain of the transistor 107 and one of the source or drain of the transistor 108, and wire the other of the source or drain of the transistor 107. It may be connected to 112 and the other of the source or drain of the transistor 108 may be electrically connected to the GND wiring or the like.
  • the transistor 107 may be provided with a second gate, and either the source or the drain of the transistor 109 may be electrically connected to the second gate. Further, a capacitor 151 connecting the second gate and one electrode may be provided. The capacitor 151 functions as a holding capacitance. The capacitor 151 may not be provided.
  • the connection direction of the photoelectric conversion device 101 may be reversed.
  • the wirings 114 and 115 may function as low-potential power lines
  • the wiring 113 may function as high-potential power lines.
  • one of the source or drain of the transistor 107 and one of the source or drain of the transistor 108 are electrically connected, and the other of the source or drain of the transistor 107 is connected to the wiring 112.
  • the other side of the source or drain of the transistor 108 may be electrically connected to the GND wiring or the like.
  • a high voltage may be applied, and it is preferable to use a high voltage transistor for the transistor connected to the photoelectric conversion device 101.
  • a high voltage transistor for example, a transistor using a metal oxide in the channel forming region (hereinafter, OS transistor) or the like can be used. Specifically, it is preferable to apply an OS transistor to the transistor 102.
  • the OS transistor also has a characteristic that the off-current is extremely low.
  • OS transistors for the transistors 102, 103, 105, and 109 the period during which electric charges can be retained at the nodes N1 and N2 can be made extremely long. Therefore, it is possible to apply the global shutter method in which charge accumulation operation is performed simultaneously in all pixels without complicating the circuit configuration and operation method. Further, while holding the image data in the node N2, it is possible to perform a plurality of operations using the image data.
  • the transistor 107 may be desired to have excellent amplification characteristics. Further, since the transistor 108 may be repeatedly turned on and off, it may be preferable to use a transistor having high mobility capable of high-speed operation. Therefore, transistors using silicon in the channel forming region (hereinafter referred to as Si transistors) may be applied to the transistors 107 and 108.
  • Si transistors transistors using silicon in the channel forming region
  • an OS transistor and a Si transistor may be arbitrarily combined and applied. Moreover, all the transistors may be OS transistors. Alternatively, all the transistors may be Si transistors. Examples of the Si transistor include a transistor having amorphous silicon, a transistor having crystalline silicon (microcrystalline silicon, low temperature polysilicon, single crystal silicon), and the like.
  • the potential of the node N2 in the pixel 100 is a potential in which the fluctuation amount (image data) of the potential of the node N1 is capacitively coupled to the reset potential supplied from the wiring 115 and a potential corresponding to the weighting coefficient supplied from the wiring 111. It is determined by the capacitive coupling of. That is, the gate of the transistor 107 has a potential obtained by adding an arbitrary weighting coefficient to the image data, and a current including a term of the product of the image data and the arbitrary weighting coefficient flows through the transistor 107.
  • each pixel 100 is electrically connected to each other by wiring 112.
  • the circuit 201 can perform calculations using the sum of the currents flowing through the transistors 107 of each pixel 100.
  • the circuit 201 has a capacitor 202, a transistor 203, a transistor 204, a transistor 205, a transistor 206, and a resistor 207.
  • One electrode of the capacitor 202 is electrically connected to one of the source or drain of the transistor 203.
  • One of the source and drain of transistor 203 is electrically connected to the gate of transistor 204.
  • One of the source or drain of transistor 204 is electrically connected to one of the source or drain of transistor 205.
  • One of the source or drain of transistor 205 is electrically connected to one of the source or drain of transistor 206.
  • One electrode of the resistor 207 is electrically connected to the other electrode of the capacitor 202.
  • the other electrode of the capacitor 202 is electrically connected to the wiring 112.
  • the other of the source or drain of transistor 203 is electrically connected to wiring 218.
  • the other of the source or drain of transistor 204 is electrically connected to wire 219.
  • the other of the source or drain of the transistor 205 is electrically connected to a reference power line such as GND wiring.
  • the other of the source or drain of the transistor 206 is electrically connected to the wiring 212.
  • the other electrode of resistor 207 is electrically connected to wiring 217.
  • Wiring 217, 218, 219 can have a function as a power line.
  • the wiring 218 can have a function as a wiring for supplying a reset potential for reading.
  • Wiring 217 and 219 can function as high potential power lines.
  • the wirings 213, 215, and 216 can function as signal lines for controlling the continuity of each transistor.
  • the wiring 212 is an output line and can be electrically connected to, for example, the circuit 301 shown in FIG.
  • the transistor 203 can have a function of resetting the potential of the wiring 211 to the potential of the wiring 218.
  • the transistors 204 and 205 can have a function as a source follower circuit.
  • the transistor 206 can have a function of controlling reading.
  • the circuit 201 has a function as a correlated double sampling circuit (CDS circuit), and can be replaced with a circuit having another configuration having the function.
  • CDS circuit correlated double sampling circuit
  • an offset component other than the product of the image data (X) and the weighting coefficient (W) is removed, and the target WX is extracted.
  • the WX can be calculated by using the data with and without imaging for the same pixel and the data when weights are added to each of them.
  • the total current (I p ) flowing through the pixel 100 when imaging is k ⁇ (X-V th ) 2
  • the total current (I p ) flowing through the pixel 100 when weighted is k ⁇ (W + X-V th).
  • the total current (I ref ) flowing through the pixel 100 without imaging is k ⁇ (0-V th ) 2
  • the total current (I ref ) flowing through the pixel 100 when weighted is k ⁇ (W-).
  • V th ) 2 is a constant and Vth is the threshold voltage of the transistor 107.
  • the difference (data A) between the data with imaging and the data obtained by weighting the data is calculated.
  • k ⁇ ((X-V th ) 2- (W + X-V th ) 2 ) k ⁇ (-W 2 -2W ⁇ X + 2W ⁇ V th ).
  • data A and data B can be read out.
  • the difference calculation between the data A and the data B can be performed by, for example, the circuit 301.
  • the pixel 100 shown in FIGS. 3A, 3B and 4A, 4B has a normal imaging function and a motion detection function. Further, the pixel 100 has a part of the product-sum calculation function.
  • ⁇ Normal imaging mode> First, a normal imaging mode will be described using the timing chart shown in FIG. Since the product-sum calculation is not performed in the normal imaging mode, the potential of the wiring 111 is always "L”, the potential of the wiring 124 is always "H”, and the potential of the other electrode of the capacitor 106 is fixed. preferable. Further, here, the operation of the pixel 100 having the configuration of FIG. 3A or FIG. 3B will be described.
  • the transistors 102 and 103 are electrically connected, and the potential of the node N1 is the reset potential ( (Potential of wiring 114) "V RES1 ". Further, the transistor 105 conducts, and the potential of the node N2 becomes the reset potential (potential of the wiring 115) “V RES2 ”. In addition, “V RES1 " and “V RES2 " may have the same potential.
  • the transistor 203 is conducted in the circuit 201, and the potential of the wiring 211 becomes the potential "Vr" of the wiring 218. That is, the output potential of the pixel 100 in the reset state is initialized to the potential “Vr”.
  • the potential of the wiring 121 is "H”
  • the potential of the wiring 122 is “L”
  • the potential of the wiring 123 is “L”
  • the potential of the wiring 125 is “L”
  • the potential of the wiring 216 is “L” at time T2.
  • the transistors 103, 105, and 108 become non-conducting, and the potential of the node N1 changes to "V RES1 - VA " due to the operation of the photoelectric conversion device 101.
  • the potential of the node N2 also changes to "V RES2- V B " due to the capacitive coupling of the capacitor 104. If the capacitance of the capacitor 104 is sufficiently larger than the capacitance of the node N2, VA and V B have almost the same value. Further, the transistor 203 becomes non-conducting, and the potential of the wiring 221 is held at "Vr".
  • the transistor 108 conducts and the wiring 112 to the transistor 107 A current corresponding to the potential of the node N2 flows through.
  • the potential of the other electrode of the capacitor 202 changes according to the current flowing through the wiring 112, and the change Y is added to the potential “Vr” of the wiring 211 by capacitive coupling.
  • Vr + Y the potential of the wiring 211 becomes "Vr + Y".
  • Vr 0, Y is the difference between the image data and the data (noise) at the time of reset. That is, it is possible to acquire image data from which noise components have been removed.
  • the image data can be output to the wiring 212 by the source follower operation of the transistors 204.
  • FIG. 6 shows a case where there is no change between the reference image and the comparison image.
  • the period from time T1 to T7 is a period for determining the potential of the node N2. Since the weight (W) is later added to the node N2 by the capacitive coupling of the capacitor 106, the potential of the other electrode of the capacitor 106 is set to the potential corresponding to the weight coefficient 0 at least during this period. Therefore, during the period, the potential of the wiring 111 is set to the potential corresponding to the weighting coefficient 0 (for example, 0V), and the potential of the wiring 124 is set to “H”.
  • the potential of the node N1 becomes the same potential as the reference image held before the time T5. Further, the potential of the node N2 is a reset potential, indicating that there is no difference between the reference image and the comparison image.
  • the potential of the node N1 is "V RES1 -V C", and the potential of the node N2 "V RES2 + V B ⁇ V D ”.
  • V C is a value different from the "V A”
  • V D is a value different from the "V B”. That is, the potential of the node N2 is a potential different from the reset potential, indicating that there is a difference between the reference image and the comparison image.
  • the transistor 203 is conducted in the circuit 201, and the potential of the wiring 211 becomes the potential "Vr" of the wiring 218. That is, the output potential of the pixel 100 in the reset state is initialized to "Vr".
  • the operation up to the period T7 corresponds to the acquisition of data with imaging, and the data is represented as the potential “Vr” of the wiring 211.
  • the potential of the wiring 124 is “L”
  • the potential of the wiring 125 is “H”
  • the potential of the wiring 213 is “H”
  • the potential of the wiring 215 is "H” at time T10
  • the potential of the other electrode of the capacitor 106 and The potential of the node N2 is maintained, the transistor 108 conducts, and a current corresponding to the potential “X + W” of the node N2 flows from the wiring 112 to the transistor 107.
  • the potential of the other electrode of the capacitor 202 changes according to the current flowing through the wiring 112, and the change Z is added to the potential Vr of the wiring 211 by capacitive coupling. Therefore, the potential of the wiring 211 becomes "Vr + Z".
  • Vr 0, Z is the difference itself, and the data A has been calculated.
  • the circuit 201 outputs a signal potential according to the data A by the source follower operation. Can be done.
  • the difference (data B) between the data without imaging and the data obtained by weighting the data can be calculated. Since there is no imaging, the operation does not have an accumulation period. For example, when the wiring 121 is “H”, the node N1 can be maintained at the reset potential by setting the wiring 122 to “H” as well. Further, the operation of the times T5 to T8 may be omitted, and the node N1 and the node N2 may be reset potentials before the time T8.
  • the data A and the data B output from the circuit 201 by the above operation are input to the circuit 301.
  • an operation for taking the difference between the data A and the data B is performed, and an unnecessary offset component other than the product of the image data (potential X) and the weighting coefficient (potential W) can be removed.
  • the circuit 301 may be configured to have an arithmetic circuit such as the circuit 201, or may be configured to take a difference by using a memory circuit (also referred to as a storage circuit) and software processing.
  • the weighting coefficient can be output from the circuit 305 shown in FIG. 1 to the wiring 111, and it is preferable to rewrite the weighting coefficient at least once within the frame period.
  • a decoder can be used as the circuit 305. Further, the circuit 305 may have a D / A converter and SRAM.
  • a signal can be output from the circuit 303 to the wiring 112 that selects the pixel 100 for inputting the weighting coefficient.
  • a decoder or shift register can be used in the circuit 303.
  • a signal can be output from the circuit 304 to the wiring 125 or the like connected to the gate of the transistor 108 of the pixel 100.
  • a decoder or shift register can be used in the circuit 304.
  • the processing of the captured image data has been described, but in the image pickup apparatus of one aspect of the present invention, the image data can be taken out without processing.
  • the circuit 304 for selecting the pixel 100 is provided with a function of switching the number of rows to be selected.
  • FIG. 8 is an example of a circuit that can be used in the circuit 304.
  • the circuit is a shift register circuit, and a plurality of logic circuits (SR) are electrically connected.
  • Signal lines such as wiring RES, wiring VSS_RDRS, wiring RPWC_SE [0: 3], wiring RCLK [0: 3], and wiring RSP are connected to each logic circuit (SR), and appropriate signals are connected to each signal line.
  • the selected signal potential can be sequentially output from the logic circuit (SR).
  • the circuit 170 is electrically connected to the logic circuit (SR).
  • a plurality of transistors are provided in the circuit 170, signal lines such as wiring SE_SW [0: 2] and wiring SX [0: 2] are connected, and an appropriate signal potential is input to each signal line to connect the transistors. Continuity is controlled. By controlling the circuit 170, the number of rows of selected pixels can be switched.
  • One of the source or drain of one transistor is electrically connected to the output terminal of one logic circuit (SR), and the wiring SE is connected to the other of the source or drain of the transistor.
  • the wiring SE is electrically connected to the wiring 122 that selects the pixel 100.
  • the signal potential supplied from the wiring SE_SW [0] can be input to the gate of the transistor connected to the wiring SE [0].
  • the signal potential supplied from the wiring SE_SW [1] can be input to the gate of the transistor connected to the wiring SE [1].
  • the signal potential supplied from the wiring SE_SW [2] can be input to the gate of the transistor connected to the wiring SE [2].
  • a signal potential supplied from any of the wiring SE_SW [0: 2] can be input to the gate of the transistor connected after the wiring SE [3] in the same order.
  • the adjacent wiring SEs are electrically connected via one transistor, and the wiring SE [0] is electrically connected to the power supply line (VSS) via one transistor.
  • the signal potential supplied from the wiring SX [0] can be input to the gate of the transistor that electrically connects the power line (VSS) and the wiring SE [0].
  • the signal potential supplied from the wiring SX [1] can be input to the gate of the transistor that electrically connects the wiring SE [0] and the wiring SE [1].
  • the signal potential supplied from the wiring SX [2] can be input to the gate of the transistor that electrically connects the wiring SE [1] and the wiring SE [2]. Any of the signal potentials supplied from the wiring SX [0: 2] can be input to the gate of the transistor that electrically connects the wiring SEs thereafter in the same order.
  • FIG. 9 is a timing chart illustrating an operation of simultaneously selecting a plurality of rows (3 rows) by the circuit shown in FIG. (0) to (161) correspond to the timing at which the logic circuit (SR) outputs the signal potential to the wiring SE.
  • the potential of the wiring SX [0] is “L”
  • the potential of the wiring SX [1] is “H”
  • the potential of the wiring SX [2] is "H”
  • the potential of the wiring SE_SW [0] is.
  • three rows can be selected at the same time, and for example, a product-sum calculation of pixels in three rows and three columns can be performed.
  • the potential of the wiring SX [0] is “H”
  • the potential of the wiring SX [1] is “L”
  • the potential of the wiring SX [2] is "H”
  • the potential of the wiring SE_SW [0] is.
  • the continuity of each transistor is controlled, and wiring SE [0] becomes “L”
  • wiring SE. “H” is output to [1]
  • “H” is output to wiring SE [2]
  • “H” is output to wiring SE [3].
  • “L” is output to the other wiring SEs.
  • FIG. 10 is a timing chart illustrating an operation of selecting one row by the circuit shown in FIG.
  • FIG. 11A is a diagram illustrating a circuit 301 and a circuit 302 connected to the circuit 201.
  • the product-sum calculation result data output from the circuit 201 is sequentially input to the circuit 301.
  • the circuit 301 may have various calculation functions in addition to the above-mentioned function of calculating the difference between the data A and the data B.
  • the circuit 301 can have the same configuration as the circuit 201.
  • the function of the circuit 301 may be replaced by software processing.
  • the circuit 301 may have a circuit for calculating the activation function.
  • a comparator circuit can be used for the circuit.
  • the comparator circuit outputs the result of comparing the input data with the set threshold value as binary data. That is, the pixel block 200 and the circuit 301 can act as a part of the neural network.
  • the circuit 301 may have an A / D converter.
  • the circuit 301 can convert the analog data into digital data.
  • the data output by the pixel block 200 corresponds to the image data of a plurality of bits, but if it can be binarized by the circuit 301, it can be said that the image data is compressed.
  • the data output from the circuit 301 is sequentially input to the circuit 302.
  • the circuit 302 can be configured to include, for example, a latch circuit and a shift register. With this configuration, parallel serial conversion can be performed, and the data input in parallel can be output to the wiring 311 as serial data.
  • the connection destination of the wiring 311 is not limited. For example, it can be connected to a neural network, a storage device, a communication device, or the like.
  • the circuit 302 may have a neural network.
  • the neural network has memory cells arranged in a matrix, and each memory cell holds a weighting coefficient.
  • the data output from the circuit 301 is input to each of the memory cells 320, and the product-sum operation can be performed.
  • the number of memory cells shown in FIG. 11B is an example and is not limited.
  • the neural network shown in FIG. 11B has memory cells 320 and reference memory cells 325 installed in a matrix, a circuit 330, a circuit 350, a circuit 360, and a circuit 370.
  • FIG. 12 shows an example of the memory cell 320 and the reference memory cell 325.
  • Reference memory cells 325 are provided in an arbitrary row.
  • the memory cell 320 and the reference memory cell 325 have a similar configuration and include a transistor 161 and a transistor 162 and a capacitor 163.
  • One of the source or drain of transistor 161 is electrically connected to the gate of transistor 162.
  • the gate of transistor 162 is electrically connected to one electrode of capacitor 163.
  • a node NM is a point where one of the source and drain of the transistor 161, the gate of the transistor 162, and one electrode of the capacitor 163 are connected.
  • the gate of the transistor 161 is electrically connected to the wiring WL.
  • the other electrode of the capacitor 163 is electrically connected to the wiring RW.
  • One of the source and drain of the transistor 162 is electrically connected to a reference potential wiring such as a GND wiring.
  • the other of the source or drain of the transistor 161 is electrically connected to the wiring WD.
  • the other of the source or drain of the transistor 162 is electrically connected to the wiring BL.
  • the other of the source or drain of the transistor 161 is electrically connected to the wiring WDref.
  • the other of the source or drain of the transistor 162 is electrically connected to the wiring BLref.
  • the wiring WL is electrically connected to the circuit 330.
  • a decoder, a shift register, or the like can be used for the circuit 330.
  • the wiring RW is electrically connected to the circuit 301.
  • Binary data output from the circuit 301 is written to each memory cell.
  • a sequential circuit such as a shift register may be provided between the circuit 301 and each memory cell.
  • the wiring WD and the wiring WDref are electrically connected to the circuit 350.
  • a decoder, a shift register, or the like can be used for the circuit 350.
  • the circuit 350 may have a D / A converter and SRAM.
  • the circuit 350 can output the weighting factor written to the node NM.
  • the wiring BL and the wiring BLref are electrically connected to the circuit 360.
  • the circuit 360 can have the same configuration as the circuit 201.
  • the circuit 360 can obtain a signal obtained by removing the offset component from the product-sum calculation result.
  • the circuit 360 is electrically connected to the circuit 370.
  • the circuit 370 can also be rephrased as an activation function circuit.
  • the activation function circuit has a function of performing an operation for converting a signal input from the circuit 360 according to a predefined activation function.
  • As the activation function for example, a sigmoid function, a tanh function, a softmax function, a ReLU function, a threshold function, and the like can be used.
  • the signal converted by the activation function circuit is output to the outside as output data.
  • the neural network NN can be composed of an input layer IL, an output layer OL, and an intermediate layer (hidden layer) HL.
  • the input layer IL, the output layer OL, and the intermediate layer HL each have one or more neurons (units).
  • the intermediate layer HL may be one layer or two or more layers.
  • a neural network having two or more intermediate layers HL can also be called a DNN (deep neural network).
  • learning using a deep neural network can also be called deep learning.
  • Input data is input to each neuron in the input layer IL.
  • the output signals of the neurons in the anterior layer or the posterior layer are input to each neuron in the intermediate layer HL.
  • the output signal of the presheaf neuron is input to each neuron in the output layer OL.
  • each neuron may be connected to all neurons in the anterior-posterior layer (fully connected), or may be connected to some neurons.
  • FIG. 13B shows an example of calculation by neurons.
  • two neurons in the presheaf layer that output a signal to the neuron N are shown.
  • the output x 1 of the presheaf neuron and the output x 2 of the presheaf neuron are input to the neuron N.
  • the sum of the multiplication result of the output x 1 and the weight w 1 (x 1 w 1 ) and the multiplication result of the output x 2 and the weight w 2 (x 2 w 2 ) is x 1 w 1 + x 2 w 2.
  • the operation by the neuron includes the operation of adding the product of the output of the neuron in the previous layer and the weight, that is, the product-sum operation (x 1 w 1 + x 2 w 2 above ).
  • This product-sum operation may be performed by software using a program or by hardware.
  • the product-sum calculation is performed using an analog circuit as hardware.
  • an analog circuit is used for the product-sum calculation circuit, the processing speed can be improved and the power consumption can be reduced by reducing the circuit scale of the product-sum calculation circuit or reducing the number of times the memory is accessed.
  • the product-sum calculation circuit preferably has an OS transistor. Since the OS transistor has an extremely small off-current, it is suitable as a transistor constituting an analog memory of a product-sum calculation circuit.
  • the product-sum calculation circuit may be configured by using both the Si transistor and the OS transistor.
  • the imaging operation is selected (S1).
  • the process proceeds to the setting of the normal imaging mode (S11).
  • the normal imaging mode is a high-speed moving image imaging mode, and for example, the frame rate is set to 15 fps to 240 fps, preferably 30 fps to 120 fps, and typically 60 fps. Subsequently, continuous operation or timer operation is performed under the set conditions (S12). The imaging operation ends after the timer operates or at the discretion of the user.
  • the motion detection mode is a low-speed moving image imaging mode, and for example, the frame rate is set to 0.1 fps or more and 10 fps or less, typically 1 fps. Power consumption can be reduced by setting a low frame rate. If the imaging target changes and the period until it returns to the original state is short, a relatively high frame rate may be set.
  • a reference image is taken (S3).
  • the operation of capturing the reference image corresponds to the operation of times T1 to T4 in the timing chart of FIG.
  • the feature amount B extraction operation 1 is performed (S5).
  • This operation corresponds to the acquisition of data A by the operation at times T8 to T11 in the timing chart of FIG. 6 and the acquisition of data B in the operation without imaging.
  • the weight added to the image data here corresponds to the convolutional filter of the convolutional neural network (CNN).
  • the feature amount B extraction operation 2 is performed (S6).
  • the operation can be performed, for example, in the circuit 301 or an external circuit, and performs the differential calculation between the data A and the data B. Further, a pooling process may be performed. By acquiring the difference between the data A and the data B, it is possible to remove an offset component other than the product of the image data (X) and the weighting coefficient (W). That is, the feature amount B is a feature amount extracted from the captured image data.
  • the feature quantities A and B comparison operation is performed (S7, S8).
  • the operation can be performed by, for example, an external circuit.
  • the feature amount A as a reference is set at any timing before this (S0).
  • As the feature amount A for example, a feature amount such as a shape or a pattern of the target object can be used. Therefore, it is preferable to select the convolution filter according to the feature amount A.
  • the process proceeds to S11 and imaging is performed in the normal imaging mode. If the feature amount A is not detected, the process returns to S3 or S4 through counter operations (S9, S10) and the like.
  • the threshold value for whether or not the feature amount A is detected can be arbitrarily set.
  • the reference image is held in the pixel, so there is no problem in returning to S4 in the short term, but if the illuminance change of natural light or the change with time appears in the subject, the feature amount May affect the comparison behavior of. Therefore, it is preferable to use a counter or the like to return to S3 when the set value reaches 1 minute, 10 minutes, 1 hour, 6 hours, or the like in terms of time, and take a reference image again. Alternatively, it may be controlled by time using a timer or the like.
  • the feature amount A may be plural. In this case, it is possible to set conditions such as whether or not all of the feature amount A is detected and whether or not a part of the feature amount A is detected. Alternatively, even if the feature amount A is not detected, the operation of proceeding to S11 may be performed when there is a change between the reference image and the comparison image.
  • 15A and 15B show diagrams for explaining the specific operation of the motion detection mode.
  • FIG. 15A is a diagram illustrating an operation when the feature amount A is detected, and illustrates a change in the frame image on the time axis.
  • the subject is a landscape
  • the feature amount A is data including the features of a bird.
  • a low frame rate is set, and a reference image is captured in the first frame (corresponding to S3).
  • the landscape image is shown by a broken line, but in reality, the reference image is held in the pixels and the image data is not output from the imaging device.
  • the determination operation (corresponding to S8) of the feature amount A detection from the imaging of the comparative image and the intra-pixel difference calculation (corresponding to S4) is performed for each frame.
  • the output image data is the difference data between the reference image and the comparison image, and the image data without change corresponds to all white or all black. If there is no change in the landscape, the same frame as the n-x frame is repeated.
  • the mode is switched to the normal imaging mode having a high frame rate (S11). The above is the operation when the feature amount A is detected.
  • FIG. 15B is a diagram illustrating an operation when the feature amount A is not detected. If imaging is started under the same conditions as in FIG. 15A and the feature amount A (bird) is not captured even if a change appears in the landscape, the motion detection mode is continued and the normal imaging mode is not switched.
  • FIG. 15B shows a case where the airship is imaged in the nth frame, but since it is determined that the airship does not match the feature amount A, the motion detection mode is continued even after the n + 1th frame.
  • the presence or absence of detection can be determined by limiting the object. Therefore, when the imaging device is used as a security camera or the like, for example, dogs, cats, plants, etc. are not targeted for mode switching, and only humans can be targeted for mode switching.
  • FIG. 16A is a diagram showing an example of the pixel structure of the image pickup apparatus, and can be a laminated structure of layers 561 and 563.
  • Layer 561 has a photoelectric conversion device 101.
  • the photoelectric conversion device 101 can have a layer 565a and a layer 565b as shown in FIG. 17A. In some cases, the layer may be referred to as an area.
  • the photoelectric conversion device 101 shown in FIG. 17A is a pn junction type photodiode.
  • a p-type semiconductor can be used for the layer 565a and an n-type semiconductor can be used for the layer 565b.
  • an n-type semiconductor may be used for the layer 565a and a p-type semiconductor may be used for the layer 565b.
  • the pn junction type photodiode can be typically formed by using single crystal silicon.
  • the photoelectric conversion device 101 included in the layer 561 may be a laminate of the layer 566a, the layer 566b, the layer 566c, and the layer 566d.
  • the photoelectric conversion device 101 shown in FIG. 17B is an example of an avalanche photodiode, in which layers 566a and 566d correspond to electrodes, and layers 566b and 566c correspond to photoelectric conversion units.
  • the layer 566a is preferably a low resistance metal layer or the like.
  • a low resistance metal layer or the like aluminum, titanium, tungsten, tantalum, silver or a laminate thereof can be used.
  • the layer 566d it is preferable to use a conductive layer having high translucency with respect to visible light.
  • a conductive layer having high translucency with respect to visible light For example, indium oxide, tin oxide, zinc oxide, indium-tin oxide, gallium-zinc oxide, indium-gallium-zinc oxide, graphene and the like can be used. It should be noted that the layer 566d may be omitted.
  • the layers 566b and 566c of the photoelectric conversion unit can be configured as a pn junction type photodiode using, for example, a selenium-based material as a photoelectric conversion layer. It is preferable that a selenium-based material, which is a p-type semiconductor, is used as the layer 566b, and gallium oxide, which is an n-type semiconductor, is used as the layer 566c.
  • a photoelectric conversion device using a selenium-based material has a characteristic of high external quantum efficiency with respect to visible light.
  • the amplification of electrons with respect to the amount of incident light can be increased by utilizing the avalanche multiplication.
  • the selenium-based material has a high light absorption coefficient, it has a production advantage such that the photoelectric conversion layer can be formed of a thin film.
  • a thin film of a selenium-based material can be formed by a vacuum deposition method, a sputtering method, or the like.
  • selenium-based material examples include crystalline selenium such as single crystal selenium and polycrystalline selenium, amorphous selenium, copper, indium, and selenium compounds (CIS), or copper, indium, gallium, and selenium compounds (CIGS). Can be used.
  • crystalline selenium such as single crystal selenium and polycrystalline selenium, amorphous selenium, copper, indium, and selenium compounds (CIS), or copper, indium, gallium, and selenium compounds (CIGS).
  • the n-type semiconductor is preferably formed of a material having a wide bandgap and translucency with respect to visible light.
  • a material having a wide bandgap and translucency with respect to visible light For example, zinc oxide, gallium oxide, indium oxide, tin oxide, or an oxide in which they are mixed can be used.
  • these materials also have a function as a hole injection blocking layer, and can reduce the dark current.
  • the photoelectric conversion device 101 included in the layer 561 may be a stack of the layer 567a, the layer 567b, the layer 567c, the layer 567d, and the layer 567e.
  • the photoelectric conversion device 101 shown in FIG. 17C is an example of an organic photoconductor, layer 567a is a lower electrode, layer 567e is a translucent upper electrode, and layers 567b, 567c, and 567d correspond to a photoelectric conversion unit. ..
  • One of the layers 567b and 567d of the photoelectric conversion unit can be a hole transport layer and the other can be an electron transport layer. Further, the layer 567c can be a photoelectric conversion layer.
  • the hole transport layer for example, molybdenum oxide or the like can be used.
  • the electron transport layer for example, fullerenes such as C 60 and C 70 , or derivatives thereof and the like can be used.
  • a mixed layer (bulk heterojunction structure) of an n-type organic semiconductor and a p-type organic semiconductor can be used.
  • a silicon substrate can be used as the layer 563 shown in FIG. 16A.
  • the silicon substrate has a Si transistor and the like.
  • the Si transistor can be used to form a circuit for driving the pixel circuit, an image signal readout circuit, an image processing circuit, a neural network, a communication circuit, and the like.
  • a storage circuit such as a DRAM (Dynamic Random Access Memory), a CPU (Central Processing Unit), an MCU (Micro Controller Unit), or the like may be formed.
  • the above circuit excluding the pixel circuit is referred to as a functional circuit.
  • a part or all of them may be provided on the layer 563. it can.
  • the layer 563 may be a stack of a plurality of layers as shown in FIG. 16B. In FIG. 16B, three layers 563a, 563b, and 563c are illustrated, but two layers may be used. Alternatively, the layer 563 may be a stack of four or more layers. These layers can be laminated by using, for example, a bonding step. With this configuration, the pixel circuit and the functional circuit can be dispersed in a plurality of layers, and the pixel circuit and the functional circuit can be provided in an overlapping manner, so that a compact and highly functional imaging device can be manufactured.
  • the pixel may have a laminated structure of layers 561, 562, and 563.
  • Layer 562 can have an OS transistor.
  • One or more of the above-mentioned functional circuits may be formed of OS transistors.
  • one or more functional circuits may be formed by using the Si transistor of layer 563 and the OS transistor of layer 562.
  • a normally-off CPU (also referred to as "Noff-CPU") can be realized by using an OS transistor and a Si transistor.
  • the Nonf-CPU is an integrated circuit including a normally-off type transistor that is in a non-conducting state (also referred to as an off state) even when the gate voltage is 0V.
  • the Noff-CPU can stop the power supply to the unnecessary circuit in the Noff-CPU and put the circuit in the standby state. No power is consumed in the circuit where the power supply is stopped and the circuit is in the standby state. Therefore, the Nonf-CPU can minimize the amount of power used. Further, the Nonf-CPU can retain information necessary for operation such as setting conditions for a long period of time even if the power supply is stopped. To return from the standby state, it is only necessary to restart the power supply to the circuit, and it is not necessary to rewrite the setting conditions and the like. That is, it is possible to return from the standby state at high speed. In this way, the Nonf-CPU can reduce the power consumption without significantly reducing the operating speed.
  • the layer 562 may be a stack of a plurality of layers as shown in FIG. 16D.
  • FIG. 16D two layers of layers 562a and 563b are illustrated, but three or more layers may be laminated. These layers can be formed, for example, to stack on layer 563.
  • the layer formed on the layer 563 and the layer formed on the layer 561 may be bonded together.
  • a metal oxide having an energy gap of 2 eV or more, preferably 2.5 eV or more, more preferably 3 eV or more can be used.
  • a typical example is an oxide semiconductor containing indium, and for example, CAAC-OS or CAC-OS described later can be used.
  • CAAC-OS is suitable for transistors and the like in which the atoms constituting the crystal are stable and reliability is important. Further, since CAC-OS exhibits high mobility characteristics, it is suitable for a transistor or the like that performs high-speed driving.
  • the OS transistor Since the OS transistor has a large energy gap in the semiconductor layer, it exhibits an extremely low off-current characteristic of several yA / ⁇ m (current value per 1 ⁇ m of channel width). Further, the OS transistor has features different from those of the Si transistor such as impact ionization, avalanche breakdown, and short channel effect, and can form a circuit having high withstand voltage and high reliability. In addition, variations in electrical characteristics due to crystallinity non-uniformity, which is a problem with Si transistors, are unlikely to occur with OS transistors.
  • the semiconductor layer of the OS transistor includes, for example, indium, zinc and M (one or more selected from metals such as aluminum, titanium, gallium, germanium, yttrium, zirconium, lanthanum, cerium, tin, neodymium or hafnium). It can be a film represented by an In—M—Zn-based oxide containing.
  • the In—M—Zn-based oxide can be typically formed by a sputtering method. Alternatively, it may be formed by using an ALD (Atomic layer deposition) method.
  • the atomic number ratio of the metal element of the sputtering target used for forming the In—M—Zn-based oxide by the sputtering method preferably satisfies In ⁇ M and Zn ⁇ M.
  • the atomic number ratio of the semiconductor layer to be formed includes a variation of plus or minus 40% of the atomic number ratio of the metal element contained in the sputtering target.
  • the semiconductor layer an oxide semiconductor having a low carrier density is used.
  • the semiconductor layer has a carrier density of 1 ⁇ 10 17 / cm 3 or less, preferably 1 ⁇ 10 15 / cm 3 or less, more preferably 1 ⁇ 10 13 / cm 3 or less, and more preferably 1 ⁇ 10 11 / cm. 3 or less, more preferably less than 1 ⁇ 10 10 / cm 3, it is possible to use an oxide semiconductor of 1 ⁇ 10 -9 / cm 3 or more carrier density.
  • Such oxide semiconductors are referred to as high-purity intrinsic or substantially high-purity intrinsic oxide semiconductors. It can be said that the oxide semiconductor is an oxide semiconductor having a low defect level density and stable characteristics.
  • the present invention is not limited to these, and a transistor having an appropriate composition may be used according to the required semiconductor characteristics and electrical characteristics (field effect mobility, threshold voltage, etc.) of the transistor. Further, in order to obtain the required semiconductor characteristics of the transistor, it is preferable that the carrier density, impurity concentration, defect density, atomic number ratio of metal element and oxygen, interatomic distance, density, etc. of the semiconductor layer are appropriate. ..
  • the concentration of silicon or carbon in the semiconductor layer is set to 2 ⁇ 10 18 atoms / cm 3 or less, preferably 2 ⁇ 10 17 atoms / cm 3 or less.
  • the concentration of alkali metal or alkaline metalloid (concentration obtained by secondary ion mass spectrometry) in the semiconductor layer is 1 ⁇ 10 18 atoms / cm 3 or less, preferably 2 ⁇ 10 16 atoms / cm 3 or less.
  • the nitrogen concentration in the semiconductor layer is preferably 5 ⁇ 10 18 atoms / cm 3 or less.
  • the oxide semiconductor constituting the semiconductor layer when hydrogen is contained in the oxide semiconductor constituting the semiconductor layer, it reacts with oxygen bonded to a metal atom to become water, which may form an oxygen deficiency in the oxide semiconductor. If the channel formation region in the oxide semiconductor contains oxygen deficiency, the transistor may have a normally-on characteristic. Furthermore, a defect containing hydrogen in an oxygen deficiency may function as a donor and generate electrons as carriers. In addition, a part of hydrogen may be combined with oxygen that is bonded to a metal atom to generate an electron as a carrier. Therefore, a transistor using an oxide semiconductor containing a large amount of hydrogen tends to have a normally-on characteristic.
  • Defects containing hydrogen in oxygen deficiencies can function as donors for oxide semiconductors. However, it is difficult to quantitatively evaluate the defect. Therefore, in oxide semiconductors, the carrier concentration may be evaluated instead of the donor concentration. Therefore, in the present specification and the like, as a parameter of the oxide semiconductor, a carrier concentration assuming a state in which an electric field is not applied may be used instead of the donor concentration. That is, the "carrier concentration" described in the present specification and the like may be paraphrased as the "donor concentration".
  • the hydrogen concentration obtained by secondary ion mass spectrometry is less than 1 ⁇ 10 20 atoms / cm 3 , preferably 1 ⁇ 10 19 atoms / cm. It is less than 3 , more preferably less than 5 ⁇ 10 18 atoms / cm 3 , and even more preferably less than 1 ⁇ 10 18 atoms / cm 3 .
  • the semiconductor layer may have a non-single crystal structure, for example.
  • the non-single crystal structure includes, for example, CAAC-OS (C-Axis Aligned Crystalline Oxide Semiconductor) having crystals oriented on the c-axis, a polycrystalline structure, a microcrystal structure, or an amorphous structure.
  • CAAC-OS C-Axis Aligned Crystalline Oxide Semiconductor
  • the amorphous structure has the highest defect level density
  • CAAC-OS has the lowest defect level density.
  • An oxide semiconductor film having an amorphous structure has, for example, a disordered atomic arrangement and no crystal component.
  • the amorphous oxide film has, for example, a completely amorphous structure and has no crystal portion.
  • the semiconductor layer is a mixed film having two or more of an amorphous structure region, a microcrystal structure region, a polycrystalline structure region, a CAAC-OS region, and a single crystal structure region.
  • the mixed film may have, for example, a single-layer structure or a laminated structure including any two or more of the above-mentioned regions.
  • CAC Cloud-Binded Composite
  • the CAC-OS is, for example, a composition of a material in which the elements constituting the oxide semiconductor are unevenly distributed in a size of 0.5 nm or more and 10 nm or less, preferably 1 nm or more and 2 nm or less, or a size close thereto.
  • the oxide semiconductor one or more metal elements are unevenly distributed, and the region having the metal elements is 0.5 nm or more and 10 nm or less, preferably 1 nm or more and 2 nm or less, or a size in the vicinity thereof.
  • the state of being mixed with is also called a mosaic shape or a patch shape.
  • the oxide semiconductor preferably contains at least indium. In particular, it preferably contains indium and zinc. Also, in addition to them, aluminum, gallium, yttrium, copper, vanadium, beryllium, boron, silicon, titanium, iron, nickel, germanium, zirconium, molybdenum, lantern, cerium, neodymium, hafnium, tantalum, tungsten, or magnesium, etc. One or more selected from the above may be included.
  • CAC-OS in In-Ga-Zn oxide is indium oxide (hereinafter, InO).
  • InO indium oxide
  • X1 is a real number greater than 0
  • In X2 Zn Y2 O Z2 X2, Y2, and Z2 are real numbers greater than 0
  • GaO X3 (X3 is a real number larger than 0)
  • gallium zinc oxide hereinafter, Ga X4 Zn Y4 O Z4 (X4, Y4, and Z4 are real numbers larger than 0)
  • the material is separated into a mosaic-like structure, and the mosaic-like InO X1 or In X2 Zn Y2 O Z2 is uniformly distributed in the film (hereinafter, also referred to as cloud-like). is there.
  • CAC-OS is a composite oxide semiconductor having a structure in which a region containing GaO X3 as a main component and a region containing In X2 Zn Y2 O Z2 or InO X1 as a main component are mixed.
  • the atomic number ratio of In to the element M in the first region is larger than the atomic number ratio of In to the element M in the second region. It is assumed that the concentration of In is higher than that of region 2.
  • IGZO is a common name and may refer to one compound consisting of In, Ga, Zn, and O. As a typical example, it is represented by InGaO 3 (ZnO) m1 (m1 is a natural number) or In (1 + x0) Ga (1-x0) O 3 (ZnO) m0 (-1 ⁇ x0 ⁇ 1, m0 is an arbitrary number). Crystalline compounds can be mentioned.
  • the crystalline compound has a single crystal structure, a polycrystalline structure, or a CAAC structure.
  • the CAAC structure is a crystal structure in which a plurality of IGZO nanocrystals have a c-axis orientation and are connected without being oriented on the ab plane.
  • CAC-OS relates to the material composition of oxide semiconductors.
  • CAC-OS is a region that is partially observed as nanoparticles containing Ga as a main component and nanoparticles containing In as a main component in a material composition containing In, Ga, Zn, and O. The regions observed in the shape are randomly dispersed in a mosaic pattern. Therefore, in CAC-OS, the crystal structure is a secondary element.
  • CAC-OS does not include a laminated structure of two or more types of films having different compositions.
  • CAC-OS has a region observed in the form of nanoparticles mainly composed of the metal element and a nano portion containing In as a main component.
  • the regions observed in the form of particles refer to a configuration in which the regions are randomly dispersed in a mosaic pattern.
  • the CAC-OS can be formed by a sputtering method, for example, under the condition that the substrate is not intentionally heated.
  • a sputtering method one or more selected from an inert gas (typically argon), an oxygen gas, and a nitrogen gas may be used as the film forming gas.
  • an inert gas typically argon
  • an oxygen gas typically a nitrogen gas
  • a nitrogen gas may be used as the film forming gas.
  • the flow rate ratio of the oxygen gas is preferably 0% or more and less than 30%, preferably 0% or more and 10% or less. ..
  • CAC-OS is characterized by the fact that no clear peak is observed when measured using the ⁇ / 2 ⁇ scan by the Out-of-plane method, which is one of the X-ray diffraction (XRD) measurement methods. Have. That is, from the X-ray diffraction measurement, it can be seen that the orientation of the measurement region in the ab plane direction and the c-axis direction is not observed.
  • XRD X-ray diffraction
  • CAC-OS has a ring-shaped region with high brightness (ring region) and the ring in an electron diffraction pattern obtained by irradiating an electron beam having a probe diameter of 1 nm (also referred to as a nanobeam electron beam). Multiple bright spots are observed in the area. Therefore, from the electron diffraction pattern, it can be seen that the crystal structure of CAC-OS has an nc (nano-crystal) structure having no orientation in the planar direction and the cross-sectional direction.
  • GaO X3 is the main component by EDX mapping obtained by using energy dispersive X-ray spectroscopy (EDX). It can be confirmed that the region and the region containing In X2 Zn Y2 O Z2 or InO X1 as the main component have a structure in which they are unevenly distributed and mixed.
  • EDX energy dispersive X-ray spectroscopy
  • CAC-OS has a structure different from that of the IGZO compound in which metal elements are uniformly distributed, and has properties different from those of the IGZO compound. That is, the CAC-OS is phase-separated into a region containing GaO X3 or the like as a main component and a region containing In X2 Zn Y2 O Z2 or InO X1 as a main component, and a region containing each element as a main component. Has a mosaic-like structure.
  • the region in which In X2 Zn Y2 O Z2 or InO X1 is the main component is a region having higher conductivity than the region in which GaO X3 or the like is the main component. That is, the conductivity as an oxide semiconductor is exhibited by the carrier flowing through the region where In X2 Zn Y2 O Z2 or InO X1 is the main component. Therefore, a high field effect mobility ( ⁇ ) can be realized by distributing the region containing In X2 Zn Y2 O Z2 or InO X1 as the main component in the oxide semiconductor in a cloud shape.
  • the region in which GaO X3 or the like is the main component is a region having higher insulating property than the region in which In X2 Zn Y2 O Z2 or InO X1 is the main component. That is, the region containing GaO X3 or the like as the main component is distributed in the oxide semiconductor, so that the leakage current can be suppressed and a good switching operation can be realized.
  • CAC-OS when CAC-OS is used for a semiconductor element, the insulation property caused by GaO X3 and the like and the conductivity caused by In X2 Zn Y2 O Z2 or InO X1 act in a complementary manner, resulting in high efficiency.
  • On-current (I on ) and high field-effect mobility ( ⁇ ) can be achieved.
  • CAC-OS is suitable as a constituent material for various semiconductor devices.
  • ⁇ Laminate structure 1> Next, the laminated structure of the image pickup apparatus will be described with reference to a cross-sectional view.
  • the elements such as the insulating layer and the conductive layer shown below are examples, and other elements may be included. Alternatively, some of the elements shown below may be omitted.
  • the laminated structure shown below can be formed by using a bonding step, a polishing step, or the like, if necessary.
  • FIG. 18 is an example of a cross-sectional view of a laminated body having layers 560, 561 and 563 and having a bonding surface between the layers 563a and 563b constituting the layer 563.
  • Layer 563b has a functional circuit provided on the silicon substrate 611.
  • the capacitor 202, the transistor 203, and the transistor 204 included in the circuit 201 are shown as a part of the functional circuit.
  • One electrode of the capacitor 202, one of the source or drain of the transistor 203, and the gate of the transistor 204 are electrically connected.
  • the layer 563b is provided with a silicon substrate 611 and insulating layers 612, 613, 614, 615, 616, 617, and 618.
  • the insulating layer 612 has a function as a protective film.
  • the insulating layers 613, 613, 616, and 617 have functions as an interlayer insulating film and a flattening film.
  • the insulating layer 615 has a function as a dielectric layer of the capacitor 202.
  • the insulating layer 618 and the conductive layer 619 have a function as a bonding layer.
  • the conductive layer 619 is electrically connected to one electrode of the capacitor 202.
  • a silicon nitride film, a silicon oxide film, an aluminum oxide film, or the like can be used as the protective film.
  • an inorganic insulating film such as a silicon oxide film or an organic insulating film such as an acrylic resin or a polyimide resin can be used.
  • a silicon nitride film, a silicon oxide film, an aluminum oxide film, or the like can be used as the dielectric layer of the capacitor. The bonding layer will be described later.
  • Conductors that can be used as wiring, electrodes, and plugs for electrical connections between devices include aluminum, chromium, copper, silver, gold, platinum, tantalum, nickel, titanium, molybdenum, tungsten, and hafnium. , Vanadium, niobium, manganese, magnesium, zirconium, beryllium, indium, ruthenium, iridium, strontium, lanthanum, etc., or alloys containing the above-mentioned metal elements as components, or alloys containing the above-mentioned metal elements. Etc. may be appropriately selected and used.
  • the conductor is not limited to a single layer, and may be a plurality of layers made of different materials.
  • Layer 563a has elements of pixel 100.
  • the transistor 102 and the transistor 108 are shown as a part of the elements of the pixel 100. In the cross-sectional view shown in FIG. 18, the electrical connection between the two is not shown.
  • the layer 563a is provided with a silicon substrate 632 and insulating layers 631, 633, 634, 635, 637, 638. In addition, conductive layers 636 and 639 are provided.
  • the insulating layer 631 and the conductive layer 639 have a function as a bonding layer.
  • the insulating layers 634, 635, and 637 have a function as an interlayer insulating film and a flattening film.
  • the insulating layer 633 has a function as a protective film.
  • the insulating layer 638 has a function of insulating the silicon substrate 632 and the conductive layer 639.
  • the insulating layer 638 can be formed of the same material as other insulating layers. Further, the insulating layer 638 may be made of the same material as the insulating layer 631.
  • the conductive layer 639 is electrically connected to the other of the source or drain of the transistor 108 and to the conductive layer 619. Further, the conductive layer 636 is electrically connected to the wiring 113 (see FIG. 3A).
  • the Si transistor shown in FIG. 18 is a fin type having a channel forming region on a silicon substrate (silicon substrates 611, 632). A cross section in the channel width direction (cross section of A1-A2 shown in layer 563a of FIG. 18) is shown in FIG. 19A.
  • the Si transistor may be a planar type as shown in FIG. 19B.
  • the transistor may have a semiconductor layer 545 of a silicon thin film.
  • the semiconductor layer 545 can be, for example, single crystal silicon (SOI (Silicon on Insulator)) formed on the insulating layer 546 on the silicon substrate 611.
  • SOI Silicon on Insulator
  • Layer 561 has a photoelectric conversion device 101.
  • the photoelectric conversion device 101 can be formed on the layer 563a.
  • FIG. 18 shows a configuration in which the organic photoconductivity shown in FIG. 17C is used for the photoelectric conversion layer as the photoelectric conversion device 101.
  • the layer 567a is used as a cathode and the layer 567e is used as an anode.
  • the layer 561 is provided with insulating layers 651, 652, 653, 654, and a conductive layer 655.
  • the insulating layers 651, 653, and 654 have a function as an interlayer insulating film and a flattening film. Further, the insulating layer 654 is provided so as to cover the end portion of the photoelectric conversion device 101, and has a function of preventing a short circuit between the layer 567e and the layer 567a.
  • the insulating layer 652 has a function as an element separation layer. It is preferable to use an organic insulating film or the like as the element separation layer.
  • the layer 567a corresponding to the cathode of the photoelectric conversion device 101 is electrically connected to one of the source and drain of the transistor 102 included in the layer 563a.
  • the layer 567e corresponding to the anode of the photoelectric conversion device 101 is electrically connected to the conductive layer 636 of the layer 563a via the conductive layer 655.
  • Layer 560 is formed on layer 561.
  • Layer 560 includes a light-shielding layer 671, an optical conversion layer 672, and a microlens array 673.
  • the light-shielding layer 671 can suppress the inflow of light to adjacent pixels.
  • a metal layer such as aluminum or tungsten can be used for the light-shielding layer 671. Further, the metal layer and a dielectric film having a function as an antireflection film may be laminated.
  • a color filter can be used for the optical conversion layer 672.
  • a color image can be obtained by assigning colors such as (red), G (green), B (blue), Y (yellow), C (cyan), and M (magenta) to the color filter for each pixel.
  • a wavelength cut filter is used for the optical conversion layer 672, it is possible to obtain an image pickup device that can obtain images in various wavelength regions.
  • the optical conversion layer 672 uses a filter that blocks light having a wavelength equal to or lower than that of visible light. Further, if the optical conversion layer 672 uses a filter that blocks light having a wavelength of near infrared rays or less, a far infrared ray imaging device can be obtained. Further, if the optical conversion layer 672 uses a filter that blocks light having a wavelength equal to or higher than that of visible light, it can be used as an ultraviolet imaging device.
  • the image pickup device can obtain an image that visualizes the intensity of radiation used in an X-ray image pickup device or the like.
  • radiation such as X-rays transmitted through a subject
  • a scintillator it is converted into light (fluorescence) such as visible light or ultraviolet light by a photoluminescence phenomenon.
  • the image data is acquired by detecting the light with the photoelectric conversion device 101.
  • an imaging device having the above configuration may be used as a radiation detector or the like.
  • the scintillator contains a substance that absorbs the energy and emits visible light or ultraviolet light when irradiated with radiation such as X-rays and gamma rays.
  • Gd 2 O 2 S Tb
  • Gd 2 O 2 S Pr
  • Gd 2 O 2 S Eu
  • BaFCl Eu
  • NaI, CsI, CaF 2 , BaF 2 , CeF 3 LiF, LiI, ZnO, etc.
  • Those dispersed in resin or ceramics can be used.
  • a microlens array 673 is provided on the optical conversion layer 672. Light passing through the individual lenses of the microlens array 673 passes through the optical conversion layer 672 directly below and irradiates the photoelectric conversion device 101. By providing the microlens array 673, the focused light can be incident on the photoelectric conversion device 101, so that photoelectric conversion can be performed efficiently.
  • the microlens array 673 is preferably formed of a resin or glass having high translucency with respect to visible light.
  • the layer 563b is provided with an insulating layer 618 and a conductive layer 619.
  • the conductive layer 619 has a region embedded in the insulating layer 618. Further, the surfaces of the insulating layer 618 and the conductive layer 619 are flattened so that their heights match.
  • the layer 563a is provided with an insulating layer 631 and a conductive layer 639.
  • the conductive layer 639 has a region embedded in the insulating layer 631. Further, the surfaces of the insulating layer 631 and the conductive layer 639 are flattened so that their heights match.
  • the conductive layer 619 and the conductive layer 639 are metal elements having the same main components. Further, it is preferable that the insulating layer 618 and the insulating layer 631 are composed of the same components.
  • Cu, Al, Sn, Zn, W, Ag, Pt, Au, or the like can be used for the conductive layers 619 and 639.
  • Cu, Al, W, or Au is preferably used because of the ease of joining.
  • silicon oxide, silicon oxide nitride, silicon nitride oxide, silicon nitride, titanium nitride and the like can be used for the insulating layers 618 and 631.
  • the conductive layer 619 and the conductive layer 639 may have a multi-layer structure of a plurality of layers, in which case, the surface layer (bonding surface) may be the same metal material. Further, the insulating layer 618 and the insulating layer 631 may also have a multilayer structure of a plurality of layers, and in that case, the insulating materials having the same surface layer (bonding surface) may be used.
  • a surface activation bonding method can be used in which the oxide film on the surface and the adsorption layer of impurities are removed by sputtering or the like, and the cleaned and activated surfaces are brought into contact with each other for bonding. ..
  • a diffusion bonding method or the like in which surfaces are bonded to each other by using both temperature and pressure can be used. Since bonds occur at the atomic level in both cases, excellent bonding can be obtained not only electrically but also mechanically.
  • the surfaces treated with hydrophilicity such as oxygen plasma are brought into contact with each other for temporary bonding, and then main bonding is performed by dehydration by heat treatment.
  • a joining method or the like can be used. Since the hydrophilic bonding method also causes bonding at the atomic level, it is possible to obtain mechanically excellent bonding.
  • a method can be used in which the surface is cleaned after polishing, the surface of the metal layer is subjected to an antioxidant treatment, and then a hydrophilic treatment is performed to join the metal layer.
  • the surface of the metal layer may be made of a refractory metal such as Au and subjected to hydrophilic treatment.
  • a joining method other than the above-mentioned method may be used.
  • the circuit 201 included in the layer 563b and the element of the pixel 100 included in the layer 563a can be electrically connected.
  • FIG. 20 is a modification of the laminated structure shown in FIG. 18, in which the configuration of the photoelectric conversion device 101 included in the layer 561 and the partial configuration of the layer 563a are different, and the bonded surface is also formed between the layer 561 and the layer 563a. It is a configuration having.
  • Layer 561 includes a photoelectric conversion device 101, insulating layers 661, 662, 664, 665 and conductive layers 135, 136.
  • the photoelectric conversion device 101 is a pn junction type photodiode formed on a silicon substrate, and has a layer 565b corresponding to a p-type region and a layer 565a corresponding to an n-type region.
  • the photoelectric conversion device 101 is an embedded photodiode, and a thin p-shaped region (a part of the layer 565b) provided on the surface side (current extraction side) of the layer 565a can suppress dark current and reduce noise. it can.
  • the insulating layer 661 and the conductive layers 135 and 136 have a function as a bonding layer.
  • the insulating layer 662 has a function as an interlayer insulating film and a flattening film.
  • the insulating layer 664 has a function as an element separation layer.
  • the insulating layer 665 has a function of suppressing the outflow of carriers.
  • the silicon substrate is provided with an opening for separating pixels, and the insulating layer 665 is provided on the upper surface of the silicon substrate and the opening.
  • the insulating layer 665 By providing the insulating layer 665, it is possible to prevent the carriers generated in the photoelectric conversion device 101 from flowing out to the adjacent pixels.
  • the insulating layer 665 also has a function of suppressing the intrusion of stray light. Therefore, the insulating layer 665 can suppress color mixing.
  • An antireflection film may be provided between the upper surface of the silicon substrate and the insulating layer 665.
  • the element separation layer can be formed by using the LOCOS (LOCOS Occidation of Silicon) method. Alternatively, it may be formed by using an STI (Shallow Trench Isolation) method or the like.
  • LOCOS LOC Occidation of Silicon
  • STI Shallow Trench Isolation
  • the insulating layer 665 for example, an inorganic insulating film such as silicon oxide or silicon nitride, or an organic insulating film such as polyimide or acrylic can be used.
  • the insulating layer 665 may have a multi-layer structure.
  • the layer 565a (n-type region, corresponding to the cathode) of the photoelectric conversion device 101 is electrically connected to the conductive layer 135.
  • the layer 565b (p-type region, corresponding to the anode) is electrically connected to the conductive layer 136.
  • the conductive layers 135 and 136 have a region embedded in the insulating layer 661. Further, the surfaces of the insulating layer 661 and the conductive layers 135 and 136 are flattened so that their heights match.
  • an insulating layer 638 is formed on the insulating layer 637. Further, a conductive layer 133 electrically connected to one of the source or drain of the transistor 102 and a conductive layer 134 electrically connected to the conductive layer 636 are formed.
  • the insulating layer 638 and the conductive layers 133 and 134 have a function as a bonding layer.
  • the conductive layers 133 and 134 have a region embedded in the insulating layer 638. Further, the surfaces of the insulating layer 638 and the conductive layers 133 and 134 are flattened so that their heights match.
  • the conductive layers 133, 134, 135, and 136 are the same bonded layers as the conductive layers 619 and 639 described above.
  • the insulating layers 638 and 661 are the same bonded layers as the insulating layers 618 and 631 described above.
  • the conductive layer 133 and the conductive layer 135 one of the source or drain of the transistor 102 can be electrically connected to the layer 565a (n-type region, corresponding to the cathode) of the photoelectric conversion device. Further, by laminating the conductive layer 134 and the conductive layer 136, the layer 565b (p-type region, corresponding to the anode) of the photoelectric conversion device and the wiring 113 (see FIG. 3) can be electrically connected. Further, by laminating the insulating layer 638 and the insulating layer 661, the layer 561 and the layer 563a can be electrically and mechanically bonded.
  • FIG. 21 is an example of a cross-sectional view of a laminated body having layers 560, 561, 562, and 563 and having no bonding surface.
  • a Si transistor is provided on the layer 563.
  • An OS transistor is provided on the layer 562.
  • the components of the memory circuit are provided on the layer 562 and the layer 563, and the drive circuit of the memory circuit is provided on the layer 563. Since the configurations of the layers 561 and 560 are the same as those shown in FIG. 18, the description thereof will be omitted here.
  • Layer 563 has a functional circuit provided on the silicon substrate 611.
  • transistors 251 included in the drive circuit of the memory circuit and transistors 252 and 253 included in the memory circuit are shown as a part of the functional circuit.
  • Layer 562b is formed on layer 563.
  • Layer 562b has an OS transistor.
  • the transistor 254 is shown as part of the memory circuit.
  • the layer 562b is provided with insulating layers 621, 622, 623, 624, 625, 626, 628 and 629. Further, a conductive layer 627 is provided. The conductive layer 627 can be electrically connected to the wiring 113 (see FIG. 3).
  • the insulating layer 621 has a function as a blocking layer. It has a function as an interlayer insulating film and a flattening film of the insulating layers 622, 623, 625, 626, 628, and 629.
  • the insulating layer 624 has a function as a protective film.
  • the blocking layer it is preferable to use a film having a function of preventing the diffusion of hydrogen.
  • hydrogen is required to terminate dangling bonds, but hydrogen in the vicinity of the OS transistor becomes one of the factors that generate carriers in the oxide semiconductor layer, which reduces reliability. .. Therefore, it is preferable to provide a hydrogen blocking film between the layer on which the Si device is formed and the layer on which the OS transistor is formed.
  • the blocking film for example, aluminum oxide, aluminum nitride, gallium oxide, gallium nitride, yttrium oxide, yttrium oxide, hafnium oxide, hafnium oxide, yttria-stabilized zirconia (YSZ) and the like can be used.
  • aluminum oxide, aluminum nitride, gallium oxide, gallium nitride, yttrium oxide, yttrium oxide, hafnium oxide, hafnium oxide, yttria-stabilized zirconia (YSZ) and the like can be used.
  • the memory circuit included in the layer 563 and the layer 562b has the transistor 254, the transistor 253, and the transistor 252 in the memory cell.
  • One of the source or drain of transistor 254 is electrically connected to the gate of transistor 253.
  • the gate of the transistor 254 is electrically connected to the transistor 251 included in the drive circuit of the memory circuit.
  • the gate of the transistor 253 is used as a data holding unit, and data is written by the transistor 254.
  • the memory cell is read out by conducting the transistor 252.
  • an OS transistor having a small off-current for the transistor 254 connected to the data holding unit the data holding time can be lengthened.
  • NO SRAM and the like in the embodiment described later can be referred to.
  • FIG. 22A shows the details of the OS transistor.
  • the OS transistor shown in FIG. 22A is a self-aligned type in which an insulating layer is provided on a laminate of an oxide semiconductor layer and a conductive layer, and an opening reaching the oxide semiconductor layer is provided to form a source electrode 705 and a drain electrode 706. It is the composition of.
  • the OS transistor may have a channel forming region, a source region 703, and a drain region 704 formed in the oxide semiconductor layer, as well as a gate electrode 701 and a gate insulating film 702. At least the gate insulating film 702 and the gate electrode 701 are provided in the opening. An oxide semiconductor layer 707 may be further provided in the groove.
  • the OS transistor may have a self-aligned configuration in which the source region 703 and the drain region 704 are formed in the semiconductor layer using the gate electrode 701 as a mask.
  • FIG. 22C it may be a non-self-aligned top gate type transistor having a region where the source electrode 705 or the drain electrode 706 and the gate electrode 701 overlap.
  • the OS transistor shows a structure having a back gate 535, it may have a structure without a back gate.
  • the back gate 535 may be electrically connected to the front gate of the transistor provided opposite to each other as shown in the cross-sectional view in the channel width direction of the transistor shown in FIG. 22D.
  • FIG. 22D shows a cross section of the transistor B1-B2 of FIG. 22A as an example, but the same applies to transistors having other structures.
  • the back gate 535 may be configured to be able to supply a fixed potential different from that of the front gate.
  • Layer 562a is formed on the layer 562b.
  • Layer 562a has an element of pixel 100 having an OS transistor.
  • the transistor 102 and the transistor 103 are shown as a part of the elements of the pixel 100.
  • the layer 562a is provided with insulating layers 641, 642, 643, 644, 645, 647. Further, a conductive layer 646 is provided.
  • the insulating layers 641, 642, 644, 645, and 647 have functions as an interlayer insulating film and a flattening film.
  • the insulating layer 643 has a function as a protective film.
  • One of the source and drain of the transistor 102 is electrically connected to the cathode of the photoelectric conversion device 101 included in the layer 561.
  • the conductive layer 646 is electrically connected to the anode of the photoelectric conversion device 101 included in the layer 561 and the conductive layer 627 included in the layer 562b.
  • the pixel circuit included in the layer 562a can be electrically connected to the circuit 201 included in the layer 563. Further, the circuit 201 can be electrically connected to other functional circuits.
  • FIG. 23 is a modification of the laminated structure shown in FIG. 22, in which the configuration of the photoelectric conversion device 101 included in the layer 561 and the partial configuration of the layer 562a are different, and a bonded surface is formed between the layer 561 and the layer 562a. It is a structure to have.
  • the photoelectric conversion device 101 included in the layer 561 is a pn junction type photodiode formed on a silicon substrate, and has the same configuration as that shown in FIG.
  • an insulating layer 648 is formed on the insulating layer 647. Further, a conductive layer 138 that is electrically connected to one of the source and drain of the transistor 102 and a conductive layer 139 that is electrically connected to the conductive layer 646 are formed.
  • the insulating layer 648 and the conductive layers 138 and 139 have a function as a bonding layer.
  • the conductive layers 138 and 139 have a region embedded in the insulating layer 648. Further, the surfaces of the insulating layer 648 and the conductive layers 133 and 134 are flattened so that their heights match.
  • the conductive layers 138 and 139 are the same bonded layers as the conductive layers 619 and 639 described above.
  • the insulating layer 648 is the same bonded layer as the above-mentioned insulating layers 618 and 631.
  • the conductive layer 138 and the conductive layer 135 one of the source or drain of the transistor 102 can be electrically connected to the layer 565a (n-type region, corresponding to the cathode) of the photoelectric conversion device. Further, by laminating the conductive layer 139 and the conductive layer 136, the layer 565b (p-type region, corresponding to the anode) of the photoelectric conversion device and the wiring 113 (see FIG. 3) can be electrically connected. Further, by laminating the insulating layer 648 and the insulating layer 661, the layer 561 and the layer 562a can be electrically and mechanically bonded.
  • FIG. 24A1 is an external perspective view of the upper surface side of the package containing the image sensor chip.
  • the package has a package substrate 410 for fixing the image sensor chip 450 (see FIG. 24A3), a cover glass 420, an adhesive 430 for adhering both, and the like.
  • FIG. 24A2 is an external perspective view of the lower surface side of the package.
  • the lower surface of the package has a BGA (Ball grid array) in which solder balls are bumps 440.
  • BGA Ball grid array
  • LGA Land grid array
  • PGA Peripheral Component Interconnect
  • FIG. 26A3 is a perspective view of the package shown by omitting a part of the cover glass 420 and the adhesive 430.
  • An electrode pad 460 is formed on the package substrate 410, and the electrode pad 460 and the bump 440 are electrically connected via a through hole.
  • the electrode pad 460 is electrically connected to the image sensor chip 450 by a wire 470.
  • FIG. 24B1 is an external perspective view of the upper surface side of the camera module in which the image sensor chip is housed in a lens-integrated package.
  • the camera module has an image sensor chip 451 (a package substrate 411 for fixing FIG. 24B3, a lens cover 421, a lens 435, and the like. Further, a drive circuit of an image pickup device and an image sensor chip 451 are located between the package substrate 411 and the image sensor chip 451.
  • An IC chip 490 having a function such as a signal conversion circuit (FIG. 24B3 is also provided, and has a configuration as a SiP (Sensem in package)).
  • FIG. 24B2 is an external perspective view of the lower surface side of the camera module.
  • the lower surface and the side surface of the package substrate 411 have a QFN (Quad flat no-lead package) configuration in which a land 441 for mounting is provided.
  • the configuration is an example, and a QFP (Quad flat package) or the above-mentioned BGA may be provided.
  • FIG. 24B3 is a perspective view of the module shown by omitting a part of the lens cover 421 and the lens 435.
  • the land 441 is electrically connected to the electrode pad 461, and the electrode pad 461 is electrically connected to the image sensor chip 451 or the IC chip 490 by a wire 471.
  • the image sensor chip By housing the image sensor chip in a package having the above-mentioned form, it can be easily mounted on a printed circuit board or the like, and the image sensor chip can be incorporated into various semiconductor devices and electronic devices.
  • the memory circuit can store the data captured by the pixel circuit or the product-sum calculation result. Therefore, an imaging device having a memory circuit can perform high-speed imaging and calculation.
  • FIG. 25A is a diagram showing a connection relationship of elements (memory cell 321a, low driver 312, column driver 313) included in the memory circuit 321. It is preferable to use an OS transistor as the transistor constituting the memory cell 321a.
  • the memory circuit 321 has m (m is an integer of 1 or more) in a column, n (n is an integer of 1 or more) in a row, and a total of m ⁇ n memory cells 321a, and the memory cells 321a have a matrix shape. Is located in. In FIG. 25A, the address of the memory cell 321a is also shown. For example, [1,1] indicates a memory cell 321a located at the address of the first row and the first column, and [i, j] (i is an integer of 1 or more and m or less, j is an integer of 1 or more and n or less). Indicates a memory cell 321a located at the address of the i-row and the j-th column.
  • the number of wires connecting the memory circuit 321 and the low driver 312 is determined by the configuration of the memory cells 321a, the number of the memory cells 321a included in the row, and the like. Further, the number of wirings connecting the memory circuit 321 and the column driver 313 is determined by the configuration of the memory cells 321a, the number of the memory cells 321a included in one line, and the like.
  • 25B to 25E are diagrams illustrating memory cells 321aA to memory cells 321aD that can be applied to memory cells 321a.
  • the bit wires can be connected to the column driver 313.
  • the word wires can be connected to the low driver 312.
  • a decoder or a shift register can be used for the low driver 312 and the column driver 313, for example.
  • a plurality of low drivers 312 and column drivers 313 may be provided.
  • FIG. 25B shows a circuit configuration example of the DRAM type memory cell 321aA.
  • a DRAM using an OS transistor is referred to as a DOSRAM (Dynamic Oxide Semiconductor Random Access Memory).
  • the memory cell 321aA has a transistor M11 and a capacitor Cs.
  • the first terminal of the transistor M11 is connected to the first terminal of the capacitor Cs, the second terminal of the transistor M11 is connected to the wiring BIL, the gate of the transistor M11 is connected to the wiring WL, and the back gate of the transistor M11 is. , Is connected to the wiring BGL.
  • the second terminal of the capacitor Cs is connected to the wiring GNDL.
  • Wiring GNDL is wiring that gives a low level potential (reference potential).
  • the wiring BIL functions as a bit line.
  • the wiring WL functions as a word line.
  • the wiring BGL functions as wiring for applying an electric potential to the back gate of the transistor M11.
  • the threshold voltage of the transistor M11 can be increased or decreased by applying an arbitrary potential to the wiring BGL.
  • Data writing and reading is performed by applying a high level potential to the wiring WL, making the transistor M11 conductive, and electrically connecting the wiring BIL and the first terminal of the capacitor Cs.
  • an OS transistor for the transistor M11.
  • the semiconductor layer of the OS transistor it is preferable to use an oxide semiconductor having any one of indium, element M (element M is one or more of aluminum, gallium, yttrium, or tin) and zinc.
  • oxide semiconductor having indium, gallium, and zinc it is preferable to use an oxide semiconductor having indium, gallium, and zinc.
  • An OS transistor to which an oxide semiconductor containing indium, gallium, and zinc is applied has a characteristic that the off-current is extremely small.
  • the leakage current of the transistor M11 can be made very low. That is, since the written data can be held by the transistor M11 for a long time, the frequency of refreshing the memory cells can be reduced. Moreover, the refresh operation of the memory cell can be eliminated.
  • FIG. 25C shows a circuit configuration example of a gain cell type (also referred to as “2Tr1C type”) memory cell 321aB having two transistors and one capacitor.
  • the memory cell 321aB has a transistor M11, a transistor M3, and a capacitor Cs.
  • the first terminal of the transistor M11 is connected to the first terminal of the capacitor Cs
  • the second terminal of the transistor M11 is connected to the wiring WBL
  • the gate of the transistor M11 is connected to the wiring WL
  • the back gate of the transistor M11 is , Is connected to the wiring BGL.
  • the second terminal of the capacitor Cs is connected to the wiring RL.
  • the first terminal of the transistor M3 is connected to the wiring RBL
  • the second terminal of the transistor M3 is connected to the wiring SL
  • the gate of the transistor M3 is connected to the first terminal of the capacitor Cs.
  • the wiring WBL functions as a write bit line.
  • the wiring RBL functions as a read bit line.
  • the wiring WL functions as a word line.
  • the wiring RL functions as wiring for applying a predetermined potential to the second terminal of the capacitor Cs. When writing data, it is preferable to apply a reference potential to the wiring RL during data retention.
  • the wiring BGL functions as wiring for applying an electric potential to the back gate of the transistor M11.
  • the threshold voltage of the transistor M11 can be increased or decreased by applying an arbitrary potential to the wiring BGL.
  • Data writing is performed by applying a high level potential to the wiring WL, making the transistor M11 conductive, and electrically connecting the wiring WBL and the first terminal of the capacitor Cs. Specifically, when the transistor M11 is in a conductive state, a potential corresponding to the information recorded in the wiring WBL is applied, and the potential is written to the first terminal of the capacitor Cs and the gate of the transistor M3. After that, a low level potential is applied to the wiring WL to bring the transistor M11 into a non-conducting state, thereby holding the potential of the first terminal of the capacitor Cs and the potential of the gate of the transistor M3.
  • Data reading is performed by applying a predetermined potential to the wiring RL and the wiring SL. Since the current flowing between the source and drain of the transistor M3 and the potential of the first terminal of the transistor M3 are determined by the potential of the gate of the transistor M3 and the potential of the second terminal of the transistor M3, they are connected to the first terminal of the transistor M3.
  • the potential held in the first terminal (or the gate of the transistor M3) of the capacitor Cs can be read out. That is, the information written in the memory cell can be read from the potential held in the first terminal of the capacitor Cs (or the gate of the transistor M3). Alternatively, it is possible to know whether or not there is information written in this memory cell.
  • the wiring WBL and the wiring RBL may be combined into one wiring BIL.
  • the memory cell 321aC shown in FIG. 25D has a configuration in which the wiring WBL and the wiring RBL of the memory cell 321aB are used as one wiring BIL, and the second terminal of the transistor M11 and the first terminal of the transistor M3 are connected to the wiring BIL. It has become. That is, the memory cell 321aC has a configuration in which the write bit line and the read bit line operate as one wiring BIL.
  • an OS transistor for the transistor M11
  • a storage device that uses an OS transistor for the transistor M11 and uses a 2Tr1C type memory cell such as a memory cell 321aB and a memory cell 321aC is called a NOSRAM (Non-volatile Oxide Sensor Random Access Memory).
  • FIG. 25E shows a circuit configuration example of a gain cell type (also referred to as “3Tr1C type”) memory cell 321aD of a 3-transistor 1-capacitor.
  • the memory cell 321aD includes a transistor M11, a transistor M5, a transistor M6, and a capacitor Cs.
  • the first terminal of the transistor M11 is connected to the first terminal of the capacitor Cs, the second terminal of the transistor M11 is connected to the wiring BIL, the gate of the transistor M11 is connected to the wiring WL, and the back gate of the transistor M11 is. , Electrically connected to the wiring BGL.
  • the second terminal of the capacitor Cs is electrically connected to the first terminal of the transistor M5 and the wiring GNDL.
  • the second terminal of the transistor M5 is connected to the first terminal of the transistor M6, and the gate of the transistor M5 is connected to the first terminal of the capacitor Cs.
  • the second terminal of the transistor M6 is connected to the wiring BIL, and the gate of the transistor M6 is connected to the wiring RL.
  • the wiring BIL functions as a bit line
  • the wiring WL functions as a write word line
  • the wiring RL functions as a read word line.
  • the wiring BGL functions as wiring for applying an electric potential to the back gate of the transistor M11.
  • the threshold voltage of the transistor M11 can be increased or decreased by applying an arbitrary potential to the wiring BGL.
  • Data writing is performed by applying a high level potential to the wiring WL, making the transistor M11 conductive, and connecting the wiring BIL and the first terminal of the capacitor Cs. Specifically, when the transistor M11 is in a conductive state, a potential corresponding to the information recorded in the wiring BIL is applied, and the potential is written to the first terminal of the capacitor Cs and the gate of the transistor M5. After that, a low level potential is applied to the wiring WL to bring the transistor M11 into a non-conducting state, thereby holding the potential of the first terminal of the capacitor Cs and the potential of the gate of the transistor M5.
  • Data reading is performed by precharging the wiring BIL with a predetermined potential, then electrically suspending the wiring BIL, and applying a high level potential to the wiring RL. Since the wiring RL has a high level potential, the transistor M6 is in a conductive state, and the wiring BIL and the second terminal of the transistor M5 are in an electrically connected state. At this time, the potential of the wiring BIL is applied to the second terminal of the transistor M5, but the transistor M5 depends on the potential held in the first terminal of the capacitor Cs (or the gate of the transistor M5). The potential of the second terminal and the potential of the wiring BIL change.
  • the potential held in the first terminal (or the gate of the transistor M5) of the capacitor Cs can be read out. That is, the information written in the memory cell can be read from the potential held in the first terminal of the capacitor Cs (or the gate of the transistor M5). Alternatively, it is possible to know whether or not there is information written in this memory cell.
  • the memory cell 321aD it is preferable to use an OS transistor for the transistor M11.
  • the 3Tr1C type memory cell 321aD to which the OS transistor is applied as the transistor M11 is one aspect of the NOSRAM described above.
  • the circuit configuration of the memory cell can be changed as appropriate.
  • a Si transistor can also be used as the transistor constituting the memory cell.
  • the semiconductor device described in this embodiment includes a processor and has a function of controlling the operation of the image pickup device.
  • the semiconductor device described in this embodiment is an example of a basic configuration in a processor and its peripheral circuits, and the circuit including the configuration can be called a CPU, an MCU, or the like.
  • the semiconductor device is a normally-off type, and can perform image pickup timing control and the like for a pixel circuit and a drive circuit.
  • a power gating capable circuit or power supply circuit in a semiconductor device can perform power gating and enter hibernation. Further, if necessary, only a specific circuit and a power supply circuit can be shifted to the power-on mode, and an image pickup permission signal can be output to the pixel circuit and the drive circuit. If there are other necessary processes in the semiconductor device, they can be executed.
  • power gating can be performed in the motion detection mode, so that power consumption can be reduced.
  • FIG. 26A A semiconductor device and its power management will be described with reference to FIGS. 26A and 26B.
  • the semiconductor device shown in FIG. 26A includes a power supply circuit 10 and a processing unit (PU: Processing Unit) 20.
  • the PU 20 is a circuit having a function of executing an instruction.
  • the PU 20 has a plurality of functional circuits integrated on one chip.
  • the PU 20 includes a processor core 30, a power management device (PMU) 60, a clock control circuit 65, a power switch (PSW) 70, and terminals 80 to 83.
  • FIG. 26A shows an example in which the power supply circuit 10 is provided on a chip different from the PU 20.
  • the terminal 80 is a terminal to which the power supply potential VDD is input from the power supply circuit 10.
  • the terminal 81 is a terminal to which the reference clock signal CLKM is input from the outside.
  • the terminal 82 is a terminal to which a signal INT is input from the outside.
  • the signal INT is an interrupt signal that requires interrupt processing.
  • the signal INT is input to PU20 and PMU60.
  • the terminal 83 is a terminal to which the control signal generated by the PMU 60 is output, and is electrically connected to the power supply circuit 10.
  • the processor core 30 is a circuit having a function capable of processing instructions, and can be called an arithmetic processing circuit. It has a storage circuit 31, a combinational circuit 32, and the like, and various functional circuits are configured by these. For example, the storage circuit 31 is included in the register. Note that D represents an input signal and Q represents an output signal.
  • the storage circuit 31 has a circuit MemC1 and a circuit BKC1.
  • the circuit MemC1 has a function of holding the data generated by the processor core 30, and can be configured by, for example, a flip-flop circuit, a latch circuit, or the like.
  • the circuit BKC1 is a circuit that can function as a backup circuit of the circuit MemC1 and can hold data for a long period of time even if the power supply is cut off or the clock signal is cut off. Having such a storage circuit 31 makes it possible to perform power gating of the processor core 30.
  • the state of the processor core 30 at the time of power cutoff can be maintained by saving the data of the circuit MemC1 in the circuit BKC1 in the storage circuit 31 before shutting off the power supply.
  • the data held in the circuit BKC1 is written to the circuit MemC1, so that the processor core 30 can be returned to the state when the power is cut off. Therefore, the PU 20 can immediately perform the normal processing operation after the power supply is restarted.
  • the circuit BKC1 has at least a holding circuit having one transistor (MW1) and one capacitive element (CB1).
  • the holding circuit shown in FIG. 26B has a circuit configuration similar to that of a standard DRAM (dynamic random access memory) 1T1C (1 transistor, 1 capacitance element) type memory cell, and writes and reads operations are also performed in the same manner. Can be done.
  • DRAM dynamic random access memory
  • 1T1C (1 transistor, 1 capacitance element
  • the drain current (off current) of the transistor MW1 in the off state By making the drain current (off current) of the transistor MW1 in the off state extremely small, the fluctuation of the potential of the node FN1 can be suppressed, so that the data holding time of the circuit BKC1 can be lengthened.
  • the data holding time of the circuit BKC1 is determined by the leakage current of the transistor MW1, the capacitance of the capacitive element CB1, and the like.
  • the circuit BKC1 can substantially function as a non-volatile storage circuit while the PU 20 is operating.
  • the circuit BKC1 Since the circuit BKC1 writes data by voltage, the write power can be suppressed as compared with MRAM (magnetoresistive RAM) which writes by current. Further, since the data is held by the load capacity of the node FN1, there is no limit on the number of times the data can be rewritten as in the flash memory.
  • MRAM magnetoresistive RAM
  • the energy required for writing data corresponds to the energy associated with charging / discharging the electric charge to the capacitive element CB1.
  • the energy required for writing data corresponds to the energy consumed when a current flows through the storage element. Since the current continues to flow in the MRAM during the data writing period, the energy required for writing the data becomes high.
  • the circuit BKC1 can reduce the energy consumed in writing data. Therefore, as compared with the storage circuit in which the backup circuit is composed of MRAM, the storage circuit 31 has more opportunities to perform voltage scaling and power gating that can reduce the energy consumed, so that the power consumption of the PU 20 can be reduced. It can be reduced.
  • the PMU 60 has a function of controlling a power gating operation, a clock gating operation, a voltage scaling operation, and the like. More specifically, the PMU 60 can control a function capable of controlling the power supply circuit 10, a function capable of controlling the storage circuit 31, a function capable of controlling the clock control circuit 65, and a function capable of controlling the PSW 70. It has a function that can be used. Therefore, the PMU 60 has a function of generating a control signal for controlling these circuits (10, 31, 65, 70).
  • the PMU 60 has a circuit 61.
  • the circuit 61 has a function of measuring time.
  • the PMU 60 has a function of being able to perform power management based on the time-related data obtained in the circuit 61.
  • the PSW 70 has a function of being able to control the supply of the power supply potential M VDD to the PU 20 according to the control signal of the PMU 60.
  • the power supply potential supplied to the PU 20 via the PSW 70 is referred to as a power supply potential VDD.
  • the processor core 30 may have a plurality of power supply domains. In this case, the PSW 70 may be able to independently control the power supply to the plurality of power supply domains. Further, the processor core 30 may have a power supply domain that does not require power gating. In this case, the power supply potential may be supplied to this power supply domain without going through the PSW 70.
  • the clock control circuit 65 has a function of inputting a reference clock signal CLKM, generating a gated clock signal, and outputting the gated clock signal.
  • the clock control circuit 65 has a function of blocking the clock signal to the processor core 30 according to the control signal of the PMU 60.
  • the power supply circuit 10 has a function of changing the magnitude of the VDD potential according to the control signal of the PMU 60.
  • the signal SLP output from the processor core 30 to the PMU 60 is a signal that triggers the transition of the processor core 30 to the hibernation state.
  • the PMU 60 When the signal SLP is input, the PMU 60 generates a control signal for shifting to the hibernation state and outputs the control signal to the functional circuit to be controlled.
  • the power supply circuit 10 lowers M VDD lower than in normal operation based on the control signal of PMU 60.
  • the PMU 60 controls the PSW 70 to cut off the power supply to the processor core 30.
  • the PMU 60 performs a voltage scaling operation for lowering the power supply potential VDD of the processor core 30.
  • FIGS. 27A to 27D are diagrams schematically showing changes in the potential of the power supply line.
  • the power supply line is a wiring to which the power supply potential VDD is supplied via the PSW 70.
  • the horizontal axis of the figure is the elapsed time from the normal state to the hibernation state, and t0, t1, etc. represent the time.
  • FIG. 27A is an example in which only power gating is executed in the hibernation state
  • FIG. 27B is an example in which only voltage scaling is executed in the hibernation state.
  • 27C and 27D are examples of performing voltage scaling and power gating.
  • the magnitude of the power supply potential MVDD supplied from the power supply circuit 10 is assumed to be VH1.
  • the power mode of the PU 20 is divided into three modes: a power on mode, a power off mode, and a low power mode.
  • the power-on mode is a mode in which the power potential VDD that can be normally processed is supplied to the PU 20.
  • the power off mode is a mode in which the supply of VDD is stopped by the PSW 70.
  • the low power supply mode is a mode for supplying a power supply potential VDD lower than that of the power on mode.
  • FIG. 27A An example of FIG. 27A will be described.
  • the process of transitioning to hibernation in the processor core 30 is started.
  • the storage circuit 31 is backed up.
  • the PMU 60 controls the PSW 70 and cuts off the power supply to the processor core 30 at time t1.
  • the power line 35 spontaneously discharges, and its potential drops to 0V.
  • the leakage current of the processor core 30 in the hibernation state can be significantly reduced, so that the power consumption in the hibernation state (hereinafter, may be referred to as standby power) can be reduced.
  • the PMU 60 controls the PSW 70 and restarts the supply of VDD.
  • the supply of VDD is restarted.
  • the potential of the power line 35 rises and becomes VH1 at time t6.
  • the PMU 60 controls the power supply circuit 10 at time t1, and the potential of M VDD is lowered to VH2.
  • the potential of the power line 35 eventually becomes VH2.
  • the power supply potential M VDD returns from VH2 to VH1 at time t4, the potential of the power supply line 35 rises and becomes VH1 at time t5.
  • the time (overhead time) required to return from the hibernation state to the normal state is the time required for the potential of the power supply line 35 to rise from 0V to VH1, and the energy required for the return.
  • the overhead is the energy required to charge the load capacity of the power line 35 from 0V to VH1. If the power-off mode period (t1-t4) is sufficiently long, power gating is effective in reducing the standby power of the PU 20. On the other hand, if the period (t1-t4) is short, the power required to return to the normal state is larger than the power that can be reduced by shutting off the power supply, and the effect of power gating cannot be obtained.
  • the voltage scaling operation is performed in the hibernation state, and the mode shifts from the power-on mode to the low power-on mode.
  • the PMU 60 controls the power supply circuit 10 and lowers the potential of M VDD to VH2, so that the potential of the power supply line 35 eventually becomes VH2.
  • the PMU 60 controls the PSW 70 to set the power off mode.
  • the potential VH2 is a power supply potential having a size capable of holding data in the circuit MemC1 of the storage circuit 31, and the potential VH3 is a potential at which the data in the circuit MemC1 is lost.
  • the circuit BKC1 is a circuit capable of holding data even during a period when the power supply is stopped.
  • the PMU 60 has a function of returning the PU 20 to the normal state based on an interrupt request or the like.
  • the PMU 60 controls the power supply circuit 10 to boost the magnitude of M VDD to VH1, and also controls the PSW 70 to restart the supply of VDD of the PU 20.
  • the power-on mode is set. Since the potential of the power supply line 35 stabilizes at time t6, the PU 20 can operate normally after time t6.
  • FIG. 27D shows an example in which there is an interrupt request for returning to the normal operation before the time t3.
  • the power-on mode is set.
  • the PMU 60 controls the power supply circuit 10 to change the magnitude of MVDD to the potential VH1 in the power-on mode.
  • the potential of the power line 35 rises to VH1.
  • the time required to return the potential of the power supply line 35 to VH1 in the hibernation state is changed from the low power supply mode to the power on mode by returning from the power off mode to the power on mode. Longer than returning. Therefore, the PMU 60 has a function of adjusting the timing of the operation of returning the processor core 30 from the hibernation state to the normal state according to the power supply mode. As a result, the processor core 30 can be returned from the hibernation state to the normal state in the shortest time.
  • the transition from the low power supply mode to the power off mode can be performed by measuring the time with the circuit 61 provided in the PMU 60.
  • the PMU 60 starts measuring the time in the circuit 61.
  • a predetermined time elapses after the low power supply mode is set, the PMU 60 shifts to the power off mode.
  • the control signal of the PMU 60 turns off the PSW 70 and cuts off the supply of VDD. In this way, it is possible to shift from the low power supply mode to the power off mode by the interrupt request based on the measurement data of the circuit 61.
  • FIG. 28 an example of power management operation of the PMU 60 will be described with reference to the flowchart shown in FIG. 28.
  • the PU 20 is operating normally.
  • the power supply mode is the power on mode, and the PMU 60 is in the idle state (S10).
  • the PMU 60 is in an idle state until a signal SLP is input, and executes a save sequence triggered by the input of the signal SLP (S11).
  • the PMU 60 outputs a control signal to the clock control circuit 65 and stops the output of the clock signal (S12).
  • a control signal for saving data is output to the storage circuit 31 (S13).
  • the data held in the circuit MemC1 is saved in the circuit BKC1 according to the control signal of the PMU 60.
  • the PMU 60 controls the power supply circuit 10 to reduce M VDD.
  • the power supply mode shifts to the low power supply mode (S14).
  • the PMU 60 controls the built-in circuit 61 and measures the time Ta in the low power supply mode (S15).
  • the timing for operating the circuit 61 is arbitrary as long as the save sequence is being executed. For example, when the signal SLP is input or when the control signal is output to the clock control circuit 65, data save is started. When, when the data saving is completed, when the control signal is output to the power supply circuit 10, and the like can be mentioned.
  • the PMU 60 After executing the evacuation sequence, the PMU 60 goes into an idle state (S16), monitors the input of the signal INT, and monitors the measurement time Ta of the clock control circuit 65.
  • the process shifts to the return sequence (S17). It is determined whether or not the time Ta exceeds the set time T vs (S18).
  • the PMU 60 controls to shift the power supply mode to the power off mode (S19), and if it does not exceed the time Ta, the idle state is maintained (S16).
  • the time T vs. may be set so that the standby power of the processor core 30 can be reduced by setting the power off mode rather than the low power mode.
  • the PMU 60 outputs a control signal that causes the PSW 70 to cut off the power supply to the processor core 30.
  • the PMU 60 is idle again (S20) and monitors the signal INT input (S21).
  • the PMU 60 executes a return sequence.
  • the PMU 60 first shifts from the power-off mode to the power-on mode (S22).
  • the PMU 60 controls the power supply circuit 10 to output a power supply potential for normal operation.
  • the PMU 60 controls the PSW 70 to restart the supply of VDD to the processor core 30.
  • a control signal is output to the storage circuit 31 to restore the data in the storage circuit 31 (S23).
  • the storage circuit 31 writes back the data held in the circuit BKC1 to the circuit MemC1 according to the control signal of the PMU 60.
  • the PMU 60 outputs a control signal for outputting the clock signal to the clock control circuit 65 (S24).
  • the clock control circuit 65 resumes the output of the clock signal according to the control signal of the PMU 60.
  • the power-on mode is restored from the low power supply mode, and the potential of the power supply line 35 is stabilized faster than when the return sequence is executed from the determination process of S21. Can be done. Therefore, in the PMU 60, the timing of executing S23 is earlier when shifting from S17 to the return sequence than when shifting from S21 to the return sequence. As a result, the time for returning the processor core 30 from the hibernation state to the normal state can be shortened.
  • the leakage current is first reduced by lowering the power potential supplied to the processor core 30 by the voltage scaling operation. While reducing, the processing time and energy overhead of returning from hibernation to normal is reduced. When the hibernation state continues for a certain period of time, a power gating operation is performed to suppress the leakage current of the processor core 30 as much as possible. This makes it possible to reduce the power consumption of the PU 20 in the hibernation state without reducing the processing capacity of the PU 20.
  • FIG. 29A shows a modified example of the semiconductor device of FIG. 26A.
  • the processing device (PU) 21 shown in FIG. 29A has a configuration in which a cache 40 and a power switch (PSW) 71 are added to the PU 20.
  • the cache 40 is capable of power gating and voltage scaling, and the power mode of the cache 40 changes in conjunction with the power mode of the PU 21.
  • the PSW 71 is a circuit that controls the supply of the power supply potential M VDD to the cache 40, and is controlled by the PMU 60.
  • the power supply potential input to the cache 40 via the PSW 71 is set to VDD_MEM.
  • a control signal from the PMU 60 and a gated clock signal from the clock control circuit 65 are input to the cache 40 as in the processor core 30.
  • the cache 40 is a storage device having a function of temporarily storing frequently used data.
  • the cache 40 has a memory array 41, a peripheral circuit 42, and a control circuit 43.
  • the memory array 41 has a plurality of memory cells 45.
  • the control circuit 43 controls the operation of the cache 40 according to the request of the processor core 30. For example, the write operation and read operation of the memory array 41 are controlled.
  • the peripheral circuit 42 has a function of generating a signal for driving the memory array 41 according to a control signal from the control circuit 43.
  • the memory array 41 has a memory cell 45 that holds data.
  • the memory cell 45 has a circuit MemC2 and a circuit BKC2.
  • the circuit MemC2 is a memory cell to be accessed in normal operation.
  • a memory cell of SRAM Static Random Access Memory
  • the circuit BKC2 is a circuit that can function as a backup circuit of the circuit MemC2 and can hold data for a long period of time even if the power supply is cut off or the clock signal is cut off. By providing such a memory cell 45, it becomes possible to perform power gating of the cache 40.
  • the data of the circuit MemC2 is saved in the BKC2 in the memory cell 45.
  • the data held in the circuit BKC2 is written back to the circuit MemC2, so that the PU 21 can be returned to the state before the power is cut off at high speed.
  • the circuit BKC2 of the memory cell 45 also has at least a holding circuit having one transistor (MW2) and one capacitive element (CB2) like the circuit BKC1 of FIG. 26B. That is, the circuit BKC2 also has a holding circuit having a configuration similar to that of a standard DRAM 1T1C type memory cell. As with the transistor MW1, an OS transistor having an extremely low off-current may be applied to the transistor MW2. With such a configuration, the circuit BKC2 can also suppress the fluctuation of the potential of the node FN2 which is in an electrically floating state, so that the circuit BKC2 can hold the data for a long period of time.
  • MW2 transistor
  • CB2 capacitive element
  • the data retention time of the circuit BKC2 is determined by the leakage current of the transistor MW2, the capacitance of the capacitive element CB2, and the like.
  • the circuit BKC2 can be used as a non-volatile storage circuit that does not require a refresh operation.
  • the PMU 60 manages the power supply as in the PU 20. (See FIG. 28).
  • the data saving operation of the storage circuit 31 and the cache 40 is performed.
  • PSW70 and PSW71 are controlled to stop the power supply to the processor core 30 and the cache 40.
  • PSW70 and PSW71 are controlled, and power supply to the processor core 30 and the cache 40 is restarted.
  • the data recovery operation of the storage circuit 31 and the cache 40 is performed.
  • the processor core 180 shown in FIG. 30 is an example of a circuit that can be used as the processor core 30.
  • the processor core 180 includes a control device 181, a program counter 182, a pipeline register 183, a pipeline register 184, a register file 185, an arithmetic logic unit (ALU) 186, and a data bus 187.
  • Data exchange between the processor core 180 and peripheral circuits such as the PMU and cache is performed via the data bus 187.
  • the control device 181 comprehensively controls the operations of the program counter 182, the pipeline register 183, the pipeline register 184, the register file 185, the ALU186, and the data bus 187, so that the instructions included in the program such as the input application are included.
  • the ALU186 has a function of performing various arithmetic operations such as four arithmetic operations and logical operations.
  • the program counter 182 is a register having a function of storing the address of the instruction to be executed next.
  • the pipeline register 183 is a register having a function of temporarily storing instruction data.
  • the register file 185 has a plurality of registers including general-purpose registers, and can store data read from the main memory, data obtained as a result of arithmetic processing of ALU186, and the like.
  • the pipeline register 184 is a register having a function of temporarily storing data used for the arithmetic processing of ALU186, data obtained by the arithmetic processing of ALU186, and the like.
  • the storage circuit 31 of FIG. 26B is used for a register included in the processor core 180.
  • FIG. 31 is a circuit diagram showing an example of the configuration of the storage circuit.
  • the storage circuit 190 shown in FIG. 31 functions as a flip-flop circuit.
  • a standard flip-flop circuit can be applied to the circuit MemC1, and for example, a master-slave type flip-flop circuit can be applied.
  • An example of such a configuration is shown in FIG.
  • the flip-flop circuit 110 includes transmission gates (TG1, TG2, TG3, TG4, TG5), inverter circuits (INV1, INV2, INV3, INV4), and NAND circuits (NAND1, NAND2).
  • the signal SETT and the signal OSR are control signals output from the PMU 60.
  • the signal OSR and its inverted signal are input to the TG5.
  • the clock signal CLK and its inversion signal are input to the TG1 to TG4.
  • One clocked inverter circuit may be provided instead of TG1 and INV1.
  • One clocked NAND circuit may be provided instead of the TG2 and the NAND2.
  • a clocked inverter circuit may be provided instead of the TG3 and the INV3.
  • the TG5 functions as a switch for controlling the conduction state between the output node of the NAND1 and the node NR1.
  • Node NB1 is electrically connected to the input node of circuit BKC10, and node NR1 is electrically connected to the output node of circuit BKC10.
  • the circuit BKC10 shown in FIG. 31 functions as a backup circuit of the flip-flop circuit 110.
  • the circuit BKC10 has a circuit RTC10 and a circuit PCC10.
  • the signals (OSG, OSC, OSR) input to the circuit BKC10 are control signals output from the PMU60.
  • the power supply potential VSS is a low power supply potential, and may be, for example, a ground potential (GND) or 0V.
  • the power supply potential VSS and the power supply potential VDD are also input to the flip-flop circuit 110 as in the circuit BKC1. In the storage circuit 190, the supply of VDD is controlled by the PMU 60.
  • the circuit RTC10 includes a transistor MW1, a transistor MA1, a transistor MR1, a node FN1, and a node NK1.
  • the circuit RTC10 has a function of holding data, and here, it is composed of a storage circuit having a 3T type gain cell structure.
  • the transistor MW1 is a write transistor and an OS transistor.
  • the transistor MR1 is a read transistor, and the transistor MA1 is an amplification transistor and a read transistor. Data is held at node FN1.
  • Node NK1 is a data input node.
  • Node NR1 is a data output node of circuit RTC10.
  • FIG. 31 shows a configuration example in which the circuit BKC10 reads the data of the slave side latch circuit of the flip-flop circuit 110 in the retract operation and writes the data held in the return operation back to the latch circuit on the master side.
  • the data to be saved may be the data of the latch circuit on the master side. Further, the data may be returned to the latch circuit on the slave side.
  • the TG5 may be provided in the latch circuit on the slave side.
  • the transistor MR1 and the transistor MA1 of the circuit RTC10 may be n-type or p-type, and the potential of the signal OSR and the level of the power supply potential supplied to the transistor MA1 may be changed depending on the conductive type of the transistor MR1 and the transistor MA1. .. Further, the logic circuit of the flip-flop circuit 110 may be appropriately set. For example, when the transistor MR1 and the transistor MA1 are p-type transistors, the master side latch circuit may replace NAND1 and INV3, and the slave side latch circuit may replace INV2 and NAND2. Further, VDD may be input to the transistor MA1 instead of VSS.
  • the circuit BKC10 Since the circuit BKC10 writes data by voltage, the write power can be suppressed as compared with MRAM which writes by current. Further, since the data is held by the load capacity of the node FN1, there is no limit on the number of times the data can be rewritten as in the flash memory.
  • the energy required for writing data corresponds to the energy associated with charging / discharging the electric charge to the capacitive element CB1.
  • the energy required for writing data corresponds to the energy consumed when a current flows through the storage element. Therefore, the circuit BKC10 can reduce the energy consumed by saving the data as compared with the case of using an MRAM or the like in which the current continues to flow during the data writing period. Therefore, by providing the circuit BKC10 in the backup circuit, the BET (break-even point arrival time, Break Even Time) can be shortened as compared with the case where the MRAM is provided. As a result, the opportunity for power gating that can reduce the energy consumed is increased, and the power consumption of the semiconductor device can be reduced.
  • the circuit PCC10 has a transistor MC1 and a transistor MC2.
  • the circuit PCC10 has a function of precharging the node FN1.
  • the circuit PCC10 may not be provided. As will be described later, by providing the circuit PCC10, the data save time of the circuit BKC10 can be shortened.
  • FIG. 32 is a timing chart showing an example of the operation of the storage circuit 190, and shows the waveforms of the control signals (SLP, SETET, CLK, OSG, OSC, OSR), and the potentials of the power supply potential VDD, the node FN1 and the node NR1. Show change.
  • the power supply potential VDD and the signal CLK are supplied to the storage circuit 190.
  • the flip-flop circuit 110 functions as a sequential circuit. Since the signal SETT is maintained at a high level, NAND1 and NAND2 function as inverter circuits. In the circuit BKC10, since the transistor MC1 is in the off state and the transistor MC2 and the transistor MW1 are in the on state, the potential of the node FN1 is precharged to a high level.
  • the clock signal CLK is stopped.
  • the rewriting of the data of the node NB1 is stopped.
  • the potential level of node NB1 is low level (“0”) if the potential of node NR1 is high level (“1”), and high if the potential level of node NR1 is low level (“0”).
  • the data of the node NB1 is saved in the node FN1 during the period when the signal OSC is at a high level. Specifically, since the transistor MC1 and the transistor MW1 are in the ON state, the node FN1 and the node NB1 are electrically connected.
  • node FN1 By lowering the signal OSG and turning off the transistor MW1, the node FN1 is electrically suspended and the circuit BKC10 is in a data holding state.
  • the potential of node FN1 is high if node NR1 is low level (“0”) and low level if node NR1 is high level (“1”).
  • the voltage scaling operation of the PU 20 can be performed immediately after the signal OSG is lowered to a low level. Further, since the node FN1 is precharged to a high level during normal operation by the transistor MC2, the charge of the node FN1 does not move in the data saving operation for setting the node FN1 to a high level. Therefore, the circuit BKC10 can complete the evacuation operation in a short time.
  • the signal CLK may be inactive, and in the example of FIG. 32, the potential of the signal CLK is set to a low level, but it may be set to a high level.
  • the PMU 60 performs a voltage scaling operation in conjunction with the falling edge of the signal OSC. As a result, the storage circuit 190 shifts to the low power supply mode.
  • the PMU 60 In response to the interrupt request, the PMU 60 returns the storage circuit 190 to the power-on mode.
  • the signal CLK is set to a high level.
  • the data recovery operation is performed during the period when the signal OSR is at a high level.
  • the potential of the node NR1 is precharged to a high level (“1”).
  • the TG5 is in a high impedance state and the transistor MR1 is in a conductive state.
  • the conduction state of the transistor MA1 is determined by the potential of the node FN1. If the node FN1 is at a high level, the potential of the node NR1 is lowered to a low level (“0”) because the transistor MA1 is in a conductive state. If the node FN1 is at a low level, the potential of the node NR1 is maintained at a high level. That is, the state of the flip-flop circuit 110 is restored to the state before the transition to the hibernation state.
  • the storage circuit 190 can shorten the return operation period.
  • FIG. 32 shows an example of returning from the power-off mode to the power-on mode.
  • the potential of the power supply line for supplying the VDD is the period T on to be stabilized is shortened. In this case, it is preferable that the signal OSR rises faster than when returning from the power off mode.
  • FIG. 33 shows an example of the configuration of the memory cell of the cache.
  • the memory cell 120 shown in FIG. 33 has a circuit SMC 20 and a circuit BKC 20.
  • the circuit SMC 20 may have a circuit configuration similar to that of a standard SRAM memory cell.
  • the circuit SMC 20 shown in FIG. 33 includes an inverter circuit INV21, an inverter circuit INV22, a transistor M21, and a transistor M22.
  • the circuit BKC 20 functions as a backup circuit of the circuit SMC 20.
  • the circuit BKC20 includes a transistor MW11, a transistor MW12, a capacitive element CB11, and a capacitive element CB12.
  • the transistors MW11 and MW12 are OS transistors.
  • the circuit SMC20 has two 1T1C type holding circuits, and data is held in the node SN1 and the node SN2, respectively.
  • the holding circuit including the transistor MW11 and the capacitive element CB11 has a function of backing up the data of the node NET1.
  • the holding circuit including the transistor MW12 and the capacitive element CB12 has a function of backing up the data of the node NET2.
  • the memory cell 120 is supplied with power potentials VDDMC and VSS.
  • the memory cell 120 is electrically connected to the wiring (WL, BL, BLB, BRL).
  • a signal SLC is input to the wiring WL.
  • the data signal D and the data signal DB are input to the wiring BL and the wiring BLB.
  • the data is read out by detecting the potentials of the wiring BL and the wiring BLB.
  • the signal OSS is input to the wiring BRL.
  • the signal OSS is a signal input from the PMU 60.
  • FIG. 34 is an example of the timing chart of the memory cell 120.
  • the PMU 60 In response to the interrupt request, the PMU 60 returns the cache 40 to the normal state.
  • the signal OSS is set to a high level, and the data held in the circuit BKC20 is written back to the circuit SMC20.
  • the PMU 60 performs a voltage scaling operation and a power gating operation to return the storage circuit 190 to the power-on mode.
  • the signal CLK when the potential of the power line that supplies VDD becomes stable, the signal CLK is set to a high level.
  • the signal OSS is returned to a low level and the data recovery operation is terminated.
  • the states of the nodes SN1 and SN2 have returned to the state immediately before the hibernation state.
  • Electronic devices that can use the imaging device according to one aspect of the present invention include a display device, a personal computer, an image storage device or image reproduction device provided with a recording medium, a mobile phone, a game machine including a portable type, and a portable data terminal.
  • Electronic book terminals video cameras, cameras such as digital still cameras, goggles type displays (head mount displays), navigation systems, sound reproduction devices (car audio, digital audio players, etc.), copiers, facsimiles, printers, multifunction printers , Automatic cash deposit / payment machines (ATMs), vending machines, etc. Specific examples of these electronic devices are shown in FIGS. 35A to 35F.
  • FIG. 35A is an example of a mobile phone, which includes a housing 981, a display unit 982, an operation button 983, an external connection port 984, a speaker 985, a microphone 986, a camera 987, and the like.
  • the mobile phone includes a touch sensor on the display unit 982. All operations such as making a phone call or inputting characters can be performed by touching the display unit 982 with a finger or a stylus.
  • An imaging device according to an aspect of the present invention and an operation method thereof can be applied to the mobile phone.
  • FIG. 35B is a portable data terminal, which includes a housing 911, a display unit 912, a speaker 913, a camera 919, and the like. Information can be input and output by the touch panel function of the display unit 912. In addition, characters and the like can be recognized from the image acquired by the camera 919, and the characters can be output as voice by the speaker 913.
  • An imaging device according to an aspect of the present invention and an operation method thereof can be applied to the portable data terminal.
  • FIG. 35C is a surveillance camera, which has a support base 951, a camera unit 952, a protective cover 953, and the like.
  • the camera unit 952 is provided with a rotation mechanism or the like, and by installing it on the ceiling, it is possible to take an image of the entire surroundings.
  • An image pickup apparatus according to an aspect of the present invention and an operation method thereof can be applied to an element for image acquisition in the camera unit.
  • the surveillance camera is a conventional name and does not limit its use.
  • a device having a function as a surveillance camera is also called a camera or a video camera.
  • FIG. 35D is a video camera, which includes a first housing 971, a second housing 972, a display unit 973, an operation key 974, a lens 975, a connection unit 976, a speaker 977, a microphone 978, and the like.
  • the operation key 974 and the lens 975 are provided in the first housing 971, and the display unit 973 is provided in the second housing 972.
  • An imaging device according to one aspect of the present invention and an operation method thereof can be applied to the video camera.
  • FIG. 35E is a digital camera, which includes a housing 961, a shutter button 962, a microphone 963, a light emitting unit 967, a lens 965, and the like.
  • An imaging device according to one aspect of the present invention and an operation method thereof can be applied to the digital camera.
  • FIG. 35F is a wristwatch-type information terminal, which includes a display unit 932, a housing / wristband 933, a camera 939, and the like.
  • the display unit 932 includes a touch panel for operating the information terminal.
  • the display unit 932 and the housing / wristband 933 have flexibility and are excellent in wearability to the body.
  • An imaging device according to an aspect of the present invention and an operation method thereof can be applied to the information terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Ceramic Engineering (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Thin Film Transistor (AREA)

Abstract

モーション検出機能および画像処理機能を有する撮像装置を提供する。 撮像装置は、基準となるフレーム画像と比較対象のフレーム画像との間の差分を検出することができ、有意な差分が検出されたときにモーション検出モードから通常撮像モードに切り替えることができる。モーション検出モードでは低フレームレートで動作させることにより、消費電力を抑えることができる。また、撮像装置は、画像認識機能を有し、モーション検出機能を組合すことにより、特定の画像が認識されたときにモーション検出モードから通常撮像モードに切り替えることができる。

Description

撮像装置、その動作方法および電子機器
本発明の一態様は、撮像装置に関する。
なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の一態様の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物（コンポジション・オブ・マター）に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、液晶表示装置、発光装置、照明装置、蓄電装置、記憶装置、撮像装置、それらの動作方法、または、それらの製造方法、を一例として挙げることができる。
なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。トランジスタ、半導体回路は半導体装置の一態様である。また、記憶装置、表示装置、撮像装置、電子機器は、半導体装置を有する場合がある。
基板上に形成された酸化物半導体薄膜を用いてトランジスタを構成する技術が注目されている。例えば、酸化物半導体を有するオフ電流が極めて低いトランジスタを画素回路に用いる構成の撮像装置が特許文献１に開示されている。
また、撮像装置に演算機能を付加する技術が特許文献２に開示されている。
特開２０１１−１１９７１１号公報 特開２０１６−１２３０８７号公報
ＣＭＯＳイメージセンサなどの固体撮像素子を備える撮像装置では、技術発展により高画質な画像が容易に撮影できるようになっている。次世代においては、撮像装置にさらに知的な機能を搭載することが求められている。
画像データの圧縮や画像認識などは、現状では画像データ（アナログデータ）をデジタルデータ変換し、外部に取り出した後に処理が行われる。当該処理を撮像装置内で行うことができれば、外部の機器との連携がより高速となり、使用者の利便性が向上する。また、周辺装置などの負荷や消費電力も低減することができる。また、アナログデータの状態で複雑なデータ処理が行えれば、データ変換に要する時間も短縮することができる。
また、監視カメラなどは常時稼働しており、消費電力が大きい。例えば、イベントが発生していないときは動作を簡略化し、イベントが発生したときに通常の撮像動作に移行するような動作を行うことができれば消費電力を大幅に削減することができる。また、イベントが発生していないときは、パワーゲーティングで消費電力も低減できることが好ましい。
したがって、本発明の一態様では、画像処理を行うことができる撮像装置を提供することを目的の一つとする。または被写体の変化を検出することができる撮像装置を提供することを目的の一つとする。または、低消費電力の撮像装置を提供することを目的の一つとする。または、小型の撮像装置を提供することを目的の一つとする。または、信頼性の高い撮像装置を提供することを目的の一つとする。または、新規な撮像装置などを提供することを目的の一つとする。または、上記撮像装置の動作方法を提供することを目的の一つとする。または、新規な半導体装置などを提供することを目的の一つとする。
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。
本発明の一態様は、モーション検出機能、画像処理機能を有し、低消費電力で動作する撮像装置に関する。または、その動作方法に関する。
本発明の一態様は、画素と、第１の回路と、第２の回路と、を有する撮像装置であって、第１の回路は、画素に第１の電位を供給する機能を有し、画素は、第１のデータおよび第２のデータを取得する機能を有し、画素は、第１のデータと第２のデータとの差分である第３のデータを生成する機能を有し、画素は、第３のデータに第１の電位に基づく電位を加算して第４のデータを生成する機能を有し、第２の回路は、画素が出力する第３のデータと、第４のデータとの差分に相当する第５のデータを生成する機能を有する撮像装置である。
また、本発明の他の一態様は、画素ブロックと、第１の回路と、第２の回路と、を有する撮像装置であって、画素ブロックは、マトリクス状に配置された複数の画素を有し、第１の回路は、画素に第１の電位を供給する機能を有し、画素は、第１のデータおよび第２のデータを取得する機能を有し、画素は、第１のデータと第２のデータとの差分である第３のデータを生成する機能を有し、画素は、第３のデータに第１の電位に基づく電位を加算して第４のデータを生成する機能を有し、第２の回路は、画素ブロックの複数の画素が出力する第３のデータの和と、画素ブロックの複数の画素が出力する第４のデータの和との差分に相当する第５のデータを生成する機能を有する撮像装置である。
画素は、光電変換デバイスと、第１のトランジスタと、第２のトランジスタと、第３のトランジスタと、第４のトランジスタと、第５のトランジスタと、第６のトランジスタと、第１のキャパシタと、第２のキャパシタと、を有し、光電変換デバイスの一方の電極は、第１のトランジスタのソースまたはドレインの一方と電気的に接続され、第１のトランジスタのソースまたはドレインの他方は、第２のトランジスタのソースまたはドレインの一方、および第１のキャパシタの一方の電極と電気的に接続され、第１のキャパシタの他方の電極は、第３のトランジスタのソースまたはドレインの一方、第２のキャパシタの一方の電極、および第４のトランジスタのゲートと電気的に接続され、第４のトランジスタのソースまたはドレインの一方は、第５のトランジスタのソースまたはドレインの一方と電気的に接続され、第２のキャパシタの他方の電極は、第６のトランジスタのソースまたはドレインの一方と電気的に接続され、第５のトランジスタのソースまたはドレインの他方は、第２の回路と電気的に接続され、第６のトランジスタのソースまたはドレインの他方は、第１の回路と電気的に接続することができる。
第２の回路には、相関二重サンプリング回路を用いることができる。
画素が有するトランジスタは、チャネル形成領域に金属酸化物を有し、金属酸化物は、Ｉｎと、Ｚｎと、Ｍ（ＭはＡｌ、Ｔｉ、Ｇａ、Ｇｅ、Ｓｎ、Ｙ、Ｚｒ、Ｌａ、Ｃｅ、ＮｄまたはＨｆの一つまたは複数）と、を有することが好ましい。
また、本発明の他の一態様は、第１のフレームレートで撮像動作を開始する第１のステップと、基準画像を撮像し、記憶する第２のステップと、比較画像を撮像する第３のステップと、基準画像と比較画像の差分データを取得する第４のステップと、差分データから第２の特徴量を抽出する第５のステップと、予め設定された第１の特徴量と、第２の特徴量を比較する第６のステップと、を上記順序で行い、第２の特徴量から第１の特徴量が検出されたと判断されたとき、第２のフレームレートに切り替えて撮像動作を行い、第２の特徴量から第１の特徴量が検出されない判断されたとき、第３のステップに戻る撮像装置の動作方法である。
第２のフレームレートは、第１のフレームレートより大きいことが好ましい。例えば、第１のフレームレートは、０．１ｆｐｓ以上１０ｆｐｓ以下であって、第２のフレームレートは、１５ｆｐｓ以上２４０ｆｐｓ以下とすることが好ましい。
第１のフレームレートで撮像動作が行われている期間中は、パワーゲーティングを行ってもよい。
本発明の一態様を用いることで、画像処理を行うことができる撮像装置を提供することができる。または被写体の変化を検出することができる撮像装置を提供することができる。または、低消費電力の撮像装置を提供することができる。または、小型の撮像装置を提供することができる。または、信頼性の高い撮像装置を提供することができる。または、新規な撮像装置などを提供することができる。または、上記撮像装置の動作方法を提供することができる。または、新規な半導体装置などを提供することができる。
図１は、撮像装置を説明するブロック図である。
図２は、画素ブロック２００および回路２０１を説明する図である。
図３Ａ、図３Ｂは、画素１００を説明する図である。
図４Ａ、図４Ｂは、画素１００を説明する図である。
図５は、通常の撮像動作を説明するタイミングチャートである。
図６は、モーション検出動作（差分なし）および積和演算動作を説明するタイミングチャートである。
図７は、モーション検出動作（差分あり）を説明するタイミングチャートである。
図８は、回路３０４を説明する図である。
図９は、回路３０４の動作を説明するタイミングチャートである。
図１０は、回路３０４の動作を説明するタイミングチャートである。
図１１Ａ、図１１Ｂは、回路３０１および回路３０２を説明する図である。
図１２は、メモリセルを説明する図である。
図１３Ａ、図１３Ｂは、ニューラルネットワークの構成例を示す図である。
図１４は、撮像装置の動作を説明するフローチャートである。
図１５Ａ、図１５Ｂは、撮像装置の動作を説明する図である。
図１６Ａ乃至図１６Ｄは、撮像装置の画素の構成を説明する図である。
図１７Ａ乃至図１７Ｃは、光電変換デバイスの構成を説明する図である。
図１８は、画素を説明する断面図である。
図１９Ａ乃至図１９Ｃは、Ｓｉトランジスタを説明する図である。
図２０は、画素を説明する断面図である。
図２１は、画素を説明する断面図である。
図２２Ａ乃至図２２Ｄは、ＯＳトランジスタを説明する図である。
図２３は、画素を説明する断面図である。
図２４Ａ１乃至図２４Ａ３、図２４Ｂ１乃至図２４Ｂ３は、撮像装置を収めたパッケージ、モジュールの斜視図である。
図２５Ａは、メモリ回路を説明するブロック図である。図２５Ｂ乃至図２５Ｅは、メモリセルを説明する回路図である。
図２６Ａ、図２６Ｂは、半導体装置の構成例を示すブロック図である。
図２７Ａ乃至図２７Ｄは、半導体装置の電源管理の動作例を説明する図である。
図２８は、半導体装置の電源管理の動作例を示すフローチャートである。
図２９Ａ、図２９Ｂは、半導体装置の構成例を示すブロック図である。
図３０は、プロセッサコアの構成例を示すブロック図である。
図３１は、記憶回路の構成例を示す回路図である。
図３２は、記憶回路の動作例を説明するタイミングチャートである。
図３３は、キャッシュのメモリセルの構成例を示す回路図である。
図３４は、メモリセルの動作例を説明するタイミングチャートである。
図３５Ａ乃至図３５Ｆは、電子機器を説明する図である。
実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略することがある。なお、図を構成する同じ要素のハッチングを異なる図面間で適宜省略または変更する場合もある。
また、回路図上では単一の要素として図示されている場合であっても、機能的に不都合がなければ、当該要素が複数で構成されてもよい。例えば、スイッチとして動作するトランジスタは、複数が直列または並列に接続されてもよい場合がある。また、キャパシタを分割して複数の位置に配置する場合もある。
また、一つの導電体が、配線、電極および端子のような複数の機能を併せ持っている場合があり、本明細書においては、同一の要素に対して複数の呼称を用いる場合がある。また、回路図上で要素間が直接接続されているように図示されている場合であっても、実際には当該要素間が一つまたは複数の導電体を介して接続されている場合があり、本明細書ではこのような構成でも直接接続の範疇に含める。
（実施の形態１）
本実施の形態では、本発明の一態様である撮像装置について、図面を参照して説明する。
本発明の一態様は、画像認識などの付加機能を備えた撮像装置である。当該撮像装置は、撮像動作で取得したアナログデータ（画像データ）を画素に保持し、当該アナログデータと任意の重み係数とを乗じたデータを取り出すことができる。
当該データをニューラルネットワークなどに取り込むことで、画像認識などの処理を行うことができる。膨大な画像データをアナログデータの状態で画素に保持することができるため、効率良く処理を行うことができる。
また、本発明の一態様の撮像装置は、モーション検出機能を有する。撮像装置は、基準となるフレーム画像と比較対象のフレーム画像との間の差分を検出することができ、有意な差分が検出されたときにモーション検出モードから通常撮像モードに切り替えることができる。モーション検出モードでは低フレームレートで動作させることにより、消費電力を抑えることができる。また、通常撮像モードでは高フレームレートで動作させることにより、高品位の画像データを取得することができる。
また、本発明の一態様の撮像装置は、前述した画像認識機能とモーション検出機能を組み合わせることにより、特定の画像が認識されたときにモーション検出モードから通常撮像モードに切り替えることができる。したがって、例えば、人、動物、植物などを分別できるほか、生産物の不良や経時変化の発生、天変地異などの異変にも対応することができる。
＜撮像装置＞
図１は、本発明の一態様の撮像装置を説明するブロック図である。撮像装置は、画素アレイ３００と、回路２０１と、回路３０１と、回路３０２と、回路３０３と、回路３０４と、回路３０５と、を有する。なお、回路２０１および回路３０１乃至回路３０５は、単一の回路構成に限らず、複数の回路で構成される場合がある。または、上記いずれか複数の回路が統合されていてもよい。また、上記以外の回路が接続されてもよい。
画素アレイ３００は、撮像機能および演算機能を有する。回路２０１、３０１は、演算機能を有する。回路３０２は、演算機能またはデータ変換機能を有する。回路３０３、３０４は、選択機能を有する。回路３０５は、画素に積和演算用の電位を供給する機能を有する。選択機能を有する回路には、シフトレジスタまたはデコーダなどを用いることができる。なお、回路３０１、３０２は、外部に設けられていてもよい。
画素アレイ３００は、複数の画素ブロック２００を有する。画素ブロック２００は、図２に示すように、マトリクス状に配置された複数の画素１００を有し、それぞれの画素１００は、回路２０１と電気的に接続される。なお、回路２０１は画素ブロック２００内に設けることもできる。
画素１００では、画像データ、および画像データに重み係数を与えたデータを生成することができる。なお、図２においては、一例として画素ブロック２００が有する画素数を２×２としているが、これに限らない。例えば、３×３、４×４などとすることができる。または、水平方向と垂直方向の画素数が異なっていてもよい。また、一部の画素を隣り合う画素ブロックで共有してもよい。
画素ブロック２００は、積和演算回路として動作する。また、画素ブロック２００と電気的に接続する回路２０１は、画素１００から画像データと重み係数との積を抽出する機能を有する。
＜画素回路＞
画素１００は、図３Ａに示すように、光電変換デバイス１０１と、トランジスタ１０２と、トランジスタ１０３と、キャパシタ１０４と、トランジスタ１０５と、キャパシタ１０６と、トランジスタ１０７と、トランジスタ１０８と、トランジスタ１０９を有することができる。
光電変換デバイス１０１の一方の電極は、トランジスタ１０２のソースまたはドレインの一方と電気的に接続される。トランジスタ１０２のソースまたはドレインの他方は、トランジスタ１０３のソースまたはドレインの一方、およびキャパシタ１０４の一方の電極と電気的に接続される。キャパシタ１０４の他方の電極は、トランジスタ１０５のソースまたはドレインの一方、キャパシタ１０６の一方の電極、およびトランジスタ１０７のゲートと電気的に接続される。トランジスタ１０７のソースまたはドレインの一方は、トランジスタ１０８のソースまたはドレインの一方と電気的に接続される。キャパシタ１０６の他方の電極は、トランジスタ１０９のソースまたはドレインの一方と電気的に接続される。
光電変換デバイス１０１の他方の電極は、配線１１３と電気的に接続される。トランジスタ１０３のソースまたはドレインの他方は、配線１１４と電気的に接続される。トランジスタ１０５のソースまたはドレインの他方は、配線１１５と電気的に接続される。トランジスタ１０７のソースまたはドレインの他方は、ＧＮＤ配線などと電気的に接続される。トランジスタ１０８のソースまたはドレインの他方は、配線１１２と電気的に接続される。トランジスタ１０９のソースまたはドレインの他方は、配線１１１と電気的に接続される。
トランジスタ１０２のゲートは、配線１２１と電気的に接続される。トランジスタ１０３のゲートは、配線１２２と電気的に接続される。トランジスタ１０５のゲートは、配線１２３と電気的に接続される。トランジスタ１０８のゲートは、配線１２５と電気的に接続される。トランジスタ１０９のゲートは、配線１２４と電気的に接続される。
ここで、トランジスタ１０２のソースまたはドレインの他方と、トランジスタ１０３のソースまたはドレインの他方と、キャパシタ１０４の一方の電極との電気的な接続点（配線）をノードＮ１とする。また、キャパシタ１０４の他方の電極と、トランジスタ１０５のソースまたはドレインの一方と、キャパシタ１０６の一方の電極と、トランジスタ１０７のゲート電気的な接続点（配線）をノードＮ２とする。
配線１１３、１１４、１１５は、電源線としての機能を有することができる。例えば、配線１１４、１１５は高電位電源線、配線１１３は低電位電源線として機能させることができる。配線１２１、１２２、１２３、１２４、１２５は、各トランジスタの導通を制御する信号線として機能させることができる。配線１１１は、画素１００に重み係数に相当する電位を供給する配線として機能させることができる。配線１１２は、画素１００と回路２０１とを電気的に接続する配線として機能させることができる。
なお、配線１１２には、増幅回路やゲイン調整回路が電気的に接続されていてもよい。
光電変換デバイス１０１としては、フォトダイオードを用いることができる。フォトダイオードの種類は問わず、シリコンを光電変換層に有するＳｉフォトダイオード、有機光導電膜を光電変換層に有する有機フォトダイオードなどを用いることができる。なお、低照度時の光検出感度を高めたい場合は、アバランシェフォトダイオードを用いることが好ましい。
トランジスタ１０２は、ノードＮ１の電位を制御する機能を有することができる。トランジスタ１０３は、ノードＮ１の電位を初期化する機能を有することができる。トランジスタ１０５は、ノードＮ２の電位を初期化する機能を有することができる。トランジスタ１０７は、ノードＮ２の電位に応じて回路２０１が流す電流を制御する機能を有することができる。トランジスタ１０８は、画素を選択する機能を有することができる。トランジスタ１０９は、ノードＮ２に重み係数に相当する電位を供給する機能を有することができる。
なお、トランジスタ１０７およびトランジスタ１０８は、図３Ｂに示すように、トランジスタ１０７のソースまたはドレインの一方とトランジスタ１０８のソースまたはドレインの一方を電気的に接続し、トランジスタ１０７のソースまたはドレインの他方を配線１１２に接続し、トランジスタ１０８のソースまたはドレインの他方をＧＮＤ配線などと電気的に接続する構成としてもよい。
また、図４Ａに示すように、トランジスタ１０７に第２のゲートを設け、当該第２のゲートにトランジスタ１０９のソースまたはドレインの一方を電気的に接続してもよい。また、第２のゲートと一方の電極が接続するキャパシタ１５１を設けてもよい。キャパシタ１５１は保持容量として機能する。なお、キャパシタ１５１を設けない構成としてもよい。
また、図４Ｂに示すように、光電変換デバイス１０１の接続の向きを逆にしてもよい。この場合、配線１１４、１１５は低電位電源線、配線１１３は高電位電源線として機能させればよい。なお、図３Ｂに示した構成と同様に、トランジスタ１０７のソースまたはドレインの一方とトランジスタ１０８のソースまたはドレインの一方を電気的に接続し、トランジスタ１０７のソースまたはドレインの他方を配線１１２に接続し、トランジスタ１０８のソースまたはドレインの他方をＧＮＤ配線などと電気的に接続する構成としてもよい。
光電変換デバイス１０１にアバランシェフォトダイオードを用いる場合は、高電圧を印加することがあり、光電変換デバイス１０１と接続されるトランジスタには高耐圧のトランジスタを用いることが好ましい。高耐圧のトランジスタには、例えば、チャネル形成領域に金属酸化物を用いたトランジスタ（以下、ＯＳトランジスタ）などを用いることができる。具体的には、トランジスタ１０２にＯＳトランジスタを適用することが好ましい。
また、ＯＳトランジスタは、オフ電流が極めて低い特性も有する。トランジスタ１０２、１０３、１０５、１０９にＯＳトランジスタを用いることによって、ノードＮ１およびノードＮ２で電荷を保持できる期間を極めて長くすることができる。そのため、回路構成や動作方法を複雑にすることなく、全画素で同時に電荷の蓄積動作を行うグローバルシャッタ方式を適用することができる。また、ノードＮ２に画像データを保持させつつ、当該画像データを用いた複数回の演算を行うこともできる。
一方、トランジスタ１０７は、増幅特性が優れていることが望まれる場合がある。また、トランジスタ１０８は頻繁にオンオフが繰り返されることがあるため、高速動作が可能な移動度が高いトランジスタを用いることが好ましい場合がある。したがって、トランジスタ１０７、１０８には、シリコンをチャネル形成領域に用いたトランジスタ（以下、Ｓｉトランジスタ）を適用してもよい。
なお、上記に限らず、ＯＳトランジスタおよびＳｉトランジスタを任意に組み合わせて適用してもよい。また、全てのトランジスタをＯＳトランジスタとしてもよい。または、全てのトランジスタをＳｉトランジスタとしてもよい。Ｓｉトランジスタとしては、アモルファスシリコンを有するトランジスタ、結晶性のシリコン（微結晶シリコン、低温ポリシリコン、単結晶シリコン）を有するトランジスタなどが挙げられる。
画素１００におけるノードＮ２の電位は、配線１１５から供給されるリセット電位にノードＮ１の電位の変動量（画像データ）が容量結合された電位と、配線１１１から供給される重み係数に相当する電位との容量結合で確定される。すなわち、トランジスタ１０７のゲートは、画像データに任意の重み係数が加算された電位となり、トランジスタ１０７には、画像データと任意の重み係数との積の項を含む電流が流れる。
＜回路２０１＞
図２に示すように、各画素１００は、配線１１２で互いに電気的に接続される。回路２０１は、各画素１００のトランジスタ１０７に流れる電流の和を用いて演算を行うことができる。
回路２０１は、キャパシタ２０２と、トランジスタ２０３と、トランジスタ２０４と、トランジスタ２０５と、トランジスタ２０６と、抵抗２０７を有する。
キャパシタ２０２の一方の電極は、トランジスタ２０３のソースまたはドレインの一方と電気的に接続される。トランジスタ２０３のソースまたはドレインの一方は、トランジスタ２０４のゲートと電気的に接続される。トランジスタ２０４のソースまたはドレインの一方は、トランジスタ２０５のソースまたはドレインの一方と電気的に接続される。トランジスタ２０５のソースまたはドレインの一方は、トランジスタ２０６のソースまたはドレインの一方と電気的に接続される。抵抗２０７の一方の電極は、キャパシタ２０２の他方の電極と電気的に接続される。
キャパシタ２０２の他方の電極は、配線１１２と電気的に接続される。トランジスタ２０３のソースまたはドレインの他方は、配線２１８と電気的に接続される。トランジスタ２０４のソースまたはドレインの他方は、配線２１９と電気的に接続される。トランジスタ２０５のソースまたはドレインの他方は、ＧＮＤ配線などの基準電源線と電気的に接続される。トランジスタ２０６のソースまたはドレインの他方は、配線２１２と電気的に接続される。抵抗２０７の他方の電極は、配線２１７と電気的に接続される。
配線２１７、２１８、２１９は、電源線としての機能を有することができる。例えば、配線２１８は、読み出し用のリセット電位を供給する配線としての機能を有することができる。配線２１７、２１９は、高電位電源線として機能させることができる。配線２１３、２１５、２１６は、各トランジスタの導通を制御する信号線として機能させることができる。配線２１２は出力線であり、例えば、図１に示す回路３０１と電気的に接続することができる。
トランジスタ２０３は、配線２１１の電位を配線２１８の電位にリセットする機能を有することができる。トランジスタ２０４、２０５は、ソースフォロア回路としての機能を有することができる。トランジスタ２０６は、読み出しを制御する機能を有することができる。なお、回路２０１は、相関二重サンプリング回路（ＣＤＳ回路）としての機能を有し、当該機能を有する他の構成の回路に置き換えることもできる。
本発明の一態様では、画像データ（Ｘ）と重み係数（Ｗ）との積以外のオフセット成分を除去し、目的のＷＸを抽出する。ＷＸは、同じ画素に対して、撮像あり、なしのデータと、そのそれぞれに対して、重みを加えたときのデータを利用して算出することができる。
撮像ありのときに画素１００に流れる電流（Ｉｐ）の合計はｋΣ（Ｘ−Ｖｔｈ）２、重みを加えたときに画素１００に流れる電流（Ｉｐ）の合計はｋΣ（Ｗ＋Ｘ−Ｖｔｈ）２となる。また、撮像なしのときに画素１００に流れる電流（Ｉｒｅｆ）の合計はｋΣ（０−Ｖｔｈ）２、重みを加えたときに画素１００に流れる電流（Ｉｒｅｆ）の合計はｋΣ（Ｗ−Ｖｔｈ）２となる。ここで、ｋは定数、Ｖｔｈはトランジスタ１０７のしきい値電圧である。
まず、撮像ありのデータと、当該データに重みを加えたデータとの差分（データＡ）を算出する。ｋΣ（（Ｘ−Ｖｔｈ）２−（Ｗ＋Ｘ−Ｖｔｈ）２）＝ｋΣ（−Ｗ２−２Ｗ・Ｘ＋２Ｗ・Ｖｔｈ）となる。
次に、撮像なしのデータと、当該データに重みを加えたデータとの差分（データＢ）を算出する。ｋΣ（（０−Ｖｔｈ）２−（Ｗ−Ｖｔｈ）２）＝ｋΣ（−Ｗ２＋２Ｗ・Ｖｔｈ）となる。
そして、データＡとデータＢとの差分をとる。ｋΣ（−Ｗ２−２Ｗ・Ｘ＋２Ｗ・Ｖｔｈ−（−Ｗ２＋２Ｗ・Ｖｔｈ））＝ｋΣ（−２Ｗ・Ｘ）となる。すなわち、画像データ（Ｘ）と重み係数（Ｗ）との積以外のオフセット成分を除去することができる。
回路２０１では、データＡおよびデータＢを読み出すことができる。なお、データＡとデータＢとの差分演算は、例えば回路３０１で行うことができる。
図３Ａ、図３Ｂおよび図４Ａ、図４Ｂに示す画素１００は、通常の撮像機能およびモーション検出機能を有する。また、画素１００は、積和演算機能の一部を有する。
＜通常撮像モード＞
まず、図５に示すタイミングチャートを用いて、通常の撮像モードの説明を行う。なお、通常撮像モードでは、積和演算を行わないため、配線１１１の電位は常時“Ｌ”、配線１２４の電位は、常時“Ｈ”とし、キャパシタ１０６の他方の電極の電位を固定することが好ましい。また、ここでは、図３Ａまたは図３Ｂの構成の画素１００の動作について説明する。
まず、時刻Ｔ１に配線１２１の電位を“Ｈ”、配線１２２の電位を“Ｈ”、配線１２３の電位を“Ｈ”とすると、トランジスタ１０２、１０３が導通し、ノードＮ１の電位がリセット電位（配線１１４の電位）“ＶＲＥＳ１”となる。また、トランジスタ１０５が導通し、ノードＮ２の電位がリセット電位（配線１１５の電位）“ＶＲＥＳ２”となる。なお、“ＶＲＥＳ１”と“ＶＲＥＳ２”は同じ電位であってよい。
また、配線１２５の電位を“Ｈ”、配線２１６の電位を“Ｈ”とすると、回路２０１においてトランジスタ２０３が導通し、配線２１１の電位が配線２１８の電位“Ｖｒ”となる。つまり、画素１００のリセット状態における出力電位が、電位“Ｖｒ”に初期化される。
時刻Ｔ２に配線１２１の電位を“Ｈ”、配線１２２の電位を“Ｌ”、配線１２３の電位を“Ｌ”、配線１２５の電位を“Ｌ”、配線２１６の電位を“Ｌ”とすると、トランジスタ１０３、１０５、１０８が非導通となり、光電変換デバイス１０１の動作によりノードＮ１の電位が“ＶＲＥＳ１−ＶＡ”に変化する。また、それに伴って、キャパシタ１０４の容量結合によりノードＮ２の電位も“ＶＲＥＳ２−ＶＢ”に変化する。なお、キャパシタ１０４の容量がノードＮ２の容量より十分に大きければ、ＶＡとＶＢはほぼ同じ値となる。また、トランジスタ２０３が非導通となり、配線２２１の電位は“Ｖｒ”に保持される。
時刻Ｔ３に配線１２１の電位を“Ｌ”とすると、トランジスタ１０２が非導通となり、ノードＮ１およびノードＮ２の電位は保持される。
時刻Ｔ４に配線１２５の電位を“Ｈ”、配線２１３の電位を“Ｈ”、配線２１５の電位を“Ｖｂｉａｓ”などの適切なアナログ電位とすると、トランジスタ１０８が導通し、配線１１２からトランジスタ１０７にノードＮ２の電位に応じた電流が流れる。ここで、配線１１２に流れる電流に従ってキャパシタ２０２の他方の電極の電位が変化し、その変化分Ｙが容量結合によって配線２１１の電位“Ｖｒ”に加算される。
したがって、配線２１１の電位は、“Ｖｒ＋Ｙ”になる。ここで、Ｖｒ＝０と考えると、Ｙは画像データとリセット時のデータ（ノイズ）の差分となる。すなわち、ノイズ成分が除かれた画像データを取得することができる。
また、トランジスタ２０５、２０６が導通すると、トランジスタ２０４のソースフォロア動作により、配線２１２に画像データを出力することができる。
＜モーション検出モード＞
次に、図６に示すタイミングチャートを用いて、画素１００のモーション検出機能、ならびに画素ブロック２００および回路２０１による積和演算について説明する。
まず、モーション検出モードの動作を時刻Ｔ１乃至Ｔ７に示すタイミングチャートを用いて説明する。なお、図６では、基準画像と比較画像に変化がない場合を示している。
なお、時刻Ｔ１乃至Ｔ７までの期間は、ノードＮ２の電位を確定させる期間である。ノードＮ２には後にキャパシタ１０６の容量結合で重み（Ｗ）を加えるため、少なくともこの期間中は、キャパシタ１０６の他方の電極の電位を重み係数０に相当する電位とする。したがって、当該期間中は、配線１１１の電位を重み係数０に相当する電位（例えば０Ｖ）とし、配線１２４の電位を“Ｈ”とする。
時刻Ｔ１に配線１２１の電位を“Ｈ”、配線１２２の電位を“Ｈ”、配線１２３の電位を“Ｈ”とすると、トランジスタ１０２、１０３が導通し、ノードＮ１の電位がリセット電位（配線１１４の電位）“ＶＲＥＳ１”となる。また、トランジスタ１０５が導通し、ノードＮ２の電位がリセット電位（配線１１５の電位）“ＶＲＥＳ２”となる。なお、“ＶＲＥＳ１”と“ＶＲＥＳ２”は同じ電位であってよい。
時刻Ｔ２に配線１２１の電位を“Ｈ”、配線１２２の電位を“Ｌ”、配線１２３の電位を“Ｈ”とすると、トランジスタ１０３が非導通となり、光電変換デバイス１０１の動作によりノードＮ１の電位が“ＶＲＥＳ１−ＶＡ”に変化する。このとき、トランジスタ１０５は導通しているため、ノードＮ２の電位は“ＶＲＥＳ２”に維持される。
時刻Ｔ３に配線１２１の電位を“Ｌ”とすると、トランジスタ１０２が非導通となり、ノードＮ１の電位は保持される。また、トランジスタ１０５は導通しているため、ノードＮ２の電位は“ＶＲＥＳ２”に維持される。
時刻Ｔ４に配線１２３の電位を“Ｌ”とすると、トランジスタ１０５が非導通となり、ノードＮ２の電位は保持される。時刻Ｔ１からここまでの動作が、基準画像の取得および保持動作に相当する。
時刻Ｔ５に配線１２１の電位を“Ｈ”、配線１２２の電位を“Ｈ”とすると、トランジスタ１０２、１０３が導通し、ノードＮ１の電位が“ＶＲＥＳ１−ＶＡ”から“ＶＲＥＳ１”となる。つまり、ノードＮ１の電位は、“ＶＡ”だけ上昇する。このとき、ノードＮ２の電位にノードＮ１の変化分が容量結合されるため、ノードＮ２の電位は、“ＶＲＥＳ２＋ＶＢ”となる。ここで、前述の説明のとおり、ＶＡとＶＢはほぼ同じ値となる。
時刻Ｔ６に配線１２１の電位を“Ｈ”、配線１２２の電位を“Ｌ”とすると、トランジスタ１０３が非導通となり、光電変換デバイス１０１の動作によりノードＮ１の電位が“ＶＲＥＳ１−ＶＡ”に変化する。また、ノードＮ１の変化分“−ＶＡ”はノードＮ２に容量結合されるため、ノードＮ２の電位は“ＶＲＥＳ２”となる。
時刻Ｔ７に配線１２１の電位を“Ｌ”とすると、トランジスタ１０２が非導通となり、ノードＮ１およびノードＮ２の電位は保持される。時刻Ｔ５からここまでの動作が比較画像の取得および保持動作に相当する。
つまり、基準画像と比較画像に変化がない場合、ノードＮ１の電位は、時刻Ｔ５より前に保持した基準画像と同じ電位となる。また、ノードＮ２の電位は、リセット電位であり、基準画像と比較画像に差がないことを示している。
なお、基準画像と比較画像に変化がある場合は、図７のタイミングチャートに示すように、時刻Ｔ７において、ノードＮ１の電位は“ＶＲＥＳ１−ＶＣ”となり、ノードＮ２の電位は“ＶＲＥＳ２＋ＶＢ−ＶＤ”となる。ここで、“ＶＣ”は“ＶＡ”とは異なる値であり、“ＶＤ”は“ＶＢ”とは異なる値である。つまり、ノードＮ２の電位は、リセット電位とは異なる電位であり、基準画像と比較画像に差があることを示している。
次に、図６の時刻Ｔ８乃至Ｔ１１に示すタイミングチャートを用いて、積和演算に関する説明を行う。まず、撮像ありのデータと、当該データに重みを加えたデータとの差分（データＡ）を算出する動作を説明する。なお、ここで説明する積和演算の動作に、基準画像と比較画像との間の差の有無は関与しない。
時刻Ｔ８に配線１２５の電位を“Ｈ”、配線２１６の電位を“Ｈ”とすると、回路２０１においてトランジスタ２０３が導通し、配線２１１の電位が配線２１８の電位“Ｖｒ”となる。つまり、画素１００のリセット状態における出力電位が、“Ｖｒ”に初期化される。期間Ｔ７までの動作は撮像ありのデータの取得に相当し、当該データは、配線２１１の電位“Ｖｒ”として表される。
時刻Ｔ９に配線１１１の電位を重み係数Ｗに相当する電位とし、配線１２４の電位を“Ｈ”、配線１２５の電位を“Ｌ”、配線２１６の電位を“Ｌ”とすると、トランジスタ１０９が導通し、キャパシタ１０６の他方の電極の電位が“０”から“Ｗ”に変化する。したがって、その差分である“Ｗ”がノードＮ２に加算される。つまり、画像データ取得動作によって確定したノードＮ２の電位を“Ｘ”とすると、重み係数Ｗを加算したときのノードＮ２の電位は“Ｘ＋Ｗ”となる。
時刻Ｔ１０に配線１２４の電位を“Ｌ”、配線１２５の電位を“Ｈ”、配線２１３の電位を“Ｈ”、配線２１５の電位を“Ｈ”とすると、キャパシタ１０６の他方の電極の電位およびノードＮ２の電位が保持され、トランジスタ１０８が導通し、配線１１２からトランジスタ１０７にノードＮ２の電位“Ｘ＋Ｗ”に応じた電流が流れる。
ここで、配線１１２に流れる電流に従ってキャパシタ２０２の他方の電極の電位が変化し、その変化分Ｚが容量結合によって配線２１１の電位Ｖｒに加算される。したがって、配線２１１の電位は、“Ｖｒ＋Ｚ”になる。ここで、Ｖｒ＝０と考えると、Ｚは差分そのものであり、データＡが算出されたことになる。
また、配線２１３の電位を“Ｈ”、配線２１５の電位を“Ｖｂｉａｓ”などの適切なアナログ電位とすることで、回路２０１はソースフォロア動作により、データＡに応じた信号電位を出力することができる。
同様のステップで、撮像なしのデータと、当該データに重みを加えたデータとの差分（データＢ）を算出することができる。なお、撮像なしのため、蓄積期間を設けない動作とする。例えば、配線１２１が“Ｈ”のとき、配線１２２も“Ｈ”とすることで、ノードＮ１はリセット電位に維持することができる。また、時刻Ｔ５乃至Ｔ８の動作を省いてもよく、時刻Ｔ８の前にノードＮ１およびノードＮ２がリセット電位であればよい。
なお、ここでは、一つの画素について説明したが、回路２０１には複数の画素が並列に接続されており、複数の画素に対して上記動作（積和演算）が行われる。
上記動作によって回路２０１から出力されるデータＡおよびデータＢは、回路３０１に入力される。回路３０１では、データＡとデータＢの差分をとる演算が行われ、画像データ（電位Ｘ）と重み係数（電位Ｗ）との積以外の不要なオフセット成分を除去することができる。回路３０１としては、回路２０１のような演算回路を有する構成のほか、メモリ回路（記憶回路ともいう）およびソフトウェア処理を利用して差分をとる構成としてもよい。
重み係数は、図１に示す回路３０５から配線１１１に出力することができ、フレーム期間内に１回以上重み係数を書き換えることが好ましい。回路３０５としてはデコーダを用いることができる。また、回路３０５は、Ｄ／ＡコンバータやＳＲＡＭを有していてもよい。
また、重み係数を入力する画素１００を選択する配線１１２には、回路３０３から信号を出力することができる。回路３０３には、デコーダまたはシフトレジスタを用いることができる。
また、画素１００のトランジスタ１０８のゲートに接続される配線１２５等には、回路３０４から信号を出力することができる。回路３０４には、デコーダまたはシフトレジスタを用いることができる。
上記では、撮像した画像データの加工処理について説明したが、本発明の一態様の撮像装置では、画像データを加工せずに取り出すこともできる。
積和演算では、複数の行の画素を同時に選択できることが好ましい。一方で、撮像データのみを取り出す場合は、一つの行の画素からデータを取り出すことが望ましい。本発明の一態様では、画素１００を選択するための回路３０４に、選択する行数を切り替える機能が設けられている。
＜シフトレジスタ＞
図８は、回路３０４に用いることのできる回路の一例である。当該回路はシフトレジスタ回路であり、複数の論理回路（ＳＲ）が電気的に接続されている。それぞれの論理回路（ＳＲ）には、配線ＲＥＳ、配線ＶＳＳ＿ＲＤＲＳ、配線ＲＰＷＣ＿ＳＥ［０：３］、配線ＲＣＬＫ［０：３］、配線ＲＳＰなどの信号線が接続され、それぞれの信号線に適切な信号電位を入力することで、当該論理回路（ＳＲ）から選択信号電位の出力を順次行うことができる。
また、論理回路（ＳＲ）には、回路１７０が電気的に接続されている。回路１７０には複数のトランジスタが設けられ、配線ＳＥ＿ＳＷ［０：２］、配線ＳＸ［０：２］などの信号線が接続され、それぞれの信号線に適切な信号電位を入力することでトランジスタの導通が制御される。回路１７０の制御により、選択する画素の行数を切り替えることができる。
一つの論理回路（ＳＲ）の出力端子には、一つのトランジスタのソースまたはドレインの一方が電気的に接続され、当該トランジスタのソースまたはドレインの他方には配線ＳＥが接続される。配線ＳＥは、画素１００を選択する配線１２２と電気的に接続される。
配線ＳＥ［０］に接続されるトランジスタのゲートには、配線ＳＥ＿ＳＷ［０］から供給される信号電位を入力することができる。配線ＳＥ［１］に接続されるトランジスタのゲートには、配線ＳＥ＿ＳＷ［１］から供給される信号電位を入力することができる。配線ＳＥ［２］に接続されるトランジスタのゲートには、配線ＳＥ＿ＳＷ［２］から供給される信号電位を入力することができる。配線ＳＥ［３］以降に接続されるトランジスタのゲートには、同様の順で配線ＳＥ＿ＳＷ［０：２］のいずれかから供給される信号電位を入力することができる。
また、隣接する配線ＳＥ間は、一つのトランジスタを介して電気的に接続され、配線ＳＥ［０］は、一つのトランジスタを介して電源線（ＶＳＳ）と電気的に接続される。
電源線（ＶＳＳ）と配線ＳＥ［０］とを電気的に接続するトランジスタのゲートには、配線ＳＸ［０］から供給される信号電位を入力することができる。配線ＳＥ［０］と配線ＳＥ［１］とを電気的に接続するトランジスタのゲートには、配線ＳＸ［１］から供給される信号電位を入力することができる。配線ＳＥ［１］と配線ＳＥ［２］とを電気的に接続するトランジスタのゲートには、配線ＳＸ［２］から供給される信号電位を入力することができる。それ以降の配線ＳＥ間を電気的に接続するトランジスタのゲートには、同様の順で配線ＳＸ［０：２］から供給される信号電位のいずれかを入力することができる。
図９は、図８に示す回路により、複数の行（３行）を同時選択する動作を説明するタイミングチャートである。（０）乃至（１６１）は、論理回路（ＳＲ）が配線ＳＥに信号電位を出力するタイミングに相当する。
タイミング（０）において、配線ＳＸ［０］の電位が“Ｌ”、配線ＳＸ［１］の電位が“Ｈ”、配線ＳＸ［２］の電位が“Ｈ”、配線ＳＥ＿ＳＷ［０］の電位が“Ｈ”、配線ＳＥ＿ＳＷ［１］の電位が“Ｌ”、配線ＳＥ＿ＳＷ［２］の電位が“Ｌ”になると、各トランジスタの導通が制御され、配線ＳＥ［０］に“Ｈ”、配線ＳＥ［１］に“Ｈ”、配線ＳＥ［２］に“Ｈ”が出力される。その他の配線ＳＥには“Ｌ”が出力される。
したがって、３行を同時選択することでき、例えば３行３列の画素の積和演算を行うことができる。
タイミング（１）において、配線ＳＸ［０］の電位が“Ｈ”、配線ＳＸ［１］の電位が“Ｌ”、配線ＳＸ［２］の電位が“Ｈ”、配線ＳＥ＿ＳＷ［０］の電位が“Ｌ”、配線ＳＥ＿ＳＷ［１］の電位が“Ｈ”、配線ＳＥ＿ＳＷ［２］の電位が“Ｌ”になると、各トランジスタの導通が制御され、配線ＳＥ［０］に“Ｌ”、配線ＳＥ［１］に“Ｈ”、配線ＳＥ［２］に“Ｈ”、配線ＳＥ［３］に“Ｈ”が出力される。その他の配線ＳＥには“Ｌ”が出力される。
つまり、タイミング（１）では、タイミング（０）から１行分ずらしたストライド１の積和演算が可能となる。
図１０は、図８に示す回路により、１つの行を選択する動作を説明するタイミングチャートである。
当該タイミングチャートに従った動作では、配線ＳＥ＿ＳＷ［０：２］の電位が常時“Ｈ”であり、配線ＳＸ［０：２］の電位が常時“Ｌ”である。したがって、論理回路（ＳＲ）の出力がそのまま各配線ＳＥに現れることから、１行毎の選択が可能となる。
＜回路３０１、３０２＞
図１１Ａは、回路２０１と接続する回路３０１および回路３０２を説明する図である。回路２０１から出力される積和演算結果のデータは、回路３０１に順次入力される。回路３０１には、前述したデータＡとデータＢとの差分を演算する機能のほかに、様々な演算機能を有していてもよい。例えば、回路３０１は、回路２０１と同等の構成とすることができる。または、回路３０１の機能をソフトウェア処理で代替えしてもよい。
また、回路３０１は、活性化関数の演算を行う回路を有していてもよい。当該回路には、例えばコンパレータ回路を用いることができる。コンパレータ回路では、入力されたデータと、設定されたしきい値とを比較した結果を２値データとして出力する。すなわち、画素ブロック２００および回路３０１はニューラルネットワークの一部の要素として作用することができる。
また、回路３０１はＡ／Ｄコンバータを有していてもよい。積和演算などを行わず、画像データを外部に出力するときは、回路３０１でアナログデータをデジタルデータに変換することができる。
また、画素ブロック２００が出力するデータは複数ビットの画像データに相当するが、回路３０１で２値化できる場合は、画像データを圧縮しているともいえる。
回路３０１から出力されたデータは、回路３０２に順次入力される。回路３０２は、例えばラッチ回路およびシフトレジスタなどを有する構成とすることができる。当該構成によって、パラレルシリアル変換を行うことができ、並行して入力されたデータを配線３１１にシリアルデータとして出力することができる。配線３１１の接続先は限定されない。例えば、ニューラルネットワーク、記憶装置、通信装置などと接続することができる。
また、図１１Ｂに示すように、回路３０２はニューラルネットワークを有していてもよい。当該ニューラルネットワークは、マトリクス状に配置されたメモリセルを有し、各メモリセルには重み係数が保持されている。回路３０１から出力されたデータはメモリセル３２０にそれぞれ入力され、積和演算を行うことができる。なお、図１１Ｂに示すメモリセルの数は一例であり、限定されない。
図１１Ｂに示すニューラルネットワークは、マトリクス状に設置されたメモリセル３２０および参照メモリセル３２５と、回路３３０と、回路３５０と、回路３６０と、回路３７０を有する。
図１２にメモリセル３２０および参照メモリセル３２５の一例を示す。参照メモリセル３２５は、任意の一列に設けられる。メモリセル３２０および参照メモリセル３２５は同様の構成を有し、トランジスタ１６１と、トランジスタ１６２と、キャパシタ１６３と、を有する。
トランジスタ１６１のソースまたはドレインの一方は、トランジスタ１６２のゲートと電気的に接続される。トランジスタ１６２のゲートは、キャパシタ１６３の一方の電極と電気的に接続される。ここで、トランジスタ１６１のソースまたはドレインの一方、トランジスタ１６２のゲート、キャパシタ１６３の一方の電極が接続される点をノードＮＭとする。
トランジスタ１６１のゲートは、配線ＷＬと電気的に接続される。キャパシタ１６３の他方の電極は、配線ＲＷと電気的に接続される。トランジスタ１６２のソースまたはドレインの一方は、ＧＮＤ配線等の基準電位配線と電気的に接続される。
メモリセル３２０において、トランジスタ１６１のソースまたはドレインの他方は、配線ＷＤと電気的に接続される。トランジスタ１６２のソースまたはドレインの他方は、配線ＢＬと電気的に接続される。
参照メモリセル３２５において、トランジスタ１６１のソースまたはドレインの他方は、配線ＷＤｒｅｆと電気的に接続される。トランジスタ１６２のソースまたはドレインの他方は、配線ＢＬｒｅｆと電気的に接続される。
配線ＷＬは、回路３３０と電気的に接続される。回路３３０にはデコーダまたはシフトレジスタなどを用いることができる。
配線ＲＷは、回路３０１と電気的に接続される。各メモリセルには、回路３０１から出力された２値のデータが書き込まれる。なお、回路３０１と各メモリセルとの間にシフトレジスタなどの順序回路を有していてもよい。
配線ＷＤおよび配線ＷＤｒｅｆは、回路３５０と電気的に接続される。回路３５０には、デコーダまたはシフトレジスタなどを用いることができる。また、回路３５０は、Ｄ／ＡコンバータやＳＲＡＭを有していてもよい。回路３５０は、ノードＮＭに書き込まれる重み係数を出力することができる。
配線ＢＬおよび配線ＢＬｒｅｆは、回路３６０と電気的に接続される。回路３６０は、回路２０１と同等の構成とすることができる。回路３６０により、積和演算結果からオフセット成分を除いた信号を得ることができる。
回路３６０は、回路３７０と電気的に接続される。回路３７０は、活性化関数回路とも換言できる。活性化関数回路は、回路３６０から入力された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数としては、例えば、シグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、しきい値関数などを用いることができる。活性化関数回路によって変換された信号は、出力データとして外部に出力される。
図１３Ａに示すように、ニューラルネットワークＮＮは、入力層ＩＬ、出力層ＯＬ、中間層（隠れ層）ＨＬによって構成することができる。入力層ＩＬ、出力層ＯＬ、中間層ＨＬは、それぞれ１または複数のニューロン（ユニット）を有する。なお、中間層ＨＬは１層であってもよいし２層以上であってもよい。２層以上の中間層ＨＬを有するニューラルネットワークはＤＮＮ（ディープニューラルネットワーク）と呼ぶこともできる。また、ディープニューラルネットワークを用いた学習は、深層学習と呼ぶこともできる。
入力層ＩＬの各ニューロンには、入力データが入力される。中間層ＨＬの各ニューロンには、前層または後層のニューロンの出力信号が入力される。出力層ＯＬの各ニューロンには、前層のニューロンの出力信号が入力される。なお、各ニューロンは、前後の層の全てのニューロンと結合されていてもよいし（全結合）、一部のニューロンと結合されていてもよい。
図１３Ｂに、ニューロンによる演算の例を示す。ここでは、ニューロンＮと、ニューロンＮに信号を出力する前層の２つのニューロンを示している。ニューロンＮには、前層のニューロンの出力ｘ１と、前層のニューロンの出力ｘ２が入力される。そして、ニューロンＮにおいて、出力ｘ１と重みｗ１の乗算結果（ｘ１ｗ１）と出力ｘ２と重みｗ２の乗算結果（ｘ２ｗ２）の総和ｘ１ｗ１＋ｘ２ｗ２が計算された後、必要に応じてバイアスｂが加算され、値ａ＝ｘ１ｗ１＋ｘ２ｗ２＋ｂが得られる。そして、値ａは活性化関数ｈによって変換され、ニューロンＮから出力信号ｙ＝ａｈが出力される。
このように、ニューロンによる演算には、前層のニューロンの出力と重みの積を足し合わせる演算、すなわち積和演算が含まれる（上記のｘ１ｗ１＋ｘ２ｗ２）。この積和演算は、プログラムを用いてソフトウェア上で行ってもよいし、ハードウェアによって行われてもよい。
本発明の一態様では、ハードウェアとしてアナログ回路を用いて積和演算を行う。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、または、メモリへのアクセス回数の減少による処理速度の向上および消費電力の低減を図ることができる。
積和演算回路は、ＯＳトランジスタを有する構成とすることが好ましい。ＯＳトランジスタはオフ電流が極めて小さいため、積和演算回路のアナログメモリを構成するトランジスタとして好適である。なお、ＳｉトランジスタとＯＳトランジスタの両方を用いて積和演算回路を構成してもよい。
＜撮像装置の動作＞
次に、図１４に示すフローチャートを用いて、本発明の一態様の撮像装置の動作方法の一例を説明する。
まず、撮像動作の選択を行う（Ｓ１）。通常撮像を行う場合は、通常撮像モードの設定（Ｓ１１）に進む。
通常撮像モードは高速の動画撮像モードであり、例えば、フレームレートを１５ｆｐｓ乃至２４０ｆｐｓ、好ましくは３０ｆｐｓ乃至１２０ｆｐｓ、代表的には、６０ｆｐｓに設定する。続いて、設定された条件で連続動作またはタイマー動作が行われる（Ｓ１２）。撮像動作は、タイマー動作後または使用者の判断により終了する。
モーション検出を行う場合は、モーション検出モードの設定（Ｓ２）に進む。
モーション検出モードは低速の動画撮像モードであり、例えば、フレームレートを０．１ｆｐｓ以上１０ｆｐｓ以下、代表的には、１ｆｐｓに設定する。低フレームレートに設定することで、消費電力を抑えることができる。なお、撮像対象に変化が現れ、元に戻るまでの期間が短時間である場合は、比較的高めのフレームレートに設定してもよい。
次に、基準画像を撮像する（Ｓ３）。基準画像の撮像動作は、図５のタイミングチャートの時刻Ｔ１乃至Ｔ４の動作に相当する。
次に、比較画像を撮像および画素内差分演算を行う（Ｓ４）。当該動作は、図６のタイミングチャートの時刻Ｔ５乃至Ｔ７の動作に相当する。
次に、特徴量Ｂ抽出動作１を行う（Ｓ５）。当該動作は、図６のタイミングチャートの時刻Ｔ８乃至Ｔ１１の動作によるデータＡの取得のほか、撮像なし動作におけるデータＢの取得に相当する。なお、ここで画像データに加える重みは、畳み込みニューラルネットワーク（ＣＮＮ）の畳み込みフィルタに相当する。
次に、特徴量Ｂ抽出動作２を行う（Ｓ６）。当該動作は、例えば、回路３０１または外部回路で行うことができ、データＡとデータＢの差分演算を行う。また、プーリング処理を行ってもよい。データＡとデータＢの差分を取得することで、画像データ（Ｘ）と重み係数（Ｗ）との積以外のオフセット成分を除去することができる。すなわち、特徴量Ｂは、撮像した画像データから抽出する特徴量である。
次に、特徴量Ａ、Ｂ比較動作を行う（Ｓ７、Ｓ８）。当該動作は、例えば、外部回路で行うことができる。なお、これより前のいずれかのタイミングで基準となる特徴量Ａの設定を行う（Ｓ０）。特徴量Ａには、例えば、目的とする対象が有する形状や模様などの特徴量を用いることができる。したがって、畳み込みフィルタも特徴量Ａに従って選定することが好ましい。
Ｓ６で抽出された特徴量Ｂと特徴量Ａの比較によって、特徴量Ｂから特徴量Ａが検出された場合は、Ｓ１１に進み、通常撮像モードでの撮像が行われる。特徴量Ａが検出されない場合は、カウンタ動作（Ｓ９、Ｓ１０）などを経てＳ３またはＳ４に戻る。なお、特徴量Ａが検出されたか否かのしきい値は、任意に設定することができる。
特徴量Ａが検出されないとき、基準画像は画素内に保持されているため、短期的にはＳ４に戻ることで支障はないが、自然光の照度変化や被写体に経時変化が現れる場合は、特徴量の比較動作に影響を与える場合がある。したがって、カウンタなどを用いて、例えば、設定値が時間換算で１分、１０分、１時間、６時間などに達したときＳ３に戻り、基準画像を再度撮像することが好ましい。または、タイマーなどを用いて時間で制御してもよい。
なお、特徴量Ａは複数であってもよい。この場合、特徴量Ａのすべてが検出されたか否か、一部が検出されたか否か、などの条件を設定することもできる。または、特徴量Ａが検出されなくても、基準画像と比較画像に変化があった場合にＳ１１に進む動作を行ってもよい。
図１５Ａ、図１５Ｂに、モーション検出モードの具体的な動作を説明する図を示す。
図１５Ａは、特徴量Ａが検出された場合の動作を説明する図であり、時間軸でのフレーム画像の変化を図示している。なお、被写体は風景であり、特徴量Ａは、鳥の特徴を含むデータとする。
まず、低フレームレートに設定され、第１フレームで基準画像が撮像される（Ｓ３に相当）。なお、図１５Ａの第１フレームでは、風景の画像を破線で図示しているが、実際には、基準画像は画素内に保持され、撮像装置から画像データは出力されない。
基準画像の撮像に続いて、比較画像の撮像および画素内差分演算（Ｓ４に相当）から特徴量Ａ検出の判定動作（Ｓ８に相当）がフレーム毎に行われる。図１５Ａに示す第ｎ−ｘフレーム（ｎ、ｘは自然数であり、ｎ＞ｘは１より大きくなる値）は、風景に変化がない場合を示している。出力される画像データは、基準画像と比較画像との差分のデータであり、変化のない画像データは、全白または全黒に相当する。風景に変化がない場合は、第ｎ−ｘフレームと同様のフレームが繰り返される。
次に、第ｎフレームで鳥が撮像されたとすると、鳥の特徴を含む特徴量Ａと一致すると判定され、第ｎ＋１フレーム以降では、高フレームレートの通常撮像モードに切り替わる（Ｓ１１）。以上が特徴量Ａを検出した場合の動作である。
図１５Ｂは、特徴量Ａが検出されない場合の動作を説明する図である。図１５Ａと同条件で撮像を開始し、風景に変化が現れても特徴量Ａ（鳥）が撮像されない場合には、モーション検出モードが継続され、通常撮像モードには切り替わらない。図１５Ｂでは、第ｎフレームで飛行船が撮像された場合を示しているが、特徴量Ａとは一致されないと判定されるため、第ｎ＋１フレーム以降もモーション検出モードが継続される。
このように、本発明の一態様の撮像装置では、対象物を限定して検出の有無を判定することができる。したがって、当該撮像装置を防犯カメラなどに用いた場合に、例えば、犬、猫、植物などはモード切替の対象とせず、人のみをモード切替の対象とすることができる。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
（実施の形態２）
本実施の形態では、本発明の一態様の撮像装置の構造例などについて説明する。
＜構造例＞
図１６Ａは、撮像装置の画素の構造の一例を示す図であり、層５６１および層５６３の積層構造とすることができる。
層５６１は、光電変換デバイス１０１を有する。光電変換デバイス１０１は、図１７Ａに示すように層５６５ａと、層５６５ｂを有することができる。なお、場合によって、層を領域と言い換えてもよい。
図１７Ａに示す光電変換デバイス１０１はｐｎ接合型フォトダイオードであり、例えば、層５６５ａにｐ型半導体、層５６５ｂにｎ型半導体を用いることができる。または、層５６５ａにｎ型半導体、層５６５ｂにｐ型半導体用いてもよい。
上記ｐｎ接合型フォトダイオードは、代表的には単結晶シリコンを用いて形成することができる。
また、層５６１が有する光電変換デバイス１０１は、図１７Ｂに示すように、層５６６ａと、層５６６ｂと、層５６６ｃと、層５６６ｄとの積層としてもよい。図１７Ｂに示す光電変換デバイス１０１はアバランシェフォトダイオードの一例であり、層５６６ａ、層５６６ｄは電極に相当し、層５６６ｂ、５６６ｃは光電変換部に相当する。
層５６６ａは、低抵抗の金属層などとすることが好ましい。例えば、アルミニウム、チタン、タングステン、タンタル、銀またはそれらの積層を用いることができる。
層５６６ｄは、可視光に対して高い透光性を有する導電層を用いることが好ましい。例えば、インジウム酸化物、錫酸化物、亜鉛酸化物、インジウム−錫酸化物、ガリウム−亜鉛酸化物、インジウム−ガリウム−亜鉛酸化物、またはグラフェンなどを用いることができる。なお、層５６６ｄを省く構成とすることもできる。
光電変換部の層５６６ｂ、５６６ｃは、例えばセレン系材料を光電変換層としたｐｎ接合型フォトダイオードの構成とするができる。層５６６ｂとしてはｐ型半導体であるセレン系材料を用い、層５６６ｃとしてはｎ型半導体であるガリウム酸化物などを用いることが好ましい。
セレン系材料を用いた光電変換デバイスは、可視光に対する外部量子効率が高い特性を有する。当該光電変換デバイスでは、アバランシェ増倍を利用することにより、入射される光の量に対する電子の増幅を大きくすることができる。また、セレン系材料は光吸収係数が高いため、光電変換層を薄膜で作製できるなどの生産上の利点を有する。セレン系材料の薄膜は、真空蒸着法またはスパッタ法などを用いて形成することができる。
セレン系材料としては、単結晶セレンや多結晶セレンなどの結晶性セレン、非晶質セレン、銅、インジウム、セレンの化合物（ＣＩＳ）、または、銅、インジウム、ガリウム、セレンの化合物（ＣＩＧＳ）などを用いることができる。
ｎ型半導体は、バンドギャップが広く、可視光に対して透光性を有する材料で形成することが好ましい。例えば、亜鉛酸化物、ガリウム酸化物、インジウム酸化物、錫酸化物、またはそれらが混在した酸化物などを用いることができる。また、これらの材料は正孔注入阻止層としての機能も有し、暗電流を小さくすることもできる。
また、層５６１が有する光電変換デバイス１０１は、図１７Ｃに示すように、層５６７ａと、層５６７ｂと、層５６７ｃと、層５６７ｄと、層５６７ｅとの積層としてもよい。図１７Ｃに示す光電変換デバイス１０１は有機光導電膜の一例であり、層５６７ａは下部電極、層５６７ｅは透光性を有する上部電極であり、層５６７ｂ、５６７ｃ、５６７ｄは光電変換部に相当する。
光電変換部の層５６７ｂ、５６７ｄのいずれか一方はホール輸送層、他方は電子輸送層とすることができる。また、層５６７ｃは光電変換層とすることができる。
ホール輸送層としては、例えば酸化モリブデンなどを用いることができる。電子輸送層としては、例えば、Ｃ６０、Ｃ７０などのフラーレン、またはそれらの誘導体などを用いることができる。
光電変換層としては、ｎ型有機半導体およびｐ型有機半導体の混合層（バルクヘテロ接合構造）を用いることができる。
図１６Ａに示す層５６３としては、例えばシリコン基板を用いることができる。当該シリコン基板は、Ｓｉトランジスタ等を有する。当該Ｓｉトランジスタを用いて、画素回路の他、当該画素回路を駆動する回路、画像信号の読み出し回路、画像処理回路、ニューラルネットワーク、通信回路等を形成することができる。また、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの記憶回路、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＣＵ（Ｍｉｃｒｏ　Ｃｏｎｔｒｏｌｌｅｒ　Ｕｎｉｔ）などを形成してもよい。なお、画素回路を除く上記回路を本実施の形態では、機能回路と呼ぶ。
例えば、実施の形態１で説明した画素回路（画素１００）および機能回路（回路２０１、３０１、３０２、３０３、３０４、３０５など）が有するトランジスタにおいて、その一部または全てを層５６３に設けることができる。
また、層５６３は、図１６Ｂに示すように複数の層の積層であってもよい。図１６Ｂでは、層５６３ａ、５６３ｂ、５６３ｃの三層を例示しているが、二層であってもよい。または、層５６３は四層以上の積層であってもよい。これらの層は、例えば貼り合わせ工程などを用いて積層することができる。当該構成とすることで、画素回路と機能回路を複数の層に分散させ、画素回路と機能回路を重ねて設けることができるため、小型で高機能の撮像装置を作製することができる。
また、画素は、図１６Ｃに示すように層５６１、層５６２および層５６３の積層構造を有していてもよい。
層５６２は、ＯＳトランジスタを有することができる。前述した機能回路の一つ以上をＯＳトランジスタで形成してもよい。または、層５６３のＳｉトランジスタと層５６２のＯＳトランジスタを用いて、機能回路の一つ以上を形成してもよい。
例えば、ＯＳトランジスタおよびＳｉトランジスタを用いて、ノーマリーオフＣＰＵ（「Ｎｏｆｆ−ＣＰＵ」ともいう）を実現することができる。なお、Ｎｏｆｆ−ＣＰＵとは、ゲート電圧が０Ｖであっても非導通状態（オフ状態ともいう）であるノーマリーオフ型のトランジスタを含む集積回路である。
Ｎｏｆｆ−ＣＰＵは、Ｎｏｆｆ−ＣＰＵ内の動作不要な回路への電力供給を停止し、当該回路を待機状態にすることができる。電力供給が停止され、待機状態になった回路では電力が消費されない。よって、Ｎｏｆｆ−ＣＰＵは、電力使用量を最小限にすることができる。また、Ｎｏｆｆ−ＣＰＵは、電力供給が停止されても設定条件などの動作に必要な情報を長期間保持することができる。待機状態からの復帰は当該回路への電力供給を再開するだけでよく、設定条件などの再書き込みが不要である。すなわち、待機状態からの高速復帰が可能である。このように、Ｎｏｆｆ−ＣＰＵは、動作速度を大きく落とすことなく消費電力を低減できる。
また、層５６２は、図１６Ｄに示すように複数の層の積層であってもよい。図１６Ｄでは、層５６２ａ、５６３ｂの二層を例示しているが、三層以上の積層であってもよい。これらの層は、例えば層５６３上に積み上げるように形成することができる。または、層５６３上に形成した層と、層５６１上に形成した層とを貼り合わせて形成してもよい。
ＯＳトランジスタに用いる半導体材料としては、エネルギーギャップが２ｅＶ以上、好ましくは２．５ｅＶ以上、より好ましくは３ｅＶ以上である金属酸化物を用いることができる。代表的には、インジウムを含む酸化物半導体などであり、例えば、後述するＣＡＡＣ−ＯＳまたはＣＡＣ−ＯＳなどを用いることができる。ＣＡＡＣ−ＯＳは結晶を構成する原子が安定であり、信頼性を重視するトランジスタなどに適する。また、ＣＡＣ−ＯＳは、高移動度特性を示すため、高速駆動を行うトランジスタなどに適する。
ＯＳトランジスタは半導体層のエネルギーギャップが大きいため、数ｙＡ／μｍ（チャネル幅１μｍあたりの電流値）という極めて低いオフ電流特性を示す。また、ＯＳトランジスタは、インパクトイオン化、アバランシェ降伏、および短チャネル効果などが生じないなどＳｉトランジスタとは異なる特徴を有し、高耐圧で信頼性の高い回路を形成することができる。また、Ｓｉトランジスタでは問題となる結晶性の不均一性に起因する電気特性のばらつきもＯＳトランジスタでは生じにくい。
ＯＳトランジスタが有する半導体層は、例えばインジウム、亜鉛およびＭ（アルミニウム、チタン、ガリウム、ゲルマニウム、イットリウム、ジルコニウム、ランタン、セリウム、スズ、ネオジムまたはハフニウム等の金属から選ばれた一つ、または複数）を含むＩｎ−Ｍ−Ｚｎ系酸化物で表記される膜とすることができる。Ｉｎ−Ｍ−Ｚｎ系酸化物は、代表的には、スパッタリング法で形成することができる。または、ＡＬＤ（Ａｔｏｍｉｃ　ｌａｙｅｒ　ｄｅｐｏｓｉｔｉｏｎ）法を用いて形成してもよい。
Ｉｎ−Ｍ−Ｚｎ系酸化物をスパッタリング法で形成するために用いるスパッタリングターゲットの金属元素の原子数比は、Ｉｎ≧Ｍ、Ｚｎ≧Ｍを満たすことが好ましい。このようなスパッタリングターゲットの金属元素の原子数比として、Ｉｎ：Ｍ：Ｚｎ＝１：１：１、Ｉｎ：Ｍ：Ｚｎ＝１：１：１．２、Ｉｎ：Ｍ：Ｚｎ＝３：１：２、Ｉｎ：Ｍ：Ｚｎ＝４：２：３、Ｉｎ：Ｍ：Ｚｎ＝４：２：４．１、Ｉｎ：Ｍ：Ｚｎ＝５：１：６、Ｉｎ：Ｍ：Ｚｎ＝５：１：７、Ｉｎ：Ｍ：Ｚｎ＝５：１：８等が好ましい。なお、成膜される半導体層の原子数比はそれぞれ、上記のスパッタリングターゲットに含まれる金属元素の原子数比のプラスマイナス４０％の変動を含む。
半導体層としては、キャリア密度の低い酸化物半導体を用いる。例えば、半導体層は、キャリア密度が１×１０１７／ｃｍ３以下、好ましくは１×１０１５／ｃｍ３以下、さらに好ましくは１×１０１３／ｃｍ３以下、より好ましくは１×１０１１／ｃｍ３以下、さらに好ましくは１×１０１０／ｃｍ３未満であり、１×１０−９／ｃｍ３以上のキャリア密度の酸化物半導体を用いることができる。そのような酸化物半導体を、高純度真性または実質的に高純度真性な酸化物半導体と呼ぶ。当該酸化物半導体は欠陥準位密度が低く、安定な特性を有する酸化物半導体であるといえる。
なお、これらに限られず、必要とするトランジスタの半導体特性および電気特性（電界効果移動度、しきい値電圧等）に応じて適切な組成のものを用いればよい。また、必要とするトランジスタの半導体特性を得るために、半導体層のキャリア密度や不純物濃度、欠陥密度、金属元素と酸素の原子数比、原子間距離、密度等を適切なものとすることが好ましい。
半導体層を構成する酸化物半導体において、第１４族元素の一つであるシリコンや炭素が含まれると、酸素欠損が増加し、ｎ型化してしまう。このため、半導体層におけるシリコンや炭素の濃度（二次イオン質量分析法により得られる濃度）を、２×１０１８ａｔｏｍｓ／ｃｍ３以下、好ましくは２×１０１７ａｔｏｍｓ／ｃｍ３以下とする。
また、アルカリ金属およびアルカリ土類金属は、酸化物半導体と結合するとキャリアを生成する場合があり、トランジスタのオフ電流が増大してしまうことがある。このため、半導体層におけるアルカリ金属またはアルカリ士類金属の濃度（二次イオン質量分析法により得られる濃度）を、１×１０１８ａｔｏｍｓ／ｃｍ３以下、好ましくは２×１０１６ａｔｏｍｓ／ｃｍ３以下にする。
また、半導体層を構成する酸化物半導体に窒素が含まれていると、キャリアである電子が生じてキャリア密度が増加し、ｎ型化しやすい。この結果、窒素が含まれている酸化物半導体を用いたトランジスタはノーマリーオン特性となりやすい。このため半導体層における窒素濃度（二次イオン質量分析法により得られる濃度）は、５×１０１８ａｔｏｍｓ／ｃｍ３以下にすることが好ましい。
また、半導体層を構成する酸化物半導体に水素が含まれていると、金属原子と結合する酸素と反応して水になるため、酸化物半導体中に酸素欠損を形成する場合がある。酸化物半導体中のチャネル形成領域に酸素欠損が含まれていると、トランジスタはノーマリーオン特性となる場合がある。さらに、酸素欠損に水素が入った欠陥はドナーとして機能し、キャリアである電子が生成されることがある。また、水素の一部が金属原子と結合する酸素と結合して、キャリアである電子を生成する場合がある。したがって、水素が多く含まれている酸化物半導体を用いたトランジスタは、ノーマリーオン特性となりやすい。
酸素欠損に水素が入った欠陥は、酸化物半導体のドナーとして機能しうる。しかしながら、当該欠陥を定量的に評価することは困難である。そこで、酸化物半導体においては、ドナー濃度ではなく、キャリア濃度で評価される場合がある。よって、本明細書等では、酸化物半導体のパラメータとして、ドナー濃度ではなく、電界が印加されない状態を想定したキャリア濃度を用いる場合がある。つまり、本明細書等に記載の「キャリア濃度」は、「ドナー濃度」と言い換えることができる場合がある。
よって、酸化物半導体中の水素はできる限り低減されていることが好ましい。具体的には、酸化物半導体において、二次イオン質量分析法（ＳＩＭＳ：Ｓｅｃｏｎｄａｒｙ　Ｉｏｎ　Ｍａｓｓ　Ｓｐｅｃｔｒｏｍｅｔｒｙ）により得られる水素濃度を、１×１０２０ａｔｏｍｓ／ｃｍ３未満、好ましくは１×１０１９ａｔｏｍｓ／ｃｍ３未満、より好ましくは５×１０１８ａｔｏｍｓ／ｃｍ３未満、さらに好ましくは１×１０１８ａｔｏｍｓ／ｃｍ３未満とする。水素などの不純物が十分に低減された酸化物半導体をトランジスタのチャネル形成領域に用いることで、安定した電気特性を付与することができる。
また、半導体層は、例えば非単結晶構造でもよい。非単結晶構造は、例えば、ｃ軸に配向した結晶を有するＣＡＡＣ−ＯＳ（Ｃ−Ａｘｉｓ　Ａｌｉｇｎｅｄ　Ｃｒｙｓｔａｌｌｉｎｅ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、多結晶構造、微結晶構造、または非晶質構造を含む。非単結晶構造において、非晶質構造は最も欠陥準位密度が高く、ＣＡＡＣ−ＯＳは最も欠陥準位密度が低い。
非晶質構造の酸化物半導体膜は、例えば、原子配列が無秩序であり、結晶成分を有さない。または、非晶質構造の酸化物膜は、例えば、完全な非晶質構造であり、結晶部を有さない。
なお、半導体層が、非晶質構造の領域、微結晶構造の領域、多結晶構造の領域、ＣＡＡＣ−ＯＳの領域、単結晶構造の領域のうち、二種以上を有する混合膜であってもよい。混合膜は、例えば上述した領域のうち、いずれか二種以上の領域を含む単層構造、または積層構造を有する場合がある。
以下では、非単結晶の半導体層の一態様であるＣＡＣ（Ｃｌｏｕｄ−Ａｌｉｇｎｅｄ　Ｃｏｍｐｏｓｉｔｅ）−ＯＳの構成について説明する。
ＣＡＣ−ＯＳとは、例えば、酸化物半導体を構成する元素が、０．５ｎｍ以上１０ｎｍ以下、好ましくは、１ｎｍ以上２ｎｍ以下、またはその近傍のサイズで偏在した材料の一構成である。なお、以下では、酸化物半導体において、一つあるいはそれ以上の金属元素が偏在し、該金属元素を有する領域が、０．５ｎｍ以上１０ｎｍ以下、好ましくは、１ｎｍ以上２ｎｍ以下、またはその近傍のサイズで混合した状態をモザイク状、またはパッチ状ともいう。
なお、酸化物半導体は、少なくともインジウムを含むことが好ましい。特にインジウムおよび亜鉛を含むことが好ましい。また、それらに加えて、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種が含まれていてもよい。
例えば、Ｉｎ−Ｇａ−Ｚｎ酸化物におけるＣＡＣ−ＯＳ（ＣＡＣ−ＯＳの中でもＩｎ−Ｇａ−Ｚｎ酸化物を、特にＣＡＣ−ＩＧＺＯと呼称してもよい。）とは、インジウム酸化物（以下、ＩｎＯＸ１（Ｘ１は０よりも大きい実数）とする。）、またはインジウム亜鉛酸化物（以下、ＩｎＸ２ＺｎＹ２ＯＺ２（Ｘ２、Ｙ２、およびＺ２は０よりも大きい実数）とする。）と、ガリウム酸化物（以下、ＧａＯＸ３（Ｘ３は０よりも大きい実数）とする。）、またはガリウム亜鉛酸化物（以下、ＧａＸ４ＺｎＹ４ＯＺ４（Ｘ４、Ｙ４、およびＺ４は０よりも大きい実数）とする。）などと、に材料が分離することでモザイク状となり、モザイク状のＩｎＯＸ１、またはＩｎＸ２ＺｎＹ２ＯＺ２が、膜中に均一に分布した構成（以下、クラウド状ともいう。）である。
つまり、ＣＡＣ−ＯＳは、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とが、混合している構成を有する複合酸化物半導体である。なお、本明細書において、例えば、第１の領域の元素Ｍに対するＩｎの原子数比が、第２の領域の元素Ｍに対するＩｎの原子数比よりも大きいことを、第１の領域は、第２の領域と比較して、Ｉｎの濃度が高いとする。
なお、ＩＧＺＯは通称であり、Ｉｎ、Ｇａ、Ｚｎ、およびＯによる１つの化合物をいう場合がある。代表例として、ＩｎＧａＯ３（ＺｎＯ）ｍ１（ｍ１は自然数）、またはＩｎ（１＋ｘ０）Ｇａ（１−ｘ０）Ｏ３（ＺｎＯ）ｍ０（−１≦ｘ０≦１、ｍ０は任意数）で表される結晶性の化合物が挙げられる。
上記結晶性の化合物は、単結晶構造、多結晶構造、またはＣＡＡＣ構造を有する。なお、ＣＡＡＣ構造とは、複数のＩＧＺＯのナノ結晶がｃ軸配向を有し、かつａ−ｂ面においては配向せずに連結した結晶構造である。
一方、ＣＡＣ−ＯＳは、酸化物半導体の材料構成に関する。ＣＡＣ−ＯＳとは、Ｉｎ、Ｇａ、Ｚｎ、およびＯを含む材料構成において、一部にＧａを主成分とするナノ粒子状に観察される領域と、一部にＩｎを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。したがって、ＣＡＣ−ＯＳにおいて、結晶構造は副次的な要素である。
なお、ＣＡＣ−ＯＳは、組成の異なる二種類以上の膜の積層構造は含まないものとする。例えば、Ｉｎを主成分とする膜と、Ｇａを主成分とする膜との２層からなる構造は、含まない。
なお、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とは、明確な境界が観察できない場合がある。
なお、ガリウムの代わりに、アルミニウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種が含まれている場合、ＣＡＣ−ＯＳは、一部に該金属元素を主成分とするナノ粒子状に観察される領域と、一部にＩｎを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。
ＣＡＣ−ＯＳは、例えば基板を意図的に加熱しない条件で、スパッタリング法により形成することができる。また、ＣＡＣ−ＯＳをスパッタリング法で形成する場合、成膜ガスとして、不活性ガス（代表的にはアルゴン）、酸素ガス、および窒素ガスの中から選ばれたいずれか一つまたは複数を用いればよい。また、成膜時の成膜ガスの総流量に対する酸素ガスの流量比は低いほど好ましく、例えば酸素ガスの流量比を０％以上３０％未満、好ましくは０％以上１０％以下とすることが好ましい。
ＣＡＣ−ＯＳは、Ｘ線回折（ＸＲＤ：Ｘ−ｒａｙ　ｄｉｆｆｒａｃｔｉｏｎ）測定法のひとつであるＯｕｔ−ｏｆ−ｐｌａｎｅ法によるθ／２θスキャンを用いて測定したときに、明確なピークが観察されないという特徴を有する。すなわち、Ｘ線回折測定から、測定領域のａ−ｂ面方向、およびｃ軸方向の配向は見られないことが分かる。
また、ＣＡＣ−ＯＳは、プローブ径が１ｎｍの電子線（ナノビーム電子線ともいう。）を照射することで得られる電子線回折パターンにおいて、リング状に輝度の高い領域（リング領域）と、該リング領域に複数の輝点が観測される。したがって、電子線回折パターンから、ＣＡＣ−ＯＳの結晶構造が、平面方向、および断面方向において、配向性を有さないｎｃ（ｎａｎｏ−ｃｒｙｓｔａｌ）構造を有することがわかる。
また、例えば、Ｉｎ−Ｇａ−Ｚｎ酸化物におけるＣＡＣ−ＯＳでは、エネルギー分散型Ｘ線分光法（ＥＤＸ：Ｅｎｅｒｇｙ　Ｄｉｓｐｅｒｓｉｖｅ　Ｘ−ｒａｙ　ｓｐｅｃｔｒｏｓｃｏｐｙ）を用いて取得したＥＤＸマッピングにより、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とが、偏在し、混合している構造を有することが確認できる。
ＣＡＣ−ＯＳは、金属元素が均一に分布したＩＧＺＯ化合物とは異なる構造であり、ＩＧＺＯ化合物と異なる性質を有する。つまり、ＣＡＣ−ＯＳは、ＧａＯＸ３などが主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域と、に互いに相分離し、各元素を主成分とする領域がモザイク状である構造を有する。
ここで、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域は、ＧａＯＸ３などが主成分である領域と比較して、導電性が高い領域である。つまり、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域を、キャリアが流れることにより、酸化物半導体としての導電性が発現する。したがって、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域が、酸化物半導体中にクラウド状に分布することで、高い電界効果移動度（μ）が実現できる。
一方、ＧａＯＸ３などが主成分である領域は、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域と比較して、絶縁性が高い領域である。つまり、ＧａＯＸ３などが主成分である領域が、酸化物半導体中に分布することで、リーク電流を抑制し、良好なスイッチング動作を実現できる。
したがって、ＣＡＣ−ＯＳを半導体素子に用いた場合、ＧａＯＸ３などに起因する絶縁性と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１に起因する導電性とが、相補的に作用することにより、高いオン電流（Ｉｏｎ）、および高い電界効果移動度（μ）を実現することができる。
また、ＣＡＣ−ＯＳを用いた半導体素子は、信頼性が高い。したがって、ＣＡＣ−ＯＳは、様々な半導体装置の構成材料として適している。
＜積層構造１＞
次に、撮像装置の積層構造について、断面図を用いて説明する。なお、以下に示す絶縁層および導電層などの要素は一例であり、さらに他の要素が含まれていてもよい。または、以下に示す要素の一部が省かれていてもよい。また、以下に示す積層構造は、必要に応じて、貼り合わせ工程、研磨工程などを用いて形成することができる。
図１８は、層５６０、５６１、層５６３を有し、層５６３を構成する層５６３ａと層５６３ｂの間に貼り合わせ面を有する積層体の断面図の一例である。
＜層５６３ｂ＞
層５６３ｂは、シリコン基板６１１に設けられた機能回路を有する。ここでは、機能回路の一部として、回路２０１が有するキャパシタ２０２、トランジスタ２０３およびトランジスタ２０４を示している。キャパシタ２０２の一方の電極と、トランジスタ２０３のソースまたはドレインの一方と、トランジスタ２０４のゲートは電気的に接続されている。
層５６３ｂには、シリコン基板６１１、絶縁層６１２、６１３、６１４、６１５、６１６、６１７、６１８が設けられる。絶縁層６１２は保護膜としての機能を有する。絶縁層６１３、６１３、６１６、６１７は、層間絶縁膜および平坦化膜としての機能を有する。絶縁層６１５は、キャパシタ２０２の誘電体層としての機能を有する。絶縁層６１８および導電層６１９は、貼り合わせ層としての機能を有する。導電層６１９は、キャパシタ２０２の一方の電極と電気的に接続される。
保護膜としては、例えば、窒化シリコン膜、酸化シリコン膜、酸化アルミニウム膜などを用いることができる。層間絶縁膜および平坦化膜としては、例えば、酸化シリコン膜などの無機絶縁膜、アクリル樹脂、ポリイミド樹脂などの有機絶縁膜を用いることができる。キャパシタの誘電体層としては、窒化シリコン膜、酸化シリコン膜、酸化アルミニウム膜などを用いることができる。貼り合わせ層に関しては後述する。
なお、デバイス間の電気的な接続に用いられる配線、電極およびプラグとして用いることのできる導電体には、アルミニウム、クロム、銅、銀、金、白金、タンタル、ニッケル、チタン、モリブデン、タングステン、ハフニウム、バナジウム、ニオブ、マンガン、マグネシウム、ジルコニウム、ベリリウム、インジウム、ルテニウム、イリジウム、ストロンチウム、ランタンなどから選ばれた金属元素、または上述した金属元素を成分とする合金か、上述した金属元素を組み合わせた合金等を適宜選択して用いればよい。当該導電体は単層に限らず、異なる材料で構成された複数の層であってもよい。
＜層５６３ａ＞
層５６３ａは、画素１００の要素を有する。ここでは、画素１００の要素の一部として、トランジスタ１０２およびトランジスタ１０８を示している。図１８に示す断面図では、両者の電気的な接続は図示されていない。
層５６３ａには、シリコン基板６３２、絶縁層６３１、６３３、６３４、６３５、６３７、６３８が設けられる。また、導電層６３６、６３９が設けられる。
絶縁層６３１および導電層６３９は、貼り合わせ層としての機能を有する。絶縁層６３４、６３５、６３７は、層間絶縁膜および平坦化膜としての機能を有する。絶縁層６３３は、保護膜としての機能を有する。絶縁層６３８は、シリコン基板６３２と導電層６３９を絶縁する機能を有する。絶縁層６３８は、他の絶縁層と同様の材料で形成することができる。また、絶縁層６３８は、絶縁層６３１と同一の材料で形成されていてもよい。
導電層６３９は、トランジスタ１０８のソースまたはドレインの他方および導電層６１９と電気的に接続される。また、導電層６３６は、配線１１３（図３Ａ参照）と電気的に接続される。
図１８に示すＳｉトランジスタはシリコン基板（シリコン基板６１１、６３２）にチャネル形成領域を有するフィン型である。チャネル幅方向の断面（図１８の層５６３ａに示すＡ１−Ａ２の断面）を図１９Ａに示す。なお、Ｓｉトランジスタは、図１９Ｂに示すようにプレーナー型であってもよい。
または、図１９Ｃに示すように、シリコン薄膜の半導体層５４５を有するトランジスタであってもよい。半導体層５４５は、例えば、シリコン基板６１１上の絶縁層５４６上に形成された単結晶シリコン（ＳＯＩ（Ｓｉｌｉｃｏｎ　ｏｎ　Ｉｎｓｕｌａｔｏｒ））とすることができる。
＜層５６１＞
層５６１は、光電変換デバイス１０１を有する。光電変換デバイス１０１は、層５６３ａ上に形成することができる。図１８では、光電変換デバイス１０１として、図１７Ｃに示す有機光導電膜を光電変換層に用いた構成を示している。なお、ここでは、層５６７ａをカソード、層５６７ｅをアノードとする。
層５６１には、絶縁層６５１、６５２、６５３、６５４、および導電層６５５が設けられる。
絶縁層６５１、６５３、６５４は、層間絶縁膜および平坦化膜としての機能を有する。また、絶縁層６５４は光電変換デバイス１０１の端部を覆って設けられ、層５６７ｅと層５６７ａとの短絡を防止する機能も有する。絶縁層６５２は、素子分離層としての機能を有する。素子分離層としては、有機絶縁膜などを用いることが好ましい。
光電変換デバイス１０１のカソードに相当する層５６７ａは、層５６３ａが有するトランジスタ１０２のソースまたはドレインの一方と電気的に接続される。光電変換デバイス１０１のアノードに相当する層５６７ｅは、導電層６５５を介して、層５６３ａが有する導電層６３６と電気的に接続される。
＜層５６０＞
層５６０は、層５６１上に形成される。層５６０は、遮光層６７１、光学変換層６７２およびマイクロレンズアレイ６７３を有する。
遮光層６７１は、隣接する画素への光の流入を抑えることができる。遮光層６７１には、アルミニウム、タングステンなどの金属層を用いることができる。また、当該金属層と反射防止膜としての機能を有する誘電体膜を積層してもよい。
光学変換層６７２には、カラーフィルタを用いることができる。カラーフィルタに（赤）、Ｇ（緑）、Ｂ（青）、Ｙ（黄）、Ｃ（シアン）、Ｍ（マゼンタ）などの色を画素別に割り当てることにより、カラー画像を得ることができる。
また、光学変換層６７２に波長カットフィルタを用いれば、様々な波長領域における画像が得られる撮像装置とすることができる。
例えば、光学変換層６７２に可視光線の波長以下の光を遮るフィルタを用いれば、赤外線撮像装置とすることができる。また、光学変換層６７２に近赤外線の波長以下の光を遮るフィルタを用いれば、遠赤外線撮像装置とすることができる。また、光学変換層６７２に可視光線の波長以上の光を遮るフィルタを用いれば、紫外線撮像装置とすることができる。
また、光学変換層６７２にシンチレータを用いれば、Ｘ線撮像装置などに用いる放射線の強弱を可視化した画像を得る撮像装置とすることができる。被写体を透過したＸ線等の放射線がシンチレータに入射されると、フォトルミネッセンス現象により可視光線や紫外光線などの光（蛍光）に変換される。そして、当該光を光電変換デバイス１０１で検知することにより画像データを取得する。また、放射線検出器などに当該構成の撮像装置を用いてもよい。
シンチレータは、Ｘ線やガンマ線などの放射線が照射されると、そのエネルギーを吸収して可視光や紫外光を発する物質を含む。例えば、Ｇｄ２Ｏ２Ｓ：Ｔｂ、Ｇｄ２Ｏ２Ｓ：Ｐｒ、Ｇｄ２Ｏ２Ｓ：Ｅｕ、ＢａＦＣｌ：Ｅｕ、ＮａＩ、ＣｓＩ、ＣａＦ２、ＢａＦ２、ＣｅＦ３、ＬｉＦ、ＬｉＩ、ＺｎＯなどを樹脂やセラミクスに分散させたものを用いることができる。
光学変換層６７２上にはマイクロレンズアレイ６７３が設けられる。マイクロレンズアレイ６７３が有する個々のレンズを通る光が直下の光学変換層６７２を通り、光電変換デバイス１０１に照射されるようになる。マイクロレンズアレイ６７３を設けることにより、集光した光を光電変換デバイス１０１に入射することができるため、効率よく光電変換を行うことができる。マイクロレンズアレイ６７３は、可視光に対して透光性の高い樹脂またはガラスなどで形成することが好ましい。
＜貼り合わせ＞
次に、層５６３ｂと層５６３ａの貼り合わせについて説明する。
層５６３ｂには、絶縁層６１８および導電層６１９が設けられる。導電層６１９は、絶縁層６１８に埋設された領域を有する。また、絶縁層６１８および導電層６１９の表面は、それぞれ高さが一致するように平坦化されている。
層５６３ａには、絶縁層６３１および導電層６３９が設けられる。導電層６３９は、絶縁層６３１に埋設された領域を有する。また、絶縁層６３１および導電層６３９の表面は、それぞれ高さが一致するように平坦化されている。
ここで、導電層６１９および導電層６３９は、主成分が同一の金属元素であることが好ましい。また、絶縁層６１８および絶縁層６３１は、同一の成分で構成されていることが好ましい。
例えば、導電層６１９、６３９には、Ｃｕ、Ａｌ、Ｓｎ、Ｚｎ、Ｗ、Ａｇ、ＰｔまたはＡｕなどを用いることができる。接合のしやすさから、好ましくはＣｕ、Ａｌ、Ｗ、またはＡｕを用いる。また、絶縁層６１８、６３１には、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、窒化チタンなどを用いることができる。
つまり、導電層６１９および導電層６３９のそれぞれに、上記に示す同一の金属材料を用いることが好ましい。また、絶縁層６１８および絶縁層６３１のそれぞれに、上記に示す同一の絶縁材料を用いることが好ましい。当該構成とすることで、層５６３ｂと層５６３ａの境を接合位置とする、貼り合わせを行うことができる。
なお、導電層６１９および導電層６３９は複数の層の多層構造であってもよく、その場合は、表層（接合面）が同一の金属材料であればよい。また、絶縁層６１８および絶縁層６３１も複数の層の多層構造であってもよく、その場合は、表層（接合面）が同一の絶縁材料であればよい。
当該貼り合わせによって、導電層６１９および導電層６３９の電気的な接続を得ることができる。また、絶縁層６１８および絶縁層６３１の機械的な強度を有する接続を得ることができる。
金属層同士の接合には、表面の酸化膜および不純物の吸着層などをスパッタリング処理などで除去し、清浄化および活性化した表面同士を接触させて接合する表面活性化接合法を用いることができる。または、温度と圧力を併用して表面同士を接合する拡散接合法などを用いることができる。どちらも原子レベルでの結合が起こるため、電気的だけでなく機械的にも優れた接合を得ることができる。
また、絶縁層同士の接合には、研磨などによって高い平坦性を得たのち、酸素プラズマ等で親水性処理をした表面同士を接触させて仮接合し、熱処理による脱水で本接合を行う親水性接合法などを用いることができる。親水性接合法も原子レベルでの結合が起こるため、機械的に優れた接合を得ることができる。
層５６３ｂと層５６３ａを貼り合わせる場合、それぞれの接合面には絶縁層と金属層が混在するため、例えば、表面活性化接合法および親水性接合法を組み合わせて行えばよい。
例えば、研磨後に表面を清浄化し、金属層の表面に酸化防止処理を行ったのちに親水性処理を行って接合する方法などを用いることができる。また、金属層の表面をＡｕなどの難酸化性金属とし、親水性処理を行ってもよい。なお、上述した方法以外の接合方法を用いてもよい。
上記の貼り合わせにより、層５６３ｂが有する回路２０１と、層５６３ａが有する画素１００の要素を電気的に接続することができる。
＜積層構造１の変形例＞
図２０は、図１８に示す積層構造の変形例であり、層５６１が有する光電変換デバイス１０１の構成、および層５６３ａの一部構成が異なり、層５６１と層５６３ａとの間にも貼り合わせ面を有する構成である。
層５６１は、光電変換デバイス１０１、絶縁層６６１、６６２、６６４、６６５および導電層１３５、１３６を有する。
光電変換デバイス１０１は、シリコン基板に形成されたｐｎ接合型のフォトダイオードであり、ｐ型領域に相当する層５６５ｂおよびｎ型領域に相当する層５６５ａを有する。光電変換デバイス１０１は埋め込み型フォトダイオードであり、層５６５ａの表面側（電流の取り出し側）に設けられた薄いｐ型の領域（層５６５ｂの一部）によって暗電流を抑えノイズを低減させることができる。
絶縁層６６１、導電層１３５、１３６は、貼り合わせ層としての機能を有する。絶縁層６６２は、層間絶縁膜および平坦化膜としての機能を有する。絶縁層６６４は、素子分離層としての機能を有する。絶縁層６６５は、キャリアの流出を抑制する機能を有する。
シリコン基板には画素を分離する開口部が設けられ、絶縁層６６５はシリコン基板上面および当該開口部に設けられる。絶縁層６６５が設けられることにより、光電変換デバイス１０１内で発生したキャリアが隣接する画素に流出することを抑えることができる。また、絶縁層６６５は、迷光の侵入を抑制する機能も有する。したがって、絶縁層６６５により、混色を抑制することができる。なお、シリコン基板の上面と絶縁層６６５との間に反射防止膜が設けられていてもよい。
素子分離層は、ＬＯＣＯＳ（ＬＯＣａｌ　Ｏｘｉｄａｔｉｏｎ　ｏｆ　Ｓｉｌｉｃｏｎ）法を用いて形成することができる。または、ＳＴＩ（Ｓｈａｌｌｏｗ　Ｔｒｅｎｃｈ　Ｉｓｏｌａｔｉｏｎ）法等を用いて形成してもよい。絶縁層６６５としては、例えば、酸化シリコン、窒化シリコンなどの無機絶縁膜、ポリイミド、アクリルなどの有機絶縁膜を用いることができる。なお、絶縁層６６５は多層構成であってもよい。
光電変換デバイス１０１の層５６５ａ（ｎ型領域、カソードに相当）は、導電層１３５と電気的に接続される。層５６５ｂ（ｐ型領域、アノードに相当）は、導電層１３６と電気的に接続される。導電層１３５、１３６は、絶縁層６６１に埋設された領域を有する。また、絶縁層６６１および導電層１３５、１３６の表面は、それぞれ高さが一致するように平坦化されている。
層５６３ａにおいて、絶縁層６３７上には、絶縁層６３８が形成される。また、トランジスタ１０２のソースまたはドレインの一方と電気的に接続される導電層１３３、および導電層６３６と電気的に接続される導電層１３４が形成される。
絶縁層６３８、導電層１３３、１３４は、貼り合わせ層としての機能を有する。導電層１３３、１３４は、絶縁層６３８に埋設された領域を有する。また、絶縁層６３８および導電層１３３、１３４の表面は、それぞれ高さが一致するように平坦化されている。
ここで、導電層１３３、１３４、１３５、１３６は、前述した導電層６１９、６３９と同じ貼り合わせ層である。また、絶縁層６３８、６６１は、前述した絶縁層６１８、６３１と同じ貼り合わせ層である。
したがって、導電層１３３と導電層１３５を貼り合わせることで、光電変換デバイスの層５６５ａ（ｎ型領域、カソードに相当）とトランジスタ１０２のソースまたはドレインの一方を電気的に接続することができる。また、導電層１３４と導電層１３６を貼り合わせることで、光電変換デバイスの層５６５ｂ（ｐ型領域、アノードに相当）と配線１１３（図３参照）を電気的に接続することができる。また、絶縁層６３８と絶縁層６６１を貼り合わせることで、層５６１と層５６３ａの電気的な接合および機械的な接合を行うことができる。
＜積層構造２＞
図２１は、層５６０、５６１、５６２、５６３を有し、貼り合わせ面を有さない積層体の断面図の一例である。層５６３には、Ｓｉトランジスタが設けられる。層５６２には、ＯＳトランジスタが設けられる。ここでは、層５６２および層５６３にメモリ回路の構成要素が設けられ、層５６３にメモリ回路の駆動回路が設けられる例を説明する。なお、層５６１および層５６０の構成は、図１８に示す構成と同一であるため、ここでは説明を省略する。
＜層５６３＞
層５６３は、シリコン基板６１１に設けられた機能回路を有する。ここでは、機能回路の一部として、メモリ回路の駆動回路が有するトランジスタ２５１、メモリ回路が有するトランジスタ２５２、２５３を示している。
＜層５６２ｂ＞
層５６２ｂは、層５６３上に形成される。層５６２ｂは、ＯＳトランジスタを有する。ここでは、メモリ回路の一部として、トランジスタ２５４を示している。
層５６２ｂには、絶縁層６２１、６２２、６２３、６２４、６２５、６２６、６２８、６２９が設けられる。また、導電層６２７が設けられる。導電層６２７は、配線１１３（図３参照）と電気的に接続することができる。
絶縁層６２１は、ブロッキング層としての機能を有する。絶縁層６２２、６２３、６２５、６２６、６２８、６２９層間絶縁膜および平坦化膜としての機能を有する。絶縁層６２４は、保護膜としての機能を有する。
ブロッキング層としては、水素の拡散を防止する機能を有する膜を用いることが好ましい。Ｓｉデバイスにおいて、水素はダングリングボンドを終端するために必要とされるが、ＯＳトランジスタの近傍にある水素は、酸化物半導体層中にキャリアを生成する要因の一つとなり、信頼性を低下させる。したがって、Ｓｉデバイスが形成される層とＯＳトランジスタが形成される層との間には、水素のブロッキング膜が設けられることが好ましい。
当該ブロッキング膜としては、例えば、酸化アルミニウム、酸化窒化アルミニウム、酸化ガリウム、酸化窒化ガリウム、酸化イットリウム、酸化窒化イットリウム、酸化ハフニウム、酸化窒化ハフニウム、イットリア安定化ジルコニア（ＹＳＺ）等を用いることができる。
ここで、層５６３および層５６２ｂが有するメモリ回路は、トランジスタ２５４、トランジスタ２５３およびトランジスタ２５２をメモリセルに有する。トランジスタ２５４のソースまたはドレインの一方はトランジスタ２５３のゲートと電気的に接続される。トランジスタ２５４のゲートは、メモリ回路の駆動回路が有するトランジスタ２５１と電気的に接続される。
メモリセルは、トランジスタ２５３のゲートをデータ保持部とし、トランジスタ２５４でデータの書き込みを行う。トランジスタ２５２を導通させることによりメモリセルの読み出しを行う。データ保持部に接続するトランジスタ２５４にオフ電流の小さいＯＳトランジスタを用いることにより、データの保持時間を長くすることができる。詳細は、後述する実施の形態におけるＮＯＳＲＡＭ等の説明を参照することができる。
図２２ＡにＯＳトランジスタの詳細を示す。図２２Ａに示すＯＳトランジスタは、酸化物半導体層および導電層の積層上に絶縁層を設け、当該酸化物半導体層に達する開口部を設けることでソース電極７０５およびドレイン電極７０６を形成するセルフアライン型の構成である。
ＯＳトランジスタは、酸化物半導体層に形成されるチャネル形成領域、ソース領域７０３およびドレイン領域７０４のほか、ゲート電極７０１、ゲート絶縁膜７０２を有する構成とすることができる。当該開口部には少なくともゲート絶縁膜７０２およびゲート電極７０１が設けられる。当該溝には、さらに酸化物半導体層７０７が設けられていてもよい。
ＯＳトランジスタは、図２２Ｂに示すように、ゲート電極７０１をマスクとして半導体層にソース領域７０３およびドレイン領域７０４を形成するセルフアライン型の構成としてもよい。
または、図２２Ｃに示すように、ソース電極７０５またはドレイン電極７０６とゲート電極７０１とが重なる領域を有するノンセルフアライン型のトップゲート型トランジスタであってもよい。
ＯＳトランジスタはバックゲート５３５を有する構造を示しているが、バックゲートを有さない構造であってもよい。バックゲート５３５は、図２２Ｄに示すトランジスタのチャネル幅方向の断面図のように、対向して設けられるトランジスタのフロントゲートと電気的に接続してもよい。なお、図２２Ｄは図２２ＡのトランジスタのＢ１−Ｂ２の断面を例として示しているが、その他の構造のトランジスタも同様である。また、バックゲート５３５にフロントゲートとは異なる固定電位を供給することができる構成であってもよい。
＜層５６２ａ＞
層５６２ａは、層５６２ｂ上に形成される。層５６２ａは、ＯＳトランジスタを有する画素１００の要素を有する。ここでは、画素１００の要素の一部として、トランジスタ１０２およびトランジスタ１０３を示している。
層５６２ａには、絶縁層６４１、６４２、６４３、６４４、６４５、６４７が設けられる。また、導電層６４６が設けられる。
絶縁層６４１、６４２、６４４、６４５、６４７は、層間絶縁膜および平坦化膜としての機能を有する。絶縁層６４３は、保護膜としての機能を有する。
トランジスタ１０２のソースまたはドレインの一方は、層５６１が有する光電変換デバイス１０１のカソードと電気的に接続される。導電層６４６は、層５６１が有する光電変換デバイス１０１のアノード、および層５６２ｂが有する導電層６２７と電気的に接続される。
なお、図２１における断面図では図示されていないが、層５６２ａが有する画素回路は、層５６３が有する回路２０１と電気的に接続することができる。また、回路２０１は他の機能回路と電気的に接続することができる。
＜積層構造２の変形例＞
図２３は、図２２に示す積層構造の変形例であり、層５６１が有する光電変換デバイス１０１の構成、および層５６２ａの一部構成が異なり、層５６１と層５６２ａとの間に貼り合わせ面を有する構成である。
層５６１が有する光電変換デバイス１０１は、シリコン基板に形成されたｐｎ接合型のフォトダイオードであり、図２０に示す構成と同様である。
層５６２ａにおいて、絶縁層６４７上には、絶縁層６４８が形成される。また、トランジスタ１０２のソースまたはドレインの一方と電気的に接続される導電層１３８、および導電層６４６と電気的に接続される導電層１３９が形成される。
絶縁層６４８、導電層１３８、１３９は、貼り合わせ層としての機能を有する。導電層１３８、１３９は、絶縁層６４８に埋設された領域を有する。また、絶縁層６４８および導電層１３３、１３４の表面は、それぞれ高さが一致するように平坦化されている。
ここで、導電層１３８、１３９は、前述した導電層６１９、６３９と同じ貼り合わせ層である。また、絶縁層６４８は、前述した絶縁層６１８、６３１と同じ貼り合わせ層である。
したがって、導電層１３８と導電層１３５を貼り合わせることで、光電変換デバイスの層５６５ａ（ｎ型領域、カソードに相当）とトランジスタ１０２のソースまたはドレインの一方を電気的に接続することができる。また、導電層１３９と導電層１３６を貼り合わせることで、光電変換デバイスの層５６５ｂ（ｐ型領域、アノードに相当）と配線１１３（図３参照）を電気的に接続することができる。また、絶縁層６４８と絶縁層６６１を貼り合わせることで、層５６１と層５６２ａの電気的な接合および機械的な接合を行うことができる。
Ｓｉデバイスを複数積層する場合、研磨工程や貼り合わせ工程が複数回必要になる。そのため、工程数が多い、専用の装置が必要、低歩留まりなどの課題があり、製造コストも高い。ＯＳトランジスタは、デバイスが形成されたシリコン基板上に積層して形成することができるため、貼り合わせ工程を削減することができる。
図２４Ａ１は、イメージセンサチップを収めたパッケージの上面側の外観斜視図である。当該パッケージは、イメージセンサチップ４５０（図２４Ａ３参照）を固定するパッケージ基板４１０、カバーガラス４２０および両者を接着する接着剤４３０等を有する。
図２４Ａ２は、当該パッケージの下面側の外観斜視図である。パッケージの下面には、半田ボールをバンプ４４０としたＢＧＡ（Ｂａｌｌ　ｇｒｉｄ　ａｒｒａｙ）を有する。なお、ＢＧＡに限らず、ＬＧＡ（Ｌａｎｄ　ｇｒｉｄ　ａｒｒａｙ）やＰＧＡ（Ｐｉｎ　Ｇｒｉｄ　Ａｒｒａｙ）などを有していてもよい。
図２６Ａ３は、カバーガラス４２０および接着剤４３０の一部を省いて図示したパッケージの斜視図である。パッケージ基板４１０上には電極パッド４６０が形成され、電極パッド４６０およびバンプ４４０はスルーホールを介して電気的に接続されている。電極パッド４６０は、イメージセンサチップ４５０とワイヤ４７０によって電気的に接続されている。
また、図２４Ｂ１は、イメージセンサチップをレンズ一体型のパッケージに収めたカメラモジュールの上面側の外観斜視図である。当該カメラモジュールは、イメージセンサチップ４５１（図２４Ｂ３を固定するパッケージ基板４１１、レンズカバー４２１、およびレンズ４３５等を有する。また、パッケージ基板４１１およびイメージセンサチップ４５１の間には撮像装置の駆動回路および信号変換回路などの機能を有するＩＣチップ４９０（図２４Ｂ３も設けられており、ＳｉＰ（Ｓｙｓｔｅｍ　ｉｎ　ｐａｃｋａｇｅ）としての構成を有している。
図２４Ｂ２は、当該カメラモジュールの下面側の外観斜視図である。パッケージ基板４１１の下面および側面には、実装用のランド４４１が設けられたＱＦＮ（Ｑｕａｄ　ｆｌａｔ　ｎｏ−ｌｅａｄ　ｐａｃｋａｇｅ）の構成を有する。なお、当該構成は一例であり、ＱＦＰ（Ｑｕａｄ　ｆｌａｔ　ｐａｃｋａｇｅ）や前述したＢＧＡが設けられていてもよい。
図２４Ｂ３は、レンズカバー４２１およびレンズ４３５の一部を省いて図示したモジュールの斜視図である。ランド４４１は電極パッド４６１と電気的に接続され、電極パッド４６１はイメージセンサチップ４５１またはＩＣチップ４９０とワイヤ４７１によって電気的に接続されている。
イメージセンサチップを上述したような形態のパッケージに収めることでプリント基板等への実装が容易になり、イメージセンサチップを様々な半導体装置、電子機器に組み込むことができる。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
（実施の形態３）
本実施の形態では、実施の形態２で説明した機能回路として用いることができ、画素回路と積層することのできるメモリ回路について説明する。
メモリ回路には画素回路で撮像したデータまたは積和演算結果を格納することができる。したがって、メモリ回路を有する撮像装置では、高速な撮像および演算を行うことができる。
図２５Ａは、メモリ回路３２１が有する要素（メモリセル３２１ａ、ロードライバ３１２、カラムドライバ３１３）の接続関係を示す図である。メモリセル３２１ａを構成するトランジスタには、ＯＳトランジスタを用いることが好ましい。
メモリ回路３２１は、一列にｍ（ｍは１以上の整数）個、一行にｎ（ｎは１以上の整数）個、計ｍ×ｎ個のメモリセル３２１ａを有し、メモリセル３２１ａはマトリクス状に配置されている。図２５Ａでは、メモリセル３２１ａのアドレスも併せて表記している。例えば、［１，１］は１行１列目のアドレスに位置しているメモリセル３２１ａを示し、［ｉ，ｊ］（ｉは１以上ｍ以下の整数、ｊは１以上ｎ以下の整数）はｉ行ｊ列目のアドレスに位置しているメモリセル３２１ａを示している。なお、メモリ回路３２１とロードライバ３１２を接続している配線の数は、メモリセル３２１ａの構成、一列中に含まれるメモリセル３２１ａの数などによって決まる。また、メモリ回路３２１とカラムドライバ３１３とを接続している配線の数は、メモリセル３２１ａの構成、一行中に含まれるメモリセル３２１ａの数などによって決まる。
図２５Ｂ乃至図２５Ｅは、メモリセル３２１ａに適用できるメモリセル３２１ａＡ乃至メモリセル３２１ａＤを説明する図である。なお、以下の説明において、ビット線類は、カラムドライバ３１３と接続することができる。また、ワード線類は、ロードライバ３１２と接続することができる。
ロードライバ３１２およびカラムドライバ３１３には、例えば、デコーダ、またはシフトレジスタを用いることができる。なお、ロードライバ３１２およびカラムドライバ３１３は、複数が設けられていてもよい。
［ＤＯＳＲＡＭ］
図２５Ｂに、ＤＲＡＭ型のメモリセル３２１ａＡの回路構成例を示す。本明細書等において、ＯＳトランジスタを用いたＤＲＡＭを、ＤＯＳＲＡＭ（Ｄｙｎａｍｉｃ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と呼ぶ。メモリセル３２１ａＡは、トランジスタＭ１１と、キャパシタＣｓと、を有する。
トランジスタＭ１１の第１端子は、キャパシタＣｓの第１端子と接続され、トランジスタＭ１１の第２端子は、配線ＢＩＬと接続され、トランジスタＭ１１のゲートは、配線ＷＬと接続され、トランジスタＭ１１のバックゲートは、配線ＢＧＬと接続されている。キャパシタＣｓの第２端子は、配線ＧＮＤＬと接続されている。配線ＧＮＤＬは、低レベル電位（基準電位）を与える配線である。
配線ＢＩＬは、ビット線として機能する。配線ＷＬは、ワード線として機能する。配線ＢＧＬは、トランジスタＭ１１のバックゲートに電位を印加するための配線として機能する。配線ＢＧＬに任意の電位を印加することによって、トランジスタＭ１１のしきい値電圧を増減することができる。
データの書き込みおよび読み出しは、配線ＷＬに高レベル電位を印加し、トランジスタＭ１１を導通状態にし、配線ＢＩＬとキャパシタＣｓの第１端子を電気的に接続することによって行われる。
トランジスタＭ１１には、ＯＳトランジスタを用いることが好ましい。また、ＯＳトランジスタの半導体層には、インジウム、元素Ｍ（元素Ｍはアルミニウム、ガリウム、イットリウム、またはスズの一つまたは複数）、亜鉛のいずれか一つを有する酸化物半導体を用いることが好ましい。特に、インジウム、ガリウム、亜鉛を有する酸化物半導体を用いることが好ましい。
インジウム、ガリウム、亜鉛を含む酸化物半導体を適用したＯＳトランジスタは、オフ電流が極めて小さいという特性を有している。トランジスタＭ１１としてＯＳトランジスタを用いることによって、トランジスタＭ１１のリーク電流を非常に低くすることができる。つまり、書き込んだデータをトランジスタＭ１１によって長時間保持することができるため、メモリセルのリフレッシュの頻度を少なくすることができる。また、メモリセルのリフレッシュ動作を不要にすることができる。
［ＮＯＳＲＡＭ］
図２５Ｃに、２つのトランジスタと１つのキャパシタを有するゲインセル型（「２Ｔｒ１Ｃ型」ともいう）のメモリセル３２１ａＢの回路構成例を示す。メモリセル３２１ａＢは、トランジスタＭ１１と、トランジスタＭ３と、キャパシタＣｓと、を有する。
トランジスタＭ１１の第１端子は、キャパシタＣｓの第１端子と接続され、トランジスタＭ１１の第２端子は、配線ＷＢＬと接続され、トランジスタＭ１１のゲートは、配線ＷＬと接続され、トランジスタＭ１１のバックゲートは、配線ＢＧＬと接続されている。キャパシタＣｓの第２端子は、配線ＲＬと接続されている。トランジスタＭ３の第１端子は、配線ＲＢＬと接続され、トランジスタＭ３の第２端子は、配線ＳＬと接続され、トランジスタＭ３のゲートは、キャパシタＣｓの第１端子と接続されている。
配線ＷＢＬは書き込みビット線として機能する。配線ＲＢＬは、読み出しビット線として機能する。配線ＷＬは、ワード線として機能する。配線ＲＬは、キャパシタＣｓの第２端子に所定の電位を印加するための配線として機能する。データの書き込み時、データ保持の最中、配線ＲＬには、基準電位を印加することが好ましい。
配線ＢＧＬは、トランジスタＭ１１のバックゲートに電位を印加するための配線として機能する。配線ＢＧＬに任意の電位を印加することによって、トランジスタＭ１１のしきい値電圧を増減することができる。
データの書き込みは、配線ＷＬに高レベル電位を印加し、トランジスタＭ１１を導通状態にし、配線ＷＢＬとキャパシタＣｓの第１端子を電気的に接続することによって行われる。具体的には、トランジスタＭ１１が導通状態のときに、配線ＷＢＬに記録する情報に対応する電位を印加し、キャパシタＣｓの第１端子、およびトランジスタＭ３のゲートに該電位を書き込む。その後、配線ＷＬに低レベル電位を印加し、トランジスタＭ１１を非導通状態にすることによって、キャパシタＣｓの第１端子の電位、およびトランジスタＭ３のゲートの電位を保持する。
データの読み出しは、配線ＲＬと配線ＳＬに所定の電位を印加することによって行われる。トランジスタＭ３のソース−ドレイン間に流れる電流、およびトランジスタＭ３の第１端子の電位は、トランジスタＭ３のゲートの電位、およびトランジスタＭ３の第２端子の電位によって決まるので、トランジスタＭ３の第１端子に接続されている配線ＲＢＬの電位を読み出すことによって、キャパシタＣｓの第１端子（またはトランジスタＭ３のゲート）に保持されている電位を読み出すことができる。つまり、キャパシタＣｓの第１端子（またはトランジスタＭ３のゲート）に保持されている電位から、このメモリセルに書き込まれている情報を読み出すことができる。または、このメモリセルに書き込まれている情報の有無を知ることができる。
また、図２５Ｄに示すように、配線ＷＢＬと配線ＲＢＬを一本の配線ＢＩＬとしてまとめた構成であってもよい。図２５Ｄに示すメモリセル３２１ａＣは、メモリセル３２１ａＢの配線ＷＢＬと配線ＲＢＬを一本の配線ＢＩＬとして、トランジスタＭ１１の第２端子、およびトランジスタＭ３の第１端子が、配線ＢＩＬと接続されている構成となっている。つまり、メモリセル３２１ａＣは、書き込みビット線と、読み出しビット線と、を１本の配線ＢＩＬとして動作する構成となっている。
なお、メモリセル３２１ａＢおよびメモリセル３２１ａＣにおいても、トランジスタＭ１１にＯＳトランジスタを用いることが好ましい。トランジスタＭ１１にＯＳトランジスタを用いて、メモリセル３２１ａＢおよびメモリセル３２１ａＣのような２Ｔｒ１Ｃ型のメモリセルを用いた記憶装置をＮＯＳＲＡＭ（Ｎｏｎ−ｖｏｌａｔｉｌｅ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）という。
また、図２５Ｅに、３トランジスタ１キャパシタのゲインセル型（「３Ｔｒ１Ｃ型」ともいう）のメモリセル３２１ａＤの回路構成例を示す。メモリセル３２１ａＤは、トランジスタＭ１１、トランジスタＭ５、およびトランジスタＭ６と、キャパシタＣｓと、を有する。
トランジスタＭ１１の第１端子は、キャパシタＣｓの第１端子と接続され、トランジスタＭ１１の第２端子は、配線ＢＩＬと接続され、トランジスタＭ１１のゲートは、配線ＷＬと接続され、トランジスタＭ１１のバックゲートは、配線ＢＧＬと電気的に接続されている。キャパシタＣｓの第２端子は、トランジスタＭ５の第１端子と、配線ＧＮＤＬと、に電気的に接続されている。トランジスタＭ５の第２端子は、トランジスタＭ６の第１端子と接続され、トランジスタＭ５のゲートは、キャパシタＣｓの第１端子と接続されている。トランジスタＭ６の第２端子は、配線ＢＩＬと接続され、トランジスタＭ６のゲートは配線ＲＬと接続されている。
配線ＢＩＬは、ビット線として機能し、配線ＷＬは、書き込みワード線として機能し、配線ＲＬは、読み出しワード線として機能する。
配線ＢＧＬは、トランジスタＭ１１のバックゲートに電位を印加するための配線として機能する。配線ＢＧＬに任意の電位を印加することによって、トランジスタＭ１１のしきい値電圧を増減することができる。
データの書き込みは、配線ＷＬに高レベル電位を印加し、トランジスタＭ１１を導通状態にし、配線ＢＩＬとキャパシタＣｓの第１端子を接続することによって行われる。具体的には、トランジスタＭ１１が導通状態のときに、配線ＢＩＬに記録する情報に対応する電位を印加し、キャパシタＣｓの第１端子、およびトランジスタＭ５のゲートに該電位を書き込む。その後、配線ＷＬに低レベル電位を印加し、トランジスタＭ１１を非導通状態にすることによって、キャパシタＣｓの第１端子の電位、およびトランジスタＭ５のゲートの電位を保持する。
データの読み出しは、配線ＢＩＬに所定の電位をプリチャージして、その後配線ＢＩＬを電気的に浮遊状態にし、かつ配線ＲＬに高レベル電位を印加することによって行われる。配線ＲＬが高レベル電位となるので、トランジスタＭ６は導通状態となり、配線ＢＩＬとトランジスタＭ５の第２端子が電気的に接続状態となる。このとき、トランジスタＭ５の第２端子には、配線ＢＩＬの電位が印加されることになるが、キャパシタＣｓの第１端子（またはトランジスタＭ５のゲート）に保持されている電位に応じて、トランジスタＭ５の第２端子の電位、および配線ＢＩＬの電位が変化する。ここで、配線ＢＩＬの電位を読み出すことによって、キャパシタＣｓの第１端子（またはトランジスタＭ５のゲート）に保持されている電位を読み出すことができる。つまり、キャパシタＣｓの第１端子（またはトランジスタＭ５のゲート）に保持されている電位から、このメモリセルに書き込まれている情報を読み出すことができる。または、このメモリセルに書き込まれている情報の有無を知ることができる。
なお、メモリセル３２１ａＤにおいても、トランジスタＭ１１にＯＳトランジスタを用いることが好ましい。トランジスタＭ１１としてＯＳトランジスタを適用した３Ｔｒ１Ｃ型のメモリセル３２１ａＤは、前述したＮＯＳＲＡＭの一態様である。メモリセルは、回路の構成を適宜変更することができる。また、メモリセルを構成するトランジスタに、Ｓｉトランジスタを用いることもできる。
（実施の形態４）
本実施の形態では、実施の形態２で説明した機能回路として用いることができ、画素回路と積層することのできる半導体装置ついて説明する。
本実施の形態で説明する半導体装置は、プロセッサを含み、撮像装置の動作を制御する機能を有する。本実施の形態で説明する半導体装置は、プロセッサおよびその周辺回路における基本的な構成の一例であり、当該構成を含む回路は、ＣＰＵ、ＭＣＵなどと呼ぶことができる。
当該半導体装置はノーマリーオフ型で、画素回路および駆動回路に対して撮像タイミング制御などを行うことができる。半導体装置内のパワーゲーティング可能な回路または電源回路は、パワーゲーティングを行い休止状態に移行することができる。また、必要に応じて特定の回路および電源回路のみ電源オンモードに移行し、画素回路および駆動回路に対して撮像許可信号を出すこともできる。なお、半導体装置内で他に必要な処理などがあれば、それらを実行することもできる。
上記半導体装置が設けられた本発明の一態様の撮像装置では、例えば、モーション検出モードにおいて、パワーゲーティングを行ことができるため、低消費電力化が可能となる。
半導体装置の構成およびその電源管理機構等について説明する。
＜半導体装置の構成例１＞
図２６Ａ、図２６Ｂを参照して、半導体装置およびその電源管理を説明する。図２６Ａに示す半導体装置は、電源回路１０、および処理装置（ＰＵ：Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０を有する。ＰＵ２０は命令を実行する機能を有する回路である。ＰＵ２０は、１つのチップに集積された複数の機能回路を有する。ＰＵ２０は、プロセッサコア３０、電源管理装置（ＰＭＵ）６０、クロック制御回路６５、パワースイッチ（ＰＳＷ）７０、並びに、端子８０乃至端子８３を有する。図２６Ａには、電源回路１０が、ＰＵ２０と異なるチップに設けられている例を示している。端子８０は、電源回路１０から電源電位ＶＤＤが入力される端子である。端子８１は、外部から基準クロック信号ＣＬＫＭが入力される端子である。端子８２は、外部から信号ＩＮＴが入力される端子である。信号ＩＮＴは割り込み処理を要求する割り込み信号である。信号ＩＮＴは、ＰＵ２０およびＰＭＵ６０に入力される。端子８３は、ＰＭＵ６０で生成された制御信号が出力される端子であり、電源回路１０と電気的に接続されている。
＜プロセッサコア３０、記憶回路３１＞
プロセッサコア３０は、命令を処理することができる機能を有する回路であり、演算処理回路と呼ぶことが可能である。記憶回路３１、および組み合わせ回路３２等を有しており、これらにより、各種の機能回路が構成されている。例えば、記憶回路３１は、レジスタに含まれる。なお、Ｄは入力信号、Ｑは出力信号を表している。
図２６Ｂに示すように、記憶回路３１は、回路ＭｅｍＣ１および回路ＢＫＣ１を有する。回路ＭｅｍＣ１は、プロセッサコア３０が生成したデータを保持する機能を有し、例えば、フリップフロップ回路、ラッチ回路等で構成することができる。回路ＢＫＣ１は、回路ＭｅｍＣ１のバックアップ回路として機能することができ、電源が遮断されていても、またはクロック信号が遮断されていても長期間データを保持することが可能な回路である。このような記憶回路３１を有することで、プロセッサコア３０のパワーゲーティングを行うことが可能となる。電源を遮断する前に、記憶回路３１において、回路ＭｅｍＣ１のデータを回路ＢＫＣ１に退避しておくことで、電源遮断時のプロセッサコア３０の状態を保持することができるからである。電源供給が再開されると、回路ＢＫＣ１で保持されているデータが回路ＭｅｍＣ１に書き込まれるので、プロセッサコア３０を電源遮断時の状態に復帰することができる。よって、電源供給の再開後、ＰＵ２０は直ちに通常処理動作を行うことができる。
回路ＢＫＣ１は、１つのトランジスタ（ＭＷ１）および１つの容量素子（ＣＢ１）を有する保持回路を少なくとも有する。図２６Ｂに示す保持回路は、標準的なＤＲＡＭ（ダイナミックランダムアクセスメモリ）の１Ｔ１Ｃ（１トランジスタ１容量素子）型メモリセルと同様な回路構成を有しており、書き込み、読み出し動作も同様に行うことができる。トランジスタＭＷ１の導通状態を制御することで、容量素子ＣＢ１の充電、放電が制御される。トランジスタＭＷ１をオフ状態とすることで、ノードＦＮ１は電気的に浮遊状態となる。トランジスタＭＷ１のオフ状態におけるドレイン電流（オフ電流）を極めて小さくすることで、ノードＦＮ１の電位の変動を抑えることができるため、回路ＢＫＣ１のデータ保持時間を長くすることができる。回路ＢＫＣ１のデータ保持時間は、トランジスタＭＷ１のリーク電流や、容量素子ＣＢ１の静電容量等で決まる。トランジスタＭＷ１をオフ電流が極めて小さなトランジスタとすることで、ＰＵ２１が稼働している期間は、回路ＢＫＣ１をリフレッシュする必要がない。よって、回路ＢＫＣ１を実質的に不揮発性記憶回路として用いることが可能となる。
トランジスタＭＷ１として、ＯＳトランジスタを用いることが好ましい。ＯＳトランジスタはオフ電流が著しく小さいため、ＰＵ２０が動作している期間は、回路ＢＫＣ１は実質的に不揮発性記憶回路として機能させることができる。
回路ＢＫＣ１は、電圧によってデータの書き込みを行うため、電流により書き込みを行うＭＲＡＭ（磁気抵抗ＲＡＭ）よりも書き込み電力を抑えることができる。また、ノードＦＮ１の負荷容量でデータを保持しているため、フラッシュメモリのようなデータの書き換え回数の制限がない。
回路ＢＫＣ１において、データの書き込みに要するエネルギーは、容量素子ＣＢ１への電荷の充放電に伴うエネルギーに相当する。一方、ＭＲＡＭなどの２端子の記憶素子を用いた記憶回路では、データの書き込みに要するエネルギーは、当該記憶素子に電流が流れる際に消費されるエネルギーに相当する。ＭＲＡＭではデータの書き込み期間中に電流が流れ続けるため、データの書き込みに要するエネルギーが高くなる。このようなＭＲＡＭと比較して、回路ＢＫＣ１は、データの書き込みで消費されるエネルギーを小さくすることができる。したがって、バックアップ回路をＭＲＡＭで構成した記憶回路と比較して、記憶回路３１は、消費されるエネルギーを低減できるボルテージスケーリングおよびパワーゲーティングを行うことが可能な機会が多くなるため、ＰＵ２０の消費電力を低減することができる。
＜電源管理＞
ＰＭＵ６０は、パワーゲーティング動作、クロックゲーティング動作、およびボルテージスケーリング動作等を制御する機能を有する。より具体的には、ＰＭＵ６０は、電源回路１０を制御することができる機能、記憶回路３１を制御することができる機能、クロック制御回路６５を制御することができる機能、およびＰＳＷ７０を制御することができる機能を有する。そのため、ＰＭＵ６０は、これら回路（１０、３１、６５、７０）を制御する制御信号を生成する機能を有する。ＰＭＵ６０は回路６１を有する。回路６１は、時間を計測することができる機能を有する。ＰＭＵ６０は、回路６１で得られる時間に関するデータをもとに、電源管理を行うことができる機能を有する。
ＰＳＷ７０は、ＰＭＵ６０の制御信号に従い、ＰＵ２０への電源電位ＭＶＤＤの供給を制御することができる機能を有する。ここでは、ＰＳＷ７０を介してＰＵ２０に供給される電源電位を電源電位ＶＤＤと呼ぶこととする。プロセッサコア３０は、複数の電源ドメインを有していてもよい。この場合、ＰＳＷ７０により、複数の電源ドメインへの電源供給を独立に制御できるようにすればよい。また、プロセッサコア３０は、パワーゲーティングを行う必要のない電源ドメインを有していてもよい。この場合、この電源ドメインにＰＳＷ７０を介さずに電源電位を供給してもよい。
クロック制御回路６５は、基準クロック信号ＣＬＫＭが入力され、ゲーテッドクロック信号を生成し、出力する機能を有する。クロック制御回路６５は、ＰＭＵ６０の制御信号に従い、プロセッサコア３０へのクロック信号を遮断することができる機能を有している。電源回路１０は、ＰＭＵ６０の制御信号に従い、ＶＤＤの電位の大きさを変更できる機能を有する。
プロセッサコア３０からＰＭＵ６０に出力される信号ＳＬＰは、プロセッサコア３０を休止状態に移行するトリガとなる信号である。ＰＭＵ６０は、信号ＳＬＰが入力されると、休止状態に移行するための制御信号を生成し、制御対象の機能回路に出力する。電源回路１０は、ＰＭＵ６０の制御信号に基づいて、ＭＶＤＤを通常動作時よりも低くする。休止状態が一定時間経過すると、ＰＭＵ６０は、ＰＳＷ７０を制御して、プロセッサコア３０への電源供給を遮断する。プロセッサコア３０が通常状態から休止状態に移行すると、ＰＭＵ６０は、プロセッサコア３０の電源電位ＶＤＤを下げるボルテージスケーリング動作を行う。休止状態の期間が設定された時間を超えると、プロセッサコア３０の消費電力をさらに低減するため、プロセッサコア３０へのＶＤＤの供給を停止するパワーゲーティング動作を行う。次に、図２６Ａ、図２６Ｂに示す半導体装置の電源管理について説明する。
図２７Ａ乃至図２７Ｄは、電源線の電位の変化を模式的に表した図である。電源線は、ＰＳＷ７０を介して電源電位ＶＤＤが供給される配線である。図の横軸は通常状態から休止状態になった経過時間であり、ｔ０、ｔ１等は時間を表している。図２７Ａは、休止状態でパワーゲーティングのみを実行した例であり、図２７Ｂは、休止状態でボルテージスケーリングのみを実行した例である。図２７Ｃ、図２７Ｄは、ボルテージスケーリングとパワーゲーティングとを実行する例である。通常状態では、電源回路１０から供給される電源電位ＭＶＤＤの大きさはＶＨ１であるとする。
また、以下では、ＰＵ２０の電源モードを、電源オンモード、電源オフモード、低電源モードの３つのモードに区別する。電源オンモードとは、通常処理が可能な電源電位ＶＤＤをＰＵ２０に供給するモードである。電源オフモードとは、ＰＳＷ７０によりＶＤＤの供給を停止するモードである。低電源モードは、電源オンモードよりも低い電源電位ＶＤＤを供給するモードである。
図２７Ａの例を説明する。時間ｔ０で、プロセッサコア３０において休止状態に移行する処理が開始される。例えば、記憶回路３１のバックアップが行われる。ＰＭＵ６０はＰＳＷ７０を制御し、時間ｔ１でプロセッサコア３０への電源供給を遮断する。電源線３５は自然放電して、その電位は０Ｖまで低下する。これにより、休止状態でのプロセッサコア３０のリーク電流を大幅に低下することができるので、休止状態での消費電力（以下、待機電力と呼ぶ場合がある。）を削減することができる。外部からの割り込み要求等により通常状態に復帰する場合は、ＰＭＵ６０はＰＳＷ７０を制御し、ＶＤＤの供給を再開させる。ここでは、時間ｔ４で、ＶＤＤの供給が再開されている。電源線３５の電位は上昇し、時間ｔ６でＶＨ１になる。
図２７Ｂの例の場合は、ボルテージスケーリングを行うため、時間ｔ１で、ＰＭＵ６０が電源回路１０を制御し、ＭＶＤＤの電位をＶＨ２に低下している。電源線３５の電位はやがてＶＨ２になる。時間ｔ４で、電源電位ＭＶＤＤがＶＨ２からＶＨ１に戻ると、電源線３５の電位は上昇し、時間ｔ５でＶＨ１になる。
図２７Ａの例の場合、休止状態から通常状態に復帰するのにかかる時間（オーバーヘッド時間）は、電源線３５の電位が０ＶからＶＨ１に上昇するのにかかる時間であり、また、復帰に要するエネルギーオーバヘッドは、電源線３５の負荷容量を０ＶからＶＨ１に充電するのに必要なエネルギーである。電源オフモードの期間（ｔ１−ｔ４）が十分に長ければ、ＰＵ２０の待機電力の削減には、パワーゲーティングが有効である。他方、期間（ｔ１−ｔ４）が短いと、電源が遮断されることで削減できる電力よりも、通常状態に復帰するのに要する電力の方が大きくなり、パワーゲーティングの効果を得ることができない。
図２７Ｂに示すボルテージスケーリングの例では、休止状態では電源線３５の電位はＶＨ２であるため、図２７Ａのパワーゲーティングの例よりも待機電力の削減量は少ない。他方、図２７Ｂの例では、電源線３５の電位の変動が小さいため、図２７Ａの例よりも通常状態に復帰するのにかかる時間は短く、かつ復帰に要するエネルギーが少ない。そこで、図２６に示す半導体装置では、ＰＵ２０の待機電力の削減をより効率よく行うため、パワーゲーティングとボルテージスケーリングとを組み合わせた電源管理を可能とする。図２７Ｃ、および図２７Ｄに電源管理の例を示す。
図２７Ｃに示すように、まず、休止状態ではボルテージスケーリング動作が行われ、電源オンモードから低電源モードに移行する。図２７Ｂと同様に、時間ｔ１で、ＰＭＵ６０が電源回路１０を制御し、ＭＶＤＤの電位をＶＨ２に低下するため、電源線３５の電位はやがてＶＨ２になる。低電源モードに移行してから一定期間（ｔ１−ｔ３）経過後、ＰＭＵ６０はＰＳＷ７０を制御し、電源オフモードとする。期間（ｔ３−ｔ４）は、ＰＵ２０にＶＨ２を供給しているよりも、通常状態に復帰するのに消費される電力を含んでもパワーゲーティングによってＰＵ２０の電源を遮断した方が電力を削減することが可能な期間である。
例えば、電位ＶＨ２は、記憶回路３１の回路ＭｅｍＣ１でデータを保持することができる大きさの電源電位であり、電位ＶＨ３は、回路ＭｅｍＣ１のデータが失われてしまう電位であるとする。図２６ＡのＰＵ２０では、回路ＢＫＣ１は、電源の供給が停止されている期間でもデータを保持することが可能な回路である。期間（ｔ０−ｔ１）で、記憶回路３１のデータを回路ＢＫＣ１に退避しておくことで、低電源モードにおいて、回路ＭｅｍＣ１のデータが失われてしまう電位ＶＨ３までＶＤＤを低下させることが可能である。これにより、ＰＵ２０の待機電力をさらに削減することができる。
ＰＭＵ６０は、割り込み要求等に基づいて、ＰＵ２０を通常状態に復帰することができる機能を有する。ＰＭＵ６０は、電源回路１０を制御しＭＶＤＤの大きさをＶＨ１に昇圧し、また、ＰＳＷ７０を制御しＰＵ２０のＶＤＤの供給を再開する。時間ｔ４以降は電源オンモードである。時間ｔ６で電源線３５の電位が安定することで、時間ｔ６以降に、ＰＵ２０は通常動作が可能となる。
図２７Ｄには、時間ｔ３よりも前に通常動作に復帰させる割り込み要求がある例を示す。時間ｔ２以降は、電源オンモードである。時間ｔ２で、ＰＭＵ６０は、電源回路１０を制御しＭＶＤＤの大きさを電源オンモードの電位ＶＨ１に変更する。時間ｔ３で、電源線３５の電位はＶＨ１まで上昇する。
図２７Ｃおよび図２７Ｄに示すように、休止状態において、電源線３５の電位をＶＨ１に戻すのに要する時間は、電源オフモードから電源オンモードに復帰させる方が、低電源モードから電源オンモードに復帰させるより長い。そのため、ＰＭＵ６０は、電源モードに応じて、プロセッサコア３０を休止状態から通常状態に復帰させる動作のタイミングを調節できる機能を有している。これにより、プロセッサコア３０を最短時間で休止状態から通常状態に復帰させることが可能になる。
また、休止状態において、低電源モードから電源オフモードへの移行は、ＰＭＵ６０に設けられている回路６１で時間を計測することで可能となる。ＰＭＵ６０は、ＰＵ２０から信号ＳＬＰが入力されると、回路６１で時間の計測を開始する。低電源モードにしてから所定の時間が経過すると、ＰＭＵ６０は、電源オフモードに移行する。ＰＭＵ６０の制御信号によりＰＳＷ７０はオフとなり、ＶＤＤの供給を遮断する。このように、回路６１の計測データに基づく割り込み要求により、低電源モードから電源オフモードへ移行することが可能である。以下、図２８に示すフローチャートを参照して、ＰＭＵ６０の電源管理動作例を説明する。
ＰＵ２０が通常動作を行っている。電源モードは電源オンモードであり、また、ＰＭＵ６０はアイドル状態（Ｓ１０）である。ＰＭＵ６０は信号ＳＬＰが入力されるまでアイドル状態であり、信号ＳＬＰの入力をトリガに退避シークエンスを実行する（Ｓ１１）。図２８の退避シークエンスの例では、まず、ＰＭＵ６０は、クロック制御回路６５に制御信号を出力し、クロック信号の出力を停止させる（Ｓ１２）。次に、データの退避を行わせるための制御信号を記憶回路３１に出力する（Ｓ１３）。記憶回路３１では、ＰＭＵ６０の制御信号に従い、回路ＭｅｍＣ１で保持しているデータを回路ＢＫＣ１に退避する。最後に、ＰＭＵ６０は、電源回路１０を制御し、ＭＶＤＤを低下させる。これらの動作により、電源モードは低電源モードに移行する（Ｓ１４）。信号ＳＬＰが入力されると、ＰＭＵ６０は内蔵している回路６１を制御し、低電源モードの時間Ｔａを計測する（Ｓ１５）。回路６１を動作させるタイミングは、退避シークエンスを実行している間であれば任意であり、例えば、信号ＳＬＰが入力された時、クロック制御回路６５に制御信号を出力する時、データ退避を開始する時、データ退避を終了した時、電源回路１０に制御信号を出力する時などが挙げられる。
退避シークエンスの実行後、ＰＭＵ６０はアイドル状態となり（Ｓ１６）、信号ＩＮＴの入力の監視、クロック制御回路６５の測定時間Ｔａを監視する。信号ＩＮＴが入力されると復帰シークエンスに移行する（Ｓ１７）。時間Ｔａが設定した時間Ｔｖｓを超えているか否を判定している（Ｓ１８）。ＰＭＵ６０は、時間Ｔａが時間Ｔｖｓを超えていると、電源モードを電源オフモードに移行させる制御を行い（Ｓ１９）、超えていなければアイドル状態が維持される（Ｓ１６）。時間Ｔｖｓは、低電源モードであるよりも電源オフモードにした方が、プロセッサコア３０の待機電力を削減できるような時間にすればよい。
Ｓ１９では、ＰＭＵ６０はＰＳＷ７０にプロセッサコア３０への電源供給を遮断させる制御信号を出力する。電源オフモードにした後は、再びＰＭＵ６０は、アイドル状態となり（Ｓ２０）、信号ＩＮＴの入力を監視する（Ｓ２１）。信号ＩＮＴが入力されると、ＰＭＵ６０は復帰シークエンスを実行する。
復帰シークエンスでは、まず、ＰＭＵ６０は電源オフモードから電源オンモードに移行させる（Ｓ２２）。ＰＭＵ６０は電源回路１０を制御し、通常動作の電源電位を出力させる。かつ、ＰＭＵ６０はＰＳＷ７０を制御し、プロセッサコア３０へのＶＤＤの供給を再開させる。次に、記憶回路３１に制御信号を出力し、記憶回路３１のデータを復帰させる（Ｓ２３）。記憶回路３１は、ＰＭＵ６０の制御信号に従い、回路ＢＫＣ１で保持されているデータを回路ＭｅｍＣ１に書き戻す。ＰＭＵ６０は、クロック信号を出力させる制御信号をクロック制御回路６５に出力する（Ｓ２４）。クロック制御回路６５はＰＭＵ６０の制御信号に従い、クロック信号の出力を再開する。
Ｓ１７の判定処理から復帰シークエンスを実行する場合は、低電源モードから電源オンモードに復帰することとなり、Ｓ２１の判定処理から復帰シークエンスを実行する場合よりも、電源線３５の電位を速く安定させることができる。そのため、ＰＭＵ６０では、Ｓ１７から復帰シークエンスに移行する場合は、Ｓ２１から復帰シークエンスに移行する場合よりも、Ｓ２３を実行するタイミングを早くしている。これにより、プロセッサコア３０を休止状態から通常状態へ復帰させる時間を短くすることができる。
以上述べたように、図２６Ａ、図２６Ｂに示す半導体装置の電源管理では、ＰＵ２０が休止状態になると、まず、ボルテージスケーリング動作により、プロセッサコア３０へ供給する電源電位を低くすることでリーク電流を削減しつつ、休止状態から通常状態へ復帰する処理の時間およびエネルギーのオーバーヘッドを抑えている。休止状態が一定期間続くと、パワーゲーティング動作を行い、プロセッサコア３０のリーク電流を可能な限り抑えるようにしている。これにより、ＰＵ２０の処理能力を低下させずに、ＰＵ２０の休止状態での消費電力を削減することが可能になる。
＜半導体装置の構成例２＞
図２９Ａに、図２６Ａの半導体装置の変形例を示す。図２９Ａに示す処理装置（ＰＵ）２１は、ＰＵ２０にキャッシュ４０、およびパワースイッチ（ＰＳＷ）７１を追加した構成である。キャッシュ４０は、ＰＵ２０と同様にパワーゲーティングおよびボルテージスケーリングが可能とされており、ＰＵ２１の電源モードと連動してキャッシュ４０の電源モードも変化する。ＰＳＷ７１は、キャッシュ４０への電源電位ＭＶＤＤの供給を制御する回路であり、ＰＭＵ６０により制御される。ここでは、ＰＳＷ７１を介してキャッシュ４０に入力される電源電位をＶＤＤ＿ＭＥＭとしている。キャッシュ４０には、プロセッサコア３０と同様にＰＭＵ６０からの制御信号、およびクロック制御回路６５からゲーテッドクロック信号が入力される。
＜キャッシュ４０＞
キャッシュ４０は、使用頻度の高いデータを一時的に記憶しておく機能を有する記憶装置である。キャッシュ４０は、メモリアレイ４１、周辺回路４２、および制御回路４３を有する。メモリアレイ４１は、複数のメモリセル４５を有する。制御回路４３は、プロセッサコア３０の要求に従って、キャッシュ４０の動作を制御する。例えば、メモリアレイ４１の書き込み動作、読み出し動作を制御する。周辺回路４２は、制御回路４３からの制御信号に従い、メモリアレイ４１を駆動する信号を生成する機能を有する。メモリアレイ４１は、データを保持するメモリセル４５を有する。
図２９Ｂに示すように、メモリセル４５は、回路ＭｅｍＣ２および回路ＢＫＣ２を有する。回路ＭｅｍＣ２は、通常動作においてアクセス対象となるメモリセルである。例えば、ＳＲＡＭ（スタティックランダムアクセスメモリ）のメモリセルを適用すればよい。回路ＢＫＣ２は、回路ＭｅｍＣ２のバックアップ回路として機能することができ、電源が遮断されていても、またはクロック信号が遮断されていても長期間データを保持することが可能な回路である。このようなメモリセル４５を設けることで、キャッシュ４０のパワーゲーティングを行うことが可能となる。電源を遮断する前に、メモリセル４５において、回路ＭｅｍＣ２のデータをＢＫＣ２に退避する。電源供給を再開した後、回路ＢＫＣ２で保持されているデータを回路ＭｅｍＣ２に書き戻すことで、ＰＵ２１を電源遮断前の状態に高速に復帰させることが可能である。
メモリセル４５の回路ＢＫＣ２も図２６Ｂの回路ＢＫＣ１と同様に、１つのトランジスタ（ＭＷ２）および１つの容量素子（ＣＢ２）を有する保持回路を少なくとも有する。つまり、回路ＢＫＣ２も標準的なＤＲＡＭの１Ｔ１Ｃ型メモリセルと同様な構成の保持回路を有する。トランジスタＭＷ２には、トランジスタＭＷ１と同様にオフ電流が極めて低いＯＳトランジスタを適用すればよい。このような構成により、回路ＢＫＣ２も、電気的に浮遊状態であるノードＦＮ２の電位の変動を抑えることができるため、回路ＢＫＣ２は長期間データを保持することが可能である。回路ＢＫＣ２のデータ保持時間は、トランジスタＭＷ２のリーク電流や、容量素子ＣＢ２の静電容量等で決まる。トランジスタＭＷ２をオフ電流が極めて小さなトランジスタとすることで、回路ＢＫＣ２を、リフレッシュ動作が不要な不揮発性記憶回路として用いることが可能となる。
図２９Ａに示すＰＵ２１においても、ＰＵ２０と同様に、ＰＭＵ６０が電源管理を行う。（図２８参照）。図２８のＳ１３では、記憶回路３１およびキャッシュ４０のデータの退避動作が行われる。Ｓ１９では、ＰＳＷ７０およびＰＳＷ７１を制御し、プロセッサコア３０およびキャッシュ４０への電源供給を停止する。Ｓ２２では、ＰＳＷ７０およびＰＳＷ７１を制御し、プロセッサコア３０およびキャッシュ４０への電源供給を再開する。Ｓ２３では、記憶回路３１およびキャッシュ４０のデータの復帰動作が行われる。
そのため、図２９に示す半導体装置も、図２６に示す半導体装置と同様に、ボルテージスケーリングとパワーゲーティングとを組み合わせた電源管理が行われることで、ＰＵ２１の処理能力を低下させずに、ＰＵ２１の休止状態での電力を削減することが可能である。
＜プロセッサコアの構成例＞
図３０に示すプロセッサコア１８０は、プロセッサコア３０として用いることのできる回路の一例である。プロセッサコア１８０は、制御装置１８１、プログラムカウンタ１８２、パイプラインレジスタ１８３、パイプラインレジスタ１８４、レジスタファイル１８５、算術論理演算装置（ＡＬＵ）１８６、およびデータバス１８７を有する。プロセッサコア１８０とＰＭＵやキャッシュ等の周辺回路とのデータのやり取りは、データバス１８７を介して行われる。
制御装置１８１は、プログラムカウンタ１８２、パイプラインレジスタ１８３、パイプラインレジスタ１８４、レジスタファイル１８５、ＡＬＵ１８６、データバス１８７の動作を統括的に制御することで、入力されたアプリケーションなどのプログラムに含まれる命令をデコードし、実行する機能を有する。ＡＬＵ１８６は、四則演算、論理演算などの各種演算処理を行う機能を有する。プログラムカウンタ１８２は、次に実行する命令のアドレスを記憶する機能を有するレジスタである。
パイプラインレジスタ１８３は、命令データを一時的に記憶する機能を有するレジスタである。レジスタファイル１８５は、汎用レジスタを含む複数のレジスタを有しており、メインメモリから読み出されたデータ、またはＡＬＵ１８６の演算処理の結果得られたデータ、などを記憶することができる。パイプラインレジスタ１８４は、ＡＬＵ１８６の演算処理に利用するデータ、またはＡＬＵ１８６の演算処理により得られたデータなどを一時的に記憶する機能を有するレジスタである。
図２６Ｂの記憶回路３１は、プロセッサコア１８０に含まれているレジスタに用いられている。
＜記憶回路の構成例＞
図２６Ｂに示す記憶回路３１のより具体的な構成例を説明する。図３１は、記憶回路の構成の一例を示す回路図である。図３１に示す記憶回路１９０はフリップフロップ回路として機能する。
回路ＭｅｍＣ１に標準的なフリップフロップ回路を適用することが可能であり、例えば、マスタースレーブ型のフリップフロップ回路を適用することができる。そのような構成例を図３１に示す。フリップフロップ回路１１０は、トランスミッションゲート（ＴＧ１、ＴＧ２、ＴＧ３、ＴＧ４、ＴＧ５）、インバータ回路（ＩＮＶ１、ＩＮＶ２、ＩＮＶ３、ＩＮＶ４）、およびＮＡＮＤ回路（ＮＡＮＤ１、ＮＡＮＤ２）を有する。信号ＲＥＳＥＴおよび信号ＯＳＲは、ＰＭＵ６０から出力される制御信号である。ＴＧ５には、信号ＯＳＲとその反転信号が入力される。ＴＧ１乃至ＴＧ４は、クロック信号ＣＬＫとその反転信号が入力される。ＴＧ１とＩＮＶ１の代わりに１つのクロックドインバータ回路を設けてもよい。ＴＧ２とＮＡＮＤ２との代わりに、１つのクロックドＮＡＮＤ回路を設けてもよい。ＴＧ３とＩＮＶ３との代わりに、クロックドインバータ回路を設けてもよい。ＴＧ５は、ＮＡＮＤ１の出力ノードとノードＮＲ１との間の導通状態を制御するスイッチとして機能する。ノードＮＢ１は、回路ＢＫＣ１０の入力ノードと電気的に接続され、ノードＮＲ１は回路ＢＫＣ１０の出力ノードと電気的に接続されている。
図３１に示す回路ＢＫＣ１０は、フリップフロップ回路１１０のバックアップ回路として機能する。回路ＢＫＣ１０は、回路ＲＴＣ１０、および回路ＰＣＣ１０を有する。回路ＢＫＣ１０に入力される信号（ＯＳＧ、ＯＳＣ、ＯＳＲ）は、ＰＭＵ６０から出力される制御信号である。電源電位ＶＳＳは、低電源電位であり、例えば接地電位（ＧＮＤ）や０Ｖとすればよい。フリップフロップ回路１１０にも、回路ＢＫＣ１と同様に電源電位ＶＳＳ、電源電位ＶＤＤが入力されている。記憶回路１９０において、ＶＤＤの供給はＰＭＵ６０により管理されている。
回路ＲＴＣ１０は、トランジスタＭＷ１、トランジスタＭＡ１、およびトランジスタＭＲ１、ノードＦＮ１、ノードＮＫ１を有する。回路ＲＴＣ１０はデータを保持する機能を有し、ここでは、３Ｔ型のゲインセル構造の記憶回路で構成している。トランジスタＭＷ１は書き込みトランジスタであり、ＯＳトランジスタである。トランジスタＭＲ１は読み出しトランジスタであり、トランジスタＭＡ１は、増幅トランジスタでありかつ読み出しトランジスタである。ノードＦＮ１でデータが保持される。ノードＮＫ１はデータの入力ノードである。ノードＮＲ１は、回路ＲＴＣ１０のデータの出力ノードである。
図３１には、回路ＢＫＣ１０が、退避動作でフリップフロップ回路１１０のスレーブ側ラッチ回路のデータを読み出し、かつ、復帰動作で保持しているデータをマスタ側のラッチ回路に書き戻す構成例を示す。退避するデータはマスタ側のラッチ回路のデータでもよい。また、スレーブ側のラッチ回路にデータを復帰してもよい。この場合、スレーブ側のラッチ回路にＴＧ５を設ければよい。
また、回路ＲＴＣ１０のトランジスタＭＲ１およびトランジスタＭＡ１は、ｎ型でもｐ型でもよく、トランジスタＭＲ１およびトランジスタＭＡ１の導電型によって、信号ＯＳＲの電位および、トランジスタＭＡ１に供給する電源電位のレベルを変更すればよい。また、フリップフロップ回路１１０の論理回路を適宜設定すればよい。例えば、トランジスタＭＲ１およびトランジスタＭＡ１がｐ型トランジスタである場合は、マスタ側ラッチ回路で、ＮＡＮＤ１とＩＮＶ３とを入れ替え、スレーブ側ラッチ回路でＩＮＶ２とＮＡＮＤ２とを入れ替えればよい。また、トランジスタＭＡ１にＶＳＳに変えてＶＤＤを入力するようにすればよい。
回路ＢＫＣ１０は、電圧によってデータの書き込みを行うため、電流により書き込みを行うＭＲＡＭよりも書き込み電力を抑えることができる。また、ノードＦＮ１の負荷容量でデータを保持しているため、フラッシュメモリのようなデータの書き換え回数の制限がない。
回路ＲＴＣ１０において、データの書き込みに要するエネルギーは、容量素子ＣＢ１への電荷の充放電に伴うエネルギーに相当する。一方、ＭＲＡＭなどの２端子の記憶素子を用いた記憶回路では、データの書き込みに要するエネルギーは、当該記憶素子に電流が流れる際に消費されるエネルギーに相当する。よって、データの書き込み期間中に電流が流れ続けるＭＲＡＭなどを用いた場合に比べて、回路ＢＫＣ１０は、データの退避により消費されるエネルギーを小さくすることができる。そのため、バックアップ回路に回路ＢＫＣ１０を設けることで、ＭＲＡＭを設ける場合と比較して、ＢＥＴ（損益分岐点到達時間、Ｂｒｅａｋ　Ｅｖｅｎ　Ｔｉｍｅ）を短くすることができる。その結果、消費されるエネルギーを低減できるパワーゲーティングを行う機会が増加し、半導体装置の消費電力を低減することができる。
回路ＰＣＣ１０は、トランジスタＭＣ１およびトランジスタＭＣ２を有する。回路ＰＣＣ１０は、ノードＦＮ１をプリチャージする機能を有する。回路ＰＣＣ１０は、設けなくてもよい。後述するように、回路ＰＣＣ１０を設けることで、回路ＢＫＣ１０のデータ退避時間を短くすることができる。
＜記憶回路の動作例＞
図３２は、記憶回路１９０の動作の一例を示すタイミングチャートであり、制御信号（ＳＬＰ、ＲＥＳＥＴ、ＣＬＫ、ＯＳＧ、ＯＳＣ、ＯＳＲ）の波形、並びに、電源電位ＶＤＤ、ノードＦＮ１およびノードＮＲ１の電位の変化を示す。
［通常動作］
記憶回路１９０には、電源電位ＶＤＤ、および信号ＣＬＫが供給されている。フリップフロップ回路１１０が順序回路として機能している。信号ＲＥＳＥＴは高レベルが維持されるため、ＮＡＮＤ１およびＮＡＮＤ２はインバータ回路として機能する。回路ＢＫＣ１０では、トランジスタＭＣ１がオフ状態であり、トランジスタＭＣ２およびトランジスタＭＷ１がオン状態であるため、ノードＦＮ１の電位は高レベルにプリチャージされている。
［データ退避］
まず、クロック信号ＣＬＫが停止される。これにより、ノードＮＢ１のデータの書き換えが停止される。図３２の例では、ノードＮＢ１の電位レベルは、ノードＮＲ１の電位が高レベル（”１”）であれば、低レベル（”０”）であり、低レベル（”０”）であれば高レベル（”１”）である。信号ＯＳＣが高レベルの期間に、ノードＮＢ１のデータがノードＦＮ１に退避される。具体的には、トランジスタＭＣ１およびトランジスタＭＷ１がオン状態であるため、ノードＦＮ１とノードＮＢ１が電気的に接続されている。信号ＯＳＧを低レベルにして、トランジスタＭＷ１をオフ状態にすることで、ノードＦＮ１が電気的に浮遊状態となり、回路ＢＫＣ１０はデータの保持状態となる。ノードＦＮ１の電位は、ノードＮＲ１が低レベル（“０”）であれば高レベルであり、高レベル（”１”）であれば低レベルである。
信号ＯＳＧを低レベルにすることでデータの退避が終了するので、信号ＯＳＧを低レベルにした後、直ちに、ＰＵ２０のボルテージスケーリング動作を行うことができる。また、トランジスタＭＣ２により、通常動作時にノードＦＮ１を高レベルにプリチャージしているので、ノードＦＮ１を高レベルにするデータ退避動作では、ノードＦＮ１の電荷の移動が伴わない。このため、回路ＢＫＣ１０は、短時間で退避動作を完了させることができる。
データ退避動作では、信号ＣＬＫが非アクティブであればよく、図３２の例では、信号ＣＬＫの電位を低レベルとしているが、高レベルとしてもよい。
［ボルテージスケーリング、低電源モード］
信号ＯＳＣの立下りに連動して、ＰＭＵ６０は、ボルテージスケーリング動作を行う。これにより記憶回路１９０は低電源モードに移行する。
［パワーゲーティング、電源オフモード］
低電源モードに移行してから一定期間経過したら、ＰＭＵ６０は、パワーゲーティング動作を行い、記憶回路１９０を電源オフモードにする。
［電源オンモード］
割り込み要求に従い、ＰＭＵ６０は、記憶回路１９０を電源オンモードに復帰する。図３２の例では、ＶＤＤを供給する電源線の電位が安定すると、信号ＣＬＫは高レベルになるようにしている。
［データ復帰］
信号ＯＳＲが高レベルの期間にデータ復帰動作が行われる。信号ＲＥＳＥＴを高レベルとすることで、ノードＮＲ１の電位は高レベル（”１”）にプリチャージされる。信号ＯＳＲを高レベルとすることで、ＴＧ５がハイインピーダンス状態となり、かつトランジスタＭＲ１が導通状態となる。トランジスタＭＡ１の導通状態はノードＦＮ１の電位で決まる。ノードＦＮ１が高レベルであれば、トランジスタＭＡ１が導通状態であるため、ノードＮＲ１の電位は低下し、低レベル（”０”）となる。ノードＦＮ１が低レベルであれば、ノードＮＲ１の電位は高レベルが維持される。つまり、休止状態に移行する前の状態に、フリップフロップ回路１１０の状態が復帰される。
以上述べたように、信号ＲＥＳＥＴ、および信号ＯＳＲの立ち上がりにより、ノードＮＲ１に高レベルのデータを書き戻すことができる。そのため、記憶回路１９０は、復帰動作期間を短くすることができる。
図３２では、電源オフモードから電源オンモードに復帰している例を示している。低電源モードから電源オンモードに復帰する場合は、ＶＤＤを供給する電源線の電位が安定するまでの期間Ｔｏｎが短くなる。この場合は、電源オフモードから復帰する場合よりも信号ＯＳＲの立ち上がりを早くするとよい。
［通常動作］
信号ＣＬＫの供給を再開することで、通常動作が可能な状態に復帰する。信号ＯＳＧを高レベルにすることで、ノードＦＮ１は、回路ＰＣＣ１０によりプリチャージされ、高レベルとなる。
＜キャッシュ＞
以下に、キャッシュ４０をＳＲＡＭで構成する例を説明する。
＜メモリセルの構成例＞
図３３にキャッシュのメモリセルの構成の一例を示す。図３３に示すメモリセル１２０は、回路ＳＭＣ２０および回路ＢＫＣ２０を有する。回路ＳＭＣ２０は、標準的なＳＲＡＭのメモリセルと同様な回路構成とすればよい。図３３に示す回路ＳＭＣ２０は、インバータ回路ＩＮＶ２１、インバータ回路ＩＮＶ２２、トランジスタＭ２１、およびトランジスタＭ２２を有する。
回路ＢＫＣ２０は、回路ＳＭＣ２０のバックアップ回路として機能する。回路ＢＫＣ２０は、トランジスタＭＷ１１、トランジスタＭＷ１２、容量素子ＣＢ１１、容量素子ＣＢ１２を有する。トランジスタＭＷ１１、ＭＷ１２はＯＳトランジスタである。回路ＳＭＣ２０は２つの１Ｔ１Ｃ型の保持回路を有しており、ノードＳＮ１とノードＳＮ２にそれぞれデータが保持される。トランジスタＭＷ１１および容量素子ＣＢ１１とでなる保持回路は、ノードＮＥＴ１のデータをバックアップできる機能を有する。トランジスタＭＷ１２および容量素子ＣＢ１２とでなる保持回路は、ノードＮＥＴ２のデータをバックアップできる機能を有する。
メモリセル１２０は電源電位ＶＤＤＭＣ、ＶＳＳが供給されている。メモリセル１２０は、配線（ＷＬ、ＢＬ、ＢＬＢ、ＢＲＬ）と電気的に接続されている。配線ＷＬには、信号ＳＬＣが入力される。データ書き込み時には、配線ＢＬ、配線ＢＬＢには、データ信号Ｄ、データ信号ＤＢが入力される。データの読み出しは、配線ＢＬと配線ＢＬＢの電位を検出することで行われる。配線ＢＲＬには信号ＯＳＳが入力される。信号ＯＳＳはＰＭＵ６０から入力される信号である。
＜メモリセルの動作例＞
メモリセル１２０の動作の一例を説明する。図３４は、メモリセル１２０のタイミングチャートの一例である。
［通常動作］
回路ＭｅｍＣ２０にアクセス要求が行われ、データの書き込み読み出しが行われる。回路ＢＫＣ２０では、信号ＯＳＳは低レベルであるため、ノードＳＮ１およびノードＳＮ２が電気的に浮遊状態となっており、データ保持状態である。図３４の例では、ノードＳＮ１の電位は低レベル（”０”）であり、ノードＳＮ２の電位は、高レベル（”１”）である。
［データ退避］
信号ＯＳＳが高レベルにすることで、トランジスタＭＷ１１、ＭＷ１２が導通状態となり、ノードＳＮ１、ＳＮ２は、それぞれ、ノードＮＥＴ１、ＮＥＴ２と同じ電位レベルとなる。図３４の例では、ノードＳＮ１、ＳＮ２の電位は、それぞれ、高レベル、低レベルとなる。信号ＯＳＳが低レベルとなり、回路ＢＫＣ２０がデータ保持状態となり、データ退避動作が終了する。
［ボルテージスケーリング、低電源モード］
信号ＯＳＳの立下りに連動して、ＰＭＵ６０は、ボルテージスケーリング動作を行う。これによりキャッシュ４０は低電源モードに移行する。
［パワーゲーティング、電源オフモード］
低電源モードに移行してから一定期間経過したら、ＰＭＵ６０は、パワーゲーティング動作を行い、キャッシュ４０を電源オフモードにする。
［データ復帰、電源オンモード］
割り込み要求に従い、ＰＭＵ６０はキャッシュ４０を通常状態に復帰させる。信号ＯＳＳを高レベルにして、回路ＢＫＣ２０で保持されているデータを、回路ＳＭＣ２０に書き戻す。信号ＯＳＳが高レベルである期間中に、ＰＭＵ６０は、ボルテージスケーリング動作およびパワーゲーティング動作を行い、記憶回路１９０を電源オンモードに復帰する。図３２の例では、ＶＤＤを供給する電源線の電位が安定すると、信号ＣＬＫは高レベルになるようにしている。ＶＤＤＭＣを供給する電源線の電位が安定したら、信号ＯＳＳを低レベルに戻し、データ復帰動作を終了させる。ノードＳＮ１、ＳＮ２の状態は、休止状態になる直前の状態に復帰している。
［通常動作］
ＶＤＤＭＣの供給が再開されることで、回路ＳＭＣ２０は通常動作が可能な通常モードに復帰する。
以上述べたように、ＯＳトランジスタを用いることで、電源が遮断されていても長期間データを保持することが可能なバックアップ回路を構成することができる。このバックアップ回路を備えることで、プロセッサコアおよびキャッシュのパワーゲーティングが可能となる。また、休止状態において、ボルテージスケーリングとパワーゲーティングを組み合わせた電源管理を行うことで、休止状態から通常状態へ復帰する処理に要するエネルギーおよび時間のオーバーヘッドを削減することができる。よって、処理装置の処理能力を低下させずに、電力の削減を効率よく行うことが可能となる。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
（実施の形態５）
本発明の一態様に係る撮像装置を用いることができる電子機器として、表示機器、パーソナルコンピュータ、記録媒体を備えた画像記憶装置または画像再生装置、携帯電話、携帯型を含むゲーム機、携帯データ端末、電子書籍端末、ビデオカメラ、デジタルスチルカメラ等のカメラ、ゴーグル型ディスプレイ（ヘッドマウントディスプレイ）、ナビゲーションシステム、音響再生装置（カーオーディオ、デジタルオーディオプレイヤー等）、複写機、ファクシミリ、プリンタ、プリンタ複合機、現金自動預け入れ払い機（ＡＴＭ）、自動販売機などが挙げられる。これら電子機器の具体例を図３５Ａ乃至図３５Ｆに示す。
図３５Ａ携帯電話機の一例であり、筐体９８１、表示部９８２、操作ボタン９８３、外部接続ポート９８４、スピーカ９８５、マイク９８６、カメラ９８７等を有する。当該携帯電話機は、表示部９８２にタッチセンサを備える。電話を掛ける、或いは文字を入力するなどのあらゆる操作は、指やスタイラスなどで表示部９８２に触れることで行うことができる。当該携帯電話機に本発明の一態様の撮像装置およびその動作方法を適用することができる。
図３５Ｂは携帯データ端末であり、筐体９１１、表示部９１２、スピーカ９１３、カメラ９１９等を有する。表示部９１２が有するタッチパネル機能により情報の入出力を行うことができる。また、カメラ９１９で取得した画像から文字等を認識し、スピーカ９１３で当該文字を音声出力することができる。当該携帯データ端末に本発明の一態様の撮像装置およびその動作方法を適用することができる。
図３５Ｃは監視カメラであり、支持台９５１、カメラユニット９５２、保護カバー９５３等を有する。カメラユニット９５２には回転機構などが設けられ、天井に設置することで全周囲の撮像が可能となる。当該カメラユニットにおける画像取得のための要素に本発明の一態様の撮像装置およびその動作方法を適用することができる。なお、監視カメラとは慣用的な名称であり、用途を限定するものではない。例えば監視カメラとしての機能を有する機器はカメラ、またはビデオカメラとも呼ばれる。
図３５Ｄはビデオカメラであり、第１筐体９７１、第２筐体９７２、表示部９７３、操作キー９７４、レンズ９７５、接続部９７６、スピーカ９７７、マイク９７８等を有する。操作キー９７４およびレンズ９７５は第１筐体９７１に設けられており、表示部９７３は第２筐体９７２に設けられている。当該ビデオカメラに本発明の一態様の撮像装置およびその動作方法を適用することができる。
図３５Ｅはデジタルカメラであり、筐体９６１、シャッターボタン９６２、マイク９６３、発光部９６７、レンズ９６５等を有する。当該デジタルカメラに本発明の一態様の撮像装置およびその動作方法を適用することができる。
図３５Ｆは腕時計型の情報端末であり、表示部９３２、筐体兼リストバンド９３３、カメラ９３９等を有する。表示部９３２は、情報端末の操作を行うためのタッチパネルを備える。表示部９３２および筐体兼リストバンド９３３は可撓性を有し、身体への装着性が優れている。当該情報端末に本発明の一態様の撮像装置およびその動作方法を適用することができる。
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
１０：電源回路、１２：ＭＷ、２０：ＰＵ、２１：ＰＵ、３０：プロセッサコア、３１：記憶回路、３２：回路、３５：電源線、４０：キャッシュ、４１：メモリアレイ、４２：周辺回路、４３：制御回路、４５：メモリセル、６０：ＰＭＵ、６１：回路、６５：クロック制御回路、７０：ＰＳＷ、７１：ＰＳＷ、８０：端子、８１：端子、８２：端子、８３：端子、１００：画素、１０１：光電変換デバイス、１０２：トランジスタ、１０３：トランジスタ、１０４：キャパシタ、１０５：トランジスタ、１０６：キャパシタ、１０７：トランジスタ、１０８：トランジスタ、１０９：トランジスタ、１１０：フリップフロップ回路、１１１：配線、１１２：配線、１１３：配線、１１４：配線、１１５：配線、１２０：メモリセル、１２１：配線、１２２：配線、１２３：配線、１２４：配線、１２５：配線、１３３：導電層、１３４：導電層、１３５：導電層、１３６：導電層、１３８：導電層、１３９：導電層、１５１：キャパシタ、１６１：トランジスタ、１６２：トランジスタ、１６３：キャパシタ、１７０：回路、１８０：プロセッサコア、１８１：制御装置、１８２：プログラムカウンタ、１８３：パイプラインレジスタ、１８４：パイプラインレジスタ、１８５：レジスタファイル、１８６：ＡＬＵ、１８７：データバス、１９０：記憶回路、２００：画素ブロック、２０１：回路、２０２：キャパシタ、２０３：トランジスタ、２０４：トランジスタ、２０５：トランジスタ、２０６：トランジスタ、２０７：抵抗、２１１：配線、２１２：配線、２１３：配線、２１５：配線、２１６：配線、２１７：配線、２１８：配線、２１９：配線、２２１：配線、２５１：トランジスタ、２５２：トランジスタ、２５３：トランジスタ、２５４：トランジスタ、３００：画素アレイ、３０１：回路、３０２：回路、３０３：回路、３０４：回路、３０５：回路、３１１：配線、３１２：ロードライバ、３１３：カラムドライバ、３２０：メモリセル、３２１：メモリ回路、３２１ａ：メモリセル、３２１ａＡ：メモリセル、３２１ａＢ：メモリセル、３２１ａＣ：メモリセル、３２１ａＤ：メモリセル、３２５：参照メモリセル、３３０：回路、３５０：回路、３６０：回路、３７０：回路、４１０：パッケージ基板、４１１：パッケージ基板、４２０：カバーガラス、４２１：レンズカバー、４３０：接着剤、４３５：レンズ、４４０：バンプ、４４１：ランド、４５０：イメージセンサチップ、４５１：イメージセンサチップ、４６０：電極パッド、４６１：電極パッド、４７０：ワイヤ、４７１：ワイヤ、４９０：ＩＣチップ、５３５：バックゲート、５４５：半導体層、５４６：絶縁層、５６０：層、５６１：層、５６２：層、５６２ａ：層、５６２ｂ：層、５６３：層、５６３ａ：層、５６３ｂ：層、５６３ｃ：層、５６５ａ：層、５６５ｂ：層、５６６ａ：層、５６６ｂ：層、５６６ｃ：層、５６６ｄ：層、５６７ａ：層、５６７ｂ：層、５６７ｃ：層、５６７ｄ：層、５６７ｅ：層、６１１：シリコン基板、６１２：絶縁層、６１３：絶縁層、６１４：絶縁層、６１５：絶縁層、６１６：絶縁層、６１７：絶縁層、６１８：絶縁層、６１９：導電層、６２１：絶縁層、６２２：絶縁層、６２３：絶縁層、６２４：絶縁層、６２５：絶縁層、６２６：絶縁層、６２７：導電層、６２８：絶縁層、６２９：絶縁層、６３１：絶縁層、６３２：シリコン基板、６３３：絶縁層、６３４：絶縁層、６３５：絶縁層、６３６：導電層、６３７：絶縁層、６３８：絶縁層、６３９：導電層、６４１：絶縁層、６４２：絶縁層、６４３：絶縁層、６４４：絶縁層、６４５：絶縁層、６４６：導電層、６４７：絶縁層、６４８：絶縁層、６５１：絶縁層、６５２：絶縁層、６５３：絶縁層、６５４：絶縁層、６５５：導電層、６６１：絶縁層、６６２：絶縁層、６６４：絶縁層、６６５：絶縁層、６７１：遮光層、６７２：光学変換層、６７３：マイクロレンズアレイ、７０１：ゲート電極、７０２：ゲート絶縁膜、７０３：ソース領域、７０４：ドレイン領域、７０５：ソース電極、７０６：ドレイン電極、７０７：酸化物半導体層、９１１：筐体、９１２：表示部、９１３：スピーカ、９１９：カメラ、９３２：表示部、９３３：筐体兼リストバンド、９３９：カメラ、９５１：支持台、９５２：カメラユニット、９５３：保護カバー、９６１：筐体、９６２：シャッターボタン、９６３：マイク、９６５：レンズ、９６７：発光部、９７１：筐体、９７２：筐体、９７３：表示部、９７４：操作キー、９７５：レンズ、９７６：接続部、９７７：スピーカ、９７８：マイク、９８１：筐体、９８２：表示部、９８３：操作ボタン、９８４：外部接続ポート、９８５：スピーカ、９８６：マイク、９８７：カメラ

Claims (10)

  1. 　画素と、第１の回路と、第２の回路と、を有する撮像装置であって、
    　前記第１の回路は、前記画素に第１の電位を供給する機能を有し、
    　前記画素は、第１のデータおよび第２のデータを取得する機能を有し、
    　前記画素は、前記第１のデータと前記第２のデータとの差分である第３のデータを生成する機能を有し、
    　前記画素は、前記第３のデータに前記第１の電位に基づく電位を加算して第４のデータを生成する機能を有し、
    　前記第２の回路は、前記画素が出力する前記第３のデータと、前記画素が出力する前記第４のデータとの差分に相当する第５のデータを生成する機能を有する撮像装置。
  2. 　画素ブロックと、第１の回路と、第２の回路と、を有する撮像装置であって、
    　前記画素ブロックは、複数の画素を有し、
    　前記第１の回路は、前記画素に第１の電位を供給する機能を有し、
    　前記画素は、第１のデータおよび第２のデータを取得する機能を有し、
    　前記画素は、前記第１のデータと前記第２のデータとの差分である第３のデータを生成する機能を有し、
    　前記画素は、前記第３のデータに前記第１の電位に基づく電位を加算して第４のデータを生成する機能を有し、
    　前記第２の回路は、前記画素ブロックの前記複数の画素が出力する前記第３のデータの和と、前記画素ブロックの前記複数の画素が出力する前記第４のデータの和との差分に相当する第５のデータを生成する機能を有する撮像装置。
  3. 　請求項１または２において、
    　前記画素は、光電変換デバイスと、第１のトランジスタと、第２のトランジスタと、第３のトランジスタと、第４のトランジスタと、第５のトランジスタと、第６のトランジスタと、第１のキャパシタと、第２のキャパシタと、を有し、
    　前記光電変換デバイスの一方の電極は、前記第１のトランジスタのソースまたはドレインの一方と電気的に接続され、
    　前記第１のトランジスタのソースまたはドレインの他方は、前記第２のトランジスタのソースまたはドレインの一方、および前記第１のキャパシタの一方の電極と電気的に接続され、
    　前記第１のキャパシタの他方の電極は、前記第３のトランジスタのソースまたはドレインの一方、前記第２のキャパシタの一方の電極、および前記第４のトランジスタのゲートと電気的に接続され、
    　前記第４のトランジスタのソースまたはドレインの一方は、前記第５のトランジスタのソースまたはドレインの一方と電気的に接続され、
    　前記第２のキャパシタの他方の電極は、前記第６のトランジスタのソースまたはドレインの一方と電気的に接続され、
    　前記第５のトランジスタのソースまたはドレインの他方は、前記第２の回路と電気的に接続され、
    　前記第６のトランジスタのソースまたはドレインの他方は、前記第１の回路と電気的に接続されている撮像装置。
  4. 　請求項１乃至３のいずれか一項において、
    　前記第２の回路は、相関二重サンプリング回路である撮像装置。
  5. 　請求項１乃至４のいずれか一項において、
    　前記画素が有するトランジスタは、チャネル形成領域に金属酸化物を有し、前記金属酸化物は、Ｉｎと、Ｚｎと、Ｍ（ＭはＡｌ、Ｔｉ、Ｇａ、Ｇｅ、Ｓｎ、Ｙ、Ｚｒ、Ｌａ、Ｃｅ、ＮｄまたはＨｆの一つまたは複数）と、を有する撮像装置。
  6. 　第１のフレームレートで撮像動作を開始する第１のステップと、
    　基準画像を撮像し、記憶する第２のステップと、
    　比較画像を撮像する第３のステップと、
    　前記基準画像と前記比較画像の差分データを取得する第４のステップと、
    　前記差分データから第２の特徴量を抽出する第５のステップと、
    　予め設定された第１の特徴量と、前記第２の特徴量を比較する第６のステップと、
    　を上記順序で行い、
    　前記第２の特徴量から前記第１の特徴量が検出されたと判断されたとき、
    　第２のフレームレートに切り替えて撮像動作を行い、
    　前記第２の特徴量から前記第１の特徴量が検出されないと判断されたとき、
    　前記第３のステップに戻る撮像装置の動作方法。
  7. 　請求項６において、
    　前記第２のフレームレートは、前記第１のフレームレートより大きい撮像装置の動作方法。
  8. 　請求項６または７において、
    　前記第１のフレームレートは、０．１ｆｐｓ以上１０ｆｐｓ以下であって、
    　前記第２のフレームレートは、１５ｆｐｓ以上２４０ｆｐｓ以下である撮像装置の動作方法。
  9. 　請求項６乃至８のいずれか一項において、
    　前記第１のフレームレートで撮像動作が行われている期間中は、パワーゲーティングが行われる撮像装置の動作方法。
  10. 　請求項１乃至５のいずれか一項に記載の撮像装置と、レンズと、を有する電子機器。
PCT/IB2020/056539 2019-07-26 2020-07-13 撮像装置、その動作方法および電子機器 WO2021019333A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021536435A JPWO2021019333A5 (ja) 2020-07-13 撮像装置
US17/628,293 US11937007B2 (en) 2019-07-26 2020-07-13 Imaging device, operation method thereof, and electronic device
CN202080053606.5A CN114175619A (zh) 2019-07-26 2020-07-13 摄像装置及其工作方法及电子设备
KR1020227005418A KR20220039753A (ko) 2019-07-26 2020-07-13 촬상 장치, 그 동작 방법, 및 전자 기기

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-137635 2019-07-26
JP2019137635 2019-07-26

Publications (1)

Publication Number Publication Date
WO2021019333A1 true WO2021019333A1 (ja) 2021-02-04

Family

ID=74228232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2020/056539 WO2021019333A1 (ja) 2019-07-26 2020-07-13 撮像装置、その動作方法および電子機器

Country Status (5)

Country Link
US (1) US11937007B2 (ja)
KR (1) KR20220039753A (ja)
CN (1) CN114175619A (ja)
TW (1) TW202105987A (ja)
WO (1) WO2021019333A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11943554B2 (en) * 2019-04-29 2024-03-26 Semiconductor Energy Laboratory Co., Ltd. Imaging device operated by switching between product-sum operation
US11493986B2 (en) * 2019-12-22 2022-11-08 Qualcomm Incorporated Method and system for improving rock bottom sleep current of processor memories
US11901004B2 (en) * 2022-04-08 2024-02-13 Taiwan Semiconductor Manufacturing Company, Ltd. Memory array, memory structure and operation method of memory array

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009131A (ja) * 2001-06-22 2003-01-10 Matsushita Electric Ind Co Ltd 画像監視システムおよび画像配信方法
JP2007318262A (ja) * 2006-05-23 2007-12-06 Sanyo Electric Co Ltd 撮像装置
WO2018215882A1 (ja) * 2017-05-26 2018-11-29 株式会社半導体エネルギー研究所 撮像装置および電子機器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4769039B2 (ja) * 2005-07-26 2011-09-07 パナソニック株式会社 デジタル信号符号化および復号化装置ならびにその方法
JP4723401B2 (ja) * 2006-03-03 2011-07-13 富士フイルム株式会社 固体撮像装置
KR101824123B1 (ko) 2009-11-06 2018-02-01 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치
JP6151530B2 (ja) 2012-02-29 2017-06-21 株式会社半導体エネルギー研究所 イメージセンサ、カメラ、及び監視システム
US9773832B2 (en) 2014-12-10 2017-09-26 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device
WO2017073430A1 (ja) * 2015-10-29 2017-05-04 コニカミノルタ株式会社 ガス検知用画像処理装置、ガス検知用画像処理方法及びガス検知用画像処理プログラム
US10027896B2 (en) 2016-01-15 2018-07-17 Semiconductor Energy Laboratory Co., Ltd. Image display system, operation method of the same, and electronic device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009131A (ja) * 2001-06-22 2003-01-10 Matsushita Electric Ind Co Ltd 画像監視システムおよび画像配信方法
JP2007318262A (ja) * 2006-05-23 2007-12-06 Sanyo Electric Co Ltd 撮像装置
WO2018215882A1 (ja) * 2017-05-26 2018-11-29 株式会社半導体エネルギー研究所 撮像装置および電子機器

Also Published As

Publication number Publication date
JPWO2021019333A1 (ja) 2021-02-04
TW202105987A (zh) 2021-02-01
KR20220039753A (ko) 2022-03-29
US11937007B2 (en) 2024-03-19
CN114175619A (zh) 2022-03-11
US20220264046A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
JP7467587B2 (ja) 撮像装置及び電子機器
WO2021019333A1 (ja) 撮像装置、その動作方法および電子機器
US11728355B2 (en) Imaging device and electronic device
JP2020150556A (ja) 撮像装置
US11699465B2 (en) Memory device
US20220321794A1 (en) Imaging device and electronic device
JP2023041759A (ja) 撮像装置
JP2021027351A (ja) 撮像装置および電子機器
WO2022023859A1 (ja) 撮像装置、電子機器および移動体
JP2019009640A (ja) 撮像装置および電子機器
WO2021033065A1 (ja) 撮像装置および電子機器
WO2020222059A1 (ja) 撮像装置、その動作方法、および電子機器
WO2021090110A1 (ja) 撮像装置、その動作方法および電子機器
WO2021064511A1 (ja) 半導体装置および判定システム
WO2021053449A1 (ja) 撮像システムおよび電子機器
WO2021209868A1 (ja) 撮像装置および電子機器
WO2020250095A1 (ja) 撮像装置および電子機器
WO2022064307A1 (ja) 撮像装置および電子機器
US20230054986A1 (en) Imaging device and electronic device
WO2021214616A1 (ja) 撮像装置
WO2021001719A1 (ja) 撮像装置および電子機器
WO2021048676A1 (ja) 撮像装置および電子機器
JP6942498B2 (ja) 撮像装置
TW202220227A (zh) 攝像裝置及電子裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20846432

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021536435

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20227005418

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20846432

Country of ref document: EP

Kind code of ref document: A1