WO2021064511A1 - 半導体装置および判定システム - Google Patents

半導体装置および判定システム Download PDF

Info

Publication number
WO2021064511A1
WO2021064511A1 PCT/IB2020/058811 IB2020058811W WO2021064511A1 WO 2021064511 A1 WO2021064511 A1 WO 2021064511A1 IB 2020058811 W IB2020058811 W IB 2020058811W WO 2021064511 A1 WO2021064511 A1 WO 2021064511A1
Authority
WO
WIPO (PCT)
Prior art keywords
circuit
transistor
function
determination
data
Prior art date
Application number
PCT/IB2020/058811
Other languages
English (en)
French (fr)
Inventor
井上聖子
肝付彩奈
鴇巣敦哉
Original Assignee
株式会社半導体エネルギー研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社半導体エネルギー研究所 filed Critical 株式会社半導体エネルギー研究所
Priority to US17/760,797 priority Critical patent/US20220383657A1/en
Priority to JP2021550717A priority patent/JPWO2021064511A1/ja
Publication of WO2021064511A1 publication Critical patent/WO2021064511A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/70Manufacture or treatment of devices consisting of a plurality of solid state components formed in or on a common substrate or of parts thereof; Manufacture of integrated circuit devices or of parts thereof
    • H01L21/77Manufacture or treatment of devices consisting of a plurality of solid state components or integrated circuits formed in, or on, a common substrate
    • H01L21/78Manufacture or treatment of devices consisting of a plurality of solid state components or integrated circuits formed in, or on, a common substrate with subsequent division of the substrate into plural individual devices
    • H01L21/82Manufacture or treatment of devices consisting of a plurality of solid state components or integrated circuits formed in, or on, a common substrate with subsequent division of the substrate into plural individual devices to produce devices, e.g. integrated circuits, each consisting of a plurality of components
    • H01L21/822Manufacture or treatment of devices consisting of a plurality of solid state components or integrated circuits formed in, or on, a common substrate with subsequent division of the substrate into plural individual devices to produce devices, e.g. integrated circuits, each consisting of a plurality of components the substrate being a semiconductor, using silicon technology
    • H01L21/8232Field-effect technology
    • H01L21/8234MIS technology, i.e. integration processes of field effect transistors of the conductor-insulator-semiconductor type
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/02Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers
    • H01L27/04Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body
    • H01L27/06Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body including a plurality of individual components in a non-repetitive configuration
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/66Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76Unipolar devices, e.g. field effect transistors
    • H01L29/772Field effect transistors
    • H01L29/78Field effect transistors with field effect produced by an insulated gate
    • H01L29/786Thin film transistors, i.e. transistors with a channel being at least partly a thin film
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification

Definitions

  • One aspect of the present invention relates to a semiconductor device.
  • one aspect of the present invention is not limited to the above technical fields.
  • the technical field of the invention disclosed in the present specification and the like relates to a product, a method, or a manufacturing method.
  • one aspect of the invention relates to a process, machine, manufacture, or composition of matter.
  • the semiconductor device refers to all devices that can function by utilizing the semiconductor characteristics. Therefore, semiconductor elements such as transistors and diodes, and circuits including semiconductor elements are semiconductor devices.
  • semiconductor elements such as transistors and diodes, and circuits including semiconductor elements are semiconductor devices.
  • display devices, light emitting devices, lighting devices, electro-optical devices, communication devices, electronic devices, and the like may include semiconductor elements and semiconductor circuits. Therefore, display devices, light emitting devices, lighting devices, electro-optic devices, image pickup devices, communication devices, electronic devices, and the like may also be referred to as semiconductor devices.
  • 4G 4th generation mobile communication system
  • 5G 5th generation mobile communication system
  • 5G communication frequencies of 3.7 GHz band, 4.5 GHz band, and 28 GHz band are used.
  • Semiconductor devices compatible with 5G are manufactured using semiconductors that use one type of element such as Si as the main component and compound semiconductors that use multiple types of elements such as Ga and As as the main components. Furthermore, oxide semiconductors, which are a type of metal oxide, are attracting attention.
  • Non-Patent Document 1 In oxide semiconductors, CAAC (c-axis aligned crystalline) structures and nc (nanocrystalline) structures that are neither single crystal nor amorphous have been found (see Non-Patent Document 1 and Non-Patent Document 2).
  • Non-Patent Document 1 and Non-Patent Document 2 disclose a technique for manufacturing a transistor using an oxide semiconductor having a CAAC structure.
  • Patent Document 1 describes that, among the DVFS (Dynamic Voltage and Frequency Scaling) method and the PG method, a method that is advantageous for power reduction is implemented.
  • DVFS Dynamic Voltage and Frequency Scaling
  • One aspect of the present invention is to provide a new semiconductor device or a method of operating a new semiconductor device.
  • one aspect of the present invention is to provide a new determination system or an operation method of the new determination system.
  • one aspect of the present invention is to reduce power consumption, for example, to reduce hibernation power.
  • one aspect of the present invention is to reduce the time required for the process of returning from the hibernation state to the normal state, or to reduce the energy required for the process.
  • one aspect of the present invention is to reduce the power consumption of the circuit for making a determination.
  • one aspect of the present invention is to improve the accuracy of the determination system.
  • one aspect of the present invention is to improve the safety of the object to be monitored by the sensor element.
  • one aspect of the present invention is to provide a system for easily monitoring an object.
  • One aspect of the present invention includes a detection circuit, a first determination circuit, a second determination circuit, a power supply circuit, and a power supply management device, and the detection circuit analyzes the first data and first.
  • the first determination circuit and the second determination circuit have a function of performing a first determination in which a value of 1 or a second value is selected, and the first determination circuit and the second determination circuit have a function of extracting features of an image, and the first determination determines.
  • the power supply management device has a function of supplying a voltage from the power supply circuit to the first determination circuit, and the first determination circuit analyzes the first data and second.
  • the second determination circuit is a semiconductor device having a function of making a determination and having a function of analyzing the first data and making a third determination when the occurrence of an event is detected in the second determination. is there.
  • the first determination circuit has a function of performing contour extraction.
  • the first determination circuit has a function of performing contour extraction
  • the second determination circuit is a deep neural network, a convolutional neural network, a recurrent neural network, a self-encoder, a deep Boltzmann machine, and a deep belief. It is preferred to have the ability to perform one or more techniques selected from the network.
  • the event is preferably human detection using contour extraction.
  • the first determination circuit has a function of performing human face recognition using contour extraction.
  • one aspect of the present invention includes an imaging device, a detection circuit, a processing device, a second determination circuit, and a power supply circuit
  • the processing device includes a first determination circuit, a power supply management device, and the like. It has a processor core and a storage circuit, the processor core has a function of giving a command to a first determination circuit, and the storage circuit has a function of holding data generated by the processor core, and has an image pickup apparatus. Has a function of acquiring the first data, and the detection circuit has a function of analyzing the first data and making a first determination that the first value or the second value is selected.
  • the first determination circuit and the second determination circuit have a function of extracting features of an image, and when a first value is selected by the first determination, the power supply management device makes a first determination from the power supply circuit.
  • the first determination circuit has a function of supplying a voltage to the circuit
  • the first determination circuit has a function of analyzing the first data and making a second determination
  • the second determination circuit has a function of generating an event in the second determination.
  • the image pickup apparatus is a determination system having a plurality of pixel circuits arranged in a matrix.
  • the storage circuit includes a first transistor and a first capacitive element, and one of the source and drain of the first transistor is electrically connected to one electrode of the first capacitive element.
  • the first transistor preferably has an oxide semiconductor in the channel forming region.
  • the storage circuit includes a first transistor and a first capacitive element, and one of the source and drain of the first transistor is electrically connected to one electrode of the first capacitive element.
  • the first transistor has a transistor having an oxide semiconductor in the channel forming region
  • each of the plurality of pixel circuits has a photoelectric conversion device, a second transistor, a second capacitive element, and the like.
  • One electrode of the photoelectric conversion device is electrically connected to one of the source and drain of the second transistor, and the other of the source and drain of the second transistor is one of the second capacitive elements. It is preferably electrically connected to the electrode and the second transistor has an oxide semiconductor in the channel forming region.
  • the first determination circuit has a function of performing contour extraction.
  • the first determination circuit has a function of performing contour extraction
  • the second determination circuit is a deep neural network, a convolutional neural network, a recurrent neural network, a self-encoder, a deep Boltzmann machine, and a deep belief. It is preferred to have the ability to perform one or more techniques selected from the network.
  • the present invention it is possible to provide a novel semiconductor device or a method of operating a new semiconductor device. Further, according to one aspect of the present invention, it is possible to provide a novel determination system or an operation method of the novel determination system. Further, according to one aspect of the present invention, it is possible to reduce the power consumption, for example, the power consumption in the hibernation state. Further, according to one aspect of the present invention, it is possible to shorten the time required for the process of returning from the hibernation state to the normal state, or to reduce the energy required for the process. Further, according to one aspect of the present invention, the power consumption of the circuit for making a determination can be reduced. Further, according to one aspect of the present invention, the accuracy of the determination system can be improved. Further, according to one aspect of the present invention, the safety of the object monitored by the sensor element can be enhanced. Further, according to one aspect of the present invention, it is possible to provide a system for easily monitoring an object.
  • FIG. 1 is a block diagram showing a configuration example of a determination system.
  • FIG. 2 is a block diagram showing a configuration example of the determination system.
  • FIG. 3 is a flow chart showing an operation example of the semiconductor device.
  • 4A and 4B are block diagrams showing a configuration example of a semiconductor device.
  • 5A to 5D are diagrams for explaining an operation example of power management of the semiconductor device.
  • FIG. 6 is a flowchart showing an operation example of power management of the semiconductor device.
  • 7A and 7B are block diagrams showing a configuration example of a semiconductor device.
  • FIG. 8 is a block diagram showing a configuration example of the processor core.
  • FIG. 9 is a circuit diagram showing a configuration example of the storage circuit.
  • FIG. 10 is a timing chart for explaining an operation example of the storage circuit.
  • FIG. 11 is a circuit diagram showing a configuration example of a memory cell of the cache.
  • FIG. 12 is a timing chart illustrating an operation example of the memory cell.
  • FIG. 13A is a functional block diagram showing a configuration example of the NO SRAM.
  • FIG. 13B is a circuit diagram showing a configuration example of a memory cell.
  • FIG. 14A is a circuit diagram showing a configuration example of a memory cell array.
  • 14B and 14C are circuit diagrams showing a configuration example of a memory cell.
  • FIG. 15A is a circuit diagram showing a configuration example of a memory cell of the DOSRAM.
  • FIG. 15B is a diagram showing an example of a laminated structure of DOSRAM.
  • 16A and 16B are diagrams showing a configuration example of a neural network.
  • FIG. 15A is a circuit diagram showing a configuration example of a memory cell of the cache.
  • FIG. 12 is a timing chart illustrating an operation example of the memory cell.
  • FIG. 17 is a diagram showing a configuration example of a semiconductor device.
  • FIG. 18 is a diagram showing a configuration example of a memory cell.
  • FIG. 19 is a diagram showing a configuration example of an offset circuit.
  • FIG. 20 is a timing chart.
  • FIG. 21A is a block diagram illustrating an imaging device.
  • 21B and 21C are circuit diagrams illustrating a pixel circuit.
  • FIG. 22A is a diagram illustrating the operation of the rolling shutter.
  • FIG. 22B is a diagram illustrating the operation of the global shutter.
  • 23A and 23B are timing charts illustrating the operation of the pixel circuit.
  • 24A and 24B are circuit diagrams illustrating a pixel circuit.
  • FIG. 25 is a circuit diagram and a block diagram illustrating a read-out circuit.
  • 26A and 26B are cross-sectional views illustrating pixels.
  • 27A, 27B and 27C are diagrams illustrating Si transistors.
  • 28A and 28B are cross-sectional views illustrating pixels.
  • 29A, 29B, 29C and 29D are diagrams illustrating an OS transistor.
  • 30A and 30B are cross-sectional views illustrating an example of an electronic device.
  • the position, size, range, etc. of each configuration shown in the drawings, etc. may not represent the actual position, size, range, etc. in order to facilitate understanding of the invention. Therefore, the disclosed invention is not necessarily limited to the position, size, range, etc. disclosed in the drawings and the like.
  • the resist mask or the like may be unintentionally reduced due to processing such as etching, but it may not be reflected in the figure for easy understanding.
  • top view also referred to as “plan view”
  • perspective view the description of some components may be omitted in order to make the drawing easier to understand.
  • electrode and “wiring” do not functionally limit these components.
  • an “electrode” may be used as part of a “wiring” and vice versa.
  • the terms “electrode” and “wiring” include the case where a plurality of “electrodes” and “wiring” are integrally formed.
  • the "terminal" in the electric circuit means a part where current input or output, voltage input or output, or signal reception or transmission is performed. Therefore, a part of the wiring or the electrode may function as a terminal.
  • the terms “upper” and “lower” in the present specification and the like do not limit the positional relationship of the components to be directly above or directly below and to be in direct contact with each other.
  • electrode B on the insulating layer A it is not necessary that the electrode B is formed in direct contact with the insulating layer A, and another configuration is formed between the insulating layer A and the electrode B. Do not exclude those that contain elements.
  • source and drain functions are interchanged depending on operating conditions, such as when transistors with different polarities are used or when the direction of current changes during circuit operation, so which one is the source or drain is limited. Is difficult. Therefore, in the present specification, the terms source and drain can be used interchangeably.
  • electrically connected includes a case where it is directly connected and a case where it is connected via "something having some electrical action".
  • the "thing having some kind of electrical action” is not particularly limited as long as it enables the exchange of electric signals between the connection targets. Therefore, even when it is expressed as “electrically connected", in an actual circuit, there is a case where there is no physical connection part and only the wiring is extended.
  • parallel means, for example, a state in which two straight lines are arranged at an angle of -10 ° or more and 10 ° or less. Therefore, the case of ⁇ 5 ° or more and 5 ° or less is also included.
  • vertical and orthogonal mean, for example, a state in which two straight lines are arranged at an angle of 80 ° or more and 100 ° or less. Therefore, the case of 85 ° or more and 95 ° or less is also included.
  • the voltage often indicates the potential difference between a certain potential and a reference potential (for example, ground potential or source potential). Therefore, it is often possible to paraphrase voltage and potential. In the present specification and the like, voltage and potential can be paraphrased unless otherwise specified.
  • semiconductor Even when the term "semiconductor” is used, for example, if the conductivity is sufficiently low, it has the characteristics of an "insulator". Therefore, it is possible to replace “semiconductor” with “insulator". In this case, the boundary between “semiconductor” and “insulator” is ambiguous, and it is difficult to make a strict distinction between the two. Therefore, the "semiconductor” and “insulator” described herein may be interchangeable.
  • ordinal numbers such as “first" and “second” in the present specification and the like are added to avoid confusion of the components, and do not indicate any order or order such as process order or stacking order. ..
  • terms that do not have ordinal numbers in the present specification and the like may have ordinal numbers within the scope of claims in order to avoid confusion of components.
  • different ordinal numbers may be added within the scope of claims.
  • the ordinal numbers may be omitted in the scope of claims.
  • the "on state” of the transistor means a state in which the source and drain of the transistor can be regarded as being electrically short-circuited (also referred to as “conduction state”).
  • the “off state” of the transistor means a state in which the source and drain of the transistor can be regarded as being electrically cut off (also referred to as “non-conducting state”).
  • the "on current” may mean a current flowing between the source and the drain when the transistor is in the on state.
  • the “off current” may mean a current flowing between the source and the drain when the transistor is in the off state.
  • a high power potential (hereinafter, also referred to as “power potential VDD”, “VDD”, “H potential”, or “H”) means a low power potential (hereinafter, “power potential VSS””. , “VSS”, “L potential”, or “L”).
  • VSS indicates a power supply potential having a potential lower than VDD.
  • the ground potential (hereinafter, also simply referred to as “GND” or “GND potential”) can be used as VDD or VSS.
  • VDD is the ground potential
  • VSS is a potential lower than the ground potential
  • VDD is a potential higher than the ground potential.
  • the gate means a part or all of the gate electrode and the gate wiring.
  • the gate wiring refers to wiring for electrically connecting the gate electrode of at least one transistor to another electrode or another wiring.
  • the source means a part or all of a source area, a source electrode, and a source wiring.
  • the source region refers to a region of the semiconductor layer having a resistivity of a certain value or less.
  • the source electrode refers to a conductive layer in a portion connected to the source region.
  • the source wiring is a wiring for electrically connecting the source electrode of at least one transistor to another electrode or another wiring.
  • the drain means a part or all of the drain region, the drain electrode, and the drain wiring.
  • the drain region refers to a region of the semiconductor layer having a resistivity of a certain value or less.
  • the drain electrode refers to a conductive layer at a portion connected to the drain region.
  • the drain wiring refers to wiring for electrically connecting the drain electrode of at least one transistor to another electrode or another wiring.
  • H indicating the H potential
  • L indicating the L potential
  • “H” or “L” may be added with enclosing characters to the wiring and electrodes where the potential change has occurred.
  • an “x” symbol may be added over the transistor.
  • the terminal may refer to an aggregate of multiple terminals. For example, an independent signal is given to each terminal of an aggregate of a plurality of terminals, and one or more wires are electrically connected to each terminal.
  • Transistors have three terminals called gates, sources, and drains.
  • the gate is a terminal that functions as a control terminal that controls the conduction state of the transistor.
  • a pair of input / output terminals (nodes) that function as sources or drains have one source and the other drain depending on the type of transistor and the high and low potentials given to each terminal (node).
  • a node to which a low potential is given is called a source
  • a node to which a high potential is given is called a drain.
  • a node to which a low potential is given is called a drain
  • a node to which a high potential is given is called a source.
  • two terminals (nodes) other than the gate may be referred to as a first terminal (node) and a second terminal (node).
  • one of the two input / output terminals (nodes) of the transistor may be limited to the source and the other to the drain.
  • the magnitude relationship of the potentials applied to the three terminals of the transistor may change, and the source and drain may be interchanged. Therefore, in one aspect of the invention, the distinction between the source and drain of a transistor is not limited to the description in the specification and drawings.
  • connection destinations of all the terminals of active elements for example, transistors, diodes, etc.
  • passive elements for example, capacitive elements, resistance elements, etc.
  • the aspect in which the connection destination is specified is described in the present specification or the like
  • it can be determined that one aspect of the invention in which the connection destination is not specified is described in the present specification or the like. It may be possible.
  • one aspect of the invention can be configured by specifying the connection destination of only some terminals of active elements (transistors, diodes, etc.), passive elements (capacitive elements, resistance elements, etc.) and the like. In some cases.
  • connection destination if at least a connection destination is specified for a certain circuit, a person skilled in the art may be able to specify the invention.
  • a person skilled in the art may be able to specify the invention by at least specifying the function of a certain circuit. That is, if the function can be specified, it can be said that the aspect of the invention is clear. Then, it may be possible to determine that one aspect of the invention whose function has been specified is described in the present specification and the like. Therefore, if the connection destination of a certain circuit is specified without specifying the function, one aspect of the invention is disclosed, and one aspect of the invention can be configured. Alternatively, one aspect of the invention is disclosed by specifying the function of a certain circuit without specifying the connection destination, and one aspect of the invention can be configured.
  • the determination system of one aspect of the present invention includes a semiconductor device. Further, the determination system of one aspect of the present invention preferably includes an image pickup device in addition to the semiconductor device.
  • the semiconductor device of one aspect of the present invention includes a processing device.
  • the processing apparatus of one aspect of the present invention has a function of turning off the power supply of a part of the circuit by a power gating operation. The power supply of the circuit in the off mode can return to the on mode according to the interrupt request.
  • FIG. 1 shows a configuration example of a determination system having a semiconductor device and a device such as an image pickup device.
  • the semiconductor device 700 shown in FIG. 1 is electrically connected to the image pickup device 601.
  • the semiconductor device 700 includes a detection circuit 92, a processing unit (PU: Processing Unit) 20, and a determination circuit 91.
  • the PU 20 has a preliminary determination circuit 80.
  • the determination circuit 91 has a function of performing an operation using a neural network.
  • the preliminary determination circuit 80 may be referred to as a first determination circuit, and the determination circuit 91 may be referred to as a second determination circuit.
  • the image pickup device 601 has a function of capturing visible light. Further, it is preferable that the image pickup apparatus 601 has a function of capturing infrared light.
  • a light source may be prepared and the light source may be applied to the subject at the time of imaging by the image pickup apparatus 601.
  • the configuration example shown in FIG. 1 has a display device 602.
  • the display device 602 is electrically connected to the image pickup device 601.
  • the display device 602 has a function of displaying an image captured by the image pickup device 601.
  • the display device 602 has, for example, a display unit and a drive circuit for controlling the display unit.
  • the configuration example shown in FIG. 1 has a terminal 603.
  • the semiconductor device 700 preferably has a function of wirelessly communicating with the terminal 603.
  • the semiconductor device 700 has, for example, an antenna for wireless communication.
  • the semiconductor device 700 can perform analysis stepwise in the order of the detection circuit 92, the preliminary determination circuit 80, and the determination circuit 91. The more steps you take, the more accurate your analysis will be. The more steps the analysis is performed, the more accurate the judgment can be.
  • the scale of the arithmetic circuit increases, and the power consumption of the semiconductor device 700 may increase. Therefore, when it is determined that the analysis is sufficient in the detection circuit 92 or the preliminary determination circuit 80, it is not necessary to proceed to the next stage. The smaller the number of steps, the more the power consumption of the semiconductor device 700 can be reduced.
  • the semiconductor device of one aspect of the present invention has a function of determining whether or not an abnormal event has occurred. Further, in the semiconductor device of one aspect of the present invention, it is preferable that the determination is made stepwise. In this case, in the initial stage, it is not necessary to determine only whether or not an event has occurred and whether or not the generated event is abnormal.
  • the detection circuit 92 is given the imaging data of the imaging device 601.
  • the detection circuit 92 has a function of performing binary classification. More specifically, the detection circuit 92 has a function of analyzing the given data and determining whether or not an event has occurred. Further, the detection circuit 92 does not determine, for example, whether or not the generated event is abnormal.
  • the detection circuit 92 analyzes, for example, the imaging data and makes the first determination.
  • the first determination is binary classification. If it exceeds a predetermined standard, the first value is selected, and if it does not exceed the predetermined standard, the second value is selected.
  • exceeding a predetermined standard means that, for example, the imaging data is analyzed, the result is quantified, and the obtained numerical value exceeds the standard.
  • the imaging data is analyzed in the preliminary determination circuit 80.
  • the imaging device 601 is used for discriminating a suspicious person.
  • an image presumed to be a person is detected in the captured image, it may be determined that an "event has occurred".
  • the imaged person is not necessarily a suspicious person.
  • the event may be a simple event.
  • the event may be "detecting the movement of the subject”.
  • the event may be "subject detection”.
  • the event may be a "significant change in brightness”.
  • the detection circuit 92 performs simpler calculations than the calculations in the preliminary determination circuit 80 and the determination circuit 91, which will be described later. For example, the detection circuit 92 analyzes the spatial luminance distribution of the imaging data and detects the subject. Alternatively, for example, the detection circuit 92 sets a threshold value, and if the obtained data exceeds the threshold value, determines that an event has occurred.
  • the detection circuit 92 has a function of giving a signal INT to the PU 20 when an event occurs.
  • the signal INT is a signal requesting interrupt processing.
  • the power supply of a circuit in the off mode in the PU 20, for example, a circuit such as a processor core can return to the on mode in response to an interrupt request.
  • the PU 20 executes a desired instruction and determines whether or not an abnormal event has occurred in the preliminary determination circuit 80 of the PU 20. Specifically, for example, the preliminary determination circuit 80 analyzes the imaging data and determines whether or not a suspicious person is shown.
  • PU20 is a circuit that has a function of executing instructions. The detailed configuration of the PU 20 will be described later.
  • the preliminary determination circuit 80 may not determine whether or not the subject is a suspicious person, but may only determine whether or not the subject is a "human". In such a case, the determination circuit 91 may determine whether or not the subject is a suspicious person.
  • the preliminary determination circuit 80 extracts the outline of the subject and detects a human being, for example.
  • a method of contour extraction for example, a comparison of spatial brightness can be used. Specifically, for example, analysis using HoG (Histogram of Oriented Gradient) and SVM (Support Vector Machine) can be performed.
  • the preliminary determination circuit 80 may analyze, for example, a temporal change of the subject, more specifically, for example, a change of the subject for each frame. By analyzing the temporal change of the subject, it may be inferred whether or not the human movement is suspicious.
  • the preliminary determination circuit 80 preferably performs analysis with lower power consumption than the determination circuit 91.
  • the preliminary determination circuit 80 preferably performs an operation on a smaller scale than the determination circuit 91. It is preferable that the preliminary determination circuit 80 performs the calculation in a shorter time than the determination circuit 91.
  • the preliminary determination circuit 80 uses a neural network, it is preferable to perform an operation on a smaller scale than the determination circuit 91.
  • the preliminary determination circuit 80 and the determination circuit 91 both perform a convolutional neural network (CNN)
  • CNN convolutional neural network
  • the number of layers of the intermediate layer used in the preliminary determination circuit 80 is the layer of the intermediate layer used in the determination circuit 91. Less than a number.
  • the imaging data or the data obtained by converting the imaging data is analyzed, and the second determination is performed.
  • the determination circuit 91 analyzes the imaging data or the data obtained by converting the imaging data as the next step. More specifically, for example, when it is determined that an abnormal event has occurred in the second determination, in order to improve the accuracy of the determination, further analysis is performed in the determination circuit 91, and an abnormal event occurs. It is preferable to determine whether or not.
  • the determination circuit 91 has, for example, a function of performing an operation using a neural network.
  • the accuracy of the judgment can be improved by performing a more detailed analysis with the judgment circuit 91. Further, when the preliminary determination circuit 80 makes a determination in advance and it is determined that no abnormal event has occurred, it is not necessary to perform the calculation in the determination circuit 91, so that the power consumption of the semiconductor device 700 can be reduced. it can.
  • the determination circuit 91 can perform calculations with higher accuracy than the preliminary determination circuit 80.
  • the determination circuit 91 preferably performs analysis using artificial intelligence (AI).
  • AI artificial intelligence
  • the determination circuit 91 is selected from a deep neural network (DNN), a convolutional neural network (CNN), a recurrent neural network (RNN), a self-encoder, a deep Boltzmann machine (DBM), a deep belief network (DBN), and the like. It is preferable to perform the method described in 1 or a method in which two or more are combined to analyze the imaging data. More specifically, in the determination circuit 91, CNN can be used for image feature extraction.
  • a process of increasing the resolution of the image, a process of coloring a black-and-white image, or the like may be performed before the feature extraction of the image using CNN or the like is performed.
  • a colorization method for example, a method called a hostile generation network (GAN) may be used.
  • GAN hostile generation network
  • the semiconductor device 700 When it is determined in the determination circuit 91 that an abnormal event has occurred, the semiconductor device 700 gives a signal notifying the abnormality to the terminal 603 by wireless communication. Further, the image data determined that an abnormal event has occurred may be transmitted together with the signal notifying the abnormality. At this time, image data that has undergone resolution-enhancing processing or colorization processing may be transmitted.
  • the semiconductor device 700 shown in FIG. 1 includes a power supply circuit 10, a PU 20, a determination circuit 91, and a detection circuit 92.
  • the semiconductor device 700 is electrically connected to the image pickup device 601.
  • the PU20 is a circuit that has a function of executing instructions.
  • the PU 20 has a plurality of functional circuits integrated on one chip.
  • the PU 20 includes a processor core 30, a power management device (PMU) 60, a clock control circuit 65, a power switch (PSW) 70, a preliminary determination circuit 80, a memory 81, a circuit 82, an interface 88, and a bus line 89.
  • PMU power management device
  • PSW power switch
  • the PU 20 may also have a cache 40 and a power switch (PSW) 71. Details of the cache 40 and PSW71 will be described later.
  • PSW power switch
  • the processor core 30, PMU60, cache 40, PSW70, PSW71, preliminary determination circuit 80, memory 81, circuit 82 and interface 88 are electrically connected via the bus line 89. Each circuit can exchange signals via the bus line 89.
  • the processor core 30 has, for example, a function of giving an instruction to the preliminary determination circuit 80.
  • the memory 81 has a function of holding the imaging data given to the PU 20 from the imaging device 601.
  • a memory configured by using an OS transistor described later may be used.
  • the interface 88 has a function of exchanging signals with an external device of the PU 20.
  • the interface 88 has a function of giving an interrupt signal INT given from the detection circuit 92 to the processor core 30 and the PMU 60 via the bus line 89.
  • the interface 88 has a function of receiving a signal from the processor core 30 or the like via the bus line 89 and giving a signal OU1 as a control signal to the determination circuit 91 based on the received signal. Further, the determination circuit 91 has a function of giving a signal IN1 to the interface 88 as a determination result.
  • the circuit 82 has, for example, an analog-digital conversion circuit (hereinafter referred to as an AD conversion circuit). Further, the circuit 82 may have a circuit for performing wireless communication. Examples of circuits for performing wireless communication include modulation circuits and demodulation circuits.
  • FIG. 2 shows an example in which the power supply circuit 10 is provided on a chip different from the PU 20.
  • the power supply circuit 10 has a function of inputting the power supply potential M VDD to the PU 20.
  • a reference clock signal CLK is externally given to the clock control circuit 65.
  • the clock control circuit 65 has a function of giving a clock signal to each circuit of the PU 20. Further, the return sequence can be executed by inputting the signal INT, which is an interrupt signal requesting interrupt processing, from the outside to the interface 88.
  • the PMU 60 has a function of generating a control signal and giving it to the power supply circuit 10.
  • the number of bits that the processing device can handle in the arithmetic circuit or the like can be, for example, 8 bits, 16 bits, 32 bits, 64 bits, or the like.
  • the clock control circuit 65 has a function of inputting a reference clock signal CLK, generating a gated clock signal, and outputting the gated clock signal.
  • the imaging data captured by the imaging device 601 is, for example, analog data.
  • the image pickup device 601 has an AD conversion circuit, it is preferable that the analog data captured by the image pickup device 601 is converted by the AD conversion circuit and then given to the semiconductor device 700.
  • analog data captured by the image pickup device 601 may be given to the semiconductor device 700 without being converted into digital data.
  • the semiconductor device 700 may perform data conversion using the AD conversion circuit included in the circuit 82.
  • Digital data converted by, for example, an AD conversion circuit is given to the detection circuit 92.
  • the detection circuit 92 may have a function of analyzing analog data.
  • the preliminary determination circuit 80 is given, for example, digital data converted by an AD conversion circuit.
  • the preliminary determination circuit 80 may have a function of analyzing analog data.
  • the determination circuit 91 is given, for example, digital data converted by an AD conversion circuit.
  • the determination circuit 91 may have a function of analyzing analog data.
  • step S000 the process is started.
  • step S001 the imaging data of the imaging device 601 is given to the detection circuit 92.
  • the captured data is, for example, a still image of a monitoring location or a moving image.
  • step S002 the detection circuit 92 analyzes the imaging data. If the detection circuit 92 determines that "an event has occurred” as a result of the analysis, the process proceeds to step S003. If it is determined that "an event has not occurred", the process returns to step S001.
  • the occurrence of an event is, for example, a case where a "human” is detected, or a case where a simpler event occurs.
  • the simple events are, for example, the above-mentioned “detection of movement of subject", “detection of subject", "significant change in brightness” and the like.
  • step S003 the signal INT is given to the PU 20 from the detection circuit 92, and the PU 20 executes the return sequence.
  • the imaging data of the imaging device 601 or the data obtained by processing the imaging data of the imaging device 601 is given to the PU 20.
  • the processing added to the imaging data is, for example, one or more selected from processing such as signal amplification, signal analog-to-digital conversion processing, digital-to-analog conversion processing, signal compression, and signal restoration. Refers to the combination of.
  • step S004 the preliminary determination circuit 80 of the PU 20 analyzes the imaging data.
  • the analysis of the imaging data for example, it refers to the detection of "human” by contour extraction using HoG and SVM.
  • step S005 if the preliminary determination circuit 80 determines that "an event has occurred” as a result of the analysis in step S004, the process proceeds to step S006. If it is determined that "an event has not occurred", the process proceeds to step S009.
  • the preliminary determination circuit 80 may determine not only whether or not an event has occurred, but also whether or not the generated event is abnormal. For example, after detecting "human” by contour extraction, face recognition of the detected "human” may be performed.
  • step S009 the PU 20 shifts to the hibernation state. After that, the process returns to step S001.
  • step S006 the imaging data of the imaging device 601 or the data obtained by processing the imaging data of the imaging device 601 is given to the determination circuit 91, and the determination circuit 91 analyzes the imaging data. Specifically, for example, feature extraction using CNN is performed to recognize a "human" face. After that, the recognized face is collated with the database to determine whether it is a dangerous person.
  • the database is contained in, for example, the PU 20 or the determination circuit 91. Alternatively, the database may be owned by an external server. It is preferable that the external server and the PU 20 communicate wirelessly, for example, and transfer data between the server and the PU 20.
  • step S007 if the determination circuit 91 determines that an abnormal event has occurred as a result of the analysis in step S006, the process proceeds to step S008. If it is determined that no abnormal event has occurred, the process proceeds to step S009.
  • the occurrence of an abnormal event refers to, for example, the case where an unexpected subject is detected.
  • the occurrence of an abnormal event refers to, for example, the case where an object, subject, human, or the like that matches or is likely to match the database registered in advance is detected.
  • the abnormal event refers to a case where an object, a subject, a human being, etc., which is judged to be dangerous, is detected.
  • the abnormal event means, for example, that the determination circuit 91 determines that the recognized "human" face is likely to match the dangerous person as a result of the analysis of the imaging data.
  • step S008 the semiconductor device 700 gives a signal notifying the terminal 603 of the abnormality.
  • the semiconductor device 700 may give the terminal 603 an image of the face of a "human” determined to have a high possibility of matching with a dangerous person.
  • the processor core, storage circuit and cache will be described in detail below.
  • FIG. 4A shows an example of the configuration of the processor core 30.
  • the processor core 30 is a circuit having a function capable of processing instructions, and can be called an arithmetic processing circuit. It has a storage circuit 31, a plurality of combinational circuits 32, and the like, and various functional circuits are configured by these.
  • the storage circuit 31 is included in the register.
  • the input signal of the storage circuit 31 is referred to as signal D
  • the output signal is referred to as signal Q.
  • the storage circuit 31 has a circuit MemC1 and a circuit BKC1.
  • the circuit MemC1 has a function of holding the data generated by the processor core 30, and can be configured by, for example, a flip-flop circuit (FF), a latch circuit, or the like.
  • the circuit BKC1 is a circuit that can function as a backup circuit of the circuit MemC1 and can hold data for a long period of time even if the power supply is cut off or the clock signal is cut off. Having such a storage circuit 31 makes it possible to perform power gating of the processor core 30.
  • the state of the processor core 30 at the time of power cutoff can be maintained by saving the data of the circuit MemC1 in the circuit BKC1 in the storage circuit 31 before shutting off the power supply.
  • the data held in the circuit BKC1 is written to the circuit MemC1, so that the processor core 30 can be returned to the state when the power is cut off. Therefore, the PU 20 can immediately perform the normal processing operation after the power supply is restarted.
  • the circuit BKC1 has at least a holding circuit having one transistor (MW1) and one capacitive element (CB1).
  • the holding circuit shown in FIG. 4B has a circuit configuration similar to that of a standard DRAM (dynamic random access memory) 1T1C (1 transistor, 1 capacitance element) type memory cell, and writes and reads operations are also performed in the same manner. Can be done.
  • DRAM dynamic random access memory
  • 1T1C (1 transistor, 1 capacitance element
  • the drain current (off current) of the transistor MW1 in the off state By making the drain current (off current) of the transistor MW1 in the off state extremely small, the fluctuation of the potential of the node FN1 can be suppressed, so that the data holding time of the circuit BKC1 can be lengthened.
  • the data holding time of the circuit BKC1 is determined by the leakage current of the transistor MW1, the capacitance of the capacitive element CB1, and the like.
  • the transistor MW1 it is preferable to use a transistor (also referred to as "OS transistor” or “OS-FET”) containing an oxide semiconductor (OS) which is a kind of metal oxide in the semiconductor layer on which a channel is formed. .. Since the oxide semiconductor has a band gap of 2 eV or more, the off-current is extremely small.
  • OS transistor when the source-drain voltage is 10 V, the normalized off current per 1 ⁇ m of the channel width can be set to 10 ⁇ 10 -21 A (10 zepto A) or less.
  • the transistor MW1 as an OS transistor, the circuit BKC1 can substantially function as a non-volatile storage circuit while the PU 20 is operating.
  • the oxide semiconductor film used for the semiconductor layer on which the channel is formed may be formed of a single-layer oxide semiconductor film or a laminated oxide semiconductor film.
  • the oxide semiconductor constituting the semiconductor layer on which the channel is formed is preferably an oxide containing at least one or more elements of In, Ga, Sn and Zn. Examples of such oxides include In-Sn-Ga-Zn oxide, In-Ga-Zn oxide, In-Sn-Zn oxide, In-Al-Zn oxide, and Sn-Ga-Zn oxide.
  • Al-Ga-Zn Oxide, Sn-Al-Zn Oxide, In-Zn Oxide, Sn-Zn Oxide, Al-Zn Oxide, Zn-Mg Oxide, Sn-Mg Oxide, In-Mg Oxides, In-Ga oxides, indium oxide, tin oxide, zinc oxide and the like can be used.
  • In-M-Zn oxide (element M is aluminum, gallium, yttrium, copper, vanadium, beryllium, boron, titanium, iron, nickel, germanium, zirconium, molybdenum, lantern, cerium, neodymium).
  • Hafnium, tantalum, tungsten, gallium, etc. (one or more) and other metal oxides can be used.
  • the circuit BKC1 Since the circuit BKC1 writes data by voltage, the write power can be suppressed as compared with MRAM (magnetoresistive RAM) which writes by current. Further, since the data is held by the load capacity of the node FN1, there is no limit on the number of times the data can be rewritten as in the flash memory.
  • MRAM magnetoresistive RAM
  • the energy required for writing data corresponds to the energy associated with the charging and discharging of the electric charge to the capacitive element CB1.
  • the energy required for writing data corresponds to the energy consumed when a current flows through the storage element.
  • the circuit BKC1 can reduce the energy consumed in writing data. Therefore, as compared with the storage circuit in which the backup circuit is composed of MRAM, the storage circuit 31 has more opportunities to perform voltage scaling and power gating that can reduce the energy consumed, so that the power consumption of the PU 20 can be reduced. Can be reduced.
  • the PMU 60 has a function of controlling a power gating operation, a clock gating operation, a voltage scaling operation, and the like. More specifically, the PMU 60 can control a function capable of controlling the power supply circuit 10, a function capable of controlling the storage circuit 31, a function capable of controlling the clock control circuit 65, and a function capable of controlling the PSW 70. It has a function that can be used. Therefore, the PMU 60 has a function of generating a control signal for controlling these circuits (power supply circuit 10, storage circuit 31, clock control circuit 65, PSW70).
  • the PMU 60 has a circuit 61.
  • the circuit 61 has a function of measuring time.
  • the PMU 60 has a function of being able to perform power management based on the time-related data obtained in the circuit 61.
  • the PSW70 has a function of being able to control the supply of the power potential M VDD to the PU 20 according to the control signal of the PMU60.
  • the power supply potential supplied to the PU 20 via the PSW 70 is referred to as a power supply potential VDD.
  • the processor core 30 may have a plurality of power supply domains. In this case, the PSW 70 may be able to independently control the power supply to the plurality of power supply domains. Further, the processor core 30 may have a power supply domain that does not require power gating. In this case, the power supply potential may be supplied to this power supply domain without going through the PSW 70.
  • the clock control circuit 65 has a function of blocking the clock signal to the processor core 30 according to the control signal of the PMU 60.
  • the power supply circuit 10 has a function of changing the magnitude of the potential of the power supply potential VDD according to the control signal of the PMU 60.
  • the signal SLP output from the processor core 30 to the PMU 60 is a signal that triggers the transition of the processor core 30 to the hibernation state.
  • the PMU 60 When the signal SLP is input, the PMU 60 generates a control signal for shifting to the hibernation state and outputs the control signal to the functional circuit to be controlled. Based on the control signal of the PMU 60, the power supply circuit 10 lowers the power supply potential MVDD to be lower than in the normal operation.
  • the PMU 60 controls the PSW 70 to cut off the power supply to the processor core 30.
  • the PMU 60 When the processor core 30 shifts from the normal state to the hibernate state, the PMU 60 performs a voltage scaling operation for lowering the power supply potential VDD of the processor core 30. When the hibernation period exceeds the set time, a power gating operation is performed to stop the supply of the power potential VDD to the processor core 30 in order to further reduce the power consumption of the processor core 30.
  • power management of the semiconductor device shown in FIG. 2 will be described with reference to FIGS. 5 and 6.
  • FIG. 5 schematically shows a change in the potential of the power supply line 35.
  • the power supply line 35 is a wiring to which the power supply potential VDD is supplied via the PSW 70.
  • the horizontal axis of the figure is the elapsed time (time) from the normal state to the hibernation state, and t0, t1, etc. represent the time.
  • the vertical axis of the figure represents the potential of the power line.
  • FIG. 5A is an example in which only power gating is executed in the hibernation state
  • FIG. 5B is an example in which only voltage scaling is executed in the hibernation state.
  • 5C and 5D are examples of performing voltage scaling and power gating.
  • the magnitude of the power supply potential M VDD supplied from the power supply circuit 10 is assumed to be VH1.
  • the power mode of the PU 20 is divided into three modes: power on mode, power off mode, and low power mode.
  • the power on mode is a mode in which the power potential VDD that can be normally processed is supplied to the PU 20.
  • the power off mode is a mode in which the supply of the power potential VDD is stopped by the PSW 70.
  • the low power mode is a mode in which a power potential VDD that is lower than that of the power-on mode is supplied.
  • FIG. 5A An example of FIG. 5A will be described.
  • the process of transitioning to hibernation in the processor core 30 is started.
  • the storage circuit 31 is backed up.
  • the PMU 60 controls the PSW 70 and cuts off the power supply to the processor core 30 at time t1.
  • the power line 35 spontaneously discharges, and its potential drops to 0V.
  • the leakage current of the processor core 30 in the hibernation state can be significantly reduced, so that the power consumption in the hibernation state (hereinafter, may be referred to as standby power) can be reduced.
  • the PMU 60 controls the PSW 70 and restarts the supply of the power supply potential VDD.
  • the supply of the power supply potential VDD is restarted.
  • the potential of the power line 35 rises and becomes VH1 at time t6.
  • the PMU 60 controls the power supply circuit 10 at time t1, and the potential of the power supply potential M VDD drops to VH2.
  • the potential of the power line 35 eventually becomes VH2.
  • the power supply potential M VDD returns from VH2 to VH1 at time t4, the potential of the power supply line 35 rises and becomes VH1 at time t5.
  • the time (overhead time) required to return from the hibernation state to the normal state is the time required for the potential of the power supply line 35 to rise from 0V to VH1, and the energy required for the return.
  • the overhead is the energy required to charge the load capacity of the power line 35 from 0V to VH1. If the power-off mode period (t1-t4) is sufficiently long, power gating is effective in reducing the standby power of the PU 20. On the other hand, if the period (t1-t4) is short, the power required to return to the normal state is larger than the power that can be reduced by shutting off the power supply, and the effect of power gating cannot be obtained.
  • the voltage scaling operation is performed in the hibernation state, and the power-on mode is changed to the low power-on mode.
  • the PMU 60 controls the power supply circuit 10 and lowers the potential of the power supply potential M VDD to VH2, so that the potential of the power supply line 35 eventually becomes VH2.
  • the PMU 60 controls the PSW 70 to set the power off mode.
  • power can be reduced by shutting off the power of the PU 20 by power gating even if it includes the power consumed to return to the normal state, rather than supplying VH2 to the PU 20. It is a possible period.
  • the potential VH2 is a power supply potential having a size capable of holding data in the circuit MemC1 of the storage circuit 31, and the potential VH3 is a potential at which the data in the circuit MemC1 is lost.
  • the circuit BKC1 is a circuit capable of holding data even during a period in which the power supply is stopped.
  • the PMU 60 has a function of returning the PU 20 to the normal state based on an interrupt request or the like.
  • the PMU 60 controls the power supply circuit 10 to boost the magnitude of M VDD to VH1, and also controls the PSW 70 to restart the supply of VDD of the PU 20.
  • the power-on mode is set. Since the potential of the power supply line 35 stabilizes at time t6, the PU 20 can operate normally after time t6.
  • FIG. 5D shows an example in which there is an interrupt request for returning to the normal operation before the time t3.
  • the power-on mode is set.
  • the PMU 60 controls the power supply circuit 10 to change the magnitude of MVDD to the potential VH1 in the power-on mode.
  • the potential of the power line 35 rises to VH1.
  • the time required to return the potential of the power supply line 35 to VH1 in the hibernation state is changed from the low power supply mode to the power on mode by returning from the power off mode to the power on mode. Longer than returning. Therefore, the PMU 60 has a function of adjusting the timing of the operation of returning the processor core 30 from the hibernation state to the normal state according to the power supply mode. This makes it possible to return the processor core 30 from the hibernation state to the normal state in the shortest time.
  • the transition from the low power supply mode to the power off mode can be performed by measuring the time with the circuit 61 provided in the PMU 60.
  • the PMU 60 starts measuring the time in the circuit 61.
  • a predetermined time elapses after the low power supply mode is set, the PMU 60 shifts to the power off mode.
  • the control signal of the PMU 60 turns off the PSW 70 and cuts off the supply of VDD. In this way, it is possible to shift from the low power supply mode to the power off mode by the interrupt request based on the measurement data of the circuit 61.
  • the power supply mode is the power on mode, and the PMU 60 is in the idle state (step S10).
  • the PMU 60 is in an idle state until the signal SLP is input, and the evacuation sequence is executed with the input of the signal SLP as a trigger (step S11).
  • the PMU 60 outputs a control signal to the clock control circuit 65 and stops the output of the clock signal (step S12).
  • a control signal for saving data is output to the storage circuit 31 (step S13).
  • the data held in the circuit MemC1 is saved in the circuit BKC1 according to the control signal of the PMU 60.
  • the PMU 60 controls the power supply circuit 10 to reduce M VDD.
  • the power supply mode shifts to the low power supply mode (step S14).
  • the PMU 60 controls the built-in circuit 61 and measures the time Ta in the low power supply mode (step S15).
  • the timing for operating the circuit 61 is arbitrary as long as the save sequence is being executed. For example, when the signal SLP is input or when the control signal is output to the clock control circuit 65, data save is started. When, when the data saving is completed, when the control signal is output to the power supply circuit 10, and the like can be mentioned.
  • the PMU 60 After executing the evacuation sequence, the PMU 60 goes into an idle state (step S16), monitors the input of the signal INT, and monitors the time Ta, which is the measurement time of the clock control circuit 65.
  • the process proceeds to the return sequence (step S17).
  • Time Ta is determined whether it exceeds the time set T VS (step S18).
  • PMU60 is, when the time Ta exceeds the time T VS, performs control to shift the power mode to the power off mode (step S19), the idle state is maintained if not exceeded (step S16).
  • the time TVS may be set so that the standby power of the processor core 30 can be reduced by setting the power off mode rather than the low power mode.
  • step S19 the PMU 60 outputs a control signal that causes the PSW 70 to cut off the power supply to the processor core 30.
  • the PMU 60 is in the idle state again (step S20) and monitors the signal INT input (step S21).
  • the PMU 60 executes a return sequence.
  • the PMU60 first shifts from the power-off mode to the power-on mode (step S22).
  • the PMU 60 controls the power supply circuit 10 to output a power supply potential for normal operation.
  • the PMU 60 controls the PSW 70 to restart the supply of VDD to the processor core 30.
  • a control signal is output to the storage circuit 31 to restore the data in the storage circuit 31 (step S23).
  • the storage circuit 31 writes back the data held in the circuit BKC1 to the circuit MemC1 according to the control signal of the PMU 60.
  • the PMU 60 outputs a control signal for outputting the clock signal to the clock control circuit 65 (step S24).
  • the clock control circuit 65 resumes the output of the clock signal according to the control signal of the PMU 60.
  • step S17 When the return sequence is executed from the determination process in step S17, the power-on mode is restored from the low power supply mode, and the potential of the power supply line 35 is stabilized faster than when the return sequence is executed from the determination process in step S21. Can be made to. Therefore, in the PMU 60, when shifting from step S17 to the return sequence, the timing of executing step S23 is earlier than when shifting from step S21 to the return sequence. As a result, the time for returning the processor core 30 from the hibernation state to the normal state can be shortened.
  • the leakage current is reduced by lowering the power potential supplied to the processor core 30 by the voltage scaling operation. , The overhead of processing time and energy to return from hibernation to normal state is suppressed.
  • a power gating operation is performed to suppress the leakage current of the processor core 30 as much as possible. This makes it possible to reduce the power consumption of the PU 20 in the hibernation state without reducing the processing capacity of the PU 20.
  • the processing device (PU) 20 may have a cache 40 and a power switch (PSW) 71.
  • the cache 40 is capable of power gating and voltage scaling, and the power mode of the cache 40 changes in conjunction with the power mode of the PU 20.
  • the PSW 71 is a circuit that controls the supply of the power supply potential M VDD to the cache 40, and is controlled by the PMU 60.
  • the power supply potential input to the cache 40 via the PSW 71 is set to VDD_M.
  • a control signal from the PMU 60 and a gated clock signal from the clock control circuit 65 are input to the cache 40 as in the processor core 30.
  • the cache 40 is a storage device having a function of temporarily storing frequently used data.
  • the cache 40 shown in FIG. 7A has a memory array 41, a peripheral circuit 42, and a control circuit 43.
  • the memory array 41 has a plurality of memory cells 45.
  • the control circuit 43 controls the operation of the cache 40 according to the request of the processor core 30. For example, the write operation and read operation of the memory array 41 are controlled.
  • the peripheral circuit 42 has a function of generating a signal for driving the memory array 41 according to a control signal from the control circuit 43.
  • the memory array 41 has a memory cell 45 that holds data.
  • the memory cell 45 has a circuit MemC2 and a circuit BKC2.
  • the circuit MemC2 is a memory cell to be accessed in normal operation.
  • a memory cell of SRAM Static Random Access Memory
  • the circuit BKC2 is a circuit that can function as a backup circuit of the circuit MemC2 and can hold data for a long period of time even if the power supply is cut off or the clock signal is cut off. By providing such a memory cell 45, it becomes possible to perform power gating of the cache 40.
  • the data of the circuit MemC2 is saved in the BKC2 in the memory cell 45.
  • the data held in the circuit BKC2 is written back to the circuit MemC2, so that the PU 20 can be returned to the state before the power supply is cut off at high speed.
  • the circuit BKC2 of the memory cell 45 also has at least a holding circuit having one transistor (MW2) and one capacitive element (CB2) like the circuit BKC1. That is, the circuit BKC2 also has a holding circuit having a configuration similar to that of a standard DRAM 1T1C type memory cell.
  • the transistor MW2 has an extremely small off current.
  • An OS transistor may be applied to the transistor MW2 in the same manner as the transistor MW1. With such a configuration, the circuit BKC2 can also suppress the fluctuation of the potential of the node FN2 which is electrically suspended, so that the circuit BKC2 can hold the data for a long period of time.
  • the data retention time of the circuit BKC2 is determined by the leakage current of the transistor MW2, the capacitance of the capacitive element CB2, and the like.
  • the circuit BKC2 can be used as a non-volatile storage circuit that does not require a refresh operation.
  • step S13 the data saving operation of the storage circuit 31 and the cache 40 is performed.
  • step S19 the PSW 70 and PSW 71 are controlled to stop the power supply to the processor core 30 and the cache 40.
  • step S22 the PSW 70 and PSW 71 are controlled, and the power supply to the processor core 30 and the cache 40 is restarted.
  • step S23 the data recovery operation of the storage circuit 31 and the cache 40 is performed.
  • FIG. 8 shows a configuration example of the processor core.
  • the processor core 130 shown in FIG. 8 includes a control device 131, a program counter 132, a pipeline register 133, a pipeline register 134, a register file 135, an arithmetic logic unit (ALU) 136, and a data bus 137. Data exchange between the processor core 130 and peripheral circuits such as the PMU and cache is performed via the data bus 137.
  • ALU arithmetic logic unit
  • the control device 131 comprehensively controls the operations of the program counter 132, the pipeline register 133, the pipeline register 134, the register file 135, the ALU 136, and the data bus 137, so that an instruction included in a program such as an input application is included.
  • ALU136 has a function of performing various arithmetic processes such as four-rule operation and logical operation.
  • the program counter 132 is a register having a function of storing the address of the instruction to be executed next.
  • the pipeline register 133 is a register having a function of temporarily storing instruction data.
  • the register file 135 has a plurality of registers including a general-purpose register, and can store data read from the main memory, data obtained as a result of arithmetic processing of ALU136, and the like.
  • the pipeline register 134 is a register having a function of temporarily storing data used for the arithmetic processing of the ALU 136, data obtained by the arithmetic processing of the ALU 136, and the like.
  • the storage circuit 31 of FIG. 4B is used for a register included in the processor core 130.
  • FIG. 9 is a circuit diagram showing an example of the configuration of the storage circuit.
  • the storage circuit 100 shown in FIG. 9 functions as a flip-flop circuit.
  • the input signal of the storage circuit 100 is referred to as signal D, and the output signal is referred to as signal Q.
  • a standard flip-flop circuit can be applied to the circuit MemC1, and for example, a master-slave type FF can be applied.
  • An example of such a configuration is shown in FIG.
  • the FF110 includes transmission gates (TG1, TG2, TG3, TG4, TG5), inverter circuits (INV1, INV2, INV3, INV4), and NAND circuits (NAND1, NAND2).
  • the signal SETT and the signal OSR are control signals output from the PMU 60.
  • the signal OSR and its inverted signal are input to the TG5.
  • the clock signal CLK and its inversion signal are input to the TG1-TG4.
  • One clocked inverter circuit may be provided instead of TG1 and INV1.
  • One clocked NAND circuit may be provided instead of the TG2 and the NAND2.
  • a clocked inverter circuit may be provided instead of the TG3 and the INV3.
  • the TG5 functions as a switch for controlling the conduction state between the output node of the NAND1 and the node NR1.
  • the node NB1 is electrically connected to the input node of the circuit BKC10, and the node NR1 is electrically connected to the output node of the circuit BKC10.
  • the circuit BKC10 shown in FIG. 9 functions as a backup circuit of the FF110.
  • the circuit BKC10 has a circuit RTC10 and a circuit PCC10.
  • the signals (OSG, OSC, OSR) input to the circuit BKC10 are control signals output from the PMU60.
  • the power supply potential VSS is a low power supply potential, and may be, for example, a ground potential (GND) or 0V. Similar to BKC10, the power supply potential VSS and the power supply potential VDD are also input to the FF110. In the storage circuit 100, the supply of VDD is managed by the PMU 60.
  • the circuit RTC10 has a transistor MW1, a transistor MA1, a transistor MR1, a capacitance element CB1, a node FN1 and a node NK1.
  • the circuit RTC10 has a function of holding data, and here, it is composed of a storage circuit having a 3T type gain cell structure.
  • the transistor MW1 is a write transistor and an OS transistor.
  • the transistor MR1 is a read transistor, and the transistor MA1 is an amplification transistor and a read transistor. Data is held at node FN1.
  • Node NK1 is a data input node.
  • Node NR1 is a data output node of circuit RTC10.
  • FIG. 9 shows a configuration example in which the circuit BKC10 reads the data of the latch circuit on the slave side of the FF110 in the retract operation and writes the data held in the return operation back to the latch circuit on the master side.
  • the data to be saved may be the data of the latch circuit on the master side. Further, the data may be returned to the latch circuit on the slave side.
  • the TG5 may be provided in the latch circuit on the slave side.
  • the transistor MR1 and the transistor MA1 of the circuit RTC10 may be n-type or p-type, and the potential of the signal OSR and the level of the power supply potential supplied to the transistor MA1 may be changed depending on the conductive type of the transistor MR1 and the transistor MA1. .. Further, the logic circuit of the FF 110 may be appropriately set. For example, when the transistor MR1 and the transistor MA1 are p-type transistors, NAND1 and INV3 may be exchanged in the master-side latch circuit, and INV2 and NAND2 may be exchanged in the slave-side latch circuit. Further, VDD may be input to the transistor MA1 instead of VSS.
  • the circuit BKC10 Since the circuit BKC10 writes data by voltage, the write power can be suppressed as compared with MRAM which writes by current. Further, since the data is held by the load capacity of the node FN1, there is no limit on the number of times the data can be rewritten as in the flash memory.
  • the energy required for writing data corresponds to the energy associated with the charging and discharging of the electric charge to the capacitive element CB1.
  • the energy required for writing data corresponds to the energy consumed when a current flows through the storage element. Therefore, the circuit BKC10 can reduce the energy consumed by saving the data as compared with the case of using an MRAM or the like in which the current continues to flow during the data writing period. Therefore, by providing the circuit BKC10 in the backup circuit, the BET (break-even point arrival time, Break Even Time) can be shortened as compared with the case where the MRAM is provided. As a result, the opportunity for power gating that can reduce the energy consumed is increased, and the power consumption of the semiconductor device can be reduced.
  • the circuit PCC10 has a transistor MC1 and a transistor MC2.
  • the circuit PCC10 has a function of precharging the node FN1.
  • the circuit PCC10 may not be provided. As will be described later, by providing the circuit PCC10, the data save time of the circuit BKC10 can be shortened.
  • FIG. 10 is a timing chart showing an example of the operation of the storage circuit 100, and shows the waveforms of control signals (signal SLP, signal SETET, clock signal CLK, signal OSG, signal OSC, signal OSR), power supply potential VDD, node. The changes in the potentials of FN1 and node NR1 are shown.
  • the backup period Next, the backup period will be described.
  • the clock signal CLK is stopped.
  • the rewriting of the data of the node NB1 is stopped.
  • the potential level of the node NB1 is a low level (“0”) if the potential of the node NR1 is a high level (“1”), and is high if the potential of the node NR1 is a low level (“0”).
  • the level (“1") During the period when the signal OSC is at a high level, the data of the node NB1 is saved in the node FN1. Specifically, since the transistor MC1 and the transistor MW1 are in the ON state, the node FN1 and the node NB1 are electrically connected.
  • node FN1 By lowering the signal OSG and turning off the transistor MW1, the node FN1 is electrically suspended and the circuit BKC10 is in a data holding state.
  • the potential of node FN1 is high if node NR1 is low level (“0”) and low level if node NR1 is high level (“1”).
  • the voltage scaling operation of PU20 can be performed immediately after lowering the signal OSG. Further, since the node FN1 is precharged to a high level during normal operation by the transistor MC2, the charge transfer of the node FN1 is not accompanied by the data saving operation for setting the node FN1 to a high level. Therefore, the circuit BKC10 can complete the evacuation operation in a short time.
  • the clock signal CLK may be inactive, and in the example of FIG. 10, the potential of the clock signal CLK is set to a low level, but it may be set to a high level.
  • the PMU 60 returns the storage circuit 100 to the power-on mode.
  • the clock signal CLK is set to a high level.
  • the data recovery operation is performed during the period when the signal OSR is at a high level.
  • the potential of the node NR1 is precharged to a high level (“1”).
  • the TG5 is in a high impedance state and the transistor MR1 is in a conductive state.
  • the conduction state of the transistor MA1 is determined by the potential of the node FN1. If the node FN1 is at a high level, the potential of the node NR1 is lowered to a low level (“0”) because the transistor MA1 is in a conductive state. If the node FN1 is at a low level, the potential of the node NR1 is maintained at a high level. That is, the state of the FF 110 is restored to the state before the transition to the hibernation state.
  • high-level data can be written back (Restore) to the node NR1 by the rise of the signal SETT and the signal OSR. Therefore, the storage circuit 100 can shorten the return operation period.
  • FIG. 10 shows an example of returning from the power-off mode to the power-on mode.
  • the period until the potential of the power supply line supplying VDD becomes stable is shortened. In this case, it is preferable that the signal OSR rises faster than when returning from the power off mode.
  • the period from the start of the backup period to the period before the start of the next normal operation period is described as a sleep period.
  • ⁇ Cache An example in which the cache 40 is composed of SRAM will be described below.
  • FIG. 11 shows an example of the configuration of the memory cell of the cache.
  • the memory cell 120 shown in FIG. 11 has a circuit SMC 20 and a circuit BKC 20.
  • the circuit SMC 20 may have a circuit configuration similar to that of a standard SRAM memory cell.
  • the circuit SMC 20 shown in FIG. 11 includes an inverter circuit INV11, an inverter circuit INV12, a transistor M11, and a transistor M12.
  • the circuit BKC20 functions as a backup circuit for the circuit SMC20.
  • the circuit BKC20 includes a transistor MW11, a transistor MW12, a capacitive element CB11, and a capacitive element CB12.
  • the transistors MW11 and MW12 are OS transistors.
  • the circuit BKC20 has two 1T1C type holding circuits, and data is held in the node SN1 and the node SN2, respectively.
  • the holding circuit including the transistor MW11 and the capacitive element CB11 has a function of backing up the data of the node NET1.
  • the holding circuit including the transistor MW12 and the capacitive element CB12 has a function of backing up the data of the node NET2.
  • the memory cell 120 is supplied with the power supply potentials VDDMC and VSS.
  • the memory cell 120 is electrically connected to the wiring (WL, BL, BLB, BRL).
  • a signal SLC is input to the wiring WL.
  • the data signal D and the data signal DB are input to the wiring BL and the wiring BLB, respectively.
  • Data is read out by detecting the potentials of the wiring BL and the wiring BLB.
  • the signal OSS is input to the wiring BRL.
  • the signal OSS is a signal input from the PMU 60.
  • FIG. 12 is an example of a timing chart of the memory cell 120.
  • the PMU 60 In response to the interrupt request, the PMU 60 returns the cache 40 to the normal state.
  • the signal OSS is set to a high level, and the data held in the circuit BKC20 is written back to the circuit SMC20.
  • the PMU 60 performs a voltage scaling operation and a power gating operation, and returns the storage circuit 100 to the power-on mode.
  • the clock signal CLK when the potential of the power supply line that supplies VDD becomes stable, the clock signal CLK is set to a high level.
  • the signal OSS is returned to a low level and the data recovery operation is terminated.
  • the states of the nodes SN1 and SN2 have returned to the state immediately before the hibernation state.
  • the period from the start of the backup period to the period before the start of the next normal operation period is described as the sleep period.
  • the power storage device preferably has a memory.
  • a memory device using an OS transistor can be applied.
  • NOSRAM registered trademark
  • DOSRAM registered trademark
  • NOSRAM is a gain cell type DRAM in which the write transistor of the memory cell is composed of an OS transistor.
  • NOSRAM is an abbreviation for Nonvolatile Oxide Semiconductor RAM. An example of NO SRAM configuration is shown below.
  • FIG. 13A is a block diagram showing a configuration example of NO SRAM.
  • the NO SRAM 220 is provided with power domains 212, 213, and power switches 215 to 217.
  • the power domain 212 is provided with the memory cell array 230, and the power domain 213 is provided with peripheral circuits of the NO SRAM 220.
  • the peripheral circuit includes a control circuit 231 and a row circuit 232 and a column circuit 233.
  • Voltage VDDD, voltage VSSS, voltage VDHW, voltage VDHR, voltage VBG2, clock signal GCLK2, address signal Addless, signal CE, WE, PSE5 are input to the NOSRAM 220 from the outside.
  • the signal CE and the signal WE are a chip enable signal and a write enable signal.
  • the signal PSE5 controls the on / off of the power switches 215 to 217.
  • the power switches 215 to 217 control the inputs of the voltage VDDD, the voltage VDHW, and the voltage VDHR to the power domain 213, respectively.
  • the voltage, signal, etc. input to the NOSRAM 220 are appropriately discarded according to the circuit configuration and operation method of the NOSRAM 220.
  • the NO SRAM 220 may be provided with a power domain that is not power gated, and a power gating control circuit that generates the signal PSE 5 may be provided.
  • the memory cell array 230 has a memory cell 11, a write word line WWL, a read word line RWL, a write bit line WBL, a read bit line RBL, and a source line SL.
  • the memory cell 11 is a 2T1C (two transistors, one capacitance) type gain cell, and has a node SN1, transistors M1, M2, and a capacitance element C1.
  • the transistor M1 is a write transistor and is an OS transistor having a back gate.
  • the back gate of the transistor M1 is electrically connected to the wiring BGL2 that supplies the voltage VBG2.
  • the transistor M2 is a read transistor and is a p-channel type Si transistor.
  • the capacitance element C1 is a holding capacitance that holds the voltage of the node SN1.
  • Voltage VDDD and voltage VSSS are voltages representing data "1" and "0".
  • the high level voltages of the write word line WWL and the read word line RWL are voltage VDHW and voltage VHDR.
  • FIG. 14A shows a configuration example of the memory cell array 230.
  • one source line is supplied by two adjacent rows.
  • the memory cell 11 has no limit on the number of rewrites, data can be rewritten with low energy, and power is not consumed for data retention. Since the transistor M1 is an OS transistor having a minimum off current, the memory cell 11 can hold data for a long time.
  • the circuit configuration of the memory cell 11 is not limited to the circuit configuration of FIG. 13B.
  • the read transistor M2 may be an OS transistor having a back gate or an n-channel Si transistor.
  • the memory cell 11 may be a 3T type gain cell.
  • FIGS. 14B and 14C show an example of a 3T type gain cell.
  • the memory cell 15 shown in FIG. 14B has transistors M3 to M5, a capacitive element C3, and a node SN3.
  • the transistors M3 to M5 are a write transistor, a read transistor, and a selection transistor.
  • the transistor M3 is an OS transistor having a back gate, and the transistors M4 and M5 are p-channel type Si transistors.
  • the transistors M4 and M5 may be composed of an n-channel Si transistor or an OS transistor having a back gate.
  • the three transistors are composed of OS transistors having a back gate.
  • Node SN3 is a holding node.
  • the capacitance element C3 is a holding capacitance for holding the voltage of the node SN3.
  • the holding capacitance may be configured by the gate capacitance of the transistor M4 or the like without intentionally providing the capacitive element C3.
  • the wiring PDL is a wiring that replaces the source line SL, and a fixed voltage, for example, a voltage VDDD is input.
  • the control circuit 231 has a function of controlling the overall operation of the NO SRAM 220. For example, the control circuit 231 logically performs a signal CE and a signal WE to determine whether the access from the outside is a write access or a read access.
  • the line circuit 232 has a function of selecting the write word line WWL and the read word line RWL of the selected line specified by the address signal.
  • the column circuit 233 has a function of writing data to the write bit line WBL of the column designated by the address signal and a function of reading data from the read bit line RBL of the column.
  • DOSRAM is a RAM having a 1T1C type memory cell, and is an abbreviation for Dynamic Oxide Semiconductor RAM.
  • the DOS RAM will be described with reference to FIG.
  • the memory cell 16 of the DOSRAM 341 is electrically connected to the bit line BL1 (or BLB1), the word line WL1, the wiring BGL6, and the PL.
  • the bit line BLB1 is an inverted bit line.
  • the voltages VBG6 and VSSS are input to the wirings BGL6 and PL.
  • It has a transistor M6 and a capacitive element C6.
  • the transistor M6 is an OS transistor having a back gate.
  • the DOSRAM 341 Since the data is rewritten by charging and discharging the capacitance element C6, the DOSRAM 341 has no limitation on the number of rewrites in principle, and the data can be written and read with low energy. Further, since the circuit configuration of the memory cell 16 is simple, it is easy to increase the capacity. Since the write transistor of the memory cell 16 is an OS transistor, the holding time of the DOSRAM 341 is much longer than that of the DRAM. Therefore, the frequency of refreshing can be reduced, or the refreshing operation can be eliminated, so that the power required for the refreshing operation can be reduced.
  • the memory cell array 361 can be stacked on the peripheral circuit 365. This is because the transistor M6 of the memory cell 16 is an OS transistor.
  • a plurality of memory cells 16 are arranged in a matrix in the memory cell array 361, and bit lines BL1, BLB1, word lines WL1, wiring BGL6, and PL are provided according to the arrangement of the memory cells 16.
  • the peripheral circuit 365 is provided with a control circuit, a row circuit, and a column circuit.
  • the line circuit selects the word line WL to be accessed and the like.
  • the column circuit writes and reads data for a bit line pair consisting of BL and BLB.
  • Power switches 371 and 373 are provided for power gating the peripheral circuit 365.
  • the power switches 371 and 373 control the inputs of the voltages VDDD and VDHW6 to the peripheral circuit 365, respectively.
  • the voltage VDHW6 is a high level voltage of the word line WL1.
  • the on / off of the power switches 371 and 373 is controlled by the signal PSE6.
  • the neural network NN can be composed of an input layer ILy, an output layer OLy, and an intermediate layer (hidden layer) HLY.
  • the input layer ILy, the output layer OLy, and the intermediate layer HLy each have one or more neurons (units).
  • the intermediate layer HLy may be one layer or two or more layers.
  • a neural network having two or more intermediate layers HLY can be called DNN (deep neural network), and learning using a deep neural network can also be called deep learning.
  • Input data is input to each neuron in the input layer ILy, output signals of anterior or posterior layer neurons are input to each neuron in the intermediate layer HLy, and output signals of anterior layer neurons are input to each neuron in the output layer OLY.
  • the signal is input.
  • Each neuron may be connected to all neurons in the anterior and posterior layers (fully connected), or may be connected to some neurons.
  • FIG. 16B shows an example of operation by neurons.
  • two neurons in the presheaf layer that output a signal to the neuron N are shown.
  • the output x 1 of the presheaf neuron and the output x 2 of the presheaf neuron are input to the neuron N.
  • the sum of the multiplication result of the output x 1 and the weight w 1 (x 1 w 1 ) and the multiplication result of the output x 2 and the weight w 2 (x 2 w 2 ) is x 1 w 1 + x 2 w 2.
  • the operation by the neuron includes the operation of adding the product of the output of the neuron in the previous layer and the weight, that is, the product-sum operation (x 1 w 1 + x 2 w 2 above ).
  • This product-sum operation may be performed by software using a program or by hardware.
  • a product-sum calculation circuit can be used.
  • the product-sum calculation circuit a digital circuit or an analog circuit may be used.
  • the processing speed can be improved and the power consumption can be reduced by reducing the circuit scale of the product-sum calculation circuit or reducing the number of times of access to the memory.
  • the product-sum calculation circuit may be composed of a transistor (hereinafter, also referred to as Si transistor) containing silicon (single crystal silicon or the like) in the channel forming region, or a transistor (hereinafter, OS) containing an oxide semiconductor in the channel forming region. It may be configured by a transistor). In particular, since the OS transistor has an extremely small off-current, it is suitable as a transistor constituting the memory of the product-sum calculation circuit.
  • the product-sum calculation circuit may be configured by using both the Si transistor and the OS transistor.
  • a configuration example of a semiconductor device having a function of a product-sum calculation circuit will be described.
  • FIG. 17 shows a configuration example of a semiconductor device MAC having a function of performing neural network calculations.
  • the semiconductor device MAC has a function of performing a product-sum calculation of the first data corresponding to the bond strength (weight) between neurons and the second data corresponding to the input data.
  • the first data and the second data can be analog data or multi-valued digital data (discrete data), respectively.
  • the semiconductor device MAC has a function of converting the data obtained by the product-sum operation by the activation function.
  • the semiconductor device MAC includes a cell array CA, a current source circuit CS, a current mirror circuit CM, a circuit WDD, a circuit WLD, a circuit CLD, an offset circuit OFST, and an activation function circuit ACTV.
  • the cell array CA has a plurality of memory cell MCs and a plurality of memory cells MCref.
  • memory cells MC MC [1,1] to [m, n]
  • the cell array CA is m rows and n columns (m, n are integers of 1 or more) and m memory cells MCref (MCref).
  • MCref memory cells MCref
  • a configuration example having [1] to [m]) is shown.
  • the memory cell MC has a function of storing the first data.
  • the memory cell MCref has a function of storing reference data used for the product-sum operation.
  • the reference data can be analog data or multi-valued digital data.
  • the memory cells MC [i, j] (i is an integer of 1 or more and m or less, j is an integer of 1 or more and n or less) are the wiring WL [i], the wiring RW [i], the wiring WD [j], and the wiring BL. It is connected to [j]. Further, the memory cell MCref [i] is connected to the wiring WL [i], the wiring RW [i], the wiring WDref, and the wiring BLref.
  • I MC [i, j] the current flowing between the memory cell MC [i, j] and the wiring BL [ j]
  • I MCref [i] the current flowing between the memory cell MCref [i] and the wiring BLref [i]
  • FIG. 18 shows a specific configuration example of the memory cell MC and the memory cell MCref.
  • FIG. 18 shows memory cells MC [1,1] and [2,1] and memory cells MCref [1] and [2] as typical examples, but the same applies to other memory cells MC and memory cells MCref. Configuration can be used.
  • the memory cell MC and the memory cell MCref have transistors Tr11 and Tr12, and a capacitive element C11, respectively.
  • the transistor Tr11 and the transistor Tr12 are n-channel type transistors will be described.
  • the gate of the transistor Tr11 is connected to the wiring WL, one of the source or drain is connected to the gate of the transistor Tr12 and the first electrode of the capacitive element C11, and the other of the source or drain is connected to the wiring WD.
  • One of the source or drain of the transistor Tr12 is connected to the wiring BL, and the other of the source or drain is connected to the wiring VR.
  • the second electrode of the capacitive element C11 is connected to the wiring RW.
  • the wiring VR is a wiring having a function of supplying a predetermined potential.
  • a low power supply potential ground potential or the like
  • a node connected to one of the source and drain of the transistor Tr11, the gate of the transistor Tr12, and the first electrode of the capacitive element C11 is referred to as a node NM.
  • the node NMs of the memory cells MC [1,1] and [2,1] are referred to as node NMs [1,1] and [2,1], respectively.
  • the memory cell MCref also has the same configuration as the memory cell MC. However, the memory cell MCref is connected to the wiring WDref instead of the wiring WD, and is connected to the wiring BLref instead of the wiring BL. Further, in the memory cells MCref [1] and [2], one of the source and drain of the transistor Tr11, the gate of the transistor Tr12, and the node connected to the first electrode of the capacitive element C11 are connected to the node NMref [1], respectively. , [2].
  • the node NM and the node NMref function as holding nodes for the memory cell MC and the memory cell MCref, respectively.
  • the first data is held in the node NM
  • the reference data is held in the node NMref.
  • currents I MC [1,1] and I MC [2,1] flow from the wiring BL [1] to the transistors Tr12 of the memory cells MC [1,1] and [2,1], respectively.
  • currents I MCref [1] and I MCref [2] flow from the wiring BLref to the transistors Tr12 of the memory cells MCref [1] and [2], respectively.
  • the transistor Tr11 Since the transistor Tr11 has a function of holding the potential of the node NM or the node NMref, it is preferable that the off current of the transistor Tr11 is small. Therefore, it is preferable to use an OS transistor having an extremely small off current as the transistor Tr11. As a result, fluctuations in the potential of the node NM or the node NMref can be suppressed, and the calculation accuracy can be improved. Further, the frequency of the operation of refreshing the potential of the node NM or the node NMref can be suppressed low, and the power consumption can be reduced.
  • the transistor Tr12 is not particularly limited, and for example, a Si transistor or an OS transistor can be used.
  • an OS transistor is used for the transistor Tr12, the transistor Tr12 can be manufactured by using the same manufacturing apparatus as the transistor Tr11, and the manufacturing cost can be suppressed.
  • the transistor Tr12 may be an n-channel type or a p-channel type.
  • the current source circuit CS is connected to the wiring BL [1] to [n] and the wiring BLref.
  • the current source circuit CS has a function of supplying a current to the wiring BL [1] to [n] and the wiring BLref.
  • the current value supplied to the wiring BL [1] to [n] and the current value supplied to the wiring BLref may be different.
  • the current supplied to the current supplied from the current source circuit CS wiring BL [1] to [n] I C, from the current source circuit CS wiring BLref is denoted by I Cref.
  • the current mirror circuit CM has wiring IL [1] to [n] and wiring ILref.
  • the wiring IL [1] to [n] are connected to the wiring BL [1] to [n], respectively, and the wiring ILref is connected to the wiring BLref.
  • the connection points between the wiring IL [1] to [n] and the wiring BL [1] to [n] are referred to as nodes NP [1] to [n].
  • the connection point between the wiring ILref and the wiring BLref is referred to as a node NPref.
  • the current mirror circuit CM has a function to flow a current I CM corresponding to the potential of the node NPref wiring ILref, the ability to flow to the current I CM wiring IL [1] to [n].
  • Figure 17 is discharged current I CM from the wiring BLref to the wiring ILref, wiring BL [1] to the wiring from the [n] IL [1] to [n] to the current I CM is an example to be discharged ..
  • the current flowing in the cell array CA via the wiring BL [1] to [n] from the current mirror circuit CM denoted as I B [1] to [n].
  • the current flowing from the current mirror circuit CM to the cell array CA via the wiring BLref is referred to as IBref.
  • the circuit WDD is connected to the wiring WD [1] to [n] and the wiring WDref.
  • the circuit WDD has a function of supplying the potential corresponding to the first data stored in the memory cell MC to the wirings WD [1] to [n]. Further, the circuit WDD has a function of supplying the potential corresponding to the reference data stored in the memory cell MCref to the wiring WDref.
  • the circuit WLD is connected to the wirings WL [1] to [m].
  • the circuit WLD has a function of supplying a signal for selecting a memory cell MC or a memory cell MCref for writing data to the wirings WL [1] to [m].
  • the circuit CLD is connected to the wirings RW [1] to [m].
  • the circuit CLD has a function of supplying the potential corresponding to the second data to the wirings RW [1] to [m].
  • the offset circuit OFST is connected to the wiring BL [1] to [n] and the wiring OL [1] to [n].
  • the offset circuit OFST has a function of detecting the amount of current flowing from the wiring BL [1] to [n] to the offset circuit OFST and / or the amount of change in the current flowing from the wiring BL [1] to [n] to the offset circuit OFST.
  • the offset circuit OFST has a function of outputting the detection result to the wiring OLs [1] to [n].
  • the offset circuit OFST may output the current corresponding to the detection result to the wiring OL, or may convert the current corresponding to the detection result into a voltage and output it to the wiring OL.
  • the current flowing between the cell array CA and the offset circuit OFST is referred to as I ⁇ [1] to [n].
  • FIG. 19 shows a configuration example of the offset circuit OFST.
  • the offset circuit OFST shown in FIG. 19 has circuits OC [1] to [n]. Further, each of the circuits OC [1] to [n] has a transistor Tr21, a transistor Tr22, a transistor Tr23, a capacitance element C21, and a resistance element R1.
  • the connection relationship of each element is as shown in FIG.
  • the node connected to the first electrode of the capacitance element C21 and the first terminal of the resistance element R1 is referred to as a node Na.
  • a node connected to the second electrode of the capacitive element C21, one of the source or drain of the transistor Tr21, and the gate of the transistor Tr22 is referred to as a node Nb.
  • the wiring VrefL has a function of supplying the potential Vref
  • the wiring VaL has a function of supplying the potential Va
  • the wiring VbL has a function of supplying the potential Vb.
  • the wiring VDDL has a function of supplying the potential VDD
  • the wiring VSSL has a function of supplying the potential VSS.
  • the wiring RST has a function of supplying an electric potential for controlling the conduction state of the transistor Tr21.
  • the source follower circuit is composed of the transistor Tr22, the transistor Tr23, the wiring VDDL, the wiring VSSL, and the wiring VbL.
  • the circuits OC [1] to [n] can be operated in the same manner.
  • the circuits OC [2] to [n] can be operated in the same manner.
  • the transistor Tr21 is in the ON state, and the potential Va is supplied to the node Nb. After that, the transistor Tr21 is turned off.
  • the potential of the node Na changes to a potential corresponding to the second current and the resistance value of the resistance element R1.
  • the transistor Tr21 since the transistor Tr21 is in the off state and the node Nb is in the floating state, the potential of the node Nb changes due to capacitive coupling as the potential of the node Na changes.
  • the change in the potential of the node Na is ⁇ V Na and the capacitive coupling coefficient is 1
  • the potential of the node Nb is Va + ⁇ V Na .
  • the threshold voltage of the transistor Tr 22 is V th
  • the potential Va + ⁇ V Na ⁇ V th is output from the wiring OL [1].
  • the potential ⁇ V Na is determined according to the amount of change from the first current to the second current, the resistance value of the resistance element R1, and the potential Vref.
  • the resistance value and the potential Vref of the resistance element R1 are known, the amount of change in the current flowing from the potential ⁇ V Na to the wiring BL can be obtained.
  • the signal corresponding to the amount of current and / or the amount of change in current detected by the offset circuit OFST as described above is input to the activation function circuit ACTV via the wirings OL [1] to [n].
  • the activation function circuit ACTV is connected to the wiring OL [1] to [n] and the wiring NIL [1] to [n].
  • the activation function circuit ACTV has a function of performing an operation for converting a signal input from the offset circuit OFST according to a predetermined activation function.
  • a sigmoid function, a tanh function, a softmax function, a ReLU function, a threshold function, and the like can be used.
  • the signal converted by the activation function circuit ACTV is output to the wirings NIL [1] to [n] as output data.
  • the product-sum calculation of the first data and the second data can be performed.
  • an operation example of the semiconductor device MAC when performing the product-sum calculation will be described.
  • FIG. 20 shows a timing chart of an operation example of the semiconductor device MAC.
  • 20 shows the wiring WL [1], the wiring WL [2], the wiring WD [1], the wiring WDref, the node NM [1,1], the node NM [2,1], and the node NMref [1] in FIG. , node Nmref [2], wiring RW [1], and changes in potentials of the wiring RW [2], the current I B [1] -I ⁇ [ 1], and shows a transition of the value of the current I Bref ..
  • Current I B [1] -I ⁇ [ 1] the wiring BL [1] from the memory cell MC [1, 1], which corresponds to the sum of the current flowing through the [2,1].
  • the potential of the wiring WL [1] becomes a high level (High), and the potential of the wiring WD [1] is higher than the ground potential (GND) by V PR- V W [1, 1]. Therefore, the potential of the wiring WDref becomes a potential that is V PR larger than the ground potential. Further, the potentials of the wiring RW [1] and the wiring RW [2] become the reference potential (REFP).
  • the potential V W [1,1] is a potential corresponding to the first data stored in the memory cell MC [1,1]. Further, the potential V PR is a potential corresponding to the reference data.
  • the transistor Tr11 possessed by the memory cell MC [1,1] and the memory cell MCref [1] is turned on, the potential of the node NM [2,1] becomes V PR- V W [1,1] , and the node NMref. potential [2] becomes the V PR.
  • the currents I MC [1,1], 0 flowing from the wiring BL [1] to the transistor Tr12 of the memory cell MC [1,1] can be expressed by the following equations.
  • k is a constant determined by the channel length, channel width, mobility, capacitance of the gate insulating film, and the like of the transistor Tr12.
  • V th is the threshold voltage of the transistor Tr12.
  • the potential of the wiring WL [1] becomes low.
  • the transistor Tr11 included in the memory cell MC [1,1] and the memory cell MCref [1] is turned off, and the potentials of the node NM [1,1] and the node NMref [1] are maintained.
  • the transistor Tr11 As described above, it is preferable to use an OS transistor as the transistor Tr11. As a result, the leakage current of the transistor Tr11 can be suppressed, and the potentials of the node NM [1,1] and the node NMref [1] can be accurately maintained.
  • the potential of the wiring WL [2] becomes a high level
  • the potential of the wiring WD [1] becomes a potential V PR- V W [2,1] larger than the ground potential
  • the wiring WDref The potential is V PR larger than the ground potential.
  • the potential V W [2,1] is a potential corresponding to the first data stored in the memory cell MC [2,1].
  • the transistor Tr11 possessed by the memory cell MC [2,1] and the memory cell MCref [2] is turned on, the potential of the node NM [2,1] becomes V PR- V W [2,1] , and the node NMref. potential [2] becomes the V PR.
  • the potential of the wiring WL [2] becomes low level.
  • the transistor Tr11 included in the memory cell MC [2,1] and the memory cell MCref [2] is turned off, and the potentials of the node NM [2,1] and the node NMref [2] are maintained.
  • the first data is stored in the memory cells MC [1,1] and [2,1], and the reference data is stored in the memory cells MCref [1] and [2].
  • the current flowing through the wiring BL [1] and the wiring BLref is considered.
  • a current is supplied to the wiring BLref from the current source circuit CS. Further, the current flowing through the wiring BLref is discharged to the current mirror circuit CM and the memory cells MCref [1] and [2].
  • the current from the current source circuit CS is supplied to the wiring BL [1]. Further, the current flowing through the wiring BL [1] is discharged to the current mirror circuit CM, the memory cells MC [1,1], and [2,1]. Further, a current flows from the wiring BL [1] to the offset circuit OFST.
  • I C -I CM, 0 I MC [1,1], 0 + I MC [2,1], 0 + I ⁇ , 0 (E6)
  • the potential of the wiring RW [1] becomes a potential V X [1] larger than the reference potential.
  • the potential V X [1] is supplied to the respective capacitance elements C11 of the memory cell MC [1,1] and the memory cell MCref [1], and the potential of the gate of the transistor Tr12 rises due to the capacitive coupling.
  • the potential V X [1] is a potential corresponding to the second data supplied to the memory cells MC [1, 1] and the memory cells MCref [1].
  • the amount of change in the potential of the gate of the transistor Tr12 is a value obtained by multiplying the amount of change in the potential of the wiring RW by the capacitive coupling coefficient determined by the configuration of the memory cell.
  • the capacitive coupling coefficient is calculated from the capacitance of the capacitive element C11, the gate capacitance of the transistor Tr12, the parasitic capacitance, and the like.
  • the capacitance coupling coefficient is 1.
  • the potential V X may be determined in consideration of the capacitance coupling coefficient.
  • the currents I MC [1,1], 1 flowing from the wiring BL [1] to the transistor Tr12 of the memory cell MC [1,1] can be expressed by the following equations.
  • the currents I MCref [1] and 1 flowing from the wiring BLref to the transistor Tr12 of the memory cell MCref [1] can be expressed by the following equations.
  • the current flowing through the wiring BL [1] and the wiring BLref is supplied to the wiring BLref from the current source circuit CS. Further, the current flowing through the wiring BLref is discharged to the current mirror circuit CM and the memory cells MCref [1] and [2]. Assuming that the current discharged from the wiring BLref to the current mirror circuit CM is ICM , 1 , the following equation holds.
  • the wiring BL [1], the current I C is supplied from the current source circuit CS. Further, the current flowing through the wiring BL [1] is discharged to the current mirror circuit CM, the memory cells MC [1,1], and [2,1]. Further, a current flows from the wiring BL [1] to the offset circuit OFST. Assuming that the current flowing from the wiring BL [1] to the offset circuit OFST is I ⁇ , 1 , the following equation holds.
  • I C -I CM, 1 I MC [1,1], 1 + I MC [2,1], 1 + I ⁇ , 1 (E10)
  • the differential current ⁇ I ⁇ becomes a value corresponding to the product of the potentials V W [1, 1] and V X [1].
  • the potential of the wiring RW [1] becomes a potential V X [1] larger than the reference potential
  • the potential of the wiring RW [2] becomes a potential V X [2] larger than the reference potential.
  • the potential V X [1] is supplied to the respective capacitance elements C11 of the memory cell MC [1,1] and the memory cell MCref [1], and the node NM [1,1] and the node NMref [1] are coupled by capacitance.
  • the potentials of 1] rise by V X [1] respectively.
  • V X [2] is supplied to the respective capacitance elements C11 of the memory cell MC [2, 1] and the memory cell MCref [2], and the node NM [2, 1] and the node NMref [2] are coupled by capacitance. ] Potential increases by V X [2] respectively.
  • the currents I MC [2,1], 1 flowing from the wiring BL [1] to the transistor Tr12 of the memory cell MC [2,1] can be expressed by the following equations.
  • the currents I MCref [2], 1 flowing from the wiring BLref to the transistor Tr12 of the memory cell MCref [2] can be expressed by the following equations.
  • the wiring BL [1], the current I C is supplied from the current source circuit CS. Further, the current flowing through the wiring BL [1] is discharged to the current mirror circuit CM, the memory cells MC [1,1], and [2,1]. Further, a current flows from the wiring BL [1] to the offset circuit OFST. Assuming that the currents flowing from the wiring BL [1] to the offset circuit OFST are I ⁇ and 2 , the following equation holds.
  • I C -I CM, 2 I MC [1,1], 1 + I MC [2,1], 1 + I ⁇ , 2 (E15)
  • the differential current ⁇ I ⁇ is obtained by adding the product of the potential V W [1, 1] and the potential V X [1] and the product of the potential V W [2, 1] and the potential V X [2]. The value corresponds to the combined result.
  • the differential current ⁇ I ⁇ input to the offset circuit OFST includes the potential V W corresponding to the first data (weight) and the second data (input data). ), It can be calculated from the equation having the term of the product of the potentials V X. That is, by measuring the difference current ⁇ I ⁇ with the offset circuit OFST, the result of the product-sum calculation of the first data and the second data can be obtained.
  • the difference current ⁇ I ⁇ when the number of rows m of the memory cell MC and the memory cell MCref is an arbitrary number i can be expressed by the following equation.
  • the product-sum calculation of the first data and the second data can be performed by using the semiconductor device MAC.
  • the product-sum calculation circuit can be configured with a small number of transistors. Therefore, the circuit scale of the semiconductor device MAC can be reduced.
  • the number of rows m of the memory cell MC corresponds to the number of input data supplied to one neuron
  • the number of columns n of the memory cell MC corresponds to the number of neurons.
  • the number of rows m of the memory cell MC is set to the number of input data supplied from the input layer ILy (the number of neurons of the input layer ILy)
  • the number of columns n of the memory cell MC is the number of neurons of the intermediate layer HL. Can be set to the number of.
  • the structure of the neural network to which the semiconductor device MAC is applied is not particularly limited.
  • the semiconductor device MAC can also be used for a convolutional neural network (CNN), a recurrent neural network (RNN), an autoencoder, a Boltzmann machine (including a restricted Boltzmann machine), and the like.
  • CNN convolutional neural network
  • RNN recurrent neural network
  • autoencoder a Boltzmann machine (including a restricted Boltzmann machine), and the like.
  • the product-sum calculation of the neural network can be performed by using the semiconductor device MAC. Further, by using the memory cell MC and the memory cell MCref shown in FIG. 18 for the cell array CA, it is possible to provide an integrated circuit capable of improving calculation accuracy, reducing power consumption, or reducing the circuit scale. ..
  • FIG. 21A shows a configuration example of the imaging device.
  • the pixel circuits 331 are arranged side by side in a matrix and are electrically connected to the drive circuit 332 (Driver) via the wiring 351.
  • the drive circuit 332 can control the data acquisition operation and the selection operation of the pixel circuit 331.
  • a shift register or the like can be used for the drive circuit 332.
  • the pixel circuit 331 is electrically connected to the read circuit 311 (RC) via the wiring 352.
  • the readout circuit 311 includes a correlated double sampling circuit (CDS circuit) that reduces noise and an A / D converter that converts analog data into digital data.
  • CDS circuit correlated double sampling circuit
  • the read circuit 311 is electrically connected to, for example, a memory.
  • the memory can hold the digital data output from the read circuit 311.
  • the A / D converter of the read circuit 311 outputs binary data for a predetermined number of bits in parallel. Therefore, the A / D converter is connected to the memory cells for the number of bits. For example, when the output of the A / D converter is 8 bits, it is connected to 8 memory cells.
  • FIG. 21B is a circuit diagram illustrating an example of the pixel circuit 331.
  • the pixel circuit 331 can include a photoelectric conversion device 240, a transistor 103, a transistor 104, a transistor 105, a transistor 106, and a capacitive element 108.
  • the capacitance element 108 may not be provided.
  • One electrode (cathode) of the photoelectric conversion device 240 is electrically connected to one of the source and drain of the transistor 103.
  • the other of the source or drain of the transistor 103 is electrically connected to one of the source or drain of the transistor 104.
  • One of the source or drain of the transistor 104 is electrically connected to one electrode of the capacitive element 108.
  • One electrode of the capacitive element 108 is electrically connected to the gate of the transistor 105.
  • One of the source or drain of the transistor 105 is electrically connected to one of the source or drain of the transistor 106.
  • the wiring connecting the source or drain of the transistor 103, the source or drain of the transistor 104, one electrode of the capacitive element 108, and the gate of the transistor 105 is referred to as a node FD.
  • the node FD can function as a charge detector.
  • the other electrode (anode) of the photoelectric conversion device 240 is electrically connected to the wiring 121.
  • the gate of the transistor 103 is electrically connected to the wiring 127.
  • the other of the source or drain of the transistor 104 is electrically connected to the wire 122.
  • the other of the source or drain of the transistor 105 is electrically connected to the wire 123.
  • the gate of the transistor 104 is electrically connected to the wiring 126.
  • the gate of the transistor 106 is electrically connected to the wiring 128.
  • the other electrode of the capacitive element 108 is electrically connected to a reference potential line such as a GND wiring.
  • the other of the source or drain of the transistor 106 is electrically connected to the wiring 352.
  • Wiring 127, 126, 128 can have a function as a signal line for controlling the continuity of each transistor.
  • the wiring 352 can have a function as an output line.
  • Wiring 121, 122, 123 can have a function as a power supply line.
  • the cathode side of the photoelectric conversion device 240 is electrically connected to the transistor 103, and the node FD is reset to a high potential for operation. Therefore, the wiring 122 has a high potential (from the wiring 121). Is also a high potential).
  • FIG. 21B shows a configuration in which the cathode of the photoelectric conversion device 240 is electrically connected to the node FD, but as shown in FIG. 21C, the anode side of the photoelectric conversion device 240 is electrically connected to one of the source and drain of the transistor 103. It may be configured to connect.
  • the wiring 122 since the node FD is reset to a low potential for operation, the wiring 122 has a low potential (a potential lower than that of the wiring 121).
  • the transistor 103 has a function of controlling the potential of the node FD.
  • the transistor 104 has a function of resetting the potential of the node FD.
  • the transistor 105 functions as a source follower circuit, and the potential of the node FD can be output to the wiring 352 as image data.
  • the transistor 106 has a function of selecting a pixel for outputting image data.
  • the OS transistor has a characteristic that the off-current is extremely small.
  • the period during which the electric charge can be held by the node FD can be extremely extended. Therefore, it is possible to apply the global shutter method in which charge accumulation operation is performed simultaneously in all pixels without complicating the circuit configuration and operation method.
  • FIG. 22A is a diagram illustrating the operation method of the rolling shutter system
  • FIG. 22B is a diagram schematically showing the global shutter system.
  • En represents the exposure (accumulation operation) of the nth column (n is a natural number)
  • Rn represents the reading operation of the nth column.
  • FIGS. 22A and 22B the operations from the first row to the Mth row (M is a natural number) are shown.
  • the rolling shutter method is an operation method in which exposure and data reading are performed in sequence, and is a method in which the reading period of one line and the exposure period of another line are overlapped. Since the reading operation is performed immediately after the exposure, imaging can be performed even with a circuit configuration having a relatively short data retention period. However, since a one-frame image is composed of data that are not simultaneously captured, the image is distorted when capturing a moving object.
  • the global shutter method is an operation method in which all pixels are exposed at the same time, data is held in each pixel, and data is read out row by row. Therefore, it is possible to obtain an image without distortion even when imaging a moving object.
  • the rolling shutter method is often used because the charge easily flows out from the charge detection unit.
  • a transistor with a relatively large off-current such as a Si transistor
  • the global shutter method can be easily realized because there is almost no outflow of data potential from the charge detection unit.
  • the imaging device according to one aspect of the present invention can also be operated by the rolling shutter method.
  • the pixel circuit 331 may be configured by arbitrarily combining an OS transistor and a Si transistor. Alternatively, all the transistors may be Si transistors.
  • the transistors 103 and 104 are conductive, and the potential of the wiring 122 is connected to the node FD. "H” is supplied (reset operation).
  • the transistor 104 becomes non-conducting and the supply of the reset potential is cut off. Further, the potential of the node FD decreases according to the operation of the photoelectric conversion device 240 (accumulation operation).
  • the pixel circuit shown in FIG. 21C can be operated according to the timing chart of FIG. 23B. It is assumed that "H” is always supplied to the wirings 121 and 123, and “L” is always supplied to the wirings 122. The basic operation is the same as the description of the timing chart of FIG. 23A above.
  • the transistor may be provided with a back gate.
  • FIG. 24A shows a configuration in which the back gate is electrically connected to the front gate, which has the effect of increasing the on-current.
  • FIG. 24B shows a configuration in which the back gate is electrically connected to a wiring capable of supplying a constant potential, and the threshold voltage of the transistor can be controlled.
  • each transistor can perform an appropriate operation, such as by combining FIGS. 24A and 24B.
  • the pixel circuit may have a transistor without a back gate.
  • FIG. 25 is a diagram illustrating an example of the read circuit 311 connected to the pixel circuit 331, and shows a circuit diagram of the CDS circuit 400 and a block diagram of the A / D converter 410 electrically connected to the CDS circuit 400. ing.
  • the CDS circuit and A / D converter shown in FIG. 25 are examples, and may have other configurations.
  • the CDS circuit 400 includes a resistor 401 for voltage conversion, a capacitance element 402 for capacitance coupling , a transistor 403 for supplying potential V 0 , a transistor 404 for holding the potential supplied to the A / D converter 410, and a capacitance element for holding potential. It can be configured to have 405.
  • the input is electrically connected to the pixel circuit 331 and the output is electrically connected to the comparator circuit (COMP) of the A / D converter 410.
  • COMP comparator circuit
  • the potential of the wiring 352 is V res (the pixel circuit 331 is in the reset state)
  • the potential of the node N (the connection point of the transistors 403 and 404 and the capacitance element 402) is set to V 0 .
  • the potential of the node N becomes V 0 + V data ⁇ V res . Therefore, in the CDS circuit 400, the potential in the reset state can be subtracted from the potential of the imaging data output by the pixel circuit 331, and the noise component can be reduced.
  • the A / D converter 410 can be configured to have a comparator circuit (COMP) and a counter circuit (COUNTER).
  • COMP comparator circuit
  • COUNTER counter circuit
  • the signal potential input from the CDS circuit 400 to the comparator circuit (COMP) and the sweeped reference potential (RAMP) are compared.
  • the counter circuit (COUNTER) operates according to the output of the comparator circuit (COMP), and the digital signal is output to the plurality of wirings 353.
  • FIG. 26A is an example of a cross-sectional view of a laminated body having a layer 502 and a layer 503.
  • the layer 502 has a pixel circuit 331 formed on a silicon substrate.
  • the transistor 103, the transistor 104, the capacitive element 108, and the photoelectric conversion device 240 are shown as a part of the pixel circuit 331.
  • the photoelectric conversion device 240 is a pn junction type photodiode formed on a silicon substrate, and has a p-type region 243 and an n-type region 244.
  • the photoelectric conversion device 240 is an embedded photodiode, and a p-type region 241 provided on the surface side of the n-type region 244 can suppress a dark current and reduce noise.
  • the p-type region 243 may be used as the p-type region 241. It is preferable that the resistance of the p-type region 241 is lower than that of the p-type region 243. Further, it is preferable that the resistance of the n-type region 244 is lower than that of the p-type region 243. Further, in the p-type region 243, the p-type region 241 and the n-type region 244, the p-type region and the n-type region may be exchanged.
  • the transistor 103 and the transistor 104 are transistors formed on a silicon substrate.
  • the transistor 103 and the transistor 104 include a conductive layer that functions as a gate, a source, a drain, and a channel forming region located between the source and the drain formed on the silicon substrate, and a conductive layer and a channel forming region that function as a gate. It has a gate insulating layer provided between the two.
  • the source region and the drain region of the transistor 103 and the transistor 104 are formed by an n-type region.
  • the layer 502 is provided with an insulating layer 242 and an insulating layer 245.
  • the insulating layer 242 has a function as an element separation layer.
  • the insulating layer 245 has a function of suppressing the outflow of carriers.
  • the silicon substrate is provided with a groove for separating pixels, and the insulating layer 245 is provided on the upper surface of the silicon substrate and the groove.
  • the insulating layer 245 By providing the insulating layer 245, it is possible to prevent the carriers generated in the photoelectric conversion device 240 from flowing out to the adjacent pixels.
  • the insulating layer 245 also has a function of suppressing the intrusion of stray light. For example, when the insulating layer 245 has a groove, the intrusion of stray light from adjacent pixels may be suppressed. Therefore, the insulating layer 245 can suppress color mixing.
  • An antireflection film may be provided between the upper surface of the silicon substrate and the insulating layer 245.
  • the element separation layer can be formed by using a LOCOS (LOCOxidation of Silicon) method, an STI (Shallow Trench Isolation) method, or the like.
  • a LOCOS LOCxidation of Silicon
  • STI Shallow Trench Isolation
  • the insulating layer 245 for example, a silicon oxide film, an inorganic insulating film such as silicon nitride, or an organic insulating film such as polyimide or acrylic can be used.
  • the insulating layer 245 may have a multi-layer structure.
  • the n-type region 244 (corresponding to the cathode) of the photoelectric conversion device 240 can also function as either the source or the drain of the transistor 103.
  • the layer 502 is provided with an insulating layer 222, 223, 226, 227, a wiring 121, an electrode 129a, and an electrode 129b.
  • the insulating layer 222 has a function as a protective film.
  • the insulating layers 223 and 227 have functions as an interlayer insulating film and a flattening film.
  • Each of the electrode 129a and the electrode 129b has a function as an electrode of the capacitive element 108.
  • the insulating layer 226 is sandwiched between the electrodes 129a and 129b, and has a function as a dielectric layer of the capacitive element 108.
  • the electrode 129a is electrically connected to the other of the source or drain of the transistor 103 via a plug provided in the insulating layer 223.
  • the wiring 121 has a function as a power supply line.
  • the p-type region 243 (anode) is electrically connected to the wiring 121.
  • a silicon nitride film, a silicon oxide film, an aluminum oxide film, or the like can be used as the protective film.
  • an inorganic insulating film such as a silicon oxide film or an organic insulating film such as an acrylic resin or a polyimide resin can be used.
  • a silicon nitride film, a silicon oxide film, an aluminum oxide film, or the like can be used as the dielectric layer of the capacitive element.
  • the Si transistor shown in FIG. 26A is a planar type having a channel forming region on a silicon substrate.
  • the Si transistor may be of the fin type as shown in FIG. 27A.
  • FIG. 27B shows a cross section (cross section in the channel width direction) of A1-A2 shown in FIG. 27A.
  • the semiconductor layer 545 can be, for example, single crystal silicon (SOI (Silicon on Insulator)) formed on the insulating layer 546 on the silicon substrate 210.
  • SOI Silicon on Insulator
  • Conductors that can be used as wiring, electrodes, and plugs for electrical connections between devices include aluminum, chromium, copper, silver, gold, platinum, tantalum, nickel, titanium, molybdenum, tungsten, and hafnium. , Vanadium, niobium, manganese, magnesium, zirconium, beryllium, indium, ruthenium, iridium, strontium, lanthanum, etc. Etc. may be appropriately selected and used.
  • the conductor is not limited to a single layer, and may be a plurality of layers made of different materials. It may have strontium or the like.
  • Layer 503 is formed on layer 502.
  • Layer 503 includes a light-shielding layer 251, an optical conversion layer 250, and a microlens array 255.
  • the light-shielding layer 251 can suppress the inflow of light to adjacent pixels.
  • a metal layer such as aluminum or tungsten can be used for the light-shielding layer 251. Further, the metal layer and a dielectric film having a function as an antireflection film may be laminated.
  • a color filter can be used for the optical conversion layer 250.
  • a color image can be obtained by assigning colors such as R (red), G (green), B (blue), Y (yellow), C (cyan), and M (magenta) to the color filter for each pixel.
  • a wavelength cut filter is used for the optical conversion layer 250, it can be used as an image pickup device that can obtain images in various wavelength regions.
  • the optical conversion layer 250 uses a filter that blocks light below the wavelength of visible light, it can be used as an infrared imaging device. Further, if the optical conversion layer 250 uses a filter that blocks light having a wavelength of near infrared rays or less, a far infrared ray imaging device can be obtained. Further, if the optical conversion layer 250 uses a filter that blocks light having a wavelength equal to or higher than that of visible light, it can be used as an ultraviolet imaging device.
  • a scintillator is used for the optical conversion layer 250, it can be used as an imaging device for obtaining an image that visualizes the intensity of radiation used in an X-ray imaging device or the like.
  • radiation such as X-rays transmitted through a subject
  • a scintillator When radiation such as X-rays transmitted through a subject is incident on a scintillator, it is converted into light (fluorescence) such as visible light or ultraviolet light by a photoluminescence phenomenon. Then, the image data is acquired by detecting the light with the photoelectric conversion device 240.
  • an image pickup device having the above configuration may be used as a radiation detector or the like.
  • the scintillator contains a substance that absorbs the energy and emits visible light or ultraviolet light when irradiated with radiation such as X-rays and gamma rays.
  • Gd 2 O 2 S Tb
  • Gd 2 O 2 S Pr
  • Gd 2 O 2 S Eu
  • BaFCl Eu
  • NaI, CsI, CaF 2 , BaF 2 , CeF 3 LiF, LiI, ZnO, etc.
  • Those dispersed in resin or ceramics can be used.
  • a microlens array 255 is provided on the optical conversion layer 250. Light passing through the individual lenses of the microlens array 255 passes through the optical conversion layer 250 directly below and irradiates the photoelectric conversion device 240. By providing the microlens array 255, the focused light can be incident on the photoelectric conversion device 240, so that photoelectric conversion can be performed efficiently.
  • the microlens array 255 is preferably formed of a resin or glass having high translucency with respect to visible light.
  • an OS transistor may be used as the transistor 103 and the transistor 104.
  • the laminated structure shown in FIG. 26B has a layer 502 and a layer 503, and the layer 502 has a layer 562 including an element provided on a Si substrate and a layer 563 including an OS transistor.
  • the layer 562 shown in FIG. 26B has a photoelectric conversion device 240 provided on a Si substrate.
  • the Si transistor is not shown in the layer 562 in FIG. 26B
  • the layer 562 may have the transistor 105 as shown in FIG. 28A.
  • the layer 562 may have a transistor 106.
  • the transistor 105, the transistor 106, etc. may be used as an OS transistor and may be provided on the layer 563.
  • the OS transistor Since the OS transistor has an extremely small off current, the charge accumulated in the capacitive element 108 can be retained for a long time.
  • the OS transistor can be provided by stacking with a Si transistor or a photoelectric conversion device 240 provided on a Si substrate. Therefore, the circuit can be integrated. In addition, the area of the photoelectric conversion device 240 can be increased.
  • the OS transistor will be described in detail in FIG.
  • layer 502 has layer 561 in addition to layer 562 and layer 563.
  • the layer 561 is a configuration example in which a pn junction type photodiode having a selenium-based material as a photoelectric conversion layer is used as the photoelectric conversion device 240. It has a layer 566a as one electrode, a layer 566b and 566c as a photoelectric conversion layer, and a layer 566d as the other electrode. Layer 561 can be formed directly on layer 563. When an organic photoconductor is used as the photoelectric conversion device 240 included in the layer 561, the connection form with the transistor is the same.
  • An insulating layer 541 is provided on the transistor 102 and the transistor 103 included in the layer 563.
  • Layer 566a has a region embedded in the insulating layer 541.
  • the layer 562 of FIG. 28B shows an example of having a fin type transistor as a Si transistor.
  • the transistor 105 and the transistor 106 are provided on the layer 562.
  • the laminated structure of the Si transistor and the OS transistor shown in FIGS. 28A and 28B can also be applied to the configuration of the Si transistor and the OS transistor of the processing device (PU) described above.
  • a pixel circuit of an imaging device and a semiconductor device including the above-mentioned processing device can be manufactured on the same silicon substrate. Therefore, for example, the pixel circuit and drive circuit of the image pickup device and the semiconductor device included in the determination system of one aspect of the present invention can be provided on the same chip.
  • the configuration of the determination system of one aspect of the present invention on one chip, for example, the area of the chip can be reduced.
  • the pixel circuit and drive circuit of the image pickup device and the semiconductor device including the processing device (PU) and the like can be manufactured by using the same process, the cost required for manufacturing the chip can be reduced.
  • the configuration of the determination system of one aspect of the present invention on one chip for example, the energy required for transferring an image to the memory circuit or the determination circuit of the semiconductor device can be reduced, and the calculation efficiency is improved. You may be able to.
  • FIG. 29A shows the details of the OS transistor.
  • the OS transistor shown in FIG. 29A has a self-aligned configuration in which an insulating layer is provided on a laminate of an oxide semiconductor layer and a conductive layer, and a groove reaching the semiconductor layer is provided to form a source electrode 705 and a drain electrode 706. is there.
  • the OS transistor may have a channel forming region, a source region 703, and a drain region 704 formed in the oxide semiconductor layer, as well as a gate electrode 701 and a gate insulating film 702. At least the gate insulating film 702 and the gate electrode 701 are provided in the groove. An oxide semiconductor layer 707 may be further provided in the groove.
  • the OS transistor may have a self-aligned configuration in which a source region and a drain region are formed in the semiconductor layer using the gate electrode 701 as a mask.
  • FIG. 29C it may be a non-self-aligned top gate type transistor having a region where the source electrode 705 or the drain electrode 706 and the gate electrode 701 overlap.
  • Transistors 102 and 103 show a structure having a back gate 535, but may have a structure without a back gate.
  • the back gate 535 may be electrically connected to the front gate of the transistor provided opposite to each other as shown in the cross-sectional view of the transistor in the channel width direction shown in FIG. 29D.
  • FIG. 29D shows the transistor of FIG. 21A as an example, but the same applies to transistors having other structures.
  • the back gate 535 may be configured to be able to supply a fixed potential different from that of the front gate.
  • An insulating layer 543 having a function of preventing hydrogen diffusion is provided between the region where the OS transistor is formed and the region where the Si transistor is formed. Hydrogen in the insulating layer provided near the channel forming region of the transistors 105 and 106 terminates the silicon dangling bond. On the other hand, hydrogen in the insulating layer provided near the channel forming region of the transistors 102 and 103 is one of the factors for generating carriers in the oxide semiconductor layer.
  • the insulation layer 543 can improve the reliability of the transistors 105 and 106 by confining hydrogen in one layer. Further, the reliability of the transistors 102 and 103 can be improved by suppressing the diffusion of hydrogen from one layer to the other layer.
  • the insulating layer 543 for example, aluminum oxide, aluminum nitride, gallium oxide, gallium oxide, gallium oxide, yttrium oxide, yttrium oxide, hafnium oxide, hafnium oxide, yttria-stabilized zirconia (YSZ) and the like can be used.
  • aluminum oxide, aluminum nitride, gallium oxide, gallium oxide, gallium oxide, yttrium oxide, yttrium oxide, hafnium oxide, hafnium oxide, yttria-stabilized zirconia (YSZ) and the like can be used.
  • FIG. 30A is a surveillance camera, which has a support base 951, a camera unit 952, a protective cover 953, and the like.
  • the camera unit 952 is provided with a rotation mechanism or the like, and by installing it on the ceiling, it is possible to take an image of the entire surroundings.
  • a camera unit 952 can be used as an image pickup apparatus included in the determination system of one aspect of the present invention. Further, by electrically connecting the camera unit 952 to the semiconductor device of one aspect of the present invention, a suspicious person can be identified from the captured information.
  • the surveillance camera is an idiomatic name and does not limit its use.
  • a device having a function as a surveillance camera is also called a camera or a video camera.
  • FIG. 30B shows an example of an air vehicle.
  • the flying object 6500 shown in FIG. 30B has a propeller 6501, a camera 6502, a battery 6503, and the like, and has a function of autonomously flying.
  • the image data taken by the camera 6502 is stored in the electronic component 6504.
  • the electronic component 6504 can analyze the image data and detect the presence or absence of an obstacle when moving.
  • a plurality of types of image pickup devices may be used.
  • a camera 6502 can be used as an image pickup apparatus included in the determination system of one aspect of the present invention. Further, by electrically connecting the camera 6502 to the semiconductor device of one aspect of the present invention, a suspicious person can be identified from the captured information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Ceramic Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Electromagnetism (AREA)
  • Thin Film Transistor (AREA)

Abstract

判定を行う回路の消費電力を低減する。または判定を行うシステムの精度を向上する。またはセンサ素子により監視する対象物の安全性を高める。または対象物の監視を簡便に行うシステムを提供する。 第1データを解析して第1の値または第2の値が選択される第1の判定を行う機能を有する検出回路、画像の特徴抽出を行う機能を有する第1判定回路および第2判定回路、電源回路、電源管理装置を有し、第1判定により第1の値が選択される場合に、電源管理装置は電源回路から第1判定回路へ電圧を供給する機能を有し、第1判定回路は第1データを解析して第2判定を行う機能を有し、第2判定回路は第2の判定においてイベントの発生が検知された場合には、第1のデータを解析して第3の判定を行う機能を有する半導体装置。

Description

半導体装置および判定システム
 本発明の一態様は、半導体装置に関する。
 なお本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物(コンポジション・オブ・マター)に関するものである。
 なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうるもの全般を指す。よって、トランジスタやダイオードなどの半導体素子や、半導体素子を含む回路は半導体装置である。また、表示装置、発光装置、照明装置、電気光学装置、通信装置および電子機器などは、半導体素子や半導体回路を含む場合がある。よって、表示装置、発光装置、照明装置、電気光学装置、撮像装置、通信装置および電子機器なども、半導体装置と呼ばれる場合がある。
 スマートフォンやタブレット端末などに代表される持ち運びが容易な情報端末の普及が進んでいる。情報端末の普及に伴い、様々な通信規格が制定されている。例えば、第4世代移動通信システム(4G)と呼ばれるLTE−Advanced規格の運用が開始されている。
 近年、IoT(Internet of Things)などの情報技術の発展により、情報端末で扱われるデータ量は増大する傾向にある。また、情報端末などの電子機器に通信速度の向上が求められている。
 IoTなどの様々な情報技術に対応するため、4Gよりも速い通信速度、多くの同時接続、短い遅延時間を実現する第5世代移動通信システム(5G)と呼ばれる新たな通信規格が検討されている。5Gでは、3.7GHz帯、4.5GHz帯、および28GHz帯の通信周波数が使用される。
 5Gに対応する半導体装置は、Siなど1種類の元素を主成分として用いる半導体や、GaとAsなど複数種類の元素を主成分として用いる化合物半導体を用いて作製される。さらに、金属酸化物の一種である酸化物半導体が注目されている。
 酸化物半導体では、単結晶でも非晶質でもない、CAAC(c−axis aligned crystalline)構造およびnc(nanocrystalline)構造が見出されている(非特許文献1および非特許文献2参照)。
 非特許文献1および非特許文献2では、CAAC構造を有する酸化物半導体を用いてトランジスタを作製する技術が開示されている。
 また、半導体装置の消費電力削減の技術として、例えば、パワーゲーティング(PG:Power Gating)、クロックゲーティング(CG:Clock Gating)、ボルテージスケーリング等が知られている。例えば、特許文献1には、DVFS(Dynamic Voltage and Frequency Scaling)手法とPG手法のうち電力削減に有利となる手法を実施することが記載されている。
国際公開第2009/078081号
S.Yamazaki et al.,"SID Symposium Digest of Technical Papers",2012,volume 43,issue 1,p.183−186 S.Yamazaki et al.,"Japanese Journal of Applied Physics",2014,volume 53,Number 4S,p.04ED18−1−04ED18−10
 本発明の一態様は、新規な半導体装置、または新規な半導体装置の動作方法を提供することを課題の一つとする。または、本発明の一態様は、新規な判定システム、または新規な判定システムの動作方法を提供することを課題の一つとする。または、本発明の一態様は、消費電力を削減すること、例えば休止状態の電力を削減することを課題の一つとする。または、本発明の一態様は、休止状態から通常状態へ復帰する処理に要する時間を短縮すること、あるいは、それに要するエネルギーを削減することを課題の一つとする。または、本発明の一態様は、判定を行う回路の消費電力を低減することを課題の一つとする。または、本発明の一態様は、判定を行うシステムの精度を向上することを課題の一つとする。または、本発明の一態様は、センサ素子により監視する対象物の安全性を高めることを課題の一とする。または、本発明の一態様は、対象物の監視を簡便に行うシステムを提供することを課題の一とする。
 なお、複数の課題の記載は、互いの課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全て解決する必要はない。また、列記した以外の課題が、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、これらの課題も、本発明の一態様の課題となり得る。
 本発明の一態様は、検出回路と、第1判定回路と、第2判定回路と、電源回路と、電源管理装置と、を有し、検出回路は、第1のデータを解析して、第1の値または第2の値が選択される第1の判定を行う機能を有し、第1判定回路および第2判定回路は、画像の特徴抽出を行う機能を有し、第1の判定により第1の値が選択される場合に、電源管理装置は、電源回路から第1判定回路へ電圧を供給させる機能を有し、第1判定回路は、第1のデータを解析して第2の判定を行う機能を有し、第2判定回路は、第2の判定においてイベントの発生が検知された場合には、第1のデータを解析して第3の判定を行う機能を有する半導体装置である。
 また上記構成において、第1判定回路は、輪郭抽出を行う機能を有することが好ましい。
 また上記構成において、第1判定回路は、輪郭抽出を行う機能を有し、第2判定回路は、ディープニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、自己符号化器、深層ボルツマンマシン、深層信念ネットワークから選ばれる一以上の手法を実行する機能を有することが好ましい。
 また上記構成において、アンテナを有し、第3の判定の結果を無線通信により送信する機能を有することが好ましい。
 また上記構成において、イベントは、輪郭抽出を用いたヒトの検出であることが好ましい。
 また上記構成において、第1判定回路は、輪郭抽出を用いてヒトの顔認証を行う機能を有することが好ましい。
 または、本発明の一態様は、撮像装置と、検出回路と、処理装置と、第2判定回路と、電源回路と、を有し、処理装置は、第1判定回路と、電源管理装置と、プロセッサコアと、記憶回路と、を有し、プロセッサコアは、第1判定回路へ命令を与える機能を有し、記憶回路は、プロセッサコアにより生成されるデータを保持する機能を有し、撮像装置は、第1のデータを取得する機能を有し、検出回路は、第1のデータを解析して、第1の値または第2の値が選択される第1の判定を行う機能を有し、第1判定回路および第2判定回路は、画像の特徴抽出を行う機能を有し、第1の判定により第1の値が選択される場合に、電源管理装置は、電源回路から第1判定回路へ電圧を供給させる機能を有し、第1判定回路は、第1のデータを解析して第2の判定を行う機能を有し、第2判定回路は、第2の判定においてイベントの発生が検知された場合には、第1のデータを解析して第3の判定を行う機能を有し、撮像装置は、マトリクス状に配置される複数の画素回路を有する判定システムである。
 また上記構成において、記憶回路は、第1のトランジスタと、第1の容量素子と、を有し、第1のトランジスタのソースおよびドレインの一方は、第1の容量素子の一方の電極と電気的に接続され、第1のトランジスタは、チャネル形成領域に酸化物半導体を有することが好ましい。
 また上記構成において、記憶回路は、第1のトランジスタと、第1の容量素子と、を有し、第1のトランジスタのソースおよびドレインの一方は、第1の容量素子の一方の電極と電気的に接続され、第1のトランジスタは、チャネル形成領域に酸化物半導体を有するトランジスタを有し、複数の画素回路のそれぞれは、光電変換デバイスと、第2のトランジスタと、第2の容量素子と、を有し、光電変換デバイスの一方の電極は、第2のトランジスタのソースおよびドレインの一方と電気的に接続され、第2のトランジスタのソースおよびドレインの他方は、第2の容量素子の一方の電極と電気的に接続され、第2のトランジスタは、チャネル形成領域に酸化物半導体を有することが好ましい。
 また上記構成において、第1判定回路は、輪郭抽出を行う機能を有することが好ましい。
 また上記構成において、第1判定回路は、輪郭抽出を行う機能を有し、第2判定回路は、ディープニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、自己符号化器、深層ボルツマンマシン、深層信念ネットワークから選ばれる一以上の手法を実行する機能を有することが好ましい。
 本発明の一態様により、新規な半導体装置、または新規な半導体装置の動作方法を提供することができる。また、本発明の一態様により、新規な判定システム、または新規な判定システムの動作方法を提供することができる。また、本発明の一態様により、消費電力を削減すること、例えば休止状態の電力を削減することができる。また、本発明の一態様により、休止状態から通常状態へ復帰する処理に要する時間を短縮すること、あるいは、それに要するエネルギーを削減することができる。また、本発明の一態様により、判定を行う回路の消費電力を低減することができる。また、本発明の一態様により、判定を行うシステムの精度を向上することができる。また、本発明の一態様により、センサ素子により監視する対象物の安全性を高めることができる。また、本発明の一態様により、対象物の監視を簡便に行うシステムを提供することができる。
 なお、これらの効果の記載は、他の効果の存在を妨げるものではない。また、本発明の一形態は、必ずしも、例示した効果の全てを有する必要はない。また、本発明の一形態について、上記以外の課題、効果、および新規な特徴については、本明細書の記載および図面から自ずと明らかになるものである。
図1は、判定システムの構成例を示すブロック図である。
図2は、判定システムの構成例を示すブロック図である。
図3は、半導体装置の動作例を示すフロー図である。
図4Aおよび図4Bは、半導体装置の構成例を示すブロック図である。
図5A乃至図5Dは、半導体装置の電源管理の動作例を説明する図である。
図6は、半導体装置の電源管理の動作例を示すフローチャートである。
図7Aおよび図7Bは、半導体装置の構成例を示すブロック図である。
図8は、プロセッサコアの構成例を示すブロック図である。
図9は、記憶回路の構成例を示す回路図である。
図10は、記憶回路の動作例を説明するタイミングチャートである。
図11は、キャッシュのメモリセルの構成例を示す回路図である。
図12は、メモリセルの動作例を説明するタイミングチャートである。
図13Aは、NOSRAMの構成例を示す機能ブロック図である。図13Bは、メモリセルの構成例を示す回路図である。
図14Aは、メモリセルアレイの構成例を示す回路図である。図14B、図14Cは、メモリセルの構成例を示す回路図である。
図15Aは、DOSRAMのメモリセルの構成例を示す回路図である。図15Bは、DOSRAMの積層構造例を示す図である。
図16Aおよび図16Bは、ニューラルネットワークの構成例を示す図である。
図17は、半導体装置の構成例を示す図である。
図18は、メモリセルの構成例を示す図である。
図19は、オフセット回路の構成例を示す図である。
図20は、タイミングチャートである。
図21Aは、撮像装置を説明するブロック図である。図21B、図21Cは、画素回路を説明する回路図である。
図22Aは、ローリングシャッタの動作を説明する図である。図22Bは、グローバルシャッタの動作を説明する図である。
図23Aおよび図23Bは、画素回路の動作を説明するタイミングチャートである。
図24Aおよび図24Bは、画素回路を説明する回路図である。
図25は、読み出し回路を説明する回路図およびブロック図である。
図26Aおよび図26Bは、画素を説明する断面図である。
図27A、図27Bおよび図27Cは、Siトランジスタを説明する図である。
図28Aおよび図28Bは、画素を説明する断面図である。
図29A、図29B、図29Cおよび図29Dは、OSトランジスタを説明する図である。
図30Aおよび図30Bは、電子機器の一例を説明する断面図である。
 実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その説明の繰り返しは省略する。
 また、図面等において示す各構成の、位置、大きさ、範囲などは、発明の理解を容易とするため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面等に開示された位置、大きさ、範囲などに限定されない。例えば、実際の製造工程において、エッチングなどの処理によりレジストマスクなどが意図せずに目減りすることがあるが、理解を容易とするために図に反映しないことがある。
 また、上面図(「平面図」ともいう)や斜視図などにおいて、図面をわかりやすくするために、一部の構成要素の記載を省略する場合がある。
 また、本明細書等において「電極」や「配線」の用語は、これらの構成要素を機能的に限定するものではない。例えば、「電極」は「配線」の一部として用いられることがあり、その逆もまた同様である。さらに、「電極」や「配線」の用語は、複数の「電極」や「配線」が一体となって形成されている場合なども含む。
 また、本明細書等において、電気回路における「端子」とは、電流の入力または出力、電圧の入力または出力、もしくは、信号の受信または送信が行なわれる部位を言う。よって、配線または電極の一部が端子として機能する場合がある。
 なお、本明細書等において「上」や「下」の用語は、構成要素の位置関係が直上または直下で、かつ、直接接していることを限定するものではない。例えば、「絶縁層A上の電極B」の表現であれば、絶縁層Aの上に電極Bが直接接して形成されている必要はなく、絶縁層Aと電極Bとの間に他の構成要素を含むものを除外しない。
 また、ソースおよびドレインの機能は、異なる極性のトランジスタを採用する場合や、回路動作において電流の方向が変化する場合など、動作条件などによって互いに入れ替わるため、いずれがソースまたはドレインであるかを限定することが困難である。このため、本明細書においては、ソースおよびドレインの用語は、入れ替えて用いることができるものとする。
 また、本明細書等において、「電気的に接続」には、直接接続している場合と、「何らかの電気的作用を有するもの」を介して接続されている場合が含まれる。ここで、「何らかの電気的作用を有するもの」は、接続対象間での電気信号の授受を可能とするものであれば、特に制限を受けない。よって、「電気的に接続する」と表現される場合であっても、現実の回路においては、物理的な接続部分がなく、配線が延在しているだけの場合もある。
 また、本明細書などにおいて、「平行」とは、例えば、二つの直線が−10°以上10°以下の角度で配置されている状態をいう。従って、−5°以上5°以下の場合も含まれる。また、「垂直」および「直交」とは、例えば、二つの直線が80°以上100°以下の角度で配置されている状態をいう。従って、85°以上95°以下の場合も含まれる。
 なお、本明細書などにおいて、計数値および計量値に関して「同一」、「同じ」、「等しい」または「均一」などと言う場合は、明示されている場合を除き、プラスマイナス20%の誤差を含むものとする。
 また、電圧は、ある電位と、基準の電位(例えば接地電位またはソース電位)との電位差のことを示す場合が多い。よって、電圧と電位は互いに言い換えることが可能な場合が多い。本明細書などでは、特段の明示が無いかぎり、電圧と電位を言い換えることができるものとする。
 なお、「半導体」と表記した場合でも、例えば、導電性が十分低い場合は「絶縁体」としての特性を有する。よって、「半導体」を「絶縁体」に置き換えて用いることも可能である。この場合、「半導体」と「絶縁体」の境界は曖昧であり、両者の厳密な区別は難しい。したがって、本明細書に記載の「半導体」と「絶縁体」は、互いに読み換えることができる場合がある。
 また、「半導体」と表記した場合でも、例えば、導電性が十分高い場合は「導電体」としての特性を有する。よって、「半導体」を「導電体」に置き換えて用いることも可能である。この場合、「半導体」と「導電体」の境界は曖昧であり、両者の厳密な区別は難しい。したがって、本明細書に記載の「半導体」と「導電体」は、互いに読み換えることができる場合がある。
 なお、本明細書等における「第1」、「第2」等の序数詞は、構成要素の混同を避けるために付すものであり、工程順または積層順など、なんらかの順番や順位を示すものではない。また、本明細書等において序数詞が付されていない用語であっても、構成要素の混同を避けるため、特許請求の範囲において序数詞が付される場合がある。また、本明細書等において序数詞が付されている用語であっても、特許請求の範囲において異なる序数詞が付される場合がある。また、本明細書等において序数詞が付されている用語であっても、特許請求の範囲などにおいて序数詞を省略する場合がある。
 なお、本明細書等において、トランジスタの「オン状態」とは、トランジスタのソースとドレインが電気的に短絡しているとみなせる状態(「導通状態」ともいう。)をいう。また、トランジスタの「オフ状態」とは、トランジスタのソースとドレインが電気的に遮断しているとみなせる状態(「非導通状態」ともいう。)をいう。
 また、本明細書等において、「オン電流」とは、トランジスタがオン状態の時にソースとドレイン間に流れる電流をいう場合がある。また、「オフ電流」とは、トランジスタがオフ状態である時にソースとドレイン間に流れる電流をいう場合がある。
 また、本明細書等において、高電源電位(以下、「電源電位VDD」、「VDD」、「H電位」、または「H」ともいう)とは、低電源電位(以下、「電源電位VSS」、「VSS」、「L電位」、または「L」ともいう)よりも高い電位の電源電位を示す。また、VSSとは、VDDよりも低い電位の電源電位を示す。また、接地電位(以下、単に「GND」、または「GND電位」ともいう)をVDDまたはVSSとして用いることもできる。例えばVDDが接地電位の場合には、VSSは接地電位より低い電位であり、VSSが接地電位の場合には、VDDは接地電位より高い電位である。
 また、本明細書等において、ゲートとは、ゲート電極およびゲート配線の一部または全部のことをいう。ゲート配線とは、少なくとも一つのトランジスタのゲート電極と、別の電極や別の配線とを電気的に接続させるための配線のことをいう。
 また、本明細書等において、ソースとは、ソース領域、ソース電極、およびソース配線の一部または全部のことをいう。ソース領域とは、半導体層のうち、抵抗率が一定値以下の領域のことをいう。ソース電極とは、ソース領域に接続される部分の導電層のことをいう。ソース配線とは、少なくとも一つのトランジスタのソース電極と、別の電極や別の配線とを電気的に接続させるための配線のことをいう。
 また、本明細書等において、ドレインとは、ドレイン領域、ドレイン電極、及びドレイン配線の一部または全部のことをいう。ドレイン領域とは、半導体層のうち、抵抗率が一定値以下の領域のことをいう。ドレイン電極とは、ドレイン領域に接続される部分の導電層のことをいう。ドレイン配線とは、少なくとも一つのトランジスタのドレイン電極と、別の電極や別の配線とを電気的に接続させるための配線のことをいう。
 また、図面などにおいて、配線および電極などの電位をわかりやすくするため、配線および電極などに隣接してH電位を示す“H”、またはL電位を示す“L”を付記する場合がある。また、電位変化が生じた配線および電極などには、“H”または“L”を囲み文字で付記する場合がある。また、トランジスタがオフ状態である場合、当該トランジスタに重ねて“×”記号を付記する場合がある。
 なお端子は、複数の端子の集合体を指す場合がある。複数の端子の集合体が有するそれぞれの端子には例えば独立した信号が与えられ、それぞれの端子に一以上の配線が電気的に接続される。
 トランジスタは、ゲート、ソース、およびドレインと呼ばれる3つの端子(ノード)を有する。ゲートは、トランジスタの導通状態を制御する制御端子として機能する端子である。ソースまたはドレインとして機能する一対の入出力端子(ノード)は、トランジスタの型及び各端子(ノード)に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。一般的に、n型トランジスタでは、低い電位が与えられるノードがソースと呼ばれ、高い電位が与えられるノードがドレインと呼ばれる。逆に、p型トランジスタでは、低い電位が与えられるノードがドレインと呼ばれ、高い電位が与えられるノードがソースと呼ばれる。本明細書では、ゲート以外の2つの端子(ノード)を第1端子(ノード)、第2端子(ノード)と呼ぶ場合がある。
 本明細書では、回路構成やその動作の理解を容易にするため、トランジスタの2つの入出力端子(ノード)の一方をソースに、他方をドレインに限定して説明する場合がある。もちろん、駆動方法によっては、トランジスタの3つの端子に印加される電位の大小関係が変化し、ソースとドレインが入れ替わる場合がある。したがって、本発明の一態様において、トランジスタのソースとドレインの区別は、明細書および図面での記載に限定されるものではない。
 本明細書等において、能動素子(例えば、トランジスタ、ダイオードなど)、受動素子(例えば、容量素子、抵抗素子など)などが有するすべての端子について、その接続先を特定しなくても、当業者であれば、発明の一態様を構成することは可能な場合がある。つまり、接続先を特定しなくても、発明の一態様が明確であると言える。そして、接続先が特定されている態様が、本明細書等に記載されている場合、接続先が特定されていない発明の一態様が、本明細書等に記載されていると判断することが可能な場合がある。特に、端子の接続先が複数のケース考えられる場合には、その端子の接続先を特定の箇所に限定する必要はない。したがって、能動素子(トランジスタ、ダイオードなど)、受動素子(容量素子、抵抗素子など)などが有する一部の端子についてのみ、その接続先を特定することによって、発明の一態様を構成することが可能な場合がある。
 本明細書等において、ある回路について、少なくとも接続先を特定すれば、当業者であれば、発明を特定することが可能な場合がある。または、ある回路について、少なくとも機能を特定すれば、当業者であれば、発明を特定することが可能な場合がある。つまり、機能が特定できれば、発明の態様が明確であると言える。そして、機能が特定された発明の一態様が、本明細書等に記載されていると判断することが可能な場合がある。したがって、ある回路について、機能を特定しなくても接続先を特定すれば、発明の一態様が開示されているものであり、発明の一態様を構成することが可能である。または、ある回路について、接続先を特定しなくても、機能を特定することで、発明の一態様が開示されているものであり、発明の一態様を構成することが可能である。
(実施の形態1)
 本実施の形態では、本発明の一態様である半導体装置、および半導体装置の適用例について説明する。
<半導体装置の構成例>
 以下に本発明の一態様の判定システムの一例を示す。本発明の一態様の判定システムは、半導体装置を有する。また本発明の一態様の判定システムは、半導体装置に加えて撮像装置を有することが好ましい。本発明の一態様の半導体装置は、処理装置を有する。本発明の一態様の処理装置は、パワーゲーティング動作によりその一部の回路の電源をオフモードにする機能を有する。オフモードとなった回路の電源は割り込み要求に従い、オンモードに復帰することができる。
 図1には半導体装置と、撮像装置等の装置とを有する判定システムの構成例を示す。図1に示す半導体装置700は、撮像装置601に電気的に接続される。半導体装置700は、検出回路92、処理装置(PU:Processing Unit)20および判定回路91を有する。PU20は予備判定回路80を有する。判定回路91は、ニューラルネットワークを用いた演算を行う機能を有する。なお、予備判定回路80を第1判定回路、判定回路91を第2判定回路とそれぞれ呼ぶ場合がある。
 撮像装置601は、可視光を撮像する機能を有する。また撮像装置601は赤外光を撮像する機能を有することが好ましい。
 撮像装置601の撮像時に、光源を準備し、光源を被写体に照射してもよい。
 また図1に示す構成例は表示装置602を有する。表示装置602は撮像装置601と電気的に接続される。表示装置602は、撮像装置601により撮像された映像を表示する機能を有する。表示装置602は例えば、表示部、および表示部を制御する駆動回路を有する。
 また図1に示す構成例は端末603を有する。半導体装置700は、端末603と無線通信を行う機能を有することが好ましい。半導体装置700は例えば、無線通信のためのアンテナを有する。
 半導体装置700は、検出回路92、予備判定回路80、判定回路91、の順に段階的に解析を行うことができる。段階を経るほど、解析の精度が向上する。解析を行う段階を増やすほど、判断の精度を向上させることができる。
 一方、解析の精度が向上するほど演算回路の規模が増大し、半導体装置700の消費電力が増大する場合がある。よって、検出回路92または予備判定回路80において、解析が充分であると判断される場合には、次の段階に進まなくてもよい。段階が少ない方が半導体装置700の消費電力を、より低減することができる。
 本発明の一態様の半導体装置は、異常なイベントが発生したか否かを判断する機能を有する。また本発明の一態様の半導体装置において、判断は段階的に行われることが好ましい。この場合、初期の段階においてはイベントの発生の有無のみを判断し、発生したイベントが異常か否かの判断を行わなくてもよい。
 検出回路92には、撮像装置601の撮像データが与えられる。検出回路92は、二値分類を行う機能を有する。より具体的には、検出回路92は与えられるデータを解析し、イベントが発生したか否かを判断する機能を有する。また検出回路92は例えば、発生したイベントが異常か否かの判断は行わない。検出回路92は例えば、撮像データを解析し、第1の判定を行う。第1の判定は二値分類である。所定の基準を超えた場合に第1の値を選択し、超えない場合には第2の値を選択する。ここで所定の基準を超える、とは例えば撮像データを解析し、結果を数値化し、得られる数値が基準を超えることを指す。あるいは例えば、撮像データを解析し、イベントが発生したと判断されることを指す。検出回路92が行う第1の判定により、第1の値が選択される場合は、信号INTがPU20に与えられ、次のステップとして、撮像データは予備判定回路80において解析される。
 ここで一例として、撮像装置601を不審者の判別に用いる場合を考える。このような場合は例えば、撮像された映像に人物と推測される像が検知されれば「イベントが発生した」と判断してもよい。このとき、検出回路92においてイベントが発生した場合でも、撮像された人物が不審者であるとは限らない。イベントは簡易的な事象であっても構わない。例えばイベントを「被写体の移動を検知」としてもよい。あるいは例えばイベントを「被写体の検知」としてもよい。あるいは例えばイベントを「輝度の顕著な変化」としてもよい。
 検出回路92は、後述する予備判定回路80および判定回路91における演算よりも簡易的な演算を行う。例えば検出回路92は、撮像データの空間的な輝度分布を解析し、被写体の検知を行う。あるいは例えば検出回路92は、しきい値を設定し、得られるデータが該しきい値を超える場合はイベントが発生したと判断する。
 検出回路92は、イベントの発生に伴い信号INTをPU20に与える機能を有する。信号INTは割り込み処理を要求する信号である。PU20においてオフモードとなった回路、例えばプロセッサコアなどの回路の電源は割り込み要求に従い、オンモードに復帰することができる。その後、PU20は所望の命令を実行し、PU20が有する予備判定回路80において、異常なイベントが発生したか否かの判定を行う。具体的には例えば、予備判定回路80は撮像データの解析を行い、不審者が映っているか否かの判断を行う。
 PU20は予備判定回路80における解析を行わない場合には、パワーゲーティング動作によりその消費電力を大幅に低減することができる。
 PU20は命令を実行する機能を有する回路である。PU20の詳細な構成については後述する。
 なお、予備判定回路80は、被写体が不審者であるか否かの判定を行わず、被写体が「ヒト」であるか否かの判断のみを行ってもよい。そのような場合には、判定回路91において、被写体が不審者であるか否かの判定を行えばよい。
 予備判定回路80は例えば、被写体の輪郭抽出を行い、ヒトを検出する。輪郭抽出の手法として例えば、空間的な輝度の比較を用いることができる。具体的には例えば、HoG(Histogram of Oriented Gradient)とSVM(Support Vector Machine)を用いた解析を行うことができる。
 また予備判定回路80は例えば、被写体の時間的な変化、より具体的には例えば被写体のフレーム毎の変化を解析してもよい。被写体の時間的な変化を解析することにより、ヒトの動作が不審であるか否かの推察を行ってもよい。
 予備判定回路80は、判定回路91よりも低い消費電力で解析を行うことが好ましい。予備判定回路80は、判定回路91よりも規模の小さい演算を行うことが好ましい。予備判定回路80は、判定回路91よりも短い時間で演算を行うことが好ましい。
 予備判定回路80がニューラルネットワークを用いる場合には、判定回路91よりも演算の規模の小さい演算を行うことが好ましい。例えば、予備判定回路80および判定回路91がともに畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)を行う場合には、予備判定回路80に用いる中間層の層数は、判定回路91に用いる中間層の層数よりも小さい。
 予備判定回路80において、撮像データ、あるいは撮像データが変換されたデータが解析され、第2の判定が行われる。第2の判定において、所定の基準を超えた場合には、次のステップとして、判定回路91において撮像データ、あるいは撮像データが変換されたデータが解析されることが好ましい。より具体的には例えば、第2の判定において異常なイベントが発生したと判定された場合には、判定の精度を向上させるために、さらに判定回路91において解析を行い、異常なイベントが発生したか否かの判定を行うことが好ましい。判定回路91は例えば、ニューラルネットワークを用いた演算を行う機能を有する。
 予備判定回路80で判定を行った後、判定回路91でさらに詳細な解析を行うことで判定の精度を向上させることができる。また、予備判定回路80であらかじめ判定を行い、異常なイベントが発生しなかったと判断された場合には、判定回路91における演算を行う必要がないため、半導体装置700の消費電力を低減することができる。
 判定回路91は、予備判定回路80よりも精度の高い演算を行うことができる。判定回路91は人工知能(Artificial Intelligence:AI)を用いた解析を行うことが好ましい。
 判定回路91は、ディープニューラルネットワーク(DNN)、畳み込みニューラルネットワーク(CNN)、再帰型ニューラルネットワーク(RNN)、自己符号化器、深層ボルツマンマシン(DBM)、深層信念ネットワーク(DBN)等から選ばれる一の手法、または二以上を組み合わせた手法を実行し、撮像データの解析を行うことが好ましい。より具体的には判定回路91において、画像の特徴抽出にCNNを用いることができる。
 また判定回路91において、CNN等を用いた画像の特徴抽出を行う前に、画像の解像度を高める処理や、白黒画像のカラー化処理などを行ってもよい。カラー化の手法として例えば、敵対的生成ネットワーク(GAN)と呼ばれる手法を用いてもよい。
 判定回路91において、異常なイベントが発生したと判定された場合には、半導体装置700は、無線通信により端末603に、異常を知らせる信号を与える。また、異常を知らせる信号とともに、異常なイベントが発生したと判定された画像データを送信してもよい。この際に、解像度を高める処理や、カラー化処理を行った画像データを送信してもよい。
 図2を参照して、半導体装置の構成例を説明する。図1に示す半導体装置700は、電源回路10、PU20、判定回路91および検出回路92を有する。半導体装置700は撮像装置601に電気的に接続される。
 PU20は命令を実行する機能を有する回路である。PU20は、1つのチップに集積された複数の機能回路を有する。PU20は、プロセッサコア30、電源管理装置(PMU)60、クロック制御回路65、パワースイッチ(PSW)70、予備判定回路80、メモリ81、回路82、インターフェース88およびバスライン89を有する。
 またPU20はキャッシュ40、およびパワースイッチ(PSW)71を有してもよい。キャッシュ40およびPSW71の詳細については、後述する。
 プロセッサコア30、PMU60、キャッシュ40、PSW70、PSW71、予備判定回路80、メモリ81、回路82およびインターフェース88はバスライン89を介して電気的に接続される。バスライン89を介して各回路は、信号のやり取りを行うことができる。プロセッサコア30は例えば、予備判定回路80に命令を与える機能を有する。
 メモリ81は、撮像装置601からPU20に与えられる撮像データを保持する機能を有する。メモリ81として、後述するOSトランジスタを用いて構成されたメモリを用いてもよい。
 インターフェース88は、PU20の外部の機器との信号のやり取りを行う機能を有する。
 インターフェース88は、検出回路92から与えられる割り込み信号INTを、バスライン89を介してプロセッサコア30およびPMU60に与える機能を有する。
 またインターフェース88はバスライン89を介してプロセッサコア30等からの信号を受信し、受信した信号に基づき、判定回路91に制御信号として信号OU1を与える機能を有する。また判定回路91は判定結果として信号IN1をインターフェース88に与える機能を有する。
 回路82は例えば、アナログ−デジタル変換回路(以下、AD変換回路)を有する。また回路82は、無線通信を行うための回路を有してもよい。無線通信を行うための回路として例えば、変調回路、復調回路等が挙げられる。
 図2には、電源回路10が、PU20と異なるチップに設けられている例を示している。電源回路10は、PU20に電源電位MVDDを入力する機能を有する。クロック制御回路65には、外部から基準クロック信号CLKが与えられる。クロック制御回路65は、PU20が有する各回路にクロック信号を与える機能を有する。また、外部からインターフェース88へ、割り込み処理を要求する割り込み信号である信号INTが入力されることにより、復帰シーケンスを実行することができる。PMU60は、制御信号を生成し、電源回路10に与える機能を有する。
 本発明の一態様の半導体装置において、処理装置が演算回路等で扱えるビット数は例えば8ビット、16ビット、32ビット、64ビットなどとすることができる。
 クロック制御回路65は、基準クロック信号CLKが入力され、ゲーテッドクロック信号を生成し、出力する機能を有する。
 撮像装置601において撮像される撮像データは例えば、アナログデータである。撮像装置601がAD変換回路を有する場合には、撮像装置601により撮像されたアナログデータはAD変換回路により変換された後、半導体装置700に与えられることが好ましい。
 また、撮像装置601において撮像されたアナログデータがデジタルデータに変換されずに半導体装置700に与えられてもよい。その場合には例えば、半導体装置700は回路82が有するAD変換回路を用いて、データの変換を行ってもよい。
 検出回路92には例えばAD変換回路により変換されたデジタルデータが与えられる。あるいは検出回路92がアナログデータを解析する機能を有してもよい。
 また、予備判定回路80には例えばAD変換回路により変換されたデジタルデータが与えられる。あるいは予備判定回路80がアナログデータを解析する機能を有してもよい。
 また、判定回路91には例えばAD変換回路により変換されたデジタルデータが与えられる。あるいは判定回路91がアナログデータを解析する機能を有してもよい。
<半導体装置の動作例>
 図3に示すフローチャートを用いて、本発明の一態様の半導体装置の動作例を説明する。
 ステップS000において、処理を開始する。
 ステップS001において、検出回路92に撮像装置601の撮像データが与えられる。撮像データは例えば、監視を行う場所の静止画の画像、あるいは動画の映像である。
 ステップS002において、検出回路92は撮像データの解析を行う。解析の結果、検出回路92が「イベントが発生した」と判断した場合にはステップS003へ進む。「イベントは発生していない」と判断した場合にはステップS001へ戻る。ここでイベントの発生とは例えば、「ヒト」が検知される場合、あるいはさらに簡易的な事象が生じる場合である。簡易的な事象とは例えば前述した「被写体の移動を検知」、「被写体の検知」、「輝度の顕著な変化」等である。
 ステップS003において、検出回路92から信号INTがPU20に与えられ、PU20は復帰シーケンスを実行する。PU20の復帰後、撮像装置601の撮像データ、あるいは撮像装置601の撮像データに処理を加えたデータがPU20に与えられる。撮像データに加える処理とは例えば、信号の増幅、信号のアナログからデジタルへの変換処理、あるいはデジタルからアナログへの変換処理、信号の圧縮、信号の復元、等の処理から選ばれる一、あるいは複数の組み合わせを指す。
 ステップS004において、PU20が有する予備判定回路80が撮像データの解析を行う。撮像データの解析の一例としては例えば、HoGとSVMを用いた輪郭抽出による「ヒト」の検出を指す。
 ステップS005において、ステップS004の解析の結果、予備判定回路80が「イベントが発生した」と判断した場合には、ステップS006へ進む。「イベントは発生していない」と判断した場合には、ステップS009へ進む。
 ここで、予備判定回路80は、イベントの発生の有無のみでなく、発生したイベントが異常か否か、の判断を行ってもよい。例えば、輪郭抽出により「ヒト」を検出した後、検出された「ヒト」の顔認証を行ってもよい。
 ステップS009において、PU20が休止状態へ移行する。その後、ステップS001に戻る。
 ステップS006において、撮像装置601の撮像データ、あるいは撮像装置601の撮像データに処理を加えたデータが判定回路91に与えられ、判定回路91は、撮像データの解析を行う。具体的には例えば、CNNを用いた特徴抽出を行い、「ヒト」の顔の認識を行う。その後、認識された顔をデータベースと照合し、危険人物か否かを判断する。データベースは例えば、PU20または判定回路91が有する。あるいはデータベースは外部のサーバが有してもよい。外部のサーバとPU20は例えば、無線により通信を行い、サーバとPU20との間でデータの転送を行うことが好ましい。
 ステップS007において、ステップS006の解析の結果、判定回路91が異常なイベントが発生したと判断した場合には、ステップS008へ進む。異常なイベントは発生していないと判断した場合には、ステップS009へ進む。ここで異常なイベントの発生とは例えば、予期せぬ被写体が検出される場合を指す。あるいは異常なイベントの発生とは例えば、あらかじめ登録されたデータベースと一致する、あるいは一致する可能性が高い物体、被写体、ヒト等が検出される場合を指す。あるいは異常なイベントとは例えば、危険と判断される物体、被写体、ヒト等が検出される場合を指す。あるいは異常なイベントとは例えば、撮像データの解析の結果、認識された「ヒト」の顔が危険人物と一致する可能性が高いと判定回路91が判断することを指す。
 ステップS008において、半導体装置700は端末603に異常を知らせる信号を与える。ここで、半導体装置700は、異常を知らせる信号に加えて、危険人物と一致する可能性が高いと判断された「ヒト」の顔の画像を端末603に与えてもよい。
 以下に、プロセッサコア、記憶回路およびキャッシュについて詳述する。
<プロセッサコア30、記憶回路31>
 図4Aにはプロセッサコア30の構成の一例を示す。プロセッサコア30は、命令を処理することができる機能を有する回路であり、演算処理回路と呼ぶことが可能である。記憶回路31、および複数の組み合わせ回路32等を有しており、これらにより、各種の機能回路が構成されている。例えば、記憶回路31は、レジスタに含まれる。図4A等において、記憶回路31の入力信号を信号D、出力信号を信号Qと記載する。
 図4Bに示すように、記憶回路31は、回路MemC1および回路BKC1を有する。回路MemC1は、プロセッサコア30が生成したデータを保持する機能を有し、例えば、フリップフロップ回路(FF)、ラッチ回路等で構成することができる。回路BKC1は、回路MemC1のバックアップ回路として機能することができ、電源が遮断されていても、またはクロック信号が遮断されていても長期間データを保持することが可能な回路である。このような記憶回路31を有することで、プロセッサコア30のパワーゲーティングを行うことが可能となる。電源を遮断する前に、記憶回路31において、回路MemC1のデータを回路BKC1に退避しておくことで、電源遮断時のプロセッサコア30の状態を保持することができるからである。電源供給が再開されると、回路BKC1で保持されているデータが回路MemC1に書き込まれるので、プロセッサコア30を電源遮断時の状態に復帰することができる。よって、電源供給の再開後、PU20は直ちに通常処理動作を行うことができる。
 回路BKC1は、1のトランジスタ(MW1)および1の容量素子(CB1)を有する保持回路を少なくとも有する。図4Bに示す保持回路は、標準的なDRAM(ダイナミックランダムアクセスメモリ)の1T1C(1トランジスタ1容量素子)型メモリセルと同様な回路構成を有しており、書き込み、読み出し動作も同様に行うことができる。トランジスタMW1の導通状態を制御することで、容量素子CB1の充電、放電が制御される。トランジスタMW1をオフ状態とすることで、ノードFN1は電気的に浮遊状態となる。トランジスタMW1のオフ状態におけるドレイン電流(オフ電流)を極めて小さくすることで、ノードFN1の電位の変動を抑えることができるため、回路BKC1のデータ保持時間を長くすることができる。回路BKC1のデータ保持時間は、トランジスタMW1のリーク電流や、容量素子CB1の静電容量等で決まる。トランジスタMW1をオフ電流が極めて小さなトランジスタとすることで、PU20が稼働している期間は、回路BKC1をリフレッシュする必要がない。よって、回路BKC1を不揮発性記憶回路として用いることが可能となる。
 トランジスタMW1としてチャネルが形成される半導体層に金属酸化物の一種である酸化物半導体(Oxide Semiconductor:OS)を含むトランジスタ(「OSトランジスタ」または「OS−FET」ともいう。)を用いることが好ましい。酸化物半導体はバンドギャップが2eV以上であるため、オフ電流が著しく小さい。OSトランジスタでは、ソース−ドレイン間電圧が10Vの状態で、チャネル幅1μmあたりの規格化されたオフ電流を10×10−21A(10ゼプトA)以下とすることが可能である。トランジスタMW1をOSトランジスタとすることで、PU20が動作している期間は、回路BKC1は実質的に不揮発性記憶回路として機能させることができる。
 チャネルが形成される半導体層に用いる酸化物半導体膜は単層の酸化物半導体膜で形成してもよいし、積層の酸化物半導体膜で形成してもよい。チャネルが形成される半導体層を構成する酸化物半導体は、少なくともIn、Ga、SnおよびZnのうちの1種以上の元素を含有する酸化物であることが好ましい。このような酸化物としては、In−Sn−Ga−Zn酸化物や、In−Ga−Zn酸化物、In−Sn−Zn酸化物、In−Al−Zn酸化物、Sn−Ga−Zn酸化物、Al−Ga−Zn酸化物、Sn−Al−Zn酸化物、In−Zn酸化物、Sn−Zn酸化物、Al−Zn酸化物、Zn−Mg酸化物、Sn−Mg酸化物、In−Mg酸化物や、In−Ga酸化物、酸化インジウム、酸化スズ、酸化亜鉛等を用いることができる。
 また、酸化物半導体として、In−M−Zn酸化物(元素Mは、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種)等の金属酸化物を用いることができる。
 回路BKC1は、電圧によってデータの書き込みを行うため、電流により書き込みを行うMRAM(磁気抵抗RAM)よりも書き込み電力を抑えることができる。また、ノードFN1の負荷容量でデータを保持しているため、フラッシュメモリのようなデータの書き換え回数の制限がない。
 回路BKC1において、データの書き込みに要するエネルギーは、容量素子CB1への電荷の充放電に伴うエネルギーに相当する。一方、MRAMなどの2端子の記憶素子を用いた記憶回路では、データの書き込みに要するエネルギーは、当該記憶素子に電流が流れる際に消費されるエネルギーに相当する。MRAMではデータの書き込み期間中に電流が流れ続けるため、データの書き込みに要するエネルギーが高くなる。このようなMRAMと比較して、回路BKC1は、データの書き込みで消費されるエネルギーを小さくすることができる。したがって、バックアップ回路をMRAMで構成した記憶回路と比較して、記憶回路31は、消費されるエネルギーを低減できるボルテージスケーリングおよびパワーゲーティングを行うことが可能な機会が多くなるため、PU20の消費電力を低減することができる。
<電源管理>
 PMU60は、パワーゲーティング動作、クロックゲーティング動作、およびボルテージスケーリング動作等を制御する機能を有する。より具体的には、PMU60は、電源回路10を制御することができる機能、記憶回路31を制御することができる機能、クロック制御回路65を制御することができる機能、およびPSW70を制御することができる機能を有する。そのため、PMU60は、これら回路(電源回路10、記憶回路31、クロック制御回路65、PSW70)を制御する制御信号を生成する機能を有する。PMU60は回路61を有する。回路61は、時間を計測することができる機能を有する。PMU60は、回路61で得られる時間に関するデータをもとに、電源管理を行うことができる機能を有する。
 PSW70は、PMU60の制御信号に従い、PU20への電源電位MVDDの供給を制御することができる機能を有する。ここでは、PSW70を介してPU20に供給される電源電位を電源電位VDDと呼ぶこととする。プロセッサコア30は複数の電源ドメインを有していてもよい。この場合、PSW70により、複数の電源ドメインへの電源供給を独立に制御できるようにすればよい。また、プロセッサコア30は、パワーゲーティングを行う必要のない電源ドメインを有していてもよい。この場合、この電源ドメインにPSW70を介さずに電源電位を供給してもよい。
 クロック制御回路65は、PMU60の制御信号に従い、プロセッサコア30へのクロック信号を遮断することができる機能を有している。電源回路10は、PMU60の制御信号に従い、電源電位VDDの電位の大きさを変更できる機能を有する。
 プロセッサコア30からPMU60に出力される信号SLPは、プロセッサコア30を休止状態に移行するトリガとなる信号である。PMU60は、信号SLPが入力されると、休止状態に移行するための制御信号を生成し、制御対象の機能回路に出力する。電源回路10は、PMU60の制御信号に基づいて、電源電位MVDDを通常動作時よりも低くする。休止状態が一定時間経過すると、PMU60は、PSW70を制御して、プロセッサコア30への電源供給を遮断する。プロセッサコア30が通常状態から休止状態に移行すると、PMU60は、プロセッサコア30の電源電位VDDを下げるボルテージスケーリング動作を行う。休止状態の期間が設定された時間を超えると、プロセッサコア30の消費電力をさらに低減するため、プロセッサコア30への電源電位VDDの供給を停止するパワーゲーティング動作を行う。以下、図5、図6を参照して、図2に示す半導体装置の電源管理について説明する。
 図5は、電源線35の電位の変化を模式的に表している。電源線35は、PSW70を介して電源電位VDDが供給される配線である。図の横軸は通常状態から休止状態になった経過時間(time)であり、t0、t1等は時間を表している。図の縦軸は電源線の電位を表している。図5Aは、休止状態でパワーゲーティングのみを実行した例であり、図5Bは、休止状態でボルテージスケーリングのみを実行した例である。図5C、図5Dは、ボルテージスケーリングとパワーゲーティングとを実行する例である。通常状態では、電源回路10から供給される電源電位MVDDの大きさはVH1であるとする。
 また、以下では、PU20の電源モードを、電源オンモード、電源オフモード、低電源モードの3つのモードに区別する。電源オン(power on)モードとは、通常処理が可能な電源電位VDDをPU20に供給するモードである。電源オフ(power off)モードとは、PSW70により電源電位VDDの供給を停止するモードである。低電源(low power)モードは、電源オンモードよりも低い電源電位VDDを供給するモードである。
 図5Aの例を説明する。時間t0で、プロセッサコア30において休止状態に移行する処理が開始される。例えば、記憶回路31のバックアップが行われる。PMU60はPSW70を制御し、時間t1でプロセッサコア30への電源供給を遮断する。電源線35は自然放電して、その電位は0Vまで低下する。これにより、休止状態でのプロセッサコア30のリーク電流を大幅に低下することができるので、休止状態での消費電力(以下、待機電力と呼ぶ場合がある。)を削減することができる。外部からの割り込み要求等により通常状態に復帰する場合は、PMU60はPSW70を制御し、電源電位VDDの供給を再開させる。ここでは、時間t4で、電源電位VDDの供給が再開されている。電源線35の電位は上昇し、時間t6でVH1になる。
 図5Bの例の場合は、ボルテージスケーリングを行うため、時間t1で、PMU60が電源回路10を制御し、電源電位MVDDの電位がVH2に低下している。電源線35の電位はやがてVH2になる。時間t4で、電源電位MVDDがVH2からVH1に戻ると、電源線35の電位は上昇し、時間t5でVH1になる。
 図5Aの例の場合、休止状態から通常状態に復帰するのにかかる時間(オーバーヘッド時間)は、電源線35の電位が0VからVH1に上昇するのにかかる時間であり、また、復帰に要するエネルギーオーバヘッドは、電源線35の負荷容量を0VからVH1に充電するのに必要なエネルギーである。電源オフモードの期間(t1−t4)が十分に長ければ、PU20の待機電力の削減には、パワーゲーティングが有効である。他方、期間(t1−t4)が短いと、電源が遮断されることで削減できる電力よりも、通常状態に復帰するのに要する電力の方が大きくなり、パワーゲーティングの効果を得ることができない。
 図5Bに示すボルテージスケーリングの例では、休止状態では電源線35の電位はVH2であるため、図5Aのパワーゲーティングの例よりも待機電力の削減量は少ない。他方、図5Bの例では、電源線35の電位の変動が小さいため、図5Aの例よりも通常状態に復帰するのにかかる時間は短く、かつ復帰に要するエネルギーが少ない。そこで、図2に示す半導体装置では、PU20の待機電力の削減をより効率よく行うため、パワーゲーティングとボルテージスケーリングとを組み合わせた電源管理を可能とする。図5C、および図5Dに電源管理の例を示す。
 図5Cに示すように、まず、休止状態ではボルテージスケーリング動作が行われ、電源オンモードから低電源モードに移行する。図5Bと同様に、時間t1で、PMU60が電源回路10を制御し、電源電位MVDDの電位をVH2に低下するため、電源線35の電位はやがてVH2になる。低電源モードに移行してから一定期間(t1−t3)経過後、PMU60はPSW70を制御し、電源オフモードとする。期間(t3−t4)は、PU20にVH2を供給しているよりも、通常状態に復帰するのに消費される電力を含んでもパワーゲーティングによってPU20の電源を遮断した方が電力を削減することが可能な期間である。
 例えば、電位VH2は、記憶回路31の回路MemC1でデータを保持することができる大きさの電源電位であり、電位VH3は、回路MemC1のデータが失われてしまう電位であるとする。図2のPU20では、回路BKC1は、電源の供給が停止されている期間でもデータを保持することが可能な回路である。期間(t0−t1)で、記憶回路31のデータを回路BKC1に退避しておくことで、低電源モードにおいて、回路MemC1のデータが失われてしまう電位VH3までVDDを低下させることが可能である。これにより、PU20の待機電力をさらに削減することができる。
 PMU60は、割り込み要求等に基づいて、PU20を通常状態に復帰することができる機能を有する。PMU60は、電源回路10を制御しMVDDの大きさをVH1に昇圧し、また、PSW70を制御しPU20のVDDの供給を再開する。時間t4以降は電源オンモードである。時間t6で電源線35の電位が安定することで、時間t6以降に、PU20は通常動作が可能となる。
 図5Dには、時間t3よりも前に通常動作に復帰させる割り込み要求がある例を示す。時間t2以降は、電源オンモードである。時間t2で、PMU60は、電源回路10を制御しMVDDの大きさを電源オンモードの電位VH1に変更する。時間t3で、電源線35の電位はVH1まで上昇する。
 図5Cおよび図5Dに示すように、休止状態において、電源線35の電位をVH1に戻すのに要する時間は、電源オフモードから電源オンモードに復帰させる方が、低電源モードから電源オンモードに復帰させるより長い。そのため、PMU60は、電源モードに応じて、プロセッサコア30を休止状態から通常状態に復帰させる動作のタイミングを調節できる機能を有している。これにより、プロセッサコア30を最短時間で休止状態から通常状態に復帰させることが可能になる。
 また、休止状態において、低電源モードから電源オフモードへの移行は、PMU60に設けられている回路61で時間を計測することで可能となる。PMU60は、PU20から信号SLPが入力されると、回路61で時間の計測を開始する。低電源モードにしてから所定の時間が経過すると、PMU60は、電源オフモードに移行する。PMU60の制御信号によりPSW70はオフとなり、VDDの供給を遮断する。このように、回路61の計測データに基づく割り込み要求により、低電源モードから電源オフモードへ移行することが可能である。以下、図6を参照して、PMU60の電源管理動作例を説明する。
 PU20が通常動作を行っている。電源モードは電源オンモードであり、また、PMU60はアイドル状態(ステップS10)である。PMU60は信号SLPが入力されるまでアイドル状態であり、信号SLPの入力をトリガに、退避シークエンスを実行する(ステップS11)。図6の退避シークエンスの例では、まず、PMU60は、クロック制御回路65に制御信号を出力し、クロック信号の出力を停止させる(ステップS12)。次に、データの退避を行わせるための制御信号を記憶回路31に出力する(ステップS13)。記憶回路31では、PMU60の制御信号に従い、回路MemC1で保持しているデータを回路BKC1に退避する。最後に、PMU60は、電源回路10を制御し、MVDDを低下させる。これらの動作により、電源モードは低電源モードに移行する(ステップS14)。信号SLPが入力されると、PMU60は内蔵している回路61を制御し、低電源モードの時間Taを計測する(ステップS15)。回路61を動作させるタイミングは、退避シークエンスを実行している間であれば任意であり、例えば、信号SLPが入力された時、クロック制御回路65に制御信号を出力する時、データ退避を開始する時、データ退避を終了した時、電源回路10に制御信号を出力する時などが挙げられる。
 退避シークエンスの実行後、PMU60はアイドル状態となり(ステップS16)、信号INTの入力の監視、クロック制御回路65の測定時間である時間Taを監視する。信号INTが入力されると復帰シークエンスに移行する(ステップS17)。時間Taが設定した時間TVSを超えているか否を判定している(ステップS18)。PMU60は、時間Taが時間TVSを超えていると、電源モードを電源オフモードに移行させる制御を行い(ステップS19)、超えていなければアイドル状態が維持される(ステップS16)。時間TVSは、低電源モードであるよりも電源オフモードにした方が、プロセッサコア30の待機電力を削減できるような時間にすればよい。
 ステップS19では、PMU60はPSW70にプロセッサコア30への電源供給を遮断させる制御信号を出力する。電源オフモードにした後は、再びPMU60は、アイドル状態となり(ステップS20)、信号INTの入力を監視する(ステップS21)。信号INTが入力されると、PMU60は復帰シークエンスを実行する。
 復帰シークエンスでは、まず、PMU60は電源オフモードから電源オンモードに移行させる(ステップS22)。PMU60は電源回路10を制御し、通常動作の電源電位を出力させる。かつ、PMU60はPSW70を制御し、プロセッサコア30へのVDDの供給を再開させる。次に、記憶回路31に制御信号を出力し、記憶回路31のデータを復帰させる(ステップS23)。記憶回路31は、PMU60の制御信号に従い、回路BKC1で保持されているデータを回路MemC1に書き戻す。PMU60は、クロック信号を出力させる制御信号をクロック制御回路65に出力する(ステップS24)。クロック制御回路65はPMU60の制御信号に従い、クロック信号の出力を再開する。
 ステップS17の判定処理から復帰シークエンスを実行する場合は、低電源モードから電源オンモードに復帰することとなり、ステップS21の判定処理から復帰シークエンスを実行する場合よりも、電源線35の電位を速く安定させることができる。そのため、PMU60では、ステップS17から復帰シークエンスに移行する場合は、ステップS21から復帰シークエンスに移行する場合よりも、ステップS23を実行するタイミングを早くしている。これにより、プロセッサコア30を休止状態から通常状態へ復帰させる時間を短くすることができる。
 以上述べたように、図2に示す半導体装置の電源管理では、PU20が休止状態になると、まず、ボルテージスケーリング動作により、プロセッサコア30へ供給する電源電位を低くすることでリーク電流を削減しつつ、休止状態から通常状態へ復帰する処理の時間およびエネルギーのオーバーヘッドを抑えている。休止状態が一定期間続くと、パワーゲーティング動作を行い、プロセッサコア30のリーク電流を可能な限り抑えるようにしている。これにより、PU20の処理能力を低下させずに、PU20の休止状態での消費電力を削減することが可能になる。
 また処理装置(PU)20は、キャッシュ40、およびパワースイッチ(PSW)71を有してもよい。キャッシュ40はパワーゲーティングおよびボルテージスケーリングが可能であり、PU20の電源モードと連動してキャッシュ40の電源モードも変化する。PSW71は、キャッシュ40への電源電位MVDDの供給を制御する回路であり、PMU60により制御される。ここでは、PSW71を介してキャッシュ40に入力される電源電位をVDD_Mとしている。キャッシュ40には、プロセッサコア30と同様にPMU60からの制御信号、およびクロック制御回路65からゲーテッドクロック信号が入力される。
<キャッシュ40>
 キャッシュ40は、使用頻度の高いデータを一時的に記憶しておく機能を有する記憶装置である。図7Aに示すキャッシュ40は、メモリアレイ41、周辺回路42、および制御回路43を有する。メモリアレイ41は、複数のメモリセル45を有する。制御回路43は、プロセッサコア30の要求に従って、キャッシュ40の動作を制御する。例えば、メモリアレイ41の書き込み動作、読み出し動作を制御する。周辺回路42は、制御回路43からの制御信号に従い、メモリアレイ41を駆動する信号を生成する機能を有する。メモリアレイ41は、データを保持するメモリセル45を有する。
 図7Bに示すように、メモリセル45は、回路MemC2および回路BKC2を有する。回路MemC2は、通常動作においてアクセス対象となるメモリセルである。例えば、SRAM(スタティックランダムアクセスメモリ)のメモリセルを適用すればよい。回路BKC2は、回路MemC2のバックアップ回路として機能することができ、電源が遮断されていても、またはクロック信号が遮断されていても長期間データを保持することが可能な回路である。このようなメモリセル45を設けることで、キャッシュ40のパワーゲーティングを行うことが可能となる。電源を遮断する前に、メモリセル45において、回路MemC2のデータをBKC2に退避する。電源供給を再開した後、回路BKC2で保持されているデータを回路MemC2に書き戻すことで、PU20を電源遮断前の状態に高速に復帰させることが可能である。
 メモリセル45の回路BKC2も回路BKC1と同様に、1のトランジスタ(MW2)および1の容量素子(CB2)を有する保持回路を少なくとも有する。つまり、回路BKC2も標準的なDRAMの1T1C型メモリセルと同様な構成の保持回路を有する。トランジスタMW2はオフ電流が極めて小さいものである。トランジスタMW2には、トランジスタMW1と同様に、OSトランジスタを適用すればよい。このような構成により、回路BKC2も、電気的に浮遊状態であるノードFN2の電位の変動を抑えることができるため、回路BKC2は長期間データを保持することが可能である。回路BKC2のデータ保持時間は、トランジスタMW2のリーク電流や、容量素子CB2の静電容量等で決まる。トランジスタMW2をオフ電流が極めて小さなトランジスタとすることで、回路BKC2を、リフレッシュ動作が不要な不揮発性記憶回路として用いることが可能となる。
 PU20がキャッシュ40を有する場合には、図6に示すステップS13では、記憶回路31およびキャッシュ40のデータの退避動作が行われる。ステップS19では、PSW70およびPSW71を制御し、プロセッサコア30およびキャッシュ40への電源供給を停止する。ステップS22では、PSW70およびPSW71を制御し、プロセッサコア30およびキャッシュ40への電源供給を再開する。ステップS23では、記憶回路31およびキャッシュ40のデータの復帰動作が行われる。
<<プロセッサコアの構成例>>
 図8にプロセッサコアの構成例を示す。図8に示すプロセッサコア130は、制御装置131、プログラムカウンタ132、パイプラインレジスタ133、パイプラインレジスタ134、レジスタファイル135、算術論理演算装置(ALU)136、およびデータバス137を有する。プロセッサコア130とPMUやキャッシュ等の周辺回路とのデータのやり取りは、データバス137を介して行われる。
 制御装置131は、プログラムカウンタ132、パイプラインレジスタ133、パイプラインレジスタ134、レジスタファイル135、ALU136、データバス137の動作を統括的に制御することで、入力されたアプリケーションなどのプログラムに含まれる命令をデコードし、実行する機能を有する。ALU136は、四則演算、論理演算などの各種演算処理を行う機能を有する。プログラムカウンタ132は、次に実行する命令のアドレスを記憶する機能を有するレジスタである。
 パイプラインレジスタ133は、命令データを一時的に記憶する機能を有するレジスタである。レジスタファイル135は、汎用レジスタを含む複数のレジスタを有しており、メインメモリから読み出されたデータ、またはALU136の演算処理の結果得られたデータ、などを記憶することができる。パイプラインレジスタ134は、ALU136の演算処理に利用するデータ、またはALU136の演算処理により得られたデータなどを一時的に記憶する機能を有するレジスタである。
 図4Bの記憶回路31は、プロセッサコア130に含まれているレジスタに用いられている。
<記憶回路の構成例>
 図4Bに示す記憶回路31のより具体的な構成例を説明する。図9は、記憶回路の構成の一例を示す回路図である。図9に示す記憶回路100はフリップフロップ回路として機能する。図9において、記憶回路100の入力信号を信号D、出力信号を信号Qと記載する。
 回路MemC1に標準的なフリップフロップ回路(FF)を適用することが可能であり、例えば、マスタースレーブ型のFFを適用することができる。そのような構成例を図9に示す。FF110は、トランスミッションゲート(TG1、TG2、TG3、TG4、TG5)、インバータ回路(INV1、INV2、INV3、INV4)、およびNAND回路(NAND1、NAND2)を有する。信号RESETおよび信号OSRは、PMU60から出力される制御信号である。TG5には、信号OSRとその反転信号が入力される。TG1−TG4は、クロック信号CLKとその反転信号が入力される。TG1とINV1の代わりに1つのクロックドインバータ回路を設けてもよい。TG2とNAND2との代わりに、1つのクロックドNAND回路を設けてもよい。TG3とINV3との代わりに、クロックドインバータ回路を設けてもよい。TG5は、NAND1の出力ノードとノードNR1との間の導通状態を制御するスイッチとして機能する。ノードNB1は、回路BKC10の入力ノードと電気的に接続され、ノードNR1は回路BKC10の出力ノードと電気的に接続されている。
 図9に示す回路BKC10は、FF110のバックアップ回路として機能する。回路BKC10は、回路RTC10、および回路PCC10を有する。回路BKC10に入力される信号(OSG、OSC、OSR)は、PMU60から出力される制御信号である。電源電位VSSは、低電源電位であり、例えば接地電位(GND)や0Vとすればよい。FF110にも、BKC10と同様に電源電位VSS、電源電位VDDが入力されている。記憶回路100において、VDDの供給はPMU60により管理されている。
 回路RTC10は、トランジスタMW1、トランジスタMA1、トランジスタMR1、容量素子CB1、ノードFN1およびノードNK1を有する。回路RTC10はデータを保持する機能を有し、ここでは、3T型のゲインセル構造の記憶回路で構成している。トランジスタMW1は書き込みトランジスタであり、OSトランジスタである。トランジスタMR1は読み出しトランジスタであり、トランジスタMA1は、増幅トランジスタでありかつ読み出しトランジスタである。ノードFN1でデータが保持される。ノードNK1はデータの入力ノードである。ノードNR1は、回路RTC10のデータの出力ノードである。
 図9には、回路BKC10が、退避動作でFF110のスレーブ側のラッチ回路のデータを読み出し、かつ、復帰動作で保持しているデータをマスタ側のラッチ回路に書き戻す構成例を示す。退避するデータはマスタ側のラッチ回路のデータでもよい。また、スレーブ側のラッチ回路にデータを復帰してもよい。この場合、スレーブ側のラッチ回路にTG5を設ければよい。
 また、回路RTC10のトランジスタMR1およびトランジスタMA1は、n型でもp型でもよく、トランジスタMR1およびトランジスタMA1の導電型によって、信号OSRの電位および、トランジスタMA1に供給する電源電位のレベルを変更すればよい。また、FF110の論理回路を適宜設定すればよい。例えば、トランジスタMR1およびトランジスタMA1がp型トランジスタである場合は、マスタ側ラッチ回路で、NAND1とINV3とを入れ替え、スレーブ側ラッチ回路でINV2とNAND2とを入れ替えればよい。また、トランジスタMA1にVSSに変えてVDDを入力するようにすればよい。
 回路BKC10は、電圧によってデータの書き込みを行うため、電流により書き込みを行うMRAMよりも書き込み電力を抑えることができる。また、ノードFN1の負荷容量でデータを保持しているため、フラッシュメモリのようなデータの書き換え回数の制限がない。
 回路RTC10において、データの書き込みに要するエネルギーは、容量素子CB1への電荷の充放電に伴うエネルギーに相当する。一方、MRAMなどの2端子の記憶素子を用いた記憶回路では、データの書き込みに要するエネルギーは、当該記憶素子に電流が流れる際に消費されるエネルギーに相当する。よって、データの書き込み期間中に電流が流れ続けるMRAMなどを用いた場合に比べて、回路BKC10は、データの退避により消費されるエネルギーを小さくすることができる。そのため、バックアップ回路に回路BKC10を設けることで、MRAMを設ける場合と比較して、BET(損益分岐点到達時間,Break Even Time)を短くすることができる。その結果、消費されるエネルギーを低減できるパワーゲーティングを行う機会が増加し、半導体装置の消費電力を低減することができる。
 回路PCC10は、トランジスタMC1およびトランジスタMC2を有する。回路PCC10は、ノードFN1をプリチャージする機能を有する。回路PCC10は、設けなくてもよい。後述するように、回路PCC10を設けることで、回路BKC10のデータ退避時間を短くすることができる。
<記憶回路の動作例>
 図10は、記憶回路100の動作の一例を示すタイミングチャートであり、制御信号(信号SLP、信号RESET、クロック信号CLK、信号OSG、信号OSC、信号OSR)の波形、並びに、電源電位VDD、ノードFN1およびノードNR1の電位の変化を示す。
[通常動作]
 通常動作(Normal Operation)の期間について説明する。記憶回路100には、電源電位VDD、および信号CLKが供給されている。FF110が順序回路として機能している。信号RESETは高レベルが維持されるため、NAND1およびNAND2はインバータ回路として機能する。回路BKC1では、トランジスタMC1がオフ状態であり、トランジスタMC2およびトランジスタMW1がオン状態であるため、ノードFN1の電位は高レベルにプリチャージされている。
[データ退避]
 次に、バックアップ(Back up)の期間について説明する。まず、クロック信号CLKが停止される。これにより、ノードNB1のデータの書き換えが停止される。図10の例では、ノードNB1の電位レベルは、ノードNR1の電位が高レベル(”1”)であれば、低レベル(”0”)であり、低レベル(”0”)であれば高レベル(”1”)である。信号OSCが高レベルの期間に、ノードNB1のデータがノードFN1に退避される。具体的には、トランジスタMC1およびトランジスタMW1がオン状態であるため、ノードFN1とノードNB1が電気的に接続されている。信号OSGを低レベルにして、トランジスタMW1がオフ状態にすることで、ノードFN1が電気的に浮遊状態となり、回路BKC10はデータの保持状態となる。ノードFN1の電位は、ノードNR1が低レベル(“0”)であれば高レベルであり、高レベル(”1”)であれば低レベルである。
 信号OSGを低レベルにすることでデータの退避が終了するので、信号OSGを低レベルにした後、直ちに、PU20のボルテージスケーリング動作を行うことができる。また、トランジスタMC2により、通常動作時にノードFN1を高レベルにプリチャージしているので、ノードFN1を高レベルにするデータ退避動作では、ノードFN1の電荷の移動が伴わない。このため、回路BKC10は、短時間で退避動作を完了させることができる。
 データ退避動作では、クロック信号CLKが非アクティブであればよく、図10の例では、クロック信号CLKの電位を低レベルとしているが、高レベルとしてもよい。
[ボルテージスケーリング、低電源モード]
 次に、低電源(Low power)の期間について説明する。信号OSCの立下りに連動して、PMU60は、ボルテージスケーリング動作を行う。これにより記憶回路100は低電源モードに移行する。
[パワーゲーティング、電源オフモード]
 次に、電源オフ(Power off)の期間について説明する。低電源モードに移行してから一定期間経過したら、PMU60は、パワーゲーティング動作を行い、記憶回路100を電源オフモードにする。
[電源オンモード]
 次に、電源オン(Power on)の期間について説明する。割り込み要求に従い、PMU60は、記憶回路100を電源オンモードに復帰する。図10の例では、VDDを供給する電源線の電位が安定すると、クロック信号CLKは高レベルになるようにしている。
[データ復帰]
 信号OSRが高レベルの期間にデータ復帰動作が行われる。信号RESETを高レベルとすることで、ノードNR1の電位は高レベル(”1”)にプリチャージされる。信号OSRを高レベルとすることで、TG5がハイインピーダンス状態となり、かつトランジスタMR1が導通状態となる。トランジスタMA1の導通状態はノードFN1の電位で決まる。ノードFN1が高レベルであれば、トランジスタMA1が導通状態であるため、ノードNR1の電位は低下し、低レベル(”0”)となる。ノードFN1が低レベルであれば、ノードNR1の電位は高レベルが維持される。つまり、休止状態に移行する前の状態に、FF110の状態が復帰される。
 以上述べたように、信号RESET、および信号OSRの立ち上がりにより、ノードNR1に高レベルのデータの書き戻し(Restore)ができる。そのため、記憶回路100は、復帰動作期間を短くすることができる。
 図10では、電源オフモードから電源オンモードに復帰している例を示している。低電源モードから電源オンモードに復帰する場合は、VDDを供給する電源線の電位が安定するまでの期間Tonが短くなる。この場合は、電源オフモードから復帰する場合よりも信号OSRの立ち上がりを早くするとよい。なお図10において、バックアップの期間の開始後から、次の通常動作の期間が開始する前までの期間までをスリープ(Sleep)の期間と記載する。
[通常動作]
 次に、通常動作(Normal operation)の期間について説明する。クロック信号CLKの供給を再開することで、通常動作が可能な状態に復帰する。信号OSGを高レベルにすることで、ノードFN1は、回路PCC10によりプリチャージされ、高レベルとなる。
<<キャッシュ>>
 以下に、キャッシュ40をSRAMで構成する例を説明する。
<メモリセルの構成例>
 図11にキャッシュのメモリセルの構成の一例を示す。図11に示すメモリセル120は、回路SMC20および回路BKC20を有する。回路SMC20は、標準的なSRAMのメモリセルと同様な回路構成とすればよい。図11に示す回路SMC20は、インバータ回路INV11、インバータ回路INV12、トランジスタM11、およびトランジスタM12を有する。
 回路BKC20は、回路SMC20のバックアップ回路として機能する。回路BKC20は、トランジスタMW11、トランジスタMW12、容量素子CB11、容量素子CB12を有する。トランジスタMW11、MW12はOSトランジスタである。回路BKC20は2つの1T1C型の保持回路を有しており、ノードSN1とノードSN2にそれぞれデータが保持される。トランジスタMW11と容量素子CB11とでなる保持回路は、ノードNET1のデータをバックアップできる機能を有する。トランジスタMW12と容量素子CB12とでなる保持回路は、ノードNET2のデータをバックアップできる機能を有する。
 メモリセル120は電源電位VDDMC、VSSが供給されている。メモリセル120は、配線(WL、BL、BLB、BRL)と電気的に接続されている。配線WLには、信号SLCが入力される。データ書き込み時には、配線BL、配線BLBには、それぞれデータ信号D、データ信号DBが入力される。データの読み出しは、配線BLと配線BLBの電位を検出することで行われる。配線BRLには信号OSSが入力される。信号OSSはPMU60から入力される信号である。
<メモリセルの動作例>
 メモリセル120の動作の一例を説明する。図12は、メモリセル120のタイミングチャートの一例である。
[通常動作]
 回路MemC2にアクセス要求が行われ、データの書き込み読み出しが行われる。回路BKC2では、信号OSSは低レベルであるため、ノードSN1およびノードSN2が電気的に浮遊状態となっており、データ保持状態である。図12の例では、ノードSN1の電位は低レベル(”0”)であり、他方のノードであるノードSN2の電位は、高レベル(”1”)である。
[データ退避]
 信号OSSが高レベルにすることで、トランジスタMW11、MW12が導通状態となり、ノードSN1、SN2は、それぞれ、ノードNET1、NET2と同じ電位レベルとなる。図12の例では、ノードSN1、SN2の電位は、それぞれ、高レベル、低レベルとなる。信号OSSが低レベルとなり、回路BKC20がデータ保持状態となり、データ退避動作が終了する。
[ボルテージスケーリング、低電源モード]
 信号OSSの立下りに連動して、PMU60は、ボルテージスケーリング動作を行う。これによりキャッシュ40は低電源モードに移行する。
[パワーゲーティング、電源オフモード]
 低電源モードに移行してから一定期間経過したら、PMU60は、パワーゲーティング動作を行い、キャッシュ40を電源オフモードにする。
[データ復帰、電源オンモード]
 割り込み要求に従い、PMU60はキャッシュ40を通常状態に復帰させる。信号OSSを高レベルにして、回路BKC20で保持されているデータを、回路SMC20に書き戻す。信号OSSが高レベルである期間中に、PMU60は、ボルテージスケーリング動作およびパワーゲーティング動作を行い、記憶回路100を電源オンモードに復帰する。図10の例では、VDDを供給する電源線の電位が安定すると、クロック信号CLKは高レベルになるようにしている。VDDMCを供給する電源線の電位が安定したら、信号OSSを低レベルに戻し、データ復帰動作を終了させる。ノードSN1、SN2の状態は、休止状態になる直前の状態に復帰している。なお図12において、バックアップの期間の開始後から、次の通常動作の期間が開始する前までの期間までをスリープ(Sleep)の期間と記載する。
[通常動作]
 VDDMCの供給が再開されることで、回路SMC20は通常動作が可能な通常モードに復帰する。
 以上述べたように、OSトランジスタを用いることで、電源が遮断されていても長期間データを保持することが可能なバックアップ回路を構成することができる。このバックアップ回路を備えることで、プロセッサコアおよびキャッシュのパワーゲーティングが可能となる。また、休止状態において、ボルテージスケーリングとパワーゲーティングを組み合わせた電源管理を行うことで、休止状態から通常状態へ復帰する処理に要するエネルギーおよび時間のオーバーヘッドを削減することができる。よって、処理装置の処理能力を低下させずに、電力の削減を効率よく行うことが可能となる。
<メモリの一例>
 以下に、本発明の一態様のOSトランジスタを用いたメモリについて説明する。
 本発明の一態様が有する蓄電装置は、メモリを有することが好ましい。メモリとして、OSトランジスタを用いたメモリ装置を適用することができる。例えば、以下に説明するNOSRAM(登録商標)、DOSRAM(登録商標)等を適用することができる。
 NOSRAMとは、メモリセルの書き込みトランジスタがOSトランジスタで構成されているゲインセル型DRAMのことである。NOSRAMはNonvolatile Oxide Semiconductor RAMの略称である。以下にNOSRAMの構成例を示す。
 図13AはNOSRAMの構成例を示すブロック図である。NOSRAM220には、パワードメイン212、213、パワースイッチ215乃至217が設けられている。パワードメイン212には、メモリセルアレイ230が設けられ、パワードメイン213にはNOSRAM220の周辺回路が設けられている。周辺回路は、制御回路231、行回路232、列回路233を有する。
 外部からNOSRAM220に電圧VDDD、電圧VSSS、電圧VDHW、電圧VDHR、電圧VBG2、クロック信号GCLK2、アドレス信号Address、信号CE、WE、PSE5が入力される。信号CE、信号WEはチップイネーブル信号、書き込みイネーブル信号である。信号PSE5は、パワースイッチ215乃至217のオンオフを制御する。パワースイッチ215乃至217は、パワードメイン213への電圧VDDD、電圧VDHW、電圧VDHRの入力をそれぞれ制御する。
 なお、NOSRAM220に入力される電圧、信号等は、NOSRAM220の回路構成、動作方法に応じて適宜取捨される。例えば、NOSRAM220にパワーゲーティングされないパワードメインを設け、信号PSE5を生成するパワーゲーティング制御回路を設けてもよい。
 メモリセルアレイ230は、メモリセル11、書込みワード線WWL、読出しワード線RWL、書込みビット線WBL、読出しビット線RBL、ソース線SLを有する。
 図13Bに示すように、メモリセル11は2T1C(2トランジスタ1容量)型のゲインセルであり、ノードSN1、トランジスタM1、M2、容量素子C1を有する。トランジスタM1は書き込みトランジスタであり、バックゲートを有するOSトランジスタである。トランジスタM1のバックゲートは、電圧VBG2を供給する配線BGL2に電気的に接続されている。トランジスタM2は読出しトランジスタであり、pチャネル型Siトランジスタである。容量素子C1はノードSN1の電圧を保持する保持容量である。
 電圧VDDD、電圧VSSSはデータ“1”、“0”を表す電圧である。なお、書込みワード線WWL、読み出しワード線RWLの高レベル電圧は、電圧VDHW、電圧VHDRである。
 図14Aにメモリセルアレイ230の構成例を示す。図14Aに示すメモリセルアレイ230では、隣接する2行で1本のソース線が供給されている。
 メモリセル11は原理的に書き換え回数に制限はなく、データの書き換えを低エネルギーで行え、データの保持に電力を消費しない。トランジスタM1が極小オフ電流のOSトランジスタであるため、メモリセル11は長時間データを保持することが可能である。
 メモリセル11の回路構成は、図13Bの回路構成に限定されない。例えば、読出しトランジスタM2を、バックゲートを有するOSトランジスタ、またはnチャネル型Siトランジスタでもよい。或いは、メモリセル11は3T型ゲインセルでもよい。例えば、図14B、図14Cに3T型ゲインセルの例を示す。図14Bに示すメモリセル15は、トランジスタM3乃至M5、容量素子C3、ノードSN3を有する。トランジスタM3乃至M5は、書込みトランジスタ、読出しトランジスタ、選択トランジスタである。トランジスタM3はバックゲートを有するOSトランジスタであり、トランジスタM4、M5はpチャネル型Siトランジスタである。トランジスタM4、M5を、nチャネル型Siトランジスタまたはバックゲートを有するOSトランジスタで構成してもよい。図14Cに示すメモリセル16では、3個のトランジスタはバックゲートを有するOSトランジスタで構成されている。
 ノードSN3は保持ノードである。容量素子C3はノードSN3の電圧を保持するための保持容量である。容量素子C3を意図的に設けず、トランジスタM4のゲート容量などで保持容量を構成してもよい。配線PDLはソース線SLに代わる配線であり、固定電圧、例えば、電圧VDDDが入力される。
 制御回路231は、NOSRAM220の動作全般を制御する機能を有する。例えば、制御回路231は、信号CE、信号WEを論理演算して、外部からのアクセスが書き込みアクセスであるか読み出しアクセスであるかを判断する。
 行回路232は、アドレス信号が指定する選択された行の書込みワード線WWL、読出しワード線RWLを選択する機能をもつ。列回路233は、アドレス信号が指定する列の書込みビット線WBLにデータを書き込む機能、および当該列の読出しビット線RBLからデータを読み出す機能をもつ。
 DOSRAMとは、1T1C型のメモリセルを有するRAMのことであり、Dynamic Oxide Semiconductor RAMの略称である。以下、図15を参照して、DOSRAMについて説明する。
 図15Aに示すように、DOSRAM341のメモリセル16は、ビット線BL1(またはBLB1)、ワード線WL1、配線BGL6、PLに電気的に接続される。ビット線BLB1は、反転ビット線である。例えば、配線BGL6、PLには、電圧VBG6、VSSSが入力される。トランジスタM6、および容量素子C6を有する。トランジスタM6はバックゲートを有するOSトランジスタである。
 容量素子C6の充放電によってデータを書き換えるため、DOSRAM341には原理的には書き換え回数に制約はなく、かつ、低エネルギーで、データの書き込みおよび読み出しが可能である。また、メモリセル16の回路構成が単純であるため、大容量化が容易である。メモリセル16の書込みトランジスタがOSトランジスタであるので、DOSRAM341の保持時間はDRAMに比べて非常に長い。したがってリフレッシュの頻度を低減できる、あるいは、リフレッシュ動作を不要にすることができるため、リフレッシュ動作に要する電力を削減できる。
 図15Bに示すように、DOSRAM341において、メモリセルアレイ361は、周辺回路365上に積層することができる。これは、メモリセル16のトランジスタM6がOSトランジスタであるからである。
 メモリセルアレイ361には、複数のメモリセル16が行列状に配置され、メモリセル16の配列に応じて、ビット線BL1、BLB1、ワード線WL1、配線BGL6、PLが設けられている。周辺回路365には、制御回路、行回路、列回路が設けられる。行回路は、アクセス対象のワード線WLの選択等を行う。列回路は、BLとBLBとでなるビット線対に対して、データの書き込みおよび読出し等を行う。
 周辺回路365をパワーゲーティングするために、パワースイッチ371、373が設けられている。パワースイッチ371、373は、周辺回路365への電圧VDDD、VDHW6の入力をそれぞれ制御する。なお、電圧VDHW6はワード線WL1の高レベル電圧である。パワースイッチ371、373のオンオフは、信号PSE6で制御される。
<演算回路の一例>
 次に、ニューラルネットワークの演算に用いることが可能な半導体装置の構成例について説明する。
 図16Aに示すように、ニューラルネットワークNNは入力層ILy、出力層OLy、中間層(隠れ層)HLyによって構成することができる。入力層ILy、出力層OLy、中間層HLyはそれぞれ、1又は複数のニューロン(ユニット)を有する。なお、中間層HLyは1層であってもよいし2層以上であってもよい。2層以上の中間層HLyを有するニューラルネットワークはDNN(ディープニューラルネットワーク)と呼ぶこともでき、ディープニューラルネットワークを用いた学習は深層学習と呼ぶこともできる。
 入力層ILyの各ニューロンには入力データが入力され、中間層HLyの各ニューロンには前層又は後層のニューロンの出力信号が入力され、出力層OLyの各ニューロンには前層のニューロンの出力信号が入力される。なお、各ニューロンは、前後の層の全てのニューロンと結合されていてもよいし(全結合)、一部のニューロンと結合されていてもよい。
 図16Bに、ニューロンによる演算の例を示す。ここでは、ニューロンNと、ニューロンNに信号を出力する前層の2つのニューロンを示している。ニューロンNには、前層のニューロンの出力xと、前層のニューロンの出力xが入力される。そして、ニューロンNにおいて、出力xと重みwの乗算結果(x)と出力xと重みwの乗算結果(x)の総和x+xが計算された後、必要に応じてバイアスbが加算され、値a=x+x+bが得られる。そして、値aは活性化関数hによって変換され、ニューロンNから出力信号y=h(a)が出力される。
 このように、ニューロンによる演算には、前層のニューロンの出力と重みの積を足し合わせる演算、すなわち積和演算が含まれる(上記のx+x)。この積和演算は、プログラムを用いてソフトウェア上で行ってもよいし、ハードウェアによって行われてもよい。積和演算をハードウェアによって行う場合は、積和演算回路を用いることができる。この積和演算回路としては、デジタル回路を用いてもよいし、アナログ回路を用いてもよい。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、又は、メモリへのアクセス回数の減少による処理速度の向上及び消費電力の低減を図ることができる。
 積和演算回路は、チャネル形成領域にシリコン(単結晶シリコンなど)を含むトランジスタ(以下、Siトランジスタともいう)によって構成してもよいし、チャネル形成領域に酸化物半導体を含むトランジスタ(以下、OSトランジスタともいう)によって構成してもよい。特に、OSトランジスタはオフ電流が極めて小さいため、積和演算回路のメモリを構成するトランジスタとして好適である。なお、SiトランジスタとOSトランジスタの両方を用いて積和演算回路を構成してもよい。以下、積和演算回路の機能を備えた半導体装置の構成例について説明する。
 図17に、ニューラルネットワークの演算を行う機能を有する半導体装置MACの構成例を示す。半導体装置MACは、ニューロン間の結合強度(重み)に対応する第1のデータと、入力データに対応する第2のデータの積和演算を行う機能を有する。なお、第1のデータ及び第2のデータはそれぞれ、アナログデータ又は多値のデジタルデータ(離散的なデータ)とすることができる。また、半導体装置MACは、積和演算によって得られたデータを活性化関数によって変換する機能を有する。
 半導体装置MACは、セルアレイCA、電流源回路CS、カレントミラー回路CM、回路WDD、回路WLD、回路CLD、オフセット回路OFST、及び活性化関数回路ACTVを有する。
 セルアレイCAは、複数のメモリセルMC及び複数のメモリセルMCrefを有する。図17には、セルアレイCAがm行n列(m,nは1以上の整数)のメモリセルMC(MC[1,1]乃至[m,n])と、m個のメモリセルMCref(MCref[1]乃至[m])を有する構成例を示している。メモリセルMCは、第1のデータを格納する機能を有する。また、メモリセルMCrefは、積和演算に用いられる参照データを格納する機能を有する。なお、参照データはアナログデータ又は多値のデジタルデータとすることができる。
 メモリセルMC[i,j](iは1以上m以下の整数、jは1以上n以下の整数)は、配線WL[i]、配線RW[i]、配線WD[j]、及び配線BL[j]と接続されている。また、メモリセルMCref[i]は、配線WL[i]、配線RW[i]、配線WDref、配線BLrefと接続されている。ここで、メモリセルMC[i,j]と配線BL[j]間を流れる電流をIMC[i,j]と表記し、メモリセルMCref[i]と配線BLref間を流れる電流をIMCref[i]と表記する。
 メモリセルMC及びメモリセルMCrefの具体的な構成例を、図18に示す。図18には代表例としてメモリセルMC[1,1]、[2,1]及びメモリセルMCref[1]、[2]を示しているが、他のメモリセルMC及びメモリセルMCrefにも同様の構成を用いることができる。メモリセルMC及びメモリセルMCrefはそれぞれ、トランジスタTr11、Tr12、容量素子C11を有する。ここでは、トランジスタTr11及びトランジスタTr12がnチャネル型のトランジスタである場合について説明する。
 メモリセルMCにおいて、トランジスタTr11のゲートは配線WLと接続され、ソース又はドレインの一方はトランジスタTr12のゲート、及び容量素子C11の第1の電極と接続され、ソース又はドレインの他方は配線WDと接続されている。トランジスタTr12のソース又はドレインの一方は配線BLと接続され、ソース又はドレインの他方は配線VRと接続されている。容量素子C11の第2の電極は、配線RWと接続されている。配線VRは、所定の電位を供給する機能を有する配線である。ここでは一例として、配線VRから低電源電位(接地電位など)が供給される場合について説明する。
 トランジスタTr11のソース又はドレインの一方、トランジスタTr12のゲート、及び容量素子C11の第1の電極と接続されたノードを、ノードNMとする。また、メモリセルMC[1,1]、[2,1]のノードNMを、それぞれノードNM[1,1]、[2,1]と表記する。
 メモリセルMCrefも、メモリセルMCと同様の構成を有する。ただし、メモリセルMCrefは配線WDの代わりに配線WDrefと接続され、配線BLの代わりに配線BLrefと接続されている。また、メモリセルMCref[1]、[2]において、トランジスタTr11のソース又はドレインの一方、トランジスタTr12のゲート、及び容量素子C11の第1の電極と接続されたノードを、それぞれノードNMref[1]、[2]と表記する。
 ノードNMとノードNMrefはそれぞれ、メモリセルMCとメモリセルMCrefの保持ノードとして機能する。ノードNMには第1のデータが保持され、ノードNMrefには参照データが保持される。また、配線BL[1]からメモリセルMC[1,1]、[2,1]のトランジスタTr12には、それぞれ電流IMC[1,1]、IMC[2,1]が流れる。また、配線BLrefからメモリセルMCref[1]、[2]のトランジスタTr12には、それぞれ電流IMCref[1]、IMCref[2]が流れる。
 トランジスタTr11は、ノードNM又はノードNMrefの電位を保持する機能を有するため、トランジスタTr11のオフ電流は小さいことが好ましい。そのため、トランジスタTr11としてオフ電流が極めて小さいOSトランジスタを用いることが好ましい。これにより、ノードNM又はノードNMrefの電位の変動を抑えることができ、演算精度の向上を図ることができる。また、ノードNM又はノードNMrefの電位をリフレッシュする動作の頻度を低く抑えることが可能となり、消費電力を削減することができる。
 トランジスタTr12は特に限定されず、例えばSiトランジスタ又はOSトランジスタなどを用いることができる。トランジスタTr12にOSトランジスタを用いる場合、トランジスタTr11と同じ製造装置を用いて、トランジスタTr12を作製することが可能となり、製造コストを抑制することができる。なお、トランジスタTr12はnチャネル型であってもpチャネル型であってもよい。
 電流源回路CSは、配線BL[1]乃至[n]及び配線BLrefと接続されている。電流源回路CSは、配線BL[1]乃至[n]及び配線BLrefに電流を供給する機能を有する。なお、配線BL[1]乃至[n]に供給される電流値と配線BLrefに供給される電流値は異なっていてもよい。ここでは、電流源回路CSから配線BL[1]乃至[n]に供給される電流をI、電流源回路CSから配線BLrefに供給される電流をICrefと表記する。
 カレントミラー回路CMは、配線IL[1]乃至[n]及び配線ILrefを有する。配線IL[1]乃至[n]はそれぞれ配線BL[1]乃至[n]と接続され、配線ILrefは、配線BLrefと接続されている。ここでは、配線IL[1]乃至[n]と配線BL[1]乃至[n]の接続箇所をノードNP[1]乃至[n]と表記する。また、配線ILrefと配線BLrefの接続箇所をノードNPrefと表記する。
 カレントミラー回路CMは、ノードNPrefの電位に応じた電流ICMを配線ILrefに流す機能と、この電流ICMを配線IL[1]乃至[n]にも流す機能を有する。図17には、配線BLrefから配線ILrefに電流ICMが排出され、配線BL[1]乃至[n]から配線IL[1]乃至[n]に電流ICMが排出される例を示している。また、カレントミラー回路CMから配線BL[1]乃至[n]を介してセルアレイCAに流れる電流を、I[1]乃至[n]と表記する。また、カレントミラー回路CMから配線BLrefを介してセルアレイCAに流れる電流を、IBrefと表記する。
 回路WDDは、配線WD[1]乃至[n]及び配線WDrefと接続されている。回路WDDは、メモリセルMCに格納される第1のデータに対応する電位を、配線WD[1]乃至[n]に供給する機能を有する。また、回路WDDは、メモリセルMCrefに格納される参照データに対応する電位を、配線WDrefに供給する機能を有する。回路WLDは、配線WL[1]乃至[m]と接続されている。回路WLDは、データの書き込みを行うメモリセルMC又はメモリセルMCrefを選択するための信号を、配線WL[1]乃至[m]に供給する機能を有する。回路CLDは、配線RW[1]乃至[m]と接続されている。回路CLDは、第2のデータに対応する電位を、配線RW[1]乃至[m]に供給する機能を有する。
 オフセット回路OFSTは、配線BL[1]乃至[n]及び配線OL[1]乃至[n]と接続されている。オフセット回路OFSTは、配線BL[1]乃至[n]からオフセット回路OFSTに流れる電流量、及び/又は、配線BL[1]乃至[n]からオフセット回路OFSTに流れる電流の変化量を検出する機能を有する。また、オフセット回路OFSTは、検出結果を配線OL[1]乃至[n]に出力する機能を有する。なお、オフセット回路OFSTは、検出結果に対応する電流を配線OLに出力してもよいし、検出結果に対応する電流を電圧に変換して配線OLに出力してもよい。セルアレイCAとオフセット回路OFSTの間を流れる電流を、Iα[1]乃至[n]と表記する。
 オフセット回路OFSTの構成例を図19に示す。図19に示すオフセット回路OFSTは、回路OC[1]乃至[n]を有する。また、回路OC[1]乃至[n]はそれぞれ、トランジスタTr21、トランジスタTr22、トランジスタTr23、容量素子C21、及び抵抗素子R1を有する。各素子の接続関係は図19に示す通りである。なお、容量素子C21の第1の電極及び抵抗素子R1の第1の端子と接続されたノードを、ノードNaとする。また、容量素子C21の第2の電極、トランジスタTr21のソース又はドレインの一方、及びトランジスタTr22のゲートと接続されたノードを、ノードNbとする。
 配線VrefLは電位Vrefを供給する機能を有し、配線VaLは電位Vaを供給する機能を有し、配線VbLは電位Vbを供給する機能を有する。また、配線VDDLは電位VDDを供給する機能を有し、配線VSSLは電位VSSを供給する機能を有する。ここでは、電位VDDが高電源電位であり、電位VSSが低電源電位である場合について説明する。また、配線RSTは、トランジスタTr21の導通状態を制御するための電位を供給する機能を有する。トランジスタTr22、トランジスタTr23、配線VDDL、配線VSSL、及び配線VbLによって、ソースフォロワ回路が構成される。
 次に、回路OC[1]乃至[n]の動作例を説明する。なお、ここでは代表例として回路OC[1]の動作例を説明するが、回路OC[2]乃至[n]も同様に動作させることができる。まず、配線BL[1]に第1の電流が流れると、ノードNaの電位は、第1の電流と抵抗素子R1の抵抗値に応じた電位となる。また、このときトランジスタTr21はオン状態であり、ノードNbに電位Vaが供給される。その後、トランジスタTr21はオフ状態となる。
 次に、配線BL[1]に第2の電流が流れると、ノードNaの電位は、第2の電流と抵抗素子R1の抵抗値に応じた電位に変化する。このときトランジスタTr21はオフ状態であり、ノードNbはフローティング状態となっているため、ノードNaの電位の変化に伴い、ノードNbの電位は容量結合により変化する。ここで、ノードNaの電位の変化をΔVNaとし、容量結合係数を1とすると、ノードNbの電位はVa+ΔVNaとなる。そして、トランジスタTr22のしきい値電圧をVthとすると、配線OL[1]から電位Va+ΔVNa−Vthが出力される。ここで、Va=Vthとすることにより、配線OL[1]から電位ΔVNaを出力することができる。
 電位ΔVNaは、第1の電流から第2の電流への変化量、抵抗素子R1の抵抗値、及び電位Vrefに応じて定まる。ここで、抵抗素子R1の抵抗値と電位Vrefは既知であるため、電位ΔVNaから配線BLに流れる電流の変化量を求めることができる。
 上記のようにオフセット回路OFSTによって検出された電流量、及び/又は電流の変化量に対応する信号は、配線OL[1]乃至[n]を介して活性化関数回路ACTVに入力される。
 活性化関数回路ACTVは、配線OL[1]乃至[n]、及び、配線NIL[1]乃至[n]と接続されている。活性化関数回路ACTVは、オフセット回路OFSTから入力された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数としては、例えば、シグモイド関数、tanh関数、softmax関数、ReLU関数、しきい値関数などを用いることができる。活性化関数回路ACTVによって変換された信号は、出力データとして配線NIL[1]乃至[n]に出力される。
 上記の半導体装置MACを用いて、第1のデータと第2のデータの積和演算を行うことができる。以下、積和演算を行う際の半導体装置MACの動作例を説明する。
 図20に半導体装置MACの動作例のタイミングチャートを示す。図20には、図18における配線WL[1]、配線WL[2]、配線WD[1]、配線WDref、ノードNM[1,1]、ノードNM[2,1]、ノードNMref[1]、ノードNMref[2]、配線RW[1]、及び配線RW[2]の電位の推移と、電流I[1]−Iα[1]、及び電流IBrefの値の推移を示している。電流I[1]−Iα[1]は、配線BL[1]からメモリセルMC[1,1]、[2,1]に流れる電流の総和に相当する。
 なお、ここでは代表例として図18に示すメモリセルMC[1,1]、[2,1]及びメモリセルMCref[1]、[2]に着目して動作を説明するが、他のメモリセルMC及びメモリセルMCrefも同様に動作させることができる。
 まず、時刻T01−T02において、配線WL[1]の電位がハイレベル(High)となり、配線WD[1]の電位が接地電位(GND)よりもVPR−VW[1,1]大きい電位となり、配線WDrefの電位が接地電位よりもVPR大きい電位となる。また、配線RW[1]、及び配線RW[2]の電位が基準電位(REFP)となる。なお、電位VW[1,1]はメモリセルMC[1,1]に格納される第1のデータに対応する電位である。また、電位VPRは参照データに対応する電位である。これにより、メモリセルMC[1,1]及びメモリセルMCref[1]が有するトランジスタTr11がオン状態となり、ノードNM[2,1]の電位がVPR−VW[1,1]、ノードNMref[2]の電位がVPRとなる。
 このとき、配線BL[1]からメモリセルMC[1,1]のトランジスタTr12に流れる電流IMC[1,1],0は、次の式で表すことができる。ここで、kはトランジスタTr12のチャネル長、チャネル幅、移動度、及びゲート絶縁膜の容量などで決まる定数である。また、VthはトランジスタTr12のしきい値電圧である。
 IMC[1,1],0=k(VPR−VW[1,1]−Vth(E1)
 また、配線BLrefからメモリセルMCref[1]のトランジスタTr12に流れる電流IMCref[1],0は、次の式で表すことができる。
 IMCref[1],0=k(VPR−Vth(E2)
 次に、時刻T02−T03において、配線WL[1]の電位がローレベル(Low)となる。これにより、メモリセルMC[1,1]及びメモリセルMCref[1]が有するトランジスタTr11がオフ状態となり、ノードNM[1,1]及びノードNMref[1]の電位が保持される。
 なお、前述の通り、トランジスタTr11としてOSトランジスタを用いることが好ましい。これにより、トランジスタTr11のリーク電流を抑えることができ、ノードNM[1,1]及びノードNMref[1]の電位を正確に保持することができる。
 次に、時刻T03−T04において、配線WL[2]の電位がハイレベルとなり、配線WD[1]の電位が接地電位よりもVPR−VW[2,1]大きい電位となり、配線WDrefの電位が接地電位よりもVPR大きい電位となる。なお、電位VW[2,1]はメモリセルMC[2,1]に格納される第1のデータに対応する電位である。これにより、メモリセルMC[2,1]及びメモリセルMCref[2]が有するトランジスタTr11がオン状態となり、ノードNM[2,1]の電位がVPR−VW[2,1]、ノードNMref[2]の電位がVPRとなる。
 このとき、配線BL[1]からメモリセルMC[2,1]のトランジスタTr12に流れる電流IMC[2,1],0は、次の式で表すことができる。
 IMC[2,1],0=k(VPR−VW[2,1]−Vth(E3)
 また、配線BLrefからメモリセルMCref[2]のトランジスタTr12に流れる電流IMCref[2],0は、次の式で表すことができる。
 IMCref[2],0=k(VPR−Vth(E4)
 次に、時刻T04−T05において、配線WL[2]の電位がローレベルとなる。これにより、メモリセルMC[2,1]及びメモリセルMCref[2]が有するトランジスタTr11がオフ状態となり、ノードNM[2,1]及びノードNMref[2]の電位が保持される。
 以上の動作により、メモリセルMC[1,1]、[2,1]に第1のデータが格納され、メモリセルMCref[1]、[2]に参照データが格納される。
 ここで、時刻T04−T05において、配線BL[1]及び配線BLrefに流れる電流を考える。配線BLrefには、電流源回路CSから電流が供給される。また、配線BLrefを流れる電流は、カレントミラー回路CM、メモリセルMCref[1]、[2]へ排出される。電流源回路CSから配線BLrefに供給される電流をICref、配線BLrefからカレントミラー回路CMへ排出される電流をICM,0とすると、次の式が成り立つ。
 ICref−ICM,0=IMCref[1],0+IMCref[2],0(E5)
 配線BL[1]には、電流源回路CSからの電流が供給される。また、配線BL[1]を流れる電流は、カレントミラー回路CM、メモリセルMC[1,1]、[2,1]へ排出される。また、配線BL[1]からオフセット回路OFSTに電流が流れる。電流源回路CSから配線BL[1]に供給される電流をIC,0、配線BL[1]からオフセット回路OFSTに流れる電流をIα,0とすると、次の式が成り立つ。
 I−ICM,0=IMC[1,1],0+IMC[2,1],0+Iα,0(E6)
 次に、時刻T05−T06において、配線RW[1]の電位が基準電位よりもVX[1]大きい電位となる。このとき、メモリセルMC[1,1]、及びメモリセルMCref[1]のそれぞれの容量素子C11には電位VX[1]が供給され、容量結合によりトランジスタTr12のゲートの電位が上昇する。なお、電位VX[1]はメモリセルMC[1,1]及びメモリセルMCref[1]に供給される第2のデータに対応する電位である。
 トランジスタTr12のゲートの電位の変化量は、配線RWの電位の変化量に、メモリセルの構成によって決まる容量結合係数を乗じた値となる。容量結合係数は、容量素子C11の容量、トランジスタTr12のゲート容量、及び寄生容量などによって算出される。以下では便宜上、配線RWの電位の変化量とトランジスタTr12のゲートの電位の変化量が同じ、すなわち容量結合係数が1であるとして説明する。実際には、容量結合係数を考慮して電位Vを決定すればよい。
 メモリセルMC[1,1]及びメモリセルMCref[1]の容量素子C11に電位VX[1]が供給されると、ノードNM[1,1]及びノードNMref[1]の電位がそれぞれVX[1]上昇する。
 ここで、時刻T05−T06において、配線BL[1]からメモリセルMC[1,1]のトランジスタTr12に流れる電流IMC[1,1],1は、次の式で表すことができる。
 IMC[1,1],1=k(VPR−VW[1,1]+VX[1]−Vth(E7)
 すなわち、配線RW[1]に電位VX[1]を供給することにより、配線BL[1]からメモリセルMC[1,1]のトランジスタTr12に流れる電流は、ΔIMC[1,1]=IMC[1,1],1−IMC[1,1],0増加する。
 また、時刻T05−T06において、配線BLrefからメモリセルMCref[1]のトランジスタTr12に流れる電流IMCref[1],1は、次の式で表すことができる。
 IMCref[1],1=k(VPR+VX[1]−Vth(E8)
 すなわち、配線RW[1]に電位VX[1]を供給することにより、配線BLrefからメモリセルMCref[1]のトランジスタTr12に流れる電流は、ΔIMCref[1]=IMCref[1],1−IMCref[1],0増加する。
 また、配線BL[1]及び配線BLrefに流れる電流について考える。配線BLrefには、電流源回路CSから電流ICrefが供給される。また、配線BLrefを流れる電流は、カレントミラー回路CM、メモリセルMCref[1]、[2]へ排出される。配線BLrefからカレントミラー回路CMへ排出される電流をICM,1とすると、次の式が成り立つ。
 ICref−ICM,1=IMCref[1],1+IMCref[2],1(E9)
 配線BL[1]には、電流源回路CSから電流Iが供給される。また、配線BL[1]を流れる電流は、カレントミラー回路CM、メモリセルMC[1,1]、[2,1]へ排出される。さらに、配線BL[1]からオフセット回路OFSTにも電流が流れる。配線BL[1]からオフセット回路OFSTに流れる電流をIα,1とすると、次の式が成り立つ。
 I−ICM,1=IMC[1,1],1+IMC[2,1],1+Iα,1(E10)
 そして、式(E1)乃至式(E10)から、電流Iα,0と電流Iα,1の差(差分電流ΔIα)は次の式で表すことができる。
 ΔIα=Iα,1−Iα,0=2kVW[1,1]X[1](E11)
 このように、差分電流ΔIαは、電位VW[1,1]とVX[1]の積に応じた値となる。
 その後、時刻T06−T07において、配線RW[1]の電位は基準電位となり、ノードNM[1,1]及びノードNMref[1]の電位は時刻T04−T05と同様になる。
 次に、時刻T07−T08において、配線RW[1]の電位が基準電位よりもVX[1]大きい電位となり、配線RW[2]の電位が基準電位よりもVX[2]大きい電位となる。これにより、メモリセルMC[1,1]、及びメモリセルMCref[1]のそれぞれの容量素子C11に電位VX[1]が供給され、容量結合によりノードNM[1,1]及びノードNMref[1]の電位がそれぞれVX[1]上昇する。また、メモリセルMC[2,1]、及びメモリセルMCref[2]のそれぞれの容量素子C11に電位VX[2]が供給され、容量結合によりノードNM[2,1]及びノードNMref[2]の電位がそれぞれVX[2]上昇する。
 ここで、時刻T07−T08において、配線BL[1]からメモリセルMC[2,1]のトランジスタTr12に流れる電流IMC[2,1],1は、次の式で表すことができる。
 IMC[2,1],1=k(VPR−VW[2,1]+VX[2]−Vth(E12)
 すなわち、配線RW[2]に電位VX[2]を供給することにより、配線BL[1]からメモリセルMC[2,1]のトランジスタTr12に流れる電流は、ΔIMC[2,1]=IMC[2,1],1−IMC[2,1],0増加する。
 また、時刻T07−T08において、配線BLrefからメモリセルMCref[2]のトランジスタTr12に流れる電流IMCref[2],1は、次の式で表すことができる。
 IMCref[2],1=k(VPR+VX[2]−Vth(E13)
 すなわち、配線RW[2]に電位VX[2]を供給することにより、配線BLrefからメモリセルMCref[2]のトランジスタTr12に流れる電流は、ΔIMCref[2]=IMCref[2],1−IMCref[2],0増加する。
 また、配線BL[1]及び配線BLrefに流れる電流について考える。配線BLrefには、電流源回路CSから電流ICrefが供給される。また、配線BLrefを流れる電流は、カレントミラー回路CM、メモリセルMCref[1]、[2]へ排出される。配線BLrefからカレントミラー回路CMへ排出される電流をICM,2とすると、次の式が成り立つ。
 ICref−ICM,2=IMCref[1],1+IMCref[2],1(E14)
 配線BL[1]には、電流源回路CSから電流Iが供給される。また、配線BL[1]を流れる電流は、カレントミラー回路CM、メモリセルMC[1,1]、[2,1]へ排出される。さらに、配線BL[1]からオフセット回路OFSTにも電流が流れる。配線BL[1]からオフセット回路OFSTに流れる電流をIα,2とすると、次の式が成り立つ。
 I−ICM,2=IMC[1,1],1+IMC[2,1],1+Iα,2(E15)
 そして、式(E1)乃至式(E8)、及び、式(E12)乃至式(E15)から、電流Iα,0と電流Iα,2の差(差分電流ΔIα)は次の式で表すことができる。
 ΔIα=Iα,2−Iα,0=2k(VW[1,1]X[1]+VW[2,1]X[2])(E16)
 このように、差分電流ΔIαは、電位VW[1,1]と電位VX[1]の積と、電位VW[2,1]と電位VX[2]の積と、を足し合わせた結果に応じた値となる。
 その後、時刻T08−T09において、配線RW[1]、[2]の電位は基準電位となり、ノードNM[1,1]、[2,1]及びノードNMref[1]、[2]の電位は時刻T04−T05と同様になる。
 式(E11)及び式(E16)に示されるように、オフセット回路OFSTに入力される差分電流ΔIαは、第1のデータ(重み)に対応する電位Vと、第2のデータ(入力データ)に対応する電位Vの積の項を有する式から算出することができる。すなわち、差分電流ΔIαをオフセット回路OFSTで計測することにより、第1のデータと第2のデータの積和演算の結果を得ることができる。
 なお、上記では特にメモリセルMC[1,1]、[2,1]及びメモリセルMCref[1]、[2]に着目したが、メモリセルMC及びメモリセルMCrefの数は任意に設定することができる。メモリセルMC及びメモリセルMCrefの行数mを任意の数iとした場合の差分電流ΔIαは、次の式で表すことができる。
 ΔIα=2kΣW[i,1]X[i](E17)
 また、メモリセルMC及びメモリセルMCrefの列数nを増やすことにより、並列して実行される積和演算の数を増やすことができる。
 以上のように、半導体装置MACを用いることにより、第1のデータと第2のデータの積和演算を行うことができる。なお、メモリセルMC及びメモリセルMCrefとして図18に示す構成を用いることにより、少ないトランジスタ数で積和演算回路を構成することができる。そのため、半導体装置MACの回路規模の縮小を図ることができる。
 半導体装置MACをニューラルネットワークにおける演算に用いる場合、メモリセルMCの行数mは一のニューロンに供給される入力データの数に対応させ、メモリセルMCの列数nはニューロンの数に対応させることができる。例えば、図16Aに示す中間層HLyにおいて半導体装置MACを用いた積和演算を行う場合を考える。このとき、メモリセルMCの行数mは、入力層ILyから供給される入力データの数(入力層ILyのニューロンの数)に設定し、メモリセルMCの列数nは、中間層HLのニューロンの数に設定することができる。
 なお、半導体装置MACを適用するニューラルネットワークの構造は特に限定されない。例えば半導体装置MACは、畳み込みニューラルネットワーク(CNN)、再帰型ニューラルネットワーク(RNN)、オートエンコーダ、ボルツマンマシン(制限ボルツマンマシンを含む)などに用いることもできる。
 以上のように、半導体装置MACを用いることにより、ニューラルネットワークの積和演算を行うことができる。さらに、セルアレイCAに図18に示すメモリセルMC及びメモリセルMCrefを用いることにより、演算精度の向上、消費電力の削減、又は回路規模の縮小を図ることが可能な集積回路を提供することができる。
 本実施の形態に示す構成、構造、方法などは、他の実施の形態などに示す構成、構造、方法などと適宜組み合わせて用いることができる。
(実施の形態2)
 本実施の形態では、本発明の一態様の判定システムに適用可能な撮像装置について説明する。
 図21Aには撮像装置の構成例を示す。画素回路331はマトリクス状に並べて設けられ、配線351を介して駆動回路332(Driver)と電気的に接続される。駆動回路332は、画素回路331のデータ取得動作および選択動作などの制御を行うことができる。駆動回路332には、例えば、シフトレジスタなどを用いることができる。
 また、画素回路331は、配線352を介して読み出し回路311(RC)と電気的に接続される。読み出し回路311は、ノイズを削減する相関二重サンプリング回路(CDS回路)およびアナログデータをデジタルデータに変換するA/Dコンバータを有する。
 読み出し回路311は例えばメモリと電気的に接続される。メモリは、読み出し回路311から出力されたデジタルデータを保持することができる。
 読み出し回路311が有するA/Dコンバータは、所定のビット数分の二値データを並列出力する。したがって、A/Dコンバータは、当該ビット数分のメモリセルと接続される。例えば、A/Dコンバータの出力が8ビットである場合、8個のメモリセルと接続される。
<画素回路>
 図21Bは、画素回路331の一例を説明する回路図である。画素回路331は、光電変換デバイス240と、トランジスタ103と、トランジスタ104と、トランジスタ105と、トランジスタ106と、容量素子108を有することができる。なお、容量素子108を設けない構成としてもよい。
 光電変換デバイス240の一方の電極(カソード)は、トランジスタ103のソースまたはドレインの一方と電気的に接続される。トランジスタ103のソースまたはドレインの他方は、トランジスタ104のソースまたはドレインの一方と電気的に接続される。トランジスタ104のソースまたはドレインの一方は、容量素子108の一方の電極と電気的に接続される。容量素子108の一方の電極は、トランジスタ105のゲートと電気的に接続される。トランジスタ105のソースまたはドレインの一方は、トランジスタ106のソースまたはドレインの一方と電気的に接続される。
 ここで、トランジスタ103のソースまたはドレインの他方、トランジスタ104のソースまたはドレインの一方、容量素子108の一方の電極、およびトランジスタ105のゲートを接続する配線をノードFDとする。ノードFDは電荷検出部として機能させることができる。
 光電変換デバイス240の他方の電極(アノード)は、配線121と電気的に接続される。トランジスタ103のゲートは、配線127と電気的に接続される。トランジスタ104のソースまたはドレインの他方は、配線122と電気的に接続される。トランジスタ105のソースまたはドレインの他方は、配線123に電気的に接続される。トランジスタ104のゲートは、配線126と電気的に接続される。トランジスタ106のゲートは、配線128と電気的に接続される。容量素子108の他方の電極は、例えばGND配線などの基準電位線と電気的に接続される。トランジスタ106のソースまたはドレインの他方は、配線352と電気的に接続される。
 配線127、126、128は、各トランジスタの導通を制御する信号線としての機能を有することができる。配線352は出力線としての機能を有することができる。
 配線121、122、123は、電源線としての機能を有することができる。図21Bに示す構成では光電変換デバイス240のカソード側がトランジスタ103と電気的に接続する構成であり、ノードFDを高電位にリセットして動作させる構成であるため、配線122は高電位(配線121よりも高い電位)とする。
 図21Bでは、光電変換デバイス240のカソードがノードFDと電気的に接続する構成を示したが、図21Cに示すように光電変換デバイス240のアノード側がトランジスタ103のソースまたはドレインの一方と電気的に接続する構成としてもよい。
 当該構成では、ノードFDを低電位にリセットして動作させる構成であるため、配線122は低電位(配線121よりも低い電位)とする。
 トランジスタ103は、ノードFDの電位を制御する機能を有する。トランジスタ104は、ノードFDの電位をリセットする機能を有する。トランジスタ105はソースフォロア回路として機能し、ノードFDの電位を画像データとして配線352に出力することができる。トランジスタ106は画像データを出力する画素を選択する機能を有する。
 画素回路331が有するトランジスタ103乃至106にはOSトランジスタを用いることが好ましい。OSトランジスタは、オフ電流が極めて小さい特性を有する。特に、トランジスタ103、104にオフ電流の小さいトランジスタを用いることによって、ノードFDで電荷を保持できる期間を極めて長くすることができる。そのため、回路構成や動作方法を複雑にすることなく、全画素で同時に電荷の蓄積動作を行うグローバルシャッタ方式を適用することができる。
<撮像装置の動作方式>
 図22Aはローリングシャッタ方式の動作方法を模式化した図であり、図22Bはグローバルシャッタ方式を模式化した図である。Enはn列目(nは自然数)の露光(蓄積動作)、Rnはn列目の読み出し動作を表している。図22A、図22Bでは、1行目からM行目(Mは自然数)までの動作を示している。
 ローリングシャッタ方式は、露光とデータの読み出しを順次行う動作方法であり、ある行の読み出し期間と他の行の露光期間を重ねる方式である。露光後すぐに読み出し動作を行うため、データの保持期間が比較的短い回路構成であっても撮像を行うことができる。しかしながら、撮像の同時性がないデータで1フレームの画像が構成されるため、動体の撮像においては画像に歪が生じてしまう。
 一方で、グローバルシャッタ方式は、全画素で同時に露光を行って各画素にデータを保持し、行毎にデータを読み出す動作方法である。したがって、動体の撮像であっても歪のない画像を得ることができる。
 画素回路にSiトランジスタなどの比較的オフ電流の大きいトランジスタを用いた場合は、電荷検出部から電荷が流出しやすいためローリングシャッタ方式が多く用いられる。Siトランジスタを用いてグローバルシャッタ方式を実現するには、別途メモリ回路にデータを格納させるなど、複雑な動作を高速で行わなければならない。一方で、画素回路にOSトランジスタを用いた場合は、電荷検出部からのデータ電位の流出がほとんどないため、容易にグローバルシャッタ方式を実現することができる。なお、本発明の一態様の撮像装置をローリングシャッタ方式で動作させることもできる。
 なお、画素回路331は、OSトランジスタおよびSiトランジスタを任意に組み合わせて構成であってもよい。または、すべてのトランジスタをSiトランジスタとしてもよい。
<画素回路の動作>
 次に、図21Bに示す画素回路の動作の一例を図23Aのタイミングチャートを用いて説明する。なお、本明細書におけるタイミングチャートの説明においては、高電位を“H”、低電位を“L”で表す。配線121には常時“L”が供給され、配線122、123には常時“H”が供給されている状態とする。
 期間T1において、配線126の電位を“H”、配線127の電位を“H”、配線128の電位を“L”とすると、トランジスタ103、104が導通し、ノードFDには配線122の電位“H”が供給される(リセット動作)。
 期間T2において、配線126の電位を“L”、配線127の電位を“H”、配線128の電位を“L”とすると、トランジスタ104が非導通となってリセット電位の供給が遮断される。また、光電変換デバイス240の動作に応じてノードFDの電位が低下する(蓄積動作)。
 期間T3において、配線126の電位を“L”、配線127の電位を“L”、配線128の電位を“L”とすると、トランジスタ103が非導通となり、ノードFDの電位は確定し、保持される(保持動作)。このとき、ノードFDに接続されるトランジスタ103およびトランジスタ104にオフ電流の小さいOSトランジスタを用いることによって、ノードFDからの不必要な電荷の流出を抑えることができ、データの保持時間の延ばすことができる。
 期間T4において、配線126の電位を“L”、配線127の電位を“L”、配線128の電位を“H”とすると、トランジスタ106が導通し、トランジスタ105のソースフォロア動作によりノードFDの電位が配線352に読み出される(読み出し動作)。
 以上が図21Bに示す画素回路の動作の一例である。
 図21Cに示す画素回路は、図23Bのタイミングチャートに従って動作させることができる。なお、配線121、123には常時“H”が供給され、配線122には常時“L”が供給されている状態とする。基本的な動作は、上記の図23Aのタイミングチャートの説明と同様である。
 本発明の一態様においては、図24A、図24Bに例示するように、トランジスタにバックゲートを設けた構成としてもよい。図24Aは、バックゲートがフロントゲートと電気的に接続された構成を示しており、オン電流を高める効果を有する。図24Bは、バックゲートが定電位を供給できる配線と電気的に接続された構成を示しており、トランジスタのしきい値電圧を制御することができる。
 また、図24A、図24Bを組み合わせるなど、それぞれのトランジスタが適切な動作が行えるような構成としてもよい。また、バックゲートが設けられないトランジスタを画素回路が有していてもよい。
<読み出し回路>
 図25は、画素回路331に接続される読み出し回路311の一例を説明する図であり、CDS回路400の回路図およびCDS回路400と電気的に接続されるA/Dコンバータ410のブロック図を示している。なお、図25に示すCDS回路よびA/Dコンバータは一例であり、他の構成であってもよい。
 CDS回路400は、電圧変換用の抵抗401、容量結合用の容量素子402、電位Vを供給するトランジスタ403、A/Dコンバータ410に供給する電位を保持するトランジスタ404および電位保持用の容量素子405を有する構成とすることができる。CDS回路400は、入力が画素回路331と電気的に接続され、出力がA/Dコンバータ410のコンパレータ回路(COMP)と電気的に接続される。
 配線352の電位がVres(画素回路331がリセット状態)のとき、ノードN(トランジスタ403、404および容量素子402の接続点)の電位をVとする。そして、ノードNをフローティングとして、配線352の電位がVdata(画素回路331が画像データを出力)になると、ノードNの電位は、V+Vdata−Vresとなる。したがって、CDS回路400では、画素回路331が出力する撮像データの電位からリセット状態のときの電位を差し引くことができ、ノイズ成分を削減することができる。
 A/Dコンバータ410は、コンパレータ回路(COMP)およびカウンター回路(COUNTER)を有する構成とすることができる。A/Dコンバータ410では、CDS回路400からコンパレータ回路(COMP)に入力される信号電位と、掃引される基準電位(RAMP)とが比較される。そして、コンパレータ回路(COMP)の出力に応じてカウンター回路(COUNTER)が動作し、複数の配線353にデジタル信号が出力される。
[積層構造1]
 次に、撮像装置の積層構造について、断面図を用いて説明する。
 図26Aは、層502および層503を有する積層体の断面図の一例である。
<層502>
 層502は、シリコン基板に形成された画素回路331を有する。ここでは、画素回路331の一部として、トランジスタ103、トランジスタ104、容量素子108および光電変換デバイス240を示している。
 光電変換デバイス240は、シリコン基板に形成されたpn接合型のフォトダイオードであり、p型領域243およびn型領域244を有する。光電変換デバイス240は埋め込み型フォトダイオードであり、n型領域244の表面側に設けられたp型領域241によって暗電流を抑えノイズを低減させることができる。なお、p型領域241としてp型領域243を用いてもよい。p型領域243に比べて、p型領域241は抵抗が低いことが好ましい。またp型領域243に比べて、n型領域244は抵抗が低いことが好ましい。また、p型領域243、p型領域241およびn型領域244において、p型領域とn型領域を入れ替えてもよい。
 トランジスタ103およびトランジスタ104は、シリコン基板に形成されたトランジスタである。トランジスタ103およびトランジスタ104は、ゲートとして機能する導電層と、シリコン基板に形成されるソース、ドレイン、およびソースとドレインの間に位置するチャネル形成領域と、ゲートとして機能する導電層とチャネル形成領域との間に設けられるゲート絶縁層と、を有する。なお、図26Aに示す例においては、トランジスタ103およびトランジスタ104のソース領域およびドレイン領域がn型領域により形成されている。
 層502には、絶縁層242および絶縁層245が設けられる。絶縁層242は、素子分離層としての機能を有する。絶縁層245は、キャリアの流出を抑制する機能を有する。
 シリコン基板には画素を分離する溝が設けられ、絶縁層245はシリコン基板上面および当該溝に設けられる。絶縁層245が設けられることにより、光電変換デバイス240内で発生したキャリアが隣接する画素に流出することを抑えることができる。また、絶縁層245は、迷光の侵入を抑制する機能も有する。例えば、絶縁層245が溝を有することにより、隣接する画素からの迷光の侵入が抑制される場合がある。したがって、絶縁層245により、混色を抑制することができる。なお、シリコン基板の上面と絶縁層245との間に反射防止膜が設けられていてもよい。
 素子分離層は、LOCOS(LOCal Oxidation of Silicon)法、またはSTI(Shallow Trench Isolation)法等を用いて形成することができる。絶縁層245としては、例えば、酸化シリコン膜、窒化シリコンなどの無機絶縁膜、ポリイミド、アクリルなどの有機絶縁膜を用いることができる。なお、絶縁層245は多層構成であってもよい。
 図26Aに示す例においては、光電変換デバイス240のn型領域244(カソードに相当)は、トランジスタ103のソースまたはドレインの一方としても機能することができる。
 また、層502には、絶縁層222、223、226、227、配線121、電極129aおよび電極129bが設けられる。絶縁層222は保護膜としての機能を有する。絶縁層223、227は、層間絶縁膜および平坦化膜としての機能を有する。電極129aおよび電極129bはそれぞれ、容量素子108の電極としての機能を有する。絶縁層226は、電極129aと電極129bに挟まれ、容量素子108の誘電体層としての機能を有する。電極129aは絶縁層223内に設けられたプラグを介して、トランジスタ103のソースまたはドレインの他方と電気的に接続される。配線121は電源線としての機能を有する。p型領域243(アノード)は配線121と電気的に接続される。
 保護膜としては、例えば、窒化シリコン膜、酸化シリコン膜、酸化アルミニウム膜などを用いることができる。層間絶縁膜および平坦化膜としては、例えば、酸化シリコン膜などの無機絶縁膜、アクリル樹脂、ポリイミド樹脂などの有機絶縁膜を用いることができる。容量素子の誘電体層としては、窒化シリコン膜、酸化シリコン膜、酸化アルミニウム膜などを用いることができる。
 図26Aに示すSiトランジスタはシリコン基板にチャネル形成領域を有するプレーナー型である。なお、Siトランジスタは、図27Aに示すようにフィン型であってもよい。図27Bには、図27Aに示すA1−A2の断面(チャネル幅方向の断面)を示す。
 または、図27Cに示すように、シリコン薄膜の半導体層545を有するトランジスタであってもよい。半導体層545は、例えば、シリコン基板210上の絶縁層546上に形成された単結晶シリコン(SOI(Silicon on Insulator))とすることができる。
 なお、デバイス間の電気的な接続に用いられる配線、電極およびプラグとして用いることのできる導電体には、アルミニウム、クロム、銅、銀、金、白金、タンタル、ニッケル、チタン、モリブデン、タングステン、ハフニウム、バナジウム、ニオブ、マンガン、マグネシウム、ジルコニウム、ベリリウム、インジウム、ルテニウム、イリジウム、ストロンチウム、ランタンなどから選ばれた金属元素、または上述した金属元素を成分とする合金か、上述した金属元素を組み合わせた合金等を適宜選択して用いればよい。当該導電体は単層に限らず、異なる材料で構成された複数の層であってもよい。
トロンチウム等を有してもよい。
<層503>
 層503は、層502上に形成される。層503は、遮光層251、光学変換層250およびマイクロレンズアレイ255を有する。
 遮光層251は、隣接する画素への光の流入を抑えることができる。遮光層251には、アルミニウム、タングステンなどの金属層を用いることができる。また、当該金属層と反射防止膜としての機能を有する誘電体膜を積層してもよい。
 光学変換層250には、カラーフィルタを用いることができる。カラーフィルタにR(赤)、G(緑)、B(青)、Y(黄)、C(シアン)、M(マゼンタ)などの色を画素別に割り当てることにより、カラー画像を得ることができる。
 また、光学変換層250に波長カットフィルタを用いれば、様々な波長領域における画像が得られる撮像装置とすることができる。
 例えば、光学変換層250に可視光線の波長以下の光を遮るフィルタを用いれば、赤外線撮像装置とすることができる。また、光学変換層250に近赤外線の波長以下の光を遮るフィルタを用いれば、遠赤外線撮像装置とすることができる。また、光学変換層250に可視光線の波長以上の光を遮るフィルタを用いれば、紫外線撮像装置とすることができる。
 また、光学変換層250にシンチレータを用いれば、X線撮像装置などに用いる放射線の強弱を可視化した画像を得る撮像装置とすることができる。被写体を透過したX線等の放射線がシンチレータに入射されると、フォトルミネッセンス現象により可視光線や紫外光線などの光(蛍光)に変換される。そして、当該光を光電変換デバイス240で検知することにより画像データを取得する。また、放射線検出器などに当該構成の撮像装置を用いてもよい。
 シンチレータは、X線やガンマ線などの放射線が照射されると、そのエネルギーを吸収して可視光や紫外光を発する物質を含む。例えば、GdS:Tb、GdS:Pr、GdS:Eu、BaFCl:Eu、NaI、CsI、CaF、BaF、CeF、LiF、LiI、ZnOなどを樹脂やセラミクスに分散させたものを用いることができる。
 光学変換層250上にはマイクロレンズアレイ255が設けられる。マイクロレンズアレイ255が有する個々のレンズを通る光が直下の光学変換層250を通り、光電変換デバイス240に照射されるようになる。マイクロレンズアレイ255を設けることにより、集光した光を光電変換デバイス240に入射することができるため、効率よく光電変換を行うことができる。マイクロレンズアレイ255は、可視光に対して透光性の高い樹脂またはガラスなどで形成することが好ましい。
 また、トランジスタ103およびトランジスタ104として、OSトランジスタを用いてもよい。図26Bに示す積層構造は層502および層503を有し、層502は、Si基板に設けられた素子を含む層562と、OSトランジスタを含む層563を有する。図26Bに示す層562は、Si基板上に設けられた光電変換デバイス240を有する。また図26Bでは層562にSiトランジスタを示さないが、図28Aに示すように層562がトランジスタ105を有してもよい。また図示しないが層562はトランジスタ106を有してもよい。あるいはトランジスタ105、トランジスタ106等をOSトランジスタとし、層563に設けてもよい。
 OSトランジスタはオフ電流が極めて小さいため、容量素子108に蓄積された電荷を長時間、保持することができる。
 OSトランジスタは、Siトランジスタや、Si基板に設けられた光電変換デバイス240と積層して設けることができる。よって、回路の集積化を行うことができる。また、光電変換デバイス240の面積を大きくすることができる。OSトランジスタについては図29に詳述する。
 図28Bに示す構成は、層502が層562、層563に加えて層561を有する。層561は光電変換デバイス240として、セレン系材料を光電変換層とするpn接合型フォトダイオードを用いる場合の構成例である。一方の電極として層566aと、光電変換層として層566b、566cと、他方の電極として層566dを有する。層561は、層563上に直接形成することができる。なお、層561が有する光電変換デバイス240として、有機光導電膜を用いた場合もトランジスタとの接続形態は同様となる。
 層563が有するトランジスタ102およびトランジスタ103上には絶縁層541が設けられる。層566aは絶縁層541に埋設された領域を有する。
 図28Bの層562では、Siトランジスタとしてフィン型のトランジスタを有する例を示す。図28Bに示す例では、層562にトランジスタ105およびトランジスタ106が設けられる。
 なお、図28Aおよび図28Bに示すSiトランジスタとOSトランジスタの積層構造は、上述した処理装置(PU)が有するSiトランジスタとOSトランジスタの構成にも適用することができる。例えば、同一のシリコン基板上に、撮像装置の画素回路と、上述の処理装置を含む半導体装置と、を作製することができる。よって例えば、同一チップに撮像装置の画素回路および駆動回路と、本発明の一態様の判定システムが有する半導体装置を設けることができる。本発明の一態様の判定システムが有する構成を、一つのチップに設けることにより例えば、チップの面積を縮小することができる。あるいは例えば、撮像装置の画素回路および駆動回路と、処理装置(PU)等を含む半導体装置と、を同じ工程を用いて作製できるため、チップの製造に要するコストを小さくすることができる。また、本発明の一態様の判定システムが有する構成を、一つのチップに設けることにより例えば、半導体装置が有するメモリ回路や判定回路への画像の転送に要するエネルギーを小さくでき、演算効率を向上させることができる場合がある。
 図29AにOSトランジスタの詳細を示す。図29Aに示すOSトランジスタは、酸化物半導体層および導電層の積層上に絶縁層を設け、当該半導体層に達する溝を設けることでソース電極705およびドレイン電極706を形成するセルフアライン型の構成である。
 OSトランジスタは、酸化物半導体層に形成されるチャネル形成領域、ソース領域703およびドレイン領域704のほか、ゲート電極701、ゲート絶縁膜702を有する構成とすることができる。当該溝には少なくともゲート絶縁膜702およびゲート電極701が設けられる。当該溝には、さらに酸化物半導体層707が設けられていてもよい。
 OSトランジスタは、図29Bに示すように、ゲート電極701をマスクとして半導体層にソース領域およびドレイン領域を形成するセルフアライン型の構成としてもよい。
 または、図29Cに示すように、ソース電極705またはドレイン電極706とゲート電極701とが重なる領域を有するノンセルフアライン型のトップゲート型トランジスタであってもよい。
 トランジスタ102、103はバックゲート535を有する構造を示しているが、バックゲートを有さない構造であってもよい。バックゲート535は、図29Dに示すトランジスタのチャネル幅方向の断面図のように、対向して設けられるトランジスタのフロントゲートと電気的に接続してもよい。なお、図29Dは図21Aのトランジスタを例として示しているが、その他の構造のトランジスタも同様である。また、バックゲート535にフロントゲートとは異なる固定電位を供給することができる構成であってもよい。
 OSトランジスタが形成される領域とSiトランジスタが形成される領域との間には、水素の拡散を防止する機能を有する絶縁層543が設けられる。トランジスタ105、106のチャネル形成領域近傍に設けられる絶縁層中の水素は、シリコンのダングリングボンドを終端する。一方、トランジスタ102、103のチャネル形成領域の近傍に設けられる絶縁層中の水素は、酸化物半導体層中にキャリアを生成する要因の一つとなる。
 絶縁層543により、一方の層に水素を閉じ込めることでトランジスタ105、106の信頼性を向上させることができる。また、一方の層から他方の層への水素の拡散が抑制されることでトランジスタ102、103の信頼性も向上させることができる。
 絶縁層543としては、例えば、酸化アルミニウム、酸化窒化アルミニウム、酸化ガリウム、酸化窒化ガリウム、酸化イットリウム、酸化窒化イットリウム、酸化ハフニウム、酸化窒化ハフニウム、イットリア安定化ジルコニア(YSZ)等を用いることができる。
 本実施の形態に示す構成、構造、方法などは、他の実施の形態などに示す構成、構造、方法などと適宜組み合わせて用いることができる。
(実施の形態3)
 本実施の形態では、本発明の一態様の半導体装置を適用した電子機器の例について説明する。
 図30Aは監視カメラであり、支持台951、カメラユニット952、保護カバー953等を有する。カメラユニット952には回転機構などが設けられ、天井に設置することで全周囲の撮像が可能となる。本発明の一態様の判定システムが有する撮像装置として、カメラユニット952を用いることができる。また、カメラユニット952が本発明の一態様の半導体装置と電気的に接続されることにより、撮像された情報から不審者を特定することができる。なお、監視カメラとは慣用的な名称であり、用途を限定するものではない。例えば監視カメラとしての機能を有する機器はカメラ、またはビデオカメラとも呼ばれる。
 図30Bは、飛行体の一例を示している。図30Bに示す飛行体6500は、プロペラ6501、カメラ6502、およびバッテリ6503などを有し、自律して飛行する機能を有する。
 例えば、カメラ6502で撮影した画像データは、電子部品6504に記憶される。電子部品6504は、画像データを解析し、移動する際の障害物の有無などを察知することができる。カメラ6502としては複数種類の方式の撮像装置を用いてもよい。本発明の一態様の判定システムが有する撮像装置として、カメラ6502を用いることができる。また、カメラ6502が本発明の一態様の半導体装置と電気的に接続されることにより、撮像された情報から不審者を特定することができる。
 本実施の形態に示す構成、構造、方法などは、他の実施の形態などに示す構成、構造、方法などと適宜組み合わせて用いることができる。
:ACTV:活性化関数回路、BGL2:配線、BGL6:配線、BKC1:回路、BKC2:回路、BKC10:回路、BKC20:回路、BL:配線、BLref:配線、BL1:ビット線、BLB:配線、BLB1:ビット線、C1:容量素子、C3:容量素子、C6:容量素子、C11:容量素子、C21:容量素子、CA:セルアレイ、CB1:容量素子、CB2:容量素子、CB11:容量素子、CB12:容量素子、CLD:回路、CM:カレントミラー回路、CS:電流源回路、HLy:中間層、IL:配線、ILref:配線、ILy:入力層、INV11:インバータ回路、INV12:インバータ回路、INV2:インバータ回路、INV3:インバータ回路、INV4:インバータ回路、M1:トランジスタ、M11:トランジスタ、M12:トランジスタ、M2:トランジスタ、M3:トランジスタ、M4:トランジスタ、M5:トランジスタ、M6:トランジスタ、MA1:トランジスタ、MAC:半導体装置、MC:メモリセル、MCref:メモリセル、MC1:トランジスタ、MC2:トランジスタ、MemC1:回路、MemC2:回路、MemC20:回路、MR1:トランジスタ、MW1:トランジスタ、MW2:トランジスタ、MW11:トランジスタ、MW12:トランジスタ、OFST:オフセット回路、OLy:出力層、PCC10:回路、PDL:配線、R1:抵抗素子、RBL:ビット線、RTC10:回路、RWL:ワード線、SMC20:回路、Tr11:トランジスタ、Tr12:トランジスタ、WBL:ビット線、WD:配線、WDref:配線、WL:配線、WL1:ワード線、WLD:回路、WWL:ワード線、10:電源回路、11:メモリセル、15:メモリセル、16:メモリセル、20:PU、30:プロセッサコア、31:記憶回路、32:回路、35:電源線、40:キャッシュ、41:メモリアレイ、42:周辺回路、43:制御回路、45:メモリセル、60:PMU、61:回路、65:クロック制御回路、70:PSW、71:PSW、80:予備判定回路、81:メモリ、82:回路、88:インターフェース、89:バスライン、91:判定回路、92:検出回路、100:記憶回路、102:トランジスタ、103:トランジスタ、104:トランジスタ、105:トランジスタ、106:トランジスタ、108:容量素子、110:FF、120:メモリセル、121:配線、122:配線、123:配線、126:配線、127:配線、128:配線、129a:電極、129b:電極、130:プロセッサコア、131:制御装置、132:プログラムカウンタ、133:パイプラインレジスタ、134:パイプラインレジスタ、135:レジスタファイル、136:ALU、137:データバス、210:シリコン基板、212:パワードメイン、213:パワードメイン、215:パワースイッチ、217:パワースイッチ、220:NOSRAM、222:絶縁層、223:絶縁層、226:絶縁層、227:絶縁層、230:メモリセルアレイ、231:制御回路、232:行回路、233:列回路、240:光電変換デバイス、241:p型領域、242:絶縁層、243:p型領域、244:n型領域、245:絶縁層、250:光学変換層、251:遮光層、255:マイクロレンズアレイ、311:回路、331:画素回路、332:駆動回路、341:DOSRAM、351:配線、352:配線、353:配線、361:メモリセルアレイ、365:周辺回路、371:パワースイッチ、373:パワースイッチ、400:CDS回路、401:抵抗、402:容量素子、403:トランジスタ、404:トランジスタ、405:容量素子、410:A/Dコンバータ、502:層、503:層、535:バックゲート、541:絶縁層、543:絶縁層、545:半導体層、546:絶縁層、561:層、562:層、563:層、566a:層、566b:層、566c:層、566d:層、601:撮像装置、602:表示装置、603:端末、700:半導体装置、701:ゲート電極、702:ゲート絶縁膜、703:ソース領域、704:ドレイン領域、705:ソース電極、706:ドレイン電極、707:酸化物半導体層、951:支持台、952:カメラユニット、953:保護カバー、6500:飛行体、6501:プロペラ、6502:カメラ、6503:バッテリ、6504:電子部品

Claims (13)

  1.  検出回路と、第1判定回路と、第2判定回路と、電源回路と、電源管理装置と、を有し、
     前記検出回路は、第1のデータを解析して、第1の値または第2の値が選択される第1の判定を行う機能を有し、
     前記第1判定回路および前記第2判定回路は、画像の特徴抽出を行う機能を有し、
     前記第1の判定により前記第1の値が選択される場合に、前記電源管理装置は、前記電源回路から前記第1判定回路へ電圧を供給させる機能を有し、
     前記第1判定回路は、前記第1のデータを解析して第2の判定を行う機能を有し、
     前記第2判定回路は、前記第2の判定においてイベントの発生が検知された場合には、前記第1のデータを解析して第3の判定を行う機能を有する半導体装置。
  2.  請求項1において、
     前記第1判定回路は、輪郭抽出を行う機能を有する半導体装置。
  3.  請求項1において、
     前記第1判定回路は、輪郭抽出を行う機能を有し、
     前記第2判定回路は、ディープニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、自己符号化器、深層ボルツマンマシン、深層信念ネットワークから選ばれる一以上の手法を実行する機能を有する半導体装置。
  4.  請求項2または請求項3において、
     前記イベントは、前記輪郭抽出を用いたヒトの検出である半導体装置。
  5.  請求項2または請求項3において、
     前記第1判定回路は、前記輪郭抽出を用いてヒトの顔認証を行う機能を有する半導体装置。
  6.  請求項1乃至請求項5のいずれか一において、
     アンテナを有し、
     前記第3の判定の結果を無線通信により送信する機能を有する半導体装置。
  7.  撮像装置と、検出回路と、処理装置と、第2判定回路と、電源回路と、を有し、
     前記処理装置は、第1判定回路と、電源管理装置と、プロセッサコアと、記憶回路と、を有し、
     前記プロセッサコアは、前記第1判定回路へ命令を与える機能を有し、
     前記記憶回路は、前記プロセッサコアにより生成されるデータを保持する機能を有し、
     前記撮像装置は、第1のデータを取得する機能を有し、
     前記検出回路は、前記第1のデータを解析して、第1の値または第2の値が選択される第1の判定を行う機能を有し、
     前記第1判定回路および前記第2判定回路は、画像の特徴抽出を行う機能を有し、
     前記第1の判定により前記第1の値が選択される場合に、前記電源管理装置は、前記電源回路から前記第1判定回路へ電圧を供給させる機能を有し、
     前記第1判定回路は、前記第1のデータを解析して第2の判定を行う機能を有し、
     前記第2判定回路は、前記第2の判定においてイベントの発生が検知された場合には、前記第1のデータを解析して第3の判定を行う機能を有し、
     前記撮像装置は、マトリクス状に配置される複数の画素回路を有する判定システム。
  8.  請求項7において、
     前記記憶回路は、第1のトランジスタと、第1の容量素子と、を有し、
     前記第1のトランジスタのソースおよびドレインの一方は、前記第1の容量素子の一方の電極と電気的に接続され、
     前記第1のトランジスタは、チャネル形成領域に酸化物半導体を有する判定システム。
  9.  請求項7において、
     前記記憶回路は、第1のトランジスタと、第1の容量素子と、を有し、
     前記第1のトランジスタのソースおよびドレインの一方は、前記第1の容量素子の一方の電極と電気的に接続され、
     前記第1のトランジスタは、チャネル形成領域に酸化物半導体を有するトランジスタを有し、
     前記複数の画素回路のそれぞれは、光電変換デバイスと、第2のトランジスタと、第2の容量素子と、を有し、
     前記光電変換デバイスの一方の電極は、前記第2のトランジスタのソースおよびドレインの一方と電気的に接続され、
     前記第2のトランジスタのソースおよびドレインの他方は、前記第2の容量素子の一方の電極と電気的に接続され、
     前記第2のトランジスタは、チャネル形成領域に酸化物半導体を有する判定システム。
  10.  請求項7乃至請求項9のいずれか一において、
     前記第1判定回路は、輪郭抽出を行う機能を有する判定システム。
  11.  請求項7乃至請求項9のいずれか一において、
     前記第1判定回路は、輪郭抽出を行う機能を有し、
     前記第2判定回路は、ディープニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、自己符号化器、深層ボルツマンマシン、深層信念ネットワークから選ばれる一以上の手法を実行する機能を有する判定システム。
  12.  請求項7乃至請求項9のいずれか一において、
     前記第1判定回路は、輪郭抽出を行う機能を有し、
     前記イベントは、前記輪郭抽出を用いたヒトの検出である判定システム。
  13.  請求項7乃至請求項9のいずれか一において、
     前記第1判定回路は、輪郭抽出を行う機能を有し、
     前記第1判定回路は、前記輪郭抽出を用いてヒトの顔認証を行う判定システム。
PCT/IB2020/058811 2019-10-04 2020-09-22 半導体装置および判定システム WO2021064511A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/760,797 US20220383657A1 (en) 2019-10-04 2020-09-22 Semiconductor device and determination system
JP2021550717A JPWO2021064511A1 (ja) 2019-10-04 2020-09-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-183928 2019-10-04
JP2019183928 2019-10-04

Publications (1)

Publication Number Publication Date
WO2021064511A1 true WO2021064511A1 (ja) 2021-04-08

Family

ID=75337788

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2020/058811 WO2021064511A1 (ja) 2019-10-04 2020-09-22 半導体装置および判定システム

Country Status (3)

Country Link
US (1) US20220383657A1 (ja)
JP (1) JPWO2021064511A1 (ja)
WO (1) WO2021064511A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057732A1 (ja) * 2022-09-16 2024-03-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012141922A (ja) * 2011-01-06 2012-07-26 Denso Corp 画像認識装置
JP2014006700A (ja) * 2012-06-25 2014-01-16 Mitsubishi Motors Corp 歩行者検出装置
JP2015095886A (ja) * 2013-11-14 2015-05-18 クラリオン株式会社 周囲環境認識装置
WO2016063545A1 (ja) * 2014-10-24 2016-04-28 京セラ株式会社 ステレオカメラ装置及びステレオカメラ装置を備える車両
JP2018184707A (ja) * 2017-04-24 2018-11-22 マツダ株式会社 車両用表示装置
WO2019008482A1 (ja) * 2017-07-07 2019-01-10 株式会社半導体エネルギー研究所 表示システム、および表示システムの動作方法
WO2019102314A1 (ja) * 2017-11-24 2019-05-31 株式会社半導体エネルギー研究所 半導体材料、および半導体装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012141922A (ja) * 2011-01-06 2012-07-26 Denso Corp 画像認識装置
JP2014006700A (ja) * 2012-06-25 2014-01-16 Mitsubishi Motors Corp 歩行者検出装置
JP2015095886A (ja) * 2013-11-14 2015-05-18 クラリオン株式会社 周囲環境認識装置
WO2016063545A1 (ja) * 2014-10-24 2016-04-28 京セラ株式会社 ステレオカメラ装置及びステレオカメラ装置を備える車両
JP2018184707A (ja) * 2017-04-24 2018-11-22 マツダ株式会社 車両用表示装置
WO2019008482A1 (ja) * 2017-07-07 2019-01-10 株式会社半導体エネルギー研究所 表示システム、および表示システムの動作方法
WO2019102314A1 (ja) * 2017-11-24 2019-05-31 株式会社半導体エネルギー研究所 半導体材料、および半導体装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057732A1 (ja) * 2022-09-16 2024-03-21 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器

Also Published As

Publication number Publication date
US20220383657A1 (en) 2022-12-01
JPWO2021064511A1 (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
KR102542173B1 (ko) 비교 회로, 반도체 장치, 전자 부품, 및 전자 기기
US10210373B2 (en) Fingerprint recognition sensor capable of sensing fingerprint using optical and capacitive method
JP2023078182A (ja) 演算装置
US12068339B2 (en) Imaging device and electronic device
JP2019047006A (ja) 半導体装置、電子機器
JP2020042892A (ja) 半導体装置、及びダイナミックロジック回路
US11937007B2 (en) Imaging device, operation method thereof, and electronic device
US11205461B2 (en) Memory device comprising first through fourth transistors
JP2023060332A (ja) 半導体装置
US11955538B2 (en) Semiconductor device and method for manufacturing semiconductor device
WO2021064511A1 (ja) 半導体装置および判定システム
US9679929B2 (en) Binary image sensors including quantum dots and unit pixels thereof
US20220292332A1 (en) System
JP2019004358A (ja) 撮像装置および撮像システム
Kaiser et al. Neuromorphic-p2m: processing-in-pixel-in-memory paradigm for neuromorphic image sensors
US20220359592A1 (en) Imaging device and electronic device
JP7171563B2 (ja) 撮像装置
WO2018146580A1 (en) Semiconductor device and method for manufacturing the same
Tabrizchi et al. NeSe: Near-Sensor Event-Driven Scheme for Low Power Energy Harvesting Sensors
US20230024698A1 (en) Neural network model and learning method of the same
CN114902414A (zh) 半导体装置
JP2018152399A (ja) 半導体装置、および半導体装置の作製方法
CN117672307A (zh) 一种光感存算一体单元的控制方法及应用
JP2018164139A (ja) 撮像装置および電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20873230

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021550717

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20873230

Country of ref document: EP

Kind code of ref document: A1