WO2017221086A1 - 表示装置及び移動体 - Google Patents

表示装置及び移動体 Download PDF

Info

Publication number
WO2017221086A1
WO2017221086A1 PCT/IB2017/052838 IB2017052838W WO2017221086A1 WO 2017221086 A1 WO2017221086 A1 WO 2017221086A1 IB 2017052838 W IB2017052838 W IB 2017052838W WO 2017221086 A1 WO2017221086 A1 WO 2017221086A1
Authority
WO
WIPO (PCT)
Prior art keywords
circuit
function
current
display device
transistor
Prior art date
Application number
PCT/IB2017/052838
Other languages
English (en)
French (fr)
Inventor
黒川義元
Original Assignee
株式会社半導体エネルギー研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社半導体エネルギー研究所 filed Critical 株式会社半導体エネルギー研究所
Publication of WO2017221086A1 publication Critical patent/WO2017221086A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • G09G3/3233Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix with pixel circuitry controlling the current through the light-emitting element
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • G09G3/3648Control of matrices with row and column drivers using an active matrix

Definitions

  • One embodiment of the present invention relates to a display device.
  • One embodiment of the present invention relates to a semiconductor device.
  • One embodiment of the present invention also relates to a moving object.
  • one embodiment of the present invention is not limited to the above technical field.
  • the technical field of one embodiment of the invention disclosed in this specification and the like relates to an object, a method, or a manufacturing method.
  • one embodiment of the present invention relates to a process, a machine, a manufacture, or a composition (composition of matter). Therefore, the technical field of one embodiment of the present invention disclosed in this specification more specifically includes a semiconductor device, a display device, a liquid crystal display device, a light-emitting device, a lighting device, a power storage device, a memory device, a driving method thereof, Alternatively, the production method thereof can be given as an example.
  • Patent Document 1 describes an image display device and method using a liquid crystal display device and an image processing system that can display a subject as it is directly viewed under illumination conditions at the time of display.
  • an object of one embodiment of the present invention is to provide a display device whose display quality is hardly affected by a use environment.
  • it is an object to provide a display device that can reduce power consumption.
  • an object of one embodiment of the present invention is to provide a novel semiconductor device or the like. Note that the description of these problems does not disturb the existence of other problems. Note that one embodiment of the present invention does not necessarily have to solve all of these problems. Issues other than these will be apparent from the description of the specification, drawings, claims, etc., and other issues can be extracted from the descriptions of the specification, drawings, claims, etc. It is.
  • image data is corrected and displayed in the controller in accordance with conditions such as the intensity of external light in the usage environment of the display device, the incident angle of external light on the display device, and user preferences. Adjust the tone, color, etc.
  • the parameter used for the correction of the image data is determined by using an arithmetic circuit having a function of performing analog arithmetic processing as in the case of analog data information processing executed in the brain having neurons as basic elements.
  • a display element having a function of displaying gradation using reflection of light may be used for a display device.
  • the display device having the above structure can improve the visibility of an image by displaying an image using a light emitting display element in an environment where the intensity of external light is low, for example, and an environment where the intensity of external light is high.
  • the power consumption can be kept low by displaying an image using a reflective display element.
  • the display device may have a function of displaying an image using both a reflective display element and a light-emitting display element.
  • the gradation, color, and the like of the displayed image can be complementarily adjusted using the reflective display element and the light emitting display element.
  • the correction of the image data corresponding to the reflective display element and the correction of the image data corresponding to the light emitting display element are performed using the above arithmetic circuit. Can be used.
  • a display device includes a first display element, a second display element, a first circuit, and a second circuit, and the first circuit Has a function of correcting the first image signal in accordance with the first parameter and a function of correcting the second image signal in accordance with the second parameter.
  • the second circuit uses a neural network.
  • the first display element has a function of generating the first parameter by an arithmetic process and a function of generating the second parameter by an arithmetic process using the neural network.
  • the second display element has a function of displaying gradation using the first image signal corrected in the circuit and utilizing light reflection, and the second display element is corrected in the first circuit.
  • Using the second image signal and strong light emission It has a function of displaying gray scale by.
  • a display device includes a first display element, a second display element, a first circuit, and a second circuit, and the first circuit Has a function of correcting the first image signal in accordance with the first parameter and a function of correcting the second image signal in accordance with the second parameter, and the second circuit uses analog arithmetic processing.
  • a function of generating the first parameter and a function of generating the second parameter using the analog arithmetic processing, and the first display element is corrected in the first circuit.
  • the second display element has a function of displaying gradation using the first image signal and utilizing reflection of light, and the second display element corrects the second image corrected in the first circuit. It has a function of using a signal and displaying gradation according to the intensity of light emission.
  • the second circuit includes a memory cell, a reference memory cell, a third circuit, and a fourth circuit
  • the memory cell includes: The reference memory having a function of generating a first current according to one analog data and a function of generating a second current according to the first analog data and the second analog data.
  • the cell has a function of generating a reference current according to reference data
  • the third circuit has a difference between the first current and the reference current when the first current is smaller than the reference current.
  • a function of holding the third current and the fourth circuit has the function of generating the third current when the first current is larger than the reference current.
  • a fifth current is generated.
  • an electronic device of one embodiment of the present invention includes a display device, a housing containing the display device, and a plurality of light sensors arranged in the housing, and the plurality of light sensors includes information on light intensity.
  • the display device has a first circuit, a second circuit, and a display element, and the first circuit has a function of correcting the image signal according to the parameter,
  • the circuit 2 has a function of generating the above parameters by an arithmetic process using a neural network based on the light intensity information, and the display element uses the image signal corrected in the first circuit, It has a function to display an image.
  • an electronic device of one embodiment of the present invention includes a display device, a housing containing the display device, and a plurality of light sensors arranged in the housing, and the plurality of light sensors includes information on light intensity.
  • the display device includes a first display element, a second display element, a first circuit, and a second circuit, and the first circuit includes the first display element, the first display element, the second display element, and the second circuit.
  • a function of correcting the second image signal in accordance with the second parameter, and the second circuit is a neural circuit based on light intensity information.
  • a function of generating a first parameter by an arithmetic process using a network, and a function of generating a second parameter by an arithmetic process using the neural network based on information on light intensity, 1 display element includes a first image signal corrected in the first circuit. And the second display element uses the second image signal corrected in the first circuit and has a function based on the intensity of light emission. It has a function to display the key.
  • the electronic device of one embodiment of the present invention may include a plurality of types of optical sensors having a function of acquiring light intensity information of light having different wavelengths as the plurality of optical sensors.
  • the display device of one embodiment of the present invention is a display device mounted on a moving body, and includes a first circuit, a second circuit, a display element, and a first photosensor
  • the first circuit has a function of correcting the image signal according to the parameter
  • the second circuit is information on the light intensity from the first photosensor and the light from the second photosensor provided in the moving body.
  • the display element is a function of displaying an image using the image signal corrected in the first circuit
  • the display device of one embodiment of the present invention is a display device mounted on a moving body, and includes a first display element, a second display element, a first circuit, and a second circuit, A first optical sensor, and the first circuit has a function of correcting the first image signal according to the first parameter and a function of correcting the second image signal according to the second parameter.
  • the second circuit uses a neural network based on the light intensity information from the first light sensor and the light intensity information from the second light sensor arranged on the moving body.
  • a first display element having a function of generating a first parameter by an arithmetic process and a function of generating a second parameter by an arithmetic process using the neural network based on light intensity information; Uses the first image signal corrected in the first circuit,
  • the second display element uses the second image signal corrected in the first circuit, and displays the gradation based on the intensity of light emission. It has the function to do.
  • the first optical sensor and the second optical sensor according to one embodiment of the present invention may have a function of acquiring light intensity information of light having different wavelengths.
  • the moving object of one embodiment of the present invention is a moving object including a display device, and the display device includes a first circuit, a second circuit, a display element, and a first photosensor.
  • the moving body has a second optical sensor, the first circuit has a function of correcting the image signal in accordance with the parameter, and the second circuit has information on light intensity from the first optical sensor.
  • a function of generating the above parameters by arithmetic processing using a neural network based on information on the light intensity from the second optical sensor, and the display element is an image signal corrected in the first circuit. And has a function of displaying an image.
  • a display device in which display quality is hardly affected by a use environment can be provided.
  • a display device with low power consumption can be provided with the above structure.
  • a semiconductor device such as a peripheral circuit that can reduce power consumption can be provided.
  • the above structure can provide a semiconductor device such as a peripheral circuit whose size can be suppressed.
  • a novel semiconductor device or the like can be provided. Note that the description of these effects does not disturb the existence of other effects. Note that one embodiment of the present invention does not necessarily have all of these effects. It should be noted that the effects other than these are naturally obvious from the description of the specification, drawings, claims, etc., and it is possible to extract the other effects from the descriptions of the specification, drawings, claims, etc. It is.
  • FIG. 6 is a diagram showing specific structures of a memory circuit and a reference memory circuit. The figure which shows the specific circuit structure and connection relation of the memory cell MC and the memory cell MCR. The figure which shows the specific structure of the circuit 13, the circuit 14, and a current source circuit. Timing chart. The schematic diagram of a multilayer perceptron. The figure which shows the circuit structure used for the arithmetic processing using a multilayer perceptron.
  • FIG. 10 illustrates a configuration example of a pixel of a display device.
  • FIG. 10 illustrates a configuration example of a pixel of a display device.
  • FIG. 10 illustrates a configuration example of a pixel of a display device.
  • FIG. 10 illustrates a configuration example of a pixel of a display device.
  • FIG. 14 illustrates an example of a cross-sectional structure of a display device. The figure which shows an example of the external appearance of a display apparatus. The figure which shows an example of the cross-section of an optical sensor.
  • FIG. 14 illustrates an example of an electronic device.
  • FIG. 14 illustrates an example of an electronic device.
  • FIG. 14 illustrates an example of an electronic device.
  • the figure which shows an example of a moving body The figure which shows an example of a moving body.
  • the figure which shows an example of a moving body The figure which shows an example of a moving body.
  • the figure which shows an example of a moving body The figure which shows an example of a moving body.
  • the figure which shows an example of a moving body The figure which shows an example of a moving body.
  • a semiconductor device refers to a device using semiconductor characteristics, and includes a circuit including a semiconductor element (a transistor, a diode, or the like), a device including the circuit, or the like. In addition, it refers to all devices that can function by utilizing semiconductor characteristics. For example, an integrated circuit and a chip including the integrated circuit are examples of a semiconductor device.
  • a memory device, a display device, a light-emitting device, a lighting device, an electronic device, or the like may be a semiconductor device or may have a semiconductor device.
  • X and Y are connected, X and Y are electrically connected, and X and Y function. And the case where X and Y are directly connected are disclosed in this specification and the like. Therefore, it is not limited to a predetermined connection relationship, for example, the connection relationship shown in the figure or text, and anything other than the connection relation shown in the figure or text is also described in the figure or text.
  • X and Y are objects (for example, devices, elements, circuits, wirings, electrodes, terminals, conductive films, layers, etc.).
  • the transistor has three terminals called gate, source, and drain.
  • the gate is a node that functions as a control node for controlling the conduction state of the transistor.
  • One of the two input / output nodes functioning as a source or a drain serves as a source and the other serves as a drain depending on the type of the transistor and the potential applied to each terminal. Therefore, in this specification and the like, the terms source and drain can be used interchangeably.
  • two terminals other than the gate may be referred to as a first terminal and a second terminal.
  • a node can be restated as a terminal, a wiring, an electrode, a conductive layer, a conductor, an impurity region, or the like depending on a circuit configuration, a device structure, or the like. Further, a terminal, a wiring, or the like can be referred to as a node.
  • the voltage indicates a potential difference between a certain potential and a reference potential (for example, a ground potential (GND) or a source potential).
  • a reference potential for example, a ground potential (GND) or a source potential.
  • a voltage can be rephrased as a potential. Note that the potential is relative. Therefore, even if it is described as a ground potential, it may not necessarily mean 0V.
  • film and layer can be interchanged with each other depending on the case or circumstances.
  • the term “insulating film” may be changed to the term “insulating layer” in some cases.
  • a metal oxide when a metal oxide can form a transistor having at least one of an amplifying function, a rectifying function, and a switching function, a metal oxide semiconductor (OS for short) or an oxide semiconductor write.
  • each circuit block in the block diagram shown in the drawing specifies the positional relationship for the sake of explanation. Even if it is shown that different functions are realized by different circuit blocks, the same circuit is used in the actual circuit block. In some cases, different functions are provided in the block. Also, the function of each circuit block is to specify the function for explanation, and even if it is shown as one circuit block, the processing performed in one circuit block is performed in a plurality of circuit blocks in the actual circuit block. In some cases, it is provided.
  • FIG. 1 is a block diagram illustrating a structure of a display device 200 according to one embodiment of the present invention.
  • a display device 200 illustrated in FIG. 1 includes a display unit 102 including a reflective display element 101 such as a liquid crystal element, and a display unit 104 including a light emitting display element 103 such as an EL element.
  • the display unit 102 has an area overlapping with the display unit 104. In the overlapping area, light emitted from the light emitting display element 103 of the display unit 104 passes through the display unit 102. Alternatively, external light that has passed through the display unit 104 enters the display unit 102 in the overlapping region.
  • the display device 200 illustrated in FIG. 1 includes a drive circuit (SD105a) having a function of controlling input of an image signal to the display unit 102 and a drive circuit having a function of controlling input of an image signal to the display unit 104. (SD105b).
  • SD105a a drive circuit having a function of controlling input of an image signal to the display unit 102
  • SD105b a drive circuit having a function of controlling input of an image signal to the display unit 104.
  • the display device 200 illustrated in FIG. 1 includes a drive circuit (SD105a) having a function of controlling input of an image signal to the display unit 102 and a drive circuit having a function of controlling input of an image signal to the display unit 104.
  • the display unit 102 can display an image by controlling the gradation of the reflective display element 101. Further, the display unit 104 can display an image by controlling the gradation of the light emitting display element 103.
  • the display portion 102 and the display portion 104 can display images only on the display portion 102. Since the display unit 102 uses the reflective display element 101, external light can be used as a light source when an image is displayed. When external light is used, power consumption of the display device 200 can be suppressed by displaying an image only on the display unit 102. In addition, since the display unit 104 uses the light-emitting display element 103, an image can be displayed without preparing a separate light source or using external light. Therefore, by displaying an image only on the display unit 104 of the display unit 102 and the display unit 104, the display quality of the image can be improved even when the intensity of external light is low. That is, high display quality can be ensured regardless of the use environment of the display device 200.
  • an image can be displayed using both the display portion 102 and the display portion 104.
  • the number of gradations of an image that can be displayed on the display device 200 can be increased.
  • the range of the color gamut of an image that can be displayed on the display device 200 can be expanded.
  • the display device 200 includes a controller (CTL 106) having a function of generating an image signal supplied to the SD 105a and an image signal supplied to the SD 105b from the image data Vdata.
  • the CTL 106 also has a function of performing various corrections on the input image data Vdata by signal processing.
  • the function of performing various corrections on the image data Vdata can be said to be a function of performing various corrections on the image signal Vsiga and the image signal Vsigb.
  • the image signal Vsiga generated by the CTL 106 is supplied to the SD 105a.
  • the image signal Vsigb generated by the CTL 106 is supplied to the SD 105a.
  • various corrections can be performed on the image data Vdata, such as gamma correction that matches the characteristics of the reflective display element 101, and luminance correction that matches the deterioration characteristics of the light-emitting display element 103.
  • usage conditions such as the intensity of external light in the usage environment of the display device 200, the incident angle of external light incident on the display device 200, and user preferences. The color and the number of gradations can be adjusted according to the above.
  • the CTL 106 includes a signal processing circuit (SPC 108) and an arithmetic circuit (AIC 107).
  • the AIC 107 uses the signal Sig-ld including information on usage conditions such as the intensity of external light in the usage environment of the display device 200 described above, the incident angle of external light incident on the display device 200, and user preferences.
  • the signal Vsiga and the image signal Vsigb have a function of calculating parameters for adjusting the color and the number of gradations.
  • the SPC 108 has a function of adjusting the color and the number of gradations of the image signal Vsiga and the image signal Vsigb using the parameters calculated by the AIC 107.
  • the AIC 107 has a function of performing analog arithmetic processing using analog data, similarly to information processing of analog data executed in a brain having neurons as basic elements.
  • FIG. 2 shows an example of a more detailed configuration of the display device 200.
  • FIG. 2 illustrates an input device 109 having a function of supplying usage condition information to the display device 200 and a host 185 in addition to the display device 200.
  • the input device 109 may be included in the display device 200.
  • the CTL 106 includes an interface 150, a frame memory 151, a decoder 152, a sensor controller 153, a signal controller 154, a clock generation circuit 155, an image processing unit 160, a memory 170, a timing controller 173, and a register 175.
  • the input device 109 various sensors such as an optical sensor 143, an open / close sensor 144, and an acceleration sensor 146 can be used.
  • a touch panel 181, a keyboard 182, a pointing device 183, or the like can be used as the input device 109.
  • the input device 109 may be appropriately selected according to the type of usage conditions supplied to the display device 200.
  • the information obtained by the optical sensor 143 is used as the use condition information. it can.
  • information obtained from the touch panel 181, keyboard 182, pointing device 183, or the like can be used as usage condition information as the input device 109. .
  • the interface 150 has a function of controlling input of image data Vdata from the host 185 and various control signals Sigcon to the CTL 106.
  • the host 185 includes a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the frame memory 151 has a function of storing image data input to the CTL 106.
  • the decoder 152 has a function of expanding the compressed image data when the image data stored in the frame memory 151 is in a compressed state. Note that the decoder 152 may be electrically connected to the frame memory 151 so as to decompress the image data before being stored in the frame memory 151.
  • the image processing unit 160 has a function of performing various kinds of image processing on the image data and generating an image signal.
  • the image processing includes correction for adjusting the color and the number of gradations according to the use conditions.
  • Other examples of various image processing performed by the image processing unit 160 include gamma correction, adjustment of the luminance of the light emitting display element 103 in accordance with the deterioration of the light emitting display element 103, and the like.
  • the image processing unit 160 includes an SPC 108 and an AIC 107.
  • the AIC 107 has a function of calculating parameter values for adjusting the color and the number of gradations using the information on the use conditions, and the SPC 108 uses the parameter values to adjust the color and gradation. It has a function of adjusting the number of image data or image signals.
  • each table value corresponds to the above parameter.
  • the value defining the function form corresponds to the parameter.
  • the AIC 107 may have a neural network which will be described later, and have a function of performing supervised learning.
  • the parameters can be optimized by the AIC 107 learning using the input usage condition information as teacher data.
  • information on usage conditions such as an incident angle of external light detected by a sensor, an intensity of external light, and an angle of a display device corresponds to learning data.
  • parameters reflecting user preferences such as color and gradation selected by the user correspond to teacher data.
  • the AIC 107 can output parameters that seem to be appropriate for the usage condition information during use. Image processing may be performed in the SPC 108 using the output parameters.
  • the memory 170 has a function of temporarily storing image signals.
  • the image signal generated by the image processing unit 160 is supplied to the SD 105a or SD 105b via the memory 170.
  • the timing controller 173 has a function of generating timing signals used in the operations of the SD 105 a, SD 105 b, the display unit 102, and the display unit 104.
  • the clock generation circuit 155 has a function of generating a clock signal used in the CTL 106.
  • the signal controller 154 has a function of controlling various circuits in the CTL 106 using various control signals Sigcon input via the interface 150.
  • the CTL 106 may include a power controller having a function of controlling power supply to various circuits in the CTL 106.
  • temporarily shutting off power supply to an unused circuit is referred to as power gating.
  • the register 175 stores data used for the operation of the CTL 106.
  • the data stored in the register 175 includes parameters used by the image processing unit 160 to perform correction processing, parameters used by the timing controller 173 to generate waveforms of various timing signals, and the like.
  • the register 175 may include a scan chain register including a plurality of registers.
  • the sensor controller 153 generates a signal including usage condition information based on information obtained by the optical sensor 143, the open / close sensor 144, or the acceleration sensor 146.
  • the signal is supplied to the image processing unit 160 via the signal controller 154 or not via the signal controller 154.
  • the optical sensor 143 has a function of obtaining light intensity information.
  • the acceleration sensor 146 has a function of obtaining information on the tilt of the display device 200.
  • a gyro sensor or the like may be used as a module for obtaining tilt information.
  • the open / close sensor 144 has a function of obtaining information on an angle between a case where the display device 200 is supported and another case.
  • the display device 200 may have a function of obtaining information on the angle between the housings.
  • the signal controller 154 has a function of determining whether one of the display unit 102 and the display unit 104 is used for displaying an image, or both, according to the use condition information obtained in the input device 109. Have.
  • the display unit 102 displays the image on the display unit 102 and the display unit 104.
  • the signal controller 154 can control various circuits in the CTL 106.
  • the display unit 104 of the display unit 102 and the display unit 104 displays an image.
  • the signal controller 154 can control various circuits in the CTL 106.
  • the signal controller 154 increases the number of gradations of an image that can be displayed on the display device 200 or expands the range of the color gamut of the image that can be displayed on the display device 200 in accordance with the use condition information obtained by the input device 109.
  • the signal controller 154 can control various circuits in the CTL 106 so as to display an image on both the display unit 102 and the display unit 104.
  • the display unit 102 using a reflective display element and the display unit 104 using a light-emitting display element can display different images.
  • many liquid crystal elements and electronic paper that can be applied to a reflective display element have a slow operation speed (it takes time to display a picture). Therefore, a still image as a background can be displayed on the display unit 102 using a reflective display element, and a moving mouse pointer image or the like can be displayed on the display unit 104 using a light-emitting display element.
  • the display device 200 can achieve both smooth video display and low power consumption.
  • the frame memory 151 may be provided with an area for storing image data to be displayed on each of the reflective display element 101 and the light emitting display element 103.
  • This embodiment can be implemented in appropriate combination with any of the other embodiments.
  • Embodiment 2 In this embodiment, a structural example of a display device using a reflective display element and a light-emitting display element will be described. Note that in this embodiment, a structure example of a display device is described using a case where a liquid crystal element is used as a reflective display element and a light-emitting element using an EL material is used as a light-emitting display element.
  • FIG. 3A illustrates an example of a cross-sectional structure of the display device 200 according to one embodiment of the present invention.
  • a display device 200 illustrated in FIG. 3A controls a light-emitting element 203, a liquid crystal element 204, a transistor 205 having a function of controlling supply of current to the light-emitting element 203, and supply of voltage to the liquid crystal element 204.
  • the liquid crystal element 204 includes a pixel electrode 207, a common electrode 208, and a liquid crystal layer 209.
  • the pixel electrode 207 is electrically connected to the transistor 206. Then, the orientation of the liquid crystal layer 209 is controlled according to the voltage applied between the pixel electrode 207 and the common electrode 208.
  • FIG. 3A illustrates the case where the pixel electrode 207 has a function of reflecting visible light and the common electrode 208 has a function of transmitting visible light, and light incident from the substrate 202 side is illustrated. As indicated by a white arrow, the light is reflected from the pixel electrode 207 and is emitted again from the substrate 202 side.
  • the light emitting element 203 is electrically connected to the transistor 205. Light emitted from the light emitting element 203 is emitted to the substrate 202 side.
  • FIG. 3A illustrates the case where the pixel electrode 207 has a function of reflecting visible light and the common electrode 208 has a function of transmitting visible light; thus, light emitted from the light-emitting element 203 is illustrated. Passes through a region that does not overlap with the pixel electrode 207 as indicated by a white arrow, passes through a region where the common electrode 208 is located, and is emitted from the substrate 202 side.
  • the transistor 205 and the transistor 206 are located in the same layer 210, and the layer 210 including the transistor 205 and the transistor 206 includes the liquid crystal element 204 and the light-emitting element. It has a region between 203. Note that at least when the semiconductor layer included in the transistor 205 and the semiconductor layer included in the transistor 206 are located on the surface of the same insulating layer, the transistor 205 and the transistor 206 are included in the same layer 210. It can be said.
  • the transistor 205 and the transistor 206 can be manufactured through a common manufacturing process.
  • FIG. 3B illustrates an example of a cross-sectional structure of another structure of the display device 200 according to one embodiment of the present invention.
  • the display device 200 illustrated in FIG. 3B is different in structure from the display device 200 illustrated in FIG. 3A in that the transistor 205 and the transistor 206 are included in different layers.
  • the display device 200 illustrated in FIG. 3B includes a layer 210a including the transistor 205 and a layer 210b including the transistor 206.
  • the layer 210a and the layer 210b each emit light from the liquid crystal element 204.
  • a region between the elements 203 is included.
  • the layer 210a is closer to the light-emitting element 203 side than the layer 210b. Note that in the case where at least the semiconductor layer included in the transistor 205 and the semiconductor layer included in the transistor 206 are located on different insulating layers, it can be said that the transistor 205 and the transistor 206 are included in different layers.
  • the transistor 205 and various wirings electrically connected to the transistor 205 can be partially overlapped with the transistor 206 and various wirings electrically connected to the transistor 206, so that the pixel
  • the size of the display device 200 can be kept small, and high definition of the display device 200 can be realized.
  • FIG. 4A illustrates an example of a cross-sectional structure of another structure of the display device 200 according to one embodiment of the present invention.
  • the display device 200 illustrated in FIG. 4A is different in structure from the display device 200 illustrated in FIG. 3A in that the transistor 205 and the transistor 206 are included in different layers.
  • the display device 200 illustrated in FIG. 4A is different from the display device 200 illustrated in FIG. 3B in that the layer 210a including the transistor 205 is closer to the substrate 201 than the light-emitting element 203 is. .
  • the display device 200 illustrated in FIG. 4A includes a layer 210 a including the transistor 205 and a layer 210 b including the transistor 206.
  • the layer 210 a has a region between the light emitting element 203 and the substrate 201.
  • the layer 210 b includes a region between the liquid crystal element 204 and the light emitting element 203.
  • the transistor 205 and various wirings electrically connected to the transistor 205 are connected to each other, and the transistor 206 and various wirings electrically connected to the transistor 206 are more connected than in the case of FIG. Since many pixels can be overlapped, the size of the pixel can be reduced and high definition of the display device 200 can be realized.
  • FIG. 4B illustrates an example of a cross-sectional structure of another structure of the display device 200 of one embodiment of the present invention.
  • the display device 200 illustrated in FIG. 4B has the same structure as the display device 200 illustrated in FIG. 3A in that the transistor 205 and the transistor 206 are included in the same layer.
  • the display device 200 illustrated in FIG. 4B is different from the display device illustrated in FIG. 3A in that a layer including the transistor 205 and the transistor 206 is closer to the substrate 201 than the light-emitting element 203. 200 and the configuration is different.
  • the display device 200 illustrated in FIG. 4B includes the layer 210 including the transistor 205 and the transistor 206.
  • the layer 210 has a region between the light emitting element 203 and the substrate 201. Further, the liquid crystal element 204 is closer to the substrate 202 side than the light emitting element 203.
  • the transistor 205 and the transistor 206 can be manufactured through a common manufacturing process.
  • the wiring for electrically connecting the liquid crystal element 204 and the transistor 206 and the wiring for electrically connecting the light-emitting element 203 and the transistor 205 may be provided on the same side with respect to the layer 210.
  • a wiring for electrically connecting the liquid crystal element 204 and the transistor 206 can be formed over the semiconductor layer of the transistor 206 and the light-emitting element 203 and the transistor 205 are electrically connected.
  • a wiring can be formed over the semiconductor layer of the transistor 205.
  • a display device includes one liquid crystal element. It may have a cross-sectional structure in which one light-emitting element 203 corresponds to the element 204, or a cross-sectional structure in which a plurality of light-emitting elements 203 correspond to one liquid crystal element 204. May be.
  • the pixel electrode 207 included in the liquid crystal element 204 has a function of reflecting visible light
  • the pixel electrode 207 has a function of transmitting visible light.
  • a light source such as a backlight or a front light may be provided in the display device 200, or the light emitting element 203 may be used as a light source when an image is displayed using the liquid crystal element 204.
  • This embodiment can be implemented in appropriate combination with any of the other embodiments.
  • the AIC 107 illustrated in FIG. 5 includes a memory circuit 11 (MEM), a reference memory circuit 12 (RMEM), a circuit 13, and a circuit 14.
  • the AIC 107 may further include a current source circuit 15 (CREF).
  • the memory circuit 11 includes a memory cell MC exemplified by a memory cell MC [i, j] and a memory cell MC [i + 1, j].
  • Each memory cell MC includes an element having a function of converting an input potential into a current.
  • an active element such as a transistor can be used.
  • FIG. 5 illustrates a case where each memory cell MC includes a transistor Tr1.
  • the first analog potential is input to the memory cell MC from the wiring WD.
  • the first analog potential corresponds to the first analog data.
  • the memory cell MC has a function of generating a first analog current corresponding to the first analog potential.
  • the drain current of the transistor Tr1 obtained when the first analog potential is supplied to the gate of the transistor Tr1 can be used as the first analog current.
  • the current flowing through the memory cell MC [i, j] is I [i, j]
  • the current flowing through the memory cell MC [i + 1, j] is I [i + 1, j].
  • the drain current does not depend on the voltage between the source and the drain, but is controlled by the difference between the gate voltage and the threshold voltage. Therefore, it is desirable to operate the transistor Tr1 in the saturation region.
  • the gate voltage and the voltage between the source and the drain are appropriately set to a voltage within a range in which the transistor Tr1 operates in the saturation region.
  • the first analog potential Vx [i, j] is input to the memory cell MC [i, j] from the wiring WD [j].
  • the memory cell MC [i, j] has a function of generating a first analog current corresponding to the first analog potential Vx [i, j]. That is, in this case, the current I [i, j] of the memory cell MC [i, j] corresponds to the first analog current.
  • the first analog potential Vx [i + 1, j] is input from the wiring WD [j] to the memory cell MC [i + 1, j].
  • the memory cell MC [i + 1, j] has a function of generating a first analog current corresponding to the first analog potential Vx [i + 1, j]. That is, in this case, the current I [i + 1, j] of the memory cell MC [i + 1, j] corresponds to the first analog current.
  • the memory cell MC has a function of holding the first analog potential. That is, it can be said that the memory cell MC has a function of holding the first analog current corresponding to the first analog potential by holding the first analog potential.
  • the second analog potential is input to the memory cell MC from the wiring RW.
  • the second analog potential corresponds to the second analog data.
  • Memory cell MC has a function of adding a potential corresponding to a second analog potential to a first analog potential that is already held, and a function of holding a third analog potential obtained by addition.
  • the memory cell MC has a function of generating a second analog current corresponding to the third analog potential. That is, it can be said that the memory cell MC has a function of holding the second analog current corresponding to the third analog potential by holding the third analog potential.
  • a detailed description of the memory cell MC is shown in FIG.
  • the second analog potential Vw [i, j] is input to the memory cell MC [i, j] from the wiring RW [i].
  • the memory cell MC [i, j] has a function of holding a third analog potential corresponding to the first analog potential Vx [i, j] and the second analog potential Vw [i, j].
  • the memory cell MC [i, j] has a function of generating a second analog current corresponding to the third analog potential. That is, in this case, the current I [i, j] of the memory cell MC [i, j] corresponds to the second analog current.
  • the second analog potential Vw [i + 1, j] is input from the wiring RW [i + 1] to the memory cell MC [i + 1, j].
  • the memory cell MC [i + 1, j] has a function of holding a third analog potential corresponding to the first analog potential Vx [i + 1, j] and the second analog potential Vw [i + 1, j].
  • the memory cell MC [i + 1, j] has a function of generating a second analog current corresponding to the third analog potential. That is, in this case, the current I [i + 1, j] of the memory cell MC [i + 1, j] corresponds to the second analog current.
  • the current I [i, j] flows between the wiring BL [j] and the wiring VR [j] through the memory cell MC [i, j].
  • the current I [i + 1, j] flows between the wiring BL [j] and the wiring VR [j] through the memory cell MC [i + 1, j]. Therefore, a current I [j] corresponding to the sum of the current I [i, j] and the current I [i + 1, j] is passed through the memory cell MC [i, j] and the memory cell MC [i + 1, j]. It flows between the wiring BL [j] and the wiring VR [j].
  • the reference memory circuit 12 includes a memory cell MCR exemplified by a memory cell MCR [i] and a memory cell MCR [i + 1].
  • a first reference potential VPR is input to the memory cell MCR from the wiring WDREF.
  • the memory cell MCR has a function of generating a first reference current corresponding to the first reference potential VPR.
  • IREF [i] the current flowing through the memory cell MCR [i]
  • IREF [i + 1] the current flowing through the memory cell MCR [i + 1]
  • the first reference potential VPR is input to the memory cell MCR [i] from the wiring WDREF.
  • the memory cell MCR [i] has a function of generating a first reference current corresponding to the first reference potential VPR. That is, in this case, the current IREF [i] of the memory cell MCR [i] corresponds to the first reference current.
  • the first reference potential VPR is input to the memory cell MCR [i + 1] from the wiring WDREF.
  • the memory cell MCR [i + 1] has a function of generating a first reference current corresponding to the first reference potential VPR. That is, in this case, the current IREF [i + 1] of the memory cell MCR [i + 1] corresponds to the first reference current.
  • the memory cell MCR has a function of holding the first reference potential VPR. That is, it can be said that the memory cell MCR has a function of holding the first reference current corresponding to the first reference potential VPR by holding the first reference potential VPR.
  • the second analog potential is input to the memory cell MCR from the wiring RW.
  • the memory cell MCR adds the second analog potential or a potential corresponding to the second analog potential to the already held first reference potential VPR and holds the second reference potential obtained by the addition. It has the function to do.
  • the memory cell MCR has a function of generating a second reference current corresponding to the second reference potential. That is, it can be said that the memory cell MCR has a function of holding the second reference potential corresponding to the second reference potential by holding the second reference potential.
  • the second analog potential Vw [i, j] is input to the memory cell MCR [i] from the wiring RW [i].
  • the memory cell MCR [i] has a function of holding a second reference potential corresponding to the first reference potential VPR and the second analog potential Vw [i, j].
  • the memory cell MCR [i] has a function of generating a second reference current corresponding to the second reference potential. That is, in this case, the current IREF [i] of the memory cell MCR [i] corresponds to the second reference current.
  • the second analog potential Vw [i + 1, j] is input to the memory cell MCR [i + 1] from the wiring RW [i + 1].
  • the memory cell MCR [i + 1] has a function of holding a second reference potential corresponding to the first reference potential VPR and the second analog potential Vw [i + 1, j].
  • the memory cell MCR [i + 1] has a function of generating a second reference current corresponding to the second reference potential. That is, in this case, the current IREF [i + 1] of the memory cell MCR [i + 1] corresponds to the second reference current.
  • the current IREF [i] flows between the wiring BLREF and the wiring VRREF through the memory cell MCR [i].
  • the current IREF [i + 1] flows between the wiring BLREF and the wiring VRREF through the memory cell MCR [i + 1]. Therefore, the current IREF corresponding to the sum of the current IREF [i] and the current IREF [i + 1] flows between the wiring BLREF and the wiring VRREF via the memory cell MCR [i] and the memory cell MCR [i + 1]. Become.
  • the current source circuit 15 has a function of supplying the wiring BL with a current having the same value as the current IREF flowing through the wiring BLREF or a current corresponding to the current IREF.
  • I [j] is different from the current IREF flowing between the wiring BLREF and the wiring VRREF via the memory cell MCR [i] and the memory cell MCR [i + 1]
  • the difference current flows to the circuit 13 or the circuit 14.
  • the circuit 13 has a function as a current source circuit
  • the circuit 14 has a function as a current sink circuit.
  • the circuit 13 when the current I [j] is larger than the current IREF, the circuit 13 has a function of generating a current ⁇ I [j] corresponding to the difference between the current I [j] and the current IREF.
  • the circuit 13 has a function of supplying the generated current ⁇ I [j] to the wiring BL [j]. That is, it can be said that the circuit 13 has a function of holding the current ⁇ I [j].
  • the circuit 14 When the current I [j] is smaller than the current IREF, the circuit 14 has a function of generating a current ⁇ I [j] corresponding to the difference between the current I [j] and the current IREF.
  • the circuit 14 has a function of drawing the generated current ⁇ I [j] from the wiring BL [j]. That is, it can be said that the circuit 14 has a function of holding the current ⁇ I [j].
  • a potential corresponding to the first analog potential is stored in the memory cell MC [i, j]. Specifically, a potential VPR ⁇ Vx [i, j] obtained by subtracting the first analog potential Vx [i, j] from the first reference potential VPR is set to the memory cell MC [i] via the wiring WD [j]. , J]. In the memory cell MC [i, j], the potential VPR ⁇ Vx [i, j] is held. In the memory cell MC [i, j], a current I [i, j] corresponding to the potential VPR ⁇ Vx [i, j] is generated.
  • the first reference potential VPR is a high level potential higher than the ground potential. Specifically, it is desirable that the potential be higher than the ground potential and at the same level as or lower than the high-level potential VDD supplied to the current source circuit 15.
  • the first reference potential VPR is stored in the memory cell MCR [i]. Specifically, the potential VPR is input to the memory cell MCR [i] through the wiring WDREF. In the Mori cell MCR [i], the potential VPR is held. In the memory cell MCR [i], a current IREF [i] corresponding to the potential VPR is generated.
  • a potential corresponding to the first analog potential is stored in the memory cell MC [i + 1, j].
  • the potential VPR ⁇ Vx [i + 1, j] obtained by subtracting the first analog potential Vx [i + 1, j] from the first reference potential VPR is connected to the memory cell MC [i + 1] via the wiring WD [j]. , J].
  • the potential VPR ⁇ Vx [i + 1, j] is held.
  • a current I [i + 1, j] corresponding to the potential VPR ⁇ Vx [i + 1, j] is generated.
  • the first reference potential VPR is stored in the memory cell MCR [i + 1]. Specifically, the potential VPR is input to the memory cell MCR [i + 1] through the wiring WDREF. In the memory cell MCR [i + 1], the potential VPR is held. In the memory cell MCR [i + 1], a current IREF [i + 1] corresponding to the potential VPR is generated.
  • the wiring RW [i] and the wiring RW [i + 1] are set to the reference potential.
  • a ground potential, a low-level potential VSS lower than the reference potential, or the like can be used as the reference potential.
  • the potential of the wiring RW can be higher than the ground potential even if the second analog potential Vw is positive or negative, so that signal generation is facilitated. This is preferable because product operation can be performed on positive and negative analog data.
  • the circuit 13 supplies an offset current to the wiring BL [j]. That is, the current ICM [j] flowing through the circuit 13 corresponds to the offset current. Then, the value of the current ICM [j] is held in the circuit 13.
  • the circuit 14 draws an offset current from the wiring BL [j]. That is, the current ICP [j] flowing through the circuit 14 corresponds to the offset current. The value of the current ICP [j] is held in the circuit 14.
  • the stored potential is stored in the memory cell MC [i, j]. Specifically, by setting the potential of the wiring RW [i] to a potential higher by Vw [i] than the reference potential, the second analog potential Vw [i] is stored in the memory via the wiring RW [i]. Input to cell MC [i, j]. In the memory cell MC [i, j], the potential VPR ⁇ Vx [i, j] + Vw [i] is held. In the memory cell MC [i, j], a current I [i, j] corresponding to the potential VPR ⁇ Vx [i, j] + Vw [i] is generated.
  • the second analog potential or the second analog potential so as to be added to the first analog potential already held in the memory cell MC [i + 1, j] or the potential according to the first analog potential.
  • the stored potential is stored in the memory cell MC [i + 1, j]. Specifically, by setting the potential of the wiring RW [i + 1] higher by Vw [i + 1] than the reference potential, the second analog potential Vw [i + 1] is stored in the memory through the wiring RW [i + 1]. It is input to the cell MC [i + 1, j]. In the memory cell MC [i + 1, j], the potential VPR ⁇ Vx [i + 1, j] + Vw [i + 1] is held. In the memory cell MC [i + 1, j], a current I [i + 1, j] corresponding to the potential VPR ⁇ Vx [i + 1, j] + Vw [i + 1] is generated.
  • the potential of the wiring RW [i] is Vw [i]
  • the potential of the wiring RW [i + 1] is Vw [i + 1].
  • the second analog current is expressed by the following Expression 1. Note that k is a coefficient and Vth is a threshold voltage of the transistor Tr1.
  • the second reference current is expressed by the following Expression 2.
  • Equation 4 current ⁇ I [j] is derived as in Equation 4 below.
  • Equation 4 the term represented by 2k ⁇ i (Vw [i] ⁇ Vx [i, j]) is the product of the first analog potential Vx [i, j] and the second analog potential Vw [i], This corresponds to the sum of the product of one analog potential Vx [i + 1, j] and the second analog potential Vw [i + 1].
  • the offset current Ioffset [j] is set such that the second analog potential Vw [i] is 0 and the second analog potential Vw [i + 1] is 0 when all the potentials of the wirings RW [i] are set as reference potentials. Assuming that the current ⁇ I [j] is obtained from the equation 4, the following equation 5 is derived.
  • Ioffset [j] ⁇ 2k ⁇ i (Vth ⁇ VPR) ⁇ Vx [i, j] ⁇ k ⁇ iVx [i, j] 2 (Formula 5)
  • the current flowing through the circuit 13 or the circuit 14 is the current Ioffset [j]
  • the wiring RW [i ] Is Vw [i] and the wiring RW [i + 1] is Vw [i + 1]
  • the current Iout [j] flowing out of the wiring BL [j] is IREF-I [j] -Ioffset [j].
  • the transistor Tr1 is desirably operated in a saturation region, but even if the operation region of the transistor Tr1 is different from an ideal saturation region, the first analog potential Vx [i, j] and the second analog potential are A current corresponding to the sum of the product of Vw [i] and the product of the second analog potential Vx [i + 1, j] and the second analog potential Vw [i + 1] is obtained without any problem with accuracy within a desired range. If it can, the transistor Tr1 can be regarded as operating in the saturation region.
  • arithmetic processing of analog data can be executed without being converted into digital data, so that the circuit scale of the arithmetic circuit can be reduced.
  • analog data arithmetic processing can be performed without being converted into digital data, so that time required for analog data arithmetic processing can be reduced.
  • power consumption of an arithmetic circuit can be reduced while suppressing time required for arithmetic processing of analog data.
  • FIG. 6 illustrates a case where the memory circuit 11 (MEM) has a plurality of memory cells MC in y rows and x columns, and the reference memory circuit 12 (RMEM) has a plurality of memory cells MCR in y rows and 1 column. ing.
  • MEM memory circuit 11
  • RMEM reference memory circuit 12
  • the memory circuit 11 is electrically connected to the wiring RW, the wiring WW, the wiring WD, the wiring VR, and the wiring BL.
  • the wirings RW [1] to RW [y] are electrically connected to the memory cells MC in each row, and the wirings WW [1] to WW [y] are electrically connected to the memory cells MC in each row.
  • the wirings WD [1] to WD [x] are electrically connected to the memory cells MC in each column, and the wirings BL [1] to BL [x] are connected to the memory cells MC in each column.
  • FIG. 6 illustrates the case where the wirings VR [1] to VR [x] are electrically connected to the memory cells MC in each column. Note that the wirings VR [1] to VR [x] may be electrically connected to each other.
  • the reference memory circuit 12 is electrically connected to the wiring RW, the wiring WW, the wiring WDREF, the wiring VRREF, and the wiring BLREF.
  • the wirings RW [1] to RW [y] are electrically connected to the memory cells MCR in each row, and the wirings WW [1] to WW [y] are electrically connected to the memory cells MCR in each row.
  • the wiring WDREF is electrically connected to each row of memory cells MCR
  • the wiring BLREF is electrically connected to each row of memory cells MCR
  • the wiring VRREF is electrically connected to each row of memory cells MCR. The case where it is done is illustrated.
  • the wiring VRREF may be electrically connected to the wirings VR [1] to VR [x].
  • FIG. 7 shows a specific circuit configuration and connection relationship as an example.
  • FIG. 7 illustrates the memory cell MCR [i] in the i-th row and the memory cell MCR [i + 1] in the i + 1-th row. Note that i is an arbitrary number from 1 to y, and j is an arbitrary number from 1 to x.
  • the i-th row memory cell MC [i, j], the memory cell MC [i, j + 1], and the memory cell MCR [i] are electrically connected to the wiring RW [i] and the wiring WW [i]. ing. Further, the memory cell MC [i + 1, j] in the i + 1th row, the memory cell MC [i + 1, j + 1], and the memory cell MCR [i + 1] are electrically connected to the wiring RW [i + 1] and the wiring WW [i + 1]. It is connected.
  • the memory cell MC [i, j] in the j-th column and the memory cell MC [i + 1, j] are electrically connected to the wiring WD [j], the wiring VR [j], and the wiring BL [j]. Yes.
  • the memory cell MC [i, j + 1] in the j + 1 column and the memory cell MC [i + 1, j + 1] are electrically connected to the wiring WD [j + 1], the wiring VR [j + 1], and the wiring BL [j + 1].
  • the memory cell MCR [i] and the memory cell MCR [i + 1] in the (i + 1) th row are electrically connected to the wiring WDREF, the wiring VRREF, and the wiring BLREF.
  • Each memory cell MC and each memory cell MCR includes a transistor Tr1, a transistor Tr2, and a capacitor C1.
  • the transistor Tr2 has a function of controlling input of the first analog potential to the memory cell MC or the memory cell MCR.
  • the transistor Tr1 has a function of generating an analog current in accordance with the potential input to the gate.
  • the capacitor C1 has a second analog potential or a potential corresponding to the second analog potential to the first analog potential or the potential corresponding to the first analog potential held in the memory cell MC or the memory cell MCR. Has the function of adding.
  • the transistor Tr ⁇ b> 2 has a gate electrically connected to the wiring WW, one of a source and a drain electrically connected to the wiring WD, and the other of the source and drain is a transistor. It is electrically connected to the gate of Tr1.
  • the transistor Tr1 one of a source and a drain is electrically connected to the wiring VR, and the other of the source and the drain is electrically connected to the wiring BL.
  • the first electrode is electrically connected to the wiring RW, and the second electrode is electrically connected to the gate of the transistor Tr1.
  • the transistor Tr2 includes a gate electrically connected to the wiring WW, one of a source and a drain electrically connected to the wiring WDREF, and the other of the source and the drain of the transistor Tr1. It is electrically connected to the gate.
  • the transistor Tr1 one of a source and a drain is electrically connected to the wiring VRREF, and the other of the source and the drain is electrically connected to the wiring BLREF.
  • the capacitor C1 the first electrode is electrically connected to the wiring RW, and the second electrode is electrically connected to the gate of the transistor Tr1.
  • the node N In the memory cell MC, when the gate of the transistor Tr1 is a node N, in the memory cell MC, the first analog potential is input to the node N through the transistor Tr2. Then, when the transistor Tr2 is turned off, the node N is in a floating state. The node N holds the first analog potential or the potential corresponding to the first analog potential. In the memory cell MC, when the node N is in a floating state, the second analog potential input to the first electrode of the capacitor C1 is applied to the node N. With the above operation, the node N has a potential obtained by adding the second analog potential or the potential corresponding to the second analog potential to the potential corresponding to the first analog potential or the first analog potential. Become.
  • the amount of change in the potential of the first electrode is directly reflected in the amount of change in the potential of the node N. It is not done. Specifically, by multiplying the amount of change in potential of the first electrode by a coupling coefficient that is uniquely determined from the capacitance value of the capacitive element C1, the capacitance value of the gate capacitance of the transistor Tr1, and the capacitance value of the parasitic capacitance. The amount of change in the potential of the node N can be accurately calculated.
  • the change amount of the potential of the first electrode is reflected in the change amount of the potential of the node N.
  • the drain current of the transistor Tr1 is determined according to the potential of the node N. Therefore, when the potential of the node N is held by turning off the transistor Tr2, the value of the drain current of the transistor Tr1 is also held.
  • the drain current reflects the first analog potential and the second analog potential.
  • the gate of the transistor Tr1 in the memory cell MCR is the node NREF
  • a first reference potential or a potential corresponding to the first reference potential is input to the node NREF through the transistor Tr2, and then the transistor
  • Tr2 is turned off
  • the node NREF enters a floating state, and the first reference potential or a potential corresponding to the first reference potential is held at the node NREF.
  • the second analog potential input to the first electrode of the capacitor C1 is applied to the node NREF.
  • the node NREF has the potential obtained by adding the second analog potential or the potential corresponding to the second analog potential to the potential corresponding to the first reference potential or the first reference potential. Become.
  • the drain current of the transistor Tr1 is determined according to the potential of the node NREF. Therefore, when the potential of the node NREF is held by turning off the transistor Tr2, the value of the drain current of the transistor Tr1 is also held.
  • the drain current reflects the first reference potential and the second analog potential.
  • the drain current flowing through the transistor Tr1 of the memory cell MC [i, j] is current I [i, j] and the drain current flowing through the transistor Tr1 of the memory cell MC [i + 1, j] is current I [i + 1, j].
  • the sum of the currents supplied from the wiring BL [j] to the memory cell MC [i, j] and the memory cell MC [i + 1, j] is the current I [j].
  • the drain current flowing through the transistor Tr1 of the memory cell MC [i, j + 1] is defined as a current I [i, j + 1]
  • the drain current flowing through the transistor Tr1 of the memory cell MC [i + 1, j + 1] is defined as a current I [i + 1, j + 1].
  • a sum of currents supplied from the wiring BL [j + 1] to the memory cell MC [i, j + 1] and the memory cell MC [i + 1, j + 1] is a current I [j + 1].
  • the drain current flowing through the transistor Tr1 of the memory cell MCR [i] is the current IREF [i]
  • the drain current flowing through the transistor Tr1 of the memory cell MCR [i + 1] is the current IREF [i + 1]
  • the memory cell is connected to the wiring BLREF.
  • the sum of the currents supplied to MCR [i] and memory cell MCR [i + 1] is current IREF.
  • FIG. 8 shows an example of the configuration of the circuit 13, the circuit 14, and the current source circuit 15 corresponding to the memory cell MC and the memory cell MCR shown in FIG.
  • the circuit 13 illustrated in FIG. 8 includes a circuit 13 [j] corresponding to the memory cell MC in the jth column and a circuit 13 [j + 1] corresponding to the memory cell MC in the j + 1th column.
  • the circuit 14 illustrated in FIG. 8 includes a circuit 14 [j] corresponding to the memory cell MC in the jth column and a circuit 14 [j + 1] corresponding to the memory cell MC in the j + 1th column.
  • the circuit 13 [j] and the circuit 14 [j] are electrically connected to the wiring BL [j].
  • the circuit 13 [j + 1] and the circuit 14 [j + 1] are electrically connected to the wiring BL [j + 1].
  • the current source circuit 15 is electrically connected to the wiring BL [j], the wiring BL [j + 1], and the wiring BLREF.
  • the current source circuit 15 has a function of supplying the current IREF to the wiring BLREF and a function of supplying the same current as the current IREF or a current corresponding to the current IREF to each of the wiring BL [j] and the wiring BL [j + 1].
  • the circuit 13 [j] and the circuit 13 [j + 1] include transistors Tr7 to Tr9 and a capacitor C3, respectively.
  • the transistor Tr7 causes the current ICM [corresponding to the difference between the current I [j] and the current IREF when the current I [j] is larger than the current IREF. j].
  • the transistor Tr7 has a function of generating a current ICM [j + 1] corresponding to the difference between the current I [j + 1] and the current IREF when the current I [j + 1] is larger than the current IREF.
  • the current ICM [j] and the current ICM [j + 1] are supplied from the circuit 13 [j] and the circuit 13 [j + 1] to the wiring BL [j] and the wiring BL [j + 1].
  • the transistor Tr7 has one of the source and the drain electrically connected to the corresponding wiring BL, and the other of the source and the drain has a predetermined first potential. Is electrically connected to the wiring supplied.
  • the transistor Tr8 one of the source and the drain is electrically connected to the wiring BL, and the other of the source and the drain is electrically connected to the gate of the transistor Tr7.
  • the transistor Tr9 one of a source and a drain is electrically connected to the gate of the transistor Tr7, and the other of the source and the drain is electrically connected to a wiring to which a predetermined first potential is supplied.
  • the first electrode is electrically connected to the gate of the transistor Tr7, and the second electrode is electrically connected to a wiring to which a predetermined first potential is supplied.
  • the gate of the transistor Tr8 is electrically connected to the wiring OSM, and the gate of the transistor Tr9 is electrically connected to the wiring ORM.
  • FIG. 8 illustrates a case where the transistor Tr7 is a p-channel type and the transistors Tr8 and Tr9 are n-channel type.
  • the circuit 14 [j] and the circuit 14 [j + 1] each include transistors Tr4 to Tr6 and a capacitor C4.
  • the transistor Tr4 causes the current ICP [corresponding to the difference between the current I [j] and the current IREF when the current I [j] is smaller than the current IREF. j].
  • the transistor Tr4 has a function of generating a current ICP [j + 1] corresponding to the difference between the current I [j + 1] and the current IREF when the current I [j + 1] is smaller than the current IREF.
  • the current ICP [j] and the current ICP [j + 1] are drawn from the wiring BL [j] and the wiring BL [j + 1] to the circuit 14 [j] and the circuit 14 [j + 1].
  • the transistor Tr4 has one of the source and the drain electrically connected to the corresponding wiring BL, and the other of the source and the drain has a predetermined second potential. Is electrically connected to the wiring supplied.
  • the transistor Tr5 one of the source and the drain is electrically connected to the wiring BL, and the other of the source and the drain is electrically connected to the gate of the transistor Tr4.
  • the transistor Tr6 one of a source and a drain is electrically connected to the gate of the transistor Tr4, and the other of the source and the drain is electrically connected to a wiring to which a predetermined second potential is supplied.
  • the capacitor C4 the first electrode is electrically connected to the gate of the transistor Tr4, and the second electrode is electrically connected to a wiring to which a predetermined second potential is supplied.
  • the gate of the transistor Tr5 is electrically connected to the wiring OSP, and the gate of the transistor Tr6 is electrically connected to the wiring ORP.
  • FIG. 8 illustrates the case where the transistors Tr4 to Tr6 are n-channel type.
  • the current source circuit 15 includes a transistor Tr10 corresponding to the wiring BL and a transistor Tr11 corresponding to the wiring BLREF.
  • the current source circuit 15 illustrated in FIG. 8 includes, as the transistor Tr10, a transistor Tr10 [j] corresponding to the wiring BL [j] and a transistor Tr10 [j + 1] corresponding to the wiring BL [j + 1]. Is illustrated.
  • the gate of the transistor Tr10 is electrically connected to the gate of the transistor Tr11.
  • one of the source and the drain is electrically connected to the corresponding wiring BL, and the other of the source and the drain is electrically connected to a wiring to which a predetermined third potential is supplied.
  • one of a source and a drain is electrically connected to the wiring BLREF, and the other of the source and the drain is electrically connected to a wiring to which a predetermined third potential is supplied.
  • FIG. 8 illustrates a case where both the transistor Tr10 and the transistor Tr11 have a p-channel type.
  • the drain current of the transistor Tr11 corresponds to the current IREF. Since the transistor Tr10 and the transistor Tr11 have a function as a current mirror circuit, the drain current of the transistor Tr10 has almost the same value as the drain current of the transistor Tr11 or a value corresponding to the drain current of the transistor Tr11.
  • a switch may be provided between the circuit 13 [j] and the circuit 14 [j] illustrated in FIG. Further, a switch may be provided between the circuit 13 [j + 1] and the circuit 14 [j]. Alternatively, a switch may be provided between the transistor Tr11 included in the current source circuit 15 and the reference storage circuit 12.
  • the switch SW [j] for controlling the electrical connection between the circuit 13 [j] and the circuit 14 [j], and the electrical connection between the circuit 13 [j + 1] and the circuit 14 [j + 1].
  • a switch SW [j + 1] for controlling the above may be provided.
  • the switch SW [j] has an electrical connection between one of the source and the drain of the transistor Tr7 in the circuit 13 [j] and one of the source and the drain of the transistor Tr4 in the circuit 14 [j]. It has a function to control.
  • the switch SW [j + 1] controls electrical connection between one of the source and the drain of the transistor Tr7 in the circuit 13 [j + 1] and one of the source and the drain of the transistor Tr4 in the circuit 14 [j + 1]. It has a function.
  • a current flows between the current source circuit 15 or the circuit 13 [j] and the circuit 14 [j] or the memory circuit 11 when the first analog potential is written to the memory cell MC. Can be prevented from flowing. Further, by providing the switch SW [j + 1], when the first analog potential is written in the memory cell MC, the current source circuit 15 or the circuit 13 [j + 1] and the circuit 14 [j + 1] or the memory circuit 11 are connected. Current can be prevented.
  • FIG. 9 corresponds to an example of a timing chart showing operations of the memory cell MC and the memory cell MCR shown in FIG. 7 and the circuits 13, 14 and current source circuit 15 shown in FIG.
  • the operation of storing the first analog data in the memory cell MC and the memory cell MCR is performed.
  • an operation of setting an offset current Ioffset in the circuit 13 and the circuit 14 is performed.
  • an operation of acquiring data corresponding to the product-sum value of the first analog data and the second analog data is performed.
  • a low-level potential is supplied to the wiring VR [j] and the wiring VR [j + 1].
  • all the wirings having a predetermined first potential electrically connected to the circuit 13 are supplied with the high-level potential VDD.
  • all the wirings having a predetermined second potential that are electrically connected to the circuit 14 are supplied with the low-level potential VSS.
  • all the wirings having a predetermined third potential electrically connected to the current source circuit 15 are supplied with the high-level potential VDD.
  • Tr1, Tr4, Tr7, Tr10 [j], Tr10 [j + 1], and Tr11 are assumed to operate in the saturation region.
  • a high-level potential is applied to the wiring WW [i]
  • a low-level potential is applied to the wiring WW [i + 1].
  • the transistor Tr2 is turned on in the memory cell MC [i, j], the memory cell MC [i, j + 1], and the memory cell MCR [i] illustrated in FIG.
  • the transistor Tr2 is kept off in the memory cell MC [i + 1, j], the memory cell MC [i + 1, j + 1], and the memory cell MCR [i + 1].
  • a potential obtained by subtracting the first analog potential from the first reference potential VPR is supplied to the wiring WD [j] and the wiring WD [j + 1] illustrated in FIG. Specifically, the potential VPR-Vx [i, j] is applied to the wiring WD [j], and the potential VPR-Vx [i, j + 1] is applied to the wiring WD [j + 1].
  • the wiring WDREF is supplied with the first reference potential VPR, and the wiring RW [i] and the wiring RW [i + 1] have a potential between the potential VSS and the potential VDD as a reference potential, for example, a potential (VDD + VSS) / 2. Given.
  • the node N [i, j] of the memory cell MC [i, j] illustrated in FIG. 7 is supplied with the potential VPR ⁇ Vx [i, j] through the transistor Tr2, and the memory cell MC [i, j + 1].
  • Node N [i, j + 1] is supplied with the potential VPR-Vx [i, j + 1] through the transistor Tr2, and the node NREF [i] of the memory cell MCR [i] is supplied with the potential VPR through the transistor Tr2.
  • the potential applied to the wiring WW [i] illustrated in FIG. 7 changes from the high level to the low level, and the memory cell MC [i, j], the memory cell MC [i, j + 1], and the memory cell MCR.
  • the transistor Tr2 is turned off.
  • the node N [i, j] holds the potential VPR ⁇ Vx [i, j]
  • the node N [i, j + 1] holds the potential VPR ⁇ Vx [i, j + 1]
  • the node NREF [I] holds the potential VPR.
  • the potential of the wiring WW [i] illustrated in FIG. 7 is maintained at a low level, and a high-level potential is applied to the wiring WW [i + 1].
  • the transistor Tr2 is turned on in the memory cell MC [i + 1, j], the memory cell MC [i + 1, j + 1], and the memory cell MCR [i + 1] illustrated in FIG. Further, the transistor Tr2 is kept off in the memory cell MC [i, j], the memory cell MC [i, j + 1], and the memory cell MCR [i].
  • a potential obtained by subtracting the first analog potential from the first reference potential VPR is supplied to the wiring WD [j] and the wiring WD [j + 1] illustrated in FIG. Specifically, the potential VPR ⁇ Vx [i + 1, j] is applied to the wiring WD [j], and the potential VPR ⁇ Vx [i + 1, j + 1] is applied to the wiring WD [j + 1].
  • the wiring WDREF is supplied with the first reference potential VPR, and the wiring RW [i] and the wiring RW [i + 1] have a potential between the potential VSS and the potential VDD as a reference potential, for example, a potential (VDD + VSS) / 2. Given.
  • the node N [i + 1, j] of the memory cell MC [i + 1, j] illustrated in FIG. 7 is supplied with the potential VPR ⁇ Vx [i + 1, j] through the transistor Tr2, and the memory cell MC [i + 1, j + 1].
  • Node N [i + 1, j + 1] is supplied with the potential VPR-Vx [i + 1, j + 1] via the transistor Tr2, and the node NREF [i + 1] of the memory cell MCR [i + 1] is supplied with the potential VPR via the transistor Tr2.
  • the potential applied to the wiring WW [i + 1] illustrated in FIG. 7 changes from the high level to the low level, and the memory cell MC [i + 1, j], the memory cell MC [i + 1, j + 1], and the memory cell MCR.
  • the transistor Tr2 is turned off.
  • the node N [i + 1, j] holds the potential VPR ⁇ Vx [i + 1, j]
  • the node N [i + 1, j + 1] holds the potential VPR ⁇ Vx [i + 1, j + 1]
  • the node NREF [I + 1] holds the potential VPR.
  • a high-level potential is applied to the wiring ORP and the wiring ORM illustrated in FIG.
  • the transistor Tr9 when the high-level potential is applied to the wiring ORM, the transistor Tr9 is turned on, and the gate of the transistor Tr7 is reset by being applied with the potential VDD. Is done.
  • the transistor Tr6 when the high-level potential is applied to the wiring ORP, the transistor Tr6 is turned on, and the potential VSS is applied to the gate of the transistor Tr4. To reset.
  • the potential applied to the wiring ORP and the wiring ORM illustrated in FIG. 7 changes from a high level to a low level, the transistor Tr9 is turned off in the circuit 13 [j] and the circuit 13 [j + 1], and the circuit 14 In [j] and the circuit 14 [j + 1], the transistor Tr6 is turned off.
  • the potential VDD is held at the gate of the transistor Tr7 in the circuits 13 [j] and 13 [j + 1]
  • the potential VSS is held at the gate of the transistor Tr4 in the circuits 14 [j] and 14 [j + 1]. .
  • a high-level potential is applied to the wiring OSP illustrated in FIG. Further, a potential between the potential VSS and the potential VDD, for example, a potential (VDD + VSS) / 2 is supplied as a reference potential to the wiring RW [i] and the wiring RW [i + 1] illustrated in FIG.
  • a potential (VDD + VSS) / 2 is supplied as a reference potential to the wiring RW [i] and the wiring RW [i + 1] illustrated in FIG.
  • the potential of the gate of the transistor Tr4 converges to a predetermined value.
  • the potential applied to the wiring OSP illustrated in FIG. 8 changes from a high level to a low level, and the transistor Tr5 is turned off in the circuit 14 [j] and the circuit 14 [j + 1].
  • the potential of the gate of the transistor Tr4 is maintained. Therefore, the circuit 14 [j] maintains a state set as a current source capable of flowing the current ICP [j], and the circuit 14 [j + 1] maintains a state set as a current source capable of flowing the current ICP [j + 1]. To do.
  • a high-level potential is applied to the wiring OSM illustrated in FIG. Further, a potential between the potential VSS and the potential VDD, for example, a potential (VDD + VSS) / 2 is supplied as a reference potential to the wiring RW [i] and the wiring RW [i + 1] illustrated in FIG.
  • a potential (VDD + VSS) / 2 is supplied as a reference potential to the wiring RW [i] and the wiring RW [i + 1] illustrated in FIG.
  • the potential of the gate of the transistor Tr7 converges to a predetermined value.
  • the potential applied to the wiring OSM illustrated in FIG. 8 changes from a high level to a low level, and the transistor Tr8 is turned off in the circuit 13 [j] and the circuit 13 [j + 1].
  • the potential of the gate of the transistor Tr7 is maintained. Therefore, the circuit 13 [j] maintains a state set as a current source capable of flowing the current ICM [j], and the circuit 13 [j + 1] maintains a state set as a current source capable of flowing the current ICM [j + 1]. To do.
  • the transistor Tr4 has a function of drawing current. Therefore, when the current I [j] flowing through the wiring BL [j] is larger than the current IREF flowing through the wiring BLREF from time T07 to time T08 and ⁇ I [j] is negative, or the current I flowing through the wiring BL [j + 1] When [j + 1] is larger than the current IREF flowing through the wiring BLREF and ⁇ I [j + 1] is negative, the current flows from the circuit 14 [j] or the circuit 14 [j + 1] to the wiring BL [j] or the wiring BL [j + 1] without excess or deficiency. May be difficult to supply.
  • Transistor Tr4 and transistor Tr10 [j] or Tr10 [j + 1] may be difficult to operate in the saturation region.
  • the gate potential of the transistor Tr7 may be set to such a level that a predetermined drain current can be obtained.
  • the second analog potential Vw [i] is supplied to the wiring RW [i] illustrated in FIG.
  • the wiring RW [i + 1] is still supplied with a potential between the potential VSS and the potential VDD, for example, the potential (VDD + VSS) / 2 as the reference potential.
  • the potential of the wiring RW [i] is higher by a potential difference Vw [i] than the potential between the potential VSS and the potential VDD, for example, the potential (VDD + VSS) / 2.
  • Vw [i] the potential Vw [i].
  • the memory illustrated in FIG. The potential of the node N in the cell MC [i, j] is VPR ⁇ Vx [i, j] + Vw [i], and the potential of the node N in the memory cell MC [i, j + 1] is VPR ⁇ Vx [i, j + 1] + Vw. [I].
  • the sum of products of the first analog data and the second analog data corresponding to the memory cell MC [i, j] is the current obtained by subtracting Ioffset [j] from the current ⁇ I [j]. In other words, it is reflected in the current Iout [j] flowing out from the wiring BL [j].
  • the product sum of the first analog data and the second analog data corresponding to the memory cell MC [i, j + 1] is a current obtained by subtracting Ioffset [j + 1] from the current ⁇ I [j + 1], that is, the wiring BL [ It can be seen that the current Iout [j + 1] flowing out from j + 1] is reflected.
  • the wiring RW [i] is again supplied with a potential between the potential VSS and the potential VDD which is the reference potential, for example, the potential (VDD + VSS) / 2.
  • the second analog potential Vw [i + 1] is applied to the wiring RW [i + 1] illustrated in FIG.
  • the wiring RW [i] is still supplied with a potential between the potential VSS and the potential VDD, for example, the potential (VDD + VSS) / 2 as the reference potential.
  • the potential of the wiring RW [i + 1] is higher by a potential difference Vw [i + 1] than the potential between the reference potential VSS and the potential VDD, for example, the potential (VDD + VSS) / 2.
  • Vw [i + 1] is the potential Vw [i + 1].
  • the amount of change in the potential of the first electrode of the capacitor C1 is substantially reflected in the amount of change in the potential of the node N.
  • the potential of the node N in the cell MC [i + 1, j] is VPR ⁇ Vx [i + 1, j] + Vw [i + 1]
  • the potential of the node N in the memory cell MC [i + 1, j + 1] is VPR ⁇ Vx [i + 1, j + 1] + Vw. [I + 1].
  • the product sum value of the first analog data and the second analog data corresponding to the memory cell MC [i + 1, j] is the current obtained by subtracting Ioffset [j] from the current ⁇ I [j]. That is, it can be seen that it is reflected in Iout [j].
  • the product sum value of the first analog data and the second analog data corresponding to the memory cell MC [i + 1, j + 1] is a current obtained by subtracting Ioffset [j + 1] from the current ⁇ I [j + 1], that is, Iout [j + 1]. ] Is reflected in the
  • the wiring RW [i + 1] is again supplied with a potential between the potential VSS which is the reference potential and the potential VDD, for example, the potential (VDD + VSS) / 2.
  • the second analog potential Vw [i] is supplied to the wiring RW [i] illustrated in FIG. 7, and the second analog potential Vw [i + 1] is supplied to the wiring RW [i + 1].
  • the potential of the wiring RW [i] is higher by a potential difference Vw [i] than a potential between the reference potential VSS and the potential VDD, for example, the potential (VDD + VSS) / 2, and the wiring RW [i]
  • the potential of (i + 1) is higher than the potential between the potential VSS and the potential VDD, for example, the potential (VDD + VSS) / 2 by a potential difference Vw [i + 1].
  • the potential of the wiring RW [i] is the potential Vw [i] and the potential of the wiring RW [i + 1] is the potential Vw [i + 1].
  • the memory illustrated in FIG. The potential of the node N in the cell MC [i, j] is VPR ⁇ Vx [i, j] + Vw [i], and the potential of the node N in the memory cell MC [i, j + 1] is VPR ⁇ Vx [i, j + 1] + Vw. [I].
  • FIG. 1 The potential of the node N in the memory cell MC [i + 1, j] shown is VPR ⁇ Vx [i + 1, j] + Vw [i + 1], and the potential of the node N in the memory cell MC [i + 1, j + 1] is VPR ⁇ Vx [i + 1, j + 1. ] + Vw [i + 1].
  • the product sum value of the first analog data and the second analog data corresponding to the memory cell MC [i, j] and the memory cell MC [i + 1, j] is the current ⁇ I [j ] Is subtracted from Ioffset [j], that is, the current Iout [j] is reflected. Further, the product sum value of the first analog data and the second analog data corresponding to the memory cell MC [i, j + 1] and the memory cell MC [i + 1, j + 1] is obtained from the current ⁇ I [j + 1] to Ioffset [j + 1]. It can be seen that the current is subtracted from the current Iout [j + 1].
  • the wiring RW [i] and the wiring RW [i + 1] are again supplied with a potential between the potential VSS and the potential VDD, for example, the potential (VDD + VSS) / 2.
  • the product-sum operation can be performed with a small circuit scale.
  • the product-sum operation can be performed at high speed.
  • the product-sum operation can be performed with low power consumption.
  • a transistor with extremely low off-state current is preferably used as the transistor Tr2, Tr5, Tr6, Tr8, or Tr9.
  • the potential of the node N can be held for a long time.
  • transistors with extremely low off-state current for the transistors Tr5 and Tr6 the potential of the gate of the transistor Tr4 can be held for a long time.
  • transistors with extremely low off-state current for the transistors Tr8 and Tr9 the potential of the gate of the transistor Tr7 can be held for a long time.
  • the channel formation region may be formed using a semiconductor with a wide energy gap.
  • the energy gap of the semiconductor is preferably 2.5 eV or more, 2.7 eV or more, or 3 eV or more.
  • an oxide semiconductor can be given.
  • a transistor including an oxide semiconductor in a channel formation region may be used as the transistors Tr2, Tr5, Tr6, Tr8, or Tr9.
  • the leakage current of the OS transistor normalized by the channel width can be 10 ⁇ 10 ⁇ 21 A / ⁇ m (10 zept A / ⁇ m) or less when the source drain voltage is 10 V and room temperature (about 25 ° C.). is there.
  • the leakage current of the OS transistor applied to the transistors Tr2, Tr5, Tr6, Tr8, or Tr9 is 1 ⁇ 10 ⁇ 18 A or less, or 1 ⁇ 10 ⁇ 21 A or less, or 1 at room temperature (about 25 ° C.). ⁇ 10 ⁇ 24 A or less is preferable. Alternatively, the leakage current is preferably 1 ⁇ 10 ⁇ 15 A or less, or 1 ⁇ 10 ⁇ 18 A or less, or 1 ⁇ 10 ⁇ 21 A or less at 85 ° C.
  • An oxide semiconductor is a semiconductor with a large energy gap, difficulty in excitation of electrons, and a large effective mass of holes. For this reason, a transistor including an oxide semiconductor in a channel formation region may hardly undergo avalanche collapse or the like as compared with a general transistor using silicon or the like. By suppressing hot carrier deterioration caused by avalanche collapse, a transistor including an oxide semiconductor in a channel formation region has a high drain breakdown voltage, and can be driven with a high drain voltage.
  • the oxide semiconductor included in the channel formation region of the transistor is preferably an oxide semiconductor including at least one of indium (In) and zinc (Zn).
  • an oxide semiconductor an In oxide, a Zn oxide, an In—Zn oxide, an In—M—Zn oxide (the element M includes Al, Ti, Ga, Y, Zr, La, Ce, and Nd). Or Hf) is typical.
  • These oxide semiconductors reduce an impurity such as hydrogen that serves as an electron donor (donor) and reduce oxygen vacancies to make the oxide semiconductor an i-type semiconductor (intrinsic semiconductor), or to an i-type semiconductor. It can be as close as possible.
  • Such an oxide semiconductor can be referred to as a highly purified oxide semiconductor.
  • the channel formation region is preferably formed using an oxide semiconductor with low carrier density.
  • the carrier density of the oxide semiconductor is preferably less than 8 ⁇ 10 11 / cm 3 and 1 ⁇ 10 ⁇ 9 / cm 3 or more.
  • the carrier density is preferably less than 1 ⁇ 10 11 / cm 3, and more preferably less than 1 ⁇ 10 10 / cm 3 .
  • a highly purified intrinsic or substantially highly purified intrinsic oxide semiconductor has few carrier generation sources, and thus can have a low carrier density. Further, an oxide that is highly purified intrinsic or substantially highly purified intrinsic has a low defect level density, and thus may have a low trap level density. The charge trapped in the trap level of the oxide semiconductor takes a long time to disappear and may behave as if it were a fixed charge. Therefore, when the channel formation region is an oxide semiconductor with a high trap state density, the electrical characteristics of the transistor may be unstable.
  • an impurity of the oxide semiconductor is hydrogen, an alkali metal, an alkaline earth metal, or the like.
  • This embodiment can be implemented in appropriate combination with any of the other embodiments.
  • a feature amount can be extracted by a neural network by applying the arithmetic circuit according to one embodiment of the present invention as a feature extraction filter for convolution calculation or a fully coupled arithmetic circuit.
  • Examples of neural networks include CNN (Convolutional Neural Network).
  • CNN Convolutional Neural Network
  • a parameter used for correction of image data can be determined by machine learning.
  • FIG. 10A shows a schematic diagram of a multilayer perceptron as an example.
  • the neurons of each layer are indicated by circles.
  • the (L-1) th layer that functions as an input layer, the Lth layer that functions as an intermediate layer (hidden layer), and the (L-1) layer that functions as an output layer A configuration of a multilayer perceptron having neurons (formal neurons) divided into three (L + 1) layers is illustrated (L is an integer of 2 or more).
  • M neurons is an integer of 2 or more
  • N neurons is an integer of 2 or more
  • (L + 1) layer neurons of the (L-1) layer Is K (K is an integer of 2 or more).
  • FIG. 10A illustrates five neurons among the plurality of neurons included in the (L-1) layer, and illustrates four neurons among the plurality of neurons included in the L layer. Among the plurality of neurons of the (L-1) layer, three neurons are illustrated.
  • FIG. 10A illustrates a structure of a multilayer perceptron in which the intermediate layer is formed of a single layer, but the intermediate layer may be formed of a plurality of layers.
  • the first layer corresponds to the input layer
  • the second to Lth layers correspond to the intermediate layer
  • the (L + 1) th layer corresponds to the output layer To do.
  • the output z m (L ⁇ 1) of the mth neuron among the (L ⁇ 1) th layer neurons is It is assumed that the signal is input to the nth neuron (n is an integer of 1 to N) among the neurons. Also, the output z n (L) of the n- th neuron is input to the k-th neuron of the (L + 1) -th layer of neurons (k is an integer of 1 to K). Also, let the output of the kth neuron be z k (L + 1) .
  • the weight coefficient of the nth neuron in the Lth layer is set to w nm (L)
  • the weight coefficient of the kth neuron in the (L + 1) th layer is set to wkn (L + 1) .
  • the calculation of Expression 7 can be performed using the arithmetic circuit described in Embodiment 3.
  • the weight coefficients w n1 (L) to w nM (L) of the neurons in the L-th layer are stored as first analog data in the memory cells MC [1, j] to [N, j] in the j-th column, respectively.
  • the outputs z1 (L-1) to zM (L-1) of the (L-1) -th layer neurons are connected to the memory cells MC [1, j] to [M] via the wirings RW [1] to [M].
  • J] are input as second analog data.
  • the output z n (L) of the nth neuron in the Lth layer is expressed by the following Expression 8.
  • f is an output function of the neuron.
  • a step function, a linear ramp function, a sigmoid function, or the like can be used as the neuron output function f.
  • the arithmetic processing of Expression 8 can be executed by using a circuit 270 illustrated in FIG. In the circuit 270, the output function f corresponds to the output characteristic of the OP amplifier. Further, the arithmetic processing of Expression 8 can be realized by performing arithmetic processing in an arithmetic circuit corresponding to a desired output function using the output signal from the OP amplifier.
  • Equation 9 the total sum (net value) of inputs to the k-th neuron in the (L + 1) -th layer is expressed by Equation 9 below.
  • Equation 9 can be performed using the arithmetic circuit described in Embodiment 3.
  • the weighting factors w n1 (L + 1) to w nM (L + 1) of each neuron in the (L + 1) th layer are used as the first analog data in the memory cells MC [i, j] to [M, j] in the jth column. storing each output z1 L to zM L neuron wiring RW [1] to the L layer via the [M] memory cells MC [1, j] to [M, j] as the second analog data Enter each.
  • the arithmetic processing of Expression 10 can be executed by using a circuit 271 illustrated in FIG.
  • the output function f corresponds to the output characteristics of the OP amplifier as in the circuit 270.
  • the arithmetic processing of Expression 10 can be realized by performing arithmetic processing in an arithmetic circuit corresponding to a desired output function using the output signal from the OP amplifier.
  • neuron output function may be the same or different for all neurons.
  • layers may be the same or different.
  • FIG. 10B is a schematic diagram of a multilayer perceptron using the error back propagation method.
  • the error back propagation method is a method of changing the weighting coefficient so that the error between the output of the neural network and the teacher signal becomes small. Specifically, the backpropagation method, relative error energy E determined by the output z k (L) and the teacher signal t k of the output layer, ⁇ updating of the weighting coefficients of the L layer w nm (L) The weighting factor is changed as E / ⁇ w nm (L) .
  • Equation 12 the update amount ⁇ E / ⁇ w nm (L) is expressed by Equation 12 below.
  • f ′ is a derivative of the output function of the neuron.
  • the arithmetic processing of Expression 11 can be executed by using a circuit 272 illustrated in FIG.
  • the arithmetic processing of Expression 12 can be executed by using a circuit 273 illustrated in FIG.
  • the derivative can be realized by performing arithmetic processing in an arithmetic circuit corresponding to a desired derivative, for example, using an output signal from the OP amplifier.
  • the calculation of ⁇ k ⁇ k (L + 1) ⁇ w kn (L + 1) in Expression 11 can be performed using the arithmetic circuit described in Embodiment 3.
  • the weight coefficients w n1 (L + 1) to w nK (L + 1) of the neurons in the (L + 1) th layer are used as the first analog data in the memory cells MC [1, j] to [K, j] in the j-th column.
  • the errors ⁇ 1 (L + 1) to ⁇ K (L + 1) of the (L + 1) -th layer neurons are stored in the memory cells MC [1, j] to [K, j via the wirings RW [1] to [K], respectively. ]
  • the error ⁇ n (L + 1) of the (L + 1) -th layer that is the output layer is expressed by the following formula 13
  • the update amount ⁇ E / ⁇ w nm (L + 1) is expressed by the following formula 14.
  • the arithmetic processing of Expression 13 can be executed by using a circuit 274 illustrated in FIG.
  • the calculation processing of Expression 14 can be executed by using a circuit 274 illustrated in FIG.
  • the calculation of the weighted sum and the update amount of the weighting coefficient in the neural network can be performed.
  • each weighting factor of the feature extraction filter can be set using a random number. For example, when sensing the incident angle of external light, it is possible to extract a feature amount even if the data obtained from the sensor is not necessarily data indicating a peak corresponding to the incident angle of external light. Therefore, when forming a light-shielding film to control the angle of external light incident on the sensor, even if the layout accuracy of the light-shielding film is not high, optimal parameters are set again by machine learning of the neural network, and the incident angle The exact value of can be obtained. Therefore, it is possible to obtain an accurate value of the incident angle while suppressing the manufacturing cost of the light shielding film.
  • Various parameters obtained by machine learning in the neural network can be stored in a controller register.
  • This embodiment can be implemented in appropriate combination with any of the other embodiments.
  • Embodiment 5 a structural example of a pixel included in a display device using a reflective display element and a light-emitting display element will be described. Note that in this embodiment, the structure of the pixel 300 according to one embodiment of the present invention is described by using as an example the case where a liquid crystal element is used as a reflective display element and a light-emitting element using an EL material is used as a light-emitting display element. An example will be described.
  • a pixel 300 illustrated in FIG. 12A includes a pixel 350 and a pixel 351.
  • the pixel 350 includes a liquid crystal element 301
  • the pixel 351 includes a light emitting element 302.
  • the pixel 350 includes a liquid crystal element 301, a transistor 303 having a function of controlling voltage applied to the liquid crystal element 301, and a capacitor 304.
  • the gate is electrically connected to the wiring GL
  • one of the source and the drain is electrically connected to the wiring SL
  • the other of the source and the drain is electrically connected to the pixel electrode of the liquid crystal element 301.
  • the common electrode of the liquid crystal element 301 is electrically connected to a wiring or an electrode to which a predetermined fourth potential is supplied.
  • the capacitor 304 one electrode is electrically connected to the pixel electrode of the liquid crystal element 301, and the other electrode is electrically connected to a wiring or an electrode to which a predetermined fifth potential is supplied. Yes. The same potential may be supplied as the fourth potential and the fifth potential.
  • the pixel 351 includes a light-emitting element 302, a transistor 305 having a function of controlling current supplied to the light-emitting element 302, and a transistor 306 having a function of controlling supply of a potential to the gate of the transistor 305.
  • the gate of the transistor 306 is electrically connected to the wiring GE, one of the source and the drain is electrically connected to the wiring DL, and the other of the source and the drain is electrically connected to the gate of the transistor 305.
  • the transistor 305 one of a source and a drain is electrically connected to the wiring AL, and the other of the source and the drain is electrically connected to the light-emitting element 302.
  • the capacitor 307 one electrode is electrically connected to the wiring AL and the other electrode is electrically connected to the gate of the transistor 305.
  • an image signal corresponding to the liquid crystal element 301 is supplied to the wiring SL, and an image signal corresponding to the light-emitting element 302 is supplied to the wiring DL, so that the pixel 300 is displayed.
  • the gradation and the gradation displayed by the light emitting element 302 can be individually controlled.
  • FIG. 12A illustrates a configuration example of the pixel 300 including one pixel 350 including the liquid crystal element 301 and one pixel 351 including the light-emitting element 302; however, the pixel 300 includes a plurality of pixels 350. Alternatively, the pixel 300 may include a plurality of pixels 351.
  • FIG. 12B illustrates a configuration example of the pixel 300 in the case where the pixel 300 includes one pixel 351 and four pixels 351.
  • a pixel 300 illustrated in FIG. 12B includes a pixel 351 including a liquid crystal element 301 and pixels 351 a to 351 b each including a light-emitting element 302.
  • the structure of the pixel 350 illustrated in FIG. 12A can be referred to for the structure of the pixel 350 illustrated in FIG.
  • a pixel 351a to a pixel 351b illustrated in FIG. 12B each include a light-emitting element 302 and a transistor 305 having a function of controlling current supplied to the light-emitting element 302, as in the pixel 351 illustrated in FIG.
  • the transistor 306 has a function of controlling the supply of potential to the gate of the transistor 305, and the capacitor 307.
  • the light emitted from the light emitting element 302 included in each of the pixels 351a to 351b has wavelengths in different regions, so that a color image can be displayed on the display device.
  • the gate of the transistor 306 included in the pixel 351a and the gate of the transistor 306 included in the pixel 351c are electrically connected to the wiring GEb.
  • the gate of the transistor 306 included in the pixel 351b and the gate of the transistor 306 included in the pixel 351d are electrically connected to the wiring GEa.
  • one of the source and the drain of the transistor 306 included in the pixel 351a and one of the source and the drain of the transistor 306 included in the pixel 351b are electrically connected to the wiring DLa. It is connected to the.
  • one of a source and a drain of the transistor 306 included in the pixel 351c and one of a source and a drain of the transistor 306 included in the pixel 351d are electrically connected to the wiring DLb.
  • one of the source and the drain of all the transistors 305 is electrically connected to the wiring AL.
  • the pixel 351a and the pixel 351c share the wiring GEb
  • the pixel 351b and the pixel 351d share the wiring GEa
  • the pixel 351a to pixel All of 351b may share one wiring GE.
  • FIG. 13A illustrates a configuration example of the pixel 300 which is different from that in FIG. A pixel 300 illustrated in FIG. 13A is different from the pixel 300 illustrated in FIG. 12A in that the transistor 305 included in the pixel 351 includes a back gate.
  • the back gate of the transistor 305 is electrically connected to the gate (front gate). Since the pixel 300 illustrated in FIG. 13A has the above structure, the threshold voltage of the transistor 305 can be prevented from shifting, and the reliability of the transistor 305 can be improved. In addition, the pixel 300 illustrated in FIG. 13A has the above structure, whereby the on-state current of the transistor 305 can be increased while the size of the transistor 305 is reduced.
  • the pixel 300 may include a plurality of pixels 350 illustrated in FIG. 13A or a plurality of pixels 351 illustrated in FIG. May be.
  • the pixel 300 illustrated in FIG. 13A and the four pixels 351 may be provided as in the pixel 300 illustrated in FIG.
  • the connection relationship between the various wirings and the four pixels 351 can refer to the pixel 300 illustrated in FIG.
  • FIG. 13B illustrates a configuration example of the pixel 300 which is different from that in FIG.
  • a pixel 300 illustrated in FIG. 13B is different from the pixel 300 illustrated in FIG. 12A in that the transistor 305 included in the pixel 351 includes a back gate.
  • 13B is different from the pixel 300 in FIG. 13A in that the back gate of the transistor 305 is electrically connected to the light-emitting element 302 instead of the gate.
  • the threshold voltage of the transistor 305 can be prevented from shifting, and the reliability of the transistor 305 can be improved.
  • the pixel 300 may include a plurality of pixels 350 illustrated in FIG. 13B or a plurality of pixels 351 illustrated in FIG. May be. Specifically, the pixel 300 illustrated in FIG. 13B and the four pixels 351 may be included as in the pixel 300 illustrated in FIG. In that case, the connection relationship between the various wirings and the four pixels 351 can refer to the pixel 300 illustrated in FIG.
  • FIG. 14 illustrates a configuration example of the pixel 300 which is different from that in FIG.
  • a pixel 300 illustrated in FIG. 14 includes a pixel 350 and a pixel 351, and the structure of the pixel 351 is different from that in FIG.
  • a pixel 351 illustrated in FIG. 14 includes a light-emitting element 302, a transistor 305 having a function of controlling current supplied to the light-emitting element 302, and a transistor having a function of controlling supply of a potential to the gate of the transistor 305.
  • the transistor 305, the transistor 306, and the transistor 308 each have a back gate.
  • the transistor 306 has a gate (front gate) electrically connected to the wiring ML, a back gate electrically connected to the wiring GE, and one of a source and a drain electrically connected to the wiring DL, The other of the drains is electrically connected to the gate and front gate of the transistor 305.
  • one of a source and a drain is electrically connected to the wiring AL, and the other of the source and the drain is electrically connected to the light-emitting element 302.
  • a gate front gate
  • a back gate is electrically connected to the wiring GE
  • one of a source and a drain is electrically connected to the wiring ML
  • the other is electrically connected to the light emitting element 302.
  • one electrode is electrically connected to the wiring AL and the other electrode is electrically connected to the gate of the transistor 305.
  • FIG. 14 illustrates a configuration example of the pixel 300 including one pixel 350 including the liquid crystal element 301 and one pixel 351 including the light-emitting element 302, but the pixel 300 includes a plurality of pixels 350. Alternatively, the pixel 300 may include a plurality of pixels 351.
  • FIG. 15 illustrates a configuration example of the pixel 300 in the case where the pixel 300 includes one pixel 351 and four pixels 351.
  • a pixel 300 illustrated in FIG. 15 includes a pixel 351 including a liquid crystal element 301 and pixels 351 a to 351 b each including a light-emitting element 302.
  • the configuration of the pixel 350 illustrated in FIG. 14 can be referred to for the configuration of the pixel 350 illustrated in FIG.
  • the pixel 351 a to the pixel 351 b illustrated in FIG. 15 are provided with the light-emitting element 302, the transistor 305 having a function of controlling current supplied to the light-emitting element 302, and the gate of the transistor 305.
  • a transistor 306 having a function of controlling the supply of the potential of the pixel
  • a transistor 308 having a function of supplying a predetermined potential to the pixel electrode of the light-emitting element 302, and a capacitor 307.
  • the light emitted from the light emitting element 302 included in each of the pixels 351a to 351b has wavelengths in different regions, so that a color image can be displayed on the display device.
  • the gate of the transistor 306 included in the pixel 351a and the gate of the transistor 306 included in the pixel 351b are electrically connected to the wiring MLa.
  • the gate of the transistor 306 included in the pixel 351c and the gate of the transistor 306 included in the pixel 351d are electrically connected to the wiring MLb.
  • the back gate of the transistor 306 included in the pixel 351a and the back gate of the transistor 306 included in the pixel 351c are electrically connected to the wiring GEb. Further, the back gate of the transistor 306 included in the pixel 351b and the basic gate of the transistor 306 included in the pixel 351d are electrically connected to the wiring GEa.
  • one of a source and a drain of the transistor 306 included in the pixel 351a and one of a source and a drain of the transistor 306 included in the pixel 351b are electrically connected to the wiring DLa.
  • one of a source and a drain of the transistor 306 included in the pixel 351c and one of a source and a drain of the transistor 306 included in the pixel 351d are electrically connected to the wiring DLb.
  • the back gate of the transistor 308 included in the pixel 351a and the back gate of the transistor 308 included in the pixel 351c are electrically connected to the wiring GEb.
  • the back gate of the transistor 308 included in the pixel 351b and the back gate of the transistor 308 included in the pixel 351d are electrically connected to the wiring GEa.
  • the gate and the source or drain of the transistor 308 included in the pixel 351a are electrically connected to the wiring MLa, and the gate and source or drain of the transistor 308 included in the pixel 351b are included. Is electrically connected to the wiring MLa.
  • the gate and the source or the drain of the transistor 308 included in the pixel 351c are electrically connected to the wiring MLb, and the gate and the one of the source and the drain included in the pixel 351b are electrically connected to the wiring MLb. It is connected.
  • one of the sources and drains of all the transistors 305 is electrically connected to the wiring AL.
  • the pixel 351a and the pixel 351c share the wiring GEb
  • the pixel 351b and the pixel 351d share the wiring GEa, but all of the pixels 351a to 351b are shared. May share one wiring GE. In this case, it is preferable that the pixels 351a to 351b be electrically connected to four different wirings DL.
  • the driver circuit can be temporarily stopped when the display screen does not need to be rewritten (that is, when a still image is displayed) (hereinafter referred to as “idling”). This is called “stop” or “IDS drive”.)
  • IDS drive The power consumption of the display device 200 can be reduced by the IDS driving.
  • This embodiment can be implemented in appropriate combination with any of the other embodiments.
  • the display device 200 illustrated in FIG. 4A is described as an example, and a specific structure example of the display device 200 using a reflective display element and a light-emitting display element is described.
  • FIG. 16 shows an example of a cross-sectional structure of the display device 200.
  • a display device 200 illustrated in FIG. 16 has a structure in which a display portion 102 and a display portion 104 are stacked between a substrate 250 and a substrate 251. Specifically, in FIG. 16, the display portion 102 and the display portion 104 are bonded by an adhesive layer 252.
  • FIG. 16 illustrates the light-emitting element 302, the transistor 305, and the capacitor 307 included in the pixel of the display portion 102, and the transistor 309 included in the driver circuit of the display portion 102.
  • a liquid crystal element 301 included in a pixel of the display portion 104, a transistor 303, a capacitor 304, and a transistor 310 included in a driver circuit of the display portion 104 are illustrated.
  • the transistor 305 includes a conductive layer 311 having a function as a back gate, an insulating layer 312 over the conductive layer 311, a semiconductor layer 313 overlapping with the conductive layer 311 over the insulating layer 312, and an insulating layer 316 over the semiconductor layer 313.
  • the conductive layer 315 is electrically connected to the conductive layer 319
  • the conductive layer 319 is electrically connected to the conductive layer 320.
  • the conductive layer 319 is formed in the same layer as the conductive layer 317
  • the conductive layer 320 is formed in the same layer as the conductive layer 311.
  • a conductive layer 321 that functions as a back gate of the transistor 306 is located in the same layer as the conductive layers 311 and 320.
  • An insulating layer 312 is located over the conductive layer 321, and a semiconductor layer 322 having a region overlapping with the conductive layer 321 is located over the insulating layer 312.
  • the semiconductor layer 322 includes a channel formation region of the transistor 306 (not shown).
  • An insulating layer 318 is located over the semiconductor layer 322, and a conductive layer 323 is located over the insulating layer 318.
  • the conductive layer 323 is electrically connected to the semiconductor layer 322, and the conductive layer 323 functions as a source electrode or a drain of the transistor 306 (not illustrated).
  • the transistor 309 has a structure similar to that of the transistor 305, detailed description thereof is omitted.
  • An insulating layer 324 is located over the transistor 305, the conductive layer 323, and the transistor 309, and an insulating layer 325 is located over the insulating layer 324.
  • a conductive layer 326 and a conductive layer 327 are located over the insulating layer 325.
  • the conductive layer 326 is electrically connected to the conductive layer 314, and the conductive layer 327 is electrically connected to the conductive layer 323.
  • An insulating layer 328 is located over the conductive layers 326 and 327, and a conductive layer 329 is located over the insulating layer 328.
  • the conductive layer 329 is electrically connected to the conductive layer 326 and functions as a pixel electrode of the light-emitting element 302.
  • the insulating layer 330 is located over the conductive layer 329, the EL layer 331 is located over the insulating layer 330, and the conductive layer 332 having a function as a counter electrode is located over the EL layer 331.
  • the conductive layer 329, the EL layer 331, and the conductive layer 332 are electrically connected to each other in the opening portion of the insulating layer 330, and a region where the conductive layer 329, the EL layer 331, and the conductive layer 332 are electrically connected is provided. It functions as the light emitting element 302.
  • the light-emitting element 302 has a top-emission structure that emits light in the direction indicated by the dashed arrow from the conductive layer 332 side.
  • One of the conductive layers 329 and 332 functions as an anode and the other functions as a cathode.
  • a voltage higher than the threshold voltage of the light-emitting element 302 is applied between the conductive layer 329 and the conductive layer 332, holes are injected into the EL layer 331 from the anode side and electrons are injected from the cathode side.
  • the injected electrons and holes are recombined in the EL layer 331, and the light-emitting substance contained in the EL layer 331 emits light.
  • the insulating layer 318 is preferably formed using an insulating material containing oxygen, and the insulating layer 324 is formed of water, hydrogen, or the like. It is desirable to use a material in which impurities are difficult to diffuse.
  • the insulating layer 325 or the insulating layer 330 when the insulating layer 325 or the insulating layer 330 is exposed at an end portion of the display device, display is performed on the light-emitting element 302 or the like through the insulating layer 325 or the insulating layer 330. Impurities such as moisture may enter from the outside of the device. When the light emitting element 302 is deteriorated due to the entry of impurities, the display device is deteriorated. Therefore, as illustrated in FIG. 16, it is preferable that the insulating layer 325 and the insulating layer 330 be not positioned at the end portion of the display device.
  • the light-emitting element 302 overlaps with the colored layer 334 with the adhesive layer 333 interposed therebetween.
  • the spacer 335 overlaps with the light shielding layer 336 with the adhesive layer 333 interposed therebetween.
  • FIG. 16 shows a case where there is a gap between the conductive layer 332 and the light shielding layer 336, they may be in contact with each other.
  • the colored layer 334 is a colored layer that transmits light in a specific wavelength range.
  • a color filter that transmits light in a red, green, blue, or yellow wavelength range can be used.
  • one embodiment of the present invention is not limited to the color filter method, and a color separation method, a color conversion method, a quantum dot method, or the like may be applied.
  • the transistor 303 includes a conductive layer 340 functioning as a back gate, an insulating layer 341 over the conductive layer 340, a semiconductor layer 342 overlapping with the conductive layer 340 over the insulating layer 341, and the semiconductor layer 342.
  • a conductive layer 346 and a conductive layer 347 A conductive layer 346 and a conductive layer 347.
  • the conductive layer 348 is located in the same layer as the conductive layer 340.
  • An insulating layer 341 is located over the conductive layer 348, and a conductive layer 347 is located over the insulating layer 341 in a region overlapping with the conductive layer 348.
  • a region where the conductive layer 347, the insulating layer 341, and the conductive layer 348 overlap with each other functions as the capacitor 304.
  • the transistor 310 has a structure similar to that of the transistor 303, detailed description thereof is omitted.
  • An insulating layer 360 is located over the transistor 303, the capacitor 304, and the transistor 310, and a conductive layer 349 is located over the insulating layer 360.
  • the conductive layer 349 is electrically connected to the conductive layer 347 and functions as a pixel electrode of the liquid crystal element 301.
  • An alignment film 364 is located over the conductive layer 349.
  • a conductive layer 361 having a function as a common electrode is located on the substrate 251. Specifically, in FIG. 16, the insulating layer 363 is bonded to the substrate 251 with the adhesive layer 362 interposed therebetween, and the conductive layer 361 is positioned on the insulating layer 363. An alignment film 365 is positioned on the conductive layer 361, and a liquid crystal layer 366 is positioned between the alignment film 364 and the alignment film 365.
  • the conductive layer 349 has a function of reflecting visible light
  • the conductive layer 361 has a function of transmitting visible light, so that light incident from the substrate 251 side can be transmitted as indicated by a dashed arrow. The light can be reflected from the layer 349 and emitted from the substrate 251 side.
  • a material containing one kind selected from indium (In), zinc (Zn), and tin (Sn) may be used.
  • indium oxide, indium tin oxide (ITO: Indium Tin Oxide) indium zinc oxide, indium oxide containing tungsten oxide, indium zinc oxide containing tungsten oxide, indium oxide containing titanium oxide, Indium tin oxide containing titanium oxide, indium tin oxide containing silicon oxide (ITSO), zinc oxide, zinc oxide containing gallium, and the like can be given.
  • a film containing graphene can also be used. The film containing graphene can be formed, for example, by reducing a film containing graphene oxide formed in a film shape.
  • Examples of the conductive material that reflects visible light include aluminum, silver, and alloys containing these metal materials.
  • a metal material such as gold, platinum, nickel, tungsten, chromium, molybdenum, iron, cobalt, copper, or palladium, or an alloy containing these metal materials can be used.
  • lanthanum, neodymium, germanium, or the like may be added to the metal material or alloy.
  • Alloys containing aluminum such as aluminum and titanium alloys, aluminum and nickel alloys, aluminum and neodymium alloys, aluminum, nickel, and lanthanum alloys (Al-Ni-La), silver and copper alloys, An alloy containing silver such as an alloy of silver, palladium, and copper (also referred to as Ag-Pd-Cu, APC), an alloy of silver and magnesium, or the like may be used.
  • FIG. 16 illustrates the structure of a display device using a top-gate transistor having a back gate
  • the display device according to one embodiment of the present invention may use a transistor without a back gate.
  • a back gate transistor may be used.
  • crystallinity of a semiconductor material used for the transistor there is no particular limitation on the crystallinity of a semiconductor material used for the transistor, and any of an amorphous semiconductor and a semiconductor having crystallinity (a microcrystalline semiconductor, a polycrystalline semiconductor, a single crystal semiconductor, or a semiconductor partially including a crystal region) is used. May be used. It is preferable to use a crystalline semiconductor because deterioration of transistor characteristics can be suppressed.
  • an oxide semiconductor can be used as a semiconductor material used for the transistor.
  • an oxide semiconductor containing indium can be used.
  • the semiconductor layer is represented by an In-M-Zn-based oxide containing at least indium, zinc, and M (metal such as aluminum, titanium, gallium, germanium, yttrium, zirconium, lanthanum, cerium, tin, neodymium, or hafnium). It is preferable to include a film. In addition, in order to reduce variation in electrical characteristics of the transistor including the oxide semiconductor, a stabilizer is preferably included together with the transistor.
  • Examples of the stabilizer include the metals described in M above, and examples include gallium, tin, hafnium, aluminum, and zirconium.
  • Other stabilizers include lanthanoids such as lanthanum, cerium, praseodymium, neodymium, samarium, europium, gadolinium, terbium, dysprosium, holmium, erbium, thulium, ytterbium, and lutetium.
  • an oxide semiconductor included in the semiconductor layer for example, an In—Ga—Zn-based oxide, an In—Al—Zn-based oxide, an In—Sn—Zn-based oxide, an In—Hf—Zn-based oxide, an In— La-Zn oxide, In-Ce-Zn oxide, In-Pr-Zn oxide, In-Nd-Zn oxide, In-Sm-Zn oxide, In-Eu-Zn oxide In-Gd-Zn-based oxide, In-Tb-Zn-based oxide, In-Dy-Zn-based oxide, In-Ho-Zn-based oxide, In-Er-Zn-based oxide, In-Tm -Zn oxide, In-Yb-Zn oxide, In-Lu-Zn oxide, In-Sn-Ga-Zn oxide, In-Hf-Ga-Zn oxide, In-Al- Ga-Zn-based oxide, In-Sn-Al-Zn-based oxide, In-Sn-Hf-Zn
  • an In—Ga—Zn-based oxide means an oxide containing In, Ga, and Zn as its main components, and there is no limitation on the ratio of In, Ga, and Zn. Moreover, metal elements other than In, Ga, and Zn may be contained.
  • a display device using a liquid crystal element as a reflective display element is illustrated, but as a reflective display element, in addition to a liquid crystal element, a shutter-type MEMS (Micro Electro Mechanical System) element is used.
  • An optical interference type MEMS device, a microcapsule method, an electrophoresis method, an electrowetting method, an electronic powder fluid (registered trademark) method, or the like can be used.
  • a self-luminous light-emitting element such as an OLED (Organic Light Emitting Diode), an LED (Light Emitting Diode), a QLED (Quantum-dot Light Emitting Diode), or a semiconductor laser can be used.
  • OLED Organic Light Emitting Diode
  • LED Light Emitting Diode
  • QLED Quadantum-dot Light Emitting Diode
  • liquid crystal element for example, a liquid crystal element to which a vertical alignment (VA) mode is applied can be used.
  • VA vertical alignment
  • MVA Multi-Domain Vertical Alignment
  • PVA Plasma Vertical Alignment
  • ASV Advanced Super View
  • liquid crystal elements to which various modes are applied can be used.
  • VA mode Transmission Nematic
  • IPS In-Plane-Switching
  • FFS Ringe Field Switching
  • ASM Analy Symmetrical Aligned Micro-cell
  • FLC Ferroelectric Liquid Crystal
  • AFLC Antiferroelectric Liquid Crystal
  • thermotropic liquid crystal As the liquid crystal used in the liquid crystal element, a thermotropic liquid crystal, a low molecular liquid crystal, a polymer liquid crystal, a polymer dispersed liquid crystal (PDLC), a ferroelectric liquid crystal, an antiferroelectric liquid crystal, or the like is used. Can do. These liquid crystal materials exhibit a cholesteric phase, a smectic phase, a cubic phase, a chiral nematic phase, an isotropic phase, and the like depending on conditions.
  • liquid crystal material either a positive type liquid crystal or a negative type liquid crystal may be used, and an optimal liquid crystal material may be used according to an applied mode or design.
  • An alignment film can be provided to control the alignment of the liquid crystal.
  • liquid crystal exhibiting a blue phase for which an alignment film is unnecessary may be used.
  • the blue phase is one of the liquid crystal phases.
  • a liquid crystal composition mixed with several percent by weight or more of a chiral agent is used for the liquid crystal layer in order to improve the temperature range.
  • a liquid crystal composition containing a liquid crystal exhibiting a blue phase and a chiral agent has a short response speed and is optically isotropic.
  • a liquid crystal composition including a liquid crystal exhibiting a blue phase and a chiral agent does not require alignment treatment and has a small viewing angle dependency. Further, since it is not necessary to provide an alignment film, a rubbing process is not required, so that electrostatic breakdown caused by the rubbing process can be prevented, and defects or breakage of the liquid crystal display device during the manufacturing process can be reduced. .
  • This embodiment can be implemented in appropriate combination with any of the other embodiments.
  • FIG. 17A illustrates an example of an appearance of the display device 200 according to one embodiment of the present invention.
  • a display device 200 illustrated in FIG. 17A includes a pixel portion 501 over a substrate 500, a pixel scan line driver circuit 502 including a reflective display element, and a pixel scan line driver circuit including a light emitting display element. 503.
  • the IC 504 includes a pixel signal line driver circuit having a reflective display element, and is electrically connected to the pixel portion 501 through a wiring 506.
  • the IC 505 includes a pixel signal line driver circuit having a light emitting display element, and is electrically connected to the pixel portion 501 through a wiring 507.
  • the FPC 508 is electrically connected to the IC 504, and the FPC 509 is electrically connected to the IC 505.
  • the FPC 510 is electrically connected to the scan line driver circuit 502 through the wiring 511.
  • the FPC 510 is electrically connected to the scan line driver circuit 503 through the wiring 512.
  • a pixel 513 corresponds to a display area 514 of a liquid crystal element, a display area 515 of a light emitting element corresponding to yellow, a display area 516 of a light emitting element corresponding to green, and a red color.
  • a display area 517 of the light emitting element and a display area 518 of the light emitting element corresponding to blue are included.
  • the amount of current flowing per area of the light emitting element is the smallest for the light emitting elements corresponding to yellow. Is required.
  • the display area 516 of the light emitting element corresponding to green, the display area 517 of the light emitting element corresponding to red, and the display area 518 of the light emitting element corresponding to blue have substantially the same area.
  • the area of the display area 515 of the light emitting element corresponding to yellow is slightly small, it is possible to display black with good color reproducibility.
  • This embodiment can be implemented in appropriate combination with any of the other embodiments.
  • the optical sensor can be formed on a substrate constituting the display device or may be formed on a substrate prepared separately from the display device.
  • FIG. 18 shows an example of a cross-sectional structure of an optical sensor.
  • An optical sensor 600 shown in FIG. 18 includes a plurality of photodiodes PD arranged in one direction on the same plane. 18 illustrates a configuration in which photodiodes PD1 to PD11 are arranged in one direction as the plurality of photodiodes PD.
  • a light shielding film 601 having an opening is located on the photodiodes PD1 to PD11, and a light shielding film 602 having an opening is located on the light shielding film 601.
  • the values of the light incident angles ⁇ 1 to ⁇ 11 in the photodiodes PD1 to PD11 can be controlled.
  • the light shielding film 601 and the light shielding film 602 are stacked is illustrated in this embodiment mode, more light shielding films may be provided over the light shielding film 601 and the light shielding film 602.
  • the range of the incident angle of light that can be sensed by each photodiode PD can be narrowed, and the accuracy of the incident angle of light that can be sensed by the optical sensor 600 is improved. Can be increased.
  • FIG. 18 shows a configuration example of an optical sensor 600 including a plurality of photodiodes PD arranged in one direction and a light shielding film 601 and a light shielding film 602 having openings corresponding to the photodiodes PD.
  • a plurality of first photodiodes PD arranged in a first direction and a plurality of second photodiodes PD arranged in a second direction; You may have the light shielding film 601 and the light shielding film 602 which have the opening part corresponding to 1st photodiode PD, and the opening part corresponding to 2nd photodiode PD.
  • FIG. 19A illustrates an example of an electronic device using the display device according to one embodiment of the present invention.
  • FIG. 19A illustrates a tablet information terminal 6200 which includes a housing 6221, a display device 6222, operation buttons 6223, and a speaker 6224.
  • a function as a position input device may be added to the display device 6222 according to one embodiment of the present invention.
  • the function as a position input device can be added by providing a touch panel on the display device.
  • the function as a position input device can be added by providing a photoelectric conversion element called a photosensor in a pixel portion of a display device.
  • the operation button 6223 can include any one of a power switch for starting the information terminal 6200, a button for operating an application of the information terminal 6200, a volume adjustment button, a switch for turning on or off the display device 6222, and the like.
  • the number of operation buttons 6223 is four, but the number and arrangement of the operation buttons of the information terminal 6200 are not limited thereto.
  • the information terminal 6200 includes an optical sensor 6225X and an optical sensor 6225Y that measure an incident angle of external light.
  • the optical sensor 6225X and the optical sensor 6225Y are arranged on the bezel of the housing 6221.
  • the optical sensor 6225X is disposed on one of the two short sides of the bezel of the housing 6221
  • the optical sensor 6225Y is disposed on one of the two long sides of the bezel of the housing 6221.
  • the incident angle and illuminance of external light are measured by the optical sensor 6225X and the optical sensor 6225Y, and the color adjustment and gradation adjustment of an image displayed on the display device 6222 are performed based on the data. It can be performed.
  • the arrangement location of the optical sensor 6225X and the optical sensor 6225Y is not limited to the information terminal 6200 illustrated in FIG.
  • the optical sensor 6225X is arranged on both of the two short sides of the bezel of the housing 6221, and the optical sensor 6225Y is 2 in the bezel of the housing 6221. It may be arranged on both long sides.
  • optical sensor 6225X and the optical sensor 6225Y the configuration illustrated in FIG. 18 can be applied.
  • the information terminal 6200 illustrated in FIG. 19A includes a sensor (force, displacement, position, velocity, acceleration, angular velocity, rotation speed, distance, light, liquid, Even a configuration having a function of measuring magnetism, temperature, chemical substance, sound, time, hardness, electric field, current, voltage, power, radiation, flow rate, humidity, gradient, vibration, smell, infrared rays, etc.) Good.
  • a measuring device having a sensor for measuring the inclination such as a gyro sensor or an acceleration sensor, the direction of the information terminal 6200 shown in FIG. ) Can be automatically switched according to the orientation of the information terminal 6200.
  • the color of the image data projected on the display device 6222 can be adjusted more accurately.
  • the gradation can be adjusted.
  • an imaging sensor is provided in the housing 6221 to acquire information on the position of the user's eyes (or the direction of the line of sight) with respect to the information terminal 6200 and combine the information on the tilt, the incident angle of external light, and the illuminance.
  • the color and gradation of the image displayed on the display device 6222 can be adjusted more accurately.
  • the above-described optical sensor 6225 ⁇ / b> X and optical sensor 6225 ⁇ / b> Y are arranged on opposite sides of the display device 6222. Therefore, when the user has the housing 6221, it is possible to prevent the optical sensor 6225 ⁇ / b> X and the optical sensor 6225 ⁇ / b> Y from being hidden by a finger or the like and obtaining information on correct illumination.
  • the information terminal 6200 illustrated in FIG. 19A may have a microphone and a speaker. With this configuration, for example, the information terminal 6200 can be provided with a call function such as a mobile phone. Although not illustrated, the information terminal 6200 illustrated in FIG. 19A may have a camera. Although not illustrated, the information terminal 6200 illustrated in FIG. 19A may have a structure including a light-emitting device for use in flashlight or lighting.
  • the information terminal 6200 illustrated in FIG. 19A may include a device that acquires biological information such as a fingerprint, a vein, an iris, or a voiceprint. By applying this configuration, an information terminal 6200 having a biometric authentication function can be realized.
  • the information terminal 6200 illustrated in FIG. 19A may have a microphone.
  • the information terminal 6200 can be provided with a call function.
  • the information terminal 6200 can be provided with a voice decoding function.
  • the information terminal 6200 can have a function of operating the information terminal 6200 by voice recognition, a function of reading a voice or a conversation and creating a conversation record, and the like. . Thereby, it can utilize, for example as minutes preparations, such as a meeting.
  • This embodiment can be implemented in appropriate combination with any of the other embodiments.
  • FIG. 20 illustrates a specific example of an electronic device using the display device according to one embodiment of the present invention.
  • FIG. 20A illustrates a portable game machine, which includes a housing 5001, a housing 5002, a display device 5003 according to one embodiment of the present invention, a display device 5004 according to one embodiment of the present invention, a microphone 5005, a speaker 5006, and operation keys. 5007, stylus 5008, and the like.
  • the portable game machine illustrated in FIG. 20A includes two display devices, which are a display device 5003 and a display device 5004.
  • the number of display devices included in the portable game machine is as follows. It is not limited to.
  • an image with high display quality is displayed on the display device 5003 and the display device 5004 without being influenced by the intensity of external light in a use environment. Can be displayed, and power consumption can also be reduced.
  • FIG. 20B illustrates a wristwatch-type portable information terminal, which includes a housing 5201, a display device 5202 according to one embodiment of the present invention, a belt 5203, an optical sensor 5204, a switch 5205, and the like.
  • FIG. 20C illustrates a tablet personal computer including a housing 5301, a housing 5302, a display device 5303 according to one embodiment of the present invention, an optical sensor 5304, an optical sensor 5305, a switch 5306, and the like.
  • the display device 5303 is supported by a housing 5301 and a housing 5302. Since the display device 5303 is formed using a flexible substrate, the display device 5303 has a function of flexibly bending the shape. By changing the angle between the housing 5301 and the housing 5302 at the hinges 5307 and 5308, the display device 5303 can be folded so that the housing 5301 and the housing 5302 overlap with each other.
  • an open / close sensor may be incorporated, and the change in the angle may be used as information on the use condition in the display device 5303.
  • the optical sensor 5304 is attached to the housing 5301, and the optical sensor 5305 is attached to the housing 5302.
  • information on the incident angle of external light to the display device 5303 in the region supported by the housing 5301 and information on the incident angle of external light on the display device 5303 in the region supported by the housing 5302 are displayed. Both of them can be used as information on usage conditions in the display device 5303.
  • the display device 5303 according to one embodiment of the present invention for a tablet personal computer an image with high display quality can be displayed on the display device 5303 without being influenced by the intensity of external light in the usage environment. Power consumption can also be suppressed.
  • FIG. 20D illustrates a video camera, which includes a housing 5801, a housing 5802, a display device 5803 according to one embodiment of the present invention, operation keys 5804, a lens 5805, a connection portion 5806, and the like.
  • the operation key 5804 and the lens 5805 are provided in the housing 5801
  • the display device 5803 is provided in the housing 5802.
  • the housing 5801 and the housing 5802 are connected to each other by a connection portion 5806.
  • An angle between the housing 5801 and the housing 5802 can be changed by the connection portion 5806.
  • the video on the display device 5803 may be switched in accordance with the angle between the housing 5801 and the housing 5802 in the connection portion 5806.
  • an image with high display quality can be displayed on the display device 5803 without depending on the intensity of external light in the usage environment, and power consumption can be reduced. Can be suppressed.
  • FIG. 20E illustrates a wristwatch-type portable information terminal including a housing 5701 having a curved surface, a display device 5702 according to one embodiment of the present invention, and the like.
  • the display device 5702 can be supported by a housing 5701 having a curved surface, and is flexible, light, and easy to use.
  • An information terminal can be provided.
  • the display device 5702 according to one embodiment of the present invention for the wristwatch-type portable information terminal an image with high display quality can be displayed on the display device 5702 without being influenced by the intensity of external light in the usage environment. And power consumption can be reduced.
  • FIG. 20F illustrates a mobile phone, which includes a housing 5901 having a curved surface, a display device 5902, a microphone 5907, a speaker 5904, a camera 5903, an external connection portion 5906, and an operation button 5905 according to one embodiment of the present invention.
  • a mobile phone which includes a housing 5901 having a curved surface, a display device 5902, a microphone 5907, a speaker 5904, a camera 5903, an external connection portion 5906, and an operation button 5905 according to one embodiment of the present invention.
  • the display device 5902 By using the display device 5902 according to one embodiment of the present invention for a mobile phone, an image with high display quality can be displayed on the display device 5902 without depending on the intensity of external light in the usage environment, and power consumption can be reduced. Can be suppressed.
  • This embodiment can be implemented in appropriate combination with any of the other embodiments.
  • FIG. 21A shows an example in which a learning function is installed in the image processing unit 800. Specifically, this can be realized by mounting the AIC 107 (FIG. 5) and the circuit shown in FIG. 11 as hardware HARD in the image processing unit 800. Note that the configuration of the image processing unit 800 can adopt the configuration of the image processing unit 160 of FIG. 2 as appropriate. Further, the circuit shown in FIG. 11 may be provided in the AIC 107.
  • the image processing unit 800 can display the display device 802.
  • the image processing unit 800 stores learning data D1 (for example, data corresponding to the intensity of external light detected by the optical sensor 143 described in Embodiment 1) and teacher data D2 (for example, by the user). Data corresponding to the selected color, brightness, etc.) is input.
  • the learning data and the teacher data are also referred to as a learning signal and a teacher signal, respectively.
  • calculation by a neural network is performed so that an error between the output and the teacher data D2 is reduced. What is necessary is just to change a weighting coefficient.
  • a method for changing the weighting factor a method such as an error back propagation method can be used.
  • the obtained weighting coefficient is stored in the AIC 107 of the image processing unit 800.
  • Image Processing Method in FIG. 21A When image processing (image correction) is performed after completion of learning, that is, during normal operation, newly acquired input data D3 (for example, data corresponding to the intensity of external light detected by the optical sensor 143 shown in Embodiment 1). Is input to the image processing unit 800, and calculation using a neural network is performed using the input data D3 and the weighting coefficient to obtain parameters suitable for image processing. The calculation is performed using the AIC 107 and the circuits shown in FIGS. 11A and 11B as described with reference to FIG.
  • the parameters obtained by the calculation by the neural network after completion of the learning will be values close to data corresponding to the user's favorite color, brightness, and the like. That is, by performing image processing based on the parameters, it is possible to generate a display image that matches the user's preference.
  • a circuit that realizes a learning function can be provided as hardware HARD in the image processing unit 800.
  • learning means hardware or software
  • FIG. 21B shows an example in which a learning function is installed in the host 801.
  • a learning function is installed in the host 801 as software SOFT.
  • a function for acquiring parameters suitable for image processing is installed in the image processing unit 800 as hardware HARD. Note that the configuration of the host 801 can employ the configuration of the host 185 in FIG. 2 as appropriate.
  • a program for learning as software SOFT (also referred to as a learning program) is stored in the host 801.
  • the program for performing learning is configured so that the calculation by the neural network described with reference to FIG. 10A or 10B can be realized. Specifically, arithmetic processing for inputting / outputting in the neuron (FIG. 10A) and arithmetic processing for changing the weighting coefficient (FIG. 10B) need only be programmed. .
  • the arithmetic processing for performing input / output in the neuron can be realized by performing arithmetic operations of a plurality of expressions related to FIG. Specifically, the calculation can be performed using the AIC 107 (FIG. 5) and the circuits shown in FIGS. 11 (A) and 11 (B). Therefore, the program only needs to be configured so as to realize arithmetic processing related to the plurality of expressions and these circuits.
  • the arithmetic processing for changing the weighting factor can be realized by performing arithmetic operations of a plurality of formulas related to FIG. Specifically, an arithmetic operation can be performed using the AIC 107 and the circuits illustrated in FIGS. Therefore, the program only needs to be configured so as to realize arithmetic processing related to the plurality of expressions and these circuits.
  • the image processing unit 800 is provided with a circuit for acquiring parameters suitable for image processing as hardware HARD. Specifically, an AIC 107 and circuits shown in FIGS. 11A and 11B are provided. The point that the learning function is not installed in the image processing unit 800 is different from the configuration of FIG.
  • the calculation results of the neural network correspond to the hardware HARD and the software SOFT. More specifically, in both cases, the same output may be obtained with respect to the same input, or the output within the required error range may be obtained. More specifically, the input (voltage) applied to the hardware HARD corresponds to the input (digital data) applied to the software SOFT, and the output (voltage or current) of the hardware HARD corresponds to the output (digital data) of the software SOFT. If you do.
  • the host 801 stores learning data D1 (for example, data corresponding to external light intensity) and teacher data D2 (for example, a color selected by the user, Data corresponding to luminance and the like) is input.
  • learning data D1 for example, data corresponding to external light intensity
  • teacher data D2 for example, a color selected by the user, Data corresponding to luminance and the like
  • a calculation (product-sum operation) using the neural network shown in FIG. 10 is performed by a learning program in software SOFT to change the weighting coefficient.
  • a method for changing the weighting factor a method such as an error back propagation method can be used.
  • the obtained weighting coefficient is output from the host 801 and stored in the AIC 107 of the image processing unit 800.
  • the point that learning is performed by software SOFT is different from the configuration of FIG.
  • Image processing (normal operation) after completion of learning can be performed in the same manner as the configuration of FIG. That is, using the hardware HARD (the AIC 107 and the circuit shown in FIGS. 11A and 11B) in the image processing unit 800, a neural network calculation is performed by using the newly acquired input data D3 and the weighting coefficient. Get parameters suitable for processing. As described above, since the hardware HARD is used in the image processing unit 800 instead of the software SOFT, the calculation can be performed efficiently.
  • the learning function may not be installed in the host 801.
  • the learning function may be installed in another circuit shown in FIG. 2 or may be installed in a circuit not shown in FIG.
  • the learning function may be installed in hardware or in both software and hardware.
  • the configuration of the present embodiment is not limited to that relating to image processing, and can be applied to a wide range of fields.
  • a function can be applied, or the configuration of this embodiment can be applied.
  • This embodiment can be implemented in appropriate combination with any of the other embodiments.
  • FIG. 22 illustrates a portable information terminal 900 as an example of an electronic device.
  • 22A is a perspective view showing a surface (hereinafter referred to as a display surface) having a display portion of the information terminal 900
  • FIG. 22B is a perspective view showing a back surface facing the display surface of the information terminal 900. It is.
  • the information terminal 900 includes a housing 902, a display device 904, operation buttons 906, and a speaker 910.
  • a display device 904 is a display device according to one embodiment of the present invention, and includes the arithmetic circuit described in the above embodiment.
  • the display device 904 may have a function as a position input device by mounting a touch panel.
  • a photoelectric conversion element called a photosensor may be provided in the pixel portion of the display device to have a function as a position input device.
  • the information terminal 900 can include any one of a power switch, a button for operating an application, a volume adjustment button, a switch for turning on or off the display device 904, and the like as the operation buttons 906. Note that the number and arrangement of the operation buttons 906 are not limited to those in FIG. 22, and can be freely changed according to the function and / or design of the information terminal 900.
  • the information terminal 900 includes a plurality of optical sensors in the housing 902.
  • an optical sensor 908a and an optical sensor 908b disposed on the display surface of the housing 902
  • an optical sensor 908c, an optical sensor 908d, and an optical sensor 908e disposed on the side surface of the housing 902
  • Optical sensors 908f and 908g disposed on the back surface of the housing 902 facing the display surface.
  • the optical sensors 908a to 908g each have a function of acquiring light intensity information for each wavelength, and the information is input as learning data to the arithmetic circuit according to one embodiment of the present invention.
  • the optical sensors 908a to 908g for example, a phototransistor, a photosensor, an image sensor, or the like can be used. Further, as the optical sensors 908a to 908g, the optical sensor illustrated in FIG. 18 may be applied.
  • the information terminal 900 includes optical sensors 908c to 908g disposed on the side and back surfaces of the housing 902 in addition to the optical sensors 908a and 908b disposed on the display surface of the housing 902. .
  • This makes it possible to detect the incident direction of light more reliably than in the case where the optical sensor is arranged only on the display surface.
  • the type of light source (surface light source, point light source, etc.) along with the direction of the light source based on the difference in relative intensity of light incident on the photosensor ) can be detected.
  • the optical sensor with a lens or the like, the intensity of light at a position away from the housing can be detected. In this way, not only the brightness of the display surface but also information regarding the use environment of the information terminal 900 such as whether the user's hand is bright or the entire room is bright can be acquired.
  • the optical sensors 908a to 908g it is preferable to provide a plurality of types of optical sensors capable of detecting light intensities having different wavelengths.
  • the sun as a light source has a different spectrum of light that is unique in the morning, daytime, and evening.
  • the information terminal 900 is used indoors or outdoors where sunlight does not exist, light emitted from a fluorescent lamp, a table lamp, a streetlight, a car headlight, or the like as a light source has a wavelength different from the spectrum of sunlight. . Therefore, by providing a plurality of types of optical sensors capable of detecting light of different wavelengths as the optical sensors 908a to 908g, the light source information can be acquired in more detail.
  • the information terminal 900 includes the optical sensors disposed on two or more surfaces of the housing 902, so that the external light environment used by the information terminal 900 can be accurately measured. Since the user of the information terminal 900 enters the field of view not only on the display surface but also the periphery of the information terminal 900 at the time of use, accurately measuring the ambient light environment around the information terminal 900 It is effective for improving quality and / or reducing power consumption.
  • the location, number, or shape of the photosensors are not limited to the information terminal 900 shown in FIG.
  • the optical sensors in order to accurately measure the ambient light environment in which the information terminal 900 is used, it is preferable to arrange the optical sensors on two or more surfaces of the housing 902, and the more surfaces are disposed, the more ambient light. Information on the environment can be acquired.
  • a plurality of optical sensors be arranged on one surface of the housing 902 on a surface having a large area such as a display surface or the back surface thereof.
  • the information terminal 900 illustrated in FIG. 22 includes another sensor (force, displacement, position, velocity, acceleration, angular velocity, rotation speed, distance, magnetism, temperature, chemicals) in the housing 902. It may have a structure having a function of measuring substances, sound, time, hardness, electric field, current, voltage, power, radiation, flow rate, humidity, gradient, vibration, smell, infrared rays, and the like.
  • the orientation of the information terminal 900 shown in FIG. 22 (which direction the information terminal is oriented with respect to the vertical direction) is determined by providing a measuring device having a sensor that measures the inclination, such as a gyro sensor or an acceleration sensor.
  • the screen display of the display device 904 can be automatically switched according to the orientation of the information terminal 900.
  • the color adjustment and the gradation adjustment of the image data displayed on the display device 904 can be performed more accurately. It can be carried out.
  • an image sensor is provided in the housing 902 to acquire information on the position of the user's eyes (or the direction of the line of sight) with respect to the information terminal 900, and by combining tilt information and external light environment information, In addition, the color and gradation of the image displayed on the display device 904 can be adjusted more accurately.
  • a neural network can be used using an arithmetic circuit according to one embodiment of the present invention.
  • the information terminal 900 illustrated in FIG. 22 may have a configuration including a light emitting device for use in a camera, a flashlight, or illumination.
  • the information terminal 900 may be configured to include a device that acquires biological information such as a fingerprint, a vein, an iris, or a voiceprint.
  • a biometric authentication function can be realized.
  • a display device is not limited to a portable information terminal (including a mobile phone, a portable game machine, a sound reproducing device, a portable book, and the like) and is mounted on various electronic devices. Is possible.
  • the display device in the case where the display device is mounted on a building or a moving body (a car, an airplane, or the like), the building or the moving body may be applied as a housing in which an optical sensor is provided.
  • the display device according to one embodiment of the present invention is used as a wall-mounted display, a plurality of optical sensors are provided on a wall surface provided with the display, and information acquired by the optical sensors is supplied to an arithmetic circuit of the display device. You may enter.
  • the display device when the display device according to one embodiment of the present invention is used as a display integrated with a unit bus, a plurality of sensors can be provided in the unit bus.
  • This embodiment can be implemented in appropriate combination with any of the other embodiments.
  • the display device is not limited to the above-described display device, and can be mounted on various electronic devices.
  • the display device is mounted on a building or a moving body (a car, an airplane, or the like)
  • the building or the moving body may be applied as a housing in which a sensor is provided.
  • learning data input to the arithmetic circuit is acquired by a plurality of optical sensors provided in the housing of the display device.
  • Electronic devices will be described with reference to FIGS.
  • the display device of one embodiment of the present invention can be mounted on various electronic devices.
  • the display device of one embodiment of the present invention can be mounted on a building, a moving object, or the like.
  • the display device When the display device according to one embodiment of the present invention is applied to a moving object or the like, the moving object often moves outdoors or the like, and thus changes in the surrounding environment are larger than in an indoor environment.
  • a display unit that displays information that should be recognized by a user becomes difficult to recognize due to changes in the surrounding environment, a serious problem arises in safety. Therefore, even if the surrounding environment changes, it is very important to perform display that is easy for the user to visually recognize.
  • a so-called mirrorless car that employs a camera monitoring system (a camera and a monitor is used instead of a side mirror or a room mirror) that is expected to increase in the future, the visibility of the monitor becomes very important.
  • a moving body having a display device with high display quality can be realized.
  • a moving body having a display unit that can be easily recognized by the user even if the surrounding environment changes.
  • the frequency of sudden environmental changes is high outdoors. If the display setting of the display device is changed every time a temporary change occurs, the user may not be able to see the screen.
  • the display device according to one aspect of the present invention learns environmental changes using the above-described neural network, thereby reducing the influence of sudden changes and performing display that is easy for the user to visually recognize. . For example, by learning changes in external light including the direction of light, wavelength, changes over time, etc., it is possible to avoid sudden changes in display settings for light that occurs suddenly, and light that occurs suddenly Can reduce the effects of
  • 23 to 27 and 29 illustrate an example in which a display device according to one embodiment of the present invention is mounted on an automobile as an application example of the electronic device.
  • FIG. 23 shows a view of the vehicle body 1000 from above.
  • the vehicle body 1000 has an optical sensor.
  • the optical sensor has a function of acquiring information such as light wavelength, light intensity, and light intensity for each wavelength, and the information is input as learning data to the arithmetic circuit according to one embodiment of the present invention.
  • the optical sensor for example, a phototransistor, a photosensor, an image sensor, or the like can be used.
  • an optical sensor shown in FIG. 18 can be applied.
  • the optical sensor shown in FIG. 18 can detect the incident angle of light, illuminance, and the like.
  • the optical sensor 1004L and the optical sensor 1004R can be provided on the front bumper. Further, for example, as shown in FIG. Further, in the case of a vehicle body not provided with a side mirror such as a so-called mirrorless car, it can be provided at a location where a camera for the side mirror is provided. Further, for example, as shown in FIG.
  • the optical sensor 1004 has a function of detecting external light, for example, and thus is preferably provided outside the vehicle body 1000, but the optical sensor 1004 may be provided inside the vehicle body 1000.
  • the optical sensor 1004 can be provided in the window portion 1002 or the like. Note that when the optical sensor 1004 is provided in the window portion 1002, the window portion 1002 in the front surface of the optical sensor 1004 and in the vicinity thereof has sufficient light transmittance so that the detection accuracy of the optical sensor 1004 does not deteriorate. Is preferred.
  • the optical sensor 1004 can be provided on the front bumper, and another optical sensor can be provided on the window portion 1002. Further, for example, the optical sensor 1004 can be provided on the roof, and another optical sensor can be provided on the front bumper.
  • the location, number, or shape of the photosensors are not limited to those shown in FIG.
  • the optical sensors In order to accurately measure the ambient light environment, it is preferable to arrange the optical sensors on two or more surfaces of the vehicle body 1000, and more information on the ambient light environment can be acquired as more surfaces are disposed.
  • by suppressing the number of optical sensors arranged to a small number it is possible to reduce the number of parts such as power supply wiring and signal wiring for the sensor, and it is possible to reduce the weight and cost of the vehicle body.
  • the optical sensor 1004 it is preferable to provide a plurality of types of optical sensors capable of detecting light intensities having different wavelengths.
  • the sun which is a light source
  • the optical sensor 1004 it is possible to acquire light source information in more detail.
  • the vehicle body 1000 includes the optical sensors arranged on two or more surfaces of the vehicle body 1000, so that the external light environment of the vehicle body can be accurately measured.
  • the user of the vehicle body enters the field of view at the same time not only on the display surface but also around the display unit during use. Therefore, it is possible to improve the visibility of the user and improve the display quality by accurately measuring the ambient light environment around the vehicle body.
  • by accurately measuring the ambient light environment around the vehicle body it is possible to display optimally for the user, thus eliminating unnecessary high brightness display and reducing power consumption. it can.
  • a display unit that performs corrected display using information obtained by a sensor or the like as learning data will be described.
  • FIG. 24 is a diagram illustrating the periphery of a windshield in a vehicle interior.
  • FIG. 24 illustrates a display unit 1051D attached to a pillar in addition to the display unit 1051A, the display unit 1051B, and the display unit 1051C attached to the dashboard.
  • the display units 1051A to 1051C can provide display images including various other information such as navigation information, speedometers and tachometers, travel distances, oil supply amounts, gear states, and air conditioner settings. Since these display images are corrected based on the information obtained by the sensors as described above, it is possible to freely arrange the vehicle to improve its design, regardless of the influence of the surrounding environment such as external light. The display image is easy for the user to visually recognize. In addition, the display items, layout, and the like displayed on the display unit can be appropriately changed according to the user's preference, and the design can be improved.
  • the display portions 1051A to 1051C can also be used as lighting devices.
  • the field of view (dead angle) blocked by the pillar can be complemented. That is, by displaying a captured image of a camera or the like provided on the outside of the automobile, the blind spot can be compensated and safety can be improved. In addition, by displaying a video that complements the invisible part, it is possible to perform safety confirmation more naturally and without a sense of incongruity.
  • the display portion 1051D can also be used as a lighting device.
  • FIG. 25 shows the interior of an automobile in which bench seats are used for the driver seat and the passenger seat.
  • FIG. 25 illustrates a display unit 1052A provided in the door unit, a display unit 1052B provided in the handle, and a display unit 1052C provided in the center of the seat surface of the bench seat.
  • the field of view blocked by the door can be complemented.
  • the display unit 1052B and the display unit 1052C can provide a display image including various information such as navigation information, a meter such as a speedometer and a tachometer, a travel distance, a fuel supply amount, a gear state, and an air conditioner setting. Since these display images are corrected based on the information obtained by the sensor or the like as described above, the display images are easily visible to the user regardless of the influence of the surrounding environment such as external light. Yes. In addition, display items, layouts, and the like displayed on the display unit can be changed as appropriate according to the user's preference.
  • the display portion 1052B and the display portion 1052C can be used as a lighting device.
  • a display unit when a display unit is arranged everywhere in a car interior and the display unit is used as a lighting device, it is also effective to use a means for transmitting an emergency signal to the outside of the vehicle. For example, when the health state of the user (driver) is detected by a sensor or the like, it is possible to blink the display unit with the maximum brightness.
  • the display unit described above can be attached to a curved surface.
  • the display portion 1051A to the display portion 1051C and the display portion 1052A to the display portion 1052C can be attached to any place in the interior of a car. That is, even a curved surface such as a dashboard 1012 and a pillar 1015 illustrated in FIG. 26A can be attached. Therefore, as shown in FIG. 26B, a display portion 1060 may be provided on the surface inside the vehicle body other than the window portion 1061. With this configuration, an image outside the vehicle other than the window portion 1061 can be displayed, so that the blind spot can be compensated and safety can be improved.
  • a plurality of cameras 1071L, cameras 1072L, cameras 1073L, cameras 1071R, cameras 1072R, and cameras 1073R are preferably provided. Note that it is preferable to mount two or more cameras side by side because information on the distance to the object can be obtained. In addition, by providing these cameras, it can also serve as the above-described optical sensor, and the number of parts can be reduced.
  • an image of the outside of the vehicle other than the window portion 1061 can be displayed as illustrated in FIG. Therefore, it is possible to make a moving body that compensates the user's blind spot and has improved safety.
  • the display position of the meter or the like can be changed by disposing the display portion in various places.
  • the display position can be freely switched, the display position can be changed so that the user can easily see according to the surrounding environment such as outside light.
  • the display position can be changed to an optimal position according to the user's preference and physique.
  • the left optical sensor detects stronger light than the right optical sensor. It will be.
  • the right photosensor detects light that is stronger than the left photosensor.
  • the light sensor arranged in the vehicle body can detect suddenly generated light such as headlights and street lamps of other vehicles more accurately than the light sensor arranged in the display device.
  • the image is not corrected.
  • the result can be stored as a weighting factor.
  • a plurality of types of optical sensors may be provided so that light with different wavelengths can be detected between the optical sensor disposed on the vehicle body and the optical sensor disposed on the display device. For example, it is possible to detect external light such as sunlight with a light sensor arranged in the display device, and to detect light suddenly generated with a light sensor arranged in the vehicle body. By using a plurality of types of sensors, it is possible to learn by using information from optical sensors arranged on the vehicle body in a complementary manner.
  • the optical sensor has been described.
  • other sensors force, displacement, position, velocity, acceleration, angular velocity, rotation speed, distance, magnetism, temperature, chemical substance, sound, time, hardness, electric field, current,
  • a configuration having a function of measuring voltage, power, radiation, flow rate, humidity, gradient, vibration, smell, infrared rays, or the like may be used.
  • display that is more suitable for the user can be performed by combining the light sensor and the time sensor.
  • a dedicated sensor it is also possible to detect the surrounding environment such as external light using other sensors in the vehicle body, a camera, a radar, and the like.
  • front surveillance camera / radar, rear surveillance camera / radar, side surveillance camera / radar, driver surveillance camera, vehicle position sensor, front inter-vehicle distance / obstacle sensor, rear inter-vehicle distance / obstacle sensor, side inter-vehicle distance / An obstacle sensor, a drive recorder, etc. can be used.
  • it is preferable to use a camera because more information can be obtained.
  • the camera functions as a sensor the number of parts can be reduced and the cost can be reduced.
  • the weight of the vehicle body can be reduced, and the energy and cost for movement or transportation can be reduced.
  • using a camera as an optical sensor and using a display device according to one embodiment of the present invention for a display portion can minimize an increase in parts. Is preferable.
  • FIG. 29 is a block diagram showing a communication environment in the vehicle body. As shown in FIG. 29, information obtained from the camera 1033R, the camera 1033L, the optical sensor 1034, and the optical sensor 1035 can be output to the arithmetic circuit 1032 and the information obtained from the arithmetic circuit 1032 can be displayed on the display portion 1031. Is possible. Note that the location, number, or shape of sensors, circuits, display units, and the like are not limited to the vehicle body shown in FIG.
  • the position of the display unit on the vehicle body can be provided at various positions. It may be outside the vehicle or inside the vehicle. When provided outside the vehicle, the effect of the surrounding environment such as outside light is greater than when provided outside the vehicle, so that the effect obtained by applying the above-described display device is greater. Further, since the vehicle body has many curves when provided in the vehicle, it is preferable to provide a display device along the vehicle body, and it is preferable to use a flexible display device.
  • the display unit is not limited to a hybrid (composite) display device using a reflective display element and a light-emitting surface element, and various display devices can be applied.
  • a display using a liquid crystal element a shutter-type MEMS (Micro Electro Mechanical System) element, an optical interference-type MEMS element, a microcapsule method, an electrophoresis method, an electrowetting method, an electropowder fluid (registered trademark) method, etc.
  • An element, OLED (Organic Light Emitting Diode), LED (Light Emitting Diode), QLED (Quantum-Dot Emitting Diode), etc. are applicable.
  • a hybrid display device using a reflective display element and a light-emitting surface element has a function of projecting an image by illuminating the light-emitting element and a function of projecting an image by reflecting environmental light.
  • the display performance can be greatly changed according to the surrounding environment. Therefore, it is easy to adjust a user's visibility to a preferable state, and it can use suitably for a mobile body.
  • the moving body to which the display device according to one embodiment of the present invention can be used can be used for a moving body having a surface on which a display portion can be provided. Specific examples of these moving objects are shown in FIGS.
  • FIG. 28A illustrates an automobile 1301.
  • the automobile 1301 has a window portion 1311.
  • the moving body according to one embodiment of the present invention can be used for the automobile 1301 including the window portion 1311.
  • the display unit installed in the automobile 1301 can perform a display corrected based on information on the surrounding environment obtained by a sensor, a camera, and the like. A display that is easy to visually recognize can be realized.
  • a camera when a camera is used, an image outside the automobile 1301 can be displayed on a display unit in the automobile 1301. Therefore, the automobile 1301 can have a blind spot other than the window portion 1311 reduced.
  • FIG. 28B shows a bus 1302.
  • the bus 1302 has a window portion 1311.
  • the moving body according to one embodiment of the present invention can be used for the bus 1302 including the window portion 1311.
  • the display unit installed on the bus 1302 can perform a display corrected based on information on the surrounding environment obtained by a sensor, a camera, and the like. A display that is easy to visually recognize can be realized.
  • an image outside the bus 1302 can be displayed on a display portion in the bus 1302. Therefore, the bus 1302 in which blind spots other than the window portion 1311 are reduced can be obtained.
  • FIG. 28C illustrates a train 1303.
  • the train 1303 has a window portion 1311.
  • the moving body according to one embodiment of the present invention can be used for the train 1303 including the window portion 1311.
  • the display unit installed in the train 1303 can perform a display corrected based on information on the surrounding environment obtained by sensors, cameras, and the like. A display that is easy to visually recognize can be realized. In the case of using a camera, an image outside the train 1303 can be displayed on a display portion in the train 1303. Therefore, it can be set as the train 1303 by which the blind spot except the window part 1311 was reduced.
  • FIG. 28D illustrates an airplane 1304.
  • the airplane 1304 has a window portion 1311.
  • the moving body according to one embodiment of the present invention can be used for the airplane 1304 including the window portion 1311.
  • the display unit installed in the airplane 1304 can perform a display corrected based on information on the surrounding environment obtained by a sensor, a camera, and the like. A display that is easy to visually recognize can be realized. Further, when a camera is used, an image outside the airplane 1304 can be displayed on a display portion inside the airplane 1304. Therefore, the airplane 1304 can have a blind spot other than the window portion 1311 reduced.
  • the display device according to one embodiment of the present invention is not limited to the above-described moving object, and can be mounted on various electronic devices. Further, a building may be applied as a housing in which the optical sensor is provided.
  • a plurality of optical sensors are provided on a wall surface provided with the display, and information acquired by the optical sensors is supplied to an arithmetic circuit of the display device. You may enter.
  • the display device according to one embodiment of the present invention is used as a display integrated with a unit bus, a plurality of sensors can be provided in the unit bus.
  • This embodiment can be implemented in appropriate combination with any of the other embodiments.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Control Of El Displays (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

要約書 外光の強度に表示品質が左右されにくい表示装置を提供 表示装置の使用環境における外光の強度、 表示装置への外光の入射角度、 利用者の嗜好などの条件に 応じて、コントローラにおいて画像データに補正をかけ、表示される画像の階調、色などを調整する。 そして、 上記画像データの補正に用いるパラメータの決定には、 ニューロンを基本的な素子とする脳 において実行されるアナログデータの情報処理と同様に、アナログ演算処理を行う機能を有する演算 回路を用いる。 上記構成を有する表示装置は、 例えば、 外光の強度が低い環境において、 発光型表示 素子を用いて画像の表示を行うことで画像の視認性を高めることができ、外光の強度が高い環境にお いて反射型表示素子を用いて画像の表示を行うことで、消費電力を低く抑えることができる。

Description

表示装置及び移動体
本発明の一態様は表示装置に関する。また、本発明の一態様は半導体装置に関する。また、本発明の一態様は移動体に関する。
なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の一態様の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物(コンポジション・オブ・マター)に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、液晶表示装置、発光装置、照明装置、蓄電装置、記憶装置、それらの駆動方法、または、それらの製造方法、を一例として挙げることができる。
液晶表示装置や電子ペーパーなどのバックライトや外光などを利用して表示を行う表示装置の場合、使用環境における外光の強度により表示品質が左右されやすい。下記の特許文献1には、表示時の照明状況下に被写体を置いて直接見たように表示できる、液晶表示装置を用いた画像表示装置および方法ならびに画像処理システムについて記載されている。
特開2002−221931号公報
使用環境における外光の強度に表示品質が左右されにくい表示装置を提供するためには、使用環境に合わせて、階調の調整、調色などの補正が必要になる。また、階調の調整、調色の補正には、表示装置に入射する外光の角度や、利用者の嗜好なども反映させることが求められる。
また、表示装置の性能を評価する上で消費電力が低いこと、周辺回路の大きさが抑えられることは重要である。
上述したような技術的背景のもと、本発明の一態様は、使用環境に表示品質が左右されにくい表示装置の提供を課題とする。或いは、本発明の一態様は、消費電力を低く抑えることができる表示装置の提供を課題とする。
或いは、本発明の一態様は、消費電力を低く抑えることができる周辺回路などの半導体装置の提供を課題とする。或いは、本発明の一態様は、大きさを抑えられる周辺回路などの半導体装置の提供を課題とする。
なお、本発明の一態様は、新規な半導体装置などの提供を、課題の一つとする。なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、必ずしも、これらの課題の全てを解決する必要はない。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。
本発明の一態様では、表示装置の使用環境における外光の強度、表示装置への外光の入射角度、利用者の嗜好などの条件に応じて、コントローラにおいて画像データに補正をかけ、表示される画像の階調、色などを調整する。そして、上記画像データの補正に用いるパラメータの決定には、ニューロンを基本的な素子とする脳において実行されるアナログデータの情報処理と同様に、アナログ演算処理を行う機能を有する演算回路を用いる。
また、本発明の一態様では、光の反射を利用して階調を表示する機能を有する表示素子(反射型表示素子)に加えて、発光の強度により階調を表示する機能を有する表示素子(発光型表示素子)を、表示装置に用いても良い。上記構成を有する表示装置は、例えば、外光の強度が低い環境において、発光型表示素子を用いて画像の表示を行うことで画像の視認性を高めることができ、外光の強度が高い環境において反射型表示素子を用いて画像の表示を行うことで、消費電力を低く抑えることができる。
さらに、上記表示装置では、反射型表示素子と発光型表示素子とを共に用いて画像の表示を行う機能を有していても良い。上記構成により、反射型表示素子と発光型表示素子とを用いて、表示される画像の階調、色などを相補的に調整することができる。そして、表示される画像の階調、色などを相補的に調整する場合、反射型表示素子に対応する画像データの補正と、発光型表示素子に対応する画像データの補正は、上記演算回路を用いて行うことができる。
具体的に、本発明の一態様に係る表示装置は、第1の表示素子と、第2の表示素子と、第1の回路と、第2の回路と、を有し、上記第1の回路は、第1の画像信号を第1のパラメータに従って補正する機能と、第2の画像信号を第2のパラメータに従って補正する機能と、を有し、上記第2の回路は、ニューラルネットワークを用いた演算処理により上記第1のパラメータを生成する機能と、上記ニューラルネットワークを用いた演算処理により上記第2のパラメータを生成する機能と、を有し、上記第1の表示素子は、上記第1の回路において補正された上記第1の画像信号を用い、かつ光の反射を利用して階調を表示する機能を有し、上記第2の表示素子は、上記第1の回路において補正された上記第2の画像信号を用い、かつ発光の強度により階調を表示する機能を有する。
具体的に、本発明の一態様に係る表示装置は、第1の表示素子と、第2の表示素子と、第1の回路と、第2の回路と、を有し、上記第1の回路は、第1の画像信号を第1のパラメータに従って補正する機能と、第2の画像信号を第2のパラメータに従って補正する機能と、を有し、上記第2の回路は、アナログ演算処理を用いて上記第1のパラメータを生成する機能と、上記アナログ演算処理を用いて上記第2のパラメータを生成する機能と、を有し、上記第1の表示素子は、上記第1の回路において補正された上記第1の画像信号を用い、かつ光の反射を利用して階調を表示する機能を有し、上記第2の表示素子は、上記第1の回路において補正された上記第2の画像信号を用い、かつ発光の強度により階調を表示する機能を有する。
本発明の一態様に係る表示装置では、上記第2の回路は、メモリセルと、参照用メモリセルと、第3の回路と、第4の回路と、を有し、上記メモリセルは、第1のアナログデータに応じた第1の電流を生成する機能と、上記第1のアナログデータ及び第2のアナログデータに応じた第2の電流を生成する機能と、を有し、上記参照用メモリセルは、参照データに応じた参照電流を生成する機能を有し、上記第3の回路は、上記第1の電流が上記参照電流より小さい場合に上記第1の電流と上記参照電流との差分に応じた第3の電流を生成する機能と、上記第3の電流を保持する機能と、を有し、上記第4の回路は、上記第1の電流が上記参照電流より大きい場合に上記第1の電流と上記参照電流との差分に応じた第4の電流を生成する機能と、上記第4の電流を保持する機能と、を有し、上記第3の回路または上記第4の回路は、上記第2の電流と、上記第3の電流または上記第4の電流のいずれか一とから、第5の電流を生成する機能を有する。
又は、本発明の一態様の電子機器は、表示装置と、表示装置を内包する筐体と、筐体に配置された複数の光センサとを有し、複数の光センサは、光強度の情報を取得する機能を有し、表示装置は、第1の回路と、第2の回路と、表示素子とを有し、第1の回路は、画像信号をパラメータに従って補正する機能を有し、第2の回路は、光強度の情報をもとに、ニューラルネットワークを用いた演算処理により上記パラメータを生成する機能を有し、表示素子は、第1の回路において補正された画像信号を用いて、画像を表示する機能を有する。
又は、本発明の一態様の電子機器は、表示装置と、表示装置を内包する筐体と、筐体に配置された複数の光センサとを有し、複数の光センサは、光強度の情報を取得する機能を有し、表示装置は、第1の表示素子と、第2の表示素子と、第1の回路と、第2の回路と、を有し、第1の回路は、第1の画像信号を第1のパラメータに従って補正する機能と、第2の画像信号を第2のパラメータに従って補正する機能と、を有し、第2の回路は、光強度の情報をもとに、ニューラルネットワークを用いた演算処理により第1のパラメータを生成する機能と、光強度の情報をもとに、上記ニューラルネットワークを用いた演算処理により第2のパラメータを生成する機能と、を有し、第1の表示素子は、第1の回路において補正された第1の画像信号を用い、かつ光の反射を利用して階調を表示する機能を有し、第2の表示素子は、第1の回路において補正された第2の画像信号を用い、かつ発光の強度により階調を表示する機能を有する。
本発明の一態様の電子機器は、複数の光センサとして、互いに異なる波長の光の光強度の情報を取得する機能を有する複数種類の光センサを有していてもよい。
又は、本発明の一態様の表示装置は、移動体に搭載される表示装置であって、第1の回路と、第2の回路と、表示素子と、第1の光センサを有し、第1の回路は、画像信号をパラメータに従って補正する機能を有し、第2の回路は、第1の光センサからの光強度の情報と、移動体に設けられた第2の光センサからの光強度の情報とをもとに、ニューラルネットワークを用いた演算処理により上記パラメータを生成する機能を有し、表示素子は、第1の回路において補正された画像信号を用いて、画像を表示する機能を有する。
又は、本願発明の一態様の表示装置は、移動体に搭載される表示装置であって、第1の表示素子と、第2の表示素子と、第1の回路と、第2の回路と、第1の光センサと、を有し、第1の回路は、第1の画像信号を第1のパラメータに従って補正する機能と、第2の画像信号を第2のパラメータに従って補正する機能と、を有し、第2の回路は、第1の光センサからの光強度の情報と、移動体に配置された第2の光センサからの光強度の情報とをもとに、ニューラルネットワークを用いた演算処理により第1のパラメータを生成する機能と、光強度の情報をもとに、上記ニューラルネットワークを用いた演算処理により第2のパラメータを生成する機能と、を有し、第1の表示素子は、第1の回路において補正された第1の画像信号を用い、かつ光の反射を利用して階調を表示する機能を有し、第2の表示素子は、第1の回路において補正された第2の画像信号を用い、かつ発光の強度により階調を表示する機能を有する。
本発明の一態様における第1の光センサと第2の光センサは、互いに異なる波長の光の光強度の情報を取得する機能を有していてもよい。
又は、本発明の一態様の移動体は、表示装置を有する移動体であって、表示装置は、第1の回路と、第2の回路と、表示素子と、第1の光センサと、を有し、移動体は第2の光センサを有し、第1の回路は、画像信号をパラメータに従って補正する機能を有し、第2の回路は、第1の光センサからの光強度の情報と第2の光センサからの光強度の情報とをもとに、ニューラルネットワークを用いた演算処理により上記パラメータを生成する機能を有し、表示素子は、第1の回路において補正された画像信号を用いて、画像を表示する機能を有する。
本発明の一態様では、上記構成により、使用環境に表示品質が左右されにくい表示装置を提供できる。或いは、本発明の一態様では、上記構成により、消費電力を低く抑えることができる表示装置を提供できる。
本発明の一態様では、上記構成により、消費電力を低く抑えることができる周辺回路などの半導体装置を提供できる。或いは、本発明の一態様では、上記構成により、大きさを抑えられる周辺回路などの半導体装置の提供を提供できる。
なお、本発明の一態様により、新規な半導体装置などを提供することができる。なお、これらの効果の記載は、他の効果の存在を妨げるものではない。なお、本発明の一態様は、必ずしも、これらの効果の全てを有する必要はない。なお、これら以外の効果は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の効果を抽出することが可能である。
表示装置の構成例を示す。 表示装置の構成例を示す。 表示装置の構成例を示す。 表示装置の構成例を示す。 演算回路の構成を示す図。 記憶回路と参照用記憶回路の具体的な構成を示す図。 メモリセルMCとメモリセルMCRとの具体的な回路構成と接続関係とを示す図。 回路13と回路14と電流源回路の具体的な構成を示す図。 タイミングチャート。 多層パーセプトロンの模式図。 多層パーセプトロンを用いた演算処理に用いる回路構成を示す図。 表示装置の画素の構成例を示す図。 表示装置の画素の構成例を示す図。 表示装置の画素の構成例を示す図。 表示装置の画素の構成例を示す図。 表示装置の断面構造の一例を示す図。 表示装置の外観の一例を示す図。 光センサの断面構造の一例を示す図。 電子機器の一例を示す図。 電子機器の一例を示す図。 回路の構成例を示す図。 電子機器の一例を示す図。 移動体の一例を示す図。 移動体の一例を示す図。 移動体の一例を示す図。 移動体の一例を示す図。 移動体の一例を示す図。 移動体の一例を示す図。 移動体の一例を示す図。
以下では、本発明の実施の形態について図面を用いて詳細に説明する。ただし、本発明は以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは、当業者であれば容易に理解される。したがって、本発明は、以下に示す実施の形態の記載内容に限定して解釈されるものではない。
また、本明細書等において、半導体装置とは、半導体特性を利用した装置であり、半導体素子(トランジスタ、ダイオード等)を含む回路、同回路を有する装置等をいう。また、半導体特性を利用することで機能しうる装置全般をいう。例えば、集積回路、集積回路を備えたチップは、半導体装置の一例である。また、記憶装置、表示装置、発光装置、照明装置及び電子機器等は、それ自体が半導体装置である場合があり、又は半導体装置を有している場合がある。
また、本明細書等において、XとYとが接続されている、と明示的に記載されている場合は、XとYとが電気的に接続されている場合と、XとYとが機能的に接続されている場合と、XとYとが直接接続されている場合とが、本明細書等に開示されているものとする。したがって、所定の接続関係、例えば、図または文章に示された接続関係に限定されず、図または文章に示された接続関係以外のものも、図または文章に記載されているものとする。X、Yは、対象物(例えば、装置、素子、回路、配線、電極、端子、導電膜、層、など)であるとする。
トランジスタは、ゲート、ソース、およびドレインと呼ばれる3つの端子を有する。ゲートは、トランジスタの導通状態を制御する制御ノードとして機能するノードである。ソースまたはドレインとして機能する2つの入出力ノードは、トランジスタの型及び各端子に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。このため、本明細書等においては、ソースやドレインの用語は、入れ替えて用いることができるものとする。また、本明細書等では、ゲート以外の2つの端子を第1端子、第2端子と呼ぶ場合がある。
ノードは、回路構成やデバイス構造等に応じて、端子、配線、電極、導電層、導電体、不純物領域等と言い換えることが可能である。また、端子、配線等をノードと言い換えることが可能である。
電圧は、ある電位と、基準の電位(例えば接地電位(GND)またはソース電位)との電位差のことを示す場合が多い。よって、電圧を電位と言い換えることが可能である。なお、電位とは、相対的なものである。よって、接地電位と記載されていても、必ずしも、0Vを意味しない場合もある。
本明細書等において、「膜」という言葉と「層」という言葉とは、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を「導電膜」という用語に変更することが可能な場合がある。例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。
本明細書等において、“第1”、“第2”、“第3”という序数詞は構成要素の混同を避けるために付す場合があり、その場合は数的に限定するものではなく、また順序を限定するものでもない。
本明細書等において、金属酸化物(metal oxide)が、増幅作用、整流作用、及びスイッチ作用の少なくとも1つを有するトランジスタを構成し得る場合、metal oxide semiconductor(略してOS)又は酸化物半導体と表記する。
図面において、大きさ、層の厚さ、又は領域は、明瞭化のために誇張されている場合がある。よって、必ずしもそのスケールに限定されない。なお図面は、理想的な例を模式的に示したものであり、図面に示す形状又は値などに限定されない。例えば、ノイズによる信号、電圧、若しくは電流のばらつき、又は、タイミングのずれによる信号、電圧、若しくは電流のばらつきなどを含むことが可能である。
本明細書において、「上に」、「下に」などの配置を示す語句は、構成同士の位置関係を、図面を参照して説明するために、便宜上用いている場合がある。また、構成同士の位置関係は、各構成を描写する方向に応じて適宜変化するものである。従って、明細書で説明した語句に限定されず、状況に応じて適切に言い換えることができる。
図面に記載したブロック図の各回路ブロックの配置は、説明のため位置関係を特定するものであり、異なる回路ブロックで別々の機能を実現するよう示していても、実際の回路ブロックにおいては同じ回路ブロック内で別々の機能を実現しうるように設けられている場合もある。また各回路ブロックの機能は、説明のため機能を特定するものであり、一つの回路ブロックとして示していても、実際の回路ブロックにおいては一つの回路ブロックで行う処理を、複数の回路ブロックで行うよう設けられている場合もある。
(実施の形態1)
図1に、本発明の一態様に係る表示装置200の構成を、ブロック図で示す。図1に示す表示装置200は、液晶素子などの反射型表示素子101を有する表示部102と、EL素子などの発光型表示素子103を有する表示部104とを有する。表示部102は表示部104と重なる領域を有している。そして、上記重なる領域において、表示部104の発光型表示素子103から発せられた光が、表示部102を通過する構成を有している。或いは、上記重なる領域において、表示部104を通過した外光が表示部102に入射する構成を有している。
また、図1に示す表示装置200は、表示部102への画像信号の入力を制御する機能を有する駆動回路(SD105a)と、表示部104への画像信号の入力を制御する機能を有する駆動回路(SD105b)とを有する。SD105aにより表示部102に入力された画像信号に従って、反射型表示素子101は階調が制御される。また、SD105bにより表示部104に入力された画像信号に従って、発光型表示素子103は階調が制御される。
そして、反射型表示素子101が階調を制御されることにより、表示部102は画像を表示することができる。また、発光型表示素子103が階調を制御されることにより、表示部104は画像を表示することができる。
本発明の一態様に係る表示装置200では、表示部102と表示部104のうち、表示部102においてのみ画像を表示することができる。表示部102では反射型表示素子101を用いているため、画像を表示する際に光源として外光を利用することができる。外光を利用する場合、表示部102においてのみ画像の表示を行うことで、表示装置200の消費電力を抑えることができる。また、表示部104では発光型表示素子103を用いているため、別途光源を用意する、或いは外光を利用することなく、画像の表示を行うことができる。よって、表示部102と表示部104のうち、表示部104においてのみ画像を表示することで、外光の強度が低い場合でも画像の表示品質を高くすることができる。すなわち、表示装置200の使用環境に左右されずに高い表示品質を確保することができる。
また、本発明の一態様に係る表示装置200では、表示部102と表示部104の両方を用いて画像を表示することも可能である。上記構成により、表示装置200において表示できる画像の階調数を高めることができる。或いは、表示装置200において表示できる画像の色域の範囲を広げることができる。
また、本発明の一態様に係る表示装置200は、SD105aに供給する画像信号と、SD105bに供給する画像信号とを、画像データVdataから生成する機能を有するコントローラ(CTL106)を有する。具体的に、CTL106は、信号処理により、入力された画像データVdataに各種の補正を施す機能も有する。画像データVdataに各種の補正を施す機能とは、言い換えると、画像信号Vsigaと画像信号Vsigbとに各種の補正を施す機能とも言える。CTL106により生成された画像信号Vsigaは、SD105aに供給される。また、CTL106により生成された画像信号Vsigbは、SD105aに供給される。
なお、上記画像データVdataに各種の補正として、反射型表示素子101の特性に合わせたガンマ補正、発光型表示素子103の劣化特性に合わせた輝度補正などを行うことができる。本発明の一態様に係る表示装置200では、上記補正の他に、表示装置200の使用環境における外光の強度、表示装置200に入射する外光の入射角、利用者の嗜好などの使用条件に合わせて、色の調整、階調数の調整を行うこともできる。
本発明の一態様に係る表示装置200は、CTL106が信号処理回路(SPC108)と、演算回路(AIC107)とを有している。AIC107は、上述した表示装置200の使用環境における外光の強度、表示装置200に入射する外光の入射角、利用者の嗜好などの使用条件を情報として含む信号Sig−ldを用いて、画像信号Vsigaと画像信号Vsigbに色の調整、階調数の調整を施すためのパラメータを算出する機能を有する。SPC108は、AIC107において算出されたパラメータを用いて、画像信号Vsigaと画像信号Vsigbに色の調整、階調数の調整を施す機能を有する。
なお、上記使用条件などの情報は、アナログデータである場合が多い。本発明の一態様では、AIC107が、ニューロンを基本的な素子とする脳において実行されるアナログデータの情報処理と同様に、アナログデータを用いてアナログ演算処理を行う機能を有する。上記構成により、アナログデータをデジタルデータに変換することなく、或いはアナログデータをデジタルデータに変換する頻度を極力抑えつつ、演算処理を行うことができる。よって、膨大な量の演算処理を実行する必要がなくなり、演算回路の規模を小さく抑えることができ、演算処理に要する時間を抑えることができる。したがって、CTL106の回路規模を小さく抑え、消費電力を抑えつつ、使用条件に合わせた画像信号の色の調整、階調数の調整を実行することができる。
次いで、図2に、表示装置200のより詳細な構成の一例を示す。具体的に、図2には、表示装置200に加えて、使用条件の情報を表示装置200に供給する機能を有する入力装置109と、ホスト185とを図示している。入力装置109は、表示装置200に含まれていても良い。
CTL106は、インターフェース150、フレームメモリ151、デコーダ152、センサコントローラ153、信号コントローラ154、クロック生成回路155、画像処理部160、メモリ170、タイミングコントローラ173、レジスタ175を有する。
また、入力装置109として、光センサ143、開閉センサ144、加速度センサ146などの各種センサを用いることができる。或いは、入力装置109として、タッチパネル181、キーボード182、ポインティングデバイス183などを用いることができる。入力装置109は、表示装置200に供給する使用条件の種類に合わせて、適宜選択すれば良い。
例えば、表示装置200の使用環境における外光の強度、または表示装置200に入射する外光の入射角を使用条件として用いる場合、光センサ143で得られた情報を使用条件の情報として用いることができる。また、利用者の嗜好や利用者からの命令などを使用条件として用いる場合、入力装置109として、タッチパネル181、キーボード182、ポインティングデバイス183などで得られた情報を使用条件の情報として用いることができる。
また、インターフェース150は、ホスト185からの画像データVdataや各種の制御信号SigconのCTL106への入力を制御する機能を有する。ホスト185は、CPU(Central Processing Unit)またはGPU(Graphics Processing Unit)などを有している。フレームメモリ151は、CTL106に入力された画像データを格納する機能を有する。デコーダ152は、フレームメモリ151に格納された画像データが圧縮された状態である場合に、圧縮された画像データを伸長する機能を有する。なお、デコーダ152は、フレームメモリ151に格納される前の画像データを伸長するように、フレームメモリ151に電気的に接続されていてもよい。
画像処理部160は、画像データに対して各種の画像処理を行い、画像信号を生成する機能を有する。上記画像処理には、使用条件に合わせて色の調整、階調数の調整を行う補正も含まれる。なお、画像処理部160が行う各種の画像処理の他の例としては、ガンマ補正、発光型表示素子103の劣化に合わせた発光型表示素子103の輝度の調整などが挙げられる。
そして、画像処理部160は、SPC108とAIC107とを有する。AIC107は、使用条件の情報を用いて色の調整、階調数の調整を行うためのパラメータの値を算出する機能を有し、SPC108は、上記パラメータの値を用いて色の調整、階調数の調整を画像データ或いは画像信号に施す機能を有する。
なお、補正にはテーブル方式、関数近似法などを用いることが可能であり、これらの方式を併用することも可能である。テーブル方式の場合、各テーブル値が上記パラメータに相当する。また、関数近似方式の場合、関数形を定義する値が上記パラメータに相当する。
そして、本発明の一態様では、AIC107が、後述するニューラルネットワークを構成として有し、教師あり学習を行う機能を有していても良い。入力された使用条件の情報を教師データとしてAIC107が学習を行うことで、パラメータを最適化することができる。この場合、具体的に、センサで検知された外光の入射角、外光の強度、表示装置の角度などの使用条件の情報が、学習データに相当する。また、利用者が選んだ色、階調などの利用者の嗜好が反映されたパラメータが、教師データに相当する。AIC107が学習した後は、利用時において、使用条件の情報に対してふさわしいと思われるパラメータを、AIC107が出力できるようになる。出力された当該パラメータを用いて、SPC108において画像処理を行えばよい。
メモリ170は、画像信号を一時的に格納する機能を有する。画像処理部160で生成された画像信号は、メモリ170を経て、SD105aまたはSD105bに供給される。タイミングコントローラ173は、SD105a、SD105b、表示部102、表示部104の動作で使用するタイミング信号を生成する機能を有する。
クロック生成回路155は、CTL106で使用されるクロック信号を生成する機能を有する。信号コントローラ154は、インターフェース150を介して入力される各種制御信号Sigconを用いて、CTL106内の各種回路を制御する機能を有する。また、CTL106は、CTL106内の各種回路への電源供給を制御する機能を有する電源用のコントローラを有していても良い。以下、使われていない回路への電源供給を一時的に遮断することを、パワーゲーティングと呼ぶ。
レジスタ175は、CTL106の動作に用いられるデータを格納する。レジスタ175が格納するデータには、画像処理部160が補正処理を行うために使用するパラメータ、タイミングコントローラ173が各種タイミング信号の波形生成に用いるパラメータなどがある。レジスタ175は、複数のレジスタで構成されるスキャンチェーンレジスタを備えていても良い。
センサコントローラ153は、光センサ143、開閉センサ144、または加速度センサ146で得られた情報を基に、使用条件の情報を含む信号を生成する。当該信号は、信号コントローラ154を介して、或いは信号コントローラ154を介さずに、画像処理部160に供給される。
なお、光センサ143は光の強度の情報を得る機能を有する。加速度センサ146は、表示装置200の傾きの情報を得る機能を有する。なお、傾きの情報を得るモジュールとして、例えばジャイロセンサなどを用いてもよい。開閉センサ144は、表示装置200が支持されている筐体と、別の筐体との間の角度の情報を得る機能を有する。或いは、表示装置200が可撓性を有し、2つの筐体によって表示装置200が支持されている場合に、筐体間の角度の情報を得る機能を有していても良い。
また、信号コントローラ154は、入力装置109において得られる使用条件の情報に従って、画像の表示に、表示部102及び表示部104のどちらか一つを用いるのか、或いは両方を用いるのかを、定める機能を有する。
例えば、外光の強度が高く、反射型表示素子を用いた表示部102で十分高いコントラストの画像が表示できる場合は、表示部102及び表示部104のうち表示部102において画像の表示を行うように、信号コントローラ154はCTL106内の各種回路を制御することができる。また、外光の強度が低く、反射型表示素子を用いた表示部102で十分高いコントラストの画像が表示できない場合は、表示部102及び表示部104のうち表示部104において画像の表示を行うように、信号コントローラ154はCTL106内の各種回路を制御することができる。
或いは、信号コントローラ154は、入力装置109において得られる使用条件の情報に従って、表示装置200において表示できる画像の階調数を高める、或いは、表示装置200において表示できる画像の色域の範囲を広げる場合は、表示部102及び表示部104の両方において画像の表示を行うように、信号コントローラ154はCTL106内の各種回路を制御することができる。
また、反射型表示素子を用いた表示部102と、発光型表示素子を用いた表示部104とは、互いに異なる画像を表示することもできる。一般に、反射型表示素子に適用できる液晶素子や電子ペーパー等は、動作速度が遅いものが多い(絵を表示するまでに時間を要する。)。そのため、反射型表示素子を用いた表示部102に背景となる静止画を表示し、発光型表示素子を用いた表示部104に動きのあるマウスポインタの画像等を表示することができる。この場合、表示部102においてIDS駆動を行うことで、表示装置200は、なめらかな動画表示と低消費電力を両立することができる。この場合、フレームメモリ151には、反射型表示素子101と発光型表示素子103、それぞれに表示する画像データを保存する領域を設ければよい。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
(実施の形態2)
本実施の形態では、反射型表示素子と発光型表示素子とを用いた表示装置の構成例について説明する。なお、本実施の形態では、反射型表示素子として液晶素子を用い、発光型表示素子としてEL材料を用いた発光素子を用いる場合を例に挙げて、表示装置の構成例について説明する。
図3(A)に、本発明の一態様に係る表示装置200の断面の構造を一例として示す。図3(A)に示す表示装置200は、発光素子203と、液晶素子204と、発光素子203への電流の供給を制御する機能を有するトランジスタ205と、液晶素子204への電圧の供給を制御する機能を有するトランジスタ206とを有する。そして、発光素子203と、液晶素子204と、トランジスタ205と、トランジスタ206とは、基板201と基板202の間に位置する。
また、表示装置200において液晶素子204は、画素電極207と、共通電極208と、液晶層209とを有する。画素電極207は、トランジスタ206に電気的に接続されている。そして、画素電極207と共通電極208の間に印加される電圧にしたがって液晶層209の配向が制御される。なお、図3(A)では、画素電極207が可視光を反射する機能を有し、共通電極208が可視光を透過する機能を有する場合を例示しており、基板202側から入射した光が白抜きの矢印で示すように画素電極207において反射し、再び基板202側から放射される。
また、発光素子203は、トランジスタ205に電気的に接続されている。発光素子203から発せられる光は、基板202側に放射される。なお、図3(A)では、画素電極207が可視光を反射する機能を有し、共通電極208が可視光を透過する機能を有する場合を例示しているため、発光素子203から発せられる光は、白抜きの矢印で示すように画素電極207と重ならない領域を通過し、共通電極208が位置する領域を通過して、基板202側から放射される。
そして、図3(A)に示す表示装置200では、トランジスタ205とトランジスタ206とが同一の層210に位置しており、トランジスタ205とトランジスタ206とが含まれる層210は、液晶素子204と発光素子203の間の領域を有する。なお、少なくとも、トランジスタ205が有する半導体層と、トランジスタ206が有する半導体層とが同一の絶縁層の表面上に位置している場合、トランジスタ205とトランジスタ206とが同一の層210に含まれていると言える。
上記構成により、トランジスタ205とトランジスタ206とを共通の作製工程で作製することができる。
次いで、図3(B)に、本発明の一態様に係る表示装置200の別の構成について、断面の構造を一例として示す。図3(B)に示す表示装置200は、トランジスタ205とトランジスタ206とが異なる層に含まれている点において、図3(A)に示す表示装置200と構成が異なる。
具体的に、図3(B)に示す表示装置200では、トランジスタ205が含まれる層210aと、トランジスタ206が含まれる層210bとを有し、層210aと層210bとは、液晶素子204と発光素子203の間の領域を有する。そして、図3(B)に示す表示装置200では、層210aが層210bよりも発光素子203側に近い。なお、少なくとも、トランジスタ205が有する半導体層と、トランジスタ206が有する半導体層とが異なる絶縁層の表面上に位置している場合、トランジスタ205とトランジスタ206とが異なる層に含まれていると言える。
上記構成により、トランジスタ205と、トランジスタ205に電気的に接続される各種配線とを、トランジスタ206と、トランジスタ206に電気的に接続される各種配線とを、部分的に重ねることができるため、画素のサイズを小さく抑え、表示装置200の高精細化を実現することができる。
次いで、図4(A)に、本発明の一態様に係る表示装置200の別の構成について、断面の構造を一例として示す。図4(A)に示す表示装置200は、トランジスタ205とトランジスタ206とが異なる層含まれている点において、図3(A)に示す表示装置200と構成が異なる。そして、図4(A)に示す表示装置200は、トランジスタ205が含まれる層210aが、発光素子203よりも基板201側に近い点において、図3(B)に示す表示装置200と構成が異なる。
具体的に、図4(A)に示す表示装置200では、トランジスタ205が含まれる層210aと、トランジスタ206が含まれる層210bとを有する。そして、層210aは、発光素子203と基板201との間の領域を有する。また、層210bは、液晶素子204と発光素子203の間の領域を有する。
上記構成により、トランジスタ205と、トランジスタ205に電気的に接続される各種配線とを、トランジスタ206と、トランジスタ206に電気的に接続される各種配線とを、図3(B)の場合よりもより多く重ねることができるため、画素のサイズを小さく抑え、表示装置200の高精細化を実現することができる。
次いで、図4(B)に、本発明の一態様に係る表示装置200の別の構成について、断面の構造を一例として示す。図4(B)に示す表示装置200は、トランジスタ205とトランジスタ206とが同一の層に含まれている点では、図3(A)に示す表示装置200と構成は同じである。ただし、図4(B)に示す表示装置200は、トランジスタ205とトランジスタ206とが含まれている層が、発光素子203よりも基板201側に近い点において、図3(A)に示す表示装置200と構成が異なる。
具体的に、図4(B)に示す表示装置200では、トランジスタ205とトランジスタ206とが含まれる層210を有する。そして、層210は、発光素子203と基板201との間の領域を有する。また、液晶素子204は、発光素子203よりも基板202側に近い。
上記構成により、トランジスタ205とトランジスタ206とを共通の作製工程で作製することができる。また、液晶素子204とトランジスタ206の電気的な接続を行う配線と、発光素子203とトランジスタ205の電気的な接続を行う配線とが、層210に対して同一の側に設ければよい。具体的には、上記配線を、液晶素子204とトランジスタ206の電気的な接続を行う配線を、トランジスタ206の半導体層上に形成でき、なおかつ、発光素子203とトランジスタ205の電気的な接続を行う配線を、トランジスタ205の半導体層上に形成することができる。よって、図3(A)に示す表示装置200の場合に比べて作成工程を簡素化することができる。
なお、図3及び図4では、2つの液晶素子204に対して1つの発光素子203が対応している断面構造を例示しているが、本発明の一態様に係る表示装置は、1つの液晶素子204に対して1つの発光素子203が対応している断面構造を有していても良いし、1つの液晶素子204に対して複数の発光素子203が対応している断面構造を有していても良い。
また、図3及び図4では、液晶素子204が有する画素電極207が、可視光を反射する機能を有する場合を例示しているが、画素電極207は可視光を透過する機能を有していても良い。この場合、バックライトやフロントライトなどの光源を表示装置200に設けても良いし、液晶素子204を用いて画像を表示する際に発光素子203を光源として用いても良い。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
(実施の形態3)
次いで、AIC107の構成の一例を図5に示す。図5に示すAIC107は、記憶回路11(MEM)と、参照用記憶回路12(RMEM)と、回路13と、回路14と、を有する。AIC107は、さらに電流源回路15(CREF)を有していても良い。
記憶回路11(MEM)は、メモリセルMC[i、j]、メモリセルMC[i+1、j]で例示されるメモリセルMCを有する。また、各メモリセルMCは、入力された電位を電流に変換する機能を有する素子を有する。上記機能を有する素子として、例えばトランジスタなどの能動素子を用いることができる。図5では、各メモリセルMCがトランジスタTr1を有する場合を例示している。
そして、メモリセルMCには、配線WDから第1のアナログ電位が入力される。第1のアナログ電位は第1のアナログデータに対応する。そして、メモリセルMCは、第1のアナログ電位に応じた第1のアナログ電流を生成する機能を有する。具体的には、トランジスタTr1のゲートに第1のアナログ電位を供給したときに得られるトランジスタTr1のドレイン電流を、第1のアナログ電流とすることができる。なお、以下、メモリセルMC[i、j]に流れる電流をI[i、j]とし、メモリセルMC[i+1、j]に流れる電流をI[i+1、j]とする。
なお、トランジスタTr1が飽和領域で動作する場合、そのドレイン電流はソースとドレイン間の電圧に依存せず、ゲート電圧と閾値電圧の差分によって制御される。よって、トランジスタTr1は飽和領域で動作させることが望ましい。トランジスタTr1を飽和領域で動作させるために、そのゲート電圧、ソースとドレイン間の電圧は、飽和領域で動作する範囲の電圧に適切に設定されているものとする。
具体的に、図5に示すAIC107では、メモリセルMC[i、j]に配線WD[j]から第1のアナログ電位Vx[i、j]が入力される。メモリセルMC[i、j]は、第1のアナログ電位Vx[i、j]に応じた第1のアナログ電流を生成する機能を有する。すなわち、この場合、メモリセルMC[i、j]の電流I[i、j]は、第1のアナログ電流に相当する。
また、具体的に、図5に示すAIC107では、メモリセルMC[i+1、j]に配線WD[j]から第1のアナログ電位Vx[i+1、j]が入力される。メモリセルMC[i+1、j]は、第1のアナログ電位Vx[i+1、j]に応じた第1のアナログ電流を生成する機能を有する。すなわち、この場合、メモリセルMC[i+1、j]の電流I[i+1、j]は、第1のアナログ電流に相当する。
そして、メモリセルMCは、第1のアナログ電位を保持する機能を有する。すなわち、メモリセルMCは、第1のアナログ電位を保持することで、第1のアナログ電位に応じた第1のアナログ電流を保持する機能を有すると言える。
また、メモリセルMCには、配線RWから第2のアナログ電位が入力される。第2のアナログ電位は第2のアナログデータに対応する。メモリセルMCは、既に保持されている第1のアナログ電位に、第2のアナログ電位に応じた電位を加算する機能と、加算することで得られる第3のアナログ電位を保持する機能とを有する。そして、メモリセルMCは、第3のアナログ電位に応じた第2のアナログ電流を生成する機能を有する。すなわち、メモリセルMCは、第3のアナログ電位を保持することで、第3のアナログ電位に応じた第2のアナログ電流を保持する機能を有すると言える。メモリセルMCの詳細な説明は、図7で示す。
具体的に、図5に示すAIC107では、メモリセルMC[i、j]に配線RW[i]から第2のアナログ電位Vw[i、j]が入力される。そして、メモリセルMC[i、j]は、第1のアナログ電位Vx[i、j]及び第2のアナログ電位Vw[i、j]に応じた第3のアナログ電位を保持する機能を有する。そして、メモリセルMC[i、j]は、第3のアナログ電位に応じた第2のアナログ電流を生成する機能を有する。すなわち、この場合、メモリセルMC[i、j]の電流I[i、j]は、第2のアナログ電流に相当する。
また、図5に示すAIC107では、メモリセルMC[i+1、j]に配線RW[i+1]から第2のアナログ電位Vw[i+1、j]が入力される。そして、メモリセルMC[i+1、j]は、第1のアナログ電位Vx[i+1、j]及び第2のアナログ電位Vw[i+1、j]に応じた第3のアナログ電位を保持する機能を有する。そして、メモリセルMC[i+1、j]は、第3のアナログ電位に応じた第2のアナログ電流を生成する機能を有する。すなわち、この場合、メモリセルMC[i+1、j]の電流I[i+1、j]は、第2のアナログ電流に相当する。
そして、電流I[i、j]は、メモリセルMC[i、j]を介して配線BL[j]と配線VR[j]の間を流れる。電流I[i+1、j]は、メモリセルMC[i+1、j]を介して配線BL[j]と配線VR[j]の間を流れる。よって、電流I[i、j]と電流I[i+1、j]との和に相当する電流I[j]が、メモリセルMC[i、j]及びメモリセルMC[i+1、j]を介して配線BL[j]と配線VR[j]の間を流れることとなる。
参照用記憶回路12(RMEM)は、メモリセルMCR[i]、メモリセルMCR[i+1]で例示されるメモリセルMCRを有する。メモリセルMCRには、配線WDREFから第1の参照電位VPRが入力される。そして、メモリセルMCRは、第1の参照電位VPRに応じた第1の参照電流を生成する機能を有する。なお、以下、メモリセルMCR[i]に流れる電流をIREF[i]とし、メモリセルMCR[i+1]に流れる電流をIREF[i+1]とする。
そして、具体的に、図5に示すAIC107では、メモリセルMCR[i]に配線WDREFから第1の参照電位VPRが入力される。メモリセルMCR[i]は、第1の参照電位VPRに応じた第1の参照電流を生成する機能を有する。すなわち、この場合、メモリセルMCR[i]の電流IREF[i]は、第1の参照電流に相当する。
また、図5に示すAIC107では、メモリセルMCR[i+1]に配線WDREFから第1の参照電位VPRが入力される。メモリセルMCR[i+1]は、第1の参照電位VPRに応じた第1の参照電流を生成する機能を有する。すなわち、この場合、メモリセルMCR[i+1]の電流IREF[i+1]は、第1の参照電流に相当する。
そして、メモリセルMCRは、第1の参照電位VPRを保持する機能を有する。すなわち、メモリセルMCRは、第1の参照電位VPRを保持することで、第1の参照電位VPRに応じた第1の参照電流を保持する機能を有すると言える。
また、メモリセルMCRには、配線RWから第2のアナログ電位が入力される。メモリセルMCRは、既に保持されている第1の参照電位VPRに、第2のアナログ電位或いは第2のアナログ電位に応じた電位を加算し、加算することで得られる第2の参照電位を保持する機能を有する。そして、メモリセルMCRは、第2の参照電位に応じた第2の参照電流を生成する機能を有する。すなわち、メモリセルMCRは、第2の参照電位を保持することで、第2の参照電位に応じた第2の参照電流を保持する機能を有すると言える。
具体的に、図5に示すAIC107では、メモリセルMCR[i]に配線RW[i]から第2のアナログ電位Vw[i、j]が入力される。そして、メモリセルMCR[i]は、第1の参照電位VPR及び第2のアナログ電位Vw[i、j]に応じた第2の参照電位を保持する機能を有する。そして、メモリセルMCR[i]は、第2の参照電位に応じた第2の参照電流を生成する機能を有する。すなわち、この場合、メモリセルMCR[i]の電流IREF[i]は、第2の参照電流に相当する。
また、図5に示すAIC107では、メモリセルMCR[i+1]に配線RW[i+1]から第2のアナログ電位Vw[i+1、j]が入力される。そして、メモリセルMCR[i+1]は、第1の参照電位VPR及び第2のアナログ電位Vw[i+1、j]に応じた第2の参照電位を保持する機能を有する。そして、メモリセルMCR[i+1]は、第2の参照電位に応じた第2の参照電流を生成する機能を有する。すなわち、この場合、メモリセルMCR[i+1]の電流IREF[i+1]は、第2の参照電流に相当する。
そして、電流IREF[i]は、メモリセルMCR[i]を介して配線BLREFと配線VRREFの間を流れる。電流IREF[i+1]は、メモリセルMCR[i+1]を介して配線BLREFと配線VRREFの間を流れる。よって、電流IREF[i]と電流IREF[i+1]との和に相当する電流IREFが、メモリセルMCR[i]及びメモリセルMCR[i+1]を介して配線BLREFと配線VRREFの間を流れることとなる。
電流源回路15は、配線BLREFに流れる電流IREFと同じ値の電流、もしくは電流IREFに対応する電流を、配線BLに供給する機能を有する。そして、後述するオフセットの電流を設定する際には、メモリセルMC[i、j]及びメモリセルMC[i+1、j]を介して配線BL[j]と配線VR[j]の間を流れる電流I[j]が、メモリセルMCR[i]及びメモリセルMCR[i+1]を介して配線BLREFと配線VRREFの間を流れる電流IREFと異なる場合、差分の電流は回路13または回路14に流れる。回路13は電流ソース回路としての機能を有し、回路14は電流シンク回路としての機能を有する。
具体的に、電流I[j]が電流IREFよりも大きい場合、回路13は、電流I[j]と電流IREFの差分に相当する電流ΔI[j]を生成する機能を有する。また、回路13は、生成した電流ΔI[j]を配線BL[j]に供給する機能を有する。すなわち、回路13は、電流ΔI[j]を保持する機能を有すると言える。
また、電流I[j]が電流IREFよりも小さい場合、回路14は、電流I[j]と電流IREFの差分に相当する電流ΔI[j]を生成する機能を有する。また、回路14は、生成した電流ΔI[j]を配線BL[j]から引き込む機能を有する。すなわち、回路14は、電流ΔI[j]を保持する機能を有すると言える。
次いで、図5に示すAIC107の動作の一例について説明する。
まず、メモリセルMC[i、j]に第1のアナログ電位に応じた電位を格納する。具体的には、第1の参照電位VPRから第1のアナログ電位Vx[i、j]を差し引いた電位VPR−Vx[i、j]が、配線WD[j]を介してメモリセルMC[i、j]に入力される。メモリセルMC[i、j]では、電位VPR−Vx[i、j]が保持される。また、メモリセルMC[i、j]では、電位VPR−Vx[i、j]に応じた電流I[i、j]が生成される。例えば第1の参照電位VPRは、接地電位よりも高いハイレベルの電位とする。具体的には、接地電位よりも高く、電流源回路15に供給されるハイレベルの電位VDDと同程度か、それ以下の電位であることが望ましい。
また、メモリセルMCR[i]に第1の参照電位VPRを格納する。具体的には、電位VPRが、配線WDREFを介してメモリセルMCR[i]に入力される。モリセルMCR[i]では、電位VPRが保持される。また、メモリセルMCR[i]では、電位VPRに応じた電流IREF[i]が生成される。
また、メモリセルMC[i+1、j]に第1のアナログ電位に応じた電位を格納する。具体的には、第1の参照電位VPRから第1のアナログ電位Vx[i+1、j]を差し引いた電位VPR−Vx[i+1、j]が、配線WD[j]を介してメモリセルMC[i+1、j]に入力される。メモリセルMC[i+1、j]では、電位VPR−Vx[i+1、j]が保持される。また、メモリセルMC[i+1、j]では、電位VPR−Vx[i+1、j]に応じた電流I[i+1、j]が生成される。
また、メモリセルMCR[i+1]に第1の参照電位VPRを格納する。具体的には、電位VPRが、配線WDREFを介してメモリセルMCR[i+1]に入力される。メモリセルMCR[i+1]では、電位VPRが保持される。また、メモリセルMCR[i+1]では、電位VPRに応じた電流IREF[i+1]が生成される。
上記動作において、配線RW[i]及び配線RW[i+1]は基準電位とする。例えば、基準電位として接地電位、基準電位よりも低いローレベルの電位VSSなどを用いることができる。或いは、基準電位として電位VSSと電位VDDの間の電位を用いると、第2のアナログ電位Vwを正負にしても、配線RWの電位を接地電位よりも高くできるので信号の生成を容易にすることができ、正負のアナログデータに対する積演算が可能になるので好ましい。
上記動作により、配線BL[j]には、配線BL[j]に電気的に接続されたメモリセルMCにおいてそれぞれ生成される電流を合わせた電流が、流れることとなる。具体的に図5では、メモリセルMC[i、j]で生成される電流I[i、j]と、メモリセルMC[i+1、j]で生成される電流I[i+1、j]とを合わせた電流I[j]が流れる。また、上記動作により、配線BLREFには、配線BLREFに電気的に接続されたメモリセルMCRにおいてそれぞれ生成される電流を合わせた電流が、流れることとなる。具体的に図5では、メモリセルMCR[i]で生成される電流IREF[i]と、メモリセルMCR[i+1]で生成される電流IREF[i+1]とを合わせた電流IREFが流れる。
次いで、配線RW[i]及び配線RW[i+1]の電位を基準電位としたまま、第1のアナログ電位によって得られる電流I[j]と第1の参照電位によって得られる電流IREFとの差分から得られるオフセット電流を、回路13または回路14において保持する。
具体的に、電流I[j]が電流IREFよりも大きい場合、回路13はオフセット電流を配線BL[j]に供給する。すなわち、回路13に流れる電流ICM[j]はオフセット電流に相当することとなる。そして、当該電流ICM[j]の値は回路13において保持される。また、電流I[j]が電流IREFよりも小さい場合、回路14はオフセット電流を配線BL[j]から引き込む。すなわち、回路14に流れる電流ICP[j]はオフセット電流に相当することとなる。そして、当該電流ICP[j]の値は回路14において保持される。
次いで、既にメモリセルMC[i、j]において保持されている第1のアナログ電位または第1のアナログ電位に応じた電位に加算するように、第2のアナログ電位または第2のアナログ電位に応じた電位をメモリセルMC[i、j]に格納する。具体的には、配線RW[i]の電位を基準電位に対してVw[i]だけ高い電位とすることで、第2のアナログ電位Vw[i]が、配線RW[i]を介してメモリセルMC[i、j]に入力される。メモリセルMC[i、j]では、電位VPR−Vx[i、j]+Vw[i]が保持される。また、メモリセルMC[i、j]では、電位VPR−Vx[i、j]+Vw[i]に応じた電流I[i、j]が生成される。
また、既にメモリセルMC[i+1、j]において保持されている第1のアナログ電位または第1のアナログ電位に応じた電位に加算するように、第2のアナログ電位または第2のアナログ電位に応じた電位をメモリセルMC[i+1、j]に格納する。具体的には、配線RW[i+1]の電位を基準電位に対してVw[i+1]だけ高い電位とすることで、第2のアナログ電位Vw[i+1]が、配線RW[i+1]を介してメモリセルMC[i+1、j]に入力される。メモリセルMC[i+1、j]では、電位VPR−Vx[i+1、j]+Vw[i+1]が保持される。また、メモリセルMC[i+1、j]では、電位VPR−Vx[i+1、j]+Vw[i+1]に応じた電流I[i+1、j]が生成される。
なお、電位を電流に変換する素子として飽和領域で動作するトランジスタTr1を用いる場合、配線RW[i]の電位がVw[i]であり、配線RW[i+1]の電位がVw[i+1]であると仮定すると、メモリセルMC[i、j]が有するトランジスタTr1のドレイン電流が電流I[i、j]に相当するので、第2のアナログ電流は以下の式1で表される。なお、kは係数、VthはトランジスタTr1の閾値電圧である。
I[i、j]=k(Vw[i]−Vth+VPR−Vx[i、j])   (式1)
また、メモリセルMCR[i]が有するトランジスタTr1のドレイン電流が電流IREF[i]に相当するので、第2の参照電流は以下の式2で表される。
IREF[i]=k(Vw[i]−Vth+VPR)   (式2)
そして、メモリセルMC[i、j]に流れる電流I[i、j]と、メモリセルMC[i+1、j]に流れる電流I[i+1、j]の和に相当する電流I[j]は、I[j]=ΣiI[i、j]であり、メモリセルMCR[i]に流れる電流IREF[i]と、メモリセルMCR[i+1]に流れる電流IREF[i+1]の和に相当する電流IREFは、IREF=ΣiIREF[i]となり、その差分に相当する電流ΔI[j]は以下の式3で表される。
ΔI[j]=IREF−I[j]=ΣiIREF[i]−ΣiI[i、j]   (式3)
式1、式2、式3から、電流ΔI[j]は以下の式4のように導き出される。
ΔI[j]
=Σi{k(Vw[i]−Vth+VPR)−k(Vw[i]−Vth+VPR−Vx[i、j])
=2kΣi(Vw[i]・Vx[i、j])−2kΣi(Vth−VPR)・Vx[i、j]−kΣiVx[i、j]   (式4)
式4において、2kΣi(Vw[i]・Vx[i、j])で示される項は、第1のアナログ電位Vx[i、j]及び第2のアナログ電位Vw[i]の積と、第1のアナログ電位Vx[i+1、j]及び第2のアナログ電位Vw[i+1]の積と、の和に相当する。
また、オフセット電流Ioffset[j]は、配線RW[i]の電位を全て基準電位としたとき、すなわち第2のアナログ電位Vw[i]を0、第2のアナログ電位Vw[i+1]を0としたときの電流ΔI[j]とすると、式4から、以下の式5が導き出される。
Ioffset[j]=−2kΣi(Vth−VPR)・Vx[i、j]−kΣiVx[i、j]   (式5)
したがって、式3乃至式5から、第1のアナログデータと第2のアナログデータの積和値に相当する2kΣi(Vw[i]・Vx[i、j])は、以下の式6で表されることが分かる。
2kΣi(Vw[i]・Vx[i、j])=IREF−I[j]−Ioffset[j]   (式6)
そして、メモリセルMCに流れる電流の和を電流I[j]、メモリセルMCRに流れる電流の和を電流IREF、回路13または回路14に流れる電流を電流Ioffset[j]とすると、配線RW[i]の電位をVw[i]、配線RW[i+1]の電位をVw[i+1]としたときに配線BL[j]から流れ出る電流Iout[j]は、IREF−I[j]−Ioffset[j]で表される。式6から、電流Iout[j]は、2kΣi(Vw[i]・Vx[i、j])であり、第1のアナログ電位Vx[i、j]及び第2のアナログ電位Vw[i]の積と、第2のアナログ電位Vx[i+1、j]及び第2のアナログ電位Vw[i+1]の積と、の和に相当することが分かる。
なお、トランジスタTr1は飽和領域で動作させることが望ましいが、トランジスタTr1の動作領域が理想的な飽和領域と異なっていたとしても、第1のアナログ電位Vx[i、j]及び第2のアナログ電位Vw[i]の積と、第2のアナログ電位Vx[i+1、j]及び第2のアナログ電位Vw[i+1]の積との和に相当する電流を、所望の範囲内の精度で問題なく得ることができる場合は、トランジスタTr1は飽和領域で動作しているものとみなせる。
本発明の一態様により、アナログデータの演算処理をデジタルデータに変換せずとも実行することができるので、演算回路の回路規模を小さく抑えることができる。或いは、本発明の一態様により、アナログデータの演算処理をデジタルデータに変換せずとも実行することができるので、アナログデータの演算処理に要する時間を抑えることができる。或いは、本発明の一態様により、アナログデータの演算処理に要する時間を抑えつつ、演算回路の低消費電力化を実現することができる。
次いで、記憶回路11(MEM)と、参照用記憶回路12(RMEM)の具体的な構成の一例について、図6を用いて説明する。
図6では、記憶回路11(MEM)がy行x列の複数のメモリセルMCを有し、参照用記憶回路12(RMEM)がy行1列の複数のメモリセルMCRを有する場合を例示している。
記憶回路11は、配線RWと、配線WWと、配線WDと、配線VRと、配線BLとに電気的に接続されている。図6では、配線RW[1]乃至配線RW[y]が各行のメモリセルMCにそれぞれ電気的に接続され、配線WW[1]乃至配線WW[y]が各行のメモリセルMCにそれぞれ電気的に接続され、配線WD[1]乃至配線WD[x]が各列のメモリセルMCにそれぞれ電気的に接続されて、配線BL[1]乃至配線BL[x]が各列のメモリセルMCにそれぞれ電気的に接続されている場合を例示している。また、図6では、配線VR[1]乃至配線VR[x]が各列のメモリセルMCにそれぞれ電気的に接続されている場合を例示している。なお、配線VR[1]乃至配線VR[x]は、互いに電気的に接続されていても良い。
そして、参照用記憶回路12は、配線RWと、配線WWと、配線WDREFと、配線VRREFと、配線BLREFとに電気的に接続されている。図6では、配線RW[1]乃至配線RW[y]が各行のメモリセルMCRにそれぞれ電気的に接続され、配線WW[1]乃至配線WW[y]が各行のメモリセルMCRにそれぞれ電気的に接続され、配線WDREFが一列のメモリセルMCRにそれぞれ電気的に接続され、配線BLREFが一列のメモリセルMCRにそれぞれ電気的に接続され、配線VRREFが一列のメモリセルMCRにそれぞれ電気的に接続されている場合を例示している。なお、配線VRREFは、配線VR[1]乃至配線VR[x]に電気的に接続されていても良い。
次いで、図6に示した複数のメモリセルMCのうち、任意の2行2列のメモリセルMCと、図6に示した複数のメモリセルMCRのうち、任意の2行1列のメモリセルMCRとの、具体的な回路構成と接続関係とを、一例として図7に示す。
具体的に図7では、i行j列目のメモリセルMC[i、j]と、i+1行j列目のメモリセルMC[i+1、j]と、i行j+1列目のメモリセルMC[i、j+1]と、i+1行j+1列目のメモリセルMC[i+1、j+1]とを図示している。また、具体的に図7では、i行目のメモリセルMCR[i]と、i+1行目のメモリセルMCR[i+1]とを図示している。なお、iは1からyまでの任意の数で、jは1からxまでの任意の数とする。
i行目のメモリセルMC[i、j]と、メモリセルMC[i、j+1]と、メモリセルMCR[i]とは、配線RW[i]及び配線WW[i]に電気的に接続されている。また、i+1行目のメモリセルMC[i+1、j]と、メモリセルMC[i+1、j+1]と、メモリセルMCR[i+1]とは、配線RW[i+1]及び配線WW[i+1]に電気的に接続されている。
j列目のメモリセルMC[i、j]と、メモリセルMC[i+1、j]とは、配線WD[j]、配線VR[j]、及び配線BL[j]に電気的に接続されている。また、j+1列目のメモリセルMC[i、j+1]と、メモリセルMC[i+1、j+1]とは、配線WD[j+1]、配線VR[j+1]、及び配線BL[j+1]に電気的に接続されている。また、メモリセルMCR[i]と、i+1行目のメモリセルMCR[i+1]とは、配線WDREF、配線VRREF、及び配線BLREFに電気的に接続されている。
そして、各メモリセルMCと各メモリセルMCRとは、トランジスタTr1と、トランジスタTr2と、容量素子C1と、を有する。トランジスタTr2は、メモリセルMCまたはメモリセルMCRへの第1のアナログ電位の入力を制御する機能を有する。トランジスタTr1は、ゲートに入力された電位に従って、アナログ電流を生成する機能を有する。容量素子C1は、メモリセルMCまたはメモリセルMCRにおいて保持されている第1のアナログ電位または第1のアナログ電位に応じた電位に、第2のアナログ電位或いは第2のアナログ電位に応じた電位を加算する機能を有する。
具体的に、図7に示すメモリセルMCでは、トランジスタTr2は、ゲートが配線WWに電気的に接続され、ソース又はドレインの一方が配線WDに電気的に接続され、ソース又はドレインの他方がトランジスタTr1のゲートに電気的に接続されている。また、トランジスタTr1は、ソース又はドレインの一方が配線VRに電気的に接続され、ソース又はドレインの他方が配線BLに電気的に接続されている。容量素子C1は、第1の電極が配線RWに電気的に接続され、第2の電極がトランジスタTr1のゲートに電気的に接続されている。
また、図7に示すメモリセルMCRでは、トランジスタTr2は、ゲートが配線WWに電気的に接続され、ソース又はドレインの一方が配線WDREFに電気的に接続され、ソース又はドレインの他方がトランジスタTr1のゲートに電気的に接続されている。また、トランジスタTr1は、ソース又はドレインの一方が配線VRREFに電気的に接続され、ソース又はドレインの他方が配線BLREFに電気的に接続されている。容量素子C1は、第1の電極が配線RWに電気的に接続され、第2の電極がトランジスタTr1のゲートに電気的に接続されている。
メモリセルMCにおいてトランジスタTr1のゲートをノードNとすると、メモリセルMCでは、トランジスタTr2を介してノードNに第1のアナログ電位が入力され、次いでトランジスタTr2がオフになるとノードNが浮遊状態になり、ノードNにおいて第1のアナログ電位または第1のアナログ電位に応じた電位が保持される。また、メモリセルMCでは、ノードNが浮遊状態になると、容量素子C1の第1の電極に入力された第2のアナログ電位がノードNに与えられる。上記動作により、ノードNは、第1のアナログ電位または第1のアナログ電位に応じた電位に、第2のアナログ電位または第2のアナログ電位に応じた電位が加算されることで得られる電位となる。
なお、容量素子C1の第1の電極の電位は容量素子C1を介してノードNに与えられるため、実際には、第1の電極の電位の変化量がそのままノードNの電位の変化量に反映されるわけではない。具体的には、容量素子C1の容量値と、トランジスタTr1のゲート容量の容量値と、寄生容量の容量値とから一意に決まる結合係数を、第1の電極の電位の変化量に乗ずることで、ノードNの電位の変化量を正確に算出することができる。以下、説明を分かり易くするために、第1の電極の電位の変化量がほぼノードNの電位の変化量に反映されるものとして説明を行う。
トランジスタTr1は、ノードNの電位にしたがってそのドレイン電流が定まる。よって、トランジスタTr2がオフになることでノードNの電位が保持されると、トランジスタTr1のドレイン電流の値も保持される。上記ドレイン電流には第1のアナログ電位と第2のアナログ電位が反映されている。
また、メモリセルMCRにおいてトランジスタTr1のゲートをノードNREFとすると、メモリセルMCRでは、トランジスタTr2を介してノードNREFに第1の参照電位または第1の参照電位に応じた電位が入力され、次いでトランジスタTr2がオフになるとノードNREFが浮遊状態になり、ノードNREFにおいて第1の参照電位または第1の参照電位に応じた電位が保持される。また、メモリセルMCRでは、ノードNREFが浮遊状態になると、容量素子C1の第1の電極に入力された第2のアナログ電位がノードNREFに与えられる。上記動作により、ノードNREFは、第1の参照電位または第1の参照電位に応じた電位に、第2のアナログ電位または第2のアナログ電位に応じた電位が加算されることで得られる電位となる。
トランジスタTr1は、ノードNREFの電位にしたがってそのドレイン電流が定まる。よって、トランジスタTr2がオフになることでノードNREFの電位が保持されると、トランジスタTr1のドレイン電流の値も保持される。上記ドレイン電流には第1の参照電位と第2のアナログ電位が反映されている。
メモリセルMC[i、j]のトランジスタTr1に流れるドレイン電流を電流I[i、j]とし、メモリセルMC[i+1、j]のトランジスタTr1に流れるドレイン電流を電流I[i+1、j]とすると、配線BL[j]からメモリセルMC[i、j]及びメモリセルMC[i+1、j]に供給される電流の和は、電流I[j]となる。また、メモリセルMC[i、j+1]のトランジスタTr1に流れるドレイン電流を電流I[i、j+1]とし、メモリセルMC[i+1、j+1]のトランジスタTr1に流れるドレイン電流を電流I[i+1、j+1]とすると、配線BL[j+1]からメモリセルMC[i、j+1]及びメモリセルMC[i+1、j+1]に供給される電流の和は、電流I[j+1]となる。また、メモリセルMCR[i]のトランジスタTr1に流れるドレイン電流を電流IREF[i]とし、メモリセルMCR[i+1]のトランジスタTr1に流れるドレイン電流を電流IREF[i+1]とすると、配線BLREFからメモリセルMCR[i]及びメモリセルMCR[i+1]に供給される電流の和は、電流IREFとなる。
次いで、回路13と、回路14と、電流源回路15(CREF)の具体的な構成の一例について、図8を用いて説明する。
図8では、図7に示すメモリセルMCとメモリセルMCRに対応した、回路13、回路14、電流源回路15の構成の一例を示している。具体的に、図8に示す回路13は、j列目のメモリセルMCに対応した回路13[j]と、j+1列目のメモリセルMCに対応した回路13[j+1]とを有する。また、図8に示す回路14は、j列目のメモリセルMCに対応した回路14[j]と、j+1列目のメモリセルMCに対応した回路14[j+1]とを有する。
そして、回路13[j]及び回路14[j]は、配線BL[j]に電気的に接続されている。また、回路13[j+1]及び回路14[j+1]は、配線BL[j+1]に電気的に接続されている。
電流源回路15は、配線BL[j]、配線BL[j+1]、配線BLREFに電気的に接続されている。そして、電流源回路15は、配線BLREFに電流IREFを供給する機能と、電流IREFと同じ電流または電流IREFに応じた電流を、配線BL[j]及び配線BL[j+1]のそれぞれに供給する機能を有する。
具体的に、回路13[j]及び回路13[j+1]は、トランジスタTr7乃至Tr9と、容量素子C3とをそれぞれ有する。オフセットの電流を設定する際に、回路13[j]において、トランジスタTr7は、電流I[j]が電流IREFよりも大きい場合に、電流I[j]と電流IREFの差分に相当する電流ICM[j]を生成する機能を有する。また、回路13[j+1]において、トランジスタTr7は、電流I[j+1]が電流IREFよりも大きい場合に、電流I[j+1]と電流IREFの差分に相当する電流ICM[j+1]を生成する機能を有する。電流ICM[j]及び電流ICM[j+1]は、回路13[j]及び回路13[j+1]から配線BL[j]及び配線BL[j+1]に供給される。
そして、回路13[j]及び回路13[j+1]において、トランジスタTr7は、ソース又はドレインの一方が対応する配線BLに電気的に接続されており、ソース又はドレインの他方が所定の第1の電位が供給される配線に電気的に接続されている。トランジスタTr8は、ソース又はドレインの一方が配線BLに電気的に接続されており、ソース又はドレインの他方がトランジスタTr7のゲートに電気的に接続されている。トランジスタTr9は、ソース又はドレインの一方がトランジスタTr7のゲートに電気的に接続されており、ソース又はドレインの他方が所定の第1の電位が供給される配線に電気的に接続されている。容量素子C3は、第1の電極がトランジスタTr7のゲートに電気的に接続されており、第2の電極が所定の第1の電位が供給される配線に電気的に接続されている。
トランジスタTr8のゲートは配線OSMに電気的に接続されており、トランジスタTr9のゲートは配線ORMに電気的に接続されている。
なお、図8では、トランジスタTr7がpチャネル型であり、トランジスタTr8及びTr9がnチャネル型である場合を例示している。
また、回路14[j]及び回路14[j+1]は、トランジスタTr4乃至Tr6と、容量素子C4とをそれぞれ有する。オフセットの電流を設定する際に、回路14[j]において、トランジスタTr4は、電流I[j]が電流IREFよりも小さい場合に、電流I[j]と電流IREFの差分に相当する電流ICP[j]を生成する機能を有する。また、回路14[j+1]において、トランジスタTr4は、電流I[j+1]が電流IREFよりも小さい場合に、電流I[j+1]と電流IREFの差分に相当する電流ICP[j+1]を生成する機能を有する。電流ICP[j]及び電流ICP[j+1]は、配線BL[j]及び配線BL[j+1]から回路14[j]及び回路14[j+1]に引き込まれる。
なお、電流ICM[j]と電流ICP[j]とが、Ioffset[j]に相当する。また、なお、電流ICM[j+1]と電流ICP[j+1]とが、Ioffset[j+1]に相当する。
そして、回路14[j]及び回路14[j+1]において、トランジスタTr4は、ソース又はドレインの一方が対応する配線BLに電気的に接続されており、ソース又はドレインの他方が所定の第2の電位が供給される配線に電気的に接続されている。トランジスタTr5は、ソース又はドレインの一方が配線BLに電気的に接続されており、ソース又はドレインの他方がトランジスタTr4のゲートに電気的に接続されている。トランジスタTr6は、ソース又はドレインの一方がトランジスタTr4のゲートに電気的に接続されており、ソース又はドレインの他方が所定の第2の電位が供給される配線に電気的に接続されている。容量素子C4は、第1の電極がトランジスタTr4のゲートに電気的に接続されており、第2の電極が所定の第2の電位が供給される配線に電気的に接続されている。
トランジスタTr5のゲートは配線OSPに電気的に接続されており、トランジスタTr6のゲートは配線ORPに電気的に接続されている。
なお、図8では、トランジスタTr4乃至Tr6がnチャネル型チャネル型である場合を例示している。
また、電流源回路15は、配線BLに対応したトランジスタTr10と、配線BLREFに対応したトランジスタTr11とを有する。具体的に、図8に示す電流源回路15は、トランジスタTr10として、配線BL[j]に対応したトランジスタTr10[j]と、配線BL[j+1]に対応したトランジスタTr10[j+1]とを有する場合を例示している。
そして、トランジスタTr10のゲートは、トランジスタTr11のゲートに電気的に接続されている。また、トランジスタTr10は、ソース又はドレインの一方が対応する配線BLに電気的に接続されており、ソース又はドレインの他方が所定の第3の電位が供給される配線に電気的に接続されている。トランジスタTr11は、ソース又はドレインの一方が配線BLREFに電気的に接続されており、ソース又はドレインの他方が所定の第3の電位が供給される配線に電気的に接続されている。
トランジスタTr10とトランジスタTr11とは、同じ極性を有している。図8では、トランジスタTr10とトランジスタTr11とが、共にpチャネル型を有する場合を例示している。
トランジスタTr11のドレイン電流は電流IREFに相当する。そして、トランジスタTr10とトランジスタTr11とはカレントミラー回路としての機能を有するため、トランジスタTr10のドレイン電流は、トランジスタTr11のドレイン電流とほぼ同じ値、またはトランジスタTr11のドレイン電流に応じた値となる。
なお、図8に示した回路13[j]と回路14[j]の間にスイッチを設けても良い。また、回路13[j+1]と回路14[j]の間にスイッチを設けても良い。或いは、電流源回路15が有するトランジスタTr11と、参照用記憶回路12との間にスイッチを設けても良い。
図8には図示しないが、回路13[j]と回路14[j]の電気的な接続を制御するスイッチSW[j]と、回路13[j+1]と回路14[j+1]の電気的な接続を制御するスイッチSW[j+1]とを設けても良い。
具体的に、スイッチSW[j]は、回路13[j]のトランジスタTr7のソース又はドレインの一方と、回路14[j]のトランジスタTr4のソース又はドレインの一方との間の電気的な接続を制御する機能を有する。また、スイッチSW[j+1]は、回路13[j+1]のトランジスタTr7のソース又はドレインの一方と、回路14[j+1]のトランジスタTr4のソース又はドレインの一方との間の電気的な接続を制御する機能を有する。
スイッチSW[j]を設けることにより、メモリセルMCに第1のアナログ電位を書き込む際に、電流源回路15或いは回路13[j]と、回路14[j]或いは記憶回路11との間に電流が流れるのを防ぐことができる。また、スイッチSW[j+1]を設けることにより、メモリセルMCに第1のアナログ電位を書き込む際に、電流源回路15或いは回路13[j+1]と、回路14[j+1]或いは記憶回路11との間に電流が流れるのを防ぐことができる。
次いで、図7乃至図9を用いて、本発明の一態様に係るAIC107の具体的な動作の一例について説明する。
図9は、図7に示すメモリセルMC、メモリセルMCRと、図8に示す回路13、回路14、電流源回路15の動作を示すタイミングチャートの一例に相当する。図9では、時刻T01乃至時刻T04において、メモリセルMC及びメモリセルMCRに第1のアナログデータを格納する動作が行われる。時刻T05乃至時刻T10において、回路13及び回路14にオフセットの電流Ioffsetを設定する動作が行われる。時刻T11乃至時刻T16において、第1のアナログデータと第2のアナログデータとの積和値に対応したデータを取得する動作が行われる。
なお、配線VR[j]及び配線VR[j+1]にはローレベルの電位が供給されるものとする。また、回路13に電気的に接続される所定の第1の電位を有する配線は、全てハイレベルの電位VDDが供給されるものとする。また、回路14に電気的に接続される所定の第2の電位を有する配線は、全てローレベルの電位VSSが供給されるものとする。また、電流源回路15に電気的に接続される所定の第3の電位を有する配線は、全てハイレベルの電位VDDが供給されるものとする。
また、トランジスタTr1、Tr4、Tr7、Tr10[j]、Tr10[j+1]、Tr11は飽和領域で動作するものとする。
まず、時刻T01乃至時刻T02において、配線WW[i]にハイレベルの電位が与えられ、配線WW[i+1]にローレベルの電位が与えられる。上記動作により、図7に示すメモリセルMC[i、j]、メモリセルMC[i、j+1]、メモリセルMCR[i]においてトランジスタTr2がオンになる。また、メモリセルMC[i+1、j]、メモリセルMC[i+1、j+1]、メモリセルMCR[i+1]においてトランジスタTr2がオフの状態を維持する。
また、時刻T01乃至時刻T02では、図7に示す配線WD[j]と配線WD[j+1]とに、第1の参照電位VPRから第1のアナログ電位を差し引いた電位がそれぞれ与えられる。具体的に、配線WD[j]には電位VPR−Vx[i、j]が与えられ、配線WD[j+1]には電位VPR−Vx[i、j+1]が与えられる。また、配線WDREFには第1の参照電位VPRが与えられ、配線RW[i]及び配線RW[i+1]には基準電位として電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2が与えられる。
よって、図7に示すメモリセルMC[i、j]のノードN[i、j]にはトランジスタTr2を介して電位VPR−Vx[i、j]が与えられ、メモリセルMC[i、j+1]のノードN[i、j+1]にはトランジスタTr2を介して電位VPR−Vx[i、j+1]が与えられ、メモリセルMCR[i]のノードNREF[i]にはトランジスタTr2を介して電位VPRが与えられる。
時刻T02が終了すると、図7に示す配線WW[i]に与えられる電位はハイレベルからローレベルに変化し、メモリセルMC[i、j]、メモリセルMC[i、j+1]、メモリセルMCR[i]においてトランジスタTr2がオフになる。上記動作により、ノードN[i、j]には電位VPR−Vx[i、j]が保持され、ノードN[i、j+1]には電位VPR−Vx[i、j+1]が保持され、ノードNREF[i]には電位VPRが保持される。
次いで、時刻T03乃至時刻T04において、図7に示す配線WW[i]の電位はローレベルに維持され、配線WW[i+1]にハイレベルの電位が与えられる。上記動作により、図7に示すメモリセルMC[i+1、j]、メモリセルMC[i+1、j+1]、メモリセルMCR[i+1]においてトランジスタTr2がオンになる。また、メモリセルMC[i、j]、メモリセルMC[i、j+1]、メモリセルMCR[i]においてトランジスタTr2がオフの状態を維持する。
また、時刻T03乃至時刻T04では、図7に示す配線WD[j]と配線WD[j+1]とに、第1の参照電位VPRから第1のアナログ電位を差し引いた電位がそれぞれ与えられる。具体的に、配線WD[j]には電位VPR−Vx[i+1、j]が与えられ、配線WD[j+1]には電位VPR−Vx[i+1、j+1]が与えられる。また、配線WDREFには第1の参照電位VPRが与えられ、配線RW[i]及び配線RW[i+1]には基準電位として電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2が与えられる。
よって、図7に示すメモリセルMC[i+1、j]のノードN[i+1、j]にはトランジスタTr2を介して電位VPR−Vx[i+1、j]が与えられ、メモリセルMC[i+1、j+1]のノードN[i+1、j+1]にはトランジスタTr2を介して電位VPR−Vx[i+1、j+1]が与えられ、メモリセルMCR[i+1]のノードNREF[i+1]にはトランジスタTr2を介して電位VPRが与えられる。
時刻T04が終了すると、図7に示す配線WW[i+1]に与えられる電位はハイレベルからローレベルに変化し、メモリセルMC[i+1、j]、メモリセルMC[i+1、j+1]、メモリセルMCR[i+1]においてトランジスタTr2がオフになる。上記動作により、ノードN[i+1、j]には電位VPR−Vx[i+1、j]が保持され、ノードN[i+1、j+1]には電位VPR−Vx[i+1、j+1]が保持され、ノードNREF[i+1]には電位VPRが保持される。
次いで、時刻T05乃至時刻T06において、図8に示す配線ORP及び配線ORMにハイレベルの電位が与えられる。図8に示す回路13[j]及び回路13[j+1]では、配線ORMにハイレベルの電位が与えられることで、トランジスタTr9がオンになり、トランジスタTr7のゲートは電位VDDが与えられることでリセットされる。また、図8に示す回路14[j]及び回路14[j+1]では、配線ORPにハイレベルの電位が与えられることで、トランジスタTr6がオンになり、トランジスタTr4のゲートは電位VSSが与えられることでリセットされる。
時刻T06が終了すると、図7に示す配線ORP及び配線ORMに与えられる電位はハイレベルからローレベルに変化し、回路13[j]及び回路13[j+1]においてトランジスタTr9がオフになり、回路14[j]及び回路14[j+1]においてトランジスタTr6がオフになる。上記動作により、回路13[j]及び回路13[j+1]においてトランジスタTr7のゲートに電位VDDが保持され、回路14[j]及び回路14[j+1]においてトランジスタTr4のゲートに電位VSSが保持される。
次いで、時刻T07乃至時刻T08において、図8に示す配線OSPにハイレベルの電位が与えられる。また、図7に示す配線RW[i]及び配線RW[i+1]には基準電位として電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2が与えられる。配線OSPにハイレベルの電位が与えられることにより、回路14[j]及び回路14[j+1]においてトランジスタTr5がオンになる。
配線BL[j]に流れるI[j]が配線BLREFに流れる電流IREFよりも小さい場合、すなわちΔI[j]が正の場合、図7に示すメモリセルMC[i、j]のトランジスタTr1が引き込むことのできる電流と、メモリセルMC[i+1、j]のトランジスタTr1が引き込むことのできる電流との和が、トランジスタTr10[j]のドレイン電流より小さいことを意味する。よって、電流ΔI[j]が正の場合、回路14[j]においてトランジスタTr5がオンになると、トランジスタTr10[j]のドレイン電流の一部がトランジスタTr4のゲートに流れ込み、当該ゲートの電位が上昇し始める。そして、トランジスタTr4のドレイン電流が電流ΔI[j]とほぼ等しくなると、トランジスタTr4のゲートの電位は所定の値に収束する。このときのトランジスタTr4のゲートの電位は、トランジスタTr4のドレイン電流が電流ΔI[j]、すなわちIoffset[j](=ICP[j])となる電位に相当する。つまり、回路14[j]のトランジスタTr4は、電流ICP[j]を流し得る電流源に設定された状態であると言える。
同様に、配線BL[j+1]に流れるI[j+1]が配線BLREFに流れる電流IREFよりも小さい場合、つまり電流ΔI[j+1]が正の場合、回路14[j+1]においてトランジスタTr5がオンになると、トランジスタTr10[j+1]のドレイン電流の一部がトランジスタTr4のゲートに流れ込み、当該ゲートの電位が上昇し始める。そして、トランジスタTr4のドレイン電流が電流ΔI[j+1]とほぼ等しくなると、トランジスタTr4のゲートの電位は所定の値に収束する。このときのトランジスタTr4のゲートの電位は、トランジスタTr4のドレイン電流が電流ΔI[j+1]、すなわちIoffset[j+1](=ICP[j+1])となる電位に相当する。つまり、回路14[j+1]のトランジスタTr4は、電流ICP[j+1]を流し得る電流源に設定された状態であると言える。
時刻T08が終了すると、図8に示す配線OSPに与えられる電位はハイレベルからローレベルに変化し、回路14[j]及び回路14[j+1]においてトランジスタTr5がオフになる。上記動作により、トランジスタTr4のゲートの電位は保持される。よって、回路14[j]は電流ICP[j]を流し得る電流源に設定された状態を維持し、回路14[j+1]は電流ICP[j+1]を流し得る電流源に設定された状態を維持する。
次いで、時刻T09乃至時刻T10において、図8に示す配線OSMにハイレベルの電位が与えられる。また、図7に示す配線RW[i]及び配線RW[i+1]には基準電位として電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2が与えられる。配線OSMにハイレベルの電位が与えられることにより、回路13[j]及び回路13[j+1]においてトランジスタTr8がオンになる。
配線BL[j]に流れるI[j]が配線BLREFに流れる電流IREFよりも大きい場合、すなわちΔI[j]が負の場合、図7に示すメモリセルMC[i、j]のトランジスタTr1が引き込むことのできる電流と、メモリセルMC[i+1、j]のトランジスタTr1が引き込むことのできる電流との和が、トランジスタTr10[j]のドレイン電流より大きいことを意味する。よって、電流ΔI[j]が負の場合、回路13[j]においてトランジスタTr8がオンになると、トランジスタTr7のゲートから配線BL[j]に電流が流れ出し、当該ゲートの電位が下降し始める。そして、トランジスタTr7のドレイン電流が電流ΔI[j]とほぼ等しくなると、トランジスタTr7のゲートの電位は所定の値に収束する。このときのトランジスタTr7のゲートの電位は、トランジスタTr7のドレイン電流が電流ΔI[j]、すなわちIoffset[j](=ICM[j])となる電位に相当する。つまり、回路13[j]のトランジスタTr7は、電流ICM[j]を流し得る電流源に設定された状態であると言える。
同様に、配線BL[j+1]に流れるI[j+1]が配線BLREFに流れる電流IREFよりも大きい場合、つまり電流ΔI[j+1]が負の場合、回路13[j+1]においてトランジスタTr8がオンになると、トランジスタTr7のゲートから配線BL[j+1]に電流が流れ出し、当該ゲートの電位が下降し始める。そして、トランジスタTr7のドレイン電流が電流ΔI[j+1]の絶対値とほぼ等しくなると、トランジスタTr7のゲートの電位は所定の値に収束する。このときのトランジスタTr7のゲートの電位は、トランジスタTr7のドレイン電流が電流ΔI[j+1]、すなわちIoffset[j+1](=ICM[j+1])の絶対値に等しい電位に相当する。つまり、回路13[j+1]のトランジスタTr7は、電流ICM[j+1]を流し得る電流源に設定された状態であると言える。
時刻T10が終了すると、図8に示す配線OSMに与えられる電位はハイレベルからローレベルに変化し、回路13[j]及び回路13[j+1]においてトランジスタTr8がオフになる。上記動作により、トランジスタTr7のゲートの電位は保持される。よって、回路13[j]は電流ICM[j]を流し得る電流源に設定された状態を維持し、回路13[j+1]は電流ICM[j+1]を流し得る電流源に設定された状態を維持する。
なお、回路14[j]及び回路14[j+1]において、トランジスタTr4は電流を引き込む機能を有する。そのため、時刻T07乃至時刻T08において配線BL[j]に流れる電流I[j]が配線BLREFに流れる電流IREFよりも大きくΔI[j]が負の場合、或いは、配線BL[j+1]に流れる電流I[j+1]が配線BLREFに流れる電流IREFよりも大きくΔI[j+1]が負の場合、回路14[j]または回路14[j+1]から過不足なく配線BL[j]または配線BL[j+1]に電流を供給するのが難しくなる恐れがある。この場合、配線BL[j]または配線BL[j+1]に流れる電流と、配線BLREFに流れる電流とのバランスを取るために、メモリセルMCのトランジスタTr1と、回路14[j]または回路14[j+1]のトランジスタTr4と、トランジスタTr10[j]またはTr10[j+1]とが、共に飽和領域で動作することが困難になる可能性がある。
時刻T07乃至時刻T08においてΔI[j]が負の場合でも、トランジスタTr1、Tr4、Tr10[j]またはTr10[j+1]における飽和領域での動作を確保するために、時刻T05乃至時刻T06において、トランジスタTr7のゲートを電位VDDにリセットするのではなく、トランジスタTr7のゲートの電位を所定のドレイン電流が得られる程度の高さに設定しておいても良い。上記構成により、トランジスタTr10[j]またはTr10[j+1]のドレイン電流に加えてトランジスタTr7から電流が供給されるため、トランジスタTr1において引き込めない分の電流を、トランジスタTr4においてある程度引き込むことができるため、トランジスタTr1、Tr4、Tr10[j]またはTr10[j+1]における飽和領域での動作を確保することができる。
なお、時刻T09乃至時刻T10において、配線BL[j]に流れるI[j]が配線BLREFに流れる電流IREFよりも小さい場合、すなわちΔI[j]が正の場合、時刻T07乃至時刻T08において回路14[j]が電流ICP[j]を流し得る電流源に既に設定されているため、回路13[j]においてトランジスタTr7のゲートの電位はほぼ電位VDDのままとなる。同様に、配線BL[j+1]に流れるI[j+1]が配線BLREFに流れる電流IREFよりも小さい場合、すなわちΔI[j+1]が正の場合、時刻T07乃至時刻T08において回路14[j+1]が電流ICP[j+1]を流し得る電流源に既に設定されているため、回路13[j+1]においてトランジスタTr7のゲートの電位はほぼ電位VDDのままとなる。
次いで、時刻T11乃至時刻T12において、図7に示す配線RW[i]に第2のアナログ電位Vw[i]が与えられる。また、配線RW[i+1]には、基準電位として電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2が与えられたままである。具体的に、配線RW[i]の電位は、基準電位である電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2に対して電位差Vw[i]だけ高い電位となるが、以下説明を分かり易くするために、配線RW[i]の電位は電位Vw[i]であると仮定する。
配線RW[i]が電位Vw[i]になると、容量素子C1の第1の電極の電位の変化量がほぼノードNの電位の変化量に反映されるものと仮定すると、図7に示すメモリセルMC[i、j]におけるノードNの電位はVPR−Vx[i、j]+Vw[i]となり、メモリセルMC[i、j+1]におけるノードNの電位はVPR−Vx[i、j+1]+Vw[i]となる。そして、上記の式6から、メモリセルMC[i、j]に対応する第1のアナログデータと第2のアナログデータの積和値は、電流ΔI[j]からIoffset[j]を差し引いた電流、すなわち、配線BL[j]から流れ出る電流Iout[j]に反映されることが分かる。また、メモリセルMC[i、j+1]に対応する第1のアナログデータと第2のアナログデータの積和値は、電流ΔI[j+1]からIoffset[j+1]を差し引いた電流、すなわち、配線BL[j+1]から流れ出る電流Iout[j+1]に反映されることが分かる。
時刻T12が終了すると、配線RW[i]には、再度、基準電位である電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2が与えられる。
次いで、時刻T13乃至時刻T14において、図7に示す配線RW[i+1]に第2のアナログ電位Vw[i+1]が与えられる。また、配線RW[i]には、基準電位として電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2が与えられたままである。具体的に、配線RW[i+1]の電位は、基準電位である電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2に対して電位差Vw[i+1]だけ高い電位となるが、以下説明を分かり易くするために、配線RW[i+1]の電位は電位Vw[i+1]であると仮定する。
配線RW[i+1]が電位Vw[i+1]になると、容量素子C1の第1の電極の電位の変化量がほぼノードNの電位の変化量に反映されるものと仮定すると、図7に示すメモリセルMC[i+1、j]におけるノードNの電位はVPR−Vx[i+1、j]+Vw[i+1]となり、メモリセルMC[i+1、j+1]におけるノードNの電位はVPR−Vx[i+1、j+1]+Vw[i+1]となる。そして、上記の式6から、メモリセルMC[i+1、j]に対応する第1のアナログデータと第2のアナログデータの積和値は、電流ΔI[j]からIoffset[j]を差し引いた電流、すなわち、Iout[j]に反映されることが分かる。また、メモリセルMC[i+1、j+1]に対応する第1のアナログデータと第2のアナログデータの積和値は、電流ΔI[j+1]からIoffset[j+1]を差し引いた電流、すなわち、Iout[j+1]に反映されることが分かる。
時刻T12が終了すると、配線RW[i+1]には、再度、基準電位である電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2が与えられる。
次いで、時刻T15乃至時刻T16において、図7に示す配線RW[i]に第2のアナログ電位Vw[i]が与えられ、配線RW[i+1]に第2のアナログ電位Vw[i+1]が与えられる。具体的に、配線RW[i]の電位は、基準電位である電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2に対して電位差Vw[i]だけ高い電位となり、配線RW[i+1]の電位は、基準電位である電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2に対して電位差Vw[i+1]だけ高い電位となるが、以下説明を分かり易くするために、配線RW[i]の電位は電位Vw[i]であり、配線RW[i+1]の電位は電位Vw[i+1]であると仮定する。
配線RW[i]が電位Vw[i]になると、容量素子C1の第1の電極の電位の変化量がほぼノードNの電位の変化量に反映されるものと仮定すると、図7に示すメモリセルMC[i、j]におけるノードNの電位はVPR−Vx[i、j]+Vw[i]となり、メモリセルMC[i、j+1]におけるノードNの電位はVPR−Vx[i、j+1]+Vw[i]となる。また、配線RW[i+1]が電位Vw[i+1]になると、容量素子C1の第1の電極の電位の変化量がほぼノードNの電位の変化量に反映されるものと仮定すると、図7に示すメモリセルMC[i+1、j]におけるノードNの電位はVPR−Vx[i+1、j]+Vw[i+1]となり、メモリセルMC[i+1、j+1]におけるノードNの電位はVPR−Vx[i+1、j+1]+Vw[i+1]となる。
そして、上記の式6から、メモリセルMC[i、j]とメモリセルMC[i+1、j]とに対応する第1のアナログデータと第2のアナログデータの積和値は、電流ΔI[j]からIoffset[j]を差し引いた電流、すなわち、電流Iout[j]に反映されることが分かる。また、メモリセルMC[i、j+1]とメモリセルMC[i+1、j+1]とに対応する第1のアナログデータと第2のアナログデータの積和値は、電流ΔI[j+1]からIoffset[j+1]を差し引いた電流、すなわち、電流Iout[j+1]に反映されることが分かる。
時刻T16が終了すると、配線RW[i]及び配線RW[i+1]には、再度、基準電位である電位VSSと電位VDDの間の電位、例えば電位(VDD+VSS)/2が与えられる。
上記構成により、積和演算を小さな回路規模で行うことができる。また、上記構成により、積和演算を高速で行うことができる。また、上記構成により、低消費電力で積和演算を行うことができる。
なお、トランジスタTr2、Tr5、Tr6、Tr8、またはTr9は、オフ電流の著しく低いトランジスタを用いることが望ましい。トランジスタTr2にオフ電流の著しく低いトランジスタを用いることにより、ノードNの電位の保持を長時間に渡って行うことができる。また、トランジスタTr5及びTr6にオフ電流の著しく低いトランジスタを用いることにより、トランジスタTr4のゲートの電位の保持を、長時間に渡って行うことができる。また、トランジスタTr8及びTr9にオフ電流の著しく低いトランジスタを用いることにより、トランジスタTr7のゲートの電位の保持を、長時間に渡って行うことができる。
トランジスタのオフ電流を下げるには、例えば、チャネル形成領域をエネルギーギャップが広い半導体で形成すればよい。半導体のエネルギーギャップは、2.5eV以上、または2.7eV以上、または3eV以上であることが好ましい。このような半導体材料として酸化物半導体が挙げられる。トランジスタTr2、Tr5、Tr6、Tr8、またはTr9として、チャネル形成領域に酸化物半導体を含むトランジスタを用いればよい。チャネル幅で規格化したOSトランジスタのリーク電流は、ソースドレイン電圧が10V、室温(25℃程度)の状態で10×10−21A/μm(10ゼプトA/μm)以下とすることが可能である。トランジスタTr2、Tr5、Tr6、Tr8、またはTr9に適用されるOSトランジスタのリーク電流は、室温(25℃程度)にて1×10−18A以下、または、1×10−21A以下、または1×10−24A以下が好ましい。または、リーク電流は85℃にて1×10−15A以下、または1×10−18A以下、または1×10−21A以下であることが好ましい。
酸化物半導体はエネルギーギャップが大きく、電子が励起されにくく、ホールの有効質量が大きい半導体である。このため、チャネル形成領域に酸化物半導体を含むトランジスタは、シリコン等を用いた一般的なトランジスタと比較して、アバランシェ崩壊等が生じにくい場合がある。アバランシェ崩壊に起因するホットキャリア劣化等が抑制されることで、チャネル形成領域に酸化物半導体を含むトランジスタは高いドレイン耐圧を有することとなり、高いドレイン電圧で駆動することが可能である。
トランジスタのチャネル形成領域に含まれる酸化物半導体は、インジウム(In)および亜鉛(Zn)の少なくとも一方を含む酸化物半導体であることが好ましい。このような酸化物半導体としては、In酸化物、Zn酸化物、In−Zn酸化物、In−M−Zn酸化物(元素Mは、Al、Ti、Ga、Y、Zr、La、Ce、Nd、またはHf)が代表的である。これら酸化物半導体は、電子供与体(ドナー)となる水素などの不純物を低減し、かつ酸素欠損も低減することで、酸化物半導体をi型半導体(真性半導体)にする、あるいはi型半導体に限りなく近づけることができる。このような酸化物半導体は、高純度化された酸化物半導体と呼ぶことができる。
チャネル形成領域を、キャリア密度の低い酸化物半導体で形成することが好ましい。酸化物半導体のキャリア密度は、例えば、キャリア密度は8×1011/cm未満1×10−9/cm以上であるとよい。キャリア密度は、1×1011/cm未満が好ましく、1×1010/cm未満がさらに好ましい。
高純度真性または実質的に高純度真性である酸化物半導体は、キャリア発生源が少ないため、キャリア密度を低くすることができる。また、高純度真性または実質的に高純度真性である酸化物は、欠陥準位密度が低いため、トラップ準位密度も低くい場合がある。酸化物半導体のトラップ準位に捕獲された電荷は、消失するまでに要する時間が長く、あたかも固定電荷のように振る舞うことがある。そのため、チャネル形成領域がトラップ準位密度の高い酸化物半導体である場合、トランジスタの電気特性は不安定になる場合がある。
従って、チャネル形成領域に酸化物半導体を含むトランジスタの電気特性を安定にするためには、チャネル形成領域の不純物濃度を低減することが有効である。チャネル形成領域の不純物濃度を低減するためには、チャネル形成領域に近接する領域の不純物濃度も低いことが好ましい。酸化物半導体の不純物は、水素、アルカリ金属、アルカリ土類金属等である。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
(実施の形態4)
本実施の形態では、本発明の一態様に係る演算回路を畳み込み演算の特徴抽出フィルターもしくは全結合演算回路として適用することで、ニューラルネットワークによる特徴量の抽出を行うことができる。ニューラルネットワークにはCNN(Convolutional Neural Network)等がある。具体的には、本発明の一態様に係る演算回路をパーセプトロンとしてニューラルネットワークに用いることで、画像データの補正に用いるパラメータを機械学習により決定することができる。
図10(A)に、多層パーセプトロンの模式図を一例として示す。図10(A)では、各層のニューロンを丸で示している。そして、図10(A)では、入力層としての機能を有する第(L−1)層と、中間層(隠れ層)としての機能を有する第L層と、出力層としての機能を有する第(L+1)層の3層に分けられたニューロン(形式ニューロン)を有する多層パーセプトロンの構成を例示している(Lは2以上の整数)。そして、第(L−1)層が有するニューロンをM個(Mは2以上の整数)、第L層が有するニューロンをN個(Nは2以上の整数)、第(L+1)層が有するニューロンをK個(Kは2以上の整数)とする。
なお、図10(A)では、第(L−1)層が有する複数のニューロンのうち、5つのニューロンを図示しており、第L層が有する複数のニューロンのうち、4つのニューロンを図示しており、第(L−1)層が有する複数のニューロンのうち、3つのニューロンを図示している。
また、図10(A)では、中間層が一層で構成されている多層パーセプトロンの構成を例示しているが、中間層が複数の層で構成されていても良い。中間層が複数の層で構成されている多層パーセプトロンの場合、第1層が入力層に相当し、第2層乃至第L層が中間層に相当し、第(L+1)層が出力層に相当する。
図10(A)において、第(L−1)層のニューロンのうちm番目(mは1以上M以下の整数)の第mのニューロンの出力z (L−1)が、第L層のニューロンのうちn番目(nは1以上N以下の整数)の第nのニューロンに入力されるものとする。また、第nのニューロンの出力z (L)が、第(L+1)層のニューロンのうちk番目(kは1以上K以下の整数)の第kのニューロンに入力されるものとする。また、第kのニューロンの出力をz (L+1)とする。そして、第L層の第nのニューロンの重み係数をwnm (L)、第(L+1)層の第kのニューロンの重み係数をwkn (L+1)とする。
上記条件のもと、第L層の第nのニューロンへの入力の総和(ネット値)は、以下の式7で表される。
(L)=Σ wnm (L)・z (L−1)        (式7)
式7の演算は、実施の形態3に示す演算回路を用いて実行することができる。例えば、j列目のメモリセルMC[1、j]乃至[N、j]に第L層の各ニューロンの重み係数wn1 (L)乃至wnM (L)を第1のアナログデータとしてそれぞれ格納し、配線RW[1]乃至[M]を介して第(L−1)層のニューロンの出力z1(L−1)乃至zM(L−1)をメモリセルMC[1、j]乃至[M、j]に第2のアナログデータとしてそれぞれ入力する。上記動作により、第L層の第nのニューロンへの入力の総和(ネット値)un(L)を、電流ΔIout[j]から得ることができる。従って、実施の形態3に示す演算回路を用いることにより、式7の演算を行うことができる。
また、第L層の第nのニューロンの出力z (L)は、以下の式8で表される。
(L)=f(u (L))              (式8)
なお、fはニューロンの出力関数である。ニューロンの出力関数fとして、ステップ関数、線形ランプ関数、シグモイド関数などを用いることができる。例えば、式8の演算処理は、図11(A)に示す回路270を用いることで実行することができる。回路270において、出力関数fは、OPアンプの出力特性に対応する。また、OPアンプからの出力信号を用いて、所望の出力関数に対応した演算回路において演算処理を行うことで、式8の演算処理を実現することもできる。
同様に、第(L+1)層の第kのニューロンへの入力の総和(ネット値)は、以下の式9で表される。
(L+1)=Σ wkn (L+1)・z (L)    (式9)
式9の演算は、実施の形態3に示す演算回路を用いて実行することができる。例えば、j列目のメモリセルMC[i、j]乃至[M、j]に第(L+1)層の各ニューロンの重み係数wn1 (L+1)乃至wnM (L+1)を第1のアナログデータとしてそれぞれ格納し、配線RW[1]乃至[M]を介して第L層のニューロンの出力z1乃至zMをメモリセルMC[1、j]乃至[M、j]に第2のアナログデータとしてそれぞれ入力する。上記動作により、第(L+1)層の第kのニューロンへの入力の総和(ネット値)uk(L+1)を、電流ΔIout[j]から得ることができる。従って、実施の形態3に示す演算回路を用いることにより、式9の演算を行うことができる。
また、第(L+1)層の第kのニューロンの出力z (L+1)は、以下の式10で表される。
(L+1)=f(u (L+1))        (式10)
例えば、式10の演算処理は、図11(B)に示す回路271を用いることで実行することができる。回路271において、出力関数fは、回路270と同様に、OPアンプの出力特性に対応する。また、OPアンプからの出力信号を用いて、所望の出力関数に対応した演算回路において演算処理を行うことで、式10の演算処理を実現することもできる。
上記構成により、第kのニューロンの出力z (L+1)を得ることができる。
なお、ニューロンの出力関数は、全てのニューロンで同一であっても良いし、異なっていても良い。また、層毎に同一でも良いし、異なっていても良い。
次いで、本発明の一態様に係る演算回路をパーセプトロンとして用いたニューラルネットワークの、誤差逆伝播方式による教師あり学習について説明する。図10(B)に、誤差逆伝播方式を用いた多層パーセプトロンの模式図を示す。
誤差逆伝播方式は、ニューラルネットワークの出力と教師信号の誤差が小さくなるように、重み係数を変更する方式である。具体的に、誤差逆伝播方式は、出力層の出力z (L)と教師信号tとで決まる誤差エネルギーEに対して、第L層の重み係数wnm (L)の更新量を∂E/∂wnm (L)として重み係数を変更する。
例えば、第L層の誤差δ (L)を、δ (L)≡∂E/∂u (L)と定義すると、誤差δ (L)は以下の式11で表され、更新量∂E/∂wnm (L)は以下の式12で表される。なお、f’はニューロンの出力関数の導関数である。
δ (L)=Σδ (L+1)・wkn (L+1)・f’(u (L))  (式11)
∂E/∂wnm (L)=δ (L)・z (L−1)      (式12)
例えば、式11の演算処理は、図11(C)に示す回路272を用いることで実行することができる。また、式12の演算処理は、図11(D)に示す回路273を用いることで実行することができる。なお、導関数は、例えば、OPアンプからの出力信号を用いて、所望の導関数に対応した演算回路において演算処理を行うことも実現することができる。
なお、式11におけるΣδ (L+1)・wkn (L+1)の演算は、実施の形態3に示す演算回路を用いて実行することができる。例えば、j列目のメモリセルMC[1、j]乃至[K、j]に第(L+1)層の各ニューロンの重み係数wn1 (L+1)乃至wnK (L+1)を第1のアナログデータとしてそれぞれ格納し、配線RW[1]乃至[K]を介して第(L+1)層のニューロンの誤差δ (L+1)乃至δ (L+1)をメモリセルMC[1、j]乃至[K、j]に第2のアナログデータとしてそれぞれ入力する。上記動作により、式11におけるΣδ (L+1)・wkn (L+1)の値を、電流ΔIout[j]から得ることができる。従って、実施の形態3に示す演算回路を用いることにより、式9の演算の一部を行うことができる。
また、出力層である第(L+1)層の誤差δ (L+1)は以下の式13で表され、更新量∂E/∂wnm (L+1)は以下の式14で表される。
δ (L+1)=(z (L+1)−t)・f’(u (L+1))     (式13)
∂E/∂wkn (L+1)=δ (L+1)・z (L)     (式14)
例えば、式13の演算処理は、図11(E)に示す回路274を用いることで実行することができる。式14の演算処理は、図11(D)に示す回路274を用いることで実行することができる。
以上のように、本発明の一態様に係る演算回路を用いることで、ニューラルネットワークにおける重み付け和の演算と重み係数の更新量の演算を行うことができる。
なお、特徴抽出フィルターの各重み係数の値を、乱数を用いて設定することが可能である。例えば、外光の入射角をセンシングする場合、センサから得られるデータが必ずしも外光の入射角に応じたピークを示すデータではなくても、特徴量を抽出することが可能である。よって、センサに入射する外光の角度を制御するための遮光膜を形成する際、遮光膜のレイアウトの精度が高くない場合でも、ニューラルネットワークの機械学習によって最適なパラメータを設定しなおし、入射角の正確な値が得られるようにすることができる。したがって、遮光膜の作製コストを抑えつつ、入射角の正確な値を得ることができる。
当該ニューラルネットワークでの機械学習により得られた各種のパラメータは、コントローラのレジスタに格納することができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
(実施の形態5)
本実施の形態では、反射型表示素子と発光型表示素子とを用いた表示装置が有する、画素の構成例について説明する。なお、本実施の形態では、反射型表示素子として液晶素子を用い、発光型表示素子としてEL材料を用いた発光素子を用いる場合を例に挙げて、本発明の一態様に係る画素300の構成例について説明する。
図12(A)に示す画素300は、画素350と画素351とを有する。そして、画素350は液晶素子301を有し、画素351は発光素子302を有する。
具体的に、画素350は、液晶素子301と、液晶素子301に印加する電圧を制御する機能を有するトランジスタ303と、容量素子304とを有する。そして、トランジスタ303は、ゲートが配線GLに電気的に接続され、ソース又はドレインの一方が配線SLに電気的に接続され、ソース又はドレインの他方が液晶素子301の画素電極に電気的に接続されている。また、液晶素子301の共通電極は、所定の第4の電位が供給される配線または電極に電気的に接続されている。また、容量素子304は、一方の電極が、液晶素子301の画素電極に電気的に接続され、他方の電極が、所定の第5の電位が供給される配線または電極に電気的に接続されている。第4の電位と、第5の電位は、同じ電位が供給されてもよい。
また、具体的に、画素351は、発光素子302と、発光素子302に供給する電流を制御する機能を有するトランジスタ305と、トランジスタ305のゲートへの電位の供給を制御する機能を有するトランジスタ306と、容量素子307とを有する。そして、トランジスタ306は、ゲートが配線GEに電気的に接続され、ソース又はドレインの一方が配線DLに電気的に接続され、ソース又はドレインの他方がトランジスタ305のゲートに電気的に接続されている。トランジスタ305は、ソース又はドレインの一方が配線ALに電気的に接続され、ソース又はドレインの他方が発光素子302に電気的に接続されている。容量素子307は、一方の電極が配線ALに電気的に接続され、他方の電極がトランジスタ305のゲートに電気的に接続されている。
図12(A)に示す画素300では、液晶素子301に対応した画像信号を配線SLに供給し、発光素子302に対応した画像信号を配線DLに供給することで、液晶素子301によって表示される階調と、発光素子302によって表示される階調とを個別に制御することができる。
なお、図12(A)では、液晶素子301を有する画素350と、発光素子302を有する画素351とを一つずつ有する画素300の構成例を示したが、画素300が複数の画素350を有していても良いし、或いは画素300が複数の画素351を有していても良い。
図12(B)に、画素300が一の画素351と、4つの画素351を有している場合の、画素300の構成例を示す。
具体的に図12(B)に示す画素300は、液晶素子301を有する画素351と、発光素子302をそれぞれ有する画素351a乃至画素351bとを有する。
図12(B)に示す画素350の構成については、図12(A)に示す画素350の構成を参照することができる。
また、図12(B)に示す画素351a乃至画素351bは、図12(A)に示す画素351と同様に、発光素子302と、発光素子302に供給する電流を制御する機能を有するトランジスタ305と、トランジスタ305のゲートへの電位の供給を制御する機能を有するトランジスタ306と、容量素子307とをそれぞれ有する。そして、画素351a乃至画素351bがそれぞれ有する発光素子302から発せられる光が、異なる領域の波長を有することで、表示装置においてカラーの画像を表示することが可能になる。
また、図12(B)に示す画素351a乃至画素351bでは、画素351aの有するトランジスタ306のゲートと、画素351cの有するトランジスタ306のゲートとが、配線GEbに電気的に接続されている。また、画素351bの有するトランジスタ306のゲートと、画素351dの有するトランジスタ306のゲートとが、配線GEaに電気的に接続されている。
また、図12(B)に示す画素351a乃至画素351bでは、画素351aの有するトランジスタ306のソース又はドレインの一方と、画素351bの有するトランジスタ306のソース又はドレインの一方とが、配線DLaに電気的に接続されている。また、画素351cの有するトランジスタ306のソース又はドレインの一方と、画素351dの有するトランジスタ306のソース又はドレインの一方とが、配線DLbに電気的に接続されている。
また、図12(B)に示す画素351a乃至画素351bでは、全てのトランジスタ305のソース又はドレインの一方が、配線ALに電気的に接続されている。
上述したように、図12(B)に示す画素351a乃至画素351bでは、画素351aと画素351cが配線GEbを共有し、画素351bと画素351dが配線GEaを共有しているが、画素351a乃至画素351bの全てが一の配線GEを共有していても良い。この場合、画素351a乃至画素351bは、互いに異なる4つの配線DLに電気的に接続されるようにすることが望ましい。
次いで、図13(A)に、図12(A)とは異なる画素300の構成例を示す。図13(A)に示す画素300は、画素351が有するトランジスタ305がバックゲートを有する点において、図12(A)に示す画素300と構成が異なる。
具体的に、図13(A)に示す画素300では、トランジスタ305のバックゲートがゲート(フロントゲート)に電気的に接続されている。図13(A)に示す画素300は、上記構成を有することにより、トランジスタ305の閾値電圧がシフトするのを抑えることができ、トランジスタ305の信頼性を高めることができる。また、図13(A)に示す画素300は、上記構成を有することにより、トランジスタ305のサイズを小さく抑えつつ、トランジスタ305のオン電流を高めることができる。
なお、本発明の一態様に係る表示装置では、画素300が、図13(A)に示す画素350を複数有していても良いし、或いは図13(A)に示す画素351を複数有していても良い。具体的には、図12(B)に示した画素300と同様に、図13(A)に示す1つの画素350と、4つの画素351とを有していても良い。その場合、各種配線と4つの画素351との接続関係は、図12(B)に示した画素300を参照することができる。
次いで、図13(B)に、図12(A)とは異なる画素300の構成例を示す。図13(B)に示す画素300は、画素351が有するトランジスタ305がバックゲートを有する点において、図12(A)に示す画素300と構成が異なる。そして、図13(B)に示す画素300では、トランジスタ305のバックゲートがゲートではなく発光素子302に電気的に接続されている点において、図13(A)に示す画素300と構成が異なる。
図13(B)に示す画素300は、上記構成を有することにより、トランジスタ305の閾値電圧がシフトするのを抑えることができ、トランジスタ305の信頼性を高めることができる。
なお、本発明の一態様に係る表示装置では、画素300が、図13(B)に示す画素350を複数有していても良いし、或いは図13(B)に示す画素351を複数有していても良い。具体的には、図12(B)に示した画素300と同様に、図13(B)に示す1つの画素350と、4つの画素351とを有していても良い。その場合、各種配線と4つの画素351との接続関係は、図12(B)に示した画素300を参照することができる。
次いで、図14に、図12(A)とは異なる画素300の構成例を示す。図14に示す画素300は、画素350と画素351とを有し、画素351の構成が図12(A)とは異なる。
具体的に、図14に示す画素351は、発光素子302と、発光素子302に供給する電流を制御する機能を有するトランジスタ305と、トランジスタ305のゲートへの電位の供給を制御する機能を有するトランジスタ306と、発光素子302の画素電極に所定の電位を供給する機能を有するトランジスタ308と、容量素子307とを有する。また、トランジスタ305と、トランジスタ306と、トランジスタ308とは、それぞれバックゲートを有する。
そして、トランジスタ306は、ゲート(フロントゲート)が配線MLに電気的に接続され、バックゲートが配線GEに電気的に接続され、ソース又はドレインの一方が配線DLに電気的に接続され、ソース又はドレインの他方がトランジスタ305のゲート及びフロントゲートに電気的に接続されている。トランジスタ305は、ソース又はドレインの一方が配線ALに電気的に接続され、ソース又はドレインの他方が発光素子302に電気的に接続されている。
トランジスタ308は、ゲート(フロントゲート)が配線MLに電気的に接続され、バックゲートが配線GEに電気的に接続され、ソース又はドレインの一方が配線MLに電気的に接続され、ソース又はドレインの他方が発光素子302に電気的に接続されている。容量素子307は、一方の電極が配線ALに電気的に接続され、他方の電極がトランジスタ305のゲートに電気的に接続されている。
なお、図14では、液晶素子301を有する画素350と、発光素子302を有する画素351とを一つずつ有する画素300の構成例を示したが、画素300が複数の画素350を有していても良いし、或いは画素300が複数の画素351を有していても良い。
図15に、画素300が一の画素351と、4つの画素351を有している場合の、画素300の構成例を示す。
具体的に図15に示す画素300は、液晶素子301を有する画素351と、発光素子302をそれぞれ有する画素351a乃至画素351bとを有する。
図15に示す画素350の構成については、図14に示す画素350の構成を参照することができる。
また、図15に示す画素351a乃至画素351bは、図14に示す画素351と同様に、発光素子302と、発光素子302に供給する電流を制御する機能を有するトランジスタ305と、トランジスタ305のゲートへの電位の供給を制御する機能を有するトランジスタ306と、発光素子302の画素電極に所定の電位を供給する機能を有するトランジスタ308と、容量素子307とをそれぞれ有する。そして、画素351a乃至画素351bがそれぞれ有する発光素子302から発せられる光が、異なる領域の波長を有することで、表示装置においてカラーの画像を表示することが可能になる。
また、図15に示す画素351a乃至画素351bでは、画素351aの有するトランジスタ306のゲートと、画素351bの有するトランジスタ306のゲートとが、配線MLaに電気的に接続されている。また、画素351cの有するトランジスタ306のゲートと、画素351dの有するトランジスタ306のゲートとが、配線MLbに電気的に接続されている。
また、図15に示す画素351a乃至画素351bでは、画素351aの有するトランジスタ306のバックゲートと、画素351cの有するトランジスタ306のバックゲートとが、配線GEbに電気的に接続されている。また、画素351bの有するトランジスタ306のバックゲートと、画素351dの有するトランジスタ306のバシクゲートとが、配線GEaに電気的に接続されている。
また、図15に示す画素351a乃至画素351bでは、画素351aの有するトランジスタ306のソース又はドレインの一方と、画素351bの有するトランジスタ306のソース又はドレインの一方とが、配線DLaに電気的に接続されている。また、画素351cの有するトランジスタ306のソース又はドレインの一方と、画素351dの有するトランジスタ306のソース又はドレインの一方とが、配線DLbに電気的に接続されている。
また、図15に示す画素351a乃至画素351bでは、画素351aの有するトランジスタ308のバックゲートと、画素351cの有するトランジスタ308のバックゲートとが、配線GEbに電気的に接続されている。また、画素351bの有するトランジスタ308のバックゲートと、画素351dの有するトランジスタ308のバックゲートとが、配線GEaに電気的に接続されている。
また、図15に示す画素351a乃至画素351bでは、画素351aの有するトランジスタ308のゲートとソース又はドレインの一方とが配線MLaに電気的に接続され、画素351bの有するトランジスタ308のゲートとソース又はドレインの一方とが、配線MLaに電気的に接続されている。また、画素351cの有するトランジスタ308のゲートとソース又はドレインの一方とが配線MLbに電気的に接続され、画素351bの有するトランジスタ308のゲートとソース又はドレインの一方とが、配線MLbに電気的に接続されている。
また、図15に示す画素351a乃至画素351bでは、全てのトランジスタ305のソース又はドレインの一方が、配線ALに電気的に接続されている。
上述したように、図15に示す画素351a乃至画素351bでは、画素351aと画素351cが配線GEbを共有し、画素351bと画素351dが配線GEaを共有しているが、画素351a乃至画素351bの全てが一の配線GEを共有していても良い。この場合、画素351a乃至画素351bは、互いに異なる4つの配線DLに電気的に接続されるようにすることが望ましい。
なお、画素350に、オフ電流が低いトランジスタを用いることで、表示画面を書き換える必要がない場合(すなわち静止画を表示する場合)、一時的に駆動回路を停止することができる(以下、「アイドリングストップ」、もしくは「IDS駆動」と呼ぶ。)。IDS駆動によって、表示装置200の消費電力を低減することができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
(実施の形態6)
本実施の形態では、図4(A)に示した表示装置200を例に挙げて、反射型表示素子と発光型表示素子とを用いた表示装置200の具体的な構成例について説明する。
図16に、表示装置200の断面構造の一例を示す。
図16に示す表示装置200は、基板250と基板251の間に、表示部102と、表示部104とが積層された構成を有する。具体的に図16では、表示部102と表示部104とが接着層252により接着されている。
そして、図16では、表示部102の画素が有する発光素子302、トランジスタ305、及び容量素子307と、表示部102の駆動回路が有するトランジスタ309とを図示している。また、図16では、表示部104の画素が有する液晶素子301と、トランジスタ303と、容量素子304と、表示部104の駆動回路が有するトランジスタ310とを図示している。
トランジスタ305は、バックゲートとしての機能を有する導電層311と、導電層311上の絶縁層312と、絶縁層312上において導電層311と重なる半導体層313と、半導体層313上の絶縁層316と、絶縁層316上に位置し、ゲートとしての機能を有する導電層317と、導電層317上に位置する絶縁層318のさらに上に位置し、半導体層313と電気的に接続されている導電層314及び導電層315と、を有する。
また、導電層315は、導電層319と電気的に接続され、導電層319は導電層320に電気的に接続されている。導電層319は導電層317と同一の層に形成されており、導電層320は導電層311と同一の層に形成されている。
また、導電層311及び導電層320と同一の層に、トランジスタ306(図示せず)のバックゲートとしての機能を有する導電層321が位置している。導電層321上には絶縁層312が位置し、絶縁層312上には導電層321と重なる領域を有する半導体層322が位置する。半導体層322にはトランジスタ306(図示せず)のチャネル形成領域が含まれる。半導体層322上には絶縁層318が位置し、絶縁層318上には導電層323が位置する。導電層323は半導体層322に電気的に接続されており、導電層323はトランジスタ306(図示せず)のソース電極またはドレインとしての機能を有する。
トランジスタ309は、トランジスタ305と同様の構成を有するので、詳細な説明は割愛する。
トランジスタ305、導電層323、トランジスタ309上には、絶縁層324が位置し、絶縁層324上には絶縁層325が位置する。絶縁層325上には導電層326及び導電層327が位置する。導電層326は導電層314と電気的に接続されており、導電層327は導電層323と電気的に接続されている。導電層326及び導電層327上には絶縁層328が位置し、絶縁層328上には導電層329が位置する。導電層329は導電層326に電気的に接続されており、発光素子302の画素電極としての機能を有する。
導電層327と絶縁層328と導電層329とが重なる領域が、容量素子307として機能する。
導電層329上には絶縁層330が位置し、絶縁層330上にはEL層331が位置し、EL層331上には対向電極としての機能を有する導電層332が位置する。導電層329とEL層331と導電層332とは、絶縁層330の開口部において電気的に接続されており、導電層329とEL層331と導電層332とが電気的に接続された領域が発光素子302として機能する。発光素子302は、導電層332側から破線の矢印で示す方向に光を放射する、トップエミッション構造を有する。
導電層329と導電層332とは、一方が陽極として機能し、他方が陰極として機能する。導電層329と導電層332の間に、発光素子302の閾値電圧より高い電圧を印加すると、EL層331に陽極側から正孔が注入され、陰極側から電子が注入される。注入された電子と正孔はEL層331において再結合し、EL層331に含まれる発光物質が発光する。
なお、半導体層313、322に酸化物半導体を用いる場合、表示装置の信頼性を高めるには、絶縁層318は酸素を含む絶縁材料を用いることが望ましく、絶縁層324には水又は水素などの不純物が拡散しにくい材料を用いることが望ましい。
絶縁層325または絶縁層330として有機材料を用いる場合、絶縁層325または絶縁層330が表示装置の端部に露出していると、絶縁層325または絶縁層330を介して発光素子302等に表示装置の外部から水分等の不純物が侵入する恐れがある。不純物の侵入により、発光素子302が劣化すると、表示装置の劣化につながる。そのため、図16に示すように、絶縁層325及び絶縁層330が、表示装置の端部に位置しないことが好ましい。
発光素子302は、接着層333を介して着色層334と重なる。スペーサ335は、接着層333を介して遮光層336と重なる。図16では、導電層332と遮光層336との間に隙間がある場合を示しているが、これらが接していてもよい。
着色層334は特定の波長域の光を透過する有色層である。例えば、赤色、緑色、青色、又は黄色の波長域の光を透過するカラーフィルタなどを用いることができる。
なお、本発明の一態様は、カラーフィルタ方式に限られず、塗り分け方式、色変換方式、又は量子ドット方式等を適用してもよい。
表示部104において、トランジスタ303は、バックゲートとしての機能を有する導電層340と、導電層340上の絶縁層341と、絶縁層341上において導電層340と重なる半導体層342と、半導体層342上の絶縁層343と、絶縁層343上に位置し、ゲートとしての機能を有する導電層344と、導電層344上に位置する絶縁層345のさらに上に位置し、半導体層342と電気的に接続されている導電層346及び導電層347と、を有する。
また、導電層340と同一の層に導電層348が位置する。導電層348上には絶縁層341が位置し、絶縁層341上には導電層348と重なる領域に導電層347が位置する。導電層347と絶縁層341と導電層348とが重なる領域が、容量素子304として機能する。
トランジスタ310は、トランジスタ303と同様の構成を有するので、詳細な説明は割愛する。
トランジスタ303、容量素子304、トランジスタ310上には、絶縁層360が位置し、絶縁層360上には導電層349が位置する。導電層349は導電層347と電気的に接続されており、液晶素子301の画素電極としての機能を有する。導電層349上には配向膜364が位置する。
基板251には、共通電極としての機能を有する導電層361が位置する。具体的に、図16では、基板251上に接着層362を介して絶縁層363が接着されており、絶縁層363上に導電層361が位置する。そして、導電層361上には配向膜365が位置し、配向膜364と配向膜365の間には液晶層366が位置する。
図16では、導電層349が可視光を反射する機能を有し、導電層361が可視光を透過する機能を有することで、破線の矢印で示すように基板251側から入射した光を、導電層349において反射させ、基板251側から放射させることができる。
可視光を透過する導電性材料としては、例えば、インジウム(In)、亜鉛(Zn)、錫(Sn)の中から選ばれた一種を含む材料を用いるとよい。具体的には、酸化インジウム、インジウム錫酸化物(ITO:Indium Tin Oxide)、インジウム亜鉛酸化物、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、酸化チタンを含むインジウム錫酸化物、酸化シリコンを含むインジウム錫酸化物(ITSO)、酸化亜鉛、ガリウムを含む酸化亜鉛などが挙げられる。なお、グラフェンを含む膜を用いることもできる。グラフェンを含む膜は、例えば膜状に形成された酸化グラフェンを含む膜を還元して形成することができる。
可視光を反射する導電性材料としては、例えば、アルミニウム、銀、またはこれらの金属材料を含む合金等が挙げられる。そのほか、金、白金、ニッケル、タングステン、クロム、モリブデン、鉄、コバルト、銅、もしくはパラジウム等の金属材料、またはこれら金属材料を含む合金を用いることができる。また、上記金属材料または合金に、ランタン、ネオジム、またはゲルマニウム等が添加されていてもよい。アルミニウムとチタンの合金、アルミニウムとニッケルの合金、アルミニウムとネオジムの合金、アルミニウム、ニッケル、及びランタンの合金(Al−Ni−La)等のアルミニウムを含む合金(アルミニウム合金)、銀と銅の合金、銀とパラジウムと銅の合金(Ag−Pd−Cu、APCとも記す)、銀とマグネシウムの合金等の銀を含む合金を用いてもよい。
なお、図16では、バックゲートを有するトップゲート方のトランジスタを用いた表示装置の構成について説明したが、本発明の一態様に係る表示装置はバックゲートを有さないトランジスタを用いていても良いし、バックゲート型のトランジスタを用いていても良い。
トランジスタに用いる半導体材料の結晶性についても特に限定されず、非晶質半導体、結晶性を有する半導体(微結晶半導体、多結晶半導体、単結晶半導体、又は一部に結晶領域を有する半導体)のいずれを用いてもよい。結晶性を有する半導体を用いると、トランジスタ特性の劣化を抑制できるため好ましい。
また、トランジスタに用いる半導体材料としては、酸化物半導体を用いることができる。代表的には、インジウムを含む酸化物半導体などを適用できる。
特にシリコンよりもバンドギャップが広く、且つキャリア密度の小さい半導体材料を用いると、トランジスタのオフ状態における電流を低減できるため好ましい。
半導体層は、例えば少なくともインジウム、亜鉛及びM(アルミニウム、チタン、ガリウム、ゲルマニウム、イットリウム、ジルコニウム、ランタン、セリウム、スズ、ネオジムまたはハフニウム等の金属)を含むIn−M−Zn系酸化物で表記される膜を含むことが好ましい。また、該酸化物半導体を用いたトランジスタの電気特性のばらつきを減らすため、それらと共に、スタビライザーを含むことが好ましい。
スタビライザーとしては、上記Mで記載の金属を含め、例えば、ガリウム、スズ、ハフニウム、アルミニウム、またはジルコニウム等がある。また、他のスタビライザーとしては、ランタノイドである、ランタン、セリウム、プラセオジム、ネオジム、サマリウム、ユウロピウム、ガドリニウム、テルビウム、ジスプロシウム、ホルミウム、エルビウム、ツリウム、イッテルビウム、ルテチウム等がある。
半導体層を構成する酸化物半導体として、例えば、In−Ga−Zn系酸化物、In−Al−Zn系酸化物、In−Sn−Zn系酸化物、In−Hf−Zn系酸化物、In−La−Zn系酸化物、In−Ce−Zn系酸化物、In−Pr−Zn系酸化物、In−Nd−Zn系酸化物、In−Sm−Zn系酸化物、In−Eu−Zn系酸化物、In−Gd−Zn系酸化物、In−Tb−Zn系酸化物、In−Dy−Zn系酸化物、In−Ho−Zn系酸化物、In−Er−Zn系酸化物、In−Tm−Zn系酸化物、In−Yb−Zn系酸化物、In−Lu−Zn系酸化物、In−Sn−Ga−Zn系酸化物、In−Hf−Ga−Zn系酸化物、In−Al−Ga−Zn系酸化物、In−Sn−Al−Zn系酸化物、In−Sn−Hf−Zn系酸化物、In−Hf−Al−Zn系酸化物を用いることができる。
なお、ここで、In−Ga−Zn系酸化物とは、InとGaとZnを主成分として有する酸化物という意味であり、InとGaとZnの比率は問わない。また、InとGaとZn以外の金属元素が入っていてもよい。
なお、本実施の形態では、反射型表示素子として液晶素子を用いた表示装置の構成を例示したが、反射型表示素子として、液晶素子のほかに、シャッター方式のMEMS(Micro Electro Mechanical System)素子、光干渉方式のMEMS素子、マイクロカプセル方式、電気泳動方式、エレクトロウェッティング方式、電子粉流体(登録商標)方式等を適用した表示素子などを用いることができる。
また、発光型表示素子として、例えばOLED(Organic Light Emitting Diode)、LED(Light Emitting Diode)、QLED(Quantum−dot Light Emitting Diode)、半導体レーザなどの自発光性の発光素子を用いることができる。
液晶素子としては、例えば垂直配向(VA:Vertical Alignment)モードが適用された液晶素子を用いることができる。垂直配向モードとしては、MVA(Multi−Domain Vertical Alignment)モード、PVA(Patterned Vertical Alignment)モード、ASV(Advanced Super View)モードなどを用いることができる。
また、液晶素子には、様々なモードが適用された液晶素子を用いることができる。例えばVAモードのほかに、TN(Twisted Nematic)モード、IPS(In−Plane−Switching)モード、FFS(Fringe Field Switching)モード、ASM(Axially Symmetric aligned Micro−cell)モード、OCB(Optically Compensated Birefringence)モード、FLC(Ferroelectric Liquid Crystal)モード、AFLC(AntiFerroelectric Liquid Crystal)モード等が適用された液晶素子を用いることができる。
なお、液晶素子に用いる液晶としては、サーモトロピック液晶、低分子液晶、高分子液晶、高分子分散型液晶(PDLC:Polymer Dispersed Liquid Crystal)、強誘電性液晶、反強誘電性液晶等を用いることができる。これらの液晶材料は、条件により、コレステリック相、スメクチック相、キュービック相、カイラルネマチック相、等方相等を示す。
また、液晶材料としては、ポジ型の液晶、またはネガ型の液晶のいずれを用いてもよく、適用するモードや設計に応じて最適な液晶材料を用いればよい。
また、液晶の配向を制御するため、配向膜を設けることができる。なお、横電界方式を採用する場合、配向膜を用いないブルー相を示す液晶を用いてもよい。ブルー相は液晶相の一つであり、コレステリック液晶を昇温していくと、コレステリック相から等方相へ転移する直前に発現する相である。ブルー相は狭い温度範囲でしか発現しないため、温度範囲を改善するために数重量%以上のカイラル剤を混合させた液晶組成物を液晶層に用いる。ブルー相を示す液晶とカイラル剤とを含む液晶組成物は、応答速度が短く、光学的等方性である。また、ブルー相を示す液晶とカイラル剤とを含む液晶組成物は、配向処理が不要であり、視野角依存性が小さい。また配向膜を設けなくてもよいのでラビング処理も不要となるため、ラビング処理によって引き起こされる静電破壊を防止することができ、作製工程中の液晶表示装置の不良や破損を軽減することができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
(実施の形態7)
次いで、図17(A)に、本発明の一態様に係る表示装置200の、外観の一例を示す。図17(A)に示す表示装置200は、基板500上に画素部501と、反射型表示素子を有する画素用の走査線駆動回路502と、発光型表示素子を有する画素用の走査線駆動回路503と、を有する。また、IC504は反射型表示素子を有する画素用の信号線駆動回路を有し、配線506を介して画素部501に電気的に接続されている。また、IC505は発光型表示素子を有する画素用の信号線駆動回路を有し、配線507を介して画素部501に電気的に接続されている。
また、FPC508はIC504に電気的に接続されており、FPC509はIC505に電気的に接続されている。FPC510は配線511を介して走査線駆動回路502に電気的に接続されている。また、FPC510は配線512を介して走査線駆動回路503に電気的に接続されている。
次いで、反射型表示素子として液晶素子を用い、発光型表示素子として発光素子を用いる場合を例に挙げて、画素部501が有する画素513における、液晶素子の表示領域のレイアウトと、発光素子の表示領域のレイアウトとを、図17(B)に示す。
具体的に図17(B)では、画素513が、液晶素子の表示領域514と、黄色に対応する発光素子の表示領域515と、緑色に対応する発光素子の表示領域516と、赤色に対応する発光素子の表示領域517と、青色に対応する発光素子の表示領域518とを有する。
なお、緑色、青色、赤色、黄色にそれぞれ対応する発光素子を用いて色再現性の良い黒を表示する際、発光素子の面積あたりに流れる電流量は、黄色に対応する発光素子が最も小さいことが求められる。図17(B)では、緑色に対応する発光素子の表示領域516と、赤色に対応する発光素子の表示領域517と、青色に対応する発光素子の表示領域518とが、ほぼ同等の面積を有し、それらに対して黄色に対応する発光素子の表示領域515の面積はやや小さいため、色再現性の良い黒を表示することが可能である。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
(実施の形態8)
本実施の形態では、表示装置に入射する光の角度を検知するための、光センサの構成例について説明する。
上記光センサは、表示装置を構成する基板上に形成することもできるし、表示装置と別に用意した基板上に形成されていても良い。図18に、光センサの断面構造を一例として示す。
図18に示す光センサ600は、同一の平面上において一の方向に並べられた、複数のフォトダイオードPDを有する。なお、図18では、複数のフォトダイオードPDとしてフォトダイオードPD1乃至PD11が一方向に並んでいる構成を例示している。
そして、フォトダイオードPD1乃至PD11上には、開口部を有する遮光膜601が位置し、遮光膜601上には開口部を有する遮光膜602が位置する。開口部を有する遮光膜601と遮光膜602とを重ねることで、フォトダイオードPD1乃至PD11のそれぞれにおける光の入射角α1乃至α11の値を制御することができる。
なお、本実施の形態では、遮光膜601と遮光膜602とを積層する場合を例示しているが、より多くの遮光膜を遮光膜601及び遮光膜602上に設けても良い。多くの遮光膜を遮光膜601及び遮光膜602上に設けることで、各フォトダイオードPDが感知できる光の入射角の範囲を狭めることができ、光センサ600が感知できる光の入射角の精度を高めることができる。
また、図18では、一の方向に並べられた複数のフォトダイオードPDと、それに対応する開口部を有する遮光膜601及び遮光膜602とを有する光センサ600の構成例を示している。本発明の一態様では上記構成の他に、例えば、第1の方向に並べられた複数の第1のフォトダイオードPDと、第2の方向に並べられた複数の第2のフォトダイオードPDと、第1のフォトダイオードPDに対応する開口部及び第2のフォトダイオードPDに対応する開口部を有する遮光膜601及び遮光膜602とを有していても良い。
次いで、図19(A)に、本発明の一態様に係る表示装置を用いた電子機器の一例を示す。図19(A)は、タブレット型の情報端末6200であり、筐体6221、表示装置6222、操作ボタン6223、スピーカ6224を有する。また、本発明の一態様に係る表示装置6222に、位置入力装置としての機能を付加しても良い。また、位置入力装置としての機能は、表示装置にタッチパネルを設けることで付加することができる。あるいは、位置入力装置としての機能は、フォトセンサとも呼ばれる光電変換素子を表示装置の画素部に設けることでも、付加することができる。また、操作ボタン6223に情報端末6200を起動する電源スイッチ、情報端末6200のアプリケーションを操作するボタン、音量調整ボタン、又は表示装置6222を点灯、あるいは消灯するスイッチなどのいずれかを備えることができる。また、図19(A)に示した情報端末6200では、操作ボタン6223の数を4個示しているが、情報端末6200の有する操作ボタンの数及び配置は、これに限定されない。
また、情報端末6200は、外光の入射角度を測定する光センサ6225X及び光センサ6225Yを有する。光センサ6225X及び光センサ6225Yは、筐体6221のベゼルに配置されている。特に、光センサ6225Xは、筐体6221のベゼルにおいて2つある短辺の一方に配置され、光センサ6225Yは、筐体6221のベゼルにおいて2つある長辺の一方に配置されている。本発明の一態様では、光センサ6225X及び光センサ6225Yによって外光の入射角度、照度を測定して、それらのデータを基づいて、表示装置6222に表示する画像の色の調整と階調の調整を行うことができる。
また、光センサ6225X及び光センサ6225Yの配置箇所は、図19(A)に示した情報端末6200に限定されない。例えば、図19(B)に示す情報端末6201のように、光センサ6225Xは、筐体6221のベゼルにおいて2つある短辺の両方に配置され、光センサ6225Yは、筐体6221のベゼルにおいて2つある長辺の両方に配置されてもよい。
なお、光センサ6225X及び光センサ6225Yとして、図18に示した構成を適用することができる。
また、図示していないが、図19(A)に示した情報端末6200は、筐体6221の内部にセンサ(力、変位、位置、速度、加速度、角速度、回転数、距離、光、液、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、におい又は赤外線などを測定する機能を含むもの)を有する構成であってもよい。特に、ジャイロセンサ、加速度センサなどの傾きを測定するセンサを有する測定装置を設けることで、図19(A)に示す情報端末6200の向き(鉛直方向に対して情報端末がどの向きに向いているか)を判断して、表示装置6222の画面表示を、情報端末6200の向きに応じて自動的に切り替えるようにすることができる。
また、該傾きの情報と、先述した光センサ6225X及び光センサ6225Yから得た外光の入射角度、及び照度の情報を組み合わせることによって、より正確に表示装置6222に映す画像データの色の調整と階調の調整を行うことができる。この場合、筐体6221に撮像センサを設けて、情報端末6200に対する使用者の眼の位置(あるいは視線の方向)の情報を取得し、該傾き、外光の入射角度、及び照度の情報を組み合わせることによって、より更に正確に、表示装置6222に表示する画像の色の調整と階調の調整を行うことができる。図19(A)に示した情報端末6201は、先述した光センサ6225X及び光センサ6225Yが、表示装置6222の向かい合う辺にそれぞれが配置されている。よって使用者が筐体6221を持つときに、光センサ6225X及び光センサ6225Yが指などに隠れて正しい照度の情報を得られないことを防止することができる。
また、自動的に色の調整と階調の調整を行う方法として、ニューラルネットワークを利用した方法がある。
また、図示していないが、図19(A)に示した情報端末6200は、マイク及びスピーカを有する構成であってもよい。この構成により、例えば、情報端末6200に携帯電話のような通話機能を付することができる。また、図示していないが、図19(A)に示した情報端末6200は、カメラを有する構成であってもよい。また、図示していないが、図19(A)に示した情報端末6200は、フラッシュライト、又は照明の用途として発光装置を有する構成であってもよい。
また、図示していないが、図19(A)に示した情報端末6200は、指紋、静脈、虹彩、又は声紋など生体情報を取得する装置を有する構成であってもよい。この構成を適用することによって、生体認証機能を有する情報端末6200を実現することができる。
また、図示していないが、図19(A)に示した情報端末6200は、マイクを有する構成であってもよい。この構成を適用することによって、情報端末6200に通話機能を付することができる。また、情報端末6200に音声解読機能を付することができる場合がある。情報端末6200に音声解読機能を設けることで、音声認識によって情報端末6200を操作する機能、更には、音声や会話を判読して会話録を作成する機能、などを情報端末6200に有することができる。これにより、例えば、会議などの議事録作成として活用することができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
(実施の形態9)
図20に、本発明の一態様に係る表示装置を用いた電子機器の具体例を示す。
図20(A)は携帯型ゲーム機であり、筐体5001、筐体5002、本発明の一態様に係る表示装置5003、発明の一態様に係る表示装置5004、マイクロホン5005、スピーカ5006、操作キー5007、スタイラス5008等を有する。なお、図20(A)に示した携帯型ゲーム機は、表示装置5003と表示装置5004とで示す二つの表示装置を有しているが、携帯型ゲーム機が有する表示装置の数は、これに限定されない。携帯型ゲーム機に本発明の一態様に係る表示装置5003及び表示装置5004を用いることで、使用環境における外光の強度に左右されずに、表示装置5003及び表示装置5004に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
図20(B)は腕時計型の携帯情報端末であり、筐体5201、本発明の一態様に係る表示装置5202、ベルト5203、光センサ5204、スイッチ5205等を有する。腕時計型の携帯情報端末に本発明の一態様に係る表示装置5202を用いることで、使用環境における外光の強度に左右されずに、表示装置5202に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
図20(C)はタブレット型のパーソナルコンピュータであり、筐体5301、筐体5302、本発明の一態様に係る表示装置5303、光センサ5304、光センサ5305、スイッチ5306等を有する。表示装置5303は、筐体5301及び筐体5302によって支持されている。そして、表示装置5303は可撓性を有する基板を用いて形成されているため形状をフレキシブルに曲げることができる機能を有する。筐体5301と筐体5302の間の角度をヒンジ5307及び5308において変更することで、筐体5301と筐体5302が重なるように、表示装置5303を折りたたむことができる。図示してはいないが、開閉センサを内蔵させ、上記角度の変化を表示装置5303において使用条件の情報として用いても良い。また、光センサ5304は筐体5301に付いており、光センサ5305は筐体5302に付いている。上記構成により、筐体5301に支持されている領域における表示装置5303への外光の入射角の情報と、筐体5302に支持されている領域における表示装置5303への外光の入射角の情報とを、共に表示装置5303における使用条件の情報として用いることができる。タブレット型のパーソナルコンピュータに本発明の一態様に係る表示装置5303を用いることで、使用環境における外光の強度に左右されずに、表示装置5303に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
図20(D)はビデオカメラであり、筐体5801、筐体5802、本発明の一態様に係る表示装置5803、操作キー5804、レンズ5805、接続部5806等を有する。操作キー5804及びレンズ5805は筐体5801に設けられており、表示装置5803は筐体5802に設けられている。そして、筐体5801と筐体5802とは、接続部5806により接続されており、筐体5801と筐体5802の間の角度は、接続部5806により変更が可能である。表示装置5803における映像を、接続部5806における筐体5801と筐体5802との間の角度に従って切り替える構成としても良い。ビデオカメラに本発明の一態様に係る表示装置5803を用いることで、使用環境における外光の強度に左右されずに、表示装置5803に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
図20(E)は腕時計型の携帯情報端末であり、曲面を有する筐体5701、本発明の一態様に係る表示装置5702等を有する。本発明の一態様に係る表示装置5702に可撓性を有する基板を用いることで、曲面を有する筐体5701に表示装置5702を支持させることができ、フレキシブルかつ軽くて使い勝手の良い腕時計型の携帯情報端末を提供することができる。そして、腕時計型の携帯情報端末に本発明の一態様に係る表示装置5702を用いることで、使用環境における外光の強度に左右されずに、表示装置5702に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
図20(F)は携帯電話であり、曲面を有する筐体5901に、本発明の一態様に係る表示装置5902、マイク5907、スピーカ5904、カメラ5903、外部接続部5906、操作用のボタン5905が設けられている。携帯電話に本発明の一態様に係る表示装置5902を用いることで、使用環境における外光の強度に左右されずに、表示装置5902に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
(実施の形態10)
本実施の形態では、ニューラルネットワークの構成の一例を説明する。特に、学習を行う機能(学習機能又は学習手段ともいう)を、装置に対してどのように搭載するかについて述べる。
図21(A)は、学習機能を画像処理部800に搭載した例である。具体的には、画像処理部800内に、ハードウェアHARDとしてAIC107(図5)と図11に示す回路とを搭載することで実現できる。なお、画像処理部800の構成は、図2の画像処理部160の構成を適宜採用することができる。また、AIC107内に、図11に示す回路を設けても良い。画像処理部800は、表示装置802の表示をすることができる。
<図21(A)における学習の方法>
学習を行う際は、画像処理部800に、学習データD1(例えば、実施の形態1に示す光センサ143で検出された外光強度などに対応したデータ)及び教師データD2(例えば、利用者が選んだ色彩、輝度などに対応したデータ)が入力される。学習データ及び教師データを、それぞれを学習信号及び教師信号ともいう。
具体的な学習の方法は、図10(A)または図10(B)を用いて説明したとおり、ニューラルネットワークによる計算(積和演算)を行い、出力と教師データD2との誤差が小さくなるよう重み係数を変更すればよい。重み係数の変更方法には、誤差逆伝播方式などの方法が利用できる。学習終了時、得られた重み係数は画像処理部800のAIC107に保存される。
<図21(A)における画像処理の方法>
学習終了後に画像処理(画像補正)を行う際、すなわち通常動作時には、新たに取得した入力データD3(例えば、実施の形態1に示す光センサ143で検出された外光強度などに対応するデータ)が画像処理部800に入力され、当該入力データD3及び重み係数を用いてニューラルネットワークによる計算を行い、画像処理に適したパラメータを取得する。計算は、図10(A)を用いて説明したとおり、AIC107と図11(A)、(B)に示す回路とを用いて行う。
ここで、学習終了後にニューラルネットワークによる計算で得られたパラメータは、利用者の好みの色彩、輝度などに対応したデータに近い値となることが期待される。すなわち、当該パラメータに基づいて画像処理を行うことで、利用者の嗜好に合わせた表示画像を生成することができる。
図21(A)の構成を採用することで、画像処理部800内に、学習機能を実現する回路をハードウェアHARDとして設けることが可能である。その結果、学習を行う手段(ハードウェア又はソフトウェア)を別途設ける必要がなくなるため、ニューラルネットワークの簡略化又は高速化を実現することができる。
図21(B)は、学習機能をホスト801に搭載した例である。この例では、ホスト801内に、学習機能をソフトウェアSOFTとして搭載する。そして、画像処理部800内に、画像処理に適したパラメータを取得する機能を、ハードウェアHARDとして搭載する。なお、ホスト801の構成は、図2のホスト185の構成を適宜採用することができる。
<図21(B)におけるホストの構成>
ホスト801内には、ソフトウェアSOFTとして学習を行うためのプログラム(学習プログラムともいう)が格納されている。
学習を行うためのプログラムは、図10(A)または図10(B)を用いて説明したニューラルネットワークによる計算を実現できるように構成されていることが好ましい。具体的には、ニューロンにおける入出力を行うための演算処理(図10(A))と、重み係数の変更を行うための演算処理(図10(B))とが、プログラムされていればよい。
ここで、ニューロンにおける入出力を行うための演算処理は、図10(A)に関する複数の式の演算を行うことで実現できる。詳細には、AIC107(図5)と図11(A)、(B)に示す回路とを用いて演算を行うことができる。そのため、プログラムとしては、当該複数の式及びこれらの回路に関する演算処理を実現できるように構成されていればよい。
また、重み係数の変更を行うための演算処理は、図10(B)に関する複数の式の演算を行うことで実現できる。詳細には、AIC107と図11(C)乃至(E)に示す回路とを用いて演算を行うことができる。そのため、プログラムとしては、当該複数の式及びこれらの回路に関する演算処理を実現できるように構成されていればよい。
<図21(B)における画像処理部の構成>
一方、画像処理部800内には、ハードウェアHARDとして、画像処理に適したパラメータを取得するための回路が設けられている。具体的には、AIC107と図11(A)、(B)に示す回路とが設けられている。画像処理部800内に学習機能を搭載しない点が、図21(A)の構成と異なる。
なお、ハードウェアHARDとソフトウェアSOFTとにおいて、ニューラルネットワークの計算結果が対応していることが好ましい。具体的には、両者において、同一の入力に対して同一の出力が得られるように構成されているか、あるいは、要求される誤差の範囲内の出力が得られるように構成されていればよい。より具体的には、ハードウェアHARDに与える入力(電圧)がソフトウェアSOFTに与える入力(デジタルデータ)に対応し、ハードウェアHARDの出力(電圧もしくは電流)がソフトウェアSOFTの出力(デジタルデータ)に対応していればよい。
<図21(B)における学習の方法>
学習を行う際は、図21(A)の構成とは異なり、ホスト801に、学習データD1(例えば、外光強度などに対応するデータ)及び教師データD2(例えば、利用者の選んだ色彩、輝度などに対応するデータ)が入力される。
具体的な学習の方法は、ソフトウェアSOFTにおける学習プログラムによって、図10で示したニューラルネットワークによる計算(積和演算)を行い、重み係数の変更を行う。重み係数の変更方法には、誤差逆伝播方式などの方法が利用できる。学習終了時、得られた重み係数は、ホスト801から出力され、画像処理部800のAIC107に保存される。学習をソフトウェアSOFTによって行う点が、図21(A)の構成と異なる。
<図21(B)おける画像処理の方法>
学習終了後の画像処理(通常動作)は、図21(A)の構成と同様に行うことができる。すなわち、画像処理部800内のハードウェアHARD(AIC107と、図11(A)、(B)に示す回路)を用いて、新たに取得した入力データD3と重み係数によるニューラルネットワーク計算を行い、画像処理に適したパラメータを取得する。このように、ソフトウェアSOFTではなく、画像処理部800においてハードウェアHARDを用いて行うため、効率良く演算が行える。
このように、図21(B)の構成では、通常動作時に必要のない学習機能を、ハードウェアHARDから切り離し、プログラムとしてソフトウェアSOFTに搭載することで、通常動作時に効率的な演算が実行できる。
図21(B)の構成を採用することで、画像処理を行う機能をハードウェアHARDに搭載し、学習機能をソフトウェアSOFTに搭載するというように、両者において搭載する機能を切り分けることができる。その結果、ニューラルネットワークの効率化、又は、画像処理部800の低消費電力化を実現することができる。
なお、学習機能は、ホスト801に搭載しなくてもよい。例えば、学習機能を、図2に示す他の回路に搭載しても良く、また、図2に示さない回路に搭載してもよい。また、学習機能は、ハードウェアに搭載しても良く、ソフトウェアとハードウェアの両方に搭載しても良い。
また、本実施の形態の構成は、画像処理に関するものに限定されず、幅広い分野に応用することが可能である。
例えば、空調における温度や風量の調整、照明における明るさや色合いの調整、椅子や机等の家具における高さや角度の調整、など様々な装置の調整を行う際に、本発明の一態様に係る学習機能を適用すること、又は、本実施の形態の構成を適用することができる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
(実施の形態11)
本実施の形態では、本発明の一態様に係る表示装置を用いた電子機器の一例として、演算回路に入力される学習データを、表示装置の筐体に配置された複数の光センサによって取得する電子機器について、図22を参照して説明する。
図22に、電子機器の一例として携帯型の情報端末900を示す。図22(A)は、情報端末900の表示部を有する面(以下、表示面)を示す斜視図であり、図22(B)は、情報端末900の表示面と対向する裏面を示す斜視図である。
情報端末900は、筐体902、表示装置904、操作ボタン906、スピーカー910を有する。表示装置904は、本発明の一態様に係る表示装置であり、上記実施の形態で示した演算回路を有する。表示装置904は、タッチパネルを搭載することで位置入力装置としての機能を有していてもよい。または、フォトセンサとも呼ばれる光電変換素子を表示装置の画素部に設けることで、位置入力装置としての機能を有していてもよい。
情報端末900は、操作ボタン906として、電源スイッチ、アプリケーションを操作するボタン、音量調整ボタン、又は、表示装置904を点灯又は消灯するスイッチ等のいずれかを備えることができる。なお、操作ボタン906の数及び配置は、図22に限定されず、情報端末900の機能及び/又はデザインに合わせて自由に変更することが可能である。
また、本実施の形態の情報端末900は、筐体902の複数の光センサを有する。図22に示す情報端末900では、筐体902の表示面に配置された光センサ908a、光センサ908bと、筐体902の側面に配置された光センサ908c、光センサ908d、光センサ908eと、筐体902の表示面と対向する裏面に配置された光センサ908f、908gと、を有する。
光センサ908a乃至光センサ908gは、波長毎の光強度の情報を取得する機能を有し、該情報は、学習データとして本発明の一態様に係る演算回路へと入力される。光センサ908a乃至光センサ908gとしては、例えばフォトトランジスタ、フォトセンサ、イメージセンサ等を用いることができる。また、光センサ908a乃至908gとして、図18に示す光センサを適用してもよい。
本実施の形態に係る情報端末900は、筐体902の表示面に配置された光センサ908a及び光センサ908bに加えて、筐体902の側面及び裏面に配置された光センサ908c乃至908gを有する。これによって、表示面のみに光センサが配置される場合と比較して、より信頼性よく光の入射方向を検出することが可能となる。また、複数の面に配置された光センサを有することで、該光センサへ入射する光の相対的な強度の違いをもとに、光源の方向とともに、光源の種類(面光源、点光源等)を検出することができる。また、該光センサにレンズなどを設けることで、筐体から離れた位置における光の強度を検出することができる。このようにすることで、表示面の明るさだけでなく、利用者の手元のみ明るいか、部屋全体が明るいかなど、情報端末900の使用環境に関する情報も取得することができる。
また、光センサ908a乃至光センサ908gとして、互いに異なる波長の光強度を検出可能な複数種類の光センサを設けることが好ましい。情報端末900を太陽光の存在下で使用する場合、光源である太陽は、朝方、昼間、夕方で各々特有の異なる光のスペクトルを有する。また、情報端末900を屋内や太陽光の存在しない屋外で使用する場合、光源となる蛍光灯、卓上スタンド、街灯、車のヘッドライト等の呈する光は、太陽光のスペクトルとは異なる波長を有する。そこで、光センサ908a乃至光センサ908gとして、互いに異なる波長の光を検出可能な複数種類の光センサを設けることで、より詳細に光源の情報を取得することができる。
本実施の形態の情報端末900は、筐体902の二以上の面に配置された光センサを有することで、情報端末900の使用される外光環境を精度よく測定することができる。情報端末900の使用者は、使用時に表示面のみならず、情報端末900の周囲も同時に視界に入るため、情報端末900の周囲の外光環境を精度よく測定することは、情報端末900の表示品質の向上及び/又は消費電力の削減に効果的である。
なお、光センサの配置箇所、配置個数、又は形状は、図22に示す情報端末900に限定されない。ただし、情報端末900の使用される外光環境を精度よく測定するためには光センサを筐体902の二以上の面に配置することが好ましく、配置される面が多いほどより多くの外光環境の情報を取得することができる。また、筐体902のうち、表示面やその裏面等の、面積が大きい面においては一つの面に複数の光センサを配置することが好ましい。一方、光センサの配置個数を少なく抑えることで、電子機器を小型化、軽量化することが可能となる。
また、図示していないが、図22に示した情報端末900は、筐体902の内部に他のセンサ(力、変位、位置、速度、加速度、角速度、回転数、距離、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、におい又は赤外線などを測定する機能を含むもの)を有する構成であってもよい。特に、ジャイロセンサ、加速度センサなどの傾きを測定するセンサを有する測定装置を設けることで、図22に示す情報端末900の向き(鉛直方向に対して情報端末がどの向きに向いているか)を判断して、表示装置904の画面表示を、情報端末900の向きに応じて自動的に切り替えるようにすることができる。
また、該傾きの情報と、先述した光センサ908a乃至光センサ908gが取得した外光環境の情報を組み合わせることによって、より正確に表示装置904に映す画像データの色の調整と階調の調整を行うことができる。この場合、筐体902に撮像センサを設けて、情報端末900に対する使用者の眼の位置(あるいは視線の方向)の情報を取得し、傾きの情報、外光環境の情報を組み合わせることによって、より更に正確に、表示装置904に表示する画像の色の調整と階調の調整を行うことができる。また、自動的に色の調整と階調の調整を行う方法として、本発明の一態様に係る演算回路を用いてニューラルネットワークを利用することができる。
また、図示していないが、図22に示す情報端末900は、カメラ、フラッシュライト、又は照明の用途として発光装置を有する構成であってもよい。または、情報端末900は、指紋、静脈、虹彩、又は声紋など生体情報を取得する装置を有する構成であってもよい。この構成を適用することによって、生体認証機能を有する情報端末900を実現することができる。
なお、本発明の一態様に係る表示装置は、携帯型の情報端末(携帯電話、携帯型ゲーム機、音響再生装置、携帯型書籍等を含む。)に限らず、各種電子機器に搭載することが可能である。また、表示装置を建造物又は移動体(車、飛行機等)に搭載する場合には、光センサを設ける筐体として建造物又は移動体を適用してもよい。例えば、本発明の一態様に係る表示装置を壁掛け型のディスプレイとして用いる場合には、ディスプレイの設けられた壁面に複数の光センサを設け、該光センサが取得した情報を表示装置の演算回路へ入力してもよい。または、本発明の一態様に係る表示装置をユニットバスと一体型のディスプレイとして用いる場合には、ユニットバス内に複数のセンサを設けることもできる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
(実施の形態12)
本発明の一態様に係る表示装置は、上述したものに限られず、様々な電子機器に搭載することが可能である。表示装置を建造物又は移動体(車、飛行機等)に搭載する場合には、センサを設ける筐体として建造物又は移動体を適用してもよい。
本実施の形態では、本発明の一態様に係る表示装置を用いた電子機器の一例として、演算回路に入力される学習データを、表示装置の筐体に配置された複数の光センサによって取得する電子機器について、図23乃至図29を参照して説明する。なお、本発明の一態様の表示装置は、各種電子機器に搭載することが可能である。また、電子機器の応用例として、本発明の一態様の表示装置を建造物や移動体等に搭載することも可能である。
本発明の一態様に係る表示装置を、移動体等に適用する場合、移動体は屋外等を移動することが多いため、屋内に比べて周辺の環境の変化が大きい。一方、使用者が認識すべき情報を表示する表示部が、周辺の環境の変化によって認識しにくくなってしまうと、安全性に大きな問題が生じてしまう。よって、周辺環境が変化しても、使用者の視認しやすい表示を行うことは非常に重要である。特に、今後増加すると予想されるカメラモニタリングシステム(サイドミラーやルームミラーの代わりにカメラとモニターを用いる)を採用したいわゆるミラーレスカーでは、モニターの視認性は非常に重要になる。
本発明の一態様に係る表示装置を移動体等に適用することにより、表示品質が高い表示装置を有する移動体を実現することができる。また、周辺環境が変化しても使用者が認識しやすい表示部を有する移動体を実現することができる。また、屋外は、突発的な環境の変化が発生する頻度も高い。一時的な変化が発生するたびに、表示装置の表示設定を変化させてしまうと、かえって利用者が視認しにくい場合もある。本発明の一対応に係る表示装置は、上述したニューラルネットワークを用いて、環境の変化を学習することにより、突発的な変化の影響を軽減し、利用者が視認しやすい表示を行うことができる。例えば、外光の変化を、光の方向、波長、経時変化等を含めて学習することにより、突発的に生じる光に対して表示設定の過度な変更を行うことがなくなり、突発的に生じる光の影響を軽減することができる。
図23乃至図27、図29では、電子機器の応用例として、本発明の一態様に係る表示装置を自動車に搭載した例について図示している。
図23には、車体1000を上方からみた図を示す。車体1000は、光センサを有する。光センサは、光の波長、光の強度、波長毎の光強度等の情報を取得する機能を有し、該情報は、学習データとして本発明の一態様に係る演算回路へと入力される。光センサとしては、例えばフォトトランジスタ、フォトセンサ、イメージセンサ等を用いることができる。例えば、図18に示す光センサを適用することができる。図18に示す光センサは、光の入射角度、照度等を検出することができる。
例えば図23(A)に示すように、光センサ1004Lおよび光センサ1004Rをフロントバンパーに設けることができる。また、例えば図23(B)に示すようにサイドミラーに設けることができる。また、いわゆるミラーレスカーなどのサイドミラーを設けない車体の場合、サイドミラー用のカメラが設けられている箇所に設けることもできる。また、例えば図23(C)に示すようにルーフに設けることができる。
光センサ1004は、例えば外光を検出する機能を有するので、車体1000の外側に設けることが好ましいが、光センサ1004を車体1000の内側に設けてもよい。光センサ1004を車体1000の内側に設ける場合、光センサ1004を窓部1002等に設けることができる。なお、光センサ1004を窓部1002に設ける場合、光センサの1004の検出精度が低下しないように、光センサ1004の正面およびその近傍の領域の窓部1002は十分な光の透過率を有することが好ましい。
また、例えば、光センサ1004をフロントバンパーに設け、他の光センサを窓部1002に設けることができる。また、例えば光センサ1004をルーフに設け、他の光センサをフロントバンパーに設けることができる。
光センサは複数設けることが好ましい。光センサを複数設けることにより、光源の位置や入射方向等を正確に検出することができるなど、検出精度を向上させることができる。また、光センサを複数設ける場合、対称的な場所に設けることにより、光センサが検出できる領域を大きくすることができ、安全性をより向上させることができる。
なお、光センサの配置箇所、配置個数、又は形状は、図23に限定されない。外光環境を精度よく測定するためには光センサを車体1000の二以上の面に配置することが好ましく、配置される面が多いほどより多くの外光環境の情報を取得することができる。また、車体1000のうち、側面等の、面積が大きい面においては一つの面に複数の光センサを配置することが好ましい。一方、光センサの配置個数を少なく抑えることで、センサ用の電源配線や信号配線等の部品を少なくすることができ、車体を軽量化やコスト削減をすることが可能となる。
また、光センサ1004として、互いに異なる波長の光強度を検出可能な複数種類の光センサを設けることが好ましい。自動車を太陽光の存在下で使用する場合、光源である太陽は、朝方、昼間、夕方で各々特有の異なる光のスペクトルを有する。また、自動車を屋内やトンネル内等の太陽光の存在しない屋外で使用する場合、光源となる蛍街灯、車のヘッドライト等の呈する光は、太陽光のスペクトルとは異なる波長を有する。そこで、光センサ1004として、互いに異なる波長の光を検出可能な複数種類の光センサを設けることで、より詳細に光源の情報を取得することができる。得られた光源の情報を学習データとして上述したニューラルネットワークを用いて環境の経時変化を含めて学習することにより、突発的な変化の影響を軽減し、利用者が視認しやすい表示を行うことができる。
本実施の形態の車体1000は、車体1000の二以上の面に配置された光センサを有することで、車体の外光環境を精度よく測定することができる。車体の使用者は、使用時に表示面のみならず、表示部の周囲も同時に視界に入る。そのため、車体の周囲の外光環境を精度よく測定することにより、使用者の視認性の向上および表示品質の向上を実現することができる。また、車体の周囲の外光環境を精度よく測定することにより、使用者にとって最適な表示を行うことができるため、不必要な高い輝度の表示等を行うことがなくなり、消費電力の低減を実現できる。
このようにセンサ等によって得られた情報等を学習データとして、補正された表示を行う表示部について説明する。
例えば図24は、自動車の室内におけるフロントガラス周辺を表す図である。図24では、ダッシュボードに取り付けられた表示部1051A、表示部1051B、表示部1051Cの他、ピラーに取り付けられた表示部1051Dを図示している。
表示部1051A乃至表示部1051Cは、ナビゲーション情報、スピードメーターやタコメーター、走行距離、給油量、ギア状態、エアコンの設定など、その他様々な情報を含む表示画像を提供することができる。これらの表示画像は、上述したようにセンサ等によって得られた情報に基づき補正されたものであるので、外光等の周辺環境の影響によらず、自動車のデザイン性を高める自由な配置が可能であり、かつ、利用者が視認しやすい表示画像となっている。また、表示部に表示される表示項目やレイアウトなどは、使用者の好みに合わせて適宜変更することができ、デザイン性を高めることが可能である。表示部1051A乃至表示部1051Cは、照明装置として用いることも可能である。
表示部1051Dには、車体に設けられたカメラ等からの映像を映し出すことによって、ピラーで遮られた視界(死角)を補完することができる。すなわち、自動車の外側に設けられたカメラ等の撮像画像を表示することによって、死角を補い、安全性を高めることができる。また、見えない部分を補完する映像を表示することによって、より自然に違和感なく安全確認を行うことができる。表示部1051Dは、照明装置として用いることも可能である。
また図25は、運転席と助手席にベンチシートを採用した自動車の室内を示している。図25では、ドア部に設けられた表示部1052A、ハンドルに設けられた表示部1052B、ベンチシートの座面の中央部に設けられた表示部1052Cを図示している。
表示部1052Aに、例えば、車体に設けられたカメラの撮像画像を表示することによって、ドアで遮られた視界を補完することができる。
表示部1052Bおよび表示部1052Cは、ナビゲーション情報、スピードメーターやタコメーター等のメーター、走行距離、給油量、ギア状態、エアコンの設定など、その他様々な情報を含む表示画像を提供することができる。これらの表示画像は、上述したようにセンサ等によって得られた情報に基づき補正されたものであるので、外光等の周辺環境の影響によらず、利用者が視認しやすい表示画像となっている。また、表示部に表示される表示項目やレイアウトなどは、使用者の好みに合わせて適宜変更することができる。表示部1052Bおよび表示部1052Cは、照明装置として用いることも可能である。
図26、図27に示すように自動車の室内のあらゆる場所に表示部を配置し、表示部を照明装置として用いる場合、車外への緊急信号を伝える手段とすることも有効である。例えば、使用者(運転者)の健康状態をセンサ等で検出した場合、表示部の輝度を最大として点滅させることも可能である。
上述した表示部は、湾曲した面に取り付けることが可能である。例えば、上述した表示部1051A乃至表示部1051Cおよび表示部1052A乃至表示部1052Cのように、自動車の室内のあらゆる場所に取り付けることが可能である。つまり図26(A)に示すダッシュボード1012やピラー1015のように、湾曲した面であっても取り付けることが可能である。そのため、図26(B)に図示するように窓部1061以外の車体の内部の表面に表示部1060を設ける構成とすることも可能である。当該構成とすることで、窓部1061以外の自動車の外側の画像を表示できるため、死角を補い、安全性を高めることができる。
図26(B)のように、窓部1061以外の車体の内部の表面に表示部を設ける構成とする場合、表示部の位置に応じて、図27(A)に図示するように車体の外側に複数のカメラ1071L、カメラ1072L、カメラ1073L、カメラ1071R、カメラ1072R、カメラ1073Rを設けることが好ましい。なおカメラは2以上並べて取り付けることで、対象物との距離に関する情報も得られるため好ましい。また、これらのカメラを設けることにより、上述した光センサの役割を兼ねることができ、部品数を削減することが可能となる。
図26(B)および図27(A)の構成とすることで、図27(B)に図示するように窓部1061以外の自動車の外側の画像を表示できる。そのため、ユーザの死角を補い、安全性を高められた移動体とすることができる。
また窓部1061以外の車体の内部の表面に表示部1060を設ける構成では、色々な場所に表示部を配置することで、メーターなどの表示位置を変更可能とすることができる。この場合、表示位置を自由に切り替えることができるため、外光等の周辺の環境に応じて、利用者が見えやすいように表示位置を変更することができる。また、利用者の好みや体格等によって最適な位置に表示位置を変更することができる。
また、表示装置に配置された光センサと、車体に配置された光センサとの両方からの情報に応じて学習することで、より効果的に画像補正を行うことができる。その具体例を説明する。
表示装置に配置する光センサは、配置できる数に制限がある場合がある。そのため、表示部付近の外光の強度を効果的に検出できる反面、外光の入射方向を識別するのが困難な可能性がある。例えば、他の車のライトや街灯など突発的に生じる光についても、入射方向が識別できない場合、表示設定の変更の要否を安定して判定できない可能性がある。そして、突発的に生じる光に対して過度に表示設定の変更を行った場合、かえって利用者が視認しにくくなるおそれがあることは、上述のとおりである。
そこで、車体に配置された光センサを用いることでこの問題を解決することができる。
例えば、車体の左右に配置された光センサを用い、左側を走る他の車のヘッドライトの光を検出する例を考えると、左側の光センサの方が右側の光センサより強い光を検出することになる。また、街灯の光が右側から照射される例を考えると、右側の光センサの方が左側の光センサより強い光を検出することになる。
このように、車体に配置された光センサは、表示装置に配置された光センサより、他の車のヘッドライトや街灯などの突発的に生じる光を精度よく検出することができる。
そして、表示装置及び車体に配置されたセンサからの情報を基づいて学習する際、車体に配置されたセンサが突発的に生じた光を検出した場合には画像補正を行わないというように学習させ、その結果を重み係数として保存することができる。
このように、表示装置に配置された光センサと、車体に配置された光センサとの両方からの情報に応じて学習を行うことで、表示装置に配置された光センサのみでは困難である高度な学習を行うことができる。
また、車体に配置された光センサと、表示装置に配置された光センサとにおいて異なる波長の光を検出できるように複数種類の光センサを設けてもよい。例えば、表示装置に配置された光センサで太陽光などの外光を検出し、車体に配置された光センサで突発的に生じる光を検出することも可能である。複数種類のセンサを用いることで、車体に配置された光センサからの情報を相補的に利用して学習することができる。
また、上記では、光センサについて説明したが、他のセンサ(力、変位、位置、速度、加速度、角速度、回転数、距離、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、におい又は赤外線などを測定する機能を含むもの)を有する構成であってもよい。例えば、外光は時間によって、波長や強度、入射角度などが大きく変化するので、光センサと時間センサとを組み合わせることにより、使用者にとってより適した表示を行うことができる。
また、専用のセンサを設置するだけでなく、車体における他のセンサ、カメラ、レーダ等を用いて、外光等の周辺環境を検出することも可能である。例えば、前方監視カメラ・レーダ、後方監視カメラ・レーダ、側方監視カメラ・レーダ、ドライバー監視カメラ、車両位置センサ、前方車間距離・障害物センサ、後方車間距離・障害物センサ、側方車間距離・障害物センサ、ドライブレコーダー等を用いることができる。特に、カメラを用いることでより多くの情報を得ることができ、好ましい。また、センサの機能をカメラが担うなど、機能を兼ねることにより、部品数を削減することができ、コスト削減が可能である。また、車体の軽量化を実現することができ、移動または輸送にかかるエネルギーやコストを削減することができる。例えば、カメラモニタリングシステムを採用したいわゆるミラーレスカーの場合、カメラを光センサとして用い、表示部に本発明の一態様に係る表示装置を用いることは、部品の増加を最小限に抑えることができ、好適である。
また、センサ、カメラ、レーダ、表示装置等の車体内の通信環境は、種々の通信規格を適用することができる。例えば、Ethernat、CAN、LIN、MOST、FlexRay等が挙げられる。特に、Ethernatは、高速通信を実現することができるため好適である。図29は、車体における通信環境を示すブロック図である。図29に示すように、カメラ1033R、カメラ1033L、光センサ1034、光センサ1035から得られた情報を演算回路1032へ出力し、演算回路1032から得られた情報を表示部1031に表示することが可能である。なお、センサ、回路、表示部等の配置箇所、配置個数、又は形状は、図29に示す車体に限定されない。
また、車体における表示部の位置も種々の位置に設けることができる。車外であってもよいし、車内であってもよい。車外に設ける場合、車内に設ける場合よりも外光等の周辺環境の影響が大きいため、上述した表示装置を適用することにより得られる効果はより大きくなる。また、車内に設ける場合、車体は曲線が多いため、車体に沿った表示装置を設けることが好ましく、可撓性を有する表示装置を用いることが好ましい。
なお、表示部は、反射型表示素子と発光型表素子とを用いたハイブリッド(複合型)表示装置に限られず、種々の表示装置を適用することが可能である。例えば、液晶素子、シャッター方式のMEMS(Micro Electro Mechanical System)素子、光干渉式のMEMS素子、マイクロカプセル方式、電気泳動方式、エレクトロウェッティング方式、電子粉流体(登録商標)方式等を適用した表示素子、OLED(Organic Light Emitting Diode)、LED(Light Emitting Diode)、QLED(Quantum−dot Light Emitting Diode)等を適用することができる。中でも、反射型表示素子と発光型表素子とを用いたハイブリッド(複合型)表示装置は、発光素子を光らせて画像を映す機能と、環境の光を反射して画像を映す機能とを有するため、周辺環境に合わせて表示性能を大きく変化させることができる。よって、利用者の視認性を好ましい状態に調整しやすく、移動体に好適に用いることができる。
<移動体の例>
移動体の例について説明する。
本発明の一態様に係る表示装置を適用可能な移動体は、表示部を設けることができる表面を有している移動体に用いることができる。これら移動体の具体例を図28(A)乃至(D)に示す。
図28(A)は自動車1301である。自動車1301は、窓部1311を有する。本発明の一態様に係る移動体は、窓部1311を有する自動車1301に用いることができる。自動車1301に設置された表示部は、センサ、カメラ等によって得られた周辺環境の情報に基づき補正された表示を行うことができるので、外光等の周辺環境の影響によらず、利用者が視認しやすい表示を実現することができる。また、カメラを用いる場合、自動車1301内の表示部に自動車1301の外の画像を表示させることができる。そのため、窓部1311以外での死角が低減された自動車1301とすることができる。
図28(B)はバス1302である。バス1302は、窓部1311を有する。本発明の一態様に係る移動体は、窓部1311を有するバス1302に用いることができる。バス1302に設置された表示部は、センサ、カメラ等によって得られた周辺環境の情報に基づき補正された表示を行うことができるので、外光等の周辺環境の影響によらず、利用者が視認しやすい表示を実現することができる。また、カメラを用いる場合、バス1302内の表示部にバス1302の外の画像を表示させることができる。そのため、窓部1311以外での死角が低減されたバス1302とすることができる。
図28(C)は電車1303である。電車1303は、窓部1311を有する。本発明の一態様に係る移動体は、窓部1311を有する電車1303に用いることができる。電車1303に設置された表示部は、センサ、カメラ等によって得られた周辺環境の情報に基づき補正された表示を行うことができるので、外光等の周辺環境の影響によらず、利用者が視認しやすい表示を実現することができる。また、カメラを用いる場合、電車1303内の表示部に電車1303の外の画像を表示させることができる。そのため、窓部1311以外での死角が低減された電車1303とすることができる。
図28(D)は飛行機1304である。飛行機1304は、窓部1311を有する。本発明の一態様に係る移動体は、窓部1311を有する飛行機1304に用いることができる。飛行機1304に設置された表示部は、センサ、カメラ等によって得られた周辺環境の情報に基づき補正された表示を行うことができるので、外光等の周辺環境の影響によらず、利用者が視認しやすい表示を実現することができる。また、カメラを用いる場合、飛行機1304内の表示部に飛行機1304の外の画像を表示させることができる。そのため、窓部1311以外での死角が低減された飛行機1304とすることができる。
なお、本発明の一態様に係る表示装置は、上述した移動体に限らず、各種電子機器に搭載することが可能である。また、光センサを設ける筐体として建造物を適用してもよい。例えば、本発明の一態様に係る表示装置を壁掛け型のディスプレイとして用いる場合には、ディスプレイの設けられた壁面に複数の光センサを設け、該光センサが取得した情報を表示装置の演算回路へ入力してもよい。または、本発明の一態様に係る表示装置をユニットバスと一体型のディスプレイとして用いる場合には、ユニットバス内に複数のセンサを設けることもできる。
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
11  記憶回路
12  参照用記憶回路
13  回路
14  回路
15  電流源回路
101  反射型表示素子
102  表示部
103  発光型表示素子
104  表示部
105a  SD
105b  SD
106  CTL
107  AIC
108  SPC
109  入力装置
143  光センサ
144  開閉センサ
146  加速度センサ
150  インターフェース
151  フレームメモリ
152  デコーダ
153  センサコントローラ
154  信号コントローラ
155  クロック生成回路
160  画像処理部
170  メモリ
173  タイミングコントローラ
175  レジスタ
181  タッチパネル
182  キーボード
183  ポインティングデバイス
185  ホスト
200  表示装置
201  基板
202  基板
203  発光素子
204  液晶素子
205  トランジスタ
206  トランジスタ
207  画素電極
208  共通電極
209  液晶層
210  層
210a  層
210b  層
250  基板
251  基板
252  接着層
270  回路
271  回路
272  回路
273  回路
274  回路
300  画素
301  液晶素子
302  発光素子
303  トランジスタ
304  容量素子
305  トランジスタ
306  トランジスタ
307  容量素子
308  トランジスタ
309  トランジスタ
310  トランジスタ
311  導電層
312  絶縁層
313  半導体層
314  導電層
315  導電層
316  絶縁層
317  導電層
318  絶縁層
319  導電層
320  導電層
321  導電層
322  半導体層
323  導電層
324  絶縁層
325  絶縁層
326  導電層
327  導電層
328  絶縁層
329  導電層
330  絶縁層
331  EL層
332  導電層
333  接着層
334  着色層
335  スペーサ
336  遮光層
340  導電層
341  絶縁層
342  半導体層
343  絶縁層
344  導電層
345  絶縁層
346  導電層
347  導電層
348  導電層
349  導電層
350  画素
351  画素
351a  画素
351b  画素
351c  画素
351d  画素
360  絶縁層
361  導電層
362  接着層
363  絶縁層
364  配向膜
365  配向膜
366  液晶層
500  基板
501  画素部
502  走査線駆動回路
503  走査線駆動回路
504  IC
505  IC
506  配線
508  FPC
509  FPC
510  FPC
511  配線
512  配線
513  画素
514  表示領域
515  表示領域
516  表示領域
517  表示領域
518  表示領域
600  光センサ
601  遮光膜
602  遮光膜
800  画像処理部
801  ホスト
900  情報端末
902  筐体
904  表示装置
906  操作ボタン
908a  光センサ
908b  光センサ
908c  光センサ
908d  光センサ
908e  光センサ
908f  光センサ
908g  光センサ
910  スピーカー
1000  車体
1002  窓部
1004  光センサ
1004L  光センサ
1004R  光センサ
1012  ダッシュボード
1015  ピラー
1031 表示部
1032 演算回路
1033L  カメラ
1033R  カメラ
1034  光センサ
1035  光センサ
1051A  表示部
1051B  表示部
1051C  表示部
1051D  表示部
1052A  表示部
1052B  表示部
1052C  表示部
1060  表示部
1061  窓部
1071L  カメラ
1071R  カメラ
1072L  カメラ
1072R  カメラ
1073L  カメラ
1073R  カメラ
1301  自動車
1302  バス
1303  電車
1304  飛行機
1311  窓部
5001  筐体
5002  筐体
5003  表示装置
5004  表示装置
5005  マイクロホン
5006  スピーカ
5007  操作キー
5008  スタイラス
5201  筐体
5202  表示装置
5203  ベルト
5204  光センサ
5205  スイッチ
5301  筐体
5302  筐体
5303  表示装置
5304  光センサ
5305  光センサ
5306  スイッチ
5307  ヒンジ
5701  筐体
5702  表示装置
5801  筐体
5802  筐体
5803  表示装置
5804  操作キー
5805  レンズ
5806  接続部
5901  筐体
5902  表示装置
5903  カメラ
5904  スピーカ
5905  ボタン
5906  外部接続部
5907  マイク
6200  情報端末
6201  情報端末
6221  筐体
6222  表示装置
6223  操作ボタン
6224  スピーカ
6225X  光センサ
6225Y  光センサ

Claims (10)

  1.  第1の表示素子と、第2の表示素子と、第1の回路と、第2の回路と、を有し、
     前記第1の回路は、第1の画像信号を第1のパラメータに従って補正する機能と、第2の画像信号を第2のパラメータに従って補正する機能と、を有し、
     前記第2の回路は、ニューラルネットワークを用いた演算処理により前記第1のパラメータを生成する機能と、前記ニューラルネットワークを用いた演算処理により前記第2のパラメータを生成する機能と、を有し、
     前記第1の表示素子は、前記第1の回路において補正された前記第1の画像信号を用い、かつ光の反射を利用して階調を表示する機能を有し、
     前記第2の表示素子は、前記第1の回路において補正された前記第2の画像信号を用い、かつ発光の強度により階調を表示する機能を有する表示装置。
  2.  第1の表示素子と、第2の表示素子と、第1の回路と、第2の回路と、を有し、
     前記第1の回路は、第1の画像信号を第1のパラメータに従って補正する機能と、第2の画像信号を第2のパラメータに従って補正する機能と、を有し、
     前記第2の回路は、アナログ演算処理を用いて前記第1のパラメータを生成する機能と、前記アナログ演算処理を用いて前記第2のパラメータを生成する機能と、を有し、
     前記第1の表示素子は、前記第1の回路において補正された前記第1の画像信号を用い、かつ光の反射を利用して階調を表示する機能を有し、
     前記第2の表示素子は、前記第1の回路において補正された前記第2の画像信号を用い、かつ発光の強度により階調を表示する機能を有する表示装置。
  3.  請求項1または請求項2において、
     前記第2の回路は、
     メモリセルと、参照用メモリセルと、第3の回路と、第4の回路と、を有し、
     前記メモリセルは、第1のアナログデータに応じた第1の電流を生成する機能と、前記第1のアナログデータ及び第2のアナログデータに応じた第2の電流を生成する機能と、を有し、
     前記参照用メモリセルは、参照データに応じた参照電流を生成する機能を有し、
     前記第3の回路は、前記第1の電流が前記参照電流より小さい場合に前記第1の電流と前記参照電流との差分に応じた第3の電流を生成する機能と、前記第3の電流を保持する機能と、を有し、
     前記第4の回路は、前記第1の電流が前記参照電流より大きい場合に前記第1の電流と前記参照電流との差分に応じた第4の電流を生成する機能と、前記第4の電流を保持する機能と、を有し、
     前記第3の回路または前記第4の回路は、前記第2の電流と、前記第3の電流または前記第4の電流のいずれか一とから、第5の電流を生成する機能を有する表示装置。
  4.  表示装置と、前記表示装置を内包する筐体と、前記筐体に配置された複数の光センサとを有し、
     前記複数の光センサは、光強度の情報を取得する機能を有し、
     前記表示装置は、第1の回路と、第2の回路と、表示素子とを有し、
     前記第1の回路は、画像信号をパラメータに従って補正する機能を有し、
     前記第2の回路は、前記光強度の情報をもとに、前記ニューラルネットワークを用いた演算処理により前記パラメータを生成する機能を有し、
     前記表示素子は、前記第1の回路において補正された前記画像信号を用いて、画像を表示する機能を有する電子機器。
  5.  表示装置と、前記表示装置を内包する筐体と、前記筐体に配置された複数の光センサとを有し、
     前記複数の光センサは、光強度の情報を取得する機能を有し、
     前記表示装置は、第1の表示素子と、第2の表示素子と、第1の回路と、第2の回路と、を有し、
     前記第1の回路は、第1の画像信号を第1のパラメータに従って補正する機能と、第2の画像信号を第2のパラメータに従って補正する機能と、を有し、
     前記第2の回路は、前記光強度の情報をもとに、ニューラルネットワークを用いた演算処理により前記第1のパラメータを生成する機能と、前記光強度の情報をもとに、前記ニューラルネットワークを用いた演算処理により前記第2のパラメータを生成する機能と、を有し、
     前記第1の表示素子は、前記第1の回路において補正された前記第1の画像信号を用い、かつ光の反射を利用して階調を表示する機能を有し、
     前記第2の表示素子は、前記第1の回路において補正された前記第2の画像信号を用い、かつ発光の強度により階調を表示する機能を有する電子機器。
  6.  請求項4又は請求項5において、
     前記複数の光センサとして、互いに異なる波長の光の光強度の情報を取得する機能を有する複数種類の光センサを有する電子機器。
  7.  移動体に搭載される表示装置であって、
     前記表示装置は、第1の回路と、第2の回路と、表示素子と、第1の光センサを有し、
     前記第1の回路は、画像信号をパラメータに従って補正する機能を有し、
     前記第2の回路は、前記第1の光センサからの光強度の情報と、前記移動体に設けられた第2の光センサからの光強度の情報とをもとに、前記ニューラルネットワークを用いた演算処理により前記パラメータを生成する機能を有し、
     前記表示素子は、前記第1の回路において補正された前記画像信号を用いて、画像を表示する機能を有する表示装置。
  8.  移動体に搭載される表示装置であって、
     前記表示装置は、第1の表示素子と、第2の表示素子と、第1の回路と、第2の回路と、第1の光センサと、を有し、
     前記第1の回路は、第1の画像信号を第1のパラメータに従って補正する機能と、第2の画像信号を第2のパラメータに従って補正する機能と、を有し、
     前記第2の回路は、前記第1の光センサからの光強度の情報と、前記移動体に配置された第2の光センサからの光強度の情報をもとに、ニューラルネットワークを用いた演算処理により前記第1のパラメータを生成する機能と、前記光強度の情報をもとに、前記ニューラルネットワークを用いた演算処理により前記第2のパラメータを生成する機能と、を有し、
     前記第1の表示素子は、前記第1の回路において補正された前記第1の画像信号を用い、かつ光の反射を利用して階調を表示する機能を有し、
     前記第2の表示素子は、前記第1の回路において補正された前記第2の画像信号を用い、かつ発光の強度により階調を表示する機能を有する表示装置。
  9.  請求項7又は請求項8において、
     前記第2の光センサを複数有し、
     前記複数の光センサとして、互いに異なる波長の光の光強度の情報を取得する機能を有する複数種類の光センサを有する表示装置。
  10.  表示装置を有する移動体であって、
     前記表示装置は、第1の回路と、第2の回路と、表示素子と、第1の光センサと、を有し、
     前記移動体は第2の光センサを有し、
     前記第1の回路は、画像信号をパラメータに従って補正する機能を有し、
     前記第2の回路は、前記第1の光センサからの光強度の情報と前記第2の光センサからの光強度の情報をもとに、ニューラルネットワークを用いた演算処理により前記パラメータを生成する機能を有し、
     前記表示素子は、前記第1の回路において補正された前記画像信号を用いて、画像を表示する機能を有する移動体。
PCT/IB2017/052838 2016-06-20 2017-05-15 表示装置及び移動体 WO2017221086A1 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2016121419 2016-06-20
JP2016-121419 2016-06-20
JP2016150999 2016-08-01
JP2016151107 2016-08-01
JP2016-151107 2016-08-01
JP2016-150999 2016-08-01

Publications (1)

Publication Number Publication Date
WO2017221086A1 true WO2017221086A1 (ja) 2017-12-28

Family

ID=60783403

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2017/052838 WO2017221086A1 (ja) 2016-06-20 2017-05-15 表示装置及び移動体

Country Status (1)

Country Link
WO (1) WO2017221086A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734278A (zh) * 2018-05-23 2018-11-02 天津市气象科学研究所 一种基于多重神经网络逐步逼近法的低能见度预报方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04238390A (ja) * 1991-01-22 1992-08-26 Matsushita Electric Ind Co Ltd ディスプレイ装置
JPH08292752A (ja) * 1995-04-20 1996-11-05 Nec Corp 輝度自動調整装置
JP2005343332A (ja) * 2004-06-03 2005-12-15 Mitsubishi Electric Corp 車載用dvdシステム
JP2006146017A (ja) * 2004-11-24 2006-06-08 Mitsubishi Electric Corp 表示装置
JP2011203342A (ja) * 2010-03-24 2011-10-13 Mitsubishi Electric Corp 車載用表示装置
JP2012037776A (ja) * 2010-08-09 2012-02-23 Canon Inc 映像表示装置及びその制御方法、プログラム
WO2012077258A1 (ja) * 2010-12-10 2012-06-14 パナソニック株式会社 表示装置及びその駆動方法
CN103198786A (zh) * 2012-01-09 2013-07-10 联想(北京)有限公司 一种显示器及显示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04238390A (ja) * 1991-01-22 1992-08-26 Matsushita Electric Ind Co Ltd ディスプレイ装置
JPH08292752A (ja) * 1995-04-20 1996-11-05 Nec Corp 輝度自動調整装置
JP2005343332A (ja) * 2004-06-03 2005-12-15 Mitsubishi Electric Corp 車載用dvdシステム
JP2006146017A (ja) * 2004-11-24 2006-06-08 Mitsubishi Electric Corp 表示装置
JP2011203342A (ja) * 2010-03-24 2011-10-13 Mitsubishi Electric Corp 車載用表示装置
JP2012037776A (ja) * 2010-08-09 2012-02-23 Canon Inc 映像表示装置及びその制御方法、プログラム
WO2012077258A1 (ja) * 2010-12-10 2012-06-14 パナソニック株式会社 表示装置及びその駆動方法
CN103198786A (zh) * 2012-01-09 2013-07-10 联想(北京)有限公司 一种显示器及显示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734278A (zh) * 2018-05-23 2018-11-02 天津市气象科学研究所 一种基于多重神经网络逐步逼近法的低能见度预报方法

Similar Documents

Publication Publication Date Title
US11114047B2 (en) Electronic device, operation method of the electronic device, and moving vehicle
JP7032064B2 (ja) 電子機器
US10739893B2 (en) Display device
US11404016B2 (en) Display device and electronic device having neural network for calculating set values of luminance and color tone
US10262597B2 (en) Pixel circuit and driving method thereof, array substrate and display apparatus
JP7083601B2 (ja) 電子機器
US7961171B2 (en) Electrooptic device and electronic apparatus
KR101358169B1 (ko) 표시 장치 및 그 구동방법
US10923059B2 (en) Operation method of electronic device
WO2017221086A1 (ja) 表示装置及び移動体
US11043516B2 (en) Sensing driving circuit having improved performance and sensing, display panel, and display device
WO2018002766A1 (ja) 表示装置、移動体
KR20190095912A (ko) 표시 장치
KR102367473B1 (ko) 표시 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17814836

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17814836

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP