WO2022200936A1 - 電子機器および表示システム - Google Patents

電子機器および表示システム Download PDF

Info

Publication number
WO2022200936A1
WO2022200936A1 PCT/IB2022/052409 IB2022052409W WO2022200936A1 WO 2022200936 A1 WO2022200936 A1 WO 2022200936A1 IB 2022052409 W IB2022052409 W IB 2022052409W WO 2022200936 A1 WO2022200936 A1 WO 2022200936A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
user
electronic device
transistor
function
Prior art date
Application number
PCT/IB2022/052409
Other languages
English (en)
French (fr)
Inventor
山崎舜平
掛端哲弥
Original Assignee
株式会社半導体エネルギー研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社半導体エネルギー研究所 filed Critical 株式会社半導体エネルギー研究所
Priority to JP2023508139A priority Critical patent/JPWO2022200936A1/ja
Priority to US18/282,910 priority patent/US20240169539A1/en
Publication of WO2022200936A1 publication Critical patent/WO2022200936A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
    • H01L29/66Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76Unipolar devices, e.g. field effect transistors
    • H01L29/772Field effect transistors
    • H01L29/78Field effect transistors with field effect produced by an insulated gate
    • H01L29/786Thin film transistors, i.e. transistors with a channel being at least partly a thin film
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements

Definitions

  • One aspect of the present invention relates to an electronic device and a display system.
  • one aspect of the present invention is not limited to the above technical field.
  • Technical fields of one embodiment of the present invention disclosed in this specification and the like include semiconductor devices, display devices, light-emitting devices, power storage devices, memory devices, electronic devices, lighting devices, input devices, input/output devices, and driving methods thereof. , or methods for producing them, can be mentioned as an example.
  • Patent Literature 1 discloses a visual fatigue level measuring device that determines a user's visual fatigue level by comparing eye movements in two or more time intervals.
  • remote classes include simultaneous interactive classes and on-demand classes.
  • the simultaneous interactive class the class is conducted while communicating interactively in real time.
  • the teacher and the students are in the same space, so it is relatively easy for the teacher to grasp how the students are doing.
  • the teacher judges the state of the students only from the image data displayed on the display unit of the electronic device. It is difficult to determine the student's degree of fatigue, especially eye fatigue, based on the image data.
  • an object of one embodiment of the present invention is to provide an electronic device capable of estimating a user's state.
  • an object of one embodiment of the present invention is to provide an electronic device that can output character string information according to the state of the user.
  • Another object of one embodiment of the present invention is to provide a display system capable of estimating the state of a remote participant.
  • Another object of one embodiment of the present invention is to provide a display system that can output character string information according to the state of a remote participant.
  • an object of one embodiment of the present invention is to provide a novel electronic device.
  • One aspect of the present invention is an electronic device including a camera, a processing section, and a display section.
  • the camera has a function of repeatedly capturing images of the user's eyes and their surroundings to generate a plurality of image data.
  • the processing unit acquires information including at least one of frequency of blinking, time required for one blinking, distance between the upper eyelid and the lower eyelid, direction of the line of sight, and area of the pupil from the plurality of image data over time.
  • a function of detecting changes, a function of estimating the degree of eye fatigue of the user based on the temporal change of information, a function of generating character string information according to the estimated degree of eye fatigue of the user have
  • the display unit has a function of displaying character string information.
  • the degree of eye fatigue of the user is estimated using a trained model, and the trained model is generated by performing supervised learning on a neural network.
  • the processing unit preferably includes an arithmetic circuit having a function of performing a sum-of-products operation, and the arithmetic circuit preferably estimates the degree of eye fatigue of the user based on changes in information over time.
  • the arithmetic circuit preferably has a transistor containing a metal oxide in a channel formation region.
  • Another aspect of the present invention is an electronic device including a camera, a processing section, a display section, and headphones.
  • Headphones have a sensor unit.
  • the sensor unit has a function of acquiring information over time.
  • the processing unit has a function of estimating the stress state of the user based on the temporal change of information and a function of generating character string information according to the stress state of the user.
  • the display unit has a function of displaying character string information.
  • the user's stress state is estimated using a trained model, and the trained model is generated by performing supervised learning on a neural network.
  • the processing unit preferably includes an arithmetic circuit having a function of performing product-sum calculation, and the arithmetic circuit preferably estimates the stress state of the user based on changes in information over time.
  • the arithmetic circuit preferably has a transistor containing a metal oxide in a channel formation region.
  • a first electronic device includes a camera and a processing unit.
  • the camera has a function of generating a plurality of image data by repeatedly capturing images of the eyes of the user of the first electronic device and their surroundings.
  • the processing unit acquires information including at least one of frequency of blinking, time required for one blinking, distance between the upper eyelid and the lower eyelid, direction of the line of sight, and area of the pupil from the plurality of image data over time.
  • a function of detecting changes, a function of estimating the degree of eye fatigue of the user based on the temporal change of information, a function of generating character string information according to the estimated degree of eye fatigue of the user, have
  • the second electronic device has a display.
  • the display unit has a function of displaying character string information received from the first electronic device.
  • the degree of eye fatigue of the user is estimated using a trained model, and the trained model is generated by performing supervised learning on a neural network.
  • the processing unit includes an arithmetic circuit having a function of performing a sum-of-products operation, and that the arithmetic circuit estimates the user's eye fatigue level based on changes in information over time. .
  • a display system that has a first electronic device and a second electronic device and is capable of acquiring eye information of a user of the first electronic device.
  • a first electronic device includes a camera, a processing unit, and headphones. Headphones have a sensor section, and the sensor section has a function of acquiring temporal changes in information.
  • the processing unit has a function of estimating the stress state of the user based on the temporal change of information and a function of generating character string information according to the stress state of the user.
  • the second electronic device has a display.
  • the display unit has a function of displaying character string information received from the first electronic device.
  • the user's stress state is estimated using a trained model, and the trained model is generated by performing supervised learning on a neural network.
  • the processing unit includes an arithmetic circuit having a function of performing sum-of-products calculation, and the arithmetic circuit estimates the stress state of the user based on changes in information over time.
  • One aspect of the present invention can provide an electronic device capable of estimating the state of the user.
  • one embodiment of the present invention can provide an electronic device that can output character string information according to the state of the user.
  • one aspect of the present invention can provide a display system capable of estimating the status of remote participants.
  • one aspect of the present invention can provide a display system capable of outputting character string information according to the state of a remote participant.
  • one embodiment of the present invention can provide a novel electronic device.
  • FIG. 1 is a diagram illustrating an example of use of an electronic device.
  • 2A and 2B are diagrams for explaining display examples of a display unit of the electronic device.
  • 3A and 3B are diagrams for explaining display examples of the display unit of the electronic device.
  • 4A to 4E are block diagrams illustrating configuration examples of electronic devices.
  • 5A and 5B are block diagrams illustrating configuration examples of electronic devices.
  • 6A and 6B are block diagrams illustrating configuration examples of the display system.
  • FIG. 7 is a flowchart illustrating an operation example of the electronic device.
  • FIG. 8 is a flowchart illustrating an operation example of the electronic device.
  • FIG. 9 is a flowchart illustrating an operation example of the electronic device.
  • FIG. 10 is a flowchart illustrating an operation example of the electronic device.
  • FIG. 11A and 11B are diagrams illustrating a method of estimating the state of the user.
  • FIG. 11C is a schematic diagram illustrating the user's eye and the surroundings of the user's eye.
  • 12A and 12B are diagrams illustrating configuration examples of neural networks.
  • FIG. 13 is a diagram illustrating a configuration example of an arithmetic circuit of a neural network.
  • FIG. 14 is a diagram illustrating a configuration example of an arithmetic circuit of a neural network.
  • FIG. 15 is a diagram illustrating a configuration example of an arithmetic circuit of a neural network.
  • FIG. 16 is a perspective view showing an example of a display device.
  • 17A is a cross-sectional view showing an example of a display device
  • 17B and 17C are cross-sectional views showing examples of transistors.
  • FIG. 18 is a cross-sectional view showing an example of a display device.
  • 19A to 19D are cross-sectional views showing examples of display devices.
  • 20A to 20F are cross-sectional views illustrating an example of a method for manufacturing a display device.
  • 21A to 21G are top views showing examples of pixels.
  • 22A to 22F are top views showing examples of pixels.
  • 23A to 23H are top views showing examples of pixels.
  • 24A to 24D are top views showing examples of pixels.
  • 25A to 25D are top views showing examples of pixels.
  • 25E is a cross-sectional view showing an example of a display device
  • 26A and 26B are perspective views showing an example of a display module.
  • FIG. 27 is a cross-sectional view showing an example of a display device.
  • FIG. 28 is a cross-sectional view showing an example of a display device.
  • FIG. 29 is a cross-sectional view showing an example of a display device.
  • FIG. 30 is a cross-sectional view showing an example of a display device.
  • FIG. 31 is a cross-sectional view showing an example of a display device.
  • 32A to 32E are diagrams illustrating examples of electronic devices.
  • 33A to 33C are diagrams illustrating examples of electronic devices.
  • 34A to 34E are diagrams illustrating examples of electronic devices.
  • 35A and 35B are diagrams showing examples of electronic devices.
  • 36A to 36C are diagrams illustrating examples of electronic devices.
  • film and “layer” can be interchanged depending on the case or situation.
  • conductive layer can be changed to the term “conductive film.”
  • insulating film can be changed to the term “insulating layer”.
  • An electronic device or display system includes a camera, a processing section, and a display section. Accordingly, one aspect of the present invention can estimate the state of the user. Specifically, by analyzing images of the user's eyes and surroundings captured by a camera, the user's condition can be estimated, and information about the estimated user's condition can be displayed on the display unit. . Furthermore, by transmitting the information on the estimated state of the user to an electronic device different from the electronic device and receiving it by the electronic device different from the electronic device, the information on the state of the user can be transmitted to the electronic device. can be displayed on the display of different electronic devices. Note that in this specification and the like, an electronic device receiving information or data can be rephrased as an electronic device receiving information or data or an electronic device acquiring information or data.
  • the user of the electronic device can recognize the state of the user himself/herself. Further, according to one embodiment of the present invention, a user of an electronic device different from the electronic device can recognize the state of the user of the electronic device. Therefore, one embodiment of the present invention can be suitably used for a meeting in which a plurality of electronic devices share voices, images, materials, and the like via a network. Examples of such meetings include remote classes, remote conferences, remote interviews, remote interviews, and the like. Hereinafter, a remote class, a remote meeting, a remote interview, a remote interview, or the like may be referred to as a remote meeting.
  • FIG. 1 shows how remote classes are being conducted using an electronic device 10 and an electronic device 20 .
  • Fig. 1 shows how teacher 21 is teaching in a classroom.
  • Image data is generated by photographing the state of the lesson using the camera 22 .
  • the image data is transmitted to the electronic device 10 owned by the student 11 via the network 30 .
  • Fig. 1 shows a student 11 taking classes at home.
  • Electronic device 10 receives the image data via network 30 .
  • the student 11 can take classes by visually recognizing the image data displayed on the display unit of the electronic device 10 .
  • the electronic device 10 is equipped with a camera 12 .
  • the camera 12 generates image data by photographing the student 11 and its surroundings.
  • the image data preferably includes the eyes of the student 11 .
  • the image data is transmitted to the electronic device 20 used by the teacher 21 via the network 30 .
  • the electronic device 20 receives the image data transmitted from the electronic device 10, and the image data is displayed on the display unit of the electronic device 20.
  • the teacher 21 can confirm the state of the student 11 by viewing the image data displayed on the display unit of the electronic device 20 .
  • the state of the class is captured using the camera 22, but it may be captured using the camera provided in the electronic device 20.
  • the electronic device 10 and the electronic device 20 can transmit and receive data to conduct remote classes.
  • FIG. 1 shows the teacher 21 and the student 11 participating in the remote class, a plurality of students may participate in the remote class. At this time, since each student uses the electronic device 10, two or more electronic devices 10 are used in the distance learning.
  • FIGS. 2A and 2B show display examples of a display portion included in an electronic device of one embodiment of the present invention.
  • FIGS. 2A and 2B show examples of remote meetings using the first to eighth electronic devices. Note that the number of electronic devices used in the remote meeting is not limited to eight, and may be two or more and seven or less, or nine or more.
  • the remote meeting will be a remote class.
  • a teacher is assumed as the user of the first electronic device.
  • the first electronic device corresponds to the electronic device 20 described above, and the teacher corresponds to the teacher 21 described above.
  • students are assumed as users of the second to eighth electronic devices.
  • One of the second to eighth electronic devices corresponds to the electronic device 10 described above, and one of the students corresponds to the student 11 described above.
  • the first electronic device has a display unit 1000_1. Also, the first electronic device is used by the user 1020_1.
  • FIG. 2A shows a display example of the display unit 1000_1 immediately after the remote meeting is started. Further, FIG. 2B shows a display example of the display unit 1000_1 after a while from the start of the remote meeting.
  • images 1010_2 to 1010_8 are displayed on the display unit 1000_1.
  • Images 1010_2 to 1010_8 are images captured by cameras included in the second to eighth electronic devices, respectively.
  • the second to eighth electronic devices are used by users 1020_2 to 1020_8, respectively.
  • the images 1010_2 to 1010_8 include the user 1020_2 to 1020_8 and their surroundings, respectively.
  • the images 1010_2 to 1010_8 preferably include the eyes of the users 1020_2 to 1020_8, respectively.
  • the images 1010_2 to 1010_8 are images captured by the cameras of the second to eighth electronic devices, respectively. That is, the images 1010_2 to 1010_8 include the user 1020_2 to 1020_8 and their surroundings, respectively.
  • the image including the character string is displayed so as to overlap at least a portion of the image including the user with a high degree of eye fatigue and its surroundings.
  • an image 1030_3 is displayed so as to overlap the image 1010_3, as shown in FIG. 2B.
  • the image 1030_3 includes a character string (“may be sleepy” in FIG. 2B).
  • the image including the character string is displayed so as to overlap at least a portion of the image including the user whose line of sight is off and the surroundings thereof.
  • an image 1030_4 is displayed so as to overlap the image 1010_4, as shown in FIG. 2B.
  • the image 1030_4 includes a character string (“tendency to look away” in FIG. 2B).
  • the image including the character string is displayed so as to overlap at least a portion of the image including the user with high fatigue and its surroundings.
  • an image 1030_5 is displayed so as to overlap the image 1010_5, as shown in FIG. 2B.
  • Image 1030_5 includes a character string (“high fatigue level” in FIG. 2B).
  • the user of the first electronic device can recognize the states of users other than the user as character string information.
  • the user 1020_1 can easily recognize a user who has a high degree of eye fatigue, a user whose line of sight is off, and the like, and can closely communicate with these users. can be planned.
  • each image displayed on the display unit 1000_1 becomes small, making it difficult to grasp the state of the user displayed on the display unit 1000_1. Therefore, one embodiment of the present invention can be suitably used for a remote meeting with a large number of people.
  • character strings reflecting the states of the users 1020_2 to 1020_8 may be displayed on the display units of the second to eighth electronic devices, respectively.
  • 3A and 3B show display examples of the display unit of the third electronic device.
  • the third electronic device has a display unit 1000_3.
  • FIG. 3A shows a display example of the display unit 1000_3 immediately after the remote meeting is started. Further, FIG. 3B shows a display example of the display unit 1000_3 after a while from the start of the remote meeting.
  • an image 1010_1 is displayed on the display section 1000_3.
  • An image 1010_1 includes an image captured by a camera included in the first electronic device.
  • image 1010_1 includes user 1020_1 and its surroundings.
  • the image 1010_1 includes a blackboard, whiteboard, or electronic blackboard as the surroundings of the user 1020_1.
  • Image 1031 is displayed so as to overlap the image 1010_1.
  • Image 1031 includes a character string (in FIG. 3B, "Ten minutes left until class ends. Let's do our best.”).
  • a user other than the first electronic device can recognize the state of the user himself/herself as character string information. For example, even if the user 1020_3 does not have any subjective symptoms, the user 1020_3 can easily recognize his or her own condition, and can regain concentration on the remote meeting.
  • the function of the electronic device of one embodiment of the present invention is not limited to displaying character string information.
  • it may have a function of outputting character string information as voice, or a function of outputting a warning sound such as a beep sound.
  • a warning sound such as a beep sound.
  • the remote meeting may be a remote conference, a remote interview, a remote interview, or the like.
  • the user of the first electronic device includes, for example, a boss in a teleconference, an interviewer in a remote interview, a doctor in the remote interview, and the like.
  • Users of electronic devices other than the first electronic device include, for example, subordinates in teleconferences, applicants or examinees in remote interviews, counselors in remote interviews, and the like.
  • 4A to 4E are block diagrams illustrating electronic devices of one embodiment of the present invention.
  • the electronic device 50 shown in FIG. 4A includes a camera 51, a display section 52, and a processing section 53.
  • the camera 51, the display unit 52, and the processing unit 53 mutually transmit and receive various signals via bus wiring (not shown in FIG. 4A).
  • the camera 51 has a function of capturing an image of the user of the electronic device 50 and generating image data.
  • the imaging is preferably performed repeatedly at regular intervals.
  • a plurality of image data can be generated by repeatedly performing the imaging.
  • the image data preferably includes the user and its surroundings, and more preferably includes the user's eyes. By generating a plurality of pieces of image data including the user's eyes, it is possible to detect information regarding eye blinks with high accuracy.
  • the processing unit 53 receives the plurality of image data via bus wiring or the like.
  • the processing unit 53 has a function of performing image analysis.
  • Character string information can be generated by analyzing the plurality of image data.
  • the character string information reflects the state of the user included in the plurality of image data.
  • the processing unit 53 includes at least one of a processing device capable of executing a program including a neural network, an arithmetic circuit having a function of performing a sum-of-products operation, and the like.
  • an arithmetic circuit having a function of performing sum-of-products operations it is particularly preferable to use an arithmetic circuit having a function of performing sum-of-products operations.
  • an arithmetic circuit having a function of performing a sum-of-products operation can be rephrased as an arithmetic circuit capable of arithmetic processing based on a neural network.
  • image analysis can be performed with low power. In other words, power consumption of an electronic device according to one embodiment of the present invention or a display system including the electronic device can be reduced. Note that the details of the arithmetic circuit having the function of performing the sum-of-products operation will be described in Embodiment Mode 2. FIG.
  • a neural network may be used for the above image analysis.
  • a neural network it is particularly preferable to use deep learning.
  • deep learning for example, convolutional neural network (CNN: Convolutional Neural Network), recurrent neural network (RNN: Recurrent Neural Network), autoencoder (AE: Autoencoder), variational autoencoder (VAE: Variational Autoencoder), random forest (Random Forest), Support Vector Machine, Gradient Boosting, Generative Adversarial Networks (GAN), etc. are preferably used.
  • CNN Convolutional neural network
  • RNN Recurrent Neural Network
  • AE Autoencoder
  • VAE Variational Autoencoder
  • random forest Random Forest
  • Support Vector Machine Gradient Boosting
  • GAN Generative Adversarial Networks
  • the processing unit 53 also has a function of determining whether the user's condition is equal to or greater than a threshold. Whether or not to display the character string information may be determined based on the result of the determination. For example, by configuring the electronic device 50 to output character string information only when the state of the user is equal to or greater than a threshold value, the user of the electronic device 50 can read the character string information output by the electronic device 50. becomes easier to notice.
  • the threshold is preferably set in advance.
  • the processing unit 53 estimates the user's condition, it is preferable that the user's condition is quantified. By quantifying the user's condition, the determination can be facilitated.
  • a numerical value indicating a user's condition or a numerically expressed user's condition may be simply referred to as a user's condition.
  • the processing unit 53 may have a function of estimating the state of the user from the plurality of image data and a function of generating character string information based on the state of the user.
  • the user's condition includes the user's degree of fatigue, the user's gaze direction, the user's stress condition, and the like.
  • the user's eye fatigue level is also included.
  • the degree of eye fatigue can be rephrased as eye strain or the degree of eye strain.
  • by including the user's eyes and their surroundings in the plurality of image data it is possible to highly accurately estimate the degree of fatigue of the user's eyes or the direction of the user's line of sight.
  • the processing unit 53 includes a processing unit 53a having a function of estimating the state of the user from a plurality of image data, and a processing unit 53b having a function of generating character string information based on the state of the user. may have.
  • the electronic device 50 shown in FIG. 4B includes a processing section 53 having a processing section 53a and a processing section 53b. At least one of the processing units 53a and 53b has a function of determining whether the user's condition is equal to or greater than a threshold.
  • FIG. 4B illustrates a configuration in which the electronic device 50 includes the processing unit 53a and the processing unit 53b, the configuration is not limited to this.
  • the processing unit 53a and the processing unit 53b may be provided separately in two electronic devices.
  • the processing unit 53 has a function of detecting temporal changes in eye-related information from a plurality of image data, a function of estimating the user's condition based on the temporal changes in eye-related information, and a function of estimating the user's condition. and a function of generating character string information.
  • the eye-related information includes at least one of blink frequency, time required for each blink, distance between the upper and lower eyelids, line of sight direction, and pupil area.
  • the processing unit 53 has a processing unit 53c having a function of detecting temporal changes in eye information from a plurality of image data, and a function of estimating the user's condition based on the temporal changes in eye information. It may have a processing unit 53d and a processing unit 53b that generates character string information according to the state of the user.
  • the electronic device 50 shown in FIG. 4C includes a processing section 53 having processing sections 53b to 53d. At least one of the processing units 53d and 53b has a function of determining whether the state of the user is equal to or higher than a threshold.
  • FIG. 4C exemplifies a configuration in which the electronic device 50 includes the processing units 53b to 53d, but the configuration is not limited to this. A part of the processing units 53b to 53d may be provided in a certain electronic device, and another part of the processing units 53b to 53d may be provided in another electronic device. Alternatively, the processing units 53b to 53d may be provided separately in three electronic devices.
  • the display unit 52 has a function of outputting the character string information generated by the processing unit 53.
  • the character string information is displayed on the display unit 52 as image data.
  • the character string information is displayed as image data on the display unit 52 so as to overlap other image data. Therefore, the character string information described in this specification and the like can sometimes be rephrased as image data including character strings that reflect the state of the user.
  • the electronic device 50 shown in FIG. 4A and the like includes one display unit 52, but the number of display units 52 provided in the electronic device may be two or more.
  • the electronic device of one embodiment of the present invention may include a sensor portion in addition to the camera, the display portion, and the processing portion.
  • An electronic device 50 shown in FIG. 4D includes a camera 51 , a display section 52 , a processing section 54 and a sensor section 55 .
  • the camera 51, the display unit 52, the processing unit 54, and the sensor unit 55 mutually transmit and receive various signals via bus wiring (not shown in FIG. 4D).
  • the sensor unit 55 has a function of detecting (acquiring) information.
  • the sensor unit 55 has a function of detecting (obtaining) information including at least one of the user's pulse, blood pressure, and body temperature.
  • the information is detected at regular intervals while the remote meeting is being held.
  • the sensor unit 55 has a function of acquiring temporal changes in information.
  • the sensor unit 55 can be said to have a function of acquiring time-dependent changes in information including at least one of the user's pulse, blood pressure, and body temperature.
  • a light receiving device (also referred to as a sensor device) or the like may be used as the sensor section 55 .
  • a light receiving device that detects visible light a light receiving device that detects infrared light, and the like can be used.
  • the sensor unit 55 can image the user and its surroundings.
  • the sensor unit 55 is provided in headphones, for example.
  • the headphones described in this specification, etc. include earphones that are used close to the ear, headphones that combine one or two earphones with a headband or chin band, and headphones with a built-in microphone (also known as a headset). It also includes earphones with a built-in microphone, etc.
  • the headphones can be configured to be directly connected to the housing of the electronic device 50 or wired.
  • the housings of the headphones and the electronic device 50 may have magnets. Accordingly, the headphone can be fixed to the housing of the electronic device 50 by magnetic force, which is preferable because it facilitates storage.
  • the headphones having the sensor unit 55 do not necessarily have to be included in the electronic device 50 .
  • the headphones may have a communication unit and have a wireless communication function.
  • the sensor unit 55 included in the headphone can transmit detected information to the processing unit 54 using a wireless communication function.
  • the transmission of the above information to the processing unit 54 is repeated at regular intervals while the remote meeting is being held.
  • the processing unit 54 receives the information from the sensor unit 55 via the communication unit of the electronic device 50 using the wireless communication function.
  • the processing section 54 receives the information from the sensor section 55 via the bus wiring. The reception of information is repeated at regular intervals while the remote meeting is being held. Therefore, the processing unit 54 can accept changes over time in the above information.
  • the processing unit 54 has a function of analyzing changes over time in the above information.
  • Character string information can be generated by analyzing the change over time of the above information.
  • the character string information reflects the state of the user of the headphone having the sensor unit 55 .
  • a neural network, an arithmetic circuit with a function to perform a sum-of-products operation, etc. can be used to analyze the change over time of the above information.
  • the processing unit 54 includes at least one of a processing device capable of executing a program including a neural network, an arithmetic circuit having a function of performing a sum-of-products operation, and the like.
  • a processing device capable of executing a program including a neural network, an arithmetic circuit having a function of performing a sum-of-products operation, and the like.
  • a neural network or arithmetic circuit a neural network or arithmetic circuit applicable to the image analysis described above can be used.
  • the processing unit 54 may have a function of estimating the user's condition based on the temporal change of the information and a function of generating character string information based on the user's condition.
  • the user's condition includes the user's degree of fatigue, the user's stress condition, and the like.
  • the processing unit 54 may have a processing unit 54a that estimates the user's condition based on changes in information over time, and a processing unit 54b that generates character string information from the user's condition.
  • the electronic device 50 shown in FIG. 4E comprises a processing section 54 having a processing section 54a and a processing section 54b. At least one of the processing units 54a and 54b has a function of determining whether the state of the user is equal to or higher than a threshold. Note that FIG. 4E illustrates a configuration in which the electronic device 50 includes the processing unit 54a and the processing unit 54b, but the configuration is not limited to this.
  • the processing unit 54a and the processing unit 54b may be provided separately in two electronic devices.
  • the electronic device of one embodiment of the present invention can display character string information that reflects the state of the user of the electronic device. For example, if the electronic device is used by a student in a remote class, a subordinate in a remote conference, an applicant or examinee in a remote interview, or a counselor in a remote interview, the user's own condition may be detected even if there are no subjective symptoms. It will be easier to recognize, and it will be possible to increase the ability to concentrate on remote meetings.
  • the electronic device of one embodiment of the present invention may include one or more of a frame memory, an audio device, a control unit, a communication unit, a battery, and the like, in addition to the camera, the display unit, and the processing unit. .
  • An electronic device 50 shown in FIG. 5A includes a camera 51, a display unit 52, a processing unit 53, a frame memory 62, an audio 63, a control unit 64, a communication unit 65, and a battery 66. It is different from the electronic device 50 shown in FIG. 4A in this respect.
  • the camera 51, the display unit 52, the processing unit 53, the frame memory 62, the audio 63, the control unit 64, and the communication unit 65 mutually transmit and receive various signals via the bus wiring BW.
  • the display unit 52 has a drive circuit unit.
  • the driver circuit portion has a gate driver circuit and a source driver circuit. Note that one gate driver circuit and one source driver circuit may be provided, or a plurality of them may be provided.
  • the audio 63 has, for example, one or more of a microphone and a speaker.
  • the control unit 64 has a CPU, GPU, and memory.
  • the communication unit 65 can perform wireless communication and exchange data with other terminals or servers existing on the network.
  • the image data generated by the control unit 64 is stored in the frame memory 62 via the bus wiring BW.
  • the image data stored in the frame memory 62 is displayed on the display section 52 via the source driver included in the drive circuit section.
  • the display unit 52 outputs character string information generated by the processing unit 53 in addition to the image data
  • the display unit 52 displays the image data and the character string information.
  • the character string information is preferably displayed on the image data so as to overlap the image data.
  • Data (analog data) acquired by the camera or sensor device is converted into digital data by the processing unit 53 and sent to the control unit 64 .
  • the sensor device acquires user information
  • the processing unit 53 estimates the user's condition from the detected information.
  • the control unit 64 receives information about the state of the user from the processing unit 53 and reflects it in image data viewed by the user.
  • the electronic device includes one or more of a camera, a display unit, a processing unit, a frame memory, an audio unit, a control unit, a communication unit, a battery, etc., and one of an optical system and a motion detection unit. Or you may provide both.
  • Examples of such electronic devices include information terminals (wearable devices) that can be worn on the head, such as head-mounted displays, glasses-type terminals, and goggle-type terminals.
  • the electronic device 50 shown in FIG. 5B includes a camera 51, a display unit 52, a processing unit 53, a frame memory 62, an audio 63, a control unit 64, a communication unit 65, a battery 66, and an optical device. It differs from the electronic device 50 shown in FIG. 5A in that it includes a system 67 and a motion detection unit 68 .
  • the display section 52 is composed of the display section 52R and the display section 52L
  • the optical system 67 is composed of the optical system 67R and the optical system 67L.
  • the camera 51, the display unit 52, the processing unit 53, the frame memory 62, the audio 63, the control unit 64, the communication unit 65, and the motion detection unit 68 mutually transmit and receive various signals via the bus wiring BW.
  • the motion detection unit 68 has an inertial sensor and has a function of detecting the motion of the user's body.
  • the inertial sensor here represents a sensor that detects the acceleration and angular velocity of an object.
  • the optical system 67 has, for example, a lens. Also, if necessary, it may have a reflector, a half mirror, a waveguide, and the like. In the example shown in FIG. 5B, two optical systems 67 are provided for the right eye and the left eye, but the number of optical systems 67 may be one, or three or more.
  • one embodiment of the present invention is not limited to the electronic devices having the structures illustrated in FIGS. 4A to 5B.
  • one aspect of the invention may be a display system with two electronic devices.
  • FIG. 6A is a block diagram showing a configuration example of a display system according to one aspect of the present invention.
  • display system 70 includes electronic device 71 and electronic device 72 .
  • the electronic device 71 corresponds to the electronic device 50 described above. Therefore, the description of the electronic device 50 described above can be referred to for the contents of the electronic device 71 other than those described below.
  • the electronic device 72 may have some or all of the functions of the electronic device 50 described above.
  • the electronic device 72 may have the functions of the display section 52 of the electronic device 50 .
  • the electronic device 71 and the electronic device 72 are connected via a network 73.
  • the network 73 is the Internet, intranet, extranet, PAN (Personal Area Network), LAN (Local Area Network), CAN (Campus Area Network), MAN (Metropolitan Area Network), WAN (Wide Area Network), GAN (Global Area Network), and other computer networks. Note that the network 73 includes wired or wireless communication.
  • the electronic device 71 has a camera 75 and a processing section 76.
  • the electronic device 71 uses a camera 75 to capture images of the user and its surroundings. In addition, it is preferable that the imaging is performed so as to include the eyes of the user.
  • the electronic device 71 also uses the processing unit 76 to generate character string information.
  • the camera 75 corresponds to the camera 51 described above. Also, the processing unit 76 corresponds to the processing unit 53 described above.
  • the electronic device 71 may have a sensor unit. At this time, the electronic device 71 detects (acquires) information using the sensor unit. For example, the electronic device 71 uses the sensor unit to detect (acquire) information including at least one of the user's pulse, blood pressure, and body temperature. In addition, the electronic device 71 acquires the temporal change of information using the sensor unit. For example, the electronic device 71 uses the sensor unit to acquire temporal changes in information including at least one of the user's pulse, blood pressure, and body temperature. The electronic device 71 also uses the processing unit 76 to generate character string information.
  • the sensor section corresponds to the sensor section 55 described above.
  • the processing unit 76 corresponds to the processing unit 54 described above.
  • the electronic device 72 has a processing section 77 .
  • the electronic device 72 receives the character string information from the electronic device 71 via the network 73 and displays the character string information on the display section of the electronic device 72 .
  • the display section of the electronic device 72 has a function of displaying the character string information received from the electronic device 71 .
  • the electronic device 72 can output character string information according to the state of the user of the electronic device 71 .
  • the electronic device 72 can output character string information according to the state of the user of the electronic device 71 who participates in the remote meeting at the remote location. can.
  • the display system 70 can estimate the state of the remote participant.
  • the display system 70 can output character string information according to the state of the remote participant.
  • the user of the electronic device 72 can recognize the state of the user of the electronic device 71 as character string information.
  • the user of the electronic device 72 can use the electronic device 71 based on information other than the image captured by the camera 75 provided in the electronic device 71 or the sound obtained by the microphone provided in the electronic device 71. 71 user status can be recognized. Therefore, the user of the electronic device 72 can communicate closely with the user of the electronic device 71 .
  • the client guest
  • the host may use the electronic device 72 .
  • the electronic device 71 is used by students in remote classes, subordinates in remote meetings, applicants or examinees in remote interviews, counselors in remote interviews, etc.
  • electronic devices 72 are used by teachers in remote classes, remote It may be used by a boss in a meeting, an interviewer in a remote interview, a doctor in a remote interview, and the like.
  • the data communicated between the electronic device 71 and the electronic device 72 is not limited to character string information.
  • the data communicated between the electronic device 71 and the electronic device 72 may be image data of the user of the electronic device 71 and its surroundings.
  • the electronic device 72 may generate character string information based on the received image data using the processing unit 77 and display the character string information on the display unit of the electronic device 72 .
  • the processing unit 77 corresponds to the processing unit 53 described above.
  • the data communicated between the electronic devices 71 and 72 may be information including at least one of the user's pulse, blood pressure, and body temperature.
  • the electronic device 72 may generate character string information using the processing unit 77 and display the character string information on the display unit of the electronic device 72 .
  • the processing unit 77 corresponds to the processing unit 54 described above.
  • the generation of the character string information includes image data of the user of the electronic device 71 and its surroundings, and/or information including at least one of the pulse, blood pressure, and body temperature of the user of the electronic device 71.
  • characteristics of the user of the electronic device 71 personality, behavior, etc.
  • character string information suitable for the user of the electronic device 71 can be generated. That is, it is possible to generate character string information that takes individual differences into account.
  • the processing unit 76 may have the functions of the processing unit 53a or the processing unit 54a described above, and the processing unit 77 may have the functions of the processing unit 53b or the processing unit 54b described above.
  • data communicated between the electronic device 71 and the electronic device 72 is information on the state of the user estimated by the processing unit 76 .
  • the amount of data regarding the user's condition is small. The amount of communication between the device 71 and the electronic device 72 can be reduced.
  • the processing unit 76 may have the functions of the processing units 53c and 53d described above, and the processing unit 77 may have the functions of the processing unit 53b described above.
  • data communicated between the electronic device 71 and the electronic device 72 is information on the state of the user estimated by the processing unit 76 . Compared to the image data of the user and its surroundings, the data amount of the information regarding the user's condition is small, so the amount of communication between the electronic devices 71 and 72 can be reduced.
  • the processing unit 76 may have the functions of the processing unit 53c described above, and the processing unit 77 may have the functions of the processing units 53b and 53d described above.
  • the data communicated between the electronic device 71 and the electronic device 72 is the temporal change of the information regarding the user's eyes detected by the processing unit 76 .
  • the amount of data regarding the change over time of the information on the user's eyes is small, so the amount of communication between the electronic devices 71 and 72 can be reduced.
  • FIG. 6A shows a configuration in which the display system 70 includes an electronic device 71 and an electronic device 72
  • the present invention is not limited to this.
  • the display system may include m electronic devices (where m is an integer equal to or greater than 3).
  • the m electronic devices are connected via a network 73 .
  • Some or all of the m electronic devices correspond to the electronic device 50 described above.
  • some of the m electronic devices may have some or all of the functions of the electronic device 50 described above. This allows remote meetings with at least m people.
  • the display system of one aspect of the present invention may include two electronic devices and one server.
  • FIG. 6B is a block diagram showing a configuration example of a display system according to one aspect of the present invention.
  • display system 70 includes electronic device 71 , electronic device 72 , and server 74 .
  • the electronic device 71 corresponds to the electronic device 50 described above. Therefore, the description of the electronic device 50 described above can be referred to for the contents of the electronic device 71 other than those described below.
  • the electronic device 72 has the functions of the electronic device 71 described above.
  • the electronic device 71 , the electronic device 72 , and the server 74 are connected via a network 73 .
  • the server 74 has a processing unit 78 .
  • the server 74 receives data from the electronic device 71 via the network 73 .
  • the data includes image data obtained by imaging the user of the electronic device 71 and its surroundings, information including at least one of the pulse, blood pressure, and body temperature of the user of the electronic device 71, and estimated by the processing unit of the electronic device 71. It includes at least one of information on the user's condition and information on the eyes of the user of the electronic device 71, which changes with time.
  • the server 74 uses the processing unit 78 to generate character string information from the above data. A large number of operations are performed when generating string information from the above data. With this configuration, the amount of calculations performed by the electronic devices 71 and 72 can be reduced, and the slowdown of the operating speeds of the electronic devices 71 and 72 can be suppressed.
  • the server 74 transmits the generated character string information to the electronic device 72 via the network 73 .
  • the electronic device 72 receives the character string information from the server 74 via the network 73, and displays the character string information on the display section of the electronic device 72.
  • the user of the electronic device 72 can recognize the state of the user of the electronic device 71 as character string information.
  • the user of the electronic device 72 can use the electronic device 71 based on information other than the image captured by the camera 75 provided in the electronic device 71 or the sound obtained by the microphone provided in the electronic device 71 . can recognize the state of the user of Therefore, the user of the electronic device 72 can communicate closely with the user of the electronic device 71 .
  • step S111 the camera 51 images the user and its surroundings to generate image data.
  • the image data preferably includes the user's eyes.
  • step S ⁇ b>112 the processing unit 53 receives image data generated by the camera 51 .
  • steps S111 and S112 are repeatedly performed. By repeating steps S111 and S112, a plurality of pieces of image data in which the user and his surroundings are imaged are generated. Therefore, processing unit 53 accepts a plurality of image data.
  • step S113 the processing unit 53 detects eye information from the plurality of image data received in step S112.
  • the eye-related information includes at least one of blink frequency, time required for each blink, distance between the upper and lower eyelids, line of sight direction, and pupil area.
  • step S114 the processing unit 53 estimates the degree of eye fatigue based on the detected eye information.
  • step S115 the processing unit 53 determines whether the degree of eye fatigue is equal to or greater than a threshold. If it is determined that the degree of eye fatigue is greater than or equal to the threshold, processing unit 53 generates character string information in step S116.
  • step S117 the display unit 52 displays the generated character string information. In addition to displaying the character string information on the display unit 52 in step S117, the character string information may be voiced or an alarm may be sounded.
  • the user can recognize information such as the degree of eye fatigue as character string information.
  • the user can regain concentration on the remote meeting by being alerted.
  • step S121 the sensor unit 55 acquires user information.
  • step S ⁇ b>122 the processing unit 54 receives user information acquired by the sensor unit 55 .
  • steps S121 and S122 are repeatedly performed. By repeating steps S121 and S122, the processing unit 54 receives a plurality of pieces of user information.
  • step S123 the processing unit 54 detects changes over time in the acquired user information.
  • step S124 the processing unit 54 estimates the stress state based on the detected temporal change of the user's information.
  • step S125 the processing unit 54 determines whether the stress state is equal to or greater than the threshold. If the stress state is determined to be equal to or greater than the threshold, the processing unit 54 generates character string information in step S126. Then, in step S127, the display unit 52 displays the generated character string information. In step S127, in addition to displaying the generated character string information on the display unit 52, the character string information may be voiced or an alarm may be sounded.
  • the user can recognize information such as their stress status as character string information.
  • the user can consider whether or not to take a break as appropriate after being alerted.
  • a user of the electronic device 71 is defined as a first user, and a user of the electronic device 72 is defined as a second user. It is also assumed that the state of the user estimated by the electronic device is the fatigue level of the user's eyes.
  • step S131 the camera 75 of the electronic device 71 images the first user and its surroundings to generate image data.
  • the image data includes the eyes of the first user.
  • step S ⁇ b>132 the processing unit 76 of the electronic device 71 receives image data generated by the camera 75 .
  • steps S131 and S132 are repeatedly performed. By repeating steps S131 and S132, a plurality of image data of the first user and its surroundings are generated. Therefore, the processing unit included in electronic device 71 accepts a plurality of pieces of image data.
  • step S133 the processing unit 76 detects eye information from the plurality of image data received in step S132.
  • the eye-related information includes at least one of blink frequency, time required for each blink, distance between the upper and lower eyelids, line of sight direction, and pupil area.
  • step S134 the processing unit 76 estimates the degree of eye fatigue of the first user based on the detected eye information.
  • step S135 the processing unit 76 determines whether the degree of eye fatigue of the first user is equal to or greater than a threshold value. If it is determined that the eye fatigue level of the first user is equal to or greater than the threshold, the processing unit 76 generates character string information in step S136.
  • step S137 electronic device 72 accepts the generated character string information.
  • step S138 the display section of electronic device 72 displays the received character string information. In addition to displaying the character string information on the display unit of the electronic device 72 in step S138, the character string information may be voiced or an alarm may be sounded.
  • the second user can recognize the degree of eye fatigue of the first user as character string information.
  • the second user can give advice suitable for the stress state of the first user.
  • a user of the electronic device 71 is defined as a first user
  • a user of the electronic device 72 is defined as a second user. It is also assumed that the state of the user estimated by the electronic device is the fatigue level of the user's eyes.
  • step S141 the camera 75 of the electronic device 71 images the first user and its surroundings to generate image data.
  • the image data includes the eyes of the first user.
  • step S142 the server 74 receives image data generated by the camera. Note that steps S141 and S142 are repeatedly performed. By repeating steps S141 and S142, a plurality of image data of the first user and its surroundings are generated. Therefore, server 74 accepts a plurality of image data.
  • step S143 the processing unit 78 of the server 74 detects eye information from the multiple pieces of image data received in step S142.
  • the eye-related information includes at least one of blink frequency, time required for each blink, distance between the upper and lower eyelids, line of sight direction, and pupil area.
  • step S144 the processing unit 78 estimates the eye fatigue level of the first user based on the detected eye information.
  • step S145 the processing unit 78 determines whether the degree of eye fatigue of the first user is equal to or greater than a threshold value. If it is determined that the eye fatigue level of the first user is greater than or equal to the threshold value, the processing unit 78 generates character string information in step S146.
  • step S147 electronic device 72 accepts the generated character string information.
  • step S148 the display section of electronic device 72 displays the received character string information.
  • step S148 in addition to displaying the character string information on the display unit of the electronic device 72, the character string information may be voiced or an alarm may be sounded.
  • the second user can recognize the degree of eye fatigue of the first user as character string information.
  • the second user can give advice suitable for the stress state of the first user.
  • steps S115, S125, S135, and S145 may be omitted.
  • the frequency of blinking may decrease.
  • the time required for one blink may become longer, or the distance between the upper eyelid and the lower eyelid may become narrower.
  • the autonomic nerves include the sympathetic nerves that become active during physical activity, during the daytime, and when the body is tense, and the parasympathetic nerves that become active during rest, nighttime, and relaxation.
  • the sympathetic nervous system becomes dominant, pupil dilation, increased heart rate, and increased blood pressure occur.
  • the parasympathetic nervous system becomes dominant, constriction of the pupil, suppression of heart rate, decrease in blood pressure, drowsiness, and the like occur.
  • the degree of fatigue or stress can be evaluated objectively. That is, blink frequency, time required per blink, distance between upper and lower eyelids, gaze direction, pupil (pupil diameter or pupil area), heart rate or pulse, blood pressure, body temperature, blink , posture, etc. can be evaluated to objectively evaluate the degree of fatigue or stress.
  • the display device and display system of one aspect of the present invention it is possible to estimate the degree of eye fatigue of the user, the degree of fatigue of the user, the stress state, and the like from the information about the user.
  • Information about the user includes at least one of frequency of blinking, time required for blinking, distance between upper and lower eyelids, direction of gaze, area of pupil, pulse, blood pressure, and body temperature.
  • the blink frequency, the time required for each blink, the distance between the upper and lower eyelids, the direction of the line of sight, the area of the pupil, etc. can be detected from the image data including the eyes and their surroundings.
  • the image data preferably includes the user's eyes and their surroundings. This makes it possible to estimate the degree of eye fatigue of the user, the degree of fatigue of the user, the stress state, and the like.
  • the image data including the user and its surroundings can be obtained by the camera included in the electronic device and display system of one embodiment of the present invention. It is preferable that the electronic device and the processing unit included in the display system have a function of processing the image data. For example, the processing preferably removes the region outside the eye from the image data. In other words, it is preferable to cut out the region including the eye and replace the cut-out region including the eye with the image data. As a result, the region (area) occupied by the eyes can be increased with respect to the region (area) of the entire image data, and the degree of fatigue of the user's eyes or the direction of the user's line of sight can be estimated with high accuracy. can.
  • the processing may be performed using a system using AI (Artificial Intelligence).
  • the user's state can be estimated using a trained model or an arithmetic circuit capable of arithmetic processing based on a neural network.
  • a neural network is preferably used as the trained model, and a convolutional neural network is more preferably used.
  • the arithmetic circuit it is preferable to use an arithmetic circuit having a function of performing a sum-of-products operation, which is described in Embodiment Mode 2.
  • input data 91 is input to a neural network 92.
  • Output data 93 is also output from the neural network 92 .
  • the output data 93 includes the results of operations performed by the neural network 92 .
  • the neural network 92 includes a trained model or an arithmetic circuit capable of arithmetic processing based on the neural network.
  • a trained model is preferably generated by performing supervised learning on a neural network.
  • the neural network learning is not limited to supervised learning, and may be semi-supervised learning.
  • the image data preferably includes the subject's eyes. Moreover, it is preferable that the subject is a plurality of subjects. Note that the subject may include the user whose condition is estimated. Then, the neural network 92 is trained so that the output data 93 becomes information about the subject's condition.
  • the input data is image data including the subject and its surroundings
  • the neural network 92 is trained using a training data set in which the teacher data (also called labels) is information about the state of the subject. can be done.
  • a trained model can be generated by performing supervised learning on the neural network 92 .
  • the learning of the neural network 92 corresponds to optimization of the weight data held in the cells of the arithmetic circuit.
  • the input data 91 prepare image data including the subject and its surroundings, and the subject's characteristics (personality, gestures, etc.).
  • the image data preferably includes the subject's eyes.
  • the subject is a plurality of subjects. Note that the subject may include the user whose condition is estimated. Then, the neural network 92 is trained so that the output data 93 becomes information about the subject's condition.
  • Information about the subject includes at least one of blink frequency, time required per blink, distance between the upper and lower eyelids, gaze direction, pupil area, pulse, blood pressure, and body temperature.
  • the subject is a plurality of subjects.
  • the subject may include the user whose condition is estimated. Then, the neural network 92 is trained so that the output data 93 becomes information about the subject's condition.
  • the input data 91 prepare information about the subject and the subject's characteristics (personality, gestures, etc.).
  • the subject is a plurality of subjects.
  • the subject may include the user whose condition is estimated. Then, the neural network 92 is trained so that the output data 93 becomes information about the subject's condition.
  • the method of estimating the user's state using a neural network is not limited to the above. Another example of the method of estimating the user's state using a neural network will be described with reference to FIG. 11B.
  • input data 91 is input to a neural network 94.
  • the intermediate data 95 is output from the neural network 94 .
  • the intermediate data 95 includes the computation results performed by the neural network 94 .
  • intermediate data 95 and input data 96 are input to neural network 97 .
  • the output data 93 is output from the neural network 97 .
  • the output data 93 includes the results of operations performed by the neural network 97 .
  • Each of the neural network 94 and the neural network 97 includes a trained model or an arithmetic circuit capable of arithmetic processing based on the neural network.
  • a trained model is preferably generated by performing supervised learning on a neural network.
  • the neural network learning is not limited to supervised learning, and may be semi-supervised learning.
  • the image data preferably includes the subject's eyes. Moreover, it is preferable that the subject is a plurality of subjects. Note that the subject may include the user whose condition is estimated. Then, the neural network 94 is trained so that the intermediate data 95 becomes information about the subject. Information about the subject includes at least one of blink frequency, time required per blink, distance between upper and lower eyelids, direction of gaze, and pupil area. Note that the information about the subject may include one or more of pulse, blood pressure, and body temperature.
  • the above can be rephrased as learning the neural network 94 using a learning data set in which the input data is image data including the subject and its surroundings, and the teacher data is information about the subject.
  • a trained model can be generated by performing supervised learning on the neural network 94 .
  • the learning of the neural network 94 corresponds to optimization of the weight data held in the cells of the arithmetic circuit.
  • the subject's characteristics are prepared.
  • the subject may be the user whose state is estimated, or the subject may be someone other than the user whose state is estimated.
  • the subject may be plural persons, and the subject may include the user who estimates the state. Then, the neural network 97 is trained so that the output data 93 becomes information about the state of the subject.
  • the above can be rephrased as training the neural network 97 using a training data set in which the input data is information about the subject and the features of the subject, and the teacher data is information about the state of the subject.
  • a trained model can be generated by performing supervised learning on the neural network 97 .
  • learning of the neural network 97 corresponds to optimization of weight data held in cells of the arithmetic circuit.
  • information about the state of the user in consideration of individual differences from the image data including the user and its surroundings and the features (personality, gestures, etc.) of the user. can be output.
  • the output data 93 is not limited to information regarding the user's condition.
  • it may be character string information.
  • the character string information preferably reflects information about the user's condition.
  • the neural network 92 shown in FIG. 11A and the neural network 97 shown in FIG. 11B are preferably trained such that the output data 93 is character string information.
  • a fast Fourier transform may be performed on the time-dependent change in the user's eye information. At this time, the degree of eye fatigue of the user can be estimated based on the periodicity of the change over time of the information. , can be more precise.
  • a method of estimating the degree of fatigue of the user's eyes or the direction of the user's line of sight a method of using blink and/or eyelid movement, a method of using black eye movement, or a scleral reflex method and so on.
  • Emit near-infrared light from an electronic device The near-infrared light is applied to the user's eye or the vicinity of the user's eye.
  • the reflected near-infrared light enters the electronic device. This makes it possible to detect the state of the object.
  • FIG. 11C is a schematic diagram for explaining the user's eyes and the surroundings of the user's eyes. 11C, the user's eyebrows 960, the user's eyelids (upper eyelid 966 and lower eyelid 967), the user's eyelashes 961, the user's pupil 962, the user's cornea 963, and the user's sclera 965. is shown.
  • the electronic device is shown in FIG. It has a function of detecting any one or more selected from the sclera 965 of a person.
  • the electronic device of one embodiment of the present invention can detect the user's eyes illustrated in FIG. 11C or the surroundings of the user's eyes. For example, when the user closes the eyelids (upper eyelid 966 and lower eyelid 967), near-infrared light is applied to the surface of the eyelids, that is, the skin. When the eyelids are open, near-infrared light is applied to the surface of the eyeball. Since the reflectance is different on the surface of the skin and the eyeball, the reflected near-infrared light intensity is different. By continuously monitoring the reflected near-infrared light intensity, the electronic device can detect the number of blinks and/or the time taken for each blink.
  • the number of blinks may decrease.
  • the intervals between blinks become longer, and the duration of one blink may become longer.
  • the degree of fatigue of the user can be estimated from one or both of the number of times the user blinks and the time required for each blink.
  • the threshold value may be set so that the degree of fatigue of the user is determined to be high when the number of times the user blinks in a certain period is equal to or less than the threshold value.
  • the threshold may be set such that when the duration of one blink of the user in a certain period of time is equal to or greater than the threshold, it is determined that the degree of fatigue of the user is high. .
  • an electronic device of one embodiment of the present invention has an eye tracking function. By detecting the line of sight of the user by eye tracking, it is possible to estimate the region where the user is gazing.
  • the electronic device preferably has a light-emitting device that emits infrared light (including near-infrared light).
  • This embodiment can be implemented by appropriately combining at least part of it with other embodiments described herein.
  • the arithmetic circuit can be used, for example, as an arithmetic circuit having a function of performing sum-of-products arithmetic. Further, the arithmetic circuit can be used for arithmetic processing of a neural network. Note that an arithmetic circuit having a function of performing a sum-of-products operation can be rephrased as an arithmetic circuit of a neural network. As the neural network, for example, a hierarchical neural network can be applied.
  • a hierarchical neural network for example, has one input layer, one or more intermediate layers (hidden layers), and one output layer, and is composed of a total of three or more layers.
  • the hierarchical neural network ANN shown in FIG. 12A shows an example thereof, and the neural network ANN has layers 1 to R (where R can be an integer of 4 or more). ing.
  • the first layer corresponds to the input layer
  • the Rth layer corresponds to the output layer
  • the other layers correspond to the intermediate layers.
  • FIG. 12A shows the (k ⁇ 1)-th layer and the k-th layer (where k is an integer of 3 or more and R ⁇ 1 or less) as intermediate layers, and the other intermediate layers is not shown.
  • Each layer of the neural network ANN has one or more neurons.
  • the first layer has neurons N1( 1 ) to neuron Np (1) (where p is an integer equal to or greater than 1)
  • the (k- 1 )th layer has neurons N1 (k ⁇ 1) to neuron N m (k ⁇ 1) (where m is an integer equal to or greater than 1)
  • the k-th layer has neurons N 1 (k) to neuron N n (k) ( where n is an integer greater than or equal to 1)
  • the R-th layer has neurons N 1 (R) to neuron N q (R) (where q is an integer greater than or equal to 1). .
  • FIG. 12B shows the k-th layer neuron N j (k) , the signal input to the neuron N j (k) , and the signal output from the neuron N j (k).
  • FIG. 12B also shows weight data w1 (k-1) j ( k) , wi (k-1) j (k) , wm ( k) between the (k-1)th layer and the kth layer. ⁇ 1) j (k) and the k-th layer activation function f(u j (k) ).
  • z 1 (k-1 ) to z m ( k- 1) is output to neuron N j (k) .
  • the neuron N j (k) generates z j (k) according to z 1 (k ⁇ 1 ) to z m (k ⁇ 1) , and outputs z j (k) as the (k+1)th ) layer (not shown).
  • the arithmetic circuit 350 shown in FIG. 13 includes, for example, an array unit ALP, a circuit ILD, a circuit WLD, a circuit XLD, a circuit AFP, and circuits TW[1] to TW[n] (where n is 1 or more). be an integer) and
  • the circuit ILD and the circuit AFP connect the wirings OL[1] to OL[n] and the wirings OLB[1] to OLB[n] through the circuits TW[1] to TW[n], respectively. , is electrically connected to
  • the circuits TW[1] to TW[n] function as switching circuits.
  • the output signals of the wirings OL[1] to OL[n] and the wirings OLB[1] to OLB[n] are input to the circuit AFP;
  • the input of the output signal of the ILD to the wirings OL[1] to OL[n] and the wirings OLB[1] to OLB[n] can be switched.
  • the circuit WLD is electrically connected to the wirings WL[1] to WL[m] and the wirings WX1L[1] to WX1L[m] (where m is an integer greater than or equal to 1).
  • the circuit XLD is electrically connected to the wirings WX1L[1] to WX1L[m].
  • the arithmetic circuit 350 shown in FIG. 13 has a circuit MP in which array parts ALP are arranged in a matrix of m ⁇ n.
  • the circuit MP located in the i row, j column (here, i is an integer of 1 or more and m or less, and j is an integer of 1 or more and n or less) is referred to as the circuit MP[i, j].
  • FIG. 13 shows only the circuit MP[1,1], the circuit MP[1,n], the circuit MP[i,j], the circuit MP[m,1], and the circuit MP[m,n]. , and other circuits MP are not shown.
  • the circuit MP[i,j] is electrically connected to the wiring WL[i], the wiring WX1L[i], the wiring OL[j], and the wiring OLB[j].
  • the circuit MP[i, j] has a function of holding a weighting factor (also referred to as first data).
  • a weighting factor may also be referred to as a weighting value.
  • the circuit MP[i,j] holds information according to the weighting factor input from the wiring OL[j] and the wiring OLB[j].
  • the circuit ILD has a function of outputting information corresponding to first data, which is a weighting factor, to the wirings OL[1] to OL[n] and the wirings OLB[1] to OLB[n].
  • potential, resistance value, or current value can be used as information corresponding to the weighting factor.
  • a current value is used as information corresponding to a weighting factor
  • a current to be input can be generated using a current output type digital-analog converter (IDAC).
  • IDAC current output type digital-analog converter
  • the circuit MP[i, j] has a function of outputting the product of the input value (also referred to as second data) input from the wiring WX1L[i] and the weighting factor (first data).
  • the circuit MP[i,j] outputs a current corresponding to the product of the first data and the second data to the wiring OL[i]. j] and the wiring OLB[j].
  • FIG. 13 illustrates an example in which the wiring OL[j] and the wiring OLB[j] are arranged; however, one embodiment of the present invention is not limited thereto. Only one of wiring OL[j] and wiring OLB[j] may be arranged.
  • the circuit XLD has a function of supplying second data, which is an input value, to the wirings WX1L[1] to WX1L[m].
  • the information corresponding to the input value can be, for example, potential, current value, and the like.
  • a current value is used as information corresponding to an input value
  • a current to be input can be generated using a current output type digital-analog conversion circuit.
  • a current corresponding to the product of the first data and the second data output from the circuits MP[1,j] to MP[m,j] is added to the wiring OL[j] and the wiring OLB[j]. output.
  • the arithmetic circuit can perform a sum-of-products operation of the weighting factor and the input value.
  • the circuit XLD and the circuit WLD have a function of selecting the circuit MP to which information is written according to the first data input from the circuit ILD.
  • the circuit XLD is, for example, the circuit MP[i,1] to the circuit MP[i,1] to the circuit MP[i,n].
  • a signal for turning on or off the first write switching element included in each of MP[i, n] is supplied to the wiring WX1L[i], and a signal is supplied to each of the circuits MP other than the i-th row.
  • the wiring WX1L is supplied with a potential for turning off the first writing switching element.
  • the circuit WLD transmits a signal for turning on or off the second write switching element included in each of the circuits MP[i,1] to MP[i,n], for example. i], and a potential for turning off the second write switching elements included in each of the circuits MP other than the i-th row is supplied to the wiring WL.
  • the circuit AFP includes circuits ACTF[1] to ACTF[n].
  • the circuit ACTF[j] is electrically connected to the wiring OL[j] and the wiring OLB[j] through the circuit TW[j] having a switching function.
  • the circuit ACTF[j] generates a signal according to information (for example, potential, current value, etc.) corresponding to the result of the sum-of-products operation input from the wiring OL[j] and the wiring OLB[ j ]. (k) .
  • the circuit AFP stores information (eg, potential, current value, etc.) corresponding to the result of the sum-of-products operation input from the wirings OL[1] to OL[n] and the wirings OLB[1] to OLB[n].
  • a signal can be generated according to the comparison result and output as z 1 (k) to z n (k) .
  • FIG. 14 shows a circuit configuration example that can be applied to the circuit MP[i,j].
  • the circuit MP has a circuit MC and a circuit MCr.
  • the circuit MC also includes transistors M1 to M3 and a capacitor C1.
  • a holding unit HC is configured by the transistor M2 and the capacitor C1.
  • the circuit MCr has substantially the same circuit configuration as the circuit MC. Therefore, the circuit elements of the circuit MCr are denoted by "r" in order to distinguish them from the circuit elements of the circuit MC.
  • the transistors M1 to M3 illustrated in FIG. 14 are, for example, multi-gate n-channel transistors having gates above and below the channel. Each of the transistors M1 to M3 has a first gate and a second gate. gate.
  • the arithmetic circuit 350 described in this embodiment does not depend on the connection configuration of the back gates of the transistors.
  • Back gates are illustrated in the transistors M1 to M3 illustrated in FIG. 14, and the connection configuration of the back gates is not illustrated. can decide.
  • the gate and back gate may be electrically connected in order to increase the on-state current of the transistor. That is, for example, the gate and back gate of the transistor M2 may be electrically connected.
  • a wiring electrically connected to an external circuit or the like is provided in order to vary the threshold voltage of the transistor or reduce the off-state current of the transistor.
  • a potential may be applied to the back gate of the transistor by the external circuit or the like. Note that this applies not only to FIG. 14 but also to transistors described elsewhere in the specification or illustrated in other drawings.
  • off-state current refers to drain current when a transistor is in an off state (also referred to as a non-conducting state or a cutoff state).
  • an off state means a state in which the voltage Vgs between the gate and the source is lower than the threshold voltage Vth in an n-channel transistor (higher than Vth in a p-channel transistor).
  • a semiconductor device of one embodiment of the present invention does not depend on the structure of a transistor included in the semiconductor device.
  • a transistor with a single gate structure may be used.
  • some of the transistors may have back gates, and some of the transistors may have no back gates. Note that this applies not only to the circuit diagram shown in FIG. 14, but also to transistors described elsewhere in the specification or illustrated in other drawings.
  • transistors with various structures can be used as transistors. Therefore, the type of transistor to be used is not limited.
  • a transistor including single crystal silicon or a non-single crystal semiconductor film typified by amorphous silicon, polycrystalline silicon, microcrystalline (also referred to as microcrystal, nanocrystal, or semiamorphous) silicon is used.
  • a transistor or the like can be used.
  • a thin film transistor (TFT) obtained by thinning these semiconductors can be used.
  • TFTs has various advantages. For example, since it can be manufactured at a lower temperature than in the case of single crystal silicon, it is possible to reduce the manufacturing cost or increase the size of the manufacturing apparatus.
  • a transistor including a compound semiconductor eg, SiGe, GaAs, or the like
  • an oxide semiconductor e.g., silicon, germanium, silicon, silicon, silicon, silicon, silicon, silicon, silicon, silicon, silicon, silicon, or the like
  • a transistor including an oxide semiconductor for a channel formation region is sometimes called an OS transistor.
  • a thin film transistor obtained by thinning any of these compound semiconductors or these oxide semiconductors, or the like can be used.
  • These compound semiconductors or oxide semiconductors can be used not only for channel portions of transistors but also for other purposes.
  • these compound semiconductors or oxide semiconductors can be used as a wiring, a resistor, a pixel electrode, a light-transmitting electrode, or the like. Cost can be reduced because they can be deposited or formed at the same time as the transistor.
  • element M includes, for example, aluminum, gallium, yttrium, copper, vanadium, beryllium, boron, titanium, iron, nickel, germanium, zirconium, molybdenum, lanthanum, cerium, neodymium, one or more selected from hafnium, tantalum, tungsten, magnesium, etc.), and oxides containing at least one of zinc.
  • a transistor formed by an inkjet method or a printing method, or the like can be used. These allow fabrication at room temperature, in low vacuum, or on large substrates. Therefore, the layout of the transistor can be easily changed because it can be manufactured without using a mask (reticle). Alternatively, since manufacturing can be performed without using a resist, material costs can be reduced and the number of steps can be reduced. Alternatively, since the film can be applied only to the necessary portion, the material is not wasted and the cost can be reduced as compared with the manufacturing method in which the film is formed on the entire surface and then etched.
  • a transistor including an organic semiconductor or a carbon nanotube, or the like can be used as an example of a transistor. These allow transistors to be formed on a bendable substrate. Devices using transistors with organic semiconductors or carbon nanotubes can be made shock resistant.
  • the first terminal of the transistor M1 is electrically connected to the wiring VE.
  • a second terminal of the transistor M1 is electrically connected to a first terminal of the transistor M3.
  • a gate of the transistor M1 is electrically connected to a first terminal of the capacitor C1 and a first terminal of the transistor M2.
  • a second terminal of the capacitor C1 is electrically connected to the wiring VE.
  • a second terminal of the transistor M2 is electrically connected to the wiring OL.
  • a gate of the transistor M2 is electrically connected to the wiring WL.
  • a second terminal of the transistor M3 is electrically connected to the wiring OL, and a gate of the transistor M3 is electrically connected to the wiring WX1L.
  • a connection configuration different from that of the circuit MC will be described.
  • a second terminal of the transistor M3r is electrically connected to the wiring OLB instead of the wiring OL.
  • a first terminal of the transistor M1r and a second terminal of the capacitor C1r are electrically connected to the wiring VEr.
  • a node n1 is an electrical connection point between the gate of the transistor M1, the first terminal of the capacitor C1, and the first terminal of the transistor M2.
  • the holding unit HC has a function of holding a potential corresponding to the weighting factor (first data).
  • the holding of the potential in the holding unit HC included in the circuit MC in FIG. This can be done by writing a potential corresponding to the value to the capacitor C1 and then turning off the transistor M2. Thereby, the potential of the node n1 can be held as a potential corresponding to the weighting factor (first data).
  • a current is input from the wiring OL, and a potential corresponding to the magnitude of the current can be held in the capacitor C1. Therefore, in inputting the first data, it is possible to reduce the influence of variations in the current characteristics (threshold voltage, etc.) of the transistor M1.
  • the current to be input to the wiring OL can be input and generated using a current output type digital-analog conversion circuit.
  • a transistor with low off-state current is preferably used.
  • an OS transistor can be used, for example. Since an oxide semiconductor with a large bandgap is used for the channel formation region of the OS transistor, off-state current of the OS transistor can be reduced.
  • a transistor having a back gate may be used as the transistor M2, and a low-level potential may be applied to the back gate to shift the threshold voltage to the positive side and reduce the off current.
  • Arithmetic circuit MAC1 is applicable to processing unit 53 or processing unit 54 described in the above embodiments.
  • FIG. 15 shows a configuration example of an arithmetic circuit that performs a sum-of-products operation on positive or "0" first data and positive or "0" second data.
  • Arithmetic circuit MAC1 shown in FIG. 15 performs a sum-of-products operation of the first data corresponding to the potential held in each cell and the second data that is input, and activates using the result of the sum-of-products operation.
  • This is a circuit that performs function calculations.
  • the first data and the second data can be, for example, analog data or multi-valued data (discrete data).
  • this arithmetic circuit also has a function as a memory that holds the first data, it can also be called a memory.
  • analog data when used as the first data, it can be called an analog memory.
  • the arithmetic circuit MAC1 includes a circuit WCS, a circuit XCS, a circuit WSD, a circuit SWS1, a circuit SWS2, a cell array CA, and conversion circuits ITRZ[1] to ITRZ[n].
  • the cell array CA includes cells IM[1,1] to IM[m,n] (where m is an integer of 1 or more and n is an integer of 1 or more), and cells IMref[1] to cell IMref[m].
  • Each of the cells IM[1,1] to IM[m,n] has a function of holding a potential corresponding to the amount of current according to the first data
  • the cells IMref[1] to IMref[m] has a function of supplying to the wirings XCL[1] to XCL[m] a potential corresponding to the held potential and the second data required for performing the sum-of-products operation.
  • the cell array CA of FIG. 15 has n+1 cells in the row direction and m cells in the column direction, and is arranged in a matrix.
  • the cell array CA has two or more cells in the row direction and one cell in the column direction. As described above, they may be arranged in a matrix.
  • Each of the cells IM[1,1] to IM[m,n] has, for example, a transistor F1, a transistor F2, and a capacitor C5.
  • Each has, as an example, a transistor F1m, a transistor F2m, and a capacitor C5m.
  • the sizes of the transistors F1 included in each of the cells IM[1,1] to IM[m,n] are equal to each other.
  • the sizes of the transistors F2 included in the cells IM[1,1] to IM[m,n] are equal to each other.
  • the transistors F1m included in the cells IMref[1] to IMref[m] have the same size, and the transistors included in the cells IMref[1] to IMref[m] are preferably the same size.
  • the sizes of F2m are preferably equal to each other. Further, it is preferable that the sizes of the transistors F1 and F1m are the same, and that the sizes of the transistors F2 and F2m are the same.
  • the transistor F1 and the transistor F1m are assumed to eventually operate in the linear region when in the ON state, unless otherwise specified. That is, the gate voltage, source voltage, and drain voltage of each of the transistors described above includes cases where they are appropriately biased to voltages within the range of operation in the linear region. However, one embodiment of the present invention is not limited to this.
  • the transistors F1 and F1m may operate in the saturation region when they are on, or may operate in both the linear region and the saturation region.
  • the transistor F2 and the transistor F2m are more preferably operated in a subthreshold region (that is, in the transistor F2 or the transistor F2m, the gate-source voltage is lower than the threshold voltage). where the drain current increases exponentially with the gate-source voltage). That is, the gate voltage, source voltage, and drain voltage of each of the transistors described above include the case where they are appropriately biased to voltages within the range of operation in the subthreshold region. Therefore, the transistor F2 and the transistor F2m may operate such that off current flows between the source and the drain.
  • the transistor F1 and/or the transistor F1m is preferably the above-described OS transistor, for example.
  • the channel formation region of the transistor F1 and/or the transistor F1m is composed of indium, element M (element M is, for example, aluminum, gallium, yttrium, copper, vanadium, beryllium, boron, titanium, iron, nickel, germanium , zirconium, molybdenum, lanthanum, cerium, neodymium, hafnium, tantalum, tungsten, or magnesium, etc.), and zinc. .
  • element M is, for example, aluminum, gallium, yttrium, copper, vanadium, beryllium, boron, titanium, iron, nickel, germanium , zirconium, molybdenum, lanthanum, cerium, neodymium, hafnium, tantalum, tungsten, or magnesium, etc.
  • the leakage current of the transistor F1 and/or the transistor F1m can be suppressed, so that the power consumption of the arithmetic circuit can be reduced.
  • the transistor F1 and/or the transistor F1m is in a non-conducting state, leakage current from the hold node to the write word line can be greatly reduced, so that the refresh operation of the potential of the hold node can be reduced. Therefore, the power consumption of the arithmetic circuit can be reduced.
  • the leakage current from the hold node to the write word line very small, the cell can hold the potential of the hold node for a long time, so that the arithmetic accuracy of the arithmetic circuit can be improved.
  • the transistor F2 and/or the transistor F2m can be a transistor containing silicon in a channel formation region (hereinafter referred to as a Si transistor).
  • amorphous silicon sometimes referred to as hydrogenated amorphous silicon
  • microcrystalline silicon microcrystalline silicon
  • polycrystalline silicon polycrystalline silicon
  • monocrystalline silicon or the like
  • the chip may generate heat due to the driving of the circuit.
  • the heat generation raises the temperature of the transistor, which may change the characteristics of the transistor, resulting in a change in field-effect mobility, a decrease in operating frequency, or the like.
  • the OS transistor has higher heat resistance than the Si transistor, the field-effect mobility is less likely to change due to temperature changes, and the operating frequency is less likely to decrease.
  • the OS transistor tends to maintain the characteristic that the drain current increases exponentially with respect to the gate-source voltage even when the temperature rises. Therefore, by using an OS transistor, it is easy to perform a sum-of-products operation, which will be described later, even in a high-temperature environment. Therefore, in the case of forming an arithmetic circuit that is resistant to heat generated by driving, an OS transistor is preferably used as the transistor.
  • the first terminal of the transistor F1 is electrically connected to the gate of the transistor F2.
  • a first terminal of the transistor F2 is electrically connected to the wiring VE.
  • a first terminal of the capacitor C5 is electrically connected to the gate of the transistor F2.
  • the first terminal of the transistor F1m is electrically connected to the gate of the transistor F2m.
  • a first terminal of the transistor F2m is electrically connected to the wiring VE.
  • a first terminal of the capacitor C5m is electrically connected to the gate of the transistor F2m.
  • the arithmetic circuit described in this embodiment does not depend on the polarity of the transistors included in the arithmetic circuit.
  • the transistor F1 and the transistor F2 illustrated in FIG. 15 are n-channel transistors, some or all of the transistors may be replaced with p-channel transistors.
  • transistors F1 and the transistor F2 are not limited to the transistor F1 and the transistor F2.
  • transistors F3[1] to F3[n] transistors F4[1] to F4[n] described later, and transistors described elsewhere in the specification, or The same is true for transistors shown in other drawings.
  • the wiring VE is between the first terminal and the second terminal of the transistor F2 of each of the cell IM[1,1], the cell IM[m,1], the cell IM[1,n], and the cell IM[m,n]. and also functions as a wiring for passing current between the first terminal and the second terminal of the transistor F2 of each of the cells IMref[1] and IMref[m].
  • the wiring VE functions as wiring that supplies a constant voltage.
  • the constant voltage can be, for example, a low level potential, a ground potential, or the like.
  • the second terminal of the transistor F1 is electrically connected to the wiring WCL[1]
  • the gate of the transistor F1 is electrically connected to the wiring WSL[1].
  • a second terminal of the transistor F2 is electrically connected to the wiring WCL[1]
  • a second terminal of the capacitor C5 is electrically connected to the wiring XCL[1]. Note that in FIG. 15, in the cell IM[1,1], the connection point between the first terminal of the transistor F1, the gate of the transistor F2, and the first terminal of the capacitor C5 is the node NN[1,1]. .
  • the second terminal of the transistor F1 is electrically connected to the wiring WCL[1]
  • the gate of the transistor F1 is electrically connected to the wiring WSL[m].
  • a second terminal of the transistor F2 is electrically connected to the wiring WCL[1]
  • a second terminal of the capacitor C5 is electrically connected to the wiring XCL[m].
  • the node NN[m,1] is the connection point between the first terminal of the transistor F1, the gate of the transistor F2, and the first terminal of the capacitor C5. .
  • the second terminal of the transistor F1 is electrically connected to the wiring WCL[n]
  • the gate of the transistor F1 is electrically connected to the wiring WSL[1].
  • a second terminal of the transistor F2 is electrically connected to the wiring WCL[n]
  • a second terminal of the capacitor C5 is electrically connected to the wiring XCL[1].
  • the node NN[1,n] is the connection point between the first terminal of the transistor F1, the gate of the transistor F2, and the first terminal of the capacitor C5. .
  • the second terminal of the transistor F1 is electrically connected to the wiring WCL[n]
  • the gate of the transistor F1 is electrically connected to the wiring WSL[m].
  • a second terminal of the transistor F2 is electrically connected to the wiring WCL[n]
  • a second terminal of the capacitor C5 is electrically connected to the wiring XCL[m].
  • the node NN[m,n] is the connection point between the first terminal of the transistor F1, the gate of the transistor F2, and the first terminal of the capacitor C5. .
  • the second terminal of the transistor F1m is electrically connected to the wiring XCL[1]
  • the gate of the transistor F1m is electrically connected to the wiring WSL[1].
  • a second terminal of the transistor F2m is electrically connected to the wiring XCL[1]
  • a second terminal of the capacitor C5 is electrically connected to the wiring XCL[1]. Note that in FIG. 15, in the cell IMref[1], a node NNref[1] is a connection point between the first terminal of the transistor F1m, the gate of the transistor F2m, and the first terminal of the capacitor C5.
  • the second terminal of the transistor F1m is electrically connected to the wiring XCL[m]
  • the gate of the transistor F1m is electrically connected to the wiring WSL[m].
  • a second terminal of the transistor F2m is electrically connected to the wiring XCL[m]
  • a second terminal of the capacitor C5 is electrically connected to the wiring XCL[m]. Note that in FIG. 15, in the cell IMref[m], a node NNref[m] is a connection point between the first terminal of the transistor F1m, the gate of the transistor F2m, and the first terminal of the capacitor C5.
  • Node NN[1,1], node NN[m,1], node NN[1,n], node NN[m,n], node NNref[1], and node NNref[m] are Acts as a holding node for the cell.
  • the transistor F2 is diode-connected.
  • the constant voltage applied by the wiring VE is set to the ground potential (GND)
  • the transistor F1 is in the ON state, and the current of the current amount I flows from the wiring WCL to the second terminal of the transistor F2, the gate of the transistor F2 (node NN) is determined according to the amount of current I.
  • the potential of the second terminal of the transistor F2 is ideally equal to the gate (node NN) of the transistor F2 because the transistor F1 is on.
  • the potential of the gate (node NN) of the transistor F2 is held.
  • the transistor F2 can flow a current amount I corresponding to the ground potential of the first terminal of the transistor F2 and the potential of the gate (node NN) of the transistor F2 between the source and the drain of the transistor F2.
  • transistor F2 is programmed to have I as the amount of current flowing between the source and drain of transistor F2.
  • the circuit SWS1 has, for example, transistors F3[1] to F3[n].
  • a first terminal of the transistor F3[1] is electrically connected to the wiring WCL[1]
  • a second terminal of the transistor F3[1] is electrically connected to the circuit WCS, and a gate of the transistor F3[1]. is electrically connected to the wiring SWL1.
  • a first terminal of the transistor F3[n] is electrically connected to the wiring WCL[n]
  • a second terminal of the transistor F3[n] is electrically connected to the circuit WCS, and a gate of the transistor F3[n]. is electrically connected to the wiring SWL1.
  • the transistors F3[1] to F3[n] are preferably OS transistors that can be applied to the transistor F1 and/or the transistor F2, for example.
  • the circuit SWS1 functions as a circuit that brings a conductive state or a non-conductive state between the circuit WCS and each of the wirings WCL[1] to WCL[n].
  • the circuit SWS2 has, for example, transistors F4[1] to F4[n].
  • a first terminal of the transistor F4[1] is electrically connected to the wiring WCL[1]
  • a second terminal of the transistor F4[1] is electrically connected to an input terminal of the conversion circuit ITRZ[1]
  • a gate of the transistor F4[1] is electrically connected to the wiring SWL2.
  • a first terminal of the transistor F4[n] is electrically connected to the wiring WCL[n]
  • a second terminal of the transistor F4[n] is electrically connected to an input terminal of the conversion circuit ITRZ[n]
  • a gate of the transistor F4[n] is electrically connected to the wiring SWL2.
  • the transistors F4[1] to F4[n] are preferably OS transistors that can be applied to the transistor F1 and/or the transistor F2, for example.
  • the circuit SWS2 functions as a circuit that brings a conductive state or a non-conductive state between the wiring WCL[1] and the conversion circuit ITRZ[1] and between the wiring WCL[n] and the conversion circuit ITRZ[n]. .
  • the circuit WCS has a function of supplying data to be stored in each cell of the cell array CA.
  • the circuit XCS is electrically connected to the wirings XCL[1] to XCL[m].
  • the circuit XCS has a function of passing a current according to the reference data or a current according to the second data to each of the cells IMref[1] to IMref[m] included in the cell array CA.
  • the circuit WSD is electrically connected to the wirings WSL[1] to WSL[m].
  • the circuit WSD supplies a predetermined signal to the wirings WSL[1] to WSL[m] to write the first data to the cells IM[1,1] to IM[m,n]. It has a function of selecting a row of the cell array CA to which one data is written.
  • the circuit WSD is electrically connected to the wiring SWL1 and the wiring SWL2, for example.
  • the circuit WSD has a function of making the connection between the circuit WCS and the cell array CA conductive or non-conductive by supplying a predetermined signal to the wiring SWL1, and a converting circuit by supplying a predetermined signal to the wiring SWL2. and a function of making the connection between ITRZ[1] to conversion circuit ITRZ[n] and the cell array CA conductive or non-conductive.
  • Each of the conversion circuits ITRZ[1] to ITRZ[n] has an input terminal and an output terminal, for example.
  • the output terminal of the conversion circuit ITRZ[1] is electrically connected to the wiring OL[1]
  • the output terminal of the conversion circuit ITRZ[n] is electrically connected to the wiring OL[n].
  • Each of the conversion circuits ITRZ[1] to ITRZ[n] has a function of converting the current input to the input terminal into a voltage corresponding to the current and outputting the voltage from the output terminal.
  • the voltage can be, for example, an analog voltage, a digital voltage, or the like.
  • each of the conversion circuits ITRZ[1] to ITRZ[n] may have a functional arithmetic circuit. In this case, for example, the arithmetic circuit may perform a function operation using the converted voltage, and the result of the operation may be output to the wirings OL[1] to OL[n].
  • the sigmoid function for example, the tanh function, the softmax function, the ReLU function, the threshold function, etc. can be used as the functions described above.
  • a current output type digital-analog conversion circuit can be used as the circuit WCS shown in FIG.
  • a current output type digital-analog conversion circuit can be used as the XCS shown in FIG.
  • This embodiment can be implemented by appropriately combining at least part of it with other embodiments described herein.
  • the display device of this embodiment can be a high-resolution display device or a large-sized display device. Therefore, the display device of the present embodiment includes a relatively large screen such as a television device, a desktop or notebook personal computer, a computer monitor, a digital signage, a large game machine such as a pachinko machine, or the like. In addition to electronic devices, it can be used for display portions of digital cameras, digital video cameras, digital photo frames, mobile phones, portable game machines, personal digital assistants, and sound reproducing devices.
  • FIG. 16 shows a perspective view of the display device 100A
  • FIG. 17A shows a cross-sectional view of the display device 100A.
  • the display device 100A has a configuration in which a substrate 152 and a substrate 151 are bonded together.
  • the substrate 152 is clearly indicated by dashed lines.
  • the display device 100A has a display section 162, a circuit 164, wiring 165, and the like.
  • FIG. 16 shows an example in which an IC 173 and an FPC 172 are mounted on the display device 100A. Therefore, the configuration shown in FIG. 16 can also be said to be a display module including the display device 100A, an IC (integrated circuit), and an FPC.
  • a scanning line driving circuit for example, can be used as the circuit 164 .
  • the wiring 165 has a function of supplying signals and power to the display section 162 and the circuit 164 .
  • the signal and power are input to the wiring 165 from the outside through the FPC 172 or from the IC 173 .
  • FIG. 16 shows an example in which an IC 173 is provided on a substrate 151 by a COG (Chip On Glass) method, a COF (Chip On Film) method, or the like.
  • a COG Chip On Glass
  • COF Chip On Film
  • the IC 173 for example, an IC having a scanning line driver circuit or a signal line driver circuit can be applied.
  • the display device 100A and the display module may be configured without an IC.
  • the IC may be mounted on the FPC by the COF method or the like.
  • FIG. 17A shows an example of a cross-section of the display device 100A when part of the region including the FPC 172, part of the circuit 164, part of the display section 162, and part of the region including the edge are cut. show.
  • a display device 100A illustrated in FIG. 17A includes a transistor 201, a transistor 205, a light-emitting device 130a, a light-emitting device 130b, a light-emitting device 130c, a colored layer 129a, a colored layer 129b, a colored layer 129c, and the like between a substrate 151 and a substrate 152. .
  • Light emitting device 130a, light emitting device 130b, and light emitting device 130c emit white light.
  • the colored layer 129a, the colored layer 129b, and the colored layer 129c have a function of transmitting different colors.
  • the three sub-pixels are red (R), green (G), and blue (B).
  • the four sub-pixels include R, G, B, and white (W) sub-pixels, and R, G, B, and Y four-color sub-pixels. be done.
  • a display device of one embodiment of the present invention is a top emission type in which light is emitted in a direction opposite to a substrate over which a light-emitting device is formed, and light is emitted toward a substrate over which a light-emitting device is formed.
  • a bottom emission type bottom emission type
  • a double emission type dual emission type in which light is emitted from both sides may be used.
  • an EL device such as an OLED (Organic Light Emitting Diode) or a QLED (Quantum-dot Light Emitting Diode).
  • OLED Organic Light Emitting Diode
  • QLED Quantum-dot Light Emitting Diode
  • Examples of light-emitting substances that EL devices have include substances that emit fluorescence (fluorescent materials), substances that emit phosphorescence (phosphorescent materials), and substances that exhibit thermally activated delayed fluorescence (thermally activated delayed fluorescence (TADF) materials). ), and inorganic compounds (such as quantum dot materials).
  • the TADF material a material in which a singlet excited state and a triplet excited state are in thermal equilibrium may be used. Since such a TADF material has a short emission lifetime (excitation lifetime), it is possible to suppress a decrease in efficiency in a high-luminance region of a light-emitting device.
  • a light-emitting device has an EL layer between a pair of electrodes.
  • one of a pair of electrodes may be referred to as a pixel electrode and the other may be referred to as a common electrode.
  • one electrode functions as an anode and the other electrode functions as a cathode.
  • the pixel electrode functions as an anode and the common electrode functions as a cathode will be described below as an example.
  • the light-emitting device 130a includes a pixel electrode 111a, a conductive layer 126a on the pixel electrode 111a, an island-shaped first layer 113a on the conductive layer 126a, and a fifth layer 114 on the island-shaped first layer 113a. and a common electrode 115 on the fifth layer 114 .
  • the first layer 113a and the fifth layer 114 can be collectively called an EL layer.
  • a device manufactured using a metal mask or FMM may be referred to as a device with an MM (metal mask) structure.
  • a device manufactured without using a metal mask or FMM may be referred to as a device with an MML (metal maskless) structure.
  • a light-emitting device capable of emitting white light is sometimes referred to as a white light-emitting device.
  • a white light emitting device can be combined with a colored layer (for example, a color filter) to realize a full-color display device.
  • light-emitting devices can be broadly classified into single structures and tandem structures.
  • a single-structure device preferably has one light-emitting unit between a pair of electrodes, and the light-emitting unit preferably includes one or more light-emitting layers.
  • the light-emitting layers may be selected such that the respective light-emitting colors of the two light-emitting layers are in a complementary color relationship. For example, by making the luminescent color of the first luminescent layer and the luminescent color of the second luminescent layer have a complementary color relationship, it is possible to obtain a configuration in which the entire light emitting device emits white light.
  • the light-emitting device as a whole may emit white light by combining the light-emitting colors of the three or more light-emitting layers.
  • a tandem structure device preferably has two or more light-emitting units between a pair of electrodes, and each light-emitting unit preferably includes one or more light-emitting layers.
  • each light-emitting unit preferably includes one or more light-emitting layers.
  • a structure in which white light emission is obtained by combining light from the light emitting layers of a plurality of light emitting units may be employed. Note that the structure for obtaining white light emission is the same as the structure of the single structure.
  • the white light emitting device when comparing the white light emitting device (single structure or tandem structure) and the light emitting device having the SBS structure, the light emitting device having the SBS structure can consume less power than the white light emitting device. If it is desired to keep power consumption low, it is preferable to use a light-emitting device with an SBS structure. On the other hand, the white light emitting device is preferable because the manufacturing process is simpler than that of the SBS structure light emitting device, so that the manufacturing cost can be lowered or the manufacturing yield can be increased.
  • the configuration of the light-emitting device of this embodiment is not particularly limited, and may be a single structure or a tandem structure.
  • the light-emitting device 130b includes a pixel electrode 111b, a conductive layer 126b on the pixel electrode 111b, an island-shaped second layer 113b on the conductive layer 126b, and a fifth layer 114 on the island-shaped second layer 113b. and a common electrode 115 on the fifth layer 114 .
  • the second layer 113b and the fifth layer 114 can be collectively called an EL layer.
  • the light-emitting device 130c includes a pixel electrode 111c, a conductive layer 126c on the pixel electrode 111c, an island-shaped third layer 113c on the conductive layer 126c, and a fifth layer 114 on the island-shaped third layer 113c. and a common electrode 115 on the fifth layer 114 .
  • the third layer 113c and the fifth layer 114 can be collectively called EL layers.
  • the same film is shared as a common electrode in each color light-emitting device.
  • a common electrode shared by each light emitting device is electrically connected to the conductive layer provided in the connecting portion. Thereby, the same potential is supplied to the common electrode of each light emitting device.
  • a conductive film that transmits visible light is used for the electrode on the light extraction side of the pixel electrode and common electrode.
  • a conductive film that reflects visible light is preferably used for the electrode on the side from which light is not extracted.
  • indium tin oxide also referred to as In—Sn oxide, ITO
  • In—Si—Sn oxide also referred to as ITSO
  • indium zinc oxide In—Zn oxide
  • In—W— Zn oxides aluminum-containing alloys (aluminum alloys) such as alloys of aluminum, nickel, and lanthanum (Al-Ni-La)
  • Al-Ni-La aluminum-containing alloys
  • Al-Ni-La aluminum-containing alloys
  • alloys of silver, palladium and copper Ag-Pd-Cu, also referred to as APC
  • elements belonging to Group 1 or Group 2 of the periodic table of elements not exemplified above e.g., lithium (Li), cesium (Cs), calcium (Ca), strontium (Sr)), europium (Eu), ytterbium
  • Yb rare earth metal
  • an alloy containing an appropriate combination thereof, graphene, or the like can be used.
  • a micro optical resonator (microcavity) structure is preferably applied to the light emitting device. Therefore, one of the pair of electrodes of the light-emitting device preferably has an electrode (semi-transmissive/semi-reflective electrode) that is transparent and reflective to visible light, and the other is an electrode that is reflective to visible light ( reflective electrode). Since the light-emitting device has a microcavity structure, the light emitted from the light-emitting layer can be resonated between both electrodes, and the light emitted from the light-emitting device can be enhanced.
  • the light transmittance of the transparent electrode is set to 40% or more.
  • the light-emitting device preferably uses an electrode having a transmittance of 40% or more for visible light (light with a wavelength of 400 nm or more and less than 750 nm).
  • the visible light reflectance of the semi-transmissive/semi-reflective electrode is 10% or more and 95% or less, preferably 30% or more and 80% or less.
  • the visible light reflectance of the reflective electrode is 40% or more and 100% or less, preferably 70% or more and 100% or less.
  • the resistivity of these electrodes is preferably 1 ⁇ 10 ⁇ 2 ⁇ cm or less.
  • the first layer 113a, the second layer 113b, and the third layer 113c are each provided in an island shape.
  • the first layer 113a, the second layer 113b, and the third layer 113c each have a light-emitting layer.
  • the first layer 113a, the second layer 113b, and the third layer 113c preferably have light-emitting layers that emit white light.
  • the island-shaped first layer 113a, the island-shaped second layer 113b, and the island-shaped third layer 113c preferably have the same material. That is, the island-shaped first layer 113a, the island-shaped second layer 113b, and the island-shaped third layer 113c are preferably formed by patterning films formed in the same step.
  • a light-emitting layer is a layer containing a light-emitting substance.
  • the emissive layer can have one or more emissive materials.
  • a substance exhibiting emission colors such as blue, purple, violet, green, yellow-green, yellow, orange, and red is used as appropriate.
  • a substance that emits near-infrared light can be used as the light-emitting substance.
  • Examples of light-emitting substances include fluorescent materials, phosphorescent materials, TADF materials, and quantum dot materials.
  • fluorescent materials include pyrene derivatives, anthracene derivatives, triphenylene derivatives, fluorene derivatives, carbazole derivatives, dibenzothiophene derivatives, dibenzofuran derivatives, dibenzoquinoxaline derivatives, quinoxaline derivatives, pyridine derivatives, pyrimidine derivatives, phenanthrene derivatives, and naphthalene derivatives. be done.
  • Examples of phosphorescent materials include organometallic complexes (especially iridium complexes) having a 4H-triazole skeleton, 1H-triazole skeleton, imidazole skeleton, pyrimidine skeleton, pyrazine skeleton, or pyridine skeleton, and phenylpyridine derivatives having an electron-withdrawing group.
  • organometallic complexes especially iridium complexes
  • platinum complexes, rare earth metal complexes, etc. which are used as ligands, can be mentioned.
  • the light-emitting layer may contain one or more organic compounds (host material, assist material, etc.) in addition to the light-emitting substance (guest material).
  • One or both of a hole-transporting material and an electron-transporting material can be used as the one or more organic compounds.
  • Bipolar materials or TADF materials may also be used as one or more organic compounds.
  • the light-emitting layer preferably includes, for example, a phosphorescent material and a combination of a hole-transporting material and an electron-transporting material that easily form an exciplex.
  • ExTET Exciplex-Triplet Energy Transfer
  • a combination that forms an exciplex that emits light that overlaps with the wavelength of the absorption band on the lowest energy side of the light-emitting substance energy transfer becomes smooth and light emission can be efficiently obtained. With this configuration, high efficiency, low-voltage driving, and long life of the light-emitting device can be realized at the same time.
  • the first layer 113a, the second layer 113b, and the third layer 113c include, as layers other than the light-emitting layer, a substance with a high hole-injection property, a substance with a high hole-transport property, a hole-blocking material, and an electron layer.
  • a layer containing a highly transportable substance, a highly electron-injecting substance, an electron-blocking material, a bipolar substance (a substance with high electron-transporting and hole-transporting properties), or the like may be further included.
  • Both low-molecular-weight compounds and high-molecular-weight compounds can be used in the light-emitting device, and inorganic compounds may be included.
  • Each of the layers constituting the light-emitting device can be formed by a vapor deposition method (including a vacuum vapor deposition method), a transfer method, a printing method, an inkjet method, a coating method, or the like.
  • the first layer 113a, the second layer 113b, and the third layer 113c are respectively a hole-injecting layer, a hole-transporting layer, a hole-blocking layer, an electron-blocking layer, an electron-transporting layer, and an electron layer. It may have one or more of the injection layers.
  • layers commonly formed in each light-emitting device include a hole injection layer, a hole transport layer, a hole blocking layer (sometimes referred to as a hole blocking layer), and an electron blocking layer ( may be referred to as an electron blocking layer), an electron transport layer, and an electron injection layer.
  • a carrier injection layer (hole injection layer or electron injection layer) may be formed as the fifth layer 114 .
  • all layers of the EL layer may be formed separately for each color. In other words, the EL layer does not have to have a layer that is commonly formed for each color.
  • Each of the first layer 113a, the second layer 113b, and the third layer 113c preferably has a light emitting layer and a carrier transport layer on the light emitting layer.
  • the hole-injecting layer is a layer that injects holes from the anode into the hole-transporting layer, and contains a material with high hole-injecting properties.
  • highly hole-injecting materials include aromatic amine compounds and composite materials containing a hole-transporting material and an acceptor material (electron-accepting material).
  • the hole-transporting layer is a layer that transports holes injected from the anode to the light-emitting layer by means of the hole-injecting layer.
  • a hole-transporting layer is a layer containing a hole-transporting material.
  • the hole-transporting material a substance having a hole mobility of 1 ⁇ 10 ⁇ 6 cm 2 /Vs or more is preferable. Note that substances other than these can be used as long as they have a higher hole-transport property than electron-transport property.
  • hole-transporting materials include ⁇ -electron-rich heteroaromatic compounds (e.g., carbazole derivatives, thiophene derivatives, furan derivatives, etc.), aromatic amines (compounds having an aromatic amine skeleton), and other highly hole-transporting materials. is preferred.
  • ⁇ -electron-rich heteroaromatic compounds e.g., carbazole derivatives, thiophene derivatives, furan derivatives, etc.
  • aromatic amines compounds having an aromatic amine skeleton
  • other highly hole-transporting materials is preferred.
  • the electron-transporting layer is a layer that transports electrons injected from the cathode to the light-emitting layer by the electron-injecting layer.
  • the electron-transporting layer is a layer containing an electron-transporting material.
  • an electron-transporting material a substance having an electron mobility of 1 ⁇ 10 ⁇ 6 cm 2 /Vs or more is preferable. Note that substances other than these substances can be used as long as they have a higher electron-transport property than hole-transport property.
  • electron-transporting materials include metal complexes having a quinoline skeleton, metal complexes having a benzoquinoline skeleton, metal complexes having an oxazole skeleton, metal complexes having a thiazole skeleton, oxadiazole derivatives, triazole derivatives, imidazole derivatives, ⁇ electron deficient including oxazole derivatives, thiazole derivatives, phenanthroline derivatives, quinoline derivatives with quinoline ligands, benzoquinoline derivatives, quinoxaline derivatives, dibenzoquinoxaline derivatives, pyridine derivatives, bipyridine derivatives, pyrimidine derivatives, and other nitrogen-containing heteroaromatic compounds
  • a material having a high electron transport property such as a type heteroaromatic compound can be used.
  • the electron-transporting layer may have a laminated structure, and has a hole-blocking layer in contact with the light-emitting layer for blocking holes from moving from the anode side to the cathode side through the light-emitting layer. It's okay to be
  • the electron injection layer is a layer that injects electrons from the cathode to the electron transport layer, and is a layer that contains a material with high electron injection properties.
  • Alkali metals, alkaline earth metals, or compounds thereof can be used as materials with high electron injection properties.
  • a composite material containing an electron-transporting material and a donor material (electron-donating material) can also be used as a material with high electron-injecting properties.
  • the electron injection layer examples include lithium, cesium, ytterbium, lithium fluoride (LiF), cesium fluoride (CsF), calcium fluoride (CaF x , X is an arbitrary number), and 8-(quinolinolato)lithium (abbreviation: Liq), 2-(2-pyridyl)phenoratritium (abbreviation: LiPP), 2-(2-pyridyl)-3-pyridinolatritium (abbreviation: LiPPy), 4-phenyl-2-(2-pyridyl)pheno Alkali metals such as latolithium (abbreviation: LiPPP), lithium oxide (LiO x ), cesium carbonate, alkaline earth metals, or compounds thereof can be used.
  • the electron injection layer may have a laminated structure of two or more layers. As the laminated structure, for example, lithium fluoride can be used for the first layer and ytterbium can be used for the second layer.
  • an electron-transporting material may be used as the electron injection layer.
  • a compound having a lone pair of electrons and an electron-deficient heteroaromatic ring can be used as the electron-transporting material.
  • a compound having at least one of a pyridine ring, diazine ring (pyrimidine ring, pyrazine ring, pyridazine ring), and triazine ring can be used.
  • the lowest unoccupied molecular orbital (LUMO) of the organic compound having an unshared electron pair is preferably -3.6 eV or more and -2.3 eV or less.
  • CV cyclic voltammetry
  • photoelectron spectroscopy optical absorption spectroscopy
  • inverse photoelectron spectroscopy etc. are used to determine the highest occupied molecular orbital (HOMO: Highest Occupied Molecular Orbital) level and LUMO level of an organic compound. can be estimated.
  • BPhen 4,7-diphenyl-1,10-phenanthroline
  • NBPhen 2,9-bis(naphthalen-2-yl)-4,7-diphenyl-1,10-phenanthroline
  • HATNA diquinoxalino [2,3-a:2′,3′-c]phenazine
  • TmPPPyTz 2,4,6-tris[3′-(pyridin-3-yl)biphenyl-3-yl]-1,3 , 5-triazine
  • TmPPPyTz 2,4,6-tris[3′-(pyridin-3-yl)biphenyl-3-yl]-1,3 , 5-triazine
  • an intermediate layer is provided between the two light-emitting units.
  • the intermediate layer has a function of injecting electrons into one of the two light-emitting units and holes into the other when a voltage is applied between the pair of electrodes.
  • a material that can be applied to an electron injection layer such as lithium
  • a material applicable to the hole injection layer can be preferably used.
  • a layer containing a hole-transporting material and an acceptor material can be used for the intermediate layer.
  • a layer containing an electron-transporting material and a donor material can be used for the intermediate layer.
  • the conductive layer 126a, the conductive layer 126b, and the conductive layer 126c function as optical adjustment layers. Note that the conductive layers 126a, 126b, and 126c may not be provided in some cases.
  • Each side surface of the pixel electrode 111a, the pixel electrode 111b, the pixel electrode 111c, the conductive layer 126a, the conductive layer 126b, the conductive layer 126c, the first layer 113a, the second layer 113b, and the third layer 113c is insulated. It is covered by layer 125 and insulating layer 127 . Accordingly, the fifth layer 114 (or the common electrode 115) is any one of the pixel electrode 111a, the pixel electrode 111b, the pixel electrode 111c, the first layer 113a, the second layer 113b, and the third layer 113c. contact with the side surface of the light emitting device can be suppressed, and short circuit of the light emitting device can be suppressed.
  • the insulating layer 125 can be an insulating layer having an inorganic material.
  • an inorganic insulating film such as an oxide insulating film, a nitride insulating film, an oxynitride insulating film, or a nitride oxide insulating film can be used, for example.
  • the insulating layer 125 may have a single-layer structure or a laminated structure.
  • the oxide insulating film includes a silicon oxide film, an aluminum oxide film, a magnesium oxide film, an indium gallium zinc oxide film, a gallium oxide film, a germanium oxide film, an yttrium oxide film, a zirconium oxide film, a lanthanum oxide film, a neodymium oxide film, and an oxide film.
  • Examples include a hafnium film and a tantalum oxide film.
  • Examples of the nitride insulating film include a silicon nitride film and an aluminum nitride film.
  • As the oxynitride insulating film a silicon oxynitride film, an aluminum oxynitride film, or the like can be given.
  • nitride oxide insulating film a silicon nitride oxide film, an aluminum nitride oxide film, or the like can be given.
  • an aluminum oxide film is preferable because it has a high etching selectivity with respect to the EL layer and has a function of protecting the EL layer during formation of the insulating layer 127 described later.
  • an inorganic insulating film such as an aluminum oxide film, a hafnium oxide film, or a silicon oxide film formed by an atomic layer deposition (ALD) method to the insulating layer 125, there are few pinholes and the EL layer is protected.
  • ALD atomic layer deposition
  • oxynitride refers to a material whose composition contains more oxygen than nitrogen
  • nitride oxide refers to a material whose composition contains more nitrogen than oxygen. point to the material.
  • silicon oxynitride refers to a material whose composition contains more oxygen than nitrogen
  • silicon nitride oxide refers to a material whose composition contains more nitrogen than oxygen. indicates
  • the insulating layer 125 can be formed by a sputtering method, a chemical vapor deposition (CVD) method, a pulsed laser deposition (PLD) method, an ALD method, or the like.
  • the insulating layer 125 is preferably formed by an ALD method with good coverage.
  • the insulating layer 127 provided on the insulating layer 125 has the function of flattening the recesses of the insulating layer 125 formed between adjacent light emitting devices. In other words, the presence of the insulating layer 127 has the effect of improving the flatness of the surface on which the common electrode 115 is formed.
  • an insulating layer containing an organic material can be preferably used.
  • acrylic resin, polyimide resin, epoxy resin, imide resin, polyamide resin, polyimideamide resin, silicone resin, siloxane resin, benzocyclobutene-based resin, phenolic resin, and precursors of these resins are applied. can do.
  • an organic material such as polyvinyl alcohol (PVA), polyvinyl butyral, polyvinylpyrrolidone, polyethylene glycol, polyglycerin, pullulan, water-soluble cellulose, or alcohol-soluble polyamide resin may be used for the insulating layer 127 .
  • a photosensitive resin can be used as the insulating layer 127 .
  • a photoresist may be used as the photosensitive resin.
  • a positive material or a negative material can be used for the photosensitive resin.
  • the difference between the height of the upper surface of the insulating layer 127 and the height of the upper surface of any one of the first layer 113a, the second layer 113b, and the third layer 113c is, for example, 0 of the thickness of the insulating layer 127. 0.5 times or less is preferable, and 0.3 times or less is more preferable. Further, for example, the insulating layer 127 may be provided so that the top surface of any one of the first layer 113 a , the second layer 113 b , and the third layer 113 c is higher than the top surface of the insulating layer 127 .
  • the insulating layer 127 may be provided so that the top surface of the insulating layer 127 is higher than the top surface of the light-emitting layer included in the first layer 113a, the second layer 113b, or the third layer 113c. good.
  • a fifth layer 114 is provided over the first layer 113a, the second layer 113b, the third layer 113c, the insulating layer 125, and the insulating layer 127, and the common electrode 115 is provided over the fifth layer 114. It is A protective layer 131 is provided on the light emitting device 130a, the light emitting device 130b, and the light emitting device 130c. A protective layer 132 is provided on the protective layer 131 . By providing the protective layers 131 and 132, the reliability of the light-emitting device can be improved.
  • the conductivity of the protective layers 131 and 132 does not matter. At least one of an insulating film, a semiconductor film, and a conductive film can be used for the protective layers 131 and 132 .
  • the protective layers 131 and 132 have an inorganic film, deterioration of the light-emitting devices is prevented by preventing oxidation of the common electrode 115 and suppressing impurities (moisture, oxygen, etc.) from entering the light-emitting devices 130a, 130b, and 130c. can be suppressed, and the reliability of the display device can be improved.
  • Inorganic insulating films such as oxide insulating films, nitride insulating films, oxynitride insulating films, and oxynitride insulating films can be used for the protective layers 131 and 132, for example.
  • the oxide insulating film include a silicon oxide film, an aluminum oxide film, a gallium oxide film, a germanium oxide film, an yttrium oxide film, a zirconium oxide film, a lanthanum oxide film, a neodymium oxide film, a hafnium oxide film, a tantalum oxide film, and the like.
  • Examples of the nitride insulating film include a silicon nitride film and an aluminum nitride film.
  • a silicon oxynitride film, an aluminum oxynitride film, or the like can be given.
  • nitride oxide insulating film a silicon nitride oxide film, an aluminum nitride oxide film, or the like can be given.
  • Each of the protective layers 131 and 132 preferably has a nitride insulating film or a nitride oxide insulating film, and more preferably has a nitride insulating film.
  • In the protective layers 131 and 132 In—Sn oxide (also referred to as ITO), In—Zn oxide, Ga—Zn oxide, Al—Zn oxide, or indium gallium zinc oxide (In—Ga— An inorganic film containing Zn oxide, IGZO, or the like can also be used.
  • the inorganic film preferably has a high resistance, and specifically, preferably has a higher resistance than the common electrode 115 .
  • the inorganic film may further contain nitrogen.
  • the protective layers 131 and 132 When the light emitted from the light-emitting device is taken out through the protective layers 131 and 132, the protective layers 131 and 132 preferably have high transparency to visible light.
  • the protective layers 131 and 132 preferably have high transparency to visible light.
  • ITO, IGZO, and aluminum oxide are preferable because they are inorganic materials with high transparency to visible light.
  • the protective layers 131 and 132 for example, a stacked structure of an aluminum oxide film and a silicon nitride film over the aluminum oxide film, a stacked structure of an aluminum oxide film and an IGZO film over the aluminum oxide film, or the like is used. can be used. By using the stacked structure, impurities (such as water and oxygen) entering the EL layer can be suppressed.
  • the protective layers 131 and 132 may have an organic film.
  • the protective layer 132 may have both organic and inorganic films.
  • the protective layer 131 and the protective layer 132 may be formed using different film formation methods.
  • the protective layer 131 may be formed using an ALD method
  • the protective layer 132 may be formed using a sputtering method.
  • a colored layer 129 a , a colored layer 129 b , and a colored layer 129 c are provided on the protective layer 131 .
  • Colored layer 129a has a region that overlaps light emitting device 130a
  • colored layer 129b has a region that overlaps light emitting device 130b
  • colored layer 129c has a region that overlaps light emitting device 130c.
  • the colored layers 129a, 129b, and 129c have at least regions overlapping the light-emitting layers of the respective light-emitting devices.
  • the colored layer 129a, the colored layer 129b, and the colored layer 129c have a function of transmitting lights of different colors.
  • the colored layer 129a has a function of transmitting red light
  • the colored layer 129b has a function of transmitting green light
  • the colored layer 129c has a function of transmitting blue light. Accordingly, the display device 100 can perform full-color display.
  • the colored layer 129a, the colored layer 129b, and the colored layer 129c may have a function of transmitting any one of cyan, magenta, and yellow light.
  • the protective layer 132 and the substrate 152 are adhered via the adhesive layer 142 .
  • a solid sealing structure, a hollow sealing structure, or the like can be applied to sealing the light-emitting device.
  • the space between substrates 152 and 151 is filled with an adhesive layer 142 to apply a solid sealing structure.
  • the space may be filled with an inert gas (such as nitrogen or argon) to apply a hollow sealing structure.
  • the adhesive layer 142 may be provided so as not to overlap the light emitting device.
  • the space may be filled with a resin different from the adhesive layer 142 provided in a frame shape.
  • the pixel electrodes 111a, 111b, and 111c are connected to the conductive layer 222b of the transistor 205 through openings provided in the insulating layer 214, respectively.
  • Concave portions are formed in the pixel electrodes 111 a , 111 b , and 111 c so as to cover openings provided in the insulating layer 214 .
  • a layer 128 is preferably embedded in the recess. It is preferable to form a conductive layer 126a over the pixel electrode 111a and the layer 128, form a conductive layer 126b over the pixel electrode 111b and the layer 128, and form a conductive layer 126c over the pixel electrode 111c and the layer 128.
  • the conductive layers 126a, 126b, and 126c can also be called pixel electrodes.
  • the layer 128 has a function of planarizing the concave portions of the pixel electrodes 111a, 111b, and 111c.
  • unevenness of the surface on which the EL layer is formed can be reduced, and coverage can be improved.
  • a region overlapping with can also be used as a light-emitting region. Thereby, the aperture ratio of the pixel can be increased.
  • the layer 128 may be an insulating layer or a conductive layer.
  • Various inorganic insulating materials, organic insulating materials, and conductive materials can be used as appropriate for layer 128 .
  • layer 128 is preferably formed using an insulating material.
  • An insulating layer containing an organic material can be suitably used as the layer 128 .
  • an acrylic resin, a polyimide resin, an epoxy resin, a polyamide resin, a polyimideamide resin, a siloxane resin, a benzocyclobutene resin, a phenol resin, precursors of these resins, or the like can be applied.
  • a photosensitive resin can be used as the layer 128 .
  • a positive material or a negative material can be used for the photosensitive resin.
  • the layer 128 can be produced only through the steps of exposure and development, and the influence of dry etching, wet etching, or the like on the surfaces of the pixel electrodes 111a, 111b, and 111c can be reduced. Further, when the layer 128 is formed using a negative photosensitive resin, the layer 128 can be formed using the same photomask (exposure mask) used for forming the opening of the insulating layer 214 in some cases. be.
  • the conductive layer 126 a is provided on the pixel electrode 111 a and the layer 128 .
  • the conductive layer 126 a has a first region in contact with the top surface of the pixel electrode 111 a and a second region in contact with the top surface of the layer 128 . It is preferable that the height of the top surface of the pixel electrode 111a in contact with the first region and the height of the top surface of the layer 128 in contact with the second region match or substantially match.
  • the conductive layer 126b is provided on the pixel electrode 111b and the layer 128.
  • the conductive layer 126 b has a first region in contact with the top surface of the pixel electrode 111 b and a second region in contact with the top surface of the layer 128 .
  • the height of the top surface of the pixel electrode 111b in contact with the first region and the height of the top surface of the layer 128 in contact with the second region are preferably the same or substantially the same.
  • the conductive layer 126c is provided on the pixel electrode 111c and the layer 128.
  • the conductive layer 126 c has a first region in contact with the top surface of the pixel electrode 111 c and a second region in contact with the top surface of the layer 128 .
  • the height of the top surface of the pixel electrode 111c in contact with the first region and the height of the top surface of the layer 128 in contact with the second region are preferably the same or substantially the same.
  • the pixel electrode contains a material that reflects visible light
  • the counter electrode contains a material that transmits visible light
  • the display device 100A is of the top emission type. Light emitted by the light emitting device is emitted to the substrate 152 side. A material having high visible light transmittance is preferably used for the substrate 152 .
  • the layer 101 including the transistor includes a laminated structure from the substrate 151 to the insulating layer 214 .
  • Both the transistor 201 and the transistor 205 are formed over the substrate 151 . These transistors can be made with the same material and the same process.
  • An insulating layer 211, an insulating layer 213, an insulating layer 215, and an insulating layer 214 are provided on the substrate 151 in this order.
  • Part of the insulating layer 211 functions as a gate insulating layer of each transistor.
  • Part of the insulating layer 213 functions as a gate insulating layer of each transistor.
  • An insulating layer 215 is provided over the transistor.
  • An insulating layer 214 is provided over the transistor and functions as a planarization layer. Note that the number of gate insulating layers and the number of insulating layers covering a transistor are not limited, and each may have a single layer or two or more layers.
  • a material in which impurities such as water and hydrogen are difficult to diffuse for at least one insulating layer covering the transistor.
  • Inorganic insulating films are preferably used for the insulating layer 211, the insulating layer 213, and the insulating layer 215, respectively.
  • As the inorganic insulating film for example, a silicon nitride film, a silicon oxynitride film, a silicon oxide film, a silicon oxynitride film, an aluminum oxide film, an aluminum nitride film, or the like can be used.
  • a hafnium oxide film, an yttrium oxide film, a zirconium oxide film, a gallium oxide film, a tantalum oxide film, a magnesium oxide film, a lanthanum oxide film, a cerium oxide film, a neodymium oxide film, or the like may be used.
  • two or more of the insulating films described above may be laminated and used.
  • the organic insulating film preferably has openings near the ends of the display device 100A. As a result, it is possible to prevent impurities from entering through the organic insulating film from the end of the display device 100A.
  • the organic insulating film may be formed so that the edges of the organic insulating film are located inside the edges of the display device 100A so that the organic insulating film is not exposed at the edges of the display device 100A.
  • An organic insulating film is suitable for the insulating layer 214 that functions as a planarizing layer.
  • materials that can be used for the organic insulating film include acrylic resins, polyimide resins, epoxy resins, polyamide resins, polyimideamide resins, siloxane resins, benzocyclobutene-based resins, phenolic resins, precursors of these resins, and the like.
  • the insulating layer 214 may have a laminated structure of an organic insulating film and an inorganic insulating film. The outermost layer of the insulating layer 214 preferably functions as an etching protection film.
  • the insulating layer 214 may be provided with recesses during processing of the pixel electrode 111a, the conductive layer 126a, or the like.
  • An opening is formed in the insulating layer 214 in a region 228 shown in FIG. 17A.
  • the transistors 201 and 205 include a conductive layer 221 functioning as a gate, an insulating layer 211 functioning as a gate insulating layer, conductive layers 222a and 222b functioning as sources and drains, a semiconductor layer 231, and an insulating layer functioning as a gate insulating layer. It has a layer 213 and a conductive layer 223 that functions as a gate. Here, the same hatching pattern is applied to a plurality of layers obtained by processing the same conductive film.
  • the insulating layer 211 is located between the conductive layer 221 and the semiconductor layer 231 .
  • the insulating layer 213 is located between the conductive layer 223 and the semiconductor layer 231 .
  • the structure of the transistor included in the display device of this embodiment there is no particular limitation on the structure of the transistor included in the display device of this embodiment.
  • a planar transistor, a staggered transistor, an inverted staggered transistor, or the like can be used.
  • the transistor structure may be either a top-gate type or a bottom-gate type.
  • gates may be provided above and below a semiconductor layer in which a channel is formed.
  • a structure in which a semiconductor layer in which a channel is formed is sandwiched between two gates is applied to the transistors 201 and 205 .
  • a transistor may be driven by connecting two gates and applying the same signal to them.
  • the threshold voltage of the transistor may be controlled by applying a potential for controlling the threshold voltage to one of the two gates and applying a potential for driving to the other.
  • the crystallinity of the semiconductor material used for the semiconductor layer of the transistor is not particularly limited, either. ) may be used. It is preferable to use a crystalline semiconductor because deterioration of transistor characteristics can be suppressed.
  • a semiconductor layer of a transistor preferably includes a metal oxide (also referred to as an oxide semiconductor).
  • the display device of this embodiment preferably uses a transistor including a metal oxide for a channel formation region (hereinafter referred to as an OS transistor).
  • a metal oxide is a metal oxide in a broad sense.
  • Metal oxides are classified into oxide insulators, oxide conductors (including transparent oxide conductors), oxide semiconductors (also referred to as oxide semiconductors or simply OSs), and the like.
  • oxide semiconductors also referred to as oxide semiconductors or simply OSs
  • an OS transistor can be referred to as a transistor including a metal oxide or an oxide semiconductor.
  • the bandgap of the metal oxide used for the semiconductor layer of the transistor is preferably 2 eV or more, more preferably 2.5 eV or more.
  • the off-state current of the OS transistor can be reduced by using a metal oxide with a large bandgap.
  • the metal oxide preferably contains at least indium or zinc, and more preferably contains indium and zinc.
  • metal oxides include indium and M (where M is gallium, aluminum, yttrium, tin, silicon, boron, copper, vanadium, beryllium, titanium, iron, nickel, germanium, zirconium, molybdenum, lanthanum, cerium, neodymium). , hafnium, tantalum, tungsten, magnesium, and cobalt) and zinc.
  • M is preferably one or more selected from gallium, aluminum, yttrium and tin, more preferably gallium.
  • a metal oxide containing indium, M, and zinc may be hereinafter referred to as an In-M-Zn oxide.
  • the atomic ratio of In in the In-M-Zn oxide is preferably equal to or higher than the atomic ratio of M.
  • the atomic ratio of In in the In-M-Zn oxide may be less than the atomic ratio of M.
  • the amount of change in the threshold voltage or the amount of change in the shift voltage (Vsh) measured by NBTIS (Negative Bias Temperature Illumination Stress) test of the transistor can be reduced.
  • the semiconductor layer of the transistor may contain silicon.
  • silicon examples include amorphous silicon and crystalline silicon (low-temperature polysilicon, monocrystalline silicon, etc.).
  • the semiconductor layer of the transistor may have a layered material that functions as a semiconductor.
  • a layered substance is a general term for a group of materials having a layered crystal structure.
  • a layered crystal structure is a structure in which layers formed by covalent or ionic bonds are stacked via bonds such as van der Waals forces that are weaker than covalent or ionic bonds.
  • a layered material has high electrical conductivity within a unit layer, that is, high two-dimensional electrical conductivity. By using a material that functions as a semiconductor and has high two-dimensional electrical conductivity for the channel formation region, a transistor with high on-state current can be provided.
  • Chalcogenides are compounds containing chalcogens (elements belonging to group 16). Chalcogenides include transition metal chalcogenides and Group 13 chalcogenides.
  • transition metal chalcogenides applicable as semiconductor layers of transistors include molybdenum sulfide (typically MoS 2 ), molybdenum selenide (typically MoSe 2 ), molybdenum tellurium (typically MoTe 2 ), tungsten sulfide (typically WS 2 ), tungsten selenide (typically WSe 2 ), tungsten tellurium (typically WTe 2 ), hafnium sulfide (typically HfS 2 ), hafnium selenide (typically HfSe 2 ), zirconium sulfide (typically ZrS 2 ), zirconium selenide (typically ZrSe 2 ), and the like.
  • molybdenum sulfide typically MoS 2
  • molybdenum selenide typically MoSe 2
  • molybdenum tellurium typically MoTe 2
  • tungsten sulfide typically WS 2
  • the transistor included in the circuit 164 and the transistor included in the display portion 162 may have the same structure or different structures.
  • the plurality of transistors included in the circuit 164 may all have the same structure, or may have two or more types.
  • the structures of the plurality of transistors included in the display portion 162 may all be the same, or may be of two or more types.
  • 17B and 17C show other configuration examples of the transistor.
  • the transistor 209 and the transistor 210 each include a conductive layer 221 functioning as a gate, an insulating layer 211 functioning as a gate insulating layer, a semiconductor layer 231 having a channel formation region 231i and a pair of low-resistance regions 231n, and one of the pair of low-resistance regions 231n.
  • a conductive layer 222a connected to a pair of low-resistance regions 231n, a conductive layer 222b connected to the other of a pair of low-resistance regions 231n, an insulating layer 225 functioning as a gate insulating layer, a conductive layer 223 functioning as a gate, and an insulating layer 215 covering the conductive layer 223 have
  • the insulating layer 211 is located between the conductive layer 221 and the channel formation region 231i.
  • the insulating layer 225 is located at least between the conductive layer 223 and the channel formation region 231i.
  • an insulating layer 218 may be provided to cover the transistor.
  • the transistor 209 shown in FIG. 17B shows an example in which the insulating layer 225 covers the top surface and side surfaces of the semiconductor layer 231 .
  • the conductive layers 222a and 222b are connected to the low-resistance region 231n through openings provided in the insulating layers 225 and 215, respectively.
  • One of the conductive layers 222a and 222b functions as a source and the other functions as a drain.
  • the insulating layer 225 overlaps the channel formation region 231i of the semiconductor layer 231 and does not overlap the low resistance region 231n.
  • the insulating layer 215 is provided to cover the insulating layer 225 and the conductive layer 223, and the conductive layers 222a and 222b are connected to the low resistance region 231n through openings in the insulating layer 215, respectively.
  • a connecting portion 204 is provided in a region of the substrate 151 where the substrate 152 does not overlap.
  • the wiring 165 is electrically connected to the FPC 172 via the conductive layer 166 and the connecting layer 242 .
  • the conductive layer 166 includes a conductive film obtained by processing the same conductive film as the pixel electrodes 111a, 111b, and 111c and a conductive film obtained by processing the same conductive film as the conductive layers 126a, 126b, and 126c. , which is a laminated structure.
  • the conductive layer 166 is exposed on the upper surface of the connecting portion 204 . Thereby, the connecting portion 204 and the FPC 172 can be electrically connected via the connecting layer 242 .
  • a light shielding layer 117 is preferably provided on the surface of the substrate 152 on the substrate 151 side.
  • Colored layers 129a and 129b may be provided on the surface of the substrate 152 on the substrate 151 side.
  • 17A, colored layers 129a, 129b, and 129c are provided so as to partially cover the light shielding layer 117 when the substrate 152 is viewed through the substrate 151. In FIG.
  • optical members can be arranged outside the substrate 152 .
  • optical members include polarizing plates, retardation plates, light diffusion layers (diffusion films, etc.), antireflection layers, light collecting films, and the like.
  • an antistatic film that suppresses adhesion of dust, a water-repellent film that prevents adhesion of dirt, a hard coat film that suppresses the occurrence of scratches due to use, a shock absorption layer, etc. are arranged on the outside of the substrate 152 .
  • an antistatic film that suppresses adhesion of dust
  • a water-repellent film that prevents adhesion of dirt
  • a hard coat film that suppresses the occurrence of scratches due to use
  • a shock absorption layer, etc. are arranged.
  • the protective layers 131 and 132 that cover the light-emitting device By providing the protective layers 131 and 132 that cover the light-emitting device, it is possible to prevent impurities such as water from entering the light-emitting device and improve the reliability of the light-emitting device.
  • the insulating layer 215 and the protective layer 131 or 132 are in contact with each other through the opening of the insulating layer 214 in the region 228 near the edge of the display device 100A.
  • the inorganic insulating films are in contact with each other. This can prevent impurities from entering the display section 162 from the outside through the organic insulating film. Therefore, the reliability of the display device 100A can be improved.
  • the substrates 151 and 152 glass, quartz, ceramics, sapphire, resins, metals, alloys, semiconductors, etc. can be used, respectively.
  • a material that transmits the light is used for the substrate on the side from which the light from the light-emitting device is extracted.
  • the flexibility of the display device can be increased.
  • a polarizing plate may be used as the substrate 151 or the substrate 152 .
  • polyester resins such as polyethylene terephthalate (PET) and polyethylene naphthalate (PEN), polyacrylonitrile resins, acrylic resins, polyimide resins, polymethyl methacrylate resins, polycarbonate (PC) resins, and polyether resins are used, respectively.
  • PES resin Sulfone (PES) resin, polyamide resin (nylon, aramid, etc.), polysiloxane resin, cycloolefin resin, polystyrene resin, polyamideimide resin, polyurethane resin, polyvinyl chloride resin, polyvinylidene chloride resin, polypropylene resin, polytetrafluoroethylene (PTFE) resin, ABS resin, cellulose nanofiber, or the like can be used.
  • PES polyamide resin
  • aramid polysiloxane resin
  • polystyrene resin polyamideimide resin
  • polyurethane resin polyvinyl chloride resin
  • polyvinylidene chloride resin polypropylene resin
  • PTFE resin polytetrafluoroethylene
  • ABS resin cellulose nanofiber, or the like
  • One or both of the substrates 151 and 152 may be made of glass having a thickness sufficient to be flexible.
  • a substrate having high optical isotropy has small birefringence (it can be said that the amount of birefringence is small).
  • the absolute value of the retardation (retardation) value of the substrate with high optical isotropy is preferably 30 nm or less, more preferably 20 nm or less, and even more preferably 10 nm or less.
  • Films with high optical isotropy include triacetyl cellulose (TAC, also called cellulose triacetate) films, cycloolefin polymer (COP) films, cycloolefin copolymer (COC) films, and acrylic films.
  • TAC triacetyl cellulose
  • COP cycloolefin polymer
  • COC cycloolefin copolymer
  • a film having a low water absorption rate as the substrate.
  • various curable adhesives such as photocurable adhesives such as ultraviolet curable adhesives, reaction curable adhesives, thermosetting adhesives, and anaerobic adhesives can be used.
  • These adhesives include epoxy resins, acrylic resins, silicone resins, phenol resins, polyimide resins, imide resins, PVC (polyvinyl chloride) resins, PVB (polyvinyl butyral) resins, EVA (ethylene vinyl acetate) resins, and the like.
  • a material with low moisture permeability such as epoxy resin is preferable.
  • a two-liquid mixed type resin may be used.
  • an adhesive sheet or the like may be used.
  • connection layer 242 an anisotropic conductive film (ACF: Anisotropic Conductive Film), an anisotropic conductive paste (ACP: Anisotropic Conductive Paste), or the like can be used.
  • ACF Anisotropic Conductive Film
  • ACP Anisotropic Conductive Paste
  • materials that can be used for conductive layers such as various wirings and electrodes constituting display devices include aluminum, titanium, chromium, nickel, copper, yttrium, zirconium, molybdenum, silver, Examples include metals such as tantalum and tungsten, and alloys containing these metals as main components. A film containing these materials can be used as a single layer or as a laminated structure.
  • conductive oxides such as indium oxide, indium tin oxide, indium zinc oxide, zinc oxide, zinc oxide containing gallium, or graphene can be used.
  • metal materials such as gold, silver, platinum, magnesium, nickel, tungsten, chromium, molybdenum, iron, cobalt, copper, palladium, and titanium, or alloy materials containing such metal materials can be used.
  • a nitride of the metal material eg, titanium nitride
  • it is preferably thin enough to have translucency.
  • a stacked film of any of the above materials can be used as the conductive layer.
  • a layered film of an alloy of silver and magnesium and indium tin oxide because the conductivity can be increased.
  • conductive layers such as various wirings and electrodes that constitute a display device, and conductive layers (conductive layers functioning as pixel electrodes or common electrodes) of light-emitting devices.
  • Examples of insulating materials that can be used for each insulating layer include resins such as acrylic resins and epoxy resins, and inorganic insulating materials such as silicon oxide, silicon oxynitride, silicon nitride oxide, silicon nitride, and aluminum oxide.
  • Display device 100B A display device 100B shown in FIG. 18 is mainly different from the display device 100A in that it is of a bottom emission type. Note that the description of the same parts as those of the display device 100A will be omitted.
  • FIG. 18 shows a sub-pixel including the first layer 113a and a sub-pixel including the second layer 113b, three or more types of sub-pixels can be provided as in FIG. 17A.
  • the light emitted by the light emitting device is emitted to the substrate 151 side.
  • a material having high visible light transmittance is preferably used for the substrate 151 .
  • the material used for the substrate 152 may or may not be translucent.
  • the pixel electrodes 111a and 111b and the conductive layers 126a and 126b contain a material that transmits visible light
  • the common electrode 115 contains a material that reflects visible light
  • the conductive layer 166 obtained by processing the same conductive film as the pixel electrodes 111a and 111b and the conductive layers 126a and 126b also contains a material that transmits visible light.
  • a light shielding layer 117 is preferably formed between the substrate 151 and the transistor 201 and between the substrate 151 and the transistor 205 .
  • FIG. 18 shows an example in which the light-blocking layer 117 is provided over the substrate 151 , the insulating layer 153 is provided over the light-blocking layer 117 , and the transistors 201 and 205 and the like are provided over the insulating layer 153 .
  • the colored layers 129a and 129b are provided between the insulating layer 215 and the insulating layer 214. Edges of the colored layers 129 a and 129 b preferably overlap with the light shielding layer 117 .
  • FIGS. 19A to 19D show cross-sectional structures of a pixel electrode 111a, a layer 128, and a region 138 including the periphery thereof. 19A to 19D also apply to the light emitting device 130b and the light emitting device 130c.
  • the top surface of layer 128 may be higher than the top surface of pixel electrode 111a.
  • the upper surface of the layer 128 has a convex shape that gently swells toward the center.
  • the top surface of the layer 128 may be lower than the top surface of the pixel electrode 111a.
  • the upper surface of the layer 128 has a shape that is concave toward the center and gently recessed.
  • the upper portion of the layer 128 may extend beyond the concave portion formed in the pixel electrode 111a. At this time, part of the layer 128 may be formed covering part of the substantially flat region of the pixel electrode 111a.
  • a recess may be formed in a part of the upper surface of the layer 128 in some cases.
  • the recess has a shape that is gently recessed toward the center.
  • FIGS. 20A to 20F show cross-sectional structures of a region 139 including the insulating layer 127 and its periphery.
  • FIG. 20A shows an example in which the first layer 113a and the second layer 113b have different thicknesses.
  • the height of the top surface of the insulating layer 125 matches or substantially matches the height of the top surface of the first layer 113a on the side of the first layer 113a, and the height of the top surface of the second layer 113b on the side of the second layer 113b. Matches or roughly matches height.
  • the upper surface of the insulating layer 127 has a gentle slope with a higher surface on the side of the first layer 113a and a lower surface on the side of the second layer 113b.
  • the insulating layers 125 and 127 have the same height as the top surface of the adjacent EL layer.
  • the top surface may have a flat portion that is aligned with the height of the top surface of any of the adjacent EL layers.
  • the top surface of the insulating layer 127 has a region higher than the top surface of the first layer 113a and the top surface of the second layer 113b.
  • the upper surface of the insulating layer 127 has a gently bulging convex shape toward the center.
  • the insulating layer 127 has a region higher than the upper surface of the first layer 113a and the upper surface of the second layer 113b.
  • the display device 100A and the display device 100B include at least one of the first sacrificial layer 118 and the second sacrificial layer 119, and the insulating layer 127 covers the top surface of the first layer 113a and the second sacrificial layer 113a.
  • the top surface of the insulating layer 127 has a region lower than the top surface of the first layer 113a and the top surface of the second layer 113b.
  • the upper surface of the insulating layer 127 has a shape that is gently recessed toward the center.
  • the top surface of the insulating layer 125 has a region higher than the top surface of the first layer 113a and the top surface of the second layer 113b. That is, the insulating layer 125 protrudes from the formation surface of the fifth layer 114 to form a convex portion.
  • the insulating layer 125 may be formed to protrude as shown in FIG. 20E. be.
  • the top surface of the insulating layer 125 has a region lower than the top surface of the first layer 113a and the top surface of the second layer 113b. That is, the insulating layer 125 forms a concave portion on the formation surface of the fifth layer 114 .
  • the arrangement of sub-pixels includes, for example, a stripe arrangement, an S-stripe arrangement, a matrix arrangement, a delta arrangement, a Bayer arrangement, and a pentile arrangement.
  • top surface shapes of sub-pixels include triangles, quadrilaterals (including rectangles and squares), polygons such as pentagons, shapes with rounded corners of these polygons, ellipses, and circles.
  • the top surface shape of the sub-pixel corresponds to the top surface shape of the light emitting region of the light emitting device.
  • a stripe arrangement is applied to the pixels 110 shown in FIG. 21A.
  • a pixel 110 shown in FIG. 21A is composed of three sub-pixels, sub-pixels 110a, 110b, and 110c.
  • the sub-pixel 110a may be the red sub-pixel R
  • the sub-pixel 110b may be the green sub-pixel G
  • the sub-pixel 110c may be the blue sub-pixel B.
  • a pixel 110 shown in FIG. 21B is composed of three sub-pixels, sub-pixels 110a, 110b, and 110c.
  • the sub-pixel 110a may be the blue sub-pixel B
  • the sub-pixel 110b may be the red sub-pixel R
  • the sub-pixel 110c may be the green sub-pixel G.
  • FIG. 21C is an example in which sub-pixels of each color are arranged in a zigzag pattern. Specifically, when viewed from above, the positions of the upper sides of two sub-pixels (for example, sub-pixel 110a and sub-pixel 110b or sub-pixel 110b and sub-pixel 110c) aligned in the column direction are shifted.
  • the sub-pixel 110a may be the red sub-pixel R
  • the sub-pixel 110b may be the green sub-pixel G
  • the sub-pixel 110c may be the blue sub-pixel B.
  • the pixel 110 shown in FIG. 21D includes a subpixel 110a having a substantially trapezoidal top surface shape with rounded corners, a subpixel 110b having a substantially triangular top surface shape with rounded corners, and a substantially square or substantially hexagonal top surface shape with rounded corners. and a sub-pixel 110c having Also, the sub-pixel 110a has a larger light emitting area than the sub-pixel 110b.
  • the shape and size of each sub-pixel can be determined independently. For example, sub-pixels with more reliable light emitting devices can be smaller in size.
  • the sub-pixel 110a may be the green sub-pixel G
  • the sub-pixel 110b may be the red sub-pixel R
  • the sub-pixel 110c may be the blue sub-pixel B.
  • FIG. 21E shows an example in which pixels 124a having sub-pixels 110a and 110b and pixels 124b having sub-pixels 110b and 110c are alternately arranged.
  • the sub-pixel 110a may be the red sub-pixel R
  • the sub-pixel 110b may be the green sub-pixel G
  • the sub-pixel 110c may be the blue sub-pixel B.
  • Pixel 124a has two sub-pixels (sub-pixels 110a and 110b) in the upper row (first row) and one sub-pixel (sub-pixel 110c) in the lower row (second row).
  • Pixel 124b has one sub-pixel (sub-pixel 110c) in the upper row (first row) and two sub-pixels (sub-pixels 110a and 110b) in the lower row (second row).
  • the sub-pixel 110a may be the red sub-pixel R
  • the sub-pixel 110b may be the green sub-pixel G
  • the sub-pixel 110c may be the blue sub-pixel B.
  • FIG. 21F is an example in which each sub-pixel has a substantially square top surface shape with rounded corners
  • FIG. 21G is an example in which each sub-pixel has a circular top surface shape.
  • the top surface shape of the sub-pixel may be a polygonal shape with rounded corners, an elliptical shape, a circular shape, or the like.
  • the EL layer is processed into an island shape using a resist mask.
  • the resist film formed on the EL layer needs to be cured at a temperature lower than the heat resistance temperature of the EL layer. Therefore, depending on the heat resistance temperature of the EL layer material and the curing temperature of the resist material, curing of the resist film may be insufficient.
  • a resist film that is insufficiently hardened may take a shape away from the desired shape during processing.
  • the top surface shape of the EL layer may be a polygon with rounded corners, an ellipse, or a circle. For example, when a resist mask having a square top surface is formed, a resist mask having a circular top surface is formed, and the EL layer may have a circular top surface.
  • a technique for correcting the mask pattern in advance so that the design pattern and the transfer pattern match.
  • OPC Optical Proximity Correction
  • a pattern for correction is added to a corner portion of a figure on a mask pattern.
  • a stripe arrangement is applied to the pixels 110 shown in FIGS. 23A to 23C.
  • FIG. 23A is an example in which each sub-pixel has a rectangular top surface shape
  • FIG. 23B is an example in which each sub-pixel has a top surface shape connecting two semicircles and a rectangle
  • FIG. This is an example where the sub-pixel has an elliptical top surface shape.
  • a matrix arrangement is applied to the pixels 110 shown in FIGS. 23D to 23F.
  • FIG. 23D is an example in which each sub-pixel has a square top surface shape
  • FIG. 23E is an example in which each sub-pixel has a substantially square top surface shape with rounded corners
  • FIG. which have a circular top shape.
  • a pixel 110 shown in FIGS. 23A to 23F is composed of four sub-pixels 110a, 110b, 110c and 110d.
  • the sub-pixels 110a, 110b, 110c, and 110d emit different colors of light.
  • sub-pixels 110a, 110b, 110c, and 110d can be red, green, blue, and white sub-pixels, respectively.
  • subpixels 110a, 110b, 110c, and 110d can be red, green, blue, and white subpixels, respectively.
  • subpixels 110a, 110b, 110c, and 110d can be red, green, blue, and infrared emitting subpixels, respectively.
  • the sub-pixel 110d has a light-emitting device.
  • the light-emitting device includes a pixel electrode, an island-shaped fourth layer of the pixel electrode, a fifth layer 114 on the island-shaped fourth layer, and a common electrode 115 on the fifth layer 114.
  • the fourth layer and the fifth layer 114 can be collectively called an EL layer.
  • the same material as the pixel electrodes 111a, 111b, and 111c may be used.
  • a material similar to that of the first layer 113a, the second layer 113b, and the third layer 113c may be used.
  • FIG. 23G shows an example in which one pixel 110 is composed of 2 rows and 3 columns.
  • the pixel 110 has three sub-pixels (sub-pixel 110a, sub-pixel 110b, sub-pixel 110c) in the upper row (first row) and three sub-pixels 110d in the lower row (second row).
  • pixel 110 has sub-pixels 110a and 110d in the left column (first column), sub-pixels 110b and 110d in the center column (second column), and sub-pixels 110b and 110d in the middle column (second column).
  • a column (third column) has a sub-pixel 110c and a sub-pixel 110d.
  • FIG. 23G by aligning the arrangement of the sub-pixels in the upper row and the lower row, it is possible to efficiently remove dust that may be generated in the manufacturing process. Therefore, a display device with high display quality can be provided.
  • FIG. 23H shows an example in which one pixel 110 is composed of 2 rows and 3 columns.
  • the pixel 110 has three sub-pixels (sub-pixel 110a, sub-pixel 110b, sub-pixel 110c) in the upper row (first row) and one sub-pixel (sub-pixel 110c) in the lower row (second row). sub-pixel 110d).
  • pixel 110 has sub-pixel 110a in the left column (first column), sub-pixel 110b in the middle column (second column), and sub-pixel 110b in the right column (third column). It has pixels 110c and sub-pixels 110d over these three columns.
  • the pixel 110 shown in FIGS. 23G and 23H for example, as shown in FIGS. can be the blue sub-pixel B and the sub-pixel 110d can be the white sub-pixel W.
  • a display device of one embodiment of the present invention may include a light-receiving device in a pixel.
  • three may be configured with light-emitting devices, and the remaining one may be configured with light-receiving devices.
  • a pn-type or pin-type photodiode can be used as the light receiving device.
  • a light-receiving device functions as a photoelectric conversion device (also referred to as a photoelectric conversion element) that detects light incident on the light-receiving device and generates an electric charge. The amount of charge generated from the light receiving device is determined based on the amount of light incident on the light receiving device.
  • organic photodiode having a layer containing an organic compound as the light receiving device.
  • Organic photodiodes can be easily made thinner, lighter, and larger, and have a high degree of freedom in shape and design, so that they can be applied to various display devices.
  • an organic EL device is used as the light emitting device and an organic photodiode is used as the light receiving device.
  • An organic EL device and an organic photodiode can be formed on the same substrate. Therefore, an organic photodiode can be incorporated in a display device using an organic EL device.
  • a light receiving device has an active layer that functions at least as a photoelectric conversion layer between a pair of electrodes.
  • one of a pair of electrodes may be referred to as a pixel electrode and the other may be referred to as a common electrode.
  • the sub-pixels 110a, 110b, and 110c may be three-color sub-pixels of R, G, and B, and the sub-pixel 110d may be a sub-pixel having a light receiving device.
  • the fourth layer has at least an active layer.
  • one electrode functions as an anode and the other electrode functions as a cathode.
  • the light-receiving device can be driven by applying a reverse bias between the pixel electrode and the common electrode, thereby detecting light incident on the light-receiving device, generating electric charge, and extracting it as a current.
  • the pixel electrode may function as a cathode and the common electrode may function as an anode.
  • a manufacturing method similar to that for the light-emitting device can also be applied to the light-receiving device.
  • the island-shaped active layer (also called photoelectric conversion layer) of the light receiving device is not formed by a pattern of a metal mask, but is formed by processing after forming a film that will be the active layer over the entire surface. , an island-shaped active layer can be formed with a uniform thickness. Further, by providing the sacrificial layer over the active layer, the damage to the active layer during the manufacturing process of the display device can be reduced, and the reliability of the light receiving device can be improved.
  • a layer shared by the light-receiving device and the light-emitting device may have different functions in the light-emitting device and in the light-receiving device. Components are sometimes referred to herein based on their function in the light emitting device.
  • a hole-injecting layer functions as a hole-injecting layer in light-emitting devices and as a hole-transporting layer in light-receiving devices.
  • an electron-injecting layer functions as an electron-injecting layer in light-emitting devices and as an electron-transporting layer in light-receiving devices.
  • a layer shared by the light-receiving device and the light-emitting device may have the same function in the light-emitting device as in the light-receiving device.
  • a hole-transporting layer functions as a hole-transporting layer in both a light-emitting device and a light-receiving device
  • an electron-transporting layer functions as an electron-transporting layer in both a light-emitting device and a light-receiving device.
  • the active layer of the light receiving device contains a semiconductor.
  • the semiconductor include inorganic semiconductors such as silicon and organic semiconductors including organic compounds.
  • an organic semiconductor is used as the semiconductor included in the active layer.
  • the light-emitting layer and the active layer can be formed by the same method (for example, a vacuum deposition method), and a manufacturing apparatus can be shared, which is preferable.
  • Electron-accepting organic semiconductor materials such as fullerenes (eg, C 60 , C 70 , etc.) and fullerene derivatives can be used as n-type semiconductor materials for the active layer.
  • Fullerenes have a soccer ball-like shape, which is energetically stable.
  • Fullerene has both deep (low) HOMO and LUMO levels. Since fullerene has a deep LUMO level, it has an extremely high electron-accepting property (acceptor property).
  • acceptor property electron-accepting property
  • a high electron-accepting property is useful as a light-receiving device because charge separation occurs quickly and efficiently.
  • Both C 60 and C 70 have broad absorption bands in the visible light region, and C 70 is particularly preferable because it has a larger ⁇ -electron conjugated system than C 60 and has a wide absorption band in the long wavelength region.
  • [6,6]-Phenyl-C71-butylic acid methyl ester (abbreviation: PC70BM), [6,6]-Phenyl-C61-butylic acid methyl ester (abbreviation: PC60BM), 1′, 1′′,4′,4′′-Tetrahydro-di[1,4]methanonaphthaleno[1,2:2′,3′,56,60:2′′,3′′][5,6]fullerene- C60 (abbreviation: ICBA) etc. are mentioned.
  • Materials for the n-type semiconductor include metal complexes having a quinoline skeleton, metal complexes having a benzoquinoline skeleton, metal complexes having an oxazole skeleton, metal complexes having a thiazole skeleton, oxadiazole derivatives, triazole derivatives, imidazole derivatives, Oxazole derivatives, thiazole derivatives, phenanthroline derivatives, quinoline derivatives, benzoquinoline derivatives, quinoxaline derivatives, dibenzoquinoxaline derivatives, pyridine derivatives, bipyridine derivatives, pyrimidine derivatives, naphthalene derivatives, anthracene derivatives, coumarin derivatives, rhodamine derivatives, triazine derivatives, quinone derivatives, etc. is mentioned.
  • Materials for the p-type semiconductor of the active layer include copper (II) phthalocyanine (CuPc), tetraphenyldibenzoperiflanthene (DBP), zinc phthalocyanine (ZnPc), and tin phthalocyanine.
  • electron-donating organic semiconductor materials such as (SnPc) and quinacridone;
  • Examples of p-type semiconductor materials include carbazole derivatives, thiophene derivatives, furan derivatives, and compounds having an aromatic amine skeleton.
  • materials for p-type semiconductors include naphthalene derivatives, anthracene derivatives, pyrene derivatives, triphenylene derivatives, fluorene derivatives, pyrrole derivatives, benzofuran derivatives, benzothiophene derivatives, indole derivatives, dibenzofuran derivatives, dibenzothiophene derivatives, indolocarbazole derivatives, porphyrin derivatives, phthalocyanine derivatives, naphthalocyanine derivatives, quinacridone derivatives, polyphenylenevinylene derivatives, polyparaphenylene derivatives, polyfluorene derivatives, polyvinylcarbazole derivatives, polythiophene derivatives and the like.
  • the HOMO level of the electron-donating organic semiconductor material is preferably shallower (higher) than the HOMO level of the electron-accepting organic semiconductor material.
  • the LUMO level of the electron-donating organic semiconductor material is preferably shallower (higher) than the LUMO level of the electron-accepting organic semiconductor material.
  • a spherical fullerene as the electron-accepting organic semiconductor material, and use an organic semiconductor material with a shape close to a plane as the electron-donating organic semiconductor material. Molecules with similar shapes tend to gather together, and when molecules of the same type aggregate, the energy levels of the molecular orbitals are close to each other, so the carrier transportability can be enhanced.
  • the active layer is preferably formed by co-depositing an n-type semiconductor and a p-type semiconductor.
  • the active layer may be formed by laminating an n-type semiconductor and a p-type semiconductor.
  • the light-receiving device further includes, as layers other than the active layer, a layer containing a highly hole-transporting substance, a highly electron-transporting substance, a bipolar substance (substances having high electron-transporting and hole-transporting properties), or the like. may have.
  • the layer is not limited to the above, and may further include a layer containing a highly hole-injecting substance, a hole-blocking material, a highly electron-injecting material, an electron-blocking material, or the like.
  • Both low-molecular-weight compounds and high-molecular-weight compounds can be used in the light-receiving device, and inorganic compounds may be included.
  • the layers constituting the light-receiving device can be formed by methods such as a vapor deposition method (including a vacuum vapor deposition method), a transfer method, a printing method, an inkjet method, and a coating method.
  • hole-transporting materials include polymer compounds such as poly(3,4-ethylenedioxythiophene)/poly(styrenesulfonic acid) (PEDOT/PSS), molybdenum oxide, and copper iodide (CuI).
  • Inorganic compounds such as can be used.
  • an inorganic compound such as zinc oxide (ZnO) can be used as the electron-transporting material.
  • 6-diyl]-2,5-thiophenediyl[5,7-bis(2-ethylhexyl)-4,8-dioxo-4H,8H-benzo[1,2-c:4,5-c′]dithiophene-1 ,3-diyl]]polymer (abbreviation: PBDB-T) or a polymer compound such as a PBDB-T derivative can be used.
  • a method of dispersing an acceptor material in PBDB-T or a PBDB-T derivative can be used.
  • three or more kinds of materials may be mixed in the active layer.
  • a third material may be mixed in addition to the n-type semiconductor material and the p-type semiconductor material.
  • the third material may be a low-molecular compound or a high-molecular compound.
  • a display device having a light-emitting device and a light-receiving device in a pixel, since the pixel has a light-receiving function, it is possible to detect contact or proximity of an object while displaying an image. For example, not only can an image be displayed by all the sub-pixels of the display device, but also some sub-pixels can emit light as a light source and the remaining sub-pixels can be used to display an image.
  • light-emitting devices are arranged in matrix in the display portion, and an image can be displayed on the display portion.
  • light receiving devices are arranged in a matrix in the display section, and the display section has one or both of an imaging function and a sensing function in addition to an image display function.
  • the display part can be used for an image sensor or a touch sensor. That is, by detecting light on the display portion, an image can be captured, or proximity or contact of an object (a finger, hand, pen, or the like) can be detected.
  • the display device of one embodiment of the present invention can use the light-emitting device as a light source of the sensor. Therefore, it is not necessary to provide a light receiving portion and a light source separately from the display device, and the number of parts of the electronic device can be reduced.
  • the light-receiving device when an object reflects (or scatters) light emitted by a light-emitting device included in the display portion, the light-receiving device can detect the reflected light (or scattered light).
  • the reflected light or scattered light.
  • imaging or touch detection is possible.
  • the display device can capture an image using the light receiving device.
  • the display device of this embodiment can be used as a scanner.
  • an image sensor can be used to acquire data related to biometric information such as fingerprints and palm prints. That is, the biometric authentication sensor can be incorporated in the display device.
  • the biometric authentication sensor can be incorporated into the display device.
  • the display device can detect proximity or contact of an object using the light receiving device.
  • the pixels shown in FIGS. 25A to 25D have sub-pixels G, sub-pixels B, sub-pixels R, and sub-pixels PS.
  • a stripe arrangement is applied to the pixels shown in FIG. 25A.
  • a matrix arrangement is applied to the pixels shown in FIG. 25B.
  • FIGS. 25C and 25D show an example in which one pixel is provided over 2 rows and 3 columns.
  • Three sub-pixels (sub-pixel G, sub-pixel B, and sub-pixel R) are provided in the upper row (first row).
  • three sub-pixels PS are provided in the lower row (second row).
  • two sub-pixels PS are provided in the lower row (second row).
  • FIG. 25C by aligning the arrangement of the sub-pixels in the upper row and the lower row, it is possible to efficiently remove dust that may be generated in the manufacturing process. Therefore, a display device with high display quality can be provided.
  • the layout of sub-pixels is not limited to the configurations shown in FIGS. 25A to 25D.
  • Sub-pixel R, sub-pixel G, and sub-pixel B each have a light-emitting device that emits white light. Sub-pixel R, sub-pixel G, and sub-pixel B are provided with corresponding colored layers superimposed on the light emitting device.
  • the sub-pixel PS has a light receiving device.
  • the wavelength of light detected by the sub-pixel PS is not particularly limited.
  • the light-receiving device included in the sub-pixel PS preferably detects visible light, and preferably detects one or more of colors such as blue, purple, blue-violet, green, yellow-green, yellow, orange, and red. . Also, the light receiving device included in the sub-pixel PS may detect infrared light.
  • the display device 100 shown in FIG. 25E has a layer 353 having a light receiving device, a functional layer 355, and a layer 357 having a light emitting device between a substrate 351 and a substrate 359 .
  • the functional layer 355 has a circuit for driving the light receiving device and a circuit for driving the light emitting device.
  • the functional layer 355 can be provided with switches, transistors, capacitors, resistors, wirings, terminals, and the like. Note that in the case of driving the light-emitting device and the light-receiving device by a passive matrix method, a structure in which the switch and the transistor are not provided may be employed.
  • light emitted by a light-emitting device in layer 357 having a light-emitting device is reflected by a person's eye and its surroundings so that the light-receiving device in layer 353 having a light-receiving device emits the reflected light.
  • This makes it possible to detect information (number of blinks, eye movement, eyelid movement, etc.) around, on the surface of, or inside the human eye.
  • the display device of this embodiment can be a high-definition display device. Therefore, the display device of the present embodiment includes, for example, information terminals (wearable devices) such as a wristwatch type and a bracelet type, devices for VR such as a head-mounted display, devices for AR such as glasses, and the like. It can be used for the display part of wearable equipment.
  • information terminals wearable devices
  • VR such as a head-mounted display
  • AR such as glasses
  • Display module A perspective view of the display module 280 is shown in FIG. 26A.
  • the display module 280 has a display device 100C and an FPC 290 .
  • the display device included in the display module 280 is not limited to the display device 100C, and may be any one of the display devices 100D to 100G described later.
  • the display module 280 has substrates 291 and 292 .
  • the display module 280 has a display section 281 .
  • the display unit 281 is an area for displaying an image in the display module 280, and is an area where light from each pixel provided in the pixel unit 284, which will be described later, can be visually recognized.
  • FIG. 26B shows a perspective view schematically showing the configuration on the substrate 291 side.
  • a circuit section 282 , a pixel circuit section 283 on the circuit section 282 , and a pixel section 284 on the pixel circuit section 283 are stacked on the substrate 291 .
  • a terminal portion 285 for connecting to the FPC 290 is provided on a portion of the substrate 291 that does not overlap with the pixel portion 284 .
  • the terminal portion 285 and the circuit portion 282 are electrically connected by a wiring portion 286 composed of a plurality of wirings.
  • the pixel section 284 has a plurality of periodically arranged pixels 284a.
  • An enlarged view of one pixel 284a is shown on the right side of FIG. 26B.
  • Pixel 284a has sub-pixel 110a, sub-pixel 110b, and sub-pixel 110c.
  • the above embodiment can be referred to for the configuration of the sub-pixel 110a, the sub-pixel 110b, and the sub-pixel 110c and their surroundings.
  • a plurality of sub-pixels can be arranged in a stripe arrangement as shown in FIG. 26B.
  • various light emitting device arrangement methods such as a delta arrangement or a pentile arrangement can be applied.
  • the pixel circuit section 283 has a plurality of periodically arranged pixel circuits 283a.
  • One pixel circuit 283a is a circuit that controls light emission of three light emitting devices included in one pixel 284a.
  • One pixel circuit 283a may have a structure in which three circuits for controlling light emission of one light emitting device are provided.
  • the pixel circuit 283a can have at least one selection transistor, one current control transistor (driving transistor), and a capacitive element for each light emitting device. At this time, a gate signal is input to the gate of the selection transistor, and a source signal is input to either the source or the drain of the selection transistor. This realizes an active matrix display device.
  • the circuit section 282 has a circuit that drives each pixel circuit 283 a of the pixel circuit section 283 .
  • a circuit that drives each pixel circuit 283 a of the pixel circuit section 283 For example, it is preferable to have one or both of a gate line driver circuit and a source line driver circuit.
  • at least one of an arithmetic circuit, a memory circuit, a power supply circuit, and the like may be provided.
  • the FPC 290 functions as wiring for supplying a video signal, power supply potential, or the like to the circuit section 282 from the outside. Also, an IC may be mounted on the FPC 290 .
  • the aperture ratio (effective display area ratio) of the display portion 281 is extremely high. can be higher.
  • the aperture ratio of the display section 281 can be 40% or more and less than 100%, preferably 50% or more and 95% or less, more preferably 60% or more and 95% or less.
  • the pixels 284a can be arranged at an extremely high density, and the definition of the display portion 281 can be extremely high.
  • the pixels 284a may be arranged with a resolution of 2000 ppi or more, preferably 3000 ppi or more, more preferably 5000 ppi or more, and still more preferably 6000 ppi or more, and 20000 ppi or less, or 30000 ppi or less. preferable.
  • a display module 280 Since such a display module 280 has extremely high definition, it can be suitably used for devices for VR such as head-mounted displays, or glasses-type devices for AR. For example, even in the case of a configuration in which the display portion of the display module 280 is viewed through a lens, the display module 280 has an extremely high-definition display portion 281, so pixels cannot be viewed even if the display portion is enlarged with the lens. , a highly immersive display can be performed. Moreover, the display module 280 is not limited to this, and can be suitably used for electronic equipment having a relatively small display unit. For example, it can be suitably used for a display part of a wearable electronic device such as a wristwatch.
  • Display device 100C A display device 100C illustrated in FIG. Subpixel 110a has light emitting device 130a and colored layer 129a, subpixel 110b has light emitting device 130b and colored layer 129b, and subpixel 110c has light emitting device 130c and colored layer 129c.
  • the substrate 301 corresponds to the substrate 291 in FIGS. 26A and 26B.
  • Layer 101 including a transistor includes a stacked structure from substrate 301 to insulating layer 255b.
  • a transistor 310 is a transistor having a channel formation region in the substrate 301 .
  • the substrate 301 for example, a semiconductor substrate such as a single crystal silicon substrate can be used.
  • Transistor 310 includes a portion of substrate 301 , conductive layer 311 , low resistance region 312 , insulating layer 313 and insulating layer 314 .
  • the conductive layer 311 functions as a gate electrode.
  • An insulating layer 313 is located between the substrate 301 and the conductive layer 311 and functions as a gate insulating layer.
  • the low-resistance region 312 is a region in which the substrate 301 is doped with impurities and functions as either a source or a drain.
  • the insulating layer 314 is provided to cover the side surface of the conductive layer 311 .
  • a device isolation layer 315 is provided between two adjacent transistors 310 so as to be embedded in the substrate 301 .
  • An insulating layer 261 is provided to cover the transistor 310 , and a capacitor 240 is provided over the insulating layer 261 .
  • the capacitor 240 has a conductive layer 241, a conductive layer 245, and an insulating layer 243 positioned therebetween.
  • the conductive layer 241 functions as one electrode of the capacitor 240
  • the conductive layer 245 functions as the other electrode of the capacitor 240
  • the insulating layer 243 functions as the dielectric of the capacitor 240 .
  • the conductive layer 241 is provided on the insulating layer 261 and embedded in the insulating layer 254 .
  • Conductive layer 241 is electrically connected to one of the source or drain of transistor 310 by plug 271 embedded in insulating layer 261 .
  • An insulating layer 243 is provided over the conductive layer 241 .
  • the conductive layer 245 is provided in a region overlapping with the conductive layer 241 with the insulating layer 243 provided therebetween.
  • An insulating layer 255a is provided to cover the capacitor 240, an insulating layer 255b is provided on the insulating layer 255a, and the light emitting devices 130a, 130b, 130c, etc. are provided on the insulating layer 255b.
  • the light emitting device 130a shown in FIG. 27 differs from the light emitting device 130a shown in FIG. 17A in that it does not have a conductive layer 126a that functions as an optical adjustment layer.
  • the light-emitting device 130b shown in FIG. 27 differs from the light-emitting device 130b shown in FIG. 17A in that it does not have a conductive layer 126b that functions as an optical adjustment layer.
  • the light-emitting device 130c shown in FIG. 27 differs from the light-emitting device 130c shown in FIG. 17A in that it does not have a conductive layer 126c that functions as an optical adjustment layer.
  • a fifth layer 114 is provided over the first layer 113a, the second layer 113b, the third layer 113c, the insulating layer 125, and the insulating layer 127, and the common electrode 115 is provided over the fifth layer 114.
  • a protective layer 131 is provided on the light emitting devices 130a, 130b, and 130c.
  • a protective layer 132 is provided over the protective layer 131 , and colored layers 129 a , 129 b , and 129 c are provided over the protective layer 132 .
  • a substrate 120 is bonded with a resin layer 122 onto the colored layers 129a, 129b, and 129c. Substrate 120 corresponds to substrate 292 in FIG. 26A.
  • various inorganic insulating films such as an oxide insulating film, a nitride insulating film, an oxynitride insulating film, and a nitride oxide insulating film can be preferably used.
  • an oxide insulating film or an oxynitride insulating film such as a silicon oxide film, a silicon oxynitride film, or an aluminum oxide film is preferably used.
  • a nitride insulating film or a nitride oxide insulating film such as a silicon nitride film or a silicon nitride oxide film is preferably used.
  • a silicon oxide film as the insulating layer 255a and a silicon nitride film as the insulating layer 255b.
  • the insulating layer 255b preferably functions as an etching protection film.
  • a nitride insulating film or a nitride oxide insulating film may be used as the insulating layer 255a, and an oxide insulating film or an oxynitride insulating film may be used as the insulating layer 255b.
  • an example in which the insulating layer 255b is provided with the recessed portion is shown; however, the insulating layer 255b may not be provided with the recessed portion.
  • the pixel electrode of the light emitting device is connected to one of the source or drain of transistor 310 by plugs 256 embedded in insulating layers 255a, 255b, conductive layers 241 embedded in insulating layers 254, and plugs 271 embedded in insulating layers 261. is electrically connected to The height of the upper surface of the insulating layer 255b and the height of the upper surface of the plug 256 match or substantially match.
  • Various conductive materials can be used for the plug.
  • Display device 100D A display device 100D shown in FIG. 28 is mainly different from the display device 100C in that the configuration of transistors is different. Note that the description of the same parts as those of the display device 100C may be omitted.
  • the transistor 320 is a transistor (OS transistor) in which a metal oxide (also referred to as an oxide semiconductor) is applied to a semiconductor layer in which a channel is formed.
  • OS transistor a transistor in which a metal oxide (also referred to as an oxide semiconductor) is applied to a semiconductor layer in which a channel is formed.
  • the transistor 320 has a semiconductor layer 321 , an insulating layer 323 , a conductive layer 324 , a pair of conductive layers 325 , an insulating layer 326 , and a conductive layer 327 .
  • the substrate 331 corresponds to the substrate 291 in FIGS. 26A and 26B.
  • Layer 101 including a transistor includes a stacked structure from substrate 331 to insulating layer 255b.
  • An insulating layer 332 is provided on the substrate 331 .
  • the insulating layer 332 functions as a barrier layer that prevents impurities such as water or hydrogen from diffusing from the substrate 331 into the transistor 320 and oxygen from the semiconductor layer 321 toward the insulating layer 332 side.
  • a film into which hydrogen or oxygen is less likely to diffuse than a silicon oxide film such as an aluminum oxide film, a hafnium oxide film, or a silicon nitride film, can be used.
  • a conductive layer 327 is provided over the insulating layer 332 , and an insulating layer 326 is provided to cover the conductive layer 327 .
  • the conductive layer 327 functions as a first gate electrode of the transistor 320, and part of the insulating layer 326 functions as a first gate insulating layer.
  • An oxide insulating film such as a silicon oxide film is preferably used for at least a portion of the insulating layer 326 that is in contact with the semiconductor layer 321 .
  • the upper surface of the insulating layer 326 is preferably planarized.
  • a conductive layer may be used as a single layer or as a laminate of two or more layers.
  • the conductive layer 327 has a structure in which two conductive layers are stacked, one of the two conductive layers provided in contact with the bottom surface and the sidewall of the opening provided in the insulating layer 326 contains water or water.
  • a conductive material having a function of suppressing diffusion of impurities such as hydrogen or oxygen is preferably used. Examples of the conductive material include titanium, titanium nitride, tantalum, tantalum nitride, ruthenium, and ruthenium oxide. With this structure, diffusion of impurities such as water or hydrogen into the semiconductor layer 321 can be suppressed.
  • the insulating layer 326 it is preferable to use a single layer of an inorganic insulating film or a laminate of two or more inorganic insulating films.
  • one of the inorganic insulating films included in the insulating layer 326 serves as a barrier layer that prevents impurities such as water or hydrogen from diffusing from the substrate 331 to the transistor 320 . It is preferred that it works.
  • an insulating film similar to the insulating layer 328 can be used.
  • the semiconductor layer 321 is provided on the insulating layer 326 .
  • the semiconductor layer 321 preferably includes a metal oxide (also referred to as an oxide semiconductor) film having semiconductor characteristics.
  • a metal oxide that can be used as a semiconductor layer of the transistor described in Embodiment 3 may be provided as a single layer or a stacked layer structure. Details of materials that can be suitably used for the semiconductor layer 321 will be described later.
  • a pair of conductive layers 325 are provided on and in contact with the semiconductor layer 321 and function as a source electrode and a drain electrode.
  • An insulating layer 328 is provided to cover the top and side surfaces of the pair of conductive layers 325, the side surface of the semiconductor layer 321, and the like, and the insulating layer 264 is provided over the insulating layer 328.
  • the insulating layer 328 functions as a barrier layer that prevents impurities such as water or hydrogen from diffusing into the semiconductor layer 321 from the insulating layer 264 or the like and oxygen from leaving the semiconductor layer 321 .
  • an insulating film similar to the insulating layer 332 can be used as the insulating layer 328.
  • An opening reaching the semiconductor layer 321 is provided in the insulating layer 328 and the insulating layer 264 .
  • the insulating layer 323 and the conductive layer 324 are buried in contact with the side surfaces of the insulating layer 264 , the insulating layer 328 , and the conductive layer 325 and the top surface of the semiconductor layer 321 .
  • the conductive layer 324 functions as a second gate electrode, and the insulating layer 323 functions as a second gate insulating layer.
  • an inorganic insulating film such as a silicon oxide film or a silicon oxynitride film can be used.
  • the insulating layer 323 is not limited to a single-layer inorganic insulating film, and two or more inorganic insulating films may be laminated.
  • a single layer or stacked layers of an aluminum oxide film, a hafnium oxide film, a silicon nitride film, or the like may be provided on the side in contact with the conductive layer 324 . Accordingly, oxidation of the conductive layer 324 can be suppressed.
  • an aluminum oxide film or a hafnium oxide film may be provided on the side in contact with the insulating layer 264 , the insulating layer 328 , and the conductive layer 325 . Accordingly, desorption of oxygen from the semiconductor layer 321, excessive supply of oxygen to the semiconductor layer 321, oxidation of the conductive layer 325, and the like can be suppressed.
  • the top surface of the conductive layer 324, the top surface of the insulating layer 323, and the top surface of the insulating layer 264 are planarized so that their heights are the same or substantially the same, and the insulating layers 329 and 265 are provided to cover them. ing.
  • the conductive layer 327 and the conductive layer 324 preferably overlap with each other with an insulator interposed therebetween on the outside of the side surface of the semiconductor layer 321 in the channel width direction.
  • the channel formation region of the semiconductor layer 321 is electrically surrounded by the electric field of the conductive layer 327 functioning as the first gate electrode and the electric field of the conductive layer 324 functioning as the second gate electrode.
  • a transistor structure in which a channel formation region is electrically surrounded by electric fields of a first gate electrode and a second gate electrode is referred to as a surrounded channel (S-channel) structure.
  • a transistor with an S-channel structure represents a transistor structure in which a channel formation region is electrically surrounded by electric fields of one and the other of a pair of gate electrodes.
  • the S-channel structure disclosed in this specification and the like is different from the Fin type structure and the planar type structure.
  • the transistor can have increased resistance to the short channel effect, in other words, a transistor in which the short channel effect is less likely to occur.
  • the transistor 320 By setting the transistor 320 to be normally off and having the above S-channel structure, the channel formation region can be electrically surrounded. Therefore, the transistor 320 can also be regarded as having a GAA (Gate All Around) structure or an LGAA (Lateral Gate All Around) structure.
  • GAA Gate All Around
  • LGAA Layer Advanced Gate All Around
  • a channel formation region formed at or near the interface between the semiconductor layer 321 and the gate insulating film is the entire bulk of the semiconductor layer 321. can be done. Therefore, since the density of the current flowing through the transistor can be increased, it can be expected that the on-state current of the transistor or the field-effect mobility of the transistor can be increased.
  • the insulating layers 264 and 265 function as interlayer insulating layers.
  • the insulating layer 329 functions as a barrier layer that prevents impurities such as water or hydrogen from diffusing into the transistor 320 from the insulating layer 265 or the like.
  • an insulating film similar to the insulating layers 328 and 332 can be used.
  • a plug 274 electrically connected to one of the pair of conductive layers 325 is provided so as to be embedded in the insulating layers 265 , 329 and 264 .
  • the plug 274 includes a conductive layer 274a that covers the side surfaces of the openings of the insulating layers 265, the insulating layers 329, the insulating layers 264, and the insulating layer 328 and part of the top surface of the conductive layer 325, and the conductive layer 274a. It is preferable to have a conductive layer 274b in contact with the top surface. At this time, a conductive material into which hydrogen and oxygen are difficult to diffuse is preferably used for the conductive layer 274a.
  • impurities such as water or hydrogen from the insulating layer 264 or the like can be prevented from entering the semiconductor layer 321 through the plug 274 .
  • absorption of oxygen contained in the insulating layer 264 into the plug 274 can be suppressed.
  • an insulating layer may be provided in contact with the side surface of the plug 274 . That is, the insulating layer is provided in contact with the inner wall of the opening of the insulating layer 265, the insulating layer 329, and the insulating layer 264, and the plug 274 is provided in contact with the side surface of the insulating layer and part of the upper surface of the conductive layer 325. may be configured.
  • the configuration from the insulating layer 254 to the substrate 120 in the display device 100D is similar to that of the display device 100C.
  • a display device 100E illustrated in FIG. 29 has a structure in which a transistor 310 in which a channel is formed over a substrate 301 and a transistor 320 including a metal oxide in a semiconductor layer in which the channel is formed are stacked. Note that descriptions of portions similar to those of the display devices 100C and 100D may be omitted.
  • An insulating layer 261 is provided to cover the transistor 310 , and a conductive layer 251 is provided over the insulating layer 261 .
  • An insulating layer 262 is provided to cover the conductive layer 251 , and the conductive layer 252 is provided over the insulating layer 262 .
  • the conductive layers 251 and 252 each function as wirings.
  • An insulating layer 263 and an insulating layer 332 are provided to cover the conductive layer 252 , and the transistor 320 is provided over the insulating layer 332 .
  • An insulating layer 265 is provided to cover the transistor 320 and a capacitor 240 is provided over the insulating layer 265 . Capacitor 240 and transistor 320 are electrically connected by plug 274 .
  • the transistor 320 can be used as a transistor forming a pixel circuit. Further, the transistor 310 can be used as a transistor forming a pixel circuit or a transistor forming a driver circuit (a gate line driver circuit or a source line driver circuit) for driving the pixel circuit. Further, the transistors 310 and 320 can be used as transistors included in various circuits such as an arithmetic circuit and a memory circuit.
  • a display device 100F shown in FIG. 30 has a structure in which a transistor 310A and a transistor 310B each having a channel formed in a semiconductor substrate are stacked.
  • the display device 100F has a configuration in which a substrate 301B provided with a transistor 310B, a capacitor 240 and each light emitting device and a substrate 301A provided with a transistor 310A are bonded together.
  • an insulating layer 345 on the lower surface of the substrate 301B.
  • an insulating layer 346 is preferably provided over the insulating layer 261 provided over the substrate 301A.
  • the insulating layers 345 and 346 are insulating layers that function as protective layers, and can suppress diffusion of impurities into the substrates 301B and 301A.
  • an inorganic insulating film that can be used for the protective layers 131 and 132 or the insulating layer 332 can be used.
  • a plug 343 that penetrates the substrate 301B and the insulating layer 345 is provided on the substrate 301B.
  • an insulating layer 344 covering the side surface of the plug 343 is an insulating layer that functions as a protective layer and can suppress diffusion of impurities into the substrate 301B.
  • an inorganic insulating film that can be used for the protective layers 131 and 132 or the insulating layer 332 can be used.
  • a conductive layer 342 is provided under the insulating layer 345 on the back surface side (surface opposite to the substrate 120 side) of the substrate 301B.
  • the conductive layer 342 is preferably embedded in the insulating layer 335 .
  • the lower surfaces of the conductive layer 342 and the insulating layer 335 are preferably planarized.
  • the conductive layer 342 is electrically connected with the plug 343 .
  • the conductive layer 341 is provided on the insulating layer 346 on the substrate 301A.
  • the conductive layer 341 is preferably embedded in the insulating layer 336 . It is preferable that top surfaces of the conductive layer 341 and the insulating layer 336 be planarized.
  • the substrates 301A and 301B are electrically connected.
  • the conductive layer 341 and the conductive layer 342 are bonded together. can be improved.
  • the same conductive material is preferably used for the conductive layers 341 and 342 .
  • a metal film containing an element selected from Al, Cr, Cu, Ta, Ti, Mo, and W, or a metal nitride film (titanium nitride film, molybdenum nitride film, tungsten nitride film) containing the above elements as components etc. can be used.
  • a Cu—Cu (copper-copper) direct bonding technique (a technique for achieving electrical continuity by connecting Cu (copper) pads) can be applied.
  • FIG. 30 shows an example in which the Cu—Cu direct bonding technique is used to bond the conductive layers 341 and 342, the present invention is not limited to this.
  • the conductive layer 341 and the conductive layer 342 may be joined together via bumps 347 .
  • the conductive layers 341 and 342 can be electrically connected.
  • the bumps 347 can be formed using a conductive material including, for example, gold (Au), nickel (Ni), indium (In), tin (Sn), or the like. Also, for example, solder may be used as the bumps 347 .
  • an adhesive layer 348 may be provided between the insulating layer 345 and the insulating layer 346 . Further, when the bump 347 is provided, the insulating layer 335 and the insulating layer 336 may not be provided.
  • a metal oxide used for an OS transistor preferably contains at least indium or zinc, and more preferably contains indium and zinc.
  • metal oxides include indium and M (where M is gallium, aluminum, yttrium, tin, silicon, boron, copper, vanadium, beryllium, titanium, iron, nickel, germanium, zirconium, molybdenum, lanthanum, cerium, neodymium). , hafnium, tantalum, tungsten, magnesium, and cobalt) and zinc.
  • M is preferably one or more selected from gallium, aluminum, yttrium and tin, more preferably gallium.
  • a metal oxide can be formed by a sputtering method, a CVD method such as a metal organic chemical vapor deposition (MOCVD) method, or an ALD method.
  • a CVD method such as a metal organic chemical vapor deposition (MOCVD) method
  • MOCVD metal organic chemical vapor deposition
  • oxides containing indium (In), gallium (Ga), and zinc (Zn) will be described as examples of metal oxides. Note that an oxide containing indium (In), gallium (Ga), and zinc (Zn) is sometimes called an In--Ga--Zn oxide.
  • Crystal structures of oxide semiconductors include amorphous (including completely amorphous), CAAC (c-axis-aligned crystalline), nc (nanocrystalline), CAC (cloud-aligned composite), single crystal, and polycrystal. (poly crystal) and the like.
  • the crystal structure of the film or substrate can be evaluated using an X-ray diffraction (XRD) spectrum.
  • XRD X-ray diffraction
  • it can be evaluated using an XRD spectrum obtained by GIXD (Grazing-Incidence XRD) measurement.
  • GIXD Gram-Incidence XRD
  • the GIXD method is also called a thin film method or a Seemann-Bohlin method.
  • the XRD spectrum obtained by the GIXD measurement may be simply referred to as the XRD spectrum.
  • the shape of the peak of the XRD spectrum is almost bilaterally symmetrical.
  • the shape of the peak of the XRD spectrum is left-right asymmetric.
  • the asymmetric shape of the peaks in the XRD spectra demonstrates the presence of crystals in the film or substrate. In other words, the film or substrate cannot be said to be in an amorphous state unless the shape of the peaks in the XRD spectrum is symmetrical.
  • the crystal structure of the film or substrate can be evaluated by a diffraction pattern (also referred to as a nano beam electron diffraction pattern) observed by nano beam electron diffraction (NBED).
  • a diffraction pattern also referred to as a nano beam electron diffraction pattern
  • NBED nano beam electron diffraction
  • a halo is observed in the diffraction pattern of a quartz glass substrate, and it can be confirmed that the quartz glass is in an amorphous state.
  • a spot-like pattern is observed instead of a halo. For this reason, it is presumed that it cannot be concluded that the In-Ga-Zn oxide deposited at room temperature is in an intermediate state, neither single crystal nor polycrystal, nor amorphous state, and is in an amorphous state. be done.
  • oxide semiconductors may be classified differently from the above when their structures are focused. For example, oxide semiconductors are classified into single-crystal oxide semiconductors and non-single-crystal oxide semiconductors.
  • Non-single-crystal oxide semiconductors include, for example, the above CAAC-OS and nc-OS.
  • Non-single-crystal oxide semiconductors include polycrystalline oxide semiconductors, amorphous-like oxide semiconductors (a-like OS), amorphous oxide semiconductors, and the like.
  • CAAC-OS is an oxide semiconductor that includes a plurality of crystal regions, and the c-axes of the plurality of crystal regions are oriented in a specific direction. Note that the specific direction is the thickness direction of the CAAC-OS film, the normal direction to the formation surface of the CAAC-OS film, or the normal direction to the surface of the CAAC-OS film.
  • a crystalline region is a region having periodicity in atomic arrangement. If the atomic arrangement is regarded as a lattice arrangement, the crystalline region is also a region with a uniform lattice arrangement.
  • CAAC-OS has a region where a plurality of crystal regions are connected in the a-b plane direction, and the region may have strain.
  • the strain refers to a portion where the orientation of the lattice arrangement changes between a region with a uniform lattice arrangement and another region with a uniform lattice arrangement in a region where a plurality of crystal regions are connected. That is, CAAC-OS is an oxide semiconductor that is c-axis oriented and has no obvious orientation in the ab plane direction.
  • each of the plurality of crystal regions is composed of one or more microcrystals (crystals having a maximum diameter of less than 10 nm).
  • the maximum diameter of the crystalline region is less than 10 nm.
  • the maximum diameter of the crystal region may be about several tens of nanometers.
  • the CAAC-OS includes a layer containing indium (In) and oxygen (hereinafter referred to as an In layer) and a layer containing gallium (Ga), zinc (Zn) and oxygen (
  • an In layer a layer containing indium (In) and oxygen
  • Ga gallium
  • Zn zinc
  • oxygen it tends to have a layered crystal structure (also referred to as a layered structure) in which (Ga, Zn) layers are laminated.
  • the (Ga, Zn) layer may contain indium.
  • the In layer may contain gallium.
  • the In layer may contain zinc.
  • the layered structure is observed as a lattice image in, for example, a high-resolution TEM (Transmission Electron Microscope) image.
  • a plurality of bright points are observed in the electron beam diffraction pattern of the CAAC-OS film.
  • a certain spot and another spot are observed at point-symmetrical positions with respect to the spot of the incident electron beam that has passed through the sample (also referred to as a direct spot) as the center of symmetry.
  • the lattice arrangement in the crystal region is basically a hexagonal lattice, but the unit cell is not always a regular hexagon and may be a non-regular hexagon. Moreover, the distortion may have a lattice arrangement such as a pentagon or a heptagon. Note that in CAAC-OS, no clear crystal grain boundary can be observed even near the strain. That is, it can be seen that the distortion of the lattice arrangement suppresses the formation of grain boundaries. This is because the CAAC-OS can tolerate strain due to the fact that the arrangement of oxygen atoms is not dense in the ab plane direction and the bond distance between atoms changes due to the substitution of metal atoms. it is conceivable that.
  • a crystal structure in which clear grain boundaries are confirmed is called a polycrystal.
  • a grain boundary becomes a recombination center, traps carriers, and is highly likely to cause a decrease in on-current of a transistor, a decrease in field-effect mobility, and the like. Therefore, a CAAC-OS in which no clear grain boundaries are observed is one of crystalline oxides having a crystal structure suitable for a semiconductor layer of a transistor.
  • a structure containing Zn is preferable for forming a CAAC-OS.
  • In--Zn oxide and In--Ga--Zn oxide are preferable because they can suppress the generation of grain boundaries more than In oxide.
  • CAAC-OS is an oxide semiconductor with high crystallinity and no clear crystal grain boundaries. Therefore, it can be said that the decrease in electron mobility due to grain boundaries is less likely to occur in CAAC-OS.
  • CAAC-OS since the crystallinity of an oxide semiconductor may be deteriorated due to contamination of impurities, generation of defects, or the like, CAAC-OS can be said to be an oxide semiconductor with few impurities and defects (such as oxygen vacancies). Therefore, an oxide semiconductor including CAAC-OS has stable physical properties. Therefore, an oxide semiconductor including CAAC-OS is resistant to heat and has high reliability.
  • CAAC-OS is also stable against high temperatures (so-called thermal budget) in the manufacturing process. Therefore, the use of the CAAC-OS for the OS transistor makes it possible to increase the degree of freedom in the manufacturing process.
  • nc-OS has periodic atomic arrangement in a minute region (eg, a region of 1 nm to 10 nm, particularly a region of 1 nm to 3 nm).
  • the nc-OS has minute crystals.
  • the size of the minute crystal is, for example, 1 nm or more and 10 nm or less, particularly 1 nm or more and 3 nm or less, the minute crystal is also called a nanocrystal.
  • nc-OS does not show regularity in crystal orientation between different nanocrystals. Therefore, no orientation is observed in the entire film.
  • an nc-OS may be indistinguishable from an a-like OS or an amorphous oxide semiconductor depending on the analysis method.
  • an nc-OS film is subjected to structural analysis using an XRD apparatus, out-of-plane XRD measurement using ⁇ /2 ⁇ scanning does not detect a peak indicating crystallinity.
  • an nc-OS film is subjected to electron beam diffraction (also referred to as selected area electron beam diffraction) using an electron beam with a probe diameter larger than that of nanocrystals (for example, 50 nm or more), a diffraction pattern such as a halo pattern is obtained. is observed.
  • an nc-OS film is subjected to electron diffraction (also referred to as nanobeam electron diffraction) using an electron beam with a probe diameter close to or smaller than the size of a nanocrystal (for example, 1 nm or more and 30 nm or less)
  • an electron beam diffraction pattern is obtained in which a plurality of spots are observed within a ring-shaped area centered on the direct spot.
  • An a-like OS is an oxide semiconductor having a structure between an nc-OS and an amorphous oxide semiconductor.
  • An a-like OS has void or low density regions. That is, a-like OS has lower crystallinity than nc-OS and CAAC-OS. In addition, the a-like OS has a higher hydrogen concentration in the film than the nc-OS and the CAAC-OS.
  • CAC-OS relates to material composition.
  • CAC-OS is, for example, one structure of a material in which elements constituting a metal oxide are unevenly distributed with a size of 0.5 nm or more and 10 nm or less, preferably 1 nm or more and 3 nm or less, or in the vicinity thereof.
  • the metal oxide one or more metal elements are unevenly distributed, and the region having the metal element has a size of 0.5 nm or more and 10 nm or less, preferably 1 nm or more and 3 nm or less, or a size in the vicinity thereof.
  • the mixed state is also called mosaic or patch.
  • CAC-OS is a structure in which the material is separated into a first region and a second region to form a mosaic shape, and the first region is distributed in the film (hereinafter, also referred to as a cloud shape). ). That is, CAC-OS is a composite metal oxide in which the first region and the second region are mixed.
  • the atomic ratios of In, Ga, and Zn to the metal elements constituting the CAC-OS in the In--Ga--Zn oxide are denoted by [In], [Ga], and [Zn], respectively.
  • the first region is a region where [In] is larger than [In] in the composition of the CAC-OS film.
  • the second region is a region where [Ga] is greater than [Ga] in the composition of the CAC-OS film.
  • the first region is a region in which [In] is larger than [In] in the second region and [Ga] is smaller than [Ga] in the second region.
  • the second region is a region in which [Ga] is larger than [Ga] in the first region and [In] is smaller than [In] in the first region.
  • the first region is a region whose main component is indium oxide, indium zinc oxide, or the like.
  • the second region is a region containing gallium oxide, gallium zinc oxide, or the like as a main component. That is, the first region can be rephrased as a region containing In as a main component. Also, the second region can be rephrased as a region containing Ga as a main component.
  • a clear boundary between the first region and the second region may not be observed.
  • the CAC-OS in the In—Ga—Zn oxide means a region containing Ga as a main component and a region containing In as a main component in a material structure containing In, Ga, Zn, and O. Each region is a mosaic, and refers to a configuration in which these regions exist randomly. Therefore, CAC-OS is presumed to have a structure in which metal elements are unevenly distributed.
  • the CAC-OS can be formed, for example, by sputtering under the condition that the substrate is not heated.
  • a sputtering method one or more selected from an inert gas (typically argon), oxygen gas, and nitrogen gas is used as the film formation gas. good.
  • the flow rate ratio of the oxygen gas to the total flow rate of the film forming gas during film formation is preferably as low as possible.
  • the flow ratio of the oxygen gas to the total flow rate of the film forming gas during film formation is 0% or more and less than 30%, preferably 0% or more and 10% or less.
  • an EDX mapping obtained using energy dispersive X-ray spectroscopy shows that a region containing In as a main component It can be confirmed that the (first region) and the region (second region) containing Ga as the main component are unevenly distributed and have a mixed structure.
  • the first region is a region with higher conductivity than the second region. That is, when carriers flow through the first region, conductivity as a metal oxide is developed. Therefore, by distributing the first region in the form of a cloud in the metal oxide, a high field effect mobility ( ⁇ ) can be realized.
  • the second region is a region with higher insulation than the first region.
  • the leakage current can be suppressed by distributing the second region in the metal oxide.
  • CAC-OS when used for a transistor, the conductivity caused by the first region and the insulation caused by the second region act in a complementary manner to provide a switching function (turning ON/OFF). functions) can be given to the CAC-OS.
  • a part of the material has a conductive function
  • a part of the material has an insulating function
  • the whole material has a semiconductor function.
  • CAC-OS is most suitable for various semiconductor devices including display devices.
  • Oxide semiconductors have a variety of structures, each with different characteristics.
  • An oxide semiconductor of one embodiment of the present invention includes two or more of an amorphous oxide semiconductor, a polycrystalline oxide semiconductor, an a-like OS, a CAC-OS, an nc-OS, and a CAAC-OS. may
  • an oxide semiconductor with low carrier concentration is preferably used for a transistor.
  • the carrier concentration of the oxide semiconductor is 1 ⁇ 10 17 cm ⁇ 3 or less, preferably 1 ⁇ 10 15 cm ⁇ 3 or less, more preferably 1 ⁇ 10 13 cm ⁇ 3 or less, more preferably 1 ⁇ 10 11 cm ⁇ 3 or less. 3 or less, more preferably less than 1 ⁇ 10 10 cm ⁇ 3 and 1 ⁇ 10 ⁇ 9 cm ⁇ 3 or more.
  • the impurity concentration in the oxide semiconductor film may be lowered to lower the defect level density.
  • a low impurity concentration and a low defect level density are referred to as high-purity intrinsic or substantially high-purity intrinsic.
  • an oxide semiconductor with a low carrier concentration is sometimes referred to as a highly purified intrinsic or substantially highly purified intrinsic oxide semiconductor.
  • the trap level density may also be low.
  • the charge trapped in the trap level of the oxide semiconductor takes a long time to disappear, and may behave as if it were a fixed charge. Therefore, a transistor whose channel formation region is formed in an oxide semiconductor with a high trap level density might have unstable electrical characteristics.
  • Impurities include hydrogen, nitrogen, alkali metals, alkaline earth metals, iron, nickel, silicon, and the like.
  • the impurities in the oxide semiconductor refer to, for example, substances other than the main components of the oxide semiconductor. For example, an element whose concentration is less than 0.1 atomic percent can be said to be an impurity.
  • the concentration of silicon or carbon in the oxide semiconductor is 2 ⁇ 10 atoms/cm or less, preferably 2 ⁇ 10 17 atoms/cm 3 or less.
  • the concentration of alkali metal or alkaline earth metal in the oxide semiconductor obtained by SIMS is set to 1 ⁇ 10 18 atoms/cm 3 or less, preferably 2 ⁇ 10 16 atoms/cm 3 or less.
  • the nitrogen concentration in the oxide semiconductor obtained by SIMS is less than 5 ⁇ 10 19 atoms/cm 3 , preferably 5 ⁇ 10 18 atoms/cm 3 or less, more preferably 1 ⁇ 10 18 atoms/cm 3 or less. , more preferably 5 ⁇ 10 17 atoms/cm 3 or less.
  • the oxide semiconductor reacts with oxygen that bonds to a metal atom to form water, which may cause oxygen vacancies.
  • oxygen vacancies When hydrogen enters the oxygen vacancies, electrons, which are carriers, may be generated.
  • part of hydrogen may bond with oxygen that bonds with a metal atom to generate an electron, which is a carrier. Therefore, a transistor including an oxide semiconductor containing hydrogen is likely to have normally-on characteristics. Therefore, hydrogen in the oxide semiconductor is preferably reduced as much as possible.
  • the hydrogen concentration in the oxide semiconductor obtained by SIMS is less than 1 ⁇ 10 20 atoms/cm 3 , preferably less than 1 ⁇ 10 19 atoms/cm 3 , more preferably less than 5 ⁇ 10 18 atoms/cm. Less than 3 , more preferably less than 1 ⁇ 10 18 atoms/cm 3 .
  • This embodiment can be implemented by appropriately combining at least part of it with other embodiments described herein.
  • An electronic device of one aspect of the present invention includes an electronic device including a camera, a processing section, and an output section.
  • Electronic devices of one embodiment of the present invention include, for example, desktop or notebook information terminals, electronic devices with relatively large screens such as televisions, portable data terminals, and portable information terminals such as smartphones and tablets. , wristwatch-type, bracelet-type information terminals (wearable devices), and the like.
  • FIGS. 32A to 32E illustrate how each electronic device includes an electronic component 4700 having the processing unit described in the previous embodiment.
  • a desktop information terminal 5300 is illustrated in FIG. 32A.
  • a desktop information terminal 5300 includes an information terminal main body 5301 , a display section 5302 , and a keyboard 5303 .
  • a camera 5304 is fixed to the housing including the display portion 5302 .
  • the desktop information terminal 5300 estimates the state of the user of the desktop information terminal 5300, and displays information about the estimated state of the user on the display unit 5302. can be displayed.
  • the display portion 5302 can display information about the state of the user of the electronic device connected to the desktop information terminal 5300 via the network.
  • the desktop information terminal 5300 shown in FIG. 32A has a configuration in which the camera 5304 is externally attached, the configuration is not limited to this. Camera 5304 may be incorporated into a housing that includes display 5302 .
  • FIG. 32B shows an example of a notebook information terminal.
  • a notebook information terminal 7200 includes a housing 7211, a keyboard 7212, a pointing device 7213, an external connection port 7214, a camera 7215, and the like.
  • the display portion 7000 is incorporated in the housing 7211 .
  • the notebook information terminal 7200 estimates the state of the user of the notebook information terminal 7200, and displays information about the estimated state of the user on the display unit 7000. can be displayed.
  • the display unit 7000 can display information about the state of the user of the electronic device connected to the notebook information terminal 7200 via the network.
  • a portable data terminal 900 includes a housing 911, a display portion 912, a speaker 913, a camera 919, and the like.
  • portable data terminal 900 can estimate the state of the user of portable data terminal 900 and display information about the estimated state of the user on display unit 912 . .
  • information about the state of the user of the electronic device connected to the portable data terminal 900 via the network can be displayed on the display unit 912 .
  • FIG. 32D An example of a portable information terminal is shown in FIG. 32D.
  • the mobile information terminal 6500 can be used as a smart phone.
  • a mobile information terminal 6500 includes a housing 6501, a display unit 6502, a power button 6503, a button 6504, a speaker 6505, a microphone 6506, a camera 6507, a light source 6508, and the like.
  • a display portion 6502 has a touch panel function.
  • the mobile information terminal 6500 can estimate the state of the user of the mobile information terminal 6500 and display information about the estimated state of the user on the display portion 6502. .
  • the display portion 6502 can display information about the state of the user of the electronic device connected to the portable information terminal 6500 through the network.
  • FIG. 32E illustrates an information terminal 5900 that is an example of a wearable terminal.
  • An information terminal 5900 includes a housing 5901, a display portion 5902, operation switches 5903, 5904, a band 5905, a camera 5906, and the like.
  • the information terminal 5900 can estimate the state of the user of the information terminal 5900 and display information on the estimated state of the user on the display unit 5902.
  • the display portion 5902 can display information about the state of the user of the electronic device connected to the information terminal 5900 via a network.
  • Electronic devices such as the desktop information terminal 5300 shown in FIG. 32A, the notebook information terminal 7200 shown in FIG. 32B, the portable data terminal 900 shown in FIG. 32C, and the portable information terminal 6500 shown in FIG. Headphones may be connected.
  • the sensor unit can be used to estimate the state of the user of the electronic device.
  • one aspect of the present invention is an electronic device that includes a camera, a processing unit, and a display unit.
  • Electronic devices for MR Mated Reality
  • an information terminal wearable device that can be worn on the head such as a head-mounted display, a glasses-type terminal, or a goggle-type terminal can be given.
  • FIG. 33A to 33C show perspective views of the electronic device 750.
  • FIG. 33A is a perspective view showing the front, top, and left side of electronic device 750
  • FIGS. 33B and 33C are perspective views showing the rear, bottom, and right side of electronic device 750.
  • FIG. 33A is a perspective view showing the front, top, and left side of electronic device 750
  • FIGS. 33B and 33C are perspective views showing the rear, bottom, and right side of electronic device 750.
  • the electronic device 750 has a pair of display devices 751, a housing 752, a pair of mounting portions 754, a buffer member 755, a pair of lenses 756, and the like.
  • a pair of display devices 751 are provided inside a housing 752 at positions where they can be visually recognized through a lens 756 .
  • the pair of display devices 751 correspond to the display section 52 shown in FIG. 5B.
  • the pair of lenses 756 corresponds to the optical system 67 shown in FIG. 5B.
  • the electronic device 750 shown in FIGS. 33A to 33C has a camera and an electronic component having the processing section described in the previous embodiment. The camera can image the user's eyes and the vicinity thereof.
  • the motion detection unit 68, the audio 63, the control unit 64, the communication unit 65, and the battery 66 described in Embodiment 1 are installed in the housing 752. Prepare.
  • the electronic device 750 is an electronic device for VR.
  • a user wearing the electronic device 750 can visually recognize an image displayed on the display device 751 through the lens 756 .
  • By displaying different images on the pair of display devices 751, three-dimensional display using parallax can be performed.
  • An input terminal 757 and an output terminal 758 are provided on the rear side of the housing 752 .
  • the input terminal 757 can be connected to a video signal from a video output device or the like, or a cable for supplying electric power or the like for charging a battery provided in the housing 752 .
  • the output terminal 758 functions as an audio output terminal, for example, and can be connected to an earphone, a headphone, or the like.
  • the housing 752 preferably has a mechanism for adjusting the left and right positions of the lens 756 and the display device 751 so that they are optimally positioned according to the position of the user's eyes. . Moreover, it is preferable to have a mechanism for adjusting the focus by changing the distance between the lens 756 and the display device 751 .
  • the electronic device 750 can estimate the state of the user of the electronic device 750 and display information about the estimated state of the user on the display device 751.
  • the display device 751 can display information about the state of the user of the electronic device connected to the electronic device 750 via the network.
  • the cushioning member 755 is the part that contacts the user's face (forehead, cheeks, etc.). Since the cushioning member 755 is in close contact with the user's face, it is possible to prevent light leakage and enhance the sense of immersion. It is preferable to use a soft material for the cushioning member 755 so that the cushioning member 755 is in close contact with the user's face when the electronic device 750 is worn by the user.
  • a soft material for the cushioning member 755 so that the cushioning member 755 is in close contact with the user's face when the electronic device 750 is worn by the user.
  • materials such as rubber, silicone rubber, urethane, and sponge can be used. If a sponge or the like whose surface is covered with cloth or leather (natural leather or synthetic leather) is used, it is difficult to create a gap between the user's face and the cushioning member 755, and light leakage can be suitably prevented. can be done.
  • a member that touches the user's skin is preferably detachable for easy cleaning or replacement.
  • the electronic device of the present embodiment may further have earphones 754A.
  • Earphone 754A has a communication unit (not shown) and has a wireless communication function.
  • the earphone 754A can output audio data using a wireless communication function.
  • the earphone 754A may have a vibration mechanism that functions as a bone conduction earphone.
  • the earphone 754A can be configured to be directly connected or wired to the mounting portion 754, like the earphone 754B illustrated in FIG. 33C.
  • the earphone 754B and the mounting portion 754 may have magnets. As a result, the earphone 754B can be fixed to the mounting portion 754 by magnetic force, which is preferable because it facilitates storage.
  • the earphone 754A may have a sensor section.
  • the sensor unit can be used to estimate the state of the user of the electronic device.
  • FIGS. 34A to 34C are diagrams showing the appearance of the electronic device 8300.
  • FIG. An electronic device 8300 includes a housing 8301 , a display portion 8302 , a band-shaped fixture 8304 , and a pair of lenses 8305 .
  • the electronic device 8300 shown in FIGS. 34A to 34C has electronic components having a camera and a processing unit described in the previous embodiments. The camera can image the user's eyes and the vicinity thereof.
  • the user can visually recognize the display on the display unit 8302 through the lens 8305 .
  • the display portion 8302 it is preferable to arrange the display portion 8302 in a curved manner because the user can feel a high presence.
  • three-dimensional display or the like using parallax can be performed.
  • the configuration is not limited to the configuration in which one display portion 8302 is provided, and two display portions 8302 may be provided and one display portion may be arranged for one eye of the user.
  • the electronic device 8300 can estimate the state of the user of the electronic device 8300 and display information about the estimated state of the user on the display unit 8302.
  • information about the state of the user of the electronic device connected to the electronic device 8300 via a network can be displayed on the display portion 8302 .
  • FIG. 34D is a diagram showing the appearance of the electronic device 8400.
  • FIG. An electronic device 8400 has a pair of housings 8401 , a mounting portion 8402 and a cushioning member 8403 .
  • a display portion 8404 and a lens 8405 are provided in the pair of housings 8401, respectively. By displaying different images on the pair of display portions 8404, three-dimensional display using parallax can be performed.
  • the electronic device 8400 shown in FIG. 34D has a camera and an electronic component having the processing section described in the previous embodiments. The camera can image the user's eyes and the vicinity thereof.
  • the user can visually recognize the display unit 8404 through the lens 8405.
  • the lens 8405 has a focus adjustment mechanism, and its position can be adjusted according to the user's visual acuity.
  • the display portion 8404 is preferably square or horizontally long rectangular. This makes it possible to enhance the sense of presence.
  • the electronic device 8400 can estimate the state of the user of the electronic device 8400 and display information about the estimated state of the user on the display unit 8404.
  • information about the state of the user of the electronic device connected to the electronic device 8400 via a network can be displayed on the display portion 8404 .
  • the mounting part 8402 preferably has plasticity and elasticity so that it can be adjusted according to the size of the user's face and does not slip off.
  • a part of the mounting portion 8402 preferably has a vibration mechanism that functions as a bone conduction earphone. As a result, you can enjoy video and audio just by wearing it without the need for separate audio equipment such as earphones and speakers.
  • the housing 8401 may have a function of outputting audio data by wireless communication.
  • 34E is a diagram showing the appearance of the electronic device 8200.
  • FIG. 34E is a diagram showing the appearance of the electronic device 8200.
  • the electronic device 8200 has a mounting section 8201, a lens 8202, a main body 8203, a display section 8204, a cable 8205, and the like.
  • a battery 8206 is built in the mounting portion 8201 .
  • the electronic device 8200 shown in FIG. 34E has a camera and an electronic component having the processing section described in the previous embodiments. The camera can image the user's eyes and the vicinity thereof.
  • a cable 8205 supplies power from a battery 8206 to the main body 8203 .
  • a main body 8203 includes a wireless receiver or the like, and can display received video information on a display portion 8204 .
  • the main body 8203 is equipped with a camera, and information on the movement of the user's eyeballs or eyelids can be used as input means.
  • the mounting section 8201 may be provided with a plurality of electrodes capable of detecting a current flowing along with the movement of the user's eyeballs at a position where it touches the user, and may have a function of recognizing the line of sight. Moreover, it may have a function of monitoring the user's pulse based on the current flowing through the electrode.
  • the mounting unit 8201 may have various sensors such as a temperature sensor, a pressure sensor, an acceleration sensor, etc., and has a function of displaying biological information of the user on the display unit 8204, In addition, a function of changing an image displayed on the display portion 8204 may be provided.
  • the electronic device 8200 can estimate the state of the user of the electronic device 8200 and display information about the estimated state of the user on the display unit 8204.
  • information about the state of the user of the electronic device connected to the electronic device 8200 via a network can be displayed on the display portion 8204 .
  • FIG. 35A A perspective view of the electronic device 700 is shown in FIG. 35A.
  • the electronic device 700 includes a pair of display devices 701, a pair of housings 702, a pair of optical members 703, a pair of mounting portions 704, and the like.
  • the electronic device 700 shown in FIG. 35A has a camera and an electronic component having the processing section described in the previous embodiment. The camera can image the user's eyes and the vicinity thereof.
  • the electronic device 700 can project an image displayed by the display device 701 onto the display area 706 of the optical member 703 . Further, since the optical member 703 has translucency, the user can see the image displayed in the display area 706 superimposed on the transmitted image visually recognized through the optical member 703 . Therefore, the electronic device 700 is an electronic device capable of AR display.
  • one housing 702 is provided with a camera 705 capable of imaging the front.
  • one of the housings 702 is provided with a wireless receiver or a connector to which a cable can be connected, and a video signal or the like can be supplied to the housing 702 .
  • an acceleration sensor such as a gyro sensor in the housing 702 , it is possible to detect the orientation of the user's head and display an image corresponding to the orientation in the display area 706 .
  • a battery is preferably provided in the housing 702 and can be charged wirelessly or by wire.
  • a display device 701 , a lens 711 , and a reflector 712 are provided inside the housing 702 .
  • a portion corresponding to the display area 706 of the optical member 703 has a reflecting surface 713 functioning as a half mirror.
  • Light 715 emitted from the display device 701 passes through the lens 711 and is reflected by the reflector 712 toward the optical member 703 . Inside the optical member 703 , the light 715 repeats total reflection at the end face of the optical member 703 and reaches the reflecting surface 713 , whereby an image is projected onto the reflecting surface 713 . Thereby, the user can visually recognize both the light 715 reflected by the reflecting surface 713 and the transmitted light 716 transmitted through the optical member 703 (including the reflecting surface 713).
  • FIG. 35B shows an example in which the reflecting plate 712 and the reflecting surface 713 each have a curved surface.
  • the degree of freedom in optical design can be increased and the thickness of the optical member 703 can be reduced compared to when these are flat surfaces.
  • the reflecting plate 712 and the reflecting surface 713 may be flat.
  • a member having a mirror surface can be used as the reflector 712, and it is preferable that the reflectance is high.
  • the reflecting surface 713 a half mirror using reflection of a metal film may be used, but if a prism or the like using total reflection is used, the transmittance of the transmitted light 716 can be increased.
  • the housing 702 preferably has a mechanism for adjusting the distance between the lens 711 and the display device 701 or the angle between them. This makes it possible to adjust the focus, enlarge or reduce the image, and the like.
  • the lens 711 and the display device 701 may be configured to be movable in the optical axis direction.
  • the housing 702 preferably has a mechanism capable of adjusting the angle of the reflector 712 .
  • the angle of the reflector 712 By changing the angle of the reflector 712, it is possible to change the position of the display area 706 where the image is displayed. This makes it possible to arrange the display area 706 at an optimum position according to the position of the user's eyes.
  • the electronic device 700 can estimate the state of the user of the electronic device 700 and display information about the estimated state of the user on the display device 701.
  • information about the state of the user of the electronic device connected to the electronic device 700 via the network can be displayed on the display device 701 .
  • an electronic device of one embodiment of the present invention only needs to include a camera, a processing portion, and a display portion; thus, in addition to the electronic devices described above, the electronic device may have a display function.
  • Such electronic devices include, for example, television devices, monitor devices, digital signage, pachinko machines, electronic devices with relatively large screens such as game machines, as well as portable game machines, digital cameras, digital video cameras, digital Examples include photo frames and sound reproduction devices.
  • electronic devices such as portable game machines and smartphones can be used as devices for VR, for example, by attaching the housing to which the electronic device is attached to the head using a band-shaped fixing part or mounting part.
  • the display device of one embodiment of the present invention may be applied to the display portion of the electronic device.
  • the electronic device of this embodiment may have an antenna.
  • An image, information, or the like can be displayed on the display portion by receiving a signal with the antenna.
  • the antenna may be used for contactless power transmission.
  • the electronic device of this embodiment includes sensors (force, displacement, position, velocity, acceleration, angular velocity, number of revolutions, distance, light, liquid, magnetism, temperature, chemical substance, sound, time, hardness, electric field, current, voltage , power, radiation, flow, humidity, gradient, vibration, odor or infrared sensing, detection or measurement).
  • the electronic device of this embodiment can have various functions. For example, functions to display various information (still images, moving images, text images, etc.) on the display, touch panel functions, functions to display calendars, dates or times, functions to execute various software (programs), wireless communication function, a function of reading a program or data recorded on a recording medium, and the like.
  • a display system may include two or more of the electronic devices described above. At this time, some of the two or more electronic devices estimate and estimate the state of the user of the electronic device by using the camera and the electronic component having the processing unit described in the previous embodiment. Information about the state of the user can be displayed on the display unit or display device of the electronic device. Further, another part of the two or more electronic devices may display information about the state of a user of an electronic device different from the electronic device connected via the network. can be displayed in
  • the display system of one aspect of the present invention may include two or more of the electronic devices described above and one or more of the computers described below.
  • a computer 5600 shown in FIG. 36A is an example of a large computer.
  • a rack 5610 stores a plurality of rack-mounted computers 5620 .
  • the computer 5620 can have, for example, the configuration of the perspective view shown in FIG. 36B.
  • a computer 5620 has a motherboard 5630, and the motherboard 5630 has multiple slots 5631 and multiple connection terminals.
  • a PC card 5621 is inserted into the slot 5631 .
  • the PC card 5621 has a connection terminal 5623, a connection terminal 5624, and a connection terminal 5625, which are connected to the mother board 5630 respectively.
  • a PC card 5621 shown in FIG. 36C is an example of a processing board equipped with a CPU, a GPU, a semiconductor device, and the like.
  • the PC card 5621 has a board 5622 .
  • the board 5622 also includes a connection terminal 5623 , a connection terminal 5624 , a connection terminal 5625 , a semiconductor device 5626 , a semiconductor device 5627 , a semiconductor device 5628 , and a connection terminal 5629 .
  • FIG. 36C illustrates semiconductor devices other than the semiconductor devices 5626, 5627, and 5628; The description of the semiconductor device 5628 may be referred to.
  • connection terminal 5629 has a shape that can be inserted into the slot 5631 of the motherboard 5630, and the connection terminal 5629 functions as an interface for connecting the PC card 5621 and the motherboard 5630.
  • Standards for the connection terminals 5629 include, for example, PCIe.
  • connection terminals 5623, 5624, and 5625 can be interfaces for power supply, signal input, etc. to the PC card 5621, for example. Also, for example, an interface for outputting a signal calculated by the PC card 5621 can be used.
  • Standards for the connection terminals 5623, 5624, and 5625 include, for example, USB (Universal Serial Bus), SATA (Serial ATA), and SCSI (Small Computer System Interface).
  • USB Universal Serial Bus
  • SATA Serial ATA
  • SCSI Serial Computer System Interface
  • the semiconductor device 5626 has terminals (not shown) for inputting and outputting signals. By inserting the terminals into sockets (not shown) provided on the board 5622, the semiconductor device 5626 and the board 5622 are connected. can be electrically connected.
  • the semiconductor device 5627 has a plurality of terminals, and the terminals are electrically connected to the wiring of the board 5622 by, for example, reflow soldering. be able to.
  • Examples of the semiconductor device 5627 include FPGA (Field Programmable Gate Array), GPU, and CPU.
  • the semiconductor device 5628 has a plurality of terminals, and the terminals are electrically connected to the wiring of the board 5622 by, for example, reflow soldering. be able to.
  • Examples of the semiconductor device 5628 include a semiconductor device and the like.
  • the semiconductor device 5627 and/or the semiconductor device 5628 for example, the electronic component having the processing section described in the above embodiments can be used.
  • the semiconductor device 5627 and/or the semiconductor device 5628 can estimate the state of each user of a plurality of electronic devices included in the display system.
  • power consumption of each of the plurality of electronic devices included in the display system can be reduced.
  • the computer 5600 can also function as a parallel computer.
  • the computer 5600 By using the computer 5600 as a parallel computer, for example, it is possible to perform large-scale calculations necessary for artificial intelligence learning and inference.
  • This embodiment can be implemented by appropriately combining at least part of it with other embodiments described herein.
  • ACTF circuit, AFP: circuit, ALP: array part, ANN: neural network, BW: bus wiring, CA: cell array, C1: capacitor, C1r: capacitor, C5: capacitor, C5m: capacitor, F1: transistor, F1m: transistor , F2: transistor, F2m: transistor, F3: transistor, F4: transistor, HC: holding unit, ILD: circuit, IM: cell, IMref: cell, ITRZ: conversion circuit, MAC1: arithmetic circuit, MC: circuit, MCr: circuit, MP: circuit, M1: transistor, M1r: transistor, M2: transistor, M3: transistor, M3r: transistor, NN: node, NNref: node, n1: node, OL: wiring, OLB: wiring, PS: sub-pixel , SWL1: wire, SWL2: wire, SWS1: circuit, SWS2: circuit, TW: circuit, VE: wire, VEr: wire, WCL: wire,

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)

Abstract

使用者の状態を推定することができる電子機器を提供する。 電子機器は、カメラと、処理部と、表示部と、を備える。カメラは、使用者の目およびその周辺を繰り返し撮像することで、複数の画像データを生成する機能を有する。処理部は、複数の画像データから、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、および瞳孔の面積、の少なくとも一を含む情報の経時変化を検出する機能と、情報の経時変化をもとに、使用者の目の疲労度を推定する機能と、推定した使用者の目の疲労度に応じた文字列情報を生成する機能と、を有する。表示部は、文字列情報を表示する機能を有する。

Description

電子機器および表示システム
 本発明の一態様は、電子機器および表示システムに関する。
 なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、発光装置、蓄電装置、記憶装置、電子機器、照明装置、入力装置、入出力装置、それらの駆動方法、又はそれらの製造方法、を一例として挙げることができる。
 近年、遠隔授業、在宅勤務などへの転換が進み、表示機能を有する電子機器を使用する機会が急増している。そのため、電子機器の表示部を直視する時間が長くなり、目の疲労が進行しやすい環境となりつつある。目の疲労が進行すると、眠気、集中力の低下などが発生する恐れがある。
 近年、目の疲労度を測定する方法が注目されている。特許文献1には、2つ以上の時間区間での眼球運動を比較することで、利用者の視覚疲労度を判定する視覚疲労度測定装置が開示されている。
国際公開第2012/160741号
 例えば、遠隔授業には、同時双方向型授業と、オンデマンド型授業とがある。特に、同時双方向型授業では、リアルタイムで双方向にコミュニケーションを取りながら授業が行われる。教室などで行う従来型の授業では、先生と生徒が同じ空間にいるため、先生が生徒の様子を把握することは比較的容易である。一方、同時双方向型授業では、先生は、電子機器の表示部に表示された画像データのみで、生徒の様子を判断することになる。上記画像データをもとに、生徒の疲労度、特に目の疲労度などを判断するのは困難である。
 上記課題に鑑み、本発明の一態様は、使用者の状態を推定することができる電子機器を提供することを課題の一とする。又は、本発明の一態様は、使用者の状態に応じた文字列情報を出力することができる電子機器を提供することを課題の一とする。又は、本発明の一態様は、遠隔地にいる参加者の状態を推定することができる表示システムを提供することを課題の一とする。又は、本発明の一態様は、遠隔地にいる参加者の状態に応じた文字列情報を出力することができる表示システムを提供することを課題の一とする。又は、本発明の一態様は、新規な電子機器を提供することを課題の一とする。
 なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から抽出することが可能である。
 本発明の一態様は、カメラと、処理部と、表示部と、を備える電子機器である。カメラは、使用者の目およびその周辺を繰り返し撮像することで、複数の画像データを生成する機能を有する。処理部は、複数の画像データから、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、および瞳孔の面積、の少なくとも一を含む情報の経時変化を検出する機能と、情報の経時変化をもとに、使用者の目の疲労度を推定する機能と、推定した使用者の目の疲労度に応じた文字列情報を生成する機能と、を有する。表示部は、文字列情報を表示する機能を有する。
 上記電子機器において、使用者の目の疲労度は、学習済みモデルを用いて推定され、学習済みモデルは、ニューラルネットワークに対して教師あり学習を行うことで、生成されることが好ましい。
 また、上記電子機器において、処理部は、積和演算を行う機能を有する演算回路を備え、演算回路は、情報の経時変化をもとに、使用者の目の疲労度を推定することが好ましい。
 また、上記電子機器において、演算回路は、チャネル形成領域に金属酸化物を含むトランジスタを有することが好ましい。
 本発明の別の一態様は、カメラと、処理部と、表示部と、ヘッドホンと、を備える電子機器である。ヘッドホンは、センサ部を有する。センサ部は、情報の経時変化を取得する機能を有する。処理部は、情報の経時変化をもとに、使用者のストレス状態を推定する機能と、使用者のストレス状態に応じた文字列情報を生成する機能と、を有する。表示部は、文字列情報を表示する機能を有する。
 上記電子機器において、使用者のストレス状態は、学習済みモデルを用いて推定され、学習済みモデルは、ニューラルネットワークに対して教師あり学習を行うことで、生成されることが好ましい。
 また、上記電子機器において、処理部は、積和演算を行う機能を有する演算回路を備え、演算回路は、情報の経時変化をもとに、使用者のストレス状態を推定することが好ましい。
 また、上記電子機器において、演算回路は、チャネル形成領域に金属酸化物を含むトランジスタを有することが好ましい。
 本発明の別の一態様は、第1の電子機器と、第2の電子機器と、を有し、第1の電子機器の使用者の目の情報が取得可能な表示システムである。第1の電子機器は、カメラと、処理部と、を備える。カメラは、第1の電子機器の使用者の目およびその周辺を繰り返し撮像することで、複数の画像データを生成する機能を有する。処理部は、複数の画像データから、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、および瞳孔の面積、の少なくとも一を含む情報の経時変化を検出する機能と、情報の経時変化をもとに、使用者の目の疲労度を推定する機能と、推定した使用者の目の疲労度に応じた文字列情報を生成する機能と、を有する。第2の電子機器は、表示部を備える。表示部は、第1の電子機器から受け付けた文字列情報を表示する機能を有する。
 上記表示システムにおいて、使用者の目の疲労度は、学習済みモデルを用いて推定され、学習済みモデルは、ニューラルネットワークに対して教師あり学習を行うことで、生成されることが好ましい。
 また、上記表示システムにおいて、処理部は、積和演算を行う機能を有する演算回路を備え、演算回路は、情報の経時変化をもとに、使用者の目の疲労度を推定することが好ましい。
 本発明の別の一態様は、第1の電子機器と、第2の電子機器と、を有し、第1の電子機器の使用者の目の情報が取得可能な表示システムである。第1の電子機器は、カメラと、処理部と、ヘッドホンと、を備える。ヘッドホンは、センサ部を有し、センサ部は、情報の経時変化を取得する機能を有する。処理部は、情報の経時変化をもとに、使用者のストレス状態を推定する機能と、使用者のストレス状態に応じた文字列情報を生成する機能と、を有する。第2の電子機器は、表示部を備える。表示部は、第1の電子機器から受け付けた文字列情報を表示する機能を有する。
 上記表示システムにおいて、使用者のストレス状態は、学習済みモデルを用いて推定され、学習済みモデルは、ニューラルネットワークに対して教師あり学習を行うことで、生成されることが好ましい。
 また、上記表示システムにおいて、処理部は、積和演算を行う機能を有する演算回路を備え、演算回路は、情報の経時変化をもとに、使用者のストレス状態を推定することが好ましい。
 本発明の一態様は、使用者の状態を推定することができる電子機器を提供できる。又は、本発明の一態様は、使用者の状態に応じた文字列情報を出力することができる電子機器を提供できる。又は、本発明の一態様は、遠隔地にいる参加者の状態を推定することができる表示システムを提供できる。又は、本発明の一態様は、遠隔地にいる参加者の状態に応じた文字列情報を出力することができる表示システムを提供できる。又は、本発明の一態様は、新規な電子機器を提供できる。
 なお、これらの効果の記載は、他の効果の存在を妨げるものではない。なお、本発明の一態様は、必ずしも、これらの効果の全てを有する必要はない。なお、これら以外の効果は、明細書、図面、請求項などの記載から抽出することが可能である。
図1は、電子機器の使用例を説明する図である。
図2Aおよび図2Bは、電子機器が有する表示部の表示例を説明する図である。
図3Aおよび図3Bは、電子機器が有する表示部の表示例を説明する図である。
図4A乃至図4Eは、電子機器の構成例を説明するブロック図である。
図5Aおよび図5Bは、電子機器の構成例を説明するブロック図である。
図6Aおよび図6Bは、表示システムの構成例を説明するブロック図である。
図7は、電子機器の動作例を示すフローチャートである。
図8は、電子機器の動作例を示すフローチャートである。
図9は、電子機器の動作例を示すフローチャートである。
図10は、電子機器の動作例を示すフローチャートである。
図11Aおよび図11Bは、使用者の状態を推定する方法を説明する図である。図11Cは、使用者の目、および使用者の目の周辺を説明する模式図である。
図12Aおよび図12Bは、ニューラルネットワークの構成例を説明する図である。
図13は、ニューラルネットワークの演算回路の構成例を説明する図である。
図14は、ニューラルネットワークの演算回路の構成例を説明する図である。
図15は、ニューラルネットワークの演算回路の構成例を説明する図である。
図16は、表示装置の一例を示す斜視図である。
図17Aは、表示装置の一例を示す断面図である。図17B及び図17Cは、トランジスタの一例を示す断面図である。
図18は、表示装置の一例を示す断面図である。
図19A乃至図19Dは、表示装置の一例を示す断面図である。
図20A乃至図20Fは、表示装置の作製方法の一例を示す断面図である。
図21A乃至図21Gは、画素の一例を示す上面図である。
図22A乃至図22Fは、画素の一例を示す上面図である。
図23A乃至図23Hは、画素の一例を示す上面図である。
図24A乃至図24Dは、画素の一例を示す上面図である。
図25A乃至図25Dは、画素の一例を示す上面図である。図25Eは、表示装置の一例を示す断面図である。
図26A及び図26Bは、表示モジュールの一例を示す斜視図である。
図27は、表示装置の一例を示す断面図である。
図28は、表示装置の一例を示す断面図である。
図29は、表示装置の一例を示す断面図である。
図30は、表示装置の一例を示す断面図である。
図31は、表示装置の一例を示す断面図である。
図32A乃至図32Eは、電子機器の一例を示す図である。
図33A乃至図33Cは、電子機器の一例を示す図である。
図34A乃至図34Eは、電子機器の一例を示す図である。
図35Aおよび図35Bは、電子機器の一例を示す図である。
図36A乃至図36Cは、電子機器の一例を示す図である。
 実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。
 なお、以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、同様の機能を指す場合には、ハッチパターンを同じくし、特に符号を付さない場合がある。
 また、図面において示す各構成の、位置、大きさ、範囲などは、理解の簡単のため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面に開示された位置、大きさ、範囲などに限定されない。
 なお、「膜」という言葉と、「層」という言葉とは、場合によっては、又は、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を、「導電膜」という用語に変更することが可能である。または、例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能である。
(実施の形態1)
 本実施の形態では、本発明の一態様の、電子機器および表示システムについて、図面を参照して説明する。なお、本発明の一態様の表示システムは、本発明の一態様の電子機器を少なくとも一つ有する。
 本発明の一態様の、電子機器または表示システムは、カメラと、処理部と、表示部と、を有する。これにより、本発明の一態様は、使用者の状態を推定することができる。詳細には、カメラで撮像された使用者の目およびその周辺の画像を解析することで、使用者の状態を推定し、推定された使用者の状態に関する情報を表示部に表示することができる。さらに、推定された使用者の状態に関する情報を、当該電子機器とは異なる電子機器に送信し、当該電子機器とは異なる電子機器が受け付けることで、使用者の状態に関する情報を、当該電子機器とは異なる電子機器の表示部に表示することができる。なお、本明細書等では、電子機器が情報又はデータなどを受け付けることを、電子機器が情報又はデータなどを受信する、電子機器が情報又はデータなどを取得する、などと言い換えることができる。
 本発明の一態様により、電子機器の使用者は、使用者自身の状態を認識することができる。また、本発明の一態様により、電子機器の使用者の状態を、当該電子機器とは異なる電子機器の使用者は認識することができる。したがって、本発明の一態様は、複数の電子機器を用い、ネットワークを介して、音声、画像、資料などを共有して行われる会合に好適に用いることができる。当該会合として、例えば、遠隔授業、遠隔会議、遠隔面接、または遠隔面談などが挙げられる。以降では、遠隔授業、遠隔会議、遠隔面接、または遠隔面談などを、遠隔会合と表記する場合がある。
 図1を用いて、本発明の一態様の電子機器を利用する場合の例を説明する。図1は、電子機器10および電子機器20を用いて遠隔授業が行われている様子を示している。
 図1は、先生21が、教室などで授業を行っている様子を示している。カメラ22を用いて授業の様子を撮影することで、画像データが生成される。当該画像データは、ネットワーク30を介して、生徒11が有する電子機器10に送信される。
 図1は、生徒11が、自宅などで授業を受けている様子を示している。電子機器10は、ネットワーク30を介して、上記画像データを受け付ける。生徒11は、電子機器10が有する表示部に表示される上記画像データを視認することで、授業を受けることができる。
 また、電子機器10にはカメラ12が備えられている。カメラ12は、生徒11およびその周辺を撮影することで、画像データを生成する。当該画像データには、生徒11の目が含まれることが好ましい。当該画像データは、ネットワーク30を介して、先生21が使用する電子機器20に送信される。
 電子機器20は、電子機器10から送信された画像データを受け付け、電子機器20が有する表示部に上記画像データが表示される。先生21は、電子機器20が有する表示部に表示される上記画像データを視認することで、生徒11の様子を確認することができる。
 なお、図1では、授業の様子はカメラ22を用いて撮影されているが、電子機器20に備わるカメラを用いて撮影されてもよい。
 以上のように、電子機器10と電子機器20とがデータを送受信することで、遠隔授業を行うことができる。なお、図1では、先生21と、生徒11とが遠隔授業に参加する様子が図示されているが、当該遠隔授業に参加する生徒は複数人であってもよい。このとき、各生徒が電子機器10を使用するため、遠隔授業において電子機器10は2台以上使用される。
<電子機器が有する表示部の表示例>
 本発明の一態様の電子機器が有する表示部の表示例を、図2A、および図2Bに示す。なお、図2A、および図2Bでは、第1乃至第8の電子機器を用いて行われる遠隔会合の例を示す。なお、当該遠隔会合に用いる電子機器は8台に限られず、2台以上7台以下、または9台以上であってもよい。
 以降の説明では、当該遠隔会合として遠隔授業を想定している。また、第1の電子機器の使用者として先生を想定している。第1の電子機器は、上述した電子機器20に対応し、当該先生は、上述した先生21に対応する。また、第2乃至第8の電子機器の使用者としてそれぞれ生徒を想定している。第2乃至第8の電子機器の1つは、上述した電子機器10に対応し、当該生徒の1人は、上述した生徒11に対応する。
 第1の電子機器は、表示部1000_1を有する。また、第1の電子機器は、使用者1020_1が使用している。
 図2Aに、遠隔会合が開始された直後の、表示部1000_1の表示例を示す。また、図2Bに、当該遠隔会合が開始されてしばらく経過した後の、表示部1000_1の表示例を示す。
 図2A、および図2Bにおいて、表示部1000_1には、画像1010_2乃至画像1010_8が表示されている。画像1010_2乃至画像1010_8は、それぞれ、第2乃至第8の電子機器が有するカメラが撮影した画像である。ここで、第2乃至第8の電子機器は、それぞれ、使用者1020_2乃至使用者1020_8が使用している。このとき、画像1010_2乃至画像1010_8には、それぞれ、使用者1020_2乃至使用者1020_8及びその周辺が含まれる。なお、画像1010_2乃至画像1010_8には、それぞれ、使用者1020_2乃至使用者1020_8の目が含まれることが好ましい。
 遠隔会合が開始された直後では、使用者1020_2乃至使用者1020_8の状態に変化は見られない。よって、図2Aに示すように、画像1010_2乃至画像1010_8には、それぞれ、第2乃至第8の電子機器が有するカメラが撮影した画像が表示される。つまり、画像1010_2乃至画像1010_8には、それぞれ、使用者1020_2乃至使用者1020_8およびその周辺が含まれる。
 遠隔会合が開始されてしばらく経過した後、使用者によっては目の疲労度が高い場合がある。このとき、目の疲労度が高い使用者およびその周辺を含む画像の少なくとも一部と重なるように、文字列を含む画像が表示される。例えば、使用者1020_3の目の疲労度が高い場合、図2Bに示すように、画像1010_3と重なるように画像1030_3が表示される。画像1030_3には、文字列(図2Bでは、「眠たい可能性有り」)が含まれる。
 また、遠隔会合が開始されてしばらく経過した後、使用者によっては視線が逸れている場合がある。このとき、視線が逸れている使用者およびその周辺を含む画像の少なくとも一部と重なるように、文字列を含む画像が表示される。例えば、使用者1020_4の視線が逸れている場合、図2Bに示すように、画像1010_4と重なるように画像1030_4が表示される。画像1030_4には、文字列(図2Bでは、「視線がそれる傾向」)が含まれる。
 また、遠隔会合が開始されてしばらく経過した後、使用者によっては疲労度が高い場合がある。このとき、疲労度が高い使用者およびその周辺を含む画像の少なくとも一部と重なるように、文字列を含む画像が表示される。例えば、使用者1020_5の疲労度が高い場合、図2Bに示すように、画像1010_5と重なるように画像1030_5が表示される。画像1030_5には、文字列(図2Bでは、「高疲労度」)が含まれる。
 以上のように、本発明の一態様を用いることで、第1の電子機器の使用者は、当該使用者以外の使用者の状態を文字列情報として認識することができる。例えば、使用者1020_1は、使用者1020_2乃至使用者1020_8のうち、目の疲労度が高い使用者、視線が逸れている使用者などを認識しやすくなり、これらの使用者とのコミュニケーションを密に図ることができる。特に、多人数で遠隔会合が行われる場合、表示部1000_1に表示される画像のそれぞれが小さくなり、表示部1000_1に表示される使用者の状態を把握するのが難しくなる。そのため、本発明の一態様は、多人数での遠隔会合に好適に用いることができる。
 なお、使用者1020_2乃至使用者1020_8の状態が反映された文字列が、それぞれ、第2乃至第8の電子機器が有する表示部に表示されてもよい。第3の電子機器が有する表示部の表示例を図3A、および図3Bに示す。
 第3の電子機器は、表示部1000_3を有する。
 図3Aに、遠隔会合が開始された直後の、表示部1000_3の表示例を示す。また、図3Bに、当該遠隔会合が開始されてしばらく経過した後の、表示部1000_3の表示例を示す。
 図3A、および図3Bにおいて、表示部1000_3には、画像1010_1が表示されている。画像1010_1には、第1の電子機器が有するカメラが撮影した画像が含まれる。例えば、画像1010_1には、使用者1020_1およびその周辺などが含まれる。図3A、および図3Bでは、画像1010_1には、使用者1020_1の周辺として、黒板、白板、または電子黒板が含まれている。
 遠隔会合が開始された直後では、使用者1020_3の状態に変化は見られない。よって、図3Aに示すように、表示部1000_3には、第1の電子機器が有するカメラが撮影した画像が表示される。
 遠隔会合を開始してしばらく経過した後、上述のように、使用者1020_3は、目の疲労度が高い状態である。このとき、例えば、画像1010_1と重なるように画像1031が表示される。画像1031には、文字列(図3Bでは、「授業終了まであと10分。頑張りましょう。」)が含まれる。
 以上のように、本発明の一態様を用いることで、第1の電子機器以外の使用者は、当該使用者自身の状態を文字列情報として認識することができる。例えば、使用者1020_3は、自覚症状が無くても、使用者1020_3自身の状態を認識しやすくなり、遠隔会合への集中力などを取り戻すことができる。
 なお、本発明の一態様の電子機器が有する機能は、文字列情報の表示に限られない。例えば、文字列情報を音声として出力する機能を有してもよいし、ビープ音などの警告音を出力する機能を有してもよい。これにより、使用者の視線が逸れる場合、使用者が眠っている場合など、使用者が電子機器の有する表示部を視認していない状態でも、音声または警告音が出力されることで、当該使用者は、遠隔会合への集中力などを取り戻すことができる。
 なお、上記では、遠隔会合の一例として遠隔授業を挙げたが、これに限られない。当該遠隔会合は、遠隔会議、遠隔面接、遠隔面談などであってもよい。このとき、第1の電子機器の使用者としては、例えば、遠隔会議における上司、遠隔面接における面接官、遠隔面談における医師などが挙げられる。第1の電子機器以外の電子機器の使用者としては、例えば、遠隔会議における部下、遠隔面接における応募者または受験者、遠隔面談における相談者などが挙げられる。
<電子機器、および表示システムの構成例>
 本発明の一態様に係る、電子機器および表示システムの構成例について、図4A乃至図6Bに示すブロック図を参照して説明する。
 図4A乃至図4Eは、本発明の一態様の電子機器を説明するブロック図である。
 図4Aに示す電子機器50は、カメラ51と、表示部52と、処理部53と、を備える。カメラ51、表示部52、および処理部53は、バス配線(図4Aには図示せず)などを介して相互に各種信号を送受信する。
 カメラ51は、電子機器50の使用者の撮像を行い、画像データを生成する機能を有する。なお、当該撮像は一定間隔で繰り返し行われることが好ましい。当該撮像を繰り返し行うことで、複数の画像データを生成できる。さらに、当該画像データには、使用者およびその周辺が含まれることが好ましく、使用者の目が含まれることがより好ましい。使用者の目が含まれる画像データを複数生成することで、瞬目などに関する情報を高い精度で検出できる。
 処理部53は、バス配線などを介して、上記複数の画像データを受け付ける。
 また、処理部53は、画像解析を行う機能を有する。上記複数の画像データの解析を行うことで、文字列情報を生成できる。なお、当該文字列情報には、上記複数の画像データに含まれる使用者の状態が反映されている。
 上記画像解析には、ニューラルネットワーク、積和演算を行う機能を有する演算回路などを用いることができる。つまり、処理部53は、ニューラルネットワークを含むプログラムを実施可能な処理装置、積和演算を行う機能を有する演算回路などの少なくとも一つを備える。
 上記画像解析には、積和演算を行う機能を有する演算回路を用いることが特に好ましい。なお、積和演算を行う機能を有する演算回路は、ニューラルネットワークに基づく演算処理が可能な演算回路と言い換えることができる。当該演算回路を用いることで、低い電力で画像解析を行うことができる。つまり、本発明の一態様に係る電子機器、または当該電子機器を含む表示システムの消費電力を低減できる。なお、積和演算を行う機能を有する演算回路の詳細については、実施の形態2で説明する。
 上記画像解析には、ニューラルネットワークを用いてもよい。ニューラルネットワークとしては、特に、ディープラーニングを用いることが好ましい。ディープラーニングとして、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)、再帰型ニューラルネットワーク(RNN:Recurrent Neural Network)、オートエンコーダ(AE:Autoencoder)、変分オートエンコーダ(VAE:Variational Autoencoder)、ランダムフォレスト(Random Forest)、サポートベクターマシン(Support Vector Machine)、勾配ブースティング(Gradient Boosting)、敵対的生成ネットワーク(GAN:Generative Adversarial Networks)などを用いることが好ましい。
 また、処理部53は、使用者の状態がしきい値以上であるかの判定を行う機能を有する。当該判定の結果をもとに、上記文字列情報の表示を行うか否かが決定されるとよい。例えば、使用者の状態がしきい値以上である場合にのみ、電子機器50が文字列情報を出力する構成とすることで、電子機器50の使用者は、電子機器50が出力する文字列情報に気付きやすくなる。なお、当該しきい値は、予め設定されていることが好ましい。
 処理部53が使用者の状態を推定する場合、当該使用者の状態は、数値化されていることが好ましい。使用者の状態を数値化することで、上記判定を容易にすることができる。なお、本明細書等では、使用者の状態を示す数値、または、数値化された使用者の状態を、単に使用者の状態と記載する場合がある。
 なお、処理部53は、上記複数の画像データから使用者の状態を推定する機能と、使用者の状態をもとに文字列情報を生成する機能と、を有してもよい。使用者の状態としては、使用者の疲労度、使用者の視線の方向、使用者のストレス状態などが挙げられる。なお、本明細書等で使用者の疲労度と記載する場合、使用者の目の疲労度も含むものとする。また、目の疲労度は、眼精疲労、または眼精疲労の度合いと言い換えることができる。特に、上記複数の画像データに、使用者の目およびその周辺が含まれることで、使用者の目の疲労度、または使用者の視線の方向を高い精度で推定することができる。
 上記において、処理部53は、複数の画像データから使用者の状態を推定する機能を有する処理部53aと、使用者の状態をもとに文字列情報を生成する機能を有する処理部53bとを有してもよい。図4Bに示す電子機器50は、処理部53aおよび処理部53bを有する処理部53を備える。また、処理部53a及び処理部53bの少なくとも一方は、使用者の状態がしきい値以上であるかを判定する機能を有する。なお、図4Bでは、電子機器50が、処理部53aおよび処理部53bを備える構成を例示しているが、これに限られない。処理部53aおよび処理部53bは、2つの電子機器に別々に備えられてもよい。
 または、処理部53は、複数の画像データから目に関する情報の経時変化を検出する機能と、目に関する情報の経時変化をもとに使用者の状態を推定する機能と、使用者の状態をもとに文字列情報を生成する機能と、を有してもよい。目に関する情報としては、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、および瞳孔の面積、の少なくとも一が含まれる。特に、上記複数の画像データに使用者の目およびその周辺が含まれることで、目に関する情報を高い精度で検出することができる。
 上記において、処理部53は、複数の画像データから目に関する情報の経時変化を検出する機能を有する処理部53cと、目に関する情報の経時変化をもとに使用者の状態を推定する機能を有する処理部53dと、使用者の状態に応じた文字列情報を生成する処理部53bとを有してもよい。図4Cに示す電子機器50は、処理部53b乃至処理部53dを有する処理部53を備える。また、処理部53d及び処理部53bの少なくとも一方は、使用者の状態がしきい値以上であるかを判定する機能を有する。なお、図4Cでは、電子機器50が、処理部53b乃至処理部53dを備える構成を例示しているが、これに限られない。処理部53b乃至処理部53dの一部は、ある電子機器に備えられ、処理部53b乃至処理部53dの他の一部は、他の電子機器に備えられてもよい。または、処理部53b乃至処理部53dは、3つの電子機器に別々に備えられてもよい。
 表示部52は、処理部53が生成した文字列情報を出力する機能を有する。なお、当該文字列情報は、画像データとして表示部52に表示される。または、当該文字列情報は、画像データとして、他の画像データと重なるように表示部52に表示される。よって、本明細書等で記載する文字列情報は、使用者の状態が反映されている文字列を含む画像データと言い換えることができる場合がある。
 また、図4Aなどに示す電子機器50は、表示部52を1つ備えるが、電子機器に備わる表示部52の数は2つ以上でもよい。
 なお、本発明の一態様の電子機器は、カメラと、表示部と、処理部とに加えて、センサ部を有してもよい。図4Dに示す電子機器50は、カメラ51と、表示部52と、処理部54と、センサ部55と、を備える。カメラ51、表示部52、処理部54、およびセンサ部55は、バス配線(図4Dには図示せず)などを介して相互に各種信号を送受信する。
 センサ部55は、情報を検出(取得)する機能を有する。例えば、センサ部55は、使用者の脈拍、血圧、および体温の少なくとも一を含む情報を検出(取得)する機能を有する。なお、当該情報の検出は、遠隔会合が行われている間、一定の間隔で行われる。このとき、センサ部55は、情報の経時変化を取得する機能を有するといえる。例えば、センサ部55は、使用者の脈拍、血圧、および体温の少なくとも一を含む情報の経時変化を取得する機能を有するといえる。
 なお、センサ部55としては、受光デバイス(センサデバイスともいう)などを用いてもよい。具体的には、可視光を検出する受光デバイス、および、赤外光を検出する受光デバイスなどを用いることができる。このとき、センサ部55は、使用者およびその周辺の撮像を行うことができる。
 センサ部55は、例えば、ヘッドホンに備えられる。なお、本明細書等で記載するヘッドホンには、耳に近接して使用するイヤホン、1個または2個のイヤホンとヘッドバンドまたはチンバンドとを組み合わせたヘッドホン、マイクロフォンが組み込まれたヘッドホン(ヘッドセットともいう)、マイクロフォンが組み込まれたイヤホンなども含まれる。
 上記ヘッドホンは、電子機器50の筐体に直接接続、または有線接続されている構成とすることができる。または、上記ヘッドホンおよび電子機器50の筐体はマグネットを有していてもよい。これにより、上記ヘッドホンを電子機器50の筐体に磁力によって固定することができ、収納が容易となり好ましい。
 なお、センサ部55を有するヘッドホンは、必ずしも電子機器50に含まれなくてもよい。例えば、上記ヘッドホンは、通信部を有し、無線通信機能を有するものであってもよい。当該ヘッドホンが有するセンサ部55は、無線通信機能により、検出した情報を処理部54に送信することができる。なお、処理部54への上記情報の送信は、遠隔会合が行われている間、一定の間隔で繰り返し行われる。
 上記ヘッドホンが無線通信機能を有する場合、処理部54は、電子機器50が有する通信部を介して、無線通信機能により、上記情報をセンサ部55から受け付ける。または、上記ヘッドホンが電子機器50の筐体に直接接続、または有線接続されている場合、処理部54は、バス配線を介して、上記情報をセンサ部55から受け付ける。なお、情報の受け付けは、遠隔会合が行われている間、一定の間隔で繰り返し行われる。したがって、処理部54は、上記情報の経時変化を受け付けることができる。
 処理部54は、上記情報の経時変化の解析を行う機能を有する。上記情報の経時変化の解析を行うことで、文字列情報を生成できる。なお、当該文字列情報には、センサ部55を有するヘッドホンの使用者の状態が反映されている。
 上記情報の経時変化の解析には、ニューラルネットワーク、積和演算を行う機能を有する演算回路などを用いることができる。つまり、処理部54は、ニューラルネットワークを含むプログラムを実施可能な処理装置、積和演算を行う機能を有する演算回路などの少なくとも一つを備える。当該ニューラルネットワークまたは当該演算回路としては、上述した画像解析に適用可能なニューラルネットワークまたは演算回路を用いることができる。
 なお、処理部54は、上記情報の経時変化をもとに使用者の状態を推定する機能と、使用者の状態をもとに文字列情報を生成する機能と、を有してもよい。使用者の状態としては、使用者の疲労度、使用者のストレス状態などが挙げられる。
 上記において、処理部54は、情報の経時変化をもとに使用者の状態を推定する処理部54aと、使用者の状態から文字列情報を生成する処理部54bとを有してもよい。図4Eに示す電子機器50は、処理部54aおよび処理部54bを有する処理部54を備える。また、処理部54a及び処理部54bの少なくとも一方は、使用者の状態がしきい値以上であるかを判定する機能を有する。なお、図4Eでは、電子機器50が、処理部54aおよび処理部54bを備える構成を例示しているが、これに限られない。処理部54aおよび処理部54bは、2つの電子機器に別々に備えられてもよい。
 以上により、本発明の一態様の電子機器は、当該電子機器の使用者の状態が反映されている文字列情報を表示することができる。例えば、当該電子機器を、遠隔授業における生徒、遠隔会議における部下、遠隔面接における応募者または受験者、遠隔面談における相談者などが使用する場合、自覚症状が無くても、使用者自身の状態を認識しやすくなり、遠隔会合への集中力などを高めることができる。
 なお、本発明の一態様の電子機器は、カメラと、表示部と、処理部とに加えて、フレームメモリ、オーディオ、制御部、通信部、バッテリなどのいずれか一または複数を備えてもよい。
 図5Aに示す電子機器50は、カメラ51と、表示部52と、処理部53とに加えて、フレームメモリ62と、オーディオ63と、制御部64と、通信部65と、バッテリ66とを備える点で、図4Aに示す電子機器50とは異なる。カメラ51、表示部52、処理部53、フレームメモリ62、オーディオ63、制御部64、および通信部65は、バス配線BWを介して相互に各種信号を送受信する。
 表示部52は、駆動回路部を有する。当該駆動回路部は、ゲートドライバ回路およびソースドライバ回路を有する。なお、ゲートドライバ回路、およびソースドライバ回路のそれぞれは、一つ設けられてもよいし、複数設けられてもよい。
 オーディオ63は、例えば、マイクロフォンおよびスピーカのうち一以上を有する。制御部64は、CPU、GPU、およびメモリを有する。通信部65は、ワイヤレス通信を行い、他の端末、またはネットワーク上に存在するサーバと、データのやり取りを行うことができる。
 制御部64で生成された画像データは、バス配線BWを経由して、フレームメモリ62に格納される。また、フレームメモリ62に格納された画像データは、上記駆動回路部に含まれるソースドライバを経由し、表示部52で表示される。なお、表示部52が上記画像データに加えて、処理部53で生成された文字列情報を出力する場合、表示部52は、上記画像データと当該文字列情報とを表示する。このとき、当該文字列情報は、当該画像データと重なるように、上記画像データの上に表示されるとよい。
 カメラまたはセンサデバイスで取得したデータ(アナログデータ)は、処理部53でデジタルデータに変換され、制御部64に送られる。例えば、センサデバイスが使用者の情報を取得し、処理部53は検出した情報から使用者の状態を推定する。制御部64は、処理部53から使用者の状態に関する情報を受け取り、使用者が目にする画像データに反映させる。
 また、電子機器は、カメラと、表示部と、処理部と、フレームメモリ、オーディオ、制御部、通信部、バッテリなどのいずれか一または複数と、に加えて、光学系および動き検出部の一方または双方を備えてもよい。当該電子機器としては、ヘッドマウントディスプレイ、メガネ型端末、ゴーグル型端末などの頭部に装着可能な情報端末機(ウェアラブル機器)が挙げられる。
 図5Bに示す電子機器50は、カメラ51と、表示部52と、処理部53と、フレームメモリ62と、オーディオ63と、制御部64と、通信部65と、バッテリ66とに加えて、光学系67と、動き検出部68とを備える点で、図5Aに示す電子機器50とは異なる。なお、図5Bに示す電子機器50では、表示部52は、表示部52Rおよび表示部52Lから構成され、光学系67は、光学系67Rおよび光学系67Lから構成される。
 カメラ51、表示部52、処理部53、フレームメモリ62、オーディオ63、制御部64、通信部65、および動き検出部68は、バス配線BWを介して相互に各種信号を送受信する。
 動き検出部68は、慣性センサを有し、使用者の体の動きを検知する機能を有する。なお、ここで慣性センサとは、物体の加速度および角速度を検知するセンサを表す。
 光学系67は、例えばレンズを有する。また、必要に応じて、反射板、ハーフミラー、導波路等を有してもよい。また、図5Bに示す例では、光学系67は右目用と左目用に2つ設けられているが、光学系67の数は1つでもよいし、3つ以上でもよい。
 なお、本発明の一態様は、図4A乃至図5Bに示す構成を有する電子機器に限られない。例えば、図6Aに示すように、本発明の一態様は、2つの電子機器を備える表示システムであってもよい。
 図6Aは、本発明の一態様の表示システムの構成例を示すブロック図である。図6Aに示すように、表示システム70は、電子機器71と、電子機器72と、を備える。なお、電子機器71は、上述した電子機器50に相当する。よって、電子機器71の、以降で説明する以外の内容については、上述した電子機器50の説明を参酌できる。また、電子機器72は、上述した電子機器50の機能の一部または全てを有してもよい。例えば、電子機器72は、電子機器50の表示部52が有する機能を有するとよい。
 電子機器71および電子機器72は、ネットワーク73を介して接続されている。
 ネットワーク73は、World Wide Web(WWW)の基盤であるインターネット、イントラネット、エクストラネット、PAN(Personal Area Network)、LAN(Local Area Network)、CAN(Campus Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、GAN(Global Area Network)等のコンピュータネットワークである。なお、ネットワーク73は、有線、または無線による通信を含む。
 電子機器71は、カメラ75と、処理部76と、を有する。電子機器71は、カメラ75を用いて、使用者およびその周辺の撮像を行う。なお、当該撮像は、使用者の目が含まれるように行われることが好ましい。また、電子機器71は、処理部76を用いて、文字列情報を生成する。
 カメラ75は、上述したカメラ51に相当する。また、処理部76は上述した処理部53に相当する。
 なお、電子機器71は、センサ部を有してもよい。このとき、電子機器71は、当該センサ部を用いて情報を検出(取得)する。例えば、電子機器71は、当該センサ部を用いて、使用者の脈拍、血圧、および体温の少なくとも一を含む情報を検出(取得)する。また、電子機器71は、当該センサ部を用いて、情報の経時変化を取得する。例えば、電子機器71は、当該センサ部を用いて、使用者の脈拍、血圧、および体温の少なくとも一を含む情報の経時変化を取得する。また、電子機器71は、処理部76を用いて、文字列情報を生成する。
 上記センサ部は、上述したセンサ部55に相当する。また、処理部76は上述した処理部54に相当する。
 電子機器72は、処理部77を有する。電子機器72は、ネットワーク73を介して、電子機器71から上記文字列情報を受け付け、電子機器72が有する表示部に当該文字列情報を表示する。別言すると、電子機器72が有する表示部は、電子機器71から受け付けた上記文字列情報を表示する機能を有する。
 当該構成とすることで、電子機器72は、電子機器71の使用者の状態に応じた文字列情報を出力することができる。電子機器71が、電子機器72にとって遠隔地で使用される場合、電子機器72は、遠隔地で遠隔会合に参加する、電子機器71の使用者の状態に応じた文字列情報を出力することができる。つまり、表示システム70は、遠隔地にいる参加者の状態を推定することができる。また、表示システム70は、遠隔地にいる参加者の状態に応じた文字列情報を出力することができる。
 以上より、電子機器72の使用者は、電子機器71の使用者の状態を文字列情報として認識することができる。別言すると、電子機器72の使用者は、電子機器71に備わるカメラ75で撮影された画像、または、電子機器71に備わるマイクロフォンなどで取得された音声など以外の情報をもとに、電子機器71の使用者の状態を認識することができる。よって、電子機器72の使用者は、電子機器71の使用者とコミュニケーションを密に図ることができる。例えば、電子機器71をクライアント(ゲスト)が利用し、電子機器72をホストが使用するとよい。具体的には、電子機器71を、遠隔授業における生徒、遠隔会議における部下、遠隔面接における応募者または受験者、遠隔面談における相談者などが利用し、電子機器72を、遠隔授業における先生、遠隔会議における上司、遠隔面接における面接官、遠隔面談における医師などが使用するとよい。
 なお、電子機器71と、電子機器72とが通信するデータは、文字列情報に限られない。例えば、電子機器71と、電子機器72とが通信するデータは、電子機器71の使用者およびその周辺が撮影された画像データであってもよい。このとき、電子機器72は、処理部77を用いて、受け付けた上記画像データを基に文字列情報を生成し、電子機器72が有する表示部に当該文字列情報を表示してもよい。このとき、処理部77は、上述した処理部53に相当する。
 また、例えば、電子機器71と、電子機器72とが通信するデータは、使用者の脈拍、血圧、および体温の少なくとも一を含む情報であってもよい。このとき、電子機器72は、処理部77を用いて文字列情報を生成し、電子機器72が有する表示部に当該文字列情報を表示してもよい。このとき、処理部77は、上述した処理部54に相当する。
 なお、文字列情報の生成には、電子機器71の使用者およびその周辺が撮影された画像データ、および/または、電子機器71の使用者の脈拍、血圧、および体温の少なくとも一を含む情報に加えて、電子機器71の使用者の特徴(性格、しぐさ、など)を用いてもよい。これにより、電子機器71の使用者に適合した文字列情報を生成できる。つまり、個人差が考慮された、文字列情報を生成できる。
 または、処理部76が、上述した処理部53aまたは処理部54aの有する機能を備え、処理部77が、上述した処理部53bまたは処理部54bの有する機能を備える構成であってもよい。このとき、電子機器71と、電子機器72とが通信するデータは、処理部76が推定した使用者の状態に関する情報となる。使用者およびその周辺が撮影された画像データ、および/または、使用者の脈拍、血圧、および体温の少なくとも一を含む情報と比較して、使用者の状態に関する情報はデータ量が少ないため、電子機器71と電子機器72との通信量を低減できる。
 または、処理部76が、上述した処理部53cおよび処理部53dの有する機能を備え、処理部77が、上述した処理部53bの有する機能を備える構成であってもよい。このとき、電子機器71と、電子機器72とが通信するデータは、処理部76が推定した使用者の状態に関する情報となる。使用者およびその周辺が撮影された画像データと比較して、使用者の状態に関する情報はデータ量が少ないため、電子機器71と電子機器72との通信量を低減できる。
 または、処理部76が、上述した処理部53cの有する機能を備え、処理部77が、上述した処理部53bおよび処理部53dの有する機能を備える構成であってもよい。このとき、電子機器71と、電子機器72とが通信するデータは、処理部76が検出した使用者の目に関する情報の経時変化となる。使用者およびその周辺が撮影された画像データと比較して、使用者の目に関する情報の経時変化はデータ量が少ないため、電子機器71と電子機器72との通信量を低減できる。
 図6Aでは、表示システム70が、電子機器71と、電子機器72と、を備える構成を示しているが、本発明はこれに限られない。例えば、表示システムは、m台(mは3以上の整数である)の電子機器を備えてもよい。なお、m台の電子機器は、ネットワーク73を介して接続されている。また、m台の電子機器の一部または全ては、上述した電子機器50に相当する。また、m台の電子機器の一部は、上述した電子機器50の機能の一部または全てを有してもよい。これにより、少なくともm人での遠隔会合が可能となる。
 また、例えば、図6Bに示すように、本発明の一態様の表示システムは、2つの電子機器と、1つのサーバとを備えてもよい。
 図6Bは、本発明の一態様の表示システムの構成例を示すブロック図である。図6Bに示すように、表示システム70は、電子機器71と、電子機器72と、サーバ74と、を備える。なお、電子機器71は、上述した電子機器50に相当する。よって、電子機器71の、以降で説明する以外の内容については、上述した電子機器50の説明を参酌できる。また、電子機器72は、上述した電子機器71の機能を有する。
 電子機器71、電子機器72、およびサーバ74は、ネットワーク73を介して接続されている。
 サーバ74は、処理部78を有する。
 サーバ74は、ネットワーク73を介して、電子機器71からデータを受け付ける。当該データは、電子機器71の使用者およびその周辺が撮像された画像データ、電子機器71の使用者の脈拍、血圧、および体温の少なくとも一を含む情報、電子機器71の有する処理部が推定した使用者の状態に関する情報、ならびに、電子機器71の使用者の目に関する情報の経時変化の少なくとも一を含む。
 サーバ74は、処理部78を用いて、上記データから文字列情報を生成する。上記データから文字列情報を生成する際、非常に多くの演算が行われる。当該構成にすることで、電子機器71および電子機器72で行われる演算量を低減でき、電子機器71および電子機器72の動作速度が遅くなるのを抑制できる。
 サーバ74は、ネットワーク73を介して、電子機器72に生成した文字列情報を送信する。
 電子機器72は、ネットワーク73を介して、サーバ74から上記文字列情報を受け付け、電子機器72が有する表示部に当該文字列情報を表示する。
 以上により、電子機器72の使用者は、電子機器71の使用者の状態を文字列情報として認識することができる。別言すると、電子機器72の使用者は、電子機器71に備わるカメラ75で撮影された画像、または、電子機器71に備わるマイクで取得された音声など以外の情報をもとに、電子機器71の使用者の状態を認識することができる。よって、電子機器72の使用者は、電子機器71の使用者とコミュニケーションを密に図ることができる。
 以上が、電子機器および表示システムの構成例についての説明である。
 次に、本発明の一態様の、電子機器および表示システムの動作例について、図7乃至図10に示すフローチャートを参照して説明する。
[動作例1]
 はじめに、本発明の一態様である、1台の電子機器を用いて使用者の状態を推定する場合の動作例について、図7に示すフローチャートを用いて以下に説明する。図7に示すフローチャートは、ステップS111乃至ステップS117を有する。
 なお、本動作例では、図4Aに示す電子機器50を用いて説明する。また、電子機器が推定する使用者の状態は、使用者の目の疲労度であるとする。
 まず、ステップS111において、カメラ51は、使用者及びその周辺を撮像し、画像データを生成する。当該画像データには、使用者の目が含まれることが好ましい。次に、ステップS112において、処理部53は、カメラ51が生成した画像データを受け付ける。なお、ステップS111及びステップS112は繰り返し行われる。ステップS111及びステップS112を繰り返し行うことで、使用者およびその周辺が撮像された画像データが複数生成される。したがって、処理部53は、複数の画像データを受け付ける。
 ステップS113において、処理部53は、ステップS112において受け付けた複数の画像データから、目に関する情報を検出する。目に関する情報としては、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、および瞳孔の面積、の少なくとも一が含まれる。次に、ステップS114において、処理部53は、検出した目に関する情報を基に、目の疲労度を推定する。ステップS115において、処理部53は、目の疲労度がしきい値以上であるかを判定する。目の疲労度がしきい値以上であると判定された場合、ステップS116において、処理部53は、文字列情報を生成する。そして、ステップS117において、表示部52は、生成された文字列情報を表示する。なお、ステップS117において文字列情報を表示部52が表示するのに加え、当該文字列情報を音声で伝える、または、警告音を鳴らすなどしてもよい。
 これにより、使用者は自身の目の疲労度などの情報を文字列情報として認識することができる。また、使用者は、注意喚起を受けて、遠隔会合への集中力を取り戻すことができる。
[動作例2]
 本発明の別の一態様である、1台の電子機器を用いて使用者の状態を推定する場合の動作例について、図8に示すフローチャートを用いて以下に説明する。図8に示すフローチャートは、ステップS121乃至ステップS127を有する。
 なお、本動作例では、図4Dに示す電子機器50を用いて説明する。また、電子機器が推定する使用者の状態は、ストレス状態であるとする。
 まず、ステップS121において、センサ部55は、使用者の情報を取得する。次に、ステップS122において、処理部54は、センサ部55が取得した使用者の情報を受け付ける。なお、ステップS121及びステップS122は繰り返し行われる。ステップS121及びステップS122を繰り返し行うことで、処理部54は、使用者の情報を複数受け付ける。
 ステップS123において、処理部54は、取得した使用者の情報の経時変化を検出する。次に、ステップS124において、処理部54は、検出した使用者の情報の経時変化を基に、ストレス状態を推定する。次に、ステップS125において、処理部54は、ストレス状態がしきい値以上であるかを判定する。ストレス状態がしきい値以上であると判定された場合、ステップS126において、処理部54は、文字列情報を生成する。そして、ステップS127において、表示部52は、生成された文字列情報を表示する。なお、ステップS127において、生成された文字列情報を表示部52が表示するのに加え、当該文字列情報を音声で伝える、または、警告音を鳴らすなどしてもよい。
 これにより、使用者は自身のストレス状態などの情報を文字列情報として認識することができる。また、使用者は、注意喚起を受けて、適宜休憩を取るかどうかなどを検討することができる。
[動作例3]
 本発明の別の一態様である、2台の電子機器を用いて使用者の状態を推定する場合の動作例について、図9に示すフローチャートを用いて以下に説明する。図9に示すフローチャートは、ステップS131乃至ステップS138を有する。
 なお、本動作例では、図6Aに示す表示システム70が有する、電子機器71および電子機器72を用いて説明する。また、電子機器71の使用者を第1の使用者とし、電子機器72の使用者を第2の使用者とする。また、電子機器が推定する使用者の状態は、使用者の目の疲労度であるとする。
 まず、ステップS131において、電子機器71が有するカメラ75は、第1の使用者及びその周辺を撮像し、画像データを生成する。当該画像データには、第1の使用者の目が含まれることが好ましい。次に、ステップS132において、電子機器71が有する処理部76は、カメラ75が生成した画像データを受け付ける。なお、ステップS131及びステップS132は繰り返し行われる。ステップS131及びステップS132を繰り返し行うことで、第1の使用者およびその周辺が撮像された画像データが複数生成される。したがって、電子機器71が有する処理部は、複数の画像データを受け付ける。
 ステップS133において、処理部76は、ステップS132において受け付けた複数の画像データから目に関する情報を検出する。目に関する情報としては、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、および瞳孔の面積、の少なくとも一が含まれる。次に、ステップS134において、処理部76は、検出した目に関する情報を基に、第1の使用者の目の疲労度を推定する。次に、ステップS135において、処理部76は、第1の使用者の目の疲労度がしきい値以上であるかを判定する。第1の使用者の目の疲労度がしきい値以上であると判定された場合、ステップS136において、処理部76は、文字列情報を生成する。ステップS137において、電子機器72は、生成された文字列情報を受け付ける。そして、ステップS138において、電子機器72が有する表示部は、受け付けた文字列情報を表示する。なお、ステップS138において文字列情報を電子機器72が有する表示部が表示するのに加え、当該文字列情報を音声で伝える、または、警告音を鳴らすなどしてもよい。
 これにより、第2の使用者は、第1の使用者の目の疲労度を文字列情報として認識することができる。なお、推定する使用者の状態がストレス状態である場合、第2の使用者は、第1の使用者のストレス状態にあった助言を与えることができる。
[動作例4]
 本発明の別の一態様である、2台の電子機器及びサーバを用いて使用者の状態を推定する場合の動作例について、図10に示すフローチャートを用いて以下に説明する。図10に示すフローチャートは、ステップS141乃至ステップS148を有する。
 なお、本動作例では、図6Bに示す表示システム70が有する、電子機器71、電子機器72、およびサーバ74を用いて説明する。また、電子機器71の使用者を第1の使用者とし、電子機器72の使用者を第2の使用者とする。また、電子機器が推定する使用者の状態は、使用者の目の疲労度であるとする。
 まず、ステップS141において、電子機器71が有するカメラ75は、第1の使用者及びその周辺を撮像し、画像データを生成する。当該画像データには、第1の使用者の目が含まれることが好ましい。次に、ステップS142において、サーバ74は、カメラが生成した画像データを受け付ける。なお、ステップS141及びステップS142は繰り返し行われる。ステップS141及びステップS142を繰り返し行うことで、第1の使用者およびその周辺が撮像された画像データが複数生成される。したがって、サーバ74は、複数の画像データを受け付ける。
 ステップS143において、サーバ74が有する処理部78は、ステップS142において受け付けた複数の画像データから目に関する情報を検出する。目に関する情報としては、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、および瞳孔の面積、の少なくとも一が含まれる。次に、ステップS144において、処理部78は、検出した目に関する情報を基に、第1の使用者の目の疲労度を推定する。次に、ステップS145において、処理部78は、第1の使用者の目の疲労度がしきい値以上であるかを判定する。第1の使用者の目の疲労度がしきい値以上であると判定された場合、ステップS146において、処理部78は、文字列情報を生成する。ステップS147において、電子機器72は、生成された文字列情報を受け付ける。そして、ステップS148において、電子機器72が有する表示部は、受け付けた文字列情報を表示する。なお、ステップS148において文字列情報を電子機器72が有する表示部が表示するのに加え、当該文字列情報を音声で伝える、または、警告音を鳴らすなどしてもよい。
 これにより、第2の使用者は、第1の使用者の目の疲労度を文字列情報として認識することができる。なお、推定する使用者の状態がストレス状態である場合、第2の使用者は、第1の使用者のストレス状態にあった助言を与えることができる。
 以上が、本発明の一態様の、電子機器および表示システムの動作例についての説明である。
 なお、使用者の状態が反映された文字列情報を常時表示させる場合、ステップS115、ステップS125、ステップS135、およびステップS145は省略してもよい。
<使用者の状態を推定する方法>
 次に、使用者の状態を推定する方法について、図11A乃至図11Cを参照して説明する。
 ディスプレイを長時間視認する場合、瞬目の頻度が減る場合がある。また、使用者に疲れが生じると、瞬目1回あたりに要する時間が長くなる場合、上眼瞼と下眼瞼との間隔が狭くなる場合などがある。
 また、慢性的な疲労は、自律神経の乱れにつながるといわれている。自律神経には、体の活動時、昼間、緊張時に活発になる交感神経と、安静時、夜間、リラックス時に活発になる副交感神経がある。交感神経が優位に立つと、瞳孔の拡大、心臓拍動の促進、血圧の上昇などが起こる。他方、副交感神経が優位に立つと、瞳孔の縮小、心臓拍動の抑制、血圧の低下、眠気などが起こる。
 自律神経のバランスが悪くなると、低体温、瞬目回数の減少、涙の量の減少などを引き起こす。また、猫背または背中が反った姿勢が長時間続くと、自律神経の乱れにつながる場合がある。
 以上より、自律神経の乱れまたはバランスを評価できれば、疲労度またはストレスを客観的に評価することができる。つまり、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、瞳孔(瞳孔径または瞳孔面積)、心臓拍動または脈拍、血圧、体温、瞬目、姿勢などの経時変化を評価することで、疲労度またはストレスを客観的に評価することができる。
 本発明の一態様の、表示装置および表示システムにおいては、使用者に関する情報から、使用者の目の疲労度、使用者の疲労度、ストレス状態などを推定することができる。なお、使用者に関する情報として、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、瞳孔の面積、脈拍、血圧、および体温の少なくとも一が含まれる。また、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、および瞳孔の面積などは、目およびその周辺を含む画像データから検出できるため、本発明の一態様の、表示装置および表示システムにおいては、使用者の目およびその周辺が画像データに含まれることが好ましい。これにより、使用者の目の疲労度、使用者の疲労度、ストレス状態などを推定することができる。
 使用者およびその周辺を含む画像データは、本発明の一態様の電子機器および表示システムが有するカメラで取得することができる。なお、当該電子機器および当該表示システムが有する処理部は、上記画像データを加工する機能を有することが好ましい。例えば、当該加工により、画像データから目の外側の領域が除去されるとよい。別言すると、当該加工により、目を含む領域を切り抜き、切り抜いた目を含む領域を当該画像データに置き換えるとよい。これにより、画像データ全体の領域(面積)に対する、目の占める領域(面積)を大きくすることができ、使用者の目の疲労度、または使用者の視線の方向を高い精度で推定することができる。なお、当該加工は、AI(Artificial Intelligence)を利用したシステムを用いて行ってもよい。
 使用者の状態の推定は、学習済みモデル、または、ニューラルネットワークに基づく演算処理が可能な演算回路を用いて行うことができる。学習済みモデルとしては、ニューラルネットワークを用いることが好ましく、畳み込みニューラルネットワークを用いることがより好ましい。また、上記演算回路としては、実施の形態2で説明する、積和演算を行う機能を有する演算回路を用いることが好ましい。
 ニューラルネットワークを用いた使用者の状態を推定する方法の一例について、図11Aを参照して説明する。
 図11Aに示すように、入力データ91は、ニューラルネットワーク92に入力される。また、出力データ93は、ニューラルネットワーク92から出力される。つまり、出力データ93には、ニューラルネットワーク92で行われた演算結果が含まれる。
 ニューラルネットワーク92としては、学習済みモデル、または、ニューラルネットワークに基づく演算処理が可能な演算回路が挙げられる。学習済みモデルは、ニューラルネットワークに対して教師あり学習を行うことで、生成されることが好ましい。なお、ニューラルネットワークの学習は、教師あり学習に限られず、半教師あり学習であってもよい。
 入力データ91として、被験者およびその周辺を含む画像データを用意する。当該画像データには、被験者の目が含まれることが好ましい。また、当該被験者は複数人であることが好ましい。なお、当該被験者に、状態を推定する使用者が含まれてもよい。そして、出力データ93が、当該被験者の状態に関する情報となるように、ニューラルネットワーク92を学習させる。
 上記は、入力データが被験者およびその周辺を含む画像データであり、教師データ(ラベルともいう)が被験者の状態に関する情報である学習用データセットを用いて、ニューラルネットワーク92を学習させる、と言い換えることができる。つまり、ニューラルネットワーク92に対して、教師あり学習を行うことで、学習済みモデルを生成できる。
 なお、ニューラルネットワーク92として、上記演算回路を用いる場合、ニューラルネットワーク92の学習とは、当該演算回路が有するセル内に保持される重みデータの最適化に相当する。
 上記学習により、入力データ91として、使用者およびその周辺を含む画像データをニューラルネットワーク92に入力すると、出力データ93として、当該使用者の状態に関する情報をニューラルネットワーク92から出力することができる。
 または、入力データ91として、被験者およびその周辺を含む画像データと、当該被験者の特徴(性格、しぐさ、など)とを用意する。当該画像データには、被験者の目が含まれることが好ましい。また、当該被験者は複数人であることが好ましい。なお、当該被験者に、状態を推定する使用者が含まれてもよい。そして、出力データ93が、当該被験者の状態に関する情報となるように、ニューラルネットワーク92を学習させる。
 上記学習により、入力データ91として、使用者およびその周辺を含む画像データをニューラルネットワーク92に入力すると、出力データ93として、個人差が考慮された、当該使用者の状態に関する情報をニューラルネットワーク92から出力することができる。
 または、入力データ91として、被験者に関する情報を用意する。被験者に関する情報として、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、瞳孔の面積、脈拍、血圧、および体温の少なくとも一が含まれる。なお、当該被験者は複数人であることが好ましい。また、当該被験者に、状態を推定する使用者が含まれてもよい。そして、出力データ93が、当該被験者の状態に関する情報となるように、ニューラルネットワーク92を学習させる。
 上記学習により、入力データ91として、使用者に関する情報をニューラルネットワーク92に入力すると、出力データ93として、当該使用者の状態に関する情報をニューラルネットワーク92から出力することができる。
 または、入力データ91として、被験者に関する情報と、当該被験者の特徴(性格、しぐさ、など)とを用意する。なお、当該被験者は複数人であることが好ましい。また、当該被験者に、状態を推定する使用者が含まれてもよい。そして、出力データ93が、当該被験者の状態に関する情報となるように、ニューラルネットワーク92を学習させる。
 上記学習により、入力データ91として、被験者に関する情報をニューラルネットワーク92に入力すると、出力データ93として、個人差が考慮された、当該使用者の状態に関する情報をニューラルネットワーク92から出力することができる。
 なお、ニューラルネットワークを用いた使用者の状態を推定する方法は上記に限られない。ニューラルネットワークを用いた使用者の状態を推定する方法の他の一例について、図11Bを参照して説明する。
 図11Bに示すように、入力データ91は、ニューラルネットワーク94に入力される。また、中間データ95は、ニューラルネットワーク94から出力される。つまり、中間データ95には、ニューラルネットワーク94で行われた演算結果が含まれる。
 さらに、中間データ95および入力データ96は、ニューラルネットワーク97に入力される。また、出力データ93は、ニューラルネットワーク97から出力される。つまり、出力データ93は、ニューラルネットワーク97で行われた演算結果が含まれる。
 ニューラルネットワーク94およびニューラルネットワーク97のそれぞれとしては、学習済みモデル、または、ニューラルネットワークに基づく演算処理が可能な演算回路が挙げられる。学習済みモデルは、ニューラルネットワークに対して教師あり学習を行うことで、生成されることが好ましい。なお、ニューラルネットワークの学習は、教師あり学習に限られず、半教師あり学習であってもよい。
 入力データ91として、被験者およびその周辺を含む画像データを用意する。当該画像データには、被験者の目が含まれることが好ましい。また、当該被験者は複数人であることが好ましい。なお、当該被験者に、状態を推定する使用者が含まれてもよい。そして、中間データ95が、当該被験者に関する情報となるように、ニューラルネットワーク94を学習させる。被験者に関する情報として、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、および瞳孔の面積の少なくとも一が含まれる。なお、被験者に関する情報に、脈拍、血圧、および体温の一または複数が含まれてもよい。
 上記は、入力データが被験者およびその周辺を含む画像データであり、教師データが被験者に関する情報である学習用データセットを用いて、ニューラルネットワーク94を学習させる、と言い換えることができる。つまり、ニューラルネットワーク94に対して、教師あり学習を行うことで、学習済みモデルを生成できる。
 なお、ニューラルネットワーク94として、上記演算回路を用いる場合、ニューラルネットワーク94の学習とは、当該演算回路が有するセル内に保持される重みデータの最適化に相当する。
 上記学習により、入力データ91として、使用者およびその周辺を含む画像データをニューラルネットワーク94に入力すると、中間データ95として、当該使用者に関する情報をニューラルネットワーク94から出力することができる。
 また、入力データ96として、当該被験者の特徴(性格、しぐさ、など)を用意する。なお、当該被験者は状態を推定する使用者であってもよいし、当該被験者は状態を推定する使用者以外であってもよい。また、当該被験者は複数人であってもよいし、当該被験者に状態を推定する使用者が含まれてもよい。そして、出力データ93が、当該被験者の状態に関する情報となるように、ニューラルネットワーク97を学習させる。
 上記は、入力データが被験者に関する情報および被験者の特徴であり、教師データが被験者の状態に関する情報である学習用データセットを用いて、ニューラルネットワーク97を学習させる、と言い換えることができる。つまり、ニューラルネットワーク97に対して、教師あり学習を行うことで、学習済みモデルを生成できる。
 なお、ニューラルネットワーク97として、上記演算回路を用いる場合、ニューラルネットワーク97の学習とは、当該演算回路が有するセル内に保持される重みデータの最適化に相当する。
 上記学習により、中間データ95および入力データ96をニューラルネットワーク97に入力すると、出力データ93として、個人差が考慮された、当該使用者の状態に関する情報をニューラルネットワーク97から出力することができる。
 図11Bに示す構成とすることで、使用者およびその周辺を含む画像データと、当該使用者の特徴(性格、しぐさ、など)とから、個人差が考慮された、当該使用者の状態に関する情報を出力することができる。
 以上が、ニューラルネットワークを用いた使用者の状態を推定する方法についての説明である。なお、出力データ93は、使用者の状態に関する情報に限られない。例えば、文字列情報であってもよい。当該文字列情報は、使用者の状態に関する情報が反映されていることが好ましい。このとき、図11Aに示すニューラルネットワーク92、および図11Bに示すニューラルネットワーク97は、出力データ93が、文字列情報となるように学習されるとよい。
 また、使用者の状態として、使用者の目の疲労度、または使用者の視線の方向を推定する場合、ニューラルネットワークを用いなくてもよい場合がある。例えば、使用者の目の疲労度を推定する場合、使用者の目に関する情報の経時変化に対して、高速フーリエ変換を行ってもよい。このとき、当該情報の経時変化の周期性を基に、使用者の目の疲労度を推定することができるため、しきい値を基に使用者の目の疲労度を推定する場合と比べて、精度を高くすることができる。
 または、例えば、使用者の目の疲労度、または使用者の視線の方向を推定する方法として、瞬目および/または瞼の動きを利用する方法、黒目の動きを利用する方法、強膜反射法などがある。
 まず、図11Cを用いて、使用者の瞬目および/または瞼の動きを検出する方法について説明を行う。
 電子機器から近赤外光を発光させる。当該近赤外光は、使用者の目、または使用者の目の周辺に照射される。反射された近赤外光は、電子機器に入射する。これにより、対象物の状態を検出できる。
 なお、図11Cは、使用者の目、および使用者の目の周辺を説明する模式図である。図11Cでは、使用者の眉毛960、使用者の瞼(上眼瞼966、および下眼瞼967)、使用者のまつ毛961、使用者の瞳孔962、使用者の角膜963、および使用者の強膜965を示している。電子機器は、図11Cに示す、使用者の眉毛960、使用者の瞼(上眼瞼966、および下眼瞼967)、使用者のまつ毛961、使用者の瞳孔962、使用者の角膜963、および使用者の強膜965の中から選ばれるいずれか一または複数を検出する機能を有する。
 例えば、本発明の一態様の電子機器は、図11Cに示す使用者の目、または使用者の目の周辺の状態を検出することができる。例えば、使用者が瞼(上眼瞼966、および下眼瞼967)を閉じている時は、近赤外光は瞼の表面、すなわち皮膚に照射される。また瞼が開いている時は、近赤外光は眼球の表面に照射される。皮膚と眼球の表面では反射率が異なるため、反射される近赤外光強度は異なる。反射される近赤外光強度を連続的にモニタすることにより、電子機器は、瞬目の回数、および、一回の瞬目にかかる時間の一方または双方を検出することができる。
 ディスプレイを長時間視認する場合、瞬目の回数が減る場合がある。また、使用者に疲れが生じると、瞬目の間隔が長くなり、一回の瞬目の時間が長くなる場合がある。
 本発明の一態様の電子機器においては、使用者の瞬目の回数および一回の瞬目にかかる時間の一方または双方から、使用者の疲労度合いを推測することができる。例えば、一定期間における使用者の瞬目の回数がしきい値以下となった場合、使用者の疲労度合いが高いと判定されるよう、当該しきい値が設定されるとよい。または、例えば、一定期間における使用者の一回の瞬目の時間がしきい値以上となった場合、使用者の疲労度合いが高いと判定されるよう、当該しきい値が設定されるとよい。
 次に、黒目の動きを利用する方法について、説明を行う。角膜(例えば図11Cに示す角膜963)と、強膜(例えば、図11Cに示す強膜965)と、の境界領域に赤外光の円形スポットを当てると、眼球の動きに伴い、赤外光スポットの照射範囲において、角膜を被う領域と、強膜を被う領域と、の割合が変化する。角膜を被う領域と、強膜を被う領域と、では強膜を被う領域からの反射率の方が圧倒的に大きいため、眼球の動きに伴い、反射光量が変化する。当該変化を測定することで、使用者がどの方向を見ているか検出することが可能になる。
 次に、強膜反射法について、説明を行う。電子機器から近赤外光を発光させる。この近赤外光は光学系を通して、使用者の目に照射される。反射された光は再度、当該光学系を通り、電子機器に入射する。これにより、使用者の状態を検出できる。表示される映像を見ている場合、動きの速いものを見ると視線が動く。視線が動く場合は、眼球が動く。眼球が動く場合、赤外光が照射される角膜を被う領域と、強膜を被う領域と、の割合が変化するため、反射光成分をモニタし、眼球の動きを検出することが可能になる。すなわち、本発明の一態様の電子機器では、アイトラッキング機能を有する。アイトラッキングにより使用者の視線を検出することで、使用者の注視している領域を推定することができる。
 上記のように、使用者の状態を推定するのにニューラルネットワークを用いない場合、電子機器は、赤外光(近赤外光を含む)を発する発光デバイスを有することが好ましい。
 本実施の形態で例示した構成例、およびそれらに対応する図面等は、少なくともその一部を他の構成例、または図面等と適宜組み合わせることができる。
 本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
(実施の形態2)
 本発明の一態様に係る演算回路について説明する。当該演算回路は、例えば、積和演算を行う機能を有する演算回路に用いることができる。また、当該演算回路は、ニューラルネットワークの演算処理に用いることができる。なお、積和演算を行う機能を有する演算回路は、ニューラルネットワークの演算回路と言い換えることができる。ニューラルネットワークとしては、一例として、階層型のニューラルネットワークを適用することが可能である。
<階層型のニューラルネットワーク>
 階層型のニューラルネットワークは、一例としては、一の入力層と、一又は複数の中間層(隠れ層)と、一の出力層と、を有し、合計3以上の層によって構成されている。図12Aに示す階層型のニューラルネットワークANNはその一例を示しており、ニューラルネットワークANNは、第1層乃至第R層(ここでのRは4以上の整数とすることができる。)を有している。特に、第1層は入力層に相当し、第R層は出力層に相当し、それら以外の層は中間層に相当する。なお、図12Aには、中間層として第(k−1)層、第k層(ここでのkは3以上R−1以下の整数とする。)を図示しており、それ以外の中間層については図示していない。
 ニューラルネットワークANNの各層は、一又は複数のニューロンを有する。図12Aにおいて、第1層はニューロンN (1)乃至ニューロンN (1)(ここでのpは1以上の整数である。)を有し、第(k−1)層はニューロンN (k−1)乃至ニューロンN (k−1)(ここでのmは1以上の整数である。)を有し、第k層はニューロンN (k)乃至ニューロンN (k)(ここでのnは1以上の整数である。)を有し、第R層はニューロンN (R)乃至ニューロンN (R)(ここでのqは1以上の整数である。)を有する。
 なお、図12Aには、ニューロンN (1)、ニューロンN (1)、ニューロンN (k−1)、ニューロンN (k−1)、ニューロンN (k)、ニューロンN (k)、ニューロンN (R)、ニューロンN (R)に加えて、第(k−1)層のニューロンN (k−1)(ここでのiは1以上m以下の整数である。)、第k層のニューロンN (k)(ここでのjは1以上n以下の整数である。)も図示しており、それ以外のニューロンについては図示していない。
 次に、前層のニューロンから次層のニューロンへの信号の伝達、及びそれぞれのニューロンにおいて入出力される信号について説明する。なお、本説明では、第k層のニューロンN (k)に着目する。
 図12Bには、第k層のニューロンN (k)と、ニューロンN (k)に入力される信号と、ニューロンN (k)から出力される信号と、を示している。また図12Bには、第(k−1)層と第k層の間の重みデータw (k−1) (k)、w (k−1) (k)、w (k−1) (k)、および第k層の活性化関数f(u (k))を図示している。
 具体的には、第(k−1)層のニューロンN (k−1)乃至ニューロンN (k−1)のそれぞれの出力信号であるz (k−1)乃至z (k−1)が、ニューロンN (k)に向けて出力されている。そして、ニューロンN (k)は、z (k−1)乃至z (k−1)に応じてz (k)を生成して、z (k)を出力信号として第(k+1)層(図示しない。)の各ニューロンに向けて出力する。
<演算回路の構成例1>
 次いで、本発明の一態様に係る演算回路の構成例について説明する。当該演算回路は、上記実施の形態で説明した処理部53または処理部54に適用可能である。
 図13に示す演算回路350は、一例として、アレイ部ALPと、回路ILDと、回路WLDと、回路XLDと、回路AFPと、回路TW[1]乃至回路TW[n](nは1以上の整数とする)と、を有する。
 回路ILD、及び回路AFPのそれぞれは、回路TW[1]乃至回路TW[n]を介して、配線OL[1]乃至配線OL[n]と、配線OLB[1]乃至配線OLB[n]と、に電気的に接続される。
 回路TW[1]乃至回路TW[n]は切り替え回路として機能する。回路TW[1]乃至回路TW[n]それぞれにおいて、配線OL[1]乃至配線OL[n]及び配線OLB[1]乃至配線OLB[n]の出力信号を回路AFPへ入力する場合と、回路ILDの出力信号を配線OL[1]乃至配線OL[n]及び配線OLB[1]乃至配線OLB[n]へ入力する場合とを切り替えることができる。
 回路WLDは、配線WL[1]乃至配線WL[m]と、配線WX1L[1]乃至配線WX1L[m](mは1以上の整数とする)に電気的に接続される。回路XLDは、配線WX1L[1]乃至配線WX1L[m]に電気的に接続されている。
 図13に示す演算回路350は、アレイ部ALPがm×n個のマトリクス状に配置された回路MPを有している。なお、図13では、i行j列(ここでのiは1以上m以下の整数であって、jは1以上n以下の整数である。)に位置する回路MPを、回路MP[i,j]と表記している。但し、図13では、回路MP[1,1]、回路MP[1,n]、回路MP[i,j]、回路MP[m,1]、回路MP[m,n]のみ図示しており、それ以外の回路MPについては図示していない。
 回路MP[i,j]は、配線WL[i]と、配線WX1L[i]と、配線OL[j]と、配線OLB[j]と、に電気的に接続されている。
 回路MP[i,j]は、一例として、重み係数(第1データともいう。)を保持する機能を有する。重み係数は、重み値ともいう場合がある。具体的には、回路MP[i,j]は、配線OL[j]および配線OLB[j]から入力される、重み係数に応じた情報の保持を行う。
 回路ILDは、配線OL[1]乃至配線OL[n]と、配線OLB[1]乃至配線OLB[n]とに、重み係数である第1データに対応する情報を出力する機能を有する。
 重み係数に対応する情報としては、例えば、電位、抵抗値、又は電流値などを用いることができる。重み係数に対応する情報として電流値を用いる場合、電流出力型のデジタルアナログ変換回路(IDAC)を用いて入力する電流を生成できる。
 また、回路MP[i,j]は、配線WX1L[i]から入力される入力値(第2データともいう。)と重み係数(第1データ)との積を出力する機能を有する。具体的な例としては、回路MP[i,j]は、配線WX1L[i]から第2データが入力されることで、第1データと第2データとの積に応じた電流を配線OL[j]および配線OLB[j]に出力する。なお、図13では、配線OL[j]および配線OLB[j]が配置されている場合の例を示したが、本発明の一態様は、これに限定されない。配線OL[j]および配線OLB[j]のいずれか一方のみが配置されていてもよい。
 回路XLDは、配線WX1L[1]乃至配線WX1L[m]に入力値である第2データを供給する機能を有する。
 入力値に対応する情報は、例えば、電位、電流値などとすることができる。入力値に対応する情報として電流値を用いる場合、電流出力型のデジタルアナログ変換回路を用いて入力する電流を生成できる。
 回路MP[1,j]乃至回路MP[m,j]から出力された第1データと第2データとの積に応じた電流が足しあわされて配線OL[j]および配線OLB[j]に出力される。こうして、演算回路は、重み係数と入力値の積和演算を行うことができる。
 また、回路XLD及び回路WLDは、回路ILDから入力される第1データに応じた情報の書き込み先となる回路MPを選択する機能を有する。例えば、アレイ部ALPのi行目に位置する回路MP[i,1]乃至回路MP[i,n]に情報の書き込みを行う場合、回路XLDは、例えば、回路MP[i,1]乃至回路MP[i,n]のそれぞれに含まれる第1の書き込み用スイッチング素子をオン状態またはオフ状態にするための信号を配線WX1L[i]に供給し、i行目以外の回路MPのそれぞれに含まれる第1の書き込み用スイッチング素子をオフ状態にする電位を配線WX1Lに供給する。また、回路WLDは、例えば、回路MP[i,1]乃至回路MP[i,n]のそれぞれに含まれる第2の書き込み用スイッチング素子をオン状態またはオフ状態にするための信号を配線WL[i]に供給し、i行目以外の回路MPのそれぞれに含まれる第2の書き込み用スイッチング素子をオフ状態にする電位を配線WLに供給する。
 回路AFPは、回路ACTF[1]乃至回路ACTF[n]を有する。回路ACTF[j]は、切り替え機能を有する回路TW[j]を介して配線OL[j]と、配線OLB[j]と、のそれぞれに電気的に接続されている。回路ACTF[j]は、配線OL[j]と配線OLB[j]から入力される積和演算の結果に対応した情報(例えば、電位、電流値など)に応じた信号を生成し、z (k)として出力することができる。回路AFPは、配線OL[1]乃至配線OL[n]及び配線OLB[1]乃至配線OLB[n]から入力される積和演算の結果に対応した情報(例えば、電位、電流値など)を比較し、その比較結果に応じた信号を生成し、z (k)乃至z (k)として出力することができる。
<回路MP>
 次いで回路MPについて説明する。回路MP[i,j]に適用できる回路構成例を図14に示す。回路MPは、回路MCと、回路MCrと、を有する。また、回路MCは、トランジスタM1乃至トランジスタM3と、容量C1と、を有する。なお、例えば、トランジスタM2と、容量C1とによって、保持部HCが構成されている。
 図14の回路MPにおいて、回路MCrは、回路MCとほぼ同様の回路構成となっている。そのため、回路MCrの有する回路素子などには、回路MCの有する回路素子などと区別をするため、符号に「r」を付している。
 図14に図示しているトランジスタM1乃至トランジスタM3は、一例としては、チャネルの上下にゲートを有するマルチゲート構造のnチャネル型トランジスタとしており、トランジスタM1乃至トランジスタM3のそれぞれは第1ゲートと第2ゲートとを有する。
 また、本実施の形態で説明する演算回路350は、トランジスタのバックゲートの接続構成に依らない。図14に図示されているトランジスタM1乃至トランジスタM3には、バックゲートが図示され、当該バックゲートの接続構成については図示されていないが、当該バックゲートの電気的な接続先は、設計の段階で決めることができる。例えば、バックゲートを有するトランジスタにおいて、そのトランジスタのオン電流を高めるために、ゲートとバックゲートとを電気的に接続してもよい。つまり、例えば、トランジスタM2のゲートとバックゲートとを電気的に接続してもよい。また、例えば、バックゲートを有するトランジスタにおいて、そのトランジスタのしきい値電圧を変動させるため、または、そのトランジスタのオフ電流を小さくするために、外部回路などと電気的に接続されている配線を設けて、当該外部回路などによってトランジスタのバックゲートに電位を与えてもよい。なお、これについては、図14だけでなく、明細書の他の箇所に記載されているトランジスタ、又は他の図面に図示されているトランジスタについても同様である。
 なお、本明細書等において、特に断りがない場合、オフ電流とは、トランジスタがオフ状態(非導通状態、遮断状態、ともいう)にあるときのドレイン電流をいう。オフ状態とは、特に断りがない場合、nチャネル型トランジスタでは、ゲートとソースの間の電圧Vgsがしきい値電圧Vthよりも低い(pチャネル型トランジスタでは、Vthよりも高い)状態をいう。
 また、本発明の一態様の半導体装置は、当該半導体装置に含まれるトランジスタの構造に依らない。シングルゲート構造のトランジスタとしてもよい。また、一部のトランジスタはバックゲートを有している構成であり、別の一部のトランジスタは、バックゲートを有さない構成であってもよい。なお、これについては、図14に示す回路図だけでなく、明細書の他の箇所に記載されているトランジスタ、又は他の図面に図示されているトランジスタについても同様である。
 また、本明細書等において、トランジスタとして、様々な構造のトランジスタを用いることができる。よって、用いるトランジスタの種類に限定はない。トランジスタの一例としては、単結晶シリコンを有するトランジスタ、または、非晶質シリコン、多結晶シリコン、微結晶(マイクロクリスタル、ナノクリスタル、セミアモルファスとも言う)シリコンなどに代表される非単結晶半導体膜を有するトランジスタなどを用いることができる。または、それらの半導体を薄膜化した薄膜トランジスタ(TFT)などを用いることができる。TFTを用いる場合、様々なメリットがある。例えば、単結晶シリコンの場合よりも低い温度で製造できるため、製造コストの削減、又は製造装置の大型化を図ることができる。
 なお、トランジスタの一例としては、化合物半導体(例えば、SiGe、GaAsなど)、又は酸化物半導体などを有するトランジスタを用いることができる。なお、酸化物半導体をチャネル形成領域に用いたトランジスタをOSトランジスタと呼ぶ場合がある。または、これらの化合物半導体、又は、これらの酸化物半導体を薄膜化した薄膜トランジスタなどを用いることができる。これらの化合物半導体又は酸化物半導体を、トランジスタのチャネル部分に用いるだけでなく、それ以外の用途で用いることもできる。例えば、これらの化合物半導体又は酸化物半導体を配線、抵抗素子、画素電極、又は透光性を有する電極などとして用いることができる。それらをトランジスタと同時に成膜又は形成することが可能なため、コストを低減できる。
 上記酸化物半導体として、インジウム、元素M(元素Mとしては、例えば、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、又はマグネシウムなどから選ばれた一種、又は複数種などが挙げられる。)、亜鉛の少なくとも一を含む酸化物が挙げられる。
 なお、トランジスタの一例としては、インクジェット法又は印刷法を用いて形成したトランジスタなどを用いることができる。これらにより、室温で製造、低真空度で製造、又は大型基板上に製造できる。よって、マスク(レチクル)を用いなくても製造可能となるため、トランジスタのレイアウトを容易に変更できる。または、レジストを用いらずに製造することが可能なため、材料費が安くなり、工程数を削減できる。または、必要な部分にのみ膜を付けることが可能なため、全面に成膜した後でエッチングする、という製法よりも、材料が無駄にならず、低コストにできる。
 なお、トランジスタの一例としては、有機半導体またはカーボンナノチューブを有するトランジスタ等を用いることができる。これらにより、曲げることが可能な基板上にトランジスタを形成できる。有機半導体またはカーボンナノチューブを有するトランジスタを用いた装置は、衝撃に強くすることができる。
 図14の回路MPにおいて、トランジスタM1の第1端子は、配線VEに電気的に接続されている。トランジスタM1の第2端子は、トランジスタM3の第1端子に電気的に接続されている。トランジスタM1のゲートは、容量C1の第1端子と、トランジスタM2の第1端子と、に電気的に接続されている。容量C1の第2端子は、配線VEに電気的に接続されている。トランジスタM2の第2端子は、配線OLに電気的に接続されている。トランジスタM2のゲートは配線WLに電気的に接続されている。トランジスタM3の第2端子は配線OLに電気的に接続され、トランジスタM3のゲートは、配線WX1Lに電気的に接続されている。
 回路MCrにおいて、回路MCと異なる接続構成について説明する。トランジスタM3rの第2端子は、配線OLでなく、配線OLBに電気的に接続されている。トランジスタM1rの第1端子と、容量C1rの第2端子と、は、配線VErに電気的に接続されている。
 なお、図14に示す保持部HCにおいて、トランジスタM1のゲートと、容量C1の第1端子と、トランジスタM2の第1端子と、の電気的接続点をノードn1としている。
 保持部HCは、重み係数(第1データ)に応じた電位を保持する機能を有する。図14の回路MCに含まれている保持部HCへの当該電位の保持は、トランジスタM2、トランジスタM3をオン状態としたときに、配線OLから所定の電流値の電流を入力して、当該電流値に応じた電位を容量C1に書き込み、その後にトランジスタM2をオフ状態にすることで行うことができる。これによって、ノードn1の電位を、重み係数(第1データ)に応じた電位として保持できる。このとき、配線OLから電流を入力し、その電流の大きさに応じた大きさの電位を容量C1に保持できる。そのため、第1のデータの入力において、トランジスタM1の電流特性(しきい値電圧等)のばらつきの影響を低減できる。
 配線OLに入力する電流は、電流出力型のデジタルアナログ変換回路を用いて入力および生成することができる。
 また、トランジスタM2は、ノードn1の電位を長時間保持するため、オフ電流が小さいトランジスタを適用するのが好ましい。オフ電流が小さいトランジスタとしては、例えば、OSトランジスタを用いることができる。OSトランジスタは、チャネル形成領域にバンドギャップの大きい酸化物半導体を用いるため、OSトランジスタのオフ電流を低減できる。
 また、トランジスタM2として、バックゲートを有するトランジスタを適用し、バックゲートに低レベル電位を印加して、閾値電圧をプラス側にシフトさせて、オフ電流を小さくする構成としてもよい。
 こうして演算精度の高い演算回路が提供される。または、信頼性の高い演算回路が提供される。
<演算回路の構成例2>
 また別の一例の、積和演算を行う演算回路MAC1について説明する。演算回路MAC1は、上記実施の形態で説明した処理部53または処理部54に適用可能である。
 図15は、正、又は“0”の第1データと、正、又は“0”の第2データと、の積和演算を行う演算回路の構成例を示している。図15に示す演算回路MAC1は、各セルに保持した電位に応じた第1データと、入力された第2データと、の積和演算を行い、かつ当該積和演算の結果を用いて活性化関数の演算を行う回路である。なお、第1データ、及び第2データは、一例としては、アナログデータ、又は多値のデータ(離散的なデータ)とすることができる。
 本演算回路は、第1データを保持するメモリとしての機能も有するため、メモリと呼ぶこともできる。特に、第1データとしてアナログデータを用いる場合、アナログメモリと呼ぶことができる。
 演算回路MAC1は、回路WCSと、回路XCSと、回路WSDと、回路SWS1と、回路SWS2と、セルアレイCAと、変換回路ITRZ[1]乃至変換回路ITRZ[n]と、を有する。
 セルアレイCAは、セルIM[1,1]乃至セルIM[m,n](ここでのmは1以上の整数であり、また、ここでのnは1以上の整数である。)と、セルIMref[1]乃至セルIMref[m]と、を有する。セルIM[1,1]乃至セルIM[m,n]のそれぞれは、第1データに応じた電流量に相当する電位を保持する機能を有し、セルIMref[1]乃至セルIMref[m]は、保持した電位と積和演算を行うために必要になる第2データに応じた電位を配線XCL[1]乃至配線XCL[m]に供給する機能を有する。
 なお、図15のセルアレイCAは、セルが行方向にn+1個、列方向にm個、マトリクス状に配置されているが、セルアレイCAは、セルが行方向に2個以上、列方向に1個以上、マトリクス状に配置されている構成としてもよい。
 セルIM[1,1]乃至セルIM[m,n]のそれぞれは、一例として、トランジスタF1と、トランジスタF2と、容量C5と、を有し、セルIMref[1]乃至セルIMref[m]のそれぞれは、一例として、トランジスタF1mと、トランジスタF2mと、容量C5mと、を有する。
 特に、セルIM[1,1]乃至セルIM[m,n]のそれぞれに含まれているトランジスタF1のサイズ(例えば、チャネル長、チャネル幅、及びトランジスタの構成など)は互いに等しいことが好ましく、また、セルIM[1,1]乃至セルIM[m,n]のそれぞれに含まれているトランジスタF2のサイズは互いに等しいことが好ましい。また、セルIMref[1]乃至セルIMref[m]のそれぞれに含まれているトランジスタF1mのサイズは互いに等しいことが好ましく、セルIMref[1]乃至セルIMref[m]のそれぞれに含まれているトランジスタF2mのサイズは互いに等しいことが好ましい。また、トランジスタF1とトランジスタF1mのサイズは互いに等しいことが好ましく、トランジスタF2とトランジスタF2mのサイズは互いに等しいことが好ましい。
 なお、トランジスタF1及びトランジスタF1mは、特に断りの無い場合は、オン状態の場合は最終的に線形領域で動作する場合を含むものとする。すなわち、上述したそれぞれのトランジスタのゲート電圧、ソース電圧、及びドレイン電圧は、線形領域で動作する範囲での電圧に適切にバイアスされている場合を含むものとする。ただし、本発明の一態様は、これに限定されない。例えば、トランジスタF1、トランジスタF1mは、オン状態のときは飽和領域で動作してもよく、また、線形領域で動作する場合と飽和領域で動作する場合とが混在してもよい。
 また、トランジスタF2及びトランジスタF2mは、特に断りの無い場合は、サブスレッショルド領域で動作する場合(つまり、トランジスタF2又はトランジスタF2mにおいて、ゲート−ソース間電圧がしきい値電圧よりも低い場合、より好ましくは、ドレイン電流がゲート−ソース間電圧に対して指数関数的に増大する場合)を含むものとする。すなわち、上述したそれぞれのトランジスタのゲート電圧、ソース電圧、及びドレイン電圧は、サブスレッショルド領域で動作する範囲での電圧に適切にバイアスされている場合を含むものとする。このため、トランジスタF2及びトランジスタF2mは、ソース−ドレイン間にオフ電流が流れるように動作する場合を含む。
 また、トランジスタF1、及び/又はトランジスタF1mは、一例として、上述したOSトランジスタであることが好ましい。加えて、トランジスタF1、及び/又はトランジスタF1mのチャネル形成領域は、インジウム、元素M(元素Mとしては、例えば、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、又はマグネシウムなどから選ばれた一種、又は複数種などが挙げられる。)、亜鉛の少なくとも一を含む酸化物であることがより好ましい。
 トランジスタF1、及び/又はトランジスタF1mとして、OSトランジスタを用いることにより、トランジスタF1、及び/又はトランジスタF1mのリーク電流を抑えることができるため、演算回路の消費電力を低減できる。具体的には、トランジスタF1、及び/又はトランジスタF1mが非導通状態における、保持ノードから書き込みワード線へのリーク電流を非常に小さくすることができるため、保持ノードの電位のリフレッシュ動作を少なくすることができるため、演算回路の消費電力を低減できる。また、保持ノードから書き込みワード線へのリーク電流を非常に小さくすることによって、セルは保持ノードの電位を長い時間保持できるため、演算回路の演算精度を高くすることができる。
 また、トランジスタF2、及び/又はトランジスタF2mに対しても、OSトランジスタを用いることにより、サブスレッショルド領域の広い電流範囲で動作させることができるため、消費電流を低減できる。また、トランジスタF2、及び/又はトランジスタF2mに対しても、OSトランジスタを用いることで、トランジスタF1、トランジスタF1mと同時に作製できるため、演算回路の作製工程を短縮できる場合がある。また、トランジスタF2、及び/又はトランジスタF2mは、OSトランジスタ以外としては、チャネル形成領域にシリコンを含むトランジスタ(以下、Siトランジスタと呼称する)とすることができる。シリコンとしては、例えば、非晶質シリコン(水素化アモルファスシリコンと呼ぶ場合がある)、微結晶シリコン、多結晶シリコン、単結晶シリコンなどを用いることができる。
 ところで、演算回路などをチップなどに高集積化した場合、当該チップには、回路の駆動による熱が発生する場合がある。この発熱により、トランジスタの温度が上がることで、当該トランジスタの特性が変化して、電界効果移動度の変化、または動作周波数の低下などが起こることがある。OSトランジスタは、Siトランジスタよりも熱耐性が高いため、温度変化による電界効果移動度が変化しにくく、また動作周波数の低下も起こりにくい。さらに、OSトランジスタは、温度が高くなっても、ドレイン電流がゲート−ソース間電圧に対して指数関数的に増大する特性を維持しやすい。そのため、OSトランジスタを用いることにより、高い温度環境下でも、後述する積和演算を実施しやすい。そのため、駆動による発熱に強い演算回路を構成する場合、トランジスタとしては、OSトランジスタを適用するのが好ましい。
 セルIM[1,1]乃至セルIM[m,n]のそれぞれにおいて、トランジスタF1の第1端子は、トランジスタF2のゲートと電気的に接続されている。トランジスタF2の第1端子は、配線VEと電気的に接続されている。容量C5の第1端子は、トランジスタF2のゲートと電気的に接続されている。
 また、セルIMref[1]乃至セルIMref[m]のそれぞれにおいて、トランジスタF1mの第1端子は、トランジスタF2mのゲートと電気的に接続されている。トランジスタF2mの第1端子は、配線VEと電気的に接続されている。容量C5mの第1端子は、トランジスタF2mのゲートと電気的に接続されている。
 また、本実施の形態で説明する演算回路は、当該演算回路に含まれるトランジスタの極性に依らない。例えば、図15に図示しているトランジスタF1、及びトランジスタF2はnチャネル型トランジスタとしているが、一部、又は全部のトランジスタをpチャネル型トランジスタに置き換えてもよい。
 なお、上記のトランジスタの構造、極性に関する変更例は、トランジスタF1、及びトランジスタF2だけに限定されない。例えば、トランジスタF1m、トランジスタF2m、後述するトランジスタF3[1]乃至トランジスタF3[n]、トランジスタF4[1]乃至トランジスタF4[n]、更に、明細書の他の箇所に記載されているトランジスタ、又は他の図面に図示されているトランジスタについても同様である。
 配線VEは、セルIM[1,1]、セルIM[m,1]、セルIM[1,n]、及びセルIM[m,n]のそれぞれのトランジスタF2の第1端子−第2端子間に電流を流すための配線であって、また、セルIMref[1]、及びセルIMref[m]のそれぞれのトランジスタF2の第1端子−第2端子間に電流を流すための配線として機能する。一例としては、配線VEは、定電圧を供給する配線として機能する。当該定電圧としては、例えば、低レベル電位、接地電位などとすることができる。
 セルIM[1,1]において、トランジスタF1の第2端子は、配線WCL[1]と電気的に接続され、トランジスタF1のゲートは、配線WSL[1]と電気的に接続されている。トランジスタF2の第2端子は、配線WCL[1]と電気的に接続され、容量C5の第2端子は、配線XCL[1]と電気的に接続されている。なお、図15では、セルIM[1,1]において、トランジスタF1の第1端子と、トランジスタF2のゲートと、容量C5の第1端子と、の接続箇所をノードNN[1,1]としている。
 セルIM[m,1]において、トランジスタF1の第2端子は、配線WCL[1]と電気的に接続され、トランジスタF1のゲートは、配線WSL[m]と電気的に接続されている。トランジスタF2の第2端子は、配線WCL[1]と電気的に接続され、容量C5の第2端子は、配線XCL[m]と電気的に接続されている。なお、図15では、セルIM[m,1]において、トランジスタF1の第1端子と、トランジスタF2のゲートと、容量C5の第1端子と、の接続箇所をノードNN[m,1]としている。
 セルIM[1,n]において、トランジスタF1の第2端子は、配線WCL[n]と電気的に接続され、トランジスタF1のゲートは、配線WSL[1]と電気的に接続されている。トランジスタF2の第2端子は、配線WCL[n]と電気的に接続され、容量C5の第2端子は、配線XCL[1]と電気的に接続されている。なお、図15では、セルIM[1,n]において、トランジスタF1の第1端子と、トランジスタF2のゲートと、容量C5の第1端子と、の接続箇所をノードNN[1,n]としている。
 セルIM[m,n]において、トランジスタF1の第2端子は、配線WCL[n]と電気的に接続され、トランジスタF1のゲートは、配線WSL[m]と電気的に接続されている。トランジスタF2の第2端子は、配線WCL[n]と電気的に接続され、容量C5の第2端子は、配線XCL[m]と電気的に接続されている。なお、図15では、セルIM[m,n]において、トランジスタF1の第1端子と、トランジスタF2のゲートと、容量C5の第1端子と、の接続箇所をノードNN[m,n]としている。
 セルIMref[1]において、トランジスタF1mの第2端子は、配線XCL[1]と電気的に接続され、トランジスタF1mのゲートは、配線WSL[1]と電気的に接続されている。トランジスタF2mの第2端子は、配線XCL[1]と電気的に接続され、容量C5の第2端子は、配線XCL[1]と電気的に接続されている。なお、図15では、セルIMref[1]において、トランジスタF1mの第1端子と、トランジスタF2mのゲートと、容量C5の第1端子と、の接続箇所をノードNNref[1]としている。
 セルIMref[m]において、トランジスタF1mの第2端子は、配線XCL[m]と電気的に接続され、トランジスタF1mのゲートは、配線WSL[m]と電気的に接続されている。トランジスタF2mの第2端子は、配線XCL[m]と電気的に接続され、容量C5の第2端子は、配線XCL[m]と電気的に接続されている。なお、図15では、セルIMref[m]において、トランジスタF1mの第1端子と、トランジスタF2mのゲートと、容量C5の第1端子と、の接続箇所をノードNNref[m]としている。
 上述したノードNN[1,1]、ノードNN[m,1]、ノードNN[1,n]、ノードNN[m,n]、ノードNNref[1]、及びノードNNref[m]は、それぞれのセルの保持ノードとして機能する。
 セルIM[1,1]乃至セルIM[m,n]において、例えば、トランジスタF1がオン状態となっているとき、トランジスタF2はダイオード接続の構成となる。配線VEが与える定電圧を接地電位(GND)として、トランジスタF1がオン状態で、かつ配線WCLからトランジスタF2の第2端子に電流量Iの電流が流れた時、トランジスタF2のゲート(ノードNN)の電位は、電流量Iに応じて決まる。なお、トランジスタF2の第2端子の電位は、トランジスタF1がオン状態であるため、理想的には、トランジスタF2のゲート(ノードNN)と等しくなる。ここで、トランジスタF1をオフ状態にすることによって、トランジスタF2のゲート(ノードNN)の電位は保持される。これにより、トランジスタF2は、トランジスタF2の第1端子の接地電位と、トランジスタF2のゲート(ノードNN)の電位に応じた電流量Iの電流をトランジスタF2のソース−ドレイン間に流すことができる。本明細書等では、このような動作を「トランジスタF2は、トランジスタF2のソース−ドレイン間に流れる電流量をIにプログラミングされた」などと呼称する。
 回路SWS1は、一例として、トランジスタF3[1]乃至トランジスタF3[n]を有する。トランジスタF3[1]の第1端子は、配線WCL[1]に電気的に接続され、トランジスタF3[1]の第2端子は、回路WCSに電気的に接続され、トランジスタF3[1]のゲートは、配線SWL1に電気的に接続されている。トランジスタF3[n]の第1端子は、配線WCL[n]に電気的に接続され、トランジスタF3[n]の第2端子は、回路WCSに電気的に接続され、トランジスタF3[n]のゲートは、配線SWL1に電気的に接続されている。
 トランジスタF3[1]乃至トランジスタF3[n]は、例えば、トランジスタF1、及び/又はトランジスタF2に適用できるOSトランジスタであることが好ましい。
 回路SWS1は、回路WCSと、配線WCL[1]乃至配線WCL[n]のそれぞれと、の間を、導通状態又は非導通状態にする回路として機能する。
 回路SWS2は、一例として、トランジスタF4[1]乃至トランジスタF4[n]を有する。トランジスタF4[1]の第1端子は、配線WCL[1]に電気的に接続され、トランジスタF4[1]の第2端子は、変換回路ITRZ[1]の入力端子に電気的に接続され、トランジスタF4[1]のゲートは、配線SWL2に電気的に接続されている。トランジスタF4[n]の第1端子は、配線WCL[n]に電気的に接続され、トランジスタF4[n]の第2端子は、変換回路ITRZ[n]の入力端子に電気的に接続され、トランジスタF4[n]のゲートは、配線SWL2に電気的に接続されている。
 トランジスタF4[1]乃至トランジスタF4[n]は、例えば、トランジスタF1、及び/又はトランジスタF2に適用できるOSトランジスタであることが好ましい。
 回路SWS2は、配線WCL[1]と変換回路ITRZ[1]との間、及び配線WCL[n]と変換回路ITRZ[n]との間を、導通状態又は非導通状態にする回路として機能する。
 回路WCSは、セルアレイCAが有するそれぞれのセルに格納するためのデータを供給する機能を有する。
 回路XCSは、配線XCL[1]乃至配線XCL[m]に電気的に接続されている。回路XCSは、セルアレイCAが有するセルIMref[1]乃至セルIMref[m]のそれぞれに対して、参照データに応じた電流、又は第2データに応じた電流を流す機能を有する。
 回路WSDは、配線WSL[1]乃至配線WSL[m]に電気的に接続されている。回路WSDは、セルIM[1,1]乃至セルIM[m,n]に第1データを書き込む際に、配線WSL[1]乃至配線WSL[m]に所定の信号を供給することによって、第1データの書き込み先となるセルアレイCAの行を選択する機能を有する。
 また、回路WSDは、一例として、配線SWL1と、配線SWL2と、に電気的に接続されている。回路WSDは、配線SWL1に所定の信号を供給することによって、回路WCSとセルアレイCAとの間を導通状態又は非導通状態にする機能と、配線SWL2に所定の信号を供給することによって、変換回路ITRZ[1]乃至変換回路ITRZ[n]とセルアレイCAとの間を導通状態又は非導通状態にする機能と、を有する。
 変換回路ITRZ[1]乃至変換回路ITRZ[n]のそれぞれは、一例として、入力端子と、出力端子と、を有する。例えば、変換回路ITRZ[1]の出力端子は、配線OL[1]に電気的に接続され、変換回路ITRZ[n]の出力端子は、配線OL[n]に電気的に接続されている。
 変換回路ITRZ[1]乃至変換回路ITRZ[n]のそれぞれは、入力端子に入力された電流に応じた電圧に変換して、出力端子から出力する機能を有する。当該電圧としては、例えば、アナログ電圧、デジタル電圧などとすることができる。また、変換回路ITRZ[1]乃至変換回路ITRZ[n]のそれぞれは、関数系の演算回路を有してもよい。この場合、例えば、変換された電圧を用いて、当該演算回路によって関数の演算を行って、演算の結果を配線OL[1]乃至配線OL[n]に出力してもよい。
 特に、階層型のニューラルネットワークの演算を行う場合、上述した関数としては、例えば、シグモイド関数、tanh関数、ソフトマックス関数、ReLU関数、しきい値関数などを用いることができる。
 図15に記載の回路WCSとして、電流出力型のデジタルアナログ変換回路を用いることができる。また、図15記載のXCSとして、電流出力型のデジタルアナログ変換回路を用いることができる。
 本実施の形態で例示した構成例、およびそれらに対応する図面等は、少なくともその一部を他の構成例、または図面等と適宜組み合わせることができる。
 本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
(実施の形態3)
 本実施の形態では、本発明の一態様に係る表示装置について図16乃至図25を用いて説明する。
 本実施の形態の表示装置は、高解像度の表示装置または大型な表示装置とすることができる。したがって、本実施の形態の表示装置は、例えば、テレビジョン装置、デスクトップ型もしくはノート型のパーソナルコンピュータ、コンピュータ用などのモニタ、デジタルサイネージ、パチンコ機などの大型ゲーム機などの比較的大きな画面を備える電子機器の他、デジタルカメラ、デジタルビデオカメラ、デジタルフォトフレーム、携帯電話機、携帯型ゲーム機、携帯情報端末、音響再生装置の表示部に用いることができる。
[表示装置100A]
 図16に、表示装置100Aの斜視図を示し、図17Aに、表示装置100Aの断面図を示す。
 表示装置100Aは、基板152と基板151とが貼り合わされた構成を有する。図16では、基板152を破線で明示している。
 表示装置100Aは、表示部162、回路164、配線165等を有する。図16では表示装置100AにIC173及びFPC172が実装されている例を示している。そのため、図16に示す構成は、表示装置100A、IC(集積回路)、及びFPCを有する表示モジュールということもできる。
 回路164としては、例えば走査線駆動回路を用いることができる。
 配線165は、表示部162及び回路164に信号及び電力を供給する機能を有する。当該信号及び電力は、FPC172を介して外部から、またはIC173から配線165に入力される。
 図16では、COG(Chip On Glass)方式またはCOF(Chip On Film)方式等により、基板151にIC173が設けられている例を示す。IC173は、例えば走査線駆動回路または信号線駆動回路などを有するICを適用できる。なお、表示装置100A及び表示モジュールは、ICを設けない構成としてもよい。また、ICを、COF方式等により、FPCに実装してもよい。
 図17Aに、表示装置100Aの、FPC172を含む領域の一部、回路164の一部、表示部162の一部、及び、端部を含む領域の一部をそれぞれ切断したときの断面の一例を示す。
 図17Aに示す表示装置100Aは、基板151と基板152の間に、トランジスタ201、トランジスタ205、発光デバイス130a、発光デバイス130b、発光デバイス130c、着色層129a、着色層129b、着色層129c等を有する。発光デバイス130a、発光デバイス130b、及び発光デバイス130cは、白色の光を発する。着色層129a、着色層129b及び着色層129cは、互いに異なる色を透過する機能を有する。
 ここで、表示装置の画素が、互いに異なる色を透過する着色層を有する副画素を3種類有する場合、当該3つの副画素としては、赤色(R)、緑色(G)、青色(B)の3色の副画素、黄色(Y)、シアン(C)、及びマゼンタ(M)の3色の副画素などが挙げられる。当該副画素を4つ有する場合、当該4つの副画素としては、R、G、B、白色(W)の4色の副画素、R、G、B、Yの4色の副画素などが挙げられる。
 本発明の一態様の表示装置は、発光デバイスが形成されている基板とは反対方向に光を射出する上面射出型(トップエミッション型)、発光デバイスが形成されている基板側に光を射出する下面射出型(ボトムエミッション型)、両面に光を射出する両面射出型(デュアルエミッション型)のいずれであってもよい。
 発光デバイス130a、発光デバイス130b、発光デバイス130cとしては、OLED(Organic Light Emitting Diode)、またはQLED(Quantum−dot Light Emitting Diode)などのELデバイスを用いることが好ましい。ELデバイスが有する発光物質としては、蛍光を発する物質(蛍光材料)、燐光を発する物質(燐光材料)、熱活性化遅延蛍光を示す物質(熱活性化遅延蛍光(Thermally Activated Delayed Fluorescence:TADF)材料)、及び無機化合物(量子ドット材料など)が挙げられる。なお、TADF材料としては、一重項励起状態と三重項励起状態間が熱平衡状態にある材料を用いてもよい。このようなTADF材料は発光寿命(励起寿命)が短くなるため、発光デバイスにおける高輝度領域での効率低下を抑制することができる。
 発光デバイスは、一対の電極間にEL層を有する。本明細書等では、一対の電極の一方を画素電極と記し、他方を共通電極と記すことがある。
 発光デバイスが有する一対の電極のうち、一方の電極は陽極として機能し、他方の電極は陰極として機能する。以下では、画素電極が陽極として機能し、共通電極が陰極として機能する場合を例に挙げて説明する。
 発光デバイス130aは、画素電極111aと、画素電極111a上の導電層126aと、導電層126a上の島状の第1の層113aと、島状の第1の層113a上の第5の層114と、第5の層114上の共通電極115と、を有する。発光デバイス130aにおいて、第1の層113a、及び、第5の層114をまとめてEL層と呼ぶことができる。
 また、本明細書等において、メタルマスク、またはFMM(ファインメタルマスク、高精細なメタルマスク)を用いて作製されるデバイスをMM(メタルマスク)構造のデバイスと呼称する場合がある。また、本明細書等において、メタルマスク、またはFMMを用いることなく作製されるデバイスをMML(メタルマスクレス)構造のデバイスと呼称する場合がある。
 なお、本明細書等において、各色の発光デバイス(ここでは青(B)、緑(G)、および赤(R))で、発光層を作り分ける、または発光層を塗り分ける構造をSBS(Side By Side)構造と呼ぶ場合がある。また、本明細書等において、白色光を発することのできる発光デバイスを白色発光デバイスと呼ぶ場合がある。なお、白色発光デバイスは、着色層(たとえば、カラーフィルタ)と組み合わせることで、フルカラー表示の表示装置を実現することができる。
 また、発光デバイスは、シングル構造と、タンデム構造とに大別することができる。シングル構造のデバイスは、一対の電極間に1つの発光ユニットを有し、当該発光ユニットは、1以上の発光層を含む構成とすることが好ましい。2の発光層を用いて白色発光を得る場合、2の発光層の各々の発光色が補色の関係となるような発光層を選択すればよい。例えば、第1の発光層の発光色と第2の発光層の発光色を補色の関係になるようにすることで、発光デバイス全体として白色発光する構成を得ることができる。また、3以上の発光層を用いて白色発光を得る場合、3以上の発光層のそれぞれの発光色が合わさることで、発光デバイス全体として白色発光することができる構成とすればよい。
 タンデム構造のデバイスは、一対の電極間に2以上の複数の発光ユニットを有し、各発光ユニットは、1以上の発光層を含む構成とすることが好ましい。白色発光を得るには、複数の発光ユニットの発光層からの光を合わせて白色発光が得られる構成とすればよい。なお、白色発光が得られる構成については、シングル構造の構成と同様である。なお、タンデム構造のデバイスにおいて、複数の発光ユニットの間には、電荷発生層などの中間層を設けると好適である。
 また、上述の白色発光デバイス(シングル構造またはタンデム構造)と、SBS構造の発光デバイスと、を比較した場合、SBS構造の発光デバイスは、白色発光デバイスよりも消費電力を低くすることができる。消費電力を低く抑えたい場合は、SBS構造の発光デバイスを用いると好適である。一方で、白色発光デバイスは、製造プロセスがSBS構造の発光デバイスよりも簡単であるため、製造コストを低くすることができる、又は製造歩留まりを高くすることができるため、好適である。
 本実施の形態の発光デバイスの構成に、特に限定はなく、シングル構造であってもタンデム構造であってもよい。
 発光デバイス130bは、画素電極111bと、画素電極111b上の導電層126bと、導電層126b上の島状の第2の層113bと、島状の第2の層113b上の第5の層114と、第5の層114上の共通電極115と、を有する。発光デバイス130bにおいて、第2の層113b、及び、第5の層114をまとめてEL層と呼ぶことができる。
 発光デバイス130cは、画素電極111cと、画素電極111c上の導電層126cと、導電層126c上の島状の第3の層113cと、島状の第3の層113c上の第5の層114と、第5の層114上の共通電極115と、を有する。発光デバイス130cにおいて、第3の層113c、及び、第5の層114をまとめてEL層と呼ぶことができる。
 各色の発光デバイスにおいて、共通電極として、同一の膜を共有している。各発光デバイスが共通して有する共通電極は、接続部に設けられた導電層と電気的に接続される。これにより、各発光デバイスが有する共通電極には、同電位が供給される。
 画素電極と共通電極のうち、光を取り出す側の電極には、可視光を透過する導電膜を用いる。また、光を取り出さない側の電極には、可視光を反射する導電膜を用いることが好ましい。
 発光デバイスの一対の電極(画素電極と共通電極)を形成する材料としては、金属、合金、電気伝導性化合物、及びこれらの混合物などを適宜用いることができる。具体的には、インジウムスズ酸化物(In−Sn酸化物、ITOともいう)、In−Si−Sn酸化物(ITSOともいう)、インジウム亜鉛酸化物(In−Zn酸化物)、In−W−Zn酸化物、アルミニウム、ニッケル、及びランタンの合金(Al−Ni−La)等のアルミニウムを含む合金(アルミニウム合金)、及び、銀とパラジウムと銅の合金(Ag−Pd−Cu、APCとも記す)が挙げられる。その他、アルミニウム(Al)、チタン(Ti)、クロム(Cr)、マンガン(Mn)、鉄(Fe)、コバルト(Co)、ニッケル(Ni)、銅(Cu)、ガリウム(Ga)、亜鉛(Zn)、インジウム(In)、スズ(Sn)、モリブデン(Mo)、タンタル(Ta)、タングステン(W)、パラジウム(Pd)、金(Au)、白金(Pt)、銀(Ag)、イットリウム(Y)、ネオジム(Nd)などの金属、及びこれらを適宜組み合わせて含む合金を用いることもできる。その他、上記例示のない元素周期表の第1族または第2族に属する元素(例えば、リチウム(Li)、セシウム(Cs)、カルシウム(Ca)、ストロンチウム(Sr))、ユウロピウム(Eu)、イッテルビウム(Yb)などの希土類金属及びこれらを適宜組み合わせて含む合金、グラフェン等を用いることができる。
 発光デバイスには、微小光共振器(マイクロキャビティ)構造が適用されていることが好ましい。したがって、発光デバイスが有する一対の電極の一方は、可視光に対する透過性及び反射性を有する電極(半透過・半反射電極)を有することが好ましく、他方は、可視光に対する反射性を有する電極(反射電極)を有することが好ましい。発光デバイスがマイクロキャビティ構造を有することで、発光層から得られる発光を両電極間で共振させ、発光デバイスから射出される光を強めることができる。
 透明電極の光の透過率は、40%以上とする。例えば、発光デバイスには、可視光(波長400nm以上750nm未満の光)の透過率が40%以上である電極を用いることが好ましい。半透過・半反射電極の可視光の反射率は、10%以上95%以下、好ましくは30%以上80%以下とする。反射電極の可視光の反射率は、40%以上100%以下、好ましくは70%以上100%以下とする。また、これらの電極の抵抗率は、1×10−2Ωcm以下が好ましい。
 第1の層113a、第2の層113b、及び、第3の層113cは、それぞれ、島状に設けられる。第1の層113a、第2の層113b、及び、第3の層113cは、それぞれ、発光層を有する。第1の層113a、第2の層113b、及び、第3の層113cは、白色の光を発する発光層を有することが好ましい。ここで、島状の第1の層113aと、島状の第2の層113bと、島状の第3の層113cとは、同一の材料を有することが好ましい。つまり、島状の第1の層113a、島状の第2の層113b、及び島状の第3の層113cは、同じ工程で成膜された膜をパターニングして形成されることが好ましい。
 発光層は、発光物質を含む層である。発光層は、1種または複数種の発光物質を有することができる。発光物質としては、青色、紫色、青紫色、緑色、黄緑色、黄色、橙色、赤色などの発光色を呈する物質を適宜用いる。また、発光物質として、近赤外光を発する物質を用いることもできる。
 発光物質としては、蛍光材料、燐光材料、TADF材料、量子ドット材料などが挙げられる。
 蛍光材料としては、例えば、ピレン誘導体、アントラセン誘導体、トリフェニレン誘導体、フルオレン誘導体、カルバゾール誘導体、ジベンゾチオフェン誘導体、ジベンゾフラン誘導体、ジベンゾキノキサリン誘導体、キノキサリン誘導体、ピリジン誘導体、ピリミジン誘導体、フェナントレン誘導体、ナフタレン誘導体などが挙げられる。
 燐光材料としては、例えば、4H−トリアゾール骨格、1H−トリアゾール骨格、イミダゾール骨格、ピリミジン骨格、ピラジン骨格、またはピリジン骨格を有する有機金属錯体(特にイリジウム錯体)、電子吸引基を有するフェニルピリジン誘導体を配位子とする有機金属錯体(特にイリジウム錯体)、白金錯体、希土類金属錯体等が挙げられる。
 発光層は、発光物質(ゲスト材料)に加えて、1種または複数種の有機化合物(ホスト材料、アシスト材料等)を有していてもよい。1種または複数種の有機化合物としては、正孔輸送性材料及び電子輸送性材料の一方または双方を用いることができる。また、1種または複数種の有機化合物として、バイポーラ性材料、またはTADF材料を用いてもよい。
 発光層は、例えば、燐光材料と、励起錯体を形成しやすい組み合わせである正孔輸送性材料及び電子輸送性材料と、を有することが好ましい。このような構成とすることにより、励起錯体から発光物質(燐光材料)へのエネルギー移動であるExTET(Exciplex−Triplet Energy Transfer)を用いた発光を効率よく得ることができる。発光物質の最も低エネルギー側の吸収帯の波長と重なるような発光を呈する励起錯体を形成するような組み合わせを選択することで、エネルギー移動がスムーズとなり、効率よく発光を得ることができる。この構成により、発光デバイスの高効率、低電圧駆動、長寿命を同時に実現できる。
 第1の層113a、第2の層113b、及び、第3の層113cは、発光層以外の層として、正孔注入性の高い物質、正孔輸送性の高い物質、正孔ブロック材料、電子輸送性の高い物質、電子注入性の高い物質、電子ブロック材料、またはバイポーラ性の物質(電子輸送性及び正孔輸送性が高い物質)等を含む層をさらに有していてもよい。
 発光デバイスには低分子系化合物及び高分子系化合物のいずれを用いることもでき、無機化合物を含んでいてもよい。発光デバイスを構成する層は、それぞれ、蒸着法(真空蒸着法を含む)、転写法、印刷法、インクジェット法、塗布法等の方法で形成することができる。
 例えば、第1の層113a、第2の層113b、及び、第3の層113cは、それぞれ、正孔注入層、正孔輸送層、正孔ブロック層、電子ブロック層、電子輸送層、及び電子注入層のうち一つ以上を有していてもよい。
 EL層のうち、各発光デバイスに共通して形成される層としては、正孔注入層、正孔輸送層、正孔ブロック層(正孔抑止層と呼ぶ場合がある。)、電子ブロック層(電子抑止層と呼ぶ場合がある。)、電子輸送層、及び電子注入層のうち一つ以上を適用することができる。例えば、第5の層114として、キャリア注入層(正孔注入層または電子注入層)を形成してもよい。なお、EL層の全ての層を色ごとに作り分けてもよい。つまり、EL層は、各色に共通して形成される層を有していなくてもよい。
 第1の層113a、第2の層113b、及び、第3の層113cは、それぞれ、発光層と、発光層上のキャリア輸送層を有することが好ましい。これにより、表示装置100の作製工程中に、発光層が最表面に露出することを抑制し、発光層が受けるダメージを低減できる。これにより、発光デバイスの信頼性を高めることができる。
 正孔注入層は、陽極から正孔輸送層に正孔を注入する層であり、正孔注入性の高い材料を含む層である。正孔注入性の高い材料としては、芳香族アミン化合物、及び、正孔輸送性材料とアクセプター性材料(電子受容性材料)とを含む複合材料などが挙げられる。
 正孔輸送層は、正孔注入層によって、陽極から注入された正孔を発光層に輸送する層である。正孔輸送層は、正孔輸送性材料を含む層である。正孔輸送性材料としては、1×10−6cm/Vs以上の正孔移動度を有する物質が好ましい。なお、電子よりも正孔の輸送性の高い物質であれば、これら以外のものも用いることができる。正孔輸送性材料としては、π電子過剰型複素芳香族化合物(例えばカルバゾール誘導体、チオフェン誘導体、フラン誘導体など)、芳香族アミン(芳香族アミン骨格を有する化合物)等の正孔輸送性の高い材料が好ましい。
 電子輸送層は、電子注入層によって、陰極から注入された電子を発光層に輸送する層である。電子輸送層は、電子輸送性材料を含む層である。電子輸送性材料としては、1×10−6cm/Vs以上の電子移動度を有する物質が好ましい。なお、正孔よりも電子の輸送性の高い物質であれば、これら以外のものも用いることができる。電子輸送性材料としては、キノリン骨格を有する金属錯体、ベンゾキノリン骨格を有する金属錯体、オキサゾール骨格を有する金属錯体、チアゾール骨格を有する金属錯体等の他、オキサジアゾール誘導体、トリアゾール誘導体、イミダゾール誘導体、オキサゾール誘導体、チアゾール誘導体、フェナントロリン誘導体、キノリン配位子を有するキノリン誘導体、ベンゾキノリン誘導体、キノキサリン誘導体、ジベンゾキノキサリン誘導体、ピリジン誘導体、ビピリジン誘導体、ピリミジン誘導体、その他含窒素複素芳香族化合物を含むπ電子不足型複素芳香族化合物等の電子輸送性の高い材料を用いることができる。
 また、電子輸送層は、積層構造を有していても良く、また、陽極側から発光層を通過して陰極側に移動するホールをブロックするための正孔ブロック層を発光層に接して有していても良い。
 電子注入層は、陰極から電子輸送層に電子を注入する層であり、電子注入性の高い材料を含む層である。電子注入性の高い材料としては、アルカリ金属、アルカリ土類金属、またはそれらの化合物を用いることができる。電子注入性の高い材料としては、電子輸送性材料とドナー性材料(電子供与性材料)とを含む複合材料を用いることもできる。
 電子注入層としては、例えば、リチウム、セシウム、イッテルビウム、フッ化リチウム(LiF)、フッ化セシウム(CsF)、フッ化カルシウム(CaF、Xは任意数)、8−(キノリノラト)リチウム(略称:Liq)、2−(2−ピリジル)フェノラトリチウム(略称:LiPP)、2−(2−ピリジル)−3−ピリジノラトリチウム(略称:LiPPy)、4−フェニル−2−(2−ピリジル)フェノラトリチウム(略称:LiPPP)、リチウム酸化物(LiO)、炭酸セシウム等のようなアルカリ金属、アルカリ土類金属、またはこれらの化合物を用いることができる。また、電子注入層としては、2以上の積層構造としてもよい。当該積層構造としては、例えば、1層目にフッ化リチウムを用い、2層目にイッテルビウムを用いる構成とすることができる。
 または、電子注入層としては、電子輸送性材料を用いてもよい。例えば、非共有電子対を備え、電子不足型複素芳香環を有する化合物を、電子輸送性材料に用いることができる。具体的には、ピリジン環、ジアジン環(ピリミジン環、ピラジン環、ピリダジン環)、トリアジン環の少なくとも一つを有する化合物を用いることができる。
 なお、非共有電子対を備える有機化合物の最低空軌道(LUMO:Lowest Unoccupied Molecular Orbital)が、−3.6eV以上−2.3eV以下であると好ましい。また、一般にCV(サイクリックボルタンメトリ)、光電子分光法、光吸収分光法、逆光電子分光法等により、有機化合物の最高被占有軌道(HOMO:Highest Occupied Molecular Orbital)準位及びLUMO準位を見積もることができる。
 例えば、4,7−ジフェニル−1,10−フェナントロリン(略称:BPhen)、2,9−ビス(ナフタレン−2−イル)−4,7−ジフェニル−1,10−フェナントロリン(略称:NBPhen)、ジキノキサリノ[2,3−a:2’,3’−c]フェナジン(略称:HATNA)、2,4,6−トリス[3’−(ピリジン−3−イル)ビフェニル−3−イル]−1,3,5−トリアジン(略称:TmPPPyTz)等を、非共有電子対を備える有機化合物に用いることができる。なお、NBPhenはBPhenと比較して、高いガラス転移温度(Tg)を備え、耐熱性に優れる。
 また、タンデム構造の発光デバイスを作製する場合、2つの発光ユニットとの間に、中間層を設ける。中間層は、一対の電極間に電圧を印加したときに、2つの発光ユニットの一方に電子を注入し、他方に正孔を注入する機能を有する。
 中間層としては、例えば、リチウムなどの電子注入層に適用可能な材料を好適に用いることができる。また、中間層としては、例えば、正孔注入層に適用可能な材料を好適に用いることができる。また、中間層には、正孔輸送性材料とアクセプター性材料(電子受容性材料)とを含む層を用いることができる。また、中間層には、電子輸送性材料とドナー性材料とを含む層を用いることができる。このような層を有する中間層を形成することにより、発光ユニットが積層された場合における駆動電圧の上昇を抑制することができる。
 導電層126a、導電層126b、および導電層126cは、光学調整層として機能する。なお、導電層126a、導電層126b、および導電層126cは設けなくてもよい場合がある。
 画素電極111a、画素電極111b、画素電極111c、導電層126a、導電層126b、導電層126c、第1の層113a、第2の層113b、及び、第3の層113cのそれぞれの側面は、絶縁層125、及び絶縁層127によって覆われている。これにより、第5の層114(または共通電極115)が、画素電極111a、画素電極111b、画素電極111c、第1の層113a、第2の層113b、及び、第3の層113cのいずれかの側面と接することを抑制し、発光デバイスのショートを抑制できる。
 絶縁層125は、無機材料を有する絶縁層とすることができる。絶縁層125には、例えば、酸化絶縁膜、窒化絶縁膜、酸化窒化絶縁膜、及び窒化酸化絶縁膜などの無機絶縁膜を用いることができる。絶縁層125は単層構造であってもよく積層構造であってもよい。酸化絶縁膜としては、酸化シリコン膜、酸化アルミニウム膜、酸化マグネシウム膜、インジウムガリウム亜鉛酸化物膜、酸化ガリウム膜、酸化ゲルマニウム膜、酸化イットリウム膜、酸化ジルコニウム膜、酸化ランタン膜、酸化ネオジム膜、酸化ハフニウム膜、及び酸化タンタル膜などが挙げられる。窒化絶縁膜としては、窒化シリコン膜及び窒化アルミニウム膜などが挙げられる。酸化窒化絶縁膜としては、酸化窒化シリコン膜、酸化窒化アルミニウム膜などが挙げられる。窒化酸化絶縁膜としては、窒化酸化シリコン膜、窒化酸化アルミニウム膜などが挙げられる。特に、酸化アルミニウム膜は、エッチングにおいて、EL層との選択比が高く、後述する絶縁層127の形成において、EL層を保護する機能を有するため、好ましい。特に原子層堆積(ALD:Atomic Layer Deposition)法により形成した酸化アルミニウム膜、酸化ハフニウム膜、酸化シリコン膜などの無機絶縁膜を絶縁層125に適用することで、ピンホールが少なく、EL層を保護する機能に優れた絶縁層125を形成することができる。
 なお、本明細書などにおいて、酸化窒化物とは、その組成として、窒素よりも酸素の含有量が多い材料を指し、窒化酸化物とは、その組成として、酸素よりも窒素の含有量が多い材料を指す。例えば、酸化窒化シリコンと記載した場合は、その組成として窒素よりも酸素の含有量が多い材料を指し、窒化酸化シリコンと記載した場合は、その組成として、酸素よりも窒素の含有量が多い材料を示す。
 絶縁層125の形成は、スパッタリング法、化学気相成長(CVD:Chemical Vapor Deposition)法、パルスレーザ堆積(PLD:Pulsed Laser Deposition)法、ALD法などを用いることができる。絶縁層125は、被覆性が良好なALD法を用いて形成することが好ましい。
 絶縁層125上に設けられる絶縁層127は、隣接する発光デバイス間に形成された絶縁層125の凹部を平坦化する機能を有する。換言すると、絶縁層127を有することで共通電極115の形成面の平坦性を向上させる効果を奏する。絶縁層127としては、有機材料を有する絶縁層を好適に用いることができる。例えば、絶縁層127として、アクリル樹脂、ポリイミド樹脂、エポキシ樹脂、イミド樹脂、ポリアミド樹脂、ポリイミドアミド樹脂、シリコーン樹脂、シロキサン樹脂、ベンゾシクロブテン系樹脂、フェノール樹脂、及びこれら樹脂の前駆体等を適用することができる。また、絶縁層127として、ポリビニルアルコール(PVA)、ポリビニルブチラル、ポリビニルピロリドン、ポリエチレングリコール、ポリグリセリン、プルラン、水溶性のセルロース、またはアルコール可溶性のポリアミド樹脂などの有機材料を用いてもよい。また、絶縁層127として、感光性の樹脂を用いることができる。感光性の樹脂としてはフォトレジストを用いてもよい。感光性の樹脂は、ポジ型の材料、またはネガ型の材料を用いることができる。
 絶縁層127の上面の高さと、第1の層113a、第2の層113b、及び、第3の層113cのいずれかの上面の高さとの差が、例えば、絶縁層127の厚さの0.5倍以下が好ましく、0.3倍以下がより好ましい。また例えば、第1の層113a、第2の層113b、及び、第3の層113cのいずれかの上面が絶縁層127の上面よりも高くなるように、絶縁層127を設けてもよい。また、例えば、絶縁層127の上面が、第1の層113a、第2の層113b、または、第3の層113cが有する発光層の上面よりも高くなるように、絶縁層127を設けてもよい。
 第1の層113a、第2の層113b、第3の層113c、絶縁層125、及び絶縁層127上に、第5の層114が設けられ、第5の層114上に共通電極115が設けられている。また、発光デバイス130a、発光デバイス130b、及び発光デバイス130c上には、保護層131が設けられている。保護層131上には保護層132が設けられている。保護層131、132を設けることで、発光デバイスの信頼性を高めることができる。
 保護層131、132の導電性は問わない。保護層131、132としては、絶縁膜、半導体膜、及び、導電膜の少なくとも一種を用いることができる。
 保護層131、132が無機膜を有することで、共通電極115の酸化を防止する、発光デバイス130a、130b、130cに不純物(水分、酸素など)が入り込むことを抑制する、など、発光デバイスの劣化を抑制し、表示装置の信頼性を高めることができる。
 保護層131、132には、例えば、酸化絶縁膜、窒化絶縁膜、酸化窒化絶縁膜、及び窒化酸化絶縁膜などの無機絶縁膜を用いることができる。酸化絶縁膜としては、酸化シリコン膜、酸化アルミニウム膜、酸化ガリウム膜、酸化ゲルマニウム膜、酸化イットリウム膜、酸化ジルコニウム膜、酸化ランタン膜、酸化ネオジム膜、酸化ハフニウム膜、及び酸化タンタル膜などが挙げられる。窒化絶縁膜としては、窒化シリコン膜及び窒化アルミニウム膜などが挙げられる。酸化窒化絶縁膜としては、酸化窒化シリコン膜、酸化窒化アルミニウム膜などが挙げられる。窒化酸化絶縁膜としては、窒化酸化シリコン膜、窒化酸化アルミニウム膜などが挙げられる。
 保護層131、132は、それぞれ、窒化絶縁膜または窒化酸化絶縁膜を有することが好ましく、窒化絶縁膜を有することがより好ましい。
 また、保護層131、132には、In−Sn酸化物(ITOともいう)、In−Zn酸化物、Ga−Zn酸化物、Al−Zn酸化物、またはインジウムガリウム亜鉛酸化物(In−Ga−Zn酸化物、IGZOともいう)などを含む無機膜を用いることもできる。当該無機膜は、高抵抗であることが好ましく、具体的には、共通電極115よりも高抵抗であることが好ましい。当該無機膜は、さらに窒素を含んでいてもよい。
 発光デバイスの発光を、保護層131、132を介して取り出す場合、保護層131、132は、可視光に対する透過性が高いことが好ましい。例えば、ITO、IGZO、及び、酸化アルミニウムは、それぞれ、可視光に対する透過性が高い無機材料であるため、好ましい。
 保護層131、132としては、例えば、酸化アルミニウム膜と、酸化アルミニウム膜上の窒化シリコン膜と、の積層構造、または、酸化アルミニウム膜と、酸化アルミニウム膜上のIGZO膜と、の積層構造などを用いることができる。当該積層構造を用いることで、EL層側に入り込む不純物(水、酸素など)を抑制することができる。
 さらに、保護層131、132は、有機膜を有していてもよい。例えば、保護層132は、有機膜と無機膜の双方を有していてもよい。
 保護層131と保護層132とで異なる成膜方法を用いてもよい。具体的には、ALD法を用いて保護層131を形成し、スパッタリング法を用いて保護層132を形成してもよい。
 保護層131上には、着色層129a、着色層129b、及び着色層129cが設けられる。着色層129aは発光デバイス130aと重なる領域を有し、着色層129bは発光デバイス130bと重なる領域を有し、着色層129cは発光デバイス130cと重なる領域を有する。着色層129a、129b、129cは、少なくともそれぞれの発光デバイスが有する発光層と重なる領域を有する。
 着色層129a、着色層129b、及び着色層129cは、互いに異なる色の光を透過する機能を有する。例えば、着色層129aは赤色の光を透過する機能を有し、着色層129bは緑色の光を透過する機能を有し、着色層129cは青色の光を透過する機能を有する。これにより、表示装置100は、フルカラー表示を行うことができる。なお、着色層129a、着色層129b、及び着色層129cは、シアン、マゼンタ、及び黄色の光のいずれかを透過する機能を有してもよい。
 保護層132と基板152は接着層142を介して接着されている。発光デバイスの封止には、固体封止構造または中空封止構造などが適用できる。図17Aでは、基板152と基板151との間の空間が、接着層142で充填されており、固体封止構造が適用されている。または、当該空間を不活性ガス(窒素またはアルゴンなど)で充填し、中空封止構造を適用してもよい。このとき、接着層142は、発光デバイスと重ならないように設けられていてもよい。また、当該空間を、枠状に設けられた接着層142とは異なる樹脂で充填してもよい。
 画素電極111a、111b、111cは、それぞれ、絶縁層214に設けられた開口を介して、トランジスタ205が有する導電層222bと接続されている。
 画素電極111a、111b、111cには、絶縁層214に設けられた開口を覆うように凹部が形成される。当該凹部には、層128が埋め込まれていることが好ましい。そして、画素電極111a及び層128上に導電層126aを形成し、画素電極111b及び層128上に導電層126bを形成し、画素電極111c及び層128上に導電層126cを形成することが好ましい。導電層126a、126b、126cは、画素電極と呼ぶこともできる。
 層128は、画素電極111a、111b、111cの凹部を平坦化する機能を有する。層128を設けることで、EL層の被形成面の凹凸を低減し、被覆性を向上することができる。また、画素電極111a、111b、111c及び層128上に、画素電極111a、111b、111cと電気的に接続される導電層126a、126b、126cを設けることで、画素電極111a、111b、111cの凹部と重なる領域も発光領域として使用できる場合がある。これにより、画素の開口率を高めることができる。
 層128は、絶縁層であってもよく、導電層であってもよい。層128には、各種無機絶縁材料、有機絶縁材料、及び導電材料を適宜用いることができる。特に、層128は、絶縁材料を用いて形成されることが好ましい。
 層128としては、有機材料を有する絶縁層を好適に用いることができる。例えば、層128として、アクリル樹脂、ポリイミド樹脂、エポキシ樹脂、ポリアミド樹脂、ポリイミドアミド樹脂、シロキサン樹脂、ベンゾシクロブテン系樹脂、フェノール樹脂、及びこれら樹脂の前駆体等を適用することができる。また、層128として、感光性の樹脂を用いることができる。感光性の樹脂は、ポジ型の材料、またはネガ型の材料を用いることができる。
 感光性の樹脂を用いることにより、露光及び現像の工程のみで層128を作製することができ、ドライエッチング、あるいはウェットエッチング等による画素電極111a、111b、111cの表面への影響を低減できる。また、ネガ型の感光性樹脂を用いて層128を形成することにより、絶縁層214の開口の形成に用いるフォトマスク(露光マスク)と同一のフォトマスクを用いて、層128を形成できる場合がある。
 導電層126aは、画素電極111a上及び層128上に設けられる。導電層126aは、画素電極111aの上面に接する第1領域と、層128の上面に接する第2領域と、を有する。第1領域と接する画素電極111aの上面の高さと、第2領域と接する層128の上面の高さは、一致または概略一致することが好ましい。
 同様に、導電層126bは、画素電極111b上及び層128上に設けられる。導電層126bは、画素電極111bの上面に接する第1領域と、層128の上面に接する第2領域と、を有する。第1領域と接する画素電極111bの上面の高さと、第2領域と接する層128の上面の高さは、一致または概略一致することが好ましい。
 導電層126cは、画素電極111c上及び層128上に設けられる。導電層126cは、画素電極111cの上面に接する第1領域と、層128の上面に接する第2領域と、を有する。第1領域と接する画素電極111cの上面の高さと、第2領域と接する層128の上面の高さは、一致または概略一致することが好ましい。
 画素電極は可視光を反射する材料を含み、対向電極は可視光を透過する材料を含む。
 表示装置100Aは、トップエミッション型である。発光デバイスが発する光は、基板152側に射出される。基板152には、可視光に対する透過性が高い材料を用いることが好ましい。
 トランジスタを含む層101には、基板151から絶縁層214までの積層構造が含まれる。
 トランジスタ201及びトランジスタ205は、いずれも基板151上に形成されている。これらのトランジスタは、同一の材料及び同一の工程により作製することができる。
 基板151上には、絶縁層211、絶縁層213、絶縁層215、及び絶縁層214がこの順で設けられている。絶縁層211は、その一部が各トランジスタのゲート絶縁層として機能する。絶縁層213は、その一部が各トランジスタのゲート絶縁層として機能する。絶縁層215は、トランジスタを覆って設けられる。絶縁層214は、トランジスタを覆って設けられ、平坦化層としての機能を有する。なお、ゲート絶縁層の数及びトランジスタを覆う絶縁層の数は限定されず、それぞれ単層であっても2層以上であってもよい。
 トランジスタを覆う絶縁層の少なくとも一層に、水及び水素などの不純物が拡散しにくい材料を用いることが好ましい。これにより、絶縁層をバリア層として機能させることができる。このような構成とすることで、トランジスタに外部から不純物が拡散することを効果的に抑制でき、表示装置の信頼性を高めることができる。
 絶縁層211、絶縁層213、及び絶縁層215としては、それぞれ、無機絶縁膜を用いることが好ましい。無機絶縁膜としては、例えば、窒化シリコン膜、酸化窒化シリコン膜、酸化シリコン膜、窒化酸化シリコン膜、酸化アルミニウム膜、窒化アルミニウム膜などを用いることができる。また、酸化ハフニウム膜、酸化イットリウム膜、酸化ジルコニウム膜、酸化ガリウム膜、酸化タンタル膜、酸化マグネシウム膜、酸化ランタン膜、酸化セリウム膜、及び酸化ネオジム膜等を用いてもよい。また、上述の絶縁膜を2以上積層して用いてもよい。
 ここで、有機絶縁膜は、無機絶縁膜に比べてバリア性が低いことが多い。そのため、有機絶縁膜は、表示装置100Aの端部近傍に開口を有することが好ましい。これにより、表示装置100Aの端部から有機絶縁膜を介して不純物が入り込むことを抑制できる。または、有機絶縁膜の端部が表示装置100Aの端部よりも内側にくるように有機絶縁膜を形成し、表示装置100Aの端部に有機絶縁膜が露出しないようにしてもよい。
 平坦化層として機能する絶縁層214には、有機絶縁膜が好適である。有機絶縁膜に用いることができる材料としては、アクリル樹脂、ポリイミド樹脂、エポキシ樹脂、ポリアミド樹脂、ポリイミドアミド樹脂、シロキサン樹脂、ベンゾシクロブテン系樹脂、フェノール樹脂、及びこれら樹脂の前駆体等が挙げられる。また、絶縁層214を、有機絶縁膜と、無機絶縁膜との積層構造にしてもよい。絶縁層214の最表層は、エッチング保護膜としての機能を有することが好ましい。これにより、画素電極111aまたは導電層126aなどの加工時に、絶縁層214に凹部が形成されることを抑制できる。または、絶縁層214には、画素電極111aまたは導電層126aなどの加工時に、凹部が設けられてもよい。
 図17Aに示す領域228では、絶縁層214に開口が形成されている。これにより、絶縁層214に有機絶縁膜を用いる場合であっても、絶縁層214を介して外部から表示部162に不純物が入り込むことを抑制できる。従って、表示装置100Aの信頼性を高めることができる。
 トランジスタ201及びトランジスタ205は、ゲートとして機能する導電層221、ゲート絶縁層として機能する絶縁層211、ソース及びドレインとして機能する導電層222a及び導電層222b、半導体層231、ゲート絶縁層として機能する絶縁層213、並びに、ゲートとして機能する導電層223を有する。ここでは、同一の導電膜を加工して得られる複数の層に、同じハッチングパターンを付している。絶縁層211は、導電層221と半導体層231との間に位置する。絶縁層213は、導電層223と半導体層231との間に位置する。
 本実施の形態の表示装置が有するトランジスタの構造は特に限定されない。例えば、プレーナ型のトランジスタ、スタガ型のトランジスタ、逆スタガ型のトランジスタ等を用いることができる。また、トップゲート型またはボトムゲート型のいずれのトランジスタ構造としてもよい。または、チャネルが形成される半導体層の上下にゲートが設けられていてもよい。
 トランジスタ201及びトランジスタ205には、チャネルが形成される半導体層を2つのゲートで挟持する構成が適用されている。2つのゲートを接続し、これらに同一の信号を供給することによりトランジスタを駆動してもよい。または、2つのゲートのうち、一方に閾値電圧を制御するための電位を与え、他方に駆動のための電位を与えることで、トランジスタの閾値電圧を制御してもよい。
 トランジスタの半導体層に用いる半導体材料の結晶性についても特に限定されず、非晶質半導体、結晶性を有する半導体(微結晶半導体、多結晶半導体、単結晶半導体、または一部に結晶領域を有する半導体)のいずれを用いてもよい。結晶性を有する半導体を用いると、トランジスタ特性の劣化を抑制できるため好ましい。
 トランジスタの半導体層は、金属酸化物(酸化物半導体ともいう)を有することが好ましい。つまり、本実施の形態の表示装置は、金属酸化物をチャネル形成領域に用いたトランジスタ(以下、OSトランジスタ)を用いることが好ましい。
 本明細書等において、金属酸化物(metal oxide)とは、広い意味での金属の酸化物である。金属酸化物は、酸化物絶縁体、酸化物導電体(透明酸化物導電体を含む)、酸化物半導体(Oxide Semiconductor又は単にOSともいう)等に分類される。例えば、トランジスタの活性層に金属酸化物を用いた場合、当該金属酸化物を酸化物半導体と呼称する場合がある。つまり、OSトランジスタと記載する場合においては、金属酸化物又は酸化物半導体を有するトランジスタと換言することができる。
 トランジスタの半導体層に用いる金属酸化物のバンドギャップは、2eV以上が好ましく、2.5eV以上がより好ましい。バンドギャップの大きい金属酸化物を用いることで、OSトランジスタのオフ電流を低減できる。
 金属酸化物は、少なくともインジウムまたは亜鉛を有することが好ましく、インジウム及び亜鉛を有することがより好ましい。例えば、金属酸化物は、インジウムと、M(Mは、ガリウム、アルミニウム、イットリウム、スズ、シリコン、ホウ素、銅、バナジウム、ベリリウム、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、マグネシウム、及びコバルトから選ばれた一種または複数種)と、亜鉛と、を有することが好ましい。特に、Mは、ガリウム、アルミニウム、イットリウム、及びスズから選ばれた一種または複数種であることが好ましく、ガリウムがより好ましい。なお、インジウムと、Mと、亜鉛とを有する金属酸化物を、以降ではIn−M−Zn酸化物と呼ぶ場合がある。
 金属酸化物がIn−M−Zn酸化物の場合、当該In−M−Zn酸化物におけるInの原子数比はMの原子数比以上であることが好ましい。このようなIn−M−Zn酸化物の金属元素の原子数比として、In:M:Zn=1:1:1またはその近傍の組成、In:M:Zn=1:1:1.2またはその近傍の組成、In:M:Zn=2:1:3またはその近傍の組成、In:M:Zn=3:1:2またはその近傍の組成、In:M:Zn=4:2:3またはその近傍の組成、In:M:Zn=4:2:4.1またはその近傍の組成、In:M:Zn=5:1:3またはその近傍の組成、In:M:Zn=5:1:6またはその近傍の組成、In:M:Zn=5:1:7またはその近傍の組成、In:M:Zn=5:1:8またはその近傍の組成、In:M:Zn=6:1:6またはその近傍の組成、In:M:Zn=5:2:5またはその近傍の組成、等が挙げられる。なお、近傍の組成とは、所望の原子数比の±30%の範囲を含む。金属酸化物中のインジウムの原子数比を大きくすることで、トランジスタのオン電流、または電界効果移動度などを高めることができる。
 例えば、原子数比がIn:M:Zn=4:2:3またはその近傍の組成と記載する場合、Inの原子数比を4としたとき、Mの原子数比が1以上3以下であり、Znの原子数比が2以上4以下である場合を含む。また、原子数比がIn:M:Zn=5:1:6またはその近傍の組成と記載する場合、Inの原子数比を5としたときに、Mの原子数比が0.1より大きく2以下であり、Znの原子数比が5以上7以下である場合を含む。また、原子数比がIn:M:Zn=1:1:1またはその近傍の組成と記載する場合、Inの原子数比を1としたときに、Mの原子数比が0.1より大きく2以下であり、Znの原子数比が0.1より大きく2以下である場合を含む。
 また、In−M−Zn酸化物におけるInの原子数比はMの原子数比未満であってもよい。このようなIn−M−Zn酸化物の金属元素の原子数比として、In:M:Zn=1:3:2またはその近傍の組成、In:M:Zn=1:3:3またはその近傍の組成、In:M:Zn=1:3:4またはその近傍の組成、等が挙げられる。金属酸化物中のMの原子数比を大きくすることで、In−M−Zn酸化物のバンドギャップをより大きくし、光負バイアスストレス試験に対する耐性を高めることが可能となる。具体的には、トランジスタのNBTIS(Negative Bias Temperature Illumination Stress)試験で測定される、しきい値電圧の変化量またはシフト電圧(Vsh)の変化量を小さくすることができる。なお、シフト電圧(Vsh)は、トランジスタのドレイン電流(Id)−ゲート電圧(Vg)カーブにおいて、カーブ上の傾きが最大である点における接線が、Id=1pAの直線と交差するVgで定義される。
 または、トランジスタの半導体層は、シリコンを有していてもよい。シリコンとしては、アモルファスシリコン、結晶性のシリコン(低温ポリシリコン、単結晶シリコンなど)などが挙げられる。
 または、トランジスタの半導体層は、半導体として機能する層状物質を有してもよい。層状物質とは、層状の結晶構造を有する材料群の総称である。層状の結晶構造は、共有結合またはイオン結合によって形成される層が、ファンデルワールス力のような、共有結合またはイオン結合よりも弱い結合を介して積層している構造である。層状物質は、単位層内における電気伝導性が高く、つまり、2次元電気伝導性が高い。半導体として機能し、かつ、2次元電気伝導性の高い材料をチャネル形成領域に用いることで、オン電流の大きいトランジスタを提供できる。
 上記層状物質として、例えば、グラフェン、シリセン、カルコゲン化物などが挙げられる。カルコゲン化物は、カルコゲン(第16族に属する元素)を含む化合物である。また、カルコゲン化物として、遷移金属カルコゲナイド、13族カルコゲナイドなどが挙げられる。トランジスタの半導体層として適用可能な遷移金属カルコゲナイドとして、具体的には、硫化モリブデン(代表的にはMoS)、セレン化モリブデン(代表的にはMoSe)、モリブデンテルル(代表的にはMoTe)、硫化タングステン(代表的にはWS)、セレン化タングステン(代表的にはWSe)、タングステンテルル(代表的にはWTe)、硫化ハフニウム(代表的にはHfS)、セレン化ハフニウム(代表的にはHfSe)、硫化ジルコニウム(代表的にはZrS)、セレン化ジルコニウム(代表的にはZrSe)などが挙げられる。
 回路164が有するトランジスタと、表示部162が有するトランジスタは、同じ構造であってもよく、異なる構造であってもよい。回路164が有する複数のトランジスタの構造は、全て同じであってもよく、2種類以上あってもよい。同様に、表示部162が有する複数のトランジスタの構造は、全て同じであってもよく、2種類以上あってもよい。
 図17B及び図17Cに、トランジスタの他の構成例を示す。
 トランジスタ209及びトランジスタ210は、ゲートとして機能する導電層221、ゲート絶縁層として機能する絶縁層211、チャネル形成領域231i及び一対の低抵抗領域231nを有する半導体層231、一対の低抵抗領域231nの一方と接続する導電層222a、一対の低抵抗領域231nの他方と接続する導電層222b、ゲート絶縁層として機能する絶縁層225、ゲートとして機能する導電層223、並びに、導電層223を覆う絶縁層215を有する。絶縁層211は、導電層221とチャネル形成領域231iとの間に位置する。絶縁層225は、少なくとも導電層223とチャネル形成領域231iとの間に位置する。さらに、トランジスタを覆う絶縁層218を設けてもよい。
 図17Bに示すトランジスタ209では、絶縁層225が半導体層231の上面及び側面を覆う例を示す。導電層222a及び導電層222bは、それぞれ、絶縁層225及び絶縁層215に設けられた開口を介して低抵抗領域231nと接続される。導電層222a及び導電層222bのうち、一方はソースとして機能し、他方はドレインとして機能する。
 一方、図17Cに示すトランジスタ210では、絶縁層225は、半導体層231のチャネル形成領域231iと重なり、低抵抗領域231nとは重ならない。例えば、導電層223をマスクとして絶縁層225を加工することで、図17Cに示す構造を作製できる。図17Cでは、絶縁層225及び導電層223を覆って絶縁層215が設けられ、絶縁層215の開口を介して、導電層222a及び導電層222bがそれぞれ低抵抗領域231nと接続されている。
 基板151の、基板152が重ならない領域には、接続部204が設けられている。接続部204では、配線165が導電層166及び接続層242を介してFPC172と電気的に接続されている。導電層166は、画素電極111a、111b、111cと同一の導電膜を加工して得られた導電膜と、導電層126a、126b、126cと同一の導電膜を加工して得られた導電膜と、の積層構造である例を示す。接続部204の上面では、導電層166が露出している。これにより、接続部204とFPC172とを接続層242を介して電気的に接続することができる。
 基板152の基板151側の面には、遮光層117を設けることが好ましい。また、基板152の基板151側の面に、着色層129a、129bを設けてもよい。図17Aでは、基板151を介して基板152をみたときに、着色層129a、129b、129cが遮光層117の一部を覆うように設けられている。
 また、基板152の外側には各種光学部材を配置することができる。光学部材としては、偏光板、位相差板、光拡散層(拡散フィルムなど)、反射防止層、及び集光フィルム等が挙げられる。また、基板152の外側には、ゴミの付着を抑制する帯電防止膜、汚れを付着しにくくする撥水性の膜、使用に伴う傷の発生を抑制するハードコート膜、衝撃吸収層等を配置してもよい。
 発光デバイスを覆う保護層131及び保護層132を設けることで、発光デバイスに水などの不純物が入り込むことを抑制し、発光デバイスの信頼性を高めることができる。
 表示装置100Aの端部近傍の領域228において、絶縁層214の開口を介して、絶縁層215と保護層131または保護層132とが互いに接することが好ましい。特に、無機絶縁膜同士が接することが好ましい。これにより、有機絶縁膜を介して外部から表示部162に不純物が入り込むことを抑制できる。従って、表示装置100Aの信頼性を高めることができる。
 基板151及び基板152には、それぞれ、ガラス、石英、セラミック、サファイア、樹脂、金属、合金、半導体などを用いることができる。発光デバイスからの光を取り出す側の基板には、該光を透過する材料を用いる。基板151及び基板152に可撓性を有する材料を用いると、表示装置の可撓性を高めることができる。また、基板151または基板152として偏光板を用いてもよい。
 基板151及び基板152としては、それぞれ、ポリエチレンテレフタレート(PET)、ポリエチレンナフタレート(PEN)等のポリエステル樹脂、ポリアクリロニトリル樹脂、アクリル樹脂、ポリイミド樹脂、ポリメチルメタクリレート樹脂、ポリカーボネート(PC)樹脂、ポリエーテルスルホン(PES)樹脂、ポリアミド樹脂(ナイロン、アラミド等)、ポリシロキサン樹脂、シクロオレフィン樹脂、ポリスチレン樹脂、ポリアミドイミド樹脂、ポリウレタン樹脂、ポリ塩化ビニル樹脂、ポリ塩化ビニリデン樹脂、ポリプロピレン樹脂、ポリテトラフルオロエチレン(PTFE)樹脂、ABS樹脂、セルロースナノファイバー等を用いることができる。基板151及び基板152の一方または双方に、可撓性を有する程度の厚さのガラスを用いてもよい。
 なお、表示装置に円偏光板を重ねる場合、表示装置が有する基板には、光学等方性の高い基板を用いることが好ましい。光学等方性が高い基板は、複屈折が小さい(複屈折量が小さい、ともいえる)。
 光学等方性が高い基板のリタデーション(位相差)値の絶対値は、30nm以下が好ましく、20nm以下がより好ましく、10nm以下がさらに好ましい。
 光学等方性が高いフィルムとしては、トリアセチルセルロース(TAC、セルローストリアセテートともいう)フィルム、シクロオレフィンポリマー(COP)フィルム、シクロオレフィンコポリマー(COC)フィルム、及びアクリルフィルム等が挙げられる。
 また、基板としてフィルムを用いる場合、フィルムが吸水することで、表示パネルにしわが発生するなどの形状変化が生じる恐れがある。そのため、基板には、吸水率の低いフィルムを用いることが好ましい。例えば、吸水率が1%以下のフィルムを用いることが好ましく、0.1%以下のフィルムを用いることがより好ましく、0.01%以下のフィルムを用いることがさらに好ましい。
 接着層142としては、紫外線硬化型等の光硬化型接着剤、反応硬化型接着剤、熱硬化型接着剤、嫌気型接着剤などの各種硬化型接着剤を用いることができる。これら接着剤としてはエポキシ樹脂、アクリル樹脂、シリコーン樹脂、フェノール樹脂、ポリイミド樹脂、イミド樹脂、PVC(ポリビニルクロライド)樹脂、PVB(ポリビニルブチラル)樹脂、EVA(エチレンビニルアセテート)樹脂等が挙げられる。特に、エポキシ樹脂等の透湿性が低い材料が好ましい。また、二液混合型の樹脂を用いてもよい。また、接着シート等を用いてもよい。
 接続層242としては、異方性導電フィルム(ACF:Anisotropic Conductive Film)、異方性導電ペースト(ACP:Anisotropic Conductive Paste)などを用いることができる。
 トランジスタのゲート、ソース及びドレインのほか、表示装置を構成する各種配線及び電極などの導電層に用いることのできる材料としては、アルミニウム、チタン、クロム、ニッケル、銅、イットリウム、ジルコニウム、モリブデン、銀、タンタル、及びタングステンなどの金属、並びに、当該金属を主成分とする合金などが挙げられる。これらの材料を含む膜を単層で、または積層構造として用いることができる。
 また、透光性を有する導電材料としては、酸化インジウム、インジウム錫酸化物、インジウム亜鉛酸化物、酸化亜鉛、ガリウムを含む酸化亜鉛などの導電性酸化物またはグラフェンを用いることができる。または、金、銀、白金、マグネシウム、ニッケル、タングステン、クロム、モリブデン、鉄、コバルト、銅、パラジウム、及びチタンなどの金属材料、または、該金属材料を含む合金材料を用いることができる。または、該金属材料の窒化物(例えば、窒化チタン)などを用いてもよい。なお、金属材料、または、合金材料(またはそれらの窒化物)を用いる場合には、透光性を有する程度に薄くすることが好ましい。また、上記材料の積層膜を導電層として用いることができる。例えば、銀とマグネシウムの合金とインジウムスズ酸化物の積層膜などを用いると、導電性を高めることができるため好ましい。これらは、表示装置を構成する各種配線及び電極などの導電層、及び、発光デバイスが有する導電層(画素電極または共通電極として機能する導電層)にも用いることができる。
 各絶縁層に用いることのできる絶縁材料としては、例えば、アクリル樹脂、エポキシ樹脂などの樹脂、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、酸化アルミニウムなどの無機絶縁材料が挙げられる。
[表示装置100B]
 図18に示す表示装置100Bは、ボトムエミッション型である点で、表示装置100Aと主に相違する。なお、表示装置100Aと同様の部分については説明を省略する。なお、図18では、第1の層113aを含む副画素と、第2の層113bを含む副画素を示しているが、図17Aと同様に3種類以上の副画素を設けることができる。
 発光デバイスが発する光は、基板151側に射出される。基板151には、可視光に対する透過性が高い材料を用いることが好ましい。一方、基板152に用いる材料の透光性は問わない。
 また、表示装置100Bは、画素電極111a、111b、及び導電層126a、126bが可視光を透過する材料を含み、共通電極115が可視光を反射する材料を含む。ここで、画素電極111a、111b、及び導電層126a、126bと同一の導電膜を加工して得られる、導電層166も可視光を透過する材料を含む。
 基板151とトランジスタ201との間、基板151とトランジスタ205との間には、遮光層117を形成することが好ましい。図18では、基板151上に遮光層117が設けられ、遮光層117上に絶縁層153が設けられ、絶縁層153上にトランジスタ201、205などが設けられている例を示す。
 さらに、表示装置100Bでは、着色層129a、129bが、絶縁層215と絶縁層214の間に設けられている。着色層129a、129bは、端部が遮光層117と重畳することが好ましい。
 ここで、表示装置100A及び表示装置100Bについて、図19A乃至図19Dに、画素電極111a及び層128とその周辺を含む領域138の断面構造を示す。なお、図19A乃至図19Dに係る記載については、発光デバイス130b及び発光デバイス130cについても同様のことがいえる。
 図17Aおよび図18では、層128の上面と画素電極111aの上面が概略一致する例について示したが、本発明はこれに限られるものではない。例えば、図19Aに示すように、層128の上面が画素電極111aの上面より高くなる場合がある。このとき、層128の上面は中心に向かって凸状に、なだらかに膨らんだ形状を有する。
 また、図19Bに示すように、層128の上面が画素電極111aの上面より低くなる場合がある。このとき、層128の上面は中心に向かって凹状に、なだらかに窪んだ形状を有する。
 また、図19Cに示すように、層128の上面が画素電極111aの上面より高くなる場合、画素電極111aに形成された凹部より、層128の上部が広がって形成される場合がある。このとき、層128の一部が、画素電極111aの概略平坦な領域の一部を覆って形成される場合がある。
 また、図19Dに示すように、図19Cに示す構造において、さらに層128の上面の一部に凹部が形成される場合がある。当該凹部は、中心に向かってなだらかに窪んだ形状を有する。
 ここで、表示装置100A及び表示装置100Bについて、図20A乃至図20Fに、絶縁層127とその周辺を含む領域139の断面構造を示す。
 図20Aでは、第1の層113aと第2の層113bの厚さが互いに異なる例を示す。絶縁層125の上面の高さは、第1の層113a側では第1の層113aの上面の高さと一致または概略一致しており、第2の層113b側では第2の層113bの上面の高さと一致または概略一致している。そして、絶縁層127の上面は、第1の層113a側が高く、第2の層113b側が低い、なだらかな傾斜を有している。このように、絶縁層125及び絶縁層127の高さは、隣接するEL層の上面の高さと揃っていることが好ましい。または、隣接するEL層のいずれかの上面の高さと揃って、上面が平坦部を有していてもよい。
 図20Bにおいて、絶縁層127の上面は、第1の層113aの上面及び第2の層113bの上面よりも高い領域を有する。また、絶縁層127の上面は、中心に向かって凸状に、なだらかに膨らんだ形状を有する。
 図20Cにおいて、絶縁層127が第1の層113aの上面及び第2の層113bの上面より高い領域を有する。また、領域139において、表示装置100A及び表示装置100Bは、第1の犠牲層118及び第2の犠牲層119の少なくとも一方を有し、絶縁層127が第1の層113aの上面及び第2の層113bの上面より高く、且つ絶縁層125よりも外側に位置する第1の領域を有し、第1の領域は第1の犠牲層118及び第2の犠牲層119の少なくとも一方の上に位置する。
 図20Dにおいて、絶縁層127の上面は、第1の層113aの上面及び第2の層113bの上面よりも低い領域を有する。また、絶縁層127の上面は、中心に向かって凹状に、なだらかに窪んだ形状を有する。
 図20Eにおいて、絶縁層125の上面は、第1の層113aの上面及び第2の層113bの上面よりも高い領域を有する。すなわち、第5の層114の被形成面において、絶縁層125が突出し、凸部を形成している。
 絶縁層125の形成において、例えば、犠牲層の高さと揃うまたは概略揃うように絶縁層125を形成する場合には、図20Eに示すように、絶縁層125が突出する形状が形成される場合がある。
 図20Fにおいて、絶縁層125の上面は、第1の層113aの上面及び第2の層113bの上面よりも低い領域を有する。すなわち、第5の層114の被形成面において、絶縁層125が凹部を形成している。
 このように、絶縁層125及び絶縁層127は様々な形状を適用することができる。
[画素のレイアウト]
 次に、画素レイアウトについて説明する。副画素の配列に特に限定はなく、様々な方法を適用することができる。副画素の配列としては、例えば、ストライプ配列、Sストライプ配列、マトリクス配列、デルタ配列、ベイヤー配列、ペンタイル配列などが挙げられる。
 また、副画素の上面形状としては、例えば、三角形、四角形(長方形、正方形を含む)、五角形などの多角形、これら多角形の角が丸い形状、楕円形、または円形などが挙げられる。ここで、副画素の上面形状は、発光デバイスの発光領域の上面形状に相当する。
 図21Aに示す画素110には、ストライプ配列が適用されている。図21Aに示す画素110は、副画素110a、110b、110cの、3つの副画素から構成される。例えば、図22Aに示すように、副画素110aを赤色の副画素Rとし、副画素110bを緑色の副画素Gとし、副画素110cを青色の副画素Bとしてもよい。
 図21Bに示す画素110には、Sストライプ配列が適用されている。図21Bに示す画素110は、副画素110a、110b、110cの、3つの副画素から構成される。例えば、図22Bに示すように、副画素110aを青色の副画素Bとし、副画素110bを赤色の副画素Rとし、副画素110cを緑色の副画素Gとしてもよい。
 図21Cは、各色の副画素がジグザグに配置されている例である。具体的には、上面視において、列方向に並ぶ2つの副画素(例えば、副画素110aと副画素110b、または、副画素110bと副画素110c)の上辺の位置がずれている。例えば、図22Cに示すように、副画素110aを赤色の副画素Rとし、副画素110bを緑色の副画素Gとし、副画素110cを青色の副画素Bとしてもよい。
 図21Dに示す画素110は、角が丸い略台形の上面形状を有する副画素110aと、角が丸い略三角形の上面形状を有する副画素110bと、角が丸い略四角形または略六角形の上面形状を有する副画素110cと、を有する。また、副画素110aは、副画素110bよりも発光面積が広い。このように、各副画素の形状及びサイズはそれぞれ独立に決定することができる。例えば、信頼性の高い発光デバイスを有する副画素ほど、サイズを小さくすることができる。例えば、図22Dに示すように、副画素110aを緑色の副画素Gとし、副画素110bを赤色の副画素Rとし、副画素110cを青色の副画素Bとしてもよい。
 図21Eに示す画素124a、124bには、ペンタイル配列が適用されている。図21Eでは、副画素110a及び副画素110bを有する画素124aと、副画素110b及び副画素110cを有する画素124bと、が交互に配置されている例を示す。例えば、図22Eに示すように、副画素110aを赤色の副画素Rとし、副画素110bを緑色の副画素Gとし、副画素110cを青色の副画素Bとしてもよい。
 図21F及び図21Gに示す画素124a、124bは、デルタ配列が適用されている。画素124aは上の行(1行目)に、2つの副画素(副画素110a、110b)を有し、下の行(2行目)に、1つの副画素(副画素110c)を有する。画素124bは上の行(1行目)に、1つの副画素(副画素110c)を有し、下の行(2行目)に、2つの副画素(副画素110a、110b)を有する。例えば、図22Fに示すように、副画素110aを赤色の副画素Rとし、副画素110bを緑色の副画素Gとし、副画素110cを青色の副画素Bとしてもよい。
 図21Fは、各副画素が、角が丸い略四角形の上面形状を有する例であり、図21Gは、各副画素が、円形の上面形状を有する例である。
 フォトリソグラフィ法では、加工するパターンが微細になるほど、光の回折の影響を無視できなくなるため、露光によりフォトマスクのパターンを転写する際に忠実性が損なわれ、レジストマスクを所望の形状に加工することが困難になる。そのため、フォトマスクのパターンが矩形であっても、角が丸まったパターンが形成されやすい。したがって、副画素の上面形状が、多角形の角が丸い形状、楕円形、または円形などになることがある。
 さらに、本発明の一態様の表示装置の作製方法では、レジストマスクを用いてEL層を島状に加工する。EL層上に形成したレジスト膜は、EL層の耐熱温度よりも低い温度で硬化する必要がある。そのため、EL層の材料の耐熱温度及びレジスト材料の硬化温度によっては、レジスト膜の硬化が不十分になる場合がある。硬化が不十分なレジスト膜は、加工時に所望の形状から離れた形状をとることがある。その結果、EL層の上面形状が、多角形の角が丸い形状、楕円形、または円形などになることがある。例えば、上面形状が正方形のレジストマスクを形成しようとした場合に、円形の上面形状のレジストマスクが形成され、EL層の上面形状が円形になることがある。
 なお、EL層の上面形状を所望の形状とするために、設計パターンと、転写パターンとが、一致するように、あらかじめマスクパターンを補正する技術(OPC(Optical Proximity Correction:光近接効果補正)技術)を用いてもよい。具体的には、OPC技術では、マスクパターン上の図形コーナー部などに補正用のパターンを追加する。
 図23A乃至図23Cに示す画素110は、ストライプ配列が適用されている。
 図23Aは、各副画素が、長方形の上面形状を有する例であり、図23Bは、各副画素が、2つの半円と長方形をつなげた上面形状を有する例であり、図23Cは、各副画素が、楕円形の上面形状を有する例である。
 図23D乃至図23Fに示す画素110は、マトリクス配列が適用されている。
 図23Dは、各副画素が、正方形の上面形状を有する例であり、図23Eは、各副画素が、角が丸い略正方形の上面形状を有する例であり、図23Fは、各副画素が、円形の上面形状を有する例である。
 図23A乃至図23Fに示す画素110は、副画素110a、110b、110c、110dの、4つの副画素から構成される。副画素110a、110b、110c、110dは、それぞれ異なる色の光を発する。例えば、副画素110a、110b、110c、110dは、それぞれ、赤色、緑色、青色、白色の副画素とすることができる。例えば、図24A及び図24Bに示すように、副画素110a、110b、110c、110dは、それぞれ、赤色、緑色、青色、白色の副画素とすることができる。または、副画素110a、110b、110c、110dは、それぞれ、赤色、緑色、青色、赤外発光の副画素とすることができる。
 副画素110dは、発光デバイスを有する。当該発光デバイスは、画素電極と、当該画素電極の島状の第4の層と、当該島状の第4の層上の第5の層114と、第5の層114上の共通電極115と、を有する。当該発光デバイスにおいて、上記第4の層、及び、第5の層114をまとめてEL層と呼ぶことができる。なお、上記画素電極は、画素電極111a、画素電極111b、画素電極111cと同様の材料を用いればよい。また、上記第4の層は、第1の層113a、第2の層113b、及び第3の層113cと同様の材料を用いればよい。
 図23Gでは、1つの画素110が2行3列で構成されている例を示す。画素110は、上の行(1行目)に、3つの副画素(副画素110a、副画素110b、副画素110c)を有し、下の行(2行目)に、3つの副画素110dを有する。言い換えると、画素110は、左の列(1列目)に、副画素110a及び副画素110dを有し、中央の列(2列目)に副画素110b及び副画素110dを有し、右の列(3列目)に副画素110c及び副画素110dを有する。図23Gに示すように、上の行と下の行との副画素の配置を揃える構成とすることで、製造プロセスで生じうるゴミなどを効率よく除去することが可能となる。したがって、表示品位の高い表示装置を提供できる。
 図23Hでは、1つの画素110が、2行3列で構成されている例を示す。画素110は、上の行(1行目)に、3つの副画素(副画素110a、副画素110b、副画素110c)を有し、下の行(2行目)に、1つの副画素(副画素110d)を有する。言い換えると、画素110は、左の列(1列目)に、副画素110aを有し、中央の列(2列目)に副画素110bを有し、右の列(3列目)に副画素110cを有し、さらに、この3列にわたって、副画素110dを有する。
 なお、図23G及び図23Hに示す画素110において、例えば、図24C及び図24Dに示すように、副画素110aを赤色の副画素Rとし、副画素110bを緑色の副画素Gとし、副画素110cを青色の副画素Bとし、副画素110dを白色の副画素Wとすることができる。
 本発明の一態様の表示装置は、画素に、受光デバイスを有していてもよい。
 図23Gに示す画素110が有する4つの副画素のうち、3つを、発光デバイスを有する構成とし、残りの1つを、受光デバイスを有する構成としてもよい。
 受光デバイスとしては、例えば、pn型またはpin型のフォトダイオードを用いることができる。受光デバイスは、受光デバイスに入射する光を検出し電荷を発生させる光電変換デバイス(光電変換素子ともいう)として機能する。受光デバイスに入射する光量に基づき、受光デバイスから発生する電荷量が決まる。
 特に、受光デバイスとして、有機化合物を含む層を有する有機フォトダイオードを用いることが好ましい。有機フォトダイオードは、薄型化、軽量化、及び大面積化が容易であり、また、形状及びデザインの自由度が高いため、様々な表示装置に適用できる。
 本発明の一態様では、発光デバイスとして有機ELデバイスを用い、受光デバイスとして有機フォトダイオードを用いる。有機ELデバイス及び有機フォトダイオードは、同一基板上に形成することができる。したがって、有機ELデバイスを用いた表示装置に有機フォトダイオードを内蔵することができる。
 受光デバイスは、一対の電極間に少なくとも光電変換層として機能する活性層を有する。本明細書等では、一対の電極の一方を画素電極と記し、他方を共通電極と記すことがある。
 例えば、副画素110a、110b、110cが、R、G、Bの3色の副画素であり、副画素110dが、受光デバイスを有する副画素であってもよい。このとき、第4の層は、少なくとも活性層を有する。
 受光デバイスが有する一対の電極のうち、一方の電極は陽極として機能し、他方の電極は陰極として機能する。以下では、画素電極が陽極として機能し、共通電極が陰極として機能する場合を例に挙げて説明する。受光デバイスは、画素電極と共通電極との間に逆バイアスをかけて駆動することで、受光デバイスに入射する光を検出し、電荷を発生させ、電流として取り出すことができる。または、画素電極が陰極として機能し、共通電極が陽極として機能してもよい。
 受光デバイスについても、発光デバイスと同様の作製方法を適用することができる。受光デバイスが有する島状の活性層(光電変換層ともいう)は、メタルマスクのパターンによって形成されるのではなく、活性層となる膜を一面に成膜した後に加工することで形成されるため、島状の活性層を均一の厚さで形成することができる。また、活性層上に犠牲層を設けることで、表示装置の作製工程中に活性層が受けるダメージを低減し、受光デバイスの信頼性を高めることができる。
 ここで、受光デバイスと発光デバイスが共通で有する層は、発光デバイスにおける機能と受光デバイスにおける機能とが異なる場合がある。本明細書中では、発光デバイスにおける機能に基づいて構成要素を呼称することがある。例えば、正孔注入層は、発光デバイスにおいて正孔注入層として機能し、受光デバイスにおいて正孔輸送層として機能する。同様に、電子注入層は、発光デバイスにおいて電子注入層として機能し、受光デバイスにおいて電子輸送層として機能する。また、受光デバイスと発光デバイスが共通で有する層は、発光デバイスにおける機能と受光デバイスにおける機能とが同一である場合もある。正孔輸送層は、発光デバイス及び受光デバイスのいずれにおいても、正孔輸送層として機能し、電子輸送層は、発光デバイス及び受光デバイスのいずれにおいても、電子輸送層として機能する。
 受光デバイスが有する活性層は、半導体を含む。当該半導体としては、シリコンなどの無機半導体、及び、有機化合物を含む有機半導体が挙げられる。本実施の形態では、活性層が有する半導体として、有機半導体を用いる例を示す。有機半導体を用いることで、発光層と、活性層と、を同じ方法(例えば、真空蒸着法)で形成することができ、製造装置を共通化できるため好ましい。
 活性層が有するn型半導体の材料としては、フラーレン(例えばC60、C70等)、フラーレン誘導体等の電子受容性の有機半導体材料が挙げられる。フラーレンは、サッカーボールのような形状を有し、当該形状はエネルギー的に安定である。フラーレンは、HOMO準位及びLUMO準位の双方が深い(低い)。フラーレンは、LUMO準位が深いため、電子受容性(アクセプター性)が極めて高い。通常、ベンゼンのように、平面にπ電子共役(共鳴)が広がると、電子供与性(ドナー性)が高くなるが、フラーレンは球体形状であるため、π電子が大きく広がっているにも関わらず、電子受容性が高くなる。電子受容性が高いと、電荷分離を高速に効率よく起こすため、受光デバイスとして有益である。C60、C70ともに可視光領域に広い吸収帯を有しており、特にC70はC60に比べてπ電子共役系が大きく、長波長領域にも広い吸収帯を有するため好ましい。そのほか、フラーレン誘導体としては、[6,6]−Phenyl−C71−butyric acid methyl ester(略称:PC70BM)、[6,6]−Phenyl−C61−butyric acid methyl ester(略称:PC60BM)、1’,1’’,4’,4’’−Tetrahydro−di[1,4]methanonaphthaleno[1,2:2’,3’,56,60:2’’,3’’][5,6]fullerene−C60(略称:ICBA)などが挙げられる。
 また、n型半導体の材料としては、キノリン骨格を有する金属錯体、ベンゾキノリン骨格を有する金属錯体、オキサゾール骨格を有する金属錯体、チアゾール骨格を有する金属錯体、オキサジアゾール誘導体、トリアゾール誘導体、イミダゾール誘導体、オキサゾール誘導体、チアゾール誘導体、フェナントロリン誘導体、キノリン誘導体、ベンゾキノリン誘導体、キノキサリン誘導体、ジベンゾキノキサリン誘導体、ピリジン誘導体、ビピリジン誘導体、ピリミジン誘導体、ナフタレン誘導体、アントラセン誘導体、クマリン誘導体、ローダミン誘導体、トリアジン誘導体、キノン誘導体等が挙げられる。
 活性層が有するp型半導体の材料としては、銅(II)フタロシアニン(Copper(II)phthalocyanine;CuPc)、テトラフェニルジベンゾペリフランテン(Tetraphenyldibenzoperiflanthene;DBP)、亜鉛フタロシアニン(Zinc Phthalocyanine;ZnPc)、スズフタロシアニン(SnPc)、キナクリドン等の電子供与性の有機半導体材料が挙げられる。
 また、p型半導体の材料としては、カルバゾール誘導体、チオフェン誘導体、フラン誘導体、芳香族アミン骨格を有する化合物等が挙げられる。さらに、p型半導体の材料としては、ナフタレン誘導体、アントラセン誘導体、ピレン誘導体、トリフェニレン誘導体、フルオレン誘導体、ピロール誘導体、ベンゾフラン誘導体、ベンゾチオフェン誘導体、インドール誘導体、ジベンゾフラン誘導体、ジベンゾチオフェン誘導体、インドロカルバゾール誘導体、ポルフィリン誘導体、フタロシアニン誘導体、ナフタロシアニン誘導体、キナクリドン誘導体、ポリフェニレンビニレン誘導体、ポリパラフェニレン誘導体、ポリフルオレン誘導体、ポリビニルカルバゾール誘導体、ポリチオフェン誘導体等が挙げられる。
 電子供与性の有機半導体材料のHOMO準位は、電子受容性の有機半導体材料のHOMO準位よりも浅い(高い)ことが好ましい。電子供与性の有機半導体材料のLUMO準位は、電子受容性の有機半導体材料のLUMO準位よりも浅い(高い)ことが好ましい。
 電子受容性の有機半導体材料として、球状のフラーレンを用い、電子供与性の有機半導体材料として、平面に近い形状の有機半導体材料を用いることが好ましい。似た形状の分子同士は集まりやすい傾向にあり、同種の分子が凝集すると、分子軌道のエネルギー準位が近いため、キャリア輸送性を高めることができる。
 例えば、活性層は、n型半導体とp型半導体と共蒸着して形成することが好ましい。または、活性層は、n型半導体とp型半導体とを積層して形成してもよい。
 受光デバイスは、活性層以外の層として、正孔輸送性の高い物質、電子輸送性の高い物質、またはバイポーラ性の物質(電子輸送性及び正孔輸送性が高い物質)等を含む層をさらに有していてもよい。また、上記に限られず、正孔注入性の高い物質、正孔ブロック材料、電子注入性の高い材料、電子ブロック材料などを含む層をさらに有していてもよい。
 受光デバイスには低分子化合物及び高分子化合物のいずれを用いることもでき、無機化合物を含んでいてもよい。受光デバイスを構成する層は、それぞれ、蒸着法(真空蒸着法を含む)、転写法、印刷法、インクジェット法、塗布法等の方法で形成することができる。
 例えば、正孔輸送性材料として、ポリ(3,4−エチレンジオキシチオフェン)/ポリ(スチレンスルホン酸)(PEDOT/PSS)などの高分子化合物、及び、モリブデン酸化物、ヨウ化銅(CuI)などの無機化合物を用いることができる。また、電子輸送性材料として、酸化亜鉛(ZnO)などの無機化合物を用いることができる。
 また、活性層に、ドナーとして機能するPoly[[4,8−bis[5−(2−ethylhexyl)−2−thienyl]benzo[1,2−b:4,5−b’]dithiophene−2,6−diyl]−2,5−thiophenediyl[5,7−bis(2−ethylhexyl)−4,8−dioxo−4H,8H−benzo[1,2−c:4,5−c’]dithiophene−1,3−diyl]]polymer(略称:PBDB−T)、または、PBDB−T誘導体などの高分子化合物を用いることができる。例えば、PBDB−TまたはPBDB−T誘導体にアクセプター材料を分散させる方法などが使用できる。
 また、活性層には3種類以上の材料を混合させてもよい。例えば、波長域を拡大する目的で、n型半導体の材料と、p型半導体の材料と、に加えて、第3の材料を混合してもよい。このとき、第3の材料は、低分子化合物でも高分子化合物でもよい。
 画素に、発光デバイス及び受光デバイスを有する表示装置では、画素が受光機能を有するため、画像を表示しながら、対象物の接触または近接を検出することができる。例えば、表示装置が有する副画素全てで画像を表示するだけでなく、一部の副画素は、光源としての光を呈し、残りの副画素で画像を表示することもできる。
 本発明の一態様の表示装置は、表示部に、発光デバイスがマトリクス状に配置されており、当該表示部で画像を表示できる。また、当該表示部には、受光デバイスがマトリクス状に配置されており、表示部は、画像表示機能に加えて、撮像機能及びセンシング機能の一方または双方を有する。表示部は、イメージセンサまたはタッチセンサに用いることができる。つまり、表示部で光を検出することで、画像を撮像すること、または、対象物(指、手、またはペンなど)の近接もしくは接触を検出することができる。さらに、本発明の一態様の表示装置は、発光デバイスをセンサの光源として利用できる。したがって、表示装置と別に受光部及び光源を設けなくてもよく、電子機器の部品点数を削減できる。
 本発明の一態様の表示装置では、表示部が有する発光デバイスが発した光を対象物が反射(または散乱)した際、受光デバイスがその反射光(または散乱光)を検出できるため、暗い場所でも、撮像またはタッチ検出が可能である。
 受光デバイスをイメージセンサに用いる場合、表示装置は、受光デバイスを用いて、画像を撮像することができる。例えば、本実施の形態の表示装置は、スキャナとして用いることができる。
 例えば、イメージセンサを用いて、指紋、掌紋などの生体情報に係るデータを取得することができる。つまり、表示装置に、生体認証用センサを内蔵させることができる。表示装置が生体認証用センサを内蔵することで、表示装置とは別に生体認証用センサを設ける場合に比べて、電子機器の部品点数を少なくでき、電子機器の小型化及び軽量化が可能である。
 また、受光デバイスをタッチセンサに用いる場合、表示装置は、受光デバイスを用いて、対象物の近接または接触を検出することができる。
 図25A乃至図25Dに示す画素は、副画素G、副画素B、副画素R、及び、副画素PSを有する。
 図25Aに示す画素には、ストライプ配列が適用されている。図25Bに示す画素には、マトリクス配列が適用されている。
 図25C及び図25Dでは、1つの画素が、2行3列にわたって設けられている例を示す。上の行(1行目)には、3つの副画素(副画素G、副画素B、副画素R)が設けられている。図25Cでは、下の行(2行目)には、3つの副画素PSが設けられている。一方、図25Dでは、下の行(2行目)に、2つの副画素PSが設けられている。図25Cに示すように、上の行と下の行との副画素の配置を揃える構成とすることで、製造プロセスで生じうるゴミなどを効率よく除去することが可能となる。したがって、表示品位の高い表示装置を提供できる。なお、副画素のレイアウトは図25A乃至図25Dの構成に限られない。
 副画素R、副画素G、及び副画素Bは、それぞれ、白色光を発する発光デバイスを有している。副画素R、副画素G、及び副画素Bでは、当該発光デバイスに重畳して、対応する着色層が設けられる。
 副画素PSは、受光デバイスを有する。副画素PSが検出する光の波長は特に限定されない。
 副画素PSが有する受光デバイスは、可視光を検出することが好ましく、青色、紫色、青紫色、緑色、黄緑色、黄色、橙色、赤色などの色のうち一つまたは複数を検出することが好ましい。また、副画素PSが有する受光デバイスは、赤外光を検出してもよい。
 図25Eに示す表示装置100は、基板351と基板359との間に、受光デバイスを有する層353、機能層355、及び、発光デバイスを有する層357を有する。
 機能層355は、受光デバイスを駆動する回路、及び、発光デバイスを駆動する回路を有する。機能層355には、スイッチ、トランジスタ、容量、抵抗、配線、端子などを設けることができる。なお、発光デバイス及び受光デバイスをパッシブマトリクス方式で駆動させる場合には、スイッチ及びトランジスタを設けない構成としてもよい。
 例えば、図25Eに示すように、発光デバイスを有する層357において発光デバイスが発した光が、人の目およびその周辺によって反射されることで、受光デバイスを有する層353における受光デバイスがその反射光を検出する。これにより、人の目の周辺、表面、または内部の情報(瞬きの回数、眼球の動き、瞼の動きなど)を検出できる。
 本実施の形態は、他の実施の形態と適宜組み合わせることができる。
(実施の形態4)
 本実施の形態では、本発明の一態様の表示装置について図26乃至図31を用いて説明する。
 本実施の形態の表示装置は、高精細な表示装置とすることができる。したがって、本実施の形態の表示装置は、例えば、腕時計型、ブレスレット型などの情報端末機(ウェアラブル機器)、並びに、ヘッドマウントディスプレイなどのVR向け機器、メガネ型のAR向け機器など、頭部に装着可能なウェアラブル機器の表示部に用いることができる。
[表示モジュール]
 図26Aに、表示モジュール280の斜視図を示す。表示モジュール280は、表示装置100Cと、FPC290と、を有する。なお、表示モジュール280が有する表示装置は表示装置100Cに限られず、後述する表示装置100D乃至表示装置100Gのいずれかであってもよい。
 表示モジュール280は、基板291及び基板292を有する。表示モジュール280は、表示部281を有する。表示部281は、表示モジュール280における画像を表示する領域であり、後述する画素部284に設けられる各画素からの光を視認できる領域である。
 図26Bに、基板291側の構成を模式的に示した斜視図を示している。基板291上には、回路部282と、回路部282上の画素回路部283と、画素回路部283上の画素部284と、が積層されている。また、基板291上の画素部284と重ならない部分に、FPC290と接続するための端子部285が設けられている。端子部285と回路部282とは、複数の配線により構成される配線部286により電気的に接続されている。
 画素部284は、周期的に配列した複数の画素284aを有する。図26Bの右側に、1つの画素284aの拡大図を示している。画素284aは、副画素110a、副画素110b、及び副画素110cを有する。副画素110a、副画素110b、及び副画素110c並びにその周囲の構成に関しては、先の実施の形態を参酌できる。複数の副画素は、図26Bに示すようにストライプ配列で配置できる。また、デルタ配列、または、ペンタイル配列など様々な発光デバイスの配列方法を適用できる。
 画素回路部283は、周期的に配列した複数の画素回路283aを有する。
 1つの画素回路283aは、1つの画素284aが有する3つの発光デバイスの発光を制御する回路である。1つの画素回路283aは、1つの発光デバイスの発光を制御する回路が3つ設けられる構成としてもよい。例えば、画素回路283aは、1つの発光デバイスにつき、1つの選択トランジスタと、1つの電流制御用トランジスタ(駆動トランジスタ)と、容量素子と、を少なくとも有する構成とすることができる。このとき、選択トランジスタのゲートにはゲート信号が、ソースまたはドレインの一方にはソース信号が、それぞれ入力される。これにより、アクティブマトリクス型の表示装置が実現されている。
 回路部282は、画素回路部283の各画素回路283aを駆動する回路を有する。例えば、ゲート線駆動回路、及び、ソース線駆動回路の一方または双方を有することが好ましい。このほか、演算回路、メモリ回路、及び電源回路等の少なくとも一つを有していてもよい。
 FPC290は、外部から回路部282にビデオ信号または電源電位等を供給するための配線として機能する。また、FPC290上にICが実装されていてもよい。
 表示モジュール280は、画素部284の下側に画素回路部283及び回路部282の一方または双方が積層された構成とすることができるため、表示部281の開口率(有効表示面積比)を極めて高くすることができる。例えば表示部281の開口率は、40%以上100%未満、好ましくは50%以上95%以下、より好ましくは60%以上95%以下とすることができる。また、画素284aを極めて高密度に配置することが可能で、表示部281の精細度を極めて高くすることができる。例えば、表示部281には、2000ppi以上、好ましくは3000ppi以上、より好ましくは5000ppi以上、さらに好ましくは6000ppi以上であって、20000ppi以下、または30000ppi以下の精細度で、画素284aが配置されることが好ましい。
 このような表示モジュール280は、極めて高精細であることから、ヘッドマウントディスプレイなどのVR向け機器、またはメガネ型のAR向け機器に好適に用いることができる。例えば、レンズを通して表示モジュール280の表示部を視認する構成の場合であっても、表示モジュール280は極めて高精細な表示部281を有するためにレンズで表示部を拡大しても画素が視認されず、没入感の高い表示を行うことができる。また、表示モジュール280はこれに限られず、比較的小型の表示部を有する電子機器に好適に用いることができる。例えば腕時計などの装着型の電子機器の表示部に好適に用いることができる。
[表示装置100C]
 図27に示す表示装置100Cは、基板301、副画素110a、110b、110c、容量240、及び、トランジスタ310を有する。副画素110aは発光デバイス130aおよび着色層129aを有し、副画素110bは発光デバイス130bおよび着色層129bを有し、副画素110cは発光デバイス130cおよび着色層129cを有する。
 基板301は、図26A及び図26Bにおける基板291に相当する。トランジスタを含む層101には、基板301から絶縁層255bまでの積層構造が含まれる。
 トランジスタ310は、基板301にチャネル形成領域を有するトランジスタである。基板301としては、例えば単結晶シリコン基板などの半導体基板を用いることができる。トランジスタ310は、基板301の一部、導電層311、低抵抗領域312、絶縁層313、及び、絶縁層314を有する。導電層311は、ゲート電極として機能する。絶縁層313は、基板301と導電層311の間に位置し、ゲート絶縁層として機能する。低抵抗領域312は、基板301に不純物がドープされた領域であり、ソースまたはドレインの一方として機能する。絶縁層314は、導電層311の側面を覆って設けられる。
 また、基板301に埋め込まれるように、隣接する2つのトランジスタ310の間に素子分離層315が設けられている。
 また、トランジスタ310を覆って絶縁層261が設けられ、絶縁層261上に容量240が設けられている。
 容量240は、導電層241と、導電層245と、これらの間に位置する絶縁層243を有する。導電層241は容量240の一方の電極として機能し、導電層245は容量240の他方の電極として機能し、絶縁層243は容量240の誘電体として機能する。
 導電層241は絶縁層261上に設けられ、絶縁層254に埋め込まれている。導電層241は、絶縁層261に埋め込まれたプラグ271によってトランジスタ310のソースまたはドレインの一方と電気的に接続されている。絶縁層243は導電層241を覆って設けられる。導電層245は、絶縁層243を介して導電層241と重なる領域に設けられている。
 容量240を覆って、絶縁層255aが設けられ、絶縁層255a上に絶縁層255bが設けられ、絶縁層255b上に発光デバイス130a、130b、130c等が設けられている。図27に示す発光デバイス130aは、光学調整層として機能する導電層126aを有さない点で、図17Aに示す発光デバイス130aとは異なる。また、図27に示す発光デバイス130bは、光学調整層として機能する導電層126bを有さない点で、図17Aに示す発光デバイス130bとは異なる。また、図27に示す発光デバイス130cは、光学調整層として機能する導電層126cを有さない点で、図17Aに示す発光デバイス130cとは異なる。
 画素電極111a、111b、111c、第1の層113a、第2の層113b、及び、第3の層113cの側面は、それぞれ、絶縁層125、127によって覆われている。第1の層113a、第2の層113b、第3の層113c、絶縁層125、及び絶縁層127上に、第5の層114が設けられ、第5の層114上に共通電極115が設けられている。また、発光デバイス130a、130b、130c上には保護層131が設けられている。保護層131上には保護層132が設けられており、保護層132上には、着色層129a、129b、129cが設けられている。着色層129a、129b、129c上には、樹脂層122によって基板120が貼り合わされている。基板120は、図26Aにおける基板292に相当する。
 絶縁層255a、255bとしては、それぞれ、酸化絶縁膜、窒化絶縁膜、酸化窒化絶縁膜、及び窒化酸化絶縁膜などの各種無機絶縁膜を好適に用いることができる。絶縁層255aとしては、酸化シリコン膜、酸化窒化シリコン膜、酸化アルミニウム膜などの酸化絶縁膜または酸化窒化絶縁膜を用いることが好ましい。絶縁層255bとしては、窒化シリコン膜、窒化酸化シリコン膜などの窒化絶縁膜または窒化酸化絶縁膜を用いることが好ましい。より具体的には、絶縁層255aとして酸化シリコン膜を用い、絶縁層255bとして窒化シリコン膜を用いることが好ましい。絶縁層255bは、エッチング保護膜としての機能を有することが好ましい。または、絶縁層255aとして、窒化絶縁膜または窒化酸化絶縁膜を用い、絶縁層255bとして、酸化絶縁膜または酸化窒化絶縁膜を用いてもよい。本実施の形態では、絶縁層255bに凹部が設けられている例を示すが、絶縁層255bに凹部が設けられていなくてもよい。
 発光デバイスの画素電極は、絶縁層255a、255bに埋め込まれたプラグ256、絶縁層254に埋め込まれた導電層241、及び、絶縁層261に埋め込まれたプラグ271によってトランジスタ310のソースまたはドレインの一方と電気的に接続されている。絶縁層255bの上面の高さと、プラグ256の上面の高さは、一致または概略一致している。プラグには各種導電材料を用いることができる。
[表示装置100D]
 図28に示す表示装置100Dは、トランジスタの構成が異なる点で、表示装置100Cと主に相違する。なお、表示装置100Cと同様の部分については説明を省略することがある。
 トランジスタ320は、チャネルが形成される半導体層に、金属酸化物(酸化物半導体ともいう)が適用されたトランジスタ(OSトランジスタ)である。
 トランジスタ320は、半導体層321、絶縁層323、導電層324、一対の導電層325、絶縁層326、及び、導電層327を有する。
 基板331は、図26A及び図26Bにおける基板291に相当する。トランジスタを含む層101には、基板331から絶縁層255bまでの積層構造が含まれる。基板331としては、絶縁性基板または半導体基板を用いることができる。
 基板331上に、絶縁層332が設けられている。絶縁層332は、基板331から水または水素などの不純物がトランジスタ320に拡散すること、及び半導体層321から絶縁層332側に酸素が脱離することを防ぐバリア層として機能する。絶縁層332としては、例えば酸化アルミニウム膜、酸化ハフニウム膜、窒化シリコン膜などの、酸化シリコン膜よりも水素または酸素が拡散しにくい膜を用いることができる。
 絶縁層332上に導電層327が設けられ、導電層327を覆って絶縁層326が設けられている。導電層327は、トランジスタ320の第1のゲート電極として機能し、絶縁層326の一部は、第1のゲート絶縁層として機能する。絶縁層326の少なくとも半導体層321と接する部分には、酸化シリコン膜等の酸化物絶縁膜を用いることが好ましい。絶縁層326の上面は、平坦化されていることが好ましい。
 導電層327としては、導電層を単層、または2以上積層して用いるとよい。導電層327を2層の導電層が積層された構成とする場合、当該2層の導電層のうち、絶縁層326に設けられた開口の底面及び側壁に接して設けられる導電層は、水もしくは水素などの不純物または酸素の拡散を抑制する機能を有する導電性材料を用いることが好ましい。当該導電性材料として、例えば、チタン、窒化チタン、タンタル、窒化タンタル、ルテニウム、酸化ルテニウム等が挙げられる。当該構成にすることで、水又は水素等の不純物が、半導体層321に拡散することを抑制できる。
 絶縁層326としては、無機絶縁膜を単層、または2以上積層して用いるとよい。絶縁層326として無機絶縁膜を2以上積層して用いる場合、絶縁層326が有する無機絶縁膜の一つは、水または水素などの不純物が基板331からトランジスタ320に拡散することを防ぐバリア層として機能することが好ましい。当該無機絶縁膜としては、上記絶縁層328と同様の絶縁膜を用いることができる。
 半導体層321は、絶縁層326上に設けられる。半導体層321は、半導体特性を有する金属酸化物(酸化物半導体ともいう)膜を有することが好ましい。半導体層321としては、例えば、実施の形態3で説明したトランジスタの半導体層として適用可能な金属酸化物を、単層または積層構造として設ける構成にしてもよい。半導体層321に好適に用いることのできる材料の詳細については後述する。
 一対の導電層325は、半導体層321上に接して設けられ、ソース電極及びドレイン電極として機能する。
 また、一対の導電層325の上面及び側面、並びに半導体層321の側面等を覆って絶縁層328が設けられ、絶縁層328上に絶縁層264が設けられている。絶縁層328は、半導体層321に絶縁層264等から水または水素などの不純物が拡散すること、及び半導体層321から酸素が脱離することを防ぐバリア層として機能する。絶縁層328としては、上記絶縁層332と同様の絶縁膜を用いることができる。
 絶縁層328及び絶縁層264に、半導体層321に達する開口が設けられている。当該開口の内部において、絶縁層264、絶縁層328、及び導電層325の側面、並びに半導体層321の上面に接する絶縁層323と、導電層324とが埋め込まれている。導電層324は、第2のゲート電極として機能し、絶縁層323は第2のゲート絶縁層として機能する。
 絶縁層323としては、例えば、酸化シリコン膜、酸化窒化シリコン膜などの無機絶縁膜を用いることができる。なお、絶縁層323は、単層の無機絶縁膜に限られず、無機絶縁膜を2以上積層して用いてもよい。例えば、導電層324と接する側に、酸化アルミニウム膜、酸化ハフニウム膜、窒化シリコン膜などを単層または積層して設けてもよい。これにより、導電層324の酸化を抑制できる。また、例えば、絶縁層264、絶縁層328、及び導電層325と接する側に、酸化アルミニウム膜、または酸化ハフニウム膜を設けてもよい。これにより、半導体層321からの酸素の脱離、半導体層321への酸素の過剰供給、導電層325の酸化などを抑制できる。
 導電層324の上面、絶縁層323の上面、及び絶縁層264の上面は、それぞれ高さが一致または概略一致するように平坦化処理され、これらを覆って絶縁層329及び絶縁層265が設けられている。
 なお、半導体層321のチャネル幅方向における側面の外側において、導電層327と、導電層324とは、絶縁体を介して重畳していることが好ましい。当該構成を有することで、第1のゲート電極として機能する導電層327の電界と、第2のゲート電極として機能する導電層324の電界によって、半導体層321のチャネル形成領域を電気的に取り囲むことができる。本明細書において、第1のゲート電極、および第2のゲート電極の電界によって、チャネル形成領域を電気的に取り囲むトランジスタの構造を、surrounded channel(S−channel)構造とよぶ。
 なお、本明細書等において、S−channel構造のトランジスタとは、一対のゲート電極の一方および他方の電界によって、チャネル形成領域を電気的に取り囲むトランジスタの構造を表す。また、本明細書等で開示するS−channel構造は、Fin型構造およびプレーナ型構造とは異なる。S−channel構造を採用することで、短チャネル効果に対する耐性を高める、別言すると短チャネル効果が発生し難いトランジスタとすることができる。
 トランジスタ320を、ノーマリーオフとして、且つ上記のS−channel構造とすることで、チャネル形成領域を電気的に取り囲むことができる。そのため、トランジスタ320をGAA(Gate All Around)構造、またはLGAA(Lateral Gate All Around)構造と捉えることもできる。トランジスタ320をS−channel構造、GAA構造、またはLGAA構造とすることで、半導体層321とゲート絶縁膜との界面または界面近傍に形成されるチャネル形成領域を、半導体層321のバルク全体とすることができる。したがって、トランジスタに流れる電流密度を向上させることが可能となるため、トランジスタのオン電流の向上、またはトランジスタの電界効果移動度を高めることが期待できる。
 絶縁層264及び絶縁層265は、層間絶縁層として機能する。絶縁層329は、トランジスタ320に絶縁層265等から水または水素などの不純物が拡散することを防ぐバリア層として機能する。絶縁層329としては、上記絶縁層328及び絶縁層332と同様の絶縁膜を用いることができる。
 一対の導電層325の一方と電気的に接続するプラグ274は、絶縁層265、絶縁層329、及び絶縁層264に埋め込まれるように設けられている。ここで、プラグ274は、絶縁層265、絶縁層329、絶縁層264、及び絶縁層328のそれぞれの開口の側面、及び導電層325の上面の一部を覆う導電層274aと、導電層274aの上面に接する導電層274bとを有することが好ましい。このとき、導電層274aとして、水素及び酸素が拡散しにくい導電材料を用いることが好ましい。当該構成とすることで、絶縁層264等から水または水素等の不純物が、プラグ274を通じて半導体層321に混入することを抑制できる。また、絶縁層264に含まれる酸素がプラグ274に吸収されることを抑制できる。
 また、プラグ274の側面に接して絶縁層が設けられてもよい。つまり、絶縁層265、絶縁層329、及び絶縁層264の開口の内壁に接して絶縁層が設けられ、当該絶縁層の側面、及び導電層325の上面の一部に接してプラグ274が設けられる構成にしてもよい。
 表示装置100Dにおける、絶縁層254から基板120までの構成は、表示装置100Cと同様である。
[表示装置100E]
 図29に示す表示装置100Eは、基板301にチャネルが形成されるトランジスタ310と、チャネルが形成される半導体層に金属酸化物を含むトランジスタ320とが積層された構成を有する。なお、表示装置100C、100Dと同様の部分については説明を省略することがある。
 トランジスタ310を覆って絶縁層261が設けられ、絶縁層261上に導電層251が設けられている。また導電層251を覆って絶縁層262が設けられ、絶縁層262上に導電層252が設けられている。導電層251及び導電層252は、それぞれ配線として機能する。また、導電層252を覆って絶縁層263及び絶縁層332が設けられ、絶縁層332上にトランジスタ320が設けられている。また、トランジスタ320を覆って絶縁層265が設けられ、絶縁層265上に容量240が設けられている。容量240とトランジスタ320とは、プラグ274により電気的に接続されている。
 トランジスタ320は、画素回路を構成するトランジスタとして用いることができる。また、トランジスタ310は、画素回路を構成するトランジスタ、または当該画素回路を駆動するための駆動回路(ゲート線駆動回路、ソース線駆動回路)を構成するトランジスタとして用いることができる。また、トランジスタ310及びトランジスタ320は、演算回路または記憶回路などの各種回路を構成するトランジスタとして用いることができる。
 このような構成とすることで、発光デバイスの直下に画素回路だけでなく駆動回路等を形成することができるため、表示領域の周辺に駆動回路を設ける場合に比べて、表示装置を小型化することが可能となる。
[表示装置100F]
 図30に示す表示装置100Fは、それぞれ半導体基板にチャネルが形成されるトランジスタ310Aと、トランジスタ310Bとが積層された構成を有する。
 表示装置100Fは、トランジスタ310B、容量240および各発光デバイスが設けられた基板301Bと、トランジスタ310Aが設けられた基板301Aとが、貼り合された構成を有する。
 ここで、基板301Bの下面に絶縁層345を設けることが好ましい。また、基板301A上に設けられた絶縁層261の上に絶縁層346を設けることが好ましい。絶縁層345、346は、保護層として機能する絶縁層であり、基板301Bおよび基板301Aに不純物が拡散するのを抑制することができる。絶縁層345、346としては、保護層131、132、または絶縁層332に用いることができる無機絶縁膜を用いることができる。
 基板301Bには、基板301Bおよび絶縁層345を貫通するプラグ343が設けられる。ここで、プラグ343の側面を覆って絶縁層344を設けることが好ましい。絶縁層344は、保護層として機能する絶縁層であり、基板301Bに不純物が拡散するのを抑制することができる。絶縁層344としては、保護層131、132、または絶縁層332に用いることができる無機絶縁膜を用いることができる。
 また、基板301Bの裏面(基板120側とは反対側の表面)側、絶縁層345の下に、導電層342が設けられる。導電層342は、絶縁層335に埋め込まれるように設けられることが好ましい。また、導電層342と絶縁層335の下面は平坦化されていることが好ましい。ここで、導電層342はプラグ343と電気的に接続されている。
 一方、基板301Aには、絶縁層346上に導電層341が設けられている。導電層341は、絶縁層336に埋め込まれるように設けられることが好ましい。また、導電層341と絶縁層336の上面は平坦化されていることが好ましい。
 導電層341と、導電層342とが接合されることで、基板301Aと基板301Bとが電気的に接続される。ここで、導電層342と絶縁層335で形成される面と、導電層341と絶縁層336で形成される面の平坦性を向上させておくことで、導電層341と導電層342の貼り合わせを良好にすることができる。
 導電層341および導電層342としては、同じ導電性材料を用いることが好ましい。例えば、Al、Cr、Cu、Ta、Ti、Mo、Wから選ばれた元素を含む金属膜、又は上述した元素を成分とする金属窒化物膜(窒化チタン膜、窒化モリブデン膜、窒化タングステン膜)等を用いることができる。特に、導電層341および導電層342に、銅を用いることが好ましい。これにより、Cu−Cu(カッパー・カッパー)直接接合技術(Cu(銅)のパッド同士を接続することで電気的導通を図る技術)を適用することができる。
[表示装置100G]
 図30では、導電層341と導電層342の接合にCu−Cu直接接合技術を用いる例について示したが、本発明はこれに限られるものではない。図31に示すように、表示装置100Gにおいて、導電層341と導電層342を、バンプ347を介して接合する構成にしてもよい。
 図31に示すように、導電層341と導電層342の間にバンプ347を設けることで、導電層341と導電層342を電気的に接続することができる。バンプ347は、例えば、金(Au)、ニッケル(Ni)、インジウム(In)、錫(Sn)などを含む導電性材料を用いて形成することができる。また例えば、バンプ347として半田を用いる場合がある。また、絶縁層345と絶縁層346の間に、接着層348を設けてもよい。また、バンプ347を設ける場合、絶縁層335及び絶縁層336を設けない構成にしてもよい。
 本実施の形態は、他の実施の形態と適宜組み合わせることができる。
(実施の形態5)
 本実施の形態では、上記の実施の形態で説明したOSトランジスタに用いることができる金属酸化物(酸化物半導体ともいう)について説明する。
 OSトランジスタに用いる金属酸化物は、少なくともインジウムまたは亜鉛を有することが好ましく、インジウム及び亜鉛を有することがより好ましい。例えば、金属酸化物は、インジウムと、M(Mは、ガリウム、アルミニウム、イットリウム、スズ、シリコン、ホウ素、銅、バナジウム、ベリリウム、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、マグネシウム、及びコバルトから選ばれた一種または複数種)と、亜鉛と、を有することが好ましい。特に、Mは、ガリウム、アルミニウム、イットリウム、及びスズから選ばれた一種または複数種であることが好ましく、ガリウムがより好ましい。
 金属酸化物は、スパッタリング法、有機金属化学気相成長(MOCVD:Metal Organic Chemical Vapor Deposition)法などのCVD法、または、ALD法などにより形成することができる。
 以降では、金属酸化物の一例として、インジウム(In)、ガリウム(Ga)、及び亜鉛(Zn)を含む酸化物について説明する。なお、インジウム(In)、ガリウム(Ga)、及び亜鉛(Zn)を含む酸化物を、In−Ga−Zn酸化物と呼ぶ場合がある。
<結晶構造の分類>
 酸化物半導体の結晶構造としては、アモルファス(completely amorphousを含む)、CAAC(c−axis−aligned crystalline)、nc(nanocrystalline)、CAC(cloud−aligned composite)、単結晶(single crystal)、および多結晶(poly crystal)等が挙げられる。
 なお、膜または基板の結晶構造は、X線回折(XRD:X−Ray Diffraction)スペクトルを用いて評価することができる。例えば、GIXD(Grazing−Incidence XRD)測定で得られるXRDスペクトルを用いて評価することができる。なお、GIXD法は、薄膜法またはSeemann−Bohlin法ともいう。また、以下では、GIXD測定で得られるXRDスペクトルを、単に、XRDスペクトルと記す場合がある。
 例えば、石英ガラス基板では、XRDスペクトルのピークの形状がほぼ左右対称である。一方で、結晶構造を有するIn−Ga−Zn酸化物膜では、XRDスペクトルのピークの形状が左右非対称である。XRDスペクトルのピークの形状が左右非対称であることは、膜中または基板中の結晶の存在を明示している。別言すると、XRDスペクトルのピークの形状で左右対称でないと、膜または基板は非晶質状態であるとは言えない。
 また、膜または基板の結晶構造は、極微電子線回折法(NBED:Nano Beam Electron Diffraction)によって観察される回折パターン(極微電子線回折パターンともいう)にて評価することができる。例えば、石英ガラス基板の回折パターンでは、ハローが観察され、石英ガラスは、非晶質状態であることが確認できる。また、室温成膜したIn−Ga−Zn酸化物膜の回折パターンでは、ハローではなく、スポット状のパターンが観察される。このため、室温成膜したIn−Ga−Zn酸化物は、単結晶または多結晶でもなく、非晶質状態でもない、中間状態であり、非晶質状態であると結論することはできないと推定される。
<<酸化物半導体の構造>>
 なお、酸化物半導体は、構造に着目した場合、上記とは異なる分類となる場合がある。例えば、酸化物半導体は、単結晶酸化物半導体と、それ以外の非単結晶酸化物半導体と、に分けられる。非単結晶酸化物半導体としては、例えば、上述のCAAC−OS、およびnc−OSがある。また、非単結晶酸化物半導体には、多結晶酸化物半導体、擬似非晶質酸化物半導体(a−like OS:amorphous−like oxide semiconductor)、非晶質酸化物半導体、などが含まれる。
 ここで、上述のCAAC−OS、nc−OS、およびa−like OSの詳細について、説明を行う。
[CAAC−OS]
 CAAC−OSは、複数の結晶領域を有し、当該複数の結晶領域はc軸が特定の方向に配向している酸化物半導体である。なお、特定の方向とは、CAAC−OS膜の厚さ方向、CAAC−OS膜の被形成面の法線方向、またはCAAC−OS膜の表面の法線方向である。また、結晶領域とは、原子配列に周期性を有する領域である。なお、原子配列を格子配列とみなすと、結晶領域とは、格子配列の揃った領域でもある。さらに、CAAC−OSは、a−b面方向において複数の結晶領域が連結する領域を有し、当該領域は歪みを有する場合がある。なお、歪みとは、複数の結晶領域が連結する領域において、格子配列の揃った領域と、別の格子配列の揃った領域と、の間で格子配列の向きが変化している箇所を指す。つまり、CAAC−OSは、c軸配向し、a−b面方向には明らかな配向をしていない酸化物半導体である。
 なお、上記複数の結晶領域のそれぞれは、1つまたは複数の微小な結晶(最大径が10nm未満である結晶)で構成される。結晶領域が1つの微小な結晶で構成されている場合、当該結晶領域の最大径は10nm未満となる。また、結晶領域が多数の微小な結晶で構成されている場合、当該結晶領域の最大径は、数十nm程度となる場合がある。
 また、In−Ga−Zn酸化物において、CAAC−OSは、インジウム(In)、および酸素を有する層(以下、In層)と、ガリウム(Ga)、亜鉛(Zn)、および酸素を有する層(以下、(Ga,Zn)層)とが積層した、層状の結晶構造(層状構造ともいう)を有する傾向がある。なお、インジウムとガリウムは、互いに置換可能である。よって、(Ga,Zn)層にはインジウムが含まれる場合がある。また、In層にはガリウムが含まれる場合がある。なお、In層には亜鉛が含まれる場合もある。当該層状構造は、例えば、高分解能TEM(Transmission Electron Microscope)像において、格子像として観察される。
 CAAC−OS膜に対し、例えば、XRD装置を用いて構造解析を行うと、θ/2θスキャンを用いたOut−of−plane XRD測定では、c軸配向を示すピークが2θ=31°またはその近傍に検出される。なお、c軸配向を示すピークの位置(2θの値)は、CAAC−OSを構成する金属元素の種類、組成などにより変動する場合がある。
 また、例えば、CAAC−OS膜の電子線回折パターンにおいて、複数の輝点(スポット)が観測される。なお、あるスポットと別のスポットとは、試料を透過した入射電子線のスポット(ダイレクトスポットともいう)を対称中心として、点対称の位置に観測される。
 上記特定の方向から結晶領域を観察した場合、当該結晶領域内の格子配列は、六方格子を基本とするが、単位格子は正六角形とは限らず、非正六角形である場合がある。また、上記歪みにおいて、五角形、七角形などの格子配列を有する場合がある。なお、CAAC−OSにおいて、歪み近傍においても、明確な結晶粒界(グレインバウンダリー)を確認することはできない。即ち、格子配列の歪みによって、結晶粒界の形成が抑制されていることがわかる。これは、CAAC−OSが、a−b面方向において酸素原子の配列が稠密でないこと、金属原子が置換することで原子間の結合距離が変化することなどによって、歪みを許容することができるためと考えられる。
 なお、明確な結晶粒界が確認される結晶構造は、いわゆる多結晶と呼ばれる。結晶粒界は、再結合中心となり、キャリアが捕獲されトランジスタのオン電流の低下、電界効果移動度の低下などを引き起こす可能性が高い。よって、明確な結晶粒界が確認されないCAAC−OSは、トランジスタの半導体層に好適な結晶構造を有する結晶性の酸化物の一つである。なお、CAAC−OSを構成するには、Znを有する構成が好ましい。例えば、In−Zn酸化物、およびIn−Ga−Zn酸化物は、In酸化物よりも結晶粒界の発生を抑制できるため好適である。
 CAAC−OSは、結晶性が高く、明確な結晶粒界が確認されない酸化物半導体である。よって、CAAC−OSは、結晶粒界に起因する電子移動度の低下が起こりにくいといえる。また、酸化物半導体の結晶性は不純物の混入、欠陥の生成などによって低下する場合があるため、CAAC−OSは不純物および欠陥(酸素欠損など)の少ない酸化物半導体ともいえる。従って、CAAC−OSを有する酸化物半導体は、物理的性質が安定する。そのため、CAAC−OSを有する酸化物半導体は熱に強く、信頼性が高い。また、CAAC−OSは、製造工程における高い温度(所謂サーマルバジェット)に対しても安定である。従って、OSトランジスタにCAAC−OSを用いると、製造工程の自由度を広げることが可能となる。
[nc−OS]
 nc−OSは、微小な領域(例えば、1nm以上10nm以下の領域、特に1nm以上3nm以下の領域)において原子配列に周期性を有する。別言すると、nc−OSは、微小な結晶を有する。なお、当該微小な結晶の大きさは、例えば、1nm以上10nm以下、特に1nm以上3nm以下であることから、当該微小な結晶をナノ結晶ともいう。また、nc−OSは、異なるナノ結晶間で結晶方位に規則性が見られない。そのため、膜全体で配向性が見られない。従って、nc−OSは、分析方法によっては、a−like OSまたは非晶質酸化物半導体と区別が付かない場合がある。例えば、nc−OS膜に対し、XRD装置を用いて構造解析を行うと、θ/2θスキャンを用いたOut−of−plane XRD測定では、結晶性を示すピークが検出されない。また、nc−OS膜に対し、ナノ結晶よりも大きいプローブ径(例えば50nm以上)の電子線を用いる電子線回折(制限視野電子線回折ともいう。)を行うと、ハローパターンのような回折パターンが観測される。一方、nc−OS膜に対し、ナノ結晶の大きさと近いかナノ結晶より小さいプローブ径(例えば1nm以上30nm以下)の電子線を用いる電子線回折(ナノビーム電子線回折ともいう。)を行うと、ダイレクトスポットを中心とするリング状の領域内に複数のスポットが観測される電子線回折パターンが取得される場合がある。
[a−like OS]
 a−like OSは、nc−OSと非晶質酸化物半導体との間の構造を有する酸化物半導体である。a−like OSは、鬆または低密度領域を有する。即ち、a−like OSは、nc−OSおよびCAAC−OSと比べて、結晶性が低い。また、a−like OSは、nc−OSおよびCAAC−OSと比べて、膜中の水素濃度が高い。
<<酸化物半導体の構成>>
 次に、上述のCAC−OSの詳細について、説明を行う。なお、CAC−OSは材料構成に関する。
[CAC−OS]
 CAC−OSとは、例えば、金属酸化物を構成する元素が、0.5nm以上10nm以下、好ましくは、1nm以上3nm以下、またはその近傍のサイズで偏在した材料の一構成である。なお、以下では、金属酸化物において、一つまたは複数の金属元素が偏在し、該金属元素を有する領域が、0.5nm以上10nm以下、好ましくは、1nm以上3nm以下、またはその近傍のサイズで混合した状態をモザイク状、またはパッチ状ともいう。
 さらに、CAC−OSとは、第1の領域と、第2の領域と、に材料が分離することでモザイク状となり、当該第1の領域が、膜中に分布した構成(以下、クラウド状ともいう。)である。つまり、CAC−OSは、当該第1の領域と、当該第2の領域とが、混合している構成を有する複合金属酸化物である。
 ここで、In−Ga−Zn酸化物におけるCAC−OSを構成する金属元素に対するIn、Ga、およびZnの原子数比のそれぞれを、[In]、[Ga]、および[Zn]と表記する。例えば、In−Ga−Zn酸化物におけるCAC−OSにおいて、第1の領域は、[In]が、CAC−OS膜の組成における[In]よりも大きい領域である。また、第2の領域は、[Ga]が、CAC−OS膜の組成における[Ga]よりも大きい領域である。または、例えば、第1の領域は、[In]が、第2の領域における[In]よりも大きく、且つ、[Ga]が、第2の領域における[Ga]よりも小さい領域である。また、第2の領域は、[Ga]が、第1の領域における[Ga]よりも大きく、且つ、[In]が、第1の領域における[In]よりも小さい領域である。
 具体的には、上記第1の領域は、インジウム酸化物、インジウム亜鉛酸化物などが主成分である領域である。また、上記第2の領域は、ガリウム酸化物、ガリウム亜鉛酸化物などが主成分である領域である。つまり、上記第1の領域を、Inを主成分とする領域と言い換えることができる。また、上記第2の領域を、Gaを主成分とする領域と言い換えることができる。
 なお、上記第1の領域と、上記第2の領域とは、明確な境界が観察できない場合がある。
 また、In−Ga−Zn酸化物におけるCAC−OSとは、In、Ga、Zn、およびOを含む材料構成において、一部にGaを主成分とする領域と、一部にInを主成分とする領域とが、それぞれモザイク状であり、これらの領域がランダムに存在している構成をいう。よって、CAC−OSは、金属元素が不均一に分布した構造を有していると推測される。
 CAC−OSは、例えば基板を加熱しない条件で、スパッタリング法により形成することができる。また、CAC−OSをスパッタリング法で形成する場合、成膜ガスとして、不活性ガス(代表的にはアルゴン)、酸素ガス、および窒素ガスの中から選ばれたいずれか一つまたは複数を用いればよい。また、成膜時の成膜ガスの総流量に対する酸素ガスの流量比は低いほど好ましい。例えば、成膜時の成膜ガスの総流量に対する酸素ガスの流量比を0%以上30%未満、好ましくは0%以上10%以下とする。
 また、例えば、In−Ga−Zn酸化物におけるCAC−OSでは、エネルギー分散型X線分光法(EDX:Energy Dispersive X−ray spectroscopy)を用いて取得したEDXマッピングにより、Inを主成分とする領域(第1の領域)と、Gaを主成分とする領域(第2の領域)とが、偏在し、混合している構造を有することが確認できる。
 ここで、第1の領域は、第2の領域と比較して、導電性が高い領域である。つまり、第1の領域を、キャリアが流れることにより、金属酸化物としての導電性が発現する。従って、第1の領域が、金属酸化物中にクラウド状に分布することで、高い電界効果移動度(μ)が実現できる。
 一方、第2の領域は、第1の領域と比較して、絶縁性が高い領域である。つまり、第2の領域が、金属酸化物中に分布することで、リーク電流を抑制することができる。
 従って、CAC−OSをトランジスタに用いる場合、第1の領域に起因する導電性と、第2の領域に起因する絶縁性とが、相補的に作用することにより、スイッチングさせる機能(On/Offさせる機能)をCAC−OSに付与することができる。つまり、CAC−OSとは、材料の一部では導電性の機能と、材料の一部では絶縁性の機能とを有し、材料の全体では半導体としての機能を有する。導電性の機能と絶縁性の機能とを分離させることで、双方の機能を最大限に高めることができる。よって、CAC−OSをトランジスタに用いることで、高いオン電流(Ion)、高い電界効果移動度(μ)、および良好なスイッチング動作を実現することができる。
 また、CAC−OSを用いたトランジスタは、信頼性が高い。従って、CAC−OSは、表示装置をはじめとするさまざまな半導体装置に最適である。
 酸化物半導体は、多様な構造をとり、それぞれが異なる特性を有する。本発明の一態様の酸化物半導体は、非晶質酸化物半導体、多結晶酸化物半導体、a−like OS、CAC−OS、nc−OS、CAAC−OSのうち、二種以上を有していてもよい。
<酸化物半導体を有するトランジスタ>
 続いて、上記酸化物半導体をトランジスタに用いる場合について説明する。
 上記酸化物半導体をトランジスタに用いることで、高い電界効果移動度のトランジスタを実現することができる。また、信頼性の高いトランジスタを実現することができる。
 トランジスタには、キャリア濃度の低い酸化物半導体を用いることが好ましい。例えば、酸化物半導体のキャリア濃度は1×1017cm−3以下、好ましくは1×1015cm−3以下、さらに好ましくは1×1013cm−3以下、より好ましくは1×1011cm−3以下、さらに好ましくは1×1010cm−3未満であり、1×10−9cm−3以上である。なお、酸化物半導体膜のキャリア濃度を低くする場合においては、酸化物半導体膜中の不純物濃度を低くし、欠陥準位密度を低くすればよい。本明細書等において、不純物濃度が低く、欠陥準位密度の低いことを高純度真性または実質的に高純度真性と言う。なお、キャリア濃度の低い酸化物半導体を、高純度真性または実質的に高純度真性な酸化物半導体と呼ぶ場合がある。
 また、高純度真性または実質的に高純度真性である酸化物半導体膜は、欠陥準位密度が低いため、トラップ準位密度も低くなる場合がある。
 また、酸化物半導体のトラップ準位に捕獲された電荷は、消失するまでに要する時間が長く、あたかも固定電荷のように振る舞うことがある。そのため、トラップ準位密度の高い酸化物半導体にチャネル形成領域が形成されるトランジスタは、電気特性が不安定となる場合がある。
 従って、トランジスタの電気特性を安定にするためには、酸化物半導体中の不純物濃度を低減することが有効である。また、酸化物半導体中の不純物濃度を低減するためには、近接する膜中の不純物濃度も低減することが好ましい。不純物としては、水素、窒素、アルカリ金属、アルカリ土類金属、鉄、ニッケル、シリコン等がある。なお、酸化物半導体中の不純物とは、例えば、酸化物半導体を構成する主成分以外をいう。例えば、濃度が0.1原子%未満の元素は不純物と言える。
<不純物>
 ここで、酸化物半導体中における各不純物の影響について説明する。
 酸化物半導体において、第14族元素の一つであるシリコンまたは炭素が含まれると、酸化物半導体において欠陥準位が形成される。このため、酸化物半導体中のシリコンまたは炭素の濃度(二次イオン質量分析法(SIMS:Secondary Ion Mass Spectrometry)により得られる濃度)を、2×1018atoms/cm以下、好ましくは2×1017atoms/cm以下とする。
 また、酸化物半導体にアルカリ金属またはアルカリ土類金属が含まれると、欠陥準位を形成し、キャリアを生成する場合がある。従って、アルカリ金属またはアルカリ土類金属が含まれている酸化物半導体を用いたトランジスタはノーマリーオン特性となりやすい。このため、SIMSにより得られる酸化物半導体中のアルカリ金属またはアルカリ土類金属の濃度を、1×1018atoms/cm以下、好ましくは2×1016atoms/cm以下にする。
 また、酸化物半導体において、窒素が含まれると、キャリアである電子が生じ、キャリア濃度が増加し、n型化しやすい。この結果、窒素が含まれている酸化物半導体を半導体に用いたトランジスタはノーマリーオン特性となりやすい。または、酸化物半導体において、窒素が含まれると、トラップ準位が形成される場合がある。この結果、トランジスタの電気特性が不安定となる場合がある。このため、SIMSにより得られる酸化物半導体中の窒素濃度を、5×1019atoms/cm未満、好ましくは5×1018atoms/cm以下、より好ましくは1×1018atoms/cm以下、さらに好ましくは5×1017atoms/cm以下にする。
 また、酸化物半導体に含まれる水素は、金属原子と結合する酸素と反応して水になるため、酸素欠損を形成する場合がある。該酸素欠損に水素が入ることで、キャリアである電子が生成される場合がある。また、水素の一部が金属原子と結合する酸素と結合して、キャリアである電子を生成することがある。従って、水素が含まれている酸化物半導体を用いたトランジスタはノーマリーオン特性となりやすい。このため、酸化物半導体中の水素はできる限り低減されていることが好ましい。具体的には、SIMSにより得られる酸化物半導体中の水素濃度を、1×1020atoms/cm未満、好ましくは1×1019atoms/cm未満、より好ましくは5×1018atoms/cm未満、さらに好ましくは1×1018atoms/cm未満にする。
 不純物が十分に低減された酸化物半導体をトランジスタのチャネル形成領域に用いることで、安定した電気特性を付与することができる。
 本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
(実施の形態6)
 本実施の形態では、本発明の一態様の電子機器および表示システムについて、図32乃至図36を用いて説明する。
 本発明の一態様の電子機器としては、カメラ、処理部、および出力部を備える電子機器が挙げられる。本発明の一態様の電子機器としては、例えば、デスクトップ型またはノート型の情報端末、テレビジョン装置などの比較的大きな画面を備える電子機器の他、携帯データ端末、スマートフォンおよびタブレットなどの携帯情報端末、腕時計型、ブレスレット型などの情報端末機(ウェアラブル機器)などが挙げられる。
 本発明の一態様の電子機器の一例について説明する。なお、図32A乃至図32Eには、先の実施の形態で説明した処理部を有する電子部品4700が各電子機器に含まれている様子を図示している。
 図32Aには、デスクトップ型情報端末5300が図示されている。デスクトップ型情報端末5300は、情報端末の本体5301と、表示部5302と、キーボード5303と、を有する。また、表示部5302を備える筐体には、カメラ5304が固定されている。
 カメラ5304、表示部5302、および電子部品4700を用いることで、デスクトップ型情報端末5300は、デスクトップ型情報端末5300の使用者の状態を推定し、推定した使用者の状態に関する情報を表示部5302に表示できる。または、デスクトップ型情報端末5300とネットワークを介して接続された電子機器の使用者の状態に関する情報を、表示部5302に表示できる。
 なお、図32Aに示すデスクトップ型情報端末5300は、カメラ5304が外付けされている構成を有しているが、これに限られない。カメラ5304は、表示部5302を備える筐体に組み込まれていてもよい。
 図32Bに、ノート型情報端末の一例を示す。ノート型情報端末7200は、筐体7211、キーボード7212、ポインティングデバイス7213、外部接続ポート7214、カメラ7215等を有する。筐体7211に、表示部7000が組み込まれている。
 カメラ7215、表示部7000、および電子部品4700を用いることで、ノート型情報端末7200は、ノート型情報端末7200の使用者の状態を推定し、推定した使用者の状態に関する情報を表示部7000に表示できる。または、ノート型情報端末7200とネットワークを介して接続された電子機器の使用者の状態に関する情報を、表示部7000に表示できる。
 図32Cに、携帯データ端末の一例を示す。携帯データ端末900は、筐体911、表示部912、スピーカ913、カメラ919等を有する。
 カメラ919、表示部912、および電子部品4700を用いることで、携帯データ端末900は、携帯データ端末900の使用者の状態を推定し、推定した使用者の状態に関する情報を表示部912に表示できる。または、携帯データ端末900とネットワークを介して接続された電子機器の使用者の状態に関する情報を、表示部912に表示できる。
 図32Dに、携帯情報端末の一例を示す。携帯情報端末6500は、スマートフォンとして用いることができる。
 携帯情報端末6500は、筐体6501、表示部6502、電源ボタン6503、ボタン6504、スピーカ6505、マイク6506、カメラ6507、及び光源6508等を有する。表示部6502はタッチパネル機能を備える。
 カメラ6507、表示部6502、および電子部品4700を用いることで、携帯情報端末6500は、携帯情報端末6500の使用者の状態を推定し、推定した使用者の状態に関する情報を表示部6502に表示できる。または、携帯情報端末6500とネットワークを介して接続された電子機器の使用者の状態に関する情報を、表示部6502に表示できる。
 また、図32Eには、ウェアラブル端末の一例である情報端末5900が図示されている。情報端末5900は、筐体5901、表示部5902、操作スイッチ5903、操作スイッチ5904、バンド5905、カメラ5906等を有する。
 カメラ5906、表示部5902、および電子部品4700を用いることで、情報端末5900は、情報端末5900の使用者の状態を推定し、推定した使用者の状態に関する情報を表示部5902に表示できる。または、情報端末5900とネットワークを介して接続された電子機器の使用者の状態に関する情報を、表示部5902に表示できる。
 なお、図32Aに示すデスクトップ型情報端末5300、図32Bに示すノート型情報端末7200、図32Cに示す携帯データ端末900、図32Dに示す携帯情報端末6500などの電子機器には、センサ部を備えるヘッドホンが接続されていてもよい。当該センサ部を用いて、当該電子機器の使用者の状態を推定することができる。
 また、本発明の一態様は、カメラ、処理部、および表示部を備える電子機器であればよいため、仮想現実または拡張現実向けの電子機器、代替現実(SR:Substitutional Reality)、または複合現実(MR:Mixed Reality)向けの電子機器なども挙げられる。本発明の一態様の電子機器としては、ヘッドマウントディスプレイ、メガネ型端末、ゴーグル型端末などの頭部に装着可能な情報端末機(ウェアラブル機器)が挙げられる。
 図33A乃至図33Cに、電子機器750の斜視図を示す。図33Aは、電子機器750の正面、上面、及び左側面を示す斜視図であり、図33B、及び図33Cは、電子機器750の背面、底面、及び右側面を示す斜視図である。
 電子機器750は、一対の表示装置751、筐体752、一対の装着部754、緩衝部材755、一対のレンズ756等を有する。一対の表示装置751は、筐体752の内部の、レンズ756を通して視認できる位置にそれぞれ設けられている。
 ここで、一対の表示装置751は、図5Bに示す表示部52に対応している。また、一対のレンズ756は、図5Bに示す光学系67に対応している。また図示しないが、図33A乃至図33Cに示す電子機器750は、カメラ、および、先の実施の形態で説明した処理部を有する電子部品を有する。当該カメラは、使用者の目およびその近傍を撮像することができる。また図示しないが、図33A乃至図33Cに示す電子機器750では、実施の形態1で説明した、動き検出部68、オーディオ63、制御部64、通信部65、およびバッテリ66を筐体752内に備える。
 電子機器750は、VR向けの電子機器である。電子機器750を装着した使用者は、レンズ756を通して表示装置751に表示される画像を視認することができる。また一対の表示装置751に異なる画像を表示させることで、視差を用いた3次元表示を行うこともできる。
 また、筐体752の背面側には、入力端子757と、出力端子758とが設けられている。入力端子757には映像出力機器等からの映像信号、または筐体752内に設けられるバッテリを充電するための電力等を供給するケーブルを接続することができる。出力端子758としては、例えば音声出力端子として機能し、イヤホン、ヘッドホン等を接続することができる。
 また、筐体752は、レンズ756及び表示装置751が、使用者の目の位置に応じて最適な位置となるように、これらの左右の位置を調整可能な機構を有していることが好ましい。また、レンズ756と表示装置751との距離を変えることで、ピントを調整する機構を有していることが好ましい。
 上記カメラ、表示装置751、および上記電子部品を用いることで、電子機器750は、電子機器750の使用者の状態を推定し、推定した使用者の状態に関する情報を表示装置751に表示できる。または、電子機器750とネットワークを介して接続された電子機器の使用者の状態に関する情報を、表示装置751に表示できる。
 緩衝部材755は、使用者の顔(額、頬など)に接触する部分である。緩衝部材755が使用者の顔と密着することにより、光漏れを防ぐことができ、より没入感を高めることができる。緩衝部材755は、使用者が電子機器750を装着した際に使用者の顔に密着するよう、緩衝部材755としては柔らかな素材を用いることが好ましい。例えばゴム、シリコーンゴム、ウレタン、スポンジなどの素材を用いることができる。また、スポンジ等の表面を布、革(天然皮革または合成皮革)、などで覆ったものを用いると、使用者の顔と緩衝部材755との間に隙間が生じにくく光漏れを好適に防ぐことができる。また、このような素材を用いると、肌触りが良いことに加え、寒い季節などに装着した際に、使用者に冷たさを感じさせないため好ましい。緩衝部材755または装着部754などの、使用者の肌に触れる部材は、取り外し可能な構成とすると、クリーニングまたは交換が容易となるため好ましい。
 本実施の形態の電子機器は、さらに、イヤホン754Aを有していてもよい。イヤホン754Aは、通信部(図示しない)を有し、無線通信機能を有する。イヤホン754Aは、無線通信機能により、音声データを出力することができる。なおイヤホン754Aは、骨伝導イヤホンとして機能する振動機構を有していてもよい。
 またイヤホン754Aは、図33Cに図示するイヤホン754Bのように、装着部754に直接接続、または有線接続されている構成とすることができる。また、イヤホン754Bおよび装着部754はマグネットを有していてもよい。これにより、イヤホン754Bを装着部754に磁力によって固定することができ、収納が容易となり好ましい。
 イヤホン754Aはセンサ部を有してもよい。当該センサ部を用いて、当該電子機器の使用者の状態を推定することができる。
 図34A乃至図34Cは、電子機器8300の外観を示す図である。電子機器8300は、筐体8301と、表示部8302と、バンド状の固定具8304と、一対のレンズ8305と、を有する。また図示しないが、図34A乃至図34Cに示す電子機器8300は、カメラ、および、先の実施の形態で説明した処理部を有する電子部品を有する。当該カメラは、使用者の目およびその近傍を撮像することができる。
 使用者は、レンズ8305を通して、表示部8302の表示を視認することができる。なお、表示部8302を湾曲して配置させると、使用者が高い臨場感を感じることができるため好ましい。また、表示部8302の異なる領域に表示された別の画像を、レンズ8305を通して視認することで、視差を用いた3次元表示等を行うこともできる。なお、表示部8302を1つ設ける構成に限られず、表示部8302を2つ設け、使用者の片方の目につき1つの表示部を配置してもよい。
 上記カメラ、表示部8302、および上記電子部品を用いることで、電子機器8300は、電子機器8300の使用者の状態を推定し、推定した使用者の状態に関する情報を、表示部8302に表示できる。または、電子機器8300とネットワークを介して接続された電子機器の使用者の状態に関する情報を、表示部8302に表示できる。
 図34Dは、電子機器8400の外観を示す図である。電子機器8400は、一対の筐体8401と、装着部8402と、緩衝部材8403と、を有する。一対の筐体8401内には、それぞれ、表示部8404及びレンズ8405が設けられる。一対の表示部8404に互いに異なる画像を表示させることで、視差を用いた3次元表示を行うことができる。また図示しないが、図34Dに示す電子機器8400は、カメラ、および、先の実施の形態で説明した処理部を有する電子部品を有する。当該カメラは、使用者の目およびその近傍を撮像することができる。
 使用者は、レンズ8405を通して表示部8404を視認することができる。レンズ8405はピント調整機構を有し、使用者の視力に応じて位置を調整することができる。表示部8404は、正方形または横長の長方形であることが好ましい。これにより、臨場感を高めることができる。
 上記カメラ、表示部8404、および上記電子部品を用いることで、電子機器8400は、電子機器8400の使用者の状態を推定し、推定した使用者の状態に関する情報を表示部8404に表示できる。または、電子機器8400とネットワークを介して接続された電子機器の使用者の状態に関する情報を、表示部8404に表示できる。
 装着部8402は、使用者の顔のサイズに応じて調整でき、かつ、ずれ落ちることのないよう、可塑性及び弾性を有することが好ましい。また、装着部8402の一部は、骨伝導イヤホンとして機能する振動機構を有していることが好ましい。これにより、別途イヤホン、スピーカなどの音響機器を必要とせず、装着しただけで映像と音声を楽しむことができる。なお、筐体8401内に、無線通信により音声データを出力する機能を有していてもよい。
 装着部8402と緩衝部材8403については、図33A乃至図33Cに示す緩衝部材755の説明を参酌できる。
 図34Eは、電子機器8200の外観を示す図である。
 電子機器8200は、装着部8201、レンズ8202、本体8203、表示部8204、ケーブル8205等を有している。また装着部8201には、バッテリ8206が内蔵されている。また図示しないが、図34Eに示す電子機器8200は、カメラ、および、先の実施の形態で説明した処理部を有する電子部品を有する。当該カメラは、使用者の目およびその近傍を撮像することができる。
 ケーブル8205は、バッテリ8206から本体8203に電力を供給する。本体8203は無線受信機等を備え、受信した映像情報を表示部8204に表示させることができる。また、本体8203はカメラを備え、使用者の眼球またはまぶたの動きの情報を入力手段として用いることができる。
 また、装着部8201には、使用者に触れる位置に、使用者の眼球の動きに伴って流れる電流を検知可能な複数の電極が設けられ、視線を認識する機能を有していてもよい。また、当該電極に流れる電流により、使用者の脈拍をモニタする機能を有していてもよい。また、装着部8201には、温度センサ、圧力センサ、加速度センサ等の各種センサを有していてもよく、使用者の生体情報を表示部8204に表示する機能、使用者の頭部の動きに合わせて表示部8204に表示する映像を変化させる機能などを有していてもよい。
 上記カメラ、表示部8204、および上記電子部品を用いることで、電子機器8200は、電子機器8200の使用者の状態を推定し、推定した使用者の状態に関する情報を表示部8204に表示できる。または、電子機器8200とネットワークを介して接続された電子機器の使用者の状態に関する情報を、表示部8204に表示できる。
 図35Aに、電子機器700の斜視図を示す。電子機器700は、一対の表示装置701、一対の筐体702、一対の光学部材703、一対の装着部704等を有する。また図示しないが、図35Aに示す電子機器700は、カメラ、および、先の実施の形態で説明した処理部を有する電子部品を有する。当該カメラは、使用者の目およびその近傍を撮像することができる。
 電子機器700は、光学部材703の表示領域706に、表示装置701で表示した画像を投影することができる。また、光学部材703は透光性を有するため、使用者は光学部材703を通して視認される透過像に重ねて、表示領域706に表示された画像を見ることができる。したがって電子機器700は、AR表示が可能な電子機器である。
 また一つの筐体702には、前方を撮像することのできるカメラ705が設けられている。また図示しないが、いずれか一方の筐体702には無線受信機、またはケーブルを接続可能なコネクタを備え、筐体702に映像信号等を供給できる。また、筐体702に、ジャイロセンサなどの加速度センサを備えることで、使用者の頭部の向きを検知して、その向きに応じた画像を表示領域706に表示することもできる。また、筐体702にはバッテリが設けられていることが好ましく、無線、または有線によって充電できる。
 続いて、図35Bを用いて、電子機器700の表示領域706への画像の投影方法について説明する。筐体702の内部には、表示装置701、レンズ711、反射板712が設けられている。また、光学部材703の表示領域706に相当する部分には、ハーフミラーとして機能する反射面713を有する。
 表示装置701から発せられた光715は、レンズ711を通過し、反射板712により光学部材703側へ反射される。光学部材703の内部において、光715は光学部材703の端面で全反射を繰り返し、反射面713に到達することで、反射面713に画像が投影される。これにより、使用者は、反射面713に反射された光715と、光学部材703(反射面713を含む)を透過した透過光716の両方を視認することができる。
 図35Bでは、反射板712及び反射面713がそれぞれ曲面を有する例を示している。これにより、これらが平面である場合に比べて、光学設計の自由度を高めることができ、光学部材703の厚さを薄くすることができる。なお、反射板712及び反射面713を平面としてもよい。
 反射板712としては、鏡面を有する部材を用いることができ、反射率が高いことが好ましい。また、反射面713としては、金属膜の反射を利用したハーフミラーを用いてもよいが、全反射を利用したプリズムなどを用いると、透過光716の透過率を高めることができる。
 ここで、筐体702は、レンズ711と表示装置701との距離、またはこれらの角度を調整する機構を有していることが好ましい。これにより、ピント調整、画像の拡大、縮小などを行うことが可能となる。例えば、レンズ711または表示装置701の一方または両方が、光軸方向に移動可能な構成とすればよい。
 また筐体702は、反射板712の角度を調整可能な機構を有していることが好ましい。反射板712の角度を変えることで、画像が表示される表示領域706の位置を変えることが可能となる。これにより、使用者の目の位置に応じて最適な位置に表示領域706を配置することが可能となる。
 上記カメラ、表示装置701、および上記電子部品を用いることで、電子機器700は、電子機器700の使用者の状態を推定し、推定した使用者の状態に関する情報を表示装置701に表示できる。または、電子機器700とネットワークを介して接続された電子機器の使用者の状態に関する情報を、表示装置701に表示できる。
 なお、本発明の一態様の電子機器は、カメラ、処理部、および表示部を備えればよいため、上述した電子機器以外にも、表示機能を有する電子機器であってもよい。このような電子機器としては、例えばテレビジョン装置、モニタ装置、デジタルサイネージ、パチンコ機、ゲーム機などの比較的大きな画面を備える電子機器の他、携帯型ゲーム機、デジタルカメラ、デジタルビデオカメラ、デジタルフォトフレーム、音響再生装置などが挙げられる。
 特に、携帯型ゲーム機、スマートフォンなどの電子機器は、当該電子機器を取り付けた筐体をバンド状の固定部または装着部などを用いて頭部に装着することで、例えば、VR向け機器として使用できる場合がある。よって、本発明の一態様の表示装置を、当該電子機器の表示部に適用してもよい。
 本実施の形態の電子機器は、アンテナを有していてもよい。アンテナで信号を受信することで、表示部で映像及び情報等の表示を行うことができる。また、電子機器がアンテナ及び二次電池を有する場合、アンテナを、非接触電力伝送に用いてもよい。
 本実施の形態の電子機器は、センサ(力、変位、位置、速度、加速度、角速度、回転数、距離、光、液、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、においまたは赤外線を検知、検出、または測定する機能を含むもの)を有していてもよい。
 本実施の形態の電子機器は、様々な機能を有することができる。例えば、様々な情報(静止画、動画、テキスト画像など)を表示部に表示する機能、タッチパネル機能、カレンダー、日付または時刻などを表示する機能、様々なソフトウェア(プログラム)を実行する機能、無線通信機能、記録媒体に記録されているプログラムまたはデータを読み出す機能等を有することができる。
 本発明の一態様の表示システムは、上述した電子機器を2つ以上有してもよい。このとき、2つ以上の電子機器の一部は、カメラ、および先の実施の形態で説明した処理部を有する電子部品を用いることで、当該電子機器の使用者の状態を推定し、推定した使用者の状態に関する情報を、当該電子機器が有する表示部または表示装置に表示することができる。また、上記2つ以上の電子機器の他の一部は、ネットワークを介して接続された当該電子機器とは異なる電子機器の使用者の状態に関する情報を、当該電子機器が有する表示部または表示装置に表示することができる。
 または、本発明の一態様の表示システムは、上述した電子機器を2つ以上と、以下で述べる計算機を1つ以上有してもよい。
[計算機]
 図36Aに示す計算機5600は、大型の計算機の例である。計算機5600には、ラック5610にラックマウント型の計算機5620が複数格納されている。
 計算機5620は、例えば、図36Bに示す斜視図の構成とすることができる。図36Bにおいて、計算機5620は、マザーボード5630を有し、マザーボード5630は、複数のスロット5631、複数の接続端子を有する。スロット5631には、PCカード5621が挿されている。加えて、PCカード5621は、接続端子5623、接続端子5624、接続端子5625を有し、それぞれ、マザーボード5630に接続される。
 図36Cに示すPCカード5621は、CPU、GPU、半導体装置等を備えた処理ボードの一例である。PCカード5621は、ボード5622を有する。また、ボード5622は、接続端子5623と、接続端子5624と、接続端子5625と、半導体装置5626と、半導体装置5627と、半導体装置5628と、接続端子5629と、を有する。なお、図36Cには、半導体装置5626、半導体装置5627、及び半導体装置5628以外の半導体装置を図示しているが、それらの半導体装置については、以下に記載する半導体装置5626、半導体装置5627、及び半導体装置5628の説明を参酌すればよい。
 接続端子5629は、マザーボード5630のスロット5631に挿すことができる形状を有しており、接続端子5629は、PCカード5621とマザーボード5630とを接続するためのインターフェースとして機能する。接続端子5629の規格としては、例えば、PCIe等が挙げられる。
 接続端子5623、接続端子5624、接続端子5625は、例えば、PCカード5621に対して電力供給、信号入力等を行うためのインターフェースとすることができる。また、例えば、PCカード5621によって計算された信号の出力等を行うためのインターフェースとすることができる。接続端子5623、接続端子5624、接続端子5625のそれぞれの規格としては、例えば、USB(Universal Serial Bus)、SATA(Serial ATA)、SCSI(Small Computer System Interface)等が挙げられる。また、接続端子5623、接続端子5624、接続端子5625から映像信号を出力する場合、それぞれの規格としては、HDMI(登録商標)等が挙げられる。
 半導体装置5626は、信号の入出力を行う端子(図示しない。)を有しており、当該端子をボード5622が備えるソケット(図示しない。)に対して差し込むことで、半導体装置5626とボード5622を電気的に接続することができる。
 半導体装置5627は、複数の端子を有しており、当該端子をボード5622が備える配線に対して、例えば、リフロー方式のはんだ付けを行うことで、半導体装置5627とボード5622を電気的に接続することができる。半導体装置5627としては、例えば、FPGA(Field Programmable Gate Array)、GPU、CPU等が挙げられる。
 半導体装置5628は、複数の端子を有しており、当該端子をボード5622が備える配線に対して、例えば、リフロー方式のはんだ付けを行うことで、半導体装置5628とボード5622を電気的に接続することができる。半導体装置5628としては、例えば、半導体装置等が挙げられる。
 半導体装置5627および/または半導体装置5628として、例えば、先の実施の形態で説明した処理部を有する電子部品を用いることができる。半導体装置5627および/または半導体装置5628を用いて、表示システムが有する複数の電子機器それぞれの使用者の状態を推定することで、表示システムが有する複数の電子機器それぞれの消費電力を低減できる。または、表示システムが有する複数の電子機器それぞれの動作速度が遅くなることを抑制できる。
 計算機5600は並列計算機としても機能できる。計算機5600を並列計算機として用いることで、例えば、人工知能の学習、及び推論に必要な大規模の計算を行うことができる。
 本実施の形態で例示した構成例、およびそれらに対応する図面等は、少なくともその一部を他の構成例、または図面等と適宜組み合わせることができる。
 本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
ACTF:回路、AFP:回路、ALP:アレイ部、ANN:ニューラルネットワーク、BW:バス配線、CA:セルアレイ、C1:容量、C1r:容量、C5:容量、C5m:容量、F1:トランジスタ、F1m:トランジスタ、F2:トランジスタ、F2m:トランジスタ、F3:トランジスタ、F4:トランジスタ、HC:保持部、ILD:回路、IM:セル、IMref:セル、ITRZ:変換回路、MAC1:演算回路、MC:回路、MCr:回路、MP:回路、M1:トランジスタ、M1r:トランジスタ、M2:トランジスタ、M3:トランジスタ、M3r:トランジスタ、NN:ノード、NNref:ノード、n1:ノード、OL:配線、OLB:配線、PS:副画素、SWL1:配線、SWL2:配線、SWS1:回路、SWS2:回路、TW:回路、VE:配線、VEr:配線、WCL:配線、WCS:回路、WL:配線、WLD:回路、WSD:回路、WSL:配線、WX1L:配線、XCL:配線、XCS:回路、XLD:回路、10:電子機器、11:生徒、12:カメラ、20:電子機器、21:先生、22:カメラ、30:ネットワーク、50:電子機器、51:カメラ、52:表示部、52L:表示部、52R:表示部、53:処理部、53a:処理部、53b:処理部、53c:処理部、53d:処理部、54:処理部、54a:処理部、54b:処理部、55:センサ部、62:フレームメモリ、63:オーディオ、64:制御部、65:通信部、66:バッテリ、67:光学系、67L:光学系、67R:光学系、68:検出部、70:表示システム、71:電子機器、72:電子機器、73:ネットワーク、74:サーバ、75:カメラ、76:処理部、77:処理部、78:処理部、91:入力データ、92:ニューラルネットワーク、93:出力データ、94:ニューラルネットワーク、95:中間データ、96:入力データ、97:ニューラルネットワーク、100:表示装置、100A:表示装置、100B:表示装置、100C:表示装置、100D:表示装置、100E:表示装置、100F:表示装置、100G:表示装置、101:層、110:画素、110a:副画素、110b:副画素、110c:副画素、110d:副画素、111a:画素電極、111b:画素電極、111c:画素電極、113a:層、113b:層、113c:層、114:層、115:共通電極、117:遮光層、118:犠牲層、119:犠牲層、120:基板、122:樹脂層、124a:画素、124b:画素、125:絶縁層、126a:導電層、126b:導電層、126c:導電層、127:絶縁層、128:層、129a:着色層、129b:着色層、129c:着色層、130a:発光デバイス、130b:発光デバイス、130c:発光デバイス、131:保護層、132:保護層、138:領域、139:領域、142:接着層、151:基板、152:基板、153:絶縁層、162:表示部、164:回路、165:配線、166:導電層、172:FPC、173:IC、201:トランジスタ、204:接続部、205:トランジスタ、209:トランジスタ、210:トランジスタ、211:絶縁層、213:絶縁層、214:絶縁層、215:絶縁層、218:絶縁層、221:導電層、222a:導電層、222b:導電層、223:導電層、225:絶縁層、228:領域、231:半導体層、231i:チャネル形成領域、231n:低抵抗領域、240:容量、241:導電層、242:接続層、243:絶縁層、245:導電層、251:導電層、252:導電層、254:絶縁層、255a:絶縁層、255b:絶縁層、256:プラグ、261:絶縁層、262:絶縁層、263:絶縁層、264:絶縁層、265:絶縁層、271:プラグ、274:プラグ、274a:導電層、274b:導電層、280:表示モジュール、281:表示部、282:回路部、283:画素回路部、283a:画素回路、284:画素部、284a:画素、285:端子部、286:配線部、290:FPC、291:基板、292:基板、301:基板、301A:基板、301B:基板、310:トランジスタ、310A:トランジスタ、310B:トランジスタ、311:導電層、312:低抵抗領域、313:絶縁層、314:絶縁層、315:素子分離層、320:トランジスタ、321:半導体層、323:絶縁層、324:導電層、325:導電層、326:絶縁層、327:導電層、328:絶縁層、329:絶縁層、331:基板、332:絶縁層、335:絶縁層、336:絶縁層、341:導電層、342:導電層、343:プラグ、344:絶縁層、345:絶縁層、346:絶縁層、347:バンプ、348:接着層、350:演算回路、351:基板、353:層、355:機能層、357:層、359:基板、700:電子機器、701:表示装置、702:筐体、703:光学部材、704:装着部、705:カメラ、706:表示領域、711:レンズ、712:反射板、713:反射面、715:光、716:透過光、750:電子機器、751:表示装置、752:筐体、754:装着部、754A:イヤホン、754B:イヤホン、755:緩衝部材、756:レンズ、757:入力端子、758:出力端子、900:携帯データ端末、911:筐体、912:表示部、913:スピーカ、919:カメラ、960:眉毛、961:まつ毛、962:瞳孔、963:角膜、965:強膜、966:上眼瞼、967:下眼瞼、1000_1:表示部、1000_3:表示部、1010_1:画像、1010_2:画像、1010_3:画像、1010_4:画像、1010_5:画像、1010_8:画像、1020_1:使用者、1020_2:使用者、1020_3:使用者、1020_4:使用者、1020_5:使用者、1020_8:使用者、1030_3:画像、1030_4:画像、1030_5:画像、1031:画像、4700:電子部品、5300:デスクトップ型情報端末、5301:本体、5302:表示部、5303:キーボード、5304:カメラ、5600:計算機、5610:ラック、5620:計算機、5621:PCカード、5622:ボード、5623:接続端子、5624:接続端子、5625:接続端子、5626:半導体装置、5627:半導体装置、5628:半導体装置、5629:接続端子、5630:マザーボード、5631:スロット、5900:情報端末、5901:筐体、5902:表示部、5903:操作スイッチ、5904:操作スイッチ、5905:バンド、5906:カメラ、6500:携帯情報端末、6501:筐体、6502:表示部、6503:電源ボタン、6504:ボタン、6505:スピーカ、6506:マイク、6507:カメラ、6508:光源、7000:表示部、7200:ノート型情報端末、7211:筐体、7212:キーボード、7213:ポインティングデバイス、7214:外部接続ポート、7215:カメラ、8200:電子機器、8201:装着部、8202:レンズ、8203:本体、8204:表示部、8205:ケーブル、8206:バッテリ、8300:電子機器、8301:筐体、8302:表示部、8304:固定具、8305:レンズ、8400:電子機器、8401:筐体、8402:装着部、8403:緩衝部材、8404:表示部、8405:レンズ

Claims (14)

  1.  カメラと、処理部と、表示部と、を備え、
     前記カメラは、使用者の目およびその周辺を繰り返し撮像することで、複数の画像データを生成する機能を有し、
     前記処理部は、
     前記複数の画像データから、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、および瞳孔の面積、の少なくとも一を含む情報の経時変化を検出する機能と、
     前記情報の経時変化をもとに、前記使用者の目の疲労度を推定する機能と、
     推定した前記使用者の目の疲労度に応じた文字列情報を生成する機能と、
     を有し、
     前記表示部は、前記文字列情報を表示する機能を有する、
     電子機器。
  2.  請求項1において、
     前記使用者の目の疲労度は、学習済みモデルを用いて推定され、
     前記学習済みモデルは、ニューラルネットワークに対して教師あり学習を行うことで、生成される、
     電子機器。
  3.  請求項1において、
     前記処理部は、積和演算を行う機能を有する演算回路を備え、
     前記演算回路は、前記情報の経時変化をもとに、前記使用者の目の疲労度を推定する、
     電子機器。
  4.  請求項3において、
     前記演算回路は、チャネル形成領域に金属酸化物を含むトランジスタを有する、
     電子機器。
  5.  カメラと、処理部と、表示部と、ヘッドホンと、を備え、
     前記ヘッドホンは、センサ部を有し、
     前記センサ部は、情報の経時変化を取得する機能を有し、
     前記処理部は、
     前記情報の経時変化をもとに、前記使用者のストレス状態を推定する機能と、
     前記使用者のストレス状態に応じた文字列情報を生成する機能と、
     を有し、
     前記表示部は、前記文字列情報を表示する機能を有する、
     電子機器。
  6.  請求項5において、
     前記使用者のストレス状態は、学習済みモデルを用いて推定され、
     前記学習済みモデルは、ニューラルネットワークに対して教師あり学習を行うことで、生成される、
     電子機器。
  7.  請求項5において、
     前記処理部は、積和演算を行う機能を有する演算回路を備え、
     前記演算回路は、前記情報の経時変化をもとに、前記使用者のストレス状態を推定する、
     電子機器。
  8.  請求項7において、
     前記演算回路は、チャネル形成領域に金属酸化物を含むトランジスタを有する、
     電子機器。
  9.  第1の電子機器と、第2の電子機器と、を有し、前記第1の電子機器の使用者の目の情報が取得可能な表示システムであって、
     前記第1の電子機器は、カメラと、処理部と、を備え、
     前記カメラは、前記第1の電子機器の使用者の目およびその周辺を繰り返し撮像することで、複数の画像データを生成する機能を有し、
     前記処理部は、
     前記複数の画像データから、瞬目の頻度、瞬目1回あたりに要する時間、上眼瞼と下眼瞼との間隔、視線の方向、および瞳孔の面積、の少なくとも一を含む情報の経時変化を検出する機能と、
     前記情報の経時変化をもとに、前記使用者の目の疲労度を推定する機能と、
     推定した前記使用者の目の疲労度に応じた文字列情報を生成する機能と、
     を有し、
     前記第2の電子機器は、表示部を備え、
     前記表示部は、前記第1の電子機器から受け付けた前記文字列情報を表示する機能を有する、
     表示システム。
  10.  請求項9において、
     前記使用者の目の疲労度は、学習済みモデルを用いて推定され、
     前記学習済みモデルは、ニューラルネットワークに対して教師あり学習を行うことで、生成される、
     表示システム。
  11.  請求項9において、
     前記処理部は、積和演算を行う機能を有する演算回路を備え、
     前記演算回路は、前記情報の経時変化をもとに、前記使用者の目の疲労度を推定する、
     表示システム。
  12.  第1の電子機器と、第2の電子機器と、を有し、前記第1の電子機器の使用者の目の情報が取得可能な表示システムであって、
     前記第1の電子機器は、カメラと、処理部と、ヘッドホンと、を備え、
     前記ヘッドホンは、センサ部を有し、
     前記センサ部は、情報の経時変化を取得する機能を有し、
     前記処理部は、
     前記情報の経時変化をもとに、前記使用者のストレス状態を推定する機能と、
     前記使用者のストレス状態に応じた文字列情報を生成する機能と、
     を有し、
     前記第2の電子機器は、表示部を備え、
     前記表示部は、前記第1の電子機器から受け付けた前記文字列情報を表示する機能を有する、
     表示システム。
  13.  請求項12において、
     前記使用者のストレス状態は、学習済みモデルを用いて推定され、
     前記学習済みモデルは、ニューラルネットワークに対して教師あり学習を行うことで、生成される、
     表示システム。
  14.  請求項12において、
     前記処理部は、積和演算を行う機能を有する演算回路を備え、
     前記演算回路は、前記情報の経時変化をもとに、前記使用者のストレス状態を推定する、
     表示システム。
PCT/IB2022/052409 2021-03-25 2022-03-17 電子機器および表示システム WO2022200936A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023508139A JPWO2022200936A1 (ja) 2021-03-25 2022-03-17
US18/282,910 US20240169539A1 (en) 2021-03-25 2022-03-17 Electronic device and display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021052048 2021-03-25
JP2021-052048 2021-03-25

Publications (1)

Publication Number Publication Date
WO2022200936A1 true WO2022200936A1 (ja) 2022-09-29

Family

ID=83396370

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2022/052409 WO2022200936A1 (ja) 2021-03-25 2022-03-17 電子機器および表示システム

Country Status (3)

Country Link
US (1) US20240169539A1 (ja)
JP (1) JPWO2022200936A1 (ja)
WO (1) WO2022200936A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093509A (ja) * 2007-10-11 2009-04-30 Sony Corp 情報処理装置及び情報処理方法、並びに記録媒体
JP2009284996A (ja) * 2008-05-28 2009-12-10 Nec Corp 携帯型音楽再生装置及びそれを用いた生体情報管理方法並びにプログラム
JP2012050759A (ja) * 2010-09-03 2012-03-15 Hitachi Ltd 視覚疲労度検出装置、視覚疲労度制御装置及び視覚疲労度検出方法
WO2015072202A1 (ja) * 2013-11-18 2015-05-21 ソニー株式会社 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
WO2018234919A1 (ja) * 2017-06-21 2018-12-27 株式会社半導体エネルギー研究所 ニューラルネットワークを有する半導体装置
JP2019017876A (ja) * 2017-07-20 2019-02-07 株式会社リコー 情報処理装置、情報処理方法、情報処理プログラム、テレビ会議システム、及び生体情報取得システム
WO2020054855A1 (ja) * 2018-09-14 2020-03-19 日本電気株式会社 授業支援システム、判定装置、授業支援方法及びプログラム
CN110969981A (zh) * 2019-12-30 2020-04-07 维沃移动通信有限公司 屏幕显示参数调节方法及电子设备
JP2020099670A (ja) * 2018-12-20 2020-07-02 パナソニックIpマネジメント株式会社 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093509A (ja) * 2007-10-11 2009-04-30 Sony Corp 情報処理装置及び情報処理方法、並びに記録媒体
JP2009284996A (ja) * 2008-05-28 2009-12-10 Nec Corp 携帯型音楽再生装置及びそれを用いた生体情報管理方法並びにプログラム
JP2012050759A (ja) * 2010-09-03 2012-03-15 Hitachi Ltd 視覚疲労度検出装置、視覚疲労度制御装置及び視覚疲労度検出方法
WO2015072202A1 (ja) * 2013-11-18 2015-05-21 ソニー株式会社 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
WO2018234919A1 (ja) * 2017-06-21 2018-12-27 株式会社半導体エネルギー研究所 ニューラルネットワークを有する半導体装置
JP2019017876A (ja) * 2017-07-20 2019-02-07 株式会社リコー 情報処理装置、情報処理方法、情報処理プログラム、テレビ会議システム、及び生体情報取得システム
WO2020054855A1 (ja) * 2018-09-14 2020-03-19 日本電気株式会社 授業支援システム、判定装置、授業支援方法及びプログラム
JP2020099670A (ja) * 2018-12-20 2020-07-02 パナソニックIpマネジメント株式会社 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
CN110969981A (zh) * 2019-12-30 2020-04-07 维沃移动通信有限公司 屏幕显示参数调节方法及电子设备

Also Published As

Publication number Publication date
JPWO2022200936A1 (ja) 2022-09-29
US20240169539A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
US11699391B2 (en) Semiconductor device, display apparatus, and electronic device
US20220328571A1 (en) Display apparatus and electronic device
WO2022200936A1 (ja) 電子機器および表示システム
US20220392982A1 (en) Display apparatus and display system
KR20230027155A (ko) 전자 기기, 및 전자 기기의 인증 방법
US11815689B2 (en) Electronic device
US20240173014A1 (en) Electronic device
WO2022180481A1 (ja) 表示装置および電子機器
US20240237435A1 (en) Semiconductor Device, Display Apparatus, and Electronic Device
WO2023012566A1 (ja) 電子機器、及び電子機器の動作方法
US20240237374A9 (en) Electronic device
US20240138167A1 (en) Electronic device
WO2022200914A1 (ja) 表示装置、表示モジュール、電子機器、及び、表示装置の作製方法
WO2024141889A1 (ja) 電子機器
WO2023052914A1 (ja) 表示装置、電子機器、及び発光装置の動作方法
WO2022180468A1 (ja) 表示装置、表示モジュール、電子機器、及び、表示装置の作製方法
WO2022180482A1 (ja) 表示装置、表示モジュール、電子機器、及び、表示装置の作製方法
US20230113155A1 (en) Electronic device
WO2023275661A1 (ja) 電子機器
WO2022189878A1 (ja) 表示装置、表示モジュール、電子機器、及び、表示装置の作製方法
WO2023057854A1 (ja) 電子装置
WO2022189882A1 (ja) 表示装置、表示モジュール、電子機器、及び、表示装置の作製方法
US20240237464A9 (en) Display apparatus, display module, electronic device, and method of manufacturing display apparatus
WO2023047236A1 (ja) 電子機器、及び通信システム
US20240155880A1 (en) Display apparatus, display module, electronic device, and method of manufacturing display apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22774434

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023508139

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22774434

Country of ref document: EP

Kind code of ref document: A1