WO2025239226A1 - 表示装置及び電子機器 - Google Patents
表示装置及び電子機器Info
- Publication number
- WO2025239226A1 WO2025239226A1 PCT/JP2025/016524 JP2025016524W WO2025239226A1 WO 2025239226 A1 WO2025239226 A1 WO 2025239226A1 JP 2025016524 W JP2025016524 W JP 2025016524W WO 2025239226 A1 WO2025239226 A1 WO 2025239226A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- transistor
- display device
- light
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/02—Viewfinders
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
Definitions
- This disclosure relates to display devices and electronic devices.
- Eye tracking technology is used to estimate human gaze in virtual reality (VR), augmented reality (AR), mixed reality (MR), etc.
- the corneal reflex method in eye tracking measures gaze by projecting near-infrared light onto the subject's eye and capturing the position of the light reflected off the cornea. Multiple infrared LEDs are used as light sources, and the reflected light is captured by an image sensor.
- infrared LEDs and infrared image sensors are arranged around the lens of a head-mounted display or the like as a separate configuration from the display device.
- This configuration has issues such as the need for lens board placement and drive control.
- the LEDs and image sensors can be arranged in an area closer to the display device, but in this case there is the problem that tracking accuracy can be reduced due to stray light, for example, from the red light output from the display device.
- one non-limiting problem that the embodiments of the present disclosure aim to solve is to provide a device that performs appropriate eye tracking.
- the problem that the embodiments of the present disclosure aim to solve can also be, as some further non-limiting examples, a problem that corresponds to the effects described in the embodiments.
- a problem that corresponds to at least one of the effects described in the description of the embodiments of the present disclosure can be considered to be a problem that the present disclosure aims to solve.
- a display device includes a first pixel, a second pixel, and a control circuit.
- the first pixel emits light based on a video signal or an image signal in a display area that displays an image.
- the second pixel irradiates a peripheral region of the display region or the display region with light in the infrared band.
- the control circuit controls at least the second pixel to emit light in the infrared band in synchronization with the timing at which an external or internal image sensor captures an image of light in the infrared band, based on a synchronization signal.
- the first pixel may be driven in a rolling manner.
- the second pixel may be driven in a rolling manner.
- the second pixel may be driven at least once while the first pixel is extinguished.
- the second pixel may be driven asynchronously with respect to the driving of the first pixel.
- the second pixel may be driven in a direction opposite to the driving direction of the first pixel.
- the second pixel may be globally driven.
- the first pixel may be globally driven.
- the second pixel may be globally driven while the first pixel is extinguished.
- the first pixel may be controlled to emit light in an active matrix format.
- the second pixel may be controlled to emit light in an active matrix format.
- the second pixel may be controlled to emit light in a passive matrix format.
- the second pixel may be controlled to emit light by a segment driver.
- the driver that drives the second pixel may be arranged on the same side of the display area as the driver that drives the first pixel.
- the driver that drives the second pixel may be arranged on the opposite side of the display area to the driver that drives the first pixel.
- the second pixel and the synchronization signal may be embedded in the video signal or image signal displayed by the first pixel and transmitted.
- the second pixel and the synchronization signal may be transmitted from an external device via a communication protocol.
- the synchronization signal may be used to receive light emitted by the second pixel and reflected by the human eye to obtain information for performing eye tracking.
- the solid-state imaging device may further include a counter.
- the control circuit may use the counter to control the second pixel to emit light in the infrared band at a timing synchronized with the synchronization signal.
- an electronic device includes a first pixel, a second pixel, and an image sensor.
- the first pixel emits light based on a video signal or an image signal in a display area that displays an image.
- the second pixel irradiates a peripheral region of the display region or the display region with light in the infrared band.
- the image sensor is driven in synchronization with the second pixel and receives at least the light in the infrared band emitted by the second pixel. That is, an electronic device can include any of the solid-state imaging devices described above and an image sensor.
- the electronic device may further include a processing circuit.
- the image sensor may receive light emitted by the second pixel that is reflected by the human eye and acquire information for eye tracking, and the processing circuit may perform eye tracking based on the information acquired by the image sensor.
- FIG. 1 is a block diagram schematically illustrating an example of a display unit of a display device according to an embodiment.
- FIG. 4 is a diagram illustrating scanning timing according to an embodiment.
- FIG. 4 is a diagram illustrating scanning timing according to an embodiment.
- FIG. 4 is a diagram illustrating scanning timing according to an embodiment.
- FIG. 4 is a diagram illustrating scanning timing according to an embodiment.
- FIG. 4 is a diagram illustrating scanning timing according to an embodiment.
- FIG. 4 is a diagram illustrating scanning timing according to an embodiment.
- FIG. 2 is a diagram schematically illustrating an example of pixel connections according to an embodiment.
- FIG. 2 is a diagram schematically illustrating an example of a pixel arrangement according to an embodiment.
- FIG. 1 is a block diagram schematically illustrating an example of a display unit of a display device according to an embodiment.
- FIG. 4 is a diagram illustrating scanning timing according to an embodiment.
- FIG. 4 is a diagram illustrating scanning timing according to an embodiment.
- FIG. 2 is a diagram schematically illustrating an example of pixel connections according to an embodiment.
- FIG. 2 is a diagram schematically illustrating an example of driving a pixel according to an embodiment.
- FIG. 2 is a diagram schematically illustrating an example of driving a pixel according to an embodiment.
- FIG. 2 is a diagram schematically illustrating an example of pixel connections according to an embodiment.
- FIG. 2 is a diagram schematically illustrating an example of driving a pixel according to an embodiment.
- FIG. 2 is a diagram schematically illustrating an example of an arrangement of a driving circuit according to an embodiment.
- FIG. 2 is a diagram schematically illustrating an example of an arrangement of a driving circuit according to an embodiment.
- FIG. 2 is a diagram schematically illustrating an example of an arrangement of a driving circuit according to an embodiment.
- FIG. 2 is a diagram schematically illustrating an example of an arrangement of a driving circuit according to an embodiment.
- FIG. 1 is a block diagram schematically illustrating an example of an electronic device according to an embodiment.
- FIG. 1 is a block diagram schematically illustrating an example of an electronic device according to an embodiment.
- FIG. 2 is a circuit diagram showing an example of a schematic pixel circuit according to an embodiment.
- FIG. 2 is a circuit diagram showing an example of a schematic pixel circuit according to an embodiment.
- FIG. 2 is a circuit diagram showing an example of a schematic pixel circuit according to an embodiment.
- FIG. 2 is a circuit diagram showing an example of a schematic pixel circuit according to an embodiment.
- FIG. 2 is a circuit diagram showing an example of a schematic pixel circuit according to an embodiment.
- FIG. 2 is a circuit diagram showing an example of a schematic pixel circuit according to an embodiment.
- FIG. 2 is a circuit diagram showing an example of a schematic pixel circuit according to an embodiment.
- FIG. 2 is a circuit diagram showing an example of a schematic pixel circuit according to an embodiment.
- FIG. 2 is a circuit diagram showing an example of a schematic pixel circuit according to an embodiment.
- FIG. 2 is a circuit diagram showing an example of a schematic pixel circuit according to an embodiment.
- FIG. 2 is a circuit diagram showing an example of a schematic pixel circuit according to an embodiment.
- FIG. 10 is an external view of an HMD, which is a third application example of the electronic device. Appearance of smart glasses.
- FIG. 10 is a front view of a digital camera as a second application example of the electronic device.
- Rear view of a digital camera. 1 is an external view of a TV, which is an example of an application of the electronic device.
- FIG. 1 is an external view of a smartphone, which is an example of an application of the electronic device.
- FIG. 2 is a diagram showing the interior of the vehicle from the rear to the front.
- FIG. 2 is a diagram showing the interior of the vehicle from the diagonally rear to the diagonally front of the vehicle.
- Display device configuration 2. Examples of light emission timing and light reception timing
- Video information rolling, infrared light rolling (one irradiation during light emission blanking) (Second embodiment) Image information rolling, infrared light rolling (multiple irradiation during light emission blanking) (Third embodiment) Image information rolling, infrared light rolling (irradiation asynchronous with extinction) (Fourth embodiment) Image information rolling, infrared light global (Fifth embodiment) Image information global, infrared light global (Sixth embodiment) Image information rolling, infrared light rolling, different rolling directions 3.
- Examples of drive circuit configurations (Seventh embodiment) Infrared active matrix drive (Eighth embodiment) Infrared passive matrix drive (Ninth embodiment) Drive by infrared segment driver 4.
- Examples of Device Configuration (10th Embodiment) Example of an active matrix type in which a drive circuit is arranged on the same side as a pixel array (11th Embodiment) Example of an active matrix type in which a drive circuit is arranged on the opposite side as a pixel array (12th Embodiment) Example of a passive matrix type in which a drive circuit is arranged on the same side as a pixel array (13th Embodiment) Example of a passive matrix type in which a drive circuit is arranged on the opposite side as a pixel array (14th Embodiment) Electronic device including a display device 5.
- FIG. 1 is a block diagram showing a schematic example of a display unit of a display device according to one embodiment.
- the display device 1 includes at least a pixel array 10, a control circuit 12, a vertical drive circuit 14, and a horizontal drive circuit 16. As shown in FIG. 1, the display device 1 outputs infrared light along with video information or image information (hereinafter referred to as video information, etc.) from the pixel array 10.
- video information hereinafter referred to as video information, etc.
- the pixel array 10 has a display area for displaying video information, etc.
- the pixel array 10 has first pixels that emit light to output video information, etc. in the display area, arranged in a two-dimensional array in a first direction and a second direction.
- the first pixels can have, for example, light-emitting elements that emit RGB colored light to display video information, etc., although the color combinations are not limited to this.
- the pixel array 10 further includes second pixels that emit infrared light for sensing.
- the second pixels are provided on the periphery of the display area for displaying video information, etc., or within the display area.
- the pixel array 10 comprises first pixels that emit light in the display area to output video information, etc., and second pixels that emit light in the peripheral area of the display area or within the display area to perform sensing.
- the control circuit 12 is a controller that displays video information, etc. in the pixel array 10, irradiates infrared light in the pixel array 10, and outputs signals (e.g., synchronization signals for synchronizing timing) to control the reception of infrared light by the image sensor 18 provided inside or outside the display device 1.
- signals e.g., synchronization signals for synchronizing timing
- the output of a signal that controls the timing of image sensor 18 may be achieved by another device rather than display device 1.
- another device may be provided that outputs an image signal to display device 1, and this device may output a signal that synchronizes display device 1 and image sensor 18.
- the timing of image capture by image sensor 18 is controlled based on the synchronization signal output by this device, rather than the signal from display device 1.
- the synchronization signal may be generated within the display device 1, within the image sensor 18, or in a device other than these.
- the generated synchronization signal can be output to each device that requires synchronization.
- the control circuit 12 outputs signals related to video information, etc. to the vertical drive circuit 14 and the horizontal drive circuit 16 to control the display of video information, etc. in the pixel array 10, and also outputs signals related to the irradiation of infrared light to the vertical drive circuit 14 and the horizontal drive circuit 16 to control them.
- the control circuit 12 outputs a synchronization signal associated with the irradiation of infrared light. This synchronization signal controls the light reception by the image sensor 18 to be performed at the appropriate timing.
- the vertical drive circuit 14 is a circuit that selects pixels arranged along a first direction (e.g., the line direction) and places them in a driveable state.
- the vertical drive circuit 14 selects a line based on a signal input from the control circuit 12 and outputs a signal that drives the light-emitting elements of the pixels belonging to that line.
- the control circuit 12 operates the line selection in a second direction (e.g., the column direction) to place the pixels belonging to the appropriate line in a driveable state.
- the horizontal drive circuit 16 is a circuit that outputs drive signals to pixels arranged in the column direction. Based on signals input from the control circuit 12, the horizontal drive circuit 16 outputs signals that drive the light-emitting elements of the pixels belonging to the column.
- the first pixel belonging to the column to which the horizontal drive circuit 16 outputs a drive signal on the line selected by the vertical drive circuit 14 emits light with an appropriate intensity, thereby displaying video information, etc. in the pixel array 10.
- the vertical drive circuit 14 and the horizontal drive circuit 16 cause the second pixel provided in the pixel array 10 to emit infrared light that is not related to the video information, etc.
- the image sensor 18 may be provided inside or outside the display device 1. If the image sensor 18 is provided outside the display device 1, the image sensor 18 is connected to the inside of the display device 1, for example, to the control circuit 12, via an appropriate interface.
- This image sensor 18 is, for example, a sensor that receives infrared light emitted by the second pixel in the pixel array 10. Details regarding the configuration of the image sensor 18 are omitted, but it can be formed as any image sensor that is capable of receiving infrared light and transmitting and receiving appropriate data.
- Image sensor 18 can be driven, for example, in synchronization with the light emission of a second pixel provided in pixel array 10. By driving it in synchronization, it becomes possible for image sensor 18 to receive infrared light emitted from the second pixel at the appropriate timing.
- the image sensor 18 can acquire light emission information or a synchronization signal for light emission of the second pixel, for example, via the control circuit 12 or other internal or external configuration of the display device 1, and can be driven in synchronization with the second pixel.
- the display device 1 transmits a signal (e.g., a synchronization signal) indicating the timing of light emission of the second pixel to the external image sensor 18 via an arbitrary interface, and the image sensor 18 can perform sensing in synchronization with the light emission of the second pixel based on this synchronization signal.
- the image sensor 18 can be driven in synchronization with the emission of the second pixel but not in synchronization with the emission of the first pixel.
- the driving of the second pixel may be asynchronous with the driving of the first pixel.
- Synchronization between the display device 1 and the image sensor 18 can be achieved by a synchronization signal output from either device, or by a synchronization signal from an external device, for example, an external device that generates a video signal/image signal to be displayed on the display device 1.
- Synchronization may be performed by using counters provided in the display device 1 and the image sensor 18 and controlling them based on the synchronization signals acquired by each.
- the display device 1 may have, for example, a first counter.
- the image sensor 18 may have, for example, a second counter.
- the display device 1 emits infrared light when the synchronization signal is synchronized with the first counter.
- the image sensor 18 captures infrared images when the synchronization signal is synchronized with the second counter. By performing processing using these counters, the display device 1 and image sensor 18 can be operated in a synchronized manner.
- FIGS. 2 to 7 are diagrams showing examples of each embodiment, illustrating the timing of light emission by the first pixel that emits light for display, the light emission by the second pixel that emits infrared light, and the exposure of the image sensor 18 that receives the infrared light emitted by the second pixel.
- the light emission intensity of the first pixel is controlled by writing data to the first pixel during the data writing period.
- the light emission intensity of the second pixel does not need to represent video information, etc., and only requires one-bit on/off data, so it can be controlled by whether or not to drive the light emitting element itself, without writing data. For this reason, the diagram does not show data writing to the second pixel.
- the first chart has a horizontal axis representing time, and shows the synchronization signal (Display Vsync) for the first pixel, i.e., the pixel that forms the display area for displaying video signals, etc.
- the second chart has a vertical axis representing the line scanning direction, showing which line is being processed over time.
- the third chart shows the synchronization signal (Sensor Vsync) for image sensor 18.
- the fourth chart has a vertical axis representing the line scanning direction, showing which line in image sensor 18 is being processed over time.
- the first pixel emits light based on the first synchronization signal
- the second pixel emits light based on the third synchronization signal, exposing the image sensor 18.
- the arrows corresponding to the synchronization signals are there to clearly indicate the timing of processing for the synchronization signals; the direction of the arrows has no particular meaning; they simply serve to clearly indicate the timing of coincidence in the illustration.
- the display device 1 controls the light emission of each of the first and second pixels using rolling drive, and the light emission of the second pixel is performed once when the first pixel is off.
- rolling drive refers to a drive similar to the rolling shutter in a so-called image sensor, and refers to a method of scanning data writing and light emission drive or exposure drive for one line or multiple lines in a predetermined direction.
- Rolling drive in the image sensor 18 can refer to being performed in a rolling shutter format.
- the display device 1 After writing data to the first pixel, the display device 1 controls the emission of the first pixel. Starting from the line where the first pixel is off, the display device 1 starts emitting light from the second pixel. The driving of the first pixel and second pixel is performed using a rolling method.
- Image sensor 18 exposes each corresponding line in synchronization with the emission of the second pixel.
- the display area shown in the upper half and the light-receiving area shown in the lower half are shown with the same number of lines, but this is not limited to this, and the number of lines and columns of the display area and light-receiving area do not have to be the same. If they are not the same, it is sufficient to drive the image sensor 18 so that the timing of the emission of the second pixel and the timing of the exposure of the corresponding line are synchronized.
- the scanning speed of the light-emitting line of the first pixel and the scanning speed of the light-emitting line of the second pixel are the same, but this is not limited to this.
- the emission of the second pixel and the exposure of the image sensor 18 are performed at the timing of the extinction of the first pixel, so the timing of these scans may be synchronized.
- the emission of the second pixel and the exposure of the image sensor 18 may be synchronized, but may be driven and controlled asynchronously with the first pixel.
- the control circuit 12 may control the emission of the second pixel and the exposure of the image sensor 18 asynchronously with the first pixel, based on information about the extinction timing of the first pixel.
- the second pixel emits light and the image sensor 18 is exposed once while the first pixel is extinguished, but this is not limited to this. As shown in Figure 3, the second pixel may emit light and the image sensor 18 may be exposed multiple times during the period when the first pixel is extinguished.
- the light emission of the second pixel and the exposure of the image sensor 18 are driven synchronously.
- the light emission of the second pixel and the exposure of the image sensor 18 may be asynchronous with the light emission of the first pixel.
- the second pixel emits light and the image sensor 18 is exposed twice during one period of extinction of the first pixel, but this is not limited to this.
- the second pixel may emit light and the image sensor 18 may be exposed three or more times during one period of extinction of the first pixel.
- the first pixel, the second pixel, and the image sensor 18 are each driven by rolling drive, and the display device 1 can control the drive so that the second pixel emits light and the image sensor 18 is exposed at least once during the extinction period of the first pixel.
- the second pixel emits light and the image sensor 18 is exposed while the first pixel is extinguished, but this is not limited to this.
- the second pixel may emit light and the image sensor 18 may be exposed during the first emission period when the first pixel emits light.
- the emission of the second pixel and the exposure of the image sensor 18 are controlled synchronously.
- the light emission of the first pixel and the light emission of the second pixel may or may not be synchronized. Furthermore, although not shown in the figure, the light emission of the second pixel and the exposure of the image sensor 18 may be performed during the read period or extinction period of the first pixel.
- the second pixel and image sensor 18 were driven in a rolling manner, but in this embodiment, the second pixel is driven globally, and in synchronization with this, the image sensor 18 is also driven globally.
- global driving refers to driving similar to a global shutter in an image sensor, and refers to a method of writing data and driving light emission or exposure at the same timing regardless of the line.
- the light emission of the first pixel is performed by rolling drive, as in the respective embodiments described above.
- the light emission of the second pixel is performed by global drive at the same timing regardless of the line. Accordingly, the exposure of the image sensor 18 is also driven by the global shutter method.
- the data readout of the image sensor 18 is performed in the same way as a normal global shutter type image sensor.
- first pixel and second pixel may operate synchronously, or may operate asynchronously as shown in Figure 5.
- the display device 1 can globally drive the emission of light from the first pixel and second pixel.
- the display device 1 After reading the first pixel, the display device 1 performs global driving to emit light from the first pixel. In parallel with this driving, during the extinction period of the first pixel, it can also perform global driving to emit light from the second pixel and expose the image sensor 18 in synchronization with the emission of the second pixel.
- the display device 1 can suppress the unnaturalness caused by rolling drive when displaying video information, etc.
- the second pixel emits light during the extinction period of the first pixel, but this is not limited to this.
- the second pixel may emit light during the first emission period when the first pixel emits light.
- the second pixel emits light asynchronously with the emission timing of the first pixel during the extinction period of the first pixel, but this is not limited to this.
- the second pixel may be controlled to emit light in synchronization with the emission (or extinction) timing of the first pixel.
- the display device 1 drives them in the same direction. This is not limited to this, and the rolling drive directions for the light emission of the first pixel and the light emission of the second pixel can be opposite.
- the light emitted by the first pixels is scanned line by line from the top to the bottom of the pixel array 10
- the light emitted by the second pixels is scanned line by line from the bottom to the top of the pixel array 10, with each scanned and driven in the opposite direction.
- the image sensor 18 is exposed in synchronization with the light emitted by the second pixels.
- the light emission of the first pixel and the light emission of the second pixel may or may not be synchronized. If they are asynchronous, the area where the timing of the light emission of the first pixel and the second pixel overlaps will differ from frame to frame, making it possible to disperse the effects of stray light in the image sensor 18, so asynchronous emission is preferable.
- pixel array 10 is equipped with first pixels that display video information, etc., and second pixels that emit infrared light. Examples of the arrangement and driving of these pixels will be explained below.
- the first pixel which displays video information, etc., is preferably driven in an active matrix format due to the need for resolution and response speed.
- a vertical drive circuit 14 and a horizontal drive circuit 16 are described as sending signals to the first pixel and second pixel, respectively, but the layout of these drive circuits will be explained in the device configuration example below.
- FIG. 8 is a diagram showing a non-limiting example of the connection between the drive circuit and pixels, and the arrangement of the first and second pixels according to one embodiment.
- the pixel array 10 can include first pixels 100 for displaying video information, etc., within the display area, and second pixels 102 for emitting infrared light in other areas.
- the first pixel 100 is connected to the vertical drive circuit 14 via the first signal line 150, and to the horizontal drive circuit 16 via the first signal line 170.
- the signal output from the vertical drive circuit 14 is transmitted to the first pixel 100 via the first signal line 150, selecting a line and transitioning the first pixel 100 belonging to the selected line to a drivable state.
- the signal output from the horizontal drive circuit 16 is transmitted to the first pixels 100 via the first signal line 170, and among the first pixels 100 belonging to the line selected by the vertical drive circuit 14, the first pixels 100 to which the drive signal from the horizontal drive circuit 16 is applied emit light with an appropriate intensity, thereby displaying video information, etc. in the display area of the pixel array 10.
- the signal output from the horizontal drive circuit 16 may include a signal indicating the emission intensity of each first pixel 100 belonging to the selected line.
- the second pixels 102 can be arranged in an area of the pixel array 10 other than the display area, for example, on the periphery of the first pixels 100 arranged in the display area of the pixel array 10.
- the second pixels 102 are connected to the vertical drive circuit 14 via second signal lines 152 and to the horizontal drive circuit 16 via second signal lines 172.
- the signal output from the vertical drive circuit 14 is transmitted to the second pixel 102 via the second signal line 152, selecting a line.
- the second pixel 102 belonging to the selected line transitions to a drivable state.
- the signal output from the horizontal drive circuit 16 is transmitted to the second pixel 102 via the second signal line 172, and of the second pixels 102 belonging to the line selected by the vertical drive circuit 14, the second pixel 102 to which the drive signal is applied from the horizontal drive circuit 16 emits light, irradiating infrared light, for example, to the eyes of a person viewing an image or the like.
- the horizontal drive circuit 16 may transmit only a signal to control illumination, without transmitting a signal indicating the intensity of the second pixel 102.
- this description does not exclude a state in which intensity information of the second pixel 102 is transmitted, and the signal transmitted from the horizontal drive circuit 16 may include a signal indicating the illumination intensity of the second pixel 102.
- both the first pixel 100 and the second pixel 102 may emit light in an active matrix format.
- the second pixel 102 may be arranged in an area of the pixel array 10 where so-called dummy pixels are arranged.
- the second pixel 102 is placed in a dummy area, barrel or pincushion lens distortion, similar to that of video information, may occur. Therefore, in the image sensor 18, it is possible to perform appropriate distortion correction at any timing (for example, when acquiring sensor data, when using sensor data, or when the load is light, etc.) in order to obtain accurate sensing data.
- the vertical drive circuit 14 and horizontal drive circuit 16 must appropriately set the resolution, refresh rate, etc. for the first pixel 100 in order to control the composition of video information, etc., but only need to control the on/off of light emission for the second pixel 102. Therefore, the vertical drive circuit 14 and horizontal drive circuit 16 can control the drive timing, refresh rate, light emission duty, etc. of the second pixel 102 without interfering with the control over the first pixel 100.
- a driver with a lower resolution compared to the first pixel 100 (a driver with a different resolution from that of the first pixel 100) can be used as the vertical drive circuit 14 and horizontal drive circuit 16.
- FIG. 9 is a diagram schematically illustrating another non-limiting example of the arrangement of the first pixels 100 and second pixels 102 in this embodiment.
- the second pixels 102 may be arranged within the display region of the pixel array 10.
- the pixel array 10 includes, for example, light-emitting elements that emit light of each color in an appropriate arrangement such as a Bayer array.
- second pixels 102 may be arranged.
- the first pixels 100 that emit green light can be appropriately thinned out and replaced with the second pixels 102.
- the first pixels 100 to be thinned out are not limited to green, and may be red or blue first pixels 100 as long as they can appropriately display video information, etc.
- the first pixel 100 can be replaced with the second pixel 102 in any proportion.
- first pixels 100 in the first pixel 100 can be arranged as a divided pixel capable of emitting infrared light.
- first pixels 100 including divided pixels that emit infrared light can be arranged in any proportion within the pixel array 10.
- the light emission control can be implemented in any of the first to sixth embodiments described above.
- both the first pixel 100 and the second pixel 102 are configured to be driven in an active matrix format, but the content of the present disclosure is not limited to this. Because the light emitted from the second pixel 102 does not contain video information, etc., it does not require the same resolution as the area that displays video information, etc., and the refresh rate can be made higher than that of pixels that display video information, etc., allowing for faster sensing.
- FIG. 10 is a diagram schematically illustrating an example of the arrangement and connection of a first pixel 100 and a second pixel 102 according to one embodiment.
- the second pixel 102 may be formed to be larger in size than the first pixel 100.
- the first pixel 100 is driven in an active matrix format as in the above embodiment, but the second pixel 102 may be driven in a passive matrix format.
- the first pixel 100 is driven by applying a signal from the vertical drive circuit 14 via the first signal line 150 and a signal from the horizontal drive circuit 16 via the first signal line 170.
- the second pixel 102 may be driven in a passive matrix manner, controlled by two electrodes.
- the hatched areas in Figure 10 are electrodes.
- the second pixel 102 is sandwiched between two electrodes, a first electrode 154 and a second electrode 174, and its light emission is controlled by the application of current to the first electrode 154 by the vertical drive circuit 14 and the application of current to the second electrode 174 by the horizontal drive circuit 16.
- the second pixel 102 can emit infrared light by the voltage applied to the first electrode 154 from the vertical drive circuit 14 and the voltage applied to the second electrode 174 from the horizontal drive circuit 16.
- the second pixels 102 do not necessarily need to have high resolution when performing eye tracking, for example, and there is no particular need for fine control of light emission intensity. Furthermore, by reducing the number of pixels, it becomes possible to achieve a high refresh rate. For this reason, the second pixels 102 may be driven in a passive matrix format.
- the first pixel 100 can be driven in an active matrix format, while the second pixel 102 can be driven in a passive matrix format.
- FIG. 11 and 12 show non-limiting examples of the emission of second pixels 102.
- the shaded second pixels 102 indicate pixels that are emitting light.
- the vertical drive circuit 14 and the horizontal drive circuit 16 can apply a voltage to the peripheral electrodes that causes the second pixels 102 to emit light, thereby lighting up the second pixels 102 in the corner regions of the pixel array 10.
- the vertical drive circuit 14 and the horizontal drive circuit 16 can light up the second pixels 102 in the inner regions of the pixel array 10 by applying a voltage to the inner electrodes that causes the second pixels 102 to emit light.
- the display device 1 can irradiate infrared light from the second pixels 102 in various regions.
- the display device 1 is capable of controlling the emission of the second pixel 102 in a passive matrix format using rolling drive and global drive, and is also able to form various infrared light emission patterns by controlling the emission as shown in Figures 11 and 12. As a result, the display device 1 can control the sensing by the image sensor 18 to acquire data and various information that are more suited to various environments.
- the eighth embodiment an example was described in which the light emission of the second pixel 102, which is a pixel larger than the first pixel 100 in a passive matrix format, is controlled, but since high resolution is not required, the size of the second pixel 102 can also be made even larger.
- FIG. 13 illustrates a non-limiting example of the connection between the first pixel 100 and the second pixel 102 of a display device 1 according to one embodiment.
- the display device 1 may include a segment driver 20, and the second pixel 102 may be arranged as a segment.
- the segment driver 20 is a drive circuit that controls the light emission of the second pixels 102 arranged as segments.
- the segment driver 20 can drive the second pixels 102 in a range suitable for sensing by the image sensor 18 to emit light at any timing.
- Each second pixel 102 is connected to a segment driver 20 via a signal line 200.
- the segment driver 20 transmits a light emission drive control signal to each second pixel 102 via the signal line 200.
- the segment driver 20 lights up each second pixel 102 at the appropriate timing, enabling the image sensor 18 to sense infrared light.
- the first pixels 100 arranged in the display area are connected to the vertical drive circuit 14 via first signal lines 150, and to the horizontal drive circuit 16 via first signal lines 170, as in the respective embodiments described above, and are controlled to emit light in an active matrix format.
- FIG. 14 is a diagram showing a non-limiting example of the light emission of a second pixel 102 as a segment according to one embodiment.
- the hatched area indicates a segment in which the second pixel 102 is emitting light.
- the light emission of any second pixel 102 as a segment can be controlled by the segment driver 20.
- the segment to be illuminated can be selected as desired by the segment driver 20, allowing appropriate illumination to be achieved depending on the intended use of the data sensed by the image sensor 18.
- the segment driver 20 can also control the illumination of the segments at any desired timing. Therefore, any of the first to sixth embodiments described above can be realized using a configuration that uses the segment driver 20.
- FIG. 15 is a diagram illustrating an example of the arrangement of a drive circuit (driver) according to one embodiment.
- the vertical drive circuit 14 and the horizontal drive circuit 16 may each include a circuit that transmits a drive signal to the first pixel 100 and a circuit that transmits a drive signal to the second pixel 102.
- the vertical drive circuit 14 includes, for example, a first vertical drive circuit 140 that drives the first pixel 100 and a second vertical drive circuit 142 that drives the second pixel 102.
- the horizontal drive circuit 16 includes, for example, a first horizontal drive circuit 160 that drives the first pixel 100 and a second horizontal drive circuit 162 that drives the second pixel 102.
- the first vertical drive circuit 140 and the second vertical drive circuit 142 may be arranged on the same side of the pixel array 10 (display area), and the first horizontal drive circuit 160 and the second horizontal drive circuit 162 may be arranged on the same side of the pixel array 10 (display area).
- the first vertical drive circuit 140 outputs a signal to the first pixel 100 via the first signal line 150 to select pixels belonging to the line.
- the first horizontal drive circuit 160 outputs a signal (which may include a signal indicating light emission intensity) to the first pixel 100 via the first signal line 170 to drive pixels belonging to the selected line.
- the second vertical drive circuit 142 outputs a signal to the second pixel 102 via the second signal line 152 to select pixels belonging to the line.
- the second horizontal drive circuit 162 outputs a signal (which may include a signal indicating light emission intensity) to the second pixel 102 via the second signal line 172 to drive pixels belonging to the selected line.
- the vertical drive circuit 14 and the horizontal drive circuit 16 may each include circuitry for driving the first pixel 100 and the second pixel 102, and as shown in the figure, each drive circuit may be located on the same side of the pixel array 10.
- FIG. 16 is a diagram illustrating an example of the arrangement of drive circuits according to one embodiment.
- the vertical drive circuit 14 and the horizontal drive circuit 16 can each include a circuit that transmits a drive signal for the first pixel 100 and a circuit that transmits a drive signal for the second pixel 102.
- the vertical drive circuit 14 includes a first vertical drive circuit 140 that drives the first pixels 100 and a second vertical drive circuit 142 that drives the second pixels 102.
- the horizontal drive circuit 16 includes a first horizontal drive circuit 160 that drives the first pixels 100 and a second horizontal drive circuit 162 that drives the second pixels 102.
- the first vertical drive circuit 140 and the second vertical drive circuit 142 may be arranged on opposite sides (opposite sides) of the pixel array 10, and the first horizontal drive circuit 160 and the second horizontal drive circuit 162 may be arranged on opposite sides (opposite sides) of the pixel array 10.
- the first vertical drive circuit 140 outputs a drive signal to the first pixel 100 via the first signal line 150
- the first horizontal drive circuit 160 outputs a drive signal to the first pixel 100 via the first signal line 170
- the second vertical drive circuit 142 outputs a drive signal to the second pixel 102 via the second signal line 152
- the second horizontal drive circuit 162 outputs a drive signal to the second pixel 102 via the second signal line 172.
- drivers may be arranged on two, three, or four sides of the pixel array 10.
- each drive circuit for example the arrangement of the first vertical drive circuit 140
- the first vertical drive circuit 140 may be divided and arranged on the left and right sides of the pixel array 10 for each predetermined line.
- FIG. 17 is a diagram schematically showing an example of the arrangement of drive circuits according to one embodiment.
- the vertical drive circuit 14 includes a first vertical drive circuit 140 and a second vertical drive circuit 142
- the horizontal drive circuit 16 includes a first horizontal drive circuit 160 and a second horizontal drive circuit 162.
- the first vertical drive circuit 140 and the first horizontal drive circuit 160 output drive signals to the first pixel 100, as in the previously described embodiment.
- the second vertical drive circuit 142 can apply a signal to the first electrode 154 to drive the second pixel 102 driven in a passive matrix format.
- the second horizontal drive circuit 162 can apply a signal to the second electrode 174 to drive the second pixel 102 driven in a passive matrix format.
- Figure 18 is a diagram showing a schematic example of the arrangement of drive circuits according to one embodiment.
- the drive circuits for each pixel can be arranged facing each other on the opposite side of the pixel array 10.
- drivers may be arranged on two, three, or four sides of the pixel array 10.
- each drive circuit for example the arrangement of the first vertical drive circuit 140
- the first vertical drive circuit 140 may be divided and arranged on the left and right sides of the pixel array 10 for each predetermined line.
- FIG 19 is a block diagram showing a schematic example of an electronic device according to one embodiment.
- the electronic device 2 can be configured to include at least a portion of the configuration of the display device 1.
- the electronic device 2 may also include an image sensor 18, a signal processing circuit 22, and an interface (I/F 24) for sending and receiving data, requests, etc. from the outside.
- At least a portion of the image sensor 18 may be provided inside the display device 1.
- the signal processing circuit 22 can convert the video information, etc. acquired via the I/F 24 into appropriate data for display on the pixel array 10.
- the signal processing circuit 22 can also embed a signal indicating the drive timing of the second pixel 102 and the image sensor 18 into this video information, etc.
- the video information, etc. with the embedded signal indicating the drive timing may be transmitted to the signal processing circuit 22 via the I/F 24.
- the control circuit 120 and/or image sensor 180 can achieve synchronized processing by appropriately reading out this embedded synchronization signal.
- the synchronization signal may be embedded in any manner that allows for appropriate signal extraction.
- the signal processing circuit 22 may include a general-purpose processor such as a Graphics Processing Unit (GPU) or a Central Processing Unit (CPU), or it may include analog or digital processing circuits specialized for each function.
- a general-purpose processor such as a Graphics Processing Unit (GPU) or a Central Processing Unit (CPU), or it may include analog or digital processing circuits specialized for each function.
- GPU Graphics Processing Unit
- CPU Central Processing Unit
- the I/F 24 is an interface for connecting the inside and outside of the electronic device 2.
- the I/F 24 is capable of transmitting and receiving data using any communication protocol.
- the electronic device 2 may obtain synchronization signals for the second pixel 102 and the image sensor 18 via the I/F 24 using communication protocols such as CMOS signals, I2C, I3C, and SPI.
- the signal processing circuit 22 displays video information, etc. on the pixel array 10 via the control circuit 12, and also feeds back information acquired by the image sensor 18 to perform signal processing and image processing on the video information, etc.
- the control circuit 12 can execute control to appropriately display and sense using signals that are signal-processed or image-processed by the signal processing circuit 22 and are used to display the video information, etc.
- the signal processing circuit 22 or the control circuit 12 can start or stop infrared light irradiation and sensing based on a request received via the I/F 24.
- the electronic device 2 may have a function to temporarily suspend infrared light irradiation and sensing in response to a signal to reduce power consumption sent externally via the I/F 24.
- the second pixel 102 irradiates infrared light onto the eye of a person looking at the display area, and the image sensor 18 acquires the infrared light reflected by the human eye, allowing the image sensor 18 or the signal processing circuit 22 to acquire or generate a signal related to eye tracking.
- Display device 1 and electronic device 2 having the same configuration as display device 1 make it possible to perform eye tracking in addition to displaying information. Based on the eye-tracking information, display device 1 and electronic device 2 can also accurately perform, by way of non-limiting example, foveated rendering, gaze input, iris authentication, and the like.
- Electronic device 2 may be a VR head-mounted display, VR glasses, AR glasses, or an electronic viewfinder (EVF).
- Display device 1 can operate as a display device in electronic device 2.
- Display device 1 or electronic device 2 can be applied to any of the XR methods: closed, video see-through, and mixed.
- display device 1 can be implemented as a Chip on Board (CoB).
- CoB Chip on Board
- display device 1 can have a discrete infrared LED or an eye sensor implemented on the chip.
- the number of components in electronic device 2 can be reduced, improving costs.
- FIG. 20 is a block diagram that schematically illustrates another non-limiting example of electronic device 2 in FIG. 19.
- electronic device 2 may be considered to be a display system formed not as a single device but as multiple devices.
- FIG. 19 can also be understood as a type of display system.
- Electronic device 2 can also be implemented as a combination of multiple devices (modules). Of course, when formed as an imaging system, at least some of these multiple devices (modules) may exist as separate devices from the other devices (modules).
- Electronic device 2 may be configured, for example, as a display device 1, an image sensor 18, and a signal processing circuit 22, which are separate devices that can be combined to form a single device (or system). Each device may be equipped with an input/output interface.
- the display device 1 includes an I/F 120, and at least a portion of the input and output of the display device 1 can be realized via the I/F 120, which inputs and outputs data to and from the control circuit 12.
- the image sensor 18 includes an I/F 180, and the input and output of the image sensor 18 can be realized via the I/F 180.
- the signal processing circuit 22 includes an I/F 220, and the input and output of the signal processing circuit 22 can be realized via the I/F 220.
- data input and output between the image sensor 18 and the signal processing circuit 22 can be performed via I/F 180 and I/F 220.
- information acquired by the image sensor 18 can be transmitted from I/F 180, which operates as an information transmitter, and received by I/F 220, which operates as an information receiver.
- This information may be video information acquired by the image sensor 18, in which case I/F 180 can operate as a video transmitter and I/F 220 can operate as a video receiver.
- image sensor 18 may also convert the captured image information into other data, and I/F 180 and I/F 220 may also function as interfaces for sending and receiving that data.
- data input/output between the signal processing circuit 22 and the display device 1 can be performed via I/F 220 and I/F 120.
- video information generated by the signal processing circuit 22 can be transmitted from I/F 220 operating as a video transmitter and received by I/F 120 operating as a video receiver.
- This video information may be video information or data related to video information that has been input for display from the outside via I/F 24 shown in FIG. 19 or I/F 220 shown in FIG. 20 and converted into video information by the signal processing circuit 22.
- the signal processing circuit 22 can receive video information or generate video information.
- the signal processing circuit 22 can operate as a video information generation circuit that generates video information, or an image information generation circuit that generates images for each frame of video information.
- the signal processing circuit 22 displays the generated video or image information on the display device 1 via the interface, and can also output a synchronization signal to the display device 1 and the image sensor 18 via the I/F 220.
- the interface in each device can be provided with a path for sending and receiving a synchronization signal that is separate from the path for sending and receiving video or image information.
- the signal processing circuit 22 may also convert the generated video or image information into other data, and the I/F 220 and I/F 120 may also function as interfaces for transmitting and receiving that data.
- pixel PIX will typically refer to the first pixel 100, and in some cases can also be considered to include the second pixel 102.
- FIG. 21 shows an example configuration of pixel PIX.
- Pixel PIX has capacitor C01, transistors MN02 to MN03, and light-emitting element EL.
- Transistors MN02 to MN03 are N-type MOSFETs (Metal Oxide Semiconductor Field Effect Transistors).
- the gate of transistor MN02 is connected to control line WSL, the drain is connected to signal line SGL, and the source is connected to the gate of transistor MN03 and capacitor C01.
- One end of capacitor C01 is connected to the source of transistor MN02 and the gate of transistor MN03, and the other end is connected to the source of transistor MN03 and the anode of light-emitting element EL.
- the gate of transistor MN03 is connected to the source of transistor MN02 and one end of capacitor C01, the drain is connected to power supply line VCCP, and the source is connected to the other end of capacitor C01 and the anode of light-emitting element EL.
- the anode of light-emitting element EL is connected to the source of transistor MN03 and the other end of capacitor C01, and the cathode is connected to power supply line Vcath.
- the voltage of power supply line VCCP is switched appropriately between a first voltage and a second voltage lower than the first voltage.
- pixel PIX when transistor MN02 is turned on, the voltage across capacitor C01 is set based on the pixel signal supplied from signal line SGL. While the voltage of power supply line VCCP is at the first voltage, transistor MN03 passes a current to light-emitting element EL that corresponds to the voltage across capacitor C01. Light-emitting element EL emits light based on the current supplied from transistor MN03. In this way, pixel PIX emits light at a brightness that corresponds to the pixel signal. Note that while the voltage of power supply line VCCP is at the second voltage, light-emitting element EL is extinguished.
- FIG. 22 shows another example of the configuration of pixel PIX.
- This pixel PIX has capacitors C11 and C12, transistors MP12 to MP15, and a light-emitting element EL.
- Transistors MP12 to MP15 are P-type MOSFETs.
- the gate of transistor MP12 is connected to control line WSL, its source is connected to signal line SGL, and its drain is connected to the gate of transistor MP14 and capacitor C12.
- One end of capacitor C11 is connected to power supply line VCCP, and the other end is connected to capacitor C12, the drain of transistor MP13, and the source of transistor MP14.
- capacitor C12 is connected to the other end of capacitor C11, the drain of transistor MP13, and the source of transistor MP14, and the other end is connected to the drain of transistor MP12 and the gate of transistor MP14.
- the gate of transistor MP13 is connected to control line DSL, its source is connected to power supply line VCCP, and its drain is connected to the source of transistor MP14, the other end of capacitor C11, and one end of capacitor C12.
- the gate of transistor MP14 is connected to the drain of transistor MP12 and the other end of capacitor C12, its source is connected to the drain of transistor MP13, the other end of capacitor C11, and one end of capacitor C12, and its drain is connected to the anode of light-emitting element EL and the source of transistor MP15.
- the gate of transistor MP15 is connected to control line AZSL, its source is connected to the drain of transistor MP14 and the anode of light-emitting element EL, and its drain is connected to power supply line VSS.
- Transistor MP13 when transistor MP12 is turned on, the voltage across capacitor C12 is set based on the pixel signal supplied from signal line SGL.
- Transistor MP13 turns on and off based on the signal on control line DSL. While transistor MP13 is on, transistor MP14 passes a current to light-emitting element EL that corresponds to the voltage across capacitor C12. Light-emitting element EL emits light based on the current supplied from transistor MP14. In this way, pixel PIX emits light at a brightness that corresponds to the pixel signal.
- Transistor MP15 turns on and off based on the signal on control line AZSL. While transistor MP15 is on, the anode voltage of light-emitting element EL is initialized by being set to the voltage of power supply line VSS.
- transistors MP12 to MP15 may be transistors that use low temperature polycrystalline silicon (LTPS: Low Temperature Polysilicon). Furthermore, at least one of transistors MP12 and MP15 may be a transistor that uses an oxide semiconductor.
- LTPS Low Temperature Polysilicon
- FIG. 23 shows another example of the configuration of pixel PIX.
- This pixel PIX has capacitor C21, transistors MN22 to MN25, and light-emitting element EL.
- Transistors MN22 to MN25 are N-type MOSFETs.
- the gate of transistor MN22 is connected to control line WSL, the drain is connected to signal line SGL, and the source is connected to the gate of transistor MN24 and capacitor C21.
- One end of capacitor C21 is connected to the source of transistor MN22 and the gate of transistor MN24, and the other end is connected to the source of transistor MN24, the drain of transistor MN25, and the anode of light-emitting element EL.
- the gate of transistor MN23 is connected to control line DSL, the drain is connected to power supply line VCCP, and the source is connected to the drain of transistor MN24.
- the gate of transistor MN24 is connected to the source of transistor MN22 and one end of capacitor C21, its drain is connected to the source of transistor MN23, and its source is connected to the other end of capacitor C21, the drain of transistor MN25, and the anode of light-emitting element EL.
- the gate of transistor MN25 is connected to control line AZSL, its drain is connected to the source of transistor MN24, the other end of capacitor C21, and the anode of light-emitting element EL, and its source is connected to power supply line VSS.
- Transistor MN23 turns on and off based on the signal on control line DSL. While transistor MN23 is on, transistor MN24 passes a current to light-emitting element EL that corresponds to the voltage across capacitor C21. Light-emitting element EL emits light based on the current supplied from transistor MN24. In this way, pixel PIX emits light at a brightness that corresponds to the pixel signal.
- Transistor MN25 turns on and off based on the signal on control line AZSL. While transistor MN25 is on, the anode voltage of light-emitting element EL is initialized by being set to the voltage of power supply line VSS.
- transistors MN22 to MN25 may be transistors that use low temperature polycrystalline silicon (LTPS: Low Temperature Polysilicon). Furthermore, at least one of transistors MN22 and MN25 may be a transistor that uses an oxide semiconductor.
- LTPS Low Temperature Polysilicon
- FIG. 24 shows another example configuration of pixel PIX.
- This pixel PIX has capacitor C31, transistors MP32 to MP36, and light-emitting element EL.
- Transistors MP32 to MP36 are P-type MOSFETs.
- the gate of transistor MP32 is connected to control line WSL, its source is connected to signal line SGL, and its drain is connected to the gate of transistor MP33, the drain of transistor MP34, and capacitor C31.
- One end of capacitor C31 is connected to power supply line VCCP, and the other end is connected to the drain of transistor MP32, the gate of transistor MP33, and the drain of transistor MP34.
- the gate of transistor MP34 is connected to control line AZSL1, its source is connected to the drain of transistor MP33 and the source of transistor MP35, and its drain is connected to the drain of transistor MP32, the gate of transistor MP33, and the other end of capacitor C31.
- the gate of transistor MP35 is connected to control line DSL, its source is connected to the drain of transistor MP33 and the source of transistor MP34, and its drain is connected to the source of transistor MP36 and the anode of light-emitting element EL.
- the gate of transistor MP36 is connected to control line AZSL2, its source is connected to the drain of transistor MP35 and the anode of light-emitting element EL, and its drain is connected to power supply line VSS.
- Transistor MP35 turns on and off based on the signal on control line DSL. While transistor MP35 is on, transistor MP33 passes a current corresponding to the voltage across capacitor C31 through light-emitting element EL. Light-emitting element EL emits light based on the current supplied from transistor MP33. In this way, pixel PIX emits light at a brightness corresponding to the pixel signal.
- Transistor MP34 turns on and off based on the signal on control line AZSL1. While transistor MP34 is on, the drain and gate of transistor MP33 are connected to each other.
- Transistor MP36 turns on and off based on the signal on control line AZSL2. While transistor MP36 is in the on state, the anode voltage of light-emitting element EL is initialized by being set to the voltage of power supply line VSS.
- transistors MP32 to MP36 may be transistors that use low temperature polycrystalline silicon (LTPS: Low Temperature Polysilicon). Furthermore, at least one of transistors MP32, MP34, and MP36 may be a transistor that uses an oxide semiconductor.
- LTPS Low Temperature Polysilicon
- Figure 25 shows another example of the configuration of pixel PIX.
- One end of capacitor C48 is connected to signal line SGL1, and the other end is connected to power supply line VSS.
- One end of capacitor C49 is connected to signal line SGL1, and the other end is connected to signal line SGL2.
- Transistor MP49 is a P-type MOSFET, with its gate connected to control line WSL2, its source connected to signal line SGL1, and its drain connected to signal line SGL2.
- Pixel PIX has capacitor C41, transistors MP42 to MP46, and light-emitting element EL.
- Transistors MP42 to MP46 are P-type MOSFETs.
- the gate of transistor MP42 is connected to control line WSL1, its source is connected to signal line SGL2, and its drain is connected to the gate of transistor MP43 and capacitor C41.
- One end of capacitor C41 is connected to power supply line VCCP, and the other end is connected to the drain of transistor MP42 and the gate of transistor MP43.
- the gate of transistor MP43 is connected to the drain of transistor MP42 and the other end of capacitor C41, its source is connected to power supply line VCCP, and its drain is connected to the sources of transistors MP44 and MP45.
- the gate of transistor MP44 is connected to control line AZSL1, its source is connected to the drain of transistor MP43 and the source of transistor MP45, and its drain is connected to signal line SGL2.
- the gate of transistor MP45 is connected to control line DSL, its source is connected to the drain of transistor MP43 and the source of transistor MP44, and its drain is connected to the source of transistor MP46 and the anode of light-emitting element EL.
- the gate of transistor MP46 is connected to control line AZSL2, its source is connected to the drain of transistor MP45 and the anode of light-emitting element EL, and its drain is connected to power supply line VSS.
- Transistor MP45 turns on and off based on the signal on control line DSL. While transistor MP45 is on, transistor MP43 passes a current to light-emitting element EL that corresponds to the voltage across capacitor C41. Light-emitting element EL emits light based on the current supplied from transistor MP43. In this way, pixel PIX emits light at a brightness that corresponds to the pixel signal. Transistor MP44 turns on and off based on the signal on control line AZSL1.
- transistor MP44 While transistor MP44 is on, the drain of transistor MP43 and signal line SGL2 are connected to each other. Transistor MP46 turns on and off based on the signal on control line AZSL2. While transistor MP46 is in the on state, the anode voltage of light-emitting element EL is initialized by being set to the voltage of power supply line VSS.
- transistors MP42 to MP46 and MP49 may be transistors that use low-temperature polycrystalline silicon (LTPS). Furthermore, at least one of transistors MP42, MP46 and MP49 may be a transistor that uses an oxide semiconductor.
- LTPS low-temperature polycrystalline silicon
- Figure 26 shows another example of the configuration of pixels PIX. Multiple pixels PIX are arranged in a matrix in the display area 10, and the display area 10 is arranged between the first control unit 40 and the second control unit 70.
- the first control unit 40 has transmission gates TG45 and TG46, transistors MP56 and MP57, and a capacitor C61.
- Transistors MP56 and MP57 are P-type MOSFETs. A pixel signal is supplied to the input terminal of transmission gate TG45, and the output terminal of transmission gate TG45 is connected to one end of signal line 14a.
- the input terminal of transmission gate TG46 is connected to signal line 14b, and the output terminal of transmission gate TG46 is connected to power supply line Vorst.
- One end of capacitor C61 is connected to signal line 14a, and the other end is connected to power supply line VSS1.
- the gate of transistor MP56 is connected to control line INIL, its source is connected to power supply line Vini, and its drain is connected to signal line 14b.
- the gate of transistor MP57 is connected to control line ELL, its source is connected to power line Vel, and its drain is connected to signal line 14b.
- the second control unit 70 has a transmission gate TG72, a transistor MP73, and a capacitor C82.
- the transistor MP73 is a P-type MOSFET.
- the input terminal of the transmission gate TG72 is connected to the other terminal of the signal line 14a, and the output terminal is connected to the drain of the transistor MP73 and one terminal of the capacitor C82.
- the gate of the transistor MP73 is connected to the control line REFL, its source is connected to the power supply line Vref, and its drain is connected to the output terminal of the transmission gate TG72 and one terminal of the capacitor C82.
- One terminal of the capacitor C82 is connected to the output terminal of the transmission gate TG72 and the drain of the transistor MP73, and the other terminal is connected to one terminal of the signal line 14b.
- Pixel PIX has capacitor C132, transistors MP121 to MP125, and light-emitting element EL.
- Transistors MP121 to MP125 are P-type MOSFETs.
- the gate of transistor MP122 is connected to control line WSL, its source is connected to signal line 14b, and its drain is connected to the gate of transistor MP121 and capacitor C132.
- One end of capacitor C132 is connected to power supply line Vel, and the other end is connected to the drain of transistor MP122 and the gate of transistor MP121.
- the gate of transistor MP121 is connected to the drain of transistor MP122 and the other end of capacitor C132, its source is connected to power supply line Vel, and its drain is connected to the sources of transistors MP123 and MP124.
- the gate of transistor MP123 is connected to control line AZSL, its source is connected to the drain of transistor MP121 and the source of transistor MP124, and its drain is connected to signal line 14b.
- the gate of transistor MP124 is connected to control line DSL, its source is connected to the drain of transistor MP121 and the source of transistor MP123, and its drain is connected to the drain of transistor MP125 and the anode of light-emitting element 130.
- the gate of transistor MP125 is connected to control line AZSL, its source is connected to power supply line Vorst, and its drain is connected to the drain of transistor MP124 and the anode of light-emitting element 130.
- Transistor MP124 turns on and off based on the signal on control line DSL. While transistor MP124 is on, transistor MP121 passes a current to light-emitting element EL that corresponds to the voltage across capacitor C132. Light-emitting element EL emits light based on the current supplied from transistor MP121. In this way, pixel PIX emits light at a brightness that corresponds to the pixel signal. Transistors MP123 and MP125 turn on and off based on the signal on control line AZSL.
- transistor MP123 While transistor MP123 is in the on state, the drain of transistor MP121 and the source of transistor MP124 are connected to signal line 14b. While transistor MP125 is in the on state, the anode voltage of light-emitting element EL is initialized by being set to the voltage of power supply line Vorst.
- Transistor MP56 turns on and off based on the signal of control line INIL
- transistor MP57 turns on and off based on the signal of control line ELL
- transistor MP73 turns on and off based on the signal of control line REFL.
- signal line 14b When transistor MP56 is in the on state, signal line 14b is set to the voltage of power supply line Vini, and when transistor MP57 is in the on state, signal line 14b is set to the voltage of power supply line Vel.
- transistor MP73 When transistor MP73 is in the on state, one end of capacitor C82 is initialized by being set to the voltage of power supply line Vref.
- transistors MP121 to MP125, MP56, and MP57 may be transistors that use low-temperature polycrystalline silicon (LTPS: Low Temperature Polysilicon). Furthermore, at least one of transistors MP122 and MP125 may be a transistor that uses an oxide semiconductor.
- LTPS Low Temperature Polysilicon
- FIG. 27 shows another example configuration of pixel PIX.
- This pixel PIX has a capacitor C51, transistors MP52 to MP60, and a light-emitting element EL.
- Transistors MP52 to MP60 are P-type MOSFETs.
- the gate of transistor MP52 is connected to control line WSL, its source is connected to signal line SGL, and its drain is connected to the drain of transistor MP53 and the source of transistor MP54.
- the gate of transistor MP53 is connected to control line DSL, its source is connected to power supply line VCCP, and its drain is connected to the drain of transistor MP52 and the source of transistor MP54.
- the gate of transistor MP54 is connected to the source of transistor MP55, the drain of transistor MP57, and capacitor C51, its source is connected to the drains of transistors MP52 and MP53, and its drain is connected to the sources of transistors MP58 and MP59.
- Capacitor C51 has one end connected to the power supply line VCCP and the other end connected to the gate of transistor MP54, the source of transistor MP55, and the drain of transistor MP57.
- Capacitor C51 may include two capacitors connected in parallel.
- the gate of transistor MP55 is connected to control line AZSL1, its source is connected to the gate of transistor MP54, the drain of transistor MP57, and the other end of capacitor C51, and its drain is connected to the source of transistor MP56.
- the gate of transistor MP56 is connected to control line AZSL1, its source is connected to the drain of transistor MP55, and its drain is connected to power supply line VSS.
- the gate of transistor MP57 is connected to control line WSL, its drain is connected to the gate of transistor MP54, the source of transistor MP55, and the other end of capacitor C51, and its source is connected to the drain of transistor MP58.
- the gate of transistor MP58 is connected to control line WSL, its drain is connected to the source of transistor MP57, and its source is connected to the drain of transistor MP54 and the source of transistor MP59.
- the gate of transistor MP59 is connected to control line DSL, its source is connected to the drain of transistor MP54 and the source of transistor MP58, and its drain is connected to the source of transistor MP60 and the anode of light-emitting element EL.
- the gate of transistor MP60 is connected to control line AZSL2, its source is connected to the drain of transistor MP59 and the anode of light-emitting element EL, and its drain is connected to power supply line VSS.
- transistors MP52, MP54, MP58, and MP57 are turned on, setting the voltage across capacitor C51 based on the pixel signal supplied from signal line SGL.
- Transistors MP53 and MP59 are turned on and off based on the signal on control line DSL. While transistors MP53 and MP59 are on, transistor MP54 passes a current to light-emitting element EL that corresponds to the voltage across capacitor C51. Light-emitting element EL emits light based on the current supplied from transistor MP54. In this way, pixel PIX emits light at a brightness that corresponds to the pixel signal.
- Transistors MP55 and MP56 are turned on and off based on the signal on control line AZSL1.
- transistor MP55 and MP56 While transistors MP55 and MP56 are in the on state, the gate voltage of transistor MP54 is initialized by being set to the voltage of power supply line VSS.
- Transistor MP60 turns on and off based on the signal on control line AZSL2. While transistor MP60 is in the on state, the anode voltage of light-emitting element EL is initialized by being set to the voltage of power supply line VSS.
- transistors MP52 to MP60 may be transistors that use low temperature polycrystalline silicon (LTPS: Low Temperature Polysilicon). Furthermore, at least one of transistors MP55 to MP58 and MP60 may be a transistor that uses an oxide semiconductor.
- LTPS Low Temperature Polysilicon
- Figure 28 shows another example of the pixel PIX configuration.
- the signal on control line WSNL and the signal on control line WSPL are inverted signals.
- Pixel PIX has capacitors C61 and C62, transistors MN63, MP64, MN65 to MN67, and a light-emitting element EL.
- Transistors MN63, MN65 to MN67 are N-type MOSFETs
- transistor MP64 is a P-type MOSFET.
- the gate of transistor MN63 is connected to control line WSNL, the drain is connected to signal line SGL and the source of transistor MP64, and the source is connected to the drain of transistor MP64, capacitors C61 and C62, and the gate of transistor MN65.
- Capacitor C61 is configured, for example, using a MOM (Metal Oxide Metal) capacitor, and one end is connected to the source of transistor MN63, the drain of transistor MP64, capacitor C62, and the gate of transistor MN65, and the other end is connected to power supply line VSS2.
- Capacitor C61 may also be configured, for example, using a MOS capacitor or an MIM (Metal Insulator Metal) capacitor.
- Capacitor C62 is configured, for example, using a MOS capacitor, and one end is connected to the source of transistor MN63, the drain of transistor MP64, one end of capacitor C61, and the gate of transistor MN65, and the other end is connected to power supply line VSS2.
- Capacitor C62 may also be configured, for example, using a MOM capacitor or an MIM capacitor. The other end of capacitor C62 may be connected to power supply line VSS3 (not shown).
- the gate of transistor MN65 is connected to the source of transistor MN63, the drain of transistor MP64, and one end of capacitors C61 and C62, its drain is connected to power supply line VCCP, and its source is connected to the drains of transistors MN66 and MN67.
- the gate of transistor MN66 is connected to control line AZL, its drain is connected to the source of transistor MN65 and the drain of transistor MN67, and its source is connected to power supply line VSS1.
- the gate of transistor MN67 is connected to control line DSL, its drain is connected to the source of transistor MN65 and the drain of transistor MN66, and its source is connected to the anode of light-emitting element EL. Note that transistor MN67 and control line DSL may be omitted, and the source of transistor MN65 may be connected to the drain of transistor MN66 and the anode of light-emitting element EL.
- Transistor MN67 turns on and off based on the signal on control line DSL. While transistor MN67 is on, transistor MN65 passes a current to light-emitting element EL that corresponds to the voltage across capacitors C61 and C62. Light-emitting element EL emits light based on the current supplied from transistor MP65. In this way, pixel PIX emits light at a brightness that corresponds to the pixel signal.
- Transistor MN66 may be turned on and off based on the signal on control line AZL. Transistor MN66 may also function as a resistive element having a resistance value that corresponds to the signal on control line AZL. In this case, transistor MN65 and transistor MN66 form a so-called source follower circuit.
- transistors MN63, MP64, MN65 to MN67 may be transistors that use low-temperature polycrystalline silicon (LTPS: Low Temperature Polysilicon). Furthermore, at least one of transistors MN63, MP64, and MN66 may be a transistor that uses an oxide semiconductor.
- LTPS Low Temperature Polysilicon
- FIG. 29 shows another example of the configuration of pixel PIX.
- This pixel PIX has capacitor C71, transistors MN72 to MN77, and light-emitting element EL.
- Transistors MN72 to MN77 are N-type MOSFETs.
- the gate of transistor MN72 is connected to control line WSL, its drain is connected to signal line SGL, and its source is connected to the source of transistor MN74 and the drain of transistor MN75.
- One end of capacitor C71 is connected to the gate of transistor MN74 and the source of transistor MN76, and the other end is connected to the drain of transistor MN77, the source of transistor MN75, and the anode of light-emitting element EL.
- the gate of transistor MN73 is connected to control line DLS1, its drain is connected to power supply line VCCP, and its source is connected to the drain of transistor MN74 and the drain of transistor MN76.
- the gate of transistor MN74 is connected to the source of transistor MN76 and one end of capacitor C71, the drain is connected to the source of transistor MN73 and the drain of transistor MN76, and the source is connected to the source of transistor MN72 and the drain of transistor MN75.
- the gate of transistor MN75 is connected to control line DSL2, the drain is connected to the source of transistor MN72 and the source of transistor MN74, and the source is connected to the other end of capacitor C71, the drain of transistor MN77, and the anode of light-emitting element EL.
- the gate of transistor MN76 is connected to control line AZSL, the drain is connected to the source of transistor MN73 and the drain of transistor MN74, and the source is connected to the gate of transistor MN74 and one end of capacitor C71.
- the gate of transistor MN77 is connected to control line AZSL, its drain is connected to the other end of capacitor C71, the source of transistor MN75, and the anode of light-emitting element EL, and its source is connected to power supply line VSS.
- transistors MN72, MN74, and MN76 are turned on, and the voltage across capacitor C71 is set based on the pixel signal supplied from signal line SGL.
- Transistor MN73 turns on and off based on the signal from control line DSL1
- transistor MN75 turns on and off based on the signal from control line DSL2. While transistors MN73 and MN75 are on, transistor MN74 passes a current corresponding to the voltage across capacitor C71 through light-emitting element EL.
- Light-emitting element EL emits light based on the current supplied from transistor MN74. In this way, pixel PIX emits light at a brightness corresponding to the pixel signal.
- Transistor MN77 turns on and off based on the signal from control line AZSL. While transistor MN77 is in the on state, the anode voltage of light-emitting element EL is initialized by being set to the voltage of power supply line VSS.
- transistors MN72 to MN77 may be transistors that use low temperature polycrystalline silicon (LTPS: Low Temperature Polysilicon).
- Transistor MN76 may also be a transistor that uses an oxide semiconductor.
- the display device 1 can also be applied to a head-mounted display (hereinafter referred to as an HMD).
- the HMD can be used for VR, AR, MR (Mixed Reality), SR (Substitutional Reality), etc.
- FIG 30 is an external view of HMD320, a first application example of display device 1.
- HMD320 in Figure 30 has a mounting member 322 for wearing over a person's eyes. This mounting member 322 is secured by hooking it onto a person's ear, for example.
- a display device 321 is provided inside HMD320, and the wearer of HMD320 can view 3D images and the like on this display device 321.
- HMD320 is equipped with, for example, wireless communication functionality and an acceleration sensor, and can switch the 3D images and the like displayed on display device 321 according to the wearer's posture, gestures, etc.
- a camera may be installed in the HMD 320 to capture images of the wearer's surroundings, and an image created by combining the image captured by the camera with an image generated by a computer may be displayed on the display device 321.
- a camera may be placed on the back side of the display device 321 that is visible to the wearer of the HMD 320, and this camera may capture an image of the area around the wearer's eyes. The captured image may then be displayed on another display installed on the outer surface of the HMD 320, allowing people around the wearer to understand the wearer's facial expressions and eye movements in real time.
- the display device 1 according to the present disclosure can also be applied to smart glasses 340 that display various information on glasses 344.
- the smart glasses 340 in FIG. 31 have a main body 341, an arm 342, and a lens barrel 343.
- the main body 341 is connected to the arm 342.
- the main body 341 is detachable from the glasses 344.
- the main body 341 incorporates a control board and a display unit for controlling the operation of the smart glasses 340.
- the main body 341 and the lens barrel are connected to each other via the arm 342.
- the lens barrel 343 emits image light emitted from the main body 341 via the arm 342 toward the lens 345 of the glasses 344. This image light enters the human eye through the lens 345.
- a wearer of the smart glasses 340 in Figure 31 can see not only the surrounding situation but also various information emitted from the lens barrel 343, just like with regular glasses.
- the display device 1 according to the present disclosure can be applied not only to various displays used in vehicles, but also to displays installed in various electronic devices.
- Figure 32A is a front view of a digital camera 310, which is a third application example of the display device 1, and Figure 32B is a rear view of the digital camera 310.
- the digital camera 310 in Figures 32A and 32B shows an example of a single-lens reflex camera with an interchangeable lens 312, but the present invention is also applicable to cameras where the lens 312 cannot be interchangeable.
- the photographer holds the grip 313 of the camera body 311, looks through the electronic viewfinder 315, decides on the composition of the shot, adjusts the focus, and presses the shutter, and the captured data is saved in the camera's internal memory.
- the back of the camera is equipped with a monitor screen 316 that displays captured data, live images, etc., and the electronic viewfinder 315.
- a sub-screen that displays setting information such as shutter speed and exposure value may also be provided on the top of the camera.
- a sensor By placing a sensor on the back side of a monitor screen 316, electronic viewfinder 315, sub-screen, etc. used in a camera, it can be used as a display device 1 according to the present disclosure.
- Figure 33 shows an example of the appearance of a television device 330.
- the television device 330 has a video display screen unit 331 that includes a front panel 332 and a filter glass 333.
- the techniques related to the above-described embodiments can be applied to this video display screen unit 331.
- the smartphone 350 has a display unit 351 that displays various information, and an operation unit 352 that includes buttons and the like that accept operation inputs by the user.
- the techniques according to the above-described embodiments and the like can be applied to this display unit 351.
- FIGS 35A and 35B are diagrams showing the internal configuration of a vehicle 360, which is a first application example of the display device 1 according to the present disclosure.
- Figure 35A is a diagram showing the interior of the vehicle 360 from the rear to the front of the vehicle 360
- Figure 35B is a diagram showing the interior of the vehicle 360 from diagonally rear to diagonally front of the vehicle 360.
- the vehicle 360 in Figures 35A and 35B has a center display 361, a console display 362, a head-up display 363, a digital rearview mirror 364, a steering wheel display 365, and a rear entertainment display 366.
- the center display 361 is disposed on the dashboard 367 in a position facing the driver's seat 368 and passenger seat 369. While FIG. 39 shows an example of a horizontally elongated center display 361 extending from the driver's seat 368 side to the passenger seat 369 side, the screen size and location of the center display 361 are arbitrary.
- the center display 361 can display information detected by various sensors. As a specific example, the center display 361 can display images captured by an image sensor, distance images to obstacles in front of and to the sides of the vehicle measured by a ToF sensor, and the body temperature of passengers detected by an infrared sensor.
- the center display 361 can be used to display, for example, at least one of safety-related information, operation-related information, a life log, health-related information, authentication/identification-related information, and entertainment-related information.
- Safety-related information includes information such as detection of drowsiness, distraction, child mischief, whether seatbelts are fastened, and whether occupants have been abandoned. This information is detected, for example, by a sensor placed on the back side of the center display 361. Operation-related information is obtained by detecting gestures related to occupant operations using a sensor. The detected gestures may include operations of various equipment within the vehicle 360. For example, operations of air conditioning equipment, navigation equipment, AV equipment, lighting equipment, etc. are detected. Life logs include life logs of all occupants. For example, life logs include records of each occupant's actions while on board. By acquiring and saving life logs, it is possible to determine the condition of the occupants at the time of an accident.
- Health-related information is obtained by detecting the body temperature of the occupants using a temperature sensor, and inferring the occupant's health condition based on the detected body temperature.
- an image sensor may be used to capture an image of the occupant's face, and the occupant's health condition may be inferred from the facial expression in the image.
- the occupant may be spoken to by an automated voice and their health status may be inferred based on their responses.
- Authentication/identification-related information includes a keyless entry function that uses a sensor to perform facial recognition, and a function that automatically adjusts seat height and position using facial recognition.
- Entertainment-related information includes a function that uses a sensor to detect AV device operation information by the occupant, and a function that uses a sensor to recognize the occupant's face and provides content appropriate for the occupant via the AV device.
- the console display 362 can be used, for example, to display life log information.
- the console display 362 is located near the shift lever 371 on the center console 370 between the driver's seat 368 and the passenger seat 369.
- the console display 362 can also display information detected by various sensors.
- the console display 362 may also display an image of the area around the vehicle captured by an image sensor, or an image showing the distance to obstacles around the vehicle.
- the head-up display 363 is virtually displayed behind the windshield 372 in front of the driver's seat 368.
- the head-up display 363 can be used to display, for example, at least one of safety-related information, operation-related information, a life log, health-related information, authentication/identification-related information, and entertainment-related information. Because the head-up display 363 is often virtually positioned in front of the driver's seat 368, it is suitable for displaying information directly related to the operation of the vehicle 360, such as the speed of the vehicle 360 and the remaining fuel (battery) level.
- the digital rearview mirror 364 can not only display the view behind the vehicle 360, but also the status of passengers in the back seats. Therefore, by placing a sensor on the back side of the digital rearview mirror 364, it can be used to display life log information, for example.
- the steering wheel display 365 is located near the center of the steering wheel 373 of the vehicle 360.
- the steering wheel display 365 can be used to display, for example, at least one of safety-related information, operation-related information, life log information, health-related information, authentication/identification-related information, and entertainment-related information.
- the steering wheel display 365 is located close to the driver's hands, it is suitable for displaying life log information such as the driver's body temperature, and for displaying information regarding the operation of AV equipment, air conditioning equipment, etc.
- the rear entertainment display 366 is attached to the back of the driver's seat 368 and passenger seat 369, and is intended for viewing by rear seat passengers.
- the rear entertainment display 366 can be used to display, for example, at least one of safety-related information, operation-related information, life logs, health-related information, authentication/identification-related information, and entertainment-related information.
- the rear entertainment display 366 is located directly in front of the rear seat passengers, information relevant to the rear seat passengers is displayed on the rear entertainment display 366.
- the rear entertainment display 366 may display information related to the operation of AV equipment or air conditioning equipment, or the results of measuring the body temperature of the rear seat passengers using a temperature sensor.
- Optical distance measurement methods can be broadly divided into passive and active methods. Passive methods measure distance by receiving light from an object without projecting light from the sensor onto the object. Passive methods include the lens focusing method, stereo method, and monocular vision method. Active methods measure distance by projecting light onto an object and receiving the light reflected from the object with a sensor. Active methods include optical radar, active stereo, photometric stereo, moire topography, and interferometry. The display device 1 disclosed herein can be used to measure distance using any of these methods. By using a sensor placed on the back side of the display device 1 disclosed herein, it is possible to perform the passive or active distance measurements described above.
- a display device comprising:
- the second pixel is driven in a direction opposite to the driving direction of the first pixel.
- the first pixel is controlled to emit light in an active matrix format.
- a display device according to any one of (1) to (9).
- the second pixel is controlled to emit light in an active matrix format.
- the second pixel is controlled to emit light in a passive matrix manner.
- the second pixel is controlled to emit light by a segment driver.
- a driver that drives the second pixel and a driver that drives the first pixel are arranged on the same side of the display area;
- the display device according to any one of (1) to (13).
- a driver that drives the second pixel is disposed on an opposite side of the display area to a driver that drives the first pixel;
- the second pixel and the synchronization signal are embedded in the video signal or the image signal displayed by the first pixel and transmitted.
- a display device according to any one of (1) to (15).
- the second pixel and the synchronization signal are transmitted from an external device via a communication protocol;
- a display device according to any one of (1) to (15).
- the synchronization signal is used to receive light irradiated by the second pixel and reflected by a human eye, and acquire information for performing eye tracking.
- the display device according to any one of (1) to (17).
- a first pixel that emits light based on a video signal or an image signal in a display area that displays an image
- a second pixel that irradiates a peripheral region of the display region or the display region with light in an infrared band
- an image sensor that is driven in synchronization with the second pixel and receives at least light in the infrared band emitted by the second pixel
- processing circuitry receives light irradiated by the second pixel and reflected by a human eye, and acquires information for eye tracking; the processing circuit performs eye tracking based on the information acquired by the image sensor.
- processing circuit performs eye tracking based on the information acquired by the image sensor.
- the second pixel is driven in a direction opposite to the driving direction of the first pixel.
- the first pixel is controlled to emit light in an active matrix format.
- An electronic device according to any one of (20) to (29).
- the second pixel is controlled to emit light in an active matrix format.
- the second pixel is controlled to emit light in a passive matrix manner.
- (30) The electronic device described in (30).
- the second pixel is controlled to emit light by a segment driver.
- (30) The electronic device described in (30).
- a driver that drives the second pixel and a driver that drives the first pixel are arranged on the same side of the display area;
- a driver that drives the second pixel is disposed on an opposite side of the display area to a driver that drives the first pixel;
- the second pixel and the synchronization signal are embedded in the video signal or the image signal displayed by the first pixel and transmitted.
- An electronic device according to any one of (20) to (35).
- the second pixel and the synchronization signal are transmitted from an external device via a communication protocol;
- the image sensor includes a second counter, and controls, using the second counter, to capture an image of light in the infrared band at a timing synchronized with the synchronization signal.
- Display device 10: Pixel array, 100: 1st pixel, 102: second pixel, 12: control circuit, 120: I/F, 14: Vertical drive circuit, 140: first vertical drive circuit; 142: second vertical drive circuit; 15: signal line, 150: First signal line, 152: second signal line, 154: first electrode, 16: Horizontal drive circuit, 160: first horizontal drive circuit; 162: second horizontal drive circuit; 17: signal line, 170: First signal line, 172: second signal line, 174: second electrode, 18: Image sensor, 180: I/F, 20: Segment driver, 200: signal line, 2: Electronic equipment, 22: Signal processing circuit, 220: I/F, 24: Interface
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
[課題]適切なアイトラッキングを実行する。 [解決手段]表示装置は、第1画素と、第2画素と、制御回路と、を備える。前記第1画素は、画像を表示する表示領域において映像信号又は画像信号に基づいた発光をする。前記第2画素は、前記表示領域の周縁領域又は前記表示領域において、赤外帯域の光を照射する。前記制御回路は、同期信号に基づいて、外部又は内部のイメージセンサが赤外帯域の光を撮像するタイミングと同期して少なくとも前記第2画素が赤外帯域の光を照射する制御を行う。
Description
本開示は、表示装置及び電子機器に関する。
アイトラッキング技術は、Virtual Reality (VR)、Augmented Reality (AR)、Mixed Reality (MR)等における人間の視線を推定するために用いられる。アイトラッキングにおける角膜反射法は、被験者の目に近赤外線を投射し、角膜に反射した光の位置を撮影することで視線を計測する。光源として複数の赤外LEDを利用し、イメージセンサでその反射光を捉える。
例えば、ヘッドマウントディスプレイ等のレンズの周囲にディスプレイデバイスとは別の構成として、複数の赤外LED及び赤外イメージセンサを配置する。この構成は、レンズの基板配置、駆動制御等が必要となるといった課題がある。これに対して、よりディスプレイデバイスに近い領域にLEDとイメージセンサを配置することができるが、この場合、例えば、ディスプレイデバイスから出力される赤色の光による迷光により、トラッキングの精度が下がるという問題がある。
そこで、本開示の実施形態が解決しようとする限定されない課題の1つは、適切なアイトラッキングを実行する装置を提供することである。本開示の実施形態により解決しようとする課題は、さらに限定されないいくつかの例として、実施形態において記載した効果に対応する課題、とすることもできる。すなわち、本開示の実施形態の説明において記載された効果のうち任意の少なくとも1つに対応する課題を本開示における解決しようとする課題とすることができる。
一実施形態によれば、表示装置は、第1画素と、第2画素と、制御回路と、を備える。
前記第1画素は、画像を表示する表示領域において映像信号又は画像信号に基づいた発光をする。
前記第2画素は、前記表示領域の周縁領域又は前記表示領域において、赤外帯域の光を照射する。
前記制御回路は、同期信号に基づいて、外部又は内部のイメージセンサが赤外帯域の光を撮像するタイミングと同期して少なくとも前記第2画素が赤外帯域の光を照射する制御を行う。
前記第1画素は、画像を表示する表示領域において映像信号又は画像信号に基づいた発光をする。
前記第2画素は、前記表示領域の周縁領域又は前記表示領域において、赤外帯域の光を照射する。
前記制御回路は、同期信号に基づいて、外部又は内部のイメージセンサが赤外帯域の光を撮像するタイミングと同期して少なくとも前記第2画素が赤外帯域の光を照射する制御を行う。
前記第1画素は、ローリング駆動されてもよい。
前記第2画素は、ローリング駆動されてもよい。
前記第2画素は、前記第1画素が消光している間に少なくとも1回、駆動されてもよい。
前記第2画素は、前記第1画素の駆動とは非同期で駆動されてもよい。
前記第2画素は、前記第1画素の駆動方向と逆方向に駆動されてもよい。
前記第2画素は、グローバル駆動されてもよい。
前記第1画素は、グローバル駆動されてもよい。
前記第2画素は、前記第1画素が消光している間にグローバル駆動されてもよい。
前記第1画素は、アクティブマトリクス形式で発光制御されてもよい。
前記第2画素は、アクティブマトリクス形式で発光制御されてもよい。
前記第2画素は、パッシブマトリクス形式で発光制御されてもよい。
前記第2画素は、セグメントドライバにより発光制御されてもよい。
前記第2画素を駆動するドライバは、前記第1画素を駆動するドライバと前記表示領域に対して同じ側に配置されてもよい。
前記第2画素を駆動するドライバは、前記第1画素を駆動するドライバと前記表示領域に対して対向する側に配置されてもよい。
前記第2画素と、前記同期信号は、前記第1画素で表示される前記映像信号又は前記画像信号に埋め込んで送信されてもよい。
前記第2画素と、前記同期信号は、通信プロトコルを介して外部から送信されてもよい。
前記同期信号は、人間の眼において反射した前記第2画素が照射した光を受光してアイトラッキングを実行する情報を取得するために用いられてもよい。
固体撮像装置は、カウンタ、をさらに備えてもよい。前記制御回路は、前記カウンタを用いて、前記同期信号に同期するタイミングで前記第2画素が赤外帯域の光を照射する制御を行ってもよい。
一実施形態によれば、電子機器は、第1画素と、第2画素と、イメージセンサと、を備える。
前記第1画素は、画像を表示する表示領域において映像信号又は画像信号に基づいた発光をする。
前記第2画素は、前記表示領域の周縁領域又は前記表示領域において、赤外帯域の光を照射する。
イメージセンサは、前記第2画素と同期して駆動し、少なくとも前記第2画素が照射した赤外帯域の光を受光する。
すなわち、電子機器は、上記のいずれかに記載の固体撮像装置と、イメージセンサと、を備えることができる。
前記第1画素は、画像を表示する表示領域において映像信号又は画像信号に基づいた発光をする。
前記第2画素は、前記表示領域の周縁領域又は前記表示領域において、赤外帯域の光を照射する。
イメージセンサは、前記第2画素と同期して駆動し、少なくとも前記第2画素が照射した赤外帯域の光を受光する。
すなわち、電子機器は、上記のいずれかに記載の固体撮像装置と、イメージセンサと、を備えることができる。
電子機器は、処理回路、をさらに備えてもよい。前記イメージセンサは、人間の眼において反射した前記第2画素が照射した光を受光し、アイトラッキングのための情報を取得してもよく、前記処理回路は、前記イメージセンサが取得した情報に基づいて、アイトラッキングを実行してもよい。
以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。
本開示は、以下の順番で限定されない例としての形態を示す。
1.表示装置の構成
2.発光タイミング、受光タイミングの形態例
(第1実施形態)映像情報ローリング、赤外光ローリング(発光ブランキング中1回照射)
(第2実施形態)映像情報ローリング、赤外光ローリング(発光ブランキング中複数回照射)
(第3実施形態)映像情報ローリング、赤外光ローリング(消光と非同期に照射)
(第4実施形態)映像情報ローリング、赤外光グローバル
(第5実施形態)映像情報グローバル、赤外光グローバル
(第6実施形態)映像情報ローリング、赤外光ローリング、ローリング方向相違
3.駆動回路の形態例
(第7実施形態)赤外光アクティブマトリクス駆動
(第8実施形態)赤外光パッシブマトリクス駆動
(第9実施形態)赤外光セグメントドライバによる駆動
4.装置構成に係る形態例
(第10実施形態)アクティブマトリクス形式において駆動回路が画素アレイに対して同じ側に配置される例
(第11実施形態)アクティブマトリクス形式において駆動回路が画素アレイに対して逆側に配置される例
(第12実施形態)パッシブマトリクス形式において駆動回路が画素アレイに対して同じ側に配置される例
(第13実施形態)パッシブマトリクス形式において駆動回路が画素アレイに対して逆側に配置される例
(第14実施形態)表示装置を備える電子機器
5.画素回路の例
6.電子機器の適用例
2.発光タイミング、受光タイミングの形態例
(第1実施形態)映像情報ローリング、赤外光ローリング(発光ブランキング中1回照射)
(第2実施形態)映像情報ローリング、赤外光ローリング(発光ブランキング中複数回照射)
(第3実施形態)映像情報ローリング、赤外光ローリング(消光と非同期に照射)
(第4実施形態)映像情報ローリング、赤外光グローバル
(第5実施形態)映像情報グローバル、赤外光グローバル
(第6実施形態)映像情報ローリング、赤外光ローリング、ローリング方向相違
3.駆動回路の形態例
(第7実施形態)赤外光アクティブマトリクス駆動
(第8実施形態)赤外光パッシブマトリクス駆動
(第9実施形態)赤外光セグメントドライバによる駆動
4.装置構成に係る形態例
(第10実施形態)アクティブマトリクス形式において駆動回路が画素アレイに対して同じ側に配置される例
(第11実施形態)アクティブマトリクス形式において駆動回路が画素アレイに対して逆側に配置される例
(第12実施形態)パッシブマトリクス形式において駆動回路が画素アレイに対して同じ側に配置される例
(第13実施形態)パッシブマトリクス形式において駆動回路が画素アレイに対して逆側に配置される例
(第14実施形態)表示装置を備える電子機器
5.画素回路の例
6.電子機器の適用例
<1.表示装置の構成>
図1は、一実施形態に係る表示装置の表示部の一例を模式的に示すブロック図である。表示装置 1 は、少なくとも、画素アレイ 10 と、制御回路 12 と、垂直駆動回路 14 と、水平駆動回路 16 と、を備える。図1に示される箇所において、表示装置 1 は、画素アレイ 10 において映像情報又は画像情報(以下、映像情報等と記載する)とともに赤外光を出力する。
画素アレイ 10 は、映像情報等を表示する表示領域を備える。画素アレイ 10 は、表示領域において映像情報等を出力するための発光をする第1画素が第1方向及び第2方向に2次元のアレイ状に備えられる。第1画素は、例えば、映像情報等を表示するためにRGBの色の光を発する発光素子を備えることができるが、色の組み合わせはこれに限定されるものではない。
画素アレイ 10 はさらに、センシングをするための赤外光を発光する第2画素を備える。第2画素は、映像情報等を表示するための表示領域の周縁部又は表示領域内に備えられる。
すなわち、画素アレイ 10 は、表示領域において、映像情報等を出力するための発光をする第1画素と、表示領域の周縁領域又は表示領域内において、センシングをするための発光をする第2画素と、を備える。
制御回路 12 は、画素アレイ 10 における映像情報等を表示し、画素アレイ 10 における赤外光を照射し、また、表示装置 1 の内部又は外部に備えられるイメージセンサ 18 における赤外光の受光を制御するための信号(例えば、タイミングを同期させるための同期信号)を出力するコントローラである。
なお、後述するように、イメージセンサ 18 に対するタイミング制御する信号の出力は、表示装置 1 ではなく、他の機器により実現されてもよい。例えば、表示装置 1 に画像信号を出力する他の機器を備え、当該機器から、表示装置 1 と、イメージセンサ 18 と、を同期させる信号が出力されてもよく、この場合、イメージセンサ 18 は、表示装置 1 からの信号ではなく、当該機器が出力する同期信号に基づいて撮像のタイミングが制御される。
すなわち、同期信号は、表示装置 1 内で生成してもよいし、イメージセンサ 18 内で生成してもよいし、これら以外の装置において生成してもよい。生成された同期信号は、同期が必要となる装置にそれぞれ出力することができる。
制御回路 12 は、垂直駆動回路 14 及び水平駆動回路 16 に映像情報等に係る信号を出力して、画素アレイ 10 における映像情報等の表示を制御し、また、制御回路 12 は、垂直駆動回路 14 及び水平駆動回路 16 に赤外光の照射に係る信号を出力して制御する。制御回路 12 は、この赤外光の照射に伴う同期信号を出力する。この同期信号は、イメージセンサ 18 における受光が適切なタイミングで実行されるように制御される。
垂直駆動回路 14 は、第1方向(例えば、ライン方向)に沿って備えられる画素を選択して駆動可能状態にする回路である。垂直駆動回路 14 は、制御回路 12 から入力された信号に基づいて、ラインを選択して、当該ラインに属する画素の発光素子を駆動する信号を出力する。制御回路 12 は、第2方向(例えば、カラム方向)にラインの選択を操作することで、適切なラインに属する画素を駆動可能状態にする。
以下、上記のライン方向及びカラム方向を用いた説明を行うが、これは、説明の簡単のためであり、表示装置 1 における制御は、これらの方向に限定されるものではない。
水平駆動回路 16 は、カラム方向に沿って備えられる画素に対して駆動信号を出力する回路である。水平駆動回路 16 は、制御回路 12 から入力された信号に基づいて、カラムに属する画素の発光素子を駆動する信号を出力する。
すなわち、表示装置 1 は、垂直駆動回路 14 が選択したラインにおける水平駆動回路 16 が駆動信号を出力したカラムに属する第1画素が適切な強度で発光することで、画素アレイ 10 において映像情報等が表示される。同様に、垂直駆動回路 14 及び水平駆動回路 16 は、画素アレイ 10 内に備えられる映像情報等に関与しない赤外光を発光する第2画素を発光させる。
イメージセンサ 18 は、表示装置 1 の内部に備えられてもよいし、外部に備えられてもよい。表示装置 1 の外部にイメージセンサ 18 が備えられる場合には、イメージセンサ 18 は、適切なインタフェースを介して表示装置 1 の内部、例えば、制御回路 12 と接続される。
このイメージセンサ 18 は、例えば、画素アレイ 10 内の第2画素が発光した赤外光を受光するセンサである。イメージセンサ 18 の構成についての詳細は省略するが、赤外光を受光し、適切なデータを送受信することが可能な任意のイメージセンサとして形成されることができる。
イメージセンサ 18 は、例えば、画素アレイ 10 内に備えられる第2画素の発光と同期して駆動することができる。同期して駆動することで第2画素から照射された赤外帯域の光をイメージセンサ 18 において適切なタイミングにおいて受光することが可能となる。
イメージセンサ 18 は、例えば、制御回路 12 又はその他の表示装置 1 の内外の構成を介して第2画素の発光情報又は発光のための同期信号を取得して、第2画素と同期して駆動することができる。すなわち、表示装置 1 は、第2画素の発光のタイミングを表す信号(例えば、同期信号)を任意のインタフェースを介して外部のイメージセンサ 18 に送信し、イメージセンサ 18 は、この同期信号に基づいて、第2画素の発光と同期してセンシングを実行することができる。
また、イメージセンサ 18 は、第2画素の発光と同期する一方で、第1画素の発光とは同期しない駆動とすることができる。すなわち、第2画素の駆動は、第1画素の駆動と非同期であってもよい。
表示装置 1 とイメージセンサ 18 の同期は、いずれかの機器から出力される同期信号、又は、外部の機器、例えば、表示装置 1 に表示する映像信号/画像信号を生成する外部の機器からの同期信号により実現することができる。
同期は、表示装置 1 及びイメージセンサ 18 に備えられるカウンタを用い、それぞれに取得した同期信号に基づいた制御をすることで実行されてもよい。表示装置 1 は、例えば、第1カウンタを有していてもよい。イメージセンサ 18 は、例えば、第2カウンタを有していてもよい。
表示装置 1 は、第1カウンタに同期信号が同期したタイミングで赤外発光を行う。イメージセンサ 18 は、第2カウンタに同期信号が同期したタイミングで赤外撮像を行う。これらのカウンタを用いた処理を実行することで、表示装置 1 とイメージセンサ 18 とが同期した適切な動作を実現することができる。
<2.発光タイミング、受光タイミングの形態例>
次に、第1画素、第2画素の発光及びイメージセンサ 18 の受光のタイミングの限定されない例をいくつかの実施形態を用いて説明する。図2~図7は、それぞれの実施形態における一例を示す図であり、表示をするための光を射出する第1画素の発光と、赤外光を射出する第2画素の発光と、第2画素が射出した赤外光を受光するイメージセンサ 18 の露光のタイミングを示す。
第1画素の発光強度は、第1画素に対するデータ書き込み期間におけるデータの書き込みにより制御される。第2画素の発光強度は、第1画素とは異なり映像情報等を示す必要がなく、オン/オフの1ビットのデータでよいため、データの書き込みをすることなく発光素子自体を駆動させるか否かで制御することができる。このため、図においては第2画素のデータ書き込みについては示していない。
それぞれの図における領域の意味は、図2に示すとおりであり、第1画素に対するデータ書き込み期間、第1画素の発光を示す第1発光期間、第2画素の発光を示す第2発光期間、イメージセンサ 18 のセンサ部の露光を示す露光期間、及び、イメージセンサ 18 のセンサ部からのデータを読み出す読み出し期間を示す。また、特に記載のない限り、領域の重なっている箇所においては、重なっている処理の双方が並行して実行されることを意味する。
1段目のチャートは、横軸が時間を示し、第1画素、すなわち、映像信号等を表示する表示領域を形成する画素に対する同期信号(Display Vsync)を示す。2段目のチャートは、縦軸がラインの走査方向を示し、時間に対してどのラインの処理をしているかを示す。3段目のチャートは、イメージセンサ 18 の同期信号(Sensor Vsync)を示す。4段目のチャートは、縦軸がラインの走査方向を示し、時間に対してイメージセンサ 18 におけるどのラインの処理をしているかを示す。
換言すると、1段目の同期信号に基づいて、第1画素が発光し、3段目の同期信号に基づいて、第2画素が発光し、イメージセンサ 18 が露光する。なお、同期信号に対する矢印は、同期信号に対する処理のタイミングをわかりやすく示すものであり、矢印の方向に特段の意味があるわけではなく、単純に、図示における一致タイミングを明確に示すものであることに留意されたい。
(第1実施形態: 図2)
第1実施形態においては、表示装置 1 は、第1画素及び第2画素のそれぞれの発光をローリング駆動で制御し、第2画素の発光は、第1画素が消光しているタイミングで1回実行される。ここで、ローリング駆動とは、所謂イメージセンサにおけるローリングシャッタと同様の駆動のことを示し、所定方向に向かって1ライン又は複数ラインごとにデータ書き込みと発光の駆動又は露光の駆動の走査をする手法を意味する。イメージセンサ 18 におけるローリング駆動は、ローリングシャッタ形式で実行されることを意味することができる。
表示装置 1 は、第1画素のデータ書き込みに続いて、第1画素の発光の制御をする。第1画素が消光しているラインから順次、表示装置 1 は、第2画素の発光を開始する。この第1画素及び第2画素の駆動をローリング方式で実行する。
イメージセンサ 18 は、第2画素の発光と同期して、対応するラインごとの露光をする。なお、図面では、上半分に示す表示領域と、下半分に示す受光領域とは同じライン数で示されているが、これに限定されるものではなく、表示領域と受光領域のライン数及びカラム数は、同一でなくてもよい。同一ではない場合、第2画素の発光のタイミングと、イメージセンサ 18 の対応するラインの露光タイミングと、が同期するように駆動すればよい。
このように駆動することで、映像情報等に係る発光と、赤外帯域の発光及び受光と、を異なるタイミングで実行することが可能であり、赤色の光を発光する第1画素から照射された光と赤外光との光とのイメージセンサ 18 の受光におけるクロストークを抑制することができる。この結果、イメージセンサ 18 が取得する信号の画質的な劣化を回避することが可能となる。
なお、図2、図3(第2実施形態)、図4(第3実施形態)及び図7(第6実施形態)において、第1画素の発光するラインの走査速度と、第2画素の発光するラインの走査速度、すなわち、グラフにおける双方の領域の傾きは同じであるが、これに限定されるものではない。例えば、第1画素の発光ラインの走査に対して、第2画素の発光ラインの走査が早く完了するように制御することも可能である。この場合においても、第2画素のラインの走査のタイミングと、対応するイメージセンサ 18 のラインの露光の走査のタイミングとは同期していることが望ましい。
また、第1実施形態の場合、第1画素の消光タイミングにおいて第2画素の発光及びイメージセンサ 18 の露光が実行されるため、これらの走査のタイミングは、同期されて実現されていてもよい。別の例として、第2画素の発光及びイメージセンサ 18 の露光は、同期する一方で、第1画素とは同期せずに駆動制御することもできる。この場合、第1画素の消光タイミングの情報に基づいて制御回路 12 が第2画素の発光及びイメージセンサ 18 の露光の制御を、第1画素とは非同期で実現することもできる。
(第2実施形態: 図3)
第1実施形態においては、第2画素の発光及びイメージセンサ 18 の露光は、第1画素が消光しているタイミングにおいて1回であったが、これに限定されるものではない。図3に示すように、第1画素が消光している期間において、複数回の第2画素の発光及びイメージセンサ 18 の露光が実行されてもよい。
上記と同様に、この場合も、第2画素の発光と、イメージセンサ 18 の露光は、同期して駆動されることが望ましい。一方で、第2画素の発光及びイメージセンサ 18 の露光と、第1画素の発光とは、非同期であってもよい。
図3においては、第1画素の消光の1期間において2回の第2画素の発光及びイメージセンサ 18 の露光が実行されているが、これに限定されるものではない。例えば、第1画素の消光の1期間において、3回以上の第2画素の発光及びイメージセンサ 18 の露光が実行されてもよい。
すなわち、第1画素、第2画素及びイメージセンサ 18 の駆動は、それぞれがローリング駆動であり、表示装置 1 は、第1画素の消光期間において、第2画素の発光及びイメージセンサ 18 の露光が少なくとも1回実行されるように駆動制御をすることができる。
(第3実施形態: 図4)
前述のそれぞれの実施形態においては、第1画素の消光中に第2画素の発光及びイメージセンサ 18 の露光をしたが、これに限定されるものではない。図4に示すように、第1画素が発光している第1発光期間の間に、第2画素の発光及びイメージセンサ 18 の露光が実行されてもよい。第2画素の発光及びイメージセンサ 18 の露光は、同期して制御される。
一方で、第1画素の発光及び第2画素の発光は、同期していてもよいし、同期していなくてもよい。また、図には示されていないが、第1画素の読み込み期間又は消光期間に第2画素の発光及びイメージセンサ 18 の露光が実行される形態であってもよい。
(第4実施形態: 図5)
前述の各実施形態においては、第2画素及びイメージセンサ 18 がローリング駆動していたが、本実施形態においては、第2画素がグローバル駆動し、これに同期してイメージセンサ 18 もグローバル駆動する。ここで、グローバル駆動とは、所謂イメージセンサにおけるグローバルシャッタと同様の駆動のことを示し、ラインによらず同じタイミングでデータ書き込みと発光の駆動又は露光の駆動をする手法を意味する。
図5に示すように、第1画素の発光は、前述に示したそれぞれの実施形態と同様に、ローリング駆動により実行される。一方、第2画素の発光は、ラインによらず同じタイミングでグローバル駆動される。これに伴いイメージセンサ 18 の露光も、グローバルシャッタ方式で駆動される。イメージセンサ 18 のデータの読み出しは、通常のグローバルシャッタ方式のイメージセンサと同様に実行される。
本実施形態では、第1画素と第2画素とは、同期して動作してもよいし、図5に示されているように非同期で動作してもよい。
(第5実施形態: 図6)
第4実施形態においては第2画素のみがグローバル駆動で発光したが、第1画素についてもグローバル駆動することができる。図6に示すように、表示装置 1 は、第1画素及び第2画素の発光をグローバル駆動とすることができる。
表示装置 1 は、第1画素の読み込みをした後に第1画素の発光をグローバル駆動で実行する。この駆動と並行して、第1画素の消光期間において、第2画素の発光と第2画素の発光に同期したイメージセンサ 18 の露光とをグローバル駆動で実行することができる。
このような駆動をすることで、表示装置 1 は、映像情報等の表示におけるローリング駆動による不自然さを抑制させることが可能となる。
なお、図6においては、第1画素の消光期間において第2画素の発光がされているが、これに限定されるものではない。例えば、第1画素が発光している第1発光期間において、第2画素が発光をしてもよい。
また、図6においては、第1画素の消光期間において第2画素が第1画素の発光のタイミングと同期せずに発光しているが、これに限定されるものではない。例えば、第2画素は、第1画素の発光(又は消光)のタイミングと同期して発光される制御であってもよい。
(第6実施形態: 図7)
前述のそれぞれの実施形態においては、表示装置 1 は、第1画素と第2画素とが同じローリング駆動する場合、同じ方向に駆動していた。これに限定されず、第1画素の発光と、第2画素の発光のローリング駆動の方向を逆方向とすることができる。
図7に示すように、一例として、第1画素の発光は、画素アレイ 10 の上側から下側へと向かってラインごとに走査され、第2画素の発光は、画素アレイ 10 の下側から上側へと向かってラインごとに走査され、それぞれ逆向きの方向に向かって走査、駆動される。イメージセンサ 18 は、第2画素の発光と同期して露光する。
第1画素の発光と、第2画素の発光とは、同期していてもよいし、同期していなくてもよい。非同期の場合、第1画素と第2画素とが発光するタイミングが重複する領域がフレームごとに異なりイメージセンサ 18 における迷光の影響を分散させることが可能であるため、非同期である方が望ましい。
また、第1画素の発光と第2画素の発光とを同期させる場合においても、表示領域の中心部を回避した領域において、同じタイミングで発光する制御をすることができる。
この形態によれば、イメージセンサ 18 における迷光の影響が多少発生するものの、図4等の場合と比較して、小さくすることが可能であるため、第1画素及び第2画素の発光タイミングをより柔軟に設定することが可能となる。
<2.駆動回路の形態例>
次にそれぞれの駆動回路を介した画素の駆動についていくつかの例を挙げて説明する。上述したように画素アレイ 10 内には映像情報等を表示する第1画素と、赤外光を照射する第2画素と、が備えられる。これらの画素の配置、駆動の例について、以下説明する。
映像情報等を表示するための第1画素は、解像度及び応答速度の必要性から、アクティブマトリクス形式で駆動することが望ましい。駆動回路の形態例としては、垂直駆動回路 14 及び水平駆動回路 16 が第1画素及び第2画素のそれぞれに対して信号を送信するものとして説明するが、これらの駆動回路の配置等については、後述の装置構成に係る形態例において説明する。
(第7実施形態)
図8は、一実施形態に係る駆動回路と画素との接続、及び、第1画素と第2画素の配置の限定されない一例を示す図である。画素アレイ 10 は、表示領域内において映像情報等を表示するための第1画素 100 を備え、それ以外の領域において赤外光を照射する第2画素 102 を備えることができる。
第1画素 100 は、第1信号線 150 を介して垂直駆動回路 14 と接続され、第1信号線 170 を介して水平駆動回路 16 と接続される。垂直駆動回路 14 から出力された信号は、第1信号線 150 を介して第1画素 100 へと伝達されて、ラインが選択され、選択されたラインに属する第1画素 100 を駆動可能状態へと遷移させる。
水平駆動回路 16 から出力された信号は、第1信号線 170 を介して第1画素 100 へと伝達され、垂直駆動回路 14 により選択されたラインに属する第1画素 100 のうち、水平駆動回路 16 から駆動信号が印加された第1画素 100 が適切な強度で発光をすることで画素アレイ 10 の表示領域において映像情報等を表示する。水平駆動回路 16 から出力される信号は、選択されているラインに属する第1画素 100 ごとの発光強度を示す信号を含んでいてもよい。
第2画素 102 は、画素アレイ 10 における表示領域以外の領域、例えば、画素アレイ 10 の表示領域に配置される第1画素 100 の周縁部に配置されることができる。第2画素 102 は、第2信号線 152 を介して垂直駆動回路 14 と接続され、第2信号線 172 を介して水平駆動回路 16 と接続される。
第1画素 100 と同様に、垂直駆動回路 14 から出力された信号は、第2信号線 152 を介して第2画素 102 へと伝達されラインが選択される。選択されたラインに属する第2画素 102 は、駆動可能状態へと遷移する。水平駆動回路 16 から出力された信号は、第2信号線 172 を介して第2画素 102 へと伝達され、垂直駆動回路 14 により選択されたラインに属する第2画素 102 のうち、水平駆動回路 16 から駆動信号が印加された第2画素 102 が発光し、例えば、映像等を観察しているヒトの眼に赤外光を照射する。
第2画素 102 の発光は、上述したようにオン/オフの状態が切り替えられれば十分であるので、水平駆動回路 16 からは第2画素 102 の強度を示す信号が送信されずに、照射を制御する信号のみが送信されてもよい。尤も、この記載は、第2画素 102 の強度情報が送信される状態を排除するものではなく、水平駆動回路 16 から送信される信号に第2画素 102 の照射強度を示す信号が含まれていてもよい。すなわち、前述の各実施形態において第2画素 102 に対するデータ書き込みの期間が存在していてもよい。
このように、表示装置 1 において、第1画素 100 及び第2画素 102 の双方がアクティブマトリクス形式で発光する形態であってもよい。第2画素 102 は、画素アレイ 10 における所謂ダミー画素が配置される領域に配置することが可能である。
ダミー領域に第2画素 102 を配置すると、映像情報等と同様に樽型又は糸巻き型のレンズ歪みが発生する可能性がある。このため、イメージセンサ 18 においては、正確なセンシングデータを取得するために、任意のタイミング(例えば、センサデータを取得するタイミング、センサデータを利用するタイミング、又は、負荷が軽いタイミング等)で適切な歪み補正を実行することも可能である。
垂直駆動回路 14 及び水平駆動回路 16 は、第1画素 100 に対しては映像情報等を構成する制御をするため、解像度及びリフレッシュレート等を適切に設定しなくてはならないが、第2画素 102 に対しては発光のオン/オフの制御をすれば足りる。このため、垂直駆動回路 14 及び水平駆動回路 16 は、第1画素 100 に対する制御とは干渉することなく、第2画素 102 の駆動タイミング、リフレッシュレート、発光デューティ等を制御することができる。
すなわち、第2画素 102 に対しては、垂直駆動回路 14 及び水平駆動回路 16 として、第1画素 100 と比較して精細度を低くしたドライバ(第1画素 100 とは異なる精細度のドライバ)を用いることができる。
本実施形態における第1画素 100 及び第2画素 102 の配置は、図8の形態に限定されるものではない。図9は、本実施形態の第1画素 100 及び第2画素 102 の配置の限定されない別の例を模式的に示す図である。
この図9に示すように、第2画素 102 は、画素アレイ 10 における表示領域内に配置されてもよい。画素アレイ 10 には、例えば、それぞれの色の発光をする発光素子がベイヤ配列等の適切な配列で備えられる。この第1画素 100 に加えて、第2画素 102 を配置してもよい。限定されない一例として、ベイヤ配列において、緑色の発光をする第1画素 100 を適切に間引いて第2画素 102 に置換することができる。もちろん、間引きをする第1画素 100 は、緑色に限定されず、映像情報等を適切に表示できる範囲において、赤色又は青色の第1画素 100 であってもよい。
上記においては画素を置き換えることについて説明したがこれに限定されるものではない。第1画素 100 において分割画素を形成する場合、任意の割合で第1画素 100 を第2画素 102 に置換することができる。
また、第1画素 100 における分割画素において、当該分割画素のうち、少なくとも1つを赤外光が発光可能な分割画素として配置することができる。この場合、赤外光を照射する分割画素を含む第1画素 100 を、任意の割合で画素アレイ 10 内に配置することができる。
第1画素 100 及び第2画素 102 がアクティブマトリクス形式で駆動する場合には、発光制御は、前述の第1実施形態から第6実施形態のいずれの実装をすることも可能である。
(第8実施形態)
第7実施形態においては、第1画素 100 、第2画素 102 の双方がアクティブマトリクス形式で駆動する構成であったが、本開示の内容は、これに限定されるものではない。第2画素 102 における発光は、映像情報等を含まないため、映像情報等を表示する領域とは同等の解像度は必要なく、また、リフレッシュレートを、映像情報等を表示する画素と比較して高くすることが可能であり、センシングの高速化を図ることができる。
図10は、一実施形態に係る第1画素 100 と第2画素 102 の配置及び接続の一例を模式的に示す図である。第2画素 102 は、第1画素 100 と比較して1画素の大きさが大きく形成されていてもよい。
第1画素 100 は、上記の実施形態と同様にアクティブマトリクス形式で駆動するが、第2画素 102 は、パッシブマトリクス形式で駆動してもよい。第1画素 100 は、第7実施形態と同様に垂直駆動回路 14 からの信号が第1信号線 150 を介して、水平駆動回路 16 からの信号が第1信号線 170 を介して印加されて駆動する。
第2画素 102 は、2つの電極により制御されるパッシブマトリクス形式で駆動してもよい。図10において斜線で示す箇所は電極である。第2画素 102 は、2つの電極である第1電極 154 と第2電極 174 とのに挟まれる形で配置され、垂直駆動回路 14 による第1電極 154 の通電及び水平駆動回路 16 による第2電極 174 の通電により、発光の駆動が制御される。第2画素 102 は、垂直駆動回路 14 から印加される第1電極 154 の電圧と、水平駆動回路 16 から印加される第2電極 174 の電圧とにより、赤外光を照射することができる。
上述したように、第2画素 102 は、例えば、アイトラッキングをする場合には高解像度である必要性は低く、発光強度の細かい制御は特に必要ない。また、画素数を削減することで、高速なリフレッシュレートで対応することが可能となる。このため、第2画素 102 は、パッシブマトリクス形式で駆動されてもよい。
このように第1画素 100 がアクティブマトリクス形式で駆動される一方で、第2画素 102 がパッシブマトリクス形式で駆動される形態とすることができる。
図11及び図12は、第2画素 102 の発光の限定されない一例を示す図である。斜線で示す第2画素 102 が発光している画素を示す。図11に示すように、垂直駆動回路 14 及び水平駆動回路 16 は、周縁部の電極に第2画素 102 を発光する電圧を印加することで、画素アレイ 10 における角の領域の第2画素 102 を点灯させることができる。
また、図12に示すように、垂直駆動回路 14 及び水平駆動回路 16 は、内側の電極に第2画素 102 を発光する電圧を印加することで、画素アレイ 10 における内側の領域の第2画素 102 を点灯させることができる。すなわち、表示装置 1 は、第1電極 154 及び第2電極 174 への電圧の印加を適切に制御することで、種々の領域ごとの第2画素 102 からの赤外光の照射をすることが可能となる。
もちろん、垂直駆動回路 14 及び水平駆動回路 16 からの第1電極 154 及び第2電極 174 に印加する電極を適切に制御することで、第1実施形態から第6実施形態で示したようなローリング駆動及びグローバル駆動のいずれも実装することが可能である。
以上のように、表示装置 1 は、第2画素 102 の発光をパッシブマトリクス形式として、ローリング駆動及びグローバル駆動の制御をすることが可能であるとともに、図11や図12のように発光の制御をすることで種々の赤外光の発光パターンを形成することが可能である。この結果、表示装置 1 は、イメージセンサ 18 によるセンシングをより種々の環境に適したデータ取得、種々の情報の取得をするように制御することができる。
(第9実施形態)
第8実施形態においてはパッシブマトリクス形式で第1画素 100 よりもサイズが大きい画素としての第2画素 102 を発光制御する例について説明したが、高解像度を必要としないことから、第2画素 102 のサイズをさらに大きくすることも可能である。
図13は、一実施形態に係る表示装置 1 の第1画素 100 及び第2画素 102 の接続に係る限定されない一例を示す図である。表示装置 1 は、セグメントドライバ 20 を備え、第2画素 102 をセグメントとして配置してもよい。
セグメントドライバ 20 は、セグメントとして配置される第2画素 102 に対する発光制御をする駆動回路である。セグメントドライバ 20 は、イメージセンサ 18 によるセンシングに適した範囲の第2画素 102 を任意のタイミングで発光駆動させることができる。
それぞれの第2画素 102 は、セグメントドライバ 20 と、信号線 200 により接続される。セグメントドライバ 20 は、信号線 200 を介してそれぞれの第2画素 102 に発光の駆動制御の信号を送信する。セグメントドライバ 20 は、適切なタイミングでそれぞれの第2画素 102 を点灯させることで、イメージセンサ 18 による赤外光のセンシングを実現することができる。
表示領域に配置される第1画素 100 は、前述のそれぞれの実施形態と同様に、垂直駆動回路 14 と第1信号線 150 を介して接続され、水平駆動回路 16 と第1信号線 170 を介して接続され、アクティブマトリクス形式で発光制御される。
図14は、一実施形態に係るセグメントとしての第2画素 102 の発光の限定されない一例を示す図である。斜線で示す第2画素 102 が発光しているセグメントを示す。この図に示すように、任意のセグメントとしての第2画素 102 をセグメントドライバ 20 により発光制御することができる。
発光するセグメントの選択は、セグメントドライバ 20 により任意に設定することができるので、イメージセンサ 18 によるセンシングしたデータを用いたい目的により、適切な発光をすることができる。また、セグメントドライバ 20 は、任意のタイミングでセグメントを発光制御することができる。このため、前述の第1実施形態から第6実施形態のいずれについてもセグメントドライバ 20 を用いた構成により実現可能となる。
<4.装置構成に係る形態例>
次に、前述の各実施形態におけるドライバの配置例についていくつかの限定されない例を用いて説明する。
(第10実施形態)
図15は、一実施形態に係る駆動回路(ドライバ)の配置の一例を模式的に示す図である。垂直駆動回路 14 及び水平駆動回路 16 は、それぞれ、第1画素 100 に対する駆動信号を送信する回路と、第2画素 102 に対する駆動信号を送信する回路と、を備えてもよい。
垂直駆動回路 14 は、例えば、第1画素 100 の駆動をする第1垂直駆動回路 140 と、第2画素 102 の駆動をする第2垂直駆動回路 142 と、を備える。水平駆動回路 16 は、例えば、第1画素 100 の駆動をする第1水平駆動回路 160 と、第2画素 102 の駆動をする第2水平駆動回路 162 と、を備える。図に示されるように、第1垂直駆動回路 140 と第2垂直駆動回路 142 は、画素アレイ 10 (表示領域)に対して同じ側に配置されてもよく、第1水平駆動回路 160 と第2水平駆動回路 162 は、画素アレイ 10 (表示領域)に対して同じ側に配置されてもよい。
第1垂直駆動回路 140 は、第1信号線 150 を介して第1画素 100 へとラインに属する画素を選択する信号を出力する。第1水平駆動回路 160 は、第1信号線 170 を介して第1画素 100 へと選択したラインに属する画素を駆動するための信号(発光強度を示す信号を含んでもよい)を出力する。
第2垂直駆動回路 142 は、第2信号線 152 を介して第2画素 102 へとラインに属する画素を選択する信号を出力する。第2水平駆動回路 162 は、第2信号線 172 を介して第2画素 102 へと選択したラインに属する画素を駆動するための信号(発光強度を示す信号を含んでもよい)を出力する。
このように垂直駆動回路 14 及び水平駆動回路 16 は、第1画素 100 及び第2画素 102 を駆動するための回路をそれぞれ備えていてもよく、図に示されるようにそれぞれの駆動回路は、画素アレイ 10 に対して同じ側に配置することができる。
(第11実施形態)
図16は、一実施形態に係る駆動回路の配置の一例を模式的に示す図である。上記の実施形態と同様に、垂直駆動回路 14 及び水平駆動回路 16 は、第1画素 100 に対する駆動信号を送信する回路と、第2画素 102 に対する駆動信号を送信する回路と、をそれぞれ備えることができる。
垂直駆動回路 14 は、第1画素 100 の駆動をする第1垂直駆動回路 140 と、第2画素 102 の駆動をする第2垂直駆動回路 142 と、を備える。水平駆動回路 16 は、第1画素 100 の駆動をする第1水平駆動回路 160 と、第2画素 102 の駆動をする第2水平駆動回路 162 と、を備える。第1垂直駆動回路 140 と第2垂直駆動回路 142 は、画素アレイ 10 に対して逆側(対向する側)に配置されてもよく、第1水平駆動回路 160 と第2水平駆動回路 162 は、画素アレイ 10 に対して逆側(対向する側)に配置されてもよい。
上記と同様に、第1垂直駆動回路 140 は、第1信号線 150 を介して、第1水平駆動回路 160 は、第1信号線 170 を介して第1画素 100 へと駆動信号を出力する。第2垂直駆動回路 142 は、第2信号線 152 を介して、第2水平駆動回路 162 は、第2信号線 172 を介して第2画素 102 へと駆動信号を出力する。
このように、第10実施形態とは異なり、画素アレイ 10 に対して逆側にそれぞれのドライバを配置することもできる。尤も、これらは限定されない例としてあげたものであり、他の回路の配置、配線等の必要性によって、画素アレイ 10 の2辺、3辺又は4辺にドライバが配置される形態であってもよい。
また、上記の第10、第11実施形態においてはそれぞれの駆動回路の配置、例えば、第1垂直駆動回路 140 の配置は、図面の左側であったが、これに限定されるものではない。例えば、第1垂直駆動回路 140 は、所定のラインごとに画素アレイ 10 の左右に分割されて配置されてもよい。第2垂直駆動回路 142 、第1水平駆動回路 160 及び第2水平駆動回路 162 についても同様である。
(第12実施形態)
第2画素 102 がパッシブマトリクス形式で駆動する場合についても同様である。図17は、一実施形態に係る駆動回路の配置の一例を模式的に示す図である。上記と同様に、垂直駆動回路 14 は、第1垂直駆動回路 140 と、第2垂直駆動回路 142 と、を備え、水平駆動回路 16 は、第1水平駆動回路 160 と、第2水平駆動回路 162 と、を備える。
第1垂直駆動回路 140 及び第1水平駆動回路 160 は、前述の実施形態と同様に第1画素 100 に対して駆動信号を出力する。
第2垂直駆動回路 142 は、第1電極 154 にパッシブマトリクス形式で駆動する第2画素 102 を駆動するための信号を印加することができる。第2水平駆動回路 162 は、第2電極 174 にパッシブマトリクス形式で駆動する第2画素 102 を駆動するための信号を印加することができる。
このように、一部の画素がパッシブマトリクス形式で駆動する場合においても、それぞれの画素に対するドライバを備えることができる。
(第13実施形態)
図18は、一実施形態に係る駆動回路の配置の一例を模式的に示す図である。図17の構成において、図16と同様に、画素アレイ 10 の逆側にそれぞれの画素に対する駆動回路を対向するように配置することができる。
このように、第12実施形態とは異なり、画素アレイ 10 に対して逆側にそれぞれのドライバを配置することもできる。尤も、これらは限定されない例としてあげたものであり、他の回路の配置、配線等の必要性によって、画素アレイ 10 の2辺、3辺又は4辺にドライバが配置される形態であってもよい。
また、上記の第12、第13実施形態においてはそれぞれの駆動回路の配置、例えば、第1垂直駆動回路 140 の配置は、図面の左側であったが、これに限定されるものではない。例えば、第1垂直駆動回路 140 は、所定のラインごとに画素アレイ 10 の左右に分割されて配置されてもよい。第2垂直駆動回路 142 、第1水平駆動回路 160 及び第2水平駆動回路 162 についても同様である。
(第14実施形態)
前述の各実施形態において、制御のタイミング、画素の接続及びドライバの配置について説明した。本実施形態においては、全体的にこの表示装置 1 がどのように動作するかを包括的に説明する。
図19は、一実施形態に係る電子機器の一例を模式的に示すブロック図である。電子機器 2 は、表示装置 1 の構成の少なくとも一部を含んで構成されることができる。電子機器 2 は、表示装置 1 の構成の他、イメージセンサ 18 と、信号処理回路 22 と、外部とのデータ、要求等を送受信するインタフェース(I/F 24 )と、を備えてもよい。イメージセンサ 18 は、少なくとも一部が表示装置 1 の内部に備えられていてもよい。
信号処理回路 22 は、I/F 24 を介して取得した映像情報等を画素アレイ 10 に表示するための適切なデータに変換することができる。また、信号処理回路 22 は、この映像情報等に第2画素 102 及びイメージセンサ 18 の駆動タイミングを示す信号を埋め込むことも可能である。なお、駆動タイミングを示す信号が埋め込まれた映像情報等がI/F 24 を介して信号処理回路 22 へと送信されてもよい。
制御回路 120 及び/又はイメージセンサ 180 は、駆動タイミングを示す同期信号が映像情報等に埋め込まれている場合には、この埋め込まれた同期信号を適切に読み出すことにより、同期した処理を実現することができる。同期信号の埋め込みは、適切に信号の抽出をできる任意の実装であってもよい。
信号処理回路 22 は、Graphics Processing Unit (GPU)、Central Processing Unit (CPU)といった汎用のプロセッサを備えてもよいし、それぞれの機能に特化したアナログ又はデジタルの処理回路を備えていてもよい。
I/F 24 は、電子機器 2 の内部と外部とを接続するためのインタフェースである。I/F 24 は、任意の通信プロトコルにより、データの送受信を実行することが可能である。電子機器 2 は、I/F 24 を介してCMOS信号、I2C、I3C、SPI等の通信プロトコルを利用して第2画素 102 及びイメージセンサ 18 の同期信号を取得してもよい。
信号処理回路 22 は、制御回路 12 を介して画素アレイ 10 に映像情報等を表示させるとともに、イメージセンサ 18 により取得した情報をフィードバックして、映像情報等に対する信号処理、画像処理を施すことができる。信号処理回路 22 が信号処理又は画像処理した信号を映像情報等として表示するための信号を用いて、制御回路 12 は、適切に表示をするとともに適切にセンシングをするための制御を実行することができる。
また、信号処理回路 22 又は制御回路 12 は、I/F 24 を介して取得した要求に基づいて、赤外光の照射及びセンシングを開始したり、停止したりすることも可能である。例えば、電子機器 2 は、I/F 24 を介して外部から消費電力を低減させる旨の信号として、赤外光の照射及びセンシングを一時停止する機能を有していてもよい。
代表的には、第2画素 102 は、表示領域を見ているヒトの眼に赤外光を照射し、イメージセンサ 18 がヒトの眼において反射した赤外光を取得することで、イメージセンサ 18 又は信号処理回路 22 においてアイトラッキングに係る信号を取得又は生成することが可能である。
表示装置 1 、及び、表示装置 1 の構成を備える電子機器 2 によれば、表示とともにアイトラッキングを実行することが可能となる。アイトラッキングした情報に基づいて、表示装置 1 及び電子機器 2 は、限定されない例として、フォービエイテッドレンダリング、視線入力、虹彩認証等を精度よく実現することも可能となる。
電子機器 2 は、VRヘッドマウントディスプレイ、VRグラス、ARグラス、電子ビューファインダ(EVF)であってもよい。表示装置 1 は、電子機器 2 における表示デバイスとして動作することができる。表示装置 1 又は電子機器 2 は、XRの方式は、クローズド、ビデオシースルー、ミックスのいずれに対しても適用することが可能である。
また、表示装置 1 は、Chip on Board (CoB)として実装することが可能である。CoBである場合、表示装置 1 は、チップ上にディスクリート赤外LEDを実装したり、アイセンサを実装したりすることができる。この場合も上記と同様に、赤外光を照射するための同期信号を適切なデバイス、モジュールに送信することが可能である。CoBとして実装することで、電子機器 2 の部品の点数を削減し、コストを改善することができる。
図20は、図19における電子機器 2 の限定されない別の例を模式的に示すブロック図である。以下の説明は、電子機器 2 が1つの装置ではなく、複数の装置として表示システムを形成しているとしてもよい。尤も、図19も表示システムの一種として理解できることに留意されたい。
電子機器 2 は、複数のデバイス(モジュール)の組み合わせとして実装することもできる。もちろん、撮像システムとして形成される場合には、これらの複数のデバイス(モジュール)の少なくとも一部が他のデバイス(モジュール)とは別の装置として存在していてもよい。
電子機器 2 は、例えば、表示装置 1 と、イメージセンサ 18 と、信号処理回路 22 と、を別のデバイスとして構成され、これらが組み合わさることにより1つの装置(又はシステム)を形成することができる。それぞれのデバイスは、入出力インタフェースを備えることができる。
表示装置 1 は、I/F 120 を備え、表示装置 1 の入出力の少なくとも一部は、制御回路 12 にデータを入出力するI/F 120 を介して実現することができる。イメージセンサ 18 は、I/F 180 を備え、イメージセンサ 18 の入出力は、I/F 180 を介して実現することができる。信号処理回路 22 は、I/F 220 を備え、信号処理回路 22 の入出力は、I/F 220 を介して実現することができる。
この構成において、イメージセンサ 18 と信号処理回路 22 とのデータの入出力は、I/F 180 とI/F 220 を介して実行することができる。例えば、イメージセンサ 18 で取得した情報は、情報送信部として動作するI/F 180 から送信され、情報受信部として動作するI/F 220 において受信することができる。この情報は、イメージセンサ 18 が取得した映像情報であってもよく、この場合、I/F 180 は、映像送信部として、I/F 220 は、映像受信部として動作することが可能である。
もちろん、イメージセンサ 18 は、撮像した映像情報を他のデータに変換してもよく、I/F 180 及びI/F 220 は、当該データを送受信するインタフェースとして動作することもできる。
また、信号処理回路 22 と表示装置 1 とのデータの入出力は、I/F 220とI/F 120 とを介して実行することができる。例えば、信号処理回路 22 が生成した映像情報は、映像送信部として動作するI/F 220 から送信され、映像受信部として動作するI/F 120 において受信することができる。この映像情報は、図19に示すI/F 24 又は図20に示すI/F 220 を介して、外部から表示をするように入力された映像情報又は映像情報に係るデータから信号処理回路 22 において映像情報に変換したものであってもよい。
このように信号処理回路 22 が映像情報を受信する、又は、映像情報を生成することも可能である。図19の場合も同様である。すなわち、信号処理回路 22 は、映像情報を生成する映像情報生成回路、又は、映像情報に係るフレームごとの画像を生成する画像情報生成回路として動作することができる。
信号処理回路 22 は、生成した映像情報又は画像情報を、表示装置 1 へとインタフェースを介して表示装置 1 に表示させるとともに、表示装置 1 及びイメージセンサ 18 へとI/F 220 を介して、同期信号を出力することもできる。この場合、それぞれのデバイスにおけるインタフェースは、映像情報又は画像情報の送受信を行う経路と別の経路において同期信号を送受信する経路を備えることも可能である。
映像情報又は画像情報を生成した信号処理回路 22 において同期信号を出力することによっても、表示装置 1 における前述の各実施形態における表示のための処理をするとともに、この処理に対する適切なタイミングにおけるイメージセンサ 18 の駆動を制御することが可能となる。
もちろん、信号処理回路 22 もイメージセンサ 18 と同様に、生成した映像情報又は画像情報を他のデータに変換してもよく、I/F 220 及びI/F 120 は、当該データを送受信するインタフェースとして動作することもできる。
<5.画素回路の例>
以下において、画素 PIX は、代表的には第1画素 100 を示し、また、場合によっては第2画素 102 を含む概念とすることができる。
図21は、画素 PIX の一構成例を表すものである。画素 PIX は、キャパシタ C01 と、トランジスタ MN02 ~ MN03 と、発光素子 EL とを有している。トランジスタ MN02 ~ MN03 は、N型のMOSFET (Metal Oxide Semiconductor Field Effect Transistor)である。トランジスタ MN02 のゲートは制御線 WSL に接続され、ドレインは信号線 SGL に接続され、ソースはトランジスタ MN03 のゲートおよびキャパシタ C01 に接続される。キャパシタ C01 の一端はトランジスタ MN02 のソースおよびトランジスタ MN03 のゲートに接続され、他端はトランジスタ MN03 のソースおよび発光素子 EL のアノードに接続される。トランジスタ MN03 のゲートはトランジスタ MN02 のソースおよびキャパシタ C01 の一端に接続され、ドレインは電源線 VCCP に接続され、ソースはキャパシタ C01 の他端および発光素子 EL のアノードに接続される。発光素子 EL のアノードはトランジスタ MN03 のソースおよびキャパシタ C01 の他端に接続され、カソードは電源線 Vcath に接続される。電源線 VCCP の電圧は、第1電圧と、第1電圧よりも低い第2電圧と、に適宜切り替わる。
この構成により、画素 PIX では、トランジスタ MN02 がオン状態になることにより、信号線 SGL から供給された画素信号に基づいてキャパシタ C01 の両端間の電圧が設定される。電源線 VCCP の電圧が第1電圧である期間に、トランジスタ MN03 は、キャパシタ C01 の両端間の電圧に応じた電流を発光素子 EL に流す。発光素子 EL は、トランジスタ MN03 から供給された電流に基づいて発光する。このようにして、画素 PIX は、画素信号に応じた輝度で発光する。なお、電源線 VCCP の電圧が第2電圧である期間には、発光素子 EL は消光する。
図22は、画素 PIX の他の一構成例を表すものである。この画素 PIX は、キャパシタ C11 , C12 と、トランジスタ MP12 ~ MP15 と、発光素子 EL とを有している。トランジスタ MP12 ~ MP15 はP型のMOSFETである。トランジスタ MP12 のゲートは制御線 WSL に接続され、ソースは信号線 SGL に接続され、ドレインはトランジスタ MP14 のゲートおよびキャパシタ C12 に接続される。キャパシタ C11 の一端は電源線 VCCP に接続され、他端はキャパシタ C12 、トランジスタ MP13 のドレイン、およびトランジスタ MP14 のソースに接続される。キャパシタ C12 の一端はキャパシタ C11 の他端、トランジスタ MP13 のドレイン、およびトランジスタ MP14 のソースに接続され、他端はトランジスタ MP12 のドレインおよびトランジスタ MP14 のゲートに接続される。トランジスタ MP13 のゲートは制御線 DSL に接続され、ソースは電源線 VCCP に接続され、ドレインはトランジスタ MP14 のソース、キャパシタ C11 の他端、およびキャパシタ C12 の一端に接続される。トランジスタ MP14 のゲートはトランジスタ MP12 のドレインおよびキャパシタ C12 の他端に接続され、ソースはトランジスタ MP13 のドレイン、キャパシタ C11 の他端、およびキャパシタ C12 の一端に接続され、ドレインは発光素子 EL のアノードおよびトランジスタ MP15 のソースに接続される。トランジスタ MP15 のゲートは制御線 AZSL に接続され、ソースはトランジスタ MP14 のドレインおよび発光素子 EL のアノードに接続され、ドレインは電源線 VSS に接続される。
この構成により、画素 PIX では、トランジスタ MP12 がオン状態になることにより、信号線 SGL から供給された画素信号に基づいてキャパシタ C12 の両端間の電圧が設定される。トランジスタ MP13 は、制御線 DSL の信号に基づいてオンオフする。トランジスタ MP14 は、トランジスタ MP13 がオン状態である期間において、キャパシタ C12 の両端間の電圧に応じた電流を発光素子 EL に流す。発光素子 EL は、トランジスタ MP14 から供給された電流に基づいて発光する。このようにして、画素 PIX は、画素信号に応じた輝度で発光する。トランジスタ MP15 は、制御線 AZSL の信号に基づいてオンオフする。トランジスタ MP15 がオン状態である期間において、発光素子 EL のアノードの電圧は電源線 VSS の電圧に設定されることにより初期化される。
なお、トランジスタ MP12 ~ MP15 は、低温多結晶シリコン(LTPS: Low Temperature Poly Silicon)を用いたトランジスタであってもよい。また、トランジスタ MP12 、 MP15 のうち少なくともいずれかは、酸化物半導体を用いたトランジスタであってもよい。
図23は、画素 PIX の他の一構成例を表すものである。この画素 PIX は、キャパシタ C21 と、トランジスタ MN22 ~ MN25 と、発光素子 EL とを有している。トランジスタ MN22 ~ MN25 はN型のMOSFETである。トランジスタ MN22 のゲートは制御線 WSL に接続され、ドレインは信号線 SGL に接続され、ソースはトランジスタ MN24 のゲートおよびキャパシタ C21 に接続される。キャパシタ C21 の一端はトランジスタ MN22 のソースおよびトランジスタ MN24 のゲートに接続され、他端はトランジスタ MN24 のソース、トランジスタ MN25 のドレイン、および発光素子 EL のアノードに接続される。トランジスタ MN23 のゲートは制御線 DSL に接続され、ドレインは電源線 VCCP に接続され、ソースはトランジスタ MN24 のドレインに接続される。トランジスタ MN24 のゲートはトランジスタ MN22 のソースおよびキャパシタ C21 の一端に接続され、ドレインはトランジスタ MN23 のソースに接続され、ソースはキャパシタ C21 の他端、トランジスタ MN25 のドレイン、および発光素子 EL のアノードに接続される。トランジスタ MN25 のゲートは制御線 AZSL に接続され、ドレインはトランジスタ MN24 のソース、キャパシタ C21 の他端、および発光素子 EL のアノードに接続され、ソースは電源線 VSS に接続される。
この構成により、画素 PIX では、トランジスタ MN22 がオン状態になることにより、信号線 SGL から供給された画素信号に基づいてキャパシタ C21 の両端間の電圧が設定される。トランジスタ MN23 は、制御線 DSL の信号に基づいてオンオフする。トランジスタ MN24 は、トランジスタ MN23 がオン状態である期間において、キャパシタ C21 の両端間の電圧に応じた電流を発光素子 EL に流す。発光素子 EL は、トランジスタ MN24 から供給された電流に基づいて発光する。このようにして、画素 PIX は、画素信号に応じた輝度で発光する。トランジスタ MN25 は、制御線 AZSL の信号に基づいてオンオフする。トランジスタ MN25 がオン状態である期間において、発光素子 EL のアノードの電圧は電源線 VSS の電圧に設定されることにより初期化される。
なお、トランジスタ MN22 ~ MN25 は、低温多結晶シリコン(LTPS: Low Temperature Poly Silicon)を用いたトランジスタであってもよい。また、トランジスタ MN22 、 MN25 のうち少なくともいずれかは、酸化物半導体を用いたトランジスタであってもよい。
図24は、画素 PIX の他の一構成例を表すものである。この画素 PIX は、キャパシタ C31 と、トランジスタ MP32 ~ MP36 と、発光素子 EL とを有している。トランジスタ MP32 ~ MP36 はP型のMOSFETである。トランジスタ MP32 のゲートは制御線 WSL に接続され、ソースは信号線 SGL に接続され、ドレインはトランジスタ MP33 のゲート、トランジスタ MP34 のドレイン、およびキャパシタ C31 に接続される。キャパシタ C31 の一端は電源線 VCCP に接続され、他端はトランジスタ MP32 のドレイン、トランジスタ MP33 のゲート、およびトランジスタ MP34 のドレインに接続される。トランジスタ MP34 のゲートは制御線 AZSL 1に接続され、ソースはトランジスタ MP33 のドレインおよびトランジスタ MP35 のソースに接続され、ドレインはトランジスタ MP32 のドレイン、トランジスタ MP33 のゲート、およびキャパシタ C31 の他端に接続される。トランジスタ MP35 のゲートは制御線 DSL に接続され、ソースはトランジスタ MP33 のドレインおよびトランジスタ MP34 のソースに接続され、ドレインはトランジスタ MP36 のソースおよび発光素子 EL のアノードに接続される。トランジスタ MP36 のゲートは制御線 AZSL2 に接続され、ソースはトランジスタ MP35 のドレインおよび発光素子 EL のアノードに接続され、ドレインは電源線 VSS に接続される。
この構成により、画素 PIX では、トランジスタ MP32 がオン状態になることにより、信号線 SGL から供給された画素信号に基づいてキャパシタ C31 の両端間の電圧が設定される。トランジスタ MP35 は、制御線 DSL の信号に基づいてオンオフする。トランジスタ MP33 は、トランジスタ MP35 がオン状態である期間において、キャパシタ C31 の両端間の電圧に応じた電流を、発光素子 EL に流す。発光素子 EL は、トランジスタ MP33 から供給された電流に基づいて発光する。このようにして、画素 PIX は、画素信号に応じた輝度で発光する。トランジスタ MP34 は、制御線 AZSL 1の信号に基づいてオンオフする。トランジスタ MP34 がオン状態である期間において、トランジスタ MP33 のドレインおよびゲートが互いに接続される。トランジスタ MP36 は、制御線 AZSL2 の信号に基づいてオンオフする。トランジスタ MP36 がオン状態になる期間において、発光素子 EL のアノードの電圧は電源線 VSS の電圧に設定されることにより初期化される。
なお、トランジスタ MP32 ~ MP36 は、低温多結晶シリコン(LTPS: Low Temperature Poly Silicon)を用いたトランジスタであってもよい。また、トランジスタ MP32 、 MP34 、 MP36 のうち少なくともいずれかは、酸化物半導体を用いたトランジスタであってもよい。
図25は、画素 PIX の他の一構成例を表すものである。キャパシタ C48 の一端は信号線 SGL 1に接続され、他端は電源線 VSS に接続される。キャパシタ C49 の一端は信号線 SGL 1に接続され、他端は信号線 SGL2 に接続される。トランジスタ MP49 はP型のMOSFETであり、ゲートは制御線 WSL 2に接続され、ソースは信号線 SGL 1に接続され、ドレインは信号線 SGL2 に接続される。
画素 PIX は、キャパシタ C41 と、トランジスタ MP42 ~ MP46 と、発光素子 EL とを有している。トランジスタ MP42 ~ MP46 は、P型のMOSFETである。トランジスタ MP42 のゲートは制御線 WSL 1に接続され、ソースは信号線 SGL2 に接続され、ドレインはトランジスタ MP43 のゲートおよびキャパシタ C41 に接続される。キャパシタ41の一端は電源線 VCCP に接続され、他端はトランジスタ MP42 のドレインおよびトランジスタ MP43 のゲートに接続される。トランジスタ MP43 のゲートはトランジスタ MP42 のドレインおよびキャパシタ C41 の他端に接続され、ソースは電源線 VCCP に接続され、ドレインはトランジスタ MP44 、 MP45 のソースに接続される。トランジスタ MP44 のゲートは制御線 AZSL 1に接続され、ソースはトランジスタ MP43 のドレインおよびトランジスタ MP45 のソースに接続され、ドレインは信号線 SGL2 に接続される。トランジスタ MP45 のゲートは制御線 DSL に接続され、ソースはトランジスタ MP43 のドレインおよびトランジスタ MP44 のソースに接続され、ドレインはトランジスタ MP46 のソースおよび発光素子 EL のアノードに接続される。トランジスタ MP46 のゲートは制御線 AZSL2 に接続され、ソースはトランジスタ MP45 のドレインおよび発光素子 EL のアノードに接続され、ドレインは電源線 VSS に接続される。
この構成により、画素 PIX では、トランジスタ MP42 がオン状態になることにより、信号線 SGL 1からキャパシタ C49 を介して供給された画素信号に基づいてキャパシタ C41 の両端間の電圧が設定される。トランジスタ MP45 は、制御線 DSL の信号に基づいてオンオフする。トランジスタ MP43 は、トランジスタ MP45 がオン状態である期間において、キャパシタ C41 の両端間の電圧に応じた電流を発光素子 EL に流す。発光素子 EL は、トランジスタ MP43 から供給された電流に基づいて発光する。このようにして、画素 PIX は、画素信号に応じた輝度で発光する。トランジスタ MP44 は、制御線 AZSL 1の信号に基づいてオンオフする。トランジスタ MP44 がオン状態である期間において、トランジスタ MP43 のドレインおよび信号線 SGL2 が互いに接続される。トランジスタ MP46 は、制御線 AZSL2 の信号に基づいてオンオフする。トランジスタ MP46 がオン状態になる期間において、発光素子 EL のアノードの電圧は電源線 VSS の電圧に設定されることにより初期化される。
なお、トランジスタ MP42 ~ MP46 、 MP49 は、低温多結晶シリコン(LTPS: Low Temperature Poly Silicon)を用いたトランジスタであってもよい。また、トランジスタ MP42 、 MP46 、 MP49 のうち少なくともいずれかは、酸化物半導体を用いたトランジスタであってもよい。
図26は、画素 PIX の他の一構成例を表すものである。複数の画素 PIX は、表示領域 10 にマトリクス状に設けられ、表示領域 10 は、第1制御部 40 と第2制御部 70 の間に設けられる。
第1制御部 40 は、トランスミッションゲート TG45 、 TG46 と、トランジスタ MP56 、 MP57 と、キャパシタ C61 とを有している。トランジスタ MP56 、 MP57 は、P型のMOSFETである。トランスミッションゲート TG45 の入力端には画素信号が供給され、トランスミッションゲート TG45 の出力端は信号線 14a の一端に接続される。トランスミッションゲート TG46 の入力端は信号線 14b に接続され、トランスミッションゲート TG46 の出力端は電源線 Vorst に接続される。キャパシタ C61 の一端は信号線 14a に接続され、他端は電源線 VSS1 に接続される。トランジスタ MP56 のゲートは制御線 INIL に接続され、ソースは電源線 Vini に接続され、ドレインは信号線 14b に接続される。トランジスタ MP57 のゲートは制御線 ELL に接続され、ソースは電源線 Vel に接続され、ドレインは信号線 14b に接続される。
第2制御部 70 は、トランスミッションゲート TG72 と、トランジスタ MP73 と、キャパシタ C82 とを有している。トランジスタ MP73 は、P型のMOSFETである。トランスミッションゲート TG72 の入力端は信号線 14a の他端に接続され、出力端はトランジスタ MP73 のドレインおよびキャパシタ C82 の一端に接続される。トランジスタ MP73 のゲートは制御線 REFL に接続され、ソースは電源線 Vref に接続され、ドレインはトランスミッションゲート TG72 の出力端およびキャパシタ C82 の一端に接続される。キャパシタ C82 の一端はトランスミッションゲート TG72 の出力端およびトランジスタ MP73 のドレインに接続され、他端は信号線 14b の一端に接続される。
画素 PIX は、キャパシタ C132 と、トランジスタ MP121 ~ MP125 と、発光素子 EL とを有している。トランジスタ MP121 ~ MP125 は、P型のMOSFETである。トランジスタ MP122 のゲートは制御線 WSL に接続され、ソースは信号線 14b に接続され、ドレインはトランジスタ MP121 のゲートおよびキャパシタ C132 に接続される。キャパシタ C132 の一端は電源線 Vel に接続され、他端はトランジスタ MP122 のドレインおよびトランジスタ MP121 のゲートに接続される。トランジスタ MP121 のゲートはトランジスタ MP122 のドレインおよびキャパシタ C132 の他端に接続され、ソースは電源線 Vel に接続され、ドレインはトランジスタ MP123 、 MP124 のソースに接続される。トランジスタ MP123 のゲートは制御線 AZSL に接続され、ソースはトランジスタ MP121 のドレインおよびトランジスタ MP124 のソースに接続され、ドレインは信号線 14b に接続される。トランジスタ MP124 のゲートは制御線 DSL に接続され、ソースはトランジスタ MP121 のドレインおよびトランジスタ MP123 のソースに接続され、ドレインはトランジスタ MP125 のドレインおよび発光素子130のアノードに接続される。トランジスタ MP125 のゲートは制御線 AZSL に接続され、ソースは電源線 Vorst に接続され、ドレインはトランジスタ MP124 のドレインおよび発光素子130のアノードに接続される。
この構成により、画素 PIX では、トランジスタ MP122 がオン状態になることにより、トランスミッションゲート TG45 、信号線 14a 、トランスミッションゲート TG72 、キャパシタ C82 および信号線 14b を介して供給された画素信号に基づいてキャパシタ C132 の両端間の電圧が設定される。トランジスタ MP124 は、制御線 DSL の信号に基づいてオンオフする。トランジスタ MP121 は、トランジスタ MP124 がオン状態である期間において、キャパシタ C132 の両端間の電圧に応じた電流を発光素子 EL に流す。発光素子 EL は、トランジスタ MP121 から供給された電流に基づいて発光する。このようにして、画素 PIX は、画素信号に応じた輝度で発光する。トランジスタ MP123 , MP125 は、制御線 AZSL の信号に基づいてオンオフする。トランジスタ MP123 がオン状態である期間において、トランジスタ MP121 のドレインおよびトランジスタ MP124 のソースが信号線 14b に接続される。トランジスタ MP125 がオン状態になる期間において、発光素子 EL のアノードの電圧は電源線 Vorst の電圧に設定されることにより初期化される。また、トランジスタ MP56 は、制御線 INIL の信号に基づいてオンオフし、トランジスタ MP57 は、制御線 ELL の信号に基づいてオンオフし、トランジスタ MP73 は、制御線 REFL の信号に基づいてオンオフする。トランジスタ MP56 がオン状態になると、信号線 14b は電源線 Vini の電圧に設定され、トランジスタ MP57 がオン状態になると、信号線 14b は電源線 Vel の電圧に設定される。トランジスタ MP73 がオン状態になると、キャパシタ C82 の一端は電源線 Vref の電圧に設定されることにより初期化される。
なお、トランジスタ MP121 ~ MP125 、 MP56 、 MP57 は、低温多結晶シリコン(LTPS: Low Temperature Poly Silicon)を用いたトランジスタであってもよい。また、トランジスタ MP122 、 MP125 のうち少なくともいずれかは、酸化物半導体を用いたトランジスタであってもよい。
図27は、画素 PIX の他の一構成例を表すものである。この画素 PIX は、キャパシタ C51 と、トランジスタ MP52 ~ MP60 と、発光素子 EL とを有している。トランジスタ MP52 ~ MP60 はP型のMOSFETである。トランジスタ MP52 のゲートは制御線 WSL に接続され、ソースは信号線 SGL に接続され、ドレインはトランジスタ MP53 のドレインおよびトランジスタ MP54 のソースに接続される。トランジスタ MP53 のゲートは制御線 DSL に接続され、ソースは電源線 VCCP に接続され、ドレインはトランジスタ MP52 のドレインおよびトランジスタ MP54 のソースに接続される。トランジスタ MP54 のゲートはトランジスタ MP55 のソース、トランジスタ MP57 のドレイン、およびキャパシタ C51 に接続され、ソースはトランジスタ MP52 , MP53 のドレインに接続され、ドレインはトランジスタ MP58 , MP59 のソースに接続される。キャパシタ C51 の一端は電源線 VCCP に接続され、他端はトランジスタ MP54 のゲート、トランジスタ MP55 のソース、およびトランジスタ MP57 のドレインに接続される。キャパシタ C51 は、互いに並列に接続された2つのキャパシタを含んでいてもよい。トランジスタ MP55 のゲートは制御線 AZSL 1に接続され、ソースはトランジスタ MP54 のゲート、トランジスタ MP57 のドレイン、およびキャパシタ C51 の他端に接続され、ドレインはトランジスタ MP56 のソースに接続される。トランジスタ MP56 のゲートは制御線 AZSL 1に接続され、ソースはトランジスタ MP55 のドレインに接続され、ドレインは電源線 VSS に接続される。トランジスタ MP57 のゲートは制御線 WSL に接続され、ドレインはトランジスタ MP54 のゲート、トランジスタ MP55 のソース、およびキャパシタ C51 の他端に接続され、ソースはトランジスタ MP58 のドレインに接続される。トランジスタ MP58 のゲートは制御線 WSL に接続され、ドレインはトランジスタ MP57 のソースに接続され、ソースはトランジスタ MP54 のドレインおよびトランジスタ MP59 のソースに接続される。トランジスタ59のゲートは制御線 DSL に接続され、ソースはトランジスタ MP54 のドレインおよびトランジスタ MP58 のソースに接続され、ドレインはトランジスタ MP60 のソースおよび発光素子 EL のアノードに接続される。トランジスタ MP60 のゲートは制御線 AZSL2 に接続され、ソースはトランジスタ MP59 のドレインおよび発光素子 EL のアノードに接続され、ドレインは電源線 VSS に接続される。
この構成により、画素 PIX では、トランジスタ MP52 , MP54 , MP58 , MP57 がオン状態になることにより、信号線 SGL から供給された画素信号に基づいてキャパシタ C51 の両端間の電圧が設定される。トランジスタ MP53 , MP59 は、制御線 DSL の信号に基づいてオンオフする。トランジスタ MP54 は、トランジスタ MP53 , MP59 がオン状態である期間において、キャパシタ C51 の両端間の電圧に応じた電流を、発光素子 EL に流す。発光素子 EL は、トランジスタ MP54 から供給された電流に基づいて発光する。このようにして、画素 PIX は、画素信号に応じた輝度で発光する。トランジスタ MP55 , MP56 は、制御線 AZSL 1の信号に基づいてオンオフする。トランジスタ MP55 , MP56 がオン状態である期間において、トランジスタ MP54 のゲートの電圧は電源線 VSS の電圧に設定されることにより初期化される。トランジスタ MP60 は、制御線 AZSL2 の信号に基づいてオンオフする。トランジスタ MP60 がオン状態である期間において、発光素子 EL のアノードの電圧は電源線 VSS の電圧に設定されることにより初期化される。
なお、トランジスタ MP52 ~ MP60 は、低温多結晶シリコン(LTPS: Low Temperature Poly Silicon)を用いたトランジスタであってもよい。また、トランジスタ MP55 ~ MP58 、 MP60 のうち少なくともいずれかは、酸化物半導体を用いたトランジスタであってもよい。
図28は、画素 PIX の他の一構成例を表すものである。制御線 WSNL の信号および制御線 WSPL の信号は、互いに反転した信号である。
画素 PIX は、キャパシタ C61 , C62 と、トランジスタ MN63 , MP64 , MN65 ~ MN67 と、発光素子 EL とを有している。トランジスタ MN63 , MN65 ~ MN67 はN型のMOSFETであり、トランジスタ MP64 はP型のMOSFETである。トランジスタ MN63 のゲートは制御線 WSNL に接続され、ドレインは信号線 SGL およびトランジスタ MP64 のソースに接続され、ソースはトランジスタ MP64 のドレイン、キャパシタ C61 , C62 、およびトランジスタ MN65 のゲートに接続される。トランジスタ MP64 のゲートは制御線 WSPL に接続され、ソースは信号線 SGL およびトランジスタ MN63 のドレインに接続され、ドレインはトランジスタ MN63 のソース、キャパシタ C61 , C62 、およびトランジスタ MN65 のゲートに接続される。キャパシタ C61 は、例えばMOM(Metal Oxide Metal)キャパシタを用いて構成され、一端はトランジスタ MN63 のソース、トランジスタ MP64 のドレイン、キャパシタ C62 、およびトランジスタ MN65 のゲートに接続され、他端は電源線 VSS 2に接続される。なお、キャパシタ C61 は、例えばMOSキャパシタやMIM(Metal Insulator Metal)キャパシタを用いて構成されてもよい。キャパシタ C62 は、例えばMOSキャパシタを用いて構成され、一端はトランジスタ MN63 のソース、トランジスタ MP64 のドレイン、キャパシタ C61 の一端、およびトランジスタ MN65 のゲートに接続され、他端は電源線 VSS 2に接続される。なお、キャパシタ C62 は、例えば、MOMキャパシタやMIMキャパシタを用いて構成されてもよい。また、キャパシタ C62 の他端は、電源線 VSS3 (図示省略)に接続されてもよい。トランジスタ MN65 のゲートはトランジスタ MN63 のソース、トランジスタ MP64 のドレイン、およびキャパシタ C61 , C62 の一端に接続され、ドレインは電源線 VCCP に接続され、ソースはトランジスタ MN66 , MN67 のドレインに接続される。トランジスタ MN66 のゲートは制御線 AZL に接続され、ドレインはトランジスタ MN65 のソースおよびトランジスタ MN67 のドレインに接続され、ソースは電源線 VSS1 に接続される。トランジスタ MN67 のゲートは制御線 DSL に接続され、ドレインはトランジスタ MN65 のソースおよびトランジスタ MN66 のドレインに接続され、ソースは発光素子 EL のアノードに接続される。なお、トランジスタ MN67 および制御線 DSL を設けず、トランジスタ MN65 のソースがトランジスタ MN66 のドレインおよび発光素子 EL のアノードに接続される構成としてもよい。
この構成により、画素 PIX では、トランジスタ MN63 , MP64 のうちの少なくとも一方がオン状態になることにより、信号線 SGL から供給された画素信号に基づいてキャパシタ C61 , C62 の両端間の電圧が設定される。トランジスタ MN67 は、制御線 DSL の信号に基づいてオンオフする。トランジスタ MN65 は、トランジスタ MN67 がオン状態である期間において、キャパシタ C61 , C62 の両端間の電圧に応じた電流を、発光素子 EL に流す。発光素子 EL は、トランジスタ MP65 から供給された電流に基づいて発光する。このようにして、画素 PIX は、画素信号に応じた輝度で発光する。トランジスタ MN66 は、制御線 AZL の信号に基づいてオンオフしてもよい。また、トランジスタ MN66 は、制御線 AZL の信号に応じた抵抗値を有する抵抗素子として機能してもよい。この場合、トランジスタ MN65 およびトランジスタ MN66 はいわゆるソースフォロワ回路を構成する。
なお、トランジスタ MN63 , MP64 , MN65 ~ MN67 は、低温多結晶シリコン(LTPS: Low Temperature Poly Silicon)を用いたトランジスタであってもよい。また、トランジスタ MN63 , MP64 , MN66 のうち少なくともいずれかは、酸化物半導体を用いたトランジスタであってもよい。
図29は、画素 PIX の他の一構成例を表すものである。この画素 PIX は、キャパシタ C71 と、トランジスタ MN72 ~ MN77 と、発光素子 EL とを有している。トランジスタ MN72 ~ MN77 はN型のMOSFETである。トランジスタ MN72 のゲートは制御線 WSL に接続され、ドレインは信号線 SGL に接続され、ソースはトランジスタ MN74 のソースおよびトランジスタ MN75 のドレインに接続される。キャパシタ C71 の一端はトランジスタ MN74 のゲートおよびトランジスタ MN76 のソースに接続され、他端はトランジスタ MN77 のドレイン、トランジスタ MN75 のソース、および発光素子 EL のアノードに接続される。トランジスタ MN73 のゲートは制御線DLS1に接続され、ドレインは電源線 VCCP に接続され、ソースはトランジスタ MN74 のドレインおよびトランジスタ MN76 のドレインに接続される。トランジスタ MN74 のゲートはトランジスタ MN76 のソースおよびキャパシタ C71 の一端に接続され、ドレインはトランジスタ73のソースおよびトランジスタ MN76 のドレインに接続され、ソースはトランジスタ MN72 のソースおよびトランジスタ MN75 のドレインに接続される。トランジスタ MN75 のゲートは制御線 DSL 2に接続され、ドレインはトランジスタ MN72 のソースおよびトランジスタ MN74 のソースに接続され、ソースはキャパシタ C71 の他端、トランジスタ MN77 のドレイン、および発光素子 EL のアノードに接続される。トランジスタ MN76 のゲートは制御線 AZSL に接続され、ドレインはトランジスタ MN73 のソースおよびトランジスタ MN74 のドレインに接続され、ソースはトランジスタ MN74 のゲートおよびキャパシタ C71 の一端に接続される。トランジスタ MN77 のゲートは制御線 AZSL に接続され、ドレインはキャパシタ C71 の他端、トランジスタ MN75 のソース、および発光素子 EL のアノードに接続され、ソースは電源線 VSS に接続される。
この構成により、画素 PIX では、トランジスタ MN72 , MN74 , MN76 がオン状態になることにより、信号線 SGL から供給された画素信号に基づいてキャパシタ C71 の両端間の電圧が設定される。トランジスタ MN73 は、制御線 DSL 1の信号に基づいてオンオフし、トランジスタ MN75 は、制御線 DSL 2の信号に基づいてオンオフする。トランジスタ MN74 は、トランジスタ MN73 , MN75 がオン状態である期間において、キャパシタ C71 の両端間の電圧に応じた電流を発光素子 EL に流す。発光素子 EL は、トランジスタ MN74 から供給された電流に基づいて発光する。このようにして、画素 PIX は、画素信号に応じた輝度で発光する。トランジスタ MN77 は、制御線 AZSL の信号に基づいてオンオフする。トランジスタ MN77 がオン状態である期間において、発光素子 EL のアノードの電圧は電源線 VSS の電圧に設定されることにより初期化される。
なお、トランジスタ MN72 ~ MN77 は、低温多結晶シリコン(LTPS: Low Temperature Poly Silicon)を用いたトランジスタであってもよい。また、トランジスタ MN76 は、酸化物半導体を用いたトランジスタであってもよい。
<6.電子機器の適用例>
(第1適用例)
本開示による表示装置1は、ヘッドマウントディスプレイ(以下、HMDと呼ぶ)にも適用可能である。HMDは、VR、AR、MR(Mixed Reality)、又はSR(Substitutional Reality)等に利用されることができる。
図30は表示装置1の第1適用例であるHMD320の外観図である。図30のHMD320は、人間の目を覆うように装着するための装着部材322を有する。この装着部材322は例えば人間の耳に引っ掛けて固定される。HMD320の内側には表示装置321が設けられており、HMD320の装着者はこの表示装置321にて立体映像等を視認できる。HMD320は例えば無線通信機能と加速度センサなどを備えており、装着者の姿勢やジェスチャなどに応じて、表示装置321に表示される立体映像等を切り換えることができる。
また、HMD320にカメラを設けて、装着者の周囲の画像を撮影し、カメラの撮影画像とコンピュータで生成した画像とを合成した画像を表示装置321で表示してもよい。例えば、HMD320の装着者が視認する表示装置321の裏面側に重ねてカメラを配置して、このカメラで装着者の目の周辺を撮影し、その撮影画像をHMD320の外表面に設けた別のディスプレイに表示することで、装着者の周囲にいる人間は、装着者の顔の表情や目の動きをリアルタイムに把握可能となる。
(第2適用例)
なお、HMD320には種々のタイプが考えられる。例えば、図31のように、本開示による表示装置1は、メガネ344に種々の情報を映し出すスマートグラス340にも適用可能である。図31のスマートグラス340は、本体部341と、アーム部342と、鏡筒部343とを有する。本体部341はアーム部342に接続されている。本体部341は、メガネ344に着脱可能とされている。本体部341は、スマートグラス340の動作を制御するための制御基板や表示部を内蔵している。本体部341と鏡筒は、アーム部342を介して互いに連結されている。鏡筒部343は、本体部341からアーム部342を介して出射される画像光を、メガネ344のレンズ345側に出射する。この画像光は、レンズ345を通して人間の目に入る。図31のスマートグラス340の装着者は、通常のメガネと同様に、周囲の状況だけでなく、鏡筒部343から出射された種々の情報を合わせて視認できる。
(第3適用例)
本開示による表示装置1は、乗物で用いられる種々のディスプレイに適用されるだけでなく、種々の電子機器に搭載されるディスプレイにも適用可能である。
図32Aは表示装置1の第3適用例であるデジタルカメラ310の正面図、図32Bはデジタルカメラ310の背面図である。図32A及び図32Bのデジタルカメラ310は、レンズ312を交換可能な一眼レフカメラの例を示しているが、レンズ312を交換できないカメラにも適用可能である。
図32A及び図32Bのカメラは、撮影者がカメラボディ311のグリップ313を把持した状態で電子ビューファインダ315を覗いて構図を決めて、焦点調節を行った状態でシャッタを押すと、カメラ内のメモリに撮影データが保存される。カメラの背面側には、図32Bに示すように、撮影データ等やライブ画像等を表示するモニタ画面316と、電子ビューファインダ315とが設けられている。また、カメラの上面には、シャッタ速度や露出値などの設定情報を表示するサブ画面が設けられる場合もある。
カメラに用いられるモニタ画面316、電子ビューファインダ315、サブ画面等の裏面側に重ねてセンサを配置することで、本開示による表示装置1として用いることができる。
(第4適用例)
図33は、テレビジョン装置330の外観の一例を表すものである。テレビジョン装置330は、フロントパネル332およびフィルターガラス333を含む映像表示画面部331を有する。この映像表示画面部331に、上記実施の形態等に係る技術を適用することができる。
(第5適用例)
図34は、スマートフォン350の外観の一例を表すものである。スマートフォン350は、各種情報を表示する表示部351と、ユーザによる操作入力を受け付けるボタンなどを含む操作部352とを有する。この表示部351に、上記実施の形態等に係る技術を適用することができる。
図34は、スマートフォン350の外観の一例を表すものである。スマートフォン350は、各種情報を表示する表示部351と、ユーザによる操作入力を受け付けるボタンなどを含む操作部352とを有する。この表示部351に、上記実施の形態等に係る技術を適用することができる。
(第6適用例)
本開示による表示装置1は、種々の用途に用いることができる。図35A及び図35Bは本開示による表示装置1の第1適用例である乗物360の内部の構成を示す図である。図35Aは乗物360の後方から前方にかけての乗物360の内部の様子を示す図、図35Bは乗物360の斜め後方から斜め前方にかけての乗物360の内部の様子を示す図である。
図35A及び図35Bの乗物360は、センターディスプレイ361と、コンソールディスプレイ362と、ヘッドアップディスプレイ363と、デジタルリアミラー364と、ステアリングホイールディスプレイ365と、リアエンタテイメントディスプレイ366とを有する。
センターディスプレイ361は、ダッシュボード367上の運転席368及び助手席369に対向する場所に配置されている。図39では、運転席368側から助手席369側まで延びる横長形状のセンターディスプレイ361の例を示すが、センターディスプレイ361の画面サイズや配置場所は任意である。センターディスプレイ361には、種々のセンサで検知された情報を表示可能である。具体的な一例として、センターディスプレイ361には、イメージセンサで撮影した撮影画像、ToFセンサで計測された乗物前方や側方の障害物までの距離画像、赤外線センサで検出された乗客の体温などを表示可能である。センターディスプレイ361は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証/識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。
安全関連情報は、居眠り検知、よそ見検知、同乗している子供のいたずら検知、シートベルト装着有無、乗員の置き去り検知などの情報であり、例えばセンターディスプレイ361の裏面側に重ねて配置されたセンサにて検知される情報である。操作関連情報は、センサを用いて乗員の操作に関するジェスチャを検知する。検知されるジェスチャは、乗物360内の種々の設備の操作を含んでいてもよい。例えば、空調設備、ナビゲーション装置、AV装置、照明装置等の操作を検知する。ライフログは、乗員全員のライフログを含む。例えば、ライフログは、乗車中の各乗員の行動記録を含む。ライフログを取得及び保存することで、事故時に乗員がどのような状態であったかを確認できる。健康関連情報は、温度センサを用いて乗員の体温を検知し、検知した体温に基づいて乗員の健康状態を推測する。あるいは、イメージセンサを用いて乗員の顔を撮像し、撮像した顔の表情から乗員の健康状態を推測してもよい。さらに、乗員に対して自動音声で会話を行って、乗員の回答内容に基づいて乗員の健康状態を推測してもよい。認証/識別関連情報は、センサを用いて顔認証を行うキーレスエントリ機能や、顔識別でシート高さや位置の自動調整機能などを含む。エンタテイメント関連情報は、センサを用いて乗員によるAV装置の操作情報を検出する機能や、センサで乗員の顔を認識して、乗員に適したコンテンツをAV装置にて提供する機能などを含む。
コンソールディスプレイ362は、例えばライフログ情報の表示に用いることができる。コンソールディスプレイ362は、運転席368と助手席369の間のセンターコンソール370のシフトレバー371の近くに配置されている。コンソールディスプレイ362にも、種々のセンサで検知された情報を表示可能である。また、コンソールディスプレイ362には、イメージセンサで撮像された車両周辺の画像を表示してもよいし、車両周辺の障害物までの距離画像を表示してもよい。
ヘッドアップディスプレイ363は、運転席368の前方のフロントガラス372の奥に仮想的に表示される。ヘッドアップディスプレイ363は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証/識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。ヘッドアップディスプレイ363は、運転席368の正面に仮想的に配置されることが多いため、乗物360の速度や燃料(バッテリ)残量などの乗物360の操作に直接関連する情報を表示するのに適している。
デジタルリアミラー364は、乗物360の後方を表示できるだけでなく、後部座席の乗員の様子も表示できるため、デジタルリアミラー364の裏面側に重ねてセンサを配置することで、例えばライフログ情報の表示に用いることができる。
ステアリングホイールディスプレイ365は、乗物360のハンドル373の中心付近に配置されている。ステアリングホイールディスプレイ365は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証/識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。特に、ステアリングホイールディスプレイ365は、運転者の手の近くにあるため、運転者の体温等のライフログ情報を表示したり、AV装置や空調設備等の操作に関する情報などを表示するのに適している。
リアエンタテイメントディスプレイ366は、運転席368や助手席369の背面側に取り付けられており、後部座席の乗員が視聴するためのものである。リアエンタテイメントディスプレイ366は、例えば、安全関連情報、操作関連情報、ライフログ、健康関連情報、認証/識別関連情報、及びエンタテイメント関連情報の少なくとも一つを表示するために用いることができる。特に、リアエンタテイメントディスプレイ366は、後部座席の乗員の目の前にあるため、後部座席の乗員に関連する情報が表示される。例えば、AV装置や空調設備の操作に関する情報を表示したり、後部座席の乗員の体温等を温度センサで計測した結果を表示してもよい。
上述したように、表示装置1の裏面側に重ねてセンサを配置することで、周囲に存在する物体までの距離を計測することができる。光学的な距離計測の手法には、大きく分けて、受動型と能動型がある。受動型は、センサから物体に光を投光せずに、物体からの光を受光して距離計測を行うものである。受動型には、レンズ焦点法、ステレオ法、及び単眼視法などがある。能動型は、物体に光を投光して、物体からの反射光をセンサで受光して距離計測を行うものである。能動型には、光レーダ方式、アクティブステレオ方式、照度差ステレオ法、モアレトポグラフィ法、干渉法などがある。本開示による表示装置1は、これらのどの方式の距離計測にも適用可能である。本開示による表示装置1の裏面側に重ねて配置されるセンサを用いることで、上述した受動型又は能動型の距離計測を行うことができる。
前述した実施形態は、以下のような形態としてもよい。
(1)
画像を表示する表示領域において映像信号又は画像信号に基づいた発光をする、第1画素と、
前記表示領域の周縁領域又は前記表示領域において、赤外帯域の光を照射する、第2画素と、
同期信号に基づいて、外部又は内部のイメージセンサが赤外帯域の光を撮像するタイミングと同期して少なくとも前記第2画素が赤外帯域の光を照射する制御を行う、制御回路と、
を備える、表示装置。
画像を表示する表示領域において映像信号又は画像信号に基づいた発光をする、第1画素と、
前記表示領域の周縁領域又は前記表示領域において、赤外帯域の光を照射する、第2画素と、
同期信号に基づいて、外部又は内部のイメージセンサが赤外帯域の光を撮像するタイミングと同期して少なくとも前記第2画素が赤外帯域の光を照射する制御を行う、制御回路と、
を備える、表示装置。
(2)
前記第1画素は、ローリング駆動される、
(1)に記載の表示装置。
前記第1画素は、ローリング駆動される、
(1)に記載の表示装置。
(3)
前記第2画素は、ローリング駆動される、
(2)に記載の表示装置。
前記第2画素は、ローリング駆動される、
(2)に記載の表示装置。
(4)
前記第2画素は、前記第1画素が消光している間に少なくとも1回、駆動される、
(3)に記載の表示装置。
前記第2画素は、前記第1画素が消光している間に少なくとも1回、駆動される、
(3)に記載の表示装置。
(5)
前記第2画素は、前記第1画素の駆動とは非同期で駆動される、
(3)に記載の表示装置。
前記第2画素は、前記第1画素の駆動とは非同期で駆動される、
(3)に記載の表示装置。
(6)
前記第2画素は、前記第1画素の駆動方向と逆方向に駆動される、
(3)又は(5)に記載の表示装置。
前記第2画素は、前記第1画素の駆動方向と逆方向に駆動される、
(3)又は(5)に記載の表示装置。
(7)
前記第2画素は、グローバル駆動される、
(2)に記載の表示装置。
前記第2画素は、グローバル駆動される、
(2)に記載の表示装置。
(8)
前記第1画素は、グローバル駆動される、
(1)に記載の表示装置。
前記第1画素は、グローバル駆動される、
(1)に記載の表示装置。
(9)
前記第2画素は、前記第1画素が消光している間にグローバル駆動される、
(8)に記載の表示装置。
前記第2画素は、前記第1画素が消光している間にグローバル駆動される、
(8)に記載の表示装置。
(10)
前記第1画素は、アクティブマトリクス形式で発光制御される、
(1)から(9)のいずれかに記載の表示装置。
前記第1画素は、アクティブマトリクス形式で発光制御される、
(1)から(9)のいずれかに記載の表示装置。
(11)
前記第2画素は、アクティブマトリクス形式で発光制御される、
(10)に記載の表示装置。
前記第2画素は、アクティブマトリクス形式で発光制御される、
(10)に記載の表示装置。
(12)
前記第2画素は、パッシブマトリクス形式で発光制御される、
(10)に記載の表示装置。
前記第2画素は、パッシブマトリクス形式で発光制御される、
(10)に記載の表示装置。
(13)
前記第2画素は、セグメントドライバにより発光制御される、
(10)に記載の表示装置。
前記第2画素は、セグメントドライバにより発光制御される、
(10)に記載の表示装置。
(14)
前記第2画素を駆動するドライバは、前記第1画素を駆動するドライバと前記表示領域に対して同じ側に配置される、
(1)から(13)のいずれかに記載の表示装置。
前記第2画素を駆動するドライバは、前記第1画素を駆動するドライバと前記表示領域に対して同じ側に配置される、
(1)から(13)のいずれかに記載の表示装置。
(15)
前記第2画素を駆動するドライバは、前記第1画素を駆動するドライバと前記表示領域に対して対向する側に配置される、
(1)から(13)のいずれかに記載の表示装置。
前記第2画素を駆動するドライバは、前記第1画素を駆動するドライバと前記表示領域に対して対向する側に配置される、
(1)から(13)のいずれかに記載の表示装置。
(16)
前記第2画素と、前記同期信号は、前記第1画素で表示される前記映像信号又は前記画像信号に埋め込んで送信される、
(1)から(15)のいずれかに記載の表示装置。
前記第2画素と、前記同期信号は、前記第1画素で表示される前記映像信号又は前記画像信号に埋め込んで送信される、
(1)から(15)のいずれかに記載の表示装置。
(17)
前記第2画素と、前記同期信号は、通信プロトコルを介して外部から送信される、
(1)から(15)のいずれかに記載の表示装置。
前記第2画素と、前記同期信号は、通信プロトコルを介して外部から送信される、
(1)から(15)のいずれかに記載の表示装置。
(18)
前記同期信号は、人間の眼において反射した前記第2画素が照射した光を受光してアイトラッキングを実行する情報を取得するために用いられる、
(1)から(17)のいずれかに記載の表示装置。
前記同期信号は、人間の眼において反射した前記第2画素が照射した光を受光してアイトラッキングを実行する情報を取得するために用いられる、
(1)から(17)のいずれかに記載の表示装置。
(19)
カウンタ、をさらに備え、
前記制御回路は、前記カウンタを用いて、前記同期信号に同期するタイミングで前記第2画素が赤外帯域の光を照射する制御を行う、
(1)から(18)のいずれかに記載の表示装置。
カウンタ、をさらに備え、
前記制御回路は、前記カウンタを用いて、前記同期信号に同期するタイミングで前記第2画素が赤外帯域の光を照射する制御を行う、
(1)から(18)のいずれかに記載の表示装置。
(20)
画像を表示する表示領域において映像信号又は画像信号に基づいた発光をする、第1画素と、
前記表示領域の周縁領域又は前記表示領域において、赤外帯域の光を照射する、第2画素と、
前記第2画素と同期して駆動し、少なくとも前記第2画素が照射した赤外帯域の光を受光する、イメージセンサと、
を備える、電子機器。
画像を表示する表示領域において映像信号又は画像信号に基づいた発光をする、第1画素と、
前記表示領域の周縁領域又は前記表示領域において、赤外帯域の光を照射する、第2画素と、
前記第2画素と同期して駆動し、少なくとも前記第2画素が照射した赤外帯域の光を受光する、イメージセンサと、
を備える、電子機器。
(21)
処理回路、をさらに備え、
前記イメージセンサは、人間の眼において反射した前記第2画素が照射した光を受光し、アイトラッキングのための情報を取得し、
前記処理回路は、前記イメージセンサが取得した情報に基づいて、アイトラッキングを実行する、
(20)に記載の電子機器。
処理回路、をさらに備え、
前記イメージセンサは、人間の眼において反射した前記第2画素が照射した光を受光し、アイトラッキングのための情報を取得し、
前記処理回路は、前記イメージセンサが取得した情報に基づいて、アイトラッキングを実行する、
(20)に記載の電子機器。
(22)
前記第1画素は、ローリング駆動される、
(20)又は(21)に記載の電子機器。
前記第1画素は、ローリング駆動される、
(20)又は(21)に記載の電子機器。
(23)
前記第2画素は、ローリング駆動される、
(20)又は(21)に記載の電子機器。
前記第2画素は、ローリング駆動される、
(20)又は(21)に記載の電子機器。
(24)
前記第2画素は、前記第1画素が消光している間に少なくとも1回、駆動される、
(23)に記載の電子機器。
前記第2画素は、前記第1画素が消光している間に少なくとも1回、駆動される、
(23)に記載の電子機器。
(25)
前記第2画素は、前記第1画素の駆動とは非同期で駆動される、
(23)に記載の電子機器。
前記第2画素は、前記第1画素の駆動とは非同期で駆動される、
(23)に記載の電子機器。
(26)
前記第2画素は、前記第1画素の駆動方向と逆方向に駆動される、
(23)又は(25)に記載の電子機器。
前記第2画素は、前記第1画素の駆動方向と逆方向に駆動される、
(23)又は(25)に記載の電子機器。
(27)
前記第2画素は、グローバル駆動される、
(22)に記載の電子機器。
前記第2画素は、グローバル駆動される、
(22)に記載の電子機器。
(28)
前記第1画素は、グローバル駆動される、
(20)又は(21)に記載の電子機器。
前記第1画素は、グローバル駆動される、
(20)又は(21)に記載の電子機器。
(29)
前記第2画素は、前記第1画素が消光している間にグローバル駆動される、
(28)に記載の電子機器。
前記第2画素は、前記第1画素が消光している間にグローバル駆動される、
(28)に記載の電子機器。
(30)
前記第1画素は、アクティブマトリクス形式で発光制御される、
(20)から(29)のいずれかに記載の電子機器。
前記第1画素は、アクティブマトリクス形式で発光制御される、
(20)から(29)のいずれかに記載の電子機器。
(31)
前記第2画素は、アクティブマトリクス形式で発光制御される、
(30)に記載の電子機器。
前記第2画素は、アクティブマトリクス形式で発光制御される、
(30)に記載の電子機器。
(32)
前記第2画素は、パッシブマトリクス形式で発光制御される、
(30)に記載の電子機器。
前記第2画素は、パッシブマトリクス形式で発光制御される、
(30)に記載の電子機器。
(33)
前記第2画素は、セグメントドライバにより発光制御される、
(30)に記載の電子機器。
前記第2画素は、セグメントドライバにより発光制御される、
(30)に記載の電子機器。
(34)
前記第2画素を駆動するドライバは、前記第1画素を駆動するドライバと前記表示領域に対して同じ側に配置される、
(20)から(33)のいずれかに記載の電子機器。
前記第2画素を駆動するドライバは、前記第1画素を駆動するドライバと前記表示領域に対して同じ側に配置される、
(20)から(33)のいずれかに記載の電子機器。
(35)
前記第2画素を駆動するドライバは、前記第1画素を駆動するドライバと前記表示領域に対して対向する側に配置される、
(20)から(33)のいずれかに記載の電子機器。
前記第2画素を駆動するドライバは、前記第1画素を駆動するドライバと前記表示領域に対して対向する側に配置される、
(20)から(33)のいずれかに記載の電子機器。
(36)
前記第2画素と、前記同期信号は、前記第1画素で表示される前記映像信号又は前記画像信号に埋め込んで送信される、
(20)から(35)のいずれかに記載の電子機器。
前記第2画素と、前記同期信号は、前記第1画素で表示される前記映像信号又は前記画像信号に埋め込んで送信される、
(20)から(35)のいずれかに記載の電子機器。
(37)
前記第2画素と、前記同期信号は、通信プロトコルを介して外部から送信される、
(20)から(35)のいずれかに記載の電子機器。
前記第2画素と、前記同期信号は、通信プロトコルを介して外部から送信される、
(20)から(35)のいずれかに記載の電子機器。
(38)
第1カウンタ、をさらに備え、
前記第2画素は、前記第1カウンタを用いて、前記同期信号に同期するタイミングで赤外帯域の光を照射する制御を行う、
(20)から(37)のいずれかに記載の電子機器。
第1カウンタ、をさらに備え、
前記第2画素は、前記第1カウンタを用いて、前記同期信号に同期するタイミングで赤外帯域の光を照射する制御を行う、
(20)から(37)のいずれかに記載の電子機器。
(39)
前記イメージセンサは、第2カウンタを備え、前記第2カウンタを用いて、前記同期信号に同期するタイミングで赤外帯域の光を撮像する制御を行う、
(20)から(38)のいずれかに記載の電子機器。
前記イメージセンサは、第2カウンタを備え、前記第2カウンタを用いて、前記同期信号に同期するタイミングで赤外帯域の光を撮像する制御を行う、
(20)から(38)のいずれかに記載の電子機器。
(40)
前記第1画素を用いて表示する前記映像信号又は前記画像信号を生成する、信号処理回路、をさらに備え、
前記信号処理回路は、前記同期信号を前記映像信号又は前記画像信号に基づいて生成する、
(20)から(38)のいずれかに記載の電子機器。
前記第1画素を用いて表示する前記映像信号又は前記画像信号を生成する、信号処理回路、をさらに備え、
前記信号処理回路は、前記同期信号を前記映像信号又は前記画像信号に基づいて生成する、
(20)から(38)のいずれかに記載の電子機器。
本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
1: 表示装置、
10: 画素アレイ、
100: 第1画素、
102: 第2画素、
12: 制御回路、
120: I/F、
14: 垂直駆動回路、
140: 第1垂直駆動回路、
142: 第2垂直駆動回路、
15: 信号線、
150: 第1信号線、
152: 第2信号線、
154: 第1電極、
16: 水平駆動回路、
160: 第1水平駆動回路、
162: 第2水平駆動回路、
17: 信号線、
170: 第1信号線、
172: 第2信号線、
174: 第2電極、
18: イメージセンサ、
180: I/F、
20: セグメントドライバ、
200: 信号線、
2: 電子機器、
22: 信号処理回路、
220: I/F、
24: I/F
10: 画素アレイ、
100: 第1画素、
102: 第2画素、
12: 制御回路、
120: I/F、
14: 垂直駆動回路、
140: 第1垂直駆動回路、
142: 第2垂直駆動回路、
15: 信号線、
150: 第1信号線、
152: 第2信号線、
154: 第1電極、
16: 水平駆動回路、
160: 第1水平駆動回路、
162: 第2水平駆動回路、
17: 信号線、
170: 第1信号線、
172: 第2信号線、
174: 第2電極、
18: イメージセンサ、
180: I/F、
20: セグメントドライバ、
200: 信号線、
2: 電子機器、
22: 信号処理回路、
220: I/F、
24: I/F
Claims (20)
- 画像を表示する表示領域において映像信号又は画像信号に基づいた発光をする、第1画素と、
前記表示領域の周縁領域又は前記表示領域において、赤外帯域の光を照射する、第2画素と、
同期信号に基づいて、外部又は内部のイメージセンサが赤外帯域の光を撮像するタイミングと同期して少なくとも前記第2画素が赤外帯域の光を照射する制御を行う、制御回路と、
を備える、表示装置。 - 前記第1画素は、ローリング駆動される、
請求項1に記載の表示装置。 - 前記第2画素は、ローリング駆動される、
請求項2に記載の表示装置。 - 前記第2画素は、前記第1画素が消光している間に少なくとも1回、駆動される、
請求項3に記載の表示装置。 - 前記第2画素は、前記第1画素の駆動とは非同期で駆動される、
請求項3に記載の表示装置。 - 前記第2画素は、前記第1画素の駆動方向と逆方向に駆動される、
請求項3に記載の表示装置。 - 前記第2画素は、グローバル駆動される、
請求項2に記載の表示装置。 - 前記第1画素は、グローバル駆動される、
請求項1に記載の表示装置。 - 前記第2画素は、前記第1画素が消光している間にグローバル駆動される、
請求項8に記載の表示装置。 - 前記第1画素は、アクティブマトリクス形式で発光制御される、
請求項1に記載の表示装置。 - 前記第2画素は、アクティブマトリクス形式で発光制御される、
請求項10に記載の表示装置。 - 前記第2画素は、パッシブマトリクス形式で発光制御される、
請求項10に記載の表示装置。 - 前記第2画素は、セグメントドライバにより発光制御される、
請求項10に記載の表示装置。 - 前記第2画素を駆動するドライバは、前記第1画素を駆動するドライバと前記表示領域に対して同じ側に配置される、
請求項1に記載の表示装置。 - 前記第2画素を駆動するドライバは、前記第1画素を駆動するドライバと前記表示領域に対して対向する側に配置される、
請求項1に記載の表示装置。 - 前記第2画素と、前記同期信号は、前記第1画素で表示される前記映像信号又は前記画像信号に埋め込んで送信される、
請求項1に記載の表示装置。 - 前記第2画素と、前記同期信号は、通信プロトコルを介して外部から送信される、
請求項1に記載の表示装置。 - 前記同期信号は、人間の眼において反射した前記第2画素が照射した光を受光してアイトラッキングを実行する情報を取得するために用いられる、
請求項1に記載の表示装置。 - カウンタ、をさらに備え、
前記制御回路は、前記カウンタを用いて、前記同期信号に同期するタイミングで前記第2画素が赤外帯域の光を照射する制御を行う、
請求項1に記載の表示装置。 - 画像を表示する表示領域において映像信号又は画像信号に基づいた発光をする、第1画素と、
前記表示領域の周縁領域又は前記表示領域において、赤外帯域の光を照射する、第2画素と、
前記第2画素と同期して駆動し、少なくとも前記第2画素が照射した赤外帯域の光を受光する、イメージセンサと、
を備える、電子機器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024080432 | 2024-05-16 | ||
| JP2024-080432 | 2024-05-16 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025239226A1 true WO2025239226A1 (ja) | 2025-11-20 |
Family
ID=97720260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2025/016524 Pending WO2025239226A1 (ja) | 2024-05-16 | 2025-05-01 | 表示装置及び電子機器 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2025239226A1 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07128579A (ja) * | 1993-10-29 | 1995-05-19 | Canon Inc | 視線検知方法、視線検知手段及び該視線検知手段を有する映像機器 |
| JP2007053534A (ja) * | 2005-08-17 | 2007-03-01 | Fujifilm Holdings Corp | 撮像装置 |
| US20170192499A1 (en) * | 2016-01-06 | 2017-07-06 | Oculus Vr, Llc | Eye tracking through illumination by head-mounted displays |
| JP2022007013A (ja) * | 2020-06-25 | 2022-01-13 | 日本信号株式会社 | 撮像装置の故障判定システム |
-
2025
- 2025-05-01 WO PCT/JP2025/016524 patent/WO2025239226A1/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07128579A (ja) * | 1993-10-29 | 1995-05-19 | Canon Inc | 視線検知方法、視線検知手段及び該視線検知手段を有する映像機器 |
| JP2007053534A (ja) * | 2005-08-17 | 2007-03-01 | Fujifilm Holdings Corp | 撮像装置 |
| US20170192499A1 (en) * | 2016-01-06 | 2017-07-06 | Oculus Vr, Llc | Eye tracking through illumination by head-mounted displays |
| JP2022007013A (ja) * | 2020-06-25 | 2022-01-13 | 日本信号株式会社 | 撮像装置の故障判定システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2022059450A (ja) | 表示装置、光電変換装置、電子機器、照明装置、移動体およびウェアラブルデバイス | |
| WO2023176166A1 (ja) | 表示装置及び電子機器 | |
| WO2025239226A1 (ja) | 表示装置及び電子機器 | |
| CN117178315A (zh) | 显示装置及电子设备 | |
| US12475819B2 (en) | Display device, display system, and display driving method | |
| JP7832213B2 (ja) | 表示装置、電子機器、及び表示制御方法 | |
| US12562141B2 (en) | Display device, display system, and display driving method | |
| WO2023243474A1 (ja) | 表示装置 | |
| WO2025182792A1 (ja) | 表示装置 | |
| WO2026029160A1 (ja) | 表示装置及び電子機器 | |
| US20250384859A1 (en) | Display device, display system, and display method | |
| JP2022063740A (ja) | 表示装置、電子装置および移動体 | |
| WO2025047599A1 (ja) | 表示装置 | |
| WO2025100488A1 (ja) | 表示装置及び電子機器 | |
| US20250174191A1 (en) | Display device | |
| WO2025047426A1 (ja) | 表示装置及び表示方法 | |
| EP4310821A1 (en) | Display device and electronic apparatus | |
| US12367834B2 (en) | Display device | |
| US12614517B2 (en) | Light emitting device, photoelectric conversion device, and electronic apparatus | |
| US20250148980A1 (en) | Display device and driving method for the same | |
| WO2025182707A1 (ja) | 表示装置 | |
| US20250182678A1 (en) | Display device | |
| EP4307283A1 (en) | Display device and control method | |
| WO2025041674A1 (ja) | 表示装置及び電子機器 | |
| WO2026074816A1 (ja) | 制御回路、表示装置、及び表示システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 25803475 Country of ref document: EP Kind code of ref document: A1 |