WO2010150572A1 - 光センサ付き表示装置 - Google Patents

光センサ付き表示装置 Download PDF

Info

Publication number
WO2010150572A1
WO2010150572A1 PCT/JP2010/053050 JP2010053050W WO2010150572A1 WO 2010150572 A1 WO2010150572 A1 WO 2010150572A1 JP 2010053050 W JP2010053050 W JP 2010053050W WO 2010150572 A1 WO2010150572 A1 WO 2010150572A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
display device
standby mode
normal mode
target image
Prior art date
Application number
PCT/JP2010/053050
Other languages
English (en)
French (fr)
Inventor
利充 後藤
厚志 岡田
浩二 熊田
真明 西尾
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US13/379,256 priority Critical patent/US20120105404A1/en
Publication of WO2010150572A1 publication Critical patent/WO2010150572A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306—Circuit arrangements or driving methods for the control of single liquid crystal cells
    • G02F1/13312—Circuits comprising photodetectors for purposes other than feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix

Definitions

  • the present invention relates to a display device, and more particularly to a display device in which a plurality of optical sensors are provided on a display panel.
  • such a display device with an optical sensor includes an A / D converter that converts a signal read from the optical sensor into a digital signal, and recognition for obtaining a touch position based on the obtained digital signal.
  • a processing unit and the like are provided. For this reason, the display device with an optical sensor has a problem that power consumption is larger than that of a display device without an optical sensor.
  • a method of providing a normal mode and a standby mode for a display device with an optical sensor and stopping the operation of the circuit in the standby mode or reducing the operation speed of the circuit is considered. It is done.
  • Japanese Patent Application Laid-Open No. H10-228561 waits when it is determined that the display device has not touched for a predetermined time based on the output signal from the touch sensing unit in the display device provided with the light sensing unit and the touch sensing unit. It is described that the mode shifts to the normal mode when it is determined that the mode has been touched.
  • Patent Document 1 shifts from the standby mode to the normal mode when the finger senses the contact sensing unit. In other words, even if the finger approaches the screen, the display device remains in the standby mode until the finger touches the screen. For this reason, this display device has a problem that it takes time to escape from the standby mode and detect the touch position because the timing of shifting from the standby mode to the normal mode is late.
  • an object of the present invention is to provide a display device with an optical sensor capable of quickly exiting the standby mode and quickly detecting the touch position.
  • a first aspect of the present invention is a display device including a plurality of optical sensors, A display panel including a plurality of pixel circuits and a plurality of photosensors arranged two-dimensionally; A drive circuit that performs an operation of writing a signal according to display data to the pixel circuit and an operation of reading a signal according to the amount of received light from the photosensor; A recognition processing unit that performs recognition processing on a recognition target image based on a signal read from the optical sensor, and outputs coordinate data indicating the position of the detection target; A mode control unit that determines whether the normal mode or the standby mode, operates the recognition processing unit in the normal mode, and stops the operation of the recognition processing unit in the standby mode; An image storage unit that stores a comparison target image based on a signal read from the optical sensor when shifting from the normal mode to the standby mode; The mode control unit shifts from the standby mode to the normal mode when the newly supplied comparison target image changes from the comparison target image stored in the image storage unit by a predetermined amount or more.
  • the mode control unit compares the comparison target image stored in the image storage unit and the newly supplied comparison target image for each pixel, and the number of pixels having a pixel value difference equal to or greater than a first threshold value. When it is equal to or greater than the second threshold, the standby mode is shifted to the normal mode.
  • At least one of the first and second threshold values is stored in a register whose value can be set from the outside.
  • the mode control unit shifts from a normal mode to a standby mode when a state where the coordinate data is not output continues for a predetermined time.
  • the mode control unit immediately after shifting from the standby mode to the normal mode, when the coordinate data is not output for a shorter period of time compared to the normal mode from before, when the normal mode to the standby mode. It is characterized by shifting to.
  • the comparison target image has a smaller number of pixels than the recognition target image.
  • a seventh aspect of the present invention is the sixth aspect of the present invention.
  • the comparison target image is an image obtained by thinning pixel values from the recognition target image.
  • the extraction range of the comparison target image is stored in a register whose value can be set from the outside.
  • the drive circuit reads out a smaller amount of signal from the optical sensor in the standby mode than in the normal mode according to the determination result by the mode control unit.
  • An A / D converter for converting a signal read from the optical sensor into a digital value;
  • the A / D converter performs conversion into a digital value in the standby mode less frequently than in the normal mode according to the determination result by the mode control unit.
  • the mode control unit turns off the infrared backlight in a standby mode.
  • a recognition process is performed on a display panel including a plurality of pixel circuits and a plurality of photosensors arranged two-dimensionally, and a recognition target image based on a signal read from the photosensor.
  • a control method of a display device comprising a recognition processing unit that outputs coordinate data indicating the position of a detection object, Writing a signal corresponding to display data into the pixel circuit; Reading a signal corresponding to the amount of received light from the optical sensor; Determining whether normal mode or standby mode; Operating the recognition processing unit in the normal mode, and stopping the operation of the recognition processing unit in the standby mode; Storing a comparison target image based on a signal read from the optical sensor when shifting from the normal mode to the standby mode,
  • the step of determining the mode is characterized in that when the newly supplied comparison target image is changed from the stored comparison target image by a predetermined amount or more, the mode is shifted from the standby mode to the normal mode.
  • the first or twelfth aspect of the present invention it is possible to reduce the power consumption of the display device by determining whether the mode is the normal mode or the standby mode and stopping the operation of the recognition processing unit in the standby mode.
  • the comparison target image based on the signal read from the optical sensor shifts to the normal mode when the image changes from the standby mode to the standby mode
  • the normal mode is shifted before the detection target touches the screen. be able to. Therefore, the touch position can be quickly detected by quickly exiting the standby mode.
  • two comparison target images are compared for each pixel, and it is normal when the number of pixels whose pixel value difference is equal to or greater than the first threshold is equal to or greater than the second threshold.
  • the threshold value used for the mode determination process is stored in the register, so that the condition of the mode determination process is adjusted according to the usage pattern and the like, and a suitable mode determination process is performed. it can.
  • the mode shifts to the standby mode, and when there is no need to perform the recognition process, the mode shifts to the standby mode and stops the recognition processing unit.
  • the power consumption of the display device can be reduced.
  • the fifth aspect of the present invention immediately after shifting to the normal mode, it is not necessary to perform the recognizing process resumed by shifting to the standby mode when the state in which the coordinate data is not output continues for a shorter time. In some cases, it is possible to shift to the standby mode within a short time and stop the recognition processing unit, thereby more effectively reducing the power consumption of the display device.
  • the mode determination process by performing the mode determination process using the comparison target image having a smaller number of pixels than the recognition target image, it is possible to reduce the memory amount and the calculation amount necessary for the mode determination process. it can.
  • an image obtained by thinning out pixel values from a recognition target image is used as a comparison target image, whereby a comparison target image can be easily generated without performing an average value calculation process or the like. it can.
  • the comparison target image is extracted from a suitable position according to the usage pattern and the like, and a suitable mode determination process is performed. Can do.
  • the ninth aspect of the present invention by reducing the operation speed of the drive circuit in the standby mode, it is possible to reduce the power consumption of the display device while generating the comparison target image necessary for the mode determination process. .
  • the power consumption of the display device is reduced while generating the comparison target image necessary for the mode determination process. be able to.
  • the power consumption of the display device can be reduced by turning off the infrared backlight in the standby mode.
  • FIG. 2 is a block diagram illustrating a detailed configuration of a liquid crystal panel of the liquid crystal display device illustrated in FIG. 1.
  • 2 is a timing chart of the liquid crystal display device shown in FIG. 1.
  • It is a figure which shows the cross section of the liquid crystal panel of the liquid crystal display device shown in FIG. 1, and the arrangement position of a backlight.
  • It is a figure which shows the principle of the method of detecting the shadow image in the liquid crystal display device shown in FIG.
  • It is a figure which shows the example of the scanning image containing the image of a finger
  • FIG. 3 is a flowchart showing an operation of a mode control unit of the liquid crystal display device shown in FIG. 1.
  • FIG. 1 is a block diagram showing a configuration of a liquid crystal display device according to an embodiment of the present invention.
  • a liquid crystal display device 10 shown in FIG. 1 includes a sensor built-in liquid crystal panel 11 (hereinafter simply referred to as a liquid crystal panel), a display data processing circuit 12, an A / D converter 13, a sensor data processing circuit 14, and a backlight 15. ing.
  • the liquid crystal panel 11 includes a panel drive circuit 16 and a pixel array 17.
  • the pixel array 17 is provided with a plurality of pixel circuits 1 and a plurality of photosensors 2 in a two-dimensional manner.
  • Display data D1 is input to the liquid crystal display device 10 from the outside.
  • the display data processing circuit 12 performs color correction processing, frame rate conversion processing, and the like on the display data D1 as necessary, and outputs display data D2.
  • the panel drive circuit 16 writes a voltage corresponding to the display data D2 to the pixel circuit 1. As a result, an image based on the display data D2 is displayed on the liquid crystal panel 11.
  • the backlight 15 irradiates light (backlight light) on the back surface of the liquid crystal panel 11 based on a power supply voltage supplied from a backlight power supply circuit (not shown).
  • the backlight 15 includes a white backlight 18 that emits white light and an infrared backlight 19 that emits infrared light.
  • the white backlight 18 is provided for image display, and the infrared backlight 19 is provided for detecting the touch position.
  • the panel drive circuit 16 performs an operation of reading a voltage corresponding to the amount of received light from the optical sensor 2 in addition to an operation of writing a voltage to the pixel circuit 1.
  • An output signal of the optical sensor 2 (hereinafter referred to as a sensor output signal) is output to the outside of the liquid crystal panel 11.
  • the A / D converter 13 converts an analog sensor output signal into a digital signal.
  • the sensor data processing circuit 14 includes a scan image generation unit 21, a recognition processing unit 22, a host interface unit 23 (hereinafter referred to as a host I / F unit), a mode control unit 24, a thinned image memory 25, and a control register 26. It is out.
  • the scan image generation unit 21 generates a digital image (hereinafter referred to as a scan image) based on the digital signal output from the A / D converter 13.
  • the scanned image may include an image of an object to be detected (for example, a finger or a pen; hereinafter referred to as an object) near the surface of the liquid crystal panel 11.
  • the recognition processing unit 22 performs recognition processing for detecting an object on the scanned image, obtains the position of the object in the scanned image, and outputs coordinate data Co indicating the touch position.
  • the coordinate data Co output from the recognition processing unit 22 is output to the host (not shown) via the host I / F unit 23.
  • FIG. 2 is a block diagram showing a detailed configuration of the liquid crystal panel 11.
  • the pixel array 17 includes m scanning signal lines G1 to Gm, 3n data signal lines SR1 to SRn, SG1 to SGn, SB1 to SBn, and (m ⁇ 3n) pixels.
  • a circuit 1 is provided.
  • the pixel array 17 includes (m ⁇ n) photosensors 2, m sensor readout lines RW1 to RWm, and m sensor reset lines RS1 to RSm.
  • the liquid crystal panel 11 is formed using, for example, polycrystalline silicon.
  • the scanning signal lines G1 to Gm are arranged in parallel to each other.
  • the data signal lines SR1 to SRn, SG1 to SGn, and SB1 to SBn are arranged in parallel to each other so as to be orthogonal to the scanning signal lines G1 to Gm.
  • the sensor readout lines RW1 to RWm and the sensor reset lines RS1 to RSm are arranged in parallel with the scanning signal lines G1 to Gm.
  • the pixel circuit 1 is provided one by one near the intersection of the scanning signal lines G1 to Gm and the data signal lines SR1 to SRn, SG1 to SGn, SB1 to SBn.
  • the pixel circuits 1 are arranged two-dimensionally as a whole, m in the column direction (vertical direction in FIG. 2) and 3n in the row direction (horizontal direction in FIG. 2).
  • the pixel circuit 1 is classified into an R pixel circuit 1r, a G pixel circuit 1g, and a B pixel circuit 1b depending on how many color filters are provided. These three types of pixel circuits are arranged in the row direction in the order of G, B, and R, and three pixels form one pixel.
  • the pixel circuit 1 includes a TFT (Thin Film Transistor) 3 and a liquid crystal capacitor 4.
  • the gate terminal of the TFT 3 is connected to the scanning signal line Gi (i is an integer from 1 to m), and the source terminal is connected to one of the data signal lines SRj, SGj, SBj (j is an integer from 1 to n).
  • the drain terminal is connected to one electrode of the liquid crystal capacitor 4.
  • a common electrode voltage is applied to the other electrode of the liquid crystal capacitor 4.
  • the data signal lines SR1 to SRn connected to the R pixel circuit 1r are referred to as R data signal lines
  • the data signal lines SB1 to SBn connected to the B pixel circuit 1b are referred to as B data signal lines.
  • the pixel circuit 1 may include an auxiliary capacitor.
  • the light transmittance (subpixel luminance) of the pixel circuit 1 is determined by the voltage written in the pixel circuit 1.
  • a high level voltage TFT3 is turned on
  • the voltage to be written may be applied to the data signal line SXj.
  • the optical sensor 2 includes a capacitor 5, a photodiode 6, and a sensor preamplifier 7, and is provided for each pixel.
  • One electrode of the capacitor 5 is connected to the cathode terminal of the photodiode 6 (hereinafter, this connection point is referred to as a node P).
  • the other electrode of the capacitor 5 is connected to the sensor readout line RWi, and the anode terminal of the photodiode 6 is connected to the sensor reset line RSi.
  • the sensor preamplifier 7 includes a TFT having a gate terminal connected to the node P, a drain terminal connected to the R data signal line SRj, and a source terminal connected to the B data signal line SBj.
  • a predetermined voltage is applied to the sensor readout line RWi and the sensor reset line RSi, and the R data signal line SRj is applied.
  • the power supply voltage VDD may be applied.
  • a high voltage is applied to the sensor readout line RWi to raise the voltage at the node P, and when the power supply voltage VDD is applied to the R data signal line SRj after setting the gate voltage of the sensor preamplifier 7 to a threshold value or higher, The voltage is amplified by the sensor preamplifier 7, and the amplified voltage is output to the B data signal line SBj. Therefore, the amount of light detected by the optical sensor 2 can be obtained based on the voltage of the B data signal line SBj.
  • a scanning signal line driving circuit 31 a data signal line driving circuit 32, a sensor row driving circuit 33, p (p is an integer between 1 and n) sensor output amplifiers 34, and an output control circuit 35 , And a plurality of switches 36 to 39 are provided. These circuits correspond to the panel drive circuit 16 in FIG.
  • the data signal line driving circuit 32 has 3n output terminals corresponding to 3n data signal lines.
  • One switch 36 is provided between each of the B data signal lines SB1 to SBn and the n output terminals corresponding thereto, and the R data signal lines SR1 to SRn and the n output terminals corresponding thereto are provided.
  • One switch 37 is provided between each switch.
  • the B data signal lines SB1 to SBn are divided into p groups, and the kth (k is an integer not less than 1 and not more than p) B data signal line and the input terminal of the kth sensor output amplifier 34 in the group.
  • One switch 38 is provided between each switch.
  • One switch 39 is provided between each of the R data signal lines SR1 to SRn and the power supply voltage VDD.
  • the number of switches 36 to 39 included in FIG. 2 is n.
  • one frame time is divided into a display period in which a signal (voltage signal corresponding to display data) is written to the pixel circuit and a sensing period in which a signal (voltage signal corresponding to the amount of received light) is read from the optical sensor.
  • the circuit shown in FIG. 2 performs different operations in the display period and the sensing period.
  • the switches 36 and 37 are turned on, and the switches 38 and 39 are turned off.
  • the switch 39 is turned on, and the switch 38 is configured so that the B data signal lines SB1 to SBn are sequentially connected to the input terminals of the sensor output amplifier 34 for each group. It is turned on in time division.
  • the scanning signal line driving circuit 31 and the data signal line driving circuit 32 operate.
  • the scanning signal line drive circuit 31 selects one scanning signal line from the scanning signal lines G1 to Gm for each one line time according to the timing control signal C1, and applies a high level voltage to the selected scanning signal line. Then, a low level voltage is applied to the remaining scanning signal lines.
  • the data signal line driving circuit 32 drives the data signal lines SR1 to SRn, SG1 to SGn, and SB1 to SBn in a line sequential manner based on the display data DR, DG, DB output from the display data processing circuit 12.
  • the data signal line driving circuit 32 stores the display data DR, DG, and DB for at least one row, and applies a voltage corresponding to the display data for one row for each line time to the data signal lines SR1 to SR1. Applied to SRn, SG1 to SGn, and SB1 to SBn. Note that the data signal line driving circuit 32 may drive the data signal lines SR1 to SRn, SG1 to SGn, and SB1 to SBn in a dot sequential manner.
  • the sensor row drive circuit 33 selects one signal line for each one line time from the sensor readout lines RW1 to RWm and the sensor reset lines RS1 to RSm according to the timing control signal C2, and selects the selected sensor readout line and sensor. A predetermined read voltage and a reset voltage are applied to the reset line, and voltages different from those at the time of selection are applied to the other signal lines. Note that typically, the length of one line time differs between the display period and the sensing period.
  • the sensor output amplifier 34 amplifies the voltage selected by the switch 38 and outputs it as sensor output signals SS1 to SSp. The operation of the output control circuit 35 will be described later.
  • FIG. 3 is a timing chart of the liquid crystal display device 10. As shown in FIG. 3, the vertical synchronization signal VSYNC becomes a high level every frame time, and the one frame time is divided into a display period and a sensing period.
  • the sense signal SC is a signal indicating a display period or a sensing period, and is at a low level during the display period and is at a high level during the sensing period.
  • the switches 36 and 37 are turned on, and the data signal lines SR1 to SRn, SG1 to SGn, and SB1 to SBn are all connected to the data signal line drive circuit 32.
  • the voltage of the scanning signal line G1 becomes high level
  • the voltage of the scanning signal line G2 becomes high level
  • the voltages of the scanning signal lines G3 to Gm sequentially become high level.
  • the voltage to be written to the 3n pixel circuits 1 connected to the scanning signal line Gi is applied to the data signal lines SR1 to SRn, SG1 to SGn, and SB1 to SBn. Is done.
  • the switch 39 is turned on and the switch 38 is turned on in a time division manner. Therefore, the power supply voltage VDD is fixedly applied to the R data signal lines SR1 to SRn, and the B data signal lines SB1 to SBn are connected to the input terminals of the sensor output amplifier 34 in a time division manner.
  • the sensing period first the sensor readout line RW1 and the sensor reset line RS1 are selected, then the sensor readout line RW2 and the sensor reset line RS2 are selected, and thereafter the sensor readout lines RW3 to RWm and the sensor reset lines RS3 to RSm are selected. One set is selected in order. A readout voltage and a reset voltage are applied to the selected sensor readout line and sensor reset line, respectively.
  • FIG. 4 is a diagram showing a cross section of the liquid crystal panel 11 and an arrangement position of the backlight 15.
  • the liquid crystal panel 11 has a structure in which a liquid crystal layer 42 is sandwiched between two glass substrates 41a and 41b.
  • One glass substrate 41a is provided with three color filters 43r, 43g, 43b, a light shielding film 44, a counter electrode 45, and the like, and the other glass substrate 41b is provided with a pixel electrode 46, a data signal line 47, an optical sensor 2, and the like. Is provided.
  • the photodiode 6 included in the optical sensor 2 is provided in the vicinity of the pixel electrode 46 provided with the blue color filter 43b.
  • An alignment film 48 is provided on the opposing surfaces of the glass substrates 41a and 41b, and a polarizing plate 49 is provided on the other surface.
  • a polarizing plate 49 is provided on the other surface.
  • the surface on the glass substrate 41a side is the surface
  • the surface on the glass substrate 41b side is the back surface.
  • the liquid crystal display device 10 uses either a method for detecting a shadow image or a method for detecting a reflected image (or both a shadow image and a reflected image) when detecting a touch position in the display screen.
  • FIG. 5A is a diagram showing the principle of a method for detecting a shadow image
  • FIG. 5B is a diagram showing the principle of a method for detecting a reflected image.
  • the optical sensor 2 including the photodiode 6 detects external light 51 transmitted through the glass substrate 41a, the liquid crystal layer 42, and the like.
  • the object 53 such as a finger is near the surface of the liquid crystal panel 11, the external light 51 to be incident on the optical sensor 2 is blocked by the object 53. Therefore, it is possible to detect a shadow image of the object 53 by the external light 51 using the optical sensor 2.
  • the optical sensor 2 including the photodiode 6 detects the reflected light of the backlight 52. More specifically, the backlight light 52 emitted from the backlight 15 passes through the liquid crystal panel 11 and exits from the surface of the liquid crystal panel 11 to the outside. At this time, if the object 53 is near the surface of the liquid crystal panel 11, the backlight 52 is reflected by the object 53. For example, the belly of a human finger reflects light well. The reflected light of the backlight light 52 passes through the glass substrate 41a, the liquid crystal layer 42, etc., and enters the optical sensor 2. Therefore, it is possible to detect a reflection image of the object 53 by the backlight 52 using the optical sensor 2.
  • both a shadow image and a reflected image can be detected. That is, by using the optical sensor 2, a shadow image of the object 53 by the external light 51 and a reflection image of the object 53 by the backlight light 52 can be detected simultaneously.
  • FIG. 6A and FIG. 6B are diagrams illustrating an example of a scanned image including a finger image.
  • the scan image illustrated in FIG. 6A includes a finger image
  • the scan image illustrated in FIG. 6B includes a finger image and a finger belly reflection image.
  • the sensor data processing circuit 14 performs image recognition processing on such a scanned image and outputs coordinate data Co indicating the touch position.
  • the liquid crystal display device 10 has a normal mode and a standby mode in order to reduce power consumption.
  • the standby mode the circuit operation is stopped or the circuit operation speed is decreased.
  • the panel drive circuit 16 reads signals from all the optical sensors 2, the A / D converter 13 converts all sensor output signals into digital values, and the recognition processing unit 22 performs recognition processing.
  • the infrared backlight 19 is turned on.
  • the panel drive circuit 16 reads out signals from some of the optical sensors 2, the A / D converter 13 converts some of the sensor output signals into digital values, and the recognition processing unit 22 operates. And the infrared backlight 19 is turned off.
  • the sensor data processing circuit 14 includes a mode control unit 24, a thinned image memory 25, and a control register 26.
  • the mode control unit 24 performs mode determination processing for determining whether the mode is normal mode or standby mode, normal mode control processing for controlling circuit operation in the normal mode, and standby mode control processing for controlling circuit operation in the standby mode.
  • the thinned image memory 25 functions as an image storage unit that stores a comparison target image based on a signal read from the optical sensor 2 when shifting from the normal mode to the standby mode.
  • the control register 26 stores various parameters necessary for the operation of the mode control unit 24. Specifically, the control register 26 stores a first threshold value TH1, a second threshold value TH2, a first timer value TM1, a second timer value TM2, an extraction range ER, and the like. The two threshold values TH1 and TH2 and the two timer values TM1 and TM2 are used for the mode determination process, and the extraction range ER is used for the standby mode control process. Parameters stored in the control register 26 are set from the host via the host I / F unit 23.
  • FIG. 7 is a flowchart showing the operation of the mode control unit 24.
  • the mode control unit 24 sets the first timer value TM1 stored in the control register 26 and starts the timer (step S11).
  • the mode control unit 24 performs a normal mode control process (step S12).
  • the recognition processing unit 22 starts to operate in response to a control signal output from the mode control unit 24 (a signal indicated by a broken line in FIG. 1), and the panel drive circuit 16 reads signals from all the optical sensors 2.
  • the A / D converter 13 converts all sensor output signals into digital values, and the infrared backlight 19 is lit.
  • the mode control unit 24 checks whether or not the coordinate data Co is output from the recognition processing unit 22 (step S13).
  • the mode control unit 24 proceeds to step S14 when the coordinate data Co is output, and proceeds to step S15 when the coordinate data Co is not output.
  • the mode control unit 24 sets the first timer value TM1 stored in the control register 26, restarts the timer (step S14), and proceeds to step S13.
  • the mode control unit 24 checks whether or not the timer has timed out (step S15). When the timer has not timed out, the mode control unit 24 proceeds to step S13. When the timer times out, the mode control unit 24 proceeds to step S21 in order to shift from the normal mode to the standby mode.
  • the mode control unit 24 When shifting from the normal mode to the standby mode, the mode control unit 24 generates an image in which pixel values are thinned out from the scanned image (hereinafter referred to as a thinned image), and writes the thinned image in the thinned image memory 25 (step S21). .
  • the mode control unit 24 performs standby mode control processing (step S22).
  • the recognition processing unit 22 stops its operation by the control signal output from the mode control unit 24, the panel drive circuit 16 reads signals from some of the optical sensors 2, and the A / D converter 13 The sensor output signal is converted to a digital value, and the infrared backlight 19 is turned off.
  • the control signal output from the mode control unit 24 includes a mode control signal indicating the normal mode or the standby mode.
  • the mode control signal MC supplied to the liquid crystal panel 11 is input to the sensor row driving circuit 33 and the output control circuit 35.
  • the sensor row drive circuit 33 sequentially selects only a part of the signal lines among the sensor readout lines RW1 to RWm and the sensor reset lines RS1 to RSm one by one.
  • the output control circuit 35 performs control so that the sensor output signals SS1 to SSp are output from only some of the sensor output amplifiers 34.
  • the A / D converter 13 converts signals read from some of the optical sensors 2 into digital signals.
  • the mode control unit 24 may output a control signal indicating a processing range based on the extraction range ER stored in the control register 26 in step S22. For example, when the extraction range ER stored in the control register 26 indicates the lower half of the display screen, the mode control unit 24 processes the lower half of the display screen for the panel drive circuit 16 and the A / D converter 13. A control signal indicating what should be done is output. Based on this control signal, the panel drive circuit 16 reads out a signal from the photosensor 2 arranged in the lower half of the pixel array 17. The A / D converter 13 converts the signal read from the optical sensor 2 at this time into a digital signal.
  • the panel drive circuit 16 reads a smaller amount of signal from the optical sensor 2 in the standby mode than in the normal mode. Further, the A / D converter 13 performs conversion into a digital value in the standby mode less frequently than in the normal mode according to the determination result by the mode control unit 24. As a result, in the standby mode, the scan image generation unit 21 repeatedly outputs a thinned image obtained by thinning pixel values from the scan image output in the normal mode. Note that the thinned image output in the standby mode is based on the signal read from the same optical sensor 2 as the thinned image generated in step S21.
  • the new thinned image output from the scan image generation unit 21 is input to the mode control unit 24 (step S23).
  • the mode control unit 24 compares the thinned image stored in the thinned image memory 25 with the new thinned image input in step S23 for each pixel, and the difference in pixel value is stored in the control register 26.
  • the number N of pixels that are equal to or greater than the first threshold value TH1 is obtained (step S24).
  • the mode control unit 24 compares the number N obtained in step S24 with the second threshold TH2 stored in the control register 26 (step S25).
  • the mode control unit 24 proceeds to step S26 when N2 ⁇ TH2, and proceeds to step S23 when N2 ⁇ TH2.
  • the mode control unit 24 sets the second timer value TM2 stored in the control register 26 to start the timer (step S26), and proceeds to step S12 to shift from the standby mode to the normal mode. move on.
  • the second timer value TM2 is smaller than the first timer value TM1.
  • the mode control unit 24 shifts from the normal mode to the standby mode when the state where the coordinate data Co is not output continues for a predetermined time (when the time of the first timer value TM1 has elapsed). Further, the mode control unit 24 changes the newly-supplied thinned image from a thinned image stored in the thinned image memory 25 (a thinned image stored when the normal mode is shifted to the standby mode) to a predetermined level or more. Transition from standby mode to normal mode. Further, the mode control unit 24 immediately after the transition from the standby mode to the normal mode, when the state in which the coordinate data Co is not output for a shorter period of time has continued (second second) compared to the case of the normal mode from before. When the time of the timer value TM2 has elapsed), the normal mode is shifted to the standby mode.
  • the liquid crystal display device 10 includes a sensor built-in liquid crystal panel 11, a panel drive circuit 16, a recognition processing unit 22, a mode control unit 24, and a thinned image memory 25.
  • the mode control unit 24 determines whether the mode is the normal mode or the standby mode, operates the recognition processing unit 22 in the normal mode, and stops the operation of the recognition processing unit 22 in the standby mode.
  • the thinned image memory 25 stores the thinned image when the normal mode shifts to the standby mode, and the mode control unit 24 changes the newly supplied thinned image from the thinned image stored in the thinned image memory 25 by a predetermined amount or more.
  • the standby mode is changed to the normal mode.
  • the mode control unit 24 compares the thinned image stored in the thinned image memory 25 with the newly supplied thinned image for each pixel, and the number of pixels whose pixel value difference is equal to or greater than the first threshold value TH1. Shifts from the standby mode to the normal mode when is equal to or greater than the second threshold value TH2.
  • the mode is the normal mode or the standby mode and stopping the operation of the recognition processing unit 22 in the standby mode.
  • the transition to the normal mode can be performed before the object touches the screen. Therefore, the touch position can be quickly detected by quickly exiting the standby mode.
  • the two threshold values TH1 and TH2 are stored in the control register 26 which can set values from the outside. Thereby, the conditions of the mode determination process can be adjusted according to the usage pattern and the like, and a suitable mode determination process can be performed.
  • the mode control unit 24 shifts from the normal mode to the standby mode when the state where the coordinate data Co is not output continues for a predetermined time. Thereby, when it is not necessary to perform recognition processing, it shifts to standby mode and stops the recognition processing unit 22, and the power consumption of the liquid crystal display device 10 can be reduced.
  • the mode control unit 24 starts from the normal mode immediately after shifting from the standby mode to the normal mode when the coordinate data Co is not output for a shorter period of time compared to the case of the normal mode. Enter standby mode. Thereby, when it is not necessary to perform the recognizing process that has been resumed, it is possible to shift to the standby mode within a short time and stop the recognition processing unit 22, thereby more effectively reducing the power consumption of the liquid crystal display device 10. .
  • the thinned image has a smaller number of pixels than the scanned image.
  • a thinned image is an image obtained by thinning pixel values from a scanned image. Such a thinned image can be easily generated without performing an average value calculation process or the like.
  • the extraction range of the thinned image is stored in the control register 26 in which a value can be set from the outside. Thereby, a thinned image can be extracted from a suitable position according to the usage pattern and the like, and a suitable mode determination process can be performed.
  • the panel drive circuit 16 reads a smaller amount of signal from the optical sensor 2 in the standby mode than in the normal mode, and the A / D converter 13 has a lower frequency in the standby mode than in the normal mode. To convert to digital value.
  • the mode control unit 24 turns off the infrared backlight 19 in the standby mode. Thereby, the power consumption of the liquid crystal display device 10 can be reduced.
  • the liquid crystal display device of the present invention may have a function of shifting from the normal mode to the standby mode (or in the reverse direction) in accordance with a signal input from the host.
  • the thinned image stored in the thinned image memory 25 may be an image generated at the end of the normal mode as long as it is an image stored when shifting from the normal mode to the standby mode. It may be an image.
  • the control register 26 does not need to store all the parameters described above, and all or some of these parameters may be fixed values. For example, only one of the two threshold values TH1 and TH2 is stored in the control register 26, and the other may be a fixed value. Further, the extraction range ER may always be fixed to the entire display screen.
  • the operation of the circuit is stopped or the operation speed of the circuit is reduced to reduce the power consumption. It is possible to quickly detect the touch position by exiting.
  • the display device of the present invention has an effect that the touch position can be quickly detected by exiting the standby mode, it can be used for various display devices including a plurality of photosensors, such as a liquid crystal display device with photosensors. .

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Liquid Crystal (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

　認識処理部２２は、光センサ２から読み出した信号に基づくスキャン画像に対して認識処理を行い、検知対象物の位置を示す座標データＣｏを出力する。モード制御部２４は、認識処理部２２を動作させる通常モードか、認識処理部２２の動作を停止させる待機モードかを判定する。間引き画像メモリ２５は、通常モードから待機モードに移行するときに間引き画像を記憶する。モード制御部２４は、新たに供給された間引き画像が記憶された間引き画像から所定以上変化したときに、待機モードから通常モードに移行する。これにより、速やかに待機モードを脱出してタッチ位置を素早く検出する。

Description

光センサ付き表示装置
　本発明は、表示装置に関し、特に、表示パネルに複数の光センサを設けた表示装置に関する。
　近年、指やペンなどで画面に触れることにより操作可能な電子機器が普及している。また、表示画面内のタッチ位置を検出する方法として、表示パネルに複数の光センサを設け、指などが画面に接近したときにできる影像や反射像を光センサを用いて検知する方法が知られている。また、表示データにかかわらず高い精度でタッチ位置を検出するために、表示装置に赤外光を出射する赤外バックライトを設け、赤外光による反射像を光センサを用いて検知する方法も知られている。
　このような光センサ付き表示装置には、赤外バックライト以外にも、光センサから読み出した信号をデジタル信号に変換するＡ／Ｄ変換器や、得られたデジタル信号に基づきタッチ位置を求める認識処理部などが設けられる。このため、光センサ付き表示装置には、光センサを備えていない表示装置と比べて消費電力が大きいという問題がある。
　そこで、消費電力を削減する方法の１つとして、光センサ付き表示装置に通常モードと待機モードを設け、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりする方法が考えられる。これに関連して、特許文献１には、表示パネルに光感知部と接触感知部を設けた表示装置において、接触感知部からの出力信号に基づき、所定時間接触しなかったと判断したときに待機モードに移行し、接触したと判断したときに通常モードに移行することが記載されている。
日本国特開２００６－２０１７６３号公報
　しかしながら、特許文献１記載の表示装置は、指が接触感知部に感知したときに、待機モードから通常モードに移行する。言い換えると、この表示装置は、指が画面に接近しても、指が画面に接触するまでは、待機モードのままである。このため、この表示装置には、待機モードから通常モードに移行するタイミングが遅いために、待機モードを脱出してタッチ位置を検出するまでに時間がかかるという問題がある。
　それ故に、本発明は、速やかに待機モードを脱出してタッチ位置を素早く検出できる光センサ付き表示装置を提供することを目的とする。
　本発明の第１の局面は、複数の光センサを備えた表示装置であって、
　２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、
　表示データに応じた信号を前記画素回路に書き込む動作と、受光量に応じた信号を前記光センサから読み出す動作とを行う駆動回路と、
　前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部と、
　通常モードか待機モードかを判定し、通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるモード制御部と、
　通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく比較対象画像を記憶する画像記憶部とを備え、
　前記モード制御部は、新たに供給された比較対象画像が前記画像記憶部に記憶された比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする。
　本発明の第２の局面は、本発明の第１の局面において、
　前記モード制御部は、前記画像記憶部に記憶された比較対象画像と新たに供給された比較対象画像とを画素ごとに比較し、画素値の差が第１の閾値以上である画素の個数が第２の閾値以上であるときに、待機モードから通常モードに移行することを特徴とする。
　本発明の第３の局面は、本発明の第２の局面において、
　前記第１および第２の閾値のうち少なくとも一方が、外部から値を設定可能なレジスタに記憶されていることを特徴とする。
　本発明の第４の局面は、本発明の第１の局面において、
　前記モード制御部は、前記座標データが出力されない状態が所定の時間続いたときに、通常モードから待機モードに移行することを特徴とする。
　本発明の第５の局面は、本発明の第４の局面において、
　前記モード制御部は、待機モードから通常モードに移行した直後では、以前から通常モードであるときと比べて、より短い時間だけ前記座標データが出力されない状態が続いたときに、通常モードから待機モードに移行することを特徴とする。
　本発明の第６の局面は、本発明の第１の局面において、
　前記比較対象画像は、前記認識対象画像よりも少ない画素数を有することを特徴とする。
　本発明の第７の局面は、本発明の第６の局面において、
　前記比較対象画像は、前記認識対象画像から画素値を間引いた画像であることを特徴とする。
　本発明の第８の局面は、本発明の第７の局面において、
　前記比較対象画像の抽出範囲が、外部から値を設定可能なレジスタに記憶されていることを特徴とする。
　本発明の第９の局面は、本発明の第７の局面において、
　前記駆動回路は、前記モード制御部による判定結果に従い、待機モードでは通常モードよりも少ない量の信号を前記光センサから読み出すことを特徴とする。
　本発明の第１０の局面は、本発明の第７の局面において、
　前記光センサから読み出した信号をデジタル値に変換するＡ／Ｄ変換器をさらに備え、
　前記Ａ／Ｄ変換器は、前記モード制御部による判定結果に従い、待機モードでは通常モードよりも少ない頻度でデジタル値への変換を行うことを特徴とする。
　本発明の第１１の局面は、本発明の第１の局面において、
　赤外光を出射する赤外バックライトをさらに備え、
　前記モード制御部は、待機モードでは前記赤外バックライトを消灯させることを特徴とする。
　本発明の第１２の局面は、２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部とを備えた表示装置の制御方法であって、
　表示データに応じた信号を前記画素回路に書き込むステップと、
　受光量に応じた信号を前記光センサから読み出すステップと、
　通常モードか待機モードかを判定するステップと、
　通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるステップと、
　通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく比較対象画像を記憶するステップとを備え、
　前記モードを判定するステップは、新たに供給された比較対象画像が記憶された比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする。
　本発明の第１または第１２の局面によれば、通常モードか待機モードかを判定し、待機モードでは認識処理部の動作を停止させることにより、表示装置の消費電力を削減することができる。また、光センサから読み出した信号に基づく比較対象画像が待機モードに移行したときから所定以上変化したときに通常モードに移行することにより、検知対象物が画面に接触する前に通常モードに移行することができる。したがって、速やかに待機モードを脱出してタッチ位置を素早く検出することができる。
　本発明の第２の局面によれば、２枚の比較対象画像を画素ごとに比較し、画素値の差が第１の閾値以上である画素の個数が第２の閾値以上であるときに通常モードに移行することにより、検知対象物が画面に接触する前に通常モードに移行することができる。したがって、速やかに待機モードを脱出してタッチ位置を素早く検出することができる。
　本発明の第３の局面によれば、モード判定処理に使用する閾値をレジスタに記憶させることにより、使用形態などに応じてモード判定処理の条件を調整し、好適なモード判定処理を行うことができる。
　本発明の第４の局面によれば、座標データが出力されない状態が続いたときに待機モードに移行することにより、認識処理を行う必要がないときには待機モードに移行して認識処理部を停止させ、表示装置の消費電力を削減することができる。
　本発明の第５の局面によれば、通常モードに移行した直後では、座標データが出力されない状態がより短い時間続いたときに待機モードに移行することにより、再開した認識処理を行う必要がないときには、短時間のうちに待機モードに移行して認識処理部を停止させ、表示装置の消費電力をより効果的に削減することができる。
　本発明の第６の局面によれば、認識対象画像よりも画素数が少ない比較対象画像を用いてモード判定処理を行うことにより、モード判定処理に必要なメモリ量と計算量を削減することができる。
　本発明の第７の局面によれば、認識対象画像から画素値を間引いた画像を比較対象画像とすることにより、平均値算出処理などを行うことなく、比較対象画像を容易に生成することができる。
　本発明の第８の局面によれば、比較対象画像の抽出範囲をレジスタに記憶させることにより、使用形態などに応じて比較対象画像を好適な位置から抽出し、好適なモード判定処理を行うことができる。
　本発明の第９の局面によれば、待機モードでは駆動回路の動作速度を遅くすることにより、モード判定処理に必要な比較対象画像を生成しながら、表示装置の消費電力を削減することができる。
　本発明の第１０の局面によれば、待機モードではＡ／Ｄ変換器の動作速度を遅くすることにより、モード判定処理に必要な比較対象画像を生成しながら、表示装置の消費電力を削減することができる。
　本発明の第１１の局面によれば、待機モードでは赤外バックライトを消灯させることにより、表示装置の消費電力を削減することができる。
本発明の実施形態に係る液晶表示装置の構成を示すブロック図である。 図１に示す液晶表示装置の液晶パネルの詳細な構成を示すブロック図である。 図１に示す液晶表示装置のタイミングチャートである。 図１に示す液晶表示装置の液晶パネルの断面とバックライトの配置位置を示す図である。 図１に示す液晶表示装置における影像を検知する方法の原理を示す図である。 図１に示す液晶表示装置における反射像を検知する方法の原理を示す図である。 指の影像を含むスキャン画像の例を示す図である。 指の影像と指の腹の反射像を含むスキャン画像の例を示す図である。 図１に示す液晶表示装置のモード制御部の動作を示すフローチャートである。
　図１は、本発明の実施形態に係る液晶表示装置の構成を示すブロック図である。図１に示す液晶表示装置１０は、センサ内蔵液晶パネル１１（以下、単に液晶パネルという）、表示データ処理回路１２、Ａ／Ｄ変換器１３、センサデータ処理回路１４、および、バックライト１５を備えている。液晶パネル１１は、パネル駆動回路１６と画素アレイ１７を含んでいる。画素アレイ１７には、複数の画素回路１と複数の光センサ２が２次元状に設けられる。
　液晶表示装置１０には、外部から表示データＤ１が入力される。表示データ処理回路１２は、表示データＤ１に対して必要に応じて色補正処理やフレームレート変換処理などを行い、表示データＤ２を出力する。パネル駆動回路１６は、画素回路１に対して表示データＤ２に応じた電圧を書き込む。これにより、液晶パネル１１には表示データＤ２に基づく画像が表示される。
　バックライト１５は、バックライト電源回路（図示せず）から供給された電源電圧に基づき、液晶パネル１１の背面に光（バックライト光）を照射する。バックライト１５は、白色光を出射する白色バックライト１８と、赤外光を出射する赤外バックライト１９とを含んでいる。白色バックライト１８は画像表示のために設けられ、赤外バックライト１９はタッチ位置の検出のために設けられている。
　パネル駆動回路１６は、画素回路１に電圧を書き込む動作に加えて、光センサ２から受光量に応じた電圧を読み出す動作を行う。光センサ２の出力信号（以下、センサ出力信号という）は、液晶パネル１１の外部に出力される。Ａ／Ｄ変換器１３は、アナログのセンサ出力信号をデジタル信号に変換する。
　センサデータ処理回路１４は、スキャン画像生成部２１、認識処理部２２、ホストインターフェイス部２３（以下、ホストＩ／Ｆ部という）、モード制御部２４、間引き画像メモリ２５、および、制御レジスタ２６を含んでいる。スキャン画像生成部２１は、Ａ／Ｄ変換器１３から出力されたデジタル信号に基づき、デジタル画像（以下、スキャン画像という）を生成する。このスキャン画像には、液晶パネル１１の表面付近にある検知すべき物体（例えば、指やペンなど。以下、対象物という）の像が含まれていることがある。認識処理部２２は、スキャン画像に対して対象物を検知するための認識処理を行い、スキャン画像内での対象物の位置を求め、タッチ位置を示す座標データＣｏを出力する。認識処理部２２から出力された座標データＣｏは、ホストＩ／Ｆ部２３を経由してホスト（図示せず）に対して出力される。
　図２は、液晶パネル１１の詳細な構成を示すブロック図である。図２に示すように、画素アレイ１７は、ｍ本の走査信号線Ｇ１～Ｇｍ、３ｎ本のデータ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎ、および、（ｍ×３ｎ）個の画素回路１を備えている。これに加えて画素アレイ１７は、（ｍ×ｎ）個の光センサ２、ｍ本のセンサ読み出し線ＲＷ１～ＲＷｍ、および、ｍ本のセンサリセット線ＲＳ１～ＲＳｍを備えている。液晶パネル１１は、例えば多結晶シリコンを用いて形成される。
　走査信号線Ｇ１～Ｇｍは、互いに平行に配置される。データ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎは、走査信号線Ｇ１～Ｇｍと直交するように互いに平行に配置される。センサ読み出し線ＲＷ１～ＲＷｍとセンサリセット線ＲＳ１～ＲＳｍは、走査信号線Ｇ１～Ｇｍと平行に配置される。
　画素回路１は、走査信号線Ｇ１～Ｇｍとデータ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎの交点近傍に１個ずつ設けられる。画素回路１は、列方向（図２では縦方向）にｍ個ずつ、行方向（図２では横方向）に３ｎ個ずつ、全体として２次元状に配置される。画素回路１は、何色のカラーフィルタを設けるかによって、Ｒ画素回路１ｒ、Ｇ画素回路１ｇおよびＢ画素回路１ｂに分類される。これら３種類の画素回路は、Ｇ、Ｂ、Ｒの順に行方向に並べて配置され、３個で１個の画素を形成する。
　画素回路１は、ＴＦＴ（Thin Film Transistor）３と液晶容量４を含んでいる。ＴＦＴ３のゲート端子は走査信号線Ｇｉ（ｉは１以上ｍ以下の整数）に接続され、ソース端子はデータ信号線ＳＲｊ、ＳＧｊ、ＳＢｊ（ｊは１以上ｎ以下の整数）のいずれかに接続され、ドレイン端子は液晶容量４の一方の電極に接続される。液晶容量４の他方の電極には、共通電極電圧が印加される。以下、Ｒ画素回路１ｒに接続されたデータ信号線ＳＲ１～ＳＲｎをＲデータ信号線、Ｂ画素回路１ｂに接続されたデータ信号線ＳＢ１～ＳＢｎをＢデータ信号線という。なお、画素回路１は補助容量を含んでいてもよい。
　画素回路１の光透過率（サブ画素の輝度）は、画素回路１に書き込まれた電圧によって定まる。走査信号線Ｇｉとデータ信号線ＳＸｊ（ＸはＲ、Ｇ、Ｂのいずれか）に接続された画素回路１にある電圧を書き込むためには、走査信号線Ｇｉにハイレベル電圧（ＴＦＴ３をオン状態にする電圧）を印加し、データ信号線ＳＸｊに書き込むべき電圧を印加すればよい。表示データＤ２に応じた電圧を画素回路１に書き込むことにより、サブ画素の輝度を所望のレベルに設定することができる。
　光センサ２は、コンデンサ５、フォトダイオード６およびセンサプリアンプ７を含み、画素ごとに設けられる。コンデンサ５の一方の電極は、フォトダイオード６のカソード端子に接続される（以下、この接続点を節点Ｐという）。コンデンサ５の他方の電極はセンサ読み出し線ＲＷｉに接続され、フォトダイオード６のアノード端子はセンサリセット線ＲＳｉに接続される。センサプリアンプ７は、ゲート端子が節点Ｐに接続され、ドレイン端子がＲデータ信号線ＳＲｊに接続され、ソース端子がＢデータ信号線ＳＢｊに接続されたＴＦＴで構成される。
　センサ読み出し線ＲＷｉやＢデータ信号線ＳＢｊなどに接続された光センサ２で光量を検知するためには、センサ読み出し線ＲＷｉとセンサリセット線ＲＳｉに所定の電圧を印加し、Ｒデータ信号線ＳＲｊに電源電圧ＶＤＤを印加すればよい。センサ読み出し線ＲＷｉとセンサリセット線ＲＳｉに所定の電圧を印加した後、フォトダイオード６に光が入射すると、入射光量に応じた電流がフォトダイオード６に流れ、節点Ｐの電圧は流れた電流の分だけ低下する。このタイミングでセンサ読み出し線ＲＷｉに高い電圧を印加して節点Ｐの電圧を持ち上げ、センサプリアンプ７のゲート電圧を閾値以上にした上でＲデータ信号線ＳＲｊに電源電圧ＶＤＤを印加すると、節点Ｐの電圧はセンサプリアンプ７で増幅され、Ｂデータ信号線ＳＢｊには増幅後の電圧が出力される。したがって、Ｂデータ信号線ＳＢｊの電圧に基づき、光センサ２で検知された光量を求めることができる。
　画素アレイ１７の周辺には、走査信号線駆動回路３１、データ信号線駆動回路３２、センサ行駆動回路３３、ｐ個（ｐは１以上ｎ以下の整数）のセンサ出力アンプ３４、出力制御回路３５、および、複数のスイッチ３６～３９が設けられる。これらの回路は、図１ではパネル駆動回路１６に相当する。
　データ信号線駆動回路３２は、３ｎ本のデータ信号線に対応して３ｎ個の出力端子を有する。Ｂデータ信号線ＳＢ１～ＳＢｎとこれに対応したｎ個の出力端子との間にはスイッチ３６が１個ずつ設けられ、Ｒデータ信号線ＳＲ１～ＳＲｎとこれに対応したｎ個の出力端子との間にはスイッチ３７が１個ずつ設けられる。Ｂデータ信号線ＳＢ１～ＳＢｎはｐ本ずつのグループに分けられ、グループ内でｋ番目（ｋは１以上ｐ以下の整数）のＢデータ信号線とｋ番目のセンサ出力アンプ３４の入力端子との間にはスイッチ３８が１個ずつ設けられる。Ｒデータ信号線ＳＲ１～ＳＲｎと電源電圧ＶＤＤとの間にはスイッチ３９が１個ずつ設けられる。図２に含まれるスイッチ３６～３９の個数はいずれもｎ個である。
　液晶表示装置１０では、１フレーム時間は、画素回路に信号（表示データに応じた電圧信号）を書き込む表示期間と、光センサから信号（受光量に応じた電圧信号）を読み出すセンシング期間とに分割され、図２に示す回路は表示期間とセンシング期間で異なる動作を行う。表示期間では、スイッチ３６、３７はオン状態、スイッチ３８、３９はオフ状態となる。これに対してセンシング期間では、スイッチ３６、３７はオフ状態、スイッチ３９はオン状態となり、スイッチ３８はＢデータ信号線ＳＢ１～ＳＢｎがグループごとに順にセンサ出力アンプ３４の入力端子に接続されるように時分割でオン状態となる。
　表示期間では、走査信号線駆動回路３１とデータ信号線駆動回路３２が動作する。走査信号線駆動回路３１は、タイミング制御信号Ｃ１に従い、走査信号線Ｇ１～Ｇｍの中から１ライン時間ごとに１本の走査信号線を選択し、選択した走査信号線にはハイレベル電圧を印加し、残りの走査信号線にはローレベル電圧を印加する。データ信号線駆動回路３２は、表示データ処理回路１２から出力された表示データＤＲ、ＤＧ、ＤＢに基づき、データ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎを線順次方式で駆動する。より詳細には、データ信号線駆動回路３２は、表示データＤＲ、ＤＧ、ＤＢを少なくとも１行分ずつ記憶し、１ライン時間ごとに１行分の表示データに応じた電圧をデータ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎに印加する。なお、データ信号線駆動回路３２は、データ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎを点順次方式で駆動してもよい。
　センシング期間では、センサ行駆動回路３３、センサ出力アンプ３４、および、出力制御回路３５が動作する。センサ行駆動回路３３は、タイミング制御信号Ｃ２に従い、センサ読み出し線ＲＷ１～ＲＷｍとセンサリセット線ＲＳ１～ＲＳｍの中から１ライン時間ごとに信号線を１本ずつ選択し、選択したセンサ読み出し線とセンサリセット線には所定の読み出し用電圧とリセット用電圧を印加し、それ以外の信号線には選択時と異なる電圧を印加する。なお、典型的には、１ライン時間の長さは表示期間とセンシング期間で異なる。センサ出力アンプ３４は、スイッチ３８によって選択された電圧を増幅し、センサ出力信号ＳＳ１～ＳＳｐとして出力する。出力制御回路３５の動作については後述する。
　図３は、液晶表示装置１０のタイミングチャートである。図３に示すように、垂直同期信号ＶＳＹＮＣは１フレーム時間ごとにハイレベルになり、１フレーム時間は表示期間とセンシング期間に分割される。センス信号ＳＣは、表示期間かセンシング期間かを示す信号であり、表示期間ではローレベルになり、センシング期間ではハイレベルになる。
　表示期間では、スイッチ３６、３７がオン状態になり、データ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎはいずれもデータ信号線駆動回路３２に接続される。表示期間では、まず走査信号線Ｇ１の電圧がハイレベルになり、次に走査信号線Ｇ２の電圧がハイレベルになり、それ以降は走査信号線Ｇ３～Ｇｍの電圧が順にハイレベルになる。走査信号線Ｇｉの電圧がハイレベルである間、データ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎには、走査信号線Ｇｉに接続された３ｎ個の画素回路１に書き込むべき電圧が印加される。
　センシング期間では、スイッチ３９がオン状態になり、スイッチ３８は時分割でオン状態になる。このため、Ｒデータ信号線ＳＲ１～ＳＲｎには電源電圧ＶＤＤが固定的に印加され、Ｂデータ信号線ＳＢ１～ＳＢｎは時分割でセンサ出力アンプ３４の入力端子に接続される。センシング期間では、まずセンサ読み出し線ＲＷ１とセンサリセット線ＲＳ１が選択され、次にセンサ読み出し線ＲＷ２とセンサリセット線ＲＳ２が選択され、それ以降はセンサ読み出し線ＲＷ３～ＲＷｍとセンサリセット線ＲＳ３～ＲＳｍが１組ずつ順に選択される。選択されたセンサ読み出し線とセンサリセット線には、それぞれ、読み出し用電圧とリセット用電圧が印加される。センサ読み出し線ＲＷｉとセンサリセット線ＲＳｉが選択されている間、Ｂデータ信号線ＳＢ１～ＳＢｎには、センサ読み出し線ＲＷｉに接続されたｎ個の光センサ２で検知された光量に応じた電圧が出力される。なお、後述する待機モードでは、センサ読み出し線ＲＷ１～ＲＷｍとセンサリセット線ＲＳ１～ＲＳｍのうち、一部の信号線のみが１組ずつ順に選択される。
　図４は、液晶パネル１１の断面とバックライト１５の配置位置を示す図である。液晶パネル１１は、２枚のガラス基板４１ａ、４１ｂの間に液晶層４２を挟み込んだ構造を有する。一方のガラス基板４１ａには３色のカラーフィルタ４３ｒ、４３ｇ、４３ｂ、遮光膜４４、対向電極４５などが設けられ、他方のガラス基板４１ｂには画素電極４６、データ信号線４７、光センサ２などが設けられる。図４では、光センサ２に含まれるフォトダイオード６は、青色カラーフィルタ４３ｂを設けた画素電極４６の近傍に設けられている。ガラス基板４１ａ、４１ｂの対向する面には配向膜４８が設けられ、他方の面には偏光板４９が設けられる。液晶パネル１１の２枚の面のうちガラス基板４１ａ側の面が表面になり、ガラス基板４１ｂ側の面が背面になる。
　液晶表示装置１０は、表示画面内のタッチ位置を検知するときに、影像を検知する方法と反射像（あるいは、影像と反射像の両方）を検知する方法のいずれかを使用する。図５Ａは影像を検知する方法の原理を示す図であり、図５Ｂは反射像を検知する方法の原理を示す図である。影像を検知する方法（図５Ａ）では、フォトダイオード６を含む光センサ２は、ガラス基板４１ａや液晶層４２などを透過した外光５１を検知する。このときに指などの対象物５３が液晶パネル１１の表面付近にあると、光センサ２に入射すべき外光５１が対象物５３によって遮られる。したがって、光センサ２を用いて、外光５１による対象物５３の影像を検知することができる。
　反射像を検知する方法（図５Ｂ）では、フォトダイオード６を含む光センサ２は、バックライト光５２の反射光を検知する。より詳細には、バックライト１５から出射されたバックライト光５２は、液晶パネル１１を透過して液晶パネル１１の表面から外部に出る。このときに対象物５３が液晶パネル１１の表面付近にあると、バックライト光５２は対象物５３で反射する。例えば、人間の指の腹は光をよく反射する。バックライト光５２の反射光は、ガラス基板４１ａや液晶層４２などを透過して光センサ２に入射する。したがって、光センサ２を用いて、バックライト光５２による対象物５３の反射像を検知することができる。
　また、上記２つの方法を併用すれば、影像と反射像の両方を検知することができる。すなわち、光センサ２を用いて、外光５１による対象物５３の影像と、バックライト光５２による対象物５３の反射像とを同時に検知することができる。
　図６Ａおよび図６Ｂは、指の像を含むスキャン画像の例を示す図である。図６Ａに示すスキャン画像は指の影像を含み、図６Ｂに示すスキャン画像は指の影像と指の腹の反射像を含む。センサデータ処理回路１４は、このようなスキャン画像に対して画像認識処理を行い、タッチ位置を示す座標データＣｏを出力する。
　以下、液晶表示装置１０における動作モードの切り替えについて説明する。液晶表示装置１０は、消費電力を削減するために通常モードと待機モードを有し、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりする。具体的には、通常モードでは、パネル駆動回路１６はすべての光センサ２から信号を読み出し、Ａ／Ｄ変換器１３はすべてのセンサ出力信号をデジタル値に変換し、認識処理部２２は認識処理を行い、赤外バックライト１９は点灯する。これに対して待機モードでは、パネル駆動回路１６は一部の光センサ２から信号を読み出し、Ａ／Ｄ変換器１３は一部のセンサ出力信号をデジタル値に変換し、認識処理部２２は動作を停止し、赤外バックライト１９は消灯する。
　上記モード制御を行うために、センサデータ処理回路１４は、モード制御部２４、間引き画像メモリ２５、および、制御レジスタ２６を含んでいる。モード制御部２４は、通常モードか待機モードかを判定するモード判定処理、通常モードにおいて回路の動作を制御する通常モード制御処理、および、待機モードにおいて回路の動作を制御する待機モード制御処理を行う。間引き画像メモリ２５は、通常モードから待機モードに移行するときに、光センサ２から読み出した信号に基づく比較対象画像を記憶する画像記憶部として機能する。
　制御レジスタ２６は、モード制御部２４の動作に必要な各種のパラメータを記憶している。具体的には、制御レジスタ２６は、第１の閾値ＴＨ１、第２の閾値ＴＨ２、第１のタイマー値ＴＭ１、第２のタイマー値ＴＭ２、抽出範囲ＥＲなどを記憶している。２個の閾値ＴＨ１、ＴＨ２および２個のタイマー値ＴＭ１、ＴＭ２はモード判定処理に使用され、抽出範囲ＥＲは待機モード制御処理に使用される。制御レジスタ２６に記憶されるパラメータは、ホストからホストＩ／Ｆ部２３を経由して設定される。
　図７は、モード制御部２４の動作を示すフローチャートである。モード制御部２４は、まず、制御レジスタ２６に記憶された第１のタイマー値ＴＭ１を設定してタイマーを起動する（ステップＳ１１）。次に、モード制御部２４は、通常モード制御処理を行う（ステップＳ１２）。ステップＳ１２では、モード制御部２４から出力される制御信号（図１に破線で示す信号）によって、認識処理部２２は動作を開始し、パネル駆動回路１６はすべての光センサ２から信号を読み出し、Ａ／Ｄ変換器１３はすべてのセンサ出力信号をデジタル値に変換し、赤外バックライト１９は点灯する。
　次に、モード制御部２４は、認識処理部２２から座標データＣｏが出力されたか否かを調べる（ステップＳ１３）。モード制御部２４は、座標データＣｏが出力されたときにはステップＳ１４へ進み、座標データＣｏが出力されていないときにはステップＳ１５へ進む。前者の場合、モード制御部２４は、制御レジスタ２６に記憶された第１のタイマー値ＴＭ１を設定してタイマーを再起動し（ステップＳ１４）、ステップＳ１３へ進む。後者の場合、モード制御部２４は、タイマーがタイムアウトしたか否かを調べる（ステップＳ１５）。タイマーがタイムアウトしていないときには、モード制御部２４はステップＳ１３へ進む。タイマーがタイムアウトしたときには、モード制御部２４は、通常モードから待機モードへ移行するために、ステップＳ２１へ進む。
　通常モードから待機モードに移行するときに、モード制御部２４は、スキャン画像から画素値を間引いた画像（以下、間引き画像という）を生成し、間引き画像を間引き画像メモリ２５に書き込む（ステップＳ２１）。次に、モード制御部２４は、待機モード制御処理を行う（ステップＳ２２）。ステップＳ２２では、モード制御部２４から出力される制御信号によって、認識処理部２２は動作を停止し、パネル駆動回路１６は一部の光センサ２から信号を読み出し、Ａ／Ｄ変換器１３は一部のセンサ出力信号をデジタル値に変換し、赤外バックライト１９は消灯する。
　より詳細には、モード制御部２４から出力される制御信号には、通常モードか待機モードかを示すモード制御信号が含まれている。図２に示すように、液晶パネル１１に供給されたモード制御信号ＭＣは、センサ行駆動回路３３と出力制御回路３５に入力される。待機モードのセンシング期間では、センサ行駆動回路３３は、センサ読み出し線ＲＷ１～ＲＷｍとセンサリセット線ＲＳ１～ＲＳｍのうち、一部の信号線のみを１組ずつ順に選択する。このとき出力制御回路３５は、一部のセンサ出力アンプ３４のみからセンサ出力信号ＳＳ１～ＳＳｐが出力されるように制御する。また、Ａ／Ｄ変換器１３は、一部の光センサ２から読み出した信号をデジタル信号に変換する。
　モード制御部２４は、ステップＳ２２において、制御レジスタ２６に記憶された抽出範囲ＥＲに基づき、処理範囲を示す制御信号を出力してもよい。例えば、制御レジスタ２６に記憶された抽出範囲ＥＲが表示画面の下半分を示すときには、モード制御部２４は、パネル駆動回路１６とＡ／Ｄ変換器１３に対して、表示画面の下半分を処理すべきことを示す制御信号を出力する。パネル駆動回路１６は、この制御信号に基づき、画素アレイ１７の下半分に配置された光センサ２から信号を読み出す。Ａ／Ｄ変換器１３は、このときに光センサ２から読み出した信号をデジタル信号に変換する。
　このようにパネル駆動回路１６は、モード制御部２４による判定結果に従い、待機モードでは通常モードよりも少ない量の信号を光センサ２から読み出す。また、Ａ／Ｄ変換器１３は、モード制御部２４による判定結果に従い、待機モードでは通常モードよりも少ない頻度でデジタル値への変換を行う。この結果、待機モードでは、スキャン画像生成部２１からは、通常モードに出力されるスキャン画像から画素値を間引いた間引き画像が繰り返し出力される。なお、待機モードで出力される間引き画像は、ステップＳ２１で生成される間引き画像と同じ光センサ２から読み出した信号に基づくものとする。
　次に、モード制御部２４には、スキャン画像生成部２１から出力された新たな間引き画像が入力される（ステップＳ２３）。次に、モード制御部２４は、間引き画像メモリ２５に記憶された間引き画像とステップＳ２３で入力された新たな間引き画像とを画素ごとに比較し、画素値の差が制御レジスタ２６に記憶された第１の閾値ＴＨ１以上である画素の個数Ｎを求める（ステップＳ２４）。次に、モード制御部２４は、ステップＳ２４で求めた個数Ｎと制御レジスタ２６に記憶された第２の閾値ＴＨ２とを比較する（ステップＳ２５）。モード制御部２４は、Ｎ２≧ＴＨ２のときにはステップＳ２６へ進み、Ｎ２＜ＴＨ２のときにはステップＳ２３へ進む。前者の場合、モード制御部２４は、制御レジスタ２６に記憶された第２のタイマー値ＴＭ２を設定してタイマーを起動し（ステップＳ２６）、待機モードから通常モードへ移行するために、ステップＳ１２へ進む。ただし、第２のタイマー値ＴＭ２は、第１のタイマー値ＴＭ１よりも小さいものとする。
　このようにモード制御部２４は、座標データＣｏが出力されない状態が所定時間続いたときに（第１のタイマー値ＴＭ１だけ時間が経過したときに）、通常モードから待機モードに移行する。また、モード制御部２４は、新たに供給された間引き画像が間引き画像メモリ２５に記憶された間引き画像（通常モードから待機モードに移行するときに記憶された間引き画像）から所定以上変化したときに、待機モードから通常モードに遷移する。また、モード制御部２４は、待機モードから通常モードに移行した直後では、以前から通常モードであるときに比べて、より短い時間だけ座標データＣｏが出力されない状態が続いたときに（第２のタイマー値ＴＭ２だけ時間が経過したときに）、通常モードから待機モードに移行する。
　以下、本実施形態に係る液晶表示装置１０の効果を説明する。本実施形態に係る液晶表示装置１０は、センサ内蔵液晶パネル１１と、パネル駆動回路１６と、認識処理部２２と、モード制御部２４と、間引き画像メモリ２５とを備えている。モード制御部２４は、通常モードか待機モードかを判定し、通常モードでは認識処理部２２を動作させ、待機モードでは認識処理部２２の動作を停止させる。間引き画像メモリ２５は、通常モードから待機モードに移行するときに間引き画像を記憶し、モード制御部２４は、新たに供給された間引き画像が間引き画像メモリ２５に記憶された間引き画像から所定以上変化したときに、待機モードから通常モードに移行する。特に、モード制御部２４は、間引き画像メモリ２５に記憶された間引き画像と新たに供給された間引き画像とを画素ごとに比較し、画素値の差が第１の閾値ＴＨ１以上である画素の個数が第２の閾値ＴＨ２以上であるときに、待機モードから通常モードに移行する。
　このように通常モードか待機モードかを判定し、待機モードでは認識処理部２２の動作を停止させることにより、液晶表示装置１０の消費電力を削減することができる。また、間引き画像が待機モードに移行したときから所定以上変化したときに通常モードに移行することにより、対象物が画面に接触する前に通常モードに移行することができる。したがって、速やかに待機モードを脱出してタッチ位置を素早く検出することができる。
　また、２個の閾値ＴＨ１、ＴＨ２は、外部から値を設定可能な制御レジスタ２６に記憶されている。これにより、使用形態などに応じてモード判定処理の条件を調整し、好適なモード判定処理を行うことができる。
　また、モード制御部２４は、座標データＣｏが出力されない状態が所定の時間続いたときに、通常モードから待機モードに移行する。これにより、認識処理を行う必要がないときには待機モードに移行して認識処理部２２を停止させ、液晶表示装置１０の消費電力を削減することができる。特に、モード制御部２４は、待機モードから通常モードに移行した直後では、以前から通常モードであるときと比べて、より短い時間だけ座標データＣｏが出力されない状態が続いたときに、通常モードから待機モードに移行する。これにより、再開した認識処理を行う必要がないときには、短時間のうちに待機モードに移行して認識処理部２２を停止させ、液晶表示装置１０の消費電力をより効果的に削減することができる。
　また、間引き画像は、スキャン画像よりも少ない画素数を有する。このような間引き画像を用いてモード判定処理を行うことにより、モード判定処理に必要なメモリ量と計算量を減らすことができる。また、間引き画像は、スキャン画像から画素値を間引いた画像である。このような間引き画像は、平均値算出処理などを行うことなく、容易に生成することができる。また、間引き画像の抽出範囲は、外部から値を設定可能な制御レジスタ２６に記憶されている。これにより、使用形態などに応じて間引き画像を好適な位置から抽出し、好適なモード判定処理を行うことができる。
　また、モード制御部２４による判定結果に従い、パネル駆動回路１６は待機モードでは通常モードよりも少ない量の信号を光センサ２から読み出し、Ａ／Ｄ変換器１３は待機モードでは通常モードよりも少ない頻度でデジタル値への変換を行う。このように待機モードではパネル駆動回路１６やＡ／Ｄ変換器１３の動作速度を遅くすることにより、モード判定処理に必要な間引き画像を生成しながら、液晶表示装置１０の消費電力を削減することができる。また、モード制御部２４は、待機モードでは赤外バックライト１９を消灯させる。これにより、液晶表示装置１０の消費電力を削減することができる。
　なお、本実施形態に係る液晶表示装置については、各種の変形例を構成することができる。例えば、本発明の液晶表示装置は、ホストから入力された信号に応じて通常モードから待機モードに（あるいは逆方向に）移行する機能を有していてもよい。また、間引き画像メモリ２５に記憶される間引き画像は、通常モードから待機モードに移行するときに記憶される画像であれば、通常モードの最後に生成される画像でもよく、待機モードの先頭で生成される画像でもよい。また、制御レジスタ２６には上述したすべてのパラメータが記憶されている必要はなく、これらパラメータの全部あるいは一部が固定値であってもよい。例えば、制御レジスタ２６には、２個の閾値ＴＨ１、ＴＨ２のうち一方だけが記憶されており、他方は固定値であってもよい。また、抽出範囲ＥＲは、常に表示画面の全体に固定されていてもよい。
　以上に示すように、本発明の表示装置によれば、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりして消費電力を削減しながら、必要なときには速やかに待機モードを脱出してタッチ位置を素早く検出することができる。
　本発明の表示装置は、待機モードを脱出してタッチ位置を素早く検出できるという効果を奏するので、光センサ付き液晶表示装置など、複数の光センサを備えた各種の表示装置に利用することができる。
　１…画素回路
　２…光センサ
　１０…液晶表示装置
　１１…センサ内蔵液晶パネル
　１２…表示データ処理回路
　１３…Ａ／Ｄ変換器
　１４…センサデータ処理回路
　１５…バックライト
　１６…パネル駆動回路
　１７…画素アレイ
　１８…白色バックライト
　１９…赤外バックライト
　２１…スキャン画像生成部
　２２…認識処理部
　２３…ホストＩ／Ｆ部
　２４…モード制御部
　２５…間引き画像メモリ
　２６…制御レジスタ

Claims (12)

  1. 　複数の光センサを備えた表示装置であって、
    　２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、
    　表示データに応じた信号を前記画素回路に書き込む動作と、受光量に応じた信号を前記光センサから読み出す動作とを行う駆動回路と、
    　前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部と、
    　通常モードか待機モードかを判定し、通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるモード制御部と、
    　通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく比較対象画像を記憶する画像記憶部とを備え、
    　前記モード制御部は、新たに供給された比較対象画像が前記画像記憶部に記憶された比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする、表示装置。
  2. 　前記モード制御部は、前記画像記憶部に記憶された比較対象画像と新たに供給された比較対象画像とを画素ごとに比較し、画素値の差が第１の閾値以上である画素の個数が第２の閾値以上であるときに、待機モードから通常モードに移行することを特徴とする、請求項１に記載の表示装置。
  3. 　前記第１および第２の閾値のうち少なくとも一方が、外部から値を設定可能なレジスタに記憶されていることを特徴とする、請求項２に記載の表示装置。
  4. 　前記モード制御部は、前記座標データが出力されない状態が所定の時間続いたときに、通常モードから待機モードに移行することを特徴とする、請求項１に記載の表示装置。
  5. 　前記モード制御部は、待機モードから通常モードに移行した直後では、以前から通常モードであるときと比べて、より短い時間だけ前記座標データが出力されない状態が続いたときに、通常モードから待機モードに移行することを特徴とする、請求項４に記載の表示装置。
  6. 　前記比較対象画像は、前記認識対象画像よりも少ない画素数を有することを特徴とする、請求項１に記載の表示装置。
  7. 　前記比較対象画像は、前記認識対象画像から画素値を間引いた画像であることを特徴とする、請求項６に記載の表示装置。
  8. 　前記比較対象画像の抽出範囲が、外部から値を設定可能なレジスタに記憶されていることを特徴とする、請求項７に記載の表示装置。
  9. 　前記駆動回路は、前記モード制御部による判定結果に従い、待機モードでは通常モードよりも少ない量の信号を前記光センサから読み出すことを特徴とする、請求項７に記載の表示装置。
  10. 　前記光センサから読み出した信号をデジタル値に変換するＡ／Ｄ変換器をさらに備え、
    　前記Ａ／Ｄ変換器は、前記モード制御部による判定結果に従い、待機モードでは通常モードよりも少ない頻度でデジタル値への変換を行うことを特徴とする、請求項７に記載の表示装置。
  11. 　赤外光を出射する赤外バックライトをさらに備え、
    　前記モード制御部は、待機モードでは前記赤外バックライトを消灯させることを特徴とする、請求項１に記載の表示装置。
  12. 　２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部とを備えた表示装置の制御方法であって、
    　表示データに応じた信号を前記画素回路に書き込むステップと、
    　受光量に応じた信号を前記光センサから読み出すステップと、
    　通常モードか待機モードかを判定するステップと、
    　通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるステップと、
    　通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく比較対象画像を記憶するステップとを備え、
    　前記モードを判定するステップは、新たに供給された比較対象画像が記憶された比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする、表示装置の制御方法。
PCT/JP2010/053050 2009-06-24 2010-02-26 光センサ付き表示装置 WO2010150572A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/379,256 US20120105404A1 (en) 2009-06-24 2010-02-26 Display device with light sensors

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-149310 2009-06-24
JP2009149310 2009-06-24

Publications (1)

Publication Number Publication Date
WO2010150572A1 true WO2010150572A1 (ja) 2010-12-29

Family

ID=43386354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/053050 WO2010150572A1 (ja) 2009-06-24 2010-02-26 光センサ付き表示装置

Country Status (2)

Country Link
US (1) US20120105404A1 (ja)
WO (1) WO2010150572A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5232924B2 (ja) * 2009-12-25 2013-07-10 シャープ株式会社 表示装置及び表示装置の制御方法
JP2022104975A (ja) * 2016-10-26 2022-07-12 株式会社半導体エネルギー研究所 表示装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496924B1 (ko) * 2013-07-08 2015-03-04 주식회사 레이언스 이미지센서와 그 구동방법
CN107833559B (zh) * 2017-12-08 2023-11-28 合肥京东方光电科技有限公司 像素驱动电路、有机发光显示面板及像素驱动方法
US10755072B2 (en) * 2018-08-02 2020-08-25 Wuhan China Star Optoelectronics Technology Co., Ltd. Display panel and display device
KR20210083644A (ko) * 2019-12-27 2021-07-07 엘지디스플레이 주식회사 유기발광 표시장치 및 그 구동방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262548A (ja) * 2007-03-16 2008-10-30 Sony Corp 表示装置およびその制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0821807B2 (ja) * 1993-04-07 1996-03-04 日本電気株式会社 マイクロ波回路モジュールの製造装置
GB2391963B (en) * 2002-08-14 2004-12-01 Flyingspark Ltd Method and apparatus for preloading caches
JP4200435B2 (ja) * 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262548A (ja) * 2007-03-16 2008-10-30 Sony Corp 表示装置およびその制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5232924B2 (ja) * 2009-12-25 2013-07-10 シャープ株式会社 表示装置及び表示装置の制御方法
JP2022104975A (ja) * 2016-10-26 2022-07-12 株式会社半導体エネルギー研究所 表示装置

Also Published As

Publication number Publication date
US20120105404A1 (en) 2012-05-03

Similar Documents

Publication Publication Date Title
JP5347035B2 (ja) 光センサ付き表示装置
RU2440599C1 (ru) Устройство отображения с оптическими датчиками
WO2009104667A1 (ja) 光センサ付き表示装置
US20120013595A1 (en) Display device and method of operation thereof
WO2009093388A1 (ja) 光センサ付き表示装置
KR20070033532A (ko) 접촉 감지 기능이 있는 표시 장치, 그 구동 장치 및 감지신호 처리 방법
JP5171941B2 (ja) 光センサ付き表示装置
JP2006133788A (ja) 感知素子を内装した液晶表示装置
WO2010150572A1 (ja) 光センサ付き表示装置
JP5217618B2 (ja) 電子機器の接触位置特定方法
US20110115724A1 (en) Display apparatus
US8717334B2 (en) Display device and driving method for display device
JP2010152671A (ja) 表示装置
JP5232924B2 (ja) 表示装置及び表示装置の制御方法
JP5116851B2 (ja) 表示装置
Tanaka et al. 45.5: A System LCD with Optical Input Function using Infra‐Red Backlight Subtraction Scheme
US8558854B2 (en) Image recognition method, image recognition apparatus and image input/output apparatus
JP4947805B2 (ja) 表示装置
JP2013037521A (ja) 入力装置
JP2009276642A (ja) センシング回路、その駆動方法、表示装置、その駆動方法、及び電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10791892

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13379256

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10791892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP