WO2009104667A1 - 光センサ付き表示装置 - Google Patents

光センサ付き表示装置 Download PDF

Info

Publication number
WO2009104667A1
WO2009104667A1 PCT/JP2009/052860 JP2009052860W WO2009104667A1 WO 2009104667 A1 WO2009104667 A1 WO 2009104667A1 JP 2009052860 W JP2009052860 W JP 2009052860W WO 2009104667 A1 WO2009104667 A1 WO 2009104667A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
data
display device
liquid crystal
Prior art date
Application number
PCT/JP2009/052860
Other languages
English (en)
French (fr)
Inventor
章純 藤岡
章敬 久保田
正樹 植畑
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to CN2009801059457A priority Critical patent/CN101952768A/zh
Priority to EP09711934A priority patent/EP2244120A4/en
Priority to JP2009554361A priority patent/JPWO2009104667A1/ja
Priority to BRPI0908850-4A priority patent/BRPI0908850A2/pt
Priority to US12/863,712 priority patent/US20100289784A1/en
Publication of WO2009104667A1 publication Critical patent/WO2009104667A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3685—Details of drivers for data electrodes
    • G09G3/3688—Details of drivers for data electrodes suitable for active matrices only
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306—Circuit arrangements or driving methods for the control of single liquid crystal cells
    • G02F1/13312—Circuits comprising photodetectors for purposes other than feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0809—Several active elements per pixel in active matrix panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0257—Reduction of after-image effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G09G2360/147—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen the originated light output being determined for each pixel
    • G09G2360/148—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen the originated light output being determined for each pixel the light being detected by light detection means within each pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix

Definitions

  • the present invention relates to a display device, and more particularly to a display device in which a plurality of optical sensors are provided on a display panel.
  • a method for detecting the touch position in the display screen a method is known in which a plurality of optical sensors are provided on the display panel, and a shadow image formed when a finger or the like approaches the screen is detected using the optical sensor.
  • a shadow image when the illuminance of outside light is low (the surroundings are dark), it is difficult to distinguish the shadow image from the background in the image obtained by the optical sensor, and the touch position may not be detected correctly. Therefore, for a display device provided with a backlight, a method is also known in which a reflected image when backlight light hits a finger is detected using an optical sensor.
  • the display device can be used as an image input device.
  • the display device can be used as an image input device.
  • the business card image is taken into the mobile phone via the liquid crystal panel by holding the business card over the surface of the liquid crystal panel and giving an image input instruction. be able to.
  • Patent Document 1 A display device in which a plurality of photosensors are provided on a display panel is described in Patent Document 1, for example. Further, in Patent Document 2, in order to improve the detection accuracy of the optical sensor, the backlight is turned on in the display period for displaying the display data on the display unit, and the backlight is turned on in the sense period for reading the sensor output from the sensor unit. A display device that turns off the light is described. Japanese Patent Laid-Open No. 11-326954 Japanese Unexamined Patent Publication No. 2006-317682
  • the conventional display device with an optical sensor has a problem that display data is mixed as noise in the output data of the optical sensor, and the detection accuracy of the touch position and the accuracy of image input are lowered.
  • display data is mixed as noise in the output data of the optical sensor, and the detection accuracy of the touch position and the accuracy of image input are lowered.
  • a liquid crystal display device with an optical sensor light transmitted through the liquid crystal panel is incident on an optical sensor provided on the liquid crystal panel (see FIGS. 4A and 4B described later).
  • the amount of light detected by the optical sensor varies depending on the light transmittance of the liquid crystal panel, and the output data of the optical sensor is affected by the display data.
  • the charge applied to the data signal line at the time of writing affects the read data. Influenced by display data. For this reason, display data is mixed as noise in the output data of the optical sensor.
  • the amount of light detected by the optical sensor decreases. Detection accuracy and image input accuracy are significantly reduced.
  • an object of the present invention is to provide a display device that can perform image input and touch position detection with high accuracy regardless of a display image.
  • a first aspect of the present invention is a display device including a plurality of optical sensors, A display panel including a plurality of pixel circuits and a plurality of photosensors arranged two-dimensionally; A drive circuit that performs an operation of writing a signal corresponding to display data to the pixel circuit and an operation of reading a signal corresponding to the amount of received light from the optical sensor; A display data switching unit that switches display data used before reading by the drive circuit to fixed data suitable for image input.
  • the fixed data is data representing a monochrome image.
  • the fixed data is data representing a single color image including many color components with high light receiving sensitivity of the photosensor.
  • the fixed data is data representing a white image.
  • the display panel is a liquid crystal panel formed of CG (Continuous Grain) silicon,
  • the fixed data is data representing a blue image.
  • the image processing apparatus further includes an image recognition processing unit that performs an image recognition process for detecting an object included in the scan image on the scan image based on the signal read from the optical sensor.
  • a seventh aspect of the present invention is the sixth aspect of the present invention, Further comprising a backlight for irradiating the back of the display panel,
  • the image recognition processing unit detects at least a reflected image of the object.
  • the display data switching unit is included in an image processing unit provided in a preceding stage of the drive circuit.
  • the display data switching unit is included in the drive circuit.
  • a tenth aspect of the present invention is a method of driving a display device including a display panel including a plurality of pixel circuits and a plurality of photosensors arranged two-dimensionally, Writing a signal corresponding to display data into the pixel circuit; Reading a signal corresponding to the amount of received light from the optical sensor; Switching display data used before reading to fixed data suitable for image input.
  • An eleventh aspect of the present invention is an apparatus having an image display function and an image input function, A display device and a display control unit;
  • the display device A display panel including a plurality of pixel circuits and a plurality of photosensors arranged two-dimensionally;
  • a drive circuit that performs an operation of writing a signal corresponding to display data given from the display control unit to the pixel circuit and an operation of reading a signal corresponding to the amount of received light from the photosensor,
  • the display control unit when giving an image input instruction to the display device, gives fixed data suitable for image input as the display data.
  • display data before reading is switched to fixed data, and image input using an optical sensor is performed after displaying an image based on the fixed data.
  • image input using an optical sensor is performed after displaying an image based on the fixed data.
  • the light transmittance of the display panel and the state of pixel circuits and signal lines included in the display device are not affected by the previous display image. Therefore, by using fixed data, display an image suitable for image input, such as a single color image or an image containing a large amount of color components with high photosensitivity, and then display the image. It is possible to eliminate the influence of the image, perform image input with high accuracy regardless of the display image, output the obtained image, and perform touch position detection with high accuracy based on the image.
  • image input using the optical sensor is performed after displaying a monochromatic image.
  • a monochromatic image is displayed, the light transmittance of the display panel and the state of pixel circuits and signal lines included in the display device become uniform. Therefore, by performing image input after displaying a monochrome image using fixed data, it is possible to eliminate the influence of the display image and align the internal state of the display device to perform image input and touch position detection with high accuracy. Can do.
  • image input using an optical sensor is performed after displaying a monochromatic image containing many color components with high light receiving sensitivity of the optical sensor.
  • the optical sensor operates with high light receiving sensitivity. Therefore, it is possible to eliminate the influence of the display image, align the internal state of the display image, increase the light receiving sensitivity of the optical sensor, and perform image input and touch position detection with high accuracy.
  • the fourth aspect of the present invention by using data representing a white image as fixed data, the influence of the display image is eliminated, the internal state of the display image is made uniform, and the light receiving sensitivity of the photosensor is increased. It is possible to perform image input and touch position detection with high accuracy.
  • the light receiving sensitivity of the photosensor is increased with blue light, and therefore data representing a blue image is used as fixed data.
  • the influence of the display image can be eliminated, the internal state of the display image can be made uniform, and the light receiving sensitivity of the photosensor can be increased to perform image input and touch position detection with high accuracy.
  • an object included in the scanned image can be detected by the display device by performing image recognition processing on the scanned image.
  • the seventh aspect of the present invention when a reflected image of an object is detected, a problem that the scan image becomes dark and the detection accuracy of the touch position decreases becomes significant.
  • By inputting an image after displaying an image suitable for image input using it is possible to eliminate the influence of display data and perform image input and touch position detection with high accuracy regardless of the display image.
  • an image suitable for image input is displayed using fixed data by switching display data before reading to fixed data in an image processing unit provided in the previous stage of the drive circuit.
  • Image input can be performed later. Therefore, it is possible to eliminate the influence of the display data and perform image input and touch position detection with high accuracy regardless of the display image.
  • the ninth aspect of the present invention it is possible to perform image input after displaying an image suitable for image input using fixed data by switching display data before reading to fixed data by the drive circuit. Thereby, it is possible to eliminate the influence of the display data and perform image input and touch position detection with high accuracy regardless of the display image.
  • FIG. 1 is a block diagram illustrating a configuration of a liquid crystal display device according to a first embodiment of the present invention. It is a block diagram which shows the detailed structure of the liquid crystal panel of the apparatus shown in FIG. It is a figure which shows the cross section of the liquid crystal panel of the apparatus shown in FIG. 1, and the arrangement position of a backlight. It is a figure which shows the principle of the method of detecting the image in the apparatus shown in FIG. It is a figure which shows the principle of the method of detecting the reflected image in the apparatus shown in FIG. It is a figure which shows the example of the scanning image containing the image of a finger
  • FIG. 2 is a flowchart showing an operation when an output control signal of the apparatus shown in FIG. 1 is at a high level.
  • 2 is a flowchart showing an operation when an output control signal of the apparatus shown in FIG. 1 is at a low level.
  • It is a table which shows collectively operation
  • It is a timing chart of the apparatus shown in FIG.
  • It is a block diagram which shows the structure of the liquid crystal display device which concerns on the 2nd Embodiment of this invention.
  • It is a flowchart which shows operation
  • It is a block diagram which shows the structure of the business card reading apparatus which concerns on the 4th Embodiment of this invention.
  • FIG. 1 is a block diagram showing the configuration of the liquid crystal display device according to the first embodiment of the present invention.
  • a liquid crystal display device 10 shown in FIG. 1 includes a sensor built-in liquid crystal panel 11, an image processing unit 12, an A / D converter 13, a backlight power supply circuit 14, and a backlight 15.
  • the image processing unit 12 includes a frame memory 16.
  • the sensor built-in liquid crystal panel 11 (hereinafter referred to as the liquid crystal panel 11) includes a panel drive circuit 17 and a pixel array 18, and the pixel array 18 includes a plurality of pixel circuits and a plurality of photosensors arranged two-dimensionally ( Details will be described later).
  • the liquid crystal display device 10 has a touch position detection function and an image input function in addition to the image display function.
  • Display data D1 and an output control signal OC are input to the liquid crystal display device 10 from the outside.
  • the image processing unit 12 performs a frame rate conversion process on the display data D1 using the frame memory 16 to obtain the display data D2.
  • the image processing unit 12 performs display data switching processing (details will be described later) on the display data D2, and outputs display data D3.
  • the panel drive circuit 17 writes a voltage corresponding to the display data D3 in the pixel circuit of the liquid crystal panel 11. As a result, an image based on the display data D3 is displayed on the liquid crystal panel 11.
  • the backlight 15 is composed of, for example, a white LED (Light Emitting Diode), and irradiates the back surface of the liquid crystal panel 11 with light (backlight light).
  • the backlight power supply circuit 14 switches whether to supply a power supply voltage to the backlight 15 according to the backlight control signal BC output from the image processing unit 12.
  • the backlight power supply circuit 14 supplies a power supply voltage when the backlight control signal BC is at a high level and does not supply a power supply voltage when the backlight control signal BC is at a low level.
  • the backlight 15 is turned on while the backlight control signal BC is at a high level, and is turned off while the backlight control signal BC is at a low level.
  • the configuration of the backlight 15 may be arbitrary, and the backlight 15 may be configured with a combination of red, green, and blue LEDs, or with a cold cathode tube (CCFL: Cold Cathode Fluorescent Lamp).
  • CCFL Cold Cathode Fluorescent Lamp
  • the panel drive circuit 17 performs an operation of reading a voltage corresponding to the amount of received light from the optical sensor of the liquid crystal panel 11 in addition to an operation of writing a voltage to the pixel circuit of the liquid crystal panel 11.
  • the output signal of the optical sensor is output to the outside of the liquid crystal panel 11 as a sensor output signal SS.
  • the A / D converter 13 converts the analog sensor output signal SS into a digital signal.
  • the image processing unit 12 generates a digital image (hereinafter referred to as a scanned image) based on the digital signal output from the A / D converter 13.
  • the scanned image may include an image of an object to be detected (for example, a finger or a pen; hereinafter referred to as an object) near the surface of the liquid crystal panel 11.
  • the image processing unit 12 When the output control signal OC is at a high level, the image processing unit 12 performs image recognition processing for detecting the target object on the scanned image, obtains the position of the target object in the scanned image, and indicates the touch position. Coordinate data Co is output. On the other hand, when the output control signal OC is at a low level, the image processing unit 12 does not perform the image recognition process and outputs the scanned image as it is as the imaging data SD.
  • the liquid crystal display device 10 performs either an operation of displaying an image based on the display data D2 or an operation of inputting a scan image at each frame time.
  • a frame time for displaying an image is referred to as a “display period”
  • a frame time for inputting an image is referred to as a “sensing period”.
  • the liquid crystal display device 10 switches between image display and image input in each frame time in accordance with the output control signal OC.
  • the output control signal OC when the output control signal OC is at a high level, the liquid crystal display device 10 alternately performs image display and image input every frame time, and when the output control signal OC is at a low level, the image input is performed at all frame times. Shall be performed.
  • FIG. 2 is a block diagram showing a detailed configuration of the liquid crystal panel 11.
  • the pixel array 18 includes m scanning signal lines G1 to Gm, 3n data signal lines SR1 to SRn, SG1 to SGn, SB1 to SBn, and (m ⁇ 3n) pixels.
  • a circuit 1 is provided.
  • the pixel array 18 includes (m ⁇ n) photosensors 2, m sensor readout lines RW1 to RWm, and m sensor reset lines RS1 to RSm.
  • the liquid crystal panel 11 is formed using CG (Continuous Grain) silicon.
  • the scanning signal lines G1 to Gm are arranged in parallel to each other.
  • the data signal lines SR1 to SRn, SG1 to SGn, and SB1 to SBn are arranged in parallel to each other so as to be orthogonal to the scanning signal lines G1 to Gm.
  • the sensor readout lines RW1 to RWm and the sensor reset lines RS1 to RSm are arranged in parallel with the scanning signal lines G1 to Gm.
  • the pixel circuit 1 is provided one by one near the intersection of the scanning signal lines G1 to Gm and the data signal lines SR1 to SRn, SG1 to SGn, SB1 to SBn.
  • the pixel circuits 1 are arranged two-dimensionally as a whole, m in the column direction (vertical direction in FIG. 2) and 3n in the row direction (horizontal direction in FIG. 2).
  • the pixel circuit 1 is classified into an R pixel circuit 1r, a G pixel circuit 1g, and a B pixel circuit 1b depending on how many color filters are provided.
  • the three types of pixel circuits 1r, 1g, and 1b are arranged side by side in the row direction, and three pixels form one pixel.
  • the pixel circuit 1 includes a TFT (Thin Film Transistor) 3 and a liquid crystal capacitor 4.
  • the gate terminal of the TFT 3 is connected to the scanning signal line Gi (i is an integer from 1 to m), and the source terminal is connected to one of the data signal lines SRj, SGj, SBj (j is an integer from 1 to n).
  • the drain terminal is connected to one electrode of the liquid crystal capacitor 4.
  • a common electrode voltage is applied to the other electrode of the liquid crystal capacitor 4.
  • the data signal lines SG1 to SGn connected to the G pixel circuit 1g are referred to as G data signal lines
  • the data signal lines SB1 to SBn connected to the B pixel circuit 1b are referred to as B data signal lines.
  • the pixel circuit 1 may include an auxiliary capacitor.
  • the light transmittance (subpixel luminance) of the pixel circuit 1 is determined by the voltage written in the pixel circuit 1.
  • a high level voltage TFT3 is turned on
  • the voltage to be written may be applied to the data signal line SXj.
  • the optical sensor 2 includes a capacitor 5, a photodiode 6, and a sensor preamplifier 7, and is provided for each pixel.
  • One electrode of the capacitor 5 is connected to the cathode terminal of the photodiode 6 (hereinafter, this connection point is referred to as a node P).
  • the other electrode of the capacitor 5 is connected to the sensor readout line RWi, and the anode terminal of the photodiode 6 is connected to the sensor reset line RSi.
  • the sensor preamplifier 7 includes a TFT having a gate terminal connected to the node P, a drain terminal connected to the B data signal line SBj, and a source terminal connected to the G data signal line SGj.
  • a predetermined voltage is applied to the sensor readout line RWi and the sensor reset line RSi, and the B data signal line SBj is applied.
  • the power supply voltage VDD may be applied.
  • the power supply voltage VDD When the power supply voltage VDD is applied to the B data signal line SBj, the voltage at the node P is amplified by the sensor preamplifier 7, and the amplified voltage is output to the G data signal line SGj. Therefore, the amount of light detected by the optical sensor 2 can be obtained based on the voltage of the G data signal line SGj.
  • a scanning signal line driving circuit 31 a data signal line driving circuit 32, a sensor row driving circuit 33, p sensor output amplifiers 34 (p is an integer of 1 to n), and a plurality of Switches 35 to 38 are provided.
  • the scanning signal line driving circuit 31, the data signal line driving circuit 32, and the sensor row driving circuit 33 correspond to the panel driving circuit 17 in FIG.
  • the data signal line driving circuit 32 has 3n output terminals corresponding to 3n data signal lines.
  • One switch 35 is provided between each of the G data signal lines SG1 to SGn and n output terminals corresponding thereto, and the B data signal lines SB1 to SBn and n output terminals corresponding thereto are provided.
  • One switch 36 is provided between each switch.
  • the G data signal lines SG1 to SGn are divided into p groups, and the kth (k is an integer of 1 to p) G data signal lines and the input terminals of the kth sensor output amplifier 34 in the group.
  • One switch 37 is provided between each switch.
  • the B data signal lines SB1 to SBn are all connected to one end of the switch 38, and the power supply voltage VDD is applied to the other end of the switch 38.
  • the number of switches 35 to 37 included in FIG. 2 is n, and the number of switches 38 is one.
  • the circuit shown in FIG. 2 performs different operations depending on whether it is a display period or a sensing period and whether it is the first half or the second half (see FIG. 9 described later).
  • the scanning signal line driving circuit 31 and the data signal line driving circuit 32 operate in the first half of the display period and the first half of the sensing period. At this time, the switches 35 and 36 are turned on, and the switches 37 and 38 are turned off.
  • the scanning signal line drive circuit 31 selects one scanning signal line from the scanning signal lines G1 to Gm for each one line time according to the timing control signal C1, and applies a high level voltage to the selected scanning signal line. Then, a low level voltage is applied to the remaining scanning signal lines.
  • the data signal line driving circuit 32 drives the data signal lines SR1 to SRn, SG1 to SGn, and SB1 to SBn in a line sequential manner based on the display data DR, DG, and DB output from the image processing unit 12.
  • the data signal line driving circuit 32 stores the display data DR, DG, and DB for at least one row, and applies a voltage corresponding to the display data for one row for each line time to the data signal lines SR1 to SR1. Applied to SRn, SG1 to SGn, and SB1 to SBn. Note that the data signal line driving circuit 32 may drive the data signal lines SR1 to SRn, SG1 to SGn, and SB1 to SBn in a dot sequential manner.
  • the sensor row driving circuit 33 and the sensor output amplifier 34 operate in the latter half of the sensing period.
  • the switches 35 and 36 are turned off, the switch 38 is turned on, and the switch 37 is turned on in a time division manner so that the G data signal lines SG1 to SGn are sequentially connected to the input terminals of the sensor output amplifier 34 for each group. It becomes a state.
  • the sensor row driving circuit 33 selects one signal line for each one line time from the sensor readout lines RW1 to RWm and the sensor reset lines RS1 to RSm according to the timing control signal C2, and selects the selected sensor readout line and sensor.
  • a predetermined read voltage and a reset voltage are applied to the reset line, and voltages different from those at the time of selection are applied to the other signal lines.
  • the sensor output amplifier 34 amplifies the voltage selected by the switch 37 and outputs it as sensor output signals SS1 to SSp.
  • FIG. 3 is a diagram showing a cross section of the liquid crystal panel 11 and an arrangement position of the backlight 15.
  • the liquid crystal panel 11 has a structure in which a liquid crystal layer 42 is sandwiched between two glass substrates 41a and 41b.
  • One glass substrate 41a is provided with three color filters 43r, 43g, 43b, a light shielding film 44, a counter electrode 45, and the like, and the other glass substrate 41b is provided with a pixel electrode 46, a data signal line 47, an optical sensor 2, and the like. Is provided.
  • the photodiode 6 included in the optical sensor 2 is provided in the vicinity of the pixel electrode 46 provided with the blue color filter 43b (the reason will be described later).
  • An alignment film 48 is provided on the opposing surfaces of the glass substrates 41a and 41b, and a polarizing plate 49 is provided on the other surface.
  • a polarizing plate 49 is provided on the other surface.
  • the surface on the glass substrate 41a side is the surface
  • the surface on the glass substrate 41b side is the back surface.
  • the backlight 15 is provided on the back side of the liquid crystal panel 11.
  • the liquid crystal display device 10 uses either a method for detecting a shadow image or a method for detecting a reflected image (or both a shadow image and a reflected image) when detecting a touch position in the display screen.
  • 4A is a diagram illustrating the principle of a method for detecting a shadow image
  • FIG. 4B is a diagram illustrating the principle of a method for detecting a reflected image.
  • the optical sensor 2 including the photodiode 6 detects external light 51 transmitted through the glass substrate 41a, the liquid crystal layer 42, and the like.
  • the object 53 such as a finger is near the surface of the liquid crystal panel 11, the external light 51 to be incident on the optical sensor 2 is blocked by the object 53. Therefore, it is possible to detect a shadow image of the object 53 by the external light 51 using the optical sensor 2.
  • the optical sensor 2 including the photodiode 6 detects the reflected light of the backlight 52. More specifically, the backlight light 52 emitted from the backlight 15 passes through the liquid crystal panel 11 and exits from the surface of the liquid crystal panel 11 to the outside. At this time, if the object 53 is near the surface of the liquid crystal panel 11, the backlight 52 is reflected by the object 53. For example, the belly of a human finger reflects light well. The reflected light of the backlight light 52 passes through the glass substrate 41a, the liquid crystal layer 42, etc., and enters the optical sensor 2. Therefore, it is possible to detect a reflection image of the object 53 by the backlight 52 using the optical sensor 2.
  • both a shadow image and a reflected image can be detected. That is, by using the optical sensor 2, a shadow image of the object 53 by the external light 51 and a reflection image of the object 53 by the backlight light 52 can be detected simultaneously.
  • FIG. 5A and FIG. 5B are diagrams illustrating an example of a scanned image including a finger image.
  • the scan image shown in FIG. 5A includes a finger image
  • the scan image shown in FIG. 5B includes a finger image and a reflection image of the finger belly.
  • the image processing unit 12 performs image recognition processing on such a scanned image and outputs coordinate data Co indicating the touch position, or outputs the scanned image as it is as the imaging data SD.
  • the light receiving sensitivity of the photodiode 6 is higher for blue light than for red light or green light. Therefore, in order to make it easy to receive blue light, the photodiode 6 is provided in the vicinity of the pixel electrode 46 corresponding to the blue color filter 43b as shown in FIG. By disposing the photodiode 6 at a position where it is easy to receive light of a color with high light reception sensitivity in this way, the amount of light detected by the photodiode 6 can be increased and the light reception sensitivity of the optical sensor 2 can be increased.
  • the image processing unit 12 performs a frame rate conversion process, a display data switching process, an operation mode selection process, a backlight control process, a scan image generation process, and an image recognition process. Functions as a recognition processing unit.
  • the image processing unit 12 uses the frame memory 16 as necessary to perform processing (frame rate conversion processing) for matching the frame rate of the display data D1 with the frame rate used for driving the liquid crystal panel 11. For example, when the frame rate of the display data D1 is 30 frames / second and the frame rate used for driving the liquid crystal panel 11 is 60 frames / second, the image processing unit 12 once writes the display data D1 into the frame memory 16, Display data is read from the frame memory 16 at twice the speed of writing. As a result, display data D2 having a frame rate twice that of display data D1 is obtained. Note that when the frame rate of the display data D1 matches the frame rate used for driving the liquid crystal panel 11 from the beginning, the image processing unit 12 does not perform the frame rate conversion process.
  • the image processing unit 12 performs a process (display data switching process) of switching display data used before reading by the panel drive circuit 17 to fixed data Df suitable for image input.
  • the panel drive circuit 17 performs writing to the pixel circuit 1 in the first half of the display period and the first half of the sensing period, and performs reading from the photosensor 2 in the second half of the sensing period.
  • the image processing unit 12 outputs the display data D2 after the frame rate conversion as the display data D3 in the first half of the display period, and outputs the fixed data Df as the display data D3 in the first half of the sensing period.
  • the fixed data Df is fixed data (data not dependent on the display data D1) determined in advance so as to be suitable for image input.
  • data representing a single color image is preferably used as the fixed data Df.
  • data representing a white image can be used as the fixed data Df.
  • the liquid crystal panel 11 is made of CG silicon, the light receiving sensitivity of the photodiode 6 is increased by blue light, so that data representing a blue image can be used as the fixed data Df.
  • the image processing unit 12 detects a shadow image of the object (hereinafter referred to as a shadow image mode), or detects a reflection image of the object (or both a shadow image and a reflected image) (hereinafter referred to as a reflected image mode). (Operation mode selection process) is selected. For example, the image processing unit 12 selects the shadow image mode when the illuminance of external light detected by an illuminance sensor (not shown) is equal to or greater than a predetermined threshold, and selects the reflected image mode otherwise.
  • the image processing unit 12 performs processing (backlight control processing) for controlling the backlight 15 depending on whether the display data is switched to fixed data and whether the display mode is the shadow image mode or the reflection image mode. Specifically, the image processing unit 12 controls the backlight control signal BC to a high level during the display period and the sensing period in the reflected image mode to turn on the backlight 15, and during the sensing period in the image mode, the backlight control signal. The backlight 15 is turned off by controlling BC to a low level.
  • backlight control processing for controlling the backlight 15 depending on whether the display data is switched to fixed data and whether the display mode is the shadow image mode or the reflection image mode.
  • the image processing unit 12 controls the backlight control signal BC to a high level during the display period and the sensing period in the reflected image mode to turn on the backlight 15, and during the sensing period in the image mode, the backlight control signal.
  • the backlight 15 is turned off by controlling BC to a low level.
  • the image processing unit 12 performs a process of generating a scan image (scan image generation process) based on the digital signal output from the A / D converter 13. Further, the image processing unit 12 performs image recognition processing for detecting the target object on the scanned image, and outputs coordinate data Co representing the position of the target object. In the shadow image mode, a shadow image of the object is detected, and in the reflection image mode, a reflection image of the object (or both a shadow image and a reflection image) is detected. When the output control signal OC is at a low level, the image processing unit 12 does not perform the image recognition process and outputs the scanned image as it is as the imaging data SD.
  • FIG. 6 is a flowchart showing the operation of the liquid crystal display device 10 when the output control signal OC is at a high level. As described above, when the output control signal OC is at a high level, the liquid crystal display device 10 alternately performs image display and image input every frame time. Of the steps shown in FIG. 6, steps S101 to S103 are performed in the first half of the display period, steps S105 to S107 are performed in the first half of the sensing period, and steps S108 to S109 are performed in the second half of the sensing period.
  • the image processing unit 12 first controls the backlight control signal BC to a high level to turn on the backlight 15 (step S101). Next, the image processing unit 12 outputs the display data D2 after the frame rate conversion as the display data D3 to the panel drive circuit 17 (step S102). The panel drive circuit 17 writes a voltage corresponding to the display data D3 into the pixel circuit 1 (step S103). As a result, an image based on the display data D2 is displayed on the liquid crystal panel 11.
  • the image processing unit 12 selects an operation mode from the shadow image mode and the reflection image mode (step S104), and controls the backlight 15 according to the selected operation mode (step S105).
  • the backlight control signal BC is at a low level (indicating extinction) in the shadow image mode, and is at a high level (indicating lighting) in the reflection image mode.
  • the image processing unit 12 outputs fixed data Df as display data D3 to the panel drive circuit 17 (step S106).
  • the panel drive circuit 17 writes a voltage corresponding to the fixed data Df to the pixel circuit 1 (step S107). Thereby, an image (for example, a white image or a blue image) based on the fixed data Df is displayed on the liquid crystal panel 11.
  • the image processing unit 12 reads a voltage corresponding to the amount of received light from the optical sensor 2 (step S108).
  • the A / D converter 13 converts the analog sensor output signal SS output from the liquid crystal panel 11 into a digital signal (step S109).
  • the image processing unit 12 generates a scanned image based on the digital signal obtained in step S109 (step S110).
  • the image processing unit 12 performs image recognition processing on the scan image generated in step S110, and obtains the position of the object in the scan image (step S111).
  • the image processing unit 12 outputs coordinate data Co indicating the touch position to the outside of the liquid crystal display device 10 (step S112).
  • FIG. 7 is a flowchart showing the operation of the liquid crystal display device 10 when the output control signal OC is at a low level. As described above, when the output control signal OC is at a low level, the liquid crystal display device 10 performs image input for all frame times. As shown in FIG. 7, the liquid crystal display device 10 performs the same operations as steps S104 to S110 (FIG. 6) in steps S121 to S127. Following step S127, the image processing unit 12 outputs the scan image generated in step S127 as it is as the imaging data SD (step S128).
  • FIG. 8 displaying an image based on the display data D2 is described as “image display”, and displaying an image based on the fixed data Df is described as “fixed display”.
  • FIG. 9 is a timing chart of the liquid crystal display device 10 when the output control signal OC is at a high level.
  • the vertical synchronization signal VSYNC becomes a high level every frame time, and each frame time alternately becomes a display period and a sensing period.
  • the sense signal SC is a signal that becomes low level in the first half of the frame time and becomes high level in the second half.
  • the fixed data Df is data representing a white image, and the backlight 15 is turned off during the sensing period.
  • the switches 35 and 36 are turned on, and the data signal lines SR1 to SRn, SG1 to SGn, and SB1 to SBn are all connected to the data signal line driving circuit 32.
  • the voltage of the scanning signal line G1 becomes high level
  • the voltage of the scanning signal line G2 becomes high level
  • the voltages of the scanning signal lines G3 to Gm sequentially become high level.
  • the data signal lines SR1 to SRn, SG1 to SGn, and SB1 to SBn have voltages (displays) to be written in the 3n pixel circuits 1 connected to the scanning signal line Gi.
  • a voltage corresponding to the data D2 is applied.
  • the sensor row drive circuit 33 does not operate. Therefore, in this latter half, the readout voltage and the reset voltage are not applied to the sensor readout lines RW1 to RWm and the sensor reset lines RS1 to RSm.
  • the voltages of the scanning signal lines G1 to Gm change in the same manner as in the first half of the display period, and the data signal lines SR1 to SRn, SG1 to SGn, and SB1 to SBn have data representing a white image. A corresponding voltage is applied.
  • the switch 38 is turned on, and the switch 37 is turned on in a time division manner. Therefore, the power supply voltage VDD is fixedly applied to the B data signal lines SB1 to SBn, and the G data signal lines SG1 to SGn are connected to the input terminals of the sensor output amplifier 34 in a time division manner.
  • the sensor readout line RW1 and the sensor reset line RS1 are selected, then the sensor readout line RW2 and the sensor reset line RS2 are selected, and thereafter, the sensor readout lines RW3 to RWm and the sensor reset lines RS3 to RSm are selected. Are selected one by one in order.
  • a readout voltage and a reset voltage are applied to the selected sensor readout line and sensor reset line, respectively. While the sensor readout line RWi and the sensor reset line RSi are selected, the G data signal lines SG1 to SGn have a voltage corresponding to the amount of light detected by the n photosensors 2 connected to the sensor readout line RWi. Is output.
  • the backlight control signal BC is at a high level during the display period and is at a low level during the sensing period. For this reason, the backlight 15 is turned on during the display period and is turned off during the sensing period.
  • the output control signal OC is at the low level, only the signal waveform in the sensing period shown in FIG. 9 appears repeatedly.
  • liquid crystal display device 10 display data (display data in the first half of the sensing period) used before reading by the panel drive circuit 17 is switched to the fixed data Df, and image input using the optical sensor 2 is converted to the fixed data Df. This is done after displaying the based image.
  • display data display data in the first half of the sensing period
  • image input using the optical sensor 2 is converted to the fixed data Df. This is done after displaying the based image.
  • the light transmittance of the liquid crystal panel 11 and the state of the pixel circuits 1 and signal lines included in the liquid crystal display device 10 are not affected by the previous display image.
  • the light transmittance of the liquid crystal panel 11 and the states of the pixel circuits 1 and signal lines included in the liquid crystal display device 10 are uniform. Become. Therefore, by inputting an image after displaying a monochromatic image, it is possible to eliminate the influence of the display image and align the internal state of the liquid crystal display device 10 to perform image input and touch position detection with high accuracy.
  • the optical sensor 2 when data representing a single color image including many color components with high light reception sensitivity of the optical sensor 2 is used as fixed data, the optical sensor 2 operates with high light reception sensitivity when an image is input after the image is displayed. . Therefore, it is possible to eliminate the influence of the display image, align the internal state of the display image, increase the light receiving sensitivity of the optical sensor 2, and perform image input and touch position detection with high accuracy. Specifically, the above effect can be obtained by using data representing a white image as fixed data. Further, when the liquid crystal panel 11 is formed of CG silicon, the light receiving sensitivity of the optical sensor 2 is increased by blue light. Therefore, the above effect can be obtained even when data representing a blue image is used as fixed data.
  • the liquid crystal display device 10 can detect an object (such as a finger) included in the scanned image.
  • an object such as a finger
  • the problem that the scan image becomes dark and the detection accuracy of the touch position is reduced becomes significant. Even in such a case, it is suitable for image input using the fixed data Df.
  • the display data switching process is performed in the image processing unit 12 provided in the previous stage of the panel drive circuit 17.
  • the liquid crystal display device 10 switches between image display and image input alternately or only image input in accordance with the output control signal OC.
  • the frequency may be determined arbitrarily.
  • the liquid crystal display device may perform image display and image input at a ratio of 3: 1 when the output control signal OC is at a high level, and alternately perform image display and image input when the output control signal OC is at a low level. You may go.
  • the liquid crystal display device may determine the timing for performing image input by itself, or may perform image input when receiving an image input instruction from the outside.
  • the image processing unit 12 may perform backlight control other than that shown in FIG.
  • the image processing unit may turn on the backlight in the second half of the sensing period, and may not perform the backlight control.
  • the image processing unit may perform only one of the image mode processing and the reflection image mode processing without performing the operation mode selection processing.
  • the image processing unit may perform the frame rate conversion process and the display data switching process as one process.
  • the image processing unit has a plurality of fixed data in advance, and may switch the fixed data according to the situation. For example, the image processing unit may use fixed data suitable for detecting a shadow image in the image mode, and may use fixed data suitable for detecting a reflected image in the reflection image mode.
  • the panel drive circuit 17 is formed integrally with the liquid crystal panel 11, but all or part of the panel drive circuit 17 may be provided outside the liquid crystal panel.
  • the optical sensor 2 is provided for each pixel in the liquid crystal panel 11, the optical sensor 2 may be provided for each of a plurality of pixels or for each sub-pixel.
  • the liquid crystal panel 11 is made of another semiconductor, the light receiving sensitivity of the photodiode 6 is higher for green light than, for example, red light or blue light. Therefore, in this case, a similar liquid crystal display device may be configured by replacing blue with green.
  • the light receiving sensitivity of the photodiode 6 is higher with red light than with green light or blue light
  • a similar liquid crystal display device may be configured by replacing blue with red.
  • the liquid crystal display device according to these modifications also has the same effect as the liquid crystal display device 10 according to the present embodiment.
  • FIG. 10 is a block diagram showing a configuration of a liquid crystal display device according to the second embodiment of the present invention.
  • a liquid crystal display device 20 illustrated in FIG. 10 includes a sensor built-in liquid crystal panel 21, an image processing unit 22, an A / D converter 13, a backlight power supply circuit 14, and a backlight 15.
  • the sensor built-in liquid crystal panel 21 (hereinafter referred to as the liquid crystal panel 21) includes a panel drive circuit 27 and a pixel array 18.
  • the same components as those already described are denoted by the same reference numerals and description thereof is omitted.
  • the image processing unit 22 performs frame rate conversion processing, operation mode selection processing, backlight control processing, scan image generation processing, and image recognition processing, and performs display data switching.
  • a switching determination process is performed instead of the process. More specifically, the image processing unit 22 outputs the display data D2 after the frame rate conversion to the panel drive circuit 27, and outputs a switching control signal CC indicating whether or not to switch the display data to fixed data. To do.
  • the switching control signal CC is at a low level during the display period and is at a high level during the sensing period.
  • the panel drive circuit 27 is obtained by adding a display data switching function to the panel drive circuit 17 according to the first embodiment. More specifically, like the panel drive circuit 17, the panel drive circuit 27 operates to write a voltage corresponding to the display data D2 to the pixel circuit of the liquid crystal panel 21, and to respond to the amount of light received from the optical sensor of the liquid crystal panel 21. The voltage reading operation is performed. However, when the switching control signal CC is at the high level, the panel drive circuit 27 writes not the display data D2 but the voltage corresponding to the fixed data Df suitable for image input to the pixel circuit of the liquid crystal panel 21. For this reason, in the first half of the sensing period, an image (for example, a white image or a blue image) based on the fixed data Df is displayed on the liquid crystal panel 21.
  • an image for example, a white image or a blue image
  • the display data switching process is performed by the panel drive circuit 27, and the panel drive circuit 27 also functions as a display data switching unit. Even in the liquid crystal display device 20 configured in this way, display data (display data in the first half of the sensing period) used before reading by the panel drive circuit 17 is switched to the fixed data Df, and an image using the optical sensor 2 is displayed. The input is performed after displaying an image based on the fixed data Df. Therefore, according to the liquid crystal display device 20 according to the present embodiment, as with the liquid crystal display device 10 according to the first embodiment, image input and touch position detection can be performed with high accuracy regardless of the display image. In addition, also about this embodiment, various modifications can be comprised similarly to 1st Embodiment.
  • FIG. 11 is a block diagram showing a configuration of a business card reading apparatus according to the third embodiment of the present invention.
  • a business card reading device 60 shown in FIG. 11 includes the liquid crystal display device 10 according to the first embodiment and a display control unit 61.
  • the display control unit 61 is a control unit of the liquid crystal display device 10 and includes a CPU 62 and a main memory 63.
  • the main memory 63 stores a business card reading program 64, and the CPU 62 executes the business card reading program 64 on the main memory 63.
  • the display control unit 61 configured in this manner outputs display data D1 and an output control signal OC to the liquid crystal display device 10, and also outputs the coordinate data Co and the imaging data SD output from the liquid crystal display device 10. Perform predetermined processing.
  • FIG. 12 is a flowchart showing the operation of the business card reading device 60.
  • the business card reading device 60 first displays an initial screen (step S201).
  • step S ⁇ b> 201 the display control unit 61 outputs initial screen data and a high-level output control signal OC to the liquid crystal display device 10.
  • the liquid crystal display device 10 displays an initial screen on the liquid crystal panel 11 based on the initial screen data.
  • the initial screen includes a message such as “Please set a business card”.
  • the user places a business card to be read at a position covering the pixel array 18 of the liquid crystal panel 11 (hereinafter referred to as a reading position).
  • the business card reading device 60 detects that a business card has been placed (step S202).
  • the scan image generated by the image processing unit 12 has a feature indicating that the business card is placed on the liquid crystal panel.
  • the liquid crystal display device 10 detects that this feature has appeared in the scanned image, the liquid crystal display device 10 notifies the display control unit 61 accordingly. Upon receiving this notification, the display control unit 61 performs the subsequent processing.
  • step S203 the business card reading device 60 displays an image based on the fixed data (step S203).
  • step S ⁇ b> 203 the display control unit 61 outputs a low level output control signal OC to the liquid crystal display device 10. While the output control signal OC is at the low level, all the frame times become a sensing period, and the image processing unit 12 writes a voltage corresponding to the fixed data Df suitable for image input to the pixel circuit of the liquid crystal panel 11. Therefore, in the first half of each frame time, an image (for example, a white image or a blue image) based on the fixed data Df is displayed on the liquid crystal panel 11.
  • a white image or a blue image for example, a white image or a blue image
  • the business card reading device 60 reads a business card image (step S204).
  • the output control signal OC remains at a low level.
  • the liquid crystal display device 10 generates a scan image based on the signal read from the pixel array 18 and outputs the generated scan image as imaging data SD.
  • the display control unit 61 treats the imaging data SD output from the liquid crystal display device 10 as business card image data.
  • step S205 the business card reading device 60 displays a business card image (step S205).
  • step S ⁇ b> 205 the display control unit 61 outputs business card image data and a high-level output control signal OC to the liquid crystal display device 10.
  • the liquid crystal display device 10 displays a business card image on the liquid crystal panel 11 based on the business card image data. The user looks at the business card image and confirms that the business card has been read correctly.
  • the display data used before the reading by the panel drive circuit 17 is switched to the fixed data Df, and the optical sensor 2 is turned on.
  • the used image input is performed after an image based on the fixed data Df is displayed. In this way, an image suitable for image input is displayed using the fixed data Df, and then the image input is performed, thereby eliminating the influence of the display image and inputting the business card image with high accuracy regardless of the display image. be able to.
  • an arbitrary device having an image display function and an image input function can be configured by the method described above.
  • a QR (Quick Response) code reading device a fingerprint authentication device, or the like can be configured.
  • the liquid crystal display device 20 according to the second embodiment or the liquid crystal display device according to the modified example of the first and second embodiments may be used. Good. These devices also have the same effects as the business card reading device 60 according to the present embodiment.
  • FIG. 13 is a block diagram showing a configuration of a business card reading apparatus according to the fourth embodiment of the present invention.
  • a business card reading device 70 shown in FIG. 13 includes a liquid crystal display device 71 and a display control unit 73.
  • the liquid crystal display device 71 is obtained by replacing the image processing unit 12 with the image processing unit 72 in the liquid crystal display device 10 according to the first embodiment.
  • the image processing unit 72 is obtained by deleting the display data switching process from the image processing unit 12.
  • the image processing unit 72 performs a frame rate conversion process similar to that of the image processing unit 12 on the display data D1, and outputs the obtained display data D2 to the panel drive circuit 17.
  • the display control unit 73 includes a CPU 62 and a main memory 63 like the display control unit 61 according to the third embodiment. However, the CPU 62 executes a business card reading program 74 different from the business card reading program 64 according to the third embodiment.
  • the business card reading device 70 performs the operation shown in FIG. 12 in the same manner as the business card reading device 60 according to the third embodiment.
  • the display control unit 73 outputs a low-level output control signal OC to the liquid crystal display device 71, and provides fixed data Df as display data D1. That is, when giving an image input instruction to the liquid crystal display device 71, the display control unit 73 gives fixed data Df suitable for image input as the display data D1. Therefore, while the image input instruction is given, an image (for example, a white image or a blue image) based on the fixed data Df is displayed on the liquid crystal panel 11 of the liquid crystal display device 71.
  • the display control unit 73 gives an image input instruction to the liquid crystal display device 71
  • the fixed data Df suitable for image input is displayed as the display data D1.
  • display data used before reading by the panel drive circuit 17 is fixed data Df
  • image input using the optical sensor 2 is performed after displaying an image based on the fixed data Df.
  • an image suitable for image input is displayed using the fixed data Df, and then the image input is performed, thereby eliminating the influence of the display image and inputting the business card image with high accuracy regardless of the display image. be able to.
  • various modifications can be configured as in the third embodiment.
  • an image suitable for image input is displayed using fixed data, and then the image input is performed, thereby eliminating the influence of the display image and displaying.
  • Image input and touch position detection can be performed with high accuracy regardless of the image.
  • a display device other than the liquid crystal display device can be formed by the above-described method.
  • the display device of the present invention has a feature that image input and touch position detection can be performed with high accuracy regardless of the display image, it can be used for various display devices including a liquid crystal display device.

Abstract

　本発明は、表示パネルに複数の光センサを設けた表示装置に関する。 センサ内蔵液晶パネル（１１）は、画素アレイ（１８）内に、２次元状に配置された複数の画素回路と複数の光センサを含む。 パネル駆動回路（１７）は、表示データＤ３に応じた信号を画素回路に書き込み、受光量に応じた信号を光センサから読み出す。 画像処理部（１２）は、パネル駆動回路（１７）による読み出しの前に用いられる表示データを画像入力に適した固定データに切り替える。 固定データには、白色画像データや青色画像データを使用する。 本発明によると、固定データを用いて画像入力に適した画像を表示した後に画像入力を行うことにより、表示画像の影響を排除して、表示画像にかかわらず高い精度で画像入力やタッチ位置検出を行うことができる。 本発明の表示装置は、液晶表示装置に利用することができる。

Description

光センサ付き表示装置
　本発明は、表示装置に関し、特に、表示パネルに複数の光センサを設けた表示装置に関する。
　近年、指やペンなどで画面に触れることにより操作可能な電子機器が普及している。また、表示画面内のタッチ位置を検出する方法として、表示パネルに複数の光センサを設け、指などが画面に接近したときにできる影像を光センサを用いて検知する方法が知られている。影像を検知する方法では、外光の照度が低い（周囲が暗い）ときに、光センサで得られた画像内で影像と背景の区別が困難になり、タッチ位置を正しく検出できないことがある。そこで、バックライトを備えた表示装置については、バックライト光が指に当たったときの反射像を光センサを用いて検知する方法も知られている。
　また、光センサで得られた信号に基づく画像をそのまま出力すれば、表示装置を画像入力装置として使用することができる。例えば、複数の光センサを設けた液晶パネルを携帯電話のディスプレイとして使用する場合、液晶パネルの表面に名刺をかざして、画像入力指示を与えることにより、名刺画像を液晶パネル経由で携帯電話に取り込むことができる。
　表示パネルに複数の光センサを設けた表示装置については、例えば特許文献１に記載されている。また、特許文献２には、光センサの検出精度を向上させるために、表示部に表示データを表示するための表示期間ではバックライトを点灯させ、センサ部からのセンサ出力を読み出すセンス期間ではバックライトを消灯させる表示装置が記載されている。
日本国特開平１１－３２６９５４号公報 日本国特開２００６－３１７６８２号公報
　しかしながら、従来の光センサ付き表示装置には、光センサの出力データに表示データがノイズとして混入し、タッチ位置の検出精度や画像入力の精度が低下するという問題がある。例えば光センサ付き液晶表示装置では、液晶パネルに設けた光センサには液晶パネルを透過した光が入射する（後述する図４Ａおよび図４Ｂを参照）。このため、光センサで検知される光量は液晶パネルの光透過率によって変化し、光センサの出力データは表示データの影響を受ける。また、画素回路への書き込みと光センサからの読み出しとで同じデータ信号線を使用する液晶パネルでは、書き込み時にデータ信号線に与えた電荷が読み出しデータに影響を与えるため、光センサの出力データは表示データの影響を受ける。このような理由により、光センサの出力データには表示データがノイズとして混入する。
　特に、表示階調が暗いときや、光センサの受光感度の高い色が表示データに少量しか含まれていないときには、光センサで検知される光量が少なくなるので、表示データの混入によってタッチ位置の検出精度や画像入力の精度は著しく低下する。
　それ故に、本発明は、表示画像にかかわらず高い精度で画像入力やタッチ位置検出を行える表示装置を提供することを目的とする。
　本発明の第１の局面は、複数の光センサを備えた表示装置であって、
　２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、
　表示データに応じた信号を前記画素回路に書き込む動作と、受光量に応じた信号を前記光センサから読み出す動作とを行う駆動回路と、
　前記駆動回路による読み出しの前に用いられる表示データを画像入力に適した固定データに切り替える表示データ切替部とを備える。
　本発明の第２の局面は、本発明の第１の局面において、
　前記固定データは、単色画像を表すデータであることを特徴とする。
　本発明の第３の局面は、本発明の第２の局面において、
　前記固定データは、前記光センサの受光感度が高い色の成分を多く含む、単色画像を表すデータであることを特徴とする。
　本発明の第４の局面は、本発明の第３の局面において、
　前記固定データは、白色画像を表すデータであることを特徴とする。
　本発明の第５の局面は、本発明の第３の局面において、
　前記表示パネルはＣＧ（Continuous Grain）シリコンで形成された液晶パネルであり、
　前記固定データは、青色画像を表すデータであることを特徴とする。
　本発明の第６の局面は、本発明の第１の局面において、
　前記光センサから読み出した信号に基づくスキャン画像に対して、前記スキャン画像に含まれる対象物を検知するための画像認識処理を行う画像認識処理部をさらに備える。
　本発明の第７の局面は、本発明の第６の局面において、
　前記表示パネルの背面に光を照射するバックライトをさらに備え、
　前記画像認識処理部は、少なくとも前記対象物の反射像を検知することを特徴とする。
　本発明の第８の局面は、本発明の第１の局面において、
　前記表示データ切替部は、前記駆動回路の前段に設けられた画像処理部に含まれていることを特徴とする。
　本発明の第９の局面は、本発明の第１の局面において、
　前記表示データ切替部は、前記駆動回路に含まれていることを特徴とする。
　本発明の第１０の局面は、２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルを備えた表示装置の駆動方法であって、
　表示データに応じた信号を前記画素回路に書き込むステップと、
　受光量に応じた信号を前記光センサから読み出すステップと、
　読み出しの前に用いられる表示データを画像入力に適した固定データに切り替えるステップとを備える。
　本発明の第１１の局面は、画像表示機能と画像入力機能とを有する装置であって、
　表示装置と表示制御部とを備え、
　前記表示装置は、
　　２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、
　　前記表示制御部から与えられた表示データに応じた信号を前記画素回路に書き込む動作と、受光量に応じた信号を前記光センサから読み出す動作とを行う駆動回路とを含み、
　前記表示制御部は、前記表示装置に画像入力指示を与えるときには、前記表示データとして画像入力に適した固定データを与えることを特徴とする。
　本発明の第１、第１０または第１１の局面によれば、読み出し前の表示データは固定データに切り替えられ、光センサを用いた画像入力は固定データに基づく画像を表示した後に行われる。固定データに基づく画像を表示すると、表示パネルの光透過率や表示装置に含まれる画素回路や信号線などの状態は、以前の表示画像の影響を受けなくなる。したがって、固定データを用いて、単色画像や光センサの受光感度が高い色の成分を多く含む画像などのように、画像入力に適した画像を表示し、その後に画像入力を行うことにより、表示画像の影響を排除して、表示画像にかかわらず高い精度で画像入力を行い、得られた画像を出力することや、当該画像に基づき高い精度でタッチ位置検出を行うことができる。
　本発明の第２の局面によれば、光センサを用いた画像入力は、単色画像を表示した後に行われる。単色画像を表示すると、表示パネルの光透過率や表示装置に含まれる画素回路や信号線などの状態は均一になる。したがって、固定データを用いて単色画像を表示した後に画像入力を行うことにより、表示画像の影響を排除すると共に、表示装置の内部状態を揃えて、高い精度で画像入力やタッチ位置検出を行うことができる。
　本発明の第３の局面によれば、光センサを用いた画像入力は、光センサの受光感度が高い色の成分を多く含む単色画像を表示した後に行われる。このような特性を有する単色画像を表示した後に画像入力を行うと、光センサは高い受光感度で動作する。したがって、表示画像の影響を排除し、表示画像の内部状態を揃えると共に、光センサの受光感度を高くして、高い精度で画像入力やタッチ位置検出を行うことができる。
　本発明の第４の局面によれば、白色画像を表すデータを固定データとして用いることにより、表示画像の影響を排除し、表示画像の内部状態を揃えると共に、光センサの受光感度を高くして、高い精度で画像入力やタッチ位置検出を行うことができる。
　本発明の第５の局面によれば、複数の光センサを含む液晶パネルをＣＧシリコンで形成した場合、光センサの受光感度は青色光で高くなるので、青色画像を表すデータを固定データとして用いることにより、表示画像の影響を排除し、表示画像の内部状態を揃えると共に、光センサの受光感度を高くして、高い精度で画像入力やタッチ位置検出を行うことができる。
　本発明の第６の局面によれば、スキャン画像に対して画像認識処理を行うことにより、スキャン画像に含まれる対象物を表示装置で検知することができる。
　本発明の第７の局面によれば、対象物の反射像を検知するときには、スキャン画像が暗くなり、タッチ位置の検出精度が低下する問題が顕著になるが、そのようなときでも、固定データを用いて画像入力に適した画像を表示した後に画像入力を行うことにより、表示データの影響を排除し、表示画像にかかわらず高い精度で画像入力やタッチ位置検出を行うことができる。
　本発明の第８の局面によれば、駆動回路の前段に設けられた画像処理部で読み出し前の表示データを固定データに切り替えることにより、固定データを用いて画像入力に適した画像を表示した後に画像入力を行うことができる。これにより、表示データの影響を排除して、表示画像にかかわらず高い精度で画像入力やタッチ位置検出を行うことができる。
　本発明の第９の局面によれば、駆動回路で読み出し前の表示データを固定データに切り替えることにより、固定データを用いて画像入力に適した画像を表示した後に画像入力を行うことができる。これにより、表示データの影響を排除して、表示画像にかかわらず高い精度で画像入力やタッチ位置検出を行うことができる。
本発明の第１の実施形態に係る液晶表示装置の構成を示すブロック図である。 図１に示す装置の液晶パネルの詳細な構成を示すブロック図である。 図１に示す装置の液晶パネルの断面とバックライトの配置位置を示す図である。 図１に示す装置における影像を検知する方法の原理を示す図である。 図１に示す装置における反射像を検知する方法の原理を示す図である。 指の影像を含むスキャン画像の例を示す図である。 指の影像と指の腹の反射像を含むスキャン画像の例を示す図である。 図１に示す装置の出力制御信号がハイレベルのときの動作を示すフローチャートである。 図１に示す装置の出力制御信号がローレベルのときの動作を示すフローチャートである。 図１に示す装置の動作をまとめて示すテーブルである。 図１に示す装置のタイミングチャートである。 本発明の第２の実施形態に係る液晶表示装置の構成を示すブロック図である。 本発明の第３の実施形態に係る名刺読み取り装置の構成を示すブロック図である。 図１１に示す装置の動作を示すフローチャートである。 本発明の第４の実施形態に係る名刺読み取り装置の構成を示すブロック図である。
符号の説明
　１…画素回路
　２…光センサ
　６…フォトダイオード
　１０、２０、７１…液晶表示装置
　１１、２１…センサ内蔵液晶パネル
　１２、２２、７２…画像処理部
　１３…Ａ／Ｄ変換器
　１４…バックライト電源回路
　１５…バックライト
　１６…フレームメモリ
　１７、２７…パネル駆動回路
　１８…画素アレイ
　３１…走査信号線駆動回路
　３２…データ信号線駆動回路
　３３…センサ行駆動回路
　３４…センサ出力アンプ
　３５～３８…スイッチ
　５１…外光
　５２…バックライト光
　５３…対象物
　６０、７０…名刺読み取り装置
　６１、７３…表示制御部
　６２…ＣＰＵ
　６４、７４…名刺読み取りプログラム
　（第１の実施形態）
　図１は、本発明の第１の実施形態に係る液晶表示装置の構成を示すブロック図である。図１に示す液晶表示装置１０は、センサ内蔵液晶パネル１１、画像処理部１２、Ａ／Ｄ変換器１３、バックライト電源回路１４、および、バックライト１５を備えている。画像処理部１２は、フレームメモリ１６を含んでいる。センサ内蔵液晶パネル１１（以下、液晶パネル１１という）はパネル駆動回路１７と画素アレイ１８を含み、画素アレイ１８は２次元状に配置された複数の画素回路と複数の光センサを含んでいる（詳細は後述）。液晶表示装置１０は、画像表示機能に加えてタッチ位置検出機能と画像入力機能を有する。
　液晶表示装置１０には、外部から表示データＤ１と出力制御信号ＯＣが入力される。画像処理部１２は、フレームメモリ１６を用いて表示データＤ１に対してフレームレート変換処理を行い、表示データＤ２を求める。次に、画像処理部１２は、表示データＤ２に対して表示データ切替処理（詳細は後述）を行い、表示データＤ３を出力する。パネル駆動回路１７は、液晶パネル１１の画素回路に表示データＤ３に応じた電圧を書き込む。これにより、液晶パネル１１には表示データＤ３に基づく画像が表示される。
　バックライト１５は、例えば白色ＬＥＤ（Light Emitting Diode）で構成され、液晶パネル１１の背面に光（バックライト光）を照射する。バックライト電源回路１４は、画像処理部１２から出力されたバックライト制御信号ＢＣに従い、バックライト１５に電源電圧を供給するか否かを切り替える。以下、バックライト電源回路１４は、バックライト制御信号ＢＣがハイレベルのときには電源電圧を供給し、バックライト制御信号ＢＣがローレベルのときには電源電圧を供給しないものとする。バックライト１５は、バックライト制御信号ＢＣがハイレベルである間は点灯し、バックライト制御信号ＢＣがローレベルである間は消灯する。なお、バックライト１５の構成は任意でよく、赤色、緑色および青色ＬＥＤを組み合わせて、あるいは、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp ）でバックライト１５を構成してもよい。
　パネル駆動回路１７は、液晶パネル１１の画素回路に電圧を書き込む動作に加えて、液晶パネル１１の光センサから受光量に応じた電圧を読み出す動作を行う。光センサの出力信号は、センサ出力信号ＳＳとして液晶パネル１１の外部に出力される。Ａ／Ｄ変換器１３は、アナログのセンサ出力信号ＳＳをデジタル信号に変換する。画像処理部１２は、Ａ／Ｄ変換器１３から出力されたデジタル信号に基づき、デジタル画像（以下、スキャン画像という）を生成する。このスキャン画像には、液晶パネル１１の表面付近にある検知すべき物体（例えば、指やペンなど。以下、対象物という）の像が含まれていることがある。画像処理部１２は、出力制御信号ＯＣがハイレベルのときには、スキャン画像に対して対象物を検知するための画像認識処理を行い、スキャン画像内での対象物の位置を求め、タッチ位置を示す座標データＣｏを出力する。一方、出力制御信号ＯＣがローレベルのときには、画像処理部１２は画像認識処理を行わず、スキャン画像をそのまま撮像データＳＤとして出力する。
　液晶表示装置１０は、各フレーム時間において、表示データＤ２に基づく画像を表示する動作と、スキャン画像を入力する動作のいずれかを行う。以下、画像表示を行うフレーム時間を「表示期間」、画像入力を行うフレーム時間を「センシング期間」という。また、液晶表示装置１０は、出力制御信号ＯＣに応じて、各フレーム時間において画像表示と画像入力のいずれを行うかを切り替える。以下、液晶表示装置１０は、出力制御信号ＯＣがハイレベルのときには、画像表示と画像入力を１フレーム時間ごとに交互に行い、出力制御信号ＯＣがローレベルのときには、すべてのフレーム時間で画像入力を行うものとする。
　図２は、液晶パネル１１の詳細な構成を示すブロック図である。図２に示すように、画素アレイ１８は、ｍ本の走査信号線Ｇ１～Ｇｍ、３ｎ本のデータ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎ、および、（ｍ×３ｎ）個の画素回路１を備えている。これに加えて画素アレイ１８は、（ｍ×ｎ）個の光センサ２、ｍ本のセンサ読み出し線ＲＷ１～ＲＷｍ、および、ｍ本のセンサリセット線ＲＳ１～ＲＳｍを備えている。液晶パネル１１は、ＣＧ（Continuous Grain）シリコンを用いて形成される。
　走査信号線Ｇ１～Ｇｍは、互いに平行に配置される。データ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎは、走査信号線Ｇ１～Ｇｍと直交するように互いに平行に配置される。センサ読み出し線ＲＷ１～ＲＷｍとセンサリセット線ＲＳ１～ＲＳｍは、走査信号線Ｇ１～Ｇｍと平行に配置される。
　画素回路１は、走査信号線Ｇ１～Ｇｍとデータ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎの交点近傍に１個ずつ設けられる。画素回路１は、列方向（図２では縦方向）にｍ個ずつ、行方向（図２では横方向）に３ｎ個ずつ、全体として２次元状に配置される。画素回路１は、何色のカラーフィルタを設けるかによって、Ｒ画素回路１ｒ、Ｇ画素回路１ｇおよびＢ画素回路１ｂに分類される。３種類の画素回路１ｒ、１ｇ、１ｂは、行方向に並べて配置され、３個で１個の画素を形成する。
　画素回路１は、ＴＦＴ（Thin Film Transistor）３と液晶容量４を含んでいる。ＴＦＴ３のゲート端子は走査信号線Ｇｉ（ｉは１以上ｍ以下の整数）に接続され、ソース端子はデータ信号線ＳＲｊ、ＳＧｊ、ＳＢｊ（ｊは１以上ｎ以下の整数）のいずれかに接続され、ドレイン端子は液晶容量４の一方の電極に接続される。液晶容量４の他方の電極には、共通電極電圧が印加される。以下、Ｇ画素回路１ｇに接続されたデータ信号線ＳＧ１～ＳＧｎをＧデータ信号線、Ｂ画素回路１ｂに接続されたデータ信号線ＳＢ１～ＳＢｎをＢデータ信号線という。なお、画素回路１は補助容量を含んでいてもよい。
　画素回路１の光透過率（サブ画素の輝度）は、画素回路１に書き込まれた電圧によって定まる。走査信号線Ｇｉとデータ信号線ＳＸｊ（ＸはＲ、Ｇ、Ｂのいずれか）に接続された画素回路１にある電圧を書き込むためには、走査信号線Ｇｉにハイレベル電圧（ＴＦＴ３をオン状態にする電圧）を印加し、データ信号線ＳＸｊに書き込むべき電圧を印加すればよい。表示データＤ３に応じた電圧を画素回路１に書き込むことにより、サブ画素の輝度を所望のレベルに設定することができる。
　光センサ２は、コンデンサ５、フォトダイオード６およびセンサプリアンプ７を含み、画素ごとに設けられる。コンデンサ５の一方の電極は、フォトダイオード６のカソード端子に接続される（以下、この接続点を節点Ｐという）。コンデンサ５の他方の電極はセンサ読み出し線ＲＷｉに接続され、フォトダイオード６のアノード端子はセンサリセット線ＲＳｉに接続される。センサプリアンプ７は、ゲート端子が節点Ｐに接続され、ドレイン端子がＢデータ信号線ＳＢｊに接続され、ソース端子がＧデータ信号線ＳＧｊに接続されたＴＦＴで構成される。
　センサ読み出し線ＲＷｉやＢデータ信号線ＳＢｊなどに接続された光センサ２で光量を検知するためには、センサ読み出し線ＲＷｉとセンサリセット線ＲＳｉに所定の電圧を印加し、Ｂデータ信号線ＳＢｊに電源電圧ＶＤＤを印加すればよい。センサ読み出し線ＲＷｉとセンサリセット線ＲＳｉに所定の電圧を印加した後、フォトダイオード６に光が入射すると、入射光量に応じた電流がフォトダイオード６に流れ、節点Ｐの電圧は流れた電流の分だけ低下する。Ｂデータ信号線ＳＢｊに電源電圧ＶＤＤを印加すると、節点Ｐの電圧はセンサプリアンプ７で増幅され、Ｇデータ信号線ＳＧｊには増幅後の電圧が出力される。したがって、Ｇデータ信号線ＳＧｊの電圧に基づき、光センサ２で検知された光量を求めることができる。
　画素アレイ１８の周辺には、走査信号線駆動回路３１、データ信号線駆動回路３２、センサ行駆動回路３３、ｐ個（ｐは１以上ｎ以下の整数）のセンサ出力アンプ３４、および、複数のスイッチ３５～３８が設けられる。走査信号線駆動回路３１、データ信号線駆動回路３２およびセンサ行駆動回路３３は、図１ではパネル駆動回路１７に相当する。
　データ信号線駆動回路３２は、３ｎ本のデータ信号線に対応して３ｎ個の出力端子を有する。Ｇデータ信号線ＳＧ１～ＳＧｎとこれに対応したｎ個の出力端子との間にはスイッチ３５が１個ずつ設けられ、Ｂデータ信号線ＳＢ１～ＳＢｎとこれに対応したｎ個の出力端子との間にはスイッチ３６が１個ずつ設けられる。Ｇデータ信号線ＳＧ１～ＳＧｎはｐ本ずつのグループに分けられ、グループ内でｋ番目（ｋは１以上ｐ以下の整数）のＧデータ信号線とｋ番目のセンサ出力アンプ３４の入力端子との間にはスイッチ３７が１個ずつ設けられる。Ｂデータ信号線ＳＢ１～ＳＢｎは、いずれもスイッチ３８の一端に接続され、スイッチ３８の他端には電源電圧ＶＤＤが印加される。図２に含まれるスイッチ３５～３７の個数はｎ個であり、スイッチ３８の個数は１個である。
　液晶表示装置１０では、１フレーム時間は、画素回路１に信号（表示データなどに応じた電圧信号）を書き込む前半部と、光センサ２から信号（受光量に応じた電圧信号）を読み出す後半部とに分割される。図２に示す回路は、表示期間かセンシング期間か、および、前半部か後半部かに応じて異なる動作を行う（後述する図９を参照）。
　走査信号線駆動回路３１とデータ信号線駆動回路３２は、表示期間の前半部とセンシング期間の前半部で動作する。このときには、スイッチ３５、３６はオン状態、スイッチ３７、３８はオフ状態となる。走査信号線駆動回路３１は、タイミング制御信号Ｃ１に従い、走査信号線Ｇ１～Ｇｍの中から１ライン時間ごとに１本の走査信号線を選択し、選択した走査信号線にはハイレベル電圧を印加し、残りの走査信号線にはローレベル電圧を印加する。データ信号線駆動回路３２は、画像処理部１２から出力された表示データＤＲ、ＤＧ、ＤＢに基づき、データ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎを線順次方式で駆動する。より詳細には、データ信号線駆動回路３２は、表示データＤＲ、ＤＧ、ＤＢを少なくとも１行分ずつ記憶し、１ライン時間ごとに１行分の表示データに応じた電圧をデータ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎに印加する。なお、データ信号線駆動回路３２は、データ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎを点順次方式で駆動してもよい。
　一方、センサ行駆動回路３３とセンサ出力アンプ３４は、センシング期間の後半部で動作する。このときには、スイッチ３５、３６はオフ状態、スイッチ３８はオン状態となり、スイッチ３７はＧデータ信号線ＳＧ１～ＳＧｎがグループごとに順にセンサ出力アンプ３４の入力端子に接続されるように時分割でオン状態となる。センサ行駆動回路３３は、タイミング制御信号Ｃ２に従い、センサ読み出し線ＲＷ１～ＲＷｍとセンサリセット線ＲＳ１～ＲＳｍの中から１ライン時間ごとに信号線を１本ずつ選択し、選択したセンサ読み出し線とセンサリセット線には所定の読み出し用電圧とリセット用電圧を印加し、それ以外の信号線には選択時と異なる電圧を印加する。センサ出力アンプ３４は、スイッチ３７によって選択された電圧を増幅し、センサ出力信号ＳＳ１～ＳＳｐとして出力する。
　図３は、液晶パネル１１の断面とバックライト１５の配置位置を示す図である。液晶パネル１１は、２枚のガラス基板４１ａ、４１ｂの間に液晶層４２を挟み込んだ構造を有する。一方のガラス基板４１ａには３色のカラーフィルタ４３ｒ、４３ｇ、４３ｂ、遮光膜４４、対向電極４５などが設けられ、他方のガラス基板４１ｂには画素電極４６、データ信号線４７、光センサ２などが設けられる。図３に示すように、光センサ２に含まれるフォトダイオード６は、青色カラーフィルタ４３ｂを設けた画素電極４６の近傍に設けられる（理由は後述）。ガラス基板４１ａ、４１ｂの対向する面には配向膜４８が設けられ、他方の面には偏光板４９が設けられる。液晶パネル１１の２枚の面のうちガラス基板４１ａ側の面が表面になり、ガラス基板４１ｂ側の面が背面になる。バックライト１５は、液晶パネル１１の背面側に設けられる。
　液晶表示装置１０は、表示画面内のタッチ位置を検知するときに、影像を検知する方法と反射像（あるいは、影像と反射像の両方）を検知する方法のいずれかを使用する。図４Ａは影像を検知する方法の原理を示す図であり、図４Ｂは反射像を検知する方法の原理を示す図である。影像を検知する方法（図４Ａ）では、フォトダイオード６を含む光センサ２は、ガラス基板４１ａや液晶層４２などを透過した外光５１を検知する。このときに指などの対象物５３が液晶パネル１１の表面付近にあると、光センサ２に入射すべき外光５１が対象物５３によって遮られる。したがって、光センサ２を用いて、外光５１による対象物５３の影像を検知することができる。
　反射像を検知する方法（図４Ｂ）では、フォトダイオード６を含む光センサ２は、バックライト光５２の反射光を検知する。より詳細には、バックライト１５から出射されたバックライト光５２は、液晶パネル１１を透過して液晶パネル１１の表面から外部に出る。このときに対象物５３が液晶パネル１１の表面付近にあると、バックライト光５２は対象物５３で反射する。例えば、人間の指の腹は光をよく反射する。バックライト光５２の反射光は、ガラス基板４１ａや液晶層４２などを透過して光センサ２に入射する。したがって、光センサ２を用いて、バックライト光５２による対象物５３の反射像を検知することができる。
　また、上記２つの方法を併用すれば、影像と反射像の両方を検知することができる。すなわち、光センサ２を用いて、外光５１による対象物５３の影像と、バックライト光５２による対象物５３の反射像とを同時に検知することができる。
　図５Ａおよび図５Ｂは、指の像を含むスキャン画像の例を示す図である。図５Ａに示すスキャン画像は指の影像を含み、図５Ｂに示すスキャン画像は指の影像と指の腹の反射像を含む。画像処理部１２は、このようなスキャン画像に対して画像認識処理を行い、タッチ位置を示す座標データＣｏを出力するか、あるいは、スキャン画像をそのまま撮像データＳＤとして出力する。
　液晶パネル１１をＣＧシリコンで構成した場合、フォトダイオード６の受光感度は、赤色光や緑色光に比べて青色光では高くなる。そこで青色光を受けやすくするために、フォトダイオード６は、図３に示すように、青色カラーフィルタ４３ｂに対応した画素電極４６の近傍に設けられる。このように受光感度が高い色の光を受けやすい位置にフォトダイオード６を配置することにより、フォトダイオード６で検知される光の量を多くし、光センサ２の受光感度を高めることができる。
　以下、画像処理部１２の詳細を説明する。画像処理部１２は、図１に示すように、フレームレート変換処理、表示データ切替処理、動作モード選択処理、バックライト制御処理、スキャン画像生成処理および画像認識処理を行い、表示データ切替部および画像認識処理部として機能する。
　画像処理部１２は、必要に応じて、フレームメモリ１６を用いて、表示データＤ１のフレームレートを液晶パネル１１の駆動に用いるフレームレートに一致させる処理（フレームレート変換処理）を行う。例えば、表示データＤ１のフレームレートが３０フレーム／秒で、液晶パネル１１の駆動に用いるフレームレートが６０フレーム／秒である場合、画像処理部１２は、表示データＤ１を一旦フレームメモリ１６に書き込み、書き込み時の２倍の速度でフレームメモリ１６から表示データを読み出す。これにより、表示データＤ１の２倍のフレームレートを有する表示データＤ２が得られる。なお、表示データＤ１のフレームレートが液晶パネル１１の駆動に用いるフレームレートに最初から一致している場合には、画像処理部１２はフレームレート変換処理を行わない。
　また、画像処理部１２は、パネル駆動回路１７による読み出しの前に用いられる表示データを画像入力に適した固定データＤｆに切り換える処理（表示データ切替処理）を行う。上述したように、パネル駆動回路１７は、表示期間の前半部とセンシング期間の前半部で画素回路１への書き込みを行い、センシング期間の後半部では光センサ２からの読み出しを行う。これに対応して画像処理部１２は、表示期間の前半部では表示データＤ３としてフレームレート変換後の表示データＤ２を出力し、センシング期間の前半部では表示データＤ３として固定データＤｆを出力する。
　ここで、固定データＤｆとは、画像入力に適するように予め定められた固定のデータ（表示データＤ１に依存しないデータ）である。固定データＤｆには、例えば、単色画像を表すデータを使用することが好ましく、特に、光センサ２の受光感度が高い色の成分を多く含む、単色画像を表すデータを使用することが好ましい。具体的には、白色画像を表すデータを固定データＤｆとして使用することができる。また、液晶パネル１１をＣＧシリコンで構成した場合には、フォトダイオード６の受光感度は青色光で高くなるので、青色画像を表すデータを固定データＤｆとして使用することができる。
　また、画像処理部１２は、対象物の影像を検知するモード（以下、影像モードという）か、対象物の反射像（あるいは、影像と反射像の両方）を検知するモード（以下、反射像モードという）かを選択する処理（動作モード選択処理）を行う。例えば、画像処理部１２は、照度センサ（図示せず）で検知された外光の照度が所定の閾値以上のときには影像モードを選択し、それ以外のときには反射像モードを選択する。
　また、画像処理部１２は、表示データを固定データに切り替えるか否かと、影像モードか反射像モードか否かとに応じて、バックライト１５を制御する処理（バックライト制御処理）を行う。具体的には、画像処理部１２は、表示期間と反射像モードのセンシング期間ではバックライト制御信号ＢＣをハイレベルに制御してバックライト１５を点灯させ、影像モードのセンシング期間ではバックライト制御信号ＢＣをローレベルに制御してバックライト１５を消灯させる。
　また、画像処理部１２は、Ａ／Ｄ変換器１３から出力されたデジタル信号に基づきスキャン画像を生成する処理（スキャン画像生成処理）を行う。また、画像処理部１２は、スキャン画像に対して対象物を検出するための画像認識処理を行い、対象物の位置を表す座標データＣｏを出力する。影像モードでは対象物の影像が検知され、反射像モードでは対象物の反射像（あるいは、影像と反射像の両方）が検知される。なお、出力制御信号ＯＣがローレベルのときには、画像処理部１２は画像認識処理を行わず、スキャン画像をそのまま撮像データＳＤとして出力する。
　図６は、出力制御信号ＯＣがハイレベルのときの液晶表示装置１０の動作を示すフローチャートである。上述したように、出力制御信号ＯＣがハイレベルのときには、液晶表示装置１０は、画像表示と画像入力を１フレーム時間ごとに交互に行う。図６に示すステップのうち、ステップＳ１０１～Ｓ１０３は表示期間の前半部で、ステップＳ１０５～Ｓ１０７はセンシング期間の前半部で、ステップＳ１０８～Ｓ１０９はセンシング期間の後半部で行われる。
　画像処理部１２は、まず、バックライト制御信号ＢＣをハイレベルに制御して、バックライト１５を点灯させる（ステップＳ１０１）。次に、画像処理部１２は、パネル駆動回路１７に対して表示データＤ３として、フレームレート変換後の表示データＤ２を出力する（ステップＳ１０２）。パネル駆動回路１７は、表示データＤ３に応じた電圧を画素回路１に書き込む（ステップＳ１０３）。これにより、液晶パネル１１には表示データＤ２に基づく画像が表示される。
　次に、画像処理部１２は、影像モードと反射像モードの中から動作モードを選択し（ステップＳ１０４）、選択した動作モードに応じてバックライト１５を制御する（ステップＳ１０５）。ステップＳ１０５では、バックライト制御信号ＢＣは、影像モードではローレベル（消灯を示す）になり、反射像モードではハイレベル（点灯を示す）になる。次に、画像処理部１２は、パネル駆動回路１７に対して表示データＤ３として固定データＤｆを出力する（ステップＳ１０６）。パネル駆動回路１７は、固定データＤｆに応じた電圧を画素回路１に書き込む（ステップＳ１０７）。これにより、液晶パネル１１には固定データＤｆに基づく画像（例えば白色画像や青色画像）が表示される。
　次に、画像処理部１２は、受光量に応じた電圧を光センサ２から読み出す（ステップＳ１０８）。次に、Ａ／Ｄ変換器１３は、液晶パネル１１から出力されたアナログのセンサ出力信号ＳＳをデジタル信号に変換する（ステップＳ１０９）。次に、画像処理部１２は、ステップＳ１０９で求めたデジタル信号に基づきスキャン画像を生成する（ステップＳ１１０）。次に、画像処理部１２は、ステップＳ１１０で生成したスキャン画像に対して画像認識処理を行い、スキャン画像内での対象物の位置を求める（ステップＳ１１１）。次に、画像処理部１２は、タッチ位置を示す座標データＣｏを液晶表示装置１０の外部に出力する（ステップＳ１１２）。
　図７は、出力制御信号ＯＣがローレベルのときの液晶表示装置１０の動作を示すフローチャートである。上述したように、出力制御信号ＯＣがローレベルのときには、液晶表示装置１０は、すべてのフレーム時間で画像入力を行う。図７に示すように、液晶表示装置１０は、ステップＳ１２１～Ｓ１２７ではステップＳ１０４～Ｓ１１０（図６）と同じ動作を行う。画像処理部１２は、ステップＳ１２７に続いて、ステップＳ１２７で生成したスキャン画像をそのまま撮像データＳＤとして出力する（ステップＳ１２８）。
　液晶表示装置１０の動作をまとめると、図８に示すようになる。なお、図８では、表示データＤ２に基づく画像を表示することを「画像表示」、固定データＤｆに基づく画像を表示することを「固定表示」と記載した。
　図９は、出力制御信号ＯＣがハイレベルのときの液晶表示装置１０のタイミングチャートである。図９に示すように、垂直同期信号ＶＳＹＮＣは１フレーム時間ごとにハイレベルになり、各フレーム時間は交互に表示期間およびセンシング期間になる。センス信号ＳＣは、フレーム時間の前半部ではローレベルになり、後半部ではハイレベルになる信号である。ここでは、固定データＤｆは白色画像を表すデータであり、センシング期間ではバックライト１５は消灯するものとする。
　表示期間の前半部では、スイッチ３５、３６がオン状態になり、データ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎはいずれもデータ信号線駆動回路３２に接続される。この前半部では、まず走査信号線Ｇ１の電圧がハイレベルになり、次に走査信号線Ｇ２の電圧がハイレベルになり、それ以降は走査信号線Ｇ３～Ｇｍの電圧が順にハイレベルになる。走査信号線Ｇｉの電圧がハイレベルである間、データ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎには、走査信号線Ｇｉに接続された３ｎ個の画素回路１に書き込むべき電圧（表示データＤ２に応じた電圧）が印加される。
　表示期間の後半部では、センサ行駆動回路３３は動作しない。このため、この後半部では、センサ読み出し線ＲＷ１～ＲＷｍとセンサリセット線ＲＳ１～ＲＳｍに読み出し用電圧とリセット用電圧は印加されない。
　センシング期間の前半部では、走査信号線Ｇ１～Ｇｍの電圧は表示期間の前半部と同様に変化し、データ信号線ＳＲ１～ＳＲｎ、ＳＧ１～ＳＧｎ、ＳＢ１～ＳＢｎには、白色画像を表すデータに応じた電圧が印加される。
　センシング期間の後半部では、スイッチ３８がオン状態になり、スイッチ３７は時分割でオン状態になる。このため、Ｂデータ信号線ＳＢ１～ＳＢｎには電源電圧ＶＤＤが固定的に印加され、Ｇデータ信号線ＳＧ１～ＳＧｎは時分割でセンサ出力アンプ３４の入力端子に接続される。この後半部では、まずセンサ読み出し線ＲＷ１とセンサリセット線ＲＳ１が選択され、次にセンサ読み出し線ＲＷ２とセンサリセット線ＲＳ２が選択され、それ以降はセンサ読み出し線ＲＷ３～ＲＷｍとセンサリセット線ＲＳ３～ＲＳｍが１組ずつ順に選択される。選択されたセンサ読み出し線とセンサリセット線には、それぞれ、読み出し用電圧とリセット用電圧が印加される。センサ読み出し線ＲＷｉとセンサリセット線ＲＳｉが選択されている間、Ｇデータ信号線ＳＧ１～ＳＧｎには、センサ読み出し線ＲＷｉに接続されたｎ個の光センサ２で検知された光量に応じた電圧が出力される。
　バックライト制御信号ＢＣは、表示期間ではハイレベルになり、センシング期間ではローレベルになる。このためバックライト１５は、表示期間では点灯し、センシング期間では消灯する。なお、出力制御信号ＯＣがローレベルのときのタイミングチャートには、図９に示すセンシング期間の信号波形のみが繰り返し現れる。
　以下、本実施形態に係る液晶表示装置１０の効果を説明する。液晶表示装置１０では、パネル駆動回路１７による読み出しの前に用いられる表示データ（センシング期間の前半部の表示データ）は固定データＤｆに切り替えられ、光センサ２を用いた画像入力は固定データＤｆに基づく画像を表示した後に行われる。固定データＤｆに基づく画像を表示すると、液晶パネル１１の光透過率や液晶表示装置１０に含まれる画素回路１や信号線などの状態は、以前の表示画像の影響を受けなくなる。したがって、固定データＤｆを用いて画像入力に適した画像を表示し、その後に画像入力を行うことにより、表示画像の影響を排除して、表示画像にかかわらず高い精度で画像入力を行い、得られたスキャン画像を出力することや、スキャン画像に基づき高い精度でタッチ位置検出を行うことができる。
　特に、固定データとして単色画像を表すデータを用いた場合には、単色画像を表示すると、液晶パネル１１の光透過率や液晶表示装置１０に含まれる画素回路１や信号線などの状態は均一になる。したがって、単色画像を表示した後に画像入力を行うことにより、表示画像の影響を排除すると共に、液晶表示装置１０の内部状態を揃えて、高い精度で画像入力やタッチ位置検出を行うことができる。
　また、固定データとして光センサ２の受光感度が高い色の成分を多く含む単色画像を表すデータを用いた場合には、画像表示後に画像入力を行うと、光センサ２は高い受光感度で動作する。したがって、表示画像の影響を排除し、表示画像の内部状態を揃えると共に、光センサ２の受光感度を高くして、高い精度で画像入力やタッチ位置検出を行うことができる。具体的には、固定データとして白色画像を表すデータを用いれば、上記の効果が得られる。また、液晶パネル１１をＣＧシリコンで形成した場合には、光センサ２の受光感度は青色光で高くなるので、固定データとして青色画像を表すデータを用いても、上記の効果が得られる。
　また、画像処理部１２がスキャン画像に対して画像認識処理を行うことにより、スキャン画像に含まれる対象物（指など）を液晶表示装置１０で検知することができる。また、対象物の反射像を検知するときには、スキャン画像が暗くなり、タッチ位置の検出精度が低下する問題が顕著になるが、そのようなときでも、固定データＤｆを用いて画像入力に適した画像を表示した後に画像入力を行うことにより、表示データの影響を排除し、表示画像にかかわらず高い精度で画像入力やタッチ位置検出を行うことができる。液晶表示装置１０では、表示データ切替処理は、パネル駆動回路１７の前段に設けられた画像処理部１２において行われる。
　なお、本実施形態に係る液晶表示装置１０については、各種の変形例を構成することができる。以上の説明では、液晶表示装置１０は、出力制御信号ＯＣに従い、画像表示と画像入力を交互に行うか、画像入力のみを連続して行うかを切り替えることとしたが、画像入力を行うタイミングや頻度は任意に決定してもよい。例えば、液晶表示装置は、出力制御信号ＯＣがハイレベルのときには画像表示と画像入力を３：１の割合で行ってもよく、出力制御信号ＯＣがローレベルのときには画像表示と画像入力を交互に行ってもよい。また、液晶表示装置は、画像入力を行うタイミングを自ら決定してもよく、外部から画像入力指示を受けたときに画像入力を行ってもよい。
　また、画像処理部１２は図８に示す以外のバックライト制御を行ってもよい。例えば、画像処理部は、センシング期間の後半部ではバックライトを点灯させてもよく、バックライト制御を行わなくてもよい。また、画像処理部は、動作モード選択処理を行わず、影像モードの処理と反射像モードの処理のいずれか一方のみを行ってもよい。また、画像処理部は、フレームレート変換処理と表示データ切替処理を１つの処理として行ってもよい。また、画像処理部は、複数の固定データを予め有しており、状況に応じて固定データを切り替えてもよい。例えば、画像処理部は、影像モードでは影像を検知するのに適した固定データを使用し、反射像モードでは反射像を検知するのに適した固定データを使用してもよい。
　また、液晶表示装置１０では、パネル駆動回路１７を液晶パネル１１と一体に形成することとしたが、パネル駆動回路１７の全部または一部を液晶パネルの外部に設けてもよい。また、液晶パネル１１には光センサ２を画素ごとに設けることとしたが、光センサ２を複数の画素ごとに設けてもよく、サブ画素ごとに設けてもよい。また、液晶パネル１１を他の半導体で構成した場合、フォトダイオード６の受光感度は、例えば赤色光や青色光に比べて緑色光では高くなる。したがって、この場合には、青色を緑色と読み替えて同様の液晶表示装置を構成すればよい。また、フォトダイオード６の受光感度が緑色光や青色光に比べて赤色光で高くなる場合には、青色を赤色と読み替えて同様の液晶表示装置を構成すればよい。これら変形例に係る液晶表示装置も、本実施形態に係る液晶表示装置１０と同様の効果を奏する。
　（第２の実施形態）
　図１０は、本発明の第２の実施形態に係る液晶表示装置の構成を示すブロック図である。図１０に示す液晶表示装置２０は、センサ内蔵液晶パネル２１、画像処理部２２、Ａ／Ｄ変換器１３、バックライト電源回路１４、および、バックライト１５を備えている。センサ内蔵液晶パネル２１（以下、液晶パネル２１という）は、パネル駆動回路２７と画素アレイ１８を含んでいる。以下の各実施形態では、各実施形態の構成要素のうち、既に述べた実施形態と同一の構成要素については、同一の参照符号を付して説明を省略する。
　画像処理部２２は、第１の実施形態に係る画像処理部１２と同様に、フレームレート変換処理、動作モード選択処理、バックライト制御処理、スキャン画像生成処理および画像認識処理を行い、表示データ切替処理に代えて切替判定処理を行う。より詳細には、画像処理部２２は、パネル駆動回路２７に対して、フレームレート変換後の表示データＤ２を出力すると共に、表示データを固定データに切り替えるか否かを示す切替制御信号ＣＣを出力する。切替制御信号ＣＣは、例えば、表示期間ではローレベルになり、センシング期間ではハイレベルになる。
　パネル駆動回路２７は、第１の実施形態に係るパネル駆動回路１７に表示データ切替機能を追加したものである。より詳細には、パネル駆動回路２７は、パネル駆動回路１７と同様に、液晶パネル２１の画素回路に表示データＤ２に応じた電圧を書き込む動作と、液晶パネル２１の光センサから受光量に応じた電圧を読み出す動作とを行う。ただし、パネル駆動回路２７は、切替制御信号ＣＣがハイレベルのときには、表示データＤ２ではなく、画像入力に適した固定データＤｆに応じた電圧を液晶パネル２１の画素回路に書き込む。このため、センシング期間の前半部では、液晶パネル２１には固定データＤｆに基づく画像（例えば白色画像や青色画像）が表示される。
　本実施形態に係る液晶表示装置２０では、表示データ切替処理はパネル駆動回路２７で行われ、パネル駆動回路２７は表示データ切替部としても機能する。このように構成された液晶表示装置２０でも、パネル駆動回路１７による読み出しの前に用いられる表示データ（センシング期間の前半部の表示データ）は固定データＤｆに切り替えられ、光センサ２を用いた画像入力は固定データＤｆに基づく画像を表示した後に行われる。したがって、本実施形態に係る液晶表示装置２０によれば、第１の実施形態に係る液晶表示装置１０と同様に、表示画像にかかわらず高い精度で画像入力やタッチ位置検出を行うことができる。なお、本実施形態についても、第１の実施形態と同様に、各種の変形例を構成することができる。
　（第３の実施形態）
　第３の実施形態では、第１および第２の実施形態に係る液晶表示装置の利用形態の一例を説明する。図１１は、本発明の第３の実施形態に係る名刺読み取り装置の構成を示すブロック図である。図１１に示す名刺読み取り装置６０は、第１の実施形態に係る液晶表示装置１０と表示制御部６１を備えている。
　表示制御部６１は、液晶表示装置１０の制御部であり、ＣＰＵ６２とメインメモリ６３を含んでいる。メインメモリ６３は名刺読み取りプログラム６４を記憶し、ＣＰＵ６２はメインメモリ６３上の名刺読み取りプログラム６４を実行する。このように構成された表示制御部６１は、液晶表示装置１０に対して表示データＤ１と出力制御信号ＯＣを出力すると共に、液晶表示装置１０から出力された座標データＣｏや撮像データＳＤに対して所定の処理を行う。
　図１２は、名刺読み取り装置６０の動作を示すフローチャートである。名刺読み取り装置６０は、まず初期画面を表示する（ステップＳ２０１）。ステップＳ２０１では、表示制御部６１は、液晶表示装置１０に対して初期画面データとハイレベルの出力制御信号ＯＣを出力する。液晶表示装置１０は、初期画面データに基づき液晶パネル１１に初期画面を表示する。初期画面には、例えば「名刺をセットして下さい」などのメッセージが含まれている。利用者は、初期画面を確認すると、読み取るべき名刺を液晶パネル１１の画素アレイ１８を覆う位置（以下、読み取り位置という）に置く。
　次に、名刺読み取り装置６０は、名刺が置かれたことを検知する（ステップＳ２０２）。名刺が読み取り位置に置かれると、画像処理部１２で生成されるスキャン画像には液晶パネルに名刺が置かれたことを示す特徴が現れる。液晶表示装置１０は、スキャン画像にこの特徴が現れたことを検知すると、その旨を表示制御部６１に通知する。表示制御部６１は、この通知を受け取ると以降の処理を行う。
　次に、名刺読み取り装置６０は、固定データに基づく画像を表示する（ステップＳ２０３）。ステップＳ２０３では、表示制御部６１は、液晶表示装置１０に対してローレベルの出力制御信号ＯＣを出力する。出力制御信号ＯＣがローレベルである間、すべてのフレーム時間はセンシング期間となり、画像処理部１２は画像入力に適した固定データＤｆに応じた電圧を液晶パネル１１の画素回路に書き込む。このため、各フレーム時間の前半部では、液晶パネル１１には固定データＤｆに基づく画像（例えば白色画像や青色画像）が表示される。
　次に、名刺読み取り装置６０は、名刺画像を読み取る（ステップＳ２０４）。ステップＳ２０４では、出力制御信号ＯＣはローレベルのままである。液晶表示装置１０は、画素アレイ１８から読み出した信号に基づきスキャン画像を生成し、生成したスキャン画像を撮像データＳＤとして出力する。表示制御部６１は、液晶表示装置１０から出力された撮像データＳＤを名刺画像データとして扱う。
　次に、名刺読み取り装置６０は、名刺画像を表示する（ステップＳ２０５）。ステップＳ２０５では、表示制御部６１は液晶表示装置１０に対して名刺画像データとハイレベルの出力制御信号ＯＣを出力する。液晶表示装置１０は、名刺画像データに基づき液晶パネル１１に名刺画像を表示する。利用者は、名刺画像を見て、名刺が正しく読み取られていることを確認する。
　以上に示すように、本実施形態に係る名刺読み取り装置６０によれば、液晶表示装置１０では、パネル駆動回路１７による読み出しの前に用いられる表示データは固定データＤｆに切り替えられ、光センサ２を用いた画像入力は固定データＤｆに基づく画像を表示した後に行われる。このように固定データＤｆを用いて画像入力に適した画像を表示し、その後に画像入力を行うことにより、表示画像の影響を排除して、表示画像にかかわらず高い精度で名刺画像を入力することができる。
　なお、上述した方法で、名刺読み取り装置以外にも、画像表示機能と画像入力機能とを有する任意の装置を構成することができる。例えば、ＱＲ（Quick Response）コード読み取り装置や指紋認証装置などを構成することができる。また、第１の実施形態に係る液晶表示装置１０に代えて、第２の実施形態に係る液晶表示装置２０や、第１および第２の実施形態の変形例に係る液晶表示装置を用いてもよい。これらの装置も、本実施形態に係る名刺読み取り装置６０と同様の効果を奏する。
　（第４の実施形態）
　第４の実施形態では、第３の実施形態と同様の名刺読み取り装置を別の構成で実現する方法を説明する。図１３は、本発明の第４の実施形態に係る名刺読み取り装置の構成を示すブロック図である。図１３に示す名刺読み取り装置７０は、液晶表示装置７１と表示制御部７３を備えている。
　液晶表示装置７１は、第１の実施形態に係る液晶表示装置１０において、画像処理部１２を画像処理部７２に置換したものである。画像処理部７２は、画像処理部１２から表示データ切替処理を削除したものである。画像処理部７２は、表示データＤ１に対して画像処理部１２と同様のフレームレート変換処理を行い、得られた表示データＤ２をパネル駆動回路１７に対して出力する。
　表示制御部７３は、第３の実施形態に係る表示制御部６１と同様に、ＣＰＵ６２とメインメモリ６３を含んでいる。ただし、ＣＰＵ６２は、第３の実施形態に係る名刺読み取りプログラム６４とは異なる名刺読み取りプログラム７４を実行する。
　名刺読み取り装置７０は、第３の実施形態に係る名刺読み取り装置６０と同様に、図１２に示す動作を行う。ただし、ステップＳ２０３では、表示制御部７３は、液晶表示装置７１に対してローレベルの出力制御信号ＯＣを出力すると共に、表示データＤ１として固定データＤｆを与える。すなわち、表示制御部７３は、液晶表示装置７１に画像入力指示を与えるときには、表示データＤ１として画像入力に適した固定データＤｆを与える。したがって、画像入力指示が与えられている間、液晶表示装置７１の液晶パネル１１には、固定データＤｆに基づく画像（例えば白色画像や青色画像）が表示される。
　以上に示すように、本実施形態に係る名刺読み取り装置７０によれば、表示制御部７３は、液晶表示装置７１に画像入力指示を与えるときには、表示データＤ１として画像入力に適した固定データＤｆを与える。このため、液晶表示装置７１では、パネル駆動回路１７による読み出しの前に用いられる表示データは固定データＤｆとなり、光センサ２を用いた画像入力は固定データＤｆに基づく画像を表示した後に行われる。このように固定データＤｆを用いて画像入力に適した画像を表示し、その後に画像入力を行うことにより、表示画像の影響を排除して、表示画像にかかわらず高い精度で名刺画像を入力することができる。なお、本実施形態についても、第３の実施形態と同様に、各種の変形例を構成することができる。
　以上に示すように、本発明の液晶表示装置によれば、固定データを用いて画像入力に適した画像を表示し、その後に画像入力を行うことにより、表示画像の影響を排除して、表示画像にかかわらず高い精度で画像入力やタッチ位置検出を行うことができる。なお、上述した方法で液晶表示装置以外の表示装置を構成することもできる。
　本発明の表示装置は、表示画像にかかわらず高い精度で画像入力やタッチ位置検出を行えるという特徴を有するので、液晶表示装置を始めとする各種の表示装置に利用することができる。

Claims (11)

  1. 　複数の光センサを備えた表示装置であって、
    　２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、
    　表示データに応じた信号を前記画素回路に書き込む動作と、受光量に応じた信号を前記光センサから読み出す動作とを行う駆動回路と、
    　前記駆動回路による読み出しの前に用いられる表示データを画像入力に適した固定データに切り替える表示データ切替部とを備えた、表示装置。
  2. 　前記固定データは、単色画像を表すデータであることを特徴とする、請求項１に記載の表示装置。
  3. 　前記固定データは、前記光センサの受光感度が高い色の成分を多く含む、単色画像を表すデータであることを特徴とする、請求項２に記載の表示装置。
  4. 　前記固定データは、白色画像を表すデータであることを特徴とする、請求項３に記載の表示装置。
  5. 　前記表示パネルはＣＧ（Continuous Grain）シリコンで形成された液晶パネルであり、
    　前記固定データは、青色画像を表すデータであることを特徴とする、請求項３に記載の表示装置。
  6. 　前記光センサから読み出した信号に基づくスキャン画像に対して、前記スキャン画像に含まれる対象物を検知するための画像認識処理を行う画像認識処理部をさらに備えた、請求項１に記載の表示装置。
  7. 　前記表示パネルの背面に光を照射するバックライトをさらに備え、
    　前記画像認識処理部は、少なくとも前記対象物の反射像を検知することを特徴とする、請求項６に記載の表示装置。
  8. 　前記表示データ切替部は、前記駆動回路の前段に設けられた画像処理部に含まれていることを特徴とする、請求項１に記載の表示装置。
  9. 　前記表示データ切替部は、前記駆動回路に含まれていることを特徴とする、請求項１に記載の表示装置。
  10. 　２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルを備えた表示装置の駆動方法であって、
    　表示データに応じた信号を前記画素回路に書き込むステップと、
    　受光量に応じた信号を前記光センサから読み出すステップと、
    　読み出しの前に用いられる表示データを画像入力に適した固定データに切り替えるステップとを備えた、表示装置の駆動方法。
  11. 　画像表示機能と画像入力機能とを有する装置であって、
    　表示装置と表示制御部とを備え、
    　前記表示装置は、
    　　２次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、
    　　前記表示制御部から与えられた表示データに応じた信号を前記画素回路に書き込む動作と、受光量に応じた信号を前記光センサから読み出す動作とを行う駆動回路とを含み、
    　前記表示制御部は、前記表示装置に画像入力指示を与えるときには、前記表示データとして画像入力に適した固定データを与えることを特徴とする、装置。
PCT/JP2009/052860 2008-02-21 2009-02-19 光センサ付き表示装置 WO2009104667A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN2009801059457A CN101952768A (zh) 2008-02-21 2009-02-19 带光传感器的显示装置
EP09711934A EP2244120A4 (en) 2008-02-21 2009-02-19 DISPLAY DEVICE WITH OPTICAL SENSOR
JP2009554361A JPWO2009104667A1 (ja) 2008-02-21 2009-02-19 光センサ付き表示装置
BRPI0908850-4A BRPI0908850A2 (pt) 2008-02-21 2009-02-19 Dispositivo de exibição e de entrada de imagem e método de acionamento de um papel de exibição que inclui um pluralidade de sensores ópticos e circuitos de pixel
US12/863,712 US20100289784A1 (en) 2008-02-21 2009-02-19 Display device having optical sensors

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008039785 2008-02-21
JP2008-039785 2008-02-21

Publications (1)

Publication Number Publication Date
WO2009104667A1 true WO2009104667A1 (ja) 2009-08-27

Family

ID=40985545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/052860 WO2009104667A1 (ja) 2008-02-21 2009-02-19 光センサ付き表示装置

Country Status (6)

Country Link
US (1) US20100289784A1 (ja)
EP (1) EP2244120A4 (ja)
JP (1) JPWO2009104667A1 (ja)
CN (1) CN101952768A (ja)
BR (1) BRPI0908850A2 (ja)
WO (1) WO2009104667A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011100296A (ja) * 2009-11-05 2011-05-19 Nec Casio Mobile Communications Ltd タッチ検出装置、電子機器、および、プログラム
WO2011104929A1 (ja) 2010-02-26 2011-09-01 シャープ株式会社 光センサ付き表示装置
CN102194413A (zh) * 2010-03-19 2011-09-21 友达光电股份有限公司 可复写式显示媒介的写入装置
US20110304532A1 (en) * 2010-05-27 2011-12-15 Samsung Electronics Co., Ltd. Image capturing and display apparatus and method
TWI395178B (zh) * 2010-03-10 2013-05-01 Au Optronics Corp 可複寫式顯示媒介之寫入裝置
US8493365B2 (en) 2009-12-22 2013-07-23 Coretronic Corporation Optical touch display apparatus
US8547421B2 (en) 2010-08-13 2013-10-01 Sharp Laboratories Of America, Inc. System for adaptive displays
US9377886B2 (en) 2009-12-17 2016-06-28 Coretronic Corporation Optical touch display apparatus
JP2020144369A (ja) * 2019-03-08 2020-09-10 聚積科技股▲ふん▼有限公司 ディスプレイ内感知方法及びその方法に使用するディスプレイ

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2440599C1 (ru) * 2007-12-20 2012-01-20 Шарп Кабусики Кайся Устройство отображения с оптическими датчиками
CN101842765B (zh) * 2008-01-25 2012-11-07 夏普株式会社 附带光传感器的显示装置
WO2009110294A1 (ja) 2008-03-03 2009-09-11 シャープ株式会社 光センサ付き表示装置
CN101911159A (zh) * 2008-03-03 2010-12-08 夏普株式会社 带光传感器的显示装置
CN102782622B (zh) * 2010-03-12 2016-11-02 株式会社半导体能源研究所 显示装置的驱动方法
FI123008B (fi) * 2010-06-22 2012-09-28 Janne Pitkaenen Laitteisto ja menetelmä käytettävyystestausta varten
US20130120331A1 (en) * 2010-07-27 2013-05-16 Sharp Kabushiki Kaisha Display device
JP5722024B2 (ja) 2010-12-24 2015-05-20 京セラ株式会社 携帯端末、輝度制御方法及びプログラム
JP2013041504A (ja) * 2011-08-18 2013-02-28 Toshiba Corp 光学式入力装置
CN102402348A (zh) * 2011-10-04 2012-04-04 友达光电股份有限公司 光感式触控感应系统、装置及其触控感应方法
JP6004495B2 (ja) * 2012-01-04 2016-10-12 Ｎｅｃディスプレイソリューションズ株式会社 ディスプレイ装置とその輝度検出方法
US20140085245A1 (en) * 2012-09-21 2014-03-27 Amazon Technologies, Inc. Display integrated camera array
TWI541709B (zh) * 2014-08-04 2016-07-11 平面自發光型觸控開關
CN106056047B (zh) * 2016-05-20 2019-06-14 京东方科技集团股份有限公司 指纹识别电路、触控装置及指纹识别方法
CN107562296B (zh) * 2017-08-31 2020-11-13 Oppo广东移动通信有限公司 阵列基板、显示面板和电子设备
US20190197929A1 (en) * 2017-12-26 2019-06-27 Novatek Microelectronics Corp. Driving apparatus of display panel and operation method thereof
JP2021056168A (ja) * 2019-10-01 2021-04-08 株式会社ジャパンディスプレイ 光学センサ及び光学センサを有する表示装置
CN110928022B (zh) * 2019-11-26 2022-11-08 武汉华星光电技术有限公司 液晶盒和液晶显示屏

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326954A (ja) 1998-05-15 1999-11-26 Semiconductor Energy Lab Co Ltd 半導体装置
JP2006317682A (ja) 2005-05-12 2006-11-24 Hitachi Displays Ltd タッチパネル一体表示装置
JP2006323261A (ja) * 2005-05-20 2006-11-30 Mitsubishi Electric Corp 表示装置の駆動方法
JP2008209645A (ja) * 2007-02-26 2008-09-11 Toshiba Matsushita Display Technology Co Ltd 液晶表示装置及びその駆動方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4366732B2 (ja) * 1998-09-30 2009-11-18 ソニー株式会社 電気光学装置の製造方法及び電気光学装置用の駆動基板の製造方法
JP4467909B2 (ja) * 2002-10-04 2010-05-26 シャープ株式会社 表示装置
JP3783686B2 (ja) * 2003-01-31 2006-06-07 セイコーエプソン株式会社 表示ドライバ、表示装置及び表示駆動方法
TWI363206B (en) * 2003-02-28 2012-05-01 Samsung Electronics Co Ltd Liquid crystal display device
JP4257221B2 (ja) * 2003-03-31 2009-04-22 東芝松下ディスプレイテクノロジー株式会社 表示装置および情報端末装置
JP4763248B2 (ja) * 2004-04-07 2011-08-31 株式会社 日立ディスプレイズ 画像表示装置
JP4703206B2 (ja) * 2004-05-31 2011-06-15 東芝モバイルディスプレイ株式会社 画像取込機能付き表示装置
WO2006009038A1 (ja) * 2004-07-21 2006-01-26 Sharp Kabushiki Kaisha アクティブマトリクス型表示装置およびそれに用いられる駆動制御回路
KR101018751B1 (ko) * 2004-09-24 2011-03-04 삼성전자주식회사 표시 장치 및 그 구동 방법
TW200627362A (en) * 2004-11-01 2006-08-01 Seiko Epson Corp Signal processing for reducing blur of moving image
US20060262055A1 (en) * 2005-01-26 2006-11-23 Toshiba Matsushita Display Technology Plane display device
JP4645822B2 (ja) * 2005-04-19 2011-03-09 ソニー株式会社 画像表示装置および物体の検出方法
JP2006323311A (ja) * 2005-05-20 2006-11-30 Sharp Corp 表示装置
TWI287735B (en) * 2005-09-09 2007-10-01 Inventec Appliances Corp Touch display module and power saving method thereof
JP2007163891A (ja) * 2005-12-14 2007-06-28 Sony Corp 表示装置
CN101401026B (zh) * 2006-04-19 2013-04-24 夏普株式会社 液晶显示装置及其驱动方法、以及驱动电路
US8094129B2 (en) * 2006-11-27 2012-01-10 Microsoft Corporation Touch sensing using shadow and reflective modes
US8269746B2 (en) * 2006-11-27 2012-09-18 Microsoft Corporation Communication with a touch screen
US7982827B2 (en) * 2006-12-14 2011-07-19 Texas Instruments Incorporated System and method for dynamically altering a color gamut
FR2910267B1 (fr) * 2006-12-21 2009-01-23 Ldr Medical Soc Par Actions Si Dispositif de soutien vertebral
US8674949B2 (en) * 2007-02-20 2014-03-18 Japan Displays Inc. Liquid crystal display apparatus
JP4826512B2 (ja) * 2007-03-12 2011-11-30 セイコーエプソン株式会社 表示装置及び電子機器
TW200844928A (en) * 2007-05-02 2008-11-16 Novatek Microelectronics Corp Apparatus for controlling brightness of light source and displaying apparatus
RU2440599C1 (ru) * 2007-12-20 2012-01-20 Шарп Кабусики Кайся Устройство отображения с оптическими датчиками
CN101842765B (zh) * 2008-01-25 2012-11-07 夏普株式会社 附带光传感器的显示装置
CN101911159A (zh) * 2008-03-03 2010-12-08 夏普株式会社 带光传感器的显示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326954A (ja) 1998-05-15 1999-11-26 Semiconductor Energy Lab Co Ltd 半導体装置
JP2006317682A (ja) 2005-05-12 2006-11-24 Hitachi Displays Ltd タッチパネル一体表示装置
JP2006323261A (ja) * 2005-05-20 2006-11-30 Mitsubishi Electric Corp 表示装置の駆動方法
JP2008209645A (ja) * 2007-02-26 2008-09-11 Toshiba Matsushita Display Technology Co Ltd 液晶表示装置及びその駆動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2244120A4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011100296A (ja) * 2009-11-05 2011-05-19 Nec Casio Mobile Communications Ltd タッチ検出装置、電子機器、および、プログラム
US9377886B2 (en) 2009-12-17 2016-06-28 Coretronic Corporation Optical touch display apparatus
US8493365B2 (en) 2009-12-22 2013-07-23 Coretronic Corporation Optical touch display apparatus
WO2011104929A1 (ja) 2010-02-26 2011-09-01 シャープ株式会社 光センサ付き表示装置
TWI395178B (zh) * 2010-03-10 2013-05-01 Au Optronics Corp 可複寫式顯示媒介之寫入裝置
CN102194413A (zh) * 2010-03-19 2011-09-21 友达光电股份有限公司 可复写式显示媒介的写入装置
US20110304532A1 (en) * 2010-05-27 2011-12-15 Samsung Electronics Co., Ltd. Image capturing and display apparatus and method
US9549134B2 (en) * 2010-05-27 2017-01-17 Samsung Electronics Co., Ltd. Image capturing and display apparatus and method
US8547421B2 (en) 2010-08-13 2013-10-01 Sharp Laboratories Of America, Inc. System for adaptive displays
JP2020144369A (ja) * 2019-03-08 2020-09-10 聚積科技股▲ふん▼有限公司 ディスプレイ内感知方法及びその方法に使用するディスプレイ
US11112639B2 (en) 2019-03-08 2021-09-07 Macroblock, Inc. Method for sensing biometric object
JP7054251B2 (ja) 2019-03-08 2022-04-13 聚積科技股▲ふん▼有限公司 ディスプレイ内感知方法及びその方法に使用するディスプレイ

Also Published As

Publication number Publication date
CN101952768A (zh) 2011-01-19
US20100289784A1 (en) 2010-11-18
EP2244120A1 (en) 2010-10-27
BRPI0908850A2 (pt) 2015-08-25
JPWO2009104667A1 (ja) 2011-06-23
EP2244120A4 (en) 2012-03-07

Similar Documents

Publication Publication Date Title
WO2009104667A1 (ja) 光センサ付き表示装置
JP5014439B2 (ja) 光センサ付き表示装置
WO2009093388A1 (ja) 光センサ付き表示装置
WO2009110293A1 (ja) 光センサ付き表示装置
RU2456660C2 (ru) Устройство формирования изображения, имеющее оптические датчики
US8665223B2 (en) Display device and method providing display contact information based on an amount of received light
US8319750B2 (en) Sensing circuit, method of driving sensing circuit, display device, method of driving display device, and electronic apparatus
US20120287085A1 (en) Display device having optical sensors
US20140008203A1 (en) Pressure sensing display device
JP5171941B2 (ja) 光センサ付き表示装置
CN105044955B (zh) 光电传感器及其驱动方法、阵列基板和显示装置
JPWO2011083609A1 (ja) 光センサ付き表示装置
US20120313912A1 (en) Display device with light sensor
WO2011052261A1 (ja) ポインティング装置
JP5217618B2 (ja) 電子機器の接触位置特定方法
WO2010100798A1 (ja) 表示装置、テレビ受信装置およびポインティングシステム
WO2010150572A1 (ja) 光センサ付き表示装置
US20120256881A1 (en) Display device, display method, display program, recording medium
KR101307548B1 (ko) 액정 표시 장치 및 그의 구동 방법
JP2010124067A (ja) 折り畳み可能な電子機器
JP2009276642A (ja) センシング回路、その駆動方法、表示装置、その駆動方法、及び電子機器

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980105945.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09711934

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2009554361

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2009711934

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12863712

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 4746/CHENP/2010

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010138817

Country of ref document: RU

ENP Entry into the national phase

Ref document number: PI0908850

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20100820