WO2010137226A1 - エリアセンサ、及び、表示装置 - Google Patents

エリアセンサ、及び、表示装置 Download PDF

Info

Publication number
WO2010137226A1
WO2010137226A1 PCT/JP2010/002582 JP2010002582W WO2010137226A1 WO 2010137226 A1 WO2010137226 A1 WO 2010137226A1 JP 2010002582 W JP2010002582 W JP 2010002582W WO 2010137226 A1 WO2010137226 A1 WO 2010137226A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
photosensor
light
optical sensor
intensity
Prior art date
Application number
PCT/JP2010/002582
Other languages
English (en)
French (fr)
Inventor
宮崎伸一
▲高▼濱健吾
野間幹弘
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2010137226A1 publication Critical patent/WO2010137226A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Definitions

  • the present invention relates to an area sensor that includes an optical sensor element and detects an input position from the outside, and a display device incorporating such an area sensor.
  • Some display devices such as liquid crystal display devices have a touch panel (area sensor) function that can detect the touched position when the panel surface is touched with an input pen (input pen) or a finger.
  • Body type display devices have been developed.
  • Conventional touch panel integrated display devices have a resistance film method (a method in which an input position is detected when the upper conductive substrate and the lower conductive substrate are in contact with each other) or a capacitance type (a touched place).
  • the input position is detected by detecting the change in the capacitance.
  • a touch panel (or scanner) integrated display device can be realized by using a light source as external light, a backlight of a liquid crystal display device, and the like, and the optical sensor element serving as an area sensor.
  • Patent Document 1 the following technique is described for the purpose of more reliably detecting the position of an object in proximity or contact (sensing object). That is, the backlight is turned ON / OFF within one frame, and a sensor image in the backlight ON state and a sensor image in the backlight OFF state are acquired. Then, by calculating the difference between the two sensor images, only the information of the backlight reflected light is extracted, and the accurate position and state (touch, non-touch) are detected.
  • JP 2006-127212 (May 18, 2006)
  • Patent Document 1 has a problem that an accurate position cannot be detected when the sensing target moves.
  • the present invention has been made to solve the above-described problems, and the purpose of the present invention is, for example, when the sensing object moves, without performing complicated control such as turning on / off the backlight. It is an object of the present invention to provide an area sensor that can easily detect the accurate position (input position) and a display device with an area sensor.
  • the area sensor of the present invention An area sensor that detects an input position from the outside by detecting an image on a detection target surface, A plurality of optical sensors for detecting the intensity of the received light; A detection unit that detects an image on the detection target surface based on the intensity of light received by the optical sensor, and a position detection unit that detects the input position;
  • the photosensor includes a first photosensor and a second photosensor that are at least two types of photosensors having different spectral sensitivity characteristics, A backlight capable of emitting light corresponding to the spectral sensitivity characteristics of at least one of the two types of photosensors;
  • the position detection unit includes a first photosensor image that is an image on the detection target surface detected based on an intensity of light received by the first photosensor; The input position is detected by obtaining a difference from a second photosensor image that is an image on the detection target surface detected based on the intensity of light received by the second photosensor.
  • the input position is determined by obtaining the difference between the images (photosensor images) on the detection target surface detected based on the intensity of light received by two types of photosensors having different spectral sensitivity characteristics. Detected.
  • the optical sensor image there are a portion including a sensing target as the input means and a portion not included (background portion).
  • the light received by the optical sensor at this portion is mainly external light.
  • the light received by the optical sensor at this portion is mainly light from the backlight.
  • the light source to be sensed is different between the portion including the sensing target and the portion not including the sensing target, and thus the spectrum of each light is different.
  • two types of optical sensor images based on two types of optical sensors from which a spectral sensitivity characteristic differs are obtained.
  • the relative received light intensity is different between a portion including the sensing target and a portion not including the sensing target. This is because the spectral spectrum of the light to be sensed is different between the portion including the sensing target and the portion not including the sensing target, and the spectral sensitivity characteristics of the photosensors that receive the light are different.
  • the difference of the said two types of optical sensor image from which the relative light reception intensity in the part in which the said sensing object is contained differs in the part which is not contained is calculated
  • the area sensor can easily detect the accurate position of the sensing target.
  • the area sensor detects a light on the detection target surface based on a plurality of light sensors that detect the intensity of received light and the light intensity received by the light sensor.
  • a position detection unit that detects an input position, and the optical sensor includes a first optical sensor and a second optical sensor that are at least two types of optical sensors having different spectral sensitivity characteristics.
  • a backlight capable of emitting light corresponding to the spectral sensitivity characteristics of at least one of the two types of photosensors is provided, and the position detector is received by the first photosensor.
  • a first photosensor image that is an image on the detection target surface detected based on the intensity of the detected light, and an image on the detection target surface that is detected based on the intensity of the light received by the second photosensor.
  • the second photo sensor image By obtaining the difference between, and detects the input position.
  • FIG. 1 illustrates an embodiment of the present invention and is a diagram illustrating transmittance characteristics of an optical filter. It is a figure which shows the spectral sensitivity characteristic of the optical sensor of embodiment of this invention, (a) shows the spectral sensitivity characteristic of the 1st optical sensor, (b) has shown the spectral sensitivity characteristic of the 2nd optical sensor. . It is a figure which shows the transmittance
  • (C) shows an image detected by the second optical sensor. It is a figure for demonstrating the outline
  • FIG. 10 is a diagram illustrating another embodiment of the present invention and illustrating a relationship between a light source and a value of K. It is a figure which shows other embodiment of this invention and shows the outline
  • a touch panel integrated liquid crystal display device having an area sensor function (specifically, a touch panel function) will be described.
  • a touch panel integrated liquid crystal display device 100 (also simply referred to as a liquid crystal display device 100) shown in FIG. It has a function. Hereinafter, it demonstrates in order.
  • the touch panel integrated liquid crystal display device 100 of the present embodiment is provided with a liquid crystal panel 20 and a backlight 10 (on the back side of the liquid crystal panel 20) that irradiates the liquid crystal panel 20 with light. Light emitting part).
  • a protective plate 12 is provided on the surface side of the liquid crystal panel 20 opposite to the backlight 10 with an air gap 14 as an air layer between the liquid crystal panel 20 and the liquid crystal panel 20. .
  • the protective plate 12 is not particularly limited, and is formed of, for example, a transparent resin or glass.
  • the liquid crystal panel 20 includes an active matrix substrate 22 in which a large number of pixels are arranged in a matrix, and a counter substrate 24 disposed to face the active matrix substrate 22.
  • a liquid crystal layer 26 as a display medium is sandwiched between these two substrates.
  • the display mode of the liquid crystal panel 20 is not particularly limited, and any display mode such as a TN mode, an IPS mode, and a VA mode can be applied.
  • two polarizing plates are provided outside the liquid crystal panel 20 so as to sandwich the liquid crystal panel 20.
  • a back side polarizing plate 27 is provided on the back side of the liquid crystal panel 20
  • a front side polarizing plate 28 is provided on the surface side of the liquid crystal panel 20.
  • the back side polarizing plate 27 and the front side polarizing plate 28 serve as a polarizer.
  • the polarization direction of the front-side polarizing plate 28 and the polarization direction of the back-side polarizing plate 27 are arranged so as to have a crossed Nicols relationship.
  • a normally black mode liquid crystal display device can be realized.
  • the active matrix substrate 22 is provided with a TFT (not shown) which is a switching element for driving each pixel, an alignment film (not shown), an optical sensor 30 and the like.
  • the counter substrate 24 is formed with a color filter layer, a counter electrode, an alignment film, and the like.
  • the color filter layer is composed of colored portions having respective colors of red (R), green (G), and blue (B), and a black matrix.
  • the optical sensor 30 is provided in each pixel area.
  • the optical sensor 30 of the present embodiment includes an optical sensor 30 mainly composed of only the optical sensor element 32, and an optical filter 34 provided mainly to cover the optical sensor element 32 and the optical sensor element 32.
  • optical sensors 30 configured as described above.
  • the optical sensor 30 mainly composed of only the optical sensor element 32 becomes the first optical sensor 30a, and on the other hand, the optical sensor element 32 and an optical filter provided mainly to cover the optical sensor element 32 are provided. 34 is the second optical sensor 30b.
  • the optical sensor 30 of the present embodiment can be classified into a first optical sensor 30a and a second optical sensor 30b.
  • the first optical sensor 30a and the second optical sensor 30b have the same optical sensor element 32, but only one optical sensor element 32 is provided with an optical filter 34 that covers it.
  • the first optical sensor 30a and the second optical sensor 30b have different spectral sensitivity characteristics.
  • the method for forming the two optical sensors 30 having different spectral sensitivity characteristics is not particularly limited.
  • two types of optical filters 34 having different characteristics are prepared, and each of them covers the optical sensor element 32. Such a configuration is also conceivable.
  • an area sensor is realized by providing the optical sensor 30 in each pixel region.
  • the surface of the protective plate 12 which is the outermost surface is the detection target surface 40 in the area sensor.
  • the optical sensor 30 When a sensing object 42 such as a finger or an input pen comes into contact with a specific position on the detection target surface 40, the optical sensor 30 reads the position and inputs information to the apparatus, or a desired operation Can be executed. As described above, in the liquid crystal display device 100 of the present embodiment, the optical sensor 30 can realize a touch panel function.
  • the photosensor element 32 is formed of a photodiode, a phototransistor, or the like. The amount of received light is detected by applying a current corresponding to the intensity of the received light.
  • the TFT and the optical sensor element 32 may be monolithically formed on the active matrix substrate 22 by substantially the same process. That is, some constituent members of the optical sensor element 32 may be formed simultaneously with some constituent members of the TFT.
  • Such a method for forming the photosensor element 32 can be performed in accordance with a conventionally known method for manufacturing a photosensor element built-in type liquid crystal display device.
  • the liquid crystal display device 100 includes two types of optical sensors 30 (first optical sensor 30a and second optical sensor 30b).
  • the first optical sensor 30a and the second optical sensor 30b are arranged in a zigzag pattern, in other words, a checkered pattern, in pixels arranged in a matrix, as will be described later. And it arrange
  • the optical sensor element 32 is not necessarily provided for each pixel.
  • the optical sensor element 32 is provided for each pixel having any one color filter of R, G, and B.
  • the provided structure may be sufficient.
  • the liquid crystal display device 100 includes a liquid crystal driving circuit 60 that drives the liquid crystal panel 20 and an area sensor that drives the area sensor and also functions as a position detection unit. And a control unit 70.
  • the area sensor control unit 70 includes a timing generation circuit 72, an area sensor drive circuit 74, an area sensor readout circuit 76, an image data processing circuit 78, a coordinate extraction circuit 80, and an interface circuit 82.
  • the timing generation circuit 72 generates a timing signal for controlling the operation of each circuit in synchronization.
  • the area sensor drive circuit 74 supplies power for driving each photosensor 30 to each photosensor 30.
  • the area sensor readout circuit 76 receives a light reception signal from the optical sensor 30 that passes currents of different values according to the amount of received light, and calculates the amount of received light.
  • the image data processing circuit 78 is a sensor image (first optical sensor image) detected by the two optical sensors 30, that is, the first optical sensor 30a, and a sensor image (second optical sensor) detected by the second optical sensor 30b. Calculation processing based on the sensor image).
  • the liquid crystal display device 100 of the present embodiment can detect the accurate position and state of the sensing target. Details will be described later.
  • the coordinate extraction circuit 80 is applied to the detection target surface 40 of the liquid crystal display device 100 based on the amount of light received by each optical sensor 30 calculated by the area sensor readout circuit 76 and the calculation processing of the image data processing circuit 78. On the other hand, the coordinates of the sensing object 42 such as a finger touched are calculated.
  • the interface circuit 82 outputs the information of the finger coordinates calculated by the coordinate extraction circuit 80 to another control unit (for example, the liquid crystal driving circuit 60) in the liquid crystal display device 100.
  • another control unit for example, the liquid crystal driving circuit 60
  • a sensing target 42 such as a finger or an input pen touches the surface of the detection target surface 40 that is the outermost surface of the liquid crystal display device 100.
  • the optical sensor 30 formed in the liquid crystal panel 20 can detect the sensing target 42 as an image and detect the input position.
  • the first photosensor image detected by the first photosensor 30a and the second photosensor detected by the second photosensor 30b simultaneously with the detection of the first photosensor 30a.
  • the input position is detected based on the obtained image. Therefore, even when the sensing object 42 moves, it is possible to accurately detect the position input.
  • it demonstrates in order.
  • the first photosensor 30a and the second photosensor 30b have different spectral sensitivity characteristics. This is because the optical sensor element 32 of the first optical sensor 30 a is not covered with the optical filter, whereas the optical sensor element 32 of the second optical sensor 30 b is covered with the optical filter 34. is there.
  • FIG. 2 is a diagram showing the spectral sensitivity characteristics of the optical sensor element in the present embodiment. As shown in FIG. 2, the photosensor element has a spectral sensitivity characteristic that reacts to light in the visible range and the infrared range.
  • FIG. 3 is a diagram showing the transmittance characteristics of the optical filter in the present embodiment. As shown in FIG. 3, the optical filter hardly transmits light in the visible region, but transmits light in the infrared region well.
  • the optical sensor element 32 of the second optical sensor 30b is covered with the optical filter 34.
  • 4A and 4B show the spectral sensitivity characteristic of the first photosensor and the spectral sensitivity characteristic of the second photosensor, respectively.
  • the first optical sensor 30a is not provided with the optical filter 34. That is, the optical sensor element 32 of the first optical sensor 30 a is not covered with the optical filter 34. Therefore, the spectral sensitivity characteristic of the first optical sensor 30a is the same as the spectral sensitivity characteristic of the optical sensor element 32, as shown in FIG. Specifically, the first optical sensor 30a mainly responds to visible light and infrared light.
  • the second optical sensor 30b is provided with the optical filter. That is, the optical sensor element 32 of the second optical sensor 30 b is covered with the optical filter 34. Therefore, the spectral sensitivity characteristic of the second optical sensor 30b is a characteristic that mainly reacts to light in the infrared region, as shown in FIG. 4B.
  • the liquid crystal display device 100 includes the first optical sensor 30a that mainly responds to light in the visible region and the infrared region, and the second optical sensor that mainly responds to light in the infrared region. Two types of photosensors 30b and 30b are provided.
  • optical filter 34 Next, the optical filter 34 will be described.
  • the optical filter 34 hardly transmits light in the visible region, but transmits light in the infrared region well.
  • the method for forming such an optical filter 34 is not particularly limited, and for example, the following method can be used.
  • the following method is a method of forming the optical filter 34 by combining color filters for color display.
  • FIG. 5 shows the transmittance characteristics of the color filter.
  • the red (R) color filter red filter
  • the green (G) color filter green filter
  • the blue (B) color filter blue filter transmits light in the vicinity of 440 nm well.
  • FIG. 6A shows the transmittance characteristics of the RG filter obtained by combining the red filter and the green filter
  • FIG. 6B shows the combination of the green filter and the blue filter
  • FIG. 6C shows the transmittance characteristic of the RB filter obtained by combining the red filter and the blue filter.
  • the RG filter transmits light in the vicinity of 600 nm and light in the infrared region. Further, as shown in FIG. 6B, the GB filter transmits light in the vicinity of 500 nm and light in the infrared region. Further, as shown in FIG. 6C, the RB filter transmits infrared light and hardly transmits visible light.
  • the RB filter is used as the optical filter 34.
  • the combination of the spectral sensitivity characteristics of the two types of optical sensors 30 having different spectral sensitivity characteristics is not limited to the combination of the visible region / infrared region and the infrared region.
  • a combination of a visible region and an ultraviolet region can be considered.
  • FIGS. 7A to 7C are diagrams for explaining the arrangement of the photosensor according to the embodiment of the present invention.
  • FIG. 7A shows the arrangement of the pixels
  • FIG. 7C Shows the arrangement of the optical filters
  • FIG. 7C shows the arrangement of the optical sensors.
  • the liquid crystal panel 20 in the present embodiment has pixels 36 arranged in a matrix. Each pixel 36 is provided with a photosensor element 32.
  • the optical sensor 30 in the present embodiment includes the first optical sensor 30a and the second optical sensor 30b.
  • the first optical sensor 30a and the second optical sensor 30b are distinguished depending on whether the optical sensor element 32 is covered with the optical filter 34 or not.
  • FIG. 7B is a diagram showing the arrangement of the optical filter 34. As shown in FIG. 7B, the optical filters 34 are arranged in a staggered pattern, in other words, a checkered pattern.
  • the optical filter 34 arranged as described above is overlaid on the optical sensor elements 32 arranged in the matrix form.
  • the optical sensor elements 32 arranged in a matrix only the optical sensor element 32 corresponding to the position where the optical filter 34 is arranged is covered with the optical filter 34.
  • the optical sensor element 32 covered with the optical filter 34 becomes the second optical sensor 30b, and the optical sensor element 32 not covered with the optical filter 34 becomes the first optical sensor 30a (FIGS. 7A and 7B). A) shown in FIG.
  • the first optical sensor 30a and the second optical sensor 30b are alternately arranged in a zigzag pattern, in other words, a checkered pattern like the arrangement of the optical filter 34. Be placed.
  • FIG. 8 is a diagram for explaining a sensor image detected by the optical sensor according to the embodiment of the present invention.
  • FIG. 8A is an optical sensor, specifically, the first optical sensor and the second optical sensor.
  • 8B shows a pre-separation photosensor image that is an image detected by FIG. 8
  • FIG. 8B shows a first photosensor image that is detected by the first photosensor
  • FIG. 8C shows a second photosensor.
  • the 2nd photosensor image which is an image which detects is shown.
  • the first photosensor 30a is detected from the pre-separation photosensor image 110 detected by the photosensor 30.
  • the detected first photosensor image 112 and the second photosensor image 114 detected by the second photosensor 30b are separated and extracted from the pre-separation photosensor image 110.
  • the first optical sensor image 112 is a sensor image directly detected by the optical sensor element 32 without passing through the optical filter 34. Therefore, the first photosensor image 112 is an image using visible light and infrared light as light sources.
  • the second photosensor image 114 is a sensor image detected by the photosensor element 32 through the optical filter 34. Therefore, the second photosensor image 114 is an image using light in the infrared region as a light source.
  • the backlight 10 is configured to be capable of emitting two types of light, visible light and infrared light. Both the visible light and the infrared light are always emitted.
  • the type of light emitted from the backlight 10 is not limited to the visible light and the infrared light.
  • the light emitted from the backlight 10 is determined according to the spectral sensitivity characteristics of the optical sensor 30 and the like.
  • the backlight 10 is configured so as to be able to emit light having a wavelength to which at least one kind of photosensor reacts among the provided photosensors. That is, the backlight 10 is configured to be able to emit light corresponding to the spectral sensitivity characteristics of the optical sensor.
  • the backlight 10 since the optical sensor responds to visible and infrared light, the backlight 10 is configured to emit visible and infrared light. In particular, since the second photosensor responds to infrared light, the backlight 10 can emit not only visible light but also infrared light as a display light source of the backlight 10. It is configured.
  • timing at which light is emitted from the backlight 10 is not limited to the above-described constant emission, and can be appropriately set according to the configuration of the optical sensor and the spectral sensitivity characteristics.
  • the external light component is removed based on the two sensor images (the first photosensor image 112 and the second photosensor image 114), and the accurate position and state of the sensing target are detected. (Position detection).
  • FIG. 9A shows a state where a finger as a sensing object 42 is placed on the liquid crystal panel 20 of the liquid crystal display device 100, and the contact point 44 includes the finger and the liquid crystal panel 20. Indicates a contact area.
  • 9A shows a state where the contact point 44 is extracted as a backlight reflection image in the corrected photosensor image 116 obtained after processing the sensor image.
  • FIG. 9B shows the optical sensor output value (output, light reception) from the first optical sensor 30a when the sensing object 42 is placed on the liquid crystal panel 20 as in FIG. 9A.
  • the first optical sensor output value 130 is proportional to the intensity of the measured light.
  • the first light sensor output value 130 can be mainly divided into a backlight reflection image component 134, a shadow component 136, and a background image component 138.
  • the backlight reflection image component 134 corresponds to the contact point 44.
  • the shadow component 136 corresponds to a shadow portion 46 that is a shadow portion of the sensing object 42 with respect to external light.
  • the background image component 138 corresponds to the background portion 48 that is the portion on the liquid crystal panel 20 where the sensing object 42 is not placed.
  • FIG. 9C shows the same content as the content shown in FIG. 9B with respect to the second optical sensor 30b.
  • the first photosensor 30a and the second photosensor 30b have different spectral sensitivity characteristics. Therefore, even for sensor images (first photosensor image 112 and second photosensor image 114) detected at the same time, photosensor output values (first photosensor output value 130 and second photosensor output value) for the sensor image. 132) is different.
  • the schematic shape of the optical sensor output value is substantially the same, the output value for the background image component 138 is particularly different.
  • the light source of the optical sensor mainly includes external light from sunlight, illumination, and the like, and outgoing light from the backlight 10. And as demonstrated previously, the backlight 10 in this Embodiment radiate
  • the background image component 138 corresponds to the background image 120 as described above. Therefore, the light source is mainly the outside light.
  • the first optical sensor 30a reacts to light in the visible region and the infrared region, whereas the second optical sensor 30b reacts only to light in the infrared region, so the optical sensor output value is the first light.
  • the sensor output value 130 is higher than the second optical sensor output value 132. That is, the light sensor output value of the background image component 138 in the first light sensor output value 130 (a shown in FIG. 9B) is the light sensor output of the background image component 138 in the second light sensor output value 132. It becomes higher than the value (b shown in FIG. 9C).
  • the background portion 48 does not have the sensing target 42, the light emitted from the backlight 10 does not serve as a light source for the sensing of the optical sensor.
  • the shadow component 136 corresponds to the shadow portion 46
  • examples of the light source for sensing by the optical sensor include the external light and the light emitted from the backlight 10.
  • the light emitted from the backlight 10 is a light source for sensing.
  • the distance between the sensing object 42 and the liquid crystal panel 20 is long, so that the reflection of the light emitted from the backlight 10 by the sensing object 42 is relatively weak. Therefore, it becomes difficult for the light emitted from the backlight 10 to enter the optical sensor.
  • the outside light is less likely to be a shadow of the sensing object 42, and therefore easily enters the optical sensor.
  • outside light mainly becomes a light source for sensing in a portion far from the contact point 44.
  • the backlight reflection image component 134 corresponds to the contact point 44. Therefore, the light source for sensing of the optical sensor is emitted light from the backlight 10.
  • the sensing object 42 and the liquid crystal panel 20 are in contact, the reflection of the light emitted from the backlight 10 by the sensing object 42 becomes stronger.
  • the backlight reflection image component 134 is the peak of the optical sensor output value.
  • the backlight reflection image component 134 is calculated from the light sensor output value. Need to be separated.
  • the backlight reflected image is obtained by subtracting a fixed multiple (K times: K is a sensitivity ratio coefficient) of the first photosensor output value 130 from the second photosensor output value 132.
  • Component 134 can be separated.
  • the sensitivity ratio coefficient K varies depending on the light source and the like, but can be obtained by the method described below.
  • K calculation method 1 This calculation method is a method of calculating K based on the average pixel output value of the photosensor in the background portion 48, that is, the value of the background image component 138 that is the photosensor output value corresponding to the background image 120. .
  • the basic idea of the above calculation method is that the optical sensor output value of the background image component 138 in the first optical sensor output value 130 previously shown as a in FIG. 9B and the (c) of FIG.
  • K ((maximum appearance value of the second light sensor) ⁇ (minimum appearance value of the second light sensor)) / ((maximum appearance value of the first light sensor) ⁇ (minimum appearance value of the first light sensor))
  • the first optical sensor functions as a visible / infrared light sensor (hereinafter, the first optical sensor may be referred to as a visible light sensor), and the second optical sensor is infrared. It functions as an optical sensor (hereinafter, the second optical sensor may be referred to as an IR optical sensor).
  • the maximum appearance value and the minimum appearance value do not necessarily have to be literal maximum values and bottom values, for example, from the viewpoint of eliminating abnormal points, for example, an average value in a certain region, for example, an output maximum An area average value or an output minimum area average value can be used.
  • K ((IR light sensor maximum appearance value (MOD value)) ⁇ (IR light sensor output minimum region average value)) / ((visible light sensor maximum appearance value (MOD value)) ⁇ (visible light sensor output minimum region average) Value)).
  • the MOD means modulo operation (MOD: abbreviation of modulo).
  • the corrected optical sensor image 116 is obtained using K obtained by the above method. That is, by performing image correction based on the first photosensor image 112 and the second photosensor image 114, specifically, image difference (space-divided image difference method: IR-BL method), the corrected photosensor An image 116 is obtained.
  • image difference space-divided image difference method: IR-BL method
  • the difference image as the corrected image can be obtained from the second light sensor output value (IR light sensor output value) ⁇ K ⁇ first light sensor output value (visible light sensor output value).
  • a value such as 100 can be uniformly added as a raised correction value to the obtained corrected image so as not to cause inconvenience in later data processing.
  • Correction image IR light sensor output value ⁇ K ⁇ visible light sensor output value + uplift correction value 100
  • FIG. 10A shows the first photosensor image
  • FIG. 10B shows the second photosensor image
  • FIG. 10C shows the corrected photosensor image. Specifically, for each, a photosensor image and a graph that three-dimensionally represents the corresponding photosensor output are shown.
  • a pointed input pen is used as the sensing target 42.
  • the backlight reflection image 122 is clarified in the optical sensor image by performing the image correction process and obtaining the difference image.
  • the backlight reflected image component 134 is clear in the optical sensor output.
  • FIGS. 12 and 14 show the case where multiple light sources are used.
  • FIGS. 11 and 12 show a case where a finger is used as a sensing target
  • FIGS. 13 and 14 show a case where a pointed input pen is used as a sensing target.
  • FIGS. 11 and 12 show the case where the distance between the sensing object and the liquid crystal panel in the case of non-touch is 5 mm
  • FIGS. 13 and 14 show the case where the distance is 1 mm.
  • the backlight reflection image 122 and the backlight reflection image component 134 are clarified by obtaining the difference image.
  • backlight reflection image 122 and the backlight reflection image component 134 are clarified regardless of the change in the size of the contact point due to the change of the sensing target.
  • the backlight reflection image 122 and the backlight reflection image component 134 are well separated even when the light source is a multiple light source and a plurality of shadows are generated.
  • FIG. 15 is a diagram showing an outline of the flow of image correction processing of the liquid crystal display device 100 of the present embodiment.
  • the pre-separation optical sensor that is an image detected by the optical sensor 30 (the optical sensor of the staggered panel) in which the first optical sensor 30 a and the second optical sensor 30 b are arranged in a staggered manner.
  • Data of the image 110 is read out.
  • the read data (read data) is divided into a first photosensor image 112 by the first photosensor 30a and a second photosensor image 114 by the second photosensor 30b.
  • the image detected by the IR light sensor is extracted from the pre-separation light sensor image 110 (infrared zigzag extraction) and the image detected by the visible light sensor is extracted (visible zigzag extraction).
  • a histogram for the photosensor output is created (histogram creation).
  • a background pixel value which is an average pixel output value of the photosensor in the background portion 48 is obtained from this histogram (brightness estimation).
  • the above-described K is obtained based on the background pixel value (infrared and visible light background pixel ratio calculation determination).
  • the calculation of the value of K is performed, for example, in ARM (ARM process).
  • the calculated value of K is sent to a multiplier, which multiplies the first photosensor image 112 by K.
  • a corrected photosensor image 116 is obtained from the second photosensor image 114 and the multiplied first photosensor image.
  • the corrected optical sensor image 116 is sent to the coordinate extraction circuit 80 described above with reference to FIG. 1, where the position touched by the sensing object is obtained.
  • the first photosensor image 112 is preferably interpolated before the multiplication.
  • FIG. 16 is a diagram showing an outline of the interpolation.
  • the first photosensor image 112 is also an image (zigzag image) in which data is arranged in a zigzag pattern. Therefore, with respect to the target pixel P (i, j), data of pixels having no data is interpolated from four pixels (peripheral pixels) located in the vicinity thereof.
  • the target pixel P is a pixel in which the first photosensor 30a is not provided, and data cannot be obtained. Therefore, the data of the pixel of interest P is interpolated from the data of the peripheral pixels which are the pixels surrounding the pixel of interest P and the pixels provided with the first photosensor 30a.
  • the same processing can be performed in a portion where the optical filter 34 is not provided or a portion where the optical filter 34 is provided.
  • the value of K is the type of light source (fluorescent lamp, sunlight, incandescent lamp, etc.) and the condition of the light source (for example, when the light source is sunlight, whether it is sunny or shaded). Etc.).
  • FIG. 17 is a diagram illustrating the relationship between the light source and the K value.
  • the value of K is larger when the light source is an incandescent lamp (K1) and when the light source is sunlight (K2).
  • This embodiment is different from the first embodiment in the method of calculating K in the image correction process. This will be described below.
  • the background image component 138 and the shadow are calculated by calculating the K based on the value of the background image component 138.
  • the basic idea of reducing the influence of the component 136 and making it easy to detect the accurate position or the like of the sensing target is the same.
  • the background image component 138 is extracted differently.
  • a more preferable value of K is calculated. It becomes possible. This will be described below.
  • FIG. 18A and 18B are diagrams for explaining the image correction processing.
  • FIG. 18A shows an IR light sensor image
  • FIG. 18B shows a visible light sensor image. Show.
  • the background pixel value that is the value of the background image component 138 to be acquired is 12/255 when the gradation is changed from 0 to 255 gradation. is there.
  • the background pixel value when the background pixel value is obtained based on the histogram, the value does not become 12/255, but becomes 35/255, for example.
  • the shadow image 124 occupies a large portion of the screen in the image shown in FIG. That is, the ratio of the shadow image 124 in the screen increases when the palm of the hand covers more than half of the detection target surface 40 as in multi-touch, for example.
  • the background pixel value desired to be acquired in the visible light sensor image is 70/255, whereas in the method of calculating based on the histogram, 12 / 255.
  • a portion corresponding to the shadow image 124 is masked, and the background pixel value is obtained based on only the portion related to the background image 120 as much as possible.
  • FIG. 19 is a diagram showing an outline of the flow of image correction processing in the present embodiment.
  • the visible light sensor image is divided by the IR light sensor image (division).
  • 5 is added to the IR optical sensor image and then divided. This is to reduce an error when dividing where the value of the IR light sensor image is close to zero. Therefore, it is not always necessary to divide after adding a certain number in the above division.
  • This portion is an external light portion (correlation portion between visible light and infrared light) in the post-division photosensor image 118 of FIG.
  • the sensor output value based on the visible light does not correlate with the sensor output value based on the infrared light.
  • This portion is a reflection portion (a non-correlation portion between visible and infrared light) in the post-division photosensor image 118 of FIG.
  • One of them is a sharp mountain having a peak at about 45/255 in the sensor output, and the other is a broad mountain having a peak at about 115/255 in the sensor output.
  • the peak having a sharp peak corresponds to the outside light part
  • the other peak having a broad peak corresponds to the reflection part
  • the peak shape becomes sharp.
  • the reflection part since there is no correlation between visible light and infrared light, the peak shape becomes broad.
  • binarization is performed using the sensor output value 76/255 at the boundary between the two peaks as a threshold value. Then, the area above 76/255 is masked, and only the area below 76/255 is taken out.
  • the extracted images are the post-mask visible light sensor image and the post-mask IR sensor image shown in FIG.
  • the above K is calculated based only on the background image extracted as described above. Specifically, the K is calculated by dividing the IR sensor image after masking by the visible light sensor image after masking.
  • FIG. 20A and 20B are diagrams for explaining the result of the image correction processing of the present embodiment, and FIG. 20A shows a case where the sensing target is an input pen. 20 (b) shows a case where the sensing object is a finger.
  • 20A and 20B show a case where the liquid crystal display device 100 is placed at the window using sunlight as a light source.
  • FIG. 21 is a diagram showing an outline of the flow of image correction processing of the liquid crystal display device 100 of the present embodiment.
  • the first photosensor image (visible photosensor image) 112 and the second photosensor image (IR photosensor image) 114 are masked before the histogram is created.
  • a threshold value (ratio threshold value K0) is input to a CMP (Comparator).
  • the mask determined by the CMP is applied to the first photosensor image (visible light sensor image) 112 and the second photosensor image (IR photosensor image) 114 in && shown in FIG. A sensor image and a post-mask IR sensor image are obtained.
  • a histogram is created based on the post-mask visible light sensor image and the post-mask IR sensor image.
  • FIG. 22 is a diagram illustrating the relationship between the light source and the K value.
  • the threshold value K0 for binarizing the post-division photosensor image is required in the image correction process, unlike the first embodiment.
  • FIG. 23 is a diagram showing an outline of image correction processing when correction based on a display image is performed.
  • FIG. 24 is a diagram showing an outline of the flow of image correction processing when performing the correction.
  • the intensity of light received by the optical sensor may be affected by the display image 150 displayed on the liquid crystal display device 100. Specifically, when the brightness (gradation) of the display image is not uniform within the screen, for example, the photosensor corresponding to the high-luminance portion is more sensitive to the received light than the photosensor corresponding to the low-luminance portion. Strength increases.
  • the display image 150 is decomposed into R, G, and B images, and each image is re-synthesized by applying a reflection coefficient to obtain a reflection correction image 152.
  • IR light sensor image (A) ⁇ K * visible light sensor image (B) ⁇ image correction image (C) is performed.
  • a recognition composite image 154 is obtained by the above processing.
  • an image processing flow as shown in FIG. 24 can be used. First, the difference from the image processing flow described with reference to FIGS. 15 and 21 will be mainly described.
  • the reflection correction image (C) as the reflection correction value obtained based on the display image 150 is input to the multiplier.
  • the above-described recognition composite image is obtained by processing the IR light sensor image (A) -K * visible light sensor image (B) -reflection correction image (C) in the multiplier. 154 is required.
  • the area sensor of the present invention is The first optical sensor and the second optical sensor receive light at the same time.
  • the first photosensor and the second photosensor simultaneously receive light.
  • An input position is detected from the image based on the received light.
  • the area sensor of the present invention is
  • the first optical sensor has a spectral sensitivity characteristic of receiving light in the visible region and infrared region
  • the second optical sensor has a spectral sensitivity characteristic of receiving light in the infrared region.
  • optical sensors having different spectral sensitivity characteristics are configured by a combination of visible light and infrared light.
  • the area sensor of the present invention is The optical sensor includes an optical sensor element,
  • the second optical sensor receives infrared light by the optical sensor element included in the second optical sensor being covered with an optical filter that selectively transmits infrared light. It has a spectral sensitivity characteristic.
  • an optical filter that selectively transmits light in the infrared region is used as the optical filter that covers the optical sensor element. Therefore, it is possible to easily obtain an optical sensor having spectral sensitivity characteristics for receiving infrared light.
  • the spectral sensitivity characteristic of the optical sensor can be set by changing the characteristics of the optical filter that covers the optical sensor element included in the optical sensor, the spectral sensitivity characteristic of the optical sensor can be changed without changing the optical sensor element. Can be set and changed easily.
  • the area sensor of the present invention is The photosensors are arranged in a matrix, The first optical sensor and the second optical sensor are arranged in a checkered pattern.
  • two types of optical sensors having different spectral sensitivity characteristics are provided in a checkered pattern, in other words, in a zigzag pattern so as to be fitted to each other.
  • the two types of images on the detection target surface based on the respective optical sensors have substantially the same display content.
  • the area sensor of the present invention is When determining the difference between the first photosensor image and the second photosensor image, after multiplying at least one photosensor image by a certain number, determine the difference,
  • the predetermined number is a background portion in each of the photosensor images that does not include a sensing target as the input means, and the intensity of light received by the first photosensor and the background portion. And the intensity of the light received by the second photosensor is determined to be equal.
  • the fixed number is determined by the intensity of the light received by the first photosensor in the background portion that does not include the sensing target, and the intensity of the light received by the second photosensor in the background portion. Are set to be equal.
  • the sensing object can be clearly grasped, so that accurate position detection is facilitated.
  • the area sensor of the present invention is When determining the difference between the first photosensor image and the second photosensor image, after multiplying at least one photosensor image by a certain number, determine the difference,
  • the fixed number is a ratio between the difference between the maximum value and the minimum value of the light intensity received by the first photosensor and the difference between the maximum value and the minimum value of the light intensity received by the second photosensor. It is characterized by being.
  • the ratio of the width between the maximum value and the minimum value in each optical sensor is the fixed number.
  • the sensing object can be clearly understood, so that accurate position detection is facilitated.
  • the intensity of the light is substantially proportional to the output value of the optical sensor.
  • the maximum and minimum values are not strictly maximum and minimum values. It is also possible to obtain the maximum value and the minimum value as the maximum area average value and the minimum area average value by obtaining the average of the intensity of the above.
  • the area sensor of the present invention is When determining the difference between the first photosensor image and the second photosensor image, after multiplying at least one photosensor image by a certain number, determine the difference,
  • the predetermined number is the intensity of the light received by the first photosensor in the portion of the photosensor image that includes the sensing target as the input means, from the intensity of the light received by the first photosensor.
  • the intensity of the light From the intensity of light received by the second photosensor, the intensity of the light received by the second photosensor in the portion of the photosensor image that includes the sensing object that is a means for input is removed.
  • the ratio with the intensity of light is set to the above-mentioned fixed number.
  • the intensity ratio of the light received by each optical sensor in the portion that does not include the sensing target is set to the fixed number.
  • the respective intensities in the above part not including the sensing target are obtained by removing the intensities of the light received by the respective optical sensors in the other parts.
  • the certain number is obtained based only on the intensity of light received by each optical sensor in a portion that does not include a sensing target.
  • the display device of the present invention includes the area sensor.
  • control program of the present invention causes a computer to function as a position detection unit in the area sensor.
  • the computer-readable recording medium of the present invention stores the control program.
  • the present invention can be suitably used for a display device with an area sensor function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)

Abstract

　分光感度特性が異なる第１光センサ（３０ａ）と第２光センサ（３０ｂ）と、少なくとも１種類の光センサの分光感度特性に対応した光を出射することが可能なバックライト（１０）とを備え、位置検出部（７０）は、第１光センサ（３０ａ）が検知した第１光センサ画像と、第２光センサ（３０ｂ）が検知した第２光センサ画像との差分を求めて入力位置を検出する。

Description

エリアセンサ、及び、表示装置
　本発明は、光センサ素子を備え、外部からの入力位置を検出するエリアセンサ、及び、このようなエリアセンサを内蔵した表示装置に関するものである。
　液晶表示装置などの表示装置の中には、入力用のペン（入力ペン）や指でパネル表面を触れると、その触れた位置を検出することのできるタッチパネル（エリアセンサ）機能を備えたタッチパネル一体型の表示装置が開発されている。
　従来のタッチパネル一体型表示装置は、抵抗膜方式（押されると上の導電性基板と下の導電性基板とが接触することで入力位置を検知する方式）や、静電容量式（触った場所の容量変化を検知することで入力位置を検知する方式）のものが主流となっている。
　ところで、近年、フォトダイオードやフォトトランジスタなどの光センサ素子が画像表示領域内の画素毎に（あるいは複数の画素単位で）備えられた液晶表示装置の開発が進んでいる。
　このように、画素ごとに光センサ素子を内蔵することで、エリアセンサとしての機能（具体的には、スキャナ機能、タッチパネル機能など）を通常の液晶表示装置で実現することが可能となる。
　つまり、光源を外光や液晶表示装置のバックライトなどとし、上記光センサ素子がエリアセンサとしての機能を果たすことで、タッチパネル（又はスキャナ）一体型の表示装置を実現することができる。
　例えば、下記特許文献１には、近接又は接触したもの（センシング対象）の位置をより確実に検出することを目的として、つぎの技術が記載されている。すなわち、１フレーム内でバックライトのＯＮ／ＯＦＦを行い、バックライトＯＮ状態のセンサ画像と、バックライトＯＦＦ状態のセンサ画像を取得する。そして、上記２個のセンサ画像の差を算出することで、バックライト反射光の情報のみを抽出して、正確な位置及び状態（タッチ、非タッチ）の検出を行うというものである。
日本国公開特許公報「特開２００６－１２７２１２号（２００６年５月１８日公開）」
　しかしながら、上記特許文献１に記載の従来技術には、センシング対象が動いた場合、正確な位置の検出ができないとの問題がある。
　すなわち、上記技術では、位置を検出するために、２個のセンサ画像を取得する必要がある。そして、この２個のセンサ画像は、同時に取得されるのではなく、異なる時間に取得される。
　そのため、２個のセンサ画像を取得する間にセンシング対象が移動した場合、上記２個のセンサ画像の差を算出しても、正確な位置情報などを得ることが困難になる。
　言い換えると、取得された２個のセンサ画像の時間軸が一致しないため、センシング対象が上記２個のセンサ画像を取得する間に動いた場合、補償が破綻し検出できなくなる。
　そこで本発明は、上記課題を解決するためになされたものであり、その目的は、例えばセンシング対象が移動した場合などでも、バックライトの点灯・消灯などの煩雑な制御を行うことなく、センシング対象の正確な位置（入力位置）を容易に検出することができるエリアセンサ、及び、エリアセンサ付き表示装置を提供することにある。
　本発明のエリアセンサは、上記課題を解決するために、
　検出対象面上の画像を検知することで、外部からの入力位置を検出するエリアセンサであって、
　受光した光の強度を検知する複数個の光センサと、
　上記光センサが受光した光の強度に基づいて、上記検出対象面上の画像を検知すると共に、上記入力位置を検出する位置検出部とを備えており、
　上記光センサには、分光感度特性が異なる少なくとも２種類の光センサである第１光センサと第２光センサとが含まれており、
　上記２種類の光センサのうち、少なくとも１種類の光センサの分光感度特性に対応した光を出射することが可能なバックライトを備えており、
　上記位置検出部は、上記第１光センサが受光した光の強度に基づいて検知された上記検出対象面上の画像である第１光センサ画像と、
　上記第２光センサが受光した光の強度に基づいて検知された上記検出対象面上の画像である第２光センサ画像との差分を求めることで、上記入力位置を検出することを特徴とする。
　上記構成によれば、分光感度特性が異なる２種類の光センサが受光した光の強度に基づいて検知された検出対象面上の各画像（光センサ画像）の差分を求めることで、入力位置が検出される。
　上記光センサ画像のなかには、上記入力の手段であるセンシング対象が含まれている部分と、含まれていない部分（背景部分）とがある。
　そして、上記背景部分では、上記センシング対象で光が反射することなない。そのため、この部分で光センサが受光する光は、主に外光となる。
　これに対して、上記センシング対象が含まれる部分では、外光はセンシング対象に遮られる一方、バックライトからの光が上記センシング対象で反射する。そのため、この部分で光センサが受光する光は、主にバックライトからの光となる。
　このように、センシング対象が含まれる部分と、含まれない部分とでは、センシングされる光の光源が異なり、それにより各光の分光スペクトルが異なる。
　そして、上記の構成によれば、分光感度特性が異なる２種類の光センサに基づく２種類の光センサ画像が得られる。この２種類の光センサ画像は、上記センシング対象が含まれる部分と、含まれない部分とでの相対的な受光強度が異なっている。これは、センシング対象が含まれる部分と、含まれない部分とでは、センシングされる光の分光スペクトルが異なる上に、当該各光を受光する光センサの分光感度特性が異なるためである。
　そして上記構成では、上記センシング対象が含まれる部分と、含まれない部分とでの相対的な受光強度が異なる上記２種類の光センサ画像の差分を求める。そのため、上記センシング対象が含まれる部分の画像を、含まれない部分から分離することが可能となり、その結果センシング対象を明確に捉えることが容易になる。
　以上より、上記エリアセンサでは、センシング対象の正確な位置を検出することが容易になる。
　本発明のエリアセンサは、以上のように、受光した光の強度を検知する複数個の光センサと、上記光センサが受光した光の強度に基づいて、検出対象面上の画像を検知すると共に、入力位置を検出する位置検出部とを備えており、上記光センサには、分光感度特性が異なる少なくとも２種類の光センサである第１光センサと第２光センサとが含まれており、上記２種類の光センサのうち、少なくとも１種類の光センサの分光感度特性に対応した光を出射することが可能なバックライトを備えており、上記位置検出部は、上記第１光センサが受光した光の強度に基づいて検知された上記検出対象面上の画像である第１光センサ画像と、上記第２光センサが受光した光の強度に基づいて検知された上記検出対象面上の画像である第２光センサ画像との差分を求めることで、上記入力位置を検出するものである。
　それゆえ、センシング対象の正確な位置を容易に検出することができる。
本発明の実施の形態を示すものであり、液晶表示装置の構成を示す模式図である。 本発明の実施の形態を示すものであり、光センサ素子の分光感度特性を示す図である。 本発明の実施の形態を示すものであり、光学フィルタの透過率特性を示す図である。 本発明の実施の形態の光センサの分光感度特性を示す図であり、（ａ）は第１光センサの分光感度特性を示し、（ｂ）は第２光センサの分光感度特性を示している。 カラーフィルタの透過率特性を示す図である。 光学フィルタの透過率特性を示す図であり、（ａ）はＲＧフィルタの透過率特性を示し、（ｂ）はＧＢフィルタの透過率特性を示し、（ｃ）はＲＢフィルタの透過率特性を示している。 本発明の実施の形態の光センサの配置を説明するための図であり、（ａ）は画素の配置を示し、（ｂ）は光学フィルタの配置を示し、（ｃ）は各光センサの配置を示している。 本発明の実施の形態の光センサが検知するセンサ画像を説明するための図であり、（ａ）は光センサが検知する画像を示し、（ｂ）は第１光センサが検知する画像を示し、（ｃ）は第２光センサが検知する画像を示している。 センシング対象の位置検出の概要を説明するための図であり、（ａ）はセンシング対象と接触点との関係を示し、（ｂ）は第１光センサからの光センサ出力値を示し、（ｃ）は第２光センサからの光センサ出力値を示している。 画像補正処理を説明するための図であり、（ａ）は第１光センサ画像を示し、（ｂ）は第２光センサ画像を示し、（ｃ）は補正後光センサ画像を示している。 画像補正処理を説明するための図であり、真上光源下で、非タッチの間隔が５ｍｍの場合を示す図である。 画像補正処理を説明するための図であり、多光源下で、非タッチの間隔が５ｍｍの場合を示す図である。 画像補正処理を説明するための図であり、真上光源下で、非タッチの間隔が１ｍｍの場合を示す図である。 画像補正処理を説明するための図であり、多光源下で、非タッチの間隔が１ｍｍの場合を示す図である。 画像補正処理のフローの概略を示す図である。 補間の概略を示す図である。 光源とＫの値との関係を例示する図である。 画像補正処理を説明するための図であり、（ａ）はＩＲ光センサ画像を示し、（ｂ）は可視光センサ画像を示している。 本発明の他の実施の形態を示すもものであり、画像補正処理のフローの概略を示す図である。 画像補正処理を説明するための図であり、（ａ）はセンシング対象が入力ペンである場合を示し、（ｂ）はセンシング対象が指である場合を示している。 本発明の他の実施の形態を示すもものであり、画像補正処理のフローの概略を示す図である。 本発明の他の実施の形態を示すもものであり、光源とＫの値との関係を例示する図である。 本発明の他の実施の形態を示すもものであり、画像補正処理の概要を示す図である。 本発明の他の実施の形態を示すもものであり、画像補正処理のフローの概略を示す図である。
　以下、本発明の実施の形態について、詳細に説明する。
　〔実施の形態１〕
　本発明の一実施形態について図１から図１７に基づいて説明すると以下の通りである。なお、本発明はこれに限定されるものではない。
　本実施の形態では、エリアセンサの機能（具体的には、タッチパネル機能）を備えているタッチパネル一体型の液晶表示装置について説明する。
　（全体構成）
　本実施の形態のタッチパネル一体型液晶表示装置の構成を、図１を参照しながら説明する。図１に示すタッチパネル一体型液晶表示装置１００（単に液晶表示装置１００とも呼ぶ）は、画素毎に設けられた光センサが液晶表示装置１００の表面の画像を検知することで入力位置を検出するタッチパネル機能を有している。以下、順に説明する。
　図１に示すように、本実施の形態のタッチパネル一体型液晶表示装置１００は、液晶パネル２０と、上記液晶パネル２０の背面側に設けられ、上記液晶パネル２０に光を照射するバックライト１０（発光部）と備えている。
　また、上記液晶パネル２０の、上記バックライト１０と反対側である表面側には、上記液晶パネル２０との間に、空気層であるエアギャップ１４を介して、保護板１２が設けられている。
　この保護板１２は、特には限定されないが、例えば、透明な樹脂や、ガラスなどで形成されている。
　（液晶パネル）
　液晶パネル２０は、多数の画素がマトリクス状に配列されたアクティブマトリクス基板２２と、これに対向するように配置された対向基板２４とを備えている。そして、これら２つの基板の間に表示媒体である液晶層２６が挟持されている。
　なお、本実施の形態において、液晶パネル２０の表示モードは特に限定されず、ＴＮモード、ＩＰＳモード、ＶＡモードなどのあらゆる表示モードを適用することができる。
　また、液晶パネル２０の外側には、液晶パネル２０を挟み込むようにして２つの偏光板が設けられている。具体的には、上記液晶パネル２０の背面側には裏側偏光板２７が設けられ、上記液晶パネル２０の表面側には表側偏光板２８が設けられている。
　上記裏側偏光板２７及び表側偏光板２８は、偏光子としての役割を果たす。例えば、液晶層に封入されている液晶材料が垂直配向型である場合、表側偏光板２８の偏光方向と裏側偏光板２７の偏光方向とを、互いにクロスニコルの関係になるように配置することで、ノーマリーブラックモードの液晶表示装置を実現することができる。
　つぎに、液晶パネル２０が備えている基板について説明する。
　上記アクティブマトリクス基板２２には、各画素を駆動するためのスイッチング素子であるＴＦＴ（図示せず）、配向膜（図示せず）、光センサ３０などが設けられている。
　また、対向基板２４には、図示はしていないがカラーフィルタ層、対向電極及び配向膜などが形成されている。カラーフィルタ層は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの色を有する着色部と、ブラックマトリクスとから構成されている。
　（光センサ）
　そして、本実施の形態の液晶表示装置１００においては、各画素領域に光センサ３０が設けられている。
　本実施の形態の光センサ３０は、主に光センサ素子３２のみで構成されている光センサ３０と、主に光センサ素子３２及びこの光センサ素子３２を覆うように設けられている光学フィルタ３４とで構成されている光センサ３０との２種類ある。
　そして、主に光センサ素子３２のみで構成されている上記光センサ３０が第１光センサ３０ａとなり、他方、主に光センサ素子３２及びこの光センサ素子３２を覆うように設けられている光学フィルタ３４とで構成されている上記光センサ３０が第２光センサ３０ｂとなる。
　言い換えると、本実施の形態の光センサ３０は、第１光センサ３０ａと第２光センサ３０ｂとに分類することができる。そして、この第１光センサ３０ａと第２光センサ３０ｂとは、互いに同じ光センサ素子３２を有しているものの、一方の光センサ素子３２のみにそれを覆う光学フィルタ３４が設けられているため、上記第１光センサ３０ａと、上記第２光センサ３０ｂとでは、その分光感度特性が異なる。
　なお、分光感度特性が異なる２つの光センサ３０を形成する方法としては、特には限定されないが、例えば、特性の異なる光学フィルタ３４を２種類用意して、その各々を上記光センサ素子３２を覆うように設ける構成なども考えられる。
　また、光センサ素子３２の分光感度特性自体を異ならせる構成も考えられる。
　本実施の形態の液晶表示装置１００においては、上記光センサ３０が各画素領域に設けられることでエリアセンサが実現される。
　ここで、本実施の形態の液晶表示装置１００では、その最表面である上記保護板１２の表面が、エリアセンサにおける検出対象面４０となる。
　そして、この検出対象面４０の特定の位置に指や入力ペンなどのセンシング対象４２が接触した場合に、その位置を光センサ３０が読み取り、装置に対して情報を入力したり、目的とする動作を実行させたりすることができる。このように、本実施の形態の液晶表示装置１００では、上記光センサ３０によりタッチパネル機能を実現することができる。
　（光センサ素子）
　上記光センサ素子３２は、フォトダイオードやフォトトランジスタなどで形成されている。そして、受光した光の強度に応じた電流を流すことで、受光量を検知する。ＴＦＴ及び光センサ素子３２は、アクティブマトリクス基板２２上に、互いにほぼ同一のプロセスによりモノリシックに形成されたものであってもよい。つまり、光センサ素子３２の一部の構成部材は、上記ＴＦＴの一部の構成部材と同時に形成されてもよい。このような光センサ素子３２の形成方法は、従来公知の光センサ素子内蔵型の液晶表示装置の製造方法に準じて行うことができる。
　上記の通り、本実施の形態の液晶表示装置１００には、２種類の光センサ３０（第１光センサ３０ａ、第２光センサ３０ｂ）が備えられている。そして、上記第１光センサ３０ａ及び第２光センサ３０ｂは、後に説明するように、マトリクス状に配列された画素に千鳥状、言い換えると市松模様状に配置されている。そして、互いに嵌合可能な位置に配置されている。詳細については後に説明する。
　なお、本発明では、必ずしも光センサ素子３２は一画素ごとに設けられていなくてもよく、例えば、Ｒ，Ｇ，Ｂのうちのいずれか１つのカラーフィルタを有する画素ごとに光センサ素子３２が備えられている構成であってもよい。
　（制御回路）
　つぎに、本実施の形態の液晶表示装置１００における制御回路にについて説明する。
　上記図１に示すように、上記液晶表示装置１００には、上記液晶パネル２０に対して表示駆動を行う液晶駆動回路６０、及び上記エリアセンサを駆動すると共に、位置検出部としても機能するエリアセンサ制御部７０とが備えられている。
　そして、上記エリアセンサ制御部７０には、タイミング発生回路７２、エリアセンサ駆動回路７４、エリアセンサ読出回路７６、画像データ処理回路７８、座標抽出回路８０、及び、インターフェース回路８２が設けられている。
　（各回路）
　タイミング発生回路７２は、上記各回路の動作を同期させて制御するためのタイミング信号を発生させる。
　エリアセンサ駆動回路７４は、各光センサ３０を駆動するための電源を、各光センサ３０に供給する。
　エリアセンサ読出回路７６は、受光量に応じて異なる値の電流を流す光センサ３０から受光信号を受け取り、受光量を算出する。
　画像データ処理回路７８は、上記２種の光センサ３０、すなわち、第１光センサ３０ａが検知したセンサ画像（第１光センサ画像）と、第２光センサ３０ｂが検知したセンサ画像（第２光センサ画像）とに基づいて演算処理を行う。この画像データ処理回路７８の演算処理により、本実施の形態の液晶表示装置１００では、センシング対象の正確な位置及び状態を検出することが可能になる。詳細は後に説明する。
　座標抽出回路８０は、上記エリアセンサ読出回路７６で算出された各光センサ３０の受光量、及び、上記画像データ処理回路７８の演算処理に基づいて、液晶表示装置１００における上記検出対象面４０に対してタッチした指等のセンシング対象４２の座標を算出する。
　インターフェース回路８２は、上記座標抽出回路８０において算出された指の座標の情報を、液晶表示装置１００内の他の制御部（例えば、液晶駆動回路６０など）へ出力する。
　上記液晶表示装置１００は、上記のような構成を有していることで、液晶表示装置１００の最表面である上記検出対象面４０の表面に指又は入力ペン等のセンシング対象４２がタッチした場合に、液晶パネル２０内に形成された光センサ３０が、上記センシング対象４２を画像として捉えて、入力位置を検出することができる。
　（２種の光センサ）
　つぎに本実施の形態の液晶表示装置１００の特徴である２種の光センサについて説明する。
　本実施の形態の液晶表示装置１００では、第１光センサ３０ａが検知した上記第１光センサ画像と、第１光センサ３０ａの当該検知と同時に第２光センサ３０ｂが検知した上記第２光センサ画像とに基づいて、外光による影響が低減させることで、バックライトからの光のみによる画像により近い画像を得ることができる。
　そして、この得られた画像に基づいて入力位置が検出される。そのため、センシング対象４２が移動した場合でも、正確な位置入力の検出が可能となる。以下、順に説明する。
　上述のように、上記第１光センサ３０ａと第２光センサ３０ｂとでは、分光感度特性が異なっている。これは、上記第１光センサ３０ａの光センサ素子３２は光学フィルタで覆われていないのに対して、上記第２光センサ３０ｂの光センサ素子３２は上記光学フィルタ３４で覆われているためである。
　図２は、本実施の形態における光センサ素子の分光感度特性を示す図である。図２に示すように、上記光センサ素子は、可視域と赤外域との光に反応するような分光感度特性を有している。
　図３は、本実施の形態における光学フィルタの透過率特性を示す図である。図３に示すように、上記光学フィルタは、可視域の光はほとんど透過させず、これに対して赤外域の光を良く透過させる。
　そして、本実施の形態の液晶表示装置１００においては、第２光センサ３０ｂの光センサ素子３２が、上記光学フィルタ３４で覆われている。
　図４の（ａ）及び（ｂ）は、それぞれ第１光センサの分光感度特性及び第２光センサの分光感度特性を示している。
　上記の通り、第１光センサ３０ａには上記光学フィルタ３４が設けられていない。すなわち、上記第１光センサ３０ａの光センサ素子３２は上記光学フィルタ３４で覆われていない。そのため、上記第１光センサ３０ａの分光感度特性は、図４の（ａ）に示すように、光センサ素子３２の分光感度特性と同様である。具体的には、上記第１光センサ３０ａは、可視域の光と赤外域の光とに主に反応する。
　これに対して、第２光センサ３０ｂには上記光学フィルタ３４が設けられている。すなわち、上記第２光センサ３０ｂの光センサ素子３２は上記光学フィルタ３４で覆われている。そのため、上記第２光センサ３０ｂの分光感度特性は、図４の（ｂ）に示すように、主に赤外域の光に対して反応する特性となっている。
　以上のように、本実施の形態の液晶表示装置１００には、可視域と赤外域との光に主に反応する第１光センサ３０ａと、赤外域の光に主に反応する第２光センサ３０ｂとの２種類の光センサ３０が設けられている。
　（光学フィルタ）
　つぎに、上記光学フィルタ３４について説明する。
　先に説明した通り、本実施の形態の光学フィルタ３４は、可視域の光はほとんど透過させず、これに対して赤外域の光を良く透過させるものである。このような光学フィルタ３４の形成方法は、特には限定されないが、例えば、下記の方法を用いることができる。
　以下の方法は、カラー表示用のカラーフィルタを組み合わせて光学フィルタ３４を形成する方法である。
　図５は、カラーフィルタの透過率特性を示している。図５に示すように、赤（Ｒ）のカラーフィルタ（赤フィルタ）は５７０ｎｍ以上の波長域の光を良く透過し、緑（Ｇ）のカラーフィルタ（緑フィルタ）は５４０ｎｍ近傍の光を良く透過し、青（Ｂ）のカラーフィルタ（青フィルタ）は４４０ｎｍ近傍の光を良く透過する。
　そして、図６の（ａ）～（ｃ）に、上記各カラーフィルタを組み合わせて得られたフィルタの透過率特性を示す。詳しくは、図６の（ａ）は上記赤フィルタと上記緑フィルタとを組み合わせて得られたＲＧフィルタの透過率特性を示し、図６の（ｂ）は上記緑フィルタと上記青フィルタとを組み合わせて得られたＧＢフィルタの透過率特性を示し、図６の（ｃ）は上記赤フィルタと上記青フィルタとを組み合わせて得られたＲＢフィルタの透過率特性を示している。
　上記図６の（ａ）に示すように、上記ＲＧフィルタは６００ｎｍ近傍の光と、赤外域の光とを透過する。また、上記図６の（ｂ）に示すように、上記ＧＢフィルタは５００ｎｍ近傍の光と、赤外域の光とを透過する。また、上記図６の（ｃ）に示すように、上記ＲＢフィルタは、赤外域の光を透過し、可視域の光はほとんど透過しない。
　そして、本実施の形態の液晶表示装置１００では、上記光学フィルタ３４として、上記ＲＢフィルタを用いている。
　なお、分光感度特性の異なる２種類の光センサ３０について、その分光感度特性の組合せは、上記可視域・赤外域と赤外域との組合せに限定されるものではない。
　他の組合せとしては、例えば可視域と紫外域との組合せ等が考えられる。
　（光センサの配置）
　つぎに、光センサ３０の配置について説明する。図７の（ａ）～（ｃ）は、本発明の実施の形態の光センサの配置を説明するための図であり、図７の（ａ）は画素の配置を示し、図７の（ｂ）は光学フィルタの配置を示し、図７の（ｃ）は各光センサの配置を示している。
　図７の（ａ）に示すように、本実施の形態における液晶パネル２０には、画素３６がマトリクス状に配置されている。そして、上記各画素３６に、光センサ素子３２が設けられている。
　本実施の形態における光センサ３０には、上記の通り、第１光センサ３０ａと、第２光センサ３０ｂとが含まれている。そして、上記第１光センサ３０ａと、上記第２光センサ３０ｂとは、上記光センサ素子３２が、上記光学フィルタ３４で覆われているか否かにより区別されている。上記図７の（ｂ）は、その光学フィルタ３４の配置を示す図である。上記図７の（ｂ）に示すように、上記光学フィルタ３４は、千鳥状、言い換えると市松模様状に配置されている。
　そして、上記の様に配置された光学フィルタ３４が、上記マトリクス状に配置された光センサ素子３２に重ね合わされる。言い換えると、マトリクス状に配置された光センサ素子３２のなかで、上記光学フィルタ３４が配置された位置にあたる光センサ素子３２のみが、上記光学フィルタ３４で覆われる。そして、上記光学フィルタ３４で覆われた光センサ素子３２が第２光センサ３０ｂとなり、上記光学フィルタ３４で覆われない光センサ素子３２が第１光センサ３０ａ（図７の（ａ）及び（ｂ）に示すＡ）となる。
　その結果、上記図７の（ｃ）に示すように、第１光センサ３０ａと第２光センサ３０ｂとは、上記光学フィルタ３４の配置と同様に、千鳥状、言い換えると市松模様状に交互に配置される。
　（センサ画像の検知）
　つぎに、上記光センサ３０によるセンサ画像の検知について説明する。
　図８は、本発明の実施の形態の光センサが検知するセンサ画像を説明するための図であり、図８の（ａ）は光センサ、詳しくは、第１光センサと第２光センサとが検知する画像である分離前光センサ画像を示し、図８の（ｂ）は第１光センサが検知する画像である第１光センサ画像を示し、図８の（ｃ）は第２光センサが検知する画像である第２光センサ画像を示している。
　本実施の形態の液晶表示装置１００では、例えば総計１１８×２１１個の光センサ３０が配置されている場合、上記光センサ３０が検知した分離前光センサ画像１１０から、上記第１光センサ３０ａが検知した第１光センサ画像１１２と、上記第２光センサ３０ｂが検知した第２光センサ画像１１４とを分離して上記分離前光センサ画像１１０から抜き出す。
　上記第１光センサ画像１１２は、上記光学フィルタ３４を介さずに上記光センサ素子３２が直接検出したセンサ画像である。そのため、上記第１光センサ画像１１２は、可視域の光と赤外域の光とを光源とする画像となる。
　これに対して上記第２光センサ画像１１４は、上記光学フィルタ３４を介して上記光センサ素子３２が検出したセンサ画像である。そのため、上記第２光センサ画像１１４は、赤外域の光とを光源とする画像となる。
　（バックライト）
　つぎに、本実施の形態の液晶表示装置１００の上記バックライト１０について説明する。
　上記バックライト１０は、可視域の光と赤外域の光との２種類の光を出射可能に構成されている。そして、上記可視域の光と上記赤外域の光とは、共に常時出射されている。
　なお、上記バックライト１０から出射される光の種類は、上記可視域の光と赤外域の光とに限定されるものではない。バックライト１０から出射される光は、光センサ３０の分光感度特性などに応じて決定される。
　具体的には、設けられた光センサのなかで、少なくとも１種の光センサが反応する波長の光を出射することができるように、上記バックライト１０は構成されている。すなわち、上記バックライト１０は、光センサの分光感度特性に対応した光を出射可能に構成されている。
　そして、本実施の形態では、光センサが可視域及び赤外域の光に反応するため、上記バックライト１０は、可視域及び赤外域の光を出射可能に構成されている。特には、上記第２光センサが赤外域の光に反応するため、上記バックライト１０は、バックライト１０本来の表示用光源としての可視域の光のみならず、赤外域の光も出射可能に構成されている。
　また、上記バックライト１０から光が出射されるタイミングも上記常時出射に限定されるものではなく、光センサの構成や分光感度特性に応じて、適宜設定することができる。
　（位置の検出）
　つぎに、本実施の形態の液晶表示装置１００におけるセンシング対象の位置の検出について説明する。
　上記液晶表示装置１００においては、上記２個のセンサ画像（第１光センサ画像１１２と第２光センサ画像１１４）に基づいて外光成分を除去して、センシング対象の正確な位置及び状態が検出（位置検出）される。
　まず、上記位置検出の概要について説明する。
　図９の（ａ）から（ｃ）は、センシング対象の位置検出の概要を説明するための図であり、図９の（ａ）はセンシング対象４２と接触点４４との関係を示している。詳しくは、図９の（ａ）の上段は、液晶表示装置１００の液晶パネル２０上に、センシング対象４２としての指が置かれた状態を示し、接触点４４は、上記指と液晶パネル２０とが接触している領域を示している。
　そして、図９の（ａ）の下段は、センサ画像を処理した後に得られる補正後光センサ画像１１６において、上記接触点４４が、バックライト反射イメージとして抽出される様子を示している。
　図９の（ｂ）の下段は、センシング対象４２が上記図９の（ａ）と同様に液晶パネル２０に置かれた状態における、第１光センサ３０ａからの光センサ出力値（アウトプット。受光した光の強度に比例。）である第１光センサ出力値１３０を示している。
　図９の（ｂ）に示すように、上記第１光センサ出力値１３０は、主に、バックライト反射イメージ成分１３４と影成分１３６と背景画像成分１３８とに分けることができる。
　そして、上記バックライト反射イメージ成分１３４は、上記接触点４４に対応している。
　また、上記影成分１３６は、外光に対する上記センシング対象４２による影の部分である影部分４６に対応している。
　また、上記背景画像成分１３８は、上記液晶パネル２０において、上記センシング対象４２が置かれていない部分である背景部分４８に対応している。
　また、図９の（ｃ）は、上記図９の（ｂ）に示す内容と同一の内容を、第２光センサ３０ｂについて示したものである。
　先に説明した通り、第１光センサ３０ａと第２光センサ３０ｂとでは、分光感度特性が異なる。そのため、同時に検出したセンサ画像（第１光センサ画像１１２・第２光センサ画像１１４）であっても、そのセンサ画像に対する光センサ出力値（第１光センサ出力値１３０・第２光センサ出力値１３２）が相違する。
　具体的には、光センサ出力値の概略形状はほぼ同じであるものの、特に、上記背景画像成分１３８に対する出力値が異なる。
　以下、光源との関係で説明する。本実施の形態においては、光センサの光源としては、主に、太陽光や照明などからの外光と、バックライト１０からの出射光とがあげられる。そして、先に説明した通り、本実施の形態におけるバックライト１０は、可視域及び赤外域の光を出射する。
　（背景画像成分）
　まず、上記背景画像成分１３８について説明する。上記背景画像成分１３８は、上記の通り、背景画像１２０に対応する。そのため、光源は主に上記外光となる。そして、第１光センサ３０ａは、可視域及び赤外域の光に反応するのに対して、第２光センサ３０ｂは、赤外域の光のみに反応するので、光センサ出力値は、第１光センサ出力値１３０の方が、第２光センサ出力値１３２よりも高くなる。すなわち、第１光センサ出力値１３０における背景画像成分１３８の光センサ出力値（図９の（ｂ）に示すａ）の方が、第２光センサ出力値１３２における背景画像成分１３８の光センサ出力値（図９の（ｃ）に示すｂ）よりも高くなる。
　なお、上記背景部分４８にはセンシング対象４２がないので、バックライト１０から出射した光は、光センサのセンシングに対する光源にならない。
　（影成分）
　つぎに、上記影成分１３６について説明する。上記影成分１３６は、上記影部分４６に対応しているため、光センサのセンシングに対する光源としては、上記外光とバックライト１０からの出射光とがあげられる。
　そして、上記接触点４４に近い部分では、センシング対象４２によるバックライト１０の出射光の反射が比較的強くなるので、光センサにバックライト１０の出射光が入射しやすい。これに対して、上記外光は、上記センシング対象４２の影になるので、光センサに入射しにくい。
　そのため、上記接触点４４に近い部分では、主にバックライト１０の出射光が、センシングの光源となる。
　他方、上記接触点４４から遠い部分では、センシング対象４２と液晶パネル２０との距離が遠くなるので、バックライト１０の出射光のセンシング対象４２による反射が比較的弱くなる。そのため、光センサにバックライト１０の出射光は入射しにくくなる。これに対して、上記外光は、上記センシング対象４２の影になりにくくなるので、光センサに入射しやすくなる。
　そのため、上記接触点４４に遠い部分では、主に外光がセンシングの光源となる。
　（バックライト反射イメージ成分）
　つぎに、バックライト反射イメージ成分１３４について説明する。
　このバックライト反射イメージ成分１３４は、上記接触点４４に対応するものである。そのため、光センサのセンシングの光源は、上記バックライト１０からの出射光となる。
　そして、センシング対象４２と液晶パネル２０とが接触しているため、上記バックライト１０の出射光の上記センシング対象４２による反射は、より強くなる。
　そのため、上記図９の（ａ）及び（ｂ）に示すように、バックライト反射イメージ成分１３４は、光センサ出力値のピークとなる。
　（画像補正処理）
　そして、先に図９の（ａ）に示したように、接触点４４に対応するバックライト反射イメージ１２２を正確にとられるためには、上記バックライト反射イメージ成分１３４を上記光センサ出力値から分離する必要がある。
　そして、本実施の形態においては、上記第２光センサ出力値１３２から、上記第１光センサ出力値１３０の一定倍（Ｋ倍：Ｋは感度比率係数）を差し引くことで、上記バックライト反射イメージ成分１３４を分離することができる。
　これは、同一光源のもとでは可視域の光と赤外域の光との比率に相関関係があるためである。
　そこで、赤外域の光に対する光センサ出力値から、赤外域及び可視域の光に対する光センサ出力値のＫ倍を差し引く。
　これにより、光センサ出力値から、上記影成分１３６と背景画像成分１３８をキャンセルして、上記バックライト反射イメージ成分１３４を取り出すことができる。
　ここで、上記感度比率係数Ｋは、光源などにより異なるが、以下に説明する方法で求めることができる。
　（Ｋの算出方法１）
　この算出方法は、上記背景部分４８における光センサの平均画素出力値、すなわち、上記背景画像１２０に対応する光センサ出力値である背景画像成分１３８の値に基づいて上記Ｋを算出する方法である。
　すなわち、上記算出方法の基本的な考え方は、先に図９の（ｂ）でａとして示した第１光センサ出力値１３０における背景画像成分１３８の光センサ出力値と、図９の（ｃ）でｂとして示した第２光センサ出力値１３２における背景画像成分１３８とについて、　ｂ－Ｋ×ａ＝０　となるようにＫを求めるというものである。
　光センサ出力におけるダイナミックレンジの観点、言い換えると光センサが受光した光の強度の最大値と最小値との差（幅）との観点から、上記Ｋの算出方法の具体例を式で示すと、
　Ｋ＝（（第２光センサの最大出現値）－（第２光センサの最低出現値））／（（第１光センサの最大出現値）－（第１光センサの最低出現値））　のように示すことができる。
　ここで、先に説明した通り、上記第１光センサは可視・赤外光センサ（以下、第１光センサを可視光センサと記す場合もある）として機能し、上記第２光センサは赤外光センサ（以下、第２光センサをＩＲ光センサと記す場合もある）として機能する。
　また、上記最大出現値、及び、最低出現値は、必ずしも文字通りの最大値及び最底値である必要はなく、例えば、異常点を排除するなどの観点から、一定領域における平均値、例えば、出力最大領域平均値や出力最低領域平均値とすることができる。
　それらを踏まえると、上記式は、例えば、
　Ｋ＝（（ＩＲ光センサ最大出現値（ＭＯＤ値））－（ＩＲ光センサ出力最低領域平均値））／（（可視光センサ最大出現値（ＭＯＤ値））－（可視光センサ出力最低領域平均値））　と示すこともできる。なお、上記ＭＯＤは、モジュロ演算（ＭＯＤ：ｍｏｄｕｌｏの略）を意味する。
　そして、上記方法で求めたＫを用いて、補正後光センサ画像１１６を求める。すなわち、上記第１光センサ画像１１２と上記第２光センサ画像１１４とに基づく画像補正、具体的には画像差分（空間分割画像差分方式：ＩＲ－ＢＬ方式）を行うことで、補正後光センサ画像１１６を求める。
　具体的には、補正後光センサ画像（補正画像）＝第２光センサ画像－Ｋ×第１光センサ画像　により、上記画像補正を行う。
　別の表現を用いると、
　第２光センサ出力値（ＩＲ光センサ出力値）－Ｋ×第１光センサ出力値（可視光センサ出力値）により、上記補正画像としての差分画像を求めることができる。
　なお、後のデータ処理において不都合が生じないように、得られた上記補正画像に、例えば１００等の値を、かさ上げ補正値として均一に加えることもできる。
　式で示すと、例えば、
　補正画像＝ＩＲ光センサ出力値－Ｋ×可視光センサ出力値＋かさ上げ補正値１００　のように示すことができる。
　（差分画像）
　上記画像補正処理の結果を図示する。
　図１０の（ａ）は第１光センサ画像を示し、図１０の（ｂ）は第２光センサ画像を示し、図１０の（ｃ）は補正後光センサ画像を示している。詳しくは、各々について、光センサ画像と、それに対応した光センサ出力を立体的に表現したグラフとを示している。
　また、センシング対象４２としては、先のとがった入力ペンを用いている。
　上記図１０の（ｃ）に示すように、画像補正処理を行い差分画像を求めることで、光センサ画像の中でバックライト反射イメージ１２２が明確になっている。言い換えると、光センサ出力の中で、バックライト反射イメージ成分１３４が明確になっている。
　つづいて、光源やセンシング対象を変えた場合の光センサ画像及び補正後光センサ画像としての差分画像を例示する。
　図１１及び図１３は光源をセンシング対象の真上に置いた場合を示し、図１２及び図１４は多光源を用いた場合を示している。
　また、図１１及び図１２はセンシング対象として指を用いた場合を示しており、図１３及び図１４はセンシング対象として先のとがった入力ペンを用いた場合を示している。
　また、図１１及び図１２は非タッチの場合のセンシング対象と液晶パネルとの距離が５ｍｍの場合を示しており、図１３及び図１４は上記距離が１ｍｍの場合を示している。
　上記各図に示すように、差分画像を求めることで、バックライト反射イメージ１２２及びバックライト反射イメージ成分１３４が明確になっている。
　また、センシング対象が変わることによる接触点の大きさの変化によらず、上記バックライト反射イメージ１２２及びバックライト反射イメージ成分１３４は明確化されている。
　また、図１２等に示すように、光源が多光源であり、影が複数生じる場合であっても、バックライト反射イメージ１２２及びバックライト反射イメージ成分１３４の分離が良好に行われている。
　（画像補正処理のフロー）
　つぎに、画像補正処理のフローの概略について説明する。図１５は、本実施の形態の液晶表示装置１００の画像補正処理のフローの概略を示す図である。
　上記図１５に示すように、まず、第１光センサ３０ａと第２光センサ３０ｂとが千鳥状に配置された光センサ３０（千鳥パネルの光センサ）により検知された画像である分離前光センサ画像１１０のデータを読み出す。そして、読み出したデータ（読出しデータ）を、第１光センサ３０ａによる第１光センサ画像１１２と、第２光センサ３０ｂによる第２光センサ画像１１４とに分ける。言い換えると、上記分離前光センサ画像１１０から、ＩＲ光センサが検知した画像を抜き出す（赤外千鳥抜出）と共に、可視光センサが検知した画像を抜き出す（可視千鳥抜出）。
　そして、上記第１光センサ画像１１２及び第２光センサ画像１１４について、光センサ出力についてのヒストグラムを作成する（ヒストグラム作成）。つづいて、このヒストグラムから、上記背景部分４８における光センサの平均画素出力値である背景画素値を求める（明るさ推定）。
　そして、上記背景画素値に基づいて、先に説明したＫを求める（赤外と可視光の背景画素比算出判定）。このＫの値の算出は、例えばＡＲＭにおいて行われる（ＡＲＭ処理）。
　そして、算出されたＫの値は乗算器に送られ、この乗算器で上記第１光センサ画像１１２に上記Ｋが乗算される。
　そして、上記第２光センサ画像１１４と、乗算後の上記第１光センサ画像とから、補正後光センサ画像１１６が求められる。この処理は、ハードウェア処理として、先に図１で説明した画像データ処理回路（赤外反射成分＝赤外光成分－可視光影成分）７８で行われる。
　そして、この補正後光センサ画像１１６は、先に図１で説明した座標抽出回路８０に送られ、そこで、センシング対象がタッチした位置が求められる。
　（補間）
　上記フローにおいて、第１光センサ画像１１２は、上記乗算される前に、補間されることが好ましい。以下、補間の内容について、補間の概略を示す図である図１６に基づいて説明する。
　本実施の形態においては、第１光センサ３０ａが千鳥状に配置されていため、上記第１光センサ画像１１２も千鳥状にデータが配置された画像（千鳥画像）となっている。そこで、注目画素Ｐ（ｉ，ｊ）について、その周辺に位置する４個の画素（周辺画素）から、データのない画素のデータを補間する。
　すなわち、上記注目画素Ｐは第１光センサ３０ａが設けられていない画素であり、データが得られない。そこで、上記注目画素Ｐと取り囲む画素であり、第１光センサ３０ａが設けられている画素である上記周辺画素のデータから、上記注目画素Ｐのデータを補間する。
　具体的には、上記図１６に示す式のように、上記４個の周辺画素のデータを平均する。
　なお、上記説明は、第１光センサに基づいて行ったが、第２光センサに関しても、同様の補間を行うことが可能である。
　光学フィルタ３４が設けられていない部分でも、設けられている部分でも、同様の処理が可能である。
　（光源とＫ）
　つぎに、光源とＫの値とについて説明する。
　本実施の形態においては、Ｋの値は、光源の種類（蛍光灯、太陽光、白熱灯など）や、光源の条件（例えば光源が太陽光である場合に、日向であるか日陰であるかなど）などにより変化する。
　図１７は、光源とＫの値との関係を例示する図である。
　上記図１７に示すように、光源が白熱灯である場合（Ｋ１）と太陽光である場合（Ｋ２）とでは、白熱灯である場合の方が、Ｋの値が大きくなる。
　〔実施の形態２〕
　本発明の液晶表示装置１００の第２の実施形態について、説明すれば、以下のとおりである。
　なお、説明の便宜上、上記実施の形態１で説明した図面と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　本実施の形態は、実施の形態１と、画像補正処理におけるＫの算出方法が相違する。以下、説明する。
　（Ｋの算出方法２）
　本実施の形態におけるＫの算出方法と、上記実施の形態１におけるＫの算出方法とでは、上記背景画像成分１３８の値に基づいて上記Ｋを算出することで、上記背景画像成分１３８や上記影成分１３６の影響を少なくして、センシング対象の正確な位置等を検出しやすくするとの基本的な考え方は同じである。
　しかし、その背景画像成分１３８の取り出し方が異なる。そして、本実施の形態においては、例えば、センサ画像のなかで、上記センシング対象４２の影の部分である上記影部分４６がその多くを占める場合などに、より好ましいＫの値を算出することが可能になる。以下、説明する。
　図１８の（ａ）及び（ｂ）は、画像補正処理を説明するための図であり、図１８の（ａ）はＩＲ光センサ画像を示し、図１８の（ｂ）は可視光センサ画像を示している。
　例えば、上記図１８の（ａ）に示すＩＲ光センサ画像において、取得したい背景画像成分１３８の値である背景画素値は、階調を０から２５５階調とした場合には、１２／２５５である。
　ここで、上記背景画素値を、ヒストグラムに基づいて求めると、その値は１２／２５５にはならず、例えば、３５／２５５等となる。
　すなわち、例えば、ヒストグラムの上位６０％の位置をもって、背景画素値を求めると、上記図１８の（ａ）のヒストグラムにおける網掛け部分に示すように、３５／２５５が上記背景画素値となる。
　これは、上記図１８の（ａ）に示す画像では、画面の中で、上記影画像１２４が占める部分が多いためによる。すなわち、例えばマルチタッチ時のように、手の平でセンサの検出対象面４０の半分以上を遮る場合など、画面の中での、上記影画像１２４の比率が高くなる。
　そして、この様な状態において、センサ出力値における高階調側から一定の範囲を抽出することで上記背景画素値を求めようとすると、上記範囲に上記影画像１２４が多く入り、正確な背景画素値を求めることが困難になる。
　このことは、上記図１８の（ｂ）に示す、可視光センサ画像に於いても同様である。
　すなわち、上記図１８の（ｂ）に示すように、可視光センサ画像に於いて、取得したい背景画素値は、７０／２５５であるのに対して、上記ヒストグラムに基づいて算出する方法では、１２／２５５となる。
　そこで、本実施の形態においては、上記影画像１２４に相当する部分にマスクをして、可及的に背景画像１２０に関する部分のみに基づいて、上記背景画素値を求める。
　以下、図１９に基づいて説明する。図１９は、本実施の形態における、画像補正処理のフローの概略を示す図である。
　上記図１９に示すように、本実施の形態においては、まず、可視光センサ画像をＩＲ光センサ画像で除する（除算）。
　その際、本実施の形態では、ＩＲ光センサ画像に５を加えた上で除している。これは、ＩＲ光センサ画像の値が０に近いところで除算するときの誤差を少なくするためである。したがって、上記除算の際に、必ずしも、一定数を加えた上で除算する必要はない。
　そして、上記除算により得られた結果が、上記図１９に示す除算後光センサ画像１１８である。
　ここで、上記背景画像１２０にあたる部分では、上記センシング対象による反射などを考慮する必要がないため、可視光に基づくセンサ出力値と、赤外光に基づくセンサ出力値とが相関する。この部分が、図１９の除算後光センサ画像１１８における外光部（可視と赤外光との相関部）である。
　一方、影画像１２４にあたる部分では、上記可視光に基づくセンサ出力値と、赤外光に基づくセンサ出力値とが相関しない。この部分が、図１９の除算後光センサ画像１１８における反射部（可視と赤外光との非相関部）である。
　ここで、上記除算後光センサ画像１１８についてヒストグラムを作成すると、２個の山が観察される。
　その１個は、センサ出力において、約４５／２５５にピークを持つ、シャープな山であり、他方は、センサ出力において約１１５／２５５にピークを持つ、ブロードな山である。
　ここで、上記２個の山のうち、シャープなピークを持つ山は、上記外光部に対応し、他方のブロードなピークを持つ山は、上記反射部に対応する。
　すなわち、上記外光部では、先に説明した通り、可視光と赤外光との相関があるため、ピークの形状がシャープになる。他方、上記反射部では、可視光と赤外光とに相関がないので、ピークの形状がブロードになる。
　そこで、上記外光部の画像のみを取り出すために、上記反射部にマスクをかける。
　具体的には、上記２個の山の境目であるセンサ出力値７６／２５５を閾値として２値化する。そして、上記７６／２５５以上の領域にマスクを施し、上記７６／２５５未満の領域のみを取り出す。
　そして、取り出された画像が、上記図１９に示すマスク後可視光センサ画像と、マスク後ＩＲセンサ画像である。
　そして、上記のようにして抽出された背景画像のみに基づいて、上記Ｋを算出する。具体的には、マスク後ＩＲセンサ画像をマスク後可視光センサ画像で除することで、上記Ｋを算出する。
　つぎに、上記方法で得られた補正後光センサ画像などについて説明する。図２０の（ａ）及び（ｂ）は、本実施の形態の画像補正処理の結果を説明するための図であり、図２０の（ａ）はセンシング対象が入力ペンである場合を示し、図２０の（ｂ）はセンシング対象が指である場合を示している。
　そして、図２０の（ａ）及び（ｂ）は、いずれも太陽光を光源として、窓際に液晶表示装置１００を置いた場合を示している。
　本実施の形態の画像補正処理では、光源が強いため、影が強く、また影がブロードに生じる場合でも、正確にバックライト反射イメージをとらえることができる。
　（画像補正処理のフロー）
　つぎに、画像補正処理のフローの概略について説明する。図２１は、本実施の形態の液晶表示装置１００の画像補正処理のフローの概略を示す図である。
　以下の説明では、上記実施の形態１において、図１５に基づいて説明した画像補正処理のフローと相違する点を中心に説明する。
　本実施の形態における上記フローでは、ヒストグラム作成前に、第１光センサ画像（可視光センサ画像）１１２及び第２光センサ画像（ＩＲ光センサ画像）１１４にマスクが施される。
　そして、上記マスクを決定するために、除算器において、可視光センサ画像／赤外光センサ画像の除算が行われる。
　そして、上記除算の結果、及び、先に図１９に基づいて説明した外光部（可視光と赤外光の相関部）と反射部（可視光と赤外光の非相関部）とを分ける閾値（比率閾値Ｋ０）が、ＣＭＰ（Ｃｏｍｐａｒａｔｏｒ、比較器）に入力される。
　そして、上記ＣＭＰで決定されたマスクが、図２１に示す＆＆において第１光センサ画像（可視光センサ画像）１１２及び第２光センサ画像（ＩＲ光センサ画像）１１４に施され、マスク後可視光センサ画像及びマスク後ＩＲセンサ画像が得られる。
　そして、このマスク後可視光センサ画像及びマスク後ＩＲセンサ画像に基づいて、ヒストグラムが作成される。
　それ以降のフローは、先に図１５に基づいて説明した、実施の形態１におけるフローと同様である。
　（光源とＫ）
　つぎに、光源とＫの値とについて、光源とＫの値との関係を例示する図である図２２に基づいて説明する。
　本実施の形態においては、上記図２２に示すように、前記実施の形態１と異なり、画像補正処理において、除算後光センサ画像を２値化するための閾値Ｋ０が必要となる。
　（写り込み補正）
　なお、本発明の液晶表示装置１００においては、表示画像に基づく補正を行うこともできる。以下、図２３及び図２４に基づいて説明する。上記図２３は、表示画像に基づく補正を行う際の、画像補正処理の概要を示す図である。また、上記図２４は、上記補正を行う際の、画像補正処理のフローの概略を示す図である。
　光センサが受光する光の強度は、液晶表示装置１００に表示されている表示画像１５０の影響を受ける場合がある。具体的には、表示画像の輝度（階調）が画面内で均一でない場合、例えば、高輝度の部分に対応する光センサは、低輝度の部分に対応する光センサよりも、受光する光の強度が強くなる。
　このように、光センサが受光する光の強度が、表示されている表示画像１５０の影響を受けると、正確な位置の検出等が困難になる場合がある。
　そこで、上記図２３に示すように、表示画像１５０を、Ｒ・Ｇ・Ｂ画像に分解し、各画像にそれぞれ写り込み係数をかけて再合成することで、写り込み補正画像１５２を得る。
　そして、先に説明した、ＩＲ光センサ画像（Ａ）－Ｋ＊可視光センサ画像（Ｂ）との補正処理に加えて、上記写り込み補正画像（Ｃ）を差し引く処理を行う。
　具体的には、ＩＲ光センサ画像（Ａ）－Ｋ＊可視光センサ画像（Ｂ）－写り込み補正画像（Ｃ）　との処理を行う。
　そして、上記処理により、認識用合成画像１５４を得る。
　この認識用合成画像１５４に基づいて、上記位置の検出を行うことで、表示画像１５０の影響を低減することができ、その結果、表示画像１５０によらず、正確な位置検出が可能になる。
　上記画像補正処理を行うためには、例えば図２４に示すような画像処理のフローを用いることができる。先に、図１５及び図２１に基づいて説明した画像処理フローとの相違点を中心に説明する。
　図２４に示すように、本処理フローでは、乗算器に、上記表示画像１５０に基づいて求められた写り込み補正値としての上記写り込み補正画像（Ｃ）が入力される。
　そして、上述の通り、上記乗算器において、ＩＲ光センサ画像（Ａ）－Ｋ＊可視光センサ画像（Ｂ）－写り込み補正画像（Ｃ）　との処理が行われることで、上記認識用合成画像１５４が求められる。
　なお、本発明は上記した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
　また、本発明のエリアセンサは、
　上記第１光センサと上記第２光センサとは、同時に光を受光することを特徴とする。
　上記構成によれば、上記第１光センサと上記第２光センサとが、同時に光を受光する。そして、上記受光した光に基づいた画像から入力位置が検出される。
　そのため、入力位置が移動する場合でも、正確な位置検出が可能となる。
　また、本発明のエリアセンサは、
　上記第１光センサは、可視域及び赤外域の光を受光する分光感度特性を有しており、
　上記第２光センサは、赤外域の光を受光する分光感度特性を有していることを特徴とする。
　上記構成によれば、可視域の光と、赤外域の光との組合せで、分光感度特性の異なる光センサを構成している。
　そのため、光源として太陽光や室内灯など外光が利用可能である。また、エリアセンサに備えられたバックライト等の光源から赤外域の光を出射させる場合でも、その光が使用者に認識されにくい。そのため、上記エリアセンサが、例えば表示装置の一部として用いられる場合であっても、その表示に影響を及ぼしにくい。
　また、本発明のエリアセンサは、
　上記光センサは、光センサ素子を含んでおり、
　上記第２光センサは、上記第２光センサに含まれている上記光センサ素子が、赤外域の光を選択的に透過させる光学フィルタで覆われていることで、赤外域の光を受光する分光感度特性を有していることを特徴とする。
　上記構成によれば、光センサ素子を覆う光学フィルタとして、赤外域の光を選択的に透過させる光学フィルタを用いる。そのため、赤外域の光を受光する分光感度特性を有している光センサを容易に得ることができる。
　すなわち、光センサの分光感度特性を、光センサに含まれる光センサ素子を覆う光学フィルタの特性を変えることで設定可能な構成においては、光センサ素子を作り変えることなく、光センサの分光感度特性を容易に設定・変更することができる。
　また、本発明のエリアセンサは、
　上記光センサは、マトリクス状に配置されており、
　上記第１光センサと上記第２光センサとは、市松模様状に配置されていることを特徴とする。
　上記構成によれば、分光感度特性が異なる２種類の光センサが、市松模様状、言い換えると互いに嵌合可能な配置で千鳥状に設けられている。
　そのため、上記各光センサに基づく上記検出対象面上の２種の画像が略同様の表示内容を有する。
　そのため、上記２種の画像の差分を求めることが容易になる。
　また、本発明のエリアセンサは、
　上記第１光センサ画像と上記第２光センサ画像との差分を求める際に、少なくとも一方の光センサ画像に一定数を乗算した後に、上記差分を求め、
　上記一定数は、上記各光センサ画像のなかの、上記入力の手段であるセンシング対象が含まれていない部分である背景部分で、上記第１光センサが受光した光の強度と、上記背景部分で上記第２光センサが受光した光の強度とが等しくなるように定められていることを特徴とする。
　上記構成によれば、上記一定数が、センシング対象が含まれていない背景部分で上記第１光センサが受光した光の強度と、上記背景部分で上記第２光センサが受光した光の強度とが等しくなるように定められている。
　そのため、上記各画像の差分を求める際に、上記背景部分をキャンセルすることが容易になる。
　その結果、センシング対象を明確に捉えることができるので、正確な位置の検出が容易になる。
　また、本発明のエリアセンサは、
　上記第１光センサ画像と上記第２光センサ画像との差分を求める際に、少なくとも一方の光センサ画像に一定数を乗算した後に、上記差分を求め、
　上記一定数は、上記第１光センサが受光した光の強度の最大値と最小値との差と、上記第２光センサが受光した光の強度の最大値と最小値との差との比であることを特徴とする。
　上記構成によれば、各光センサにおける最大値と最小値との幅の比が、上記一定数となっている。
　そのため、センシング対象が含まれていない部分である背景部分や、センシング対象の影となる部分である影部分をキャンセルすることが容易になる。
　その結果、センシング対象を明確に捉えることができるので、正確な位置の検出が容易になる。
　なお、上記光の強度は、光センサの出力値にほぼ比例するものである。
　また、異常点としての輝点や暗点の影響を排除するために、上記最大値及び最小値は、厳密な意味での最大値及び最小値とするのではなく、例えば、一定範囲での光の強度の平均を求めることで、最大値や最小値を、最大領域平均値や最低領域平均値として求めることも可能である。
　また、本発明のエリアセンサは、
　上記第１光センサ画像と上記第２光センサ画像との差分を求める際に、少なくとも一方の光センサ画像に一定数を乗算した後に、上記差分を求め、
　上記一定数は、第１光センサが受光した光の強度の中から、上記光センサ画像における、上記入力の手段であるセンシング対象が含まれている部分で第１光センサが受光した光の強度を取り除いた光の強度と、
　第２光センサが受光した光の強度の中から、上記光センサ画像における、上記入力のための手段であるセンシング対象が含まれている部分で第２光センサが受光した光の強度を取り除いた光の強度との比を上記一定数とすることを特徴とする。
　上記構成によれば、センシング対象が含まれていない部分で各光センサが受光した光の強度比が、上記一定数とされる。
　そして、センシング対象が含まれていない上記部分での各強度を、それ以外の部分で各光センサが受光した光の強度を取り除いて求めている。
　そのため、例えば、光センサ画像のなかで、センシング対象が占める部分が多い場合などにおいても、正確な位置の検出が容易になる。
　光センサ画像のなかでセンシング対象が占める部分が多い場合には、上記差分を求める際の上記一定数を、センシング対象が明確になるような値に設定することが困難となる場合がある。センシング対象の占める比率が高いので、センシング対象が含まれない部分（背景部分）での光の強度を正確に捉えることが困難となる場合があるためである。
　ここで、上記構成によれば、センシング対象が含まれていない部分で各光センサが受光した光の強度のみに基づいて、上記一定数が求められる。
　そのため、上記背景部分をキャンセルすることが容易になり、正確な位置の検出が容易になる。
　また、本発明の表示装置は、上記エリアセンサを備える。
　また、本発明の制御プログラムは、上記エリアセンサにおける位置検出部として、コンピュータを機能させる。
　また、本発明のコンピュータ読取可能な記録媒体は上記制御プログラムを格納している。
　本発明は、エリアセンサ機能付きの表示装置に好適に利用することができる。
　　１０　　バックライト　（発光部）
　　３０　　光センサ
　　３０ａ　第１光センサ
　　３０ｂ　第２光センサ
　　３２　　光センサ素子
　　３４　　光学フィルタ
　　３６　　画素
　　４０　　検出対象面
　　４２　　センシング対象
　　７０　　エリアセンサ制御部　（位置検出部）
　　１００　液晶表示装置
　　１１２　第１光センサ画像
　　１１４　第２光センサ画像
　　１１６　補正後光センサ画像
　　１２０　背景画像

Claims (11)

  1. 　検出対象面上の画像を検知することで、外部からの入力位置を検出するエリアセンサであって、
    　受光した光の強度を検知する複数個の光センサと、
    　上記光センサが受光した光の強度に基づいて、上記検出対象面上の画像を検知すると共に、上記入力位置を検出する位置検出部とを備えており、
    　上記光センサには、分光感度特性が異なる少なくとも２種類の光センサである第１光センサと第２光センサとが含まれており、
    　上記２種類の光センサのうち、少なくとも１種類の光センサの分光感度特性に対応した光を出射することが可能なバックライトを備えており、
    　上記位置検出部は、上記第１光センサが受光した光の強度に基づいて検知された上記検出対象面上の画像である第１光センサ画像と、
    　上記第２光センサが受光した光の強度に基づいて検知された上記検出対象面上の画像である第２光センサ画像との差分を求めることで、上記入力位置を検出することを特徴とするエリアセンサ。
  2. 　上記第１光センサと上記第２光センサとは、同時に光を受光することを特徴とする請求項１に記載のエリアセンサ。
  3. 　上記第１光センサは、可視域及び赤外域の光を受光する分光感度特性を有しており、
    　上記第２光センサは、赤外域の光を受光する分光感度特性を有していることを特徴とする請求項１又は２に記載のエリアセンサ。
  4. 　上記光センサは、光センサ素子を含んでおり、
    　上記第２光センサは、上記第２光センサに含まれている上記光センサ素子が、赤外域の光を選択的に透過させる光学フィルタで覆われていることで、赤外域の光を受光する分光感度特性を有していることを特徴とする請求項３に記載のエリアセンサ。
  5. 　上記光センサは、マトリクス状に配置されており、
    　上記第１光センサと上記第２光センサとは、市松模様状に配置されていることを特徴とする請求項１から４のいずれか１項に記載のエリアセンサ。
  6. 　上記第１光センサ画像と上記第２光センサ画像との差分を求める際に、少なくとも一方の光センサ画像に一定数を乗算した後に、上記差分を求め、
    　上記一定数は、上記各光センサ画像のなかの、上記入力の手段であるセンシング対象が含まれていない部分である背景部分で、上記第１光センサが受光した光の強度と、上記背景部分で上記第２光センサが受光した光の強度とが等しくなるように定められていることを特徴とする請求項１から５のいずれか１項に記載のエリアセンサ。
  7. 　上記第１光センサ画像と上記第２光センサ画像との差分を求める際に、少なくとも一方の光センサ画像に一定数を乗算した後に、上記差分を求め、
    　上記一定数は、上記第１光センサが受光した光の強度の最大値と最小値との差と、上記第２光センサが受光した光の強度の最大値と最小値との差との比であることを特徴とする請求項１から５のいずれか１項に記載のエリアセンサ。
  8. 　上記第１光センサ画像と上記第２光センサ画像との差分を求める際に、少なくとも一方の光センサ画像に一定数を乗算した後に、上記差分を求め、
    　上記一定数は、第１光センサが受光した光の強度の中から、上記光センサ画像における、上記入力の手段であるセンシング対象が含まれている部分で第１光センサが受光した光の強度を取り除いた光の強度と、
    　第２光センサが受光した光の強度の中から、上記光センサ画像における、上記入力のための手段であるセンシング対象が含まれている部分で第２光センサが受光した光の強度を取り除いた光の強度との比を上記一定数とすることを特徴とする請求項１から５のいずれか１項に記載のエリアセンサ。
  9. 　請求項１から８のいずれか１項に記載のエリアセンサを備えた表示装置。
  10. 　請求項１に記載のエリアセンサにおける位置検出部として、コンピュータを機能させることを特徴とする制御プログラム。
  11. 　請求項１０に記載の制御プログラムを格納したコンピュータ読取可能な記録媒体。
PCT/JP2010/002582 2009-05-28 2010-04-08 エリアセンサ、及び、表示装置 WO2010137226A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009129531 2009-05-28
JP2009-129531 2009-05-28

Publications (1)

Publication Number Publication Date
WO2010137226A1 true WO2010137226A1 (ja) 2010-12-02

Family

ID=43222358

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/002582 WO2010137226A1 (ja) 2009-05-28 2010-04-08 エリアセンサ、及び、表示装置

Country Status (1)

Country Link
WO (1) WO2010137226A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032795A (ja) * 2010-07-02 2012-02-16 Semiconductor Energy Lab Co Ltd 入出力装置の駆動方法
WO2016188555A1 (en) * 2015-05-22 2016-12-01 Irnova Ab Infrared imaging detector

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176192A (ja) * 2000-09-12 2002-06-21 Rohm Co Ltd 照度センサチップ、照度センサ、照度測定装置、および照度測定方法
JP2002231993A (ja) * 2001-02-05 2002-08-16 Toshiba Corp 半導体受光装置および半導体受光装置を備えた電気機器
JP2006018219A (ja) * 2004-05-31 2006-01-19 Toshiba Matsushita Display Technology Co Ltd 画像取込機能付き表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176192A (ja) * 2000-09-12 2002-06-21 Rohm Co Ltd 照度センサチップ、照度センサ、照度測定装置、および照度測定方法
JP2002231993A (ja) * 2001-02-05 2002-08-16 Toshiba Corp 半導体受光装置および半導体受光装置を備えた電気機器
JP2006018219A (ja) * 2004-05-31 2006-01-19 Toshiba Matsushita Display Technology Co Ltd 画像取込機能付き表示装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032795A (ja) * 2010-07-02 2012-02-16 Semiconductor Energy Lab Co Ltd 入出力装置の駆動方法
WO2016188555A1 (en) * 2015-05-22 2016-12-01 Irnova Ab Infrared imaging detector
CN107810395A (zh) * 2015-05-22 2018-03-16 瑞典爱尔诺红外有限公司 红外成像检测器
EP3564635A1 (en) * 2015-05-22 2019-11-06 IRnova AB Infrared imaging detector
US10527497B2 (en) 2015-05-22 2020-01-07 Irnova Ab Infrared imaging detector
CN107810395B (zh) * 2015-05-22 2020-05-05 瑞典爱尔诺红外有限公司 红外成像检测器
US10788372B2 (en) 2015-05-22 2020-09-29 Irnova Ab Infrared imaging detector

Similar Documents

Publication Publication Date Title
WO2010084640A1 (ja) エリアセンサ、およびエリアセンサ付き液晶表示装置
JP5043204B2 (ja) 光強度センサ付き液晶表示装置
EP2387745B1 (en) Touch-sensitive display
RU2469378C1 (ru) Дисплейная панель со встроенными оптическими сенсорами
JP5296738B2 (ja) タッチスクリーン内蔵型液晶表示装置
KR20110037218A (ko) 터치 스크린 내장형 액정표시장치
JP5009421B2 (ja) 液晶表示装置
US20110037732A1 (en) Detecting device, display device, and object proximity distance measuring method
TW200933557A (en) Display device
TW200926095A (en) Display device and electronic apparatus
KR20080106016A (ko) 액정 표시 장치, 전자 기기 및 상기 액정 표시 장치의 조광수단의 밝기를 제어하는 방법
WO2011052261A1 (ja) ポインティング装置
CN108513667A (zh) 图像处理方法、装置和电子设备
WO2019033348A1 (zh) 显示模组及电子设备
CN111312793B (zh) 一种电子设备
WO2010137226A1 (ja) エリアセンサ、及び、表示装置
CN100458526C (zh) 液晶显示装置用调整装置
CN111209875B (zh) 一种显示和输入装置
WO2019033344A1 (zh) 电子设备
WO2019033363A1 (zh) 光电传感装置及电子设备
WO2019033359A1 (zh) 感光模组、显示模组及电子设备
US20210406507A1 (en) Under-screen fingerprint identification device, display panel, and display device
JP2011081390A (ja) 表示装置および電子機器
KR20110074818A (ko) 광학식 터치 입력 장치의 레퍼런스 설정 방법과 이를 적용한 광학식 터치 입력 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10780188

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10780188

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP