WO2009119417A1 - 撮像装置、表示撮像装置、電子機器および物体の検出方法 - Google Patents

撮像装置、表示撮像装置、電子機器および物体の検出方法 Download PDF

Info

Publication number
WO2009119417A1
WO2009119417A1 PCT/JP2009/055328 JP2009055328W WO2009119417A1 WO 2009119417 A1 WO2009119417 A1 WO 2009119417A1 JP 2009055328 W JP2009055328 W JP 2009055328W WO 2009119417 A1 WO2009119417 A1 WO 2009119417A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
light
display
photoelectric conversion
charge
Prior art date
Application number
PCT/JP2009/055328
Other languages
English (en)
French (fr)
Inventor
勉 原田
仲島　義晴
千田　みちる
和範 山口
満 建内
津崎　亮一
前川　敏一
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020097024306A priority Critical patent/KR101547703B1/ko
Priority to US12/451,485 priority patent/US9063613B2/en
Priority to CN2009800004743A priority patent/CN101689083B/zh
Priority to JP2010505579A priority patent/JP5291090B2/ja
Priority to EP09724453.7A priority patent/EP2151740B1/en
Publication of WO2009119417A1 publication Critical patent/WO2009119417A1/ja
Priority to US14/705,664 priority patent/US9405406B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G09G2360/142—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element the light being detected by light detection means within each pixel

Definitions

  • the present invention relates to an imaging device and a display imaging device for acquiring information such as the position of an object in contact with or close to a panel, an electronic apparatus provided with such a display imaging device, and an object for acquiring such information. It relates to a detection method.
  • touch panels Although there are various types of touch panels, ones that are widely used include those that detect capacitance. This type is adapted to detect a change in surface charge of the panel by touching the touch panel with a finger to detect the position of an object or the like. Therefore, the user can operate intuitively by using such a touch panel.
  • the present applicant also has a display unit (display imaging panel) having a display function for displaying an image and an imaging function (detection function) for imaging (detecting) an object in, for example, Patent Document 1 and Patent Document 2.
  • a display device is proposed.
  • Patent Document 1 When the display device described in Patent Document 1 is used, for example, when an object such as a finger is brought into contact with or in proximity to a display and imaging panel, reflected light by the irradiation light from the display and imaging panel reflected by the object It is also possible to detect the position or the like of an object based on a captured image by using Therefore, by using this display device, it is possible to detect the position or the like of the object with a simple configuration without separately providing a component such as a touch panel on the display imaging panel.
  • the voltage value Va corresponds to the brightness of the ambient light L0 except for the part touched by the finger f in the display area 101, and the finger f in the display area 101 At the touched portion, the voltage value Vb corresponding to the reflectance for reflecting the irradiation light Lon from the backlight 105 is reduced to the surface of the object (finger f) touched at that time.
  • the light reception output voltage Voff 101 in the state in which the backlight 105 is turned off is the same as the voltage value Va corresponding to the brightness of the ambient light L0 except for the part touched by the finger f. At the point where the finger f is touched, the ambient light L0 is blocked, and the voltage value Vc is very low.
  • the light reception output voltage Von 201 in the state where the backlight 105 is lit is as shown in FIG.
  • the voltage value Vc of a very low level is obtained because there is no ambient light L0 except for the part touched by the finger f in the display area 101, and the finger f in the display area 101 is touched
  • the voltage value Vb corresponding to the reflectance for reflecting the irradiation light Lon from the backlight 105 is raised.
  • the light reception output voltage Voff2 in the state in which the backlight 105 is turned off remains unchanged at the very low level of the voltage value Vc at the place touched by the finger f and the other places. .
  • the light reception output voltage is largely different depending on whether the ambient light L0 is present or not.
  • the voltage Vb when the backlight 105 is on and the voltage Vc when the backlight 105 is off regardless of the presence or absence of the ambient light L0. It is almost the same condition. Therefore, by detecting the difference between the voltage at the time of lighting of the backlight 105 and the voltage at the time of extinguishing, an object is in contact or proximity with a point where there is a certain difference or more, such as the difference between the voltage Vb and the voltage Vc. For example, as in the difference image C shown in FIG. 57, it is considered possible to detect the position of an object without being affected by external light or fixed noise. .
  • the present invention has been made in view of such problems, and an object of the present invention is to provide an imaging device, a display imaging device, and an object that can stably detect an object regardless of usage conditions while suppressing manufacturing costs. It is an object of the present invention to provide a detection method and an electronic device provided with such a display and imaging device.
  • An imaging apparatus includes an imaging panel having a plurality of imaging pixels, and an imaging panel having an irradiation light source for a close object, and an imaging drive for acquiring an imaging signal from each imaging pixel by performing imaging driving on each imaging pixel.
  • image processing means for acquiring object information including at least one of the position, the shape, and the size of the proximity object by using a captured image based on an imaging signal obtained from each imaging pixel.
  • the imaging drive means when the irradiation light is irradiated from the irradiation light source, the imaging drive means accumulates the charging charge in each imaging pixel according to the total light amount of the reflected light by the irradiation light and the environmental light, An imaging signal is obtained from each imaging pixel by performing imaging drive so that discharge charges are emitted from each imaging pixel according to the light amount of environmental light when the irradiation light is not irradiated from the light source. ing.
  • the term "proximity object" is meant to include not only objects that are literally close, but also objects that are in contact.
  • the display-and-image-pickup device includes a display-and-image-pickup panel including a plurality of display pixels and a plurality of image pickup pixels, a display driving unit for displaying an image by performing display driving on each display pixel, The position, shape, or size of a close object using an imaging drive unit that acquires an imaging signal from each imaging pixel by performing imaging drive on the pixels, and a captured image based on the imaging signal obtained from each imaging pixel And image processing means for acquiring object information including at least one of the above.
  • the imaging drive panel is emitting illumination light from the display imaging panel to the close object, the charge is stored in each imaging pixel in accordance with the total amount of light reflected by the illumination light and the ambient light.
  • imaging By performing imaging drive so that discharge charges are emitted from each imaging pixel according to the light amount of ambient light while being accumulated and irradiation light is not emitted from the display imaging panel, imaging is performed from each imaging pixel It is supposed to get a signal.
  • irradiation light is the meaning including not only the display light irradiated from a display imaging panel but the light irradiated from another light source (for example, an infrared light source etc.) on a display imaging panel.
  • An electronic apparatus includes the display and imaging device having an image display function and an imaging function.
  • the method when irradiating light to a nearby object by an imaging panel formed of a plurality of imaging pixels, the method according to the total light amount of reflected light by the irradiation light and environmental light And charge the imaging pixels, and discharge the discharge charges from the imaging pixels according to the light amount of the environmental light when the irradiation light is not irradiated, thereby performing imaging driving on the imaging pixels. Capture an imaging signal from each imaging pixel, and use the imaging image based on the imaging signal obtained from each imaging pixel to acquire object information including at least one of the position, shape, or size of a close object It is intended to
  • the image pickup apparatus when the irradiation light is irradiated to the close object by the image pickup panel or the display image pickup panel, the reflected light by the irradiation light and the ambient light Charged charge is accumulated in each imaging pixel in accordance with the total amount of light.
  • discharge charges are released from the respective imaging pixels in accordance with the light amount of the environmental light.
  • An imaging signal is obtained from each imaging pixel by these. Then, using captured images based on imaging signals obtained from each imaging pixel, object information including at least one of the position, the shape, and the size of the close object is obtained.
  • the image pickup signal obtained from each image pickup pixel the component due to the ambient light is subtracted, so that it is possible to obtain the object information of the close object without being affected by the ambient light.
  • the number of frame memories and the like necessary for generating a pickup image from the imaging signal is smaller than that in the prior art. It will end.
  • the imaging device the display imaging device, the electronic apparatus, or the method for detecting an object of the present invention
  • the imaging panel or the display imaging panel irradiates the near object with the irradiation light
  • the reflected light by the irradiation light The charging charge is accumulated in each imaging pixel according to the total light amount with the ambient light, and the discharge charge is released from each imaging pixel according to the light amount of the environmental light when the irradiation light is not irradiated. Since an imaging signal is acquired from each imaging pixel, it is possible to acquire object information of a close object without being affected by ambient light, and a frame memory necessary for generating an imaging image from an imaging signal. Etc. will be less than before. Therefore, it becomes possible to detect an object stably irrespective of use conditions, restraining a manufacturing cost.
  • FIG. 7 is a timing waveform chart illustrating an example of an imaging operation in the display and imaging device according to the embodiment.
  • FIG. 8 is a timing waveform chart for explaining the details of the imaging operation shown in FIG. 7;
  • FIG. 9 is a circuit diagram for illustrating charge operation and discharge operation in the imaging operation shown in FIGS. 7 and 8;
  • FIG. 9 is a timing waveform chart for explaining the details of the SW control signal and the backlight state shown in FIG. 8;
  • It is a characteristic view for explaining imaging operation concerning a comparative example.
  • It is a schematic diagram for demonstrating the imaging operation shown in FIG.
  • It is another characteristic view for demonstrating the imaging operation which concerns on a comparative example.
  • It is another characteristic view for demonstrating the imaging operation which concerns on a comparative example.
  • FIG. 14 is a circuit diagram for describing a charge operation and a discharge operation at the time of an imaging operation according to Modification 1;
  • FIG. 13 is a timing waveform diagram for describing a SW control signal and a backlight state in an imaging operation according to Modification Example 1.
  • It is a circuit diagram showing the example of composition of the other light sensing portion concerning modification 1 of the present invention.
  • FIG. 14 is a timing waveform chart for describing an imaging operation according to Modification 2;
  • FIG. 13 is a circuit diagram for describing a charge operation and a discharge operation at the time of an imaging operation according to Modification 2;
  • FIG. 16 is a timing waveform diagram for describing a SW control signal and a backlight state in an imaging operation according to Modification Example 2.
  • It is a circuit diagram showing the example of composition of the light sensing portion in the display area (sensor area) concerning modification 3 of the present invention. It is a figure for demonstrating the on-operation area
  • FIG. 14 is a timing waveform chart for describing an imaging operation according to Modification 3;
  • FIG. 18 is a timing waveform chart for describing in detail an on operation and an off operation in the photoelectric conversion element according to the modification example 3;
  • FIG. 16 is a circuit diagram for describing charge operation and discharge operation in an imaging operation according to Modification 3; It is a circuit diagram showing the example of composition of the light sensing portion in the display area (sensor area) concerning modification 4 of the present invention.
  • FIG. 18 is a diagram for describing an on-operation area and an off-operation area in the photoelectric conversion element according to Modification Example 4.
  • FIG. 18 is a diagram for describing an on-operation area and an off-operation area in the photoelectric conversion element according to Modification Example 4.
  • FIG. 18 is a timing waveform chart for describing an imaging operation according to Modification 4;
  • FIG. 18 is a timing waveform diagram for describing in detail an on operation and an off operation in the photoelectric conversion element according to the modification 4;
  • FIG. 17 is a circuit diagram for describing charge operation and discharge operation in an imaging operation according to Modification Example 4; It is a circuit diagram showing the example of composition of the light sensing portion in the display area (sensor area) concerning modification 5 of the present invention. It is a figure for demonstrating the on-operation area
  • FIG. 21 is a timing waveform chart for describing an imaging operation according to a fifth modification.
  • FIG. 18 is a timing waveform chart for describing in detail an on operation and an off operation in the photoelectric conversion element according to the modification example 5;
  • FIG. 17 is a circuit diagram for describing charge operation and discharge operation in an imaging operation according to Modification Example 5; It is a circuit diagram showing the example of composition of the light sensing portion in the display area (sensor area) concerning modification 6 of the present invention.
  • FIG. 1 It is a top view showing the example of pixel arrangement in the display area (sensor area) shown in FIG. It is a figure for demonstrating an example of the application using the imaging result (result of a fingertip extraction process) by this invention. It is a figure for demonstrating an example of the application using the imaging result (result of a fingertip extraction process) by this invention. It is a figure for demonstrating an example of the application using the imaging result (result of a fingertip extraction process) by this invention. It is a figure for demonstrating an example of the application using the imaging result (result of a fingertip extraction process) by this invention. It is a perspective view showing the appearance of application example 1 of the display imaging device of the present invention.
  • FIG. 21 is a perspective view illustrating an appearance of application example 3; 21 is a perspective view illustrating an appearance of application example 4.
  • FIG. (A) is a front view of the open state of application example 5, (B) is a side view thereof, (C) is a front view of a closed state, (D) is a left side view, (E) is a right side view, (F) is a top view, (G) is a bottom view.
  • It is a characteristic view showing the other example of the imaging operation (difference image fingertip extraction process) by the conventional display imaging device.
  • FIG. 1 shows the entire configuration of a display-and-image-pickup apparatus according to an embodiment of the present invention.
  • the display and imaging apparatus includes an I / O display panel 20, a backlight 15, a display drive circuit 12, a light reception drive circuit 13, an image processing unit 14, and an application program execution unit 11.
  • the I / O display panel 20 is a liquid crystal panel (LCD (Liquid Crystal Display)) in which a plurality of pixels are arranged in a matrix over the entire surface, and predetermined figures and characters based on display data while performing line sequential operation.
  • LCD Liquid Crystal Display
  • the backlight 15 is a light source for display and detection of the I / O display panel 20 in which, for example, a plurality of light emitting diodes are arranged, and the predetermined timing synchronized with the operation timing of the I / O display 20 as described later. At the timing, the on / off operation is performed at high speed.
  • the display drive circuit 12 drives the I / O display panel 20 so that an image based on display data is displayed on the I / O display panel 20 (to perform a display operation) (line sequential display operation). Drive) circuit.
  • the light reception drive circuit 13 drives the I / O display panel 20 so that a light reception signal (imaging signal) can be obtained from each pixel of the I / O display panel 20 (for imaging an object) (line sequential) Drive the imaging operation).
  • the light reception signal from each pixel is accumulated, for example, in frame units in the frame memory 13A, and is output to the image processing unit 14 as a captured image.
  • the image processing unit 14 performs predetermined image processing (arithmetic processing) based on the captured image output from the light receiving drive circuit 13, and performs object information (position coordinate data, object related to an object in contact with or in proximity to the I / O display 20). Data related to the shape and size of the The details of the processing to be detected will be described later.
  • the application program execution unit 11 executes processing according to predetermined application software based on the detection result by the image processing unit 14, and, for example, includes position coordinates of a detected object in display data, and the I / O What is displayed on the display panel 20 may, for example, be mentioned.
  • the display data generated by the application program execution unit 11 is supplied to the display drive circuit 12.
  • the I / O display panel 20 has a display area (sensor area) 21, a display H driver 22, a display V driver 23, a sensor readout H driver 25, and a sensor V driver 24. There is.
  • the display area (sensor area) 21 modulates the light from the backlight 15 and includes irradiation light (display light and irradiation light for detection by, for example, an infrared light source or the like (not shown).
  • irradiation light display light and irradiation light for detection by, for example, an infrared light source or the like (not shown).
  • Liquid crystal element which is a light emitting element (display element) and a light receiving element (image pickup element) described later are arranged in a matrix, respectively. There is.
  • the display H driver 22 sequentially drives the liquid crystal elements of the respective pixels in the display area 21 together with the display V driver 23 on the basis of the display drive signal and control clock supplied from the display drive circuit 12. It is.
  • the sensor readout H driver 25 line-sequentially drives the light receiving elements of the respective pixels in the sensor area 21 together with the sensor V driver 24 to acquire a light reception signal.
  • the sensor readout H driver 25 and the sensor V driver 24 will be described later in detail, but when irradiation light from the I / O display panel 20 is irradiated to the close object, reflection by the irradiation light is performed. While charge charges are accumulated in each pixel according to the combined light amount of light and ambient light, and when the irradiation light is not irradiated from the I / O display panel 20 panel, according to the light amount of ambient light An image pickup signal (light reception signal) is acquired from each pixel by performing an image pickup drive so that a discharge charge is released.
  • the pixel 31 is configured of a display pixel (display unit) 31 RGB, an imaging pixel (light receiving unit) 33, and a wiring unit 32 in which a wiring for the imaging pixel 33 is formed. It is done.
  • the display pixel 31RGB is composed of a display pixel 31R for red (R), a display pixel 31G for green (G), and a display pixel 31B for blue (B).
  • the display pixels 31 RGB, the imaging pixels 33, and the wiring sections 32 are arranged in a matrix on the display area 21 (sensor area). Further, the imaging pixel 33 and the wiring portion 32 for imaging and driving the imaging pixel 33 are separately arranged at a constant cycle.
  • the display pixel 31RGB With such an arrangement, it becomes extremely difficult for the display pixel 31RGB to recognize the sensor rear composed of the imaging pixel 32 and the wiring section 33, and reduction of the aperture ratio in the display pixel 31RGB can be minimized.
  • the wiring portion 32 is arranged in an area not contributing to the opening of the display pixel 31RGB (for example, an area shielded by black matrix, a reflection area, etc.), the light receiving circuit is arranged without degrading the display quality. It becomes possible. Although details will be described later, for example, as illustrated in FIG. 4, reset signal lines Reset_1 to Reset_n and read signal lines Read_1 to Read_n are connected to each imaging pixel (light receiving unit) 33 along the horizontal line direction. It is supposed to be
  • each light receiving unit 33 includes a photoelectric conversion element PD1 as a light receiving element that generates an electric charge according to the amount of received light, a capacitor C1 as a capacitance element, and four switching elements SW11 to It is configured to include the SW 14 and three transistors Tr1 to Tr3.
  • the photoelectric conversion element PD1 generates a charge and a discharge for the capacitor C1 in common, and is formed of, for example, a photodiode or a phototransistor.
  • the photoelectric conversion element PD1 is a PIN photodiode having an anode (formed in a p-type semiconductor region), a cathode (formed in an n-type semiconductor region), and a gate (formed in an intrinsic semiconductor region). The same applies to a photoelectric conversion element according to a modification, which is configured and will be described later.
  • Each of the transistors Tr1 to Tr3 is formed of, for example, a thin film transistor (TFT) or the like.
  • TFT thin film transistor
  • one end of the switching element SW1 is connected to the power supply VDD, and the other end is connected to one end of the switching element SW13 and the cathode and gate of the photoelectric conversion element PD1.
  • one end of the switching element SW12 is connected to the ground VSS, and the other end is connected to one end of the switching element SW14 and the anode of the photoelectric conversion element PD1.
  • the other ends of the switching elements SW13 and SW14 are connected to one end of the capacitor C1, the drain of the transistor Tr1 and the gate of the transistor Tr2 through the connection point P1.
  • the other end of the capacitor C1 is connected to the ground VSS.
  • the gate of the transistor Tr1 is connected to the reset signal line Reset, and the source is connected to the reset power supply Vrst.
  • the source of the transistor Tr2 is connected to the power supply VDD, and the drain is connected to the drain of the transistor Tr3.
  • the gate of the transistor Tr3 is connected to the read signal line Read, and the source is connected to the read line 41.
  • the switching elements SW11 and SW14 that function as charging switching elements constitute a charging circuit for accumulating (charging) the charge in the capacitor C1.
  • the switching elements SW12 and SW13 which function as switching elements for discharging constitute a discharging circuit for discharging the discharge charge from the capacitor C1.
  • the switching elements SW11 to SW14 in the charging circuit and the discharging circuit are respectively imaged and driven so that the light is discharged from the capacitor C1 via the switching elements SW12 and SW13 for discharging, and imaging is performed from each light receiving portion (imaging pixel) 33 A signal can be obtained.
  • the voltage of the reset power supply Vrst described above (the reset voltage for releasing all the charge accumulated in the capacitor C1 in each light receiving unit 33) can be set to any voltage between the power supply voltage VDD and the ground voltage VSS. It has become.
  • a drive signal for display is generated in the display drive circuit 12 based on the display data supplied from the application program execution unit 11, and this drive signal causes a line to the I / O display 20.
  • Display drive is sequentially performed to display an image. Further, at this time, the backlight 15 is also driven by the display drive circuit 12, and the on / off operation synchronized with the I / O display 20 is performed.
  • line-sequential light reception driving by the light reception drive circuit 13 causes each imaging pixel 33 in this I / O display panel 20 to An object is imaged, and an imaging signal from each imaging pixel 32 is supplied to the light receiving drive circuit 13.
  • the light reception drive circuit 13 accumulates the image pickup signal of the image pickup pixel 33 for one frame, and outputs the image pickup signal to the image processing unit 14 as a pickup image.
  • the image processing unit 14 performs predetermined image processing (arithmetic processing) to be described below based on the captured image to obtain object information (position coordinate data, etc.) regarding an object in contact with or in proximity to the I / O display 20. Data on the shape and size of the object can be obtained.
  • FIG. 7 Details of the imaging operation of the present embodiment and extraction processing of an object (proximity object such as a finger tip or the like) touching or approaching I / O display 20 by image processing unit 14
  • an object proximity object such as a finger tip or the like
  • FIG. 7 is a timing waveform diagram showing an example of the imaging operation of the present embodiment, and (A) to (D) are reset signal voltages V (Reset_1), V (Reset_2), V (Reset_3), V (Reset_n), (E) to (H) are read signal voltages V (Read_1), V (Read_2), V (Read_3), V (Read_n), (I) is a switching element
  • the control signal (SW control signal Sa) of SW11 and SW14 and (J) represent the control signal (SW control signal Sb) of the switching elements SW12 and SW13, respectively.
  • 8 is a timing waveform diagram showing the details of the imaging operation shown in FIG.
  • V (Read_n) become H (high) state by the line sequential operation.
  • a period from when the reset signal voltage V (Reset) is in the H state to when the read signal voltage V (Read) is in the H state will be described later.
  • the ON state and the OFF state of the backlight 15 are alternately switched in synchronization with the line sequential operation of the reset signal voltage V (Reset) and the read signal voltage V (Read).
  • the SW control signals Sa and Sb respectively become H (high) states in synchronization with the switching operation of the light 15 in the ON / OFF state, and the switching SW 11 to SW 14 are respectively turned on. Also, the SW control signal Sa and the SW control signal Sb are alternately in the H state. Specifically, when the backlight 15 is in the ON state, the SW control signal Sa is in the H state and the SW control signal Sb is in the L (low) state, and when the backlight 15 is in the OFF state, the SW control signal Sa is While being in the L state, the SW control signal Sb is in the H state.
  • the backlight 15 is turned on, the SW control signal Sa is in the H state, and the SW control signal Sb is in the L state, thereby accumulating charge of the capacitor C1.
  • (Charging operation) is performed in synchronization with a horizontal period (display operation switching ON / OFF of the backlight 15) in display driving. Specifically, for example, as shown in FIG. 9A, the charging switching elements SW11 and SW14 are turned on, and the discharging switching elements SW12 and SW13 are turned off.
  • the charge is charged to the capacitor C1 through the path of the charging current I11 Is accumulated, and the accumulated potential VP1 rises.
  • the backlight 15 is turned off, the SW control signal Sa is turned to the L state, and the SW control signal Sb is turned to the H state, thereby discharging the discharge charge from the capacitor C1.
  • discharge operation is performed in synchronization with a horizontal period (display operation switching ON / OFF of the backlight 15) in display driving.
  • the switching elements SW11 and SW14 for charging are turned off, and the switching elements SW12 and SW13 for discharging are turned on.
  • the discharge charge is discharged from the capacitor C1 through the path of the discharge current I12 shown in the figure, and the accumulated potential VP1 drops.
  • the charge charge accumulation operation and the discharge charge emission operation are switched a plurality of times until timing t14 (during the exposure period), and thereafter, the charge accumulated in the capacitor C1 is read out as an imaging signal Be Specifically, when the read signal voltage V (Read) changes to the H state at timing t14, the transistor Tr3 is turned on, and the voltage of the storage potential VP1 is read from the read line 41 in the period from timing t15 to t16. . In this manner, since the imaging signal is read out after the charge charge accumulation operation and the discharge charge emission operation are switched a plurality of times, the exposure period becomes longer, as shown in FIG. The signal component (accumulated potential VP1) of the imaging signal is increased.
  • the imaging signal obtained here is an analog value
  • a / D (analog / digital) conversion is performed in the light receiving drive circuit 13. After that, the reset signal voltage V (Reset) becomes H state at timing t16, and thereafter, the same operation as timings t10 to t16 is repeated.
  • the period in which the SW control signal Sa is in the H state and the period in which the SW control signal Sb is in the H state do not overlap each other in more detail, for example, as shown in FIG. A lap period is set), whereby generation of a leak current in the light receiving unit 33 is avoided.
  • the image processing unit 14 calculation processing is performed to determine the center of gravity of the captured image for one frame generated in the light reception drive circuit 13, and the contact (proximity) center is specified. Then, the detection result of the proximity object is output from the image processing unit 14 to the application program execution unit 11, and the fingertip extraction process by the image processing unit 14 is completed.
  • the image processing unit 14 obtains object information including at least one of the position, the shape, or the size of the close object.
  • the imaging signal obtained from each imaging pixel 33 the component due to the ambient light L0 is subtracted, so that it is possible to obtain the object information of the close object without being affected by the ambient light L0.
  • a frame memory necessary for generating a pickup image from the imaging signal in the light reception drive circuit 13 13A requires a frame memory for two images of the prior art (for example, as shown in FIG. 58, an image when the backlight is off (image A) and an image when the backlight is on (image B) Will be less than).
  • object information such as position, shape, or size of each of the plurality of contacts or approaching objects simultaneously disposed on the display area 21 of the I / O display panel 20 is similarly obtained. Is available for acquisition.
  • the display area 21 of the I / O display panel 20 If a close object is moving above, the following problems occur. That is, under actual use conditions, as shown in FIG. 12 for example, there is a time difference between the image A 101 obtained in the back light off state and the image B 101 obtained in the back light on state . Therefore, for example, when the close object is moving at high speed on the I / O display panel 20 as shown in FIG. 11, the light reception output signal Voff (A101) and the image B101 in the image A101 are generated due to this time difference.
  • At least the proximity object is moving on the I / O display panel 20, for example, charge charges are accumulated in each imaging pixel 33 and the discharge is performed.
  • an imaging signal is acquired from each imaging pixel 33, and object information of a close object is acquired using a captured image based on such an imaging signal. It has become. Therefore, for example, by setting the switching cycle of the ON / OFF state of the backlight 15 extremely short, it is assumed that the close object is moving on the display area 21 of the I / O display panel 20 during such switching cycle. Even in such a case, the movement distance is extremely short, so the generation of false signals is minimized (or avoided).
  • the following problems may occur. That is, in each imaging pixel in the actual I / O display panel 20, the storage capacity for light is limited.
  • the case where the proximity object is the finger f or the like
  • the shadowed portion of the finger f does not exceed the storage capacity, so that it is possible to detect a close object.
  • FIGS. 13A and 13B when the light amount of the external light L0 is large and the charge flows in more than the full storage capacity, the case where the proximity object is the finger f or the like As indicated by the light reception output signals Von 301 and Voff 301 in the drawing, the shadowed portion of the finger f does not exceed the storage capacity, so that it is possible to detect a close object.
  • the close object when the close object is a very thin object such as the pen ob1, or when the close object is separated from the I / O display panel 20, etc.
  • the shadow portion of the pen ob 1 may reach a high level beyond the storage capacity.
  • the difference signal between the light reception output signals Von 401 and Voff 401 exceeds the storage capacity of the imaging pixel, and it becomes impossible to detect a close object using the difference result.
  • a finite storage capacity is a component of the external light L0 under any external light condition. It can be avoided that the battery is used up (capacitance accumulated by one charge operation and discharge operation is determined by the switching cycle of the ON / OFF state of the backlight 15).
  • each imaging pixel 33 when the I / O display panel 20 irradiates the near object with the irradiation light from the backlight 15, the reflected light Lon by the irradiation light and the ambient light (external light ) Makes each imaging pixel 33 accumulate charge charge according to the combined light amount with L0, and discharge the discharge charge from each imaging pixel 33 according to the light amount of the environmental light L0 when the irradiation light is not irradiated.
  • the image pickup signal is obtained from each image pickup pixel 33, in the image pickup signal obtained from each image pickup pixel 33, the component due to the environmental light L0 is subtracted, so that the influence of the environmental light L0 is not received.
  • the light receiving drive circuit 13 needs to generate a pickup image from the pickup signal.
  • the number of frame memories 13A can be smaller than in the prior art (the frame memory for difference detection is not required). Therefore, it becomes possible to detect an object stably irrespective of use conditions, restraining a manufacturing cost.
  • the photoelectric conversion element PD1 in each imaging pixel (light receiving portion) 33, the photoelectric conversion element PD1 generates charge charge and discharge charge in common, and the charge charge generated in the photoelectric conversion element PD1 is used for charging. Because the discharge charge generated in the photoelectric conversion element PD1 is released from the capacitor C1 via the switching elements SW12 and SW13 for discharge, while being stored in the capacitor C1 via the switching elements SW11 and SW14. It is possible to obtain an effect like
  • the exposure period can be extended.
  • the detection sensitivity can be improved by increasing the signal component (accumulated potential VP1) of the above, and the exposure time can be freely set, so that the S / N ratio can be increased.
  • the imaging drive according to the present embodiment it is possible to remove the dark current component due to the temperature change.
  • shadow detection can be performed using the external light L0.
  • FIG. 15 illustrates a circuit configuration of a light receiving unit (light receiving unit 33A) according to the first modification.
  • the light receiving unit (imaging pixel) 33A includes two photoelectric conversion elements PD21 and PD22 and two switching elements SW21 and SW22.
  • the cathode and the gate of the photoelectric conversion element PD21 are connected to the power supply VDD, and the anode is connected to one end of the switching element SW21.
  • the anode of the photoelectric conversion element PD22 is connected to the ground VSS, and the cathode and the gate are connected to one end of the switching element SW22.
  • the other ends of the switching elements SW21 and SW22 are connected to the connection point P1.
  • an imaging pixel 33A and a wiring section for imaging driving the imaging pixel 33A. 32 are arranged separately from each other.
  • the other circuit configuration is the same as that of the light receiving unit 33, so the description will be omitted.
  • the photoelectric conversion element PD21 functions as a photoelectric conversion element for generating charge charge
  • the photoelectric conversion element PD22 functions as a photoelectric conversion element for generating discharge charge.
  • the switching element SW21 functions as a charging switching element
  • the switching element SW22 functions as a discharging switching element.
  • the charge generated by the photoelectric conversion element PD21 (based on the combined light amount of the reflected light Lon and the external light L0) passes through the charging switching element SW21.
  • the discharge charge (based on the light quantity of the external light L0) generated in the photoelectric conversion element PD22 is stored in C1 via the switching element SW22 for discharging the capacitor C1.
  • the imaging drive is performed so as to be emitted from the
  • the wiring capacitance in the signal lines of the SW control signals Sa and Sb is The power consumption can also be reduced.
  • the SW control signal Sa is in the H state, for example, as shown in FIG.
  • the period may overlap with the period in which the SW control signal Sb is in the H state (a non-overlap period is not set).
  • switching elements SW23 and SW24 for removing charges accumulated in parasitic capacitances when switching elements SW21 and SW22 are in the off state for example, as in light receiving unit (imaging pixel) 33B shown in FIG. Is preferably provided.
  • the switching element SW23 is provided between the anode of the photoelectric conversion element PD21 and one end of the switching element SW21, and the ground VSS.
  • the switching element SW24 is provided between the cathode of the photoelectric conversion element PD22 and one end of the switching element SW22, and the power supply VDD.
  • FIG. 20 illustrates a circuit configuration of a light receiving unit (light receiving unit 33C) according to the second modification.
  • the light receiving unit (imaging pixel) 33C is configured to include two photoelectric conversion elements PD31 and PD32, and four switching elements SW31 to SW34. Specifically, one ends of the switching elements SW31 and SW33 are connected to the power supply VDD, the other end of the switching element SW31 is connected to the cathode and gate of the photoelectric conversion element PD31, and the other end of the switching element SW33 is one end of the capacitor C1. And one end of the switching element SW34.
  • the anode of the photoelectric conversion element PD31 is connected to the other end of the capacitor C1, the cathode and gate of the photoelectric conversion element PD32, and the connection point P1.
  • the anode of the photoelectric conversion element PD32 is connected to one end of the switching element SW32. Further, the other ends of the switching elements SW32 and SW34 are connected to the ground VSS.
  • the other circuit configuration is the same as that of the light receiving units 33 and 33A, and thus the description thereof is omitted.
  • the timing in the figure is determined by the SW control signals S1 to S4 for the switching elements SW31 to SW34, the read signal voltage V (Read) and the reset signal voltage V (Reset).
  • the imaging operation is performed as in t20 to t26.
  • the charge generated by the photoelectric conversion element PD31 (based on the combined light amount of the reflected light Lon and the external light L0) is the switching elements SW31 and SW34 for charging.
  • FIG. 22A the charge generated by the photoelectric conversion element PD31 (based on the combined light amount of the reflected light Lon and the external light L0) is the switching elements SW31 and SW34 for charging.
  • the discharge charge (based on the light quantity of the external light L0) generated by the photoelectric conversion element PD32 is discharged to the switching element SW32,
  • the imaging drive is performed so as to be released from the capacitor C1 via the SW33.
  • one end side of the capacitor C1 is alternately connected to the power supply VDD or the ground VSS via the switching element SW33 or the switching element SW34 at the time of accumulation of charge and discharge of discharge. ing.
  • the reset voltage applied to both ends of the photoelectric conversion elements PD31 and PD32 can be approximately (VDD-VSS) without arbitrarily inputting V.sub.D, and the number of reset signal lines can be reduced.
  • the SW control signal Sa is in the H state, for example, as illustrated in FIG. It is preferable that the period and the period in which the SW control signal Sb is in the H state do not overlap each other (the non-overlap period is set).
  • FIG. 24 illustrates a circuit configuration of a light receiving unit (light receiving unit 33D) according to the third modification.
  • the light receiving unit (imaging pixel) 33D is configured to include two photoelectric conversion elements PD41 (first photoelectric conversion elements) and PD42 (second photoelectric conversion elements).
  • the photoelectric conversion element PD41 has a cathode connected to the power supply VDD, an anode connected to the cathode of the photoelectric conversion element PD42 and the connection point P1, and a gate connected to the signal line ⁇ 1.
  • the photoelectric conversion element PD42 has an anode connected to the ground VSS and a gate connected to the signal line ⁇ 2.
  • the light receiving portion 33D is not provided with switching elements, while the gate potentials of the photoelectric conversion elements PD41 and PD42 are controlled by the signal lines ⁇ 1 and ⁇ 2. It is supposed to be The other circuit configuration is the same as that of the light receiving unit 33 and the like, and thus the description thereof is omitted.
  • the photoelectric conversion element itself is switched between the on operation area and the off operation area instead of the switching operation of the current path using the switching element described above. , Switching operation of the current path.
  • the photoelectric conversion elements PD41 and PD42 are changed by changing the potential relation between the cathode and the gate in the photoelectric conversion element PD41 and the potential relation between the anode and the gate in the photoelectric conversion element PD42. Are set individually to the on / off state.
  • the anode potential of the photoelectric conversion elements PD41 and PD42 is Vp
  • the cathode potential is Vn
  • the gate potential is Vg
  • the photocurrent flowing from the cathode to the anode is Inp.
  • the IV characteristics of the conversion elements PD41 and PD42 are represented, for example, as shown in FIG. 25 (B). That is, when the gate potential (gate voltage) Vg is changed, a voltage region of Vp ⁇ Vg ⁇ Vn is an on operation region ⁇ in which the photoelectric conversion elements PD41 and PD42 are turned on.
  • the voltage region of Vn ⁇ Vg becomes the off operation region ⁇ 1 in which the photoelectric conversion elements PD41 and PD42 are in the off state
  • the voltage region of Vg ⁇ Vp also makes the photoelectric conversion elements PD41 and PD42 in the off state It becomes the region ⁇ 2.
  • the photoelectric conversion elements PD41 and PD42 are changed by changing the potential relation between the cathode and the gate in the photoelectric conversion element PD41 and the potential relation between the anode and the gate in the photoelectric conversion element PD42.
  • the photoelectric conversion elements PD41 and PD42 are individually set to the on / off state by actively utilizing such a change in photoelectric conversion efficiency. There is.
  • the cathode potential in the photoelectric conversion element PD41 is fixed to the power supply VDD, and the anode potential in the photoelectric conversion element PD42 is fixed to the ground VSS.
  • the gate voltages Vg in these photoelectric conversion elements PD41 and PD42 are individually changed by the signal lines ⁇ 1 and ⁇ 2.
  • gate voltage Vg of photoelectric conversion element PD41 is alternately changed between Vg11 and Vg12 by potential V ( ⁇ 1) of signal line ⁇ 1 (see arrow P41 in FIG. 26C).
  • Vg12 ⁇ Vg11 the cathode potential in the photoelectric conversion element PD41 is fixed to the power supply VDD
  • the anode potential in the photoelectric conversion element PD42 is fixed to the ground VSS.
  • the gate voltages Vg in these photoelectric conversion elements PD41 and PD42 are individually changed by the signal lines ⁇ 1 and ⁇ 2.
  • gate voltage Vg of photoelectric conversion element PD41 is alternately changed between Vg11 and Vg12 by potential V (
  • the gate voltage Vg of the photoelectric conversion element PD42 is alternately changed between Vg21 and Vg22 by the potential V ( ⁇ 2) of the signal line ⁇ 2 (see arrow P42 in FIG. 26C; Vg22 ⁇ Vg21).
  • the on / off state of the photoelectric conversion element PD41 can be arbitrarily set by the potential V ( ⁇ 1) of the signal line ⁇ 1.
  • the on / off state of the photoelectric conversion element PD42 can be arbitrarily set by the potential V ( ⁇ 2) of the signal line ⁇ 2 .
  • the reset signal voltage V (Reset) and the read signal voltage V (Read) The imaging operation is performed at the timing shown in the figure by the potentials V ( ⁇ 1) and V ( ⁇ 2) of the signal lines ⁇ 1 and ⁇ 2 and the reset power supply Vrst.
  • ⁇ 10 and ⁇ 20 respectively indicate transition regions from the on operation region to the off operation region in the photoelectric conversion elements PD41 and PD42.
  • the charge generated by the photoelectric conversion element PD41 (based on the combined light amount of the reflected light Lon and the external light L0) is turned on by the photoelectric conversion element PD41.
  • the current is accumulated in the capacitor C1 by the current path I41 in the figure.
  • the discharge charge (based on the light amount of the external light L0) generated in the photoelectric conversion element PD42 turns on the photoelectric conversion element PD42 and the photoelectric conversion element PD41. Is released from the capacitor C1 by the current path I42 in the figure.
  • the current flowing even when the photoelectric conversion elements PD41 and PD42 are in the off state is not 0, exactly, the current of the photoelectric conversion element in the on state and the photoelectric conversion element in the off state The difference causes charging or discharging.
  • the imaging operation as described above makes it possible to stably detect an object regardless of the use condition while suppressing the manufacturing cost.
  • FIG. 30 illustrates a circuit configuration of a light receiving unit (light receiving unit 33E) according to the fourth modification.
  • the light receiving unit (imaging pixel) 33E is configured to include two photoelectric conversion elements PD51 (first photoelectric conversion elements) and PD 52 (second photoelectric conversion elements).
  • the cathode is connected to the signal line ⁇ 1
  • the anode is connected to the cathode of the photoelectric conversion element PD52 and the connection point P1
  • the gate is connected to the power supply VDD.
  • the photoelectric conversion element PD52 has an anode connected to the signal line ⁇ 2 and a gate connected to the ground VSS.
  • the gate potentials of the photoelectric conversion elements PD51 and PD52 are fixed by the power supply VDD or the ground VSS, while the cathode potential of the photoelectric conversion element PD51
  • the anode potential of the conversion element PD52 is controlled by the signal lines ⁇ 1 and ⁇ 2.
  • the other circuit configuration is the same as that of the light receiving unit 33D, so the description will be omitted.
  • the gate potential of the photoelectric conversion element PD51 is fixed to the power supply VDD, and the gate potential of the photoelectric conversion element PD52 is fixed to the ground VSS.
  • the cathode voltage Vn in the photoelectric conversion element PD51 is changed by the signal line ⁇ 1.
  • cathode voltage Vn of photoelectric conversion element PD51 is alternately changed between Vn1 and Vn2 by potential V ( ⁇ 1) of signal line ⁇ 1 (see arrow P51 in FIG. 31C). Vn2 ⁇ Vn1).
  • anode voltage Vp of photoelectric conversion element PD52 is alternately changed between Vp1 and Vp2 by potential V ( ⁇ 2) of signal line ⁇ 2 (see arrow P52 in FIG. 32C).
  • Vp2 ⁇ Vp1).
  • the reset signal voltage V (Reset) and the read signal voltage V (Read) The imaging operation is performed at the timing shown in the figure by the potentials V ( ⁇ 1) and V ( ⁇ 2) of the signal lines ⁇ 1 and ⁇ 2 and the reset power supply Vrst.
  • ⁇ 120 and ⁇ 210 respectively indicate transition regions from the on operation region to the off operation region in the photoelectric conversion elements PD51 and PD52.
  • the charge generated by the photoelectric conversion element PD51 (based on the total light amount of the reflected light Lon and the external light L0) is turned on by the photoelectric conversion element PD51.
  • the current is accumulated in the capacitor C 1 by the current path I 51 in the figure.
  • the discharge charge (based on the light amount of the external light L0) generated in the photoelectric conversion element PD52 turns on the photoelectric conversion element PD52 and the photoelectric conversion element PD51. Is released from the capacitor C1 by the current path I52 in the figure.
  • the current flowing even when the photoelectric conversion elements PD51 and PD52 are in the off state is not 0, exactly, the current of the photoelectric conversion element in the on state and the photoelectric conversion element in the off state The difference causes charging or discharging.
  • the imaging operation as described above makes it possible to stably detect an object regardless of the use condition while suppressing the manufacturing cost.
  • FIG. 36 illustrates a circuit configuration of a light receiving unit (light receiving unit 33F) according to the fifth modification.
  • the light receiving unit (imaging pixel) 33F includes two photoelectric conversion elements PD61 (first photoelectric conversion element) and PD62 (second photoelectric conversion element), and five transistors Tr1 to Tr3 and Tr61 (N channel transistors), It comprises Tr62 (P-channel transistor) and four capacitive elements C61A, C61B, C62A, C62B.
  • the cathode is connected to the signal line ⁇ 1 and the source of the transistor Tr61
  • the anode is connected to the cathode of the photoelectric conversion element PD62 and the connection point P1
  • the gate is the drain and capacitance element of the transistor Tr61. It is connected to one end of C61A and C61B.
  • the gate of the transistor Tr61 is connected to the other end of the capacitive element C61A and the reset line Reset1 (corresponding to the reset line Reset described above).
  • the anode is connected to the signal line ⁇ 2 and the source of the transistor Tr62, and the gate is connected to the drain of the transistor Tr62 and one end of the capacitive elements C62A and C62B.
  • the gate of the transistor Tr62 is connected to the other end of the capacitive element C61A and the inverted signal of the reset line Reset2.
  • the other ends of the capacitive elements C61B and C62B are connected to the power supply VDD.
  • the gate potentials of the photoelectric conversion elements PD61 and PD62 are not fixed, and after the precharging period to the reading period (during charge charge accumulation) And at the time of discharge discharge), it is in a high impedance state.
  • the other circuit configuration is the same as that of the light receiving unit 33E, so the description will be omitted.
  • the cathode potential Vn in the photoelectric conversion element PD61 is changed by the signal line ⁇ 1.
  • the gate voltage Vg1 in the photoelectric conversion element PD61 is changed by turning on and off between the signal line ⁇ 1 and the gate electrode via the switching element SW61 formed by the transistor Tr61.
  • the cathode potential Vn in the photoelectric conversion element PD61 is set between Vn1 and Vn2 by the potential V ( ⁇ 1) of the signal line ⁇ 1. Alternately (see arrow P611 in FIG. 38A; Vn2 ⁇ Vn1).
  • the switching element SW61 is turned on to reset the gate voltage Vg1 of the photoelectric conversion element PD61 to Vn1, and then the switching element SW61 is turned off.
  • Vn Vn2
  • Vg Vg12
  • the on / off state of the photoelectric conversion element PD61 can be arbitrarily set by the operation of the switching element SW61.
  • the anode potential Vp in the photoelectric conversion element PD62 is changed by the signal line ⁇ 2.
  • the gate voltage Vg2 in the photoelectric conversion element PD62 is changed by turning on and off between the signal line ⁇ 2 and the gate electrode via the switching element SW62 formed of the transistor Tr62.
  • the anode potential Vp in the photoelectric conversion element PD62 is set between Vp1 and Vp2 by the potential V (.phi.2) of the signal line .phi.2. Alternately (see arrow P621 in FIG. 40A; Vp2 ⁇ Vp1).
  • the gate voltage Vg2 of the photoelectric conversion element PD62 is reset to Vp2, and then the switching element SW62 is turned off.
  • Vp Vp1
  • the gate voltage Vg of the photoelectric conversion element PD62 decreases due to the coupling capacitance between the gate and the anode.
  • the on / off state of the photoelectric conversion element PD62 can be arbitrarily set by the operation of the switching element SW62.
  • the charge generated by the photoelectric conversion element PD61 (based on the combined light amount of the reflected light Lon and the external light L0) is turned on by the photoelectric conversion element PD61.
  • the current is accumulated in the capacitor C 1 by the current path I 61 in the drawing.
  • the discharge charge (based on the light quantity of the external light L0) generated in the photoelectric conversion element PD62 turns on the photoelectric conversion element PD62 and turns on the photoelectric conversion element PD61. Is released from the capacitor C1 by the current path I62 in the figure.
  • the current flowing even when the photoelectric conversion elements PD61 and PD62 are in the off state is not 0, exactly, the current of the photoelectric conversion element in the on state and the photoelectric conversion element in the off state The difference causes charging or discharging.
  • the imaging operation as described above makes it possible to stably detect an object regardless of the use condition while suppressing the manufacturing cost.
  • FIG. 44 illustrates a circuit configuration of light receiving units (light receiving units 33A1 and 33A2) in a display area (display area (sensor area) 21C) according to the sixth modification.
  • an imaging pixel (light receiving portion) 33A1 including a light shielding portion 341, 342 for blocking the reflected light Lon and the environmental light L0 from the photoelectric conversion elements PD21 and PD22.
  • the image pickup pixel (light receiving unit) 33A2 does not include such a light shielding unit.
  • the circuit configuration other than the light shielding portion in the light receiving portions 33A1 and 33A2 is the same as that of the light receiving portion 33A described in the first modification, and thus the description thereof is omitted.
  • imaging pixels 33A1 and 33A2 in the display area (sensor area) 21C, for example, as shown in FIG. 45, the imaging pixels 33A1 and 33A2 and the imaging pixels 33A1 and 33A2 are driven for imaging
  • the wiring portions 32 for this purpose are disposed separately from each other.
  • Object information is to be acquired.
  • an imaging pixel is configured by an imaging pixel (light receiving unit) 33A1 including light shielding units 341 and 342, and an imaging pixel (light receiving unit) 33A2 not including such a light shielding unit Since object information is acquired based on the difference signal between the imaging signal obtained by the pixel 33A1 and the imaging signal obtained by the imaging pixel 33A2, the influence of the voltage inclination or the like generated in the I / O display panel 20, the display It becomes possible to remove the noise component etc. which are mixed from driving of the system, and it becomes possible to improve the S / N ratio.
  • the two types of light receiving sections 33A1 and 33A2 are described based on the circuit configuration of the light receiving section 33A according to the first modification, but such two types of light receiving sections are It may be based on the circuit configuration of the light receiving unit 33 of the above-described embodiment and the light receiving units 33B to 33F according to the above second to fifth modifications.
  • FIG. 46A is an example in which the surface of the I / O display panel 20 is touched with a fingertip 61, and the locus of the touched portion is displayed on the screen as a drawing line 611.
  • FIG. 46 (B) is for gesture recognition using a hand shape. Specifically, the shape of the hand 62 touching (or in proximity to) the I / O display panel 20 is recognized, the recognized hand shape is displayed as an image, and some processing is performed by moving the display object 621. It is intended to
  • the hand 63A in the closed state is changed to the hand 63B in the open state, and the I / O display panel 20 recognizes the contact or proximity of the hand in each state.
  • processing based on the image recognition For example, an instruction such as zooming in can be given.
  • an instruction such as zooming in can be given.
  • the operation of switching the command on the computer device by connecting the I / O display panel 20 to the personal computer device can be more naturally formed by these image recognitions. You can enter
  • a plurality of I / O display panels 20 are prepared, and by connecting the plurality of I / O display panels by any transmission means, an image in which contact or proximity is detected. May be transmitted and displayed on the other party's I / O display panel to communicate between users who operate both display panels. That is, as shown in FIG. 48, two I / O display panels are prepared, and the handprinted hand-printed hand-printed one hand of the panel is sent to the other party to display the handprint 642 on the other panel. Then, processing such as sending the locus 641 displayed by touching the other panel with the hand 64 to the other panel for display can be performed.
  • the state of drawing is transmitted as a moving image, and there is the possibility of a new communication tool by sending handwritten characters and figures to the other party.
  • application of the I / O display panel 20 to a display panel of a mobile phone terminal is assumed.
  • a brush 66 is used to touch the surface of the I / O display panel 20 to write characters, and the portion touched by the brush 66 is displayed on the I / O display panel 20.
  • the image 661 By displaying as the image 661, handwriting input by a brush can be performed. In this case, it is possible to recognize and realize even a fine touch of the brush.
  • a special pen tilt has been realized by electric field detection, but in this example, it is more realistic by detecting the contact surface of the real brush itself. Information can be input with
  • the display-and-image-pickup apparatus includes a video signal input from the outside or a video signal generated internally such as a television apparatus, a digital camera, a laptop computer, a portable terminal such as a mobile phone or a video camera
  • the present invention can be applied to electronic devices of all fields displayed as an image or a video.
  • FIG. 50 shows the appearance of a television set to which the display-and-image-pickup device of the above-described embodiment and the like is applied.
  • the television apparatus includes, for example, a video display screen unit 510 including a front panel 511 and a filter glass 512.
  • the video display screen unit 510 is configured by the display and imaging device according to the above-described embodiment and the like. There is.
  • FIG. 51 illustrates an appearance of a digital camera to which the display-and-image-pickup device of the above-described embodiment and the like is applied.
  • the digital camera has, for example, a light emitting unit 521 for flash, a display unit 522, a menu switch 523 and a shutter button 524.
  • the display unit 522 is configured by the display and imaging device according to the above-described embodiment and the like. ing.
  • FIG. 52 illustrates the appearance of a notebook personal computer to which the display-and-image-pickup device of the above-described embodiment and the like is applied.
  • the notebook personal computer includes, for example, a main body 531, a keyboard 532 for input operation of characters and the like, and a display unit 533 for displaying an image.
  • the display unit 533 is a display according to the above-described embodiment and the like. It comprises an imaging device.
  • FIG. 53 illustrates an appearance of a video camera to which the display-and-image-pickup device of the above-described embodiment and the like is applied.
  • This video camera has, for example, a main body 541, a lens 542 for photographing an object provided on the front side of the main body 541, a start / stop switch 543 at the time of photographing, and a display 544.
  • Reference numeral 544 is configured by the display and imaging device according to the above-described embodiment and the like.
  • FIG. 54 illustrates an appearance of a mobile phone to which the display-and-image-pickup device of the above-described embodiment and the like is applied.
  • This mobile phone is, for example, one in which an upper housing 710 and a lower housing 720 are connected by a connecting portion (hinge portion) 730, and has a display 740, a sub display 750, a picture light 760 and a camera 770. There is.
  • the display 740 or the sub display 750 is configured by the display and imaging device according to the above-described embodiment and the like.
  • the display backlight may also serve as the detection illumination, or A light may be provided.
  • the light for example, infrared light
  • the reset operation or the read operation for the light receiving portion (imaging pixel) for one line in one ON period or OFF period of the backlight 15 In the above case (when the high frequency backlight blinks) is performed, the case is not limited. That is, for example, during one ON period or OFF period of the backlight 15, the reset operation or the readout operation is performed on the light receiving units (imaging pixels) for a plurality of lines (a low frequency backlight blink operation is performed) You may do so.
  • the I / O display panel 20 has been described as a liquid crystal element and separately providing a light receiving element as a display element.
  • the I / O display panel may be configured by a light emitting / receiving element (display image pickup element) capable of performing time division of the light receiving operation and the light receiving operation. Note that the period in which the display light is not emitted in this case is a period in which the light emitting operation by the display imaging device is not performed.
  • the present invention provides the display elements Alternatively, the present invention can be applied to an imaging apparatus having an imaging panel including a plurality of imaging elements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

　製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能な撮像装置を提供する。Ｉ／Ｏディスプレイパネル２０によって近接物体に対してバックライト１５からの照射光を照射させているときに、この照射光による反射光Ｌｏｎと環境光（外光）Ｌ０との合算光量に応じて、各撮像画素３３に充電電荷を蓄積させる。また、上記照射光が照射されていないときに、環境光Ｌ０の光量に応じて、各撮像画素３３から放電電荷を放出させる。これにより、各撮像画素３３から得られる撮像信号では、環境光Ｌ０による成分が差し引かれるため、環境光Ｌ０の影響を受けずに、近接物体の物体情報が取得可能となる。また、受光ドライブ回路１３において、撮像信号から撮像画像を生成する際に必要なフレームメモリ１３Ａが、従来よりも少なくて済むようになる。

Description

撮像装置、表示撮像装置、電子機器および物体の検出方法
　本発明は、パネルに接触または近接する物体の位置などの情報を取得する撮像装置および表示撮像装置、そのような表示撮像装置を備えた電子機器、ならびにそのような情報を取得するための物体の検出方法に関する。
　従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。
　このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。
　また、本出願人は例えば特許文献１および特許文献２において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。
特開２００４－１２７２７２号公報 特開２００６－２７６２２３号公報
　上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示撮像パネルからの照射光による反射光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。
　しかしながら、上記のように物体で反射された反射光を利用する場合、外光（環境光）や、受光素子の特性ばらつきなどが問題となることがあった。具体的には、受光する光の輝度が外光の明るさに応じて変化することから、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。また、受光素子の特性ばらつきなどが固定ノイズとなり、やはり撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。
　そこで、上記特許文献２では、発光状態で得られた画像（照射光による反射光を利用して得られた画像）と、消灯状態で得られた画像との差分を取ることにより、上記した外光や固定ノイズによる影響が除去されるようにしている。
　具体的には、例えば図５５（Ａ）に断面図で示したように、入射する外光（環境光）Ｌ０が強い場合には、バックライト１０５を点灯させた状態での受光出力電圧Ｖon101は、図５５（Ｂ）に示したように、表示エリア１０１のうちの指ｆで触れた個所以外では、環境光Ｌ０の明るさに対応した電圧値Ｖａとなり、表示エリア１０１のうちの指ｆで触れた個所では、そのときに触れた物体（指ｆ）の表面で、バックライト１０５からの照射光Ｌｏｎを反射させる反射率に対応した電圧値Ｖｂに低下する。これに対して、バックライト１０５を消灯させた状態での受光出力電圧Ｖoff101は、指ｆで触れた個所以外では、環境光Ｌ０の明るさに対応した電圧値Ｖａとなる点は同じであるが、指ｆで触れた個所では、環境光Ｌ０が遮断された状態であり、非常にレベルの低い電圧値Ｖｃとなる。
　また、例えば図５６（Ａ）に断面図で示したように、入射する環境光Ｌ０が弱い（ほとんどない）状態では、バックライト１０５を点灯させた状態での受光出力電圧Ｖon201は、図５６（Ｂ）に示したように、表示エリア１０１のうちの指ｆで触れた個所以外では、環境光Ｌ０がないために非常にレベルの低い電圧値Ｖｃとなり、表示エリア１０１のうちの指ｆで触れた個所では、そのときに触れた物体（指ｆ）の表面で、バックライト１０５からの照射光Ｌｏｎを反射させる反射率に対応した電圧値Ｖｂに上昇する。これに対して、バックライト１０５を消灯させた状態での受光出力電圧Ｖoff２は、指ｆで触れた個所とそれ以外の個所のいずれでも、非常にレベルの低い電圧値Ｖｃのままで変化がない。
　このようにして、表示エリア１０１のうちの指ｆが接触していない個所では、環境光Ｌ０がある場合とない場合とで、受光出力電圧が大きく異なっている。一方、表示エリア１０１のうちの指ｆが接触している個所では、環境光Ｌ０の有無に関係なく、バックライト１０５の点灯時の電圧Ｖｂと、バックライト１０５の消灯時の電圧Ｖｃとが、ほぼ同じような状態となっている。よって、バックライト１０５の点灯時の電圧と消灯時の電圧との差分を検出することにより、電圧Ｖｂと電圧Ｖｃとの差のように、一定以上の差がある個所が、物体が接触または近接した個所であると判断することができ、例えば図５７に示した差分画像Ｃのように、外光や固定ノイズの影響を受けずに、物体の位置などを検出することが可能となると考えられる。
　ところが、このような差分画像Ｃを用いた物体の検出方法では、例えば図５７に示したように、バックライトオフ時の画像（画像Ａ）とバックライトオン時の画像（画像Ｂ）との２枚の画像用のフレームメモリ等が必要となるため、部品コストが増加してしまうことになる。
　このように従来の技術では、製造コストを抑えつつ、そのときの使用状況によらずにパネルに接触または近接する物体を安定して検出するのは困難であり、改善の余地があった。
　本発明はかかる問題点に鑑みてなされたもので、その目的は、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能な撮像装置、表示撮像装置および物体の検出方法、ならびにそのような表示撮像装置を備えた電子機器を提供することにある。
　本発明の撮像装置は、複数の撮像画素により構成され、近接物体に対する照射光源を有する撮像パネルと、各撮像画素に対して撮像駆動を行うことにより、各撮像画素から撮像信号を取得する撮像駆動手段と、各撮像画素から得られる撮像信号に基づく撮像画像を用いて、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理手段とを備えたものである。また、上記撮像駆動手段は、照射光源から照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて各撮像画素に充電電荷が蓄積されると共に、照射光源から照射光が照射されていないときに、環境光の光量に応じて各撮像画素から放電電荷が放出されるように撮像駆動を行うことにより、各撮像画素から撮像信号を取得するようになっている。なお、「近接物体」とは、文字通り近接する物体だけではなく、接触状態にある物体をも含む意味である。
　本発明の表示撮像装置は、複数の表示画素および複数の撮像画素により構成された表示撮像パネルと、各表示画素に対して表示駆動を行うことにより、画像表示を行う表示駆動手段と、各撮像画素に対して撮像駆動を行うことにより、各撮像画素から撮像信号を取得する撮像駆動手段と、各撮像画素から得られる撮像信号に基づく撮像画像を用いて、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理手段とを備えたものである。また、上記撮像駆動手段は、近接物体に対して表示撮像パネルから照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて各撮像画素に充電電荷が蓄積されると共に、表示撮像パネルから照射光が照射されていないときに、環境光の光量に応じて各撮像画素から放電電荷が放出されるように撮像駆動を行うことにより、各撮像画素から撮像信号を取得するようになっている。なお、「照射光」とは、表示撮像パネルから照射される表示光だけでなく、表示撮像パネル上の別光源（例えば、赤外光源など）から照射される光をも含む意味である。
　本発明の電子機器は、画像表示機能および撮像機能を有する上記表示撮像装置を備えたものである。
　本発明の物体の検出方法は、複数の撮像画素により構成された撮像パネルによって近接物体に対して照射光を照射させているときに、この照射光による反射光と環境光との合算光量に応じて各撮像画素に充電電荷を蓄積させると共に、上記照射光を照射させていないときに、環境光の光量に応じて各撮像画素から放電電荷を放出させるようにして各撮像画素に対して撮像駆動を行うことによって、各撮像画素から撮像信号を取得し、各撮像画素から得られる撮像信号に基づく撮像画像を用いて、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得するようにしたものである。
　本発明の撮像装置、表示撮像装置、電子機器および物体の検出方法では、撮像パネルまたは表示撮像パネルによって近接物体に対して照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて、各撮像画素に充電電荷が蓄積される。また、上記照射光が照射されていないときに、環境光の光量に応じて各撮像画素から放電電荷が放出される。これらにより、各撮像画素から撮像信号が得られる。そして、各撮像画素から得られる撮像信号に基づく撮像画像を用いて、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報が得られる。これにより、各撮像画素から得られる撮像信号では、環境光による成分が差し引かれるため、そのような環境光の影響を受けずに、近接物体の物体情報の取得が可能となる。また、充電電荷の蓄積動作と放電電荷の放出動作とに基づいて撮像画素ごとに撮像信号が得られるため、撮像信号から撮像画像を生成する際に必要なフレームメモリ等が、従来よりも少なくて済むようになる。
　本発明の撮像装置、表示撮像装置、電子機器または物体の検出方法によれば、撮像パネルまたは表示撮像パネルによって近接物体に対して照射光を照射させているときに、この照射光による反射光と環境光との合算光量に応じて各撮像画素に充電電荷を蓄積させると共に、上記照射光を照射させていないときに、環境光の光量に応じて各撮像画素から放電電荷を放出させるようにして、各撮像画素から撮像信号を取得するようにしたので、環境光の影響を受けずに近接物体の物体情報を取得することができると共に、撮像信号から撮像画像を生成する際に必要なフレームメモリ等が、従来よりも少なくて済むようになる。よって、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。
本発明の一実施の形態に係る表示撮像装置の構成を表すブロック図である。 図１に示したＩ／Ｏディスプレイパネルの構成例を表すブロック図である。 図２に示した表示エリア（センサエリア）内の画素配置例を表す平面図である。 図３に示した画素配置における受光部と信号線との接続関係の一例を表す平面模式図である。 実施の形態に係る受光部の構成例を表す回路図である。 図３に示した画素配置における受光部と信号線との接続関係の詳細を表す模式図である。 実施の形態に係る表示撮像装置における撮像動作の一例を表すタイミング波形図である。 図７に示した撮像動作の詳細を説明するためのタイミング波形図である。 図７および図８に示した撮像動作の際のチャージ動作およびディスチャージ動作について説明するための回路図である。 図８に示したＳＷ制御信号およびバックライト状態の詳細を説明するためのタイミング波形図である。 比較例に係る撮像動作について説明するための特性図である。 図１１に示した撮像動作について説明するための模式図である。 比較例に係る撮像動作について説明するための他の特性図である。 比較例に係る撮像動作について説明するための他の特性図である。 本発明の変形例１に係る受光部の構成例を表す回路図である。 変形例１に係る表示エリア（センサエリア）内の受光部と信号線との接続関係の詳細を表す模式図である。 変形例１に係る撮像動作の際のチャージ動作およびディスチャージ動作について説明するための回路図である。 変形例１に係る撮像動作の際のＳＷ制御信号およびバックライト状態について説明するためのタイミング波形図である。 本発明の変形例１に係る他の受光部の構成例を表す回路図である。 本発明の変形例２に係る受光部の構成例を表す回路図である。 変形例２に係る撮像動作について説明するためのタイミング波形図である。 変形例２に係る撮像動作の際のチャージ動作およびディスチャージ動作について説明するための回路図である。 変形例２に係る撮像動作の際のＳＷ制御信号およびバックライト状態について説明するためのタイミング波形図である。 本発明の変形例３に係る表示エリア（センサエリア）内の受光部の構成例を表す回路図である。 光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例３に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例３に係る撮像動作について説明するためのタイミング波形図である。 変形例３に係る光電変換素子におけるオン動作およびオフ動作について詳細に説明するためのタイミング波形図である。 変形例３に係る撮像動作の際のチャージ動作およびディスチャージ動作について説明するための回路図である。 本発明の変形例４に係る表示エリア（センサエリア）内の受光部の構成例を表す回路図である。 変形例４に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例４に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例４に係る撮像動作について説明するためのタイミング波形図である。 変形例４に係る光電変換素子におけるオン動作およびオフ動作について詳細に説明するためのタイミング波形図である。 変形例４に係る撮像動作の際のチャージ動作およびディスチャージ動作について説明するための回路図である。 本発明の変形例５に係る表示エリア（センサエリア）内の受光部の構成例を表す回路図である。 変形例５に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例５に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例５に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例５に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例５に係る撮像動作について説明するためのタイミング波形図である。 変形例５に係る光電変換素子におけるオン動作およびオフ動作について詳細に説明するためのタイミング波形図である。 変形例５に係る撮像動作の際のチャージ動作およびディスチャージ動作について説明するための回路図である。 本発明の変形例６に係る表示エリア（センサエリア）内の受光部の構成例を表す回路図である。 図４４に示した表示エリア（センサエリア）内の画素配置例を表す平面図である。 本発明による撮像結果（指先抽出処理の結果）を利用したアプリケーションの一例について説明するための図である。 本発明による撮像結果（指先抽出処理の結果）を利用したアプリケーションの一例について説明するための図である。 本発明による撮像結果（指先抽出処理の結果）を利用したアプリケーションの一例について説明するための図である。 本発明による撮像結果（指先抽出処理の結果）を利用したアプリケーションの一例について説明するための図である。 本発明の表示撮像装置の適用例１の外観を表す斜視図である。 （Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。 適用例３の外観を表す斜視図である。 適用例４の外観を表す斜視図である。 （Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。 従来の表示撮像装置による撮像動作（差分画像指先抽出処理）の一例を表す特性図である。 従来の表示撮像装置による撮像動作（差分画像指先抽出処理）の他の例を表す特性図である。 従来の表示撮像装置による撮像動作（差分画像指先抽出処理）について説明するための写真図である。
　以下、本発明を実施するための最良の形態（以下、単に実施の形態という。）について、図面を参照して詳細に説明する。
　図１は、本発明の一実施の形態に係る表示撮像装置の全体構成を表すものである。この表示撮像装置は、Ｉ／Ｏディスプレイパネル２０と、バックライト１５と、表示ドライブ回路１２と、受光ドライブ回路１３と、画像処理部１４と、アプリケーションプログラム実行部１１とを備えている。
　Ｉ／Ｏディスプレイパネル２０は、複数の画素が全面に渡ってマトリクス状に配置された液晶パネル（ＬＣＤ（Liquid Crystal Display））からなり、線順次動作をしながら表示データに基づく所定の図形や文字などの画像を表示する機能（表示機能）を有すると共に、後述するようにこのＩ／Ｏディスプレイ２０に接触または近接する物体（近接物体）を撮像する機能（撮像機能）を有するものである。また、バックライト１５は、例えば複数の発光ダイオードが配置されてなるＩ／Ｏディスプレイパネル２０の表示および検出用の光源であり、後述するようにＩ／Ｏディスプレイ２０の動作タイミングに同期した所定のタイミングで、高速にオン・オフ動作を行うようになっている。
　表示ドライブ回路１２は、Ｉ／Ｏディスプレイパネル２０において表示データに基づく画像が表示されるように（表示動作を行うように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次表示動作の駆動を行う）回路である。
　受光ドライブ回路１３は、Ｉ／Ｏディスプレイパネル２０の各画素から受光信号（撮像信号）が得られるように（物体を撮像するように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次撮像動作の駆動を行う）回路である。なお、各画素からの受光信号は、例えばフレーム単位でフレームメモリ１３Ａに蓄積され、撮像画像として画像処理部１４へ出力されるようになっている。
　画像処理部１４は、受光ドライブ回路１３から出力される撮像画像に基づいて所定の画像処理（演算処理）を行い、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する物体情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出し、取得するものである。なお、この検知する処理の詳細については後述する。
　アプリケーションプログラム実行部１１は、画像処理部１４による検知結果に基づいて所定のアプリケーションソフトに応じた処理を実行するものであり、例えば検知した物体の位置座標を表示データに含むようにし、Ｉ／Ｏディスプレイパネル２０上に表示させるものなどが挙げられる。なお、このアプリケーションプログラム実行部１１で生成される表示データは、表示ドライブ回路１２へ供給されるようになっている。
　次に、図２を参照して、Ｉ／Ｏディスプレイパネル２０の詳細構成例について説明する。このＩ／Ｏディスプレイパネル２０は、表示エリア（センサエリア）２１と、表示用Ｈドライバ２２と、表示用Ｖドライバ２３と、センサ読み出し用Ｈドライバ２５と、センサ用Ｖドライバ２４とを有している。
　表示エリア（センサエリア）２１は、バックライト１５からの光を変調して照射光（表示光と、例えば赤外光源等（図示せず）による検出用の照射光とを含むもの。以下同様。）を出射すると共にこのエリアに接触または近接する物体を撮像する領域であり、発光素子（表示素子）である液晶素子と、後述する受光素子（撮像素子）とが、それぞれマトリクス状に配置されている。
　表示用Ｈドライバ２２は、表示ドライブ回路１２から供給される表示駆動用の表示信号および制御クロックに基づいて、表示用Ｖドライバ２３と共に表示エリア２１内の各画素の液晶素子を線順次駆動するものである。
　センサ読み出し用Ｈドライバ２５は、センサ用Ｖドライバ２４と共にセンサエリア２１内の各画素の受光素子を線順次駆動し、受光信号を取得するものである。また、これらセンサ読み出し用Ｈドライバ２５およびセンサ用Ｖドライバ２４は、詳細は後述するが、近接物体に対してＩ／Ｏディスプレイパネル２０から照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて各画素に充電電荷が蓄積されると共に、Ｉ／Ｏディスプレイパネル２０パネルから照射光が照射されていないときに、環境光の光量に応じて各画素から放電電荷が放出されるように撮像駆動を行うことにより、各画素から撮像信号（受光信号）を取得するようになっている。
　次に、図３～図６を参照して、表示エリア２１における各画素の詳細構成例について説明する。
　まず、例えば図３に示したように、画素３１は、表示画素（表示部）３１ＲＧＢと、撮像画素（受光部）３３と、この撮像画素３３用の配線が形成された配線部３２とから構成されている。また、表示画素３１ＲＧＢは、赤（Ｒ）用の表示画素３１Ｒと、緑（Ｇ）用の表示画素３１Ｇと、青（Ｂ）用の表示画素３１Ｂとから構成されている。これら表示画素３１ＲＧＢ、撮像画素３３および配線部３２はそれぞれ、表示エリア２１（センサエリア）上でマトリクス状に並んで配置されている。また、撮像画素３３と、この撮像画素３３を撮像駆動するための配線部３２とが、一定周期で互いに分離配置されている。このような配置により、撮像画素３２および配線部３３からなるセンサリアを表示画素３１ＲＧＢに対して極めて認識しづらくなると共に、表示画素３１ＲＧＢにおける開口率低減が最小限に抑えられるようになっている。また、配線部３２を、表示画素３１ＲＧＢの開口に寄与しない領域(例えば、ブラックマトリクスで遮光された領域や反射領域など)に配置するようにすれば、表示品位を落とすことなく受光回路を配置することが可能となる。なお、各撮像画素（受光部）３３には、詳細は後述するが、例えば図４に示したように、リセット信号線Ｒｅｓｅｔ＿１～Ｒｅｓｅｔ＿ｎおよびリード信号線Ｒｅａｄ＿１～Ｒｅａｄ＿ｎが、水平ライン方向に沿って接続されるようになっている。
　また、例えば図５に示したように、各受光部３３は、受光光量に応じた電荷を発生させる受光素子としての光電変換素子ＰＤ１と、容量素子としてのコンデンサＣ１と、４つのスイッチング素子ＳＷ１１～ＳＷ１４と、３つのトランジスタＴｒ１～Ｔｒ３とを含んで構成されている。光電変換素子ＰＤ１は、コンデンサＣ１に対する充電電荷および放電電荷をそれぞれ共通して発生させるものであり、例えばフォトダイオードやフォトトランジスタなどにより構成されている。ここでは、光電変換素子ＰＤ１は、アノード（ｐ型半導体領域内に形成）、カソード（ｎ型半導体領域内に形成）およびゲート（例えば、真性半導体領域内に形成）を有するＰＩＮ型のフォトダイオードにより構成されており、後述する変形例に係る光電変換素子についても同様である。また、トランジスタＴｒ１～Ｔｒ３はそれぞれ、例えば薄膜トランジスタ（ＴＦＴ；ThinFilm Transistor）などにより構成されている。この受光部３３では、スイッチング素子ＳＷ１の一端が電源ＶＤＤに接続され、他端がスイッチング素子ＳＷ１３の一端および光電変換素子ＰＤ１のカソードおよびゲートに接続されている。また、スイッチング素子ＳＷ１２の一端が接地ＶＳＳに接続され、他端がスイッチング素子ＳＷ１４の一端および光電変換素子ＰＤ１のアノードに接続されている。また、スイッチング素子ＳＷ１３，ＳＷ１４の他端同士はそれぞれ、接続点Ｐ１を介して、コンデンサＣ１の一端、トランジスタＴｒ１のドレインおよびトランジスタＴｒ２のゲートに接続されている。コンデンサＣ１の他端は、接地ＶＳＳに接続されている。また、トランジスタＴｒ１のゲートはリセット信号線Ｒｅｓｅｔに接続され、ソースはリセット電源Ｖｒｓｔに接続されている。また、トランジスタＴｒ２のソースは電源ＶＤＤに接続され、ドレインはトランジスタＴｒ３のドレインに接続されている。また、トランジスタＴｒ３のゲートはリード信号線Ｒｅａｄに接続され、ソースは読み出し線４１に接続されている。また、充電用スイッチング素子として機能するスイッチング素子ＳＷ１１，ＳＷ１４によって、充電電荷をコンデンサＣ１へ蓄積させる（チャージさせる）ための充電回路が構成されている。また、放電用スイッチング素子として機能するスイッチング素子ＳＷ１２、ＳＷ１３によって、放電電荷をコンデンサＣ１から放出させる（ディスチャージさせる）ための放電回路が構成されている。このような構成により、詳細は後述するが、光電変換素子ＰＤ１で発生した充電電荷が充電用のスイッチング素子ＳＷ１１，ＳＷ１４を介してコンデンサＣ１へ蓄積されると共に、光電変換素子ＰＤ１で発生した放電電荷が放電用のスイッチング素子ＳＷ１２，ＳＷ１３を介してコンデンサＣ１から放出されるように、上記充電回路および放電回路内のスイッチング素子ＳＷ１１～ＳＷ１４がそれぞれ撮像駆動され、各受光部（撮像画素）３３から撮像信号が得られるようになっている。なお、上記したリセット電源Ｖｒｓｔの電圧（各受光部３３においてコンデンサＣ１に蓄積された電荷を全て放出させるためのリセット電圧）は、電源電圧ＶＤＤと接地電圧ＶＳＳとの間の任意の電圧に設定可能となっている。
　なお、図５において説明した受光部（撮像画素）３３内の回路部分、表示画素３１ＲＧＢ、リセット信号線Ｒｅｓｅｔ、リード信号線Ｒｅａｄ、読み出し線４１、電源ラインＶＤＤ、接地ラインＶＳＳおよびリセット電圧ラインＶｒｓｔ、ならびに、スイッチング信号ＳＷ１１，Ｓ１４をスイッチング制御するためのＳＷ制御信号が供給されるＳＷ制御ラインＳａおよびスイッチング信号ＳＷ１２，Ｓ１３をスイッチング制御するためのＳＷ制御信号が供給されるＳＷ制御ラインＳｂはそれぞれ、表示エリア（センサエリア）２１において、例えば図６に示したように配置されている。
　次に、本実施の形態の表示撮像装置の動作について詳細に説明する。
　まず、この表示撮像装置による画像の表示動作および物体の撮像動作の概要について説明する。
　この表示撮像装置では、アプリケーションプログラム実行部１１から供給される表示データに基づいて、表示用ドライブ回路１２において表示用の駆動信号が生成され、この駆動信号により、Ｉ／Ｏディスプレイ２０に対して線順次表示駆動がなされ、画像が表示される。また、このときバックライト１５も表示ドライブ回路１２によって駆動され、Ｉ／Ｏディスプレイ２０と同期した点灯・消灯動作がなされる。
　ここで、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体（例えば、指先など）がある場合、受光ドライブ回路１３による線順次受光駆動により、このＩ／Ｏディスプレイパネル２０における各撮像画素３３においてその物体が撮像され、各撮像画素３２からの撮像信号が受光ドライブ回路１３へ供給される。受光ドライブ回路１３では、１フレーム分の撮像画素３３の撮像信号が蓄積され、撮像画像として画像処理部１４へ出力される。
　そして画像処理部１４では、この撮像画像に基づいて、以下説明する所定の画像処理（演算処理）が行われることにより、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する物体情報（位置座標データ、物体の形状や大きさに関するデータなど）が得られる。
　次に、図７～図１４を参照して、本実施の形態の撮像動作の詳細、および画像処理部１４によるＩ／Ｏディスプレイ２０に接触または近接する物体（指先等の近接物体）の抽出処理（指先抽出処理）について説明する。ここで、図７は、本実施の形態の撮像動作の一例をタイミング波形図で表したものであり、（Ａ）～（Ｄ）は、リセット信号電圧Ｖ（Ｒｅｓｅｔ＿１），Ｖ（Ｒｅｓｅｔ＿２），Ｖ（Ｒｅｓｅｔ＿３），Ｖ（Ｒｅｓｅｔ＿ｎ）を、（Ｅ）～（Ｈ）は、リード信号電圧Ｖ（Ｒｅａｄ＿１），Ｖ（Ｒｅａｄ＿２），Ｖ（Ｒｅａｄ＿３），Ｖ（Ｒｅａｄ＿ｎ）を、（Ｉ）は、スイッチング素子ＳＷ１１，ＳＷ１４の制御信号（ＳＷ制御信号Ｓａ）を、（Ｊ）は、スイッチング素子ＳＷ１２，ＳＷ１３の制御信号（ＳＷ制御信号Ｓｂ）を、それぞれ表している。また、図８は、図７に示した撮像動作の詳細（１つの受光素子３１における撮像動作）をタイミング波形図で表したものであり、（Ａ）は、リセット信号電圧Ｖ（Ｒｅｓｅｔ）を、（Ｂ）は、リード信号電圧Ｖ（Ｒｅａｄ）を、（Ｃ），（Ｄ）は、ＳＷ制御信号Ｓａ，Ｓｂを、（Ｅ）は、接続点Ｐ１の電位（蓄積電位）ＶＰ１を、（Ｆ）は、読み出しライン４１の電位（読み出し電圧）Ｖ４１を、それぞれ表している。また、図１１～図１４は、比較例に係る従来の撮像動作について説明するための特性図および模式図である。
　まず、例えば図７に示したように、リセット信号電圧Ｖ（Ｒｅｓｅｔ＿１），Ｖ（Ｒｅｓｅｔ＿２），Ｖ（Ｒｅｓｅｔ＿３），Ｖ（Ｒｅｓｅｔ＿ｎ）およびリード信号電圧Ｖ（Ｒｅａｄ＿１），Ｖ（Ｒｅａｄ＿２），Ｖ（Ｒｅａｄ＿３），Ｖ（Ｒｅａｄ＿ｎ）はそれぞれ、線順次動作によってＨ（ハイ）状態となる。各水平ライン上の受光部３３では、リセット信号電圧Ｖ（Ｒｅｓｅｔ）がＨ状態となってからリード信号電圧Ｖ（Ｒｅａｄ）がＨ状態となるまでの期間が、詳細は後述するが、露光期間となる。また、このようなリセット信号電圧Ｖ（Ｒｅｓｅｔ）およびリード信号電圧Ｖ（Ｒｅａｄ）の線順次動作に同期してバックライト１５のＯＮ状態およびＯＦＦ状態が交互に切り替わるようになっていると共に、このバックライト１５のＯＮ・ＯＦＦ状態の切り替わり動作に同期して、ＳＷ制御信号Ｓａ，ＳｂがそれぞれＨ（ハイ）状態となり、スイッチングＳＷ１１～ＳＷ１４がそれぞれオン状態となるようになっている。また、これらＳＷ制御信号ＳａとＳＷ制御信号Ｓｂとは、互いに交互にＨ状態となるようになっている。具体的には、バックライト１５がＯＮ状態のときには、ＳＷ制御信号ＳａがＨ状態となると共にＳＷ制御信号ＳｂがＬ（ロー）状態となり、バックライト１５がＯＦＦ状態のときには、ＳＷ制御信号ＳａがＬ状態となると共に、ＳＷ制御信号ＳｂがＨ状態となる。
　このとき、１つの受光素子３１における撮像動作は、例えば図８に示したようになる。すなわち、まず、タイミングｔ１０においてリセット信号電圧Ｖ（Ｒｅｓｅｔ）がＨ状態となると、トランジスタＴｒ１がオン状態となることにより、接続点Ｐ１の電位ＶＰ１（蓄積電位）が、任意に設定されたリセット電圧Ｖｒｓｔ（ここでは、Ｖｒｓｔ＝ＶＳＳ）にリセットされる。
　次にタイミングｔ１１～ｔ１２の期間では、バックライト１５がＯＮ状態となると共に、ＳＷ制御信号ＳａがＨ状態となり、ＳＷ制御信号ＳｂがＬ状態となることにより、コンデンサＣ１への充電電荷の蓄積動作（チャージ動作）が、表示駆動の際の水平期間（バックライト１５のＯＮ・ＯＦＦの切替動作）と同期してなされる。具体的には、例えば図９（Ａ）に示したように、充電用のスイッチング素子ＳＷ１１，ＳＷ１４がオン状態となると共に、放電用のスイッチング素子ＳＷ１２，ＳＷ１３がオフ状態となる。これにより、バックライト１５からの照射光による近接物体での反射光Ｌｏｎと外光（環境光）Ｌ０との合算光量に応じて、図中に示した充電電流Ｉ１１の経路によってコンデンサＣ１へ充電電荷が蓄積され、蓄積電位ＶＰ１が上昇する。
　次にタイミングｔ１２～ｔ１３の期間では、バックライト１５がＯＦＦ状態となると共に、ＳＷ制御信号ＳａがＬ状態となり、ＳＷ制御信号ＳｂがＨ状態となることにより、コンデンサＣ１からの放電電荷の放出動作（ディスチャージ動作）が、表示駆動の際の水平期間（バックライト１５のＯＮ・ＯＦＦの切替動作）と同期してなされる。具体的には、例えば図９（Ｂ）に示したように、充電用のスイッチング素子ＳＷ１１，ＳＷ１４がオフ状態となると共に、放電用のスイッチング素子ＳＷ１２，ＳＷ１３がオン状態となる。これにより、外光（環境光）Ｌ０の光量に応じて、図中に示した放電電流Ｉ１２の経路によってコンデンサＣ１から放電電荷が放出され、蓄積電位ＶＰ１が下降する。
　そして、このような充電電荷の蓄積動作と放電電荷の放出動作とが、タイミングｔ１４まで（露光期間の間）複数回切り換えられ、その後、その間にコンデンサＣ１に蓄積された電荷が、撮像信号として読み出される。具体的には、タイミングｔ１４においてリード信号電圧Ｖ（Ｒｅａｄ）がＨ状態となることにより、トランジスタＴｒ３がオン状態となり、タイミングｔ１５～ｔ１６の期間において、蓄積電位ＶＰ１の電圧が読み出し線４１から読み出される。このようにして、充電電荷の蓄積動作と放電電荷の放出動作とが複数回切り換えられた後に撮像信号が読み出されることにより、露光期間が長くなるため、図８（Ｅ）に示したように、撮像信号の信号成分（蓄積電位ＶＰ１）が増大するようになっている。また、ここで得られた撮像信号はアナログ値であるため、受光ドライブ回路１３においてＡ／Ｄ（アナログ／デジタル）変換がなされる。なお、その後はタイミングｔ１６においてリセット信号電圧Ｖ（Ｒｅｓｅｔ）がＨ状態となることにより、以降はタイミングｔ１０～ｔ１６と同様の動作が繰り返されることになる。
　なお、ＳＷ制御信号ＳａがＨ状態となる期間とＳＷ制御信号ＳｂがＨ状態となる期間とは、より詳細には、例えば図１０に示したように互いに重ならないようになっており（ノンオーバーラップ期間が設定されており）、これにより、受光部３３におけるリーク電流の発生が回避されるようになっている。
　次に、画像処理部１４では、受光ドライブ回路１３において生成された１フレーム分の撮像画像の重心を判定する演算処理がなされ、接触（近接）中心の特定が行われる。そして、近接物体の検出結果が画像処理部１４からアプリケーションプログラム実行部１１へ出力され、画像処理部１４による指先抽出処理が終了となる。
　このようにして、本実施の形態の指先抽出処理では、Ｉ／Ｏディスプレイパネル２０によって、近接物体に対してバックライト１５からの照射光が照射されているときに、この照射光による反射光Ｌｏｎと環境光（外光）Ｌ０との合算光量に応じて、各撮像画素３３に充電電荷が蓄積される。また、上記照射光が照射されていないときに、環境光Ｌ０の光量に応じて、各撮像画素３３から放電電荷が放出される。これらにより、各撮像画素３３から撮像信号が得られる。そして、各撮像画素３３から得られる撮像信号に基づく撮像画像を用いて、画像処理部１４において、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報が得られる。これにより、各撮像画素３３から得られる撮像信号では、環境光Ｌ０による成分が差し引かれるため、そのような環境光Ｌ０の影響を受けずに、近接物体の物体情報の取得が可能となる。
　また、充電電荷の蓄積動作と放電電荷の放出動作とに基づいて、撮像画素３３ごとに撮像信号が得られるため、受光ドライブ回路１３において、撮像信号から撮像画像を生成する際に必要なフレームメモリ１３Ａが、従来（例えば図５８に示したように、バックライトＯＦＦ時の画像（画像Ａ）と、バックライトＯＮ時の画像（画像Ｂ）との２枚の画像用のフレームメモリが必要となる）よりも少なくて済むようになる。
　なお、この指先抽出処理では、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上に同時に配置された複数の接触または近接する物体についても同様に、それぞれの物体に関する位置、形状または大きさなどの物体情報が取得可能となっている。
　また、図１１および図１２に示した比較例（例えば図５７，５８に示した従来の指先抽出処理）では、図１１中の矢印で示したように、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上で近接物体が移動している場合、以下のような問題が生ずる。すなわち、実際の使用状況下では、例えば図１２に示したように、バックライトオフ状態で得られた画像Ａ１０１と、バックライトオン状態で得られた画像Ｂ１０１との間には、時間差が存在する。したがって、例えば図１１に示したようにＩ／Ｏディスプレイパネル２０上で近接物体が高速に移動している場合などには、この時間差のため、画像Ａ１０１における受光出力信号Ｖoff（Ａ１０１）と画像Ｂ１０１における受光出力信号Ｖon（Ｂ１０１）との間で、近接物体に対応する部分に位置ずれが生じている。そしてこのような位置のため、これら２つの画像Ａ１０１，Ｂ１０１の差分画像Ｃ１０１（＝Ｂ１０１－Ａ１０１）およびその受光検出信号Ｖ（Ｃ１０１）（＝Ｖon（Ｂ１０１）－Ｖoff（Ａ１０１））において、図１１および図１２に示したように、近接物体の位置に対応する本来の信号の他に、別の位置に偽信号Ｆ１０１が生じてしまっている。よって、この比較例に係る指先抽出処理では、このような偽信号Ｆ１０１の存在により、近接物体を安定して検出するのが困難となってしまう場合がある。なお、この偽信号は、近接物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。
　これに対して本実施の形態では、上記したように、少なくとも例えば近接物体がＩ／Ｏディスプレイパネル２０上で動いている場合などには、各撮像画素３３において、充電電荷が蓄積されると共に放電電荷が放出されるように撮像駆動がなされることにより、各撮像画素３３から撮像信号が取得され、このような撮像信号に基づく撮像画像を用いて、近接物体の物体情報が取得されるようになっている。したがって、例えばバックライト１５のＯＮ／ＯＦＦ状態の切替周期を極めて短く設定することにより、そのような切替周期の間に、近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、その移動距離が極めて短くなるため、偽信号の発生が最小限に抑えられる（または回避される）。
　また、図１３および図１４に示した比較例（例えば図５７，５８に示した従来の指先抽出処理）では、以下のような問題も生じる場合がある。すなわち、実際のＩ／Ｏディスプレイパネル２０における各撮像画素では、光に対する蓄積容量は有限である。ここで、例えば図１３（Ａ），（Ｂ）に示したように、外光Ｌ０の光量が大きく、蓄積容量一杯よりも電荷が流れ込んでくるような場合、近接物体が指ｆなどの場合、図中の受光出力信号Ｖon301，Ｖoff301でそれぞれ示したように、指ｆの影の部分などは蓄積容量を超えないため、近接物体の検出が可能となっている。一方、図１４（Ａ），（Ｂ）に示したように、近接物体がペンｏｂ１などの非常に細い物体である場合や、近接物体がＩ／Ｏディスプレイパネル２０から離れている場合などには、図中の受光出力信号Ｖon401，Ｖoff401および符号Ｐ４０１でそれぞれ示したように、ペンｏｂ１の影の部分などが、蓄積容量を超えて高いレベルに達してしまうことがある。このような場合、受光出力信号Ｖon401，Ｖoff401の差分信号が撮像画素の蓄積容量を超えてしまい、差分結果を利用して近接物体を検出することができなくなってしまう。
　これに対して本実施の形態では、露光時間にかかわらず外光Ｌ０の成分は常に除去されているため、どのような外光条件であっても、有限の蓄積容量を外光Ｌ０の成分で使い切ってしまうことが回避可能となる（バックライト１５のＯＮ・ＯＦＦ状態の切替周期によって、一回の充電動作および放電動作により蓄積される容量が定まる）。
　以上のように本実施の形態では、Ｉ／Ｏディスプレイパネル２０によって近接物体に対してバックライト１５からの照射光を照射させているときに、この照射光による反射光Ｌｏｎと環境光（外光）Ｌ０との合算光量に応じて各撮像画素３３に充電電荷を蓄積させると共に、上記照射光が照射されていないときに、環境光Ｌ０の光量に応じて各撮像画素３３から放電電荷を放出させるようにして、各撮像画素３３から撮像信号を取得するようにしたので、各撮像画素３３から得られる撮像信号では環境光Ｌ０による成分が差し引かれるため、そのような環境光Ｌ０の影響を受けずに、近接物体の物体情報を取得することが可能となる。また、充電電荷の蓄積動作と放電電荷の放出動作とに基づいて、撮像画素３３ごとに撮像信号を取得するようにしたので、受光ドライブ回路１３において、撮像信号から撮像画像を生成する際に必要なフレームメモリ１３Ａが、従来よりも少なくて済むようになる（差分検出用のフレームメモリが不要となる）。よって、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。
　具体的には、各撮像画素（受光部）３３において、光電変換素子ＰＤ１が充電電荷および放電電荷をそれぞれ共通して発生させるものであると共に、この光電変換素子ＰＤ１で発生した充電電荷が充電用のスイッチング素子ＳＷ１１，ＳＷ１４を介してコンデンサＣ１へ蓄積されると共に、光電変換素子ＰＤ１で発生した放電電荷が放電用のスイッチング素子ＳＷ１２，ＳＷ１３を介してコンデンサＣ１から放出されるようにしたので、上記のような効果を得ることが可能となる。
　また、充電電荷の蓄積動作（チャージ動作）および放電電荷の放出動作（ディスチャージ動作）がそれぞれ、表示駆動の際の水平期間と同期しているようにしたので、カップリングノイズを低減することが可能となる。
　また、充電電荷の蓄積動作と放電電荷の放出動作とが複数回切り換えられた後に得られた撮像信号に基づいて物体情報を取得するようにしたので、露光期間を長くすることができ、撮像信号の信号成分（蓄積電位ＶＰ１）を増大させて検出感度を向上させることが可能となると共に、露光時間を自由に設定できるため、Ｓ／Ｎ比を高くすることが可能となる。
　また、例えばバックライト１５のＯＮ／ＯＦＦ状態の切替周期を極めて短く設定することにより、近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、偽信号の発生を最小限に抑える（または回避する）ことができ、検出感度をさらに向上させることが可能となる。また、高速なバックライト１５のＯＮ／ＯＦＦ状態の切替周期と同期して差分処理が行えるため、移動物体に対する検出を容易とすることが可能となる。
　また、各撮像画素３３内のコンデンサＣ１では、反射光Ｌｏｎによる電荷のみが蓄積されるため、撮像信号に対するＡ／Ｄ変換の際に、外光Ｌ０などの対応に無駄なレンジを設定する必要がなく（Ａ／Ｄ変換器のビット長（語長）を有効に活用することができ）、利用効率を向上させることが可能となる（Ｓ／Ｎ比を向上させることが可能となる）。
　また、本実施の形態による撮像駆動によれば、温度変化による暗電流成分も除去することが可能となる。
　また、撮像信号の読み出しの際に、従来は、高速に読み出すことによって少しでも移動物体への追従を良くしていたのに対し、本実施の形態では、読み出し速度と移動物体への追従性とを全く独立とすることができる。したがって、露光時間を自由に設定できるため、受光感度への要求を従来よりも緩和することができると共に、読み出し速度を遅く設定することも可能となる。
　さらに、本実施の形態の受光部３３では、バックライト１５をＯＦＦ状態とすると共に充電電荷の蓄積動作のみを行うようにすれば、外光Ｌ０を利用した影検出を行うことも可能である。
　以下、本発明の変形例をいくつか挙げて説明する。なお、上記実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
［変形例１］
　図１５は、変形例１に係る受光部（受光部３３Ａ）の回路構成を表したものである。この受光部（撮像画素）３３Ａは、上記実施の形態で説明した受光部３３とは異なり、２つの光電変換素子ＰＤ２１，ＰＤ２２と、２つのスイッチング素子ＳＷ２１，ＳＷ２２とを含んで構成されている。具体的には、光電変換素子ＰＤ２１のカソードおよびゲートが電源ＶＤＤに接続され、アノードがスイッチング素子ＳＷ２１の一端に接続されている。また、光電変換素子ＰＤ２２のアノードが接地ＶＳＳに接続され、カソードおよびゲートがスイッチング素子ＳＷ２２の一端に接続されている。また、スイッチング素子ＳＷ２１，ＳＷ２２の他端同士は、接続点Ｐ１に接続されている。また、この受光部３３Ａは、表示エリア（センサエリア）２１Ａにおいて、上記実施の形態と同様に例えば図１６に示したように、撮像画素３３Ａと、この撮像画素３３Ａを撮像駆動するための配線部３２とが、互いに分離配置されている。なお、他の回路構成は受光部３３と同様であるため、説明を省略する。
　また、この受光部３３Ａでは、光電変換素子ＰＤ２１が、充電電荷を発生させるための光電変換素子として機能すると共に、光電変換素子ＰＤ２２が、放電電荷を発生させるための光電変換素子として機能している。また、スイッチング素子ＳＷ２１が充電用のスイッチング素子として機能すると共に、スイッチング素子ＳＷ２２が放電用のスイッチング素子として機能している。これにより、例えば図１７（Ａ）に示したように、光電変換素子ＰＤ２１で発生した充電電荷（反射光Ｌｏｎおよび外光Ｌ０の合算光量に基づくもの）が充電用のスイッチング素子ＳＷ２１を介してコンデンサＣ１へ蓄積されると共に、例えば図１７（Ｂ）に示したように、光電変換素子ＰＤ２２で発生した放電電荷（外光Ｌ０の光量に基づくもの）が放電用のスイッチング素子ＳＷ２２を介してコンデンサＣ１から放出されるように、撮像駆動がなされるようになっている。
　このようにして本変形例においても、上記実施の形態と同様の撮像動作により、同様の指先抽出処理がなされる。これにより本変形例においても、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。
　また、光電変換素子ＰＤ２１のカソードまたは光電変換素子ＰＤ２２のアノードの一方が電源ＶＤＤまたは接地ＶＳＳと常に接続されている状態となるため、スイッチング素子ＳＷ２１，ＳＷ２２のオン・オフ時に生じるカップリングノイズを低減することが可能となる。
　また、受光部３３Ａ内のスイッチング素子が２つで済む（上記実施の形態の受光部３３では、４つのスイッチング素子ＳＷ１１～ＳＷ１４が必要）ため、ＳＷ制御信号Ｓａ，Ｓｂの信号線における配線容量を低減し、低消費電力化も図ることができる。
　さらに、本変形例の受光部３３Ａでは、上記実施の形態の受光部３３とは異なり、リーク電流の発生経路がないため、例えば図１８に示したように、ＳＷ制御信号ＳａがＨ状態となる期間とＳＷ制御信号ＳｂがＨ状態となる期間との間で、互いに重なってもよいこととなる（ノンオーバーラップ期間が設定されていない）。
　なお、本変形例では、例えば図１９に示した受光部（撮像画素）３３Ｂのように、スイッチング素子ＳＷ２１，ＳＷ２２のオフ状態時に寄生容量に蓄積される電荷を除去するためのスイッチング素子ＳＷ２３，ＳＷ２４を設けるようにするのが好ましい。具体的には、スイッチング素子ＳＷ２３は、光電変換素子ＰＤ２１のアノードおよびスイッチング素子ＳＷ２１の一端と、接地ＶＳＳとの間に設けられている。また、スイッチング素子ＳＷ２４は、光電変換素子ＰＤ２２のカソードおよびスイッチング素子ＳＷ２２の一端と、電源ＶＤＤとの間に設けられている。
［変形例２］
　図２０は、変形例２に係る受光部（受光部３３Ｃ）の回路構成を表したものである。この受光部（撮像画素）３３Ｃは、２つの光電変換素子ＰＤ３１，ＰＤ３２と、４つのスイッチング素子ＳＷ３１～ＳＷ３４とを含んで構成されている。具体的には、スイッチング素子ＳＷ３１，ＳＷ３３の一端同士が電源ＶＤＤに接続され、スイッチング素子ＳＷ３１の他端が光電変換素子ＰＤ３１のカソードおよびゲートに接続され、スイッチング素子ＳＷ３３の他端がコンデンサＣ１の一端およびスイッチング素子ＳＷ３４の一端に接続されている。また、光電変換素子ＰＤ３１のアノードが、コンデンサＣ１の他端、光電変換素子ＰＤ３２のカソードおよびゲート、ならびに接続点Ｐ１に接続されている。また、光電変換素子ＰＤ３２のアノードがスイッチング素子ＳＷ３２の一端に接続されている。また、スイッチング素子ＳＷ３２，ＳＷ３４の他端同士は、接地ＶＳＳに接続されている。なお、他の回路構成は受光部３３，３３Ａと同様であるため、説明を省略する。
　この受光部３３Ｃでは、例えば図２１に示したように、スイッチング素子ＳＷ３１～ＳＷ３４用のＳＷ制御信号Ｓ１～Ｓ４、リード信号電圧Ｖ（Ｒｅａｄ）およびリセット信号電圧Ｖ（Ｒｅｓｅｔ）により、図中のタイミングｔ２０～ｔ２６のようにして撮像動作がなされる。具体的には、例えば図２２（Ａ）に示したように、光電変換素子ＰＤ３１で発生した充電電荷（反射光Ｌｏｎおよび外光Ｌ０の合算光量に基づくもの）が充電用のスイッチング素子ＳＷ３１，ＳＷ３４を介してコンデンサＣ１へ蓄積されると共に、例えば図２２（Ｂ）に示したように、光電変換素子ＰＤ３２で発生した放電電荷（外光Ｌ０の光量に基づくもの）が放電用のスイッチング素子ＳＷ３２，ＳＷ３３を介してコンデンサＣ１から放出されるように、撮像駆動がなされるようになっている。また、この際、コンデンサＣ１の一端側が、充電電荷の蓄積時と放電電荷の放出時とにおいて、スイッチング素子ＳＷ３３またはスイッチング素子ＳＷ３４を介して、電源ＶＤＤまたは接地ＶＳＳに交互に接続されるようになっている。
　このようにして本変形例においても、上記実施の形態と同様の撮像動作により、同様の指先抽出処理がなされる。これにより本変形例においても、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。
　また、コンデンサＣ１の一端側が、充電電荷の蓄積時と放電電荷の放出時とにおいて、スイッチング素子ＳＷ３３またはスイッチング素子ＳＷ３４を介して電源ＶＤＤまたは接地ＶＳＳに交互に接続されるようにしたので、リセット電圧を任意に入力することなく、光電変換素子ＰＤ３１，ＰＤ３２の両端にかかる電圧をほぼ（ＶＤＤ－ＶＳＳ）とすることができ、リセット信号線を削減することが可能となる。
　なお、本変形例の受光部３３Ｃにおいても、上記実施の形態の受光部３３と同様にリーク電流の発生を回避するため、例えば図２３に示したように、ＳＷ制御信号ＳａがＨ状態となる期間とＳＷ制御信号ＳｂがＨ状態となる期間とが互いに重ならないように（ノンオーバーラップ期間が設定されるように）するのが好ましい。
［変形例３］
　図２４は、変形例３に係る受光部（受光部３３Ｄ）の回路構成を表したものである。この受光部（撮像画素）３３Ｄは、２つの光電変換素子ＰＤ４１（第１の光電変換素子），ＰＤ４２（第２の光電変換素子）を含んで構成されている。具体的には、光電変換素子ＰＤ４１は、カソードが電源ＶＤＤに接続され、アノードが光電変換素子ＰＤ４２のカソードおよび接続点Ｐ１に接続され、ゲートが信号線φ１に接続されている。また、光電変換素子ＰＤ４２は、アノードが接地ＶＳＳに接続され、ゲートが信号線φ２に接続されている。すなわち、この受光部３３Ｄには、これまで説明した受光部３３，３３Ａ～Ｃとは異なり、スイッチング素子が設けられていない一方、光電変換素子ＰＤ４１，ＰＤ４２のゲート電位が信号線φ１，φ２によって制御されるようになっている。なお、他の回路構成は受光部３３等と同様であるため、説明を省略する。
　本変形例（および後述する変形例４，５）では、これまで説明したスイッチング素子を用いた電流経路の切り換え動作の代わりに、光電変換素子自体をオン動作領域とオフ動作領域とで切り換えることにより、電流経路の切り換え動作を行っている。具体的には、光電変換素子ＰＤ４１におけるカソードとゲートとの間の電位関係と、光電変換素子ＰＤ４２におけるアノードとゲートとの間の電位関係とをそれぞれ変化させることにより、これら光電変換素子ＰＤ４１，ＰＤ４２を個別にオン・オフ状態に設定するようになっている。
　ここで、例えば図２５（Ａ）に示したように、光電変換素子ＰＤ４１，ＰＤ４２のアノード電位をＶｐ、カソード電位をＶｎ、ゲート電位をＶｇ、カソードからアノードに流れる光電流をＩｎｐとすると、光電変換素子ＰＤ４１，ＰＤ４２におけるＩ－Ｖ特性は、例えば図２５（Ｂ）に示したように表される。すなわち、ゲート電位（ゲート電圧）Ｖｇを変化させたとき、Ｖｐ＜Ｖｇ＜Ｖｎの電圧領域は、光電変換素子ＰＤ４１，ＰＤ４２がオン状態となるオン動作領域αとなる。一方、Ｖｎ＜Ｖｇの電圧領域は、光電変換素子ＰＤ４１，ＰＤ４２がオフ状態となるオフ動作領域β１となると共に、Ｖｇ＜Ｖｐの電圧領域も、光電変換素子ＰＤ４１，ＰＤ４２がオフ状態となるオフ動作領域β２となる。このようにして、光電変換素子ＰＤ４１におけるカソードとゲートとの間の電位関係と、光電変換素子ＰＤ４２におけるアノードとゲートとの間の電位関係とをそれぞれ変化させることにより、これら光電変換素子ＰＤ４１，ＰＤ４２における光電変換効率を変化させることができる。したがって、本変形例（および後述する変形例４，５）では、このような光電変換効率の変化を積極的に利用して、光電変換素子ＰＤ４１，ＰＤ４２を個別にオン・オフ状態に設定している。
　具体的には、本変形例では、まず、図２４に示したように、光電変換素子ＰＤ４１におけるカソード電位を電源ＶＤＤに固定すると共に、光電変換素子ＰＤ４２におけるアノード電位を接地ＶＳＳに固定している。また、図２４および図２６（Ａ）～（Ｃ）に示したように、これらの光電変換素子ＰＤ４１，ＰＤ４２におけるゲート電圧Ｖｇを、信号線φ１，φ２によってそれぞれ個別に変化させている。具体的には、光電変換素子ＰＤ４１のゲート電圧Ｖｇを、信号線φ１の電位Ｖ（φ１）によって、Ｖｇ１１とＶｇ１２との間で交互に変化させている（図２６（Ｃ）中の矢印Ｐ４１参照；Ｖｇ１２＜Ｖｇ１１）。また、光電変換素子ＰＤ４２のゲート電圧Ｖｇを、信号線φ２の電位Ｖ（φ２）によって、Ｖｇ２１とＶｇ２２との間で交互に変化させている（図２６（Ｃ）中の矢印Ｐ４２参照；Ｖｇ２２＜Ｖｇ２１）。これにより、例えば図２６（Ｃ）中の動作点Ｐ４１on，Ｐ４１offで示したように、信号線φ１の電位Ｖ（φ１）によって、光電変換素子ＰＤ４１のオン・オフ状態が任意に設定可能となっている。また、例えば図２６（Ｃ）中の動作点Ｐ４２on，Ｐ４２offで示したように、信号線φ２の電位Ｖ（φ２）によって、光電変換素子ＰＤ４２のオン・オフ状態が任意に設定可能となっている。
　本変形例の受光部３３Ｄでは、例えば図２７（Ａ）～（Ｆ）および図２８（Ａ）～（Ｃ）に示したように、リセット信号電圧Ｖ（Ｒｅｓｅｔ）、リード信号電圧Ｖ（Ｒｅａｄ）、信号線φ１，φ２の電位Ｖ（φ１），Ｖ（φ２）およびリセット電源Ｖｒｓｔ等により、図中のタイミングのようにして撮像動作がなされる。ここで、β１０，β２０はそれぞれ、光電変換素子ＰＤ４１，ＰＤ４２におけるオン動作領域からオフ動作領域への遷移領域を示している。
　具体的には、例えば図２９（Ａ）に示したように、光電変換素子ＰＤ４１で発生した充電電荷（反射光Ｌｏｎおよび外光Ｌ０の合算光量に基づくもの）が、この光電変換素子ＰＤ４１がオン状態となると共に光電変換素子ＰＤ４２がオフ状態となることにより、図中の電流経路Ｉ４１によってコンデンサＣ１へ蓄積される。また、例えば図２９（Ｂ）に示したように、光電変換素子ＰＤ４２で発生した放電電荷（外光Ｌ０の光量に基づくもの）が、この光電変換素子ＰＤ４２がオン状態となると共に光電変換素子ＰＤ４１がオフ状態となることにより、図中の電流経路Ｉ４２によってコンデンサＣ１から放出される。なお、光電変換素子ＰＤ４１，ＰＤ４２がオフ状態のときにおいても流れる電流は０ではないため、正確には、オン状態となっている光電変換素子と、オフ状態となっている光電変換素子との電流差によって充電または放電がなされる。
　このようにして本変形例においても、上記したような撮像動作により、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。
　なお、本変形例においても、リーク電流の発生を回避するため、図２７中に示したように、信号線φ１の電位Ｖ（φ１）がＨ状態となる期間と信号線φ２の電位Ｖ（φ２）がＨ状態となる期間とが、互いに重ならないように（ノンオーバーラップ期間が設定されるように）するのが好ましい。なお、ＰＩＮダイオードそのものをオン・オフさせる場合には、貫通電流がほとんど流れないため、ノンオーバーラップ期間は設けなくてもよいが、設けても問題はない。
［変形例４］
　図３０は、変形例４に係る受光部（受光部３３Ｅ）の回路構成を表したものである。この受光部（撮像画素）３３Ｅは、２つの光電変換素子ＰＤ５１（第１の光電変換素子），ＰＤ５２（第２の光電変換素子）を含んで構成されている。具体的には、光電変換素子ＰＤ５１は、カソードが信号線φ１に接続され、アノードが光電変換素子ＰＤ５２のカソードおよび接続点Ｐ１に接続され、ゲートが電源ＶＤＤに接続されている。また、光電変換素子ＰＤ５２は、アノードが信号線φ２に接続され、ゲートが接地ＶＳＳに接続されている。すなわち、この受光部３３Ｅでは、上記変形例３の受光部３３Ｄとは異なり、光電変換素子ＰＤ５１，ＰＤ５２のゲート電位が電源ＶＤＤまたは接地ＶＳＳによって固定される一方、光電変換素子ＰＤ５１のカソード電位および光電変換素子ＰＤ５２のアノード電位が信号線φ１，φ２によって制御されるようになっている。なお、他の回路構成は受光部３３Ｄと同様であるため、説明を省略する。
　本変形例では、まず、図３０に示したように、光電変換素子ＰＤ５１におけるゲート電位を電源ＶＤＤに固定すると共に、光電変換素子ＰＤ５２におけるゲート電位を接地ＶＳＳに固定している。また、図３０および図３１（Ａ）～（Ｃ）に示したように、光電変換素子ＰＤ５１におけるカソード電圧Ｖｎを、信号線φ１によって変化させている。具体的には、光電変換素子ＰＤ５１のカソード電圧Ｖｎを、信号線φ１の電位Ｖ（φ１）によって、Ｖｎ１とＶｎ２との間で交互に変化させている（図３１（Ｃ）中の矢印Ｐ５１参照；Ｖｎ２＜Ｖｎ１）。これにより、例えば図３１（Ｃ）に示したように、Ｖｎ＝Ｖｎ１のときとＶｎ＝Ｖｎ２のときとでは、オン動作領域αおよびオフ動作領域β１の電圧範囲が互いに異なることになる（図中のオン動作領域α１，α２およびオフ動作領域β１１，β２１参照）。したがって、このような光電変換効率の変化を積極的に利用することにより、図中の動作点Ｐ５１on，Ｐ５１offで示したように、信号線φ１の電位Ｖ（φ１）によって、光電変換素子ＰＤ５１のオン・オフ状態が任意に設定可能となっている。さらに、図３０および図３２（Ａ）～（Ｃ）に示したように、光電変換素子ＰＤ５２におけるアノード電圧Ｖｐを、信号線φ２によって変化させている。具体的には、光電変換素子ＰＤ５２のアノード電圧Ｖｐを、信号線φ２の電位Ｖ（φ２）によって、Ｖｐ１とＶｐ２との間で交互に変化させている（図３２（Ｃ）中の矢印Ｐ５２参照；Ｖｐ２＜Ｖｐ１）。これにより、例えば図３２（Ｃ）に示したように、Ｖｐ＝Ｖｐ１のときとＶｐ＝Ｖｐ２のときとでは、オン動作領域αおよびオフ動作領域β２の電圧範囲が互いに異なることになる（図中のオン動作領域α１，α２およびオフ動作領域β１２，β２２参照）。したがって、このような光電変換効率の変化を積極的に利用することにより、図中の動作点Ｐ５２on，Ｐ５２offで示したように、信号線φ２の電位Ｖ（φ２）によって、光電変換素子ＰＤ５２のオン・オフ状態が任意に設定可能となっている。
　本変形例の受光部３３Ｅでは、例えば図３３（Ａ）～（Ｆ）および図３４（Ａ）～（Ｃ）に示したように、リセット信号電圧Ｖ（Ｒｅｓｅｔ）、リード信号電圧Ｖ（Ｒｅａｄ）、信号線φ１，φ２の電位Ｖ（φ１），Ｖ（φ２）およびリセット電源Ｖｒｓｔ等により、図中のタイミングのようにして撮像動作がなされる。ここで、β１２０，β２１０はそれぞれ、光電変換素子ＰＤ５１，ＰＤ５２におけるオン動作領域からオフ動作領域への遷移領域を示している。
　具体的には、例えば図３５（Ａ）に示したように、光電変換素子ＰＤ５１で発生した充電電荷（反射光Ｌｏｎおよび外光Ｌ０の合算光量に基づくもの）が、この光電変換素子ＰＤ５１がオン状態となると共に光電変換素子ＰＤ５２がオフ状態となることにより、図中の電流経路Ｉ５１によってコンデンサＣ１へ蓄積される。また、例えば図３５（Ｂ）に示したように、光電変換素子ＰＤ５２で発生した放電電荷（外光Ｌ０の光量に基づくもの）が、この光電変換素子ＰＤ５２がオン状態となると共に光電変換素子ＰＤ５１がオフ状態となることにより、図中の電流経路Ｉ５２によってコンデンサＣ１から放出される。なお、光電変換素子ＰＤ５１，ＰＤ５２がオフ状態のときにおいても流れる電流は０ではないため、正確には、オン状態となっている光電変換素子と、オフ状態となっている光電変換素子との電流差によって充電または放電がなされる。
　このようにして本変形例においても、上記したような撮像動作により、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。
［変形例５］
　図３６は、変形例５に係る受光部（受光部３３Ｆ）の回路構成を表したものである。この受光部（撮像画素）３３Ｆは、２つの光電変換素子ＰＤ６１（第１の光電変換素子），ＰＤ６２（第２の光電変換素子）と、５つのトランジスタＴｒ１～Ｔｒ３，Ｔｒ６１（Ｎチャネルトランジスタ），Ｔｒ６２（Ｐチャネルトランジスタ）と、４つの容量素子Ｃ６１Ａ，Ｃ６１Ｂ，Ｃ６２Ａ，Ｃ６２Ｂとを含んで構成されている。具体的には、光電変換素子ＰＤ６１は、カソードが信号線φ１およびトランジスタＴｒ６１のソースに接続され、アノードが光電変換素子ＰＤ６２のカソードおよび接続点Ｐ１に接続され、ゲートがトランジスタＴｒ６１のドレインおよび容量素子Ｃ６１Ａ，Ｃ６１Ｂの一端に接続されている。また、トランジスタＴｒ６１のゲートは容量素子Ｃ６１Ａの他端およびリセット線Ｒｅｓｅｔ１（これまで説明したリセット線Ｒｅｓｅｔに対応）に接続されている。一方、光電変換素子ＰＤ６２は、アノードが信号線φ２およびトランジスタＴｒ６２のソースに接続され、ゲートがトランジスタＴｒ６２のドレインおよび容量素子Ｃ６２Ａ，Ｃ６２Ｂの一端に接続されている。また、トランジスタＴｒ６２のゲートは容量素子Ｃ６１Ａの他端およびリセット線Ｒｅｓｅｔ２の反転信号に接続されている。なお、容量素子Ｃ６１Ｂ，Ｃ６２Ｂの他端同士は電源ＶＤＤに接続されている。すなわち、この受光部３３Ｆでは、上記変形例４の受光部３３Ｅとは異なり、光電変換素子ＰＤ６１，ＰＤ６２のゲート電位が固定されず、プリチャージ期間後から読み出し期間までの間（充電電荷の蓄積時および放電電荷の放出時において）、ハイインピーダンス状態となっている。なお、他の回路構成は受光部３３Ｅと同様であるため、説明を省略する。
　本変形例では、まず、図３７（Ａ），（Ｂ）において模式的に示したように、光電変換素子ＰＤ６１におけるカソード電位Ｖｎを、信号線φ１によって変化させている。そして、光電変換素子ＰＤ６１におけるゲート電圧Ｖｇ１を、トランジスタＴｒ６１により構成されるスイッチング素子ＳＷ６１を介して信号線φ１とゲート電極との間をオン・オフさせることにより、変化させている。具体的には、図３７および図３８（Ａ），（Ｂ）に示したように、光電変換素子ＰＤ６１におけるカソード電位Ｖｎを、信号線φ１の電位Ｖ（φ１）によって、Ｖｎ１とＶｎ２との間で交互に変化させている（図３８（Ａ）中の矢印Ｐ６１１参照；Ｖｎ２＜Ｖｎ１）。このとき、スイッチング素子ＳＷ６１をオン状態にすることにより、光電変換素子ＰＤ６１のゲート電圧Ｖｇ１をＶｎ１にリセットさせたのち、スイッチング素子ＳＷ６１をオフ状態にする。そして、そののちにＶｎ＝Ｖｎ２になると、図３８（Ｂ）のＣ－Ｖ特性に示したように、光電変換素子ＰＤ６１のゲート電圧Ｖｇは、ゲート・カソード間のカップリング容量に起因して下がると共に、このカップリング容量が大きくなる動作点（Ｖｇ＝Ｖｇ１２）で止まることになる。すなわち、光電変換素子ＰＤ６１におけるゲート電圧Ｖｇ１が、Ｖｇ１１とＶｇ１２との間で交互に変化することになる（図３８（Ａ）中の矢印Ｐ６１２参照；Ｖｇ１２＜Ｖｇ１１）。このようにして、例えば図３８（Ａ）に示したように、Ｖｎ＝Ｖｎ１のときとＶｎ＝Ｖｎ２のときとでは、オン動作領域αおよびオフ動作領域β１の電圧範囲が互いに異なることになる（図中のオン動作領域α１，α２およびオフ動作領域β１１，β２１参照）。したがって、このような光電変換効率の変化を積極的に利用することにより、図３８（Ａ），（Ｂ）中の動作点Ｐ６１on，Ｐ６１offで示したように、信号線φ１の電位Ｖ（φ１）およびスイッチング素子ＳＷ６１の動作によって、光電変換素子ＰＤ６１のオン・オフ状態が任意に設定可能となっている。
　一方、本変形例ではまた、図３９（Ａ），（Ｂ）において模式的に示したように、光電変換素子ＰＤ６２におけるアノード電位Ｖｐを、信号線φ２によって変化させている。そして、光電変換素子ＰＤ６２におけるゲート電圧Ｖｇ２を、トランジスタＴｒ６２により構成されるスイッチング素子ＳＷ６２を介して信号線φ２とゲート電極との間をオン・オフさせることにより、変化させている。具体的には、図３９および図４０（Ａ），（Ｂ）に示したように、光電変換素子ＰＤ６２におけるアノード電位Ｖｐを、信号線φ２の電位Ｖ（φ２）によって、Ｖｐ１とＶｐ２との間で交互に変化させている（図４０（Ａ）中の矢印Ｐ６２１参照；Ｖｐ２＜Ｖｐ１）。このとき、スイッチング素子ＳＷ６２をオン状態にすることにより、光電変換素子ＰＤ６２のゲート電圧Ｖｇ２をＶｐ２にリセットさせたのち、スイッチング素子ＳＷ６２をオフ状態にする。そして、そののちにＶｐ＝Ｖｐ１になると、図４０（Ｂ）のＣ－Ｖ特性に示したように、光電変換素子ＰＤ６２のゲート電圧Ｖｇは、ゲート・アノード間のカップリング容量に起因して下がると共に、このカップリング容量が大きくなる動作点（Ｖｇ＝Ｖｇ２１）で止まることになる。すなわち、光電変換素子ＰＤ６２におけるゲート電圧Ｖｇ１が、Ｖｇ２１とＶｇ２２との間で交互に変化することになる（図４０（Ａ）中の矢印Ｐ６２２参照；Ｖｇ２２＜Ｖｇ２１）。このようにして、例えば図４０（Ａ）に示したように、Ｖｐ＝Ｖｐ１のときとＶｐ＝Ｖｐ２のときとでは、オン動作領域αおよびオフ動作領域β２の電圧範囲が互いに異なることになる（図中のオン動作領域α１，α２およびオフ動作領域β２１，β２２参照）。したがって、このような光電変換効率の変化を積極的に利用することにより、図４０（Ａ），（Ｂ）中の動作点Ｐ６２on，Ｐ６２offで示したように、信号線φ２の電位Ｖ（φ２）およびスイッチング素子ＳＷ６２の動作によって、光電変換素子ＰＤ６２のオン・オフ状態が任意に設定可能となっている。
　本変形例の受光部３３Ｆでは、例えば図４１（Ａ）～（Ｇ）および図４２（Ａ）～（Ｃ）に示したように、リセット信号電圧Ｖ（Ｒｅｓｅｔ１），Ｖ（Ｒｅｓｅｔ２）、リード信号電圧Ｖ（Ｒｅａｄ）、信号線φ１，φ２の電位Ｖ（φ１），Ｖ（φ２）およびリセット電源Ｖｒｓｔ等により、図中のタイミングのようにして撮像動作がなされる。
　具体的には、例えば図４３（Ａ）に示したように、光電変換素子ＰＤ６１で発生した充電電荷（反射光Ｌｏｎおよび外光Ｌ０の合算光量に基づくもの）が、この光電変換素子ＰＤ６１がオン状態となると共に光電変換素子ＰＤ６２がオフ状態となることにより、図中の電流経路Ｉ６１によってコンデンサＣ１へ蓄積される。また、例えば図４３（Ｂ）に示したように、光電変換素子ＰＤ６２で発生した放電電荷（外光Ｌ０の光量に基づくもの）が、この光電変換素子ＰＤ６２がオン状態となると共に光電変換素子ＰＤ６１がオフ状態となることにより、図中の電流経路Ｉ６２によってコンデンサＣ１から放出される。なお、光電変換素子ＰＤ６１，ＰＤ６２がオフ状態のときにおいても流れる電流は０ではないため、正確には、オン状態となっている光電変換素子と、オフ状態となっている光電変換素子との電流差によって充電または放電がなされる。
　このようにして本変形例においても、上記したような撮像動作により、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。
［変形例６］
　図４４は、変形例６に係る表示エリア（表示エリア（センサエリア）２１Ｃ）内の受光部（受光部３３Ａ１，３３Ａ２）の回路構成を表したものである。この表示エリア２１Ｃでは、撮像画素（受光部）が、反射光Ｌｏｎおよび環境光Ｌ０を光電変換素子ＰＤ２１，ＰＤ２２に対して遮断するための遮光部３４１，３４２を含む撮像画素（受光部）３３Ａ１と、そのような遮光部を含まない撮像画素（受光部）３３Ａ２とにより構成されている。なお、受光部３３Ａ１，３３Ａ２における遮光部以外の回路構成は、上記変形例１で説明した受光部３３Ａと同様であるので、説明を省略する。
　なお、これらの受光部（撮像画素）３３Ａ１，３３Ａ２においても、表示エリア（センサエリア）２１Ｃにおいて、例えば図４５に示したように、撮像画素３３Ａ１，３３Ａ２と、これら撮像画素３３Ａ１，３３Ａ２を撮像駆動するための配線部３２とが、互いに分離配置されている。
　本変形例では、撮像画素３３Ａ１により得られる撮像信号（読み出し線４１１から読み出される撮像信号）と、撮像画素３３Ａ２により得られる撮像信号（読み出し線４１２から読み出される撮像信号）との差分信号に基づいて、物体情報が取得されるようになっている。
　このようにして本変形例においても、上記実施の形態と同様の撮像動作により、同様の指先抽出処理がなされる。これにより本変形例においても、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。
　また、撮像画素（受光部）が、遮光部３４１，３４２を含む撮像画素（受光部）３３Ａ１と、そのような遮光部を含まない撮像画素（受光部）３３Ａ２とにより構成されていると共に、撮像画素３３Ａ１により得られる撮像信号と撮像画素３３Ａ２により得られる撮像信号との差分信号に基づいて物体情報を取得するようにしたので、Ｉ／Ｏディスプレイパネル２０内で生じる電圧傾斜などの影響や、表示系の駆動から混入するノイズ成分などを除去することが可能となり、Ｓ／Ｎ比を改善することが可能となる。
　なお、本変形例では、２種類の受光部３３Ａ１，３３Ａ２がそれぞれ、変形例１に係る受光部３３Ａの回路構成に基づくものである場合で説明したが、そのような２種類の受光部が、上記実施の形態の受光部３３や、上記変形例２～５に係る受光部３３Ｂ～３３Ｆの回路構成に基づくものであってもよい。
（アプリケーションプログラムの実行例）
　次に、図４６～図４９を参照して、これまで説明した指先抽出処理によって検出された物体の位置情報等を利用した、アプリケーションプログラム実行部１１によるアプリケーションプログラム実行例について、いくつか説明する。
　まず、図４６（Ａ）に示した例は、Ｉ／Ｏディスプレイパネル２０の表面を指先６１で触れて、その触れた個所の軌跡を描画ライン６１１として画面に表示させるようにした例である。
　また、図４６（Ｂ）に示した例は、手の形を用いたジェスチャ認識のものである。具体的には、Ｉ／Ｏディスプレイパネル２０に触れた（または近接した）手６２の形状を認識して、その認識した手の形を画像として表示させ、その表示オブジェクトの移動６２１で、何らかの処理を行うようにしたものである。
　また、図４７に示した例は、閉じた状態の手６３Ａから、開いた状態の手６３Ｂに変化させて、それぞれの状態の手の接触または近接をＩ／Ｏディスプレイパネル２０で画像認識させて、その画像認識に基づいた処理を実行させるようにしたものである。これらの認識に基づいて処理を行うことで、例えばズームインなどの指示を行うことができる。また、このような指示ができることで、例えばＩ／Ｏディスプレイパネル２０をパーソナルコンピュータ装置に接続して、そのコンピュータ装置上でコマンドを切り替えている操作などを、これらの画像認識で、より自然な形で入力することができる。
　また、例えば図４８に示したように、Ｉ／Ｏディスプレイパネル２０を複数台用意して、その複数台のＩ／Ｏディスプレイパネルを何らかの伝送手段で接続することで、接触または近接を検出した画像を、相手のＩ／Ｏディスプレイパネルに伝送して表示させて、両ディスプレイパネルを操作するユーザ間でコミュニケーションをとるようにしてもよい。すなわち、図４８に示したように、２つのＩ／Ｏディスプレイパネルを用意して、一方のパネルで画像認識した手６５の手形を相手に送信して、他方のパネルに手形６４２を表示させたり、他方のパネルを手６４で触れて表示された軌跡６４１を、相手のパネルに送って表示させる等の処理が可能になる。このようにして、描画している状態が動画で伝達され、手書きの文字や図形などを相手に送ることで、新しいコミュニケーションツールの可能性がある。このような例としては、例えば、Ｉ／Ｏディスプレイパネル２０を携帯電話端末の表示パネルに適用すること等が想定される。
　また、例えば図４９に示したように、筆６６を使用してＩ／Ｏディスプレイパネル２０の表面で文字を書くように触れさせて、その筆６６が触れた個所をＩ／Ｏディスプレイパネル２０に画像６６１として表示させることで、毛筆による手書きの入力が可能になる。この場合には、毛筆の細かいタッチまで認識して実現することが可能である。従来の手書き認識の場合には、例えば一部のデジタイザにおいて、特殊なペンの傾きを電界検出で実現していたが、本例では、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行える。
（モジュールおよび適用例）
　次に、図５０～図５４を参照して、上記実施の形態および変形例で説明した表示撮像装置の適用例について説明する。上記実施の形態等の表示撮像装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなど、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。
（適用例１）
　図５０は、上記実施の形態等の表示撮像装置が適用されるテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態等に係る表示撮像装置により構成されている。
（適用例２）
　図５１は、上記実施の形態等の表示撮像装置が適用されるデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態等に係る表示撮像装置により構成されている。
（適用例３）
　図５２は、上記実施の形態等の表示撮像装置が適用されるノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態等に係る表示撮像装置により構成されている。
（適用例４）
　図５３は、上記実施の形態等の表示撮像装置が適用されるビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有しており、その表示部５４４は、上記実施の形態等に係る表示撮像装置により構成されている。
（適用例５）
　図５４は、上記実施の形態等の表示撮像装置が適用される携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態等に係る表示撮像装置により構成されている。
　以上、実施の形態、変形例および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
　例えば、上記実施の形態等では、バックライト１５を備えた液晶パネルからなるＩ／Ｏディスプレイパネルの場合で説明したが、表示用のバックライトが検出用照明を兼ねてもよいし、検出専用の照明を設けてもよい。また、検出用照明に設ける場合には、可視光領域以外の波長領域の光（例えば、赤外光）を用いるのがより好ましい。
　また、上記実施の形態等では、例えば図７に示したように、バックライト１５における１回のＯＮ期間またはＯＦＦ期間において、１ライン分の受光部（撮像画素）に対してリセット動作あるいは読み出し動作を行う場合（高周波のバックライトの明滅動作を行う場合）について説明したが、この場合には限られない。すなわち、例えば、バックライト１５における１回のＯＮ期間またはＯＦＦ期間において、複数ライン分の受光部（撮像画素）に対してリセット動作あるいは読み出し動作を行う（低周波のバックライトの明滅動作を行う）ようにしてもよい。
　また、上記実施の形態等では、Ｉ／Ｏディスプレイパネル２０において、表示素子が液晶素子であると共に受光素子を別個に設ける場合で説明したが、例えば有機ＥＬ（ElectroLuminescence）素子のように、発光動作と受光動作とを時分割に行うことが可能な発光受光素子（表示撮像素子）によって、Ｉ／Ｏディスプレイパネルを構成するようにしてもよい。なお、この場合の表示光が出射されない期間とは、表示撮像素子による発光動作がなされていない期間となる。
　さらに、上記実施の形態等では、複数の表示素子と複数の撮像素子とを含む表示撮像パネル（Ｉ／Ｏディスプレイパネル２０）を有する表示撮像装置について説明したが、本発明は、表示素子を設けずに、複数の撮像素子を含む撮像パネルを有するようにした撮像装置にも適用することが可能である。

Claims (28)

  1. 　複数の撮像画素により構成され、近接物体に対する照射光源を有する撮像パネルと、
    　各撮像画素に対して撮像駆動を行うことにより、各撮像画素から撮像信号を取得する撮像駆動手段と、
    　各撮像画素から得られる撮像信号に基づく撮像画像を用いて、前記近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理手段と
    　を備え、
    　前記撮像駆動手段は、前記照射光源から照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて各撮像画素に充電電荷が蓄積されると共に、前記照射光源から照射光が照射されていないときに、環境光の光量に応じて各撮像画素から放電電荷が放出されるように撮像駆動を行うことにより、各撮像画素から撮像信号を取得する
    　撮像装置。
  2. 　各撮像画素が、
    　受光光量に応じた電荷を発生させる光電変換素子と、
    　容量素子と、
    　前記充電電荷を前記容量素子へ蓄積させるための充電回路と、
    　前記放電電荷を前記容量素子から放出させるための放電回路と
    　を含んで構成され、
    　前記撮像駆動手段は、前記充電回路および前記放電回路に対して撮像駆動を行うことにより、各撮像画素から撮像信号を取得する
    　請求項１に記載の撮像装置。
  3. 　前記光電変換素子が、前記充電電荷および前記放電電荷をそれぞれ共通して発生させるものであり、
    　前記充電回路が充電用スイッチング素子を含むと共に、前記放電回路が放電用スイッチング素子を含み、
    　前記撮像駆動手段は、前記光電変換素子で発生した充電電荷が前記充電用スイッチング素子を介して前記容量素子へ蓄積されると共に、前記光電変換素子で発生した放電電荷が前記放電用スイッチング素子を介して前記容量素子から放出されるように、前記充電用スイッチング素子および前記放電用スイッチング素子に対して撮像駆動を行う
    　請求項２に記載の撮像装置。
  4. 　前記撮像駆動手段は、前記充電用スイッチング素子のオン状態期間と前記放電用スイッチング素子のオン状態期間とが互いに重ならないように、撮像駆動を行う
    　請求項３に記載の撮像装置。
  5. 　前記光電変換素子が、前記充電電荷を発生させる第１の光電変換素子と、前記放電電荷を発生させる第２の光電変換素子とにより構成され、
    　前記充電回路が充電用スイッチング素子を含むと共に、前記放電回路が放電用スイッチング素子を含み、
    　前記撮像駆動手段は、前記第１の光電変換素子で発生した充電電荷が前記充電用スイッチング素子を介して前記容量素子へ蓄積されると共に、前記第２の光電変換素子で発生した放電電荷が前記放電用スイッチング素子を介して前記容量素子から放出されるように、前記充電用スイッチング素子および前記放電用スイッチング素子に対して撮像駆動を行う
    　請求項２に記載の撮像装置。
  6. 　前記撮像駆動手段は、前記容量素子の一端側が、前記充電電荷の蓄積時と前記放電電荷の放出時とにおいて、電源または接地に交互に接続されるように、前記充電用スイッチング素子および前記放電用スイッチング素子に対して撮像駆動を行う
    　請求項５に記載の撮像装置。
  7. 　前記撮像駆動手段は、前記充電用スイッチング素子のオン状態期間と前記放電用スイッチング素子のオン状態期間とが互いに重ならないように、撮像駆動を行う
    　請求項６に記載の撮像装置。
  8. 　前記光電変換素子が、前記充電電荷を発生させる第１の光電変換素子と、前記放電電荷を発生させる第２の光電変換素子とにより構成され、
    　前記第１および第２の光電変換素子がそれぞれ、アノード電極、カソード電極およびゲート電極を有するＰＩＮ型のフォトダイオードにより構成され、
    　前記撮像駆動手段は、
    　前記第１の光電変換素子におけるカソード電極とゲート電極との間の電位関係と、前記第２の光電変換素子におけるアノード電極とゲート電極との間の電位関係とをそれぞれ変化させることにより、前記第１および第２の光電変換素子を個別にオン・オフ状態に設定すると共に、
    　前記第１の光電変換素子で発生した充電電荷が、この第１の光電変換素子がオン状態となると共に前記第２の光電変換素子がオフ状態になることにより前記容量素子へ蓄積される一方、前記第２の光電変換素子で発生した放電電荷が、この第２の光電変換素子がオン状態となると共に前記第１の光電変換素子がオフ状態になることにより前記容量素子から放出されるように、前記第１および第２の光電変換素子に対して撮像駆動を行う
    　請求項２に記載の撮像装置。
  9. 　前記撮像駆動手段は、
    　前記第１の光電変換素子におけるカソード電極の電位および前記第２の光電変換素子におけるアノード電極の電位をそれぞれ個別に固定すると共に、
    　前記第１および第２の光電変換素子におけるゲート電極の電位をそれぞれ個別に変化させることにより、前記第１および第２の光電変換素子を個別にオン・オフ状態に設定する
    　請求項８に記載の撮像装置。
  10. 　前記撮像駆動手段は、前記第１の光電変換素子におけるカソード電極の電位および前記第２の光電変換素子におけるアノード電極の電位をそれぞれ個別に変化させることにより、前記第１および第２の光電変換素子を個別にオン・オフ状態に設定する
    　請求項８に記載の撮像装置。
  11. 　前記撮像駆動手段は、前記第１および第２の光電変換素子におけるゲート電極の電位をそれぞれ個別に固定する
    　請求項１０に記載の撮像装置。
  12. 　前記撮像駆動手段は、前記第１および第２の光電変換素子におけるゲート電極の電位をそれぞれ、前記充電電荷の蓄積時および前記放電電荷の放出時においてハイインピーダンス状態に設定する
    　請求項１０に記載の撮像装置。
  13. 　前記撮像画素が、
    　前記反射光および前記環境光を遮断する遮光部を含む第１の撮像画素と、
    　前記遮光部を含まない第２の撮像画素と
    　により構成され、
    　前記画像処理手段は、前記第１の撮像画素により得られる撮像信号と前記第２の撮像画素により得られる撮像信号との差分信号に基づいて、前記物体情報を取得する
    　請求項１ないし請求項１２のいずれか１項に記載の撮像装置。
  14. 　前記画像処理手段は、前記充電電荷の蓄積動作と前記放電電荷の放出動作とが複数回切り換えられた後に得られた撮像信号に基づいて、前記物体情報を取得する
    　請求項１ないし請求項１２のいずれか１項に記載の撮像装置。
  15. 　各撮像画素に蓄積された電荷を全て放出させるための初期化電圧が、電源電圧と接地電圧との間の任意の電圧である
    　請求項１ないし請求項１２のいずれか１項に記載の撮像装置。
  16. 　前記撮像パネルにおいて各撮像画素がマトリクス状に配置され、
    　前記撮像駆動手段は、各撮像画素に対して線順次撮像駆動を行う
    　請求項１ないし請求項１２のいずれか１項に記載の撮像装置。
  17. 　前記撮像パネルにおいて、前記撮像画素と、この撮像画素を撮像駆動するための配線とが、互いに分離配置されている
    　請求項１ないし請求項１２のいずれか１項に記載の撮像装置。
  18. 　前記撮像駆動手段は、前記近接物体が前記撮像パネル上で動いているときに、前記充電電荷が蓄積されると共に前記放電電荷が放出されるように撮像駆動を行うことにより、各撮像画素から撮像信号を取得する
    　請求項１ないし請求項１２のいずれか１項に記載の撮像装置。
  19. 　前記画像処理手段は、前記撮像パネル上に同時に位置する複数の近接物体について、前記物体情報をそれぞれ取得する
    　請求項１ないし請求項１２のいずれか１項に記載の撮像装置。
  20. 　複数の表示画素および複数の撮像画素により構成された表示撮像パネルと、
    　各表示画素に対して表示駆動を行うことにより、画像表示を行う表示駆動手段と、
    　各撮像画素に対して撮像駆動を行うことにより、各撮像画素から撮像信号を取得する撮像駆動手段と、
    　各撮像画素から得られる撮像信号に基づく撮像画像を用いて、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理手段と
    　を備え、
    　前記撮像駆動手段は、前記近接物体に対して前記表示撮像パネルから照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて各撮像画素に充電電荷が蓄積されると共に、前記表示撮像パネルから照射光が照射されていないときに、環境光の光量に応じて各撮像画素から放電電荷が放出されるように撮像駆動を行うことにより、各撮像画素から撮像信号を取得する
    　表示撮像装置。
  21. 　前記充電電荷の蓄積動作および前記放電電荷の放出動作がそれぞれ、前記表示駆動の際の水平期間と同期している
    　請求項２０に記載の表示撮像装置。
  22. 　前記画像処理手段は、前記充電電荷の蓄積動作と前記放電電荷の放出動作とが複数回切り換えられた後に得られた撮像信号に基づいて、前記物体情報を取得する
    　請求項２１に記載の表示撮像装置。
  23. 　前記表示駆動手段は、前記画像処理手段により得られた物体情報に基づいて表示駆動を行うことにより、この物体情報を前記表示撮像パネルに表示させる
    　請求項２０に記載の表示撮像装置。
  24. 　前記表示画素が、液晶素子を含んで構成されている
    　請求項２０に記載の表示撮像装置。
  25. 　前記表示画素および前記撮像画素が、発光動作および受光動作を時分割に行うことが可能な複数の表示撮像素子を含んで構成されている
    　請求項２０に記載の表示撮像装置。
  26. 　前記表示撮像素子が、有機ＥＬ素子である
    　請求項２５に記載の表示撮像装置。
  27. 　画像表示機能および撮像機能を有する表示撮像装置を備え、
    　前記表示撮像装置は、
    　複数の表示画素および複数の撮像画素により構成された表示撮像パネルと、
    　各表示画素に対して表示駆動を行うことにより、画像表示を行う表示駆動手段と、
    　各撮像画素に対して撮像駆動を行うことにより、各撮像画素から撮像信号を取得する撮像駆動手段と、
    　各撮像画素から得られる撮像信号に基づく撮像画像を用いて、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理手段と
    　を有し、
    　前記撮像駆動手段は、前記近接物体に対して前記表示撮像パネルから照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて各撮像画素に充電電荷が蓄積されると共に、前記表示撮像パネルから照射光が照射されていないときに、環境光の光量に応じて各撮像画素から放電電荷が放出されるように撮像駆動を行うことにより、各撮像画素から撮像信号を取得する
    　電子機器。
  28. 　複数の撮像画素により構成された撮像パネルによって近接物体に対して照射光を照射させているときに、この照射光による反射光と環境光との合算光量に応じて各撮像画素に充電電荷を蓄積させると共に、前記照射光を照射させていないときに、環境光の光量に応じて各撮像画素から放電電荷を放出させるようにして各撮像画素に対して撮像駆動を行うことによって、各撮像画素から撮像信号を取得し、
    　各撮像画素から得られる撮像信号に基づく撮像画像を用いて、前記近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する
    　物体の検出方法。
PCT/JP2009/055328 2008-03-24 2009-03-18 撮像装置、表示撮像装置、電子機器および物体の検出方法 WO2009119417A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020097024306A KR101547703B1 (ko) 2008-03-24 2009-03-18 촬상 장치, 표시 촬상 장치, 전자기기 및 물체의 검출 방법
US12/451,485 US9063613B2 (en) 2008-03-24 2009-03-18 Image pickup device, display-and-image-pickup device, electronic apparatus and method of detecting an object
CN2009800004743A CN101689083B (zh) 2008-03-24 2009-03-18 成像设备、显示与成像设备、检测对象的电子设备和方法
JP2010505579A JP5291090B2 (ja) 2008-03-24 2009-03-18 撮像装置、表示撮像装置、および電子機器
EP09724453.7A EP2151740B1 (en) 2008-03-24 2009-03-18 Displaying and imaging apparatus, electronic apparatus and method for detecting an object
US14/705,664 US9405406B2 (en) 2008-03-24 2015-05-06 Image pickup device, display-and-image-pickup device, electronic apparatus and method of detecting an object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008076281 2008-03-24
JP2008-076281 2008-03-24

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US12/451,485 A-371-Of-International US9063613B2 (en) 2008-03-24 2009-03-18 Image pickup device, display-and-image-pickup device, electronic apparatus and method of detecting an object
US14/705,664 Continuation US9405406B2 (en) 2008-03-24 2015-05-06 Image pickup device, display-and-image-pickup device, electronic apparatus and method of detecting an object

Publications (1)

Publication Number Publication Date
WO2009119417A1 true WO2009119417A1 (ja) 2009-10-01

Family

ID=41113614

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/055328 WO2009119417A1 (ja) 2008-03-24 2009-03-18 撮像装置、表示撮像装置、電子機器および物体の検出方法

Country Status (7)

Country Link
US (2) US9063613B2 (ja)
EP (1) EP2151740B1 (ja)
JP (1) JP5291090B2 (ja)
KR (1) KR101547703B1 (ja)
CN (1) CN101689083B (ja)
TW (1) TWI423086B (ja)
WO (1) WO2009119417A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063224A (zh) * 2009-11-13 2011-05-18 索尼公司 传感器设备、传感器元件驱动方法，显示设备及电子装置
JP2011113384A (ja) * 2009-11-27 2011-06-09 Sony Corp センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
JP2011135561A (ja) * 2009-11-27 2011-07-07 Sony Corp センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器、ならびに放射線撮像装置
JP2012008541A (ja) * 2010-05-28 2012-01-12 Semiconductor Energy Lab Co Ltd 光検出装置
WO2012014864A1 (ja) * 2010-07-27 2012-02-02 シャープ株式会社 表示装置
JP2013009388A (ja) * 2010-03-08 2013-01-10 Semiconductor Energy Lab Co Ltd 半導体装置、表示装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5291090B2 (ja) * 2008-03-24 2013-09-18 株式会社ジャパンディスプレイウェスト 撮像装置、表示撮像装置、および電子機器
KR101319346B1 (ko) * 2009-09-15 2013-10-16 엘지디스플레이 주식회사 광센싱 방식의 터치 패널 내장형 액정 표시 장치 및 이의 구동 방법
RU2012117771A (ru) 2009-09-30 2013-11-10 Шарп Кабусики Кайся Устройство отображения
JP5349607B2 (ja) * 2009-09-30 2013-11-20 シャープ株式会社 表示装置
WO2011145676A1 (ja) * 2010-05-20 2011-11-24 シャープ株式会社 タッチセンサ付き表示装置
JP5516145B2 (ja) * 2010-06-30 2014-06-11 セイコーエプソン株式会社 光学式検出装置、表示装置及び電子機器
US8605059B2 (en) * 2010-07-02 2013-12-10 Semiconductor Energy Laboratory Co., Ltd. Input/output device and driving method thereof
US20130113768A1 (en) * 2010-07-27 2013-05-09 Sharp Kabushiki Kaisha Display device and drive method for same
TWI416387B (zh) * 2010-08-24 2013-11-21 Au Optronics Corp 觸控面板
US20150022754A1 (en) * 2013-07-19 2015-01-22 Google Inc. Configurations for tileable display apparatus with multiple pixel arrays
JP6247530B2 (ja) * 2013-12-27 2017-12-13 キヤノン株式会社 撮像装置
US9778713B2 (en) * 2015-01-05 2017-10-03 Synaptics Incorporated Modulating a reference voltage to preform capacitive sensing
TWI660165B (zh) * 2018-05-14 2019-05-21 和碩聯合科技股份有限公司 檢測系統及檢測方法
CN114187870B (zh) * 2020-09-14 2023-05-09 京东方科技集团股份有限公司 光电检测电路及其驱动方法、显示装置及其制作方法
TWI753634B (zh) * 2020-10-30 2022-01-21 胡厚飛 毛筆分類之測定方法
CN112530375B (zh) * 2020-12-02 2022-01-11 福州京东方光电科技有限公司 一种显示装置的驱动方法、显示装置及存储介质
JP2022190312A (ja) * 2021-06-14 2022-12-26 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
CN115394244B (zh) * 2022-10-28 2023-01-24 惠科股份有限公司 显示驱动电路、显示驱动方法和显示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004127272A (ja) 2002-09-10 2004-04-22 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2006276223A (ja) 2005-03-28 2006-10-12 Sony Corp 表示装置及び表示方法
JP2007011228A (ja) * 2005-07-04 2007-01-18 Toshiba Matsushita Display Technology Co Ltd 平面表示装置
JP2007065508A (ja) * 2005-09-01 2007-03-15 Sony Corp 表示装置及び表示方法
JP2007206192A (ja) * 2006-01-31 2007-08-16 Toshiba Matsushita Display Technology Co Ltd 表示装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3275579B2 (ja) * 1994-10-24 2002-04-15 日産自動車株式会社 イメージセンサ
JP3521187B2 (ja) * 1996-10-18 2004-04-19 株式会社東芝 固体撮像装置
JP3471201B2 (ja) * 1997-09-05 2003-12-02 株式会社東芝 撮像モジュール、および撮像装置
US6798446B2 (en) * 2001-07-09 2004-09-28 Logitech Europe S.A. Method and system for custom closed-loop calibration of a digital camera
JP3800052B2 (ja) * 2001-08-20 2006-07-19 ソニー株式会社 静止画像撮像装置及び方法
US7053967B2 (en) 2002-05-23 2006-05-30 Planar Systems, Inc. Light sensitive display
US7233354B2 (en) * 2002-10-11 2007-06-19 Hewlett-Packard Development Company, L.P. Digital camera that adjusts resolution for low light conditions
JP4323772B2 (ja) * 2002-10-31 2009-09-02 キヤノン株式会社 固体撮像装置、カメラ及びカメラ制御システム
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
JP2005303081A (ja) * 2004-04-13 2005-10-27 Matsushita Electric Ind Co Ltd 光センサーおよび固体撮像装置
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
JP4072732B2 (ja) * 2004-10-29 2008-04-09 ソニー株式会社 入出力装置および方法、記録媒体、並びにプログラム
JP4618026B2 (ja) * 2005-07-12 2011-01-26 ソニー株式会社 表示装置及び表示および受光を行う表示装置を用いた検出方法
TW200720829A (en) * 2005-11-25 2007-06-01 Altek Corp Photographic apparatus of sensible environment parameters
TWI280409B (en) * 2006-04-14 2007-05-01 Asustek Comp Inc Reflective photo device, an electronic apparatus with a built-in camera using the device for providing colorimeter and ambient light sensor functions and its method
US8610670B2 (en) * 2006-08-31 2013-12-17 Japan Display West Inc. Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
US8674949B2 (en) * 2007-02-20 2014-03-18 Japan Displays Inc. Liquid crystal display apparatus
JP5291090B2 (ja) * 2008-03-24 2013-09-18 株式会社ジャパンディスプレイウェスト 撮像装置、表示撮像装置、および電子機器
WO2012014864A1 (ja) * 2010-07-27 2012-02-02 シャープ株式会社 表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004127272A (ja) 2002-09-10 2004-04-22 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2006276223A (ja) 2005-03-28 2006-10-12 Sony Corp 表示装置及び表示方法
JP2007011228A (ja) * 2005-07-04 2007-01-18 Toshiba Matsushita Display Technology Co Ltd 平面表示装置
JP2007065508A (ja) * 2005-09-01 2007-03-15 Sony Corp 表示装置及び表示方法
JP2007206192A (ja) * 2006-01-31 2007-08-16 Toshiba Matsushita Display Technology Co Ltd 表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2151740A4

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8593442B2 (en) 2009-11-13 2013-11-26 Japan Display West Inc. Sensor device, method of driving sensor element, display device with input function and electronic apparatus
CN102063224A (zh) * 2009-11-13 2011-05-18 索尼公司 传感器设备、传感器元件驱动方法，显示设备及电子装置
JP2011113384A (ja) * 2009-11-27 2011-06-09 Sony Corp センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
JP2011135561A (ja) * 2009-11-27 2011-07-07 Sony Corp センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器、ならびに放射線撮像装置
US9250743B2 (en) 2009-11-27 2016-02-02 Japan Display Inc. Sensor device, method of driving sensor element, display device with input function, electronic unit and radiation image pickup device
US8665243B2 (en) 2009-11-27 2014-03-04 Japan Display West Inc. Sensor device, method of driving sensor element, display device with input function and electronic unit
US11710751B2 (en) 2010-03-08 2023-07-25 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and manufacturing method thereof
JP2013009388A (ja) * 2010-03-08 2013-01-10 Semiconductor Energy Lab Co Ltd 半導体装置、表示装置
US9153619B2 (en) 2010-03-08 2015-10-06 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and manufacturing method thereof
US10535691B2 (en) 2010-03-08 2020-01-14 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and manufacturing method thereof
US11139327B2 (en) 2010-03-08 2021-10-05 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and manufacturing method thereof
US9257567B2 (en) 2010-03-08 2016-02-09 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and manufacturing method thereof
US9515107B2 (en) 2010-03-08 2016-12-06 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and manufacturing method thereof
JP2016192222A (ja) * 2010-05-28 2016-11-10 株式会社半導体エネルギー研究所 光検出装置、タッチパネル
US9846515B2 (en) 2010-05-28 2017-12-19 Semiconductor Energy Laboratory Co., Ltd. Photodetector and display device with light guide configured to face photodetector circuit and reflect light from a source
JP2015181022A (ja) * 2010-05-28 2015-10-15 株式会社半導体エネルギー研究所 光検出装置、及び、タッチパネル
JP2012008541A (ja) * 2010-05-28 2012-01-12 Semiconductor Energy Lab Co Ltd 光検出装置
WO2012014864A1 (ja) * 2010-07-27 2012-02-02 シャープ株式会社 表示装置

Also Published As

Publication number Publication date
EP2151740A4 (en) 2015-05-06
TW201007527A (en) 2010-02-16
KR20110001853A (ko) 2011-01-06
CN101689083A (zh) 2010-03-31
US20100128004A1 (en) 2010-05-27
CN101689083B (zh) 2013-01-02
EP2151740A1 (en) 2010-02-10
EP2151740B1 (en) 2017-05-10
US20150301689A1 (en) 2015-10-22
JPWO2009119417A1 (ja) 2011-07-21
JP5291090B2 (ja) 2013-09-18
US9063613B2 (en) 2015-06-23
TWI423086B (zh) 2014-01-11
US9405406B2 (en) 2016-08-02
KR101547703B1 (ko) 2015-08-26

Similar Documents

Publication Publication Date Title
WO2009119417A1 (ja) 撮像装置、表示撮像装置、電子機器および物体の検出方法
TWI439904B (zh) 感測器裝置、驅動感測器元件之方法、具有輸入功能之顯示裝置及電子單元
JP5481127B2 (ja) センサ素子およびその駆動方法、センサ装置、ならびに入力機能付き表示装置および電子機器
JP5510998B2 (ja) センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
US8188987B2 (en) Display and imaging apparatus and object detecting method
KR101534588B1 (ko) 표시 촬상장치, 및 물체의 검출 방법
JP5246795B2 (ja) センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
US8514201B2 (en) Image pickup device, display-and-image pickup device, and electronic device
JP5093523B2 (ja) 撮像装置、表示撮像装置および撮像処理装置
JP4270247B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP2009069159A (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980000474.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 12451485

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010505579

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20097024306

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2009724453

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009724453

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09724453

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE