JP5291090B2 - 撮像装置、表示撮像装置、および電子機器 - Google Patents

Description

本発明は、パネルに接触または近接する物体の位置などの情報を取得する撮像装置および表示撮像装置、そのような表示撮像装置を備えた電子機器に関する。

従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。

このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。

また、本出願人は例えば特許文献１および特許文献２において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。

特開２００４−１２７２７２号公報 特開２００６−２７６２２３号公報

上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示撮像パネルからの照射光による反射光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。

しかしながら、上記のように物体で反射された反射光を利用する場合、外光（環境光）や、受光素子の特性ばらつきなどが問題となることがあった。具体的には、受光する光の輝度が外光の明るさに応じて変化することから、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。また、受光素子の特性ばらつきなどが固定ノイズとなり、やはり撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。

そこで、上記特許文献２では、発光状態で得られた画像（照射光による反射光を利用して得られた画像）と、消灯状態で得られた画像との差分を取ることにより、上記した外光や固定ノイズによる影響が除去されるようにしている。

具体的には、例えば図５５（Ａ）に断面図で示したように、入射する外光（環境光）Ｌ０が強い場合には、バックライト１０５を点灯させた状態での受光出力電圧Ｖon101は、図５５（Ｂ）に示したように、表示エリア１０１のうちの指ｆで触れた個所以外では、環境光Ｌ０の明るさに対応した電圧値Ｖａとなり、表示エリア１０１のうちの指ｆで触れた個所では、そのときに触れた物体（指ｆ）の表面で、バックライト１０５からの照射光Ｌｏｎを反射させる反射率に対応した電圧値Ｖｂに低下する。これに対して、バックライト１０５を消灯させた状態での受光出力電圧Ｖoff101は、指ｆで触れた個所以外では、環境光Ｌ０の明るさに対応した電圧値Ｖａとなる点は同じであるが、指ｆで触れた個所では、環境光Ｌ０が遮断された状態であり、非常にレベルの低い電圧値Ｖｃとなる。

また、例えば図５６（Ａ）に断面図で示したように、入射する環境光Ｌ０が弱い（ほとんどない）状態では、バックライト１０５を点灯させた状態での受光出力電圧Ｖon201は、図５６（Ｂ）に示したように、表示エリア１０１のうちの指ｆで触れた個所以外では、環境光Ｌ０がないために非常にレベルの低い電圧値Ｖｃとなり、表示エリア１０１のうちの指ｆで触れた個所では、そのときに触れた物体（指ｆ）の表面で、バックライト１０５からの照射光Ｌｏｎを反射させる反射率に対応した電圧値Ｖｂに上昇する。これに対して、バックライト１０５を消灯させた状態での受光出力電圧Ｖoff２は、指ｆで触れた個所とそれ以外の個所のいずれでも、非常にレベルの低い電圧値Ｖｃのままで変化がない。

このようにして、表示エリア１０１のうちの指ｆが接触していない個所では、環境光Ｌ０がある場合とない場合とで、受光出力電圧が大きく異なっている。一方、表示エリア１０１のうちの指ｆが接触している個所では、環境光Ｌ０の有無に関係なく、バックライト１０５の点灯時の電圧Ｖｂと、バックライト１０５の消灯時の電圧Ｖｃとが、ほぼ同じような状態となっている。よって、バックライト１０５の点灯時の電圧と消灯時の電圧との差分を検出することにより、電圧Ｖｂと電圧Ｖｃとの差のように、一定以上の差がある個所が、物体が接触または近接した個所であると判断することができ、例えば図５７に示した差分画像Ｃのように、外光や固定ノイズの影響を受けずに、物体の位置などを検出することが可能となると考えられる。

ところが、このような差分画像Ｃを用いた物体の検出方法では、例えば図５７に示したように、バックライトオフ時の画像（画像Ａ）とバックライトオン時の画像（画像Ｂ）との２枚の画像用のフレームメモリ等が必要となるため、部品コストが増加してしまうことになる。

このように従来の技術では、製造コストを抑えつつ、そのときの使用状況によらずにパネルに接触または近接する物体を安定して検出するのは困難であり、改善の余地があった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能な撮像装置、表示撮像装置およびそのような表示撮像装置を備えた電子機器を提供することにある。

本発明の撮像装置は、複数の撮像画素により構成され、近接物体に対する照射光源を有する撮像パネルと、各撮像画素に対して撮像駆動を行うことにより、各撮像画素から撮像信号を取得する撮像駆動手段と、各撮像画素から得られる撮像信号に基づく撮像画像を用いて、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理手段とを備えたものである。各撮像画素は、容量素子と、容量素子に対して受光光量に応じた充電電荷を発生させる第１の光電変換素子と、容量素子に対して受光光量に応じた放電電荷を発生させる第２の光電変換素子と、充電電荷を容量素子に蓄積させる充電用スイッチング素子を含む充電回路と、放電電荷を容量素子から放出させる放電用スイッチング素子を含む放電回路とを含んで構成されている。また、上記撮像駆動手段は、照射光源から照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて充電用スイッチング素子を介して容量素子に充電電荷が蓄積されると共に、照射光源から照射光が照射されていないときに、環境光の光量に応じて放電用スイッチング素子を介して容量素子から放電電荷が放出されるように、充電用スイッチング素子および放電用スイッチング素子に対して撮像駆動を行うことにより、各撮像画素から撮像信号を取得するようになっている。なお、「近接物体」とは、文字通り近接する物体だけではなく、接触状態にある物体をも含む意味である。

本発明の表示撮像装置は、複数の表示画素および複数の撮像画素により構成された表示撮像パネルと、各表示画素に対して表示駆動を行うことにより、画像表示を行う表示駆動手段と、各撮像画素に対して撮像駆動を行うことにより、各撮像画素から撮像信号を取得する撮像駆動手段と、各撮像画素から得られる撮像信号に基づく撮像画像を用いて、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理手段とを備えたものである。各撮像画素は、容量素子と、容量素子に対して受光光量に応じた充電電荷を発生させる第１の光電変換素子と、容量素子に対して受光光量に応じた放電電荷を発生させる第２の光電変換素子と、充電電荷を容量素子に蓄積させる充電用スイッチング素子を含む充電回路と、放電電荷を容量素子から放出させる放電用スイッチング素子を含む放電回路とを含んで構成されている。また、上記撮像駆動手段は、近接物体に対して表示撮像パネルから照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて充電用スイッチング素子を介して容量素子に充電電荷が蓄積されると共に、照射光源から照射光が照射されていないときに、環境光の光量に応じて放電用スイッチング素子を介して容量素子から放電電荷が放出されるように、充電用スイッチング素子および放電用スイッチング素子に対して撮像駆動を行うことにより、各撮像画素から撮像信号を取得するようになっている。なお、「照射光」とは、表示撮像パネルから照射される表示光だけでなく、表示撮像パネル上の別光源（例えば、赤外光源など）から照射される光をも含む意味である。

本発明の電子機器は、画像表示機能および撮像機能を有する上記表示撮像装置を備えたものである。

本発明の撮像装置、表示撮像装置、および電子機器では、撮像パネルまたは表示撮像パネルによって近接物体に対して照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて、各撮像画素に充電電荷が蓄積される。また、上記照射光が照射されていないときに、環境光の光量に応じて各撮像画素から放電電荷が放出される。これらにより、各撮像画素から撮像信号が得られる。そして、各撮像画素から得られる撮像信号に基づく撮像画像を用いて、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報が得られる。これにより、各撮像画素から得られる撮像信号では、環境光による成分が差し引かれるため、そのような環境光の影響を受けずに、近接物体の物体情報の取得が可能となる。また、充電電荷の蓄積動作と放電電荷の放出動作とに基づいて撮像画素ごとに撮像信号が得られるため、撮像信号から撮像画像を生成する際に必要なフレームメモリ等が、従来よりも少なくて済むようになる。

本発明の撮像装置、表示撮像装置、または電子機器によれば、撮像パネルまたは表示撮像パネルによって近接物体に対して照射光を照射させているときに、この照射光による反射光と環境光との合算光量に応じて各撮像画素に充電電荷を蓄積させると共に、上記照射光を照射させていないときに、環境光の光量に応じて各撮像画素から放電電荷を放出させるようにして、各撮像画素から撮像信号を取得するようにしたので、環境光の影響を受けずに近接物体の物体情報を取得することができると共に、撮像信号から撮像画像を生成する際に必要なフレームメモリ等が、従来よりも少なくて済むようになる。よって、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。

本発明の一実施の形態に係る表示撮像装置の構成を表すブロック図である。 図１に示したＩ／Ｏディスプレイパネルの構成例を表すブロック図である。 図２に示した表示エリア（センサエリア）内の画素配置例を表す平面図である。 図３に示した画素配置における受光部と信号線との接続関係の一例を表す平面模式図である。 実施の形態に係る受光部の構成例を表す回路図である。 図３に示した画素配置における受光部と信号線との接続関係の詳細を表す模式図である。 実施の形態に係る表示撮像装置における撮像動作の一例を表すタイミング波形図である。 図７に示した撮像動作の詳細を説明するためのタイミング波形図である。 図７および図８に示した撮像動作の際のチャージ動作およびディスチャージ動作について説明するための回路図である。 図８に示したＳＷ制御信号およびバックライト状態の詳細を説明するためのタイミング波形図である。 比較例に係る撮像動作について説明するための特性図である。 図１１に示した撮像動作について説明するための模式図である。 比較例に係る撮像動作について説明するための他の特性図である。 比較例に係る撮像動作について説明するための他の特性図である。 本発明の変形例１に係る受光部の構成例を表す回路図である。 変形例１に係る表示エリア（センサエリア）内の受光部と信号線との接続関係の詳細を表す模式図である。 変形例１に係る撮像動作の際のチャージ動作およびディスチャージ動作について説明するための回路図である。 変形例１に係る撮像動作の際のＳＷ制御信号およびバックライト状態について説明するためのタイミング波形図である。 本発明の変形例１に係る他の受光部の構成例を表す回路図である。 本発明の変形例２に係る受光部の構成例を表す回路図である。 変形例２に係る撮像動作について説明するためのタイミング波形図である。 変形例２に係る撮像動作の際のチャージ動作およびディスチャージ動作について説明するための回路図である。 変形例２に係る撮像動作の際のＳＷ制御信号およびバックライト状態について説明するためのタイミング波形図である。 本発明の変形例３に係る表示エリア（センサエリア）内の受光部の構成例を表す回路図である。 光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例３に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例３に係る撮像動作について説明するためのタイミング波形図である。 変形例３に係る光電変換素子におけるオン動作およびオフ動作について詳細に説明するためのタイミング波形図である。 変形例３に係る撮像動作の際のチャージ動作およびディスチャージ動作について説明するための回路図である。 本発明の変形例４に係る表示エリア（センサエリア）内の受光部の構成例を表す回路図である。 変形例４に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例４に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例４に係る撮像動作について説明するためのタイミング波形図である。 変形例４に係る光電変換素子におけるオン動作およびオフ動作について詳細に説明するためのタイミング波形図である。 変形例４に係る撮像動作の際のチャージ動作およびディスチャージ動作について説明するための回路図である。 本発明の変形例５に係る表示エリア（センサエリア）内の受光部の構成例を表す回路図である。 変形例５に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例５に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例５に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例５に係る光電変換素子におけるオン動作領域およびオフ動作領域について説明するための図である。 変形例５に係る撮像動作について説明するためのタイミング波形図である。 変形例５に係る光電変換素子におけるオン動作およびオフ動作について詳細に説明するためのタイミング波形図である。 変形例５に係る撮像動作の際のチャージ動作およびディスチャージ動作について説明するための回路図である。 本発明の変形例６に係る表示エリア（センサエリア）内の受光部の構成例を表す回路図である。 図４４に示した表示エリア（センサエリア）内の画素配置例を表す平面図である。 本発明による撮像結果（指先抽出処理の結果）を利用したアプリケーションの一例について説明するための図である。 本発明による撮像結果（指先抽出処理の結果）を利用したアプリケーションの一例について説明するための図である。 本発明による撮像結果（指先抽出処理の結果）を利用したアプリケーションの一例について説明するための図である。 本発明による撮像結果（指先抽出処理の結果）を利用したアプリケーションの一例について説明するための図である。 本発明の表示撮像装置の適用例１の外観を表す斜視図である。 （Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。 適用例３の外観を表す斜視図である。 適用例４の外観を表す斜視図である。 （Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。 従来の表示撮像装置による撮像動作（差分画像指先抽出処理）の一例を表す特性図である。 従来の表示撮像装置による撮像動作（差分画像指先抽出処理）の他の例を表す特性図である。 従来の表示撮像装置による撮像動作（差分画像指先抽出処理）について説明するための写真図である。

以下、本発明を実施するための最良の形態（以下、単に実施の形態という。）について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る表示撮像装置の全体構成を表すものである。この表示撮像装置は、Ｉ／Ｏディスプレイパネル２０と、バックライト１５と、表示ドライブ回路１２と、受光ドライブ回路１３と、画像処理部１４と、アプリケーションプログラム実行部１１とを備えている。

Ｉ／Ｏディスプレイパネル２０は、複数の画素が全面に渡ってマトリクス状に配置された液晶パネル（ＬＣＤ（Liquid Crystal Display））からなり、線順次動作をしながら表示データに基づく所定の図形や文字などの画像を表示する機能（表示機能）を有すると共に、後述するようにこのＩ／Ｏディスプレイ２０に接触または近接する物体（近接物体）を撮像する機能（撮像機能）を有するものである。また、バックライト１５は、例えば複数の発光ダイオードが配置されてなるＩ／Ｏディスプレイパネル２０の表示および検出用の光源であり、後述するようにＩ／Ｏディスプレイ２０の動作タイミングに同期した所定のタイミングで、高速にオン・オフ動作を行うようになっている。

表示ドライブ回路１２は、Ｉ／Ｏディスプレイパネル２０において表示データに基づく画像が表示されるように（表示動作を行うように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次表示動作の駆動を行う）回路である。

受光ドライブ回路１３は、Ｉ／Ｏディスプレイパネル２０の各画素から受光信号（撮像信号）が得られるように（物体を撮像するように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次撮像動作の駆動を行う）回路である。なお、各画素からの受光信号は、例えばフレーム単位でフレームメモリ１３Ａに蓄積され、撮像画像として画像処理部１４へ出力されるようになっている。

画像処理部１４は、受光ドライブ回路１３から出力される撮像画像に基づいて所定の画像処理（演算処理）を行い、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する物体情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出し、取得するものである。なお、この検知する処理の詳細については後述する。

アプリケーションプログラム実行部１１は、画像処理部１４による検知結果に基づいて所定のアプリケーションソフトに応じた処理を実行するものであり、例えば検知した物体の位置座標を表示データに含むようにし、Ｉ／Ｏディスプレイパネル２０上に表示させるものなどが挙げられる。なお、このアプリケーションプログラム実行部１１で生成される表示データは、表示ドライブ回路１２へ供給されるようになっている。

次に、図２を参照して、Ｉ／Ｏディスプレイパネル２０の詳細構成例について説明する。このＩ／Ｏディスプレイパネル２０は、表示エリア（センサエリア）２１と、表示用Ｈドライバ２２と、表示用Ｖドライバ２３と、センサ読み出し用Ｈドライバ２５と、センサ用Ｖドライバ２４とを有している。

表示エリア（センサエリア）２１は、バックライト１５からの光を変調して照射光（表示光と、例えば赤外光源等（図示せず）による検出用の照射光とを含むもの。以下同様。）を出射すると共にこのエリアに接触または近接する物体を撮像する領域であり、発光素子（表示素子）である液晶素子と、後述する受光素子（撮像素子）とが、それぞれマトリクス状に配置されている。

表示用Ｈドライバ２２は、表示ドライブ回路１２から供給される表示駆動用の表示信号および制御クロックに基づいて、表示用Ｖドライバ２３と共に表示エリア２１内の各画素の液晶素子を線順次駆動するものである。

センサ読み出し用Ｈドライバ２５は、センサ用Ｖドライバ２４と共にセンサエリア２１内の各画素の受光素子を線順次駆動し、受光信号を取得するものである。また、これらセンサ読み出し用Ｈドライバ２５およびセンサ用Ｖドライバ２４は、詳細は後述するが、近接物体に対してＩ／Ｏディスプレイパネル２０から照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて各画素に充電電荷が蓄積されると共に、Ｉ／Ｏディスプレイパネル２０パネルから照射光が照射されていないときに、環境光の光量に応じて各画素から放電電荷が放出されるように撮像駆動を行うことにより、各画素から撮像信号（受光信号）を取得するようになっている。

次に、図３〜図６を参照して、表示エリア２１における各画素の詳細構成例について説明する。

まず、例えば図３に示したように、画素３１は、表示画素（表示部）３１ＲＧＢと、撮像画素（受光部）３３と、この撮像画素３３用の配線が形成された配線部３２とから構成されている。また、表示画素３１ＲＧＢは、赤（Ｒ）用の表示画素３１Ｒと、緑（Ｇ）用の表示画素３１Ｇと、青（Ｂ）用の表示画素３１Ｂとから構成されている。これら表示画素３１ＲＧＢ、撮像画素３３および配線部３２はそれぞれ、表示エリア２１（センサエリア）上でマトリクス状に並んで配置されている。また、撮像画素３３と、この撮像画素３３を撮像駆動するための配線部３２とが、一定周期で互いに分離配置されている。このような配置により、撮像画素３２および配線部３３からなるセンサリアを表示画素３１ＲＧＢに対して極めて認識しづらくなると共に、表示画素３１ＲＧＢにおける開口率低減が最小限に抑えられるようになっている。また、配線部３２を、表示画素３１ＲＧＢの開口に寄与しない領域(例えば、ブラックマトリクスで遮光された領域や反射領域など)に配置するようにすれば、表示品位を落とすことなく受光回路を配置することが可能となる。なお、各撮像画素（受光部）３３には、詳細は後述するが、例えば図４に示したように、リセット信号線Ｒｅｓｅｔ＿１〜Ｒｅｓｅｔ＿ｎおよびリード信号線Ｒｅａｄ＿１〜Ｒｅａｄ＿ｎが、水平ライン方向に沿って接続されるようになっている。

また、例えば図５に示したように、各受光部３３は、受光光量に応じた電荷を発生させる受光素子としての光電変換素子ＰＤ１と、容量素子としてのコンデンサＣ１と、４つのスイッチング素子ＳＷ１１〜ＳＷ１４と、３つのトランジスタＴｒ１〜Ｔｒ３とを含んで構成されている。光電変換素子ＰＤ１は、コンデンサＣ１に対する充電電荷および放電電荷をそれぞれ共通して発生させるものであり、例えばフォトダイオードやフォトトランジスタなどにより構成されている。ここでは、光電変換素子ＰＤ１は、アノード（ｐ型半導体領域内に形成）、カソード（ｎ型半導体領域内に形成）およびゲート（例えば、真性半導体領域内に形成）を有するＰＩＮ型のフォトダイオードにより構成されており、後述する変形例に係る光電変換素子についても同様である。また、トランジスタＴｒ１〜Ｔｒ３はそれぞれ、例えば薄膜トランジスタ（ＴＦＴ；ThinFilm Transistor）などにより構成されている。この受光部３３では、スイッチング素子ＳＷ１の一端が電源ＶＤＤに接続され、他端がスイッチング素子ＳＷ１３の一端および光電変換素子ＰＤ１のカソードおよびゲートに接続されている。また、スイッチング素子ＳＷ１２の一端が接地ＶＳＳに接続され、他端がスイッチング素子ＳＷ１４の一端および光電変換素子ＰＤ１のアノードに接続されている。また、スイッチング素子ＳＷ１３，ＳＷ１４の他端同士はそれぞれ、接続点Ｐ１を介して、コンデンサＣ１の一端、トランジスタＴｒ１のドレインおよびトランジスタＴｒ２のゲートに接続されている。コンデンサＣ１の他端は、接地ＶＳＳに接続されている。また、トランジスタＴｒ１のゲートはリセット信号線Ｒｅｓｅｔに接続され、ソースはリセット電源Ｖｒｓｔに接続されている。また、トランジスタＴｒ２のソースは電源ＶＤＤに接続され、ドレインはトランジスタＴｒ３のドレインに接続されている。また、トランジスタＴｒ３のゲートはリード信号線Ｒｅａｄに接続され、ソースは読み出し線４１に接続されている。また、充電用スイッチング素子として機能するスイッチング素子ＳＷ１１，ＳＷ１４によって、充電電荷をコンデンサＣ１へ蓄積させる（チャージさせる）ための充電回路が構成されている。また、放電用スイッチング素子として機能するスイッチング素子ＳＷ１２、ＳＷ１３によって、放電電荷をコンデンサＣ１から放出させる（ディスチャージさせる）ための放電回路が構成されている。このような構成により、詳細は後述するが、光電変換素子ＰＤ１で発生した充電電荷が充電用のスイッチング素子ＳＷ１１，ＳＷ１４を介してコンデンサＣ１へ蓄積されると共に、光電変換素子ＰＤ１で発生した放電電荷が放電用のスイッチング素子ＳＷ１２，ＳＷ１３を介してコンデンサＣ１から放出されるように、上記充電回路および放電回路内のスイッチング素子ＳＷ１１〜ＳＷ１４がそれぞれ撮像駆動され、各受光部（撮像画素）３３から撮像信号が得られるようになっている。なお、上記したリセット電源Ｖｒｓｔの電圧（各受光部３３においてコンデンサＣ１に蓄積された電荷を全て放出させるためのリセット電圧）は、電源電圧ＶＤＤと接地電圧ＶＳＳとの間の任意の電圧に設定可能となっている。

なお、図５において説明した受光部（撮像画素）３３内の回路部分、表示画素３１ＲＧＢ、リセット信号線Ｒｅｓｅｔ、リード信号線Ｒｅａｄ、読み出し線４１、電源ラインＶＤＤ、接地ラインＶＳＳおよびリセット電圧ラインＶｒｓｔ、ならびに、スイッチング信号ＳＷ１１，Ｓ１４をスイッチング制御するためのＳＷ制御信号が供給されるＳＷ制御ラインＳａおよびスイッチング信号ＳＷ１２，Ｓ１３をスイッチング制御するためのＳＷ制御信号が供給されるＳＷ制御ラインＳｂはそれぞれ、表示エリア（センサエリア）２１において、例えば図６に示したように配置されている。

次に、本実施の形態の表示撮像装置の動作について詳細に説明する。

まず、この表示撮像装置による画像の表示動作および物体の撮像動作の概要について説明する。

この表示撮像装置では、アプリケーションプログラム実行部１１から供給される表示データに基づいて、表示用ドライブ回路１２において表示用の駆動信号が生成され、この駆動信号により、Ｉ／Ｏディスプレイ２０に対して線順次表示駆動がなされ、画像が表示される。また、このときバックライト１５も表示ドライブ回路１２によって駆動され、Ｉ／Ｏディスプレイ２０と同期した点灯・消灯動作がなされる。

ここで、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体（例えば、指先など）がある場合、受光ドライブ回路１３による線順次受光駆動により、このＩ／Ｏディスプレイパネル２０における各撮像画素３３においてその物体が撮像され、各撮像画素３２からの撮像信号が受光ドライブ回路１３へ供給される。受光ドライブ回路１３では、１フレーム分の撮像画素３３の撮像信号が蓄積され、撮像画像として画像処理部１４へ出力される。

そして画像処理部１４では、この撮像画像に基づいて、以下説明する所定の画像処理（演算処理）が行われることにより、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する物体情報（位置座標データ、物体の形状や大きさに関するデータなど）が得られる。

次に、図７〜図１４を参照して、本実施の形態の撮像動作の詳細、および画像処理部１４によるＩ／Ｏディスプレイ２０に接触または近接する物体（指先等の近接物体）の抽出処理（指先抽出処理）について説明する。ここで、図７は、本実施の形態の撮像動作の一例をタイミング波形図で表したものであり、（Ａ）〜（Ｄ）は、リセット信号電圧Ｖ（Ｒｅｓｅｔ＿１），Ｖ（Ｒｅｓｅｔ＿２），Ｖ（Ｒｅｓｅｔ＿３），Ｖ（Ｒｅｓｅｔ＿ｎ）を、（Ｅ）〜（Ｈ）は、リード信号電圧Ｖ（Ｒｅａｄ＿１），Ｖ（Ｒｅａｄ＿２），Ｖ（Ｒｅａｄ＿３），Ｖ（Ｒｅａｄ＿ｎ）を、（Ｉ）は、スイッチング素子ＳＷ１１，ＳＷ１４の制御信号（ＳＷ制御信号Ｓａ）を、（Ｊ）は、スイッチング素子ＳＷ１２，ＳＷ１３の制御信号（ＳＷ制御信号Ｓｂ）を、それぞれ表している。また、図８は、図７に示した撮像動作の詳細（１つの受光素子３１における撮像動作）をタイミング波形図で表したものであり、（Ａ）は、リセット信号電圧Ｖ（Ｒｅｓｅｔ）を、（Ｂ）は、リード信号電圧Ｖ（Ｒｅａｄ）を、（Ｃ），（Ｄ）は、ＳＷ制御信号Ｓａ，Ｓｂを、（Ｅ）は、接続点Ｐ１の電位（蓄積電位）ＶＰ１を、（Ｆ）は、読み出しライン４１の電位（読み出し電圧）Ｖ４１を、それぞれ表している。また、図１１〜図１４は、比較例に係る従来の撮像動作について説明するための特性図および模式図である。

まず、例えば図７に示したように、リセット信号電圧Ｖ（Ｒｅｓｅｔ＿１），Ｖ（Ｒｅｓｅｔ＿２），Ｖ（Ｒｅｓｅｔ＿３），Ｖ（Ｒｅｓｅｔ＿ｎ）およびリード信号電圧Ｖ（Ｒｅａｄ＿１），Ｖ（Ｒｅａｄ＿２），Ｖ（Ｒｅａｄ＿３），Ｖ（Ｒｅａｄ＿ｎ）はそれぞれ、線順次動作によってＨ（ハイ）状態となる。各水平ライン上の受光部３３では、リセット信号電圧Ｖ（Ｒｅｓｅｔ）がＨ状態となってからリード信号電圧Ｖ（Ｒｅａｄ）がＨ状態となるまでの期間が、詳細は後述するが、露光期間となる。また、このようなリセット信号電圧Ｖ（Ｒｅｓｅｔ）およびリード信号電圧Ｖ（Ｒｅａｄ）の線順次動作に同期してバックライト１５のＯＮ状態およびＯＦＦ状態が交互に切り替わるようになっていると共に、このバックライト１５のＯＮ・ＯＦＦ状態の切り替わり動作に同期して、ＳＷ制御信号Ｓａ，ＳｂがそれぞれＨ（ハイ）状態となり、スイッチングＳＷ１１〜ＳＷ１４がそれぞれオン状態となるようになっている。また、これらＳＷ制御信号ＳａとＳＷ制御信号Ｓｂとは、互いに交互にＨ状態となるようになっている。具体的には、バックライト１５がＯＮ状態のときには、ＳＷ制御信号ＳａがＨ状態となると共にＳＷ制御信号ＳｂがＬ（ロー）状態となり、バックライト１５がＯＦＦ状態のときには、ＳＷ制御信号ＳａがＬ状態となると共に、ＳＷ制御信号ＳｂがＨ状態となる。

このとき、１つの受光素子３１における撮像動作は、例えば図８に示したようになる。すなわち、まず、タイミングｔ１０においてリセット信号電圧Ｖ（Ｒｅｓｅｔ）がＨ状態となると、トランジスタＴｒ１がオン状態となることにより、接続点Ｐ１の電位ＶＰ１（蓄積電位）が、任意に設定されたリセット電圧Ｖｒｓｔ（ここでは、Ｖｒｓｔ＝ＶＳＳ）にリセットされる。

次にタイミングｔ１１〜ｔ１２の期間では、バックライト１５がＯＮ状態となると共に、ＳＷ制御信号ＳａがＨ状態となり、ＳＷ制御信号ＳｂがＬ状態となることにより、コンデンサＣ１への充電電荷の蓄積動作（チャージ動作）が、表示駆動の際の水平期間（バックライト１５のＯＮ・ＯＦＦの切替動作）と同期してなされる。具体的には、例えば図９（Ａ）に示したように、充電用のスイッチング素子ＳＷ１１，ＳＷ１４がオン状態となると共に、放電用のスイッチング素子ＳＷ１２，ＳＷ１３がオフ状態となる。これにより、バックライト１５からの照射光による近接物体での反射光Ｌｏｎと外光（環境光）Ｌ０との合算光量に応じて、図中に示した充電電流Ｉ１１の経路によってコンデンサＣ１へ充電電荷が蓄積され、蓄積電位ＶＰ１が上昇する。

次にタイミングｔ１２〜ｔ１３の期間では、バックライト１５がＯＦＦ状態となると共に、ＳＷ制御信号ＳａがＬ状態となり、ＳＷ制御信号ＳｂがＨ状態となることにより、コンデンサＣ１からの放電電荷の放出動作（ディスチャージ動作）が、表示駆動の際の水平期間（バックライト１５のＯＮ・ＯＦＦの切替動作）と同期してなされる。具体的には、例えば図９（Ｂ）に示したように、充電用のスイッチング素子ＳＷ１１，ＳＷ１４がオフ状態となると共に、放電用のスイッチング素子ＳＷ１２，ＳＷ１３がオン状態となる。これにより、外光（環境光）Ｌ０の光量に応じて、図中に示した放電電流Ｉ１２の経路によってコンデンサＣ１から放電電荷が放出され、蓄積電位ＶＰ１が下降する。

そして、このような充電電荷の蓄積動作と放電電荷の放出動作とが、タイミングｔ１４まで（露光期間の間）複数回切り換えられ、その後、その間にコンデンサＣ１に蓄積された電荷が、撮像信号として読み出される。具体的には、タイミングｔ１４においてリード信号電圧Ｖ（Ｒｅａｄ）がＨ状態となることにより、トランジスタＴｒ３がオン状態となり、タイミングｔ１５〜ｔ１６の期間において、蓄積電位ＶＰ１の電圧が読み出し線４１から読み出される。このようにして、充電電荷の蓄積動作と放電電荷の放出動作とが複数回切り換えられた後に撮像信号が読み出されることにより、露光期間が長くなるため、図８（Ｅ）に示したように、撮像信号の信号成分（蓄積電位ＶＰ１）が増大するようになっている。また、ここで得られた撮像信号はアナログ値であるため、受光ドライブ回路１３においてＡ／Ｄ（アナログ／デジタル）変換がなされる。なお、その後はタイミングｔ１６においてリセット信号電圧Ｖ（Ｒｅｓｅｔ）がＨ状態となることにより、以降はタイミングｔ１０〜ｔ１６と同様の動作が繰り返されることになる。

なお、ＳＷ制御信号ＳａがＨ状態となる期間とＳＷ制御信号ＳｂがＨ状態となる期間とは、より詳細には、例えば図１０に示したように互いに重ならないようになっており（ノンオーバーラップ期間が設定されており）、これにより、受光部３３におけるリーク電流の発生が回避されるようになっている。

次に、画像処理部１４では、受光ドライブ回路１３において生成された１フレーム分の撮像画像の重心を判定する演算処理がなされ、接触（近接）中心の特定が行われる。そして、近接物体の検出結果が画像処理部１４からアプリケーションプログラム実行部１１へ出力され、画像処理部１４による指先抽出処理が終了となる。

このようにして、本実施の形態の指先抽出処理では、Ｉ／Ｏディスプレイパネル２０によって、近接物体に対してバックライト１５からの照射光が照射されているときに、この照射光による反射光Ｌｏｎと環境光（外光）Ｌ０との合算光量に応じて、各撮像画素３３に充電電荷が蓄積される。また、上記照射光が照射されていないときに、環境光Ｌ０の光量に応じて、各撮像画素３３から放電電荷が放出される。これらにより、各撮像画素３３から撮像信号が得られる。そして、各撮像画素３３から得られる撮像信号に基づく撮像画像を用いて、画像処理部１４において、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報が得られる。これにより、各撮像画素３３から得られる撮像信号では、環境光Ｌ０による成分が差し引かれるため、そのような環境光Ｌ０の影響を受けずに、近接物体の物体情報の取得が可能となる。

また、充電電荷の蓄積動作と放電電荷の放出動作とに基づいて、撮像画素３３ごとに撮像信号が得られるため、受光ドライブ回路１３において、撮像信号から撮像画像を生成する際に必要なフレームメモリ１３Ａが、従来（例えば図５８に示したように、バックライトＯＦＦ時の画像（画像Ａ）と、バックライトＯＮ時の画像（画像Ｂ）との２枚の画像用のフレームメモリが必要となる）よりも少なくて済むようになる。

なお、この指先抽出処理では、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上に同時に配置された複数の接触または近接する物体についても同様に、それぞれの物体に関する位置、形状または大きさなどの物体情報が取得可能となっている。

また、図１１および図１２に示した比較例（例えば図５７，５８に示した従来の指先抽出処理）では、図１１中の矢印で示したように、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上で近接物体が移動している場合、以下のような問題が生ずる。すなわち、実際の使用状況下では、例えば図１２に示したように、バックライトオフ状態で得られた画像Ａ１０１と、バックライトオン状態で得られた画像Ｂ１０１との間には、時間差が存在する。したがって、例えば図１１に示したようにＩ／Ｏディスプレイパネル２０上で近接物体が高速に移動している場合などには、この時間差のため、画像Ａ１０１における受光出力信号Ｖoff（Ａ１０１）と画像Ｂ１０１における受光出力信号Ｖon（Ｂ１０１）との間で、近接物体に対応する部分に位置ずれが生じている。そしてこのような位置のため、これら２つの画像Ａ１０１，Ｂ１０１の差分画像Ｃ１０１（＝Ｂ１０１−Ａ１０１）およびその受光検出信号Ｖ（Ｃ１０１）（＝Ｖon（Ｂ１０１）−Ｖoff（Ａ１０１））において、図１１および図１２に示したように、近接物体の位置に対応する本来の信号の他に、別の位置に偽信号Ｆ１０１が生じてしまっている。よって、この比較例に係る指先抽出処理では、このような偽信号Ｆ１０１の存在により、近接物体を安定して検出するのが困難となってしまう場合がある。なお、この偽信号は、近接物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。

これに対して本実施の形態では、上記したように、少なくとも例えば近接物体がＩ／Ｏディスプレイパネル２０上で動いている場合などには、各撮像画素３３において、充電電荷が蓄積されると共に放電電荷が放出されるように撮像駆動がなされることにより、各撮像画素３３から撮像信号が取得され、このような撮像信号に基づく撮像画像を用いて、近接物体の物体情報が取得されるようになっている。したがって、例えばバックライト１５のＯＮ／ＯＦＦ状態の切替周期を極めて短く設定することにより、そのような切替周期の間に、近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、その移動距離が極めて短くなるため、偽信号の発生が最小限に抑えられる（または回避される）。

また、図１３および図１４に示した比較例（例えば図５７，５８に示した従来の指先抽出処理）では、以下のような問題も生じる場合がある。すなわち、実際のＩ／Ｏディスプレイパネル２０における各撮像画素では、光に対する蓄積容量は有限である。ここで、例えば図１３（Ａ），（Ｂ）に示したように、外光Ｌ０の光量が大きく、蓄積容量一杯よりも電荷が流れ込んでくるような場合、近接物体が指ｆなどの場合、図中の受光出力信号Ｖon301，Ｖoff301でそれぞれ示したように、指ｆの影の部分などは蓄積容量を超えないため、近接物体の検出が可能となっている。一方、図１４（Ａ），（Ｂ）に示したように、近接物体がペンｏｂ１などの非常に細い物体である場合や、近接物体がＩ／Ｏディスプレイパネル２０から離れている場合などには、図中の受光出力信号Ｖon401，Ｖoff401および符号Ｐ４０１でそれぞれ示したように、ペンｏｂ１の影の部分などが、蓄積容量を超えて高いレベルに達してしまうことがある。このような場合、受光出力信号Ｖon401，Ｖoff401の差分信号が撮像画素の蓄積容量を超えてしまい、差分結果を利用して近接物体を検出することができなくなってしまう。

これに対して本実施の形態では、露光時間にかかわらず外光Ｌ０の成分は常に除去されているため、どのような外光条件であっても、有限の蓄積容量を外光Ｌ０の成分で使い切ってしまうことが回避可能となる（バックライト１５のＯＮ・ＯＦＦ状態の切替周期によって、一回の充電動作および放電動作により蓄積される容量が定まる）。

以上のように本実施の形態では、Ｉ／Ｏディスプレイパネル２０によって近接物体に対してバックライト１５からの照射光を照射させているときに、この照射光による反射光Ｌｏｎと環境光（外光）Ｌ０との合算光量に応じて各撮像画素３３に充電電荷を蓄積させると共に、上記照射光が照射されていないときに、環境光Ｌ０の光量に応じて各撮像画素３３から放電電荷を放出させるようにして、各撮像画素３３から撮像信号を取得するようにしたので、各撮像画素３３から得られる撮像信号では環境光Ｌ０による成分が差し引かれるため、そのような環境光Ｌ０の影響を受けずに、近接物体の物体情報を取得することが可能となる。また、充電電荷の蓄積動作と放電電荷の放出動作とに基づいて、撮像画素３３ごとに撮像信号を取得するようにしたので、受光ドライブ回路１３において、撮像信号から撮像画像を生成する際に必要なフレームメモリ１３Ａが、従来よりも少なくて済むようになる（差分検出用のフレームメモリが不要となる）。よって、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。

具体的には、各撮像画素（受光部）３３において、光電変換素子ＰＤ１が充電電荷および放電電荷をそれぞれ共通して発生させるものであると共に、この光電変換素子ＰＤ１で発生した充電電荷が充電用のスイッチング素子ＳＷ１１，ＳＷ１４を介してコンデンサＣ１へ蓄積されると共に、光電変換素子ＰＤ１で発生した放電電荷が放電用のスイッチング素子ＳＷ１２，ＳＷ１３を介してコンデンサＣ１から放出されるようにしたので、上記のような効果を得ることが可能となる。

また、充電電荷の蓄積動作（チャージ動作）および放電電荷の放出動作（ディスチャージ動作）がそれぞれ、表示駆動の際の水平期間と同期しているようにしたので、カップリングノイズを低減することが可能となる。

また、充電電荷の蓄積動作と放電電荷の放出動作とが複数回切り換えられた後に得られた撮像信号に基づいて物体情報を取得するようにしたので、露光期間を長くすることができ、撮像信号の信号成分（蓄積電位ＶＰ１）を増大させて検出感度を向上させることが可能となると共に、露光時間を自由に設定できるため、Ｓ／Ｎ比を高くすることが可能となる。

また、例えばバックライト１５のＯＮ／ＯＦＦ状態の切替周期を極めて短く設定することにより、近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、偽信号の発生を最小限に抑える（または回避する）ことができ、検出感度をさらに向上させることが可能となる。また、高速なバックライト１５のＯＮ／ＯＦＦ状態の切替周期と同期して差分処理が行えるため、移動物体に対する検出を容易とすることが可能となる。

また、各撮像画素３３内のコンデンサＣ１では、反射光Ｌｏｎによる電荷のみが蓄積されるため、撮像信号に対するＡ／Ｄ変換の際に、外光Ｌ０などの対応に無駄なレンジを設定する必要がなく（Ａ／Ｄ変換器のビット長（語長）を有効に活用することができ）、利用効率を向上させることが可能となる（Ｓ／Ｎ比を向上させることが可能となる）。

また、本実施の形態による撮像駆動によれば、温度変化による暗電流成分も除去することが可能となる。

また、撮像信号の読み出しの際に、従来は、高速に読み出すことによって少しでも移動物体への追従を良くしていたのに対し、本実施の形態では、読み出し速度と移動物体への追従性とを全く独立とすることができる。したがって、露光時間を自由に設定できるため、受光感度への要求を従来よりも緩和することができると共に、読み出し速度を遅く設定することも可能となる。

さらに、本実施の形態の受光部３３では、バックライト１５をＯＦＦ状態とすると共に充電電荷の蓄積動作のみを行うようにすれば、外光Ｌ０を利用した影検出を行うことも可能である。

以下、本発明の変形例をいくつか挙げて説明する。なお、上記実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。

［変形例１］
図１５は、変形例１に係る受光部（受光部３３Ａ）の回路構成を表したものである。この受光部（撮像画素）３３Ａは、上記実施の形態で説明した受光部３３とは異なり、２つの光電変換素子ＰＤ２１，ＰＤ２２と、２つのスイッチング素子ＳＷ２１，ＳＷ２２とを含んで構成されている。具体的には、光電変換素子ＰＤ２１のカソードおよびゲートが電源ＶＤＤに接続され、アノードがスイッチング素子ＳＷ２１の一端に接続されている。また、光電変換素子ＰＤ２２のアノードが接地ＶＳＳに接続され、カソードおよびゲートがスイッチング素子ＳＷ２２の一端に接続されている。また、スイッチング素子ＳＷ２１，ＳＷ２２の他端同士は、接続点Ｐ１に接続されている。また、この受光部３３Ａは、表示エリア（センサエリア）２１Ａにおいて、上記実施の形態と同様に例えば図１６に示したように、撮像画素３３Ａと、この撮像画素３３Ａを撮像駆動するための配線部３２とが、互いに分離配置されている。なお、他の回路構成は受光部３３と同様であるため、説明を省略する。

また、この受光部３３Ａでは、光電変換素子ＰＤ２１が、充電電荷を発生させるための光電変換素子として機能すると共に、光電変換素子ＰＤ２２が、放電電荷を発生させるための光電変換素子として機能している。また、スイッチング素子ＳＷ２１が充電用のスイッチング素子として機能すると共に、スイッチング素子ＳＷ２２が放電用のスイッチング素子として機能している。これにより、例えば図１７（Ａ）に示したように、光電変換素子ＰＤ２１で発生した充電電荷（反射光Ｌｏｎおよび外光Ｌ０の合算光量に基づくもの）が充電用のスイッチング素子ＳＷ２１を介してコンデンサＣ１へ蓄積されると共に、例えば図１７（Ｂ）に示したように、光電変換素子ＰＤ２２で発生した放電電荷（外光Ｌ０の光量に基づくもの）が放電用のスイッチング素子ＳＷ２２を介してコンデンサＣ１から放出されるように、撮像駆動がなされるようになっている。

このようにして本変形例においても、上記実施の形態と同様の撮像動作により、同様の指先抽出処理がなされる。これにより本変形例においても、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。

また、光電変換素子ＰＤ２１のカソードまたは光電変換素子ＰＤ２２のアノードの一方が電源ＶＤＤまたは接地ＶＳＳと常に接続されている状態となるため、スイッチング素子ＳＷ２１，ＳＷ２２のオン・オフ時に生じるカップリングノイズを低減することが可能となる。

また、受光部３３Ａ内のスイッチング素子が２つで済む（上記実施の形態の受光部３３では、４つのスイッチング素子ＳＷ１１〜ＳＷ１４が必要）ため、ＳＷ制御信号Ｓａ，Ｓｂの信号線における配線容量を低減し、低消費電力化も図ることができる。

さらに、本変形例の受光部３３Ａでは、上記実施の形態の受光部３３とは異なり、リーク電流の発生経路がないため、例えば図１８に示したように、ＳＷ制御信号ＳａがＨ状態となる期間とＳＷ制御信号ＳｂがＨ状態となる期間との間で、互いに重なってもよいこととなる（ノンオーバーラップ期間が設定されていない）。

なお、本変形例では、例えば図１９に示した受光部（撮像画素）３３Ｂのように、スイッチング素子ＳＷ２１，ＳＷ２２のオフ状態時に寄生容量に蓄積される電荷を除去するためのスイッチング素子ＳＷ２３，ＳＷ２４を設けるようにするのが好ましい。具体的には、スイッチング素子ＳＷ２３は、光電変換素子ＰＤ２１のアノードおよびスイッチング素子ＳＷ２１の一端と、接地ＶＳＳとの間に設けられている。また、スイッチング素子ＳＷ２４は、光電変換素子ＰＤ２２のカソードおよびスイッチング素子ＳＷ２２の一端と、電源ＶＤＤとの間に設けられている。

［変形例２］
図２０は、変形例２に係る受光部（受光部３３Ｃ）の回路構成を表したものである。この受光部（撮像画素）３３Ｃは、２つの光電変換素子ＰＤ３１，ＰＤ３２と、４つのスイッチング素子ＳＷ３１〜ＳＷ３４とを含んで構成されている。具体的には、スイッチング素子ＳＷ３１，ＳＷ３３の一端同士が電源ＶＤＤに接続され、スイッチング素子ＳＷ３１の他端が光電変換素子ＰＤ３１のカソードおよびゲートに接続され、スイッチング素子ＳＷ３３の他端がコンデンサＣ１の一端およびスイッチング素子ＳＷ３４の一端に接続されている。また、光電変換素子ＰＤ３１のアノードが、コンデンサＣ１の他端、光電変換素子ＰＤ３２のカソードおよびゲート、ならびに接続点Ｐ１に接続されている。また、光電変換素子ＰＤ３２のアノードがスイッチング素子ＳＷ３２の一端に接続されている。また、スイッチング素子ＳＷ３２，ＳＷ３４の他端同士は、接地ＶＳＳに接続されている。なお、他の回路構成は受光部３３，３３Ａと同様であるため、説明を省略する。

この受光部３３Ｃでは、例えば図２１に示したように、スイッチング素子ＳＷ３１〜ＳＷ３４用のＳＷ制御信号Ｓ１〜Ｓ４、リード信号電圧Ｖ（Ｒｅａｄ）およびリセット信号電圧Ｖ（Ｒｅｓｅｔ）により、図中のタイミングｔ２０〜ｔ２６のようにして撮像動作がなされる。具体的には、例えば図２２（Ａ）に示したように、光電変換素子ＰＤ３１で発生した充電電荷（反射光Ｌｏｎおよび外光Ｌ０の合算光量に基づくもの）が充電用のスイッチング素子ＳＷ３１，ＳＷ３４を介してコンデンサＣ１へ蓄積されると共に、例えば図２２（Ｂ）に示したように、光電変換素子ＰＤ３２で発生した放電電荷（外光Ｌ０の光量に基づくもの）が放電用のスイッチング素子ＳＷ３２，ＳＷ３３を介してコンデンサＣ１から放出されるように、撮像駆動がなされるようになっている。また、この際、コンデンサＣ１の一端側が、充電電荷の蓄積時と放電電荷の放出時とにおいて、スイッチング素子ＳＷ３３またはスイッチング素子ＳＷ３４を介して、電源ＶＤＤまたは接地ＶＳＳに交互に接続されるようになっている。

このようにして本変形例においても、上記実施の形態と同様の撮像動作により、同様の指先抽出処理がなされる。これにより本変形例においても、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。

また、コンデンサＣ１の一端側が、充電電荷の蓄積時と放電電荷の放出時とにおいて、スイッチング素子ＳＷ３３またはスイッチング素子ＳＷ３４を介して電源ＶＤＤまたは接地ＶＳＳに交互に接続されるようにしたので、リセット電圧を任意に入力することなく、光電変換素子ＰＤ３１，ＰＤ３２の両端にかかる電圧をほぼ（ＶＤＤ−ＶＳＳ）とすることができ、リセット信号線を削減することが可能となる。

なお、本変形例の受光部３３Ｃにおいても、上記実施の形態の受光部３３と同様にリーク電流の発生を回避するため、例えば図２３に示したように、ＳＷ制御信号ＳａがＨ状態となる期間とＳＷ制御信号ＳｂがＨ状態となる期間とが互いに重ならないように（ノンオーバーラップ期間が設定されるように）するのが好ましい。

［変形例３］
図２４は、変形例３に係る受光部（受光部３３Ｄ）の回路構成を表したものである。この受光部（撮像画素）３３Ｄは、２つの光電変換素子ＰＤ４１（第１の光電変換素子），ＰＤ４２（第２の光電変換素子）を含んで構成されている。具体的には、光電変換素子ＰＤ４１は、カソードが電源ＶＤＤに接続され、アノードが光電変換素子ＰＤ４２のカソードおよび接続点Ｐ１に接続され、ゲートが信号線φ１に接続されている。また、光電変換素子ＰＤ４２は、アノードが接地ＶＳＳに接続され、ゲートが信号線φ２に接続されている。すなわち、この受光部３３Ｄには、これまで説明した受光部３３，３３Ａ〜Ｃとは異なり、スイッチング素子が設けられていない一方、光電変換素子ＰＤ４１，ＰＤ４２のゲート電位が信号線φ１，φ２によって制御されるようになっている。なお、他の回路構成は受光部３３等と同様であるため、説明を省略する。

本変形例（および後述する変形例４，５）では、これまで説明したスイッチング素子を用いた電流経路の切り換え動作の代わりに、光電変換素子自体をオン動作領域とオフ動作領域とで切り換えることにより、電流経路の切り換え動作を行っている。具体的には、光電変換素子ＰＤ４１におけるカソードとゲートとの間の電位関係と、光電変換素子ＰＤ４２におけるアノードとゲートとの間の電位関係とをそれぞれ変化させることにより、これら光電変換素子ＰＤ４１，ＰＤ４２を個別にオン・オフ状態に設定するようになっている。

ここで、例えば図２５（Ａ）に示したように、光電変換素子ＰＤ４１，ＰＤ４２のアノード電位をＶｐ、カソード電位をＶｎ、ゲート電位をＶｇ、カソードからアノードに流れる光電流をＩｎｐとすると、光電変換素子ＰＤ４１，ＰＤ４２におけるＩ−Ｖ特性は、例えば図２５（Ｂ）に示したように表される。すなわち、ゲート電位（ゲート電圧）Ｖｇを変化させたとき、Ｖｐ＜Ｖｇ＜Ｖｎの電圧領域は、光電変換素子ＰＤ４１，ＰＤ４２がオン状態となるオン動作領域αとなる。一方、Ｖｎ＜Ｖｇの電圧領域は、光電変換素子ＰＤ４１，ＰＤ４２がオフ状態となるオフ動作領域β１となると共に、Ｖｇ＜Ｖｐの電圧領域も、光電変換素子ＰＤ４１，ＰＤ４２がオフ状態となるオフ動作領域β２となる。このようにして、光電変換素子ＰＤ４１におけるカソードとゲートとの間の電位関係と、光電変換素子ＰＤ４２におけるアノードとゲートとの間の電位関係とをそれぞれ変化させることにより、これら光電変換素子ＰＤ４１，ＰＤ４２における光電変換効率を変化させることができる。したがって、本変形例（および後述する変形例４，５）では、このような光電変換効率の変化を積極的に利用して、光電変換素子ＰＤ４１，ＰＤ４２を個別にオン・オフ状態に設定している。

具体的には、本変形例では、まず、図２４に示したように、光電変換素子ＰＤ４１におけるカソード電位を電源ＶＤＤに固定すると共に、光電変換素子ＰＤ４２におけるアノード電位を接地ＶＳＳに固定している。また、図２４および図２６（Ａ）〜（Ｃ）に示したように、これらの光電変換素子ＰＤ４１，ＰＤ４２におけるゲート電圧Ｖｇを、信号線φ１，φ２によってそれぞれ個別に変化させている。具体的には、光電変換素子ＰＤ４１のゲート電圧Ｖｇを、信号線φ１の電位Ｖ（φ１）によって、Ｖｇ１１とＶｇ１２との間で交互に変化させている（図２６（Ｃ）中の矢印Ｐ４１参照；Ｖｇ１２＜Ｖｇ１１）。また、光電変換素子ＰＤ４２のゲート電圧Ｖｇを、信号線φ２の電位Ｖ（φ２）によって、Ｖｇ２１とＶｇ２２との間で交互に変化させている（図２６（Ｃ）中の矢印Ｐ４２参照；Ｖｇ２２＜Ｖｇ２１）。これにより、例えば図２６（Ｃ）中の動作点Ｐ４１on，Ｐ４１offで示したように、信号線φ１の電位Ｖ（φ１）によって、光電変換素子ＰＤ４１のオン・オフ状態が任意に設定可能となっている。また、例えば図２６（Ｃ）中の動作点Ｐ４２on，Ｐ４２offで示したように、信号線φ２の電位Ｖ（φ２）によって、光電変換素子ＰＤ４２のオン・オフ状態が任意に設定可能となっている。

本変形例の受光部３３Ｄでは、例えば図２７（Ａ）〜（Ｆ）および図２８（Ａ）〜（Ｃ）に示したように、リセット信号電圧Ｖ（Ｒｅｓｅｔ）、リード信号電圧Ｖ（Ｒｅａｄ）、信号線φ１，φ２の電位Ｖ（φ１），Ｖ（φ２）およびリセット電源Ｖｒｓｔ等により、図中のタイミングのようにして撮像動作がなされる。ここで、β１０，β２０はそれぞれ、光電変換素子ＰＤ４１，ＰＤ４２におけるオン動作領域からオフ動作領域への遷移領域を示している。

具体的には、例えば図２９（Ａ）に示したように、光電変換素子ＰＤ４１で発生した充電電荷（反射光Ｌｏｎおよび外光Ｌ０の合算光量に基づくもの）が、この光電変換素子ＰＤ４１がオン状態となると共に光電変換素子ＰＤ４２がオフ状態となることにより、図中の電流経路Ｉ４１によってコンデンサＣ１へ蓄積される。また、例えば図２９（Ｂ）に示したように、光電変換素子ＰＤ４２で発生した放電電荷（外光Ｌ０の光量に基づくもの）が、この光電変換素子ＰＤ４２がオン状態となると共に光電変換素子ＰＤ４１がオフ状態となることにより、図中の電流経路Ｉ４２によってコンデンサＣ１から放出される。なお、光電変換素子ＰＤ４１，ＰＤ４２がオフ状態のときにおいても流れる電流は０ではないため、正確には、オン状態となっている光電変換素子と、オフ状態となっている光電変換素子との電流差によって充電または放電がなされる。

このようにして本変形例においても、上記したような撮像動作により、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。

なお、本変形例においても、リーク電流の発生を回避するため、図２７中に示したように、信号線φ１の電位Ｖ（φ１）がＨ状態となる期間と信号線φ２の電位Ｖ（φ２）がＨ状態となる期間とが、互いに重ならないように（ノンオーバーラップ期間が設定されるように）するのが好ましい。なお、ＰＩＮダイオードそのものをオン・オフさせる場合には、貫通電流がほとんど流れないため、ノンオーバーラップ期間は設けなくてもよいが、設けても問題はない。

［変形例４］
図３０は、変形例４に係る受光部（受光部３３Ｅ）の回路構成を表したものである。この受光部（撮像画素）３３Ｅは、２つの光電変換素子ＰＤ５１（第１の光電変換素子），ＰＤ５２（第２の光電変換素子）を含んで構成されている。具体的には、光電変換素子ＰＤ５１は、カソードが信号線φ１に接続され、アノードが光電変換素子ＰＤ５２のカソードおよび接続点Ｐ１に接続され、ゲートが電源ＶＤＤに接続されている。また、光電変換素子ＰＤ５２は、アノードが信号線φ２に接続され、ゲートが接地ＶＳＳに接続されている。すなわち、この受光部３３Ｅでは、上記変形例３の受光部３３Ｄとは異なり、光電変換素子ＰＤ５１，ＰＤ５２のゲート電位が電源ＶＤＤまたは接地ＶＳＳによって固定される一方、光電変換素子ＰＤ５１のカソード電位および光電変換素子ＰＤ５２のアノード電位が信号線φ１，φ２によって制御されるようになっている。なお、他の回路構成は受光部３３Ｄと同様であるため、説明を省略する。

本変形例では、まず、図３０に示したように、光電変換素子ＰＤ５１におけるゲート電位を電源ＶＤＤに固定すると共に、光電変換素子ＰＤ５２におけるゲート電位を接地ＶＳＳに固定している。また、図３０および図３１（Ａ）〜（Ｃ）に示したように、光電変換素子ＰＤ５１におけるカソード電圧Ｖｎを、信号線φ１によって変化させている。具体的には、光電変換素子ＰＤ５１のカソード電圧Ｖｎを、信号線φ１の電位Ｖ（φ１）によって、Ｖｎ１とＶｎ２との間で交互に変化させている（図３１（Ｃ）中の矢印Ｐ５１参照；Ｖｎ２＜Ｖｎ１）。これにより、例えば図３１（Ｃ）に示したように、Ｖｎ＝Ｖｎ１のときとＶｎ＝Ｖｎ２のときとでは、オン動作領域αおよびオフ動作領域β１の電圧範囲が互いに異なることになる（図中のオン動作領域α１，α２およびオフ動作領域β１１，β２１参照）。したがって、このような光電変換効率の変化を積極的に利用することにより、図中の動作点Ｐ５１on，Ｐ５１offで示したように、信号線φ１の電位Ｖ（φ１）によって、光電変換素子ＰＤ５１のオン・オフ状態が任意に設定可能となっている。さらに、図３０および図３２（Ａ）〜（Ｃ）に示したように、光電変換素子ＰＤ５２におけるアノード電圧Ｖｐを、信号線φ２によって変化させている。具体的には、光電変換素子ＰＤ５２のアノード電圧Ｖｐを、信号線φ２の電位Ｖ（φ２）によって、Ｖｐ１とＶｐ２との間で交互に変化させている（図３２（Ｃ）中の矢印Ｐ５２参照；Ｖｐ２＜Ｖｐ１）。これにより、例えば図３２（Ｃ）に示したように、Ｖｐ＝Ｖｐ１のときとＶｐ＝Ｖｐ２のときとでは、オン動作領域αおよびオフ動作領域β２の電圧範囲が互いに異なることになる（図中のオン動作領域α１，α２およびオフ動作領域β１２，β２２参照）。したがって、このような光電変換効率の変化を積極的に利用することにより、図中の動作点Ｐ５２on，Ｐ５２offで示したように、信号線φ２の電位Ｖ（φ２）によって、光電変換素子ＰＤ５２のオン・オフ状態が任意に設定可能となっている。

本変形例の受光部３３Ｅでは、例えば図３３（Ａ）〜（Ｆ）および図３４（Ａ）〜（Ｃ）に示したように、リセット信号電圧Ｖ（Ｒｅｓｅｔ）、リード信号電圧Ｖ（Ｒｅａｄ）、信号線φ１，φ２の電位Ｖ（φ１），Ｖ（φ２）およびリセット電源Ｖｒｓｔ等により、図中のタイミングのようにして撮像動作がなされる。ここで、β１２０，β２１０はそれぞれ、光電変換素子ＰＤ５１，ＰＤ５２におけるオン動作領域からオフ動作領域への遷移領域を示している。

具体的には、例えば図３５（Ａ）に示したように、光電変換素子ＰＤ５１で発生した充電電荷（反射光Ｌｏｎおよび外光Ｌ０の合算光量に基づくもの）が、この光電変換素子ＰＤ５１がオン状態となると共に光電変換素子ＰＤ５２がオフ状態となることにより、図中の電流経路Ｉ５１によってコンデンサＣ１へ蓄積される。また、例えば図３５（Ｂ）に示したように、光電変換素子ＰＤ５２で発生した放電電荷（外光Ｌ０の光量に基づくもの）が、この光電変換素子ＰＤ５２がオン状態となると共に光電変換素子ＰＤ５１がオフ状態となることにより、図中の電流経路Ｉ５２によってコンデンサＣ１から放出される。なお、光電変換素子ＰＤ５１，ＰＤ５２がオフ状態のときにおいても流れる電流は０ではないため、正確には、オン状態となっている光電変換素子と、オフ状態となっている光電変換素子との電流差によって充電または放電がなされる。

このようにして本変形例においても、上記したような撮像動作により、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。

［変形例５］
図３６は、変形例５に係る受光部（受光部３３Ｆ）の回路構成を表したものである。この受光部（撮像画素）３３Ｆは、２つの光電変換素子ＰＤ６１（第１の光電変換素子），ＰＤ６２（第２の光電変換素子）と、５つのトランジスタＴｒ１〜Ｔｒ３，Ｔｒ６１（Ｎチャネルトランジスタ），Ｔｒ６２（Ｐチャネルトランジスタ）と、４つの容量素子Ｃ６１Ａ，Ｃ６１Ｂ，Ｃ６２Ａ，Ｃ６２Ｂとを含んで構成されている。具体的には、光電変換素子ＰＤ６１は、カソードが信号線φ１およびトランジスタＴｒ６１のソースに接続され、アノードが光電変換素子ＰＤ６２のカソードおよび接続点Ｐ１に接続され、ゲートがトランジスタＴｒ６１のドレインおよび容量素子Ｃ６１Ａ，Ｃ６１Ｂの一端に接続されている。また、トランジスタＴｒ６１のゲートは容量素子Ｃ６１Ａの他端およびリセット線Ｒｅｓｅｔ１（これまで説明したリセット線Ｒｅｓｅｔに対応）に接続されている。一方、光電変換素子ＰＤ６２は、アノードが信号線φ２およびトランジスタＴｒ６２のソースに接続され、ゲートがトランジスタＴｒ６２のドレインおよび容量素子Ｃ６２Ａ，Ｃ６２Ｂの一端に接続されている。また、トランジスタＴｒ６２のゲートは容量素子Ｃ６１Ａの他端およびリセット線Ｒｅｓｅｔ２の反転信号に接続されている。なお、容量素子Ｃ６１Ｂ，Ｃ６２Ｂの他端同士は電源ＶＤＤに接続されている。すなわち、この受光部３３Ｆでは、上記変形例４の受光部３３Ｅとは異なり、光電変換素子ＰＤ６１，ＰＤ６２のゲート電位が固定されず、プリチャージ期間後から読み出し期間までの間（充電電荷の蓄積時および放電電荷の放出時において）、ハイインピーダンス状態となっている。なお、他の回路構成は受光部３３Ｅと同様であるため、説明を省略する。

本変形例では、まず、図３７（Ａ），（Ｂ）において模式的に示したように、光電変換素子ＰＤ６１におけるカソード電位Ｖｎを、信号線φ１によって変化させている。そして、光電変換素子ＰＤ６１におけるゲート電圧Ｖｇ１を、トランジスタＴｒ６１により構成されるスイッチング素子ＳＷ６１を介して信号線φ１とゲート電極との間をオン・オフさせることにより、変化させている。具体的には、図３７および図３８（Ａ），（Ｂ）に示したように、光電変換素子ＰＤ６１におけるカソード電位Ｖｎを、信号線φ１の電位Ｖ（φ１）によって、Ｖｎ１とＶｎ２との間で交互に変化させている（図３８（Ａ）中の矢印Ｐ６１１参照；Ｖｎ２＜Ｖｎ１）。このとき、スイッチング素子ＳＷ６１をオン状態にすることにより、光電変換素子ＰＤ６１のゲート電圧Ｖｇ１をＶｎ１にリセットさせたのち、スイッチング素子ＳＷ６１をオフ状態にする。そして、そののちにＶｎ＝Ｖｎ２になると、図３８（Ｂ）のＣ−Ｖ特性に示したように、光電変換素子ＰＤ６１のゲート電圧Ｖｇは、ゲート・カソード間のカップリング容量に起因して下がると共に、このカップリング容量が大きくなる動作点（Ｖｇ＝Ｖｇ１２）で止まることになる。すなわち、光電変換素子ＰＤ６１におけるゲート電圧Ｖｇ１が、Ｖｇ１１とＶｇ１２との間で交互に変化することになる（図３８（Ａ）中の矢印Ｐ６１２参照；Ｖｇ１２＜Ｖｇ１１）。このようにして、例えば図３８（Ａ）に示したように、Ｖｎ＝Ｖｎ１のときとＶｎ＝Ｖｎ２のときとでは、オン動作領域αおよびオフ動作領域β１の電圧範囲が互いに異なることになる（図中のオン動作領域α１，α２およびオフ動作領域β１１，β２１参照）。したがって、このような光電変換効率の変化を積極的に利用することにより、図３８（Ａ），（Ｂ）中の動作点Ｐ６１on，Ｐ６１offで示したように、信号線φ１の電位Ｖ（φ１）およびスイッチング素子ＳＷ６１の動作によって、光電変換素子ＰＤ６１のオン・オフ状態が任意に設定可能となっている。

一方、本変形例ではまた、図３９（Ａ），（Ｂ）において模式的に示したように、光電変換素子ＰＤ６２におけるアノード電位Ｖｐを、信号線φ２によって変化させている。そして、光電変換素子ＰＤ６２におけるゲート電圧Ｖｇ２を、トランジスタＴｒ６２により構成されるスイッチング素子ＳＷ６２を介して信号線φ２とゲート電極との間をオン・オフさせることにより、変化させている。具体的には、図３９および図４０（Ａ），（Ｂ）に示したように、光電変換素子ＰＤ６２におけるアノード電位Ｖｐを、信号線φ２の電位Ｖ（φ２）によって、Ｖｐ１とＶｐ２との間で交互に変化させている（図４０（Ａ）中の矢印Ｐ６２１参照；Ｖｐ２＜Ｖｐ１）。このとき、スイッチング素子ＳＷ６２をオン状態にすることにより、光電変換素子ＰＤ６２のゲート電圧Ｖｇ２をＶｐ２にリセットさせたのち、スイッチング素子ＳＷ６２をオフ状態にする。そして、そののちにＶｐ＝Ｖｐ１になると、図４０（Ｂ）のＣ−Ｖ特性に示したように、光電変換素子ＰＤ６２のゲート電圧Ｖｇは、ゲート・アノード間のカップリング容量に起因して下がると共に、このカップリング容量が大きくなる動作点（Ｖｇ＝Ｖｇ２１）で止まることになる。すなわち、光電変換素子ＰＤ６２におけるゲート電圧Ｖｇ１が、Ｖｇ２１とＶｇ２２との間で交互に変化することになる（図４０（Ａ）中の矢印Ｐ６２２参照；Ｖｇ２２＜Ｖｇ２１）。このようにして、例えば図４０（Ａ）に示したように、Ｖｐ＝Ｖｐ１のときとＶｐ＝Ｖｐ２のときとでは、オン動作領域αおよびオフ動作領域β２の電圧範囲が互いに異なることになる（図中のオン動作領域α１，α２およびオフ動作領域β２１，β２２参照）。したがって、このような光電変換効率の変化を積極的に利用することにより、図４０（Ａ），（Ｂ）中の動作点Ｐ６２on，Ｐ６２offで示したように、信号線φ２の電位Ｖ（φ２）およびスイッチング素子ＳＷ６２の動作によって、光電変換素子ＰＤ６２のオン・オフ状態が任意に設定可能となっている。

本変形例の受光部３３Ｆでは、例えば図４１（Ａ）〜（Ｇ）および図４２（Ａ）〜（Ｃ）に示したように、リセット信号電圧Ｖ（Ｒｅｓｅｔ１），Ｖ（Ｒｅｓｅｔ２）、リード信号電圧Ｖ（Ｒｅａｄ）、信号線φ１，φ２の電位Ｖ（φ１），Ｖ（φ２）およびリセット電源Ｖｒｓｔ等により、図中のタイミングのようにして撮像動作がなされる。

具体的には、例えば図４３（Ａ）に示したように、光電変換素子ＰＤ６１で発生した充電電荷（反射光Ｌｏｎおよび外光Ｌ０の合算光量に基づくもの）が、この光電変換素子ＰＤ６１がオン状態となると共に光電変換素子ＰＤ６２がオフ状態となることにより、図中の電流経路Ｉ６１によってコンデンサＣ１へ蓄積される。また、例えば図４３（Ｂ）に示したように、光電変換素子ＰＤ６２で発生した放電電荷（外光Ｌ０の光量に基づくもの）が、この光電変換素子ＰＤ６２がオン状態となると共に光電変換素子ＰＤ６１がオフ状態となることにより、図中の電流経路Ｉ６２によってコンデンサＣ１から放出される。なお、光電変換素子ＰＤ６１，ＰＤ６２がオフ状態のときにおいても流れる電流は０ではないため、正確には、オン状態となっている光電変換素子と、オフ状態となっている光電変換素子との電流差によって充電または放電がなされる。

このようにして本変形例においても、上記したような撮像動作により、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。

［変形例６］
図４４は、変形例６に係る表示エリア（表示エリア（センサエリア）２１Ｃ）内の受光部（受光部３３Ａ１，３３Ａ２）の回路構成を表したものである。この表示エリア２１Ｃでは、撮像画素（受光部）が、反射光Ｌｏｎおよび環境光Ｌ０を光電変換素子ＰＤ２１，ＰＤ２２に対して遮断するための遮光部３４１，３４２を含む撮像画素（受光部）３３Ａ１と、そのような遮光部を含まない撮像画素（受光部）３３Ａ２とにより構成されている。なお、受光部３３Ａ１，３３Ａ２における遮光部以外の回路構成は、上記変形例１で説明した受光部３３Ａと同様であるので、説明を省略する。

なお、これらの受光部（撮像画素）３３Ａ１，３３Ａ２においても、表示エリア（センサエリア）２１Ｃにおいて、例えば図４５に示したように、撮像画素３３Ａ１，３３Ａ２と、これら撮像画素３３Ａ１，３３Ａ２を撮像駆動するための配線部３２とが、互いに分離配置されている。

本変形例では、撮像画素３３Ａ１により得られる撮像信号（読み出し線４１１から読み出される撮像信号）と、撮像画素３３Ａ２により得られる撮像信号（読み出し線４１２から読み出される撮像信号）との差分信号に基づいて、物体情報が取得されるようになっている。

このようにして本変形例においても、上記実施の形態と同様の撮像動作により、同様の指先抽出処理がなされる。これにより本変形例においても、製造コストを抑えつつ、使用状況によらずに物体を安定して検出することが可能となる。

また、撮像画素（受光部）が、遮光部３４１，３４２を含む撮像画素（受光部）３３Ａ１と、そのような遮光部を含まない撮像画素（受光部）３３Ａ２とにより構成されていると共に、撮像画素３３Ａ１により得られる撮像信号と撮像画素３３Ａ２により得られる撮像信号との差分信号に基づいて物体情報を取得するようにしたので、Ｉ／Ｏディスプレイパネル２０内で生じる電圧傾斜などの影響や、表示系の駆動から混入するノイズ成分などを除去することが可能となり、Ｓ／Ｎ比を改善することが可能となる。

なお、本変形例では、２種類の受光部３３Ａ１，３３Ａ２がそれぞれ、変形例１に係る受光部３３Ａの回路構成に基づくものである場合で説明したが、そのような２種類の受光部が、上記実施の形態の受光部３３や、上記変形例２〜５に係る受光部３３Ｂ〜３３Ｆの回路構成に基づくものであってもよい。

（アプリケーションプログラムの実行例）
次に、図４６〜図４９を参照して、これまで説明した指先抽出処理によって検出された物体の位置情報等を利用した、アプリケーションプログラム実行部１１によるアプリケーションプログラム実行例について、いくつか説明する。

まず、図４６（Ａ）に示した例は、Ｉ／Ｏディスプレイパネル２０の表面を指先６１で触れて、その触れた個所の軌跡を描画ライン６１１として画面に表示させるようにした例である。

また、図４６（Ｂ）に示した例は、手の形を用いたジェスチャ認識のものである。具体的には、Ｉ／Ｏディスプレイパネル２０に触れた（または近接した）手６２の形状を認識して、その認識した手の形を画像として表示させ、その表示オブジェクトの移動６２１で、何らかの処理を行うようにしたものである。

また、図４７に示した例は、閉じた状態の手６３Ａから、開いた状態の手６３Ｂに変化させて、それぞれの状態の手の接触または近接をＩ／Ｏディスプレイパネル２０で画像認識させて、その画像認識に基づいた処理を実行させるようにしたものである。これらの認識に基づいて処理を行うことで、例えばズームインなどの指示を行うことができる。また、このような指示ができることで、例えばＩ／Ｏディスプレイパネル２０をパーソナルコンピュータ装置に接続して、そのコンピュータ装置上でコマンドを切り替えている操作などを、これらの画像認識で、より自然な形で入力することができる。

また、例えば図４８に示したように、Ｉ／Ｏディスプレイパネル２０を複数台用意して、その複数台のＩ／Ｏディスプレイパネルを何らかの伝送手段で接続することで、接触または近接を検出した画像を、相手のＩ／Ｏディスプレイパネルに伝送して表示させて、両ディスプレイパネルを操作するユーザ間でコミュニケーションをとるようにしてもよい。すなわち、図４８に示したように、２つのＩ／Ｏディスプレイパネルを用意して、一方のパネルで画像認識した手６５の手形を相手に送信して、他方のパネルに手形６４２を表示させたり、他方のパネルを手６４で触れて表示された軌跡６４１を、相手のパネルに送って表示させる等の処理が可能になる。このようにして、描画している状態が動画で伝達され、手書きの文字や図形などを相手に送ることで、新しいコミュニケーションツールの可能性がある。このような例としては、例えば、Ｉ／Ｏディスプレイパネル２０を携帯電話端末の表示パネルに適用すること等が想定される。

また、例えば図４９に示したように、筆６６を使用してＩ／Ｏディスプレイパネル２０の表面で文字を書くように触れさせて、その筆６６が触れた個所をＩ／Ｏディスプレイパネル２０に画像６６１として表示させることで、毛筆による手書きの入力が可能になる。この場合には、毛筆の細かいタッチまで認識して実現することが可能である。従来の手書き認識の場合には、例えば一部のデジタイザにおいて、特殊なペンの傾きを電界検出で実現していたが、本例では、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行える。

（モジュールおよび適用例）
次に、図５０〜図５４を参照して、上記実施の形態および変形例で説明した表示撮像装置の適用例について説明する。上記実施の形態等の表示撮像装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなど、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。

（適用例１）
図５０は、上記実施の形態等の表示撮像装置が適用されるテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態等に係る表示撮像装置により構成されている。

（適用例２）
図５１は、上記実施の形態等の表示撮像装置が適用されるデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態等に係る表示撮像装置により構成されている。

（適用例３）
図５２は、上記実施の形態等の表示撮像装置が適用されるノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態等に係る表示撮像装置により構成されている。

（適用例４）
図５３は、上記実施の形態等の表示撮像装置が適用されるビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有しており、その表示部５４４は、上記実施の形態等に係る表示撮像装置により構成されている。

（適用例５）
図５４は、上記実施の形態等の表示撮像装置が適用される携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態等に係る表示撮像装置により構成されている。

以上、実施の形態、変形例および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態等では、バックライト１５を備えた液晶パネルからなるＩ／Ｏディスプレイパネルの場合で説明したが、表示用のバックライトが検出用照明を兼ねてもよいし、検出専用の照明を設けてもよい。また、検出用照明に設ける場合には、可視光領域以外の波長領域の光（例えば、赤外光）を用いるのがより好ましい。

また、上記実施の形態等では、例えば図７に示したように、バックライト１５における１回のＯＮ期間またはＯＦＦ期間において、１ライン分の受光部（撮像画素）に対してリセット動作あるいは読み出し動作を行う場合（高周波のバックライトの明滅動作を行う場合）について説明したが、この場合には限られない。すなわち、例えば、バックライト１５における１回のＯＮ期間またはＯＦＦ期間において、複数ライン分の受光部（撮像画素）に対してリセット動作あるいは読み出し動作を行う（低周波のバックライトの明滅動作を行う）ようにしてもよい。

また、上記実施の形態等では、Ｉ／Ｏディスプレイパネル２０において、表示素子が液晶素子であると共に受光素子を別個に設ける場合で説明したが、例えば有機ＥＬ（ElectroLuminescence）素子のように、発光動作と受光動作とを時分割に行うことが可能な発光受光素子（表示撮像素子）によって、Ｉ／Ｏディスプレイパネルを構成するようにしてもよい。なお、この場合の表示光が出射されない期間とは、表示撮像素子による発光動作がなされていない期間となる。

さらに、上記実施の形態等では、複数の表示素子と複数の撮像素子とを含む表示撮像パネル（Ｉ／Ｏディスプレイパネル２０）を有する表示撮像装置について説明したが、本発明は、表示素子を設けずに、複数の撮像素子を含む撮像パネルを有するようにした撮像装置にも適用することが可能である。

Claims (21)

1. 複数の撮像画素により構成され、近接物体に対する照射光源を有する撮像パネルと、
   前記各撮像画素に対して撮像駆動を行うことにより、前記各撮像画素から撮像信号を取得する撮像駆動手段と、
   前記各撮像画素から得られる撮像信号に基づく撮像画像を用いて、前記近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理手段と
   を備え、
   前記各撮像画素は、
   容量素子と、
   前記容量素子に対して受光光量に応じた充電電荷を発生させる第１の光電変換素子と、
   前記容量素子に対して受光光量に応じた放電電荷を発生させる第２の光電変換素子と、
   前記充電電荷を前記容量素子に蓄積させる充電用スイッチング素子を含む充電回路と、
   前記放電電荷を前記容量素子から放出させる放電用スイッチング素子を含む放電回路と
   を含んで構成され、
   前記撮像駆動手段は、前記照射光源から照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて前記充電用スイッチング素子を介して前記容量素子に前記充電電荷が蓄積されると共に、前記照射光源から前記照射光が照射されていないときに、前記環境光の光量に応じて前記放電用スイッチング素子を介して前記容量素子から前記放電電荷が放出されるように、前記充電用スイッチング素子および前記放電用スイッチング素子に対して撮像駆動を行うことにより、前記各撮像画素から前記撮像信号を取得する
   撮像装置。
2. 前記撮像駆動手段は、前記容量素子の一端側が、前記充電電荷の蓄積時と前記放電電荷の放出時とにおいて、電源または接地に交互に接続されるように、前記充電用スイッチング素子および前記放電用スイッチング素子に対して撮像駆動を行う
   請求項１に記載の撮像装置。
3. 前記撮像駆動手段は、前記充電用スイッチング素子のオン状態期間と前記放電用スイッチング素子のオン状態期間とが互いに重ならないように、撮像駆動を行う
   請求項２に記載の撮像装置。
4. 前記第１および第２の光電変換素子がそれぞれ、アノード電極、カソード電極およびゲート電極を有するＰＩＮ型のフォトダイオードにより構成され、
   前記撮像駆動手段は、
   前記第１の光電変換素子におけるカソード電極とゲート電極との間の電位関係と、前記第２の光電変換素子におけるアノード電極とゲート電極との間の電位関係とをそれぞれ変化させることにより、前記第１および第２の光電変換素子を個別にオン・オフ状態に設定すると共に、
   前記第１の光電変換素子で発生した充電電荷が、この第１の光電変換素子がオン状態となると共に前記第２の光電変換素子がオフ状態になることにより前記容量素子へ蓄積される一方、前記第２の光電変換素子で発生した放電電荷が、この第２の光電変換素子がオン状態となると共に前記第１の光電変換素子がオフ状態になることにより前記容量素子から放出されるように、前記第１および第２の光電変換素子に対して撮像駆動を行う
   請求項１に記載の撮像装置。
5. 前記撮像駆動手段は、
   前記第１の光電変換素子におけるカソード電極の電位および前記第２の光電変換素子におけるアノード電極の電位をそれぞれ個別に固定すると共に、
   前記第１および第２の光電変換素子におけるゲート電極の電位をそれぞれ個別に変化させることにより、前記第１および第２の光電変換素子を個別にオン・オフ状態に設定する
   請求項４に記載の撮像装置。
6. 前記撮像駆動手段は、前記第１の光電変換素子におけるカソード電極の電位および前記第２の光電変換素子におけるアノード電極の電位をそれぞれ個別に変化させることにより、前記第１および第２の光電変換素子を個別にオン・オフ状態に設定する
   請求項４に記載の撮像装置。
7. 前記撮像駆動手段は、前記第１および第２の光電変換素子におけるゲート電極の電位をそれぞれ個別に固定する
   請求項６に記載の撮像装置。
8. 前記撮像駆動手段は、前記第１および第２の光電変換素子におけるゲート電極の電位をそれぞれ、前記充電電荷の蓄積時および前記放電電荷の放出時においてハイインピーダンス状態に設定する
   請求項６に記載の撮像装置。
9. 前記各撮像画素が、
   前記反射光および前記環境光を遮断する遮光部を含む第１の撮像画素と、
   前記遮光部を含まない第２の撮像画素と
   により構成され、
   前記画像処理手段は、前記第１の撮像画素により得られる撮像信号と前記第２の撮像画素により得られる撮像信号との差分信号に基づいて、前記物体情報を取得する
   請求項１に記載の撮像装置。
10. 前記画像処理手段は、前記充電電荷の蓄積動作と前記放電電荷の放出動作とが複数回切り換えられた後に得られた撮像信号に基づいて、前記物体情報を取得する
    請求項１に記載の撮像装置。
11. 前記各撮像画素に蓄積された電荷を全て放出させるための初期化電圧が、電源電圧と接地電圧との間の任意の電圧である
    請求項１に記載の撮像装置。
12. 前記撮像パネルにおいて前記各撮像画素がマトリクス状に配置され、
    前記撮像駆動手段は、前記各撮像画素に対して線順次撮像駆動を行う
    請求項１に記載の撮像装置。
13. 前記撮像パネルにおいて、前記撮像画素と、この撮像画素を撮像駆動するための配線とが、互いに分離配置されている
    請求項１に記載の撮像装置。
14. 前記撮像駆動手段は、前記近接物体が前記撮像パネル上で動いているときに、前記充電電荷が蓄積されると共に前記放電電荷が放出されるように撮像駆動を行うことにより、前記各撮像画素から撮像信号を取得する
    請求項１に記載の撮像装置。
15. 前記画像処理手段は、前記撮像パネル上に同時に位置する複数の近接物体について、前記物体情報をそれぞれ取得する
    請求項１に記載の撮像装置。
16. 複数の表示画素および複数の撮像画素により構成された表示撮像パネルと、
    前記各表示画素に対して表示駆動を行うことにより、画像表示を行う表示駆動手段と、
    前記各撮像画素に対して撮像駆動を行うことにより、前記各撮像画素から撮像信号を取得する撮像駆動手段と、
    前記各撮像画素から得られる撮像信号に基づく撮像画像を用いて、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理手段と
    を備え、
    前記各撮像画素は、
    容量素子と、
    前記容量素子に対して受光光量に応じた充電電荷を発生させる第１の光電変換素子と、
    前記容量素子に対して受光光量に応じた放電電荷を発生させる第２の光電変換素子と、
    前記充電電荷を前記容量素子に蓄積させる充電用スイッチング素子を含む充電回路と、
    前記放電電荷を前記容量素子から放出させる放電用スイッチング素子を含む放電回路と
    を含んで構成され、
    前記撮像駆動手段は、前記近接物体に対して前記表示撮像パネルから照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて前記充電用スイッチング素子を介して前記容量素子に前記充電電荷が蓄積されると共に、前記表示撮像パネルから前記照射光が照射されていないときに、前記環境光の光量に応じて前記放電用スイッチング素子を介して前記容量素子から前記放電電荷が放出されるように、前記充電用スイッチング素子および前記放電用スイッチング素子に対して撮像駆動を行うことにより、前記各撮像画素から前記撮像信号を取得する
    表示撮像装置。
17. 前記充電電荷の蓄積動作および前記放電電荷の放出動作がそれぞれ、前記表示駆動の際の水平期間と同期している
    請求項１６に記載の表示撮像装置。
18. 前記画像処理手段は、前記充電電荷の蓄積動作と前記放電電荷の放出動作とが複数回切り換えられた後に得られた撮像信号に基づいて、前記物体情報を取得する
    請求項１７に記載の表示撮像装置。
19. 前記表示駆動手段は、前記画像処理手段により得られた物体情報に基づいて前記表示駆動を行うことにより、この物体情報を前記表示撮像パネルに表示させる
    請求項１６に記載の表示撮像装置。
20. 前記表示画素および前記撮像画素が、発光動作および受光動作を時分割に行うことが可能な複数の表示撮像素子を含んで構成されている
    請求項１６に記載の表示撮像装置。
21. 画像表示機能および撮像機能を有する表示撮像装置を備え、
    前記表示撮像装置は、
    複数の表示画素および複数の撮像画素により構成された表示撮像パネルと、
    前記各表示画素に対して表示駆動を行うことにより、画像表示を行う表示駆動手段と、
    前記各撮像画素に対して撮像駆動を行うことにより、前記各撮像画素から撮像信号を取得する撮像駆動手段と、
    前記各撮像画素から得られる撮像信号に基づく撮像画像を用いて、近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理手段と
    を備え、
    前記各撮像画素は、
    容量素子と、
    前記容量素子に対して受光光量に応じた充電電荷を発生させる第１の光電変換素子と、
    前記容量素子に対して受光光量に応じた放電電荷を発生させる第２の光電変換素子と、
    前記充電電荷を前記容量素子に蓄積させる充電用スイッチング素子を含む充電回路と、
    前記放電電荷を前記容量素子から放出させる放電用スイッチング素子を含む放電回路と
    を含んで構成され、
    前記撮像駆動手段は、前記近接物体に対して前記表示撮像パネルから照射光が照射されているときに、この照射光による反射光と環境光との合算光量に応じて前記充電用スイッチング素子を介して前記容量素子に前記充電電荷が蓄積されると共に、前記表示撮像パネルから前記照射光が照射されていないときに、前記環境光の光量に応じて前記放電用スイッチング素子を介して前記容量素子から前記放電電荷が放出されるように、前記充電用スイッチング素子および前記放電用スイッチング素子に対して撮像駆動を行うことにより、前記各撮像画素から前記撮像信号を取得する
    電子機器。
    

Images