JP4618026B2 - 表示装置及び表示および受光を行う表示装置を用いた検出方法 - Google Patents

Description

本発明は、例えば、液晶表示ディスプレイ、有機ＥＬ（electro-luminescence）ディスプレイなどに適用して好適な表示装置及び検出方法に関し、特に、発光と並行して受光も可能な表示技術に関する。

従来、テレビジョン受像機などの表示装置の表示画面上に、その画面に触れることで操作が可能なタッチパネルを構成させる場合、表示装置とは別体のタッチパネルを表示画面上に重ねる構成としてあった。

別体のタッチパネルを使用する構成としては、例えば、画面の上に、透明で薄い入力検出装置を貼り付けたものがある。これは導電性フィルムを用いたタッチセンサで、圧力を検出する感圧式のものや、人体との接触で変化する静電容量式のものなどがある。また、電磁誘導式といわれるもので、特殊なペンを用いて位置を入力するものもある。これらは表示パネルの表面に特殊な位置検出用のパネルをもう一枚重ねた構造となる。

これら検出用のパネルを、表示パネルと重ね合わせて使用するものは、タッチの検出原理は簡単であるが、表示パネルの上に何らかの部材を重ねるために、必然的に表示品質の低下が起こる。また検出方法が主に容量変化を検出する方式であるため、２箇所以上の入力を同時に検出することは困難である。

表面にパネルを追加しないタッチパネルの方式には、光学式のものがある。パネルの上下左右に発光素子（発光ダイオードなど）と、フォトトランジスタを組み合わせて配置し、指などが遮光することにより、位置を検出するものである。このような光学式では表示品質の低下は起こらないが、表示装置の周囲に設置する装置が大掛かりとなり、携帯機器には不向きである。

これらの従来のタッチパネルの不都合を解決するために、近年、別体のタッチパネルを設けることなく、表示装置の画面がそのままタッチパネルとして機能するようにしたものが提案されている。特許文献１には、このような発光と受光を並行して行う表示装置についての開示がある。

このような発光と受光を並行して行う表示装置の例としては、例えば表示面に配置された画像表示用の発光素子での表示（発光）を、間欠的に行い、その発光が休止した期間に、発光素子そのものに受光に応じた電荷を蓄積させて、その蓄積した電荷量を読み出すように構成する。このような構成が可能な表示装置としては、例えば有機ＥＬディスプレイがある。また、液晶表示ディスプレイのように、表示画素そのものが受光する（電荷を蓄積する）機能を備えていない場合には、表示画素に隣接して、受光素子を配置して、表示（発光）が休止した期間に、受光素子で受光を行うことが提案されている。
特開２００４−１２７２７２号公報（図５）

この種の発光と受光を同時に行う表示装置を構成させた場合、受光時には、外光の影響で受光される信号状態に大きな変動がある問題があった。即ち、例えば表示画面に指などで触れたことを検出することを想定した場合、暗い室内で受光を検出する状態と、明るい日中の屋外で受光を検出する状態とでは、受光条件が大きく異なり、均一の受光条件で表示装置の表面の接触などを検出するのは困難であった。

従って、例えば携帯用の電子機器の表示パネルに適用する場合のように、屋外、屋内のいずれでも使用可能な機器に適用する場合には、外光の強度の変化に対応した何らかの対処が必要であるが、既に提案されている発光と受光を同時に行う表示装置で、簡単にそのような対処を行うことは困難であった。

また、表示装置の発光部の内部構成によるノイズ（例えば液晶表示装置のバックライト構成によるノイズ）も発生する問題があり、そのノイズの影響で、接触位置や近接位置の検出が困難である問題があった。

本発明はかかる点に鑑みてなされたものであり、発光と受光を並行して同時に行う場合における、外光やノイズの影響の除去を簡単に行うことを目的とする。

本発明は、画像を表示させる処理を行うと共に、表示面に入射した光の受光を行い、その受光として、表示面からの発光が行われている状態と、発光が行われていない状態との２回の受光を行うようにし、表示処理および受光処理を行う間に、ユーザ操作があると、そのユーザ使用時の表示面に物体が接触又は近接していない状態における、その２回の受光量の差として得られる初期値を更新する。そして、表示面に物体が接触又は近接している状態での、２回の受光量の差を検出し、更新された初期値を、その検出値から減算して、表示面から発光して物体で反射し当該表示面に入射した光により、物体が表示面に接触又は近接した状態を検出するようにしたものである。

このようにしたことで、例えば、表示面を発光させた状態で、表示面に触れた個所の素子が検出する受光量については、例え外光があっても、触れた物体そのものが外光を遮るために、外光の有無に関係なく、ほぼ一定の受光量となる。そして、それ以外の個所の素子が検出する受光量については、その一定の受光量から変化する。
ここで、初期値として記憶された発光状態での受光量と発光していない状態での受光量との差を、２回の受光量の差から減算することで、表示装置の内部反射の影響を除去した上で、該当する個所に触れられた状態であることが判定できる。表示面に近接した状態についても、同様に判定できる。

本発明によると、２回の受光量の差に基づいて該当する個所に触れられた状態（又は近接した状態）であることが判定できると共に、記憶された初期値の減算で、表示装置の内部反射の影響についても除去され、外光の影響と表示装置内部の影響を除去した、使用環境や装置の内部構成に影響されない良好な接触又は近接の判定ができる。

以下、本発明の第１の実施の形態を、図１〜図１７を参照して説明する。

本例においては、液晶表示ディスプレイとして構成された表示装置に適用したものであり、その液晶表示ディスプレイを構成する各発光素子に隣接して受光素子を配置して、発光（表示）と受光（読み取り）とを並行して行えるように構成したものである。ここでは、発光と受光を並行して行える本例のディスプレイを、画像の入力（受光）と出力（表示）が同時に行えるディスプレイであるので、Ｉ／Ｏディスプレイと称する。また、後述するように本例のＩ／Ｏディスプレイは、画面を触れた状態である接触だけでなく、画面に近接した物体についても検出が可能であり、以下の説明で接触の検出と述べた場合には、特に説明がある場合を除いて、近接の検出をも含むようにしてある。

図１は、本例の表示装置の構成例を示すブロック図である。アプリケーションプログラム実行部１１は、そのアプリケーション実行部１１が実行中のアプリケーションに応じた画像を表示させる処理を行うと共に、ディスプレイパネルの接触を検出して、接触した表示箇所に応じた処理などを行うようにしてある。アプリケーションプログラム実行部１１からの画像の表示の指示は、表示ドライブ回路１２に送られ、Ｉ／Ｏディスプレイパネル２０で画像を表示させるための駆動が行われる。

Ｉ／Ｏディスプレイパネル２０は、液晶表示ディスプレイとして構成され、ガラス基板などの透明な基板上に透明電極などが配置されて、表示エリア（センサエリア）２１に、複数の画素（表示素子）がマトリクス状に形成されたディスプレイであり、背面にバックライト１５が配置してある。本例のバックライト１５は、例えば複数の発光ダイオードが配列されたものを使用してあり、比較的高速でバックライトの点灯のオン・オフ制御ができるようにしてある。バックライト１５での点灯のオン・オフ制御は、表示ドライブ回路１２での表示駆動に連動して行われる。

Ｉ／Ｏディスプレイパネル２０は、表示素子とは別に複数の受光素子が配置してある。即ち、例えば、表示エリア（センサエリア）２１の各表示画素に隣接して、受光素子がマトリクス状に配置してあり、この受光素子への受光光量に対応して蓄積した信号電荷を、受光ドライブ回路１３からの駆動で読み出す構成としてある。受光ドライブ回路１３は、内部に第１及び第２のフレームメモリ１３ａ及び１３ｂを備えて、後述する受光信号の読み出し時に必要な判定処理に使用するようにしてある。その２つのフレームメモリ１３ａ，１３ｂの内の一方のメモリ１３ｂには、この表示装置の製造時などに、予め判定用の初期値が記憶させてある。

受光ドライブ回路１３で読み出されて判定された受光信号（後述する差分画像信号）は、画像処理部１４に送られて、接触状態などが画像として判定され、必要により接触中心の座標位置などが判定され、判定結果（座標データ、認識結果など）がアプリケーションプログラム実行部１１に送られる。アプリケーション実行部１１では、実行中のアプリケーションに応じた処理を行う。例えば、表示画像中に、接触を検出した箇所や範囲などを表示させる処理を行う。

次に、図２を参照して、本例のＩ／Ｏディスプレイパネル２０のドライバの配置例を説明する。中央に透明な表示エリア（センサエリア）２１が配置されたＩ／Ｏディスプレイパネル２０は、図２に示すように、表示エリア２１の４つの端面に、表示用水平ドライバ２２、表示用垂直ドライバ２３、センサ用水平ドライバ２４、センサ用垂直ドライバ２５が配置してある。表示用水平ドライバ２２と表示用垂直ドライバ２３には、表示用のデータとして、表示信号と制御クロックとが供給されて、表示エリア２１にマトリクス状に配置された表示画素の駆動が行われる。センサ用水平ドライバ２４とセンサ用垂直ドライバ２５には、読み出し用のクロックが供給されて、そのクロックに同期して読み出された受光信号を、受光信号線を介して受光ドライブ回路１３に供給する。

図３は、表示エリア２１に配置された画素の１つの構成を示した図である。１つの画素３が備える表示のための構成としては、ここでは水平方向にゲート電極３１ｈが配置してあり、垂直方向にドレイン電極３１ｉが配置してあり、両電極の交点にスイッチチング素子３１ａが配置してあり、そのスイッチチング素子３１ａと画素電極３１ｂが接続してある。スイッチチング素子３１ａは、ゲート電極３１ｈを介して得られる信号によりオン・オフが制御され、ドレイン電極３１ｉを介して供給される信号により、画素電極３１ｂでの表示状態が設定される。

そして、画素電極３１ｂに隣接した位置に、受光センサ（受光素子）３１ｃが配置してあり、電源電圧ＶＤＤが供給される。この受光センサ（受光素子）３１ｃには、リセットスイッチ３１ｄとコンデンサ３１ｅが接続してあり、リセットスイッチ３１ｄでリセットされた後、コンデンサ３１ｅで受光量に対応した電荷を蓄積するようにしてある。その蓄積された電荷に比例した電圧が、読み出しスイッチ３１ｇがオンとなるタイミングで、バッファアンプ３１ｆを介して、信号出力用電極３１ｊに供給され、外部に出力される。リセットスイッチ３１ｄのオン・オフは、リセット電極３１ｋに得られる信号により制御され、読み出しスイッチ３１ｇのオン・オフは、読出し制御電極３１ｋに得られる信号により制御される。

図４は、受光センサから読み出した信号が、センサ用ドライバ２５に供給されるまでの構成を示した図である。図４では、隣接して配置された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの画素３１，３２，３３を示してある。それぞれの画素の受光センサ３１ｃ，３２ｃ，３３ｃに接続されたコンデンサで蓄積した電荷は、それぞれのバッファアンプ３１ｆ，３２ｆ，３３ｆで増幅されて、読み出しスイッチ３１ｇ，３２ｇ，３３ｇがオンになるタイミングで、信号出力用電極を介してドライバ２５に供給される。ここで、各信号出力用電極には、定電流源４１ａ，４１ｂ，４１ｃが接続してあり、ドライバ２５で感度良く受光量に対応した信号を検出できる構成としてある。

図５は、本例のＩ／Ｏディスプレイパネル２０での表示と受光の状態を示した図である。図５に示すように、例えば１フレームが１／６０秒のフレーム周期で画像（動画像又は静止画像）の表示を行うとすると、各フレーム期間を１／２に分割して、その前半の期間（１／１２０秒間）にバックライト１５を点灯させて、各表示画素に表示信号を書き込ませて、そのフレーム期間の画像を表示させる。そして、各フレーム期間の後半の期間には、バックライト１５を消灯させて、表示を行わないようにしてある。

受光素子で受光した信号の読出しについては、各フレーム期間毎に、バックライトが点灯した前半の期間に１回読み出すとともに、バックライトが消灯した後半の期間にも１回読み出す処理を行う。但し、画像信号の表示についてはフレーム周期で各フレームに行う必要があるが、受光信号の読出しについては、必ずしも１フレーム周期で行う必要はなく、ある程度間引いた周期で行うようにしてもよい。

次に、このようにして受光信号を読み出してから行われる処理を、図６のフローチャートを参照して説明する。図５を参照して既に説明したように、本例の場合には、１フレーム期間に２回の受光信号の読み出しを行うようにしてある。即ち、自発光（バックライト光）がオンの状態で読み出すとともに、自発光（バックライト光）がオフの状態でも読み出し、両読み出し信号の差分をとるようにしてある。ここで、この差分のデータとして、予め、外光がなく、かつ表面反射物がない状態（即ち表面に接触又は近接したものがない状態）で、測定した差分のデータを初期値としてフレームメモリ１３ｂ（図１）に記憶させて保持させるようにしてある。

図６のフローチャートにおいて、右側のステップＳ２１からステップＳ２８までの処理は、このフレームメモリ１３ｂに初期値を記憶させる処理を示し、左側のステップＳ１１からステップＳ１８までの処理は、フレームメモリ１３ｂに記憶された初期値と、そのときの測定値を利用して接触又は近接を検出する処理を示している。フレームメモリ１３ｂに初期値を記憶させる処理については、例えばこの表示装置を工場で製作して出荷前の工程で行う。あるいは、ユーザ操作などで随時初期値を更新できるようにしてもよい。

まず、フレームメモリ１３ｂに初期値を記憶させる処理について説明すると、表示装置の周囲から外光が表示面に入射しない環境で、表示面に何も接触や近接させないで、自発光（バックライト光）がオンの状態で読み出し（ステップＳ２１）、そのとき読み出したデータをフレームメモリ１３ａに格納させ（ステップＳ２２）、その格納したデータを保持させる（ステップＳ２３）。そして、自発光（バックライト光）がオフの状態でも読み出し（ステップＳ２４）、このとき読み出したデータから、フレームメモリ１３ａに格納したデータを減算して（ステップＳ２５）、自発光オン状態のデータと自発光オフ状態のデータとの差分を得る（ステップＳ２６）。このようにして得た差分のデータを、１画面分、フレームメモリ１３ｂに格納させ（ステップＳ２７）、記憶値が更新されるまで、その格納された値を測定用の初期値として保持させる（ステップＳ２８）。なお、フレームメモリ１３ａが保持したデータは、算出途中で使用されるデータであり、処理終了後には消去してよい。

そして、実際に接触又は近接を検出するために測定を行う際には、自発光（バックライト光）がオンの状態で読み出し（ステップＳ１１）、そのとき読み出したデータをフレームメモリ１３ａに格納させ（ステップＳ１２）、その格納したデータを保持させる（ステップＳ１３）。そして、自発光（バックライト光）がオフの状態でも読み出し（ステップＳ１４）、このとき読み出したデータから、フレームメモリ１３ａに格納したデータを減算して（ステップＳ１５）、自発光オン状態のデータと自発光オフ状態のデータとの差分を得る（ステップＳ１６）。

ステップＳ１６で差分のデータを得ると、ステップＳ２８でレームメモリ１３ｂに格納された測定用の初期値を、差分のデータから減算し（ステップＳ１７）、その減算されたデータを、ノイズ除去後の差分データとして得る（ステップＳ１８）。

検出された差分のデータを、１フレーム単位の差分画像として、画像処理部１４に送る。画像処理部１４では、供給された差分画像を、画素単位で、所定レベル以上と未満とに２値化する処理を行う。さらに、２値化されて所定レベル以上と検出された領域の重心を判定する演算処理を行い、その判定された重心の座標位置をアプリケーション実行部１１に送る。アプリケーション実行部１１では、供給された重心の座標位置を、接触又は近接した物体の中心位置として特定する。

図６に示した処理は、ノイズ計測処理と実際の接触検出処理とを別の処理として示したが、実際には２つの処理は近似した処理であるので、図７のフローチャートに示すように共通化することができる。

即ち、まず自発光（バックライト光）がオンの状態で読み出し（ステップＳ１１）、そのとき読み出したデータをフレームメモリ１３ａに格納させ（ステップＳ１２）、その格納したデータを保持させる（ステップＳ１３）。そして、自発光（バックライト光）がオフの状態でも読み出し（ステップＳ１４）、このとき読み出したデータから、フレームメモリ１３ａに格納したデータを減算して（ステップＳ１５）、自発光オン状態のデータと自発光オフ状態のデータとの差分を得る（ステップＳ１６）。

ステップＳ１６で差分のデータを得ると、ここまでの処理がノイズ計測のための初期値を得る処理であるか、或いは実際に接触又は近接を検出する処理であるか判断し（ステップＳ３１）、ノイズ計測のための初期値を得る処理の場合には、フレームメモリ１３ｂに格納させ（ステップＳ３２）、フレームメモリ１３ｂはその値をノイズに相当する初期値として保持する（ステップＳ３３）。

そして、ステップＳ３１で実際に接触又は近接を検出する処理であると判断した場合には、そのときの測定データからフレームメモリ１３ｂの記憶値を減算し（ステップＳ１７）、その減算値をノイズ除去後の差分データとして扱う（ステップＳ１８）。

このようにして予め計測したノイズ（初期値）を計測値から減算することで、表示装置の構成（特にバックライトの構成）に依存するノイズを除去した測定値が得られ、接触位置や近接位置を精度良く良好に検出できるようになる。

ここで本例の処理でノイズが良好に除去できることを、図８〜図１１の測定データ例を参照して説明する。図８は、本例の表示装置で、自発光オンの状態で、受光データを読み出した場合の、ある１水平ラインのデータ例を示した図である。この図８の例では、表示面に接触した物体（反射物）からの反射による信号成分ｄ１が、本来検出したい信号であるが、実際には、バックライト内部反射による信号成分ｄ２と、画素ばらつきによる信号成分ｄ３と、外光ノイズによる信号成分ｄ４とが加わっている。バックライト内部反射による信号成分ｄ２には、感度ムラを含めてある。また、画素ばらつきによる信号成分ｄ３は、どのような状態で検出を行う場合にも加わるベースノイズである、いわゆるＤＣノイズである。

外光ノイズによる信号成分ｄ４だけは、検出すべき信号成分ｄ１とは重なっていないが、バックライト内部反射による信号成分ｄ２と、画素ばらつきによる信号成分ｄ３については、検出すべき信号成分ｄ１と重畳された状態となっている。ここで、図６又は図７のフローチャートに示す処理をすることで、検出すべき信号成分ｄ１だけを取り出すことが以下に説明するように行われる。

図９は、自発光オフ時（即ちバックライトオフ時）の受光データ例である。このように自発光オフ時には、画素ばらつきによる信号成分ｄ３と、外光ノイズｄ４とが検出される。この図９に示す自発光オフ時の受光データを、図８に示す自発光オン時の受光データから減算することで、少なくとも信号成分ｄ３及びｄ４は除去できる。第１のフレームメモリ１３ａを使用した減算処理がこれに相当する。

ところで、本例の場合には、予め第２のフレームメモリ１３ｂに、測定の初期値を記憶させて、その初期値を減算するようにしてある。この初期値は、図１０（ａ）に示す受光データと、図１０（ｂ）に示す受光データとから生成される。即ち、外光がない環境で、表示面に何も触れられていない状態（反射物がない状態）で、バックライトをオンして、図１０（ａ）に示す受光データを得、さらに、この状態でバックライトをオフして、図１０（ｂ）に示す受光データを得る。

図１０（ａ）に示すバックライトオン時の受光データでは、バックライトの内部反射による信号成分ｄ２と、ベースノイズｄ３とが検出される。図１０（ｂ）に示すバックライトオフ時の受光データでは、ベースノイズｄ３だけが検出される。本例の場合には、この図１０（ａ）に示す検出データと、図１０（ｂ）に示す検出データとの差分が、第２のフレームメモリ１３ｂに記憶される。従って、第２のフレームメモリ１３ｂに記憶される初期値としては、バックライトの内部反射による信号成分ｄ２に対応した値となる。

従って、第２のフレームメモリ１３ｂに記憶される初期値（即ちバックライトの内部反射による信号成分ｄ２）を、図８の検出データと図９の検出データの差分から減算することで、最終的に図１１に示すように検出すべき信号成分ｄ１だけを取り出すことができる。このようにして、接触又は近接に対応した信号成分ｄ１を取り出すことができることで、その取り出した信号を使用して、表示装置の表示面への接触又は近接を精度良く良好に検出することができる。

なお、このようなノイズ除去に使用される、第２のフレームメモリ１３ｂの記憶データは、上述した処理では表示装置の製造時に記憶させるようにしたが、例えば、実際の使用時に、随時更新させるようにしてもよい。具体的には、何らかのユーザ操作があると、メモリ１３ｂに記憶させるデータの再計測処理を行って、更新させるようにしてもよい。また、表示装置の製造時などに最初に第２のフレームメモリ１３ｂに記憶させるデータ（初期値）としては、１台の表示装置毎に測定して得た個々の値とするのが最も良いが、機種ごとに代表となる値を予め用意しておき、その用意された値を、同一機種の初期値として記憶させるようにしてもよい。

また、第２のフレームメモリ１３ｂの記憶データを得る際には、上述例では、外光がない状態で測定した自発光オンの場合の受光信号と、外光がない状態で測定した自発光オフの場合の受光信号との差から得るようにしたが、原理的には外光がある状態で測定してもよい。即ち、外光（照明光）の明るさがほぼ均一であれば、自発光オンの場合の測定信号と、自発光オフの場合の測定信号との差分をとることで、外光による成分が除かれた初期値が得られるので、同様の初期値が得られる。但し、外光成分が２回の測定で変動する可能性があるので、極力外光がない状態で測定した値から初期値を得るのが好ましい。

次に、本発明の第２の実施の形態を、図１２〜図１４を参照して説明する。上述した第１の実施の形態では、液晶表示ディスプレイに適用した例としたが、本実施の形態では、有機ＥＬディスプレイに適用した例としたものである。液晶表示ディスプレイの場合には、表示画素とは別に、発光手段としてバックライトを必要としたが、有機ＥＬディスプレイの場合には、画素を構成する素子が発光するために、第１の実施の形態の場合に比べて、処理構成を一部変更する必要があり、本実施の形態ではその点について重点的に説明を行い、検出された受光信号の処理については、第１の実施の形態と同じであり、説明を省略する。

図１２は、本実施の形態の表示装置の構成例を示すブロック図である。アプリケーションプログラム実行部５１は、そのアプリケーション実行部５１が実行中のアプリケーションに応じた画像を表示させる処理を行うと共に、ディスプレイパネルの接触を検出して、接触した表示箇所に応じた処理などを行うようにしてある。アプリケーションプログラム実行部５１からの画像の表示の指示は、表示ドライブ回路５２に送られ、Ｉ／Ｏディスプレイパネル６０で画像を表示させるための駆動が行われる。

Ｉ／Ｏディスプレイパネル６０は、有機ＥＬディスプレイとして構成され、表示エリア（センサエリア）に、複数の画素（表示素子）がマトリクス状に形成されたディスプレイであり、表示素子が受光素子としても機能するようにしてあり、発光期間と受光期間を時分割で設定するようにしてある。そして、受光期間に、受光光量に対応して蓄積した信号電荷を、受光ドライブ回路５３からの駆動で読み出す構成としてある。受光ドライブ回路５３は、内部に第１及び第２のフレームメモリ５３ａ及び５３ｂを備えて、受光信号の読み出し時に必要な判定処理（差分の検出処理）に使用するようにしてある。第２のフレームメモリ５３ｂについては、第１の実施の形態で説明した測定の初期値を、工場出荷時などに記憶しておくメモリである。

受光ドライブ回路５３で読み出されて判定された受光信号（差分画像信号）は、画像処理部５４に送られて、接触状態などが画像として判定され、必要により接触中心の座標位置などが判定され、判定結果（座標データ、認識結果など）がアプリケーションプログラム実行部５１に送られる。アプリケーション実行部５１では、実行中のアプリケーションに応じた処理を行う。例えば、表示画像中に、接触を検出した箇所や範囲などを表示させる処理を行う。

図１３は、１画素の構成を示した図である。ここでは、有機ＥＬディスプレイの発光素子６１を発光ダイオードとして示してあり、その発光ダイオード６１には、寄生容量６１ａが生じている。画像表示のために発光素子６１に、表示データ信号線６１から、表示データをスイッチＳＷ１を介して発光素子６１に供給するようにしてある。従って、表示期間（発光期間）は、スイッチＳＷ１をオンさせている期間で設定される。

そして、発光素子６１で発光が停止している期間には、表示パネルの表面に入射した光量に応じて、発光素子６１に生じた寄生容量６１ａに、電荷が蓄積する。その蓄積した電荷は、スイッチＳＷ２のオンで、受信データ信号線６４に読み出される。なお、受光期間の開始時には、リセット用のスイッチＳＷ３を一瞬オンさせて、寄生容量６１ａに発光時に蓄積した電荷を放出させる必要がある。スイッチＳＷ２のオンは、読み出しライン選択線６３に得られる信号で制御される。

図１４は、このような有機ＥＬディスプレイタイプのＩ／Ｏディスプレイパネル６０で、画像などを表示させながら、そのパネル６０に接触又は近接したことを検出する処理を行う場合の例を示したものである。

図１４（ａ）は、Ｉ／Ｏディスプレイパネル６０の状態を示したもので、ここではパネル６０の表面を指ｆで触れた状態としてある。そして、図１４（ａ）に示した状態では、発光領域６０ａが１画面中の特定の複数水平ラインとしてある。発光領域６０ａでは発光していないが、発光領域６０ａを１フィールド期間内で変化させることで、この画面を見ている者にとっては、残像効果で１画面全体で表示されて見える。図１４（ａ）の状態では、発光領域６０ａの水平ラインが上から下に変化している状態を示している。

この状態で、受光信号の読み出しについては、発光領域６０ａに隣接した上側の水平ラインの読み出し６０ｂと、その読み出し６０ｂからある程度間隔をあけた水平ラインの読み出し６０ｃの２回の読み出しを、１フィールド期間に行うようにする。読み出し６０ｂ，６０ｃを行うラインについても、発光領域６０ａの変化に連動して順に変化させる。

このようにして読み出しを行うことで、発光領域６０ａに隣接した水平ラインの読み出し６０ｂについては、発光領域６０ａからの光の反射を検出できる読み出しとなり、図１４（ｂ）に示すように、自発光オン時の読み取りデータとなる。そして、発光領域６０ａから離れた水平ラインの読み出し６０ｃについては、発光の影響のない読み出しであり、図１４（ｃ）に示すように、自発光オフ時の読み取りデータとなる。従って、両読み出しデータの差分を、図１４（ｄ）に示すように検出することで、自発光オン時の受光データと、自発光オフ時の受光データの差分が検出され、その差分の画像データから、外光がない状態で予め測定してフレームメモリ５３ｂに記憶した初期値のデータを減算することで、図１４（ｄ）に示すように、ノイズ除去差分データが得られる。受光データからノイズ除去差分データを得る具体的な処理例としては、上述した第１の実施の形態で説明した図６又は図７のフローチャートに示した処理が適用可能である。従って、本例の構成としたことで、上述した第１の実施の形態と同様に、外光の影響の除去や、画素を構成する素子の特性の不均一による感度の劣化の除去が行えると共に、光源そのものの構成で有するノイズの除去が行え、良好に接触又は近接を検出できるようになる。

このように、有機ＥＬディスプレイのように、画素を構成する表示素子が発光する素子である場合にも、本発明を適用することが可能であり、液晶ディスプレイのように、表示パネルとは別の発光手段を必要とする場合と、表示パネルそのものが発光する場合のいずれでも、本発明の適用が可能である。上述した各実施の形態では、それぞれの表示パネルとして、液晶ディスプレイと有機ＥＬディスプレイを例として説明したが、受光素子を組み込むことが可能なディスプレイであれば、その他の構成のディスプレイにも本発明は適用可能である。

本発明の第１の実施の形態による表示装置の構成例を示すブロック図である。 本発明の第１の実施の形態による表示パネルの例を示す構成図である。 本発明の第１の実施の形態による画素構成例を示す接続図である。 本発明の第１の実施の形態による画素からの読み出し構成例を示す接続図である。 本発明の第１の実施の形態によるバックライトのオン・オフのタイミングの例を示したタイミング図である。 本発明の第１の実施の形態による接触又は近接位置の特定処理の原理を示したフローチャートである。 本発明の第１の実施の形態による接触又は近接位置の特定処理例を示したフローチャートである。 本発明の第１の実施の形態による自発光オン時の受光データ例を示した説明図である。 本発明の第１の実施の形態による自発光オフ時の受光データ例を示した説明図である。 本発明の第１の実施の形態による外光がない状態での自発光オン時の受光データ例（ａ）及び自発光オフ時の受光データ例（ｂ）を示した説明図である。 本発明の第１の実施の形態によるノイズ除去後の受光データ例を示した説明図である。 本発明の第２の実施の形態による表示装置の構成例を示すブロック図である。 本発明の第２の実施の形態による画素構成例を示した接続図である。 本発明の第２の実施の形態による駆動タイミングの例を示した説明図である。

符号の説明

１１…アプリケーションプログラム実行部、１２…表示ドライブ回路、１３…受光ドライブ回路、１３ａ，１３ｂ…フレームメモリ、１４…画像処理部、１５…バックライト、２０…Ｉ／Ｏディスプレイパネル、２１…表示エリア（センサエリア）、２２…表示用水平ドライバ、２３…表示用垂直ドライバ、２４…センサ用水平ドライバ、２５…センサ用垂直ドライバ、３１，３２，３３…画素、３１ａ…スイッチチング素子、３１ｂ…画素電極、３１ｃ…センサ素子、３１ｄ…リセットスイッチ、３１ｅ…コンデンサ、３１ｆ…バッファアンプ、３１ｇ…読み出しスイッチ、４１ａ，４１ｂ，４１ｃ…定電流源、５１…アプリケーションプログラム実行部、５２…表示ドライブ回路、５３…受光ドライブ回路、５３ａ，５３ｂ…フレームメモリ、５４…画像処理部、６０…Ｉ／Ｏディスプレイパネル、６１…発光素子、６１ａ…寄生容量、６２…表示データ信号線、６３…読み出しライン選択線、６４…受信データ信号線、１３１，１４１，１５０…Ｉ／Ｏディスプレイパネル、ＳＷ１，ＳＷ２，ＳＷ３…スイッチ

Claims (5)

1. 画像を表示させる複数の表示素子と、
   表示面から発光して物体で反射し当該表示面に入射した光の受光を行う複数の受光素子と、
   前記表示素子による画像表示および前記受光素子による受光を行う間に、ユーザ操作があると、そのユーザ使用時の前記表示面に何も接触又は近接させてない状態における、前記表示面からの発光が行われている場合と、発光が行われていない場合との前記受光素子での受光量の差を初期値として更新して記憶する記憶部と、
   前記表示面からの発光が行われている場合の前記受光素子での受光量の検出と、前記表示面からの発光が行われていない場合の前記受光素子での受光量の検出とを行い、その検出した２回の受光量の差から、前記記憶部が記憶した前記初期値を減算して、表示面に前記物体が接触又は近接した状態を検出する検出部とを備えた
   表示装置。
2. 請求項１記載の表示装置において、
   前記表示素子とは別に、前記表示面を背面から照明するバックライトを備え、
   前記初期値を得るための２回の受光及び検出値を得るための２回の受光は、前記バックライトによる照明が行われた状態での受光と、前記バックライトによる照明が行われない状態での受光であることを特徴とする
   表示装置。
3. 請求項１記載の表示装置において、
   前記記憶部が記憶した初期値を減算した値を２値化して、表示面に接触又は近接した位置を検出することを特徴とする
   表示装置。
4. 請求項１記載の表示装置において、
   前記表示素子と前記受光素子とは同一の素子であり、
   前記表示素子による発光表示が行われない期間に、前記表示素子を受光素子として使用するものであり、
   前記表示素子による発光が行われている場合の受光は、前記表示素子による発光が停止した直後の受光であり、前記発光していない状態での受光は、発光が停止してから所定時間が経過してからの受光であることを特徴とする
   表示装置。
5. 画像を表示させる表示処理と、
   表示面に入射した光の受光を行い、その受光として、前記表示面からの発光が行われている状態と、発光が行われていない状態との２回の受光を行う受光処理と、
   前記表示処理および前記受光処理を行う間に、ユーザ操作があると、そのユーザ使用時の表示面に物体が接触又は近接していない状態における前記２回の受光量の差として得られる初期値を更新する更新処理と、
   表示面に前記物体が接触又は近接している状態での、前記２回の受光量の差を検出し、更新された前記初期値を、その検出値から減算して、前記表示面から発光して前記物体で反射し当該表示面に入射した光により、前記物体が表示面に接触又は近接した状態を検出する検出処理とを含む
   表示および受光を行う表示装置を用いた検出方法。

Images