JP4947805B2 - 表示装置 - Google Patents

Description

本発明は、光により表示画面から情報を入力する光入力機能を備えた表示装置に関する。

近年、液晶表示装置は、携帯電話、ノート型コンピュータなどの各種機器に表示装置として広く利用されている。液晶表示装置は、マトリクス状に配置された複数の走査線と複数の信号線、走査線と信号線との交差部に薄膜トランジスタ、液晶容量、補助容量を有する画素を備えた表示部と、走査線・信号線を駆動する駆動回路とを備える。

ところで、表示装置としては、画素内に光センサを配置し、光により表示画面から情報の入力を可能にしたものが開発されている（例えば、特許文献１参照）。

この種の光入力機能を備えた表示装置では、画素内の光センサとして例えばフォトダイオードを備えるとともに、このフォトダイオードにキャパシタを接続する。キャパシタの電荷量は、フォトダイオードにおける受光量に応じて変化するため、キャパシタの両端の電圧を検出することで、表示画面に近接する物体の撮影画像を得ることができる。

このような表示装置の応用として、表示画像上に投影された指などの物体がつくる影を検出することにより情報入力を行うタッチパネル機能や、ライトペンなどの発光する物体から照射された光を検出することにより情報入力を行うデジタイザ機能を備えたものが提案されている。
特開２００６−１３３７８８号公報

しかしながら、従来の光入力機能を備えた表示装置では、撮影された画像のみに基づいて接触判定を行っていたことから、照明等の外光環境によっては、指などが表示画面に真に接触しているときと、単に空中に浮いているときとの区別が困難であり、誤入力の原因となっていた。

本発明は、上記に鑑みてなされたものであり、その課題とするところは、光入力機能を備えた表示装置において、物体が表示画面に接触したか否かの判定の精度を向上させることにある。

本発明に係る表示装置は、各画素に、画像を表示画面に表示する表示手段と表示画面に近接した物体を撮影して画像を得る光入力手段とを備えた表示パネルと、光入力手段により撮影した画像を用いて物体の位置座標を算出する座標算出手段と、表示画面に配置し、物体が接触しない面に導電層を形成した保護板と、導電層に交流信号を印加する駆動手段と、交流信号の振幅あるいは位相の変化を検出する検出手段と、変化に基づいて物体が表示画面に接触したか否かを判定する接触判定手段と、を有することを特徴とする。

本発明にあっては、表示装置の表示画面に近接した物体の撮影画像を得る光入力手段と、表示画面に電気信号あるいは物理的な振動を加える駆動手段と、その電気信号あるいは振動の変化を検出する検出手段とを備えることにより、表示画面に近接した物体の撮影画像に加えて、表示画面に物体が接触することで変化する電気信号あるいは物理的な振動に対する応答に基づいて物体の接触を判定することができるので、物体が表示画面に接触したタイミングをより正確に検出することが可能になる。

本発明にあっては、表示画面に交流信号を印加し、交流信号の振幅あるいは位相の変化を検出することで、物体が表示画面に接触したときの容量結合の変化を検出することができる。

上記表示装置において、導電層は複数のパターンに分割されており、座標算出手段は、物体の接触が検出された導電層の位置情報を用いて算出する位置座標を補正することを特徴とする。

本発明にあっては、複数に分割した導電層を備えることにより、表示画面の複数箇所に物体が接触したことを検出することが可能となる。

本発明にあっては、物体の接触が検出された導電層を特定することにより、撮影画像を用いて計算した物体の位置座標を補正することができるので、より正確に物体の接触座標を算出することが可能となる。

本発明によれば、光入力機能を備えた表示装置において、物体が表示画面に接触したか否かの判定の精度を向上させることができる。

［第１の実施の形態］
図１は、第１の実施の形態における表示装置の構成を示す機能ブロック図である。同図に示す表示装置は、液晶パネル１と、ホスト基板６とを有し、液晶パネル１とホスト基板６とはフレキシブル基板５により接続される。

液晶パネル１は、表示部２、表示用ＩＣ３、センサ用ＩＣ４、交流駆動回路７２および検出回路８２を備える。表示用ＩＣ３およびセンサ用ＩＣ４は液晶パネル１にＣＯＧ（Chip On Glass）実装され、インタフェースを介してホスト基板６に接続される。表示部２は、画像を表示する表示機能の他に、表示部２に近接した物体を撮影して画像を得る光入力機能を有する。表示用ＩＣ３は、ホスト基板６から伝送される映像信号に基づいて表示部２を制御し画像を表示する。センサ用ＩＣ４は、表示部２を制御して撮影画像を得るとともに、その撮影画像を解析し、液晶パネル１の表面に接近する物体の座標、接近情報など検出してホスト基板６へ出力する。表示部２の光入力機能の詳細については後述する。

交流駆動回路７２は、液晶パネル１に交流信号を印加する。検出回路８２は、液晶パネル１に駆動された交流信号の振幅の変化や位相のずれを検出する。振幅の変化や位相のずれを検出することで指などの指示物体が液晶パネル１に接触したか否かの判定を行う。ホスト基板６は判定部９を備えており、この判定部９が検出された振幅の変化や位相のずれに基づいて接触判定を行う。接触判定の詳細については後述する。

ホスト基板６には、図示した判定部９の他に、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などの各種回路を備える。また、本表示装置が携帯電話に利用されるものである場合は、通話モジュール、カメラモジュールなどを備える。

図２は、液晶パネル１の表示部２の構成を示す断面図である。同図に示すように、液晶パネル１は、アレイ基板１１と対向基板１２とにより液晶層１３を挟持した構成である。アレイ基板１１には、信号線と走査線がマトリクス状に配線される。表示部２は、信号線と走査線の交差部のそれぞれに画素を形成して構成される。対向基板１２に近接してバックライト１５が配置される。アレイ基板１１および対向基板１２の外側には偏光板（図示せず）が配置される。アレイ基板１１の指示物体が接触する面には、保護板１６が配置される。保護板１６は、アレイ基板１１側の全面にＩＴＯ電極を形成した導電層１７を有する。導電層１７には交流駆動回路７２および検出回路８２が接続される。交流駆動回路７２は導電層１７に交流信号を印加し、検出回路８２は導電層１７から交流信号を検出する。なお、保護板１６には低誘電率の透明絶縁材料を用いる。

次に、表示部の画素の構成および表示部の光入力機能について詳細に説明する。図３は、表示部２の画素の構成を表す回路図である。各画素は、表示機能を有する表示系３１と光入力機能を有するセンサ系３２により構成される。表示部２では、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の副画素が規則的に配置されており、赤、緑、青の副画素１組で１つの画素を構成する。各副画素は、表示系３１として、スイッチ素子３３、液晶容量ＬＣ、補助容量ＣＳを備える。同図において、Ｇａｔｅ（ｍ）、ＣＳ（ｍ）はｍ行目の走査線、補助容量線を示し、Ｓｉｇ（ｎ）はｎ列目の信号線を示している。スイッチ素子３３はＭＯＳ型であり、そのゲートが走査線Ｇａｔｅに接続され、ソースは信号線Ｓｉｇに接続され、ドレインは補助容量ＣＳおよび液晶容量ＬＣに接続される。補助容量ＣＳの他方の端子は補助容量線に接続される。

ホスト側から信号線Ｓｉｇを通じて伝送されてきた映像信号は、走査線Ｇａｔｅに伝送されてきた走査信号によりスイッチ素子３３がオンしたときに、スイッチ素子３３を介して補助容量ＣＳおよび液晶容量ＬＣに与えられて表示に用いられる。

表示部２は、Ｒ、Ｇ、Ｂの副画素１組について１つのセンサ系３２を備える。センサ系３２は、光センサ３６、センサ容量３７、出力制御スイッチ３４、ソースフォロアアンプ３５およびプリチャージ制御スイッチ３８で構成される。ここでは、光センサ３６の一例として、ＰＩＮ型の光ダイオードを用いる。

光センサ３６とセンサ容量３７は並列に接続される。これら光センサ３６およびセンサ容量３７は、ソースフォロアアンプ３５、出力制御スイッチ３４を介して赤の信号線Ｓｉｇ（ｎ）に接続され、プリチャージ制御スイッチ３８を介して青の信号線Ｓｉｇ（ｎ＋２）に接続される。出力制御スイッチ３４のオン・オフは制御線ＯＰＴ（ｍ）上の信号により制御され、プリチャージ制御スイッチ３８のオン・オフは制御線ＣＲＴ（ｍ）上の信号により制御される。

ここでセンサ系３２の動作について説明する。まず、制御線ＣＲＴ（ｍ）をハイレベルにすることでプリチャージ制御スイッチ３８がオンし、青の信号線Ｓｉｇ（ｎ＋２）に印加されたプリチャージ電圧がセンサ容量３７にプリチャージされる。このとき、緑の信号線Ｓｉｇ（ｎ＋１）には基準電圧が印加されている。所定の露光時間の間、光センサ３６に入射する光量に応じて光センサ３６にリーク電流が発生すると、センサ容量３７の電位が変化する。赤の信号線Ｓｉｇ（ｎ）に所定の電圧（５Ｖ）を印加した後、制御線ＯＰＴ（ｍ）をハイレベルにして出力制御スイッチ３４をオンする。センサ容量３７の電位に応じてソースフォロアアンプ３５がオン・オフし、赤の信号線Ｓｉｇ（ｎ）の電位が変化する。各画素における赤の信号線Ｓｉｇ（ｎ）の電位に基づいて光センサ３６に入射した光量を検出し、表示画面に近接する物体の撮影画像を得ることができる。

図４は、上記画素のレイアウトを表す平面図である。同図に示す画素は、左から赤、緑、青の副画素１組で１画素を構成しており、１画素の縦横の大きさは、１５３μｍである。各制御スイッチや補助容量などはガラス基板上にポリシリコンにより形成されている。センサ系３２を構成する光センサ３６、センサ容量３７などの素子を特定の色の副画素に集めないで、それぞれの副画素に横断的に配置するとともに、副画素間の開口率を均等化するために、各副画素の幅を調節している。センサ容量３７は、ポリシリコンとＭｏＷ（モリブデンタングステン）で形成され、ガラス基板に近い電極をプリチャージ端とし、他方をＧＮＤ端とする。

図５は、アレイ基板１１上に形成される回路の構成を示すブロック図である。同図に示すように、アレイ基板１１上には、表示用ＩＣ３、センサ用ＩＣ４に加えて、Ｘドライバ５１、Ｙドライバ５２、プリチャージ回路５３、露光時間可変回路５４、制御回路５５、Ａ／Ｄ変換回路５６および出力回路５７が備えられている。

Ｘドライバ５１は、アレイ基板１１上に配線された信号線Ｓｉｇに映像信号を出力する。Ｙドライバ５２は走査線Ｇａｔｅにより、各画素に配置されたスイッチ素子３３のオン・オフを制御し、信号線Ｓｉｇに出力された映像信号を画素に書き込む。

プリチャージ回路５３は、Ｘドライバ５１、Ｙドライバ５２が映像の書き込みを行っていない水平ブランキング期間を利用し、信号線Ｓｉｇに所定の電圧を印加することにより、表示部２のセンサ系３２を動作させる。具体的には、図３の回路図に示す緑の信号線Ｓｉｇ（ｎ＋１）には、センサ系３２のＧＮＤに相当する基準電圧を印加し、青の信号線Ｓｉｇ（ｎ＋２）には、センサ容量３７にプリチャージするためのプリチャージ電圧を印加する。赤の信号線Ｓｉｇ（ｎ）には、所定の電圧（５Ｖ）を印加する。なお、プリチャージ電圧および基準電圧は、周期が５０Ｈｚ、振幅が±０．５Ｖ程度で同位相で振動している。

露光時間可変回路５４は、制御線ＣＲＴを制御して各画素に配置されたプリチャージ制御スイッチ３８をオン・オフすることにより、プリチャージ回路５３によって信号線Ｓｉｇに印加されたプリチャージ電圧をセンサ容量３７に書き込む。

制御回路５５は、制御線ＯＰＴを制御して各画素に配置された出力制御スイッチ３４をオン・オフすることにより、センサ系３２の出力を信号線Ｓｉｇに取り出す。

Ａ／Ｄ変換回路５６は、センサ系３２が信号線Ｓｉｇを介して出力する信号をデジタル信号に変換し、出力回路５７は、変換されたデジタル信号をセンサ用ＩＣ４に出力する。具体的には、Ａ／Ｄ変換回路５６は、図６の回路図に示すように、コンパレータ４１により、赤の信号線Ｓｉｇ（ｎ）の電位と基準電源４０の基準電位とを比較し、信号線Ｓｉｇ（ｎ）の電位が基準電位より大きい場合にはハイレベルの信号を出力し、信号線Ｓｉｇ（ｎ）の電位が基準電位より小さい場合にはローレベルの信号を出力する。つまり、コンパレータ４１は、所定値よりも明るい光を検出した場合にはハイレベルの信号を出力し、所定値よりも暗い光を検出した場合にはローレベルの信号を出力する。コンパレータ４１から出力された信号はセンサ用ＩＣ４に入力される。

次に、物体の接触判定の処理について説明する。図７は、接触判定の処理の流れを示す説明図である。同図は、利用者が表示装置の表示部２にタップ動作を行ったときに、センサ用ＩＣ４において得られる撮影画像とその差分画像を示している。センサ用ＩＣ４は、表示部２に形成されたセンサ系３２から受光量に応じた大きさの信号を受信して撮影画像を得る。差分画像は、異なる２つの時間における撮影画像２枚の差分を取った画像であり、動きのない部分では中間調、動きのあるところでは白または黒となる。

センサ用ＩＣ４がこの差分画像を解析することにより、指が画面に接近している可能性を検出することができる。例えば、差分画像を解析し、撮影された物体の動きが早いことを検出したり、撮影画像の一部の階調が急激に変化することを検出するときに、指が接近している可能性が高いと判断する。

センサ用ＩＣ４が指が接近している可能性が高いと判断したとき、交流駆動回路７２は、表示部２の垂直ブランキング期間中に導電層１７の一角から交流信号を印加する。検出回路８２は、導電層１７の別の場所から交流信号を読み出し、振幅の変化、位相の遅れなど検出する。判定部９は、検出された振幅の変化、位相の遅れなどに基づいて接触判定を行う。具体的には、交流信号の振幅が小さくなったとき、位相の遅れが検出されたときに物体が表示画面に接触したと判断する。表示画面における物体の位置座標は、撮影画像を用いて、例えば、撮影された物体の重心を求めることにより算出する。

図８は、検出回路８２の構成を示す回路図である。同図に示す検出回路８２は、導電層１７に印加した交流信号と導電層１７の容量の状態等により振幅が減衰した交流信号との電位差を増幅する増幅回路と、その電位差と所定の閾値Ｖｒｅｆとを比較するコンパレータと、所定時間内に入力されるパルスを計数し、レジスタに保持するバッファＩＣとを有する。図９のグラフに示すように、指が保護板１６に接触しているときに導電層１７に交流信号Ｖ０を印加した場合、検出回路８２において振幅の減衰した交流信号Ｖ１が検出される。印加した交流信号Ｖ０と検出した交流信号Ｖ１の振幅の差分を増幅し、その差分が所定の閾値Ｖｒｅｆより大きいか否かを判断することで、指が保護板１６に接触したか否かを判定することができる。指が保護板１６に接触していないときは、交流信号Ｖ０と交流信号Ｖ１の振幅の差分はほとんどないが、指が保護板１６に接触したときは、保護板１６に接触した指と導電層１７との容量結合が大きくなるので、交流信号Ｖ０と交流信号Ｖ１の振幅の差分が大きくなる。

図１０は別の検出回路８２の構成を示す回路図である。図８に示したものに対して導電層１７との接点が少ない点で異なっている。

図１１に、図１０の回路の変形例を示す。導電層１７の容量Ｃｘは、指が保護板１６に接触することにより導電層１７と指がカップリングし、容量Ｃｘにはカップリング容量Ｃｆが加算される。また、容量Ｃｘは、指押しにより保護板１６および導電層１７がアレイ基板１１に押しつけられることにより増加する（Ｃｘ＋Ｃｘ２）。ノードＡでは、導電層１７で検出された交流信号が得られる。検出される交流信号は、導電層１７の容量Ｃｘにより変化する。ノードＢでは、基準となる印加した交流信号が得られる。ノードＣでは、ノードＡとノードＢにおける交流信号を差動増幅回路に入力した差分信号が得られる。保護板１６に指が近接していないときの状態で、この差分信号が極力小さくなるように、バランス用素子の抵抗値、容量値を調節する。あるいは、交流駆動回路７２の周波数や、差動増幅回路のゲイン、可変容量の値を調節しても良い。これらの値は、手動により行うものでも、ＡＳＩＣにより、整流及びコンパレータの出力ＤＡＴＡを観察しながら行うものでもよい。これら交流駆動回路７２、検出回路８２及びＡＳＩＣなどはワンチップにまとめることができる。

また、ノードＡ，Ｂには、液晶セルやバックライト１５の高周波ノイズをカットするためのノイズフィルタが配置される。図１２にノイズフィルタの回路図を示す。図１３に、整流及びコンパレータの回路図を示す。この整流及びコンパレータは、アナログの差分信号をデジタル信号に変換してホスト基板６に出力する。２値のデジタル信号に変換して出力し、接触したか否かを識別するものとしてもよいし、例えば、２５６階調のデジタル信号に変換して出力し、強く押しているか否か、接触以前に指が接近してきたか否かを検出できるようにしてもよい。

図１４（ａ）〜（ｄ）に、ノードＡ，Ｂ，Ｃおよび出力ＤＡＴＡで観測される波形を示す。

図１５（ａ）は、保護板１６とアレイ基板１１との間に接着層１８を厚く配置した例を示している。ここでは接着層１８として空気を用いる、つまり保護板１６とアレイ基板１１との間に隙間を備えている。図１５（ｂ）に示すように、指が保護板１６を押すときに、導電層１７（図示せず）の浮遊容量Ｃｘにカップリング容量Ｃｆが加算されるとともに、浮遊容量Ｃｘが接着層１８の厚さの変化に応じて容量Ｃｘ２ほど増加するので、図１１のノードＣで検出される差分信号がより強化される効果がある。

また、図１５（ｃ）に示すように、導電層１７との十分なカップリングが期待できない先端の細いスタイラスペンを保護板１６に接触させて入力動作を行う場合でも、接着層１８の厚さの変化に応じて変化する浮遊容量Ｃｘにより、検出される差分信号が変化するので、スタイラスペンのように先端が細い物体でも接触を判断することが可能となる。

このように、接触判定を接着層１８の厚さの変化を検出することにより行う場合には、保護板１６は強化ガラスよりアクリル材料で構成するのがよい。接触座標は、表示部２の光入力機能により撮影された撮影画像に基づいて検出することができるので、スタイラスペンによるペン入力を行うことができる。具体的には、ペン入力は、ノードＣで検出される差分信号が強まっている間に、撮影画像から計算される座標を連結表示することで行う。

また、振幅の代わりに位相のずれを検出して接触判定を行ってもよい。指が保護板１６に接触しているときは、図１６のグラフに示すように、検出した交流信号Ｖ１の位相は印加した交流信号Ｖ０の位相に対して遅れるので、この位相のずれを検出して指と保護板１６との接触判定を行うことができる。図１７は、指と保護板１６との距離と検出される位相遅れの関係を示す図である。

なお、交流信号の印加は、指示物体の接近の徴候が現れてから所定の時間（例えば１秒程度）に限ることで、消費電力の抑制が可能となる。

本実施の形態では、保護板１６に形成した導電層１７に交流信号を駆動したが、液晶パネル１の信号線Ｓｉｇや対向基板１２の全面に形成した対向電極に交流信号を駆動し、それを検出しても良い。

したがって、本実施の形態によれば、表示部２のセンサ系３２により撮影された画像を参照して、表示部２に接近する物体を検出するとともに、導電層１７に交流信号を駆動して振幅の変化や位相のずれを検出することにより、物体が表示部２に接触したタイミングをより正確に検出することが可能となる。

本実施の形態によれば、導電層１７に交流信号を駆動して振幅の変化や位相のずれを検出することにより、導電層１７に駆動した交流信号の振幅の変化や位相のずれが検出されるときには物体が表示部２に接触していると判断できるので、物体が表示部２に接触した瞬間だけでなく、物体が表示部２に接触している状態（表示画面を押し続けている状態）を検出することが可能となる。

本実施の形態によれば、表示部２のセンサ系３２により撮影された画像を参照して、表示部２に接近する物体を検出することで、接触座標のみならず、物体が表示部２に近接しているときの物体の位置座標を求めることができる。

［第２の実施の形態］
第２の実施の形態における表示装置は、第１の実施の形態における表示装置の導電層１７を複数に分割したものである。センサ用ＩＣ４は、表示部１に近接する複数の物体の位置座標をそれぞれ求めることができる。しかし、保護板１６の全面に導電層１７を形成した構成では、複数の物体のそれぞれの接触を判定することができない。そこで、第２の実施の形態における表示装置では、導電層１７を複数のパターンに分割し、複数の物体それぞれの接触判定を可能とした。

第２の実施の形態における表示装置の基本的な構成は、第１の実施の形態で説明した表示装置とほぼ同様である。以下では、第１の実施の形態と異なる導電層１７を中心に説明する。

図１８は、第２の実施の形態における表示装置の導電層の構成を示す平面図である。同図に示すように、第２の実施の形態における表示装置は、保護板１６の内側（液晶層側）に複数のパターンに分割した導電層１７Ａ，・・・，１７Ｅを有する。導電層１７Ａ，・・・，１７Ｅは、分割したＩＴＯ電極により形成される。図１９に示すように、導電層１７Ａ，・・・，１７Ｅのそれぞれをタイミングをずらして駆動・出力する。例えば、図２０に示すように、指１００Ａ，１００Ｂが導電層１７Ｂ，１７Ｄに対応する保護板１６の２箇所に接触した場合、検出回路８２は、図２１に示すように、導電層１７Ｂ，１７Ｄのそれぞれにおいて容量結合の変化を検出する。このように、複数の導電層１７Ａ，・・・，１７Ｅのそれぞれにおいて容量結合の変化を検出することができるので、複数の物体それぞれの接触判定が可能となる。そして、センサ用ＩＣ４は接触した指１００Ａ，１００Ｂそれぞれの接触座標を撮影画像を用いて求める。このとき、物体の接触を検出した導電層１７Ａ，・・・，１７Ｅの概略位置情報を用いて算出した接触座標の位置ずれを補正する。なお、上記の例では、導電層１７Ａ，・・・，１７Ｅを横方向に並べて形成したが、縦方向に並べて形成するものでもよい。また、縦・横のマトリクス状に形成してもよい。

図２２は、第２の実施の形態における別の導電層の構成を示す平面図である。図２２に示す表示装置は、１６個に分割した導電層１７Ａ，・・・，１７Ｐを備えたものである。この場合も上記と同様に、分割した導電層１７Ａ，・・・，１７Ｐ毎に駆動・出力する。

図２３は、第２の実施の形態におけるさらに別の導電層の構成を示す平面図である。図２３に示す導電層は、図２２に示したものと同様に分割したものであるが、右側の導電層１７Ａと左側の導電層１７Ｂとをそれぞれまとめ、図２４に示すように、電導層１７Ａ、電導層１７Ｂの順に駆動・出力する。

したがって、本実施の形態によれば、物体の接触を検出するための導電層を複数に分割することにより、複数の物体が保護板１６に接触したことを検出することが可能となり、センサ用ＩＣ４が複数の物体の接触座標を算出することができる。

本実施の形態によれば、物体の接触を検出するための導電層を複数に分割することにより、物体の接触を検出した導電層の概略位置情報を用いて算出した接触座標の位置ずれを補正することができる。

［第３の実施の形態］
図２５は、第３の実施の形態における表示装置の構成を示す機能ブロック図である。同図に示す表示装置は、図１に示した表示装置と同様に、液晶パネル１と、ホスト基板６とを有し、液晶パネル１とホスト基板６とはフレキシブル基板５により接続される。液晶パネル１に形成された表示部２は、画像を表示する表示機能の他に、表示部２に近接した物体を撮影して画像を得る光入力機能を有する。

第３の実施の形態における表示装置は、図１に示したものに対して、交流駆動回路７２および検出回路８２の代わりに、バイブレータ７、バイブレータコントローラ７１、マイクロフォン８およびマイクロフォンコントローラ８１を備えている。バイブレータ７は、所定の周波数で液晶パネル１を振動させる。マイクロフォン８は、液晶パネル１の振動音を捕らえる。判定部９は、捕らえた振動音の周波数の強度を検出することにより、物体が液晶パネル１に接触したか否かを判断する。

液晶パネル１に接近する指などの指示物体を撮影してその画像を処理することにより、指示物体が表示画面に接近している可能性を検出する構成は、第１の実施の形態と同様である。センサ用ＩＣ４は、指示物体が表示画面に接近している可能性を検出したときに、判定部９へ接触可能性信号を送信する。

判定部９は、接触可能性信号を受信すると、バイブレータ７およびマイクロフォン８を作動させる。図２６に示すように、バイブレータコントローラ７１は、バイブレータ７を制御して液晶パネル１を特定の周波数で振動させる。マイクロフォンコントローラ８１は、この振動音をマイクロフォン８で取り込み、上記振動周波数成分の信号強度をデジタル信号化する。

液晶パネル１に指が接触した場合、図２７に示すように、液晶パネル１の振動が抑えられ、マイクロフォン８で取り込まれる振動周波数の信号強度が弱くなる。図２８に示すように、判定部９は振動周波数の振幅（強度）に閾値を設定し、検出した振動周波数の振幅が所定の閾値以下のときに、指が液晶パネル１に接触したと判断する。指が表示画面に接触した座標は、センサ用ＩＣ４が撮影画像に撮された物体の重心などを求めることにより得られる。

また、振幅に複数段階の閾値を設定することで、指押しの強度を検出することができる。図２９に示す例では、３つの閾値を設定し、指が液晶パネル１に接触していない状態、触れている状態、押している状態、強く押している状態を区別している。

なお、バイブレータ７やマイクロフォン８は、携帯電話機に内蔵されているものを用いてもよい。一般に、携帯電話機に内蔵されるバイブレータ７は、着信音を鳴らす代わりに携帯電話機を振動させて着信を知らせるものである。そこで、着信時の振動と区別するために振動周波数を１０倍以上に高めてもよい。また、接触判定を行う際には、マイクロフォン８の感度を通常時と比べて高感度にしてもよい。これらの動作をセンサ用ＩＣ４が接触可能性信号を出力してから所定の期間、例えば１秒間だけ行うことで、消費電力を抑制することができる。

したがって、本実施の形態によれば、表示部２のセンサ系３２により撮影された画像を参照して、表示部２に接近する物体を検出するとともに、液晶パネル１を所定の周波数で振動させ、その振動音の周波数の強度を検出することにより、物体が表示部２に接触したタイミングをより正確に検出することが可能となる。

［第４の実施の形態］
第４の実施の形態における表示装置の基本的な構成は、第２の実施の形態における表示装置とほぼ同様である。図３０は、第４の実施の形態における表示装置の保護板に形成した導電層（ＩＴＯ電極）のパターンを示している。図３０に示す表示装置は、４つのパターンに分割された導電層１７Ａ，１７Ｂ，１７Ｃ，１７Ｄを備える。アクティブエリア２１内には、各画素に光センサが形成されている。

図３１に示すように、アクティブエリア２１内の１点とアクティブエリア２１外の１点において物体が表示部２に接触した場合、図３２に示すように、導電層１７Ａ，１７Ｄにおいて容量結合の変化が検出されるので、物体の接触位置を導電層１７Ａ，１７Ｄに対応する位置に絞り込むことができる。一方、表示部２に近接した物体を撮像した画像は図３３に示す画像のようになる。これらの結果から、導電層１７Ａへの接触は、図３３に示す撮像結果から座標を算出することができる。さらに導電層１７Ｄへの接触は、図３３に示す撮像結果から、「アクティブエリアの外の部分」に対して行われた、と絞り込むことができる。

このように、静電式のみで物体の位置座標を算出するだけでなく、さらに撮像画像を用いる光学式も併用することにより、物体の接触座標のより正確な算出が可能となる。しかも、第４の実施の形態では、アクティブエリア２１外にも導電層を形成しているので、静電式の検出を行うための導電層の領域であって、光センサの存在しないところにおける物体の接触の検出も可能となる。

なお、導電層のパターンは、もっと分割されていてもよい。引き出し線など一部を銀などの低抵抗配線につなぎかえてもよい。それぞれの導電層１７Ａ，１７Ｂ，１７Ｃ，１７Ｄの駆動は同時でも、順次でもよい。ただ、引き出し線もＩＴＯにして順次駆動とする組み合わせは、コストを低減する効果がある。導電層の駆動方法は知られている種々の方法をとることができる。

静電式で接触された導電層を限定し、光学式でその範囲内での絞り込むを行う構成では、比較的導電層の面積を大きくすることができるので、接触以前の、指の接近を検出する点においても有利となる。導電層への指の接近を検出する具体的な方法は、知られている種々の方法を用いることができる。

第１の実施の形態における表示装置の構成を示す平面図である。 上記表示装置の表示部の構成を示す断面図である。 上記表示装置の画素の構成を示す回路図である。 上記表示装置の画素の構成を示す平面図である。 上記表示装置のアレイ基板上に形成される回路の構成を示すブロック図である。 上記表示装置の画素における光センサ系とＡ／Ｄ変換回路の構成を示す回路図である。 接触判定の処理の流れを示す説明図である。 上記表示装置の検出回路の構成を示す回路図である。 上記表示装置の導電層に印加した交流信号Ｖ０と検出した交流信号Ｖ１を示すグラフである。 上記表示装置の別の検出回路の構成を示す回路図である。 上記表示装置のさらに別の検出回路の構成を示す回路図である。 図１１に示す検出回路のノイズフィルタの構成を示す回路図である。 図１１に示す検出回路の整流及びコンパレータの構成を示す回路図である。 図１１に示す検出回路の各ノードにおける交流波形を示すグラフである。 上記表示装置の保護板の構成を示す断面図である。 上記表示装置の導電層に印加した交流信号Ｖ０と検出した交流信号Ｖ１を示すグラフである。 指と表示パネルとの距離と検出される位相遅れとの関係を示すグラフである。 第２の実施の形態における表示装置の保護板に形成した導電層の構成を示す平面図である。 上記表示装置の導電層を駆動・出力するタイミングを示すタイミングチャートである。 上記表示装置が保護板に接触した複数の指を検出する様子を説明するための説明図である。 上記表示装置の２箇所に指が接触したときに検出される信号を示す図である。 第２の実施の形態における表示装置の保護板に形成した別の導電層の構成を示す平面図である。 図２２に示す表示装置の保護板に形成した複数の導電層をまとめて駆動する構成 の表示装置の平面図である。 図２３に示す表示装置の導電層を駆動・出力するタイミングを示すタイミングチャートである。 第３の実施の形態における表示装置の構成を示す平面図である。 表示パネルを振動させた様子を示す説明図である。 表示パネルを振動させたときに指が接触したときの様子を示す説明図である。 指と保護板との距離と検出される振動周波数成分の振幅との関係を示すグラフである。 指が保護板を押す強さと検出される振動周波数成分の振幅との関係を示すグラフである。 第４の実施の形態における表示装置の保護板に形成した導電層とアクティブエリアの構成を示す平面図である。 上記表示装置のアクティブエリアの内外に指が接触するときの様子を示す平面図である。 図３１の場合に接触を検出する導電層を示す平面図である。 図３１の場合に撮影された画像を示す図である。

符号の説明

１…液晶パネル
２…表示部
３…表示用ＩＣ
４…センサ用ＩＣ
５…フレキシブル基板
６…ホスト基板
７…バイブレータ
８…マイクロフォン
９…判定部
１１…アレイ基板
１２…対向基板
１３…液晶層
１５…バックライト
１６…保護板
１７…導電層
１８…接着層
３１…表示系
３２…センサ系
３３…スイッチ素子
３４…出力制御スイッチ
３５…ソースフォロアアンプ
３６…光センサ
３７…センサ容量
３８…プリチャージ制御スイッチ
４０…基準電源
４１…コンパレータ
５１…Ｘドライバ
５２…Ｙドライバ
５３…プリチャージ回路
５４…露光時間可変回路
５５…制御回路
５６…変換回路
５７…出力回路
７２…交流駆動回路
８２…検出回路
７１…バイブレータコントローラ
８１…マイクロフォンコントローラ

Claims (2)

1. 各画素に、画像を表示画面に表示する表示手段と前記表示画面に近接した物体を撮影して画像を得る光入力手段とを備えた表示パネルと、
   前記光入力手段により撮影した画像を用いて前記物体の位置座標を算出する座標算出手段と、
   前記表示画面に配置し、前記物体が接触しない面に導電層を形成した保護板と、
   前記導電層に交流信号を印加する駆動手段と、
   前記交流信号の振幅あるいは位相の変化を検出する検出手段と、
   前記変化に基づいて前記物体が前記表示画面に接触したか否かを判定する接触判定手段と、
   を有することを特徴とする表示装置。
2. 前記導電層は複数のパターンに分割されており、
   前記座標算出手段は、前記物体の接触が検出された前記導電層の位置情報を用いて算出する位置座標を補正することを特徴とする請求項１記載の表示装置。