JP5252427B2 - 入力装置および表示装置 - Google Patents

Description

本発明は、例えば、表面に接触または近接する物体（検出対称物）の接触情報や画像情報を読み取ったり、表面に接触した指の指紋や静脈情報を読み取ったりする入力機能を備えた入力装置および表示装置に関する。

近年、液晶表示装置や有機ＥＬ表示装置のような平面型の表示装置においては、多機能化が進んでおり、表示画素に隣接してセンサ素子を設けることにより、一般的な画像表示に加えて、表示面に接触した物体の接触情報や画像情報を読み取ったり、表示面に接触した指の指紋や静脈情報を読み取ったりする入力機能を持たせることが提案されている（特許文献１参照）。

特開２００１−０７５０７４号公報

しかし、従来では、上述したような情報は、センサ素子からの出力信号をＩ／Ｏパネルとは別体で設けられた外部の処理回路で処理することによって得られていた。そのため、外部の処理回路の後段の処理回路（例えば、前段の処理回路によって導出された情報を利用した演算処理を実行する回路）は、前段の処理回路の出力結果が得られるまで、演算処理の開始を待っていなければならない。そのため、表示面に物体が接触してから、後段の処理回路における演算処理の実行開始までに時間がかかるレイテンシという問題が生じていた。

例えば、選択線のスキャンにより１フレームの画像を出力するのに１／６０秒（１６ｍｓ）かかるとした場合には、表示面に物体が接触してからセンサ素子が物体の接触を検出するまでに、最大で１６ｍｓかかることがある。また、センサ素子が物体の接触を検出してから、上記した後段の処理回路で演算処理が開始されるまでに、５ｍｓ程度かかる。したがって、この場合には、最大で２１ｍｓ程度のレイテンシが生じてしまう。

また、何らかの信号を受けてから演算処理を開始するような処理回路は、消費電力低減の観点から、信号入力がなされるまでの間、スリープし、信号入力をトリガにしてウェイクアップするように設計されていることがある。そのような場合には、上記のケースよりもさらに遅いレイテンシが生じてしまう。

そこで、例えば、選択線のスキャン速度を速くすることが考えられる。しかし、そのようにした場合には、検出のための信号線や走査線を設けることが必要となり、表示の開口率が低下したり、センサ素子の出力信号が表示を乱したりするなどの画質品位の低下が生じるという問題があった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、表示性能を低下させることなく、レイテンシを速くすることの可能な入力装置および表示装置を提供することにある。

本発明に係る入力装置は、行方向および列方向に２次元配置された複数のセンサ素子と、複数のセンサ素子を駆動する駆動回路と、が設けられたパネルと、所定の処理単位の複数のセンサ素子の出力信号を並列に入力し、パネルの表面に接触または近接する物体の影響を受けたときの出力信号をオン信号とする二値化処理を行う変換回路と、変換回路から並列に出力された処理単位の二値化信号を直列に変換し、変換した直列信号を、所定の領域に配置される複数のセンサ素子に対応する直列信号がすべて入力されてから信号処理を開始する処理部に順次出力する並列入力直列出力回路と、並列入力直列出力回路から直列信号を順次入力し、処理単位ごとに、直列信号が入力される度に当該直列信号を含む既に入力された直列信号にオン信号が含まれていたか否かを判別し、その判別結果を出力する判定回路と、を有する。

本発明に係る表示装置は、行方向および列方向に２次元配置された複数の表示画素および複数のセンサ素子と、これらを駆動する駆動回路と、が設けられたパネルと、所定の処理単位の複数のセンサ素子の出力信号を並列に入力し、パネルの表面に接触または近接する物体の影響を受けたときの出力信号をオン信号とする二値化処理を行う変換回路と、変換回路から並列に出力された処理単位の二値化信号を直列に変換し、変換した直列信号を、所定の領域に配置される複数のセンサ素子に対応する直列信号がすべて入力されてから信号処理を開始する処理部に順次出力する並列入力直列出力回路と、並列入力直列出力回路から直列信号を順次入力し、処理単位ごとに、直列信号が入力される度に当該直列信号を含む既に入力された直列信号にオン信号が含まれていたか否かを判別し、その判別結果を出力する判定回路と、を有する。

本発明の入力装置および表示装置では、パネル内に設けられた処理回路において、全てのセンサ素子からの出力信号が入力される前に判別情報が出力される。これにより、例えば、全てのセンサ素子の出力信号から得られた信号がパネルとは別体で設けられた外部処理部に全て入力される前に、上記判別情報を外部処理部に入力することが可能となる。

本発明の入力装置および表示装置によれば、パネル内に設けられた処理回路において、全てのセンサ素子からの出力信号が入力される前に判別情報を出力するようにしたので、全てのセンサ素子の出力信号から得られた信号がパネルとは別体で設けられた外部処理部に全て入力される前に、例えば、上記判別情報を利用した演算処理を外部処理部で開始したり、上記判別情報をトリガとして、スリープしている外部処理部をウェイクアップさせたりするなどの前処理を早期に開始することができる。これにより、レイテンシを速くすることができる。なお、本発明では、検出のための信号線や走査線を設ける必要がないので、レイテンシの改善に伴って表示性能が低下する虞はない。

以下、本発明を実施するための最良の形態（以下、単に実施の形態という。）について、図面を参照して詳細に説明する。

［第一の実施の形態］
図１は、本発明の第一の実施の形態に係る表示装置１の全体構成を表すものである。本実施の形態の表示装置１は、表面に接触した物体（検出対称物）の接触情報などを読み取る入力機能を備えた表示装置である。この表示装置１は、表示部１０と、表示部１０とは別体に設けられた外部処理部２０と、これらの間の信号を伝送する信号伝送部３０とを備えている。なお、本発明の一実施の形態に係る入力装置は、上記表示装置１により具現化されるので、以下、合わせて説明する。

表示部１０は、Ｉ／Ｏパネル１１（パネル）と、バックライト１２とを備えている。Ｉ／Ｏパネル１１は、複数の表示画素１１Ａおよび複数のセンサ素子１１Ｂが一の面内に行方向および列方向に２次元配置されたものである。このＩ／Ｏパネル１１は、表示画素１１Ａを介して画像情報を出力し、センサ素子１１Ｂを介して外部からの情報入力を受け付ける入出力装置として機能する。バックライト１２は、例えば、可視光領域の光をＩ／Ｏパネル１１の背面へ向けて発する面発光源である。このバックライト１２は、例えば、冷陰極管（ＣＣＦＬ；Cold Cathode Fluorescent Lamp）と呼ばれる冷陰極蛍光ランプや、発光ダイオード（ＬＥＤ；Light Emitting Diode）などを含んで構成されている。

ここで、表示画素１１Ａは、後述の表示制御回路１３から印加される電圧の大きさに応じてバックライト１２からの入射光を変調して出力するものである。この表示画素１１Ａは、例えば、赤色発光する赤色発光セルと、緑色発光する緑色発光セルと、青色発光する青色発光セルとを有している。各発光セルは、例えば、マトリクス状に配列された画素電極を有する画像表示側の透明基板と、ベタに形成された共通電極を有するバックライト側の透明基板との間に液晶層を設けた液晶表示パネルにおいて、各画素電極に対応する部分に相当する。

一方、センサ素子１１Ｂは、例えば、間隙を介して互いに対向する一対の電極を含む接触式のセンサであり、一対の電極が互いに接触することにより物体が表面に接触したことを検出するようになっている。このセンサ素子１１Ｂは、例えば、上記した液晶表示パネルにおいて、透明基板上の画素電極、画素電極を駆動するＴＦＴ（Thin Film Transistor）、共通電極などと共に形成されている。

このＩ／Ｏ表示パネル１１は、さらに、表示制御回路１３（駆動回路）と、タッチ検出回路１５（処理回路）とを有している。これらは、例えば、上記した液晶表示パネルにおいて、画像表示側の透明基板の表面のうち、センサ素子１１ＢやＴＦＴなどの形成されていない領域に形成されている。つまり、このＩ／Ｏパネル１１には、表示画素１１Ａおよびセンサ素子１１Ｂの形成された画素領域１１−１と、表示制御回路１３およびタッチ検出回路１５の形成された回路領域１１−２とが設けられている。

なお、表示制御回路１３およびタッチ検出回路１５が画像表示側の透明基板の表面にセンサ素子１１ＢやＴＦＴなどと共に形成されている場合には、これらが集積化されていることが好ましい。このようにした場合には、消費電力を低減することができるだけでなく、回路同士をつなぐ配線抵抗や信号波形のなまりを低減することができる。また、出力端子の数を減らすこともできるので、そのようにした場合には、信頼性が向上する。また、ノイズの影響を受けにくくなるので、より確実なセンシングが可能となる。

表示制御回路１３は、複数の表示画素１１Ａを駆動することにより画素領域１１−１に画像を表示させるものである。この表示制御回路１３は、例えば、表示信号生成部、表示信号保持制御部、表示信号ドライバ、表示用スキャナなどを含んで構成されている（いずれも図示せず）。

表示信号生成部は、アプリケーションプログラム実行部２２から供給された画像データ２２Ａに基づいて、例えば１画面ごと（１フィールドの表示ごと）に表示部１０に表示するための表示信号を生成するものである。このようにして生成された表示信号が表示信号保持制御部へ出力される。

表示信号保持制御部は、表示信号生成部から出力された表示信号を１画面ごとに、例えばＳＲＡＭ（Static Random Access Memory）などからなるフィールドメモリに格納して保持するものである。この表示信号保持制御部はまた、各表示画素１１Ａを駆動する表示信号ドライバおよび表示用スキャナと、受光制御回路１４とが連動して動作するように制御する役割も果たしている。

表示信号ドライバは、表示信号保持制御部から出力された１水平ライン分の表示データに対応する電圧を、駆動対象の表示画素１１Ａへ供給するものである。具体的には、表示信号ドライバは、表示信号保持制御部から出力される制御信号に応じて、表示信号ドライバと各表示画素１１Ａとを結ぶ信号線（図示せず）に、１水平ライン分の表示データに対応する電圧を供給することによって、駆動対象の表示画素１１Ａを駆動している。

表示用スキャナは、表示信号保持制御部から出力された制御信号に応じて駆動対象の表示画素１１Ａを選択するものである。具体的には、表示用スキャナは、表示用スキャナと各表示画素１１Ａとを結ぶ走査線（図示せず）に走査信号を順次供給することによって、駆動対象の表示画素１１Ａを選択している。

タッチ検出回路１５は、センサ素子１１Ｂから出力された出力信号１１Ｃから、検出対称物についての要素情報（後述）を抽出するとともに、検出対称物の位置や接触面積などを特定する際に用いるシリアルデータ（後述）を導出するものである。

ここで、要素情報とは、検出対称物の位置や接触面積などの情報を得る際に必要となる基礎的な情報のことを指している。例えば、検出対称物の影響を受けた出力信号をオン信号としたときに、センサ素子１１Ｂから入力されてきた出力信号１１Ｃにオン信号に該当するものがあるか否かという判別情報が、上記した要素情報に含まれる。

なお、図２では、出力信号１１Ｃとしてオン信号を出力するオン状態のセンサ素子１１Ｂを黒丸で表し、出力信号１１Ｃとしてオフ信号（検出対称物の影響を受けなかった出力信号）を出力するオフ状態のセンサ素子１１Ｂを白丸で表した。また、図２には、行方向および列方向に２次元配置されたセンサ素子１１Ｂの画素領域１１Ａ上の位置を表現することを目的として、行方向の位置をＹ_ｍ＋１、Ｙ_ｍ＋２、Ｙ_ｍ＋３、Ｙ_ｍ＋４、Ｙ_ｍ＋５、Ｙ_ｍ＋６、Ｙ_ｍ＋７、Ｙ_ｍ＋８（ｍは１以上の正数）と表現し、列方向の位置をＳ_ｎ＋１、Ｓ_ｎ＋２、Ｓ_ｎ＋３、Ｓ_ｎ＋４、Ｓ_ｎ＋５、Ｓ_ｎ＋６（ｎは１以上の正数）と表現した。

このタッチ検出回路１５は、例えば、図２に示したように、変換回路１６、並列入力直列出力回路１７、判定回路１８を含んで構成されている。

変換回路１６は、センサ素子１１Ｂから出力された出力信号１１Ｃを二値化するアナログ−デジタル変換回路である。この変換回路１６は、例えば、オン信号に該当する出力信号１１Ｃを“１”に相当する信号に変換し、オフ信号に該当する出力信号１１Ｃを“０”に相当する信号に変換するようになっている。二値化は、例えば、図２に例示したように、比較器（図中の三角の形をしたもの）に、出力信号１１Ｃと、比較電位Ｖ_ｒｅｆとを入力し、出力信号１１Ｃが比較電位Ｖ_ｒｅｆよりも大きい場合には出力信号１６Ａとして“１”に相当する信号を出力し、出力信号１１Ｃが比較電位Ｖ_ｒｅｆ以下である場合には、出力信号１６Ａとして“０”に相当する信号を出力することにより行われる。この変換回路１６では、例えば、図２に示したように、センサ素子１１Ｂから並列に入力された一群の出力信号１１Ｃが一群の出力信号１６Ａに変換され、一群の出力信号１６Ａが並列に出力されている。

並列入力直列出力回路１７は、変換回路１６から並列に出力された一群の出力信号１６Ａを直列（シリアルデータ）に変換して出力する回路である。このような回路は、例えば、図２に示したように、複数のＤＦＦ（Delay Flip-Flop）を用意し、一のＤＦＦの一の入力と他のＤＦＦの出力を互いに接続し、各ＤＦＦの他の入力と各変換回路１６の出力端子を一つずつ別個に接続し、各ＤＦＦのクロック端子に共通のクロック線（Ｖ_ｃｋ）を接続し、各ＤＦＦのリセット端子に共通のリセット線（Ｖ_ｒｓｔ）を接続することにより形成可能である。この回路では、最終段のＤＦＦから、一群の出力信号１６Ａが一つずつ経時的に連続して（つまり直列に）出力信号１７Ａとして出力される。なお、本実施の形態では、この出力信号１７Ａが表示部１０とは別体に設けられた外部処理部２０に出力される。

判定回路１８は、並列入力直列出力回路１７から順次入力される出力信号１７Ａにオン信号に該当するものがあるか否かを判定するものである。この判定回路１８は、例えば、図２に示したように、並列入力直列出力回路１７から順次入力される出力信号１７Ａのうち時間的な前後関係において互いに隣り合う２つの出力信号１７Ａのいずれか一方がオン信号に該当するか否かを判定するＯＲ回路を含んで構成されている。

以下、図３（Ａ）〜（Ｈ）に示した模式図を利用して、ＯＲ回路による判定方法について説明する。まず、一群の出力信号１７（例えば図２の（Ｓ_ｎ＋３，ｙ）に属する出力信号１７）のうち、最右端のセンサ素子１１Ｂから入力された出力信号１７Ａ（図３（Ａ）の破線上に位置する白丸）と、初期値として用意された信号（図３（Ａ）の横軸から外れた場所に位置する白丸）とに対してＯＲ演算を行う。この場合、双方ともに白丸、つまり、オフ信号に該当するので、判定回路１８は、出力信号１８Ａとしてオフ信号に対応する信号を出力する。

次に、一群の出力信号１７（例えば図２の（Ｓ_ｎ＋３，ｙ）に属する出力信号１７）のうち、右から二番目のセンサ素子１１Ｂから入力された出力信号１７Ａ（図３（Ｂ）の破線上に位置する白丸）と、先にＯＲ演算により判定回路１８から出力された信号（図３（Ｂ）の横軸から外れた場所に位置する白丸）とに対してＯＲ演算を行う。この場合、双方ともに白丸、つまり、オフ信号に該当するので、判定回路１８は、出力信号１８Ａとしてオフ信号に対応する信号を出力する。

次に、一群の出力信号１７（例えば図２の（Ｓ_ｎ＋３，ｙ）に属する出力信号１７）のうち、右から三番目のセンサ素子１１Ｂから入力された出力信号１７Ａ（図３（Ｃ）の破線上に位置する黒丸）と、先にＯＲ演算により判定回路１８から出力された信号（図３（Ｃ）の横軸から外れた場所に位置する白丸）とに対してＯＲ演算を行う。この場合、一方が黒丸、つまり、オン信号に該当するので、判定回路１８は、出力信号１８Ａとしてオン信号に対応する信号を出力する。

以後、同様にして、判定回路１８は、図３（Ｄ）〜（Ｈ）に示したようにＯＲ演算を行い、演算結果に対応した信号を出力信号１８Ａとして出力する。

なお、上記のＯＲ演算は、図４（Ａ）〜（Ｅ）のような波形図でも説明することができる。ここで、図４（Ａ）のＶ_{ｓｔ−ｃｋ}は、タッチ検出回路１５における出力信号１１Ｃの読み出し開始トリガであり、例えば、表示制御回路１３からタッチ検出回路１５へ入力される制御信号などに相当するものである。また、図４（Ｂ）のＶ_ｃｋは、上述したＤＦＦに接続されたクロック線からＤＦＦに入力されるクロック信号である。図４（Ｃ）のＶ_ｏｕｔ１は、出力信号１７Ａの電圧である。図４（Ｄ）のＶ_ｒｓｔは、上述したＤＦＦに接続されたリセット線からＤＦＦに入力されるリセット信号である。なお、ＤＦＦに入力されるリセット信号は、判定回路１８にも同時に入力されている（図２参照）。図４（Ｅ）のＶ_ｏｕｔ２は、出力信号１８Ａの電圧である。

図４（Ｂ）から、判定回路１８は、Ｖ_ｃｋの波形の立ち上がりのタイミングで、図３（Ａ）〜（Ｇ）で模式的に表したＯＲ演算を行い、そのＯＲ演算の結果に対応して、出力信号１７Ａ，１８Ａを変動させているのがわかる。なお、ＯＲ演算の性質上、出力信号１８Ａが一端オン信号に対応する電圧となると、それ以降はどのような出力信号１７Ａが判定回路１８に入力されても、判定回路１８は、出力信号１８Ａとしてオン信号に対応した電圧を出力してしまう。そのため、一群の出力信号１７Ａが新たに判定回路１８に入力される前に、判定回路１８にリセット信号を入力し、出力信号１８Ａをオフ信号に対応する電圧にしておくことが必要である。

このように、タッチ検出回路１５は、全てのセンサ素子１１Ｂからの出力信号１１Ｃがタッチ検出回路１５に入力される前に、既に入力された出力信号１１Ｃからオン信号の有無を判別し、その判別結果を出力信号１８Ａとして出力している。また、このタッチ検出回路１５は、複数のセンサ素子１１Ｂのうち一の行に配置された全てのセンサ素子１１Ｂの出力信号１１Ｃから得られた出力信号１７Ａが一つずつ直列に入力される度に、判別結果を出力信号１８Ａとして出力している。

外部処理部２０は、画像処理部２１と、アプリケーションプログラム実行部２２とを有している。

画像処理部２１は、タッチ検出回路１５から入力された出力信号１７Ａ（シリアルデータ）に対して所定の信号処理を行うことにより、検出対称物の位置や接触面積などを特定するものである。検出対称物の位置は、例えば、出力信号１７Ａを画素領域１１Ａ上の座標に対応した画像情報（例えばビットマップデータ）に変換し、変換した画像情報を利用して、中心座標（または重心座標）を抽出する演算を行うことにより導出することが可能である。また、中心座標（または重心座標）が複数導出された場合には、例えば、導出された中心座標（または重心座標）ごとにラベリング処理がなされる。接触面積については、例えば、上述した画像情報を利用して、外縁座標を抽出し、外縁で囲まれた領域の面積を算出することにより得られる。このようにして導出された情報は、タッチ情報２１Ａとして画像処理部２１からアプリケーションプログラム実行部２２へ出力される。

アプリケーションプログラム実行部２２は、所定のアプリケーションプログラムに応じた処理を実行するものであり、例えば、画像処理部２１からの出力（タッチ情報２１Ａ）に基づいて、画像データ２２Ａに所定のデータを重畳したり、画像データ２２Ａを新たなデータに置き換えたりするものである。このアプリケーションプログラム実行部２２は、例えば、所定のプログラムを実行する１または複数のプロセッサによって構成されていている。

このアプリケーションプログラム実行部２２では、タッチ検出回路１５からの出力信号１８Ａの入力をトリガとして所定の処理が開始される。例えば、画像処理部２１から何も入力がない間、画像処理部２１からの出力（タッチ情報２１Ａ）に基づいて処理を実行する部分に対応する部分（プロセッサ）がスリープしており、タッチ検出回路１５からの出力信号１８Ａの入力をトリガとしてウェイクアップするようになっていてもよい。このようにした場合には、消費電力の低減を図ることができる。

信号伝送部３０は、表示部１０と外部処理部２０との間の信号を伝送するものであり、例えば、フレキシブルプリント配線板（ＦＰＣ）によって構成されている。ＦＰＣは、例えば、一の方向に延在する帯状のベースフィルムを有している。ベースフィルムの一端には、表示部１０のコネクタ（図示せず）と接続するコネクタ（図示せず）が設けられており、ベースフィルムの他端には、外部処理部２０のコネクタ（図示せず）と接続するコネクタ（図示せず）が設けられている。ベースフィルムの表面には、ベースフィルムの両端に設けられた双方のコネクタに接続された配線（図示せず）が設けられている。さらに、この信号伝送部３０には、ベースフィルム上の配線を保護するカバーレイ（図示せず）が設けられている。

次に、本実施の形態の表示装置１の動作の一例について説明する。

この表示装置１では、アプリケーションプログラム実行部２２から供給される画像データ２２Ａに基づいて、表示制御回路１３内の表示信号ドライバにおいて表示用の駆動信号が出力されると共に、表示制御回路１３内の表示用スキャナにおいて線順次駆動がなされ、表示面に画像が表示される。このとき、受光制御回路１４内の受光用ドライバにおいて受光用の駆動信号が出力されると共に、受光制御回路１４内の受光用スキャナにおいて線順次駆動がなされ、画像が撮像される。

そして、タッチ検出回路１５において、センサ素子１１Ｂから出力された出力信号１１Ｃに基づいて、検出対称物の位置や接触面積などの情報を導出するにあたっての前処理的な信号処理が行われる。その結果、複数のセンサ素子１１Ｂのうち一の行に配置された全てのセンサ素子１１Ｂからの出力信号１１Ｃが一つずつ直列に入力される度に、タッチ検出回路１５から、出力信号１７Ａ（シリアルデータ）および出力信号１８Ａ（判定結果）がほぼ同時に出力される。

続いて、画像処理部２１において、検出対称物の位置や接触面積などを特定する処理が開始されるとほぼ同時に、アプリケーションプログラム実行部２２において、タッチ検出回路１５からの出力信号１８Ａの入力をトリガとして所定の処理が開始される。例えば、画像処理部２１からの出力（タッチ情報２１Ａ）に基づいて処理を実行する部分に対応するプロセッサがタッチ検出回路１５からの出力信号１８Ａの入力をトリガとしてウェイクアップする。これにより、そのあと画像処理部２１からの出力（タッチ情報２１Ａ）が入力された時には、画像処理部２１からの出力（タッチ情報２１Ａ）に基づいて処理を実行する部分に対応する部分（プロセッサ）は既にウェイクアップしており、タッチ情報２１Ａに基づいた処理を直ちに実行することができる。

このように、本実施の形態では、Ｉ／Ｏパネル１１内に設けられたタッチ検出回路１５において、全てのセンサ素子１１Ｂからの出力信号１１Ｃが入力される前に出力信号１８Ａ（判定結果）が出力される。これにより、例えば、全てのセンサ素子１１Ｂの出力信号１１Ｃから得られた出力信号１７Ａ（シリアルデータ）がＩ／Ｏパネル１１とは別体で設けられた外部処理部２０に入力される前に、出力信号１８Ａ（判定結果）を外部処理部２０に入力することが可能となる。その結果、例えば、出力信号１８Ａ（判定結果）を利用した所定の処理をアプリケーションプログラム実行部２２で開始したり、出力信号１８Ａ（判定結果）をトリガとして、アプリケーションプログラム実行部２２のうちスリープしている部分（プロセッサ）をウェイクアップさせたりするなどの前処理を早期に開始することができる。したがって、前処理を早期に開始した分だけ、表示面に物体が接触してから、後段の処理回路（アプリケーションプログラム実行部２２）における主たる演算処理の実行開始までに要する時間を短縮することができ、レイテンシを速くすることができる。

なお、本実施の形態では、センサ素子１１Ｂのスキャン速度を速くする必要がないので、検出のための信号線や走査線を設ける必要がなく、レイテンシの改善に伴って表示性能が低下する虞はない。したがって、表示性能を低下させることなく、レイテンシを速くすることができる。

［変形例］
上記実施の形態では、タッチ検出回路１５は、複数のセンサ素子１１Ｂのうち一の行に配置された全てのセンサ素子１１Ｂの出力信号１１Ｃから得られた出力信号１７Ａが一つずつ直列に入力される度に、判別結果を出力信号１８Ａとして出力していたが、他のタイミングで、判別結果を出力信号１８Ａとして出力することも可能である。他のタイミングで、判別結果を出力信号１８Ａとして出力するためには、例えば、図５に示したように、判定回路１８の出力段に、スイッチ素子１８Ｂを設ければよい。そのようにした場合に、例えば、図６（Ａ）〜（Ｈ）、図７（Ａ）〜（Ｅ）に示したように、複数のセンサ素子１１Ｂのうち一の行に配置された全てのセンサ素子１１Ｂの出力信号から得られた出力信号１７Ａが全て入力されたのちに、スイッチ素子１８Ｂを、スイッチ素子１８Ｂに接続されたクロック線に印加する信号Ｖｓｒ−ｃｋをオンオフし、信号Ｖｓｒ−ｃｋのオンオフに同期して、判別結果を出力信号１８Ａとして出力してもよい。

また、上記実施の形態および上記変形例では、判定回路１８は、ＯＲ回路を含んで構成されていたが、例えば、並列入力直列出力回路１７から順次入力される出力信号１７Ａのうち時間的な前後関係において互いに隣り合う２つの出力信号１７Ａの双方がオン信号に該当するか否かを判定するＡＮＤ回路を含んで構成されていてもよい。

以下、図８（Ａ）〜（Ｇ）に示した模式図を利用して、ＡＮＤ回路による判定方法について説明する。まず、一群の出力信号１７のうち、最右端のセンサ素子１１Ｂから入力された出力信号１７Ａ（図８（Ａ）の破線上に位置する白丸）と、一群の出力信号１７のうち、右から二番目のセンサ素子１１Ｂから入力された出力信号１７Ａ（図８（Ａ）の破線の左隣に位置する黒丸）とに対してＡＮＤ演算を行う。この場合、一方だけが黒丸、つまり、オン信号に該当するので、判定回路１８は、出力信号１８Ａとしてオフ信号に対応する信号を出力する。

次に、一群の出力信号１７のうち、右から二番目のセンサ素子１１Ｂから入力された出力信号１７Ａ（図８（Ｂ）の破線上に位置する黒丸）と、右から三番目のセンサ素子１１Ｂから入力された出力信号１７Ａ（図８（Ｂ）の破線の左隣に位置する黒丸）とに対してＡＮＤ演算を行う。この場合、双方ともに黒丸、つまり、オン信号に該当するので、判定回路１８は、出力信号１８Ａとしてオン信号に対応する信号を出力する。

以後、同様にして、判定回路１８は、図８（Ｃ）〜（Ｇ）に示したようにＡＮＤ演算を行い、演算結果に対応した信号を出力信号１８Ａとして出力する。

［第二の実施の形態］
図９は、本発明の第二の実施の形態に係る表示装置２の全体構成を表すものである。この表示装置２は、表示部１０にタッチ検出回路４５を有している点で、表示部１０にタッチ検出回路１５を有する表示装置１の構成と相違する。そこで、以下では、上記実施の形態との相違点について主に説明し、上記実施の形態との共通点についての説明を適宜省略するものとする。

タッチ検出回路４５は、例えば、図１０に示したように、変換回路１６、並列入力直列出力回路４７、判定回路４８を含んで構成されている。

並列入力直列出力回路４７は、上記実施の形態の並列入力直列出力回路１７と同様、変換回路１６から並列に出力された一群の出力信号１６Ａを直列（シリアルデータ）に変換して出力する回路である。しかし、この並列入力直列出力回路４７は、複数のセンサ素子１１Ｂのうち互いに隣接する２つの行に配置された全てのセンサ素子１１Ｂの出力信号１１Ｃから得られた出力信号４７Ａを２×２のマトリクスで後段の判定回路４８に出力することができるように構成されている。

具体的には、並列入力直列出力回路４７は、上記実施の形態の並列入力直列出力回路１７の後段に、１入力１出力のＤＦＦを、前段に含まれる２入力２出力のＤＦＦの数と同じ数だけ直列に接続して構成されている。さらに、前段の最後に設けられたＤＦＦの出力端子と、前段の最後から二番目に設けられたＤＦＦの出力端子と、後段の最後に設けられたＤＦＦの出力端子と、後段の最後から二番目に設けられたＤＦＦの出力端子とが並列入力直列出力回路４７の出力端子となっている。そして、それら４つの出力端子が、判定回路４８の４つの入力端子に一つずつ接続されている。また、後段の最後に設けられたＤＦＦの出力端子は、タッチ検出回路４５の出力端子の一つとなっており、画像処理部２１の入力端子と信号伝送部３０を介して接続されている。

なお、前段の２入力２出力のＤＦＦについては、各ＤＦＦのクロック端子に共通のクロック線（Ｖ_ｃｋ１）が接続され、１入力１出力のＤＦＦについては、各ＤＦＦのクロック端子に共通のクロック線（Ｖ_ｃｋ２）が接続されている。また、１入力１出力のＤＦＦには、前段の２入力２出力のＤＦＦと同様、各ＤＦＦのリセット端子に共通のリセット線（Ｖ_ｒｓｔ）が接続されている。

判定回路４８は、並列入力直列出力回路４７から２×２のマトリクスで順次入力される出力信号４７Ａにオン信号に該当するものがあるか否かを判定するものである。この判定回路４８は、例えば、図１０に示したように、並列入力直列出力回路４７から２×２のマトリクスで順次入力される出力信号４７Ａのうち２×２のマトリクスにおいて互いに隣り合う２つの出力信号１７Ａの双方がオン信号に該当するか否かを判定する回路を含んで構成されている。なお、図１０には、２×２のマトリクスにおいて斜め方向についても互いに隣り合う２つの出力信号１７Ａの双方がオン信号に該当するか否かを判定する回路の構成例が示されているが、必要に応じて、２×２のマトリクスにおける斜め方向の判定に用いる回路部分をなくしてもよい。

以下、図１１（Ａ）〜（Ｇ）に示した模式図を利用して、上記した回路による判定方法について説明する。まず、一群の出力信号４７（例えば図１０の（Ｓ_ｎ＋３，ｙ）および（Ｓ_ｎ＋４，ｙ）に属する出力信号４７）のうち、最右端のセンサ素子１１Ｂから入力された出力信号４７Ａ（図１１（Ａ）の方形状の破線内の右側に位置する２つの白丸）と、一群の出力信号４７（例えば図１０の（Ｓ_ｎ＋３，ｙ）および（Ｓ_ｎ＋４，ｙ）に属する出力信号４７）のうち、右から二番目のセンサ素子１１Ｂから入力された出力信号４７Ａ（図１１（Ａ）の方形状の破線内の左側に位置する２つの白丸）とに対して上述した演算を行う。この場合、４つとも白丸、つまり、オフ信号に該当するので、判定回路４８は、出力信号４８Ａとしてオフ信号に対応する信号を出力する。

次に、一群の出力信号４７（例えば図１０の（Ｓ_ｎ＋３，ｙ）および（Ｓ_ｎ＋４，ｙ）に属する出力信号４７）のうち、右から二番目のセンサ素子１１Ｂから入力された出力信号４７Ａ（図１１（Ｂ）の方形状の破線内の右側に位置する２つの白丸）と、一群の出力信号４７（例えば図１０の（Ｓ_ｎ＋３，ｙ）および（Ｓ_ｎ＋４，ｙ）に属する出力信号４７）のうち、右から三番目のセンサ素子１１Ｂから入力された出力信号４７Ａ（図１１（Ａ）の方形状の破線内の左側に位置する２つの黒丸）とに対して上述した演算を行う。この場合、左側の２つの出力信号４７Ａが共に黒丸、つまり、オン信号に該当するので、判定回路４８は、出力信号４８Ａとしてオン信号に対応する信号を出力する。

以後、同様にして、判定回路４８は、図１１（Ｃ）〜（Ｇ）に示したように、上述の演算を行い、演算結果に対応した信号を出力信号４８Ａとして出力する。

このように、タッチ検出回路４５は、全てのセンサ素子１１Ｂからの出力信号１１Ｃがタッチ検出回路４５に入力される前に、既に入力された出力信号１１Ｃからオン信号の有無を判別し、その判別結果を出力信号４８Ａとして出力している。また、このタッチ検出回路４５は、複数のセンサ素子１１Ｂのうち２つの行に配置された全てのセンサ素子１１Ｂの出力信号１１Ｃから得られた出力信号４７Ａが２×２のマトリクスで入力される度に、判別結果を出力信号４８Ａとして出力している。

外部処理部２０は、上記実施の形態と同様、画像処理部２１と、アプリケーションプログラム実行部２２とを有している。画像処理部２１は、タッチ検出回路４５から入力された出力信号４７Ａ（シリアルデータ）に対して所定の信号処理を行うことにより、表示面に接触あるいは近接する物体（検出対称物）の位置や接触面積などを特定するものである。また、アプリケーションプログラム実行部２２では、タッチ検出回路４５からの出力信号４８Ａの入力をトリガとして所定の処理が開始される。例えば、画像処理部２１から何も入力がない間、画像処理部２１からの出力（タッチ情報２１Ａ）に基づいて処理を実行する部分に対応するプロセッサがスリープしており、タッチ検出回路４５からの出力信号４８Ａの入力をトリガとしてウェイクアップするようになっていてもよい。

次に、本実施の形態の表示装置２の動作の一例について説明する。

この表示装置２では、アプリケーションプログラム実行部２２から供給される画像データ２２Ａに基づいて、表示制御回路１３内の表示信号ドライバにおいて表示用の駆動信号が出力されると共に、表示制御回路１３内の表示用スキャナにおいて線順次駆動がなされ、表示面に画像が表示される。このとき、受光制御回路１４内の受光用ドライバにおいて受光用の駆動信号が出力されると共に、受光制御回路１４内の受光用スキャナにおいて線順次駆動がなされ、画像が撮像される。

そして、タッチ検出回路４５において、センサ素子１１Ｂから出力された出力信号１１Ｃに基づいて、検出対称物の位置や接触面積などの情報を導出するにあたっての前処理的な信号処理が行われる。その結果、複数のセンサ素子１１Ｂのうち一の行に配置された全てのセンサ素子１１Ｂからの出力信号１１Ｃが２×２のマトリクスで入力される度に、タッチ検出回路４５から、出力信号４７Ａ（シリアルデータ）および出力信号４８Ａ（判定結果）がほぼ同時に出力される。

続いて、画像処理部２１において、検出対称物の位置や接触面積などを特定する処理が開始されるとほぼ同時に、アプリケーションプログラム実行部２２において、タッチ検出回路４５からの出力信号４８Ａの入力をトリガとして所定の処理が開始される。例えば、画像処理部２１からの出力（タッチ情報２１Ａ）に基づいて処理を実行する部分に対応するプロセッサがタッチ検出回路４５からの出力信号４８Ａの入力をトリガとしてウェイクアップする。これにより、そのあと画像処理部２１からの出力（タッチ情報２１Ａ）が入力された時には、画像処理部２１からの出力（タッチ情報２１Ａ）に基づいて処理を実行する部分に対応するプロセッサは既にウェイクアップしており、タッチ情報２１Ａに基づいた処理を直ちに実行することができる。

このように、本実施の形態では、Ｉ／Ｏパネル１１内に設けられたタッチ検出回路４５において、全てのセンサ素子１１Ｂからの出力信号１１Ｃが入力される前に出力信号４８Ａ（判定結果）が出力される。これにより、例えば、全てのセンサ素子１１Ｂの出力信号１１Ｃから得られた出力信号４７Ａ（シリアルデータ）がＩ／Ｏパネル１１とは別体で設けられた外部処理部２０に全て入力される前に、出力信号４８Ａ（判定結果）を外部処理部２０に入力することが可能となる。その結果、例えば、出力信号４８Ａ（判定結果）を利用した所定の処理をアプリケーションプログラム実行部２２で開始したり、出力信号４８Ａ（判定結果）をトリガとして、アプリケーションプログラム実行部２２のうちスリープしている部分をウェイクアップさせたりするなどの前処理を早期に開始することができる。したがって、前処理を早期に開始した分だけ、表示面に物体が接触してから、後段の処理回路（アプリケーションプログラム実行部２２）における主たる演算処理の実行開始までに要する時間を短縮することができ、レイテンシを速くすることができる。

なお、本実施の形態においても、センサ素子１１Ｂのスキャン速度を速くする必要がないので、検出のための信号線や走査線を設ける必要がなく、レイテンシの改善に伴って表示性能が低下する虞はない。したがって、表示性能を低下させることなく、レイテンシを速くすることができる。

［変形例］
上記第二の実施の形態では、並列入力直列出力回路４７は、複数のセンサ素子１１Ｂのうち互いに隣接する２つの行に配置された全てのセンサ素子１１Ｂの出力信号１１Ｃから得られた出力信号４７Ａを２×２のマトリクスで後段の判定回路４８に出力するようになっていた。しかし、並列入力直列出力回路４７は、出力信号４７Ａを３×３のマトリクスで後段の判定回路４８に出力するようになっていてもよい。ただし、その場合には、判定回路４８は、例えば、並列入力直列出力回路４７から３×３のマトリクスで順次入力される出力信号４７Ａのうち３×３のマトリクスにおいて互いに隣り合う３つの出力信号１７Ａの全てがオン信号に該当するか否かを判定する回路を含んで構成されていることが好ましい。

以上、実施の形態およびその変形例を挙げて本発明を説明したが、本発明は実施の形態等に限定されるものではなく、種々の変形が可能である。

例えば、上記各実施の形態等では、タッチ検出回路１５において抽出される要素情報として判別情報だけしか挙げられていなかったが、それ以外のものについてもタッチ検出回路１５において抽出することは可能である。

例えば、複数のセンサ素子１１Ｂのうち少なくとも一の行に配置された全てのセンサ素子１１Ｂからの出力信号１１Ｃの中にオン信号に該当するものがいくつ含まれているかという個数についての情報をタッチ検出回路１５において抽出してもよい。また、要素情報には、例えば、複数のセンサ素子１１Ｂのうち少なくとも一の行に配置された全てのセンサ素子１１Ｂからの出力信号１１Ｃのうち、オン信号に該当する出力信号１１Ｃを出力したセンサ素子１１Ｂの位置についての情報をタッチ検出回路１５において抽出してもよい。なお、二番目に挙げた情報には、例えば、一群の出力信号１１Ｃのうち最初にオン信号に該当すると検出された出力信号１１Ｃを出力したセンサ素子１１Ｂの位置（開始点）や、開始点を検出した後、オフ信号（検出対称物の影響を受けなかった出力信号）を検出する１つ前にオン信号に該当すると検出された出力信号１１Ｃを出力したセンサ素子１１Ｂの位置（終了点）、開始点と終了点との距離（両端間の幅）などが含まれ得る。なお、オン信号の個数情報、開始点または終了点の情報、および両端間の幅の情報を用いることにより、出力信号１７Ａを画素領域１１Ａ上の座標に対応した画像情報（例えばビットマップデータ）を再構成することも可能である。

また、上記各実施の形態等では、センサ素子１１Ｂが接触式のセンサである場合について説明したが、例えば、フォトダイオードなどの受光式のセンサであってもよい。この場合には、物体が表面に接触した場合だけでなく、表面に近接した場合にも物体を検出することが可能であり、例えば、表面に接触した指の指紋や静脈情報を読み取ったりすることも可能となる。なお、センサ素子１１Ｂが受光式のセンサである場合には、センサ素子１１Ｂを制御する受光制御回路（図示せず）を画素領域１１Ａに設けることが好ましい。

また、上記実施の形態では、表示部１０は、バックライト１２上に液晶表示パネルを含むＩ／Ｏパネル１１を備えている場合について説明していたが、表示部１０が、互いに対向する透明基板の間に有機層を設けた有機ＥＬパネルのように、画素を構成する表示素子自体が発光する自発光型パネルを備えていてもよい。

本発明の第一の実施の形態に係る表示装置の全体構成を表すブロック図である。 図１のタッチ検出回路の内部構成の一例を表すブロック図である。 図１のタッチ検出回路の動作について説明するための模式図である。 図１のタッチ検出回路の動作について説明するためのタイミング図である。 図２のタッチ検出回路の一変形例を表すブロック図である。 図５のタッチ検出回路の動作について説明するための模式図である。 図５のタッチ検出回路の動作について説明するためのタイミング図である。 図１のタッチ検出回路の他の変形例の動作について説明するための模式図である。 本発明の第二の実施の形態に係る表示装置の全体構成を表すブロック図である。 図９のタッチ検出回路の内部構成の一例を表すブロック図である。 図９のタッチ検出回路の動作について説明するための模式図である。

符号の説明

１，２…表示装置、１０…表示部、１１−１…画素領域、１１−２…回路領域、１１Ａ…表示画素、１１Ｂ…センサ素子、１１Ｃ，１６Ａ，１７Ａ，１８Ａ，４７Ａ，４８Ａ…出力信号、１２…バックライト、１３…表示制御回路、１５，４５…タッチ検出回路、１６…変換回路、１７，４７…並列入力直列出力回路、１８，４８…判定回路、１８Ａ…スイッチ回路、２０…外部処理部、２１…画像処理部、２２…アプリケーションプログラム実行部、３０…信号伝送部。

Claims (6)

1. 行方向および列方向に２次元配置された複数のセンサ素子と、前記複数のセンサ素子を駆動する駆動回路と、が設けられたパネルと、
   所定の処理単位の前記複数のセンサ素子の出力信号を並列に入力し、前記パネルの表面に接触または近接する物体の影響を受けたときの出力信号をオン信号とする二値化処理を行う変換回路と、
   前記変換回路から並列に出力された前記処理単位の二値化信号を直列に変換し、変換した直列信号を、所定の領域に配置される前記複数のセンサ素子に対応する前記直列信号がすべて入力されてから信号処理を開始する処理部に順次出力する並列入力直列出力回路と、
   前記並列入力直列出力回路から前記直列信号を順次入力し、前記処理単位ごとに、前記直列信号が入力される度に当該直列信号を含む既に入力された前記直列信号に前記オン信号が含まれていたか否かを判別し、その判別結果を出力する判定回路と、
   を有する入力装置。
2. 前記判定回路は、
   前記処理単位ごとに、入力された前記直列信号と前回の判別結果との論理和を演算し、判別結果を更新する論理和回路と、
   前記論理和回路が更新した判別結果を前記前回の判別結果として保持するとともに、前記処理単位の最初の直列信号が入力されたときに、保持していた前記前回の判別結果をリセットする保持回路と、
   を有し、
   前記直列信号が一つずつ入力される度に、前記判別結果を出力する、請求項１に記載の入力装置。
3. 前記判定回路は、前記論理和回路の出力信号と、オフ信号とを入力し、所定の条件に応じて前記論理和回路の出力信号または前記オフ信号を出力するスイッチ素子を有し、
   前記所定の条件が成立されたのちに、前記判別結果として前記論理和回路の出力信号を出力する請求項２に記載の入力装置。
4. 前記パネルとは別体で設けられた外部処理部と、
   前記パネルと前記外部処理部との間の信号を伝送する信号伝送部と、
   を備え、
   前記外部処理部は、前記判定回路から出力される前記判別結果を取得し、前記判別結果に基づき、前記オン信号の検出をトリガとして所定の処理を開始する、請求項１ないし請求項３の少なくとも一項に記載の入力装置。
5. 前記判定回路は、前記処理単位の前記直列信号から、前記オン信号の数をカウントすると共に、前記オン信号の位置についての情報を導出し、前記オン信号の数および前記オン信号の位置についての情報を出力する、請求項１ないし請求項４の少なくとも一項に記載の入力装置。
6. 行方向および列方向に２次元配置された複数の表示画素および複数のセンサ素子と、前記複数の表示画素および前記複数のセンサ素子を駆動する駆動回路と、が設けられたパネルと、
   所定の処理単位の前記複数のセンサ素子の出力信号を並列に入力し、前記パネルの表面に接触または近接する物体の影響を受けたときの出力信号をオン信号とする二値化処理を行う変換回路と、
   前記変換回路から並列に出力された前記処理単位の二値化信号を直列に変換し、変換した直列信号を、所定の領域に配置される前記複数のセンサ素子に対応する前記直列信号がすべて入力されてから信号処理を開始する処理部に順次出力する並列入力直列出力回路と、
   前記並列入力直列出力回路から前記直列信号を順次入力し、前記処理単位ごとに、前記直列信号が入力される度に当該直列信号を含む既に入力された前記直列信号に前記オン信号が含まれていたか否かを判別し、その判別結果を出力する判定回路と、
   を有する表示装置。

Images