JP5246794B2 - 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器 - Google Patents

Description

本発明は、外部近接物体に関する情報の入力を行う情報入力装置、情報入力方法、情報入力プログラム、情報入出力装置および電子機器に関する。
本発明は、

画像表示装置には、タッチパネルを備えたものがある。このタッチパネルには、電極の接触位置を検知する接触型や、静電容量の変化を利用した静電容量型のほか、光学的に指等を検知する光学型のものがある。

光学型タッチパネルは、例えば、バックライトからの光を液晶素子で変調して画像を表示面に表示すると共に、表示面から出射されて指等の外部近接物体によって反射された光を、表示面に配列された受光素子によって受光し、外部近接物体の位置等を検出するものである。このような画像表示装置について記載したものとしては、例えば特許文献１が挙げられる。特許文献１に記載された表示装置は、画像を表示する表示手段と、物体を撮像する撮像手段とを有する表示部を備えたものである。

特開２００８−１４６１６５号公報

ところで、上記のようなタッチパネルでは、外部近接物体に関する位置等の情報を取得（入力）する際に、情報を確実に入力するため、ノイズをできるだけ除去（低減）できるようにすることが考えられる。しかしながら、そのようなノイズの除去（低減）を行うための回路等を設けたり、ソフトウェアを用いた画像処理中においてノイズ除去（低減）処理を行った場合でも、周囲の環境等に応じた使用状況により、ノイズを効果的に取りきれない場合があった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず、外部近接物体に関する情報を従来よりも確実に入力することが可能な情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器を提供することにある。

上記課題を解決するために本発明のある観点によれば、外部近接物体をフレーム単位で検出する検出機能を有する入力パネルと、入力パネルにより得られる外部近接物体の検出信号に基づき、外部近接物体の検出点ごとに、検出点の位置情報と、検出点の面積とその検出点の外接矩形領域の面積との面積比に対応する検出点の密度を示す密度情報と、検出点の外接矩形領域における縦方向と横方向との長さ比に対応する検出点の縦横比を示す縦横比情報と、を含む点情報を取得する位置検出部と、点情報のうちの密度情報及び縦横比情報を用いることにより、検出点の密度の大きさ及び検出点の縦横比の大きさに応じて検出点ごとに、検出点に関する処理の実行の有効または無効を判断するノイズ除去部とを備えた情報入力装置が提供される。
なお、ここでいう「外部近接物体」とは、文字通り「近接」している物体には限られず、「接触」している物体をも含む意味である。

本発明のある観点によれば、フレーム内ノイズが発生した場合であっても、検出点に関する処理を適切に実行することができる。よって、使用状況によらず、外部近接物体に関する情報を従来よりも確実に入力することが可能となる。

本発明の一実施の形態に係る情報入出力装置の構成を表すブロック図である。 図１の情報入出力装置の構成をより詳細に表すブロック図である。 入出力パネルの一部を拡大した断面図である。 情報入出力装置による画像処理全体の一例を表す流れ図である。 図４に示したフレーム内ノイズ除去処理の詳細例を表す流れ図である。 撮像画像における入力部分の点情報の一例を表す模式図である。 図５に示した面積情報を用いたフレーム内ノイズ除去処理の一例を表す模式図である。 図５に示した密度情報を用いたフレーム内ノイズ除去処理の一例を表す模式図である。 図５に示した縦横比情報を用いたフレーム内ノイズ除去処理の一例を表す模式図である。 図４に示したフレーム間処理の詳細例を表す流れ図である。 図１０に示したフレーム間処理の概要例を表す模式図である。 図１０に示したフレーム補間処理の一例を表す模式図である。 図１０に示した突発ノイズ除去処理の一例を表す模式図である。 図１０に示した突発ノイズ除去処理の他の例を表す模式図である。 本発明の変形例１に係る情報入出力装置の構成を表すブロック図である。 本発明の変形例２に係る入出力パネルの構成を表す断面図である。 本発明の変形例３に係る入出力パネルの構成を表す断面図である。 本発明の情報入出力装置の適用例１の外観を表す斜視図である。 （Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。 適用例３の外観を表す斜視図である。 適用例４の外観を表す斜視図である。 （Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態（フレーム内ノイズ処理および追跡処理等を用いた情報入力処理）
２．変形例（情報入出力装置および入出力パネルの他の構成例）
３．適用例（電子機器への適用例）

＜実施の形態＞
［情報入出力装置１の全体構成］
図１は、本発明の一実施の形態に係る情報入出力装置１の概略構成を表すものであり、図２は、この情報入出力装置１の詳細構成を表すものであり、図３は、入出力パネルの一部を拡大した断面を表すものである。情報入出力装置１は、図１に示すように、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３、画像処理部１４、フレーム内ノイズ除去部１５１およびフレーム間処理部１５２を有し、電子機器本体２０は、制御部２１を有する。なお、本発明の一実施の形態に係る情報入力方法および情報入力プログラムは、本実施の形態の画像入出力装置１において具現化されるため、以下併せて説明する。

入出力パネル１１は、図２に示すように、複数の画素１６がマトリクス状に配列された液晶ディスプレイパネルで構成されたものであり、表示要素１１ａおよび受光要素１１ｂを備えている。表示要素１１ａは、光源となるバックライトから出射された光を利用して、図形や文字等の画像を表示面に表示する液晶素子である。受光要素１１ｂは、光を受光して電気信号として出力する、例えばフォトダイオード等の受光素子である。受光要素１１ｂは、バックライトの出射光が入出力パネル１１の外部の指等の外部近接物体によって反射されて戻ってきた反射光を受光して、受光信号（検出信号）を出力するものである。受光要素１１ｂは、本実施の形態の場合、画素１６毎に配置されて、面内に複数配列されている。

入出力パネル１１は、図２および図３に示したように、１対の透明基板３０，３１の間に、隔壁３２によって互いに分離された構造の複数の発光受光セルＣＷＲをマトリクス状に配列して構成されている。各発光受光セルＣＷＲは、発光セルＣＷ（ＣＷ１，ＣＷ２，ＣＷ３，…）と、これらの発光セルＣＷに内包された複数の受光セルＣＲ（ＣＲ１，ＣＲ２，ＣＲ３，…）とを備えている。発光セルＣＷは、表示要素１１ａとしての液晶セルからなり、受光セルＣＲは、受光要素１１ｂとしての受光素子ＰＤを含む。なお、受光セルＣＲにおいては、バックライトから出射された光ＬＢが入射しないように、バックライト側の透明基板３０と受光素子ＰＤとの間に、遮蔽層３３が配置されている。これにより、各受光素子ＰＤはバックライト光ＬＢの影響を受けず、バックライトと反対側の透明基板３１の方向から入射された光のみを検出するようになっている。

図１に示す表示信号処理部１２は、入出力パネル１１の前段に接続され、入出力パネル１１が表示データに基づいて画像を表示するように、入出力パネル１１の駆動を行う回路である。

表示信号処理部１２は、図２に示すように、表示信号保持制御部４０、発光側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を１画面毎（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）等で構成されるフィールドメモリに格納して保持するものである。この表示信号保持制御部４０はまた、各発光セルＣＷを駆動する発光側スキャナ４１および表示信号ドライバ４２と、各受光セルＣＲを駆動する受光側スキャナ４３とが連動して動作するように制御する機能を有する。具体的には、発光側スキャナ４１には発光タイミング制御信号を出力し、受光側スキャナ４３には受光タイミング制御信号を出力し、表示信号ドライバ４２には制御信号およびフィールドメモリに保持されている表示信号に基づいて、１水平ライン分の表示信号を出力する。これらの制御信号および表示信号により、線順次動作が行われるようになっている。

発光側スキャナ４１は、表示信号保持制御部４０から出力される発光タイミング制御信号に応じて、駆動対象の発光セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された発光用ゲート線を介して発光用選択信号を供給し、発光素子選択スイッチを制御する。つまり、発光用選択信号によりある画素１６の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の発光動作がなされるようになっている。

表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の発光セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して、前述の発光側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。この発光側スキャナ４１および表示信号ドライバ４２が連動して線順次動作することにより、任意の表示データに対応する画像が入出力パネル１１に表示される。

受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて、駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の発光側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある発光セルＣＷからの出射光に基づいて接触あるいは近接する物体において反射した光を、受光セルＣＲが受光し、検出することが可能となる。また、この受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、これら受光動作に寄与するブロックを制御する機能も有する。なお、本実施の形態の情報入出力装置１においては、前述の発光用ゲート線および受光用ゲート線は各発光受光セルＣＷＲに対して別個に接続され、発光側スキャナ４１および受光側スキャナ４３はそれぞれ、独立して動作することが可能となっている。

図１に示す受光信号処理部１３は、入出力パネル１１の後段に接続されており、受光要素１１ｂからの受光信号を取り込み、信号の増幅やフィルタ処理等を行うものである。この受光信号処理部１３は、図２に示すように、受光信号レシーバ４５および受光信号保持部４６を備えている。

受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。

受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を、１画面ごと（１フィールドの表示ごと）の受光信号に再構成する機能を有する。これにより、そのような受光信号が、例えばＳＲＡＭなどから構成されるフィールドメモリに格納され、保持されるようになっている。受光信号保持部４６において格納された受光信号のデータは、画像処理部１４（図１）内の位置検出部４７へ出力される。なお、この受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。

画像処理部１４（図１）は、受光信号処理部１３の後段に接続されており、受光信号処理部１３から撮像画像を取り込んで２値化やノイズ除去、ラベリング等の処理を行い、外部近接物体の点情報を、この外部近接物体の検出点（検出領域）ごとに得る回路である。この点情報は、詳細は後述するが、外部近接物体の検出点（検出領域）の重心や中心座標などを示す位置情報や、検出点の密度を示す密度情報や、検出点の縦横比を示す縦横比情報や、検出点の面積情報などを含んでいる。

また、画像処理部１４における位置検出部４７（図２）は、画像処理部１４におけるラベリング処理部（図示せず）おいて得られた上記点情報に基づいて、検出された物体が存在する位置等を特定するようになっている。これにより、接触あるいは近接する指等の位置をフレーム単位で特定することが可能となる。

フレーム内ノイズ除去部１５１は、画像処理部１４から出力される上記点情報を用いることにより、撮像画像のフレーム内に含まれるフレーム内ノイズに対応する検出点の除去を行うものである。具体的には、上記点情報のうち、前述した密度情報、縦横比情報および面積情報を用いることにより、検出点の密度や縦横比、面積の大きさに応じて検出点ごとに、検出点に関する処理（後述する制御部２１における処理）の実行の有効または無効を判断している。なお、このフレーム内ノイズ除去部１５１におけるフレーム内ノイズ除去処理の詳細については、後述する。

フレーム間処理部１５２は、撮像画像の時間的に連続する複数フレーム間において、各検出点の点情報に基づいて、検出点同士の類似度を判断するものである。この類似度とは、点情報に含まれる位置情報や密度情報、縦横比情報、面積情報に基づき、検出点同士の距離や面積、密度、縦横比率などから総合的に算出されるパラメータである。このフレーム間処理部１５２は、この類似度が高いと判断された検出点同士ついては、同一の外部近接物体に対応する検出点同士であるものとみなし、個別の識別情報（識別ＩＤ）を用いて後述する追跡処理を行う。一方、フレーム間処理部１５２は、複数フレーム間において、他のいずれの検出点に対しても類似度が低いと判断された検出点（独立検出点）については、検出点に関する処理（後述する制御部２１における処理）の実行を一旦保留にする。そして、その後のフレームにおける類似度の判断結果に応じて、その独立検出点に関する処理を遡って実行している。このフレーム間処理部１５２からは、電子機器２０に対し、上記点情報および識別情報からなる追跡点情報と、後述するステータス情報とが出力されるようになっている。なお、このフレーム間処理部１５２におけるフレーム間処理（後述する追跡処理やフレーム補間処理、突発ノイズ除去処理など）の詳細については、後述する。

電子機器本体２０（図１）は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から上記した追跡点情報およびステータス情報を入力するようになっている。

制御部２１（図１）は、追跡点情報およびステータス情報を用いて表示画像を変化させるものであり、例えばＣＰＵ（Central Processing Unit）などにより構成されている。制御部２１は、図２に示すように、表示信号生成部４４を備えている。表示信号生成部４４は、図示しないＣＰＵ（Central Processing Unit）などにより生成されて供給された画像データに基づいて、以下の処理を行う。すなわち、そのような画像データに基づいて、例えば、１画面ごと（１フィールドの表示ごと）に表示するための表示信号を生成し、それを表示信号保持制御部４０に出力するようになっている。

［情報入出力装置１の作用・効果］
次に、図１〜図３に加えて図４〜図１４を参照して、本実施の形態の情報入出力装置１の作用および効果について説明する。

（１．画像処理動作の概要）
最初に、図４を参照して、情報入出力装置１における画像処理動作の概要について説明する。図４は、情報入出力装置１における画像処理全体の流れを表すものである。

電子機器本体２０から出力された表示データは、表示信号処理部１２に入力される。表示信号処理部１２は、表示データに基づいて入出力パネル１１に画像が表示されるように、入出力パネル１１を駆動させる。

入出力パネル１１は、バックライトからの出射光を用いて画像を表示要素１１ａに表示する一方、受光要素１１ｂを駆動している。そして、表示要素１１ａに指等の外部近接物体が接触または近接すると、表示要素１１ａに表示された画像が外部近接物体で反射されて、この反射光が受光要素１１ｂで検出される。この検出によって、受光要素１１ｂからは受光信号が出力される。そして受光信号処理部１３は、この受光信号を入力して増幅等の処理を行い、受光信号を処理する（図４のステップＳ１０）。このようにして、受光信号処理部１３において、撮像画像が得られる。

次に、画像処理部１４は、受光信号処理部１３から撮像画像を入力し、この撮像画像に対し２値化処理を行う（ステップＳ１１）。すなわち、画像処理部１４は、予め設定された閾値を記憶しており、例えば、撮像画像データの信号強度が閾値よりも小さいか、または閾値以上であるかを比較して、それぞれ「０」または「１」に設定する２値化処理を行う。これにより、外部近接物体で反射された光を受光した部分が「１」に設定され、他の部分が「０」に設定される。

そして、画像処理部１４は、２値化された撮像画像から、孤立点を除去する（ステップＳ１２）。すなわち、画像処理部１４は、上記のように２値化されている場合、外部近接物体から孤立している「１」に設定された部分を除去することにより、ノイズ除去を行う。

この後、画像処理部１４は、ラベリング処理部（図示せず）において、ラベリング処理を行う（ステップＳ１３）。すなわち、ラベリング処理部は、上記のように２値化されている場合、「１」に設定された部分に対してラベリング処理を行う。そして、ラベリング処理部は、「１」に設定された領域を外部近接物体の領域として検出し、前述した外部近接物体の検出点ごとの点情報を取得する。なお、取得された点情報は、フレーム内ノイズ除去部１５１へ出力される。

次いで、フレーム内ノイズ除去部１５１は、ラベリング処理により得られた点情報を用いることにより、以下説明するフレーム内ノイズ除去処理を行い、撮像画像のフレーム内に含まれるフレーム内ノイズに対応する検出点の除去を行う（ステップＳ１４）。具体的には、上記点情報のうち、詳細は後述する密度情報、縦横比情報および面積情報を用いることにより、検出点の密度や縦横比、面積の大きさに応じて検出点ごとに、検出点に関する処理（制御部２１における処理）の実行の有効または無効を判断する。

次に、フレーム間処理部１５２は、撮像画像の時間的に連続する複数フレーム間において、各検出点の点情報に基づいて、検出点同士の類似度を判断すると共に、その判断結果に応じて、以下説明するフレーム間処理を行う（ステップＳ１５）。このフレーム内処理とは、以下説明する追跡処理、フレーム補間処理および突発ノイズ除去処理を含む処理である。

次いで、制御部２１は、フレーム内処理部１５２から入力した追跡点情報およびステータス情報を用いて、表示画像を変化させる等の必要な処理を行う。例えば、画面に何らかの操作メニューを表示した場合を仮定すると、その操作メニューの中のどのボタンがユーザの指によって選択されたのかを検知し、その選択されたボタンに対応する命令を実行する。以上により、情報入出力装置１における画像処理動作が終了となる。

（２．フレーム内ノイズ除去処理）
次に、図５〜図９を参照して、図４に示したフレーム内ノイズ処理の詳細について説明する。図５は、このフレーム内ノイズ処理の詳細の流れを表したものである。

ここで最初に、フレーム内ノイズ処理の際に用いられる点情報について、詳細に説明する。この点情報は、外部近接物体の検出点の重心や中心座標などを示す位置情報や、検出点の密度を示す密度情報や、検出点の縦横比を示す縦横比情報や、検出点の面積情報などを含んでいる。具体的には、例えば図６に示した検出点（入力部分）＃ａでは、検出点＃ａの面積は、図中の画素データの連結部分の面積Ｓで示される。また、検出点＃ａの縦横比Ｒは、この検出点＃ａの外接矩形領域Ａの縦方向（高さ方向）の長さ（高さ）Ｈと、横方向（幅方向）の長さ（幅）Ｗとの比率で示される。ただし、２通りの比率（Ｗ／Ｈ），（Ｈ／Ｗ）のうち、ここでは、値が１未満となるほうのものを縦横比Ｒとして採用するものとする。また、ここでは、外接矩形領域Ａの四隅の位置座標を用いて、高さＨ＝（Ｙ２―Ｙ１），幅Ｗ＝（Ｘ２−Ｘ１）としている。更に、検出点＃ａの密度Ｄは、この検出点＃ａの面積Ｓとその外接矩形領域Ａの面積（Ｗ×Ｈ）との面積比（＝Ｓ／（Ｗ×Ｈ））で示される。

（２−１．面積情報を用いた除去処理）
このフレーム内ノイズ処理ではまず、フレーム内ノイズ除去部１５１において、上記した点情報のうちの面積情報を用いたフレーム内ノイズ除去処理を行う（図５のステップＳ１４１）。具体的には、例えば図７に示したように、検出点の面積の大きさに応じて検出点ごとに、検出点に関する処理（制御部２１における処理）の実行の有効または無効を判断する。ここでは、検出点＃ａ１の面積Ｓは、予め設定された所定の範囲内にあるため、検出点＃ａ１に関する処理の実行が有効になるように設定する。これにより、検出点＃ａ１はフレーム内ノイズには該当しないと判断されることになり、ノイズ除去はなされない。一方、検出点＃ａ２の面積Ｓは、予め設定された所定の範囲外にあるため、検出点＃ａ２に関する処理の実行が無効になるように設定する。これにより、検出点＃ａ２はフレーム内ノイズに該当すると判断されることになり、ノイズ除去がなされる。

（２−２．密度情報を用いた除去処理）
次に、フレーム内ノイズ除去部１５１において、上記した点情報のうちの密度情報を用いたフレーム内ノイズ除去処理を行う（ステップＳ１４２）。具体的には、例えば図８に示したように、検出点の密度Ｄの大きさに応じて検出点ごとに、検出点に関する処理（制御部２１における処理）の実行の有効または無効を判断する。ここでは、検出点＃ａ２，＃ｂ２，＃ｃ２（外接矩形領域Ａａ，Ａｂ，Ａｃ）の密度Ｄは、予め設定された所定の範囲（ここでは、５０％≦Ｄ≦１００％）内にある（それぞれ、Ｄ＝７５％，８０％，８０％）。そのため、検出点＃ａ２，＃ｂ２，＃ｃ２に関する処理の実行が有効になるように設定する。これにより、検出点＃ａ２，＃ｂ２，＃ｃ２はフレーム内ノイズには該当しないと判断されることになり、ノイズ除去はなされない。一方、検出点＃ｄ２の密度Ｄは、予め設定された所定の範囲（５０％≦Ｄ≦１００％）外にあるため（Ｄ＝３０％）、検出点＃ｄ２に関する処理の実行が無効になるように設定する。これにより、検出点＃ｄ２はフレーム内ノイズに該当すると判断されることになり、ノイズ除去がなされる。

（２−３．縦横比情報を用いた除去処理）
次に、フレーム内ノイズ除去部１５１において、上記した点情報のうちの縦横比情報を用いたフレーム内ノイズ除去処理を行う（ステップＳ１４３）。具体的には、例えば図９に示したように、検出点の縦横比Ｒの大きさに応じて検出点ごとに、検出点に関する処理（制御部２１における処理）の実行の有効または無効を判断する。ここでは、検出点＃ａ２，＃ｄ２の縦横比Ｒは、予め設定された所定の範囲（ここでは、５０％≦Ｒ≦１００％）内にある（いずれも、Ｒ＝１００）。そのため、検出点＃ａ２，＃ｄ２に関する処理の実行が有効になるように設定する。これにより、検出点＃ａ２，＃ｄ２はフレーム内ノイズには該当しないと判断されることになり、ノイズ除去はなされない。一方、検出点＃ｂ２，＃ｄ２の縦横比Ｒは、予め設定された所定の範囲（５０％≦Ｒ≦１００％）外にあるため（いずれも、Ｒ＝２０％）、検出点＃ｂ２，＃ｃ２に関する処理の実行が無効になるように設定する。これにより、検出点＃ｂ２，＃ｃ２はフレーム内ノイズに該当すると判断されることになり、ノイズ除去がなされる。

このようにして、ステップＳ１４１〜Ｓ１４３に示したフレーム内ノイズ除去処理を行うことにより、フレーム内ノイズの除去が効果的になされ、検出点に関する処理（制御部２１における処理）が適切に実行されることになる。

（３．フレーム間処理）
次に、図１０〜図１４を参照して、図４に示したフレーム間処理の詳細について説明する。図１０は、このフレーム間処理の詳細の流れを表したものである。

（３−１．追跡・統合処理）
まず、フレーム間処理部１５２は、現在の直前フレームの各検出点（追跡点）における追跡点情報（点情報＋識別情報）と、現在のフレームの各検出点（入力部分）における点情報との類似度を計算する（図１０のステップＳ１５１）。この類似度とは、点情報に含まれる位置情報や密度情報、縦横比情報、面積情報に基づき、検出点同士の距離や面積、密度、縦横比率などから総合的に算出されるパラメータである。そして、フレーム間処理部１５２は、類似度が高いと判断された検出点同士（現在のフレームの検出点と直前フレームの追跡点）ついては、同一の外部近接物体に対応する検出点同士であるものとみなし、以下説明する統合（マージ）処理を行う（ステップＳ１５２）。そして、統合の対象となった検出点および追跡点に対して個別の識別情報（識別ＩＤ）を付与し、この識別ＩＤを用いてその後のフレームにおいて追跡処理を行う。なお、このとき、必要に応じて、類似度が高いと判断された検出点同士のステータス情報を、「有効（Normal）」に設定するようにしてもよい。

具体的には、例えば撮像画像の任意のＮフレームにおいて、図１１（Ａ）に示したような３つの検出点（追跡点）＃１〜＃３が存在すると共に、その直後の（Ｎ＋１）フレームにおいて、図１１（Ｂ）に示したような４つの検出点（入力部分）＃ａ〜＃ｄが存在しているものとする。すると、これらＮフレームおよび（Ｎ＋１）フレームの撮像画像同士を重ね合わせると、図１１（Ｃ）に示したようになる。

この場合、ステップＳ１５１では、３つの検出点（追跡点）＃１〜＃３と４つの検出点（入力部分）＃ａ〜＃ｄとの間同士で、上記した類似度の計算をそれぞれ行う。そして、ここでは、図１１（Ｃ）に示したように、検出点（追跡点）＃１と検出点（入力部分）＃ｂとの間、および検出点（追跡点）＃３と検出点（入力部分）＃ｄとの間において、類似度が高いと判断されることになる。したがって、ステップＳ１５２では、検出点＃１および検出点＃ｂ同士と、検出点＃３および検出点＃ｄ同士とのそれぞれに対し、統合（マージ）処理を行い、個別の識別ＩＤを付与すると共に、この識別ＩＤを用いてその後のフレームにおいて追跡処理を行う。

（３−２．フレーム補間処理）
一方、次に、フレーム間処理部１５２は、上記した統合処理の対象とならなかった追跡点を削除する（ステップＳ１５３）。すなわち、現在のフレームにおいて、その直前のフレームとの間で類似度が高い検出点が存在しないと判断されることにより、直前のフレームにおいて新たに判断された独立検出点を削除する。具体的には、図１１（Ｃ）に示した例では、検出点（追跡点）＃２を削除する。

ただし、このとき、フレーム間処理部１５２は、例えば図１２に示したようにして、フレーム補間処理を行い、そのような追跡点（独立検出点）をすぐには削除しないようにする。具体的には、そのような追跡点（独立検出点）に対して、「保持（Hold）」を示すステータス情報を付与すると共に、その独立検出点についての点情報および識別ＩＤを一旦保持しておくようにする。そして、その後のフレームにおける類似度の判断結果に応じて、現在のフレームにおいて、保持しておいた点情報および識別情報ＩＤを用いて検出点のフレーム補間処理を行う。すなわち、例えば図１２に示した例では、撮像画像の（Ｎ＋２）フレームにおいて、「有効（Normal）」を示すステータス状態であった検出点＃１１が、次の（Ｎ＋３）フレームにおいて存在しないと判断されている。これにより、（Ｎ＋３）フレームにおける検出点（追跡点）＃１１は、最初に、「保持（Hold）」を示すステータス情報が付与されると共に、点情報および識別ＩＤが一旦保持される。そして、次の（Ｎ＋４）フレームにおいて、再び検出点（追跡点）＃１１と類似度の高い検出点が存在すると判断されることにより、（Ｎ＋３）フレームにおいて、検出点（追跡点）＃１１のフレーム補間処理が遡って行われる。これにより、この（Ｎ＋３）フレームにおける検出点の欠落が回避され、情報の有効活用が可能となる。なお、このフレーム補間処理の際には、例えばステータス状態が「未決定（Stealth）」であった追跡点については、すぐに削除されることになる。

（３−３．突発ノイズ除去処理）
次に、フレーム間処理部１５２は、上記した統合処理の対象とならなかった検出点（入力部分）を、新規作成された追跡点として登録を行う（ステップＳ１５４）。すなわち、複数フレーム間において、他のいずれの検出点に対しても類似度が低いと判断された検出点（独立検出点）については、例えば図１１（Ｃ）に示した検出点（入力部分）＃ａ，＃ｃのように新規登録を行い、新たな識別ＩＤを付与する。

ただし、このとき、フレーム間処理部１５２は、例えば図１３に示したようにして、突発ノイズ除去処理を行い、そのような検出点（独立検出点）についてすぐには新規登録を行わず、ステータス状態を「未決定（Stealth）」に設定する。すなわち、現在のフレームにおいて新たに判断された独立検出点については、未決定状態を示すステータス情報を付与することにより、その独立検出点に関する処理（制御部２１における処理）の実行を一旦保留にする。そして、その後のフレームにおける類似度の判断結果に応じて、その独立検出点に関する処理を遡って実行する。具体的には、図１３（Ａ）に示した例では、撮像画像の（Ｎ＋１），（Ｎ＋３）フレームにおいて、検出点（入力部分）＃２１が新たに検出されている。この場合、それぞれのフレームの検出点（入力部分）＃２１に対し、ステータス状態が「未決定（Stealth）」に設定される。一方、図１３（Ｂ）に示した例では、撮像画像の（Ｎ＋１）フレームにおいて、検出点（入力部分）＃２２が新たに検出されている。この場合、この（Ｎ＋１）フレームの検出点＃２２に対し、ステータス状態が「未決定（Stealth）」に設定される。そして、その後の（Ｎ＋１）フレームにおける類似度の判断結果により、（Ｎ＋１），（Ｎ＋２）フレームにおける検出点同士の類似度が高いと判断されたため、（Ｎ＋１）フレームにおける検出点（入力部分）＃２２のステータス情報が、遡って「有効（Normal）」に設定されている。このようにして、独立検出点に対して「未決定（Stealth）」を示すステータス情報を付与することにより、アプリケーション（制御部１２）側において、突発ノイズかもしれない情報を無視することが可能となる。なお，図１３では、１フレーム目のみを、未決定を示すステータス情報に設定しているが、いくつのフレームまでを未決定とするかは、ユーザが任意に変えることができる。

ただし、例えば図１３（Ｂ）および図１４（Ａ）に示したように、このような突発ノイズ除去処理を行うと、そのままではイベント（制御部２１における処理）を発生させる際に、時間的な遅延が生じてしまう。そこで、フレーム間処理部１５２は、例えば図１４（Ｂ）に示したように、新たに判断された独立検出点に対して「未決定（Stealth）」を示すステータス情報を付与する際に、その独立検出点についての点情報および識別情報を一旦保持しておくようにするのが好ましい。これにより、その後のフレームにおいて、保持しておいた点情報および識別情報を用いてイベント（制御部２１における処理）を発生させることができるため、上記したような時間的な遅延が回避される。

このようにして、ステップＳ１５１〜Ｓ１５４に示したフレーム間処理を行うことにより、例えばフレーム間でのノイズの発生やフレーム間での情報の欠落等に起因して独立検出点が生じた場合であっても、その独立検出点に関する処理の実行が一旦保留にされる。そして、その後のフレームにおける類似度の判断結果に応じて遡って実行されるため、検出点に関する処理（制御部２１における処理）がより適切に実行されることになる。

以上のように本実施の形態では、フレーム内ノイズ除去部１５１において、画像処理部１４から出力される点情報のうちの密度情報、縦横比情報および面積情報を用いることにより、検出点の密度や縦横比、面積の大きさに応じて検出点ごとに、検出点に関する処理（制御部２１における処理）の実行の有効または無効を判断し、撮像画像のフレーム内に含まれるフレーム内ノイズに対応する検出点の除去を行うようにしたので、そのようなフレーム内ノイズの除去も効果的に行うことができる。よって、使用状況によらず、外部近接物体に関する情報を従来と比べて確実に入力することが可能となる。

また、フレーム間処理部１５２では、互いに異なる複数フレーム間（撮像画像の時間的に連続する複数フレーム間）において、各検出点の点情報に基づいて検出点同士の類似度を判断すると共に、その判断結果に応じてフレーム間処理（追跡処理、フレーム補間処理および突発ノイズ除去処理を含む処理）を行う。具体的には、複数フレーム間において、他の検出点に対して類似度が低いと判断された検出点である独立検出点については、検出点に関する処理（制御部２１における処理）の実行を一旦保留し、その後のフレームにおける類似度の判断結果に応じてその独立検出点に関する処理を遡って実行する。これにより、上記のようなフレーム内ノイズの発生に加え、例えばフレーム間でのノイズの発生やフレーム間での情報の欠落等に起因して独立検出点が生じた場合であっても、検出点に関する処理を適切に実行することができる。よって、使用状況によらず、外部近接物体に関する情報を更に確実に入力することが可能となる。

＜変形例＞
次に、本発明の変形例をいくつか挙げて説明する。なお、上記実施の形態と同様の構成要素については、同一の符号を付し、適宜説明を省略する。

（変形例１）
図１５は、本発明の変形例１に係る情報入出力装置２のブロック構成を表したものである。この情報入出力装置２は、上記実施の形態に係る情報入出力装置１と比較して、画像処理部１４、フレーム内ノイズ処理部１５１およびフレーム間処理部１５２が、電子機器本体２０に設けられた点が異なっている。すなわち、この情報入出力装置２では、表示信号処理部１２、入出力パネル１１および受光信号処理部１３が、ディスプレイ１０に設けられている。また、制御部２１、画像処理部１４、フレーム内ノイズ処理部１５１およびフレーム間処理部１５２が、電子機器本体２０に設けられている。このような情報入出力装置２であっても、上記実施の形態の情報入出力装置１と同様の効果を奏することができる。

（変形例２，３）
これまでは、複数の表示要素１１ａと複数の受光要素１１ｂとを有する入出力パネル１１（光学式タッチセンサを含んで構成されたもの）を備えた情報入出力装置１，２等を例に挙げて本発明を説明したが、本発明は、他の方式の入出力パネルにも適用可能である。

（変形例２）
図１６は、本発明の変形例２に係る入出力パネル５（接触式タッチセンサを含んで構成されたもの）において、画素Ｐｘにおける断面構造を表すものである。この入出力パネル５は、第１基板５０と、第２基板６０と、液晶分子７１を含む液晶層７０とを備えている。第１基板５０は、ガラス基板５０Ａ、ゲート絶縁膜５１Ａ、第１層間絶縁膜１２Ａ、シグナルラインＳＬ、第２層間絶縁膜５２Ｂ、コモン電極５３、第３層間絶縁膜５２Ｃおよび画素電極５４（第１センサ電極）を有している。第２基板６０は、ガラス基板６０Ａ、カラーフィルタ６１および対向センサ電極６２（第２センサ電極）を有している。すなわち、入出力パネル５内には、画素電極５４と対向センサ電極６２とにより接触型タッチセンサが構成されている。ここで、画素電極５４は、例えば、複数のエッジ５４Ｂを含む断面形状となっている。エッジ５４Ｂでは配向膜（図示せず）が薄くなる傾向があり、エッジ５４Ｂが配向膜から露出している。また、エッジ５４Ｂに対向して、対向センサ電極６２（スリット６２Ａおよびパターン６２Ｂからなる）が配置されている。これにより、第２基板６０がたわむと、対向センサ電極６２は画素電極５４の露出したエッジ５４Ｂに接触し、直接導通がとれるので、位置検出の不安定性が抑えられる。特に、この入出力パネル５がＦＦＳ（Fringe Field Switching）方式の液晶表示パネルの場合には、画素電極５４がもともと複数のスリット５４Ａを含む平面形状を有することから、開口率を低下させることなく位置検出性能を高めることが可能となる。

（変形例３）
図１７は、本発明の変形例３に係る入出力パネル８（静電容量式タッチセンサを含んで構成されたもの）の要部断面構造を表すものである。この入出力パネル８は、表示素子として液晶表示素子を用いると共に、この液晶表示素子に元々備えられている電極の一部（後述する共通電極８４３）および表示用駆動信号（後述するコモン駆動信号Ｖcom）を兼用して静電容量型タッチセンサを構成したものである。この入出力パネル８は、画素基板８２と、この画素基板８２に対向して配置された対向基板８４と、画素基板８２と対向基板８４との間に挿設された液晶層８６とを備えている。

画素基板８２は、回路基板としてのＴＦＴ基板８２１と、このＴＦＴ基板８２１上にマトリクス状に配設された複数の画素電極８２２とを有する。ＴＦＴ基板８２１には、各画素電極８２２を駆動するための表示ドライバやＴＦＴ（薄膜トランジスタ）の他、各画素電極に画像信号を供給するソース線や、各ＴＦＴを駆動するゲート線等の配線が形成されている（いずれも図示せず）。ＴＦＴ基板８２１にはまた、タッチ検出動作を行う検出回路が形成されていてもよい。

対向基板８４は、ガラス基板８４１と、このガラス基板８４１の一方の面に形成されたカラーフィルタ８４２と、このカラーフィルタ８４２の上に形成された共通電極８４３とを有する。カラーフィルタ８４２は、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色のカラーフィルタ層を周期的に配列して構成したもので、各表示画素（画素電極８２２）ごとにＲ、Ｇ、Ｂの３色が１組として対応付けられている。共通電極８４３は、タッチ検出動作を行うタッチセンサの一部を構成するセンサ用駆動電極としても兼用されるものである。

共通電極８４３は、コンタクト導電柱８７によってＴＦＴ基板８２１と連結されている。このコンタクト導電柱８７を介して、ＴＦＴ基板８２１から共通電極８４３に交流矩形波形のコモン駆動信号Ｖcomが印加されるようになっている。このコモン駆動信号Ｖcomは、画素電極８２２に印加される画素電圧とともに各画素の表示電圧を画定するものであるが、タッチセンサの駆動信号としても兼用されるものである。すなわち、このコモン駆動信号Ｖcomは、所定の周期ごとに極性反転するものとなっている。

ガラス基板８４１の他方の面には、センサ用検出電極（タッチ検出電極）８４４が形成され、さらに、このセンサ用検出電極８４４の上には、偏光板８４５が配設されている。センサ用検出電極８４４は、タッチセンサの一部を構成するものである。

液晶層８６は、電界の状態に応じてそこを通過する光を変調するものであり、例えば、ＴＮ（ツイステッドネマティック）、ＶＡ（垂直配向）、ＥＣＢ（電界制御複屈折）等の各種モードの液晶が用いられる。

なお、液晶層８６と画素基板８２との間、および液晶層８６と対向基板８４との間には、それぞれ配向膜が配設され、また、画素基板８２の下面側には入射側偏光板が配置されるが、ここでは図示を省略している。

この入出力パネル８では、対向基板８４の表面のいずれかの場所にユーザの指等が接触または近接すると、そのタッチ箇所に元々形成されている容量素子に、指による容量素子が付加される。その結果、そのタッチ箇所がスキャンされた時点（すなわち、共通電極８４３の電極パターンのうち、そのタッチ箇所に対応する電極パターンにコモン駆動信号Ｖcomが印加されたとき）の検出信号Ｖdetの値が、他の箇所よりも小さくなる。検出回路は、この検出信号Ｖdetをしきい値電圧Ｖthと比較して、しきい値電圧Ｖth未満の場合に、その箇所をタッチ箇所として判定することができる。なお、このタッチ箇所は、コモン駆動信号Ｖcomの印加タイミングと、しきい値電圧Ｖth未満の検出信号Ｖdetの検出タイミングとから割り出すことができる。

＜適用例＞
次に、図１８〜図２２を参照して、上記実施の形態および変形例で説明した情報入出力装置の適用例について説明する。上記実施の形態等の情報入出力装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなどのあらゆる分野の電子機器に適用することが可能である。言い換えると、上記実施の形態等の情報入出力装置は、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。

（適用例１）
図１８は、上記実施の形態等の情報入出力装置が適用されるテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例２）
図１９は、上記実施の形態等の情報入出力装置が適用されるデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例３）
図２０は、上記実施の形態等の情報入出力装置が適用されるノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例４）
図２１は、上記実施の形態等の情報入出力装置が適用されるビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有している。そして、その表示部５４４は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例５）
図２２は、上記実施の形態等の情報入出力装置が適用される携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態等に係る情報入出力装置により構成されている。

＜その他の変形例＞
以上、いくつかの実施の形態、変形例および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されず、種々の変形が可能である。

例えば、上記実施の形態等で説明したステップＳ１４１〜Ｓ１４３の各処理を行う順番は、図５に示した順番には限られず、任意の順番で行うようにしてもよい。また、これらステップＳ１４１〜Ｓ１４３の各処理を全て行う場合には限られず、ステップＳ１４２（密度情報を用いたフレーム内除去処理）およびステップＳ１４３（縦横比情報を用いたフレーム内除去処理）のうちの少なくとも一方の処理を行うようにしてもよい。同様に、上記実施の形態等で説明したステップＳ１５１〜Ｓ１５４の各処理を行う順番は、図１０に示した順番には限られず、例えば、ステップＳ１５３，Ｓ１５４の２つの処理を行う順番が逆になるようにしてもよい。また、これらステップＳ１５１〜Ｓ１５４の各処理を全て行う場合には限られず、場合によっては、これらステップＳ１５１〜Ｓ１５４の全ての処理を行わないようにしてもよい。更に、上記実施の形態等で説明した点情報としては、位置情報、密度情報、縦横比情報および面積情報の全てを含んでいる必要はなく、位置情報と、密度情報および縦横比情報のうちの少なくとも一方とを含んでいるようにしてもよい。

また、上記実施の形態等では、制御部２１が電子機器本体２０内に設けられている場合について説明したが、制御部２１をディスプレイ１０内に設けるようにしてもよい。

更に、図２および図３に示した例では、１つの発光セルに対応して１つの受光セルを設けるようにしたが、複数の発光セルに対応して１つの受光セルを設けるようにしてもよい。

加えて、上記実施の形態等では、同一基板上において表示パネルとタッチセンサ（タッチパネル）とが一体的に設けられた（入出力パネルが設けられた）情報入出力装置について説明したが、この場合には限られない。すなわち、本発明は、例えば表示装置の外側にタッチセンサが設けられた情報入出力装置（外付け型のタッチセンサを備えたもの）にも適用することが可能である。

加えてまた、上記実施の形態等では、入出力パネルとして、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の情報入出力装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素１１ａと受光要素１１ｂとを有することになる。入出力パネル１１は、有機ＥＬ素子を画素１６毎に配置することで構成され、表示データに応じて各有機ＥＬ素子に順方向バイアス電圧を印加して発光動作をさせると画像を表示し、他の有機ＥＬ素子に逆方向バイアス電圧を印加して反射光を受光することになる。

加えて更に、上記実施の形態では、複数の表示要素と複数の受光要素とを有する（外部近接物体を検出する検出機能と画像表示機能とを有する）入出力パネルを備えた情報入出力装置を例に挙げて本発明を説明したが、この場合には限られない。具体的には、本発明は、複数の受光要素を有する（外部近接物体を検出する検出機能を有する）入力パネルを備えた情報入力装置（撮像装置）にも適用することが可能である。すなわち、そのような入力パネルと、制御部２１により生成された表示データに基づく画像表示を行う出力パネル（表示パネル）とを、別々に設けるようにしてもよい。

更にまた、上記実施の形態等において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。

１，２…情報入出力装置、１０…ディスプレイ、１１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１２…表示信号処理部、１３…受光信号処理部、１４…画像処理部、１５１…フレーム内ノイズ除去部、１５２…フレーム間処理部、１６…画素、２０…電子機器本体、２１…制御部、５…入出力パネル、５０…第１基板、５４…画素電極、６０…第２基板、６２…対向センサ電極、７０…液晶層、８…入出力パネル、８２…画素基板、８４…対向基板、８６…液晶層、＃ａ，＃ａ１，＃ａ２，＃ｂ，＃ｂ１，＃ｂ２，＃ｃ，＃ｃ２，＃ｄ，＃ｄ２…入力部分（検出点）、＃１〜＃４…追跡点（検出点）、Ａ，Ａａ〜Ａｄ…外接矩形領域、Ｘ１，Ｘ２，Ｙ１，Ｙ２…外接矩形領域の位置座標、Ｗ…外接矩形領域の幅、Ｈ…外接矩形領域の高さ、Ｓ…入力部分の面積、Ｄ…入力部分の密度、Ｒ…入力部分の縦横比。

Claims (18)

1. 外部近接物体をフレーム単位で検出する検出機能を有する入力パネルと、
   前記入力パネルにより得られる前記外部近接物体の検出信号に基づき、前記外部近接物体の検出点ごとに、前記検出点の位置情報と、前記検出点の面積とその検出点の外接矩形領域の面積との面積比に対応する前記検出点の密度を示す密度情報と、前記検出点の外接矩形領域における縦方向と横方向との長さ比に対応する前記検出点の縦横比を示す縦横比情報と、を含む点情報を取得する位置検出部と、
   前記点情報のうちの前記密度情報及び前記縦横比情報を用いることにより、前記検出点の密度の大きさ及び前記検出点の縦横比の大きさに応じて前記検出点ごとに、前記検出点に関する処理の実行の有効または無効を判断するノイズ除去部と
   を備えた情報入力装置。
2. 互いに異なる複数フレーム間において、前記各検出点の点情報に基づいて検出点同士の類似度を判断すると共に、この類似度が高いと判断された検出点同士については、同一の外部近接物体に対応する検出点同士であるものとみなし、個別の識別情報を用いて追跡処理を行うフレーム間処理部を更に備えた
   請求項１に記載の情報入力装置。
3. 前記入力パネルが、撮像面に沿って配列され、前記外部近接物体で反射された光を受光する複数の受光要素を有するものである
   請求項１に記載の情報入力装置。
4. 前記入力パネルが、
   液晶層を間にして互いに対向する第１基板および第２基板と、
   前記第１基板と前記第２基板との間に形成され、前記第２基板のたわみにより接触可能な第１センサ電極および第２センサ電極と
   を有すると共に、
   前記第１センサ電極および前記第２センサ電極の接触による電位の変化を読み取ることにより、前記外部近接物体の位置に応じた前記第２基板のたわみ位置を検出するものである
   請求項１に記載の情報入力装置。
5. 前記入力パネルが、
   タッチ駆動電極と、
   前記タッチ駆動電極と対向して、または並んで設けられ、前記タッチ駆動電極との間に静電容量を形成するタッチ検出電極と、
   前記タッチ駆動電極にタッチセンサ用駆動信号を印加することにより前記タッチ検出電極から得られる検出信号に基づき、前記外部近接物体が接触または近接する位置を検出するタッチ検出回路と
   を有するものである
   請求項１に記載の情報入力装置。
6. 外部近接物体をフレーム単位で検出する検出機能を有する入力パネルにより得られる前記外部近接物体の検出信号に基づき、前記外部近接物体の検出点ごとに、前記検出点の位置情報と、前記検出点の面積とその検出点の外接矩形領域の面積との面積比に対応する前記検出点の密度を示す密度情報と、前記検出点の外接矩形領域における縦方向と横方向との長さ比に対応する前記検出点の縦横比を示す縦横比情報と、を含む点情報を取得し、
   前記点情報のうちの前記密度情報及び前記縦横比情報を用いることにより、前記検出点の密度の大きさ及び前記検出点の縦横比の大きさに応じて前記検出点ごとに、前記検出点に関する処理の実行の有効または無効を判断する
   情報入力方法。
7. 外部近接物体をフレーム単位で検出する検出機能と画像表示機能とを有する入出力パネルと、
   前記入出力パネルにより得られる前記外部近接物体の検出信号に基づき、前記外部近接物体の検出点ごとに、前記検出点の位置情報と、前記検出点の面積とその検出点の外接矩形領域の面積との面積比に対応する前記検出点の密度を示す密度情報と、前記検出点の外接矩形領域における縦方向と横方向との長さ比に対応する前記検出点の縦横比を示す縦横比情報と、を含む点情報を取得する位置検出部と、
   前記点情報のうちの前記密度情報及び前記縦横比情報を用いることにより、前記検出点の密度の大きさ及び前記検出点の縦横比の大きさに応じて前記検出点ごとに、前記検出点に関する処理の実行の有効または無効を判断するノイズ除去部と
   を備えた情報入出力装置。
8. 前記入出力パネルが、
   表示面に沿って配列され、画像データに基づいて画像を表示する複数の表示要素と、
   前記表示面に沿って配列され、前記表示面から出射されて前記外部近接物体で反射された光を受光する複数の受光要素と
   を有するものである
   請求項７に記載の情報入出力装置。
9. 前記入出力パネルが、
   第１基板および第２基板の間に液晶層を有する表示パネルと、
   前記表示パネル内に形成され、前記第２基板のたわみにより接触可能な第１センサ電極および第２センサ電極と
   を有すると共に、
   前記第１センサ電極および前記第２センサ電極の接触による電位の変化を読み取ることにより、前記外部近接物体の位置に応じた前記第２基板のたわみ位置を検出し、前記表示パネルにおいて画像表示を行うものである
   請求項７に記載の情報入出力装置。
10. 複数の表示画素電極と、
    前記表示画素電極と対向して設けられた共通電極と、
    画像表示機能を有する表示機能層と、
    画像信号に基づいて、前記表示画素電極と前記共通電極との間に表示用電圧を印加して前記表示機能層の表示機能を発揮させるように画像表示制御を行う表示制御回路と、
    前記共通電極と対向して、または並んで設けられ、前記共通電極との間に静電容量を形成するタッチ検出電極と、
    前記表示制御回路により前記共通電極に印加される表示用駆動電圧をタッチセンサ用駆動信号として利用し、前記タッチ検出電極から得られる検出信号に基づき、前記外部近接物体が接触または近接する位置の検出動作を行うタッチ検出回路と
    を有するものである
    請求項７に記載の情報入出力装置。
11. 外部近接物体をフレーム単位で検出する検出機能を有する入力パネルにより得られる前記外部近接物体の検出信号に基づき、前記外部近接物体の検出点ごとに、前記検出点の位置情報と、前記検出点の面積とその検出点の外接矩形領域の面積との面積比に対応する前記検出点の密度を示す密度情報と、前記検出点の外接矩形領域における縦方向と横方向との長さ比に対応する前記検出点の縦横比を示す縦横比情報と、を含む点情報を取得するステップと、
    前記点情報のうちの前記密度情報及び前記縦横比情報を用いることにより、前記検出点の密度の大きさ及び前記検出点の縦横比の大きさに応じて前記検出点ごとに、前記検出点に関する処理の実行の有効または無効を判断するステップと
    をコンピュータに実行させる情報入力プログラム。
12. 外部近接物体に関する情報を入力する情報入力装置を備え、
    前記情報入力装置は、
    前記外部近接物体をフレーム単位で検出する検出機能を有する入力パネルと、
    前記入力パネルにより得られる前記外部近接物体の検出信号に基づき、前記外部近接物体の検出点ごとに、前記検出点の位置情報と、前記検出点の面積とその検出点の外接矩形領域の面積との面積比に対応する前記検出点の密度を示す密度情報と、前記検出点の外接矩形領域における縦方向と横方向との長さ比に対応する前記検出点の縦横比を示す縦横比情報と、を含む点情報を取得する位置検出部と、
    前記点情報のうちの前記密度情報及び前記縦横比情報を用いることにより、前記検出点の密度の大きさ及び前記検出点の縦横比の大きさに応じて前記検出点ごとに、前記検出点に関する処理の実行の有効または無効を判断するノイズ除去部と
    を有する電子機器。
13. 外部近接物体をフレーム単位で検出する検出機能を有する入力パネルと、
    前記入力パネルにより得られる前記外部近接物体の検出信号に基づき、前記外部近接物体の検出点ごとに、前記検出点の位置情報と、前記検出点の外接矩形領域における縦方向と横方向との長さ比に対応する前記検出点の縦横比を示す縦横比情報と、を含む点情報を取得する位置検出部と、
    前記点情報のうちの前記縦横比情報を用いることにより、前記検出点の縦横比の大きさに応じて前記検出点ごとに、前記検出点に関する処理の実行の有効または無効を判断するノイズ除去部と
    を備えた情報入力装置。
14. 互いに異なる複数フレーム間において、前記各検出点の点情報に基づいて検出点同士の類似度を判断すると共に、この類似度が高いと判断された検出点同士については、同一の外部近接物体に対応する検出点同士であるものとみなし、個別の識別情報を用いて追跡処理を行うフレーム間処理部を更に備えた
    請求項１３に記載の情報入力装置。
15. 外部近接物体をフレーム単位で検出する検出機能を有する入力パネルにより得られる前記外部近接物体の検出信号に基づき、前記外部近接物体の検出点ごとに、前記検出点の位置情報と、前記検出点の外接矩形領域における縦方向と横方向との長さ比に対応する前記検出点の縦横比を示す縦横比情報と、を含む点情報を取得し、
    前記点情報のうちの前記縦横比情報を用いることにより、前記検出点の縦横比の大きさに応じて前記検出点ごとに、前記検出点に関する処理の実行の有効または無効を判断する
    情報入力方法。
16. 外部近接物体をフレーム単位で検出する検出機能と画像表示機能とを有する入出力パネルと、
    前記入出力パネルにより得られる前記外部近接物体の検出信号に基づき、前記外部近接物体の検出点ごとに、前記検出点の位置情報と、前記検出点の外接矩形領域における縦方向と横方向との長さ比に対応する前記検出点の縦横比を示す縦横比情報と、を含む点情報を取得する位置検出部と、
    前記点情報のうちの前記縦横比情報を用いることにより、前記検出点の縦横比の大きさに応じて前記検出点ごとに、前記検出点に関する処理の実行の有効または無効を判断するノイズ除去部と
    を備えた情報入出力装置。
17. 外部近接物体をフレーム単位で検出する検出機能を有する入力パネルにより得られる前記外部近接物体の検出信号に基づき、前記外部近接物体の検出点ごとに、前記検出点の位置情報と、前記検出点の外接矩形領域における縦方向と横方向との長さ比に対応する前記検出点の縦横比を示す縦横比情報と、を含む点情報を取得するステップと、
    前記点情報のうちの前記縦横比情報を用いることにより、前記検出点の縦横比の大きさに応じて前記検出点ごとに、前記検出点に関する処理の実行の有効または無効を判断するステップと
    をコンピュータに実行させる情報入力プログラム。
18. 外部近接物体に関する情報を入力する情報入力装置を備え、
    前記情報入力装置は、
    前記外部近接物体をフレーム単位で検出する検出機能を有する入力パネルと、
    前記入力パネルにより得られる前記外部近接物体の検出信号に基づき、前記外部近接物体の検出点ごとに、前記検出点の位置情報と、前記検出点の外接矩形領域における縦方向と横方向との長さ比に対応する前記検出点の縦横比を示す縦横比情報と、を含む点情報を取得する位置検出部と、
    前記点情報のうちの前記縦横比情報を用いることにより、前記検出点の縦横比の大きさに応じて前記検出点ごとに、前記検出点に関する処理の実行の有効または無効を判断するノイズ除去部と
    を有する電子機器。
    
    

Images