JP5560095B2

JP5560095B2 - 物体近接検出装置、物体近接検出方法および物体近接検出プログラム

Info

Publication number: JP5560095B2
Application number: JP2010119148A
Authority: JP
Inventors: 亮一津崎; 和範山口
Original assignee: Japan Display Inc
Current assignee: Japan Display Inc
Priority date: 2009-05-26
Filing date: 2010-05-25
Publication date: 2014-07-23
Anticipated expiration: 2030-05-25
Also published as: US8482538B2; TW201102893A; US20130285988A1; KR20100127704A; CN101901084A; EP2256597A1; TWI425400B; US20100302203A1; EP2256597B1; US9176625B2; JP2011008777A

Description

本発明は、入力パネルへの物体の近接を検出する物体近接検出装置、物体近接検出方法および物体近接検出プログラムに関する。

画像表示装置には、タッチパネルを備えたものがある。このタッチパネルには、電極の接触位置を検知する接触型や、静電容量の変化を利用した静電容量型のほか、光学的に指等を検知する光学型のものがある。

光学型タッチパネルは、例えば、バックライトからの光を液晶素子で変調して画像を表示面に表示すると共に、表示面から出射されて指等の外部近接物体によって反射された光を、表示面に配列された受光素子によって受光し、外部近接物体の位置等を検出するものである。このような画像表示装置について記載したものとしては、例えば特許文献１が挙げられる。特許文献１に記載された表示装置は、画像を表示する表示手段と、物体を撮像する撮像手段とを有する表示部を備えたものである。

特開２００８−１４６１６５号公報

ところで、上記のようなタッチパネルでは、外部近接物体に関する位置等の情報を取得（入力）する際に、情報を確実に入力するため、ノイズをできるだけ除去（低減）できるようにすることが考えられる。しかしながら、そのようなノイズの除去（低減）を行うための回路等を設けたり、ソフトウェアを用いた画像処理中においてノイズ除去（低減）処理を行った場合でも、周囲の環境等に応じた使用状況により、ノイズを効果的に取りきれない場合があった。また、使用状況に応じて何らかの原因により、一部の期間において情報の欠落等が生じた場合も、従来の手法では、情報を十分な程度に確実に入力することが困難であった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず、外部近接物体に関する情報を従来よりも確実に入力することを可能とする物体近接検出装置、物体近接検出方法および物体近接検出プログラムを提供することにある。

本発明の物体近接検出装置は、少なくとも１つの検出エレメントを含む入力パネルと、少なくとも１つの検出回路とを備えたものである。この検出回路は、入力パネルへの物体の近接の可能性を示す第１の情報を第１の入力フレームから求め、入力パネルへの物体の近接の可能性を示す第２の情報を、第１の入力フレームの後に生成された第２の入力フレームから求め、入力パネルへの物体の近接の可能性を示す第３の情報を、第２の入力フレームの後に生成された第３の入力フレームから求め、第１の情報と第２の情報とが類似していない場合に、少なくとも第３の情報に基づいて、入力パネルへの物体の近接が第２の入力フレームについて検出されたか否かを決定する。

本発明の物体近接検出方法は、少なくとも１つの検出エレメントを含む入力パネルへの物体の近接の可能性を示す第１の情報を、第１の入力フレームから求めるステップと、入力パネルへの物体の近接の可能性を示す第２の情報を、第１の入力フレームの後に生成された第２の入力フレームから求めるステップと、入力パネルへの物体の近接の可能性を示す第３の情報を、第２の入力フレームの後に生成された第３の入力フレームから求めるステップと、第１の情報と第２の情報とが類似していない場合に、少なくとも第３の情報に基づいて、入力パネルへの物体の近接が第２の入力フレームについて検出されたか否かを決定するステップとを含むようにしたものである。

本発明の物体近接検出プログラムは、少なくとも１つの検出エレメントを含む入力パネルへの物体の近接の可能性を示す第１の情報を、第１の入力フレームから求めるステップと、入力パネルへの物体の近接の可能性を示す第２の情報を、第１の入力フレームの後に生成された第２の入力フレームから求めるステップと、入力パネルへの物体の近接の可能性を示す第３の情報を、第２の入力フレームの後に生成された第３の入力フレームから求めるステップと、第１の情報と第２の情報とが類似していない場合に、少なくとも第３の情報に基づいて、入力パネルへの物体の近接が第２の入力フレームについて検出されたか否かを決定するステップとをコンピュータに実行させるようにしたものである。

本発明の物体近接検出装置、物体近接検出方法および物体近接検出プログラムでは、入力パネルへの物体の近接の可能性を示す第１の情報が、第１の入力フレームから求められる。また、入力パネルへの物体の近接の可能性を示す第２の情報が、第１の入力フレームの後に生成された第２の入力フレームから求められ、入力パネルへの物体の近接の可能性を示す第３の情報が、第２の入力フレームの後に生成された第３の入力フレームから求められる。そして、第１の情報と第２の情報とが類似していない場合に、少なくとも第３の情報に基づいて、入力パネルへの物体の近接が第２の入力フレームについて検出されたか否かが決定される。これにより、例えば入力フレーム間でのノイズの発生や入力フレーム間での情報の欠落等が生じた場合（第１の情報と第２の情報とが類似していない場合）であっても、少なくとも第３の情報に基づいて、入力パネルへの物体の近接が第２の入力フレームについて検出されたか否かが決定されるため、物体（外部近接物体）に関する処理がより適切に実行され得る。

本発明の情報入力装置は、外部近接物体を検出フレーム（入力フレーム）単位で検出する入力パネルと、この入力パネルにより得られる外部近接物体の検出信号に基づき、外部近接物体に対応する検出点ブロックについて、位置情報を含む検出情報を取得する位置検出部と、複数の検出フレーム間において、各検出点ブロックの検出情報に基づいて検出点ブロック同士の類似度を判断し、この判断結果に基づくフレーム間処理を各検出点ブロックについて実行するフレーム間処理部とを備えたものである。このフレーム間処理部は、類似度が低いと判断された検出点ブロックである孤立検出点ブロックについては、フレーム間処理の実行を一旦保留にすると共に、後続の検出フレームの期間において、この後続の検出フレームにおける類似度の判断結果に基づくフレーム間処理を、孤立検出点ブロックに対して実行する。なお、ここでいう「外部近接物体」とは、文字通り「近接」している物体には限られず、「接触」している物体をも含む意味である。

本発明の情報入力方法は、外部近接物体を検出フレーム単位で検出する入力パネルにより得られる外部近接物体の検出信号に基づき、外部近接物体に対応する検出点ブロックについて、位置情報を含む検出情報を取得し、複数の検出フレーム間において、各検出点ブロックの検出情報に基づいて検出点ブロック同士の類似度を判断し、この判断結果に基づくフレーム間処理を各検出点ブロックについて実行し、類似度が低いと判断された検出点ブロックである孤立検出ブロックについては、フレーム間処理の実行を一旦保留にし、後続の検出フレームの期間において、この後続の検出フレームにおける類似度の判断結果に基づくフレーム間処理を、孤立検出点ブロックに対して実行するようにしたものである。

本発明の情報入出力装置は、外部近接物体を検出フレーム単位で検出し、画像を表示する入出力パネルと、この入出力パネルにより得られる外部近接物体の検出信号に基づき、外部近接物体に対応する検出点ブロックについて、位置情報を含む検出情報を取得する位置検出部と、上記フレーム間処理部とを備えたものである。

本発明の情報入力プログラムは、外部近接物体を検出フレーム単位で検出する入力パネルにより得られる外部近接物体の検出信号に基づき、外部近接物体に対応する検出点ブロックについて、位置情報を含む検出情報を取得するステップと、複数の検出フレーム間において、各検出点ブロックの検出情報に基づいて検出点ブロック同士の類似度を判断し、この判断結果に基づくフレーム間処理を各検出点ブロックについて実行するステップと、類似度が低いと判断された検出点ブロックである孤立検出ブロックについては、フレーム間処理の実行を一旦保留にするステップと、後続の検出フレームの期間において、この後続の検出フレームにおける類似度の判断結果に基づくフレーム間処理を、孤立検出点ブロックに対して実行するステップとをコンピュータに実行させるようにしたものである。

本発明の電子機器は、外部近接物体に関する情報を入力する上記本発明の情報入力装置を備えたものである。

本発明の情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器では、入力パネルまたは入出力パネルにより得られた外部近接物体の検出信号に基づき、外部近接物体に対応する検出点ブロックについて、位置情報を含む検出情報が取得される。そして、複数の検出フレーム間において、各検出点ブロックの検出情報に基づいて検出点ブロック同士の類似度が判断され、この判断結果に基づくフレーム間処理が各検出点ブロックについて実行される。この際、類似度が低いと判断された検出点ブロックである孤立検出点ブロックについては、フレーム間処理の実行が一旦保留にされると共に、後続の検出フレームの期間において、この後続の検出フレームにおける類似度の判断結果に基づくフレーム間処理が、孤立検出点ブロックに対して実行される。これにより、例えば検出フレーム間でのノイズの発生や検出フレーム間での情報の欠落等に起因して孤立検出点ブロックが生じた場合であっても、その孤立検出点ブロックに関するフレーム間処理の実行が一旦保留にされると共に、その後続の検出フレームにおける類似度の判断結果に応じて遡ってフレーム間処理が実行されるため、検出点ブロックに関するフレーム間処理がより適切に実行される。よって、使用状況によらず、外部近接物体に関する情報を従来よりも確実に入力することが可能となる。

本発明の情報入力装置では、上記フレーム間処理部が、類似度が高いと判断された検出点ブロックを、同一の外部近接物体に対応する検出点ブロックとみなし、個別の識別情報を用いて追跡処理を行うようにすることが可能である。

この場合において、上記フレーム間処理部は、現在のフレームにおいて新たに判断された孤立検出点ブロックに未決定状態を示すステータス情報を付与することにより、その孤立検出点ブロックに関するフレーム間処理の実行を一旦保留にするようにすることが可能である。更にこの場合において、上記フレーム間処理部は、上記新たに判断された孤立検出点ブロックに対して未決定状態を示すステータス情報を付与する際に、その孤立検出点ブロックについての検出情報および識別情報を一旦保持しておくと共に、上記後続の検出フレームにおいて、保持しておいた検出情報および識別情報を用いて一旦保留にしていた検出点ブロックに関するフレーム間処理を実行するようにすることが可能である。

また、上記フレーム間処理部は、現在の検出フレームにおいて、その直前の検出フレームとの間で類似度が高い検出点ブロックが存在しないと判断されることにより、直前の検出フレームにおいて新たに判断された孤立検出点ブロックに対して、保持状態を示すステータス情報を付与すると共に、その孤立検出点ブロックについての検出情報および識別情報を一旦保持しておき、上記後続の検出フレームにおける類似度の判断結果に応じ、保持しておいた検出情報および識別情報を用いて上記現在の検出フレームに対する検出点ブロックのフレーム補間処理を行うようにすることも可能である。

本発明の情報入力装置では、上記検出情報が、検出点ブロックの面積とその検出点ブロックの外接矩形領域の面積との面積比に相当する検出点ブロックの密度を示す密度情報を含んでいるようにすると共に、上記検出情報のうちのこの密度情報を用いることにより、検出点ブロックの密度の大きさに応じて検出点ブロックごとに、フレーム内ノイズ除去を行うノイズ除去部を更に設けるようにすることが可能である。

本発明の情報入力装置では、上記検出情報が、検出点ブロックの外接矩形領域における縦方向と横方向との長さ比に対応する検出点ブロックの縦横比を示す縦横比情報を含んでいるようにすると共に、上記検出情報のうちのこの縦横比情報を用いることにより、検出点ブロックの縦横比の大きさに応じて検出点ブロックごとに、フレーム内ノイズ除去を行うノイズ除去部を更に設けるようにすることが可能である。

本発明の情報入力装置では、上記検出情報が、検出点ブロックの面積を示す面積情報を含んでいるようにすると共に、上記検出情報のうちのこの面積情報を用いることにより、検出点ブロックの面積の大きさに応じて検出点ブロックごとに、フレーム内ノイズ除去を行うノイズ除去部を更に設けるようにすることが可能である。

本発明の情報入力装置では、上記入力パネルが、撮像面に沿って配列され、外部近接物体で反射された光を受光する複数の受光要素を有するものとすることが可能である。あるいは、上記入力パネルが、液晶層を間にして互いに対向する第１基板および第２基板と、これら第１基板と第２基板との間に形成され、第２基板のたわみにより接触可能な第１センサ電極および第２センサ電極とを有すると共に、第１センサ電極および第２センサ電極の接触による電位の変化を読み取ることにより、外部近接物体の位置に応じた第２基板のたわみ位置を検出するものとすることが可能である。また、上記入力パネルが、タッチ駆動電極と、このタッチ駆動電極と対向して、または並んで設けられ、タッチ駆動電極との間に静電容量を形成するタッチ検出電極と、タッチ駆動電極にタッチセンサ用駆動信号を印加することによりタッチ検出電極から得られる検出信号に基づき、外部近接物体が接触または近接する位置を検出するタッチ検出回路とを有するものとすることが可能である。

本発明の情報入出力装置では、上記入出力パネルが、表示面に沿って配列され、画像データに基づいて画像を表示する複数の表示要素と、表示面に沿って配列され、この表示面から出射されて外部近接物体で反射された光を受光する複数の受光要素とを有するものとすることが可能である。あるいは、上記入出力パネルが、第１基板および第２基板の間に液晶層を有する表示パネルと、この表示パネル内に形成され、第２基板のたわみにより接触可能な第１センサ電極および第２センサ電極とを有すると共に、第１センサ電極および第２センサ電極の接触による電位の変化を読み取ることにより、外部近接物体の位置に応じた第２基板のたわみ位置を検出するものとすることが可能である。また、上記入出力パネルが、複数の表示画素電極と、これらの表示画素電極と対向して設けられた共通電極と、表示層と、画像信号に基づいて、表示画素電極と共通電極との間に表示用電圧を印加して表示層を動作させるように画像表示制御を行う表示制御回路と、共通電極と対向して、または並んで設けられ、共通電極との間に静電容量を形成するタッチ検出電極と、表示制御回路により共通電極に印加される表示用駆動電圧をタッチセンサ用駆動信号として利用し、タッチ検出電極から得られる検出信号に基づき、外部近接物体が接触または近接する位置の検出動作を行うタッチ検出回路とを有するものとすることが可能である。

本発明の物体近接検出装置、物体近接検出方法および物体近接検出プログラムによれば、上記第１の情報を上記第１の入力フレームから求め、上記第２の情報を上記第２の入力フレームから求め、上記第３の情報を上記第３の入力フレームから求めると共に、第１の情報と第２の情報とが類似していない場合に、少なくとも第３の情報に基づいて、入力パネルへの物体の近接が第２の入力フレームについて検出されたか否かを決定するようにしたので、例えば入力フレーム間でのノイズの発生や入力フレーム間での情報の欠落等が生じた場合（第１の情報と第２の情報とが類似していない場合）であっても、物体（外部近接物体）に関する処理をより適切に実行することができる。よって、使用状況によらず、外部近接物体に関する情報を従来よりも確実に入力することが可能となる。

本発明の一実施の形態に係る情報入出力装置（物体近接検出装置）の構成を表すブロック図である。図１の情報入出力装置の構成をより詳細に表すブロック図である。入出力パネルの一部を拡大した断面図である。情報入出力装置による画像処理全体の一例を表す流れ図である。図４に示したフレーム内ノイズ除去処理の詳細例を表す流れ図である。撮像画像における入力部分の点情報の一例を表す模式図である。図５に示した面積情報を用いたフレーム内ノイズ除去処理の一例を表す模式図である。図５に示した密度情報を用いたフレーム内ノイズ除去処理の一例を表す模式図である。図５に示した縦横比情報を用いたフレーム内ノイズ除去処理の一例を表す模式図である。図４に示したフレーム間処理の詳細例を表す流れ図である。図１０に示したフレーム間処理の概要例を表す模式図である。図１０に示したフレーム補間処理の一例を表す模式図である。図１０に示した突発ノイズ除去処理の一例を表す模式図である。図１０に示した突発ノイズ除去処理の他の例を表す模式図である。本発明の変形例１に係る情報入出力装置の構成を表すブロック図である。本発明の変形例２に係る入出力パネルの構成を表す断面図である。本発明の変形例３に係る入出力パネルの構成を表す断面図である。本発明の情報入出力装置の適用例１の外観を表す斜視図である。（Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。適用例３の外観を表す斜視図である。適用例４の外観を表す斜視図である。（Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態（フレーム間処理およびフレーム内ノイズ処理を用いた情報入力処理）
２．変形例（情報入出力装置および入出力パネルの他の構成例）
３．適用例（電子機器への適用例）

＜実施の形態＞
［情報入出力装置１の全体構成］
図１は、本発明の一実施の形態に係る情報入出力装置１（物体近接検出装置）の概略構成を表すものであり、図２は、この情報入出力装置１の詳細構成を表すものであり、図３は、入出力パネルの一部を拡大した断面を表すものである。情報入出力装置１は、図１に示すように、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３、画像処理部１４、フレーム内ノイズ除去部１５１およびフレーム間処理部１５２を有し、電子機器本体２０は、制御部２１を有する。ここで、受光信号処理部１３および画像処理部１４が、本発明における「検出回路」の一具体例に対応する。なお、本発明の一実施の形態に係る情報入力方法（物体近接検出方法）および情報入力プログラム（物体近接検出プログラム）は、本実施の形態の画像入出力装置１において具現化されるため、以下併せて説明する。

入出力パネル１１は、図２に示すように、複数の画素１６がマトリクス状に配列された液晶ディスプレイパネルで構成されたものであり、表示要素１１ａおよび受光要素１１ｂを備えている。表示要素１１ａは、光源となるバックライトから出射された光を利用して、図形や文字等の画像を表示面に表示する液晶素子である。受光要素１１ｂは、光を受光して電気信号として出力する、例えばフォトダイオード等の受光素子である。受光要素１１ｂは、バックライトの出射光が入出力パネル１１の外部の指（人間の指）等の外部近接物体によって反射されて戻ってきた反射光を受光して、受光信号（検出信号）を出力するものである。受光要素１１ｂは、本実施の形態の場合、画素１６毎に配置されて、面内に複数配列されている。

入出力パネル１１は、図２および図３に示したように、１対の透明基板３０，３１の間に、隔壁３２によって互いに分離された構造の複数の発光受光セルＣＷＲをマトリクス状に配列して構成されている。各発光受光セルＣＷＲは、発光セルＣＷ（ＣＷ１，ＣＷ２，ＣＷ３，…）と、これらの発光セルＣＷに内包された複数の受光セルＣＲ（ＣＲ１，ＣＲ２，ＣＲ３，…）とを備えている。発光セルＣＷは、表示要素１１ａとしての液晶セルからなり、受光セルＣＲは、受光要素１１ｂとしての受光素子ＰＤを含む。なお、受光セルＣＲにおいては、バックライトから出射された光ＬＢが入射しないように、バックライト側の透明基板３０と受光素子ＰＤとの間に、遮蔽層３３が配置されている。これにより、各受光素子ＰＤはバックライト光ＬＢの影響を受けず、バックライトと反対側の透明基板３１の方向から入射された光のみを検出するようになっている。

図１に示す表示信号処理部１２は、入出力パネル１１の前段に接続され、入出力パネル１１が表示データに基づいて画像を表示するように、入出力パネル１１の駆動を行う回路である。

表示信号処理部１２は、図２に示すように、表示信号保持制御部４０、発光側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を１画面毎（１フィールドまたは１フレームの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）等で構成されるフィールドメモリ（フレームメモリ）に格納して保持するものである。この表示信号保持制御部４０はまた、各発光セルＣＷを駆動する発光側スキャナ４１および表示信号ドライバ４２と、各受光セルＣＲを駆動する受光側スキャナ４３とが連動して動作するように制御する機能を有する。具体的には、発光側スキャナ４１には発光タイミング制御信号を出力し、受光側スキャナ４３には受光タイミング制御信号を出力し、表示信号ドライバ４２には制御信号およびフィールドメモリ（フレームメモリ）に保持されている表示信号に基づいて、１水平ライン分の表示信号を出力する。これらの制御信号および表示信号により、線順次動作が行われるようになっている。

発光側スキャナ４１は、表示信号保持制御部４０から出力される発光タイミング制御信号に応じて、駆動対象の発光セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された発光用ゲート線を介して発光用選択信号を供給し、発光素子選択スイッチを制御する。つまり、発光用選択信号によりある画素１６の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の発光動作がなされるようになっている。

表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の発光セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して、前述の発光側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。この発光側スキャナ４１および表示信号ドライバ４２が連動して線順次動作することにより、任意の表示データに対応する画像が入出力パネル１１に表示される。

受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて、駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の発光側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある発光セルＣＷからの出射光に基づいて接触あるいは近接する物体において反射した光を、受光セルＣＲが受光し、検出することが可能となる。また、この受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、これら受光動作に寄与するブロックを制御する機能も有する。なお、本実施の形態の情報入出力装置１においては、前述の発光用ゲート線および受光用ゲート線は各発光受光セルＣＷＲに対して別個に接続され、発光側スキャナ４１および受光側スキャナ４３はそれぞれ、独立して動作することが可能となっている。

図１に示す受光信号処理部１３は、入出力パネル１１の後段に接続されており、受光要素１１ｂからの受光信号を取り込み、信号の増幅やフィルタ処理等を行うものである。この受光信号処理部１３は、図２に示すように、受光信号レシーバ４５および受光信号保持部４６を備えている。

受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。

受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を、１画面ごと（１フィールドまたは１フレームの表示ごと）の受光信号に再構成する機能を有する。この再構成された１画面分の受光信号が、１つの検出フレーム（入力フレーム）を構成する受光信号に対応する。これにより、そのような受光信号が、例えばＳＲＡＭなどから構成されるフィールドメモリ（フレームメモリ）に格納され、保持されるようになっている。受光信号保持部４６において格納された受光信号のデータは、画像処理部１４（図１）内の位置検出部４７へ出力される。なお、この受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。

画像処理部１４（図１）は、受光信号処理部１３の後段に接続されており、受光信号処理部１３から撮像画像を取り込んで２値化やノイズ除去、ラベリング等の処理を行い、外部近接物体の点情報（検出情報）を、この外部近接物体の入出力パネル１１（入力パネル）への近接の可能性を示す検出点（検出領域、すなわち検出ブロック）ごとに得る回路である。この点情報は、詳細は後述するが、外部近接物体の検出点（検出領域、すなわち検出ブロック）の重心や中心座標などを示す位置情報や、検出点の密度を示す密度情報や、検出点の縦横比を示す縦横比情報や、検出点の面積情報などを含んでいる。

また、画像処理部１４における位置検出部４７（図２）は、画像処理部１４におけるラベリング処理部（図示せず）おいて得られた上記点情報に基づいて、検出された物体が存在する位置等を特定するようになっている。これにより、接触あるいは近接する指等の位置をフレーム単位（個々の入力フレーム単位）で特定することが可能となる。このようにして、入力パネルへの物体の近接の可能性を示す情報が、各入力フレームから求められるようになっている。ここで、各入力フレームについての上記情報（入力パネルへの物体の近接の可能性を示す情報）は、入力パネルへの物体の近接が検出されたか否かを示す第１のデータと、入力パネルへの物体の近接の可能性が検出された場合における、物体近接可能性の検出位置を示す第２のデータとを含んでいる。また、後述する第１の情報と第２の情報とが類似しているか否かを判断する際には、第１の情報における上記第２のデータと、第２の情報における上記第２のデータとを比較することにより判断するようになっている。

フレーム内ノイズ除去部１５１は、画像処理部１４から出力される上記点情報を用いることにより、撮像画像のフレーム内に含まれるフレーム内ノイズに対応する検出点の除去を行うものである。具体的には、上記点情報のうち、前述した密度情報、縦横比情報および面積情報を用いることにより、検出点の密度や縦横比、面積の大きさに応じて検出点ごとに、検出点に関する処理（後述する制御部２１における処理）の実行の有効または無効を判断している。なお、このフレーム内ノイズ除去部１５１におけるフレーム内ノイズ除去処理の詳細については、後述する。

フレーム間処理部１５２は、撮像画像の時間的に連続する複数フレーム間において、各検出点の点情報に基づいて、検出点同士の類似度を判断するものである。この類似度とは、点情報に含まれる位置情報や密度情報、縦横比情報、面積情報に基づき、検出点同士の距離や面積、密度、縦横比率などから総合的に算出されるパラメータである。このフレーム間処理部１５２は、この類似度が高いと判断された検出点同士ついては、同一の外部近接物体に対応する検出点同士であるものとみなし、個別の識別情報（識別ＩＤ）を用いて後述する追跡処理を行う。一方、フレーム間処理部１５２は、複数フレーム間において、他のいずれの検出点に対しても類似度が低いと判断された検出点（独立検出点、孤立検出点ブロック）については、検出点に関する処理（後述する制御部２１における処理）の実行を一旦保留にする。そして、その後のフレームにおける類似度の判断結果に応じて、その独立検出点（孤立検出点ブロック）に関する処理を遡って実行している。例えば、現在のフレーム（第２の入力フレーム）において得られた上記情報（入力パネルへの物体の近接の可能性を示す情報：第２の情報）が、前の（例えば、１つ前の）フレーム（第１の入力フレーム）において得られた上記情報（第１の情報）と類似していない場合、少なくとも後（例えば、１つ後の）フレーム（第３の入力フレーム）において得られる上記情報（第３の情報）に基づいて、入力パネルへの物体の近接が現在の入力フレーム（第２の入力フレーム）について検出されたか否かが決定される。このフレーム間処理部１５２からは、電子機器本体２０に対し、上記点情報および識別情報からなる追跡点情報と、後述するステータス情報とが出力されるようになっている。なお、このフレーム間処理部１５２におけるフレーム間処理（後述する追跡処理やフレーム補間処理、突発ノイズ除去処理など）の詳細については、後述する。

電子機器本体２０（図１）は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、フレーム間処理部１５２から上記した追跡点情報およびステータス情報を入力するようになっている。

制御部２１（図１）は、追跡点情報およびステータス情報を用いて表示画像を変化させるものであり、例えばＣＰＵ（Central Processing Unit）などにより構成されている。制御部２１は、図２に示すように、表示信号生成部４４を備えている。表示信号生成部４４は、図示しないＣＰＵ（Central Processing Unit）などにより生成されて供給された画像データに基づいて、以下の処理を行う。すなわち、そのような画像データに基づいて、例えば、１画面ごと（１フィールドの表示ごと）に表示するための表示信号を生成し、それを表示信号保持制御部４０に出力するようになっている。

［情報入出力装置１の作用・効果］
次に、図１〜図３に加えて図４〜図１４を参照して、本実施の形態の情報入出力装置１の作用および効果について説明する。

（１．画像処理動作の概要）
最初に、図４を参照して、情報入出力装置１における画像処理動作の概要について説明する。図４は、情報入出力装置１における画像処理全体の流れを表すものである。

電子機器本体２０から出力された表示データは、表示信号処理部１２に入力される。表示信号処理部１２は、表示データに基づいて入出力パネル１１に画像が表示されるように、入出力パネル１１を駆動させる。

入出力パネル１１は、バックライトからの出射光を用いて画像を表示要素１１ａに表示する一方、受光要素１１ｂを駆動している。そして、表示要素１１ａに指等の外部近接物体が接触または近接すると、表示要素１１ａに表示された画像が外部近接物体で反射されて、この反射光が受光要素１１ｂで検出される。この検出によって、受光要素１１ｂからは受光信号が出力される。そして受光信号処理部１３は、この受光信号を入力して増幅等の処理を行い、受光信号を処理する（図４のステップＳ１０）。このようにして、受光信号処理部１３において、撮像画像が得られる。

次に、画像処理部１４は、受光信号処理部１３から撮像画像を入力し、この撮像画像に対し２値化処理を行う（ステップＳ１１）。すなわち、画像処理部１４は、予め設定された閾値を記憶しており、例えば、撮像画像データの信号強度が閾値よりも小さいか、または閾値以上であるかを比較して、それぞれ「０」または「１」に設定する２値化処理を行う。これにより、外部近接物体で反射された光を受光した部分が「１」に設定され、他の部分が「０」に設定される。このようにして、入力パネルにおける、しきい値を上回る反射光を受光した少なくとも１つの受光エレメント（受光点）に基づいて、上記第１ないし第３の情報（入力パネルへの物体の近接の可能性を示す情報）のうちの少なくとも１つが求められるようになっている。

そして、画像処理部１４は、２値化された撮像画像から、孤立点を除去する（ステップＳ１２）。すなわち、画像処理部１４は、上記のように２値化されている場合、外部近接物体から孤立している「１」に設定された部分を除去することにより、ノイズ除去を行う。

この後、画像処理部１４は、ラベリング処理部（図示せず）において、ラベリング処理を行う（ステップＳ１３）。すなわち、ラベリング処理部は、上記のように２値化されている場合、「１」に設定された部分に対してラベリング処理を行う。そして、ラベリング処理部は、「１」に設定された領域を外部近接物体（すなわち、入力パネルへの物体の近接の可能性の検出）の領域として検出し、前述した外部近接物体の検出点ごとの点情報を取得する。なお、取得された点情報は、フレーム内ノイズ除去部１５１へ出力される。

次いで、フレーム内ノイズ除去部１５１は、ラベリング処理により得られた点情報を用いることにより、以下説明するフレーム内ノイズ除去処理を行い、撮像画像のフレーム内に含まれるフレーム内ノイズに対応する検出点の除去を行う（ステップＳ１４）。具体的には、上記点情報のうち、詳細は後述する密度情報、縦横比情報および面積情報を用いることにより、検出点の密度や縦横比、面積の大きさに応じて検出点ごとに、検出点に関する処理（制御部２１における処理）の実行の有効または無効を判断する。

次に、フレーム間処理部１５２は、撮像画像の時間的に連続する複数フレーム間において、各検出点の点情報に基づいて、検出点同士の類似度を判断すると共に、その判断結果に応じて、以下説明するフレーム間処理を行う（ステップＳ１５）。すなわち、例えば、入力パネルへの物体の近接が現在のフレーム（第２の入力フレーム）について検出されたか否かを決定した結果に基づいて、所定のフレーム間処理を実行する。このフレーム間処理とは、以下説明する追跡処理、フレーム補間処理および突発ノイズ除去処理を含む処理である。

次いで、制御部２１は、フレーム間処理部１５２から入力した追跡点情報およびステータス情報を用いて、表示画像を変化させる等の必要な処理を行う。例えば、画面に何らかの操作メニューを表示した場合を仮定すると、その操作メニューの中のどのボタンがユーザの指によって選択されたのかを検知し、その選択されたボタンに対応する命令を実行する。以上により、情報入出力装置１における画像処理動作が終了となる。

（２．フレーム内ノイズ除去処理）
次に、図５〜図９を参照して、図４に示したフレーム内ノイズ処理の詳細について説明する。図５は、このフレーム内ノイズ処理の詳細の流れを表したものである。

ここで最初に、フレーム内ノイズ処理の際に用いられる点情報について、詳細に説明する。この点情報は、外部近接物体の検出点の重心や中心座標などを示す位置情報や、検出点の密度を示す密度情報や、検出点の縦横比を示す縦横比情報や、検出点の面積情報などを含んでいる。具体的には、例えば図６に示した検出点（入力部分）＃ａでは、検出点＃ａの面積は、図中の画素データの連結部分の面積Ｓで示される。また、検出点＃ａの縦横比Ｒは、この検出点＃ａの外接矩形領域Ａの縦方向（高さ方向）の長さ（高さ）Ｈと、横方向（幅方向）の長さ（幅）Ｗとの比率で示される。ただし、２通りの比率（Ｗ／Ｈ），（Ｈ／Ｗ）のうち、ここでは、値が１未満となるほうのものを縦横比Ｒとして採用するものとする。また、ここでは、外接矩形領域Ａの四隅の位置座標を用いて、高さＨ＝（Ｙ２―Ｙ１），幅Ｗ＝（Ｘ２−Ｘ１）としている。更に、検出点＃ａの密度Ｄは、この検出点＃ａの面積Ｓとその外接矩形領域Ａの面積（Ｗ×Ｈ）との面積比（＝Ｓ／（Ｗ×Ｈ））で示される。

（２−１．面積情報を用いた除去処理）
このフレーム内ノイズ処理ではまず、フレーム内ノイズ除去部１５１において、上記した点情報のうちの面積情報を用いたフレーム内ノイズ除去処理を行う（図５のステップＳ１４１）。具体的には、例えば図７に示したように、検出点の面積の大きさに応じて検出点ごとに、検出点に関する処理（制御部２１における処理）の実行の有効または無効を判断する。ここでは、検出点＃ａ１の面積Ｓは、予め設定された所定の範囲内にあるため、検出点＃ａ１に関する処理の実行が有効になるように設定する。これにより、検出点＃ａ１はフレーム内ノイズには該当しないと判断されることになり（すなわち、検出点＃ａ１が、入力パネルへの物体の近接の可能性が有効な検出に対応するものであると決定され）、ノイズ除去はなされない。一方、検出点＃ｂ１の面積Ｓは、予め設定された所定の範囲外にあるため、検出点＃ｂ１に関する処理の実行が無効になるように設定する。これにより、検出点＃ｂ１はフレーム内ノイズに該当すると判断されることになり（すなわち、検出点＃ｂ１では、入力パネルへの物体の近接の可能性が検出されなかったと決定され）、ノイズ除去がなされる。

（２−２．密度情報を用いた除去処理）
次に、フレーム内ノイズ除去部１５１において、上記した点情報のうちの密度情報を用いたフレーム内ノイズ除去処理を行う（ステップＳ１４２）。具体的には、例えば図８に示したように、検出点の密度Ｄの大きさに応じて検出点ごとに、検出点に関する処理（制御部２１における処理）の実行の有効または無効（すなわち、入力パネルへの物体の近接の可能性が実際に検出されたか否か）を判断する。ここでは、検出点＃ａ２，＃ｂ２，＃ｃ２（外接矩形領域Ａａ，Ａｂ，Ａｃ）の密度Ｄは、予め設定された所定の範囲（ここでは、５０％≦Ｄ≦１００％）内にある（それぞれ、Ｄ＝７５％，８０％，８０％）。そのため、検出点＃ａ２，＃ｂ２，＃ｃ２に関する処理の実行が有効になるように設定する。これにより、検出点＃ａ２，＃ｂ２，＃ｃ２はフレーム内ノイズには該当しないと判断されることになり、ノイズ除去はなされない。一方、検出点＃ｄ２の密度Ｄは、予め設定された所定の範囲（５０％≦Ｄ≦１００％）外にあるため（Ｄ＝３０％）、検出点＃ｄ２に関する処理の実行が無効になるように設定する。これにより、検出点＃ｄ２はフレーム内ノイズに該当すると判断されることになり、ノイズ除去がなされる。

（２−３．縦横比情報を用いた除去処理）
次に、フレーム内ノイズ除去部１５１において、上記した点情報のうちの縦横比情報を用いたフレーム内ノイズ除去処理を行う（ステップＳ１４３）。具体的には、例えば図９に示したように、検出点の縦横比Ｒの大きさに応じて検出点ごとに、検出点に関する処理（制御部２１における処理）の実行の有効または無効を判断する。ここでは、検出点＃ａ２，＃ｄ２の縦横比Ｒは、予め設定された所定の範囲（ここでは、５０％≦Ｒ≦１００％）内にある（いずれも、Ｒ＝１００）。そのため、検出点＃ａ２，＃ｄ２に関する処理の実行が有効になるように設定する。これにより、検出点＃ａ２，＃ｄ２はフレーム内ノイズには該当しないと判断されることになり、ノイズ除去はなされない。一方、検出点＃ｂ２，＃ｃ２の縦横比Ｒは、予め設定された所定の範囲（５０％≦Ｒ≦１００％）外にあるため（いずれも、Ｒ＝２０％）、検出点＃ｂ２，＃ｃ２に関する処理の実行が無効になるように設定する。これにより、検出点＃ｂ２，＃ｃ２はフレーム内ノイズに該当すると判断されることになり、ノイズ除去がなされる。

このようにして、ステップＳ１４１〜Ｓ１４３に示したフレーム内ノイズ除去処理を行うことにより、フレーム内ノイズの除去が効果的になされ、検出点に関する処理（制御部２１における処理）が適切に実行されることになる。なお、このフレーム内ノイズ除去処理では、上記した面積情報、密度情報および縦横比情報のうちの任意の情報を組み合わせたものを用いて行うようにしてもよい。

（３．フレーム間処理）
次に、図１０〜図１４を参照して、図４に示したフレーム間処理の詳細について説明する。図１０は、このフレーム間処理の詳細の流れを表したものである。

（３−１．追跡・統合処理）
まず、フレーム間処理部１５２は、現在の直前フレームの各検出点（追跡点）における追跡点情報（点情報＋識別情報）と、現在のフレームの各検出点（入力部分）における点情報との類似度を計算する（図１０のステップＳ１５１）。この類似度とは、点情報に含まれる位置情報や密度情報、縦横比情報、面積情報に基づき、検出点同士の距離や面積、密度、縦横比率などから総合的に算出されるパラメータである。一例として、直前フレームの検出点と現在のフレームの検出点との間で距離や面積、密度、縦横比率などの差分を求め、その各差分にそれぞれ個別の係数を乗算して加算した評価値を類似度とする。そして、その評価値が所定の閾値以下である場合に類似度が高いと判断し、その評価値が所定の閾値より大きい場合に類似度が低いと判断する。また、その評価値は、距離や面積、密度、縦横比率などの属性の少なくとも１つ、あるいはそれらの組み合わせを用いればよく、各属性の差分の他に変化率などを用いてもよい。そして、フレーム間処理部１５２は、類似度が高いと判断された検出点同士（現在のフレームの検出点と直前フレームの追跡点）ついては、同一の外部近接物体に対応する検出点同士であるものとみなし、以下説明する統合（マージ）処理を行う（ステップＳ１５２）。そして、統合の対象となった検出点および追跡点に対して個別の識別情報（識別ＩＤ）を付与し、この識別ＩＤを用いてその後のフレームにおいて追跡処理を行う。なお、このとき、必要に応じて、類似度が高いと判断された検出点同士のステータス情報を、「有効（Normal）」に設定するようにしてもよい。このようにして、現在のフレームにおける検出点と直前のフレームにおける検出点との類似度が高い場合（前述した第１の情報と第２の情報とが類似している場合）には、少なくともこれら第１および第２の情報に基づいて、入力パネルへの物体の近接が現在のフレーム（第２の入力フレーム）について検出されたか否かが決定される。すなわち、例えば、現在のフレームにおける検出点と直前のフレームにおける検出点との類似度が高い場合には、現在のフレームおよび直前のフレームにおいて、入力パネルに対して同じ物体の近接が検出されたと決定される。

具体的には、例えば撮像画像の任意のＮフレームにおいて、図１１（Ａ）に示したような３つの検出点（追跡点）＃１〜＃３が存在すると共に、その直後の（Ｎ＋１）フレームにおいて、図１１（Ｂ）に示したような４つの検出点（入力部分）＃ａ〜＃ｄが存在しているものとする。すると、これらＮフレームおよび（Ｎ＋１）フレームの撮像画像同士を重ね合わせると、図１１（Ｃ）に示したようになる。

この場合、ステップＳ１５１では、３つの検出点（追跡点）＃１〜＃３と４つの検出点（入力部分）＃ａ〜＃ｄとの間同士で、上記した類似度の計算をそれぞれ行う。そして、ここでは、図１１（Ｃ）に示したように、検出点（追跡点）＃１と検出点（入力部分）＃ｂとの間、および検出点（追跡点）＃３と検出点（入力部分）＃ｄとの間において、類似度が高いと判断されることになる。したがって、ステップＳ１５２では、検出点＃１および検出点＃ｂ同士と、検出点＃３および検出点＃ｄ同士とのそれぞれに対し、統合（マージ）処理を行い、個別の識別ＩＤを付与すると共に、この識別ＩＤを用いてその後のフレームにおいて追跡処理を行う。

（３−２．フレーム補間処理）
一方、次に、フレーム間処理部１５２は、上記した統合処理の対象とならなかった追跡点を削除する（ステップＳ１５３）。すなわち、現在のフレームにおいて、その直前のフレームとの間で類似度が高い検出点が存在しないと判断されることにより、直前のフレームにおいて新たに判断された独立検出点を削除する。具体的には、図１１（Ｃ）に示した例では、検出点（追跡点）＃２を削除する。

ただし、このとき、フレーム間処理部１５２は、例えば図１２に示したようにして、フレーム補間処理を行い、そのような追跡点（独立検出点）をすぐには削除しないようにする。具体的には、そのような追跡点（独立検出点）に対して、「保持（Hold）」を示すステータス情報を付与すると共に、その独立検出点についての点情報および識別ＩＤを一旦保持しておくようにする。そして、その後のフレームにおける類似度の判断結果に応じて、現在のフレームにおいて、保持しておいた点情報および識別情報ＩＤを用いて検出点のフレーム補間処理を行う。すなわち、例えば図１２に示した例では、撮像画像の（Ｎ＋２）フレームにおいて、「有効（Normal）」を示すステータス情報であった検出点＃１１が、次の（Ｎ＋３）フレームにおいて存在しないと判断されている。これにより、（Ｎ＋３）フレームにおける検出点（追跡点）＃１１は、最初に、「保持（Hold）」を示すステータス情報が付与されると共に、点情報および識別ＩＤが一旦保持される。そして、次の（Ｎ＋４）フレームにおいて、再び検出点（追跡点）＃１１と類似度の高い検出点が存在すると判断されることにより、（Ｎ＋３）フレームにおいて、検出点（追跡点）＃１１のフレーム補間処理が遡って行われると共に、入力パネルへの物体の近接が（Ｎ＋３）フレームにおいて検出されたと決定される。すなわち、前述した第２の情報が、物体近接可能性の検出位置に類似した位置において、現在のフレーム（第２の入力フレーム）についての入力パネルへの物体の近接の可能性の検出を示していないと判断することにより、前述した第１の情報と第２の情報とが類似していないと判断する。また、前述した第３の情報が、上記物体近接可能性の検出位置に類似した位置において、直後のフレーム（第３の入力フレーム）についての入力パネルへの前記物体の近接の可能性の検出を示している場合に、入力パネルへの物体の近接が現在のフレーム（第２の入力フレーム）について検出されたと判断することにより、入力パネルへの物体の近接が現在のフレーム（第２の入力フレーム）について検出されたか否かを決定する。これにより、この（Ｎ＋３）フレームにおける検出点の欠落が回避され、情報の有効活用が可能となる。なお、このフレーム補間処理の際には、例えばステータス情報が「未決定（Stealth）」（以下で詳述）であった追跡点については、すぐに削除されることになる。

（３−３．突発ノイズ除去処理）
次に、フレーム間処理部１５２は、上記した統合処理の対象とならなかった検出点（入力部分）を、新規作成された追跡点として登録を行う（ステップＳ１５４）。すなわち、複数フレーム間において、他のいずれの検出点に対しても類似度が低いと判断された検出点（独立検出点）については、例えば図１１（Ｃ）に示した検出点（入力部分）＃ａ，＃ｃのように新規登録を行い、新たな識別ＩＤを付与する。

ただし、このとき、フレーム間処理部１５２は、例えば図１３に示したようにして、突発ノイズ除去処理を行い、そのような検出点（独立検出点）についてすぐには新規登録を行わず、ステータス情報を「未決定（Stealth）」に設定する。すなわち、現在のフレームにおいて新たに判断された独立検出点については、未決定状態を示すステータス情報を付与することにより、その独立検出点に関する処理（制御部２１における処理）の実行を一旦保留にする。そして、その後のフレームにおける類似度の判断結果に応じて、その独立検出点に関する処理を遡って実行する。具体的には、図１３（Ａ）に示した例では、撮像画像の（Ｎ＋１），（Ｎ＋３）フレームにおいて、検出点（入力部分）＃２１が新たに検出されている。この場合、それぞれのフレームの検出点（入力部分）＃２１に対し、ステータス情報が「未決定（Stealth）」に設定される。一方、図１３（Ｂ）に示した例では、撮像画像の（Ｎ＋１）フレームにおいて、検出点（入力部分）＃２２が新たに検出されている。この場合、この（Ｎ＋１）フレームの検出点＃２２に対し、ステータス情報が「未決定（Stealth）」に設定される。そして、その後の（Ｎ＋１）フレームにおける類似度の判断結果により、（Ｎ＋１），（Ｎ＋２）フレームにおける検出点同士の類似度が高いと判断されたため、（Ｎ＋１）フレームにおける検出点（入力部分）＃２２のステータス情報が、遡って「有効（Normal）」に設定されていると共に、入力パネルへの物体の近接が（Ｎ＋１）フレームにおいて検出されたと決定される。すなわち、前述した第１の情報が、物体近接可能性の検出位置に類似した位置において、直前のフレーム（第１の入力フレーム）についての入力パネルへの物体の近接の可能性の検出を示していないと判断することにより、前述した第１の情報と第２の情報とが類似していないと判断する。また、前述した第３の情報が、物体近接可能性の検出位置に類似した位置において、直後のフレーム（第３の入力フレーム）についての入力パネルへの物体の近接の可能性の検出を示していない場合に、入力パネルへの物体の近接が現在のフレーム（第２の入力フレーム）について検出されなかったと判断することにより、入力パネルへの物体の近接が現在のフレーム（第２の入力フレーム）について検出されたか否かを決定する。一方、前述した第３の情報が、物体近接可能性の検出位置に類似した位置において、直後のフレーム（第３の入力フレーム）についての入力パネルへの物体の近接の可能性の検出を示している場合には、入力パネルへの物体の近接が現在のフレーム（第２の入力フレーム）について検出されたと判断することにより、入力パネルへの物体の近接が現在のフレーム（第２の入力フレーム）について検出されたか否かを決定する。このようにして、独立検出点に対して「未決定（Stealth）」を示すステータス情報を最初に付与することにより、アプリケーション（制御部２１）側において、突発ノイズかもしれない情報を無視することが可能となる。なお，図１３では、１フレーム目のみを、未決定を示すステータス情報に設定しているが、いくつのフレームまでを未決定とするかは、ユーザが任意に変えることができる。

ただし、例えば図１３（Ｂ）および図１４（Ａ）に示したように、このような突発ノイズ除去処理を行うと、そのままではイベント（制御部２１における処理）を発生させる際に、時間的な遅延が生じてしまう。そこで、フレーム間処理部１５２は、例えば図１４（Ｂ）に示したように、新たに判断された独立検出点に対して「未決定（Stealth）」を示すステータス情報を付与する際に、その独立検出点についての点情報および識別情報を一旦保持しておくようにするのが好ましい。これにより、その後のフレームにおいて、保持しておいた点情報および識別情報を用いてイベント（制御部２１における処理）を発生させることができるため、上記したような時間的な遅延が回避される。このようにして、現在のフレームに関連した表示画像が、この現在のフレームにおいて検出された点情報に基づいて制御される。すなわち、入力パネルへの物体の近接が現在のフレーム（第２の入力フレーム）について検出されたと決定された場合に、少なくとも第１の物体近接可能性の検出位置を示すデータに基づいて、第２の入力フレームに関連した表示画像が制御される。

このようにして、ステップＳ１５１〜Ｓ１５４に示したフレーム間処理を行うことにより、例えばフレーム間でのノイズの発生やフレーム間での情報の欠落等に起因して独立検出点が生じた場合であっても、その独立検出点に関する処理の実行が一旦保留にされる。そして、その後のフレームにおける類似度の判断結果に応じて遡って実行されるため、検出点に関する処理（制御部２１における処理）がより適切に実行されることになる。

以上のように本実施の形態では、フレーム間処理部１５２において、互いに異なる複数フレーム間（撮像画像の時間的に連続する複数フレーム間）において、各検出点の点情報に基づいて検出点同士の類似度を判断すると共に、その判断結果に応じてフレーム間処理（追跡処理、フレーム補間処理および突発ノイズ除去処理を含む処理）を行う。具体的には、複数フレーム間において、他の検出点に対して類似度が低いと判断された検出点である独立検出点については、検出点に関する処理（制御部２１における処理）の実行を一旦保留し、その後のフレームにおける類似度の判断結果に応じてその独立検出点に関する処理を遡って実行する。これにより、例えばフレーム間でのノイズの発生やフレーム間での情報の欠落等に起因して独立検出点が生じた場合であっても、検出点に関する処理をより適切に実行することができる。よって、使用状況によらず、外部近接物体に関する情報を従来よりも確実に入力することが可能となる。

また、本実施の形態では、前述した第１の情報を前述した第１の入力フレームから求め、前述した第２の情報を前述した第２の入力フレームから求め、前述した第３の情報を前述した第３の入力フレームから求めると共に、第１の情報と第２の情報とが類似していない場合に、少なくとも第３の情報に基づいて、入力パネルへの物体の近接が第２の入力フレームについて検出されたか否かを決定するようにしたので、例えば入力フレーム間でのノイズの発生や入力フレーム間での情報の欠落等が生じた場合（第１の情報と第２の情報とが類似していない場合）であっても、物体（外部近接物体）に関する処理をより適切に実行することができる。よって、使用状況によらず、外部近接物体に関する情報を従来よりも確実に入力することが可能となる。

また、フレーム内ノイズ除去部１５１において、画像処理部１４から出力される点情報のうちの密度情報、縦横比情報および面積情報を用いることにより、検出点の密度や縦横比、面積の大きさに応じて検出点ごとに、検出点に関する処理（制御部２１における処理）の実行の有効または無効を判断し、撮像画像のフレーム内に含まれるフレーム内ノイズに対応する検出点の除去を行うようにしたので、フレーム間でのノイズの発生やフレーム間での情報の欠落等に加えてフレーム内ノイズの除去も効果的に行うことができ、使用状況によらず、外部近接物体に関する情報を更に確実に入力することが可能となる。

＜変形例＞
次に、本発明の変形例をいくつか挙げて説明する。なお、上記実施の形態と同様の構成要素については、同一の符号を付し、適宜説明を省略する。

（変形例１）
図１５は、本発明の変形例１に係る情報入出力装置２のブロック構成を表したものである。この情報入出力装置２は、上記実施の形態に係る情報入出力装置１と比較して、画像処理部１４、フレーム内ノイズ処理部１５１およびフレーム間処理部１５２が、電子機器本体２０に設けられた点が異なっている。すなわち、この情報入出力装置２では、表示信号処理部１２、入出力パネル１１および受光信号処理部１３が、ディスプレイ１０に設けられている。また、制御部２１、画像処理部１４、フレーム内ノイズ処理部１５１およびフレーム間処理部１５２が、電子機器本体２０に設けられている。このような情報入出力装置２であっても、上記実施の形態の情報入出力装置１と同様の効果を奏することができる。

（変形例２，３）
これまでは、複数の表示要素１１ａと複数の受光要素１１ｂとを有する入出力パネル１１（光学式タッチセンサを含んで構成されたもの）を備えた情報入出力装置１，２等を例に挙げて本発明を説明したが、本発明は、他の方式の入出力パネルにも適用可能である。

（変形例２）
図１６は、本発明の変形例２に係る入出力パネル５（接触式タッチセンサを含んで構成されたもの）において、画素Ｐｘにおける断面構造を表すものである。この入出力パネル５は、第１基板５０と、第２基板６０と、液晶分子７１を含む液晶層７０とを備えている。第１基板５０は、ガラス基板５０Ａ、ゲート絶縁膜５１Ａ、第１層間絶縁膜５２Ａ、シグナルラインＳＬ、第２層間絶縁膜５２Ｂ、コモン電極５３、第３層間絶縁膜５２Ｃおよび画素電極５４（第１センサ電極）を有している。第２基板６０は、ガラス基板６０Ａ、カラーフィルタ６１および対向センサ電極６２（第２センサ電極）を有している。すなわち、入出力パネル５内には、画素電極５４と対向センサ電極６２とにより接触型タッチセンサが構成されている。ここで、画素電極５４は、例えば、複数のエッジ５４Ｂを含む断面形状となっている。エッジ５４Ｂでは配向膜（図示せず）が薄くなる傾向があり、エッジ５４Ｂが配向膜から露出している。また、エッジ５４Ｂに対向して、対向センサ電極６２（スリット６２Ａおよびパターン６２Ｂからなる）が配置されている。これにより、第２基板６０がたわむと、対向センサ電極６２は画素電極５４の露出したエッジ５４Ｂに接触し、直接導通がとれるので、位置検出の不安定性が抑えられる。このようにして、入力パネルの一部が押圧されたことによる少なくとも１つの電気的接触に基づいて、上記第１ないし第３の情報（入力パネルへの物体の近接の可能性を示す情報）のうちの少なくとも１つが求められる。特に、この入出力パネル５がＦＦＳ（Fringe Field Switching）方式の液晶表示パネルの場合には、画素電極５４がもともと複数のスリット５４Ａを含む平面形状を有することから、開口率を低下させることなく位置検出性能を高めることが可能となる。

（変形例３）
図１７は、本発明の変形例３に係る入出力パネル８（静電容量式タッチセンサを含んで構成されたもの）の要部断面構造を表すものである。この入出力パネル８は、表示素子として液晶表示素子を用いると共に、この液晶表示素子に元々備えられている電極の一部（後述する共通電極８４３）および表示用駆動信号（後述するコモン駆動信号Ｖcom）を兼用して静電容量型タッチセンサを構成したものである。この入出力パネル８は、画素基板８２と、この画素基板８２に対向して配置された対向基板８４と、画素基板８２と対向基板８４との間に挿設された液晶層８６とを備えている。

画素基板８２は、回路基板としてのＴＦＴ基板８２１と、このＴＦＴ基板８２１上にマトリクス状に配設された複数の画素電極８２２とを有する。ＴＦＴ基板８２１には、各画素電極８２２を駆動するための表示ドライバやＴＦＴ（薄膜トランジスタ）の他、各画素電極に画像信号を供給するソース線や、各ＴＦＴを駆動するゲート線等の配線が形成されている（いずれも図示せず）。ＴＦＴ基板８２１にはまた、タッチ検出動作を行う検出回路が形成されていてもよい。

対向基板８４は、ガラス基板８４１と、このガラス基板８４１の一方の面に形成されたカラーフィルタ８４２と、このカラーフィルタ８４２の上に形成された共通電極８４３とを有する。カラーフィルタ８４２は、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色のカラーフィルタ層を周期的に配列して構成したもので、各表示画素（画素電極８２２）ごとにＲ、Ｇ、Ｂの３色が１組として対応付けられている。共通電極８４３は、タッチ検出動作を行うタッチセンサの一部を構成するセンサ用駆動電極としても兼用されるものである。

共通電極８４３は、コンタクト導電柱８７によってＴＦＴ基板８２１と連結されている。このコンタクト導電柱８７を介して、ＴＦＴ基板８２１から共通電極８４３に交流矩形波形のコモン駆動信号Ｖcomが印加されるようになっている。このコモン駆動信号Ｖcomは、画素電極８２２に印加される画素電圧とともに各画素の表示電圧を画定するものであるが、タッチセンサの駆動信号としても兼用されるものである。すなわち、このコモン駆動信号Ｖcomは、所定の周期ごとに極性反転するものとなっている。

ガラス基板８４１の他方の面には、センサ用検出電極（タッチ検出電極）８４４が形成され、さらに、このセンサ用検出電極８４４の上には、偏光板８４５が配設されている。センサ用検出電極８４４は、タッチセンサの一部を構成するものである。

液晶層８６は、電界の状態に応じてそこを通過する光を変調するものであり、例えば、ＴＮ（ツイステッドネマティック）、ＶＡ（垂直配向）、ＥＣＢ（電界制御複屈折）等の各種モードの液晶が用いられる。

なお、液晶層８６と画素基板８２との間、および液晶層８６と対向基板８４との間には、それぞれ配向膜が配設され、また、画素基板８２の下面側には入射側偏光板が配置されるが、ここでは図示を省略している。

この入出力パネル８では、対向基板８４の表面のいずれかの場所にユーザの指等が接触または近接すると、そのタッチ箇所に元々形成されている容量素子に、指による容量素子が付加される。その結果、そのタッチ箇所がスキャンされた時点（すなわち、共通電極８４３の電極パターンのうち、そのタッチ箇所に対応する電極パターンにコモン駆動信号Ｖcomが印加されたとき）の検出信号Ｖdetの値が、他の箇所よりも小さくなる。検出回路は、この検出信号Ｖdetをしきい値電圧Ｖthと比較して、しきい値電圧Ｖth未満の場合に、その箇所をタッチ箇所として判定することができる。なお、このタッチ箇所は、コモン駆動信号Ｖcomの印加タイミングと、しきい値電圧Ｖth未満の検出信号Ｖdetの検出タイミングとから割り出すことができる。このようにして、入力パネルの少なくとも１つの容量性素子における静電容量の変化に基づいて、上記第１ないし第３の情報（入力パネルへの物体の近接の可能性を示す情報）のうちの少なくとも１つが求められる。

＜適用例＞
次に、図１８〜図２２を参照して、上記実施の形態および変形例で説明した情報入出力装置の適用例について説明する。上記実施の形態等の情報入出力装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなどのあらゆる分野の電子機器に適用することが可能である。言い換えると、上記実施の形態等の情報入出力装置は、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。

（適用例１）
図１８は、上記実施の形態等の情報入出力装置が適用されるテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例２）
図１９は、上記実施の形態等の情報入出力装置が適用されるデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例３）
図２０は、上記実施の形態等の情報入出力装置が適用されるノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例４）
図２１は、上記実施の形態等の情報入出力装置が適用されるビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有している。そして、その表示部５４４は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例５）
図２２は、上記実施の形態等の情報入出力装置が適用される携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態等に係る情報入出力装置により構成されている。

＜その他の変形例＞
以上、いくつかの実施の形態、変形例および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されず、種々の変形が可能である。

例えば、上記実施の形態等で説明したステップＳ１４１〜Ｓ１４３の各処理を行う順番は、図５に示した順番には限られず、任意の順番で行うようにしてもよい。また、これらステップＳ１４１〜Ｓ１４３の各処理を全て行う場合には限られず、少なくとも１つの処理を行うようにすればよい。同様に、上記実施の形態等で説明したステップＳ１５１〜Ｓ１５４の各処理を行う順番は、図１０に示した順番には限られず、例えば、ステップＳ１５３，Ｓ１５４の２つの処理を行う順番が逆になるようにしてもよい。また、上記実施の形態等で説明した点情報としては、位置情報、密度情報、縦横比情報および面積情報の全てを含んでいる必要はなく、少なくとも位置情報を含んでいればよい。すなわち、場合によっては、上記実施の形態等で説明したステップＳ１４１〜Ｓ１４３の各処理を行わず、ステップＳ１５１〜Ｓ１５４の処理のみを行うようにしてもよい。

また、上記実施の形態等では、制御部２１が電子機器本体２０内に設けられている場合について説明したが、制御部２１をディスプレイ１０内に設けるようにしてもよい。

更に、図２および図３に示した例では、１つの発光セルに対応して１つの受光セルを設けるようにしたが、複数の発光セルに対応して１つの受光セルを設けるようにしてもよい。

加えて、上記実施の形態等では、同一基板上において表示パネルとタッチセンサ（タッチパネル）とが一体的に設けられた（入出力パネルが設けられた）情報入出力装置について説明したが、この場合には限られない。すなわち、本発明は、例えば表示装置の外側にタッチセンサが設けられた情報入出力装置（外付け型のタッチセンサを備えたもの）にも適用することが可能である。

加えてまた、上記実施の形態等では、入出力パネルとして、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の情報入出力装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素１１ａと受光要素１１ｂとを有することになる。入出力パネル１１は、有機ＥＬ素子を画素１６毎に配置することで構成され、表示データに応じて各有機ＥＬ素子に順方向バイアス電圧を印加して発光動作をさせると画像を表示し、他の有機ＥＬ素子に逆方向バイアス電圧を印加して反射光を受光することになる。

加えて更に、上記実施の形態では、複数の表示要素と複数の受光要素とを有する（外部近接物体を検出する検出機能と画像表示機能とを有する）入出力パネルを備えた情報入出力装置を例に挙げて本発明を説明したが、この場合には限られない。具体的には、本発明は、外部近接物体を検出する検出機能を有する入力パネルを備えた情報入力装置（複数の受光要素を有する撮像装置）にも適用することが可能である。すなわち、そのような入力パネルと、制御部２１により生成された表示データに基づく画像表示を行う出力パネル（表示パネル）とを、別々に設けるようにしてもよい。この場合、この入力パネルの１つの検出面分の検出信号が、１つの検出フレームを構成する検出信号に対応する。

更にまた、上記実施の形態等において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。

１，２…情報入出力装置（物体近接検出装置）、１０…ディスプレイ、１１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１２…表示信号処理部、１３…受光信号処理部、１４…画像処理部、１５１…フレーム内ノイズ除去部、１５２…フレーム間処理部、１６…画素、２０…電子機器本体、２１…制御部、５…入出力パネル、５０…第１基板、５４…画素電極、６０…第２基板、６２…対向センサ電極、７０…液晶層、８…入出力パネル、８２…画素基板、８４…対向基板、８６…液晶層、＃ａ，＃ａ１，＃ａ２，＃ｂ，＃ｂ１，＃ｂ２，＃ｃ，＃ｃ２，＃ｄ，＃ｄ２…入力部分（検出点ブロック）、＃１〜＃４…追跡点（検出点ブロック）、Ａ，Ａａ〜Ａｄ…外接矩形領域、Ｘ１，Ｘ２，Ｙ１，Ｙ２…外接矩形領域の位置座標、Ｗ…外接矩形領域の幅、Ｈ…外接矩形領域の高さ、Ｓ…入力部分の面積、Ｄ…入力部分の密度、Ｒ…入力部分の縦横比。

Claims

少なくとも１つの検出エレメントを含む入力パネルと、
少なくとも１つの検出回路と
を備え、
前記検出回路は、
前記入力パネルへの物体の近接の可能性を示す第１の情報を、第１の入力フレームから
求め、
前記入力パネルへの前記物体の近接の可能性を示す第２の情報を、前記第１の入力フレームの後に生成された第２の入力フレームから求め、
前記入力パネルへの前記物体の近接の可能性を示す第３の情報を、前記第２の入力フレームの後に生成された第３の入力フレームから求め、
前記第１の情報に基づいて、前記第１の入力フレームへの前記物体の近接が検出され、
前記第２の入力フレームへの前記物体の近接が検出されず、
前記第３の情報に基づいて、前記第３の入力フレームへの前記物体の近接が検出され、かつ、前記第１の情報と前記第３の情報とが類似している場合には、前記第２の入力フレームへの前記物体の近接が検出されたものとされる、
物体近接検出装置。
少なくとも１つの検出エレメントを含む入力パネルと、
少なくとも１つの検出回路と
を備え、
前記検出回路は、
前記入力パネルへの物体の近接の可能性を示す第１の情報を、第１の入力フレームから
求め、
前記入力パネルへの前記物体の近接の可能性を示す第２の情報を、前記第１の入力フレームの後に生成された第２の入力フレームから求め、
前記入力パネルへの前記物体の近接の可能性を示す第３の情報を、前記第２の入力フレームの後に生成された第３の入力フレームから求め、
前記第１の情報に基づいて、前記第１の入力フレームへの前記物体の近接が検出され、
前記第２の入力フレームへの前記物体の近接が検出されず、
前記第３の情報に基づいて、前記第３の入力フレームへの前記物体の近接が検出され、かつ、前記第１の情報と前記第３の情報とが類似している場合には、
前記第２の入力フレームへの前記物体の近接が検出されなかったのは、ノイズの発生又は入力フレーム間での情報の欠落であったと判断し、前記第２の入力フレームへの前記物体の近接が検出されたと決定する、
物体近接検出装置。
少なくとも１つの検出エレメントを含む入力パネルと、
少なくとも１つの検出回路と
を備え、
前記検出回路は、
前記入力パネルへの物体の近接の可能性を示す第１の情報を、第１の入力フレームから
求め、
前記入力パネルへの前記物体の近接の可能性を示す第２の情報を、前記第１の入力フレームの後に生成された第２の入力フレームから求め、
前記入力パネルへの前記物体の近接の可能性を示す第３の情報を、前記第２の入力フレームの後に生成された第３の入力フレームから求め、
前記第１の情報に基づいて、前記第１の入力フレームへの前記物体の近接が検出され、
前記第２の入力フレームへの前記物体の近接が検出されず、
前記第３の情報に基づいて、前記第３の入力フレームへの前記物体の近接が検出され、かつ、前記第１の情報と前記第３の情報とが類似している場合には、
前記第２の入力フレームへの前記物体の近接が検出されたと決定し、
前記第１の入力フレームへの前記物体の近接が検出されず、かつ、前記第２の情報に基づいて、前記第２の入力フレームへの前記物体の近接が検出された場合には、
前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かの決定を保留する
物体近接検出装置。
前記検出回路は、
前記第１の情報と前記第２の情報とが類似している場合に、
少なくとも前記第１および第２の情報に基づいて、前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かを決定する
請求項１から請求項３のいずれか１項に記載の物体近接検出装置。
前記第１ないし第３の入力フレームについての前記第１ないし第３の情報はそれぞれ、
前記入力パネルへの前記物体の近接が検出されたか否かを示す第１のデータと、
前記入力パネルへの前記物体の近接の可能性が検出された場合における、物体近接可能性の検出位置を示す第２のデータと
を含む請求項１から請求項３のいずれか１項に記載の物体近接検出装置。
前記検出回路は、
前記入力パネルにおける、しきい値を上回る反射光を受光した少なくとも１つの受光エレメントに基づいて、前記第１ないし第３の情報のうちの少なくとも１つを求める
請求項１から請求項３のいずれか１項に記載の物体近接検出装置。
前記検出回路は、
前記入力パネルの一部が押圧されたことによる少なくとも１つの電気的接触に基づいて、前記第１ないし第３の情報のうちの少なくとも１つを求める
請求項１から請求項３のいずれか１項に記載の物体近接検出装置。
前記検出回路は、
前記入力パネルの少なくとも１つの容量性素子における静電容量の変化に基づいて、前記第１ないし第３の情報のうちの少なくとも１つを求める
請求項１から請求項３のいずれか１項に記載の物体近接検出装置。
前記第１ないし第３の入力フレームについての前記第１ないし第３の情報はそれぞれ、前記入力パネルへの前記物体の近接の可能性が検出された場合における、物体近接可能性の検出位置を示すデータを含み、
前記検出回路は、
前記第１の情報における前記物体近接可能性の検出位置を示すデータと、前記第２の情報における前記物体近接可能性の検出位置を示すデータとを比較することにより、前記第１の情報と前記第２の情報とが類似しているか否かを判断する
請求項１から請求項３のいずれか１項記載の物体近接検出装置。
前記検出回路は、
前記第１の情報における前記物体近接可能性の検出位置を示すデータと、前記第２の情報における前記物体近接可能性の検出位置を示すデータとの差分を求め、
前記差分としきい値とを比較することにより、前記第１の情報と前記第２の情報とが類似しているか否かを判断する
請求項９に記載の物体近接検出装置。
前記検出回路は、
前記差分が前記しきい値よりも高い場合に、前記第１の情報と前記第２の情報とが類似していないと判断すると共に、
前記差分が前記しきい値以下である場合に、前記第１の情報と前記第２の情報とが類似していると判断することにより、
前記第１の情報と前記第２の情報とが類似しているか否かを判断する
請求項１０に記載の物体近接検出装置。
前記第１および第２の情報はそれぞれ、
個々の前記入力パネルへの前記物体の近接の可能性の検出についての、面積データと、
密度データと、縦横比データと、のうちの少なくとも１つのデータをさらに含み、
前記検出回路は、
前記第１の情報における前記少なくとも１つのデータと、前記第２の情報における前記
少なくとも１つのデータとを比較することにより、前記第１の情報と前記第２の情報とが
類似しているか否かを判断する
請求項９に記載の物体近接検出装置。
前記検出回路は、
前記第１の情報における前記少なくとも１つのデータと、前記第２の情報における前記少なくとも１つのデータとの間の少なくとも１つの差分を求め、
前記少なくとも１つの差分と、前記第１の情報における前記物体近接可能性の検出位置を示すデータと前記第２の情報における前記物体近接可能性の検出位置を示すデータとの差分と、の組み合わせを求め、
前記組み合わせとしきい値とを比較することにより、前記第１の情報と前記第２の情報とが類似しているか否かを判断する
請求項１２に記載の物体近接検出装置。
前記検出回路は、
前記組み合わせが前記しきい値よりも高い場合に、前記第１の情報と前記第２の情報とが類似していないと判断すると共に、
前記組み合わせが前記しきい値以下である場合に、前記第１の情報と前記第２の情報とが類似していると判断することにより、
前記第１の情報と前記第２の情報とが類似しているか否かを判断する
請求項１３に記載の物体近接検出装置。
前記検出回路は、
前記入力パネルにおける１つ以上の検出エレメントから得られた１つ以上の検出信号に
対応する領域を、個々の入力フレームにおいて特定すると共に、
その特定した領域について、面積データと、密度データと、縦横比データと、のうちの少なくとも１つのデータを求め、
特定した領域に対応する位置において前記入力パネルへの前記物体の近接の可能性が検出されたか否かを決定すべく、前記少なくとも１つのデータと、少なくとも１つの所定範囲とを比較することにより、前記第１ないし第３の情報のうちの少なくとも１つを求める
請求項１から請求項３のいずれか１項に記載の物体近接検出装置。
前記第１の情報は、前記第１の入力フレームについての第１の物体近接可能性の検出位置を示すデータを含み、
前記検出回路は、
前記第２の情報が、前記第１の物体近接可能性の検出位置に類似した位置において、前記第２の入力フレームについての前記入力パネルへの前記物体の近接の可能性の検出を示していないと判断することにより、前記第１の情報と前記第２の情報とが類似していないと判断すると共に、
前記第３の情報が、前記第１の物体近接可能性の検出位置に類似した位置において、前記第３の入力フレームについての前記入力パネルへの前記物体の近接の可能性の検出を示している場合に、
前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたと判断することにより、前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かを決定する
請求項１から請求項３のいずれか１項に記載の物体近接検出装置。
前記第２の情報は、前記第２の入力フレームについての第１の物体近接可能性の検出位置を示すデータを含み、
前記検出回路は、
前記第１の情報が、前記第１の物体近接可能性の検出位置に類似した位置において、前記第１の入力フレームについての前記入力パネルへの前記物体の近接の可能性の検出を示していないと判断することにより、前記第１の情報と前記第２の情報とが類似していないと判断すると共に、
前記第３の情報が、前記第１の物体近接可能性の検出位置に類似した位置において、前記第３の入力フレームについての前記入力パネルへの前記物体の近接の可能性の検出を示していない場合に、
前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されなかったと判断することにより、前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かを決定する
請求項１から請求項３のいずれか１項に記載の物体近接検出装置。
前記検出回路は、さらに、
前記第３の情報が、前記第１の物体近接可能性の検出位置に類似した位置において、前記第３の入力フレームについての前記入力パネルへの前記物体の近接の可能性の検出を示している場合に、
前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたと判断することにより、前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かを決定する
請求項１７に記載の物体近接検出装置。
前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたと決定された場合に、少なくとも前記第１の物体近接可能性の検出位置を示すデータに基づいて、前記第２の入力フレームに関連した表示画像を制御する制御部をさらに備えた
請求項１８に記載の物体近接検出装置。
前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かを決定した結果に基づいて、所定のフレーム間処理を実行するフレーム間処理部をさらに備えた
請求項１ないし請求項１９のいずれか１項に記載の物体近接検出装置。
少なくとも１つの検出エレメントを含む入力パネルへの物体の近接の可能性を示す第１の情報を、第１の入力フレームから求めるステップと、
前記入力パネルへの前記物体の近接の可能性を示す第２の情報を、前記第１の入力フレームの後に生成された第２の入力フレームから求めるステップと、
前記入力パネルへの前記物体の近接の可能性を示す第３の情報を、前記第２の入力フレームの後に生成された第３の入力フレームから求めるステップと、
前記第１の情報に基づいて、前記第１の入力フレームへの前記物体の近接が検出され、前記第２の入力フレームへの前記物体の近接が検出されず、前記第３の情報に基づいて、前記第３の入力フレームへの前記物体の近接が検出され、かつ、前記第１の情報と前記第３の情報とが類似している場合には、前記第２の入力フレームへの前記物体の近接が検出されたものとするステップと、
を含む物体近接検出方法。
少なくとも１つの検出エレメントを含む入力パネルへの物体の近接の可能性を示す第１の情報を、第１の入力フレームから求めるステップと、
前記入力パネルへの前記物体の近接の可能性を示す第２の情報を、前記第１の入力フレームの後に生成された第２の入力フレームから求めるステップと、
前記入力パネルへの前記物体の近接の可能性を示す第３の情報を、前記第２の入力フレームの後に生成された第３の入力フレームから求めるステップと、
前記第１の情報に基づいて、前記第１の入力フレームへの前記物体の近接が検出され、前記第２の入力フレームへの前記物体の近接が検出されず、前記第３の情報に基づいて、前記第３の入力フレームへの前記物体の近接が検出され、かつ、前記第１の情報と前記第３の情報とが類似している場合には、前記第２の入力フレームへの前記物体の近接が検出されなかったのは、ノイズの発生又は入力フレーム間での情報の欠落であったと判断し、前記第２の入力フレームへの前記物体の近接が検出されたと決定するステップと、
を含む物体近接検出方法。
少なくとも１つの検出エレメントを含む入力パネルへの物体の近接の可能性を示す第１の情報を、第１の入力フレームから求めるステップと、
前記入力パネルへの前記物体の近接の可能性を示す第２の情報を、前記第１の入力フレームの後に生成された第２の入力フレームから求めるステップと、
前記入力パネルへの前記物体の近接の可能性を示す第３の情報を、前記第２の入力フレームの後に生成された第３の入力フレームから求めるステップと、
前記第１の情報に基づいて、前記第１の入力フレームへの前記物体の近接が検出され、
前記第２の入力フレームへの前記物体の近接が検出されず、前記第３の情報に基づいて、前記第３の入力フレームへの前記物体の近接が検出され、かつ、前記第１の情報と前記第３の情報とが類似している場合には、前記第２の入力フレームへの前記物体の近接が検出されたと決定するステップと、
前記第１の入力フレームへの前記物体の近接が検出されず、かつ、前記第２の情報に基づいて、前記第２の入力フレームへの前記物体の近接が検出された場合には、前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かの決定を保留するステップと、
を含む物体近接検出方法。
前記第１の情報と前記第２の情報とが類似している場合に、少なくとも前記第１および第２の情報に基づいて、前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かを決定するステップを含む
請求項２１から請求項２３のいずれか１項に記載の物体近接検出方法。
前記第１ないし第３の入力フレームについての前記第１ないし第３の情報はそれぞれ、
前記入力パネルへの前記物体の近接が検出されたか否かを示す第１のデータと、
前記入力パネルへの前記物体の近接の可能性が検出された場合における、物体近接可能性の検出位置を示す第２のデータと
を含む請求項２１から請求項２３のいずれか１項に記載の物体近接検出方法。
前記入力パネルにおける、しきい値を上回る反射光を受光した少なくとも１つの受光エレメントに基づいて、前記第１ないし第３の情報のうちの少なくとも１つを求める
請求項２１から請求項２３のいずれか１項に記載の物体近接検出方法。
前記入力パネルの一部が押圧されたことによる少なくとも１つの電気的接触に基づいて、前記第１ないし第３の情報のうちの少なくとも１つを求める
請求項２１から請求項２３のいずれか１項に記載の物体近接検出方法。
前記入力パネルの少なくとも１つの容量性素子における静電容量の変化に基づいて、前記第１ないし第３の情報のうちの少なくとも１つを求める
請求項２１から請求項２３のいずれか１項に記載の物体近接検出方法。
前記第１ないし第３の入力フレームについての前記第１ないし第３の情報はそれぞれ、前記入力パネルへの前記物体の近接の可能性が検出された場合における、物体近接可能性の検出位置を示すデータを含み、
前記第１の情報における前記物体近接可能性の検出位置を示すデータと、前記第２の情報における前記物体近接可能性の検出位置を示すデータとを比較することにより、前記第１の情報と前記第２の情報とが類似しているか否かを判断するステップを含む
請求項２１から請求項２３のいずれか１項に記載の物体近接検出方法。
前記第１の情報と前記第２の情報とが類似しているか否かを判断するステップは、
前記第１の情報における前記物体近接可能性の検出位置を示すデータと、前記第２の情報における前記物体近接可能性の検出位置を示すデータとの差分を求めるステップと、
前記差分としきい値とを比較するステップと
を含む請求項２９に記載の物体近接検出方法。
前記第１の情報と前記第２の情報とが類似しているか否かを判断するステップは、
前記差分が前記しきい値よりも高い場合に、前記第１の情報と前記第２の情報とが類似していないと判断すると共に、前記差分が前記しきい値以下である場合に、前記第１の情報と前記第２の情報とが類似していると判断するステップを含む
請求項３０に記載の物体近接検出方法。
前記第１および第２の情報はそれぞれ、
個々の前記入力パネルへの前記物体の近接の可能性の検出についての、面積データと、密度データと、縦横比データと、のうちの少なくとも１つのデータをさらに含み、
前記第１の情報と前記第２の情報とが類似しているか否かを判断するステップは、
前記第１の情報における前記少なくとも１つのデータと、前記第２の情報における前記少なくとも１つのデータとを比較するステップを含む
請求項２９に記載の物体近接検出方法。
前記第１の情報と前記第２の情報とが類似しているか否かを判断するステップは、
前記第１の情報における前記少なくとも１つのデータと、前記第２の情報における前記少なくとも１つのデータとの間の少なくとも１つの差分を求めるステップと、
前記少なくとも１つの差分と、前記第１の情報における前記物体近接可能性の検出位置を示すデータと前記第２の情報における前記物体近接可能性の検出位置を示すデータとの差分と、の組み合わせを求めるステップと、
前記組み合わせとしきい値とを比較するステップと
を含む請求項３２に記載の物体近接検出方法。
前記第１の情報と前記第２の情報とが類似しているか否かを判断するステップは、
前記組み合わせが前記しきい値よりも高い場合に、前記第１の情報と前記第２の情報とが類似していないと判断すると共に、前記組み合わせが前記しきい値以下である場合に、前記第１の情報と前記第２の情報とが類似していると判断するステップを含む
請求項３３に記載の物体近接検出方法。
前記第１の情報を求めるステップ、前記第２の情報を求めるステップおよび前記第３の情報を求めるステップのうちの少なくとも１つのステップは、
前記入力パネルにおける１つ以上の検出エレメントから得られた１つ以上の検出信号に対応する領域を、個々の入力フレームにおいて特定するステップと、
その特定した領域について、面積データと、密度データと、縦横比データと、のうちの少なくとも１つのデータを求めるステップと、
特定した領域に対応する位置において前記入力パネルへの前記物体の近接の可能性が検出されたか否かを決定すべく、前記少なくとも１つのデータと、少なくとも１つの所定範囲とを比較するステップと
を含む請求項２１から請求項２３のいずれか１項に記載の物体近接検出方法。
前記第１の情報は、前記第１の入力フレームについての第１の物体近接可能性の検出位置を示すデータを含み、
前記第１の情報と前記第２の情報とが類似しているか否かを判断するステップでは、
前記第２の情報が、前記第１の物体近接可能性の検出位置に類似した位置において、前記第２の入力フレームについての前記入力パネルへの前記物体の近接の可能性の検出を示していないと判断することにより、前記第１の情報と前記第２の情報とが類似していないと判断し、
前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かを決定するステップでは、
前記第３の情報が、前記第１の物体近接可能性の検出位置に類似した位置において、前記第３の入力フレームについての前記入力パネルへの前記物体の近接の可能性の検出を示している場合に、前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたと判断する
請求項２１から請求項２３のいずれか１項に記載の物体近接検出方法。
前記第２の情報は、前記第２の入力フレームについての第１の物体近接可能性の検出位置を示すデータを含み、
前記第１の情報と前記第２の情報とが類似しているか否かを判断するステップでは、
前記第１の情報が、前記第１の物体近接可能性の検出位置に類似した位置において、前記第１の入力フレームについての前記入力パネルへの前記物体の近接の可能性の検出を示していないと判断することにより、前記第１の情報と前記第２の情報とが類似していないと判断し、
前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かを決定するステップでは、
前記第３の情報が、前記第１の物体近接可能性の検出位置に類似した位置において、前記第３の入力フレームについての前記入力パネルへの前記物体の近接の可能性の検出を示していない場合に、前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されなかったと判断する
請求項２１から請求項２３のいずれか１項に記載の物体近接検出方法。
前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かを決定するステップでは、
前記第３の情報が、前記第１の物体近接可能性の検出位置に類似した位置において、前記第３の入力フレームについての前記入力パネルへの前記物体の近接の可能性の検出を示している場合に、前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたと判断する
請求項３７に記載の物体近接検出方法。
前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたと決定された場合に、少なくとも前記第１の物体近接可能性の検出位置を示すデータに基づいて、前記第２の入力フレームに関連した表示画像を制御するステップをさらに含む
請求項３８に記載の物体近接検出方法。
前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かを決定した結果に基づいて、所定のフレーム間処理を実行するステップをさらに含む
請求項２１ないし請求項３９のいずれか１項に記載の物体近接検出方法。
少なくとも１つの検出エレメントを含む入力パネルへの物体の近接の可能性を示す第１の情報を、第１の入力フレームから求めるステップと、
前記入力パネルへの前記物体の近接の可能性を示す第２の情報を、前記第１の入力フレームの後に生成された第２の入力フレームから求めるステップと、
前記入力パネルへの前記物体の近接の可能性を示す第３の情報を、前記第２の入力フレームの後に生成された第３の入力フレームから求めるステップと、
前記第１の情報に基づいて、前記第１の入力フレームへの前記物体の近接が検出され、前記第２の入力フレームへの前記物体の近接が検出されず、前記第３の情報に基づいて、前記第３の入力フレームへの前記物体の近接が検出され、かつ、前記第１の情報と前記第３の情報とが類似している場合には、前記第２の入力フレームへの前記物体の近接が検出されたものとするステップと、
をコンピュータに実行させる物体近接検出プログラム。
少なくとも１つの検出エレメントを含む入力パネルへの物体の近接の可能性を示す第１の情報を、第１の入力フレームから求めるステップと、
前記入力パネルへの前記物体の近接の可能性を示す第２の情報を、前記第１の入力フレームの後に生成された第２の入力フレームから求めるステップと、
前記入力パネルへの前記物体の近接の可能性を示す第３の情報を、前記第２の入力フレームの後に生成された第３の入力フレームから求めるステップと、
前記第１の情報に基づいて、前記第１の入力フレームへの前記物体の近接が検出され、前記第２の入力フレームへの前記物体の近接が検出されず、前記第３の情報に基づいて、前記第３の入力フレームへの前記物体の近接が検出され、かつ、前記第１の情報と前記第３の情報とが類似している場合には、前記第２の入力フレームへの前記物体の近接が検出されなかったのは、ノイズの発生又は入力フレーム間での情報の欠落であったと判断し、前記第２の入力フレームへの前記物体の近接が検出されたと決定するステップと、
をコンピュータに実行させる物体近接検出プログラム。
少なくとも１つの検出エレメントを含む入力パネルへの物体の近接の可能性を示す第１の情報を、第１の入力フレームから求めるステップと、
前記入力パネルへの前記物体の近接の可能性を示す第２の情報を、前記第１の入力フレームの後に生成された第２の入力フレームから求めるステップと、
前記入力パネルへの前記物体の近接の可能性を示す第３の情報を、前記第２の入力フレームの後に生成された第３の入力フレームから求めるステップと、
前記第１の情報に基づいて、前記第１の入力フレームへの前記物体の近接が検出され、
前記第２の入力フレームへの前記物体の近接が検出されず、前記第３の情報に基づいて、前記第３の入力フレームへの前記物体の近接が検出され、かつ、前記第１の情報と前記第３の情報とが類似している場合には、前記第２の入力フレームへの前記物体の近接が検出されたと決定するステップと、
前記第１の入力フレームへの前記物体の近接が検出されず、かつ、前記第２の情報に基づいて、前記第２の入力フレームへの前記物体の近接が検出された場合には、前記入力パネルへの前記物体の近接が前記第２の入力フレームについて検出されたか否かの決定を保留するステップと、
をコンピュータに実行させる物体近接検出プログラム。