JP5392656B2 - 情報入力装置、情報入出力装置および電子機器 - Google Patents

Description

本発明は、パネルに接触または近接する物体の位置などの情報を取得する情報入力装置および情報入出力装置、ならびにそのような情報入出力装置を備えた電子機器に関する。

従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。

このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのタッチパネルは、指でタッチパネルに接触することによりパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがって、このようなタッチパネルを用いることにより、ユーザは直感的に操作することが可能である。

また、本出願人は例えば特許文献１および特許文献２において、画像を表示する表示機能（情報出力機能）と、物体を撮像（検出）する撮像機能（検出機能、情報入力機能）とを有する表示部（入出力パネル）を備えた表示装置（情報入出力装置）を提案している。

特開２００４−１２７２７２号公報 特開２００６−２７６２２３号公報

上記特許文献１に記載されている表示装置を利用すれば、例えば入出力パネル上に指などの物体を接触または近接させた場合、この物体で反射された入出力パネルからの照射光による反射光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することにより、入出力パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。

しかしながら、上記のように物体で反射された反射光を利用する場合、外光や、受光素子の特性ばらつきなどが問題となることがあった。具体的には、受光する光の輝度が外光の明るさに応じて変化することから、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。また、受光素子の特性ばらつきなどが固定ノイズとなり、やはり撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。

そこで、上記特許文献２では、発光状態で得られた画像（照射光による反射光を利用して得られた画像）と、消灯状態で得られた画像との差分を取ることにより、上記した外光や固定ノイズによる影響が除去されるようにしている。これにより、外光や固定ノイズの影響を受けずに、物体の位置などを検出することが可能となると考えられる。

ところが、実際の使用状況下では、上記の発光状態で得られた画像と消灯状態で得られた画像との間には、時間差が存在する。したがって、例えば入出力パネル上で物体が高速に移動している場合などには、この時間差のため、発光状態で得られた画像と消灯状態で得られた画像との間で位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの画像の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう場合があった。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。

このようにして従来の手法では、そのときの使用状況によらずにパネルに接触または近接する物体を安定して検出するのが困難であり、改善の余地があった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず、物体を安定して検出することが可能な情報入力装置および情報入出力像装置、ならびにそのような情報入力装置を備えた電子機器を提供することにある。

本発明の情報入力装置は、複数の第１および第２の受光素子と、近接物体を検出するための検出光を含む光を発する照射光源とを有する入力パネルと、この入力パネルによって近接物体を撮像して得られる信号を画像処理し、その近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理部とを備えたものである。ここで、上記第１の受光素子は、その受光波長領域に検出光の波長領域を含んでいる。上記第２の受光素子は、検出光の波長領域を受光波長領域として含む第３の受光素子と、この第３の受光素子の受光波長領域およびその波長領域と異なる所定の波長領域を受光波長領域として含む第４の受光素子とにより構成されている。第２の受光素子における受光信号は、上記第４の受光素子からの受光信号と上記第３の受光素子からの受光信号との差分信号により構成されることにより、第２の受光素子では、検出光の波長領域における受光感度が第１の受光素子よりも低くなっていると共に、上記所定の波長領域が受光波長領域として含まれている。上記画像処理部は、第１および第２の受光素子により得られる受光信号に基づいて物体情報を取得する。

本発明の情報入出力装置は、複数の表示素子と、複数の第１および第２の受光素子とを有し、近接物体を検出するための検出光を含む光を発する入出力パネルと、この入出力パネルによって近接物体を撮像して得られる信号を画像処理し、その近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理部とを備えたものである。ここで、上記第１の受光素子は、その受光波長領域に前記検出光の波長領域を含んでいる。上記第２の受光素子は、検出光の波長領域を受光波長領域として含む第３の受光素子と、この第３の受光素子の受光波長領域およびその波長領域と異なる所定の波長領域を受光波長領域として含む第４の受光素子とにより構成されている。第２の受光素子における受光信号は、上記第４の受光素子からの受光信号と上記第３の受光素子からの受光信号との差分信号により構成されることにより、第２の受光素子では、検出光の波長領域における受光感度が第１の受光素子よりも低くなっていると共に、上記所定の波長領域が受光波長領域として含まれている。上記画像処理部は、第１および第２の受光素子により得られる受光信号に基づいて物体情報を取得する。

本発明の電子機器は、上記情報入出力装置を備えたものである。

本発明の情報入力装置、情報入出力装置および電子機器では、入力パネル（または入出力パネル）によって近接物体を撮像して得られる信号が画像処理されることにより、その近接物体の物体情報が得られる。具体的には、第１および第２の受光素子により得られる受光信号（撮像画像）に基づいて、物体情報が得られる。ここで、第１の受光素子は、検出光の波長領域を受光波長領域として含んでいるため、例えば近接物体が入力パネル（または入出力パネル）上で動いている場合、第１の受光素子により得られる撮像画像では、近接物体の検出信号の他に、偽信号が発生し得る。これに対し、第２の受光素子では、検出光の波長領域における受光感度が第１の受光素子よりも低くなっているため、第２の受光素子により得られる撮像画像では、第１の受光素子の場合と同様に偽信号が発生し得る一方、近接物体の検出信号の発生が抑えられる。したがって、例えば、第１の受光素子により得られる撮像画像と第２の受光素子により得られる撮像画像とに基づく合成画像を用いて物体情報が取得されることにより、近接物体が入力パネル（または入出力パネル）上で動いているような場合であっても、合成画像における偽信号の発生が抑えられる。また、上記第２の受光素子における受光信号が、検出光の波長領域を受光波長領域として含む第３の受光素子からの受光信号と、この第３の受光素子の受光波長領域およびその波長領域と異なる所定の波長領域を受光波長領域として含む第４の受光素子からの受光信号との差分信号（第４の受光素子からの受光信号から、第３の受光信号からの受光信号を差し引いた信号）により構成されているため、簡易な構成で第２の受光素子における受光信号が得られる。

本発明の情報入力装置、情報入出力装置および電子機器によれば、入力パネル（または入出力パネル）内に、近接物体を検出するための検出光の波長領域を受光波長領域に含む複数の第１の受光素子と、この検出光の波長領域における受光感度が第１の受光素子よりも低くなっている複数の第２の受光素子とを設けると共に、これら第１および第２の受光素子により得られる信号を画像処理して近接物体の物体情報を取得するようにしたので、例えば近接物体が入力パネル（または入出力パネル）上で動いているような場合であっても、偽信号の発生を抑えることができる。よって、使用状況によらず、物体を安定して検出することが可能となる。また、上記第２の受光素子における受光信号を、上記第４の受光素子からの受光信号と上記第３の受光素子からの受光信号との差分信号により構成するようにしたので、簡易な構成でそのような物体検出を実現することができる。

本発明の一実施の形態に係る情報入出力装置の構成を表すブロック図である。 図１に示したＩ／Ｏディスプレイパネルの構成例を表すブロック図である。 図２に示した表示エリア（センサエリア）内の画素配置例を表す平面図である。 図２に示した表示エリア（センサエリア）内のメインセンサおよび補助センサの配置構成の一例を表す平面模式図である。 図２に示した表示エリア（センサエリア）内のメインセンサおよび補助センサの配置構成の他の例を表す平面模式図である。 検出用光源の発光波長領域と、メインセンサおよび補助センサの検出波長領域との関係の一例を表す特性図である。 補助センサを構成する２つの受光センサの検出波長領域の一例を表す特性図である。 メインセンサおよび補助センサの詳細構成例を表す斜視図である。 図８に示した各色カラーフィルタの透過特性および各受光センサの検出感度特性の一例を表す特性図である。 バックライトのオン・オフ状態と表示状態との関係について説明するためのタイミング図である。 差分画像指先抽出処理の概略を表す流れ図である。 図１１に示した差分画像抽出処理について説明するためのタイミング図である。 差分画像指先抽出処理について説明するための写真図である。 外光が明るい場合の差分画像指先抽出処理について説明するための図である。 外光が暗い場合の差分画像指先抽出処理について説明するための図である。 差分画像指先抽出処理による受光信号のダイナミックレンジについて説明するための図である。 検出対象の指先が同時に複数存在する場合の差分画像指先抽出処理について説明するための写真図である。 比較例に係る差分画像抽出処理について説明するための特性図である。 比較例に係る差分画像抽出処理について説明するための模式図である。 実施の形態に係るメインセンサにおける差分画像について説明するための特性図である。 実施の形態に係るメインセンサにおける差分画像について説明するための模式図である。 実施の形態に係る補助センサにおける差分画像について説明するための特性図である。 実施の形態に係る補助センサにおける差分画像について説明するための模式図である。 実施の形態に係るメインセンサにおける差分画像と補助センサにおける差分画像との合成処理について説明するための模式図である。 変形例１に係る差分画像指先抽出処理について説明するための特性図である。 変形例１に係る差分画像指先抽出処理について説明するための模式図である。 変形例２に係る差分画像指先抽出処理について説明するための模式図である。 変形例３に係る差分画像指先抽出処理について説明するための模式図である。 変形例４に係る差分画像指先抽出処理を表す流れ図である。 表示エリア（センサエリア）内における補助センサの線形領域および非線形領域について説明するための模式図である。 補助センサの線形領域および非線形領域について説明するための特性図である。 補助センサおよびメインセンサにおける光量と受光出力電圧との関係の一例を表す特性図である。 補助センサ上の一部に遮光部を設けた場合の線形領域の範囲の変化について説明するための特性図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの他の例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの他の例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの他の例について説明するための図である。 情報入出力装置の適用例１の外観を表す斜視図である。 （Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。 適用例３の外観を表す斜視図である。 適用例４の外観を表す斜視図である。 （Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。 本発明の他の変形例に係る情報入出力装置の構成を表すブロック図である。 図４３に示した情報入出力装置における各画素の構成例を表す回路図である。 図４３および図４４に示した情報入出力装置における差分画像指先抽出処理について説明するための図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。

１．実施の形態（メインセンサおよび補助センサを用いた物体検出処理の例）
２．実施の形態の変形例
変形例１（メインセンサおよび補助センサでの反射光利用画像同士の差分画像を用いた物体検出処理の例）
変形例２（センサ単位での逐次処理を用いて差分画像を生成する例）
変形例３（差分画素値を補間生成しつつ上記逐次処理を行う例）
変形例４（補助センサでの受光の際の飽和特性を考慮した物体検出処理の例）
３．アプリケーションプログラムの実行例
４．適用例（電子機器への適用例）
５．その他の変形例

＜実施の形態＞
［情報入出力装置の構成］
図１は、本発明の一実施の形態に係る情報入出力装置（表示撮像装置）の全体構成を表すものである。この情報入出力装置は、Ｉ／Ｏディスプレイパネル２０、バックライト１５、表示ドライブ回路１２、受光ドライブ回路１３、画像処理部１４およびアプリケーションプログラム実行部１１を備えている。

Ｉ／Ｏディスプレイパネル２０は、複数の画素が全面に渡ってマトリクス状に配置された液晶パネル（ＬＣＤ；Liquid Crystal Display）により構成されている。このＩ／Ｏディスプレイパネル２０は、表示データに基づく画像を表示する機能（表示機能、情報出力機能）を有すると共に、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体（近接物体）を撮像する機能（撮像機能、情報入力機能）を有している。

バックライト１５は、例えば複数の発光ダイオード（ＬＥＤ；Light Emitting Diode）が配置されてなり、Ｉ／Ｏディスプレイパネル２０における画像表示用および物体検出用の光源である。このバックライト１５は、後述するように、Ｉ／Ｏディスプレイパネル２０の動作タイミングに同期した所定のタイミングで、高速にオン（点灯）・オフ（消灯）動作を行うことが可能となっている。

表示ドライブ回路１２は、Ｉ／Ｏディスプレイパネル２０において表示データに基づく画像が表示されるように（表示動作を行うように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次表示動作の駆動を行う）回路である。

受光ドライブ回路１３（画像生成部）は、Ｉ／Ｏディスプレイパネル２０の各画素から受光信号（撮像信号）が得られるように（物体を撮像するように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次撮像動作の駆動を行う）回路である。また、この受光ドライブ回路１３は、各画素からの受光信号に対して所定の画像処理（画像生成処理）を行うことにより、後述する合成画像を生成する機能も有している。この生成された合成画像は、例えばフレーム単位でフレームメモリ１３Ａに蓄積され、画像処理部１４へ出力されるようになっている。なお、そのような画像生成処理の詳細については後述する。

画像処理部１４は、受光ドライブ回路１３から出力される画像（合成画像）に基づいて所定の画像処理（演算処理）を行い、近接物体に関する物体情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出し、取得するものである。なお、そのような物体検出処理の詳細については後述する。

アプリケーションプログラム実行部１１は、画像処理部１４による検知結果に基づいて所定のアプリケーションソフトに応じた処理を実行するものである。このような処理としては、例えば、検知した物体の位置座標を表示データに含むようにし、Ｉ／Ｏディスプレイパネル２０上に表示させるものなどが挙げられる。このアプリケーションプログラム実行部１１により生成される表示データは、表示ドライブ回路１２へ供給されるようになっている。なお、アプリケーションプログラムの実行例の詳細については後述する。

（Ｉ／Ｏディスプレイパネル２０の詳細構成）
次に、図２を参照して、Ｉ／Ｏディスプレイパネル２０の詳細構成について説明する。このＩ／Ｏディスプレイパネル２０は、表示エリア（センサエリア）２１、表示用Ｈドライバ２２、表示用Ｖドライバ２３、センサ読み出し用Ｈドライバ２５およびセンサ用Ｖドライバ２４を有している。

表示エリア２１は、バックライト１５からの光を変調して照射光を出射する領域（表エリア）であると共に、この領域への近接物体を撮像するための領域（センサエリア）である。この表示エリア２１には、発光素子（表示素子）である液晶素子と、受光素子（撮像素子）としての受光センサ（後述するメインセンサ３２および補助センサ３３）とが、それぞれマトリクス状に配置されている。また、本実施形態では、この表示エリア２１から出射される照射光として、表示光と、例えば赤外光源等（図示せず）による近接物体を検出するための検出光（赤外光等）とを含んでいる。

表示用Ｈドライバ２２は、表示ドライブ回路１２から供給される表示駆動用の表示信号および制御クロックに基づいて、表示用Ｖドライバ２３と共に表示エリア２１内の各画素の液晶素子を線順次駆動するものである。

センサ読み出し用Ｈドライバ２５は、センサ用Ｖドライバ２４と共にセンサエリア２１内の各画素の受光センサを線順次駆動し、受光信号を取得するものである。

（表示エリア２１における各画素の詳細構成）
次に、図３〜図５を参照して、表示エリア２１における各画素の詳細構成例について説明する。

例えば図３に示したように、画素３１は、液晶素子を含む表示画素（表示部）３１ＲＧＢと、撮像画素（受光部）とから構成されている。表示画素３１ＲＧＢは、赤（Ｒ）用の表示画素３１Ｒと、緑（Ｇ）用の表示画素３１Ｇと、青（Ｂ）用の表示画素３１Ｂとから構成されている。受光部には、２種類の受光センサ、すなわち、メインセンサ３２（第１の受光素子）と、補助センサ３３（第２の受光素子）とが配置されている。なお、図３では、１つの表示画素３１ＲＧＢに対して１つの受光センサ（メインセンサ３２または補助センサ３３）を配置しているが、複数の表示画素３１ＲＧＢに対して１つの受光センサを配置するようにしてもよい。

メインセンサ３２および補助センサ３３はそれぞれ、例えば図４（Ａ），（Ｂ）に示したように、表示エリア２１上において、１対１の割合で交互に配置されているのが好ましい。ただし、例えば図５（Ａ），（Ｂ）に示したように、メインセンサ３２の数よりも補助センサ３３の数が少なくなるように配置してもよい。ただし、この場合には、補助センサ３３から得られる受光信号に対して画素補間処理を行う必要があるため、処理が複雑化すると共に、信号やアプリケーションの種類によっては検出漏れが問題にならないかを配慮する必要がある。なお、図４および図５では、説明上の便宜のため、表示画素３１ＲＧＢについては図示を省略している。

（光源および受光センサにおける受光波長領域）
次に、図６および図７を参照して、バックライト１５内の光源（検出用光源）の発光波長領域と、受光センサにおける受光波長領域との関係について説明する。図６は、検出用光源の発光波長領域（図６（Ａ））と、メインセンサ３２および補助センサ３３の受光波長領域（図６（Ｂ），（Ｃ））との関係の一例を表したものである。

図６（Ｂ）中の符号Ｇ２で示したように、メインセンサ３２では、受光波長領域が、波長λ１以上の長波長側の波長領域となっている。したがって、このメインセンサ３２は、図６（Ａ）中の符号Ｇ１で示した、検出光源からの光（検出光）の波長領域Δλ２３（波長λ２〜波長λ３の波長領域）を受光波長領域として含んでおり、近接物体の検出用の受光センサとして機能している。また、メインセンサ３２では、この検出光の波長領域Δλ２３における受光感度が、この波長領域Δλ２３と異なる所定の波長領域（ここでは、波長λ１〜波長λ２未満の波長領域）における受光感度よりも高くなっている。

一方、図６（Ｃ）中に符号Ｇ３で示したように、補助センサ３３では、受光波長領域が、波長λ２以下の短波長側の波長領域（ここでは、波長λ０〜波長λ２の波長領域）となっている。すなわち、補助センサ３３は、受光波長においてメインセンサ３２とは異なる受光感度特性を有している。したがって、この補助センサ３３では、検出光の波長領域Δλ２３における受光感度が、メインセンサ３２よりも低くなっている（ここでは、検出光の波長領域Δλ２３における受光感度が０（ゼロ）となっている）。これにより、補助センサ３３は、後述する偽信号の検出用の受光センサとして機能している。また、補助センサ３３では、検出光の波長領域Δλ２３における受光感度が、上記所定の波長領域（ここでは、波長λ１〜波長λ２未満の波長領域）における受光感度よりも低くなっている。なお、ここでは、波長領域Δλ１２（波長λ１〜波長λ２の波長領域）は、メインセンサ３２および補助センサ３３の双方における受光波長領域となっている。

ここで、本実施の形態では、例えば図６（Ｃ）および図７に示したように、補助センサ３３における受光信号（符号Ｇ３で示す受光感度特性）が、２つの受光センサにおける受光信号（符号Ｇ３１，Ｇ３２で示す受光感度特性）の差分信号により構成されている。具体的には、まず、この補助センサ３３は、検出光の波長領域Δλ２３を受光波長領域として含む一方の受光センサ（第３の受光素子：符号Ｇ３１に対応）を有している。また、補助センサ３３は、この一方の受光センサの受光波長領域（波長λ１以上の長波長側の波長領域）と、上記所定の波長領域（波長λ１〜波長λ２未満の波長領域）とを受光波長領域として含む他方の受光センサ（第４の受光素子：符号Ｇ３２に対応）を有している。すなわち、補助センサ３３は、実際にはこれらの２つの受光センサ（後述する受光センサ３３１，３３２に対応）により構成されている。そして、補助センサ３３における受光信号は、上記他方の受光センサにおける受光信号から上記一方の受光センサにおける受光信号を差し引いて得られるようになっている（Ｇ３＝Ｇ３２−Ｇ３１）。また、ここでは一例として、上記一方の受光センサにおける受光感度特性Ｇ３１が、メインセンサ３２における受光感度特性Ｇ２と等しく（同一）となっている。ただし、この一方の受光センサにおける受光感度特性Ｇ３１は、この場合には限られない。

ここで、補助センサ３３をこのように２つの受光センサの組み合わせにより構成しているのは、例えば以下の理由による。すなわち、例えば検出光として赤外光を用いた場合、補助センサ３３は、理想的にはこの赤外光の波長領域には受光感度を持たず、かつそれ以外の波長領域に受光感度を持つようにする必要がある。ただし、一般に、赤外光の波長領域に受光感度を有する材料は容易に見つかるものの、逆に赤外光の波長領域に受光感度を有しない（遮断）材料は限定されており、また遮断特性を有する材料としては、誘電体材料のように製造コストが非常に高いものとなってしまう。そのため、この場合、赤外光の波長領域に受光感度を有する受光センサと、赤外光およびその他の波長領域に受光感度を有する受光センサとを組み合わせ、後者の受光信号から前者の受光信号を差し引くことにより補助センサ３３の受光信号を得るのが現実的であるからである。

なお、検出光として赤外光を用いた場合、後述するように、メインセンサ３２は、この赤外光の波長領域を受光波長領域として含むようにすると共に、補助センサ３３は、例えば可視光の波長領域を受光波長領域として含むようにすればよい。ただし、検出光の波長領域と、メインセンサ３２および補助センサ３３の受光波長領域との関係は、これには限られない。例えば、検出光として緑色光を用いると共に、補助センサ３３の受光波長領域を赤色光の波長領域のみとするようにしてもよい。ただし、ここで注意しなければならないのは、補助センサ３３の受光波長領域としては、検出光の波長領域を含まないようにするのが好ましいが、メインセンサ３２が受光可能な外光の波長に関しては、受光できるようにする。これは、後述するように、メインセンサ３２に入射する外光に起因する偽信号を検出することが、補助センサ３３の役割だからである。なお、このような検出光の波長領域と、メインセンサ３２および補助センサ３３の受光波長領域との関係は、例えば、後述する既存のカラーフィルタの組み合わせや、受光センサの分光感度の設計などによって実現することができる。

（メインセンサ３２および補助センサ３３の具体的な構成例）
次に、図８および図９を参照して、メインセンサ３２および補助センサ３３の具体的な構成例について説明する。図８は、メインセンサ３２および補助センサ３３の詳細構成例を斜視図で模式的に表したものである。なお、これらの図においては、検出光として赤外光を用いた場合について示している。

図８（Ａ）に示したように、メインセンサ３２は、例えば、青色カラーフィルタ３２１Ｂおよび赤色カラーフィルタ３２１Ｒが表面全体に積層配置された受光センサ３２１と、ブラックマトリクスＢＭが表面全体に配置された受光センサ３２２とにより構成されている。ここで、青色カラーフィルタ３２１Ｂは、例えば図９（Ａ）に示したような透過特性を示す一方、赤色カラーフィルタ３２１Ｒは、例えば図９（Ｂ）に示したような透過特性を示す。すなわち、青色カラーフィルタ３２１Ｂは、青色波長領域（符号Ｇｂ）および赤外波長領域（符号ＧＩＲ）の光を透過する特性を示す一方、赤色カラーフィルタ３２１Ｒは、赤色波長領域（符号Ｇｒ）および赤外波長領域（符号ＧＩＲ）の光を透過する特性を示す。したがって、これら２つのカラーフィルタ３２１Ｂ，３２１Ｒが積層されている受光センサ３２１では、例えば図９（Ｃ）に示したような透過特性（受光感度特性）を示す。すなわち、受光センサ３２１は、検出光である赤外波長領域（符号ＧＩＲ）の光のみを受光する特性を示す（メインセンサ３２としての受光感度特性を示す）ようになっている。なお、受光センサ３２２は、その受光信号を受光センサ３２１の受光信号から差し引くことにより、例えばバックライト１５からの戻り光成分等の影響を取り除くことを目的として設けられたものである。したがって、受光センサ３２２は必ずしも設けられていなくともよく、例えば受光センサ３２１のみでメインセンサ３２を構成するようにしてもよい。

一方、図８（Ｂ）に示したように、補助センサ３３は、例えば、赤色カラーフィルタ３３１Ｒが表面全体に配置された受光センサ３３１と、青色カラーフィルタ３３２Ｂおよび赤色カラーフィルタ３３２Ｒが表面全体に積層配置された受光センサ３３２とにより構成されている。ここで、受光センサ３３１が前述した他方の受光センサ（第４の受光素子）に対応し、受光センサ３３２が前述した一方の受光センサ（第３の受光素子）に対応する。また、これらの受光センサ３３１，３３２の表面の一部（ここでは、表面の両端部）には、ブラックマトリクスＢＭが配置されている。なお、このブラックマトリクスＢＭは、後述する変形例（変形例４）における物体検出処理の際に好適に用いられるもの（後述する遮光部として機能するもの）であり、必ずしも設けられていなくともよい。ここで、青色カラーフィルタ３３２Ｂは、例えば図９（Ａ）に示したような透過特性を示す一方、赤色カラーフィルタ３３１Ｒ，３３２Ｒは、例えば図９（Ｂ）に示したような透過特性を示す。すなわち、青色カラーフィルタ３３２Ｂは、青色波長領域（符号Ｇｂ）および赤外波長領域（符号ＧＩＲ）の光を透過する特性を示す一方、赤色カラーフィルタ３３１Ｒ，３３２Ｒは、赤色波長領域（符号Ｇｒ）および赤外波長領域（符号ＧＩＲ）の光を透過する特性を示す。したがって、これら２つのカラーフィルタ３３２Ｂ，３３２Ｒが積層されている受光センサ３３２では、例えば図９（Ｃ）に示したような透過特性（受光感度特性）を示す。すなわち、受光センサ３３２は、検出光である赤外波長領域（符号ＧＩＲ）の光のみを受光する特性を示すようになっている。また、補助センサ３３全体としての受光信号は、受光センサ３３１の受光信号（符号Ｇ３２）から、受光センサ３３２の受光信号（符号Ｇ３１）を差し引くことにより得られるため、例えば図９（Ｄ）に示したような受光感度特性を示す。すなわち、ここでは検出光である赤外波長領域（符号ＧＩＲ）において受光感度を持たず、赤色波長領域（符号Ｇｒ）のみに受光感度を有している。

なお、メインセンサ３２および補助センサ３３におけるカラーフィルタ等の具体的な組み合わせ構成については、図８に示したものには限られない。また、例えば、カラーフィルタの代わりに所定の薄膜を用いて、メインセンサ３２および補助センサ３３を構成するようにしてもよい。

［情報入出力装置の作用・効果］
続いて、本実施の形態の情報入出力装置の作用および効果について説明する。

（１．情報入出力装置の基本動作）
この情報入出力装置では、アプリケーションプログラム実行部１１から供給される表示データに基づいて、表示ドライブ回路１２が表示用の駆動信号を生成する。そしてこの駆動信号により、Ｉ／Ｏディスプレイパネル２０に対して線順次表示駆動がなされ、画像が表示される。また、このとき、バックライト１５も表示ドライブ回路１２によって駆動され、Ｉ／Ｏディスプレイパネル２０における表示動作と同期した点灯・消灯動作がなされる。

ここで、図１０を参照して、バックライト１５のオン（点灯）・オフ（消灯）状態と、Ｉ／Ｏディスプレイパネル２０の表示状態との関係について説明する。なお、図１０では横軸に時間が示され、縦軸に、受光駆動の対象となる受光センサの垂直方向の位置が示されている。

まず、例えば１／６０秒のフレーム周期で画像表示がなされている場合、各フレーム期間の前半期間（１／１２０秒間）にバックライト１５が消灯し（オフ状態となり）、表示が行われない。一方、各フレーム期間の後半期間には、バックライト１５が点灯し（オン状態となり）、各画素に表示信号が供給され、そのフレーム期間の画像が表示される。

このように、各フレーム期間の前半期間は、Ｉ／Ｏディスプレイパネル２０から照射光が出射されない無光期間である一方、各フレーム期間の後半期間は、Ｉ／Ｏディスプレイパネル２０から照射光が出射される有光期間となっている。

ここで、Ｉ／Ｏディスプレイパネル２０への近接物体（例えば、指先など）がある場合、受光ドライブ回路１３による線順次受光駆動により、このＩ／Ｏディスプレイパネル２０における各画素の受光センサにおいて、この近接物体が撮像される。そして、各受光センサからの受光信号は、受光ドライブ回路１３へ供給される。受光ドライブ回路１３は、１フレーム分の画素の受光信号を蓄積し、撮像画像として画像処理部１４へ出力する。

画像処理部１４は、この撮像画像に基づいて、以下説明する所定の画像処理（演算処理）を行うことにより、Ｉ／Ｏディスプレイパネル２０への近接物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出する（物体検出処理を行う）。

（２．差分画像を用いた物体検出処理（差分画像指先抽出処理）の基本動作）
次に、図１１〜図１７を参照して、受光ドライブ回路１３および画像処理部１４による物体検出処理（便宜上、指先抽出処理と称する）の基本動作について説明する。図１１は、この指先抽出処理（後述する差分画像指先抽出処理）を流れ図で表したものであり、図１２は、この差分画像指先抽出処理の一部をタイミング図で表したものである。

まず、表示１フレーム期間の前半期間であるバックライト１５がオフ状態の期間（無光期間）において、Ｉ／Ｏディスプレイパネル２０により、近接物体の撮像処理がなされる。これにより、画像Ａ（影画像）が取得される（図１１のステップＳ１１、図１２のタイミングｔ１〜ｔ２の期間）。

次に、表示１フレーム期間の後半期間であるバックライト１５がオン状態の期間（有光期間）において、Ｉ／Ｏディスプレイパネル２０により、近接物体の撮像処理がなされる。これにより、画像Ｂ（照射光による反射光を利用した反射光利用画像）が取得される（図１１のステップＳ１２、図１２のタイミングｔ３〜ｔ４の期間）。

次に、受光ドライブ回路１３は、この画像Ｂと上記画像Ａとの差分画像Ｃを生成する（図１１のステップＳ１３、図１２のタイミングｔ３〜ｔ４の期間）。

次に、画像処理部１４は、生成された差分画像Ｃに基づいて、重心を判定する演算処理を行い（ステップＳ１４）、接触（近接）中心の特定を行う（ステップＳ１５）。そして、近接物体の検出結果が画像処理部１４からアプリケーションプログラム実行部１１へ出力され、差分画像指先抽出処理が終了となる。

このようにして、差分画像指先抽出処理では、照射光による反射光を利用した画像Ｂ（反射光利用画像）と照射光を利用しないで外光（環境光）を利用した画像Ａ（影画像）との差分画像Ｃに基づいて、物体検出処理がなされる。これにより、例えば図１３に示した差分画像Ｃの写真のように外光の明るさの影響が除去され、この外光の明るさに影響されずに近接物体の検出がなされる。また、このような外光除去と同時に、受光センサの特性ばらつき等に起因した固定ノイズの除去も可能となる。

具体的には、例えば図１４（Ａ）に断面図で示したように、入射する外光の光量が大きい場合には、バックライト１５がオン状態のときの受光出力電圧Ｖon１は、例えば図１４（Ｂ）に示したようになる。すなわち、表示エリア（センサエリア）２１のうち、近接物体（ここでは、指ｆ）が接触した画素領域以外では、光量の大きい外光の明るさに対応した電圧値Ｖａとなる。一方、指ｆが接触した画素領域では、この指ｆの表面でのバックライト１５からの光の反射光が検出されるものの、光量の大きい外光が遮断されるため、電圧値Ｖｂに低下する。これに対して、バックライト１５がオフ状態のときの受光出力電圧Ｖoff１は、指ｆが接触した画素領域以外では、同様に外光の明るさに対応した電圧値Ｖａとなる一方、指ｆが接触した画素領域では、上記反射光が検出されないため、非常にレベルの低い電圧値Ｖｃとなる。

また、例えば図１５（Ａ）に断面図で示したように、入射する外光の光量が小さい場合には、バックライト１５がオン状態のときの受光出力電圧Ｖon２は、例えば図１５（Ｂ）に示したようになる。すなわち、表示エリア（センサエリア）２１のうち、指ｆが接触した画素領域以外では、外光の光量が小さいため、非常に低い電圧値Ｖｃとなる。一方、指ｆが接触した画素領域では、この指ｆの表面でのバックライト１５からの光の反射光が検出されるため、表面の反射率に対応した電圧儀Ｖｂに上昇する。これに対して、バックライト１５がオフ状態のときの受光出力電圧Ｖoff２は、指ｆが接触した画素領域およびそれ以外の画素領域のいずれにおいても、非常に低い電圧値Ｖｃとなる。

このように、図１４および図１５を比較すると分かるように、表示エリア２１に対して近接物体が接触していない画素領域では、外光がある場合（外光が強い場合）とない場合（外光が弱い場合）とで、受光出力電圧が大きく異なる。一方、近接物体が接触している画素領域では、外光の有無（強弱）に関係なく、バックライト１５がオン状態のときの電圧値Ｖｂと、バックライト１５がオフ状態のときの電圧値Ｖｃとがほぼ同一となる。

したがって、バックライト１５がオン状態のときの受光出力電圧と、オフ状態のときの受光出力電圧との差分を検出することにより、例えば上記の電圧値Ｖｂと電圧値Ｖｃとの差分（Ｖｂ−Ｖｃ）のように、所定値以上の差分値が生じる画素領域が近接物体の接触位置であると判断することができる。これにより、例えばＩ／Ｏディスプレイパネル２０へ入射する外光が強い場合、外光が弱い場合のいずれにおいても、均一な条件で良好な物体検出処理を行うことが可能となる。

また、例えば図１６（Ａ），（Ｂ）に示したように、物体検出の際の受光出力電圧のダイナミックレンジについては、以下のように決定することができる。図１６（Ａ）は、表示エリア２１における近接物体の接触状態を表したものであり、ここでは、指ｆが表示エリア２１の表面に接触していると共に、反射率がほぼ１００％の円形の物体ｍが、表示エリア２１上に載せられた状態を示している。この状態において、線順次受光駆動の際に、指ｆおよび物体ｍの双方を走査するライン上での受光出力電圧は、例えば図１６（Ｂ）に示したようになる。なお、図１６（Ｂ）において、電圧Ｖon３はバックライト１５がオン状態のときの受光出力電圧であり、電圧Ｖoff３はバックライト１５がオフ状態のときの受光出力電圧である。

図１６（Ｂ）に示すように、物体ｍが載せられた画素領域において、バックライト１５がオン状態時の検出電圧Ｖｄよりも高い電圧は、検出の際に不要な電圧範囲Ｖｙである。そして、その電圧範囲Ｖｙよりも低い電圧範囲Ｖｘが、検出に必要なダイナミックレンジである。したがって、不要な電圧範囲Ｖｙに属する受光信号については、オーバーフローさせてしまい、同一の強度とみなすようにすればよいことが分かる。

なお、このような差分画像指先抽出処理では、例えば図１７（Ａ）〜（Ｄ）に示した画像（それぞれ、前述した画像Ａ〜Ｃ、および画像Ｃの２値化画像に対応）により、以下のことが分かる。すなわち、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上に配置された複数の近接物体のそれぞれについて、近接物体に関する位置、形状または大きさなどの情報を取得する（物体検出を行う）ことが可能である。

（４．近接物体が移動している場合等における差分画像指先抽出処理）
次に、図１８〜図２４を参照して、本発明の特徴的部分の１つである、近接物体が移動している場合等における差分画像指先抽出処理について、比較例と比較しつつ説明する。

（比較例）
まず、図１８および図１９に示した比較例では、図１６中の矢印で示したように、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上で近接物体が移動している状態のとき、以下の問題が生じる。すなわち、影画像Ａ１０１における受光出力信号Ｖoff（Ａ１０１）と反射光利用画像Ｂ１０１における受光出力信号Ｖon（Ｂ１０１）との間で、近接物体に対応する部分に位置ずれが生じている。そして、この位置ずれにより、２つの画像Ａ１０１，Ｂ１０１の差分画像Ｃ１０１（＝Ｂ１０１−Ａ１０１）およびその受光検出信号Ｖ（Ｃ１０１）（＝Ｖon（Ｂ１０１）−Ｖoff（Ａ１０１））において、近接物体の位置に対応する本来の信号の他に、別の位置に偽信号Ｆ１０１が生じてしまっている。よって、このような偽信号Ｆ１０１の存在により、近接物体を安定して検出するのが困難となってしまう。

（本実施の形態）
これに対して本実施の形態では、画像処理部１４は、メインセンサ３２により得られる撮像画像と、補助センサ３３により得られる撮像画像とに基づく合成画像を用いて、近接物体の物体情報を取得する（物体検出を行う）。具体的には、まず、受光ドライブ回路１３が、反射光利用画像Ｂと影画像Ａとの差分画像Ｃ（＝Ｂ−Ａ）を、メインセンサ３２および補助センサ３３のそれぞれに対応して生成する。そして、画像処理部１４が、メインセンサ３２により得られる反射光利用画像ＭＢと影画像ＭＡとの差分画像ＭＣ（＝ＭＢ−ＭＡ；第１の差分画像）と、補助センサ３３により得られる反射光利用画像ＨＢと影画像ＨＡとの差分画像ＨＣ（＝ＨＢ−ＨＡ；第２の差分画像）とに基づく合成画像Ｆを用いて、物体情報を取得する。

より具体的には、メインセンサ３２による撮像画像では、例えば図２０および図２１に示したようにして、差分画像ＭＣが生成される。すなわち、メインセンサ３２は、検出光の波長領域Δλ２３を受光波長領域として含んでいるため、例えば近接物体が表示エリア２１上で動いている場合、差分画像ＭＣでは上記比較例と同様に、近接物体の検出信号の他に、偽信号Ｆ１０１が発生する。言い換えると、画像ＭＡ，ＭＢの差分画像ＭＣ（＝ＭＢ−ＭＡ）およびその受光検出信号Ｖ（ＭＣ）（＝Ｖon（ＭＢ）−Ｖoff（ＭＡ））において、物体の位置に対応する本来の信号の他に、別の位置に偽信号Ｆ１０１が生じる。

一方、補助センサ３３による撮像画像では、例えば図２２および図２３に示したようにして、差分画像ＨＣが生成される。すなわち、補助センサ３３では、検出光の波長領域における受光感度がメインセンサ３２よりも低くなっている（ここでは、０となっている）。このため、差分画像ＨＣでは、メインセンサ３２の場合と同様に偽信号Ｆ１０１が発生する一方、近接物体の検出信号の発生が抑えられる（ここでは、回避される）。言い換えると、画像ＨＡ，ＨＢの差分画像ＨＣ（＝ＨＢ−ＨＡ）およびその受光検出信号Ｖ（ＨＣ）（＝Ｖon（ＨＢ）−Ｖoff（ＨＡ））において、偽信号Ｆ１０１が発生する一方、物体の位置に対応する本来の信号の発生が抑えられる（ここでは、回避される）。

次に、受光ドライブ回路１３は、例えば図２４に示したように、補助センサ３３により得られる差分画像ＨＣに基づいて所定のマスク画像Ｅを生成する。また、受光ドライブ回路１３は、メインセンサ３２により得られる差分画像ＭＣと、生成されたマスク画像Ｅとの論理積を取ることにより、これらの合成画像Ｆを生成する。そして、画像処理部１４は、この合成画像Ｆを用いて近接物体の物体情報を取得する。この際、受光ドライブ回路１３は、差分画像ＨＣに対し、例えば２値化処理および画像反転処理を施すことにより、マスク画像Ｅを生成することができる。具体的には、２値化処理としては、差分画像ＨＣの中で、ある値（閾値）以上の受光信号を偽信号とみなし、偽信号の部分をマスクする画像に変換するようにすればよい。

ここで、閾値以上の信号を偽信号とするのは、まず、Ｉ／Ｏディスプレイパネル２０上に乗ったノイズの影響を排除するためである。また、補助センサ３３の性能によっては完全に分光特性が分離できず、補助センサ３３側の差分画像ＨＣにも受光信号がわずかに含まれる場合があるからである。したがって、このような補助センサ３３への受光信号の漏れこみを最小限に抑えることが、本実施の形態の物体検出処理の性能を向上させることに繋がると言える。具体的には、検出光の波長領域Δλ２３をできるたけ狭くすると共に、補助センサ３３において、この波長領域Δλ２３に対する受光感度ができるだけ低くなるように設計する。また、補助センサ３３は外光により発生する偽信号を検出するための受光センサであるため、外光に対する受光感度を検出光の受光感度と比べて相対的に高めることにより、物体検出処理の性能を向上させることができる。

なお、このようなマスク画像Ｅを用いて合成画像Ｆを生成する方法の他に、例えば、差分画像ＭＣと差分画像ＨＣとの差分画像（＝ＭＣ−ＨＣ）を、合成画像Ｆとして用いるようにしてもよい。

このようにして本実施の形態では、メインセンサ３２により得られる差分画像ＭＣと、補助センサ３３により得られる差分画像ＨＣとに基づく合成画像Ｆを用いて、物体情報が取得される。これにより、例えば近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、合成画像Ｆにおける偽信号の発生が抑えられる（または回避される）。また、補助センサ３３における受光信号が、検出光の波長領域を受光波長領域として含む受光センサ（例えば受光センサ３３２）からの受光信号と、この受光センサの受光波長領域およびその波長領域と異なる所定の波長領域を受光波長領域として含む受光センサ（例えば受光センサ３３１）からの受光信号との差分信号（例えば、受光センサ３３１からの受光信号から、受光センサ３３２からの受光信号を差し引いた信号）により構成されているため、簡易な構成で補助センサ３３における受光信号が得られる。

以上のように本実施の形態では、Ｉ／Ｏディスプレイパネル２０の表示エリア２１内に、近接物体を検出するための検出光の波長領域Δλ２３を受光波長領域として含む複数のメインセンサ３２を設けている。また、この検出光の波長領域Δλ２３における受光感度がメインセンサ３２よりも低くなっている複数の補助センサ３３を設けている。そして、メインセンサ３２により得られる差分画像ＭＣと、補助センサ３３により得られる差分画像ＨＣとに基づく合成画像Ｆを用いて、近接物体の物体情報を取得している。よって、例えば近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、合成画像Ｆにおける偽信号の発生を抑えることができ、使用状況によらずに物体を安定して検出することが可能となる。また、あらゆる偽信号発生パターンに対して原理的に対応することが可能であるため、全ての外光条件で良好に動作させることが可能である。

また、本実施の形態では、補助センサ３３における受光信号を、例えば上記受光センサ３３１からの受光信号と上記受光センサ３３２からの受光信号との差分信号により構成するようにしたので、簡易な構成でそのような物体検出を実現することができ、製造コストを低減することが可能となる。

＜変形例＞
以下、上記実施の形態の変形例（変形例１〜３）について説明する。なお、実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。

（変形例１）
図２５および図２６は、変形例１に係る差分画像指先抽出処理を表すものである。本変形例では、受光ドライブ回路１３は、メインセンサ３２により得られる反射光利用画像ＭＢと、補助センサ３３により得られる反射光利用画像ＨＢとの差分画像ＭＨＣ（＝ＭＢ−ＨＢ）に基づいて、物体情報を取得する。

これにより、本変形例においても上記実施の形態と同様に、例えば近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、合成画像Ｆにおける偽信号の発生を抑えることができる。よって、使用状況によらずに物体を安定して検出することが可能となる。

（変形例２）
図２７は、変形例２に係る差分画像指先抽出処理を模式的に表したものである。本変形例では、受光ドライブ回路１３は、差分画像ＭＣの生成処理と、差分画像ＨＣの生成処理とを、メインセンサ３２および補助センサ３３の単位での逐次処理により行う。

具体的には、図２７では、表示エリア２１上において、メインセンサ３２および補助センサ３３がそれぞれ、１対１の割合で交互に配置されている。また、差分画像ＭＣおよび差分画像ＨＣはそれぞれ、複数の差分画素値ｍ０，ｈ１，ｍ２，ｈ３，ｍ４，ｈ５，…により構成されている。

そして、受光ドライブ回路１３は、上記逐次処理を行う際に、各メインセンサ３２に隣接する補助センサ３３により得られる差分画素値が所定の閾値Ｖth（Ｈ）以上の場合には、そのメインセンサ３２における差分画素値を０（ゼロ）とみなして出力する。一方、各メインセンサ３２に隣接する補助センサ３３により得られる差分画素値が上記閾値Ｖth（Ｈ）未満の場合には、そのメインセンサ３２における実際の差分演算結果を、差分画素値として出力する。これにより、上記実施の形態で説明したマスク画像Ｅを用いたマスク処理と等価な処理を行うことができる。

このようにして本変形例では、上記実施の形態における効果に加え、フレームメモリを補助センサ３３用やメインセンサ３２用に設けることなく、かつ高速に物体検出処理の結果を得ることが可能となる。

（変形例３）
図２８は、変形例３に係る差分画像指先抽出処理を模式的に表したものである。本変形例では、より精密な物体検出結果を得るため、補助センサ３３側およびメインセンサ３２側の双方において、画素補間処理を組み合わせて上記変形例２における逐次処理を行うようにしたものである。

具体的には、受光ドライブ回路１３は、上記逐次処理を行う際に、各補助センサ３３に対応する画素位置におけるメインセンサ３２の差分画素値を、補間生成する。また、各メインセンサ３２に対応する画素位置における補助センサ３３の差分画素値を、補間生成する。そして、このようにして補間生成された差分画素値をも考慮して、閾値との比較結果に応じた逐次処理を行う。

これにより本変形例では、補助センサ３３とメインセンサ３２との対応が厳密に取られるため、より精密な物体検出結果を得ることができる。この手法においても、例えば１〜２センサ分の処理結果を保持しておくことだけでよく、特別にフレームメモリを用意する必要はない。また、処理の際の遅延についても、受光センサごとの処理であることから数センサ分の遅延で収まり、極めて高速である。

なお、本変形例では、メインセンサ３２および補助センサ３３はそれぞれ、例えば図４（Ａ），（Ｂ）に示したように、表示エリア２１上において１対１の割合で交互に配置されているようにするのが好ましい。

（変形例４）
図２９は、変形例４に係る差分画像指先抽出処理（物体検出処理）を流れ図で表したものある。本変形例では、補助センサ３３における受光の際の飽和特性を考慮して、以下のような物体検出処理を行うようになっている。

具体的には、例えば図３０に示したように、表示エリア（センサエリア）２１上では、近接物体（ここでは、指ｆ）の位置や周囲の状況等により、外光の光量が画素領域ごとに異なっている場合がある。すなわち、ここでは、指ｆの位置に対応する画素領域２１Ａおよびセンサエリア２１の端部（右下の端部）に位置する画素領域２１Ｂでは、外光の光量が相対的に小さい（弱く）なっている。一方、その他の画素領域である画素領域２１Ｃでは、外光の光量が相対的に大きく（強く）なっている。

ここで、例えば図３１に示したように、このような外光の光量の変化に対する受光信号（受光出力電圧）の飽和特性は、補助センサ３３を構成する２つの受光センサ３３１，３３２間で互いに異なるものとなる。具体的には、受光センサ３３１では受光センサ３３２と比べ、光量が増加するのに応じてより早く飽和してしまう（上限電圧Ｖlimitにより早く到達する）。言い換えると、受光センサ３３１では、光量変化に対して受光出力電圧が線形性を示す線形領域（線形領域ΔＬ１）が、受光センサ３３２における線形領域よりも狭くなっている。また、受光センサ３３１では、光量変化に対して受光出力電圧が飽和している特性を示す非線形領域（非線形領域（飽和領域）ΔＬ２）が、受光センサ３３２における非線形領域（飽和領域）よりも広くなっている。これは、例えば図９（Ｂ），（Ｃ）に示したように、受光センサ３３１において受光可能な波長領域のほうが、受光センサ３３２において受光可能な波長領域よりも広くなっているため、受光センサ３３１のほうが外光の光量増加に対してより飽和し易くなっているのである。これらのことから、受光センサ３３１の受光信号から受光センサ３３２の受光信号を差し引いて得られる補助センサ３３の受光信号においても、外光の光量増加に対して、例えば図３１に示したような飽和特性を示す。すなわち、受光センサ３３１と同様の線形領域ΔＬ１および非線形領域ΔＬ２を有するようになっている。ここで、これまで説明したメインセンサ３２および補助センサ３３を利用した物体検出処理は、この補助センサ３３における線形領域ΔＬ１内で行う必要がある。非線形領域ΔＬ２内では、前述した反射光利用画像ＨＢから影画像ＨＡを差し引く（差分を取る）際に、外光の光量の大きさに応じた妥当な結果が得られなくなってしまうためである。

したがって、本変形例では、以下のようにして、画像処理部１４において、外光の光量が補助センサ３３における線形領域ΔＬ１内の値であるのか、あるいは非線形領域ΔＬ２内の値であるのかを判断し、その判断結果に応じた物体検出処理を行っている。

ただし、そのような外光の光量値を補助センサ３３自身における受光出力電圧に基づいて判断した場合、例えば図３２（Ａ）中の符号Ｐ１０１，Ｐ１０２で示したように、得られたある受光出力電圧Ｖ１に対し、外光の光量値を一義的に決定することができない。これは、補助センサ３３における光量変化に対する非線形な受光出力電圧特性に起因している。したがって、補助センサ３３の受光出力電圧値からは、外光の光量が補助センサ３３における線形領域ΔＬ１内の値であるのか、あるいは非線形領域ΔＬ２内の値であるのかを判断することができないことになる。

そこで、本変形例では例えば図３２（Ｂ）中の符号Ｐ１で示したように、画像処理部１３において、各補助センサ３３の近傍に位置するメインセンサ３２から得られる受光出力電圧値の大小に応じて、外光の光量の大きさを判断している。すなわち、この近傍に位置するメインセンサ３２からの受光出力電圧値に基づいて、外光の光量が補助センサ３３における線形領域ΔＬ１内の値であるのか、あるいは非線形領域ΔＬ２内の値であるのかを、それらメインセンサ３２および補助センサ３３の組ごとに判断する。これにより、図中に示したように、得られたある受光出力電圧Ｖ１に対し、外光の光量値を一義的に決定することが可能となる。なお、このようにメインセンサ３２を用いて外光の光量値（照度）を測定する場合、バックライト１５から検出光が照射されているとき（オン状態のとき）に得られる受光出力電圧を利用するようにする。これは、偽信号とみなされる信号は、検出光と同期していることが条件となるためである。

具体的には、本変形例ではまず、画像処理部１４が、各補助センサ３３の近傍に位置するメインセンサ３２からそれぞれ、受光信号を取得する（図２９のステップＳ２１）。次いで、画像処理部１４は、各メインセンサ３２から得られた受光信号の値（受光出力電圧）が、上記した補助センサ３３における線形領域ΔＬ１内に対応する外光の光量値であるのか否かを判断する（ステップＳ２２）。

ここでは、外光の光量が線形領域ΔＬ１内の値となっていると判断した場合には（ステップＳ２２：Ｙ）、そのメインセンサ３２および補助センサ３３に対応する画素領域では、これまで説明したように、これら２つのセンサからの受光信号を利用した物体検出処理を行う（ステップＳ２３）。すなわち、例えば図３０に示した例では、外光の光量が相対的に小さい画素領域２１Ａ，２１Ｂ（線形画素領域）においては、画像処理部１４は、通常通りの物体検出処理を行う。

一方、外光の光量が線形領域ΔＬ１内の値となっていないと判断した場合（ステップＳ２２：Ｎ）、つまり外光の光量が非線形領域ΔＬ２内の値になっていると判断した場合には、画像処理部１４は、以下のようにして物体検出処理を強制的に停止する（ステップＳ２４）。すなわち、そのメインセンサ３２および補助センサ３３に対応する画素領域では、これまで説明したような、これら２つのセンサからの受光信号を利用した物体検出処理を行わない（クリップ機能）。すなわち、例えば図３０に示した例では、外光の光量が相対的に大きい画素領域２１Ｃ（非線形画素領域）においては、画像処理部１４は、通常通りの物体検出処理を行わない。このようにして、本変形例では、メインセンサ３２および補助センサ３３の組単位で、物体情報の取得またはその強制停止を実行する。これにより、センサエリア２１内でメインセンサ３２および補助センサ３３を利用した物体検出処理を実行しつつ、必要な画素領域（非線形領域ΔＬ２内となる画素領域）のみに対して上記クリップ機能を実行し、全体としての誤動作を回避することができる。

このとき、物体検出処理を強制的に停止させる手法としては、例えば以下の２つの手法のいずれかを用いることができる。第１の手法は、バックライト１５から検出光が照射されているとき（オン状態のとき）のメインセンサ３２からの受光出力電圧を、強制的に０（ゼロ）にする手法である。この場合、その後のオン・オフ状態での差分演算により差分電圧値がマイナス（負）となるが、丸め処理によりその差分電圧値を０とすることにより、偽信号の発生は起こらない。一方、第２の手法は、このようなオン・オフ状態での差分電圧値自体を強制的に０にする手法である。なお、どちらの手法を用いた場合でも、得られる効果としては同様である。

このようにして本変形例によれば、補助センサ３３の受光出力電圧が外光の光量増加に対して非線形な特性を示す場合においても、上記実施の形態等と同様にして偽信号による誤動作を抑えることができる。すなわち、非線形性特性を示す補助センサ３３を用いた場合であっても、あらゆる外光下で安定して物体検出動作を行うことができる。

なお、本変形例では、前述した図８（Ｂ）のように、補助センサ３３を構成する２つの受光センサ３３１，３３２の表面の一部に、外光に対する遮光部として機能するブラックマトリクスＢＭを配置するようにするのが好ましい。これにより、受光センサ３３１，３３２における有効受光領域を狭くする（受光感度を下げる）ことができ、例えば図３３中の矢印で示したように、補助センサ３３における線形領域を広くすることができる。すなわち、ブラックマトリクスＢＭ（遮光部）なしの場合の補助センサ３３における線形領域ΔＬ１と比べ、遮光部ありの場合の補助センサ３３における線形領域ΔＬ１’のほうが広くなっている。このようにして、ブラックマトリクスＢＭの面積を調整することにより、補助センサ３３における受光感度（有効受光面積）を調整し、補助センサ３３の線形領域の広さも任意に調整することが可能である。なお、このような遮光部を利用して調整を行うことの利点としては、受光センサの感度以外の特性をメインセンサ３２と同一に設定しつつ調整を行うことが可能である点が挙げられる。

また、本変形例の手法は、メインセンサ３２の受光波長領域が外光の波長領域に含まれている場合を対象にしている。これは、外光の光量検出を、メインセンサ３２を用いて行っているためである。一方、メインセンサ３２の受光波長領域が外光の波長領域に含まれていない場合には、本変形例の手法によるクリップ機能は作動しないことになる。この場合は、そもそも外光による誤動作が起きない環境であるため、問題とはならない。

＜アプリケーションプログラムの実行例＞
続いて、図３４〜図３７を参照して、これまで説明した物体検出処理により検出された物体の位置情報等を利用した、アプリケーションプログラム実行部１１によるアプリケーションプログラム実行例について説明する。

まず、図３４（Ａ）に示した例は、Ｉ／Ｏディスプレイパネル２０の表面を指先６１で触れて、その触れた個所の軌跡を描画ライン６１１として画面に表示させるようにしたものである。

図３４（Ｂ）に示した例は、手の形を用いたジェスチャ認識のものである。具体的には、Ｉ／Ｏディスプレイパネル２０に触れた（または近接した）手６２の形状を認識して、その認識した手の形を画像として表示させ、その表示オブジェクトの移動６２１で、何らかの処理を行うようにしたものである。

図３５に示した例は、閉じた状態の手６３Ａから、開いた状態の手６３Ｂに変化させて、それぞれの状態の手の接触または近接をＩ／Ｏディスプレイパネル２０で画像認識させて、その画像認識に基づいた処理を実行させるようにしたものである。これらの認識に基づいて処理を行うことで、例えばズームインなどの指示を行うことができる。また、このような指示ができることで、例えばＩ／Ｏディスプレイパネル２０をパーソナルコンピュータ装置に接続して、そのコンピュータ装置上でコマンドを切り替えている操作などを、これらの画像認識で、より自然な形で入力することができる。

また、例えば図３６に示したように、Ｉ／Ｏディスプレイパネル２０を複数台用意して、その複数台のＩ／Ｏディスプレイパネル２０を何らかの伝送手段で接続するようにしてもよい。そして、接触または近接を検出した画像を、相手のＩ／Ｏディスプレイパネル２０に伝送して表示させ、両ディスプレイパネルを操作するユーザ間でコミュニケーションをとるようにしてもよい。すなわち、２つのＩ／Ｏディスプレイパネル２０を用意して、一方のパネルで画像認識した手６５の手形を相手に送信し、他方のパネルに手形６４２を表示させたり、他方のパネルを手６４で触れて表示された軌跡６４１を、相手のパネルに送って表示させる等の処理が可能になる。このようにして、描画している状態が動画で伝達され、手書きの文字や図形などを相手に送ることで、新しいコミュニケーションツールの可能性がある。このような例としては、例えば、Ｉ／Ｏディスプレイパネル２０を携帯電話端末の表示パネルに適用すること等が想定される。

また、例えば図３７に示したように、筆６６を使用してＩ／Ｏディスプレイパネル２０の表面で文字を書くように触れさせて、その筆６６が触れた個所をＩ／Ｏディスプレイパネル２０に画像６６１として表示させることで、毛筆による手書きの入力が可能になる。この場合には、毛筆の細かいタッチまで認識して実現することが可能である。従来の手書き認識の場合には、例えば一部のデジタイザにおいて、特殊なペンの傾きを電界検出で実現していたが、本例では、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行うことができる。

＜適用例＞
続いて、図３８〜図４２を参照して、上記実施の形態および各変形例で説明した情報入出力装置の適用例について説明する。上記実施の形態等の情報入出力装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなどのあらゆる分野の電子機器に適用することが可能である。言い換えると、上記実施の形態等の情報入出力装置は、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。なお、以下に示した電子機器の他にも、例えば、検出光による反射成分のみを取り出すという本発明の特徴を活かして、監視カメラのような応用も考えられる。

（適用例１）
図３８は、上記実施の形態等の情報入出力装置が適用されるテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例２）
図３９は、上記実施の形態等の情報入出力装置が適用されるデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例３）
図４０は、上記実施の形態等の情報入出力装置が適用されるノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例４）
図４１は、上記実施の形態等の情報入出力装置が適用されるビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有している。そして、その表示部５４４は、上記実施の形態等に係る情報入出力装置により構成されている。

（適用例５）
図４２は、上記実施の形態等の情報入出力装置が適用される携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態等に係る情報入出力装置により構成されている。

＜その他の変形例＞
以上、実施の形態、変形例および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態等とは異なり、メインセンサ３２の受光波長領域と、補助センサ３３の受光波長領域とが、互いに分離している（異なっている）ようにしてもよく、このようにするのが好ましい。

また、上記実施の形態等では、バックライト１５を備えた液晶パネルからなるＩ／Ｏディスプレイパネル２０の場合で説明したが、表示用のバックライトが検出光を兼ねていてもよいし、検出専用の照射光源を設けてもよい。また、検出専用の照射光源を設ける場合には、可視光領域以外の波長領域の光（例えば赤外光）を用いるのがより好ましい。

更に、上記実施の形態では、Ｉ／Ｏディスプレイパネル２０において、表示素子が液晶素子であると共に受光素子を別個に設ける場合で説明したが、本発明が適用されるのは、これには限られない。具体的には、例えば図４３〜図４５に示した他の変形例に係る情報入出力装置のように、有機ＥＬ（Electro Luminescence）素子等の発光動作と受光動作とを時分割に行うことが可能な発光受光素子（表示撮像素子）により、Ｉ／Ｏディスプレイパネルを構成するようにしてもよい。

図４３は、本変形例に係る情報入出力装置の構成例をブロック図で表したものである。この情報入出力装置は、Ｉ／Ｏディスプレイパネル８０と、表示ドライブ回路８２と、フレームメモリ８３Ａを有する受光ドライブ回路８３と、画像処理部８４と、アプリケーションプログラム実行部８１とを備えている。これらのうち、表示ドライブ回路８２、フレームメモリ８３Ａ、受光ドライブ回路８３、画像処理部８４およびアプリケーションプログラム実行部８１については、上記実施の形態等で説明した表示ドライブ回路１２、フレームメモリ１３Ａ、受光ドライブ回路１３、画像処理部１４およびアプリケーションプログラム実行部１１と同様の動作を行うものであるため、説明を省略する。

Ｉ／Ｏディスプレイパネル８０は、上記したように、有機ＥＬ素子を用いた有機ＥＬディスプレイとして構成されており、表示エリア（センサエリア）に、複数の画素（表示撮像素子）がマトリクス状に形成されている。そして、ここでは、発光素子（表示素子）および受光素子（撮像素子：前述のメインセンサ）として機能する有機ＥＬ素子を含む画素と、発光素子（表示素子）および受光素子（撮像素子：前述の補助センサ）として機能する有機ＥＬ素子を含む画素とがそれぞれ、例えばマトリクス状に配置されている。このＩ／Ｏディスプレイパネル８０では、受光期間において受光光量に対応して蓄積された信号電荷が、受光ドライブ回路８３による受光駆動によって読み出されるようになっている。

図４４は、図４３に示した情報入出力装置における各画素の回路構成例（画素回路の構成例）を表したものである。この画素回路は、有機ＥＬ素子９１と、この有機ＥＬ素子９１の寄生容量９１Ａと、スイッチＳＷ１〜ＳＷ３と、表示データ信号線９２と、読み出しライン選択線９３と、受信データ信号線９４とから構成されている。この画素回路では、表示期間（発光期間）においてスイッチＳＷ１がオン状態に設定されると、画像表示のための表示データが、表示データ信号線９２からスイッチＳＷ１を介して有機ＥＬ素子９１へ供給され、有機ＥＬ素子９１が発光動作を行う。一方、有機ＥＬ素子９１において発光動作が停止している期間（受光期間）には、センサエリアへの入射光量に応じて、有機ＥＬ素子９１に生じた寄生容量９１Ａに電荷が蓄積する。そして、その蓄積した電荷は、読み出しライン選択線９３から得られる信号による制御に応じてスイッチＳＷ２がオン状態に設定されることにより、受信データ信号線９４へと読み出される。なお、受光期間の開始時には、リセット用のスイッチＳＷ３を一瞬オン状態に設定することにより、寄生容量９１Ａにおいて発光時に蓄積した電荷を放出させる必要がある。

図４５は、図４３および図４４に示した情報入出力装置における差分画像指先抽出処理について説明するためのものである。具体的には、上記した有機ＥＬ素子を用いたＩ／Ｏディスプレイパネル８０において、画像などを表示させながら、そのＩ／Ｏディスプレイパネル８０に接触または近接する物体（指ｆ）の検出処理を行う場合の例を示している。ここでは、発光領域が、１画面中における特定の複数の水平ラインにより構成されている。そして、このような発光領域が、１フィールド期間内において例えば図中の矢印で示したスキャン方向に移動することにより、残像効果によって１画面全体で表示されているように見えることになる。

一方、受光信号の読み出し動作については、発光領域内に位置する読み出しラインと、この発光領域からある程度上下に離れて位置する読み出しラインとによる読み出し動作を、発光領域の移動に連動して順次行うようにする。具体的には、発光領域内の読み出しラインでは、発光領域からの光の反射光を検出できる読み出し動作となるため、図４５に示したように、自発光ＯＮ状態の読み取りデータ（画像Ｂ４：反射光利用画像Ｂに対応）となる。一方、発光領域からある程度上下に離れて位置する読み出しラインでは、発光領域からの発光の影響を受けない読み出し動作となるため、図４５に示したように、自発光ＯＦＦ状態の読み取りデータ（画像Ａ４１，Ａ４２（以下、画像Ａ４とする）：影画像Ａに対応）となる。したがって、本変形例では、これらの差分画像Ｃ４（＝Ｂ４−Ａ４）に基づいて、近接物体（指ｆ）を検出するようにすればよい。このように構成した場合でも、上記実施の形態等と同様の効果を得ることが可能である。

加えて、上記実施の形態等では、複数の表示素子と複数の受光素子とを含む入出力パネル（Ｉ／Ｏディスプレイパネル）を有する情報入出力装置について説明したが、本発明が適用されるのは、これには限られない。具体的には、本発明は、例えば、表示素子を設けずに、複数の受光素子を含む入力パネルを有する情報入力装置にも適用することが可能である。

１１，８１…アプリケーションプログラム実行部、１２，８２…表示ドライブ回路、１３，８３…受光ドライブ回路、１３Ａ，８３Ａ…フレームメモリ、１４，８４…画像処理部、１５…バックライト、２０，８０…Ｉ／Ｏディスプレイパネル、２１…表示エリア（センサエリア）、２１Ａ，２１Ｂ…線形画素エリア、２１Ｃ…非線形画素エリア、２２…表示用Ｈドライバ、２３…表示用Ｖドライバ、２４…センサ用Ｖドライバ、２５…センサ読み出し用Ｈドライバ、３１…画素、３１Ｒ，３１Ｇ，３１Ｂ，３１ＲＧＢ…表示画素、３２…メインセンサ、３２１，３２２…受光センサ、３３…補助センサ、３３１，３３２…受光センサ、３２１Ｒ，３３１Ｒ，３３２Ｒ…赤色カラーフィルタ、３２１Ｂ，３３２Ｂ…青色カラーフィルタ、５１０…映像表示画面部、５１１…フロントパネル、５１２…フィルターガラス、５２１…発光部、５２２…表示部、５２３…メニュースイッチ、５２４…シャッターボタン、５３１…本体、５３２…キーボード、５３３…表示部、５４１…本体部、５４２…レンズ、５４３…スタート／ストップスイッチ、５４４…表示部、７１０…上部筐体、７２０…下部筐体、７３０…連結部、７４０…ディスプレイ、７５０…サブディスプレイ、７６０…ピクチャーライト、７７０…カメラ、６１…指先、６１１…描画ライン、６２…手、６２１…オブジェクトの移動（手のひらツール）、６３Ａ，６３Ｂ，６４，６５…手、６４１…軌跡、６４２…手形、６６…筆、６６１…画像、ＢＭ…ブラックマスク、ＭＡ，ＨＡ…影画像、ＭＢ，ＨＢ…反射光利用画像、ＭＣ，ＨＣ，ＭＨＣ…差分画像、Ｅ…マスク画像、Ｆ…合成画像、Ｖon（ＭＡ），Ｖon（ＭＢ），Ｖon（ＭＣ）…メインセンサ出力電圧（メインセンサ差分電圧）、Ｖon（ＨＡ），Ｖon（ＨＢ），Ｖon（ＨＣ）…補助センサ出力電圧（補助センサ差分電圧）、Ｖon（ＭＨＣ）…差分電圧、ｍ０，ｍ２〜ｍ４，ｈ１〜ｈ３，ｈ５，ｍ２’〜ｍ４’…差分画素値、λ０〜λ３…波長、Δλ１２，Δλ２３…波長領域、ΔＬ１，ΔＬ１’…線形領域、ΔＬ２…非線形領域（飽和領域）、ｆ…物体（指）、ｔ０〜ｔ４…タイミング。

Claims (20)

1. 複数の第１および第２の受光素子と、近接物体を検出するための検出光を含む光を発する照射光源とを有する入力パネルと、
   前記入力パネルによって前記近接物体を撮像して得られる信号を画像処理し、その近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理部と
   を備え、
   前記第１の受光素子は、その受光波長領域に前記検出光の波長領域を含んでおり、
   前記第２の受光素子は、
   前記検出光の波長領域を受光波長領域として含む第３の受光素子と、
   前記第３の受光素子の受光波長領域およびその波長領域と異なる所定の波長領域を受光波長領域として含む第４の受光素子とにより構成され、
   前記第２の受光素子における受光信号が、前記第４の受光素子からの受光信号と前記第３の受光素子からの受光信号との差分信号により構成されることにより、前記第２の受光素子では、前記検出光の波長領域における受光感度が前記第１の受光素子よりも低くなっていると共に、前記所定の波長領域が受光波長領域として含まれており、
   前記画像処理部は、前記第１および第２の受光素子により得られる受光信号に基づいて、前記物体情報を取得する
   情報入力装置。
2. 前記画像処理部は、
   外光の光量が、前記第２の受光素子が光量変化に対して線形性を示す線形領域内の値である場合には、前記第１および第２の受光素子により得られる受光信号に基づいて前記物体情報を取得する一方、
   外光の光量が、前記第２の受光素子が光量変化に対して非線形性を示す非線形域内の値である場合には、前記物体情報の取得を強制的に停止する
   請求項１に記載の情報入力装置。
3. 前記画像処理部は、
   各第２の受光素子の近傍に位置する第１の受光素子からの受光信号の値の大小に応じて、外光の光量が前記線形領域内および前記非線形領域内のいずれの値であるのかを、それら第１および第２の受光素子の組ごとに判断すると共に、
   この第１および第２の受光素子の組単位で、前記物体情報の取得またはその強制停止を実行する
   請求項２に記載の情報入力装置。
4. 前記画像処理部は、前記第１の受光素子により得られる撮像画像と、前記第２の受光素子により得られる撮像画像とに基づく合成画像を用いて、前記物体情報を取得する
   請求項１ないし請求項３のいずれか１項に記載の情報入力装置。
5. 前記検出光による反射光を利用して前記入力パネルによって前記近接物体を撮像して得られる反射光利用画像と、前記入力パネルによって前記近接物体の影を撮像して得られる影画像との差分画像を、前記第１および第２の受光素子のそれぞれに対応して生成する画像生成部を備え、
   前記画像処理部は、前記第１の受光素子により得られる前記反射光利用画像と前記第１の受光素子により得られる前記影画像との差分画像に対応する第１の差分画像と、前記第２の受光素子により得られる前記反射光利用画像と前記第２の受光素子により得られる前記影画像との差分画像に対応する第２の差分画像とに基づく合成画像を用いて、前記物体情報を取得する
   請求項４に記載の情報入力装置。
6. 前記画像生成部は、前記第２の差分画像に基づいて所定のマスク画像を生成し、
   前記画像処理部は、前記第１の差分画像と前記マスク画像との合成画像を用いて、前記物体情報を取得する
   請求項５に記載の情報入力装置。
7. 前記画像生成部は、前記第２の差分画像に対して２値化処理および画像反転処理を施すことにより、前記マスク画像を生成する
   請求項５に記載の情報入力装置。
8. 前記画像処理部は、前記第１の差分画像と前記第２の差分画像との差分画像を用いて、前記物体情報を取得する
   請求項５に記載の情報入力装置。
9. 前記画像生成部は、前記第１の差分画像の生成処理と、前記第２の差分画像の生成処理とを、前記第１および第２の受光素子単位の逐次処理により行う
   請求項５に記載の情報入力装置。
10. 前記入力パネルにおいて、前記第１の受光素子と前記第２の受光素子とが、１対１の割合で交互に配置されている
    請求項９に記載の情報入力装置。
11. 前記第１の差分画像が、複数の第１の差分画素値により構成されると共に、前記第２の差分画像が、複数の第２の差分画素値により構成され、
    前記画像生成部は、前記逐次処理を行う際に、
    各第１の受光素子に隣接する第２の受光素子により得られる前記第２の差分画素値が所定の閾値以上の場合には、その第１の受光素子における前記第１の差分画素値を０（ゼロ）とみなして出力し、
    各第１の受光素子に隣接する第２の受光素子により得られる前記第２の差分画素値が前記閾値未満の場合には、その第１の受光素子における実際の差分演算結果を前記第１の差分画素値として出力する
    請求項１０に記載の情報入力装置。
12. 前記画像生成部は、前記逐次処理を行う際に、
    各第２の受光素子に対応する位置における前記第１の差分画素値を、第１の補間差分画素値として補間生成すると共に、
    各第１の受光素子に対応する位置における前記第２の差分画素値を、第２の補間差分画素値として補間生成し、
    前記第１および第２の補間差分画素値をも考慮して、前記閾値との比較結果に応じた逐次処理を行う
    請求項１１に記載の情報入力装置。
13. 前記画像処理部は、前記検出光による反射光を利用して前記複数の第１の受光素子によって前記近接物体を撮像して得られる反射光利用画像と、前記検出光による反射光を利用して前記複数の第２の受光素子によって前記近接物体を撮像して得られる反射光利用画像との差分画像に基づいて、前記物体情報を取得する
    請求項１ないし請求項３のいずれか１項に記載の情報入力装置。
14. 前記第２の受光素子において、前記検出光の波長領域における受光感度が０（ゼロ）となっている
    請求項１ないし請求項３のいずれか１項に記載の情報入力装置。
15. 前記第１の受光素子の受光波長領域と、前記第２の受光素子の受光波長領域とが、互いに分離している
    請求項１４に記載の情報入力装置。
16. 前記検出光が赤外光であり、
    前記第１の受光素子は、前記赤外光の波長領域を受光波長領域として含んでおり、
    前記第２の受光素子は、前記所定の波長領域としての可視光の波長領域を、受光波長領域として含んでいる
    請求項１ないし請求項３のいずれか１項に記載の情報入力装置。
17. 前記第１の受光素子は、前記検出光の波長領域における受光感度が、前記所定の波長領域における受光感度よりも高くなっており、
    前記第２の受光素子は、前記検出光の波長領域における受光感度が、前記所定の波長領域における受光感度よりも低くなっている
    請求項１ないし請求項３のいずれか１項に記載の情報入力装置。
18. 複数の表示素子と、複数の第１および第２の受光素子とを有し、近接物体を検出するための検出光を含む光を発する入出力パネルと、
    前記入出力パネルによって前記近接物体を撮像して得られる信号を画像処理し、その近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理部と
    を備え、
    前記第１の受光素子は、その受光波長領域に前記検出光の波長領域を含んでおり、
    前記第２の受光素子は、
    前記検出光の波長領域を受光波長領域として含む第３の受光素子と、
    前記第３の受光素子の受光波長領域およびその波長領域と異なる所定の波長領域を受光波長領域として含む第４の受光素子とにより構成され、
    前記第２の受光素子における受光信号が、前記第４の受光素子からの受光信号と前記第３の受光素子からの受光信号との差分信号により構成されることにより、前記第２の受光素子では、前記検出光の波長領域における受光感度が前記第１の受光素子よりも低くなっていると共に、前記所定の波長領域が受光波長領域として含まれており、
    前記画像処理部は、前記第１および第２の受光素子により得られる受光信号に基づいて、前記物体情報を取得する
    情報入出力装置。
19. 前記入出力パネルは、前記検出光を含む光を発する照射光源を有する
    請求項１８に記載の情報入出力装置。
20. 情報入出力装置を備え、
    前記情報入出力装置は、
    複数の表示素子と、複数の第１および第２の受光素子とを有し、近接物体を検出するための検出光を含む光を発する入出力パネルと、
    前記入出力パネルによって前記近接物体を撮像して得られる信号を画像処理し、その近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理部と
    を有し、
    前記第１の受光素子は、その受光波長領域に前記検出光の波長領域を含んでおり、
    前記第２の受光素子は、
    前記検出光の波長領域を受光波長領域として含む第３の受光素子と、
    前記第３の受光素子の受光波長領域およびその波長領域と異なる所定の波長領域を受光波長領域として含む第４の受光素子とにより構成され、
    前記第２の受光素子における受光信号が、前記第４の受光素子からの受光信号と前記第３の受光素子からの受光信号との差分信号により構成されることにより、前記第２の受光素子では、前記検出光の波長領域における受光感度が前記第１の受光素子よりも低くなっていると共に、前記所定の波長領域が受光波長領域として含まれており、
    前記画像処理部は、前記第１および第２の受光素子により得られる受光信号に基づいて、前記物体情報を取得する
    電子機器。

Images