WO2010047256A1 - 撮像装置、表示撮像装置および電子機器 - Google Patents

Abstract

　使用状況によらず、物体を安定して検出することが可能な撮像装置を提供する。Ｉ／Ｏディスプレイパネル２０の表示エリア２１内に、近接物体を検出するための検出光の波長領域Δλ２３を受光波長領域として含む複数のメインセンサ３２と、この検出光の波長領域における受光感度がメインセンサ３２よりも低くなっている複数の補助センサ３３とを設ける。また、メインセンサ３２により得られる差分画像ＭＣと補助センサ３３により得られる差分画像ＨＣとに基づく合成画像Ｆを用いて、近接物体の物体情報を取得する。これにより、例えば近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、合成画像Ｆにおける偽信号の発生が抑えられる。

Description

撮像装置、表示撮像装置および電子機器

　本発明は、パネルに接触または近接する物体の位置などの情報を取得する撮像装置および表示撮像装置、ならびにそのような表示撮像装置を備えた電子機器に関する。

　従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。　

　このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。　

　また、本出願人は例えば特許文献１および特許文献２において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。　

特開２００４－１２７２７２号公報 特開２００６－２７６２２３号公報

　上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示撮像パネルからの照射光による反射光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。　

　しかしながら、上記のように物体で反射された反射光を利用する場合、外光や、受光素子の特性ばらつきなどが問題となることがあった。具体的には、受光する光の輝度が外光の明るさに応じて変化することから、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。また、受光素子の特性ばらつきなどが固定ノイズとなり、やはり撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。　

　そこで、上記特許文献２では、発光状態で得られた画像（照射光による反射光を利用して得られた画像）と、消灯状態で得られた画像との差分を取ることにより、上記した外光や固定ノイズによる影響が除去されるようにしている。これにより、外光や固定ノイズの影響を受けずに、物体の位置などを検出することが可能となると考えられる。　

　ところが、実際の使用状況下では、上記の発光状態で得られた画像と消灯状態で得られた画像との間には、時間差が存在する。したがって、例えば表示撮像パネル上で物体が高速に移動している場合などには、この時間差のため、発光状態で得られた画像と消灯状態で得られた画像との間で位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの画像の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう場合があった。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。　

　このように従来の技術では、そのときの使用状況によらずにパネルに接触または近接する物体を安定して検出するのは困難であり、改善の余地があった。　

　本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず、物体を安定して検出することが可能な撮像装置、表示撮像装置および物体の検出方法、ならびにそのような表示撮像装置を備えた電子機器を提供することにある。

　本発明の一実施の形態による撮像装置は、複数の第１および第２の受光素子と、近接物体を検出するための所定の波長領域の検出光を含む光を発する照射光源とを有する撮像パネルと、この撮像パネルによって近接物体を撮像した信号を画像処理し、その近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理部とを備えたものである。ここで、上記第１の受光素子は、その受光波長領域に上記検出光の波長領域を含んでいる。また、上記第２の受光素子は、上記検出光の波長領域における受光感度が、第１の受光素子よりも低くなっている。また、上記画像処理部は、第１および第２の受光素子から得られる信号を処理して物体情報を取得するようになっている。　

　本発明の一実施の形態による表示撮像装置は、複数の表示素子と、複数の第１および第２の受光素子とを有し、近接物体を検出するための所定の波長領域の検出光を含む光を発する表示撮像パネルと、この表示撮像パネルによって近接物体を撮像した信号を画像処理し、その近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理部とを備えたものである。ここで、上記第１の受光素子は、その受光波長領域に上記検出光の波長領域を含んでいる。また、上記第２の受光素子は、上記検出光の波長領域における受光感度が、第１の受光素子よりも低くなっている。また、上記画像処理部は、第１および第２の受光素子から得られる信号を処理して物体情報を取得するようになっている。　

　本発明の一実施の形態による電気機器は、画像表示機能および撮像機能を有する上記表示撮像装置を備えたものである。　

　本発明の一実施の形態による撮像装置、表示撮像装置および電子機器では、撮像パネル（または表示撮像パネル）によって近接物体を撮像した信号を画像処理してその近接物体の物体情報得られる。具体的には、例えば、第１の受光素子により得られる撮像画像と、第２の受光素子により得られる撮像画像とに基づく合成画像を用いて、物体情報が得られる。ここで、上記第１の受光素子は、上記検出光の波長領域を受光波長領域として含んでいるため、例えば近接物体が撮像パネル（または表示撮像パネル）上で動いている場合、第１の受光素子により得られる撮像画像では、近接物体の検出信号の他に、偽信号が発生し得る。これに対し、上記第２の受光素子では、上記検出光の波長領域における受光感度が第１の受光素子よりも低くなっているため、第２の受光素子により得られる撮像画像では、第１の受光素子の場合と同様に偽信号が発生し得る一方、近接物体の検出信号の発生が抑えられる。したがって、これら第１の受光素子により得られる撮像画像と第２の受光素子により得られる撮像画像とに基づく合成画像を用いて物体情報が取得されることにより、近接物体が撮像パネル（または表示撮像パネル）上で動いているような場合であっても、合成画像における偽信号の発生が抑えられる。

　本発明の一実施の形態による撮像装置、表示撮像装置または電子機器によれば、撮像パネル（または表示撮像パネル）内に、近接物体を検出するための検出光の波長領域を受光波長領域に含む複数の第１の受光素子と、上記検出光の波長領域における受光感度が第１の受光素子よりも低くなっている複数の第２の受光素子とを設けると共に、これら第１および第２の受光素子から得られる信号を処理して近接物体の物体情報を取得するようにしたので、例えば近接物体が撮像パネル（または表示撮像パネル）上で動いているような場合であっても、偽信号の発生を抑えることができる。よって、使用状況によらず、物体を安定して検出することが可能となる。

本発明の一実施の形態に係る表示撮像装置の構成を表すブロック図である。 図１に示したＩ／Ｏディスプレイパネルの構成例を表すブロック図である。 図２に示した表示エリア（センサエリア）内の画素配置例を表す平面図である。 図２に示した表示エリア（センサエリア）内のメインセンサおよび補助センサの配置例を表す平面模式図である。 図２に示した表示エリア（センサエリア）内のメインセンサおよび補助センサの配置例を表す平面模式図である。 検出用光源の発光波長領域と、メインセンサおよび補助センサの検出波長領域との関係の一例を表す特性図である。 バックライトのオン・オフ状態と表示状態との関係について説明するためのタイミング図である。 差分画像指先抽出処理を表す流れ図である。 図８に示した差分画像抽出処理について説明するためのタイミング図である。 差分画像指先抽出処理について説明するための写真構成図である。 外光が明るい場合の差分画像指先抽出処理について説明するための図である。 外光が暗い場合の差分画像指先抽出処理について説明するための図である。 差分画像指先抽出処理による受光信号のダイナミックレンジについて説明するための図である。 検出対象の指先が同時に複数存在する場合の差分画像指先抽出処理について説明するための写真構成図である。 比較例に係る差分画像抽出処理について説明するための特性図である。 比較例に係る差分画像抽出処理について説明するための模式図である。 実施の形態に係るメインセンサにおける差分画像について説明するための特性図である。 実施の形態に係るメインセンサにおける差分画像について説明するための模式図である。 実施の形態に係る補助センサにおける差分画像について説明するための特性図である。 実施の形態に係る補助センサにおける差分画像について説明するための模式図である。 実施の形態に係るメインセンサにおける差分画像と補助センサにおける差分画像との合成処理について説明するための模式図である。 本発明の変形例１に係る差分画像指先抽出処理について説明するための特性図である。 本発明の変形例１に係る差分画像指先抽出処理について説明するための模式図である。 本発明の変形例２に係る差分画像指先抽出処理について説明するための模式図である。 本発明の変形例３に係る差分画像指先抽出処理について説明するための模式図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 上記各実施の形態の表示撮像装置の適用例１の外観を表す斜視図である。 （Ａ）は適用例２の表側から見た外観を表す斜視図であり、（Ｂ）は裏側から見た外観を表す斜視図である。 適用例３の外観を表す斜視図である。 適用例４の外観を表す斜視図である。 （Ａ）は適用例５の開いた状態の正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態の正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。 検出用光源の発光波長領域と、メインセンサおよび補助センサの検出波長領域との関係の他の例を表す特性図である。 本発明の他の変形例に係る表示撮像装置の構成を表すブロック図である。 図３６に示した表示撮像装置における各画素の構成例を表す回路図である。 図３６および図３７に示した表示撮像装置における差分画像指先抽出処理について説明するための図である。

　以下、本発明の実施の形態について、図面を参照して詳細に説明する。　

［表示撮像装置の全体構成例］　
　図１は、本発明の一実施の形態に係る表示撮像装置の全体構成を表すものである。この表示撮像装置は、Ｉ／Ｏディスプレイパネル２０と、バックライト１５と、表示ドライブ回路１２と、受光ドライブ回路１３と、画像処理部１４と、アプリケーションプログラム実行部１１とを備えている。　

　Ｉ／Ｏディスプレイパネル２０は、複数の画素が全面に渡ってマトリクス状に配置された液晶パネル（ＬＣＤ；Liquid Crystal Display）により構成されている。このＩ／Ｏディスプレイパネル２０は、表示データに基づく所定の図形や文字などの画像を表示する機能（表示機能）を有すると共に、後述するようにＩ／Ｏディスプレイパネル２０に接触または近接する物体（近接物体）を撮像する機能（撮像機能）を有している。また、バックライト１５は、例えば複数の発光ダイオードが配置されてなり、Ｉ／Ｏディスプレイパネル２０の表示および検出用の光源である。このバックライト１５は、後述するように、Ｉ／Ｏディスプレイパネル２０の動作タイミングに同期した所定のタイミングで、高速にオン・オフ動作を行うようになっている。　

　表示ドライブ回路１２は、Ｉ／Ｏディスプレイパネル２０において表示データに基づく画像が表示されるように（表示動作を行うように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次表示動作の駆動を行う）回路である。　

　受光ドライブ回路１３（画像生成部）は、Ｉ／Ｏディスプレイパネル２０の各画素から受光信号（撮像信号）が得られるように（物体を撮像するように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次撮像動作の駆動を行う）回路である。また、この受光ドライブ回路１３は、各画素からの受光信号に対して所定の画像処理（画像生成処理）を行うことにより、後述する合成画像を生成するようになっている。また、生成された合成画像は、例えばフレーム単位でフレームメモリ１３Ａに蓄積され、撮像画像として画像処理部１４へ出力されるようになっている。なお、そのような画像生成処理の詳細については後述する。　

　画像処理部１４は、受光ドライブ回路１３から出力される撮像画像（合成画像）に基づいて所定の画像処理（演算処理）を行い、近接物体に関する物体情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出し、取得するものである。なお、この検知する処理の詳細については後述する。　

　アプリケーションプログラム実行部１１は、画像処理部１４による検知結果に基づいて 所定のアプリケーションソフトに応じた処理を実行するものである。このような処理としては、例えば、検知した物体の位置座標を表示データに含むようにし、Ｉ／Ｏディスプレイパネル２０上に表示させるものなどが挙げられる。なお、このアプリケーションプログラム実行部１１で生成される表示データは、表示ドライブ回路１２へ供給されるようになっている。　

［Ｉ／Ｏディスプレイパネルの詳細構成例］　
　次に、図２を参照して、Ｉ／Ｏディスプレイパネル２０の詳細構成例について説明する。このＩ／Ｏディスプレイパネル２０は、表示エリア（センサエリア）２１と、表示用Ｈドライバ２２と、表示用Ｖドライバ２３と、センサ読み出し用Ｈドライバ２５と、センサ用Ｖドライバ２４とを有している。

　表示エリア２１は、バックライト１５からの光を変調して照射光を出射すると共に、このエリアへの近接物体を撮像するための領域である。本実施形態において、照射光は、表示光と、例えば赤外光源等（図示せず）による近接物体を検出するための検出光（赤外光等）とを含む（以下同様）。この表示エリア２１では、発光素子（表示素子）である液晶素子と、受光素子（撮像素子）としての受光センサ（後述するメインセンサ３２および補助センサ３３）とが、それぞれマトリクス状に配置されている。　

　表示用Ｈドライバ２２は、表示ドライブ回路１２から供給される表示駆動用の表示信号および制御クロックに基づいて、表示用Ｖドライバ２３と共に表示エリア２１内の各画素の液晶素子を線順次駆動するものである。　

　センサ読み出し用Ｈドライバ２５は、センサ用Ｖドライバ２４と共にセンサエリア２１内の各画素の受光素子を線順次駆動し、受光信号を取得するものである。　

［表示エリアにおける各画素の詳細構成例］
　次に、図３～図５を参照して、表示エリア２１における各画素の詳細構成例について説明する。　

　まず、例えば図３に示したように、画素３１は、液晶素子を含む表示画素（表示部）３１ＲＧＢと、撮像画素（受光部）とから構成されている。表示画素３１ＲＧＢは、赤（Ｒ）用の表示画素３１Ｒと、緑（Ｇ）用の表示画素３１Ｇと、青（Ｂ）用の表示画素３１Ｂとから構成されている。また、受光部には、２種類の受光センサ、すなわち、メインセンサ３２（第１の受光素子）と、補助センサ３３（第２の受光素子）とが配置されている。なお、図３では、１つの表示画素３１ＲＧＢに対して１つの受光センサを配置しているが、複数の表示画素３１ＲＧＢに対して１つの受光センサを配置するようにしてもよい。　

　このようなメインセンサ３２および補助センサ３３はそれぞれ、例えば図４（Ａ），（Ｂ）に示したように、表示エリア２１上において、１対１の割合で交互に配置されているのが好ましい。ただし、例えば図５（Ａ），（Ｂ）に示したように、メインセンサ３２の数よりも補助センサ３３の数が少なくなるように配置してもよい。この場合、補助センサ３３による受光信号に対して補間処理を行う必要があるため、処理が複雑化すると共に、信号やアプリケーションの種類によっては検出漏れが問題にならないかを配慮する必要がある。なお、図４および図５では、説明上の便宜のため、表示画素３１ＲＧＢについては図示を省略している。　

［光源および受光センサにおける波長領域の構成例］　
　次に、図６を参照して、光源および受光センサにおける波長領域の構成例について説明する。図６は、検出用光源の発光波長領域（図６（Ａ））と、メインセンサ３２および補助センサ３３の検出波長領域（図６（Ｂ），（Ｃ））との関係の一例を表したものである。

　まず、図６（Ｂ）中の符号Ｇ２１で示したように、メインセンサ３２では、受光波長領域が、波長λ１以上の長波長側の波長領域となっている。したがって、このメインセンサ３２は、図６（Ａ）中の符号Ｇ１で示した、近接物体を検出するための検出光の波長領域Δλ２３（波長λ２～波長λ３の波長領域）を受光波長領域として含んでおり、近接物体の検出用の受光センサとして機能するようになっている。また、メインセンサ３２は、この検出光の波長領域Δλ２３における受光感度が、この波長領域と異なる所定の波長領域（ここでは、波長λ２未満の波長領域）における受光感度よりも高くなっている。

　一方、図６（Ｃ）中に符号Ｇ３１で示したように、補助センサ３３では、受光波長領域が、波長λ２以下の短波長側の波長領域となっている。すなわち、補助センサ３３は、受光波長に対して上記メインセンサ３２とは異なる受光感度特性を有している。したがって、この補助センサ３３では、検出光の波長領域Δλ２３における受光感度が、メインセンサ３２よりも低くなっている（ここでは、検出光の波長領域Δλ２３における受光感度が０（ゼロ）となっている）。これにより、補助センサ３３は、後述する偽信号の検出用の受光センサとして機能するようになっている。また、補助センサ３３は、検出光の波長領域Δλ２３における受光感度が、上記所定の波長領域（ここでは、波長λ２未満の波長領域）における受光感度よりも低くなっている。なお、ここでは、波長領域Δλ１２（波長λ１～波長λ２の波長領域）は、メインセンサ３２および補助センサ３３の両方による受光波長領域となっている。

　具体的には、検出光として赤外光を用いた場合、メインセンサ３２は、この赤外光の波長領域を受光波長領域として含むようにすると共に、補助センサ３３は、例えば可視光の波長領域を受光波長領域として含むようにすればよい。ただし、検出光の波長領域と、メインセンサ３２および補助センサ３３の受光波長領域との関係は、これには限られない。例えば、検出光として緑色光を用いると共に、補助センサ３３の受光波長領域を赤色光の波長領域のみとするようにしてもよい。ただし、ここで注意しなければならないのは、補助センサ３３の受光波長領域としては、検出光の波長領域を含まないようにするのが好ましいが、メインセンサ３２が受光可能な外光の波長に関しては、受光できるようにする。これは、後述するように、メインセンサ３２に入射する外光に起因する偽信号を検出するのが、補助センサ３３の役割だからである。このような検出光の波長領域と、メインセンサ３２および補助センサ３３の受光波長領域との関係は、例えば、既存のカラーフィルタの組み合わせや、受光センサの分光感度の設計などによって実現することができる。　

　なお、メインセンサ３２の受光波長領域は、図６（Ｂ）中の符号Ｇ２２で示したものであってもよく、同様に補助センサ３３の受光波長領域は、図６（Ｃ）中の符号Ｇ３２で示したものであってもよい。この場合、波長領域Δλ１２（波長λ１～波長λ２の波長領域）および波長領域Δλ３４（波長λ３～波長λ４の波長領域）が、メインセンサ３２および補助センサ３３の両方による受光波長領域となる。　

　次に、本実施の形態の表示撮像装置の作用および効果について説明する。

［表示撮像装置の基本動作例］　
　最初に、この表示撮像装置の基本動作、すなわち画像の表示動作および物体の撮像動作について説明する。　

　この表示撮像装置では、アプリケーションプログラム実行部１１から供給される表示データに基づいて、表示ドライブ回路１２において、表示用の駆動信号が生成される。そしてこの駆動信号により、Ｉ／Ｏディスプレイパネル２０に対して線順次表示駆動がなされ、画像が表示される。また、このときバックライト１５も表示ドライブ回路１２によって駆動され、Ｉ／Ｏディスプレイパネル２０と同期した点灯・消灯動作がなされる。　

　ここで、図７を参照して、バックライト１５のオン・オフ状態とＩ／Ｏディスプレイパ ネル２０の表示状態との関係について説明する。　図７には横軸に時間が示され、縦軸に受光素子が受光駆動されるラインの垂直方向の位置が示されている。

　まず、例えば１／６０秒のフレーム周期で画像表示がなされている場合、各フレーム期間の前半期間（１／１２０秒間）にバックライト１５が消灯し（オフ状態となり）、表示が行われない。一方、各フレーム期間の後半期間には、バックライト１５が点灯し（オン状態となり）、各画素に表示信号が供給され、そのフレーム期間の画像が表示される。　

　このように、各フレーム期間の前半期間は、Ｉ／Ｏディスプレイパネル２０から照射光が出射されない無光期間である一方、各フレーム期間の後半期間は、Ｉ／Ｏディスプレイパネル２０から照射光が出射される有光期間となっている。　

　ここで、Ｉ／Ｏディスプレイパネル２０への近接物体（例えば、指先など）がある場合、受光ドライブ回路１３による線順次受光駆動により、このＩ／Ｏディスプレイパネル２０における各画素の受光素子において、この近接物体が撮像される。そして、各受光素子からの受光信号は、受光ドライブ回路１３へ供給される。受光ドライブ回路１３では、１フレーム分の画素の受光信号が蓄積され、撮像画像として画像処理部１４へ出力される。　

　そして画像処理部１４は、この撮像画像に基づいて、以下説明する所定の画像処理（演算処理）を行うことにより、Ｉ／Ｏディスプレイパネル２０への近接物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出する。　

［表示撮像装置における指先抽出処理（差分画像指先抽出処理）の基本動作例］　
　次に、図８～図１４を参照して、画像処理部１４によるＩ／Ｏディスプレイパネル２０への近接物体；例えば指等）の抽出処理（指先抽出処理）の基本動作について説明する。図８は、この画像処理部１４による指先抽出処理（後述する差分画像指先抽出処理）を流れ図で表したものであり、図９は、この差分画像指先抽出処理の一部をタイミング図で表したものである。　

　まず、表示１フレーム期間の前半期間であるバックライト１５がオフの期間（無光期間）において、Ｉ／Ｏディスプレイパネル２０により、近接物体の撮像処理がなされる。これにより、画像Ａ（影画像）が取得される（図８のステップＳ１１、図９のタイミングｔ１～ｔ２の期間）。　

　次に、表示１フレーム期間の後半期間であるバックライト１５がオンの期間（有光期間）において、Ｉ／Ｏディスプレイパネル２０により、近接物体の撮像処理がなされる。これにより、画像Ｂ（照射光による反射光を利用した反射光利用画像）が取得される（図８のステップＳ１２、図９のタイミングｔ３～ｔ４の期間）。　

　次に、画像処理部１４は、この画像Ｂと、バックライト１５がオフの期間（無光期間）における撮像により得られた画像Ａ（影画像）との差分画像Ｃを生成する（図８のステップＳ１３、図９のタイミングｔ３～ｔ４の期間）。　

　次に、画像処理部１４は、生成された差分画像Ｃに基づいて、重心を判定する演算処理を行い（ステップＳ１４）、接触（近接）中心の特定を行う（ステップＳ１５）。そして、近接物体の検出結果が画像処理部１４からアプリケーションプログラム実行部１１へ出力され、画像処理部１４による差分画像指先抽出処理が終了となる。　

　このようにして、差分画像指先抽出処理では、照射光による反射光を利用した画像Ｂと照射光を利用しないで外光（環境光）を利用した画像Ａとの差分画像Ｃに基づいて指先の抽出処理がなされる。これにより、図１０に示した差分画像Ｃの写真画像例のように、外光の明るさの影響が除去され、この外光の明るさに影響されずに近接物体の検出がなされる。また、このような外光除去と同時に、受光素子の特性ばらつき等に起因した固定ノイズの除去も可能となる。　

　具体的には、例えば図１１（Ａ）に断面図で示したように、入射する外光が強い場合には、バックライト１５を点灯させた状態での受光出力電圧Ｖon１は、図１１（Ｂ）に示したようになる。すなわち、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなる一方、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライト１５からの光を反射させる反射率に対応した電圧値Ｖｂに低下する。これに対して、バックライト１５を消灯させた状態での受光出力電圧Ｖoff１は、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなる点は同じであるが、指で触れた個所では、外光が遮断された状態であり、非常にレベルの低い電圧値Ｖｃとなる。　

　また、図１２（Ａ）に断面図で示したように、入射する外光が弱い（ほとんどない）状態では、バックライト１５を点灯させた状態での受光出力電圧Ｖon２は、図１２（Ｂ）に示したようになる。すなわち、指で触れた個所以外では、外光がないために非常にレベルの低い電圧値Ｖｃとなる一方、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライト１５からの光を反射させる反射率に対応した電圧値Ｖｂに上昇する。これに対して、バックライト１５を消灯させた状態での受光出力電圧Ｖoff２は、指で触れた個所とそれ以外の個所のいずれでも、非常にレベルの低い電圧値Ｖｃのままで変化がない。　

　このように、図１１および図１２を比較すると分かるように、パネルの表示エリア２１に接触していない個所では、外光がある場合とない場合とで、受光出力電圧が大きく異なる。ところが、指が接触している個所では、外光の有無に関係なく、バックライト１５の点灯時の電圧値Ｖｂと、バックライト１５の消灯時の電圧値Ｖｃとが、ほぼ同じような状態となる。　

　よって、バックライト１５の点灯時の電圧と消灯時の電圧との差を検出して、電圧値Ｖｂと電圧値Ｖｃとの差のように、一定以上の差がある個所が、接触した個所または近接した個所であると判断することができる。これにより、パネルに入射する外光が強い場合でも、外光が殆どない場合でも、均一な条件で良好に接触または近接が検出される。　

　また、図１３（Ａ），（Ｂ）に示したように、受光出力電圧の検出に必要なダイナミックレンジについては、以下のように決定される。ここで、図１３（Ａ）は、パネルの表示エリア２１の接触状態を示したものであり、指ｆでパネル表面を触れていると共に、反射率がほぼ１００％の円形の物体ｍを、表示エリア２１に載せた状態としてある。この状態で、指ｆと物体ｍの双方を走査するラインでの受光出力電圧は、図１３（Ｂ）に示す状態となる。また、図１３（Ｂ）において、電圧Ｖon３はバックライト１５を点灯させた状態での受光出力電圧であり、電圧Ｖoff３はバックライト１５を消灯させた状態での受光出力電圧である。　

　図１３（Ｂ）に示すように、反射率がほぼ１００％の物体ｍがある個所で、バックライト１５の点灯時に検出される電圧Ｖｄよりも高い電圧は観測不要なレベルＶｙであり、そのレベル以下の範囲Ｖｘが、検出に必要なダイナミックレンジである。よって、観測不要なレベルＶｙの信号については、オーバーフローさせてしまって、同一の強度とみなすようにすればよいことが分かる。　

　なお、この差分画像指先抽出処理では、例えば図１４（Ａ）～（Ｄ）に示した画像（それぞれ、画像Ａ～Ｃ、および画像Ｃの２値化画像）により、以下のことが分かる。すなわち、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上に配置された複数の近接物体についても、各近接物体に関する位置、形状または大きさなどの情報が取得できるようになっている。　

［近接物体が移動している場合等における差分画像指先抽出処理例］　
　次に、図１５～図２１を参照して、本発明の特徴的部分の１つである、近接物体が移動している場合等における差分画像指先抽出処理について、比較例と比較しつつ説明する。　

　まず、図１５および図１６に示した比較例では、図１５中の矢印で示したように、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上で近接物体が移動している状態のとき、以下の問題が生じている。すなわち、影画像Ａ１０１における受光出力信号Ｖoff（Ａ１０１）と反射光利用画像Ｂ１０１における受光出力信号Ｖon（Ｂ１０１）との間で、近接物体に対応する部分に位置ずれが生じている。そして、このような位置のため、これら２つの画像Ａ１０１，Ｂ１０１の差分画像Ｃ１０１（＝Ｂ１０１－Ａ１０１）およびその受光検出信号Ｖ（Ｃ１０１）（＝Ｖon（Ｂ１０１）－Ｖoff（Ａ１０１））において、物体の位置に対応する本来の信号の他に、別の位置に偽信号Ｆ１０１が生じてしまっている。よって、このような偽信号Ｆ１０１の存在により、近接物体を安定して検出するのが困難となってしまう。　

　これに対して本実施の形態では、画像処理部１４は、メインセンサ３２により得られる撮像画像と、補助センサ３３により得られる撮像画像とに基づく合成画像を用いて、近接物体の物体情報を取得する。具体的には、受光ドライブ回路１３は、反射光利用画像Ｂと影画像Ａとの差分画像Ｃ（＝Ｂ－Ａ）を、メインセンサ３２および補助センサ３３のそれぞれに対応して生成する。そして、画像処理部１４は、メインセンサ３２により得られる反射光利用画像ＭＢと影画像ＭＡとの差分画像ＭＣ（＝ＭＢ－ＭＡ；第１の差分画像）と、補助センサ３３により得られる反射光利用画像ＨＢと影画像ＨＡとの差分画像ＨＣ（＝ＨＢ－ＨＡ；第２の差分画像）とに基づく合成画像Ｆを用いて、物体情報を取得する。　

　より具体的には、メインセンサ３２による撮像画像では、例えば図１７および図１８に示したようにして、差分画像ＭＣが生成される。すなわち、メインセンサ３２は、検出光の波長領域Δλ２３を受光波長領域として含んでいるため、例えば近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いている場合、差分画像ＭＣでは、比較例と同様に、近接物体の検出信号の他に、偽信号Ｆ１０１が発生する。言い換えると、画像ＭＡ，ＭＢの差分画像ＭＣ（＝ＭＢ－ＭＡ）およびその受光検出信号Ｖ（ＭＣ）（＝Ｖon（ＭＢ）－Ｖoff（ＭＡ））において、物体の位置に対応する本来の信号の他に、別の位置に偽信号Ｆ１０１が生じる。　

　一方、補助センサ３３による撮像画像では、例えば図１９および図２０に示したようにして、差分画像ＨＣが生成される。すなわち、補助センサ３３では、検出光の波長領域における受光感度が第１の受光素子よりも低くなっている（ここでは、０となっている）ため、差分画像ＨＣでは、メインセンサ３２の場合と同様に偽信号Ｆ１０１が発生する一方、近接物体の検出信号の発生が抑えられる（ここでは、回避される）。言い換えると、画像ＨＡ，ＨＢの差分画像ＨＣ（＝ＨＢ－ＨＡ）およびその受光検出信号Ｖ（ＨＣ）（＝Ｖon（ＨＢ）－Ｖoff（ＨＡ））において、偽信号Ｆ１０１が発生する一方、物体の位置に対応する本来の信号の発生が抑えられる（ここでは、回避される）。　

　次に、受光ドライブ回路１３は、例えば図２１に示したように、補助センサ３３により得られる差分画像ＨＣに基づいて所定のマスク画像Ｅを生成する。また、受光ドライブ回路１３は、メインセンサ３２により得られる差分画像ＭＣと、生成されたマスク画像Ｅとの論理積を取ることにより、これらの合成画像Ｆを生成する。そして、画像処理部１４は、この合成画像Ｆを用いて、近接物体の物体情報を取得する。この際、受光ドライブ回路１３は、差分画像ＨＣに対し、例えば２値化処理および画像反転処理を施すことにより、マスク画像Ｅを生成することができる。具体的には、２値化処理としては、差分画像ＨＣの中で、ある値（閾値）以上の受光信号を偽信号とみなし、偽信号の部分をマスクする画像に変換するようにすればよい。

　ここで、閾値以上の信号を偽信号とするのは、パネルに乗ったノイズの影響を排除することと、補助センサ３３の性能によっては、完全に分光特性が分離できず、わずかに検出信号が補助センサ３３側の差分画像ＨＣにも現れることがあるからである。この補助センサ３３への検出信号の漏れこみを最小限にするのが、本方式の性能を向上することとなる。具体的には、検出光の波長領域Δλ２３を限定すると共に、補助センサ３３では、検出光の波長領域Δλ２３に対する感度をできる限り低く設計する。また、補助センサ３３は外光により発生する偽信号を検出するものであるため、外光に対する感度を、検出光の波長感度より相対的に高めることで、性能を上げることにつながる。　

　なお、このようなマスク画像Ｅを用いて合成画像Ｆを生成する方法の他に、例えば、差分画像ＭＣと差分画像ＨＣとの差分画像（＝ＭＣ－ＨＣ）を、合成画像Ｆとして用いるようにしてもよい。　

　このようにして、メインセンサ３２により得られる差分画像ＭＣと、補助センサ３３により得られる差分画像ＨＣとに基づく合成画像Ｆを用いて、物体情報が取得される。これにより、例えば近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、合成画像Ｆにおける偽信号の発生が抑えられる（または回避される）。　

　以上のように本実施の形態では、Ｉ／Ｏディスプレイパネル２０の表示エリア２１内に、近接物体を検出するための検出光の波長領域Δλ２３を受光波長領域として含む複数のメインセンサ３２を設けている。また、この検出光の波長領域における受光感度がメインセンサ３２よりも低くなっている複数の補助センサ３３を設けている。そして、メインセンサ３２により得られる差分画像ＭＣと、補助センサ３３により得られる差分画像ＨＣとに基づく合成画像Ｆを用いて、近接物体の物体情報を取得するようにしている。よって、例えば近接物体がＩ／Ｏディスプレイパネル２０の表示エリア２１上で動いているような場合であっても、合成画像Ｆにおける偽信号の発生を抑えることができ、使用状況によらずに物体を安定して検出することが可能となる。また、あらゆる偽信号発生パターンに対して原理的に対応することが可能であるため、全ての外光条件で良好に作動させることが可能である。　

　以下、本発明の変形例をいくつか挙げて説明する。なお、上記実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。　

（変形例１）　
　図２２および図２３は、変形例１に係る差分画像指先抽出処理を表すものである。　

　本変形例では、例えば図２２および図２３に示したように、受光ドライブ回路１３は、メインセンサ３２により得られる反射光利用画像ＭＢと、補助センサ３３により得られる反射光利用画像ＨＢとの差分画像ＭＨＣ（＝ＭＢ－ＨＢ）に基づいて、物体情報を取得する。　

　これにより、上記実施の形態と同様に、使用状況によらずに物体を安定して検出することが可能となる。　

（変形例２） 　
　図２４は、変形例２に係る差分画像指先抽出処理を表すものである。本変形例では、画像処理部１４は、差分画像ＭＣの生成処理と、差分画像ＨＣの生成処理とを、メインセンサ３２および補助センサ３３の単位での逐次処理により行うようになっている。　

　具体的には、本変形例では、図２４に示したように、表示エリア２１上において、メインセンサ３２および補助センサ３３はそれぞれ、１対１の割合で交互に配置されている。また、差分画像ＭＣおよび差分画像ＨＣはそれぞれ、複数の差分画素値ｍ０，ｈ１，ｍ２，ｈ３，ｍ４，ｈ５，…により構成されている。　

　そして、受光ドライブ回路１３は、上記逐次処理を行う際に、各メインセンサ３２に隣接する補助センサ３３により得られる差分画素値が所定の閾値Ｖth（Ｈ）以上の場合には、そのメインセンサ３２における差分画素値を０（ゼロ）とみなして出力する。　

　一方、各メインセンサ３２に隣接する補助センサ３３により得られる差分画素値が上記閾値Ｖth（Ｈ）未満の場合には、そのメインセンサ３２における実際の差分演算結果を、差分画素値として出力する。これにより、上記実施の形態で説明したマスク画像Ｅを用いたマスク処理と等価な処理を行うことができる。　

　このようにして本変形例では、特にフレームメモリを補助センサ３３用やメインセンサ３２用に持つことなく、かつ高速に処理結果を得ることができる。　

（変形例３）　
　図２５は、変形例３に係る差分画像指先抽出処理を表すものである。本変形例では、実際にはより精密な結果を得るために、補助センサ３３側およびメインセンサ３２側ともに、補間処理を組み合わせて変形例２の処理を行うようにしたものである。　

　具体的には、受光ドライブ回路１３は、上記逐次処理を行う際に、各補助センサ３３に対応する位置におけるメインセンサ３２の差分画素値を、補間生成する。また、各メインセンサ３２に対応する位置における補助センサ３３の差分画素値を、補間生成する。そして、これらの補間生成された差分画素値をも考慮して、閾値との比較結果に応じた逐次処理を行うようになっている。　

　これにより、正確に補助センサとメインセンサの対応が取られ、理想的な処理結果を得ることができる。この方法においても、１～２センサ分の処理結果を持っておくことだけで、特別にフレームメモリを用意する必要はない。また、処理遅延もセンサごとの処理のため、数センサ分の遅延で収まり極めて高速である。　

　なお、本変形例では、メインセンサ３２および補助センサ３３はそれぞれ、例えば図４（Ａ），（Ｂ）に示したように、表示エリア２１上において、１対１の割合で交互に配置されているのが好ましい。　

（アプリケーションプログラムの実行例）　
　次に、図２６～図２９を参照して、これまで説明した指先抽出処理によって検出された物体の位置情報等を利用した、アプリケーションプログラム実行部１１によるアプリケーションプログラム実行例について、いくつか説明する。　

　まず、図２６（Ａ）に示した例は、Ｉ／Ｏディスプレイパネル２０の表面を指先６１で触れて、その触れた個所の軌跡を描画ライン６１１として画面に表示させるようにした例である。　

　また、図２６（Ｂ）に示した例は、手の形を用いたジェスチャ認識のものである。具体的には、Ｉ／Ｏディスプレイパネル２０に触れた（または近接した）手６２の形状を認識して、その認識した手の形を画像として表示させ、その表示オブジェクトの移動６２１で、何らかの処理を行うようにしたものである。　

　また、図２７に示した例は、閉じた状態の手６３Ａから、開いた状態の手６３Ｂに変化させて、それぞれの状態の手の接触または近接をＩ／Ｏディスプレイパネル２０で画像認識させて、その画像認識に基づいた処理を実行させるようにしたものである。これらの認識に基づいて処理を行うことで、例えばズームインなどの指示を行うことができる。また、このような指示ができることで、例えばＩ／Ｏディスプレイパネル２０をパーソナルコンピュータ装置に接続して、そのコンピュータ装置上でコマンドを切り替えている操作などを、これらの画像認識で、より自然な形で入力することができる。　

　また、例えば図２８に示したように、Ｉ／Ｏディスプレイパネル２０を複数台用意して、その複数台のＩ／Ｏディスプレイパネル２０を何らかの伝送手段で接続するようにしてもよい。そして、接触または近接を検出した画像を、相手のＩ／Ｏディスプレイパネル２０に伝送して表示させて、両ディスプレイパネルを操作するユーザ間でコミュニケーションをとるようにしてもよい。すなわち、２つのＩ／Ｏディスプレイパネル２０を用意して、一方のパネルで画像認識した手６５の手形を相手に送信し、他方のパネルに手形６４２を表示させたり、他方のパネルを手６４で触れて表示された軌跡６４１を、相手のパネルに送って表示させる等の処理が可能になる。このようにして、描画している状態が動画で伝達され、手書きの文字や図形などを相手に送ることで、新しいコミュニケーションツールの可能性がある。このような例としては、例えば、Ｉ／Ｏディスプレイパネル２０を携帯電話端末の表示パネルに適用すること等が想定される。　

　また、例えば図２９に示したように、筆６６を使用してＩ／Ｏディスプレイパネル２０の表面で文字を書くように触れさせて、その筆６６が触れた個所をＩ／Ｏディスプレイパネル２０に画像６６１として表示させることで、毛筆による手書きの入力が可能になる。この場合には、毛筆の細かいタッチまで認識して実現することが可能である。従来の手書き認識の場合には、例えば一部のデジタイザにおいて、特殊なペンの傾きを電界検出で実現していたが、本例では、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行うことができる。　

（モジュールおよび適用例）　
　次に、図３０～図３４を参照して、上記実施の形態および変形例で説明した表示撮像装置の適用例について説明する。上記実施の形態等の表示撮像装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなどのあらゆる分野の電子機器に適用することが可能である。言い換えると、上記実施の形態等の表示撮像装置は、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。なお、以下に示した電子機器の他にも、例えば、検出光による反射成分のみを取り出すという本発明の特徴を活かして、監視カメラのような応用も考えられる。　

（適用例１）　
　図３０は、上記実施の形態等の表示撮像装置が適用されるテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態等に係る表示撮像装置により構成されている。　

（適用例２） 　
　図３１は、上記実施の形態等の表示撮像装置が適用されるデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態等に係る表示撮像装置により構成されている。　

（適用例３）　
　図３２は、上記実施の形態等の表示撮像装置が適用されるノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態等に係る表示撮像装置により構成されている。　

（適用例４）　
　図３３は、上記実施の形態等の表示撮像装置が適用されるビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有している。そして、その表示部５４４は、上記実施の形態等に係る表示撮像装置により構成されている。　

（適用例５）　
　図３４は、上記実施の形態等の表示撮像装置が適用される携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態等に係る表示撮像装置により構成されている。　

　以上、実施の形態、変形例および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。　

　例えば、上記実施の形態等では、例えば図３５（Ａ）に示したように、波長領域Δλ１２（波長λ１～波長λ２の波長領域）や波長領域Δλ３４（波長λ３～波長λ４の波長領域）が、メインセンサ３２および補助センサ３３の両方による受光波長領域となっている。ただし、発明が適用されるのは、これには限られない。すなわち、例えば図３５（Ｂ）に示したように、メインセンサ３２の受光波長領域と、補助センサ３３の受光波長領域とが、互いに分離しているようにしてもよく、このようにするのが好ましいといえる。なお、図３５（Ａ），（Ｂ）ではそれぞれ、実線の矢印で示したメインセンサ３２の受光波長領域以外の波長領域では、このメインセンサ３２の受光感度は０（ゼロ）となっている。同様に、破線の矢印で示した補助センサ３３の受光波長領域以外の波長領域では、この補助センサ３３の受光感度は０（ゼロ）となっている。すなわち、図３５（Ｂ）では、メインセンサ３２の受光波長領域において補助センサ３３の受光感度が０（ゼロ）となっていると共に、補助ンセンサ３３の受光波長領域においてメインセンサ３２の受光感度が０（ゼロ）となっており、これにより、上記したようにこれら２つのセンサにおける受光波長領域が互いに分離している（異なっている）。

　また、上記実施の形態等では、バックライト１５を備えた液晶パネルからなるＩ／Ｏディスプレイパネル２０の場合で説明したが、表示用のバックライトが検出光を兼ねてもよいし、検出専用の照射光源を設けてもよい。また、検出専用の照射光源を設ける場合には、可視光領域以外の波長領域の光（例えば、赤外光）を用いるのがより好ましい。　

　また、上記実施の形態では、Ｉ／Ｏディスプレイパネル２０において、表示素子が液晶素子であると共に受光素子を別個に設ける場合で説明したが、本発明が適用されるのは、これには限られない。具体的には、例えば図３６～図３８に示した他の変形例に係る表示撮像装置のように、有機ＥＬ（ElectroLuminescence）素子等の発光動作と受光動作とを時分割に行うことが可能な発光受光素子（表示撮像素子）により、Ｉ／Ｏディスプレイパネル（Ｉ／Ｏディスプレイパネル６０）を構成するようにしてもよい。

　図３６は、本変形例に係る表示撮像装置の構成例をブロック図で表したものである。この表示撮像装置は、Ｉ／Ｏディスプレイパネル６０と、表示ドライブ回路８２と、フレームメモリ８３Ａを有する受光ドライブ回路８３と、画像処理部８４と、アプリケーションプログラム実行部８１とを備えている。これらのうち、表示ドライブ回路８２、フレームメモリ８３Ａ、受光ドライブ回路８３、画像処理部８４およびアプリケーションプログラム実行部８１については、上記実施の形態で説明した表示ドライブ回路１２、フレームメモリ１３Ａ、受光ドライブ回路１３、画像処理部１４およびアプリケーションプログラム実行部１１と同様の動作を行うものであるため、説明を省略する。

　Ｉ／Ｏディスプレイパネル６０は、上記したように、有機ＥＬ素子を用いた有機ＥＬディスプレイとして構成されており、表示エリア（センサエリア）に、複数の画素（表示撮像素子）がマトリクス状に形成されている。そして、ここでは、発光素子（表示素子）および受光素子（撮像素子：前述のメインセンサ）として機能する有機ＥＬ素子を含む画素と、発光素子（表示素子）および受光素子（撮像素子：前述の補助センサ）として機能する有機ＥＬ素子を含む画素とがそれぞれ、例えばマトリクス状に配置されている。このＩ／Ｏディスプレイパネル６０では、受光期間において受光光量に対応して蓄積された信号電荷が、受光ドライブ回路８３による受光駆動によって読み出されるようになっている。

　図３７は、図３６に示した表示撮像装置における各画素の回路構成例（画素回路の構成例）を表したものである。この画素回路は、有機ＥＬ素子９１と、この有機ＥＬ素子９１の寄生容量９１Ａと、スイッチＳＷ１～ＳＷ３と、表示データ信号線９２と、読み出しライン選択線９３と、受信データ信号線９４とから構成されている。この画素回路では、表示期間（発光期間）においてスイッチＳＷ１がオン状態に設定されると、画像表示のための表示データが、表示データ信号線９２からスイッチＳＷ１を介して有機ＥＬ素子９１へ供給され、有機ＥＬ素子９１が発光動作を行う。一方、有機ＥＬ素子９１において発光動作が停止している期間（受光期間）には、センサエリアへの入射光量に応じて、有機ＥＬ素子９１に生じた寄生容量９１Ａに、電荷が蓄積する。そして、その蓄積した電荷は、読み出しライン選択線９３から得られる信号による制御に応じてスイッチＳＷ２がオン状態に設定されることにより、受信データ信号線９４へと読み出される。なお、受光期間の開始時には、リセット用のスイッチＳＷ３を一瞬オン状態に設定することにより、寄生容量９１Ａにおいて発光時に蓄積した電荷を放出させる必要がある。

　図３８は、図３６および図３７に示した表示撮像装置における差分画像指先抽出処理について説明するためのものである。具体的には、上記した有機ＥＬ素子を用いたＩ／Ｏディスプレイパネル６０において、画像などを表示させながら、そのＩ／Ｏディスプレイパネル６０に接触または近接する物体（指ｆ）の検出処理を行う場合の例を示している。ここでは、発光領域が、１画面中における特定の複数の水平ラインにより構成されている。そして、このような発光領域が、１フィールド期間内において例えば図中の矢印で示したスキャン方向に移動することにより、残像効果によって１画面全体で表示されているように見えることになる。

　一方、受光信号の読み出し動作については、発光領域内に位置する読み出しラインと、この発光領域からある程度上下に離れて位置する読み出しラインとによる読み出し動作を、発光領域の移動に連動して順次行うようにする。具体的には、発光領域内の読み出しラインでは、発光領域からの光の反射光を検出できる読み出し動作となるため、図３８に示したように、自発光ＯＮ状態の読み取りデータ（画像Ｂ４：反射光利用画像Ｂに対応）となる。一方、発光領域からある程度上下に離れて位置する読み出しラインでは、発光領域からの発光の影響を受けない読み出し動作となるため、図３８に示したように、自発光ＯＦＦ状態の読み取りデータ（画像Ａ４１，Ａ４２（以下、画像Ａ４とする）：影画像Ａに対応）となる。したがって、本変形例では、これらの差分画像Ｃ４（＝Ｂ４－Ａ４）に基づいて、近接物体（指ｆ）を検出するようにすればよい。このように構成した場合でも、上記実施の形態と同様の効果を得ることが可能である。　

　さらに、上記実施の形態等では、複数の表示素子と複数の撮像素子とを含む表示撮像パネル（Ｉ／Ｏディスプレイパネル２０）を有する表示撮像装置について説明したが、本発明が適用されるのは、これには限られない。具体的には、本発明は、例えば、表示素子を設けずに、複数の撮像素子を含む撮像パネルを有するようにした撮像装置にも適用することが可能である。

Claims (20)

1. 　複数の第１および第２の受光素子と、近接物体を検出するための所定の波長領域の検出光を含む光を発する照射光源とを有する撮像パネルと、
   　前記撮像パネルによって前記近接物体を撮像した信号を画像処理し、その近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理部と
   　を備え、
   　前記第１の受光素子は、その受光波長領域に前記検出光の波長領域を含んでおり、
   　前記第２の受光素子は、前記検出光の波長領域における受光感度が、前記第１の受光素子よりも低くなっており、
   　前記画像処理部は、前記第１および第２の受光素子から得られる信号を処理して前記物体情報を取得する
   　撮像装置。
2. 　前記第２の受光素子は、受光波長に対し前記第１の受光素子と異なる受光感度特性を有する
   　請求項１に記載の撮像装置。
3. 　前記第１の受光素子は、前記検出光の波長領域における受光感度が、この波長領域と異なる所定の波長領域における受光感度より高くなっており、
   　前記第２の受光素子は、前記検出光の波長領域における受光感度が、前記所定の波長領域における受光感度より低くなっている
   　請求項２に記載の撮像装置。
4. 　前記画像処理部は、前記第１の受光素子により得られる撮像画像と、前記第２の受光素子により得られる撮像画像とに基づく合成画像を用いて、前記物体情報を取得する
   　請求項１に記載の撮像装置。
5. 　前記検出光による反射光を利用して前記撮像パネルによって前記近接物体を撮像して得られる反射光利用画像と、前記撮像パネルによって前記近接物体の影を撮像して得られる影画像との差分画像を、前記第１および第２の受光素子のそれぞれに対応して生成する画像生成部を備え、
   　前記画像処理部は、前記第１の受光素子により得られる前記反射光利用画像と前記第１の受光素子により得られる前記影画像との差分画像に対応する第１の差分画像と、前記第２の受光素子により得られる前記反射光利用画像と前記第２の受光素子により得られる前記影画像との差分画像に対応する第２の差分画像とに基づく合成画像を用いて、前記物体情報を取得する
   　請求項４に記載の撮像装置。
6. 　前記画像生成部は、前記第２の差分画像に基づいて所定のマスク画像を生成し、
   　前記画像処理部は、前記第１の差分画像と前記マスク画像との合成画像を用いて、前記物体情報を取得する
   　請求項５に記載の撮像装置。
7. 　前記画像生成部は、前記第２の差分画像に対して２値化処理および画像反転処理を施すことにより、前記マスク画像を生成する
   　請求項５に記載の撮像装置。
8. 　前記画像処理部は、前記第１の差分画像と前記第２の差分画像との差分画像を用いて、前記物体情報を取得する
   　請求項５に記載の撮像装置。
9. 　前記画像生成部は、前記第１の差分画像の生成処理と、前記第２の差分画像の生成処理とを、前記第１および第２の受光素子単位の逐次処理により行う
   　請求項５に記載の撮像装置。
10. 　前記撮像パネルにおいて、前記第１の受光素子と前記第２の受光素子とが、１対１の割合で交互に配置されている
    　請求項９に記載の撮像装置。
11. 　前記第１の差分画像が、複数の第１の差分画素値により構成されると共に、前記第２の差分画像が、複数の第２の差分画素値により構成され、
    　前記画像生成部は、前記逐次処理を行う際に、
    　各第１の受光素子に隣接する第２の受光素子により得られる前記第２の差分画素値が所定の閾値以上の場合には、その第１の受光素子における前記第１の差分画素値を０（ゼロ）とみなして出力し、
    　各第１の受光素子に隣接する第２の受光素子により得られる前記第２の差分画素値が前記閾値未満の場合には、その第１の受光素子における実際の差分演算結果を前記第１の差分画素値として出力する
    　請求項１０に記載の撮像装置。
12. 　前記画像生成部は、前記逐次処理を行う際に、
    　各第２の受光素子に対応する位置における前記第１の差分画素値を、第１の補間差分画素値として補間生成すると共に、
    　各第１の受光素子に対応する位置における前記第２の差分画素値を、第２の補間差分画素値として補間生成し、
    　前記第１および第２の補間差分画素値をも考慮して、前記閾値との比較結果に応じた逐次処理を行う
    　請求項１１に記載の撮像装置。
13. 　前記画像処理部は、前記検出光による反射光を利用して前記複数の第１の受光素子によって前記近接物体を撮像して得られる反射光利用画像と、前記検出光による反射光を利用して前記複数の第２の受光素子によって前記近接物体を撮像して得られる反射光利用画像との差分画像に基づいて、前記物体情報を取得する
    　請求項１に記載の撮像装置。
14. 　前記第２の受光素子において、前記検出光の波長領域における受光感度が０（ゼロ）となっている
    　請求項１に記載の撮像装置。
15. 　前記第１の受光素子の受光波長領域と、前記第２の受光素子の受光波長領域とが、互いに分離している
    　請求項１４に記載の撮像装置。
16. 　前記検出光が赤外光であり、
    　前記第１の受光素子は、前記赤外光の波長領域を受光波長領域として含んでおり、
    　前記第２の受光素子は、可視光の波長領域を受光波長領域として含んでいる
    　請求項１に記載の撮像装置。
17. 　複数の表示素子と、複数の第１および第２の受光素子とを有し、近接物体を検出するための所定の波長領域の検出光を含む光を発する表示撮像パネルと、
    　前記表示撮像パネルによって前記近接物体を撮像した信号を画像処理し、その近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理部と
    　を備え、
    　前記第１の受光素子は、その受光波長領域に前記検出光の波長領域を含んでおり、
    　前記第２の受光素子は、前記検出光の波長領域における受光感度が、前記第１の受光素子よりも低くなっており、
    　前記画像処理部は、前記第１および第２の受光素子から得られる信号を処理して前記物体情報を取得する
    　表示撮像装置。
18. 　前記表示撮像パネルは、前記検出光を含む光を発する照射光源を有する
    　請求項１７に記載の表示撮像装置。
19. 　前記表示素子が、前記検出光を含む光を発する
    　請求項１７に記載の表示撮像装置。
20. 　画像表示機能および撮像機能を有する表示撮像装置を備え、
    　前記表示撮像装置は、
    　複数の表示素子と、複数の第１および第２の受光素子とを有し、近接物体を検出するための所定の波長領域の検出光を含む光を発する表示撮像パネルと、
    　前記表示撮像パネルによって前記近接物体を撮像した信号を画像処理し、その近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を取得する画像処理部と
    　を有し、
    　前記第１の受光素子は、その受光波長領域に前記検出光の波長領域を含んでおり、
    　前記第２の受光素子は、前記検出光の波長領域における受光感度が、前記第１の受光素子よりも低くなっており、
    　前記画像処理部は、前記第１および第２の受光素子から得られる信号を処理して前記物体情報を取得する
    　電子機器。

Images