JP5093523B2 - 撮像装置、表示撮像装置および撮像処理装置 - Google Patents

Description

本発明は、パネルに接触または近接する物体の位置などの情報を取得する撮像装置および表示撮像装置、ならびにそのような撮像装置に適用される撮像処理装置に関する。

従来より、装置表面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、表示面に接触または近接する物体の位置などを検出可能なタッチパネルを備えた表示装置が挙げられる。

このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。

また、本出願人は例えば特許文献１において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。

特開２００４−１２７２７２号公報

上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。

また、より一般的に、撮像機能のみを有する撮像パネルを備えた撮像装置について考えてみても、上記のように物体で反射された表示光の代わりに外光を利用して物体を撮像することにより、物体の位置などを検出することが可能であると考えられる。

ところで、このようにして撮像画像に基づいて物体の位置などを検出する場合、撮像素子間のオフセットばらつきや、出力アンプおよび増幅アンプ等の周辺回路でのオフセットばらつきなどが問題となる。これらのオフセットばらつきに起因して撮像画像にノイズ（オフセットノイズ）が発生すると、物体の位置などの検出精度が低下したり、検出自体が困難になってしまう場合があるからである。

そこで、撮像素子が露光しないように撮像装置を黒い箱等で覆ったときの撮像画像を記憶しておき、その分を通常の撮像画像から減算することによってオフセットノイズを取り除くという方法が考えられるが、撮像装置周囲を暗状態にしたときの撮像画像を取得する操作をユーザに強制することとなるため、撮像装置の使用方法が非常に煩雑となり、現実的ではない。

また、撮像装置の製造段階において、初期のオフセットノイズを予め画像として記憶させておくことも考えられるが、使用環境の変化や経時的な変化により、そのような画像を用いても十分にオフセットノイズを取り除くことができなくなってしまうと予想される。

このように従来の技術では、装置内のオフセットノイズを簡易に抑え、接触または近接する物体の検出精度を向上させるのは困難であった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、接触または近接する物体の検出精度を容易に向上させることが可能な撮像装置、表示撮像装置および撮像処理装置を提供することにある。

本発明の第１の撮像装置は、複数の撮像素子を含む撮像パネルと、撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように撮像素子を制御する撮像制御手段と、近接物体を撮像して得られる撮像画像に基づき、オフセットノイズを考慮して近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段とを備えたものである。また、この画像処理手段は、撮像パネルからの照射光を利用して近接物体を撮像することにより得られる照射光利用画像からオフセットノイズを取り除いて得られるノイズ処理画像と、近接物体の影を撮像して得られる影画像からオフセットノイズを取り除いて得られるノイズ処理画像との差分画像に基づいて、物体情報を取得する。
本発明の第２の撮像装置は、複数の撮像素子を含む撮像パネルと、撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように撮像素子を制御する撮像制御手段と、近接物体を撮像して得られる撮像画像に基づき、オフセットノイズを考慮して近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段とを備えたものである。また、この画像処理手段は、近接物体の影を撮像して得られる影画像と、撮像パネルからの照射光を利用して近接物体を撮像することにより得られる照射光利用画像とに基づき、オフセットノイズを考慮して物体情報を取得する。更に、一の影画像の取得処理と一の照射光利用画像の取得処理とを含んで単位動作周期が構成されると共に各々の画像の取得処理の前に撮像素子が初期化状態となるように設定されている。そして、上記撮像制御手段は、各単位動作周期において、影画像の取得処理および照射光利用画像の取得処理のうちの一方の処理の前の初期化状態のときにのみオフセットノイズの取得処理が行われるように制御する。
本発明の第３の撮像装置は、複数の撮像素子を含む撮像パネルと、撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように撮像素子を制御する撮像制御手段と、近接物体を撮像して得られる撮像画像に基づき、オフセットノイズを考慮して近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段とを備えたものである。また、この画像処理手段は、近接物体の影を撮像して得られる影画像と、撮像パネルからの照射光を利用して近接物体を撮像することにより得られる照射光利用画像とに基づき、オフセットノイズを考慮して物体情報を取得する。更に、一の影画像の取得処理と一の照射光利用画像の取得処理とを含んで単位動作周期が構成されると共に各々の画像の取得処理の前に撮像素子が初期化状態となるように設定されている。そして、上記撮像制御手段は、複数の単位動作周期内の１回の初期化状態のときにのみオフセットノイズの取得処理が行われるように制御する。
ここで、「撮像素子が初期化された状態」とは、撮像素子に蓄積された電荷が放電され、電荷量が初期化（リセット）された状態を意味する。また、「オフセットノイズ」とは、撮像素子間のオフセットばらつきに起因するノイズのみならず、撮像パネル内の撮像素子の周辺回路に起因するノイズをも含めた固有のノイズを意味する。また、「近接物体」とは、文字通り近接する物体だけではなく、接触状態にある物体をも含む意味である。また、「影画像」とは、外光による影を撮像して得られる画像であり、撮像パネルからの照射光（または表示光）を利用しないで得られる画像を意味する。

本発明の第１の表示撮像装置は、複数の撮像素子を含む撮像パネルと、撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように撮像素子を制御する撮像制御手段と、近接物体を撮像して得られる撮像画像に基づき、オフセットノイズを考慮して近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段と、取得した物体情報が表示撮像パネルに表示されるように表示素子を制御する表示制御手段とを備えたものである。また、この画像処理手段は、表示撮像パネルからの照射光を利用して近接物体を撮像することにより得られる照射光利用画像からオフセットノイズを取り除いて得られるノイズ処理画像と、近接物体の影を撮像して得られる影画像からオフセットノイズを取り除いて得られるノイズ処理画像との差分画像に基づいて、物体情報を取得する。
本発明の第２の表示撮像装置は、複数の撮像素子を含む撮像パネルと、撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように撮像素子を制御する撮像制御手段と、近接物体を撮像して得られる撮像画像に基づき、オフセットノイズを考慮して近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段と、取得した物体情報が表示撮像パネルに表示されるように表示素子を制御する表示制御手段とを備えたものである。また、上記画像処理手段は、近接物体の影を撮像して得られる影画像と、表示撮像パネルからの照射光を利用して近接物体を撮像することにより得られる照射光利用画像とに基づき、オフセットノイズを考慮して物体情報を取得する。更に、一の影画像の取得処理と一の照射光利用画像の取得処理とを含んで単位動作周期が構成されると共に各々の画像の取得処理の前に撮像素子が初期化状態となるように設定されている。そして、上記撮像制御手段は、各単位動作周期において、影画像の取得処理および照射光利用画像の取得処理のうちの一方の処理の前の初期化状態のときにのみオフセットノイズの取得処理が行われるように制御する。
本発明の第３の表示撮像装置は、複数の撮像素子を含む撮像パネルと、撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように撮像素子を制御する撮像制御手段と、近接物体を撮像して得られる撮像画像に基づき、オフセットノイズを考慮して近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段と、取得した物体情報が表示撮像パネルに表示されるように表示素子を制御する表示制御手段とを備えたものである。また、上記画像処理手段は、近接物体の影を撮像して得られる影画像と、表示撮像パネルからの照射光を利用して近接物体を撮像することにより得られる照射光利用画像とに基づき、オフセットノイズを考慮して物体情報を取得する。更に、一の影画像の取得処理と一の照射光利用画像の取得処理とを含んで単位動作周期が構成されると共に各々の画像の取得処理の前に撮像素子が初期化状態となるように設定されている。そして、上記撮像制御手段は、複数の単位動作周期内の１回の初期化状態のときにのみオフセットノイズの取得処理が行われるように制御する。

本発明の第１の撮像処理装置は、複数の撮像素子を含む撮像パネルに適用されるものであって、撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように撮像素子を制御する撮像制御手段と、近接物体を撮像して得られる撮像画像に基づき、オフセットノイズを考慮して近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段とを備えたものである。また、この画像処理手段は、撮像パネルからの照射光を利用して近接物体を撮像することにより得られる照射光利用画像からオフセットノイズを取り除いて得られるノイズ処理画像と、近接物体の影を撮像して得られる影画像からオフセットノイズを取り除いて得られるノイズ処理画像との差分画像に基づいて、物体情報を取得する。
本発明の第２の撮像処理装置は、複数の撮像素子を含む撮像パネルに適用されるものであって、撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように撮像素子を制御する撮像制御手段と、近接物体を撮像して得られる撮像画像に基づき、オフセットノイズを考慮して近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段とを備えたものである。また、この画像処理手段は、近接物体の影を撮像して得られる影画像と、撮像パネルからの照射光を利用して近接物体を撮像することにより得られる照射光利用画像とに基づき、オフセットノイズを考慮して物体情報を取得する。更に、一の影画像の取得処理と一の照射光利用画像の取得処理とを含んで単位動作周期が構成されると共に各々の画像の取得処理の前に撮像素子が初期化状態となるように設定されている。そして、上記撮像制御手段は、各単位動作周期において、影画像の取得処理および照射光利用画像の取得処理のうちの一方の処理の前の初期化状態のときにのみオフセットノイズの取得処理が行われるように制御する。
本発明の第３の撮像処理装置は、複数の撮像素子を含む撮像パネルに適用されるものであって、撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように撮像素子を制御する撮像制御手段と、近接物体を撮像して得られる撮像画像に基づき、オフセットノイズを考慮して近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段とを備えたものである。また、この画像処理手段は、近接物体の影を撮像して得られる影画像と、撮像パネルからの照射光を利用して近接物体を撮像することにより得られる照射光利用画像とに基づき、オフセットノイズを考慮して物体情報を取得する。更に、一の影画像の取得処理と一の照射光利用画像の取得処理とを含んで単位動作周期が構成されると共に各々の画像の取得処理の前に撮像素子が初期化状態となるように設定されている。そして、上記撮像制御手段は、複数の単位動作周期内の１回の初期化状態のときにのみオフセットノイズの取得処理が行われるように制御する。

本発明の撮像装置、表示撮像装置および撮像処理装置では、撮像素子が初期化された状態での撮像処理により、オフセットノイズが得られる。そして近接物体を撮像して得られる撮像画像に基づき、このオフセットノイズを考慮して近接物体の物体情報が得られる。
このとき、近接物体の影を撮像して得られる影画像に基づき、上記オフセットノイズを考慮して物体情報が取得されることにより、例えば撮像パネルまたは表示撮像パネルから照射光や表示光が射出されないような場合であっても、物体情報を得ることが可能となると共に、照射光や表示光の輝度などによらず、物体情報が得られる。
また、上記影画像と、撮像パネルまたは表示撮像パネルからの照射光を利用して近接物体を撮像することにより得られる照射光利用画像とに基づき、上記オフセットノイズを考慮して物体情報が取得されることにより、例えば周囲が暗くて外光が得られないような場合であっても、物体情報を得ることができる。よって、そのときの使用状況によらず、物体情報を得ることが可能となる。

本発明の撮像装置、表示撮像装置または撮像処理装置によれば、撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得すると共に、近接物体を撮像して得られる撮像画像に基づきこのオフセットノイズを考慮して近接物体の物体情報を取得するようにしたので、装置内のオフセットノイズを簡易に抑えつつ、近接物体の物体情報を取得することができる。よって、接触または近接する物体の検出精度を容易に向上させることが可能となる。

本発明の第１の実施の形態に係る表示撮像装置の構成を表すブロック図である。 図１に示したＩ／Ｏディスプレイパネルの構成例を表すブロック図である。 各画素の構成例を表す回路図である。 各画素とセンサ読み出し用Ｈドライバとの接続関係を説明するための回路図である。 バックライトのオン・オフ状態と表示状態との関係について説明するためのタイミング図である。 第１の実施の形態に係る指先抽出処理を表す流れ図である。 図６における各抽出処理について説明するためのタイミング図である。 図７に示した影画像指先検出処理の詳細を表す流れ図である。 影画像指先検出処理の概念について説明するための斜視図である。 影画像指先検出処理による撮像画像の一例を表す摸式図である。 影画像指先抽出処理について説明するための写真構成図である。 図１１に続いて影画像指先抽出処理について説明するための写真構成図である。 影画像指先抽出処理による受光信号について説明するための図である。 移動平均画像の生成処理について説明するための図である。 移動平均画像の生成処理について説明するための図である。 移動平均画像の生成処理について説明するための図である。 図７に示した差分画像指先抽出処理の詳細を表す流れ図である。 差分画像指先抽出処理について説明するための写真構成図である。 外光が明るい場合の差分画像指先抽出処理について説明するための図である。 外光が暗い場合の差分画像指先抽出処理について説明するための図である。 差分画像指先抽出処理による受光信号のダイナミックレンジについて説明するための図である。 差分画像指先抽出処理と影画像指先抽出処理とについて比較説明するための図である。 バイアス電圧の一例について説明するための特性図である。 バイアス電圧を加味した場合の効果の一例について説明するための写真構成図である。 バイアス電圧の他の例について説明するための特性図である。 バイアス電圧を加味した場合の効果の他の例について説明するための写真構成図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの他の例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの他の例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの他の例について説明するための図である。 第２の実施の形態に係る指先抽出処理を表す流れ図である。 第３の実施の形態に係る指先抽出処理を表す流れ図である。 図３２に示した画像合成処理について説明するための写真構成図である。 本発明の変形例に係る移動平均画像の生成処理について説明するための図である。 本発明の変形例に係る移動平均画像の生成処理について説明するための図である。 本発明の変形例に係る表示撮像装置の構成を表すブロック図である。 図３６に示した表示撮像装置における各画素の構成例を表す回路図である。

以下、本発明を実施するための最良の形態（以下、単に実施の形態という。）について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る表示撮像装置の全体構成を表すものである。この表示撮像装置は、Ｉ／Ｏディスプレイパネル２０と、バックライト１５と、表示ドライブ回路１２と、受光ドライブ回路１３と、画像処理部１４と、アプリケーションプログラム実行部１１とを備えている。

Ｉ／Ｏディスプレイパネル２０は、複数の画素が全面に渡ってマトリクス状に配置された液晶パネル（ＬＣＤ（Liquid Crystal Display））からなり、線順次動作をしながら表示データに基づく所定の図形や文字などの画像を表示する機能（表示機能）を有すると共に、後述するようにこのＩ／Ｏディスプレイパネル２０に接触または近接する物体を撮像する機能（撮像機能）を有するものである。また、バックライト１５は、例えば複数の発光ダイオードが配置されてなるＩ／Ｏディスプレイパネル２０の光源であり、後述するようにＩ／Ｏディスプレイパネル２０の動作タイミングに同期した所定のタイミングで、高速にオン・オフ動作を行うようになっている。

表示ドライブ回路１２は、Ｉ／Ｏディスプレイパネル２０において表示データに基づく画像が表示されるように（表示動作を行うように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）回路である。

受光ドライブ回路１３は、Ｉ／Ｏディスプレイパネル２０において受光データが得られるように（物体を撮像するように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）回路である。各画素での受光データは、例えばフレーム単位でフレームメモリ１３Ａに蓄積され、撮像画像として画像処理部１４へ出力されるようになっている。また、この受光ドライブ回路１３は、撮像素子（後述する受光センサ３１ｃ等）が初期化された状態（リセット状態）での撮像処理によってオフセットノイズ（初期化画像Ｒ）が得られるように撮像素子を制御するようになっている。なお、このリセット画像Ｒおよびオフセットノイズの取得処理の詳細については、後述する。

画像処理部１４は、受光ドライブ回路１３から出力される撮像画像に基づいて所定の画像処理（演算処理）を行い、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体に関する情報である物体情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出し、取得するものである。なお、この検知する処理の詳細については後述する。

アプリケーションプログラム実行部１１は、画像処理部１４による検知結果に基づいて所定のアプリケーションソフトに応じた処理を実行するものであり、例えば検知した物体の位置座標を表示データに含むようにし、Ｉ／Ｏディスプレイパネル２０上に表示させるものなどが挙げられる。アプリケーションプログラム実行部１１で生成される表示データは、表示ドライブ回路１２へ供給される。なお、このアプリケーションプログラム実行部１１によるアプリケーションプログラムの実行例の詳細については、後述する。

次に、図２を参照してＩ／Ｏディスプレイパネル２０の詳細構成例について説明する。このＩ／Ｏディスプレイパネル２０は、表示エリア（センサエリア）２１と、表示用Ｈドライバ２２と、表示用Ｖドライバ２３と、センサ読み出し用Ｈドライバ２５と、センサ用Ｖドライバ２４とを有している。

表示エリア（センサエリア）２１は、バックライト１５からの光を変調して表示光を出射すると共にこのエリアに接触または近接する物体を撮像する領域であり、発光素子（表示素子）である液晶素子と、後述する受光素子（撮像素子）とが、それぞれマトリクス状に配置されている。なお、これら複数の表示素子および複数の撮像素子はそれぞれ、例えば、シリコン（Ｓｉ）基板や、非シリコン基板などの基板上に形成されている。なお、非シリコン基板としては、例えば、ガラス基板やプラスチック基板などが挙げられる。

表示用Ｈドライバ２２は、表示ドライブ回路１２から供給される表示駆動用の表示信号および制御クロックに基づいて、表示用Ｖドライバ２３と共に表示エリア２１内の各画素の液晶素子を線順次駆動するものである。

センサ読み出し用Ｈドライバ２５は、受光ドライブ回路１３から供給される受光駆動用の信号および制御クロックに基づいて、センサ用Ｖドライバ２４と共に表示エリア２１内の各画素の受光素子を線順次駆動し、受光信号（受光データ）を取得するものである。

次に、図３を参照して、表示エリア２１における各画素の詳細構成例について説明する。この図３に示した画素３１は、表示素子である液晶素子と、受光素子（撮像素子）とから構成されている。

具体的には、表示素子側には、水平方向に延在するゲート電極３１ｈと垂直方向に延在するドレイン電極３１ｉとの交点に薄膜トランジスタ（ＴＦＴ；Thin Film Transistor）などからなるスイッチング素子３１ａが配置され、このスイッチング素子３１ａと対向電極との間に液晶を含む画素電極３１ｂが配置されている。そしてゲート電極３１ｈを介して供給される駆動信号に基づいてスイッチング素子３１ａがオン・オフ動作し、オン状態のときにドレイン電極３１ｉを介して供給される表示信号に基づいて画素電極３１ｂに画素電圧が印加され、表示状態が設定されるようになっている。

一方、表示素子に隣接する受光素子側には、例えばフォトダイオードなどからなる受光センサ３１ｃが配置され、電源電圧ＶＤＤが供給されるようになっている。また、この受光センサ３１ｃにはリセットスイッチ３１ｄおよびコンデンサ３１ｅが接続されており、リセットスイッチ３１ｄがオン状態になって過去の撮像処理の際の受光量に対応するコンデンサ３１ｅでの蓄積電荷がリセット（初期化、放電）された後、その後の撮像処理の際の受光量に対応した電荷が、コンデンサ３１ｅに蓄積されるようになっている。そして蓄積された電荷は、読み出しスイッチ３１ｇがオン状態となるタイミングでバッファアンプ３１ｆを介して信号出力用電極３１ｊに供給され、外部へ出力される。また、リセットスイッチ３１ｄのオン・オフ動作はリセット電極３１ｋにより供給される信号により制御され、読み出しスイッチ３１ｇのオン・オフ動作は、読出し制御電極３１ｍにより供給される信号により制御される。

なお、本実施の形態の表示撮像装置では、リセットスイッチ３１ｄがオンとなって受光センサ３１ｃがリセットされた状態においても、所定の場合には読み出しスイッチ３１ｇがオン状態となるように制御される。このようなリセット状態での撮像画像（前述のリセット画像Ｒ）が取得されることにより、リセット状態での撮像信号、すなわち、受光センサ３１ｃ自身のオフセットばらつきを始め、その周辺回路に対応するバッファアンプ３１ｆなどのオフセットばらつきなどに起因するオフセットノイズが随時得られるようになっている。

次に、図４を参照して、表示エリア２１内の各画素とセンサ読み出し用Ｈドライバ２５との接続関係について説明する。この表示エリア２１では、赤（Ｒ）用の画素３１と、緑（Ｇ）用の画素３２と、青（Ｂ）用の画素３３とが並んで配置されている。

各画素の受光センサ３１ｃ，３２ｃ，３３ｃに接続されたコンデンサに蓄積された電荷は、それぞれのバッファアンプ３１ｆ，３２ｆ，３３ｆで増幅され、読み出しスイッチ３１ｇ，３２ｇ，３３ｇがオンになるタイミングで、信号出力用電極を介してセンサ読み出し用Ｈドライバ２５へ供給される。なお、各信号出力用電極には定電流源４１ａ，４１ｂ，４１ｃがそれぞれ接続され、センサ読み出し用Ｈドライバ２５において感度良く受光量に対応した信号が検出されるようになっている。

ここで、Ｉ／Ｏディスプレイパネル２０およびバックライト１５が本発明における「表示撮像パネル」および「撮像パネル」の一具体例に対応する。また、受光ドライブ回路１３が本発明における「撮像制御手段」の一具体例に対応し、表示ドライブ回路１２が本発明における「表示制御手段」の一具体例に対応し、画像処理部１４が本発明における「画像処理手段」の一具体例に対応する。また、受光ドライブ回路１３および画像処理部１４が本発明における「撮像処理装置」の一具体例に対応する。

次に、本実施の形態の表示撮像装置の動作について詳細に説明する。

まず、この表示撮像装置の基本動作、すなわち画像の表示動作および物体の撮像動作について説明する。

この表示撮像装置では、アプリケーションプログラム実行部１１から供給される表示データに基づいて、表示ドライブ回路１２において表示用の駆動信号が生成され、この駆動信号により、Ｉ／Ｏディスプレイパネル２０に対して線順次表示駆動がなされ、画像が表示される。また、このときバックライト１５も表示ドライブ回路１２によって駆動され、Ｉ／Ｏディスプレイパネル２０と同期した点灯・消灯動作がなされる。

ここで図５を参照して、バックライト１５のオン・オフ状態とＩ／Ｏディスプレイパネル２０の表示状態との関係について説明する。

まず、例えば１／６０秒のフレーム周期で画像表示がなされている場合、各フレーム期間の前半期間（１／１２０秒間）にバックライト１５が消灯し（オフ状態となり）、表示が行われない。一方、各フレーム期間の後半期間には、バックライト１５が点灯し（オン状態となり）、各画素に表示信号が供給され、そのフレーム期間の画像が表示されるようになっている。

このように、各フレーム期間（単位動作周期の期間）の前半期間は、Ｉ／Ｏディスプレイパネル２０から表示光が出射されない無光期間である一方、各フレーム期間の後半期間は、Ｉ／Ｏディスプレイパネル２０から表示光が出射される有光期間となっている。

ここで、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体（例えば、指先など）がある場合、受光ドライブ回路１３による線順次受光駆動により、このＩ／Ｏディスプレイパネル２０における各画素の受光素子においてその物体が撮像され、各受光素子からの受光信号が受光ドライブ回路１３へ供給される。受光ドライブ回路１３では、１フレーム分の画素の受光信号がフレームメモリ１３Ａに一時的に蓄積される。この際、後述するオフセットノイズを取り除くノイズ処理がなされ、このノイズ処理がなされた後の撮像画像（後述するノイズ処理画像）が、画像処理部１４へ出力される。

そして画像処理部１４では、このノイズ処理画像に基づいて、以下説明する所定の画像処理（演算処理）が行われ、これによりＩ／Ｏディスプレイパネル２０に接触または近接する物体に関する情報である物体情報（位置座標データ、物体の形状や大きさに関するデータなど）が検出・取得される。

次に、図６〜図２２を参照して、本発明の特徴的部分の１つである、画像処理部１４による指先等のＩ／Ｏディスプレイパネル２０に接触または近接する物体（近接物体）の抽出処理（指先抽出処理）について詳細に説明する。ここで図６は、この画像処理部１４による指先抽出処理を流れ図で表したものであり、図７は、この指先抽出処理の一部をタイミング図で表したものである。

図７から分かるように、単位動作周期の期間である表示１フレーム期間は、バックライト１５がオフの期間である前半期間（タイミングｔ０〜ｔ２：無光期間）と、バックライト１５がオンの期間である後半期間（タイミングｔ２〜ｔ４：有光期間）とに大きく分けられる。また、これら無光期間および有光期間にはそれぞれ、画像の読み取り（撮像処理の取得）期間の前に、撮像素子がリセット状態となる期間（タイミングｔ０〜ｔ１，ｔ３〜ｔ４）が設定され、それまでの受光信号（撮像信号）がリセット（初期化）されるようになっている。

まず、無光期間のうちのタイミングｔ０〜ｔ１の期間において、Ｉ／Ｏディスプレイパネル２０によりリセット状態での撮像処理がなされ、画像Ｒ（リセット画像）が取得される（図６のステップＳ１０）。これにより、リセット状態での撮像信号、すなわちオフセットノイズが取得される。

次に、無光期間のうちのタイミングｔ１〜ｔ２の期間において、Ｉ／Ｏディスプレイパネル２０により近接物体の影が撮像され、これにより画像Ａ（影画像）が取得される（ステップＳ１１）。そしてその後のタイミングｔ２〜ｔ４の期間（有光期間）において、取得した画像Ａ（影画像）に基づき、後述するオフセットノイズ処理を含む指先抽出処理（影画像指先抽出処理）が、受光ドライブ回路１３および画像処理部１４によってなされる（ステップＳ１２）。

一方、この影画像指先抽出処理と並行して、有光期間のうちのタイミングｔ２〜ｔ３の期間において、まず撮像素子がリセット状態となり、画像Ａの撮像信号がリセットされる。なお、この有光期間のリセット状態においては撮像処理がなされず、リセット画像も取得されないようになっている。これは、この期間においてリセット画像を取得してオフセットノイズを得たとしても、無光期間で得られたオフセットノイズからほとんど変化しておらず、ほぼ同一とみなせるからである。

また、同様に影画像指先抽出処理と平行して、次に有光期間のうちのタイミングｔ３〜ｔ４の期間において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ｂ（照射光（表示光）利用画像）が取得される。そしてこの画像Ｂの取得および後述するオフセットノイズ処理を含む指先抽出処理（後述する差分画像Ｃに基づく差分画像指先抽出処理）が、受光ドライブ回路１３および画像処理部１４によってなされる（ステップＳ１３）。

次に、画像処理部１４は、ステップＳ１２において差分画像指先抽出処理によって指先が抽出できた（指先等の近接物体の位置、形状または大きさなどの物体情報が取得できたかどうかを判断する（ステップＳ１４）。抽出できたと判断した場合（ステップＳ１４：Ｙ）、画像処理部１４は、差分画像指先抽出処理による抽出結果を採用すると決定し（ステップＳ１５）、最終結果をアプリケーションプログラム実行部１１へ出力する（ステップＳ１７）。一方、抽出できなかったと判断した場合（ステップＳ１４：Ｎ）、画像処理部１４は、影画像指先抽出処理による抽出結果を採用すると決定し（ステップＳ１６）、最終結果をアプリケーションプログラム実行部１１へ出力する（ステップＳ１７）。

このようにして、差分画像指先抽出処理を主、影画像指先抽出処理を従として、これら両抽出処理を考慮して、最終的に一方の抽出処理による抽出結果が選択されるようになっている。

次に、影画像指先抽出処理および差分画像指先抽出処理の詳細について説明する。

まず、図８〜図１６を参照して、影画像指先抽出処理の詳細について説明する。ここで図８は、この影画像指先抽出処理の詳細を流れ図で表したものであり、図９は、影画像指先抽出処理の際の状況を斜視図で表したものであり、図１０は、影画像指先検出処理による撮像画像の一例を摸式的に表したものである。また、図１１は、以下説明する影画像指先抽出処理のうちのオフセットノイズ処理の際の画像（後述する画像Ｒ、画像Ａ、画像Ａ’および画像Ａ”）の一例を写真で表したものであり、図１２は、影画像指先抽出処理のうちのオフセットノイズ処理後の画像（後述する画像Ａ”、画像（−Ａ”）、画像（ＭＡ”）、画像（−ＭＡ”）、画像Ｄおよび画像Ｅ）の一例を写真で表したものであり、図１３は、図１２で示した画像例の一部分について、画像位置と受光出力電圧との特性図で表したものである。

最初に、オフセットノイズ処理（図８のステップＳ１２０，Ｓ１２１、図１１）では、受光ドライブ回路１３が、まずすでに取得された画像Ａ（影画像）および画像Ｒ（リセット画像）に基づき、画像Ａと画像Ｒとの差分画像である画像Ａ’＝Ａ−Ｒを生成する（ステップＳ１２０、図１１）。すなわち、影画像Ａからオフセットノイズに対応するリセット画像Ｒを取り除くことにより、ノイズ処理画像Ａ’を生成する。次に、受光ドライブ回路１３は、このノイズ処理画像Ａ’に対して所定のバイアス値（bias）を加えることにより、ノイズ処理画像Ａ”＝Ａ’＋biasを生成する（ステップＳ１２１、図１１）。生成されたこのノイズ処理画像Ａ”は、フレームメモリ１３Ａに一時的に記憶されたのち、撮像画像として画像処理部１４へ出力される。これにより、所定のバイアス値biasを加味したオフセットノイズ処理が完了となる。なお、このバイアス値biasを加味することの意義については、後述する。

次に、オフセットノイズ処理後の本来の影画像指先抽出処理（ステップＳ１２２〜Ｓ１２９、図１２）がなされる。まず、画像処理部１４は、受光ドライブ回路１３から取得したノイズ処理画像Ａ”の反転画像（−Ａ”）を生成する（ステップＳ１２２、図１２）。また、画像処理部１４は、もとの画像Ａ”の移動平均画像（ＭＡ”）を生成する（ステップＳ１２３、図１２）。

この移動平均画像（ＭＡ”）生成は、具体的には例えば図１４（Ａ），（Ｂ）に示したように、ノイズ処理画像Ａ”において、一の注目画素３０Ａおよびその周辺画素からなる画素領域３０（この場合、（２ａ＋１）ピクセル×（２ａ＋１）ピクセルの画素領域）において、画素データの平均化演算処理を行うと共に、例えば図１５に示したように、その演算結果を次の注目画素を含む画素領域での平均化演算処理に反映させつつ注目画素を順次移動させるようにして、平均化演算処理を撮像画像全体について行う。また、この平均化演算処理の際の画素領域５０の大きさ（この場合、（２ａ＋１）ピクセル×（２ａ＋１）ピクセル）は、検出対象の物体として予想される大きさ（ターゲットサイズａ）に基づいて設定する（例えば、ターゲットサイズａと同程度の大きさに設定する）のが望ましい。詳細は後述するが、このような大きさとすることで、例えば図１０に示した画像２０Ａ（後述する画像Ｄまたは画像Ｅに対応）のように、近接物体である指先に加えて拳の部分についても検出（符号６０Ａの部分）されるようなことが回避されるからである。なお、例えば図１６に示したように、平均化演算処理の際に必要となる実際の画素領域５０の外側の領域５１の画素データについては、例えば画素領域５０の外周部分の画素データをそのままコピーして適用するようにすればよい。

次に、画像処理部１４は、移動平均画像（ＭＡ”）から、後に（ステップＳ１２７において）利用する所定の閾値ＴＨを算出する（ステップＳ１２４）。具体的には、移動平均画像（ＭＡ”）における最も明るい（最も画素データの大きい）画素の画素データと、もとの画像Ａ”における最も暗い（最も画素データの小さい）画素の画素データとに基づいて（例えば、これらの画素データの平均を取って）閾値ＴＨを求める。なお、最も明るい（最も画素データの大きい）画素の画素データについては、表示エリア２１の四隅には同時に近接物体が配置されることは通常ないものとして、これら四隅の画素の画素データの平均値を割り当てるようにしてもよい。

次に、画像処理部１４は、生成した移動平均画像（ＭＡ”）の反転画像（−ＭＡ”）を生成し（ステップＳ１２５、図１２）、もとの画像Ａ“の反転画像（−Ａ”）とこの移動平均画像（ＭＡ”）の反転画像（−ＭＡ”）との差分画像、すなわち移動平均画像（ＭＡ”）ともとの（画像Ａ”）との差分画像である差分画像Ｄ＝（−Ａ”）−（−ＭＡ”）＝（ＭＡ”）−Ａ”を生成する（ステップＳ１２６、図１２）。そして画像処理部１４は、画像Ｄの各画素データからステップＳ１２４において算出した閾値ＴＨを減算した画像Ｅ＝Ｄ−ＴＨを生成する（ステップＳ１２５、図１２）。

ここで、図１２に示した画像Ｄ，Ｅおよび図１３に示したこれら画像Ｄ，Ｅにおける受光出力電圧波形例Ｇｄ，Ｇｅのように、ターゲットサイズａと同程度の大きさである指先部分だけが検出される一方、指先よりも大きい拳部分については検出されないようになる。なお、図１３に示した受光出力電圧波形例Ｇａ，Ｇ（−ａ），Ｇｍａ，Ｇ（−ｍａ）はそれぞれ、もとの画像Ａ，その反転画像（−Ａ），移動平均画像ＭＡ，その反転画像（−ＭＡ）における受光出力電圧波形例に対応する。

次に、画像処理部１４は、生成された画像Ｅに基づいて、接触（近接）中心の特定を行う重心計算処理（ステップＳ１２８）および接触（近接）中心の特定処理（ステップＳ１２９）を行う。これにより、物体に関する位置、形状または大きさなどの物体情報が取得され、影画像指先抽出処理が終了となる。

このようにして影画像指先抽出処理では、まず、外光を利用して物体の影を撮像することにより得られた影画像Ａから、撮像素子がリセットされた状態での撮像により得られたリセット画像Ｒを差し引くことにより、影画像からオフセットノイズが取り除かれ、ノイズ処理画像Ａ’，Ａ”が生成される。

また、このようにしてオフセットノイズ処理がなされることで生成されたノイズ処理画像Ａ”の移動平均画像ＭＡ”と、もとのノイズ処理画像Ａ”との差分画像Ｄに基づいて指先の抽出処理がなされるため、オフセットノイズを考慮した指先抽出処理がなさると共に、前述のようにターゲットサイズと同程度の大きさの物体のみが検出され、これにより表示光が出射されていないような場合（例えば、表示素子である液晶素子が半透過型の液晶素子である場合において屋外で利用する場合のように、バックライト１５が常時オフ状態になる場合や、黒画像がＩ／Ｏディスプレイパネル２０に表示されている場合など）にも、近接物体の物体情報が検出・取得される。

なお、この影画像指先抽出処理では、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上に同時に配置された複数の接触または近接する物体について、それぞれの物体に関する位置、形状または大きさなどの物体情報が取得できるようになっている。

次に、図１７〜図２１を参照して、差分画像指先抽出処理の詳細について説明する。ここで図１７は、この差分画像指先抽出処理の詳細を流れ図で表したものであり、図１８は、差分画像指先抽出処理の際の画像（画像Ｒ、画像Ｂ、後述する画像Ｂ”、画像Ａ”、画像Ｂ”および画像Ｃ）の一例を写真で表したものである。

まず、前述のように、バックライトがオンの期間である有光期間のうちのタイミングｔ３〜ｔ４の期間において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ｂ（照射光（表示光）利用画像）が取得される（図１７のステップＳ１３０、図１８）。

次に、オフセットノイズ処理（図１７のステップＳ１３１，Ｓ１３２、図１８）では、受光ドライブ回路１３が、すでに取得された画像Ｂ（表示光利用画像）および画像Ｒ（リセット画像）に基づき、画像Ｂと画像Ｒとの差分画像である画像Ｂ’＝Ｂ−Ｒを生成する（ステップＳ１３１、図１８）。すなわち、表示光利用画像Ｂからオフセットノイズに対応するリセット画像Ｒを取り除くことにより、ノイズ処理画像Ｂ’を生成する。次に、受光ドライブ回路１３は、このノイズ処理画像Ｂ’に対して所定のバイアス値（bias）を加えることにより、ノイズ処理画像Ｂ”＝Ｂ’＋biasを生成する（ステップＳ１３２、図１８）。生成されたこのノイズ処理画像Ｂ”は、フレームメモリ１３Ａに一時的に記憶されたのち、撮像画像として画像処理部１４へ出力される。これにより、所定のバイアス値biasを加味したオフセットノイズ処理が完了となる。なお、このバイアス値biasを加味することの意義については、後述する。

次に、オフセットノイズ処理後の本来の差分画像指先抽出処理（ステップＳ１３３〜Ｓ１３５、図１８）がなされる。まず、画像処理部１４は、生成されたノイズ処理画像Ｂ”と、影画像指先抽出処理のステップＳ１２１においてすでに生成されたノイズ処理画像Ａ”との差分画像Ｃ＝Ｂ”−Ａ”を生成する（ステップＳ１３３、図１８）。

そして画像処理部１４は、生成された差分画像Ｃの重心を判定する演算処理を行い（ステップＳ１３４）、接触（近接）中心の特定を行う（ステップＳ１３５）。

このようにして差分画像指先抽出処理では、表示光を利用した画像Ｂからオフセットノイズを取り除いて得られるノイズ処理画像Ｂ”と、表示光を利用しないで外光を利用した画像Ａからオフセットノイズを取り除いて得られるノイズ処理画像Ａ”との差分画像Ｃに基づいて、指先の抽出処理がなされる。したがって、差分画像Ｃにおいても、オフセットノイズが取り除かれていることになる。また、このような差分画像Ｃに基づく指先抽出処理により、図１８に示した差分画像Ｃの写真画像例のように、外光の明るさの影響が除去され、この外光の明るさに影響されずに近接物体の検出がなされる。

具体的には、例えば図１９（Ａ）に断面図で示したように、入射する外光が強い場合には、バックライト１５を点灯させた状態での受光出力電圧Ｖon１は、図１９（Ｂ）に示したように、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに低下する。これに対して、バックライト１５を消灯させた状態での受光出力電圧Ｖoff１は、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなる点は同じであるが、指で触れた個所では、外光が遮断された状態であり、非常にレベルの低い電圧値Ｖｃとなる。

また、図２０（Ａ）に断面図で示したように、入射する外光が弱い（ほとんどない）状態では、バックライト１５を点灯させた状態での受光出力電圧Ｖon２は、図２０（Ｂ）に示したように、指で触れた個所以外では、外光がないために非常にレベルの低い電圧値Ｖｃとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに上昇する。これに対して、バックライト１５を消灯させた状態での受光出力電圧Ｖoff２は、指で触れた個所とそれ以外の個所のいずれでも、非常にレベルの低い電圧値Ｖｃのままで変化がない。

このように、図１９および図２０を比較すると分かるように、パネルの表示エリア２１に接触していない個所では、外光がある場合とない場合とで、受光出力電圧が大きく異なっている。ところが、指が接触している個所では、外光の有無に関係なく、バックライトの点灯時の電圧Ｖｂと、バックライトの消灯時の電圧Ｖｃとが、ほぼ同じような状態となっている。よって、バックライト１５の点灯時の電圧と消灯時の電圧との差を検出して、電圧Ｖｂと電圧Ｖｃとの差のように、一定以上の差がある個所が、接触した個所又は近接した個所であると判断することができ、パネルに入射する外光が強い場合でも、外光が殆どない場合でも、均一な条件で良好に接触または近接が検出される。

また、図２１（Ａ），（Ｂ）に示したように、受光出力電圧の検出に必要なダイナミックレンジについては、以下のように決定される。ここで、図２１（Ａ）は、パネルの表示エリア２１の接触状態を示したもので、指ｆでパネル表面を触れているとともに、反射率がほぼ１００％の円形の物体ｍを、表示エリア２１に載せた状態としてある。この状態で、指ｆと物体ｍの双方を走査するラインでの受光出力電圧は、図２１（Ｂ）に示す状態となる。また、図２１（Ｂ）において、電圧Ｖon３はバックライトを点灯させた状態での受光出力電圧であり、電圧Ｖoff３はバックライトを消灯させた状態での受光出力電圧であ
る。

図２１（Ｂ）に示すように、反射率がほぼ１００％の物体ｍがある個所で、バックライト点灯時に検出される電圧Ｖｄよりも高い電圧は観測不要なレベルＶｙであり、そのレベル以下の範囲Ｖｘが、検出に必要なダイナミックレンジである。よって、観測不要なレベルＶｙの信号については、オーバーフローさせてしまって、同一の強度とみなすようにすればよいことが判る。

なお、この差分画像指先抽出処理においても、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上に同時に配置された複数の接触または近接する物体について、影画像指先抽出処理の場合と同様に、それぞれの物体に関する位置、形状または大きさなどの情報が取得できるようになっている。

このようにして本実施の形態の表示撮像装置では、以上説明した影画像指先抽出処理および差分画像指先抽出処理を考慮して、これらのうちの一方による近接物体の検出結果が最終結果として画像処理部１４からアプリケーションプログラム実行部１１へ出力される。

図２２は、これら影画像指先抽出処理および差分画像指先抽出処理による指先抽出処理の特徴を比較して表したものである。この図において、「○」はその条件下での指先抽出が得意であることを、「△」はその条件下での指先抽出処理が状況によって得意・不得意が変動することを、「×」はその状況下では原則として指先抽出処理が不得意であることを、それぞれ表している。この図から判るように、周囲が明るい環境のときには影画像指先抽出処理のほうが指先抽出処理が得意であることから影画像指先抽出処理による抽出結果が採用されると考えられる一方、バックライト１５が消灯していて表示光が出射されていない場合や黒表示状態のときには、差分画像指先抽出処理では抽出ができない場合が生じ、その場合には影画像指先抽出処理による抽出結果が採用されると考えられる。

また、本実施の形態の表示撮像装置では、外光または表示光を利用して近接物体を撮像することにより得られた影画像Ａおよび表示光利用画像Ｂから、撮像素子がリセットされた状態での撮像により得られたリセット画像Ｒを差し引くことにより、影画像Ａおよび表示光利用画像Ｂからそれぞれオフセットノイズが取り除かれ、ノイズ処理画像Ａ’，Ｂ’が生成される。そしてこれらノイズ処理画像Ａ’，Ｂ’に基づき、オフセットノイズを考慮しつつ近接物体の物体情報が得られる。

また、本実施の形態の表示撮像装置ではさらに、上記ノイズ処理画像Ａ’，Ｂ’に対して所定のバイアス値（bias）が加味されたノイズ処理画像Ａ”，Ｂ”に基づき、近接物体の物体情報が得られるようになっている。したがって、以下説明するように、ノイズ処理画像をフレームメモリ１３Ａに記録する際に、ある画素の撮像データが丸め込まれて０となってしまう（ある画素の撮像データが欠落してしまう）のが回避可能となっている。

具体的には、影画像Ａや表示光利用画像Ｂからリセット画像Ｒを差し引いた場合に、通常は正の値になると考えられるが、画素によっては負の値となってしまうことがある。この原因は、主に露光時間中に発生する撮像素子（受光センサ３１ｃ）の暗電流ばらつきによるものと考えられる。一方、フレームメモリ１３Ａは、正の値のみを格納することが多く、負の値が発生した場合、０に丸めを行うことになる。このとき、最終的に取り出したい信号のレベルが微小で、ドリフトなどの影響で０に丸められてしまった場合、処理結果に影響が出てしまうことになる。特に影響が大きいのが差分画像Ｃの信号を取り出す処理の場合であり、本来、ノイズ処理画像Ｂ’（＝Ｂ−Ｒ）とノイズ処理画像Ｂ’（＝Ｂ−Ｒ）との差分画像Ｃは、Ｃ＝Ｂ’−Ａ’＝Ｂ−Ａであることから、ノイズ処理前の画像Ｂ，Ａの差分画像（＝Ｂ−Ａ）と等しくなるはずである。しかしながら、ノイズ処理画像Ｂ’，Ａ’において上記のような丸め込みの処理が発生した場合、画素によっては信号の有無に関わらず０となってしまうことがある。

ここで図２３〜図２６を参照して、ノイズ処理画像Ａ’，Ｂ’に対して所定のバイアス値（bias）を加味することの意義について詳細に説明する。

ある画素に注目し、リセット画像Ｒにおける画素の信号出力電圧をＮｒ、影画像Ａおよび表示光利用画像Ｂの露光中に画素に発生するノイズをそれぞれＮａ，Ｎｂ、影画像Ａおよび表示光利用画像Ｂにおける画素の信号出力電圧をそれぞれＳａ，Ｓｂ、およびバックライト１５がオンのときに近接物体からの反射により得られる信号成分をＳとすると、信号出力電圧Ｓａ，Ｓｂは、それぞれ以下の（１）式および（２）式で表される（図２３（Ａ），図２５（Ａ））。なお、信号成分Ｓは、極めて微小な信号とする。
Ｓａ＝Ｎｒ＋Ｎａ＋０ …（１）
Ｓｂ＝Ｎｒ＋Ｎｂ＋Ｓ …（２）

通常、信号出力電圧Ｎｒのばらつきが非常に大きく、信号出力電圧Ｎａ，Ｎｂのばらつきは、信号出力電圧Ｎｒに比べて非常に小さい。そのため、（１）式中の（Ｎｒ＋Ｎａ）および（２）式中の（Ｎｒ＋Ｎｂ）はそれぞれ、常に正の値となるよう設計されている。ここで、表示光利用画像Ｂと影画像Ａとの差分画像（＝Ｂ−Ａ）について考えると、ある画素での信号出力電圧値は、以下の（３）式のようになり、ノイズとしては（Ｎｂ−Ｎa）が残ることになる。ただし、表示光利用画像Ｂおよび影画像Ａの取得の際の露光時間がほぼ同一となるように設定されている場合には、それぞれの場合に発生する暗電流もほぼ同一となるため、ノイズ成分である（Ｎｂ−Ｎａ）はほぼ０となり、最終的に微小な信号成分Ｓを取り出すことが可能である。
Ｓｂ−Ｓａ＝Ｓ＋（Ｎｂ−Ｎａ） …（３）

一方、本実施の形態の表示撮像装置では、信号出力電圧Ｓａ，Ｓｂからそれぞれノイズ成分Ｎｒを差し引いてノイズ処理画像Ａ’，Ｂ’としたのち、それぞれの差分画像Ｃ（＝Ｂ”−Ａ”）を求めるようにしている。ここで、ノイズ処理画像Ａ’，Ｂ’における画素での信号出力電圧は、それぞれ以下の（４）式および（５）式のように表される（図２３（Ｂ），図２５（Ｂ））。ノイズ成分Ｎａ，Ｎｂはそれぞれ微小であるが、画素によって正の値または負の値を示すため、丸め込みの処理後の値は、（４）式においては０からＮａまでの範囲内の値（１／２程度の確率で０）となり、（５）式においては、信号成分Ｓの振幅がノイズ成分Ｎｂの振幅と同等だとすると、０から（Ｓ＋Ｎｂ）までの範囲の値となる。したがって、ノイズ処理画像Ａ’，Ｂ’において、画素位置によっては信号出力電圧が０となってしまい、図２４中の画像Ａ’１および図２６中の画像Ｂ’１にそれぞれ示したように、画素位置によっては信号が欠落してしまうことになる。また、ノイズ処理画像Ａ’，Ｂ’の差分画像における画素での信号出力電圧（（Ｓａ−Ｎｒ）−（Ｓｂ−Ｎｒ））の値は、０から（Ｓ＋（Ｎｂ−Ｎａ））≒Ｓまでの範囲に分布することとなるため、画素によって０からＳまでの範囲の値をとることになり、ばらつきが生じることとなる。このようなばらつきが生じると、影画像指先抽出処理や差分画像指先抽出処理において、物体情報の検出精度が低下してしまうことになる。
Ｓａ−Ｎｒ＝Ｎａ …（４）
Ｓｂ−Ｎｒ＝Ｎｂ＋Ｓ …（５）

そこで本実施の形態の表示撮像装置では、以上の問題を回避するため、以下の（６）式および（７）式にそれぞれ示したように、ノイズ処理画像Ａ’，Ｂ’に対して丸め込み処理による信号の欠落を防止するのに十分な値のバイアス値（bias）を加算したノイズ処理画像Ａ“，Ｂ”を用いるのが好ましい。なお、このような一定のバイアス値（bias）は、図２３（Ｂ）および図２５（Ｂ）における各画素位置の信号が常に正となるような値、すなわち、表示撮像装置の周囲が暗状態のときの撮像処理により得られた暗状態画像からオフセットノイズを取り除いて得られる画像に基づいて設定するようにすればよい。
ノイズ処理画像Ａ”＝Ａ’＋bias＝Ａ−Ｒ＋bias …（６）
ノイズ処理画像Ｂ”＝Ｂ’＋bias＝Ｂ−Ｒ＋bias …（７）

また、ノイズ処理画像Ａ“，Ｂ”における画素での信号出力電圧は、それぞれ以下の（８）式および（９）式のようになり、いずれも正の値を示す（丸め込みの処理が生じない）ようになる（図２４中の画像Ａ”１および図２６中の画像Ｂ”１）。よって、差分画像Ｃ（＝Ｂ”−Ａ”）における画素での信号出力電圧は、以下の（１０）式のようになり、（３）式で示した表示光利用画像Ｂと影画像Ａとの差分画像（＝Ｂ−Ａ）におけるものと同一となる。よって、この差分画像Ｃに基づく差分画像指先抽出処理において、丸め込み処理による物体情報の検出精度の低下が回避されると共に、（３）式と（１０）式とを比べると分かるように、バイアス値（bias）を加えたことによる影響を受けず同一の結果が得られる。
Ｓａ−Ｎｒ＋bias＝Ｎａ ＋bias＞０ …（８）
Ｓｂ−Ｎｒ＋bias＝Ｎｂ＋Ｓ＋bias＞０ …（９）
（Ｎｂ＋Ｓ＋bias）−（Ｎａ＋bias）＝Ｓ＋（Ｎｂ−Ｎａ） …（１０）

一方、影画像指先抽出処理については、前述のように、ノイズ処理画像Ａ”、その移動平均画像（ＭＡ”）および所定の閾値ＴＨに基づく画像Ｅ（＝（ＭＡ”）−Ａ”−ＴＨ）によって物体情報の検出がなされる。ここで、移動平均画像（ＭＡ”）におけるバイアス値（bias）の影響を考えると、撮像画像全体に均等に加算されるバイアス値（bias）は、移動平均画像（ＭＡ”）においても均等にバイアス値（bias）分だけ加算されることになるため、画像Ｅにおいて、バイアス値（bias）を加えたことによる影響はなくなる。また、もちろんこの影画像指先抽出処理においても、丸め込みの処理が生じないノイズ処理画像Ａ”に基づいて物体情報の検出がなされるため、丸め込み処理による物体情報の検出精度の低下が回避される。

次に、図２７〜図３０を参照して、これまで説明した指先抽出処理によって検出された物体の位置情報等を利用した、アプリケーションプログラム実行部１１によるアプリケーションプログラムの実行例について、いくつか説明する。

まず、図２７（Ａ）に示した例は、Ｉ／Ｏディスプレイパネル２０の表面を指先６１で触れて、その触れた個所の軌跡を描画ライン６１１として画面に表示させるようにした例である。

また、図２７（Ｂ）に示した例は、手の形を用いたジェスチャ認識のものである。具体的には、Ｉ／Ｏディスプレイパネル２０に触れた（または近接した）手６２の形状を認識して、その認識した手の形を画像として表示させ、その表示オブジェクトの移動６２１で、何らかの処理を行うようにしたものである。

また、図２８に示した例は、閉じた状態の手６３Ａから、開いた状態の手６３Ｂに変化させて、それぞれの状態の手の接触または近接をＩ／Ｏディスプレイパネル２０で画像認識させて、その画像認識に基づいた処理を実行させるようにしたものである。これらの認識に基づいて処理を行うことで、例えばズームインなどの指示を行うことができる。また、このような指示ができることで、例えばＩ／Ｏディスプレイパネル２０をパーソナルコンピュータ装置に接続して、そのコンピュータ装置上でコマンドを切り替えている操作などを、これらの画像認識で、より自然な形で入力することができる。

また、例えば図２９に示したように、Ｉ／Ｏディスプレイパネル２０を複数台用意して、その複数台のＩ／Ｏディスプレイパネル２０を何らかの伝送手段で接続することで、接触または近接を検出した画像を、相手のＩ／Ｏディスプレイパネル２０に伝送して表示させて、両ディスプレイパネルを操作するユーザ間でコミュニケーションをとるようにしてもよい。すなわち、図２９に示したように、２つのＩ／Ｏディスプレイパネル２０を用意して、一方のパネルで画像認識した手６５の手形を相手に送信して、他方のパネルに手形６４２を表示させたり、他方のパネルを手６４で触れて表示された軌跡６４１を、相手のパネルに送って表示させる等の処理が可能になる。このようにして、描画している状態が動画で伝達され、手書きの文字や図形などを相手に送ることで、新しいコミュニケーションツールの可能性がある。このような例としては、例えば、Ｉ／Ｏディスプレイパネル２０を携帯電話端末の表示パネルに適用すること等が想定される。

また、例えば図３０に示したように、筆６６を使用してＩ／Ｏディスプレイパネル２０の表面で文字を書くように触れさせて、その筆６６が触れた個所をＩ／Ｏディスプレイパネル２０に画像６６１として表示させることで、毛筆による手書きの入力が可能になる。この場合には、毛筆の細かいタッチまで認識して実現することが可能である。従来の手書き認識の場合には、例えば一部のデジタイザにおいて、特殊なペンの傾きを電界検出で実現していたが、本例では、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行える。

以上のように本実施の形態では、撮像素子が初期化された状態（リセット状態）での撮像処理によりオフセットノイズ（リセット画像Ｒ）を取得すると共に、近接物体を撮像して得られる撮像画像（影画像Ａや表示光利用画像Ｂ）に基づきこのオフセットノイズを考慮して近接物体の物体情報を取得するようにしたので、装置内のオフセットノイズを簡易に抑えつつ、近接物体の物体情報を取得することができる。よって、接触または近接する物体の検出精度を容易に向上させることが可能となる。

また、表示光を利用した近接物体の撮像により得られる画像Ｂ（表示光利用画像）と、近接物体の影の撮像により得られる画像Ａ（影画像）との差分画像Ｃを生成すると共に、これら画像Ａ（影画像）および差分画像Ｃを考慮して近接物体の物体情報を検出するようにしたので、例えば周囲の状況や表示光の輝度などのそのときの使用状況によらず、物体の検出を行うことが可能となる。

また、従来より表示１フレーム期間内に存在していたリセット状態の期間を利用してリセット画像（オフセットノイズ）を取得しているので、従来のものから制御タイミングの変更などを行う必要がない。よって、電子の易動度がＳｉ基板と比べて小さい非Ｓｉ基板を用いた本実施の形態の場合であっても、画像Ａ，Ｂ，Ｒの読み取り期間および指先抽出期間を十分に確保することが可能となる。

また、ノイズ処理画像Ａ’，Ｂ’に対して所定のバイアス値（bias）を加算したノイズ処理画像Ａ“，Ｂ”を用いて指先抽出処理を行うようにしたので、丸め込み処理による信号の欠落を回避することができ、物体情報の検出精度をより向上させることが可能となる。

また、ノイズ処理画像Ａ”に基づいて移動平均画像ＭＡ”を生成し、この移動平均画像ＭＡ”ともとの画像Ａ”との差分画像Ｄ、そしてこの差分画像Ｄの各画素データから閾値ＴＨを減算した画像Ｅを利用して検出すると共に、平均化演算処理の際の画素領域５０の大きさを、検出対象の物体として予想される大きさ（ターゲットサイズ）と同程度としたので、例えばターゲットサイズと同程度の大きさである指先部分だけを検出するようにし、指先よりも大きい拳部分については検出されないようにすることができ、より確実な検出処理を行うことが可能となる。

また、一の動作周期（１表示フレーム期間）内において、画像Ａ”（影画像）の取得を画像Ｂ”（表示光利用画像）の取得よりも先に行うようにしたので、例えば図７に示したように、差分画像指先抽出処理を行うまでに演算処理に時間を要する移動平均画像（ＭＡ”）の演算を行う時間を確保することができ、逆に画像Ｂの取得を画像Ａの取得よりも先に行うように構成した場合と比べ、全体として短時間で処理を行うことが可能となる。

さらに、単位動作周期の期間である表示１フレーム期間において、バックライト１５がオフの期間である無光期間およびバックライト１５がオンの期間である有光期間にそれぞれ存在するリセット状態のうち、一方のリセット状態（具体的には、本実施の形態では無光期間内のリセット状態）のときにのみリセット画像Ｒ（オフセットノイズ）の取得処理を行うようにしたので、両方のリセット状態において取得処理を行うようにした場合と比べ、装置の消費電力を抑えることが可能となる。

なお、本実施の形態では、差分画像指先抽出処理を主とすると共に影画像指先抽出処理を従とするように構成したが、場合によっては、逆に差分画像指先抽出処理を従とすると共に影画像指先抽出処理を主として構成してもよい。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。本実施の形態の表示撮像装置は、所定の指標に基づいて差分画像指先抽出処理および影画像指先抽出処理のうちの一方を選択し、その選択した画像に基づいて指先抽出処理を行うようにしたものである。なお、その他の構成および動作については第１の実施の形態と同様であるので、適宜説明を省略する。

図３１は、本実施の形態の指先抽出処理を流れ図で表したものである。この図からわかるように、第１の実施の形態と同様にして画像Ｒ（リセット画像）および画像Ａ（影画像）がそれぞれ取得されると（ステップＳ２０，Ｓ２１）、図２２に示した比較表からも判るように、画像処理部１４によって、その状況によって指先抽出処理が確実に行われるようなほうの処理が選択的に行われるようになっている（ステップＳ２２〜Ｓ２６）。

具体的には、バックライトが常時オフ状態のとき、黒画像が表示されているとき、および周囲が暗くない環境の場合には、影画像指先抽出処理（ステップＳ２６）が選択的に実行されて、最終結果が出力される（ステップＳ２７）。なお、周囲が暗いかどうかは、影画像Ａ（またはノイズ処理画像Ａ’やノイズ処理画像Ａ”）での画素データの大小によって判断され、画素データが非常に小さい場合には、周囲が非常に暗い環境であると判断されるようになっている。

一方、逆に、バックライトが常時オフ状態ではないとき、黒画像が表示されていないとき、および周囲が非常に暗い環境の場合には、差分画像指先抽出処理（ステップＳ２５）が選択的に実行されて、最終結果が出力される（ステップＳ２７）。

以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、装置内のオフセットノイズを簡易に抑えつつ近接物体の物体情報を取得することができ、接触または近接する物体の検出精度を容易に向上させることが可能となる。

また、所定の指標に基づいて差分画像指先抽出処理および影画像指先抽出処理のうちの一方を選択し、その選択した画像に基づいて指先抽出処理を行うようにしたので、それぞれの指先抽出処理のうちの適したほうを適用することができる。よって、第１の実施の形態と比べてより様々な使用状況に対応することができ、より確実に抽出処理を行うことが可能となる。

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。本実施の形態の表示撮像装置は、どのような場合でも差分画像指先抽出処理および影画像指先抽出処理の両方を行い、画像Ａ（影画像）および差分画像Ｃの合成画像を利用して、指先抽出処理を行うようにしたものである。なお、その他の構成および動作については第１の実施の形態と同様であるので、適宜説明を省略する。

図３２は、本実施の形態の指先抽出処理を流れ図で表したものである。この図からわかるように、第１および第２の実施の形態と同様にして画像Ｒ（リセット画像）および画像Ａ（影画像）がそれぞれ取得されると（ステップＳ３０，Ｓ３１）、重心計算および接触（近接）中心の特定処理を除いて、差分画像指先抽出処理および影画像指先抽出処理がそれぞれ実行される（ステップＳ３２，Ｓ３３）。

次に、例えば図３３に示したように、差分画像指先抽出処理で生成される差分画像Ｃと、影画像指先抽出処理で生成される画像Ｅとの合成画像Ｆ＝α×Ｃ＋Ｅが生成される。（ステップＳ３４）なお、αは、所定の重み付け係数を表している。

そして、その後は第１の実施の形態と同様に、重心計算処理（ステップＳ３５）、接触（近接）中心の特定処理（ステップＳ３６）および最終結果の出力処理（ステップＳ３７）がなされる。

以上のように本実施の形態においても、第１および第２の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、装置内のオフセットノイズを簡易に抑えつつ近接物体の物体情報を取得することができ、接触または近接する物体の検出精度を容易に向上させることが可能となる。

また、どのような場合でも差分画像指先抽出処理および影画像指先抽出処理の両方を行い、差分画像指先抽出処理で生成される差分画像Ｃと、影画像指先抽出処理で生成される画像Ｅとの合成画像Ｆ＝α×Ｃ＋Ｅを生成し、この合成画像Ｆに基づいて指先抽出処理を行うようにしたので、例えば図３３に示したように、より鮮明に指先などの画像を検出することができる。よって、第１の実施の形態と比べ、より確実に抽出処理を行うことが可能となる。

以上、第１〜第３の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態では、フレームメモリ１３Ａが正の値のみを格納するものである場合について説明したが、仮にフレームメモリが負の値も格納することができるのであって丸め込み処理が発生しないような場合には、ノイズ処理画像Ａ’，Ｂ’に対して必ずしもバイアス値（bias）を加算しなくともよい。このように構成した場合には、オフセットノイズ処理をより簡易なものとすることができ、より容易に物体情報の検出処理を行うことが可能となる。

また、上記実施の形態では、画像Ｅ（＝Ｄ−ＴＨ）を生成する際に用いる閾値ＴＨが一定値である場合について説明したが、例えばこの閾値ＴＨがＴＨ＝ｆ（ＭＡ”）という移動平均画像（ＭＡ”）の関数で表されるような場合には、移動平均画像（ＭＡ）の関数とした場合と比べてバイアス値（bias）の分が加算されているため、この影響を取り除いてやる（ＴＨ＝ｆ（ＭＡ”−bias）を用いる）ようにすればよい。このように構成すれば、上記実施の形態と同様に、バイアス値（bias）を加えたことによる影響を受けないようにすることができる。

また、上記実施の形態では、各単位動作周期の期間（表示１フレーム期間）においてリセット画像Ｒ（オフセットノイズ）の取得処理を行うようにした場合について説明したが、オフセットノイズが経時的に変化してしまわない程度に、複数の単位動作周期の期間内の１回のリセット状態のときにのみ、オフセットノイズの取得処理を行うようにしてもよい。このように構成した場合、上記実施の形態と比べ、装置の消費電力をより抑えることが可能となる。

また、本発明の移動平均画像の生成処理では、平均化画像処理を行い際に、対象とする画素を間引いて演算を行うようにし、処理を軽減するようにしてもよい。例えば図３４（Ａ），（Ｂ）に示したように、最初に注目画素を一の画素方向に沿って順次移動させつつ、この一の画素方向上の画素に対してのみ平均化演算処理を行い、その後、注目画素を他の一の画素方向に沿って順次移動させつつ、この他の一の画素方向上の画素に対してのみ平均化演算処理を行うようにしてもよい。また、例えば図３５（Ａ），（Ｂ）に示したような演算回路７０〜７３を用いて、所定の方向へのドット加算処理を行うようにしてもよい。

また、上記実施の形態では、原画像Ａから移動平均画像ＭＡを生成すると共に、この移動平均演算処理の際の画素領域５０の大きさを検出対象の物体として予想される大きさ（ターゲットサイズａ）を基に設定することにより、移動平均画像ＭＡにおいて、画素領域５０よりも大きい、すなわち画素領域５０よりも空間周波数の高いもの（この場合、指先画像）を除去し、この移動平均画像ＭＡと原画像Ａとの差分を取ることにより、最終的に画素領域５０よりも空間周波数の低いもの（この場合、影画像）を除去し、空間周波数の高いもの（この場合、指先画像）だけを抽出するようにしている。つまり、上記実施の形態では、このような高域通過フィルタの一例かつ最も簡便かつ高速処理の可能な方法として、移動平均画像ＭＡと原画像Ａとの差分を取る方法について説明している。よって、上記実施の形態で説明した方法には限定されず、他の高域通過フィルタを用いて、一度に低域通過フィルタ処理と差分処理の両方の処理を行うようにしてもよい。

また、上記実施の形態では、Ｉ／Ｏディスプレイパネル２０において、表示素子が液晶素子であると共に受光素子を別個に設ける場合で説明したが、例えば図３６および図３７に示した表示撮像装置のように、例えば、有機ＥＬ（ElectroLuminescence）素子のように、発光動作と受光動作とを時分割に行うことが可能な発光受光素子（表示撮像素子）によって、Ｉ／Ｏディスプレイパネル（Ｉ／Ｏディスプレイパネル８０）を構成するようにしてもよい。このように構成した場合でも、上記実施の形態と同様の効果を得ることが可能である。なお、この場合の表示光が出射されない期間とは、表示撮像素子による発光動作がなされていない期間となる。

さらに、上記実施の形態では、複数の表示素子と複数の撮像素子とを含む表示撮像パネル（Ｉ／Ｏディスプレイパネル２０）を有する表示撮像装置について説明したが、本発明は、表示素子を設けずに、複数の撮像素子を含む撮像パネルを有するようにした撮像装置にも適用することが可能である。したがって、差分画像指先抽出処理の際に用いる画像Ｂは、より一般的には表示光利用画像には限られず、撮像パネルからの照明光を利用した照明光利用画像とすることができる。

Claims (20)

1. 複数の撮像素子を含む撮像パネルと、
   前記撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように前記撮像素子を制御する撮像制御手段と、
   近接物体を撮像して得られる撮像画像に基づき、前記オフセットノイズを考慮して前記近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段と
   を備え、
   前記画像処理手段は、前記撮像パネルからの照射光を利用して前記近接物体を撮像することにより得られる照射光利用画像から前記オフセットノイズを取り除いて得られるノイズ処理画像と、前記近接物体の影を撮像して得られる影画像から前記オフセットノイズを取り除いて得られるノイズ処理画像との差分画像に基づいて、前記物体情報を取得する
   撮像装置。
2. 複数の撮像素子を含む撮像パネルと、
   前記撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように前記撮像素子を制御する撮像制御手段と、
   近接物体を撮像して得られる撮像画像に基づき、前記オフセットノイズを考慮して前記近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段と
   を備え、
   前記画像処理手段は、前記近接物体の影を撮像して得られる影画像と、前記撮像パネルからの照射光を利用して前記近接物体を撮像することにより得られる照射光利用画像とに基づき、前記オフセットノイズを考慮して前記物体情報を取得し、
   一の前記影画像の取得処理と一の前記照射光利用画像の取得処理とを含んで単位動作周期が構成されると共に各々の画像の取得処理の前に前記撮像素子が初期化状態となるように設定され、
   前記撮像制御手段は、各単位動作周期において、前記影画像の取得処理および前記照射光利用画像の取得処理のうちの一方の処理の前の初期化状態のときにのみ前記オフセットノイズの取得処理が行われるように制御する
   撮像装置。
3. 複数の撮像素子を含む撮像パネルと、
   前記撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように前記撮像素子を制御する撮像制御手段と、
   近接物体を撮像して得られる撮像画像に基づき、前記オフセットノイズを考慮して前記近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段と
   を備え、
   前記画像処理手段は、前記近接物体の影を撮像して得られる影画像と、前記撮像パネルからの照射光を利用して前記近接物体を撮像することにより得られる照射光利用画像とに基づき、前記オフセットノイズを考慮して前記物体情報を取得し、
   一の前記影画像の取得処理と一の前記照射光利用画像の取得処理とを含んで単位動作周期が構成されると共に各々の画像の取得処理の前に前記撮像素子が初期化状態となるように設定され、
   前記撮像制御手段は、複数の単位動作周期内の１回の初期化状態のときにのみ前記オフセットノイズの取得処理が行われるように制御する
   撮像装置。
4. 前記画像処理手段は、前記影画像から前記オフセットノイズを取り除いて得られるノイズ処理画像を用いて、前記物体情報を取得する
   請求項２または請求項３に記載の撮像装置。
5. 前記画像処理手段は、前記ノイズ処理画像に対して所定のバイアス値を加味して得られる画像を用いて、前記物体情報を取得する
   請求項４に記載の撮像装置。
6. 前記バイアス値は、装置の周囲が暗状態のときの撮像処理により得られる暗状態画像から前記オフセットノイズを差し引いて得られる画像に基づいて設定される
   請求項５に記載の撮像装置。
7. 前記画像処理手段は、前記照射光利用画像から前記オフセットノイズを取り除いて得られるノイズ処理画像と、前記影画像から前記オフセットノイズを取り除いて得られるノイズ処理画像との差分画像に基づいて、前記物体情報を取得する
   請求項２または請求項３に記載の撮像装置。
8. 前記画像処理手段は、前記照射光利用画像から前記オフセットノイズを取り除いて得られるノイズ処理画像に対して所定のバイアス値を加味して得られる画像と、前記影画像から前記オフセットノイズを取り除いて得られるノイズ処理画像に対して前記バイアス値を加味して得られる画像との差分画像に基づいて、前記物体情報を取得する
   請求項１または請求項７に記載の撮像装置。
9. 前記バイアス値は、装置の周囲が暗状態のときの撮像処理により得られる暗状態画像から前記オフセットノイズを差し引いて得られる画像に基づいて設定される
   請求項８に記載の撮像装置。
10. 前記照射光が、前記撮像パネルからの表示光である
    請求項１ないし請求項９のいずれか１項に記載の撮像装置。
11. 前記撮像パネルにおいて、前記撮像素子が、非シリコン（Ｓｉ）基板上に形成されている
    請求項１ないし請求項１０のいずれか１項に記載の撮像装置。
12. 前記非シリコン基板が、ガラス基板またはプラスチック基板である
    請求項１１に記載の撮像装置。
13. 複数の表示素子および複数の撮像素子を含む表示撮像パネルと、
    前記撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように前記撮像素子を制御する撮像制御手段と、
    近接物体を撮像して得られる撮像画像に基づき、前記オフセットノイズを考慮して前記近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段と、
    取得した物体情報が前記表示撮像パネルに表示されるように前記表示素子を制御する表示制御手段と
    を備え、
    前記画像処理手段は、前記表示撮像パネルからの照射光を利用して前記近接物体を撮像することにより得られる照射光利用画像から前記オフセットノイズを取り除いて得られるノイズ処理画像と、前記近接物体の影を撮像して得られる影画像から前記オフセットノイズを取り除いて得られるノイズ処理画像との差分画像に基づいて、前記物体情報を取得する
    表示撮像装置。
14. 複数の表示素子および複数の撮像素子を含む表示撮像パネルと、
    前記撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように前記撮像素子を制御する撮像制御手段と、
    近接物体を撮像して得られる撮像画像に基づき、前記オフセットノイズを考慮して前記近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段と、
    取得した物体情報が前記表示撮像パネルに表示されるように前記表示素子を制御する表示制御手段と
    を備え、
    前記画像処理手段は、前記近接物体の影を撮像して得られる影画像と、前記表示撮像パネルからの照射光を利用して前記近接物体を撮像することにより得られる照射光利用画像とに基づき、前記オフセットノイズを考慮して前記物体情報を取得し、
    一の前記影画像の取得処理と一の前記照射光利用画像の取得処理とを含んで単位動作周期が構成されると共に各々の画像の取得処理の前に前記撮像素子が初期化状態となるように設定され、
    前記撮像制御手段は、各単位動作周期において、前記影画像の取得処理および前記照射光利用画像の取得処理のうちの一方の処理の前の初期化状態のときにのみ前記オフセットノイズの取得処理が行われるように制御する
    表示撮像装置。
15. 複数の表示素子および複数の撮像素子を含む表示撮像パネルと、
    前記撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように前記撮像素子を制御する撮像制御手段と、
    近接物体を撮像して得られる撮像画像に基づき、前記オフセットノイズを考慮して前記近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段と、
    取得した物体情報が前記表示撮像パネルに表示されるように前記表示素子を制御する表示制御手段と
    を備え、
    前記画像処理手段は、前記近接物体の影を撮像して得られる影画像と、前記表示撮像パネルからの照射光を利用して前記近接物体を撮像することにより得られる照射光利用画像とに基づき、前記オフセットノイズを考慮して前記物体情報を取得し、
    一の前記影画像の取得処理と一の前記照射光利用画像の取得処理とを含んで単位動作周期が構成されると共に各々の画像の取得処理の前に前記撮像素子が初期化状態となるように設定され、
    前記撮像制御手段は、複数の単位動作周期内の１回の初期化状態のときにのみ前記オフセットノイズの取得処理が行われるように制御する
    表示撮像装置。
16. 前記表示撮像パネルにおいて、前記表示素子および前記撮像素子が、非シリコン（Ｓｉ）基板上に形成されている
    請求項１３ないし請求項１５のいずれか１項に記載の表示撮像装置。
17. 複数の撮像素子を含む撮像パネルに適用される処理装置であって、
    前記撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように前記撮像素子を制御する撮像制御手段と、
    近接物体を撮像して得られる撮像画像に基づき、前記オフセットノイズを考慮して前記近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段と
    を備え、
    前記画像処理手段は、前記撮像パネルからの照射光を利用して前記近接物体を撮像することにより得られる照射光利用画像から前記オフセットノイズを取り除いて得られるノイズ処理画像と、前記近接物体の影を撮像して得られる影画像から前記オフセットノイズを取り除いて得られるノイズ処理画像との差分画像に基づいて、前記物体情報を取得する
    撮像処理装置。
18. 複数の撮像素子を含む撮像パネルに適用される処理装置であって、
    前記撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように前記撮像素子を制御する撮像制御手段と、
    近接物体を撮像して得られる撮像画像に基づき、前記オフセットノイズを考慮して前記近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段と
    を備え、
    前記画像処理手段は、前記近接物体の影を撮像して得られる影画像と、前記撮像パネルからの照射光を利用して前記近接物体を撮像することにより得られる照射光利用画像とに基づき、前記オフセットノイズを考慮して前記物体情報を取得し、
    一の前記影画像の取得処理と一の前記照射光利用画像の取得処理とを含んで単位動作周期が構成されると共に各々の画像の取得処理の前に前記撮像素子が初期化状態となるように設定され、
    前記撮像制御手段は、各単位動作周期において、前記影画像の取得処理および前記照射光利用画像の取得処理のうちの一方の処理の前の初期化状態のときにのみ前記オフセットノイズの取得処理が行われるように制御する
    撮像処理装置。
19. 複数の撮像素子を含む撮像パネルに適用される処理装置であって、
    前記撮像素子が初期化された状態での撮像処理によりオフセットノイズを取得するように前記撮像素子を制御する撮像制御手段と、
    近接物体を撮像して得られる撮像画像に基づき、前記オフセットノイズを考慮して前記近接物体の位置、形状または大きさの少なくとも１つに関する情報である物体情報を取得する画像処理手段と
    を備え、
    前記画像処理手段は、前記近接物体の影を撮像して得られる影画像と、前記撮像パネルからの照射光を利用して前記近接物体を撮像することにより得られる照射光利用画像とに基づき、前記オフセットノイズを考慮して前記物体情報を取得し、
    一の前記影画像の取得処理と一の前記照射光利用画像の取得処理とを含んで単位動作周期が構成されると共に各々の画像の取得処理の前に前記撮像素子が初期化状態となるように設定され、
    前記撮像制御手段は、複数の単位動作周期内の１回の初期化状態のときにのみ前記オフセットノイズの取得処理が行われるように制御する
    撮像処理装置。
20. 前記撮像パネルにおいて、前記撮像素子が、非シリコン（Ｓｉ）基板上に形成されている
    請求項１７ないし請求項１９のいずれか１項に記載の撮像処理装置。

Images