JP4270248B2 - 表示撮像装置、情報入力装置、物体検出プログラムおよび物体の検出方法 - Google Patents

Description

本発明は、パネルに接触または近接する物体の位置などの情報を取得する表示撮像装置および情報入力装置、ならびにそのような情報を取得するための物体検出プログラムおよび物体の検出方法に関する。

従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。

このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。

また、本出願人は例えば特許文献１において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。

特開２００４−１２７２７２号公報

上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。

しかしながら、上記のように物体で反射された表示光を利用する場合、その表示光の輝度が問題となる。具体的には、受光する光の輝度が表示光の輝度に左右され、表示光の輝度は画像データに応じて変化することから、例えばいわゆる黒表示状態の場合や、半透過型の液晶表示装置においてバックライトが常時オフ状態にあるとき（例えば、屋外で利用する場合）などは、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまう。

このように従来の技術では、例えば表示光の輝度などのそのときの使用状況によらず、パネルに接触または近接する物体を確実に検出するのは困難であった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず物体を検出することが可能な表示撮像装置、情報入力装置、物体検出プログラムおよび物体の検出方法を提供することにある。

本発明の表示撮像装置は、画像表示機能と撮像機能とを有する表示撮像パネルと、この表示撮像パネルによって近接物体の影を撮像して得られる影画像に対して、近接物体のターゲットサイズに応じた低域通過フィルタ処理を行うと共に、この低域通過フィルタ処理後の影画像と上記影画像との差分画像に基づいて、近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する画像処理手段とを備えたものである。なお、「近接物体」とは、文字通り近接する物体だけではなく、接触状態にある物体をも含む意味である。また、「影画像」とは、外光による影を撮像して得られる画像であり、表示撮像パネルからの光を利用しないで得られる画像を意味する。

本発明の物体検出プログラムは、画像表示機能と撮像機能とを有する表示撮像パネルによって近接物体の影を撮像する撮像ステップと、この撮像ステップにより得られた影画像に対して、近接物体のターゲットサイズに応じた低域通過フィルタ処理を行うフィルタ処理ステップと、低域通過フィルタ処理後の影画像と上記影画像との差分画像に基づいて、近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出する検出ステップとをコンピュータに実行させるようにしたものである。

本発明の物体の検出方法は、画像表示機能と撮像機能とを有する表示撮像パネルによって近接物体の影を撮像し、この近接物体の影の撮像により得られた影画像に対して、近接物体のターゲットサイズに応じた低域通過フィルタ処理を行い、低域通過フィルタ処理後の影画像と上記影画像との差分画像に基づいて、近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出するようにしたものである。

本発明の表示撮像装置、物体検出プログラムおよび物体の検出方法では、表示撮像パネルによって近接物体の影を撮像することにより、影画像が得られる。そしてこの影画像に対して、近接物体のターゲットサイズに応じた低域通過フィルタ処理が行われ、低域通過フィルタ処理後の影画像と上記影画像との差分画像に基づいて、近接物体の位置、形状または大きさの少なくとも１つに関する情報が検出される。また、近接物体のターゲットサイズに応じた低域通過フィルタ処理が行われると共に、この低域通過フィルタ処理後の影画像と上記影画像との差分画像に基づいて検出がなされることにより、ターゲットサイズと同程度の大きさの近接物体のみが検出されるようになる。

本発明の情報入力装置は、撮像機能を有する撮像パネルと、この撮像パネルによって近接物体の影を撮像して得られる影画像に対して、近接物体のターゲットサイズに応じた低域通過フィルタ処理を行うと共に、この低域通過フィルタ処理後の影画像と上記影画像との差分画像に基づいて、近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する画像処理手段とを備えたものである。

本発明の情報入力装置では、撮像パネルによって近接物体の影を撮像することにより、影画像が得られる。そしてこの影画像に対して、近接物体のターゲットサイズに応じた低域通過フィルタ処理が行われ、低域通過フィルタ処理後の影画像と上記影画像との差分画像に基づいて、近接物体の位置、形状または大きさの少なくとも１つに関する情報が検出される。また、近接物体のターゲットサイズに応じた低域通過フィルタ処理が行われると共に、この低域通過フィルタ処理後の影画像と上記影画像との差分画像に基づいて検出がなされることにより、ターゲットサイズと同程度の大きさの近接物体のみが検出されるようになる。

本発明の表示撮像装置、情報入力装置、物体検出プログラムまたは物体の検出方法によれば、近接物体の影の撮像により得られる影画像に対して、近接物体のターゲットサイズに応じた低域通過フィルタ処理を行うと共に、この低域通過フィルタ処理後の影画像と上記影画像との差分画像に基づいて、近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出するようにしたので、例えば表示光の輝度などのそのときの使用状況によらず、物体の検出を行うことが可能となる。
また、近接物体のターゲットサイズに応じた低域通過フィルタ処理を行うと共に、この低域通過フィルタ処理後の影画像と上記影画像との差分画像に基づいて検出を行うようにしたので、ターゲットサイズと同程度の大きさの近接物体のみを検出することができ、より確実な検出処理を行うことが可能となる。

図１は、本発明の一実施の形態に係る表示撮像装置の全体構成を表すものである。この表示撮像装置は、Ｉ／Ｏディスプレイパネル２０と、バックライト１５と、表示ドライブ回路１２と、受光ドライブ回路１３と、画像処理部１４と、アプリケーションプログラム実行部１１とを備えている。

Ｉ／Ｏディスプレイパネル２０は、複数の画素が全面に渡ってマトリクス状に配置された液晶パネル（ＬＣＤ（Liquid Crystal Display））からなり、線順次動作をしながら表示データに基づく所定の図形や文字などの画像を表示する機能（表示機能）を有すると共に、後述するようにこのＩ／Ｏディスプレイ２０に接触または近接する物体を撮像する機能（撮像機能）を有するものである。また、バックライト１５は、例えば複数の発光ダイオードが配置されてなるＩ／Ｏディスプレイパネル２０の光源であり、後述するようにＩ／Ｏディスプレイ２０の動作タイミングに同期した所定のタイミングで、高速にオン・オフ動作を行うようになっている。

表示ドライブ回路１２は、Ｉ／Ｏディスプレイパネル２０において表示データに基づく画像が表示されるように（表示動作を行うように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）回路である。

受光ドライブ回路１３は、Ｉ／Ｏディスプレイパネル２０において受光データが得られるように（物体を撮像するように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）回路である。なお、各画素での受光データは、例えばフレーム単位でフレームメモリ１３Ａに蓄積され、撮像画像として画像処理部１４へ出力されるようになっている。

画像処理部１４は、受光ドライブ回路１３から出力される撮像画像に基づいて所定の画像処理（演算処理）を行い、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出し、取得するものである。なお、この検知する処理の詳細については後述する。

アプリケーションプログラム実行部１１は、画像処理部１４による検知結果に基づいて所定のアプリケーションソフトに応じた処理を実行するものであり、例えば検知した物体の位置座標を表示データに含むようにし、Ｉ／Ｏディスプレイパネル２０上に表示させるものなどが挙げられる。なお、このアプリケーションプログラム実行部１１で生成される表示データは表示ドライブ回路１２へ供給されるようになっている。

次に、図２を参照してＩ／Ｏディスプレイパネル２０の詳細構成例について説明する。このＩ／Ｏディスプレイパネル２０は、表示エリア（センサエリア）２１と、表示用Ｈドライバ２２と、表示用Ｖドライバ２３と、センサ読み出し用Ｈドライバ２５と、センサ用Ｖドライバ２４とを有している。

表示エリア（センサエリア）２１は、バックライト１５からの光を変調して表示光を出射すると共にこのエリアに接触または近接する物体を撮像する領域であり、発光素子（表示素子）である液晶素子と後述する受光素子（撮像素子）とがそれぞれマトリクス状に配置されている。

表示用Ｈドライバ２２は、表示ドライブ回路１２から供給される表示駆動用の表示信号および制御クロックに基づいて、表示用Ｖドライバ２３と共に表示エリア２１内の各画素の液晶素子を線順次駆動するものである。

センサ読み出し用Ｈドライバ２５は、センサ用Ｖドライバ２４と共にセンサエリア２１内の各画素の受光素子を線順次駆動し、受光信号を取得するものである。

次に、図３を参照して、表示エリア２１における各画素の詳細構成例について説明する。この図３に示した画素３１は、表示素子である液晶素子と受光素子とから構成されている。

具体的には、表示素子側には、水平方向に延在するゲート電極３１ｈと垂直方向に延在するドレイン電極３１ｉとの交点に薄膜トランジスタ（ＴＦＴ；Thin Film Transistor）などからなるスイッチング素子３１ａが配置され、このスイッチング素子３１ａと対向電極との間に液晶を含む画素電極３１ｂが配置されている。そしてゲート電極３１ｈを介して供給される駆動信号に基づいてスイッチング素子３１ａがオン・オフ動作し、オン状態のときにドレイン電極３１ｉを介して供給される表示信号に基づいて画素電極３１ｂに画素電圧が印加され、表示状態が設定されるようになっている。

一方、表示素子に隣接する受光素子側には、例えばフォトダイオードなどからなる受光用のセンサ３１ｃが配置され、電源電圧ＶＤＤが供給されるようになっている。また、この受光センサ３１ｃには、リセットスイッチ３１ｄとコンデンサ３１ｅが接続され、リセットスイッチ３１ｄによってリセットされながら、コンデンサ３１ｅにおいて受光量に対応した電荷が蓄積されるようになっている。そして蓄積された電荷は読み出しスイッチ３１ｇがオンとなるタイミングで、バッファアンプ３１ｆを介して信号出力用電極３１ｊに供給され、外部へ出力される。また、リセットスイッチ３１ｄのオン・オフ動作はリセット電極３１ｋにより供給される信号により制御され、読み出しスイッチ３１ｇのオン・オフ動作は、読出し制御電極３１ｋにより供給される信号により制御される。

次に、図４を参照して、表示エリア２１内の各画素とセンサ読み出し用Ｈドライバ２５との接続関係について説明する。この表示エリア２１では、赤（Ｒ）用の画素３１と、緑（Ｇ）用の画素３２と、青（Ｂ）用の画素３３とが並んで配置されている。

各画素の受光センサ３１ｃ，３２ｃ，３３ｃに接続されたコンデンサに蓄積された電荷は、それぞれのバッファアンプ３１ｆ，３２ｆ，３３ｆで増幅され、読み出しスイッチ３１ｇ，３２ｇ，３３ｇがオンになるタイミングで、信号出力用電極を介してセンサ読み出し用Ｈドライバ２５へ供給される。なお、各信号出力用電極には定電流源４１ａ，４１ｂ，４１ｃがそれぞれ接続され、センサ読み出し用Ｈドライバ２５で感度良く受光量に対応した信号が検出されるようになっている。

次に、本実施の形態の表示撮像装置の動作について詳細に説明する。

まず、この表示撮像装置の基本動作、すなわち画像の表示動作および物体の撮像動作について説明する。

この表示撮像装置では、アプリケーションプログラム実行部１１から供給される表示データに基づいて、表示用ドライブ回路１２において表示用の駆動信号が生成され、この駆動信号により、Ｉ／Ｏディスプレイ２０に対して線順次表示駆動がなされ、画像が表示される。また、このときバックライト１５も表示ドライブ回路１２によって駆動され、Ｉ／Ｏディスプレイ２０と同期した点灯・消灯動作がなされる。

ここで、図５（Ａ），（Ｂ）を参照して、バックライト１５のオン・オフ状態とＩ／Ｏディスプレイパネル２０の表示状態との関係について説明する。

まず、図５（Ａ）に示した例では、例えば１／６０秒のフレーム周期で画像表示がなされている場合、各フレーム期間の前半期間（１／１２０秒間）にバックライト１５が点灯し（オン状態となり）、各画素に表示信号が供給され、そのフレーム期間の画像が表示される。一方、各フレーム期間の後半期間には、バックライト１５が消灯し（オフ状態となり）、表示が行われないようになっている。

また、図５（Ｂ）に示した例では、逆に、各フレーム期間の前半期間にバックライト１５が消灯し（オフ状態となり）、表示が行われない。そして各フレーム期間の後半期間にバックライト１５が点灯し（オン状態となり）、各画素に表示信号が供給され、そのフレーム期間の画像が表示されるようになっている。

このように、各フレーム期間における前半期間および後半期間のうちの一方の期間では、Ｉ／Ｏディスプレイパネル２０から表示光が出射される有光期間である一方、各フレーム期間における他方の期間では、Ｉ／Ｏディスプレイパネル２０から表示光が出射されない無光期間となっている。

ここで、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体（例えば、指先など）がある場合、受光ドライブ回路１３による線順次受光駆動により、このＩ／Ｏディスプレイパネル２０における各画素の受光素子においてその物体が撮像され、各受光素子からの受光信号が受光ドライブ回路１３へ供給される。受光ドライブ回路１３では、１フレーム分の画素の受光信号が蓄積され、撮像画像として画像処理部１４へ出力される。

そして画像処理部１４では、この撮像画像に基づいて、以下説明する所定の画像処理（演算処理）を行い、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）が検出される。

次に、図６〜図１３を参照して、本発明の特徴的部分の１つである、画像処理部１４による指先等のＩ／Ｏディスプレイ２０に接触または近接する物体（近接物体）の影の撮像を利用した抽出処理（影画像指先抽出処理）について詳細に説明する。ここで図６は、この画像処理部１４による影画像指先抽出処理を流れ図で表したものである。

まず、表示１フレーム期間内のバックライト１５がオフの期間（無光期間）において、例えば図７に示したように、Ｉ／Ｏディスプレイパネル２０よる外光を利用した近接物体６０の影の撮像により、画像Ａ（影画像）が取得される（図６のステップＳ１０１）。

次に、画像処理部１４は、取得された画像Ａの反転画像（−Ａ）を生成する（ステップＳ１０２）。そして画像処理部１４は、もとの画像Ａの移動平均画像ＭＡを生成する（ステップＳ１０３）。

この移動平均画像ＭＡの生成は、具体的には例えば図１１（Ａ），（Ｂ）に示したように、画像Ａにおいて、一の注目画素３０Ａおよびその周辺画素からなる画素領域３０（この場合、（２ａ＋１）ピクセル×（２ａ＋１）ピクセルの画素領域）において、画素データの平均化演算処理を行うと共に、例えば図１２に示したように、その演算結果を次の注目画素を含む画素領域での平均化演算処理に反映させつつ注目画素を順次移動させるようにして、平均化演算処理を撮像画像について行う。また、この平均化演算処理の際の画素領域３０の大きさ（この場合、（２ａ＋１）ピクセル×（２ａ＋１）ピクセル）は、検出対象の物体として予想される大きさ（ターゲットサイズａ）に基づいて設定する（例えば、ターゲットサイズａと同程度の大きさに設定する）のが望ましい。詳細は後述するが、このような大きさとすることで、例えば図８に示した画像２０Ａ（後述する画像Ｄまたは画像Ｅに対応）のように、近接物体である指先に加えて拳の部分についても検出（符号６０Ａの部分）されるようなことが回避されるからである。なお、例えば図１３に示したように、平均化演算処理の際に必要となる実際の撮像領域５０の外側の領域５１の画素データについては、例えば撮像領域５０の外周部分の画素データをそのままコピーして適用するようにすればよい。

次に、画像処理部１４は、移動平均画像ＭＡから、後に（ステップＳ１０７において）利用する所定の閾値ＴＨを算出する（ステップＳ１０４）。具体的には、移動平均画像ＭＡにおける最も明るい（最も画素データの大きい）画素の画素データと、もとの画像Ａにおける最も暗い（最も画素データの小さい）画素の画素データとに基づいて（例えば、これらの画素データの平均を取って）閾値ＴＨを求める。なお、最も明るい（最も画素データの大きい）画素の画素データについては、表示エリア２１の四隅には同時に近接物体が配置されることは通常ないものとして、これら四隅の画素の画素データの平均値を割り当てるようにしてもよい。

次に、画像処理部１４は、生成した移動平均画像ＭＡの反転画像（−ＭＡ）を生成し（ステップＳ１０５）、もとの画像Ａの反転画像（−Ａ）とこの移動平均画像ＭＡの反転画像（−ＭＡ）との差分画像、すなわち移動平均画像ＭＡともとの画像Ａとの差分画像である差分画像Ｄ＝（−Ａ）−（−ＭＡ）＝ＭＡ−Ａを生成する（ステップＳ１０６）。そして画像処理部１４は、画像Ｄの各画素データからステップＳ１３７において算出した閾値ＴＨを減算した画像Ｅ＝Ｄ−ＴＨを生成する（ステップＳ１０７）。なお、このステップＳ１０７での画像Ｅの生成の代わりに、例えば図９に示した画像Ｆおよび図１０に示したこの画像Ｆの受光出力電圧波形Ｇｆのように、画像Ｄの各画素データを２値化した２値化画像Ｆを生成し、この２値化画像Ｆに基づいて以下の処理（ステップＳ１０８、Ｓ１０９）を行うようにしてもよい。

ここで、図９に示した画像Ｄ，Ｅ，Ｆおよび図１０に示したこれら画像Ｄ，Ｅ，Ｆにおける受光出力電圧波形例Ｇｄ，Ｇｅ，Ｇｆのように、ターゲットサイズａと同程度の大きさである指先部分だけが検出される一方、指先よりも大きい拳部分については検出されないようになる。なお、図１０に示した受光出力電圧波形例Ｇａ，Ｇ（−ａ），Ｇｍａ，Ｇ（−ｍａ）はそれぞれ、もとの画像Ａ，その反転画像（−Ａ），移動平均画像ＭＡ，その反転画像（−ＭＡ）における受光出力電圧波形例に対応する。

次に、画像処理部１４は、画像Ｅ（または画像Ｆ）の重心を判定する演算処理を行い（ステップＳ１０８）、接触（近接）中心の特定を行う（ステップＳ１０９）。

このようにして本実施の形態の影画像指先抽出処理では、外光を利用して撮像された画像Ａ（影画像）に基づいて、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）が検出される。

また、画像Ａの移動平均画像ＭＡともとの画像Ａとの差分画像Ｄに基づいて指先の抽出処理がなされるため、前述のようにターゲットサイズと同程度の大きさの物体のみが検出されると共に、表示光が出射されていないような場合（例えば、表示素子である液晶素子が半透過型の液晶素子である場合において屋外で利用する場合のように、バックライト１５が常時オフ状態になる場合や、黒画像がＩ／Ｏディスプレイパネル２０に表示されている場合など）にも、近接物体の検出がなされる。

また、この影画像指先抽出処理では、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上に同時に配置された複数の接触または近接する物体についても、同様にそれぞれの物体に関する位置、形状または大きさなどの情報が取得されるようになっている。

次に、図１４〜図１７を参照して、本実施の形態の影画像指先抽出処理によって検出された物体の位置情報等を利用した、アプリケーションプログラム実行部１１によるアプリケーションプログラム実行例について、いくつか説明する。

まず、図１４（Ａ）に示した例は、Ｉ／Ｏディスプレイパネル２０の表面を指先６１で触れて、その触れた個所の軌跡を描画ライン６１１として画面に表示させるようにした例である。

また、図１４（Ｂ）に示した例は、手の形を用いたジェスチャ認識のものである。具体的には、Ｉ／Ｏディスプレイパネル２０に触れた（または近接した）手６２の形状を認識して、その認識した手の形を画像として表示させ、その表示オブジェクトの移動６２１で、何らかの処理を行うようにしたものである。

また、図１５に示した例は、閉じた状態の手６３Ａから、開いた状態の手６３Ｂに変化させて、それぞれの状態の手の接触または近接をＩ／Ｏディスプレイパネル２０で画像認識させて、その画像認識に基づいた処理を実行させるようにしたものである。これらの認識に基づいて処理を行うことで、例えばズームインなどの指示を行うことができる。また、このような指示ができることで、例えばＩ／Ｏディスプレイパネル２０をパーソナルコンピュータ装置に接続して、そのコンピュータ装置上でコマンドを切り替えている操作などを、これらの画像認識で、より自然な形で入力することができる。

また、例えば図１６に示したように、Ｉ／Ｏディスプレイパネル２０を複数台用意して、その複数台のＩ／Ｏディスプレイパネルを何らかの伝送手段で接続することで、接触または近接を検出した画像を、相手のＩ／Ｏディスプレイパネルに伝送して表示させて、両ディスプレイパネルを操作するユーザ間でコミュニケーションをとるようにしてもよい。すなわち、図２５に示したように、２つのＩ／Ｏディスプレイパネルを用意して、一方のパネルで画像認識した手６５の手形を相手に送信して、他方のパネルに手形６４２を表示させたり、他方のパネルを手６４で触れて表示された軌跡６４１を、相手のパネルに送って表示させる等の処理が可能になる。このようにして、描画している状態が動画で伝達され、手書きの文字や図形などを相手に送ることで、新しいコミュニケーションツールの可能性がある。このような例としては、例えば、Ｉ／Ｏディスプレイパネル２０を携帯電話端末の表示パネルに適用すること等が想定される。

また、例えば図１７に示したように、筆６６を使用してＩ／Ｏディスプレイパネル２０の表面で文字を書くように触れさせて、その筆６６が触れた個所をＩ／Ｏディスプレイパネル２０に画像６６１として表示させることで、毛筆による手書きの入力が可能になる。この場合には、毛筆の細かいタッチまで認識して実現することが可能である。従来の手書き認識の場合には、例えば一部のデジタイザにおいて、特殊なペンの傾きを電界検出で実現していたが、本例では、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行える。

以上のように本実施の形態では、Ｉ／Ｏディスプレイパネル２０に接触または近接する近接物体の影の撮像により得られる画像Ａ（影画像）に基づいて、この近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出するようにしたので、例えば表示光の輝度などのそのときの使用状況によらず、物体の検出を行うことが可能となる。

また、画像Ａに基づいて移動平均画像ＭＡを生成し、この移動平均画像ＭＡともとの画像Ａとの差分画像Ｄ、そしてこの差分画像Ｄの各画素データから閾値ＴＨを減算した画像Ｅ、または差分画像Ｄの２値化画像Ｆを利用して検出すると共に、平均化演算処理の際の画素領域３０の大きさを、検出対象の物体として予想される大きさ（ターゲットサイズ）と同程度としたので、例えばターゲットサイズと同程度の大きさである指先部分だけを検出するようにし、指先よりも大きい拳部分については検出されないようにすることができ、より確実な検出処理を行うことが可能となる。

以上、実施の形態を挙げて本発明を説明したが、本発明はこの実施の形態に限定されるものではなく、種々の変形が可能である。

例えば、本発明の移動平均画像の生成処理では、平均化画像処理を行う際に、対象とする画素を間引いて演算を行うようにし、処理を軽減するようにしてもよい。例えば図１８（Ａ），（Ｂ）に示したように、最初に注目画素を一の画素方向に沿って順次移動させつつ、この一の画素方向上の画素に対してのみ平均化演算処理を行い、その後、注目画素を他の一の画素方向に沿って順次移動させつつ、この他の一の画素方向上の画素に対してのみ平均化演算処理を行うようにしてもよい。また、例えば図１９（Ａ），（Ｂ）に示したような演算回路７０〜７３を用いて、所定の方向へのドット加算処理を行うようにしてもよい。

また、上記実施の形態では、原画像Ａから移動平均画像ＭＡを生成すると共に、この移動平均演算処理の際の画素領域３０の大きさを検出対象の物体として予想される大きさ（ターゲットサイズａ）を基に設定することにより、移動平均画像ＭＡにおいて、画素領域３０よりも小さい、すなわち画素領域３０よりも空間周波数の高いもの（この場合、指先画像）を除去し、この移動平均画像ＭＡと原画像Ａとの差分を取ることにより、最終的に画素領域３０よりも空間周波数の低いもの（この場合、影画像）を除去し、空間周波数の高いもの（この場合、指先画像）だけを抽出するようにしている。つまり、上記実施の形態では、このような高域通過フィルタの一例かつ最も簡便かつ高速処理の可能な方法として、移動平均画像ＭＡと原画像Ａとの差分を取る方法について説明している。よって、上記実施の形態で説明した方法には限定されず、他の高域通過フィルタを用いて、一度に低域通過フィルタ処理と差分処理の両方の処理を行うようにしてもよい。

また、上記実施の形態では、Ｉ／Ｏディスプレイパネル２０において、表示素子が液晶素子であると共に受光素子を別個に設ける場合で説明したが、例えば図２０および図２１に示した表示撮像装置のように、例えば、有機ＥＬ（ElectroLuminescence）素子のように、発光動作と受光動作とを時分割に行うことが可能な発光受光素子（表示撮像素子）によって、Ｉ／Ｏディスプレイパネル（Ｉ／Ｏディスプレイパネル８０）を構成するようにしてもよい。このように構成した場合でも、上記実施の形態と同様の効果を得ることが可能である。なお、この場合の表示光が出射されない期間とは、表示撮像素子による発光動作がなされていない期間となる。

さらに、上記実施の形態では、表示機能と撮像機能とを有するＩ／Ｏディスプレイパネル（表示撮像パネル）を備えた表示撮像装置について説明したが、本発明は、撮像機能のみを有するディスプレイパネル（撮像パネル）を供えた情報入力装置についても適用することが可能であり、この撮像パネルによって近接物体の影の撮像を行うことにより得られる影画像に基づいて、この近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出することが可能である。

本発明の一実施の形態に係る表示撮像装置の構成を表すブロック図である。 図１に示したＩ／Ｏディスプレイパネルの構成例を表すブロック図である。 各画素の構成例を表す回路図である。 各画素とセンサ読み出し用Ｈドライバとの接続関係を説明するための回路図である。 バックライトのオン・オフ状態と表示状態との関係について説明するためのタイミング図である。 画像処理部による影画像指先抽出処理を表す流れ図である。 影画像指先検出処理の概念について説明するための斜視図である。 影画像指先検出処理による撮像画像の一例を表す摸式図である。 影画像指先抽出処理について説明するための写真構成図である。 影画像指先抽出処理による受光信号について説明するための図である。 移動平均画像の生成処理について説明するための図である。 移動平均画像の生成処理について説明するための図である。 移動平均画像の生成処理について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 本発明の変形例に係る移動平均画像の生成処理について説明するための図である。 本発明の変形例に係る移動平均画像の生成処理について説明するための図である。 本発明の変形例に係る表示撮像装置の構成を表すブロック図である。 図２０に示した表示撮像装置における各画素の構成例を表す回路図である。

符号の説明

１１，８１…アプリケーションプログラム実行部、１２，８２…表示ドライブ回路、１３，８３…受光ドライブ回路、１３Ａ，８３Ａ…フレームメモリ、１４，８４…画像処理部、１５…バックライト、２０，８０…Ｉ／Ｏディスプレイパネル、２１…表示エリア（センサエリア）、２２…表示用Ｈドライバ、２３…表示用Ｖドライバ、２４…センサ用Ｖドライバ、２５…センサ読み出し用Ｈドライバ、３０…画素領域、３１〜３３…画素、４１ａ〜４１ｃ…定電流源、５０…撮像領域、５１…演算用領域。

Claims (16)

1. 画像表示機能と撮像機能とを有する表示撮像パネルと、
   前記表示撮像パネルによって近接物体の影を撮像して得られる影画像に対して、前記近接物体のターゲットサイズに応じた低域通過フィルタ処理を行うと共に、この低域通過フィルタ処理後の影画像と前記影画像との差分画像に基づいて、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する画像処理手段と
   を備えた表示撮像装置。
2. 前記画像処理手段は、前記近接物体のターゲットサイズを考慮して前記影画像の移動平均画像を生成し、この移動平均画像と前記影画像との差分画像に基づいて、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する
   請求項１に記載の表示撮像装置。
3. 前記画像処理手段は、複数の画素データから構成される前記影画像に基づいて、一の注目画素およびその周辺画素からなる画素領域において画素データの平均化演算処理を行うと共にその演算結果を次の注目画素を含む画素領域での平均化演算処理に反映させつつ注目画素を順次移動させるようにして平均化演算処理を撮像画像について行うことにより、前記移動平均画像を生成する
   請求項２に記載の表示撮像装置。
4. 前記画像処理手段は、前記近接物体の大きさに基づいて、前記平均化演算処理を行う際の画素領域の大きさを設定する
   請求項３に記載の表示撮像装置。
5. 前記画像処理手段は、前記平均化演算処理の対象とする画素を間引いて演算を行う
   請求項３に記載の表示撮像装置。
6. 前記画像処理手段は、前記差分画像における所定の閾値以下の画素データをカットしてカット画像を生成し、このカット画像に基づいて前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する
   請求項１に記載の表示撮像装置。
7. 前記画像処理手段は、前記低域通過フィルタ処理後の影画像における最も大きい画素データと、前記影画像における最も小さい画素データとに基づいて、前記閾値を生成する
   請求項６に記載の表示撮像装置。
8. 前記画像処理手段は、前記差分画像を２値化して２値化画像を生成し、この２値化画像に基づいて前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する
   請求項１に記載の表示撮像装置。
9. 前記画像処理手段は、前記表示撮像パネル上に同時に位置する複数の近接物体の位置、形状または大きさの少なくとも１つに関する情報をそれぞれ取得する
   請求項１に記載の表示撮像装置。
10. 前記表示撮像パネルにより、取得した前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を表示する
    請求項１に記載の表示撮像装置。
11. 前記表示撮像パネルは、複数の液晶素子および複数の撮像素子を含んで構成され、
    前記複数の液晶素子へ向けて光を発する光源を備え、
    前記影画像は、前記光源から光が発せられていない期間または黒画像が表示されている期間に前記近接物体を撮像して得られる画像である
    請求項１に記載の表示撮像装置。
12. 前記表示撮像パネルは、発光動作および受光動作を時分割に行うことが可能な複数の表示撮像素子を含んで構成され、
    前記影画像は、前記表示撮像素子による発光動作がなされていない期間に前記近接物体を撮像して得られる画像である
    請求項１に記載の表示撮像装置。
13. 前記表示撮像素子は、有機ＥＬ素子である
    請求項１２に記載の表示撮像装置。
14. 撮像機能を有する撮像パネルと、
    前記撮像パネルによって近接物体の影を撮像して得られる影画像に対して、前記近接物体のターゲットサイズに応じた低域通過フィルタ処理を行うと共に、この低域通過フィルタ処理後の影画像と前記影画像との差分画像に基づいて、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する画像処理手段と
    を備えた情報入力装置。
15. 画像表示機能と撮像機能とを有する表示撮像パネルによって近接物体の影を撮像する撮像ステップと、
    前記撮像ステップにより得られた影画像に対して、前記近接物体のターゲットサイズに応じた低域通過フィルタ処理を行うフィルタ処理ステップと、
    前記低域通過フィルタ処理後の影画像と前記影画像との差分画像に基づいて、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出する検出ステップと
    をコンピュータに実行させる物体検出プログラム。
16. 画像表示機能と撮像機能とを有する表示撮像パネルによって近接物体の影を撮像し、
    前記近接物体の影の撮像により得られた影画像に対して、前記近接物体のターゲットサイズに応じた低域通過フィルタ処理を行い、
    前記低域通過フィルタ処理後の影画像と前記影画像との差分画像に基づいて、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出する
    物体の検出方法。

Images