JP4270247B2 - 表示撮像装置、物体検出プログラムおよび物体の検出方法 - Google Patents

Description

本発明は、パネルに接触または近接する物体の位置などの情報を取得する表示撮像装置、ならびにそのような情報を取得するための物体検出プログラムおよび物体の検出方法に関する。

従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。

このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。

また、本出願人は例えば特許文献１において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。

特開２００４−１２７２７２号公報

上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。

しかしながら、上記のように物体で反射された表示光を利用する場合、その表示光の輝度が問題となる。具体的には、受光する光の輝度が表示光の輝度に左右され、表示光の輝度は画像データに応じて変化することから、例えばいわゆる黒表示状態の場合や、半透過型の液晶表示装置においてバックライトが常時オフ状態にあるとき（例えば、屋外で利用する場合）などは、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまう。

このように従来の技術では、例えば表示光の輝度などのそのときの使用状況によらず、パネルに接触または近接する物体を確実に検出するのは困難であった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず物体を検出することが可能な表示撮像装置、物体検出プログラムおよび物体の検出方法を提供することにある。

本発明の表示撮像装置は、画像表示機能と撮像機能とを有する表示撮像パネルと、この表示撮像パネルからの光を利用して表示撮像パネルによって近接物体を撮像して得られる第１の画像と、表示撮像パネルによって近接物体の影を撮像して得られる第２の画像との差分画像を生成する生成手段と、上記第２画像と上記差分画像とに基づく合成画像を利用して、近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する画像処理手段とを備えたものである。なお、「近接物体」とは、文字通り近接する物体だけではなく、接触状態にある物体をも含む意味である。また、「第２の画像」とは、外光による影を撮像して得られる画像であり、表示撮像パネルからの光を利用しないで得られる画像を意味する。

本発明の物体検出プログラムは、画像表示機能と撮像機能とを有する表示撮像パネルによって近接物体の影を撮像する第１の撮像ステップと、上記表示撮像パネルからの光を利用して、この表示撮像パネルによって近接物体を撮像する第２の撮像ステップと、この第２の撮像ステップにより得られた第１の画像と上記第１の撮像ステップにより得られた第２の画像との差分画像を生成する画像生成ステップと、上記第２画像と上記差分画像とに基づく合成画像を利用して、近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出する検出ステップとをコンピュータに実行させるようにしたものである。

本発明の物体の検出方法は、画像表示機能と撮像機能とを有する表示撮像パネルによって近接物体の影を撮像し、上記表示撮像パネルからの光を利用して、この表示撮像パネルによって近接物体を撮像し、上記表示撮像パネルからの光を利用した撮像により得られた第１の画像と上記近接物体の影の撮像により得られた第２の画像との差分画像を生成し、上記第２画像と上記差分画像とに基づく合成画像を利用して、近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出するようにしたものである。

本発明の表示撮像装置、物体検出プログラムおよび物体の検出方法では、表示撮像パネルによって近接物体の影を撮像することにより、第２の画像が得られる。また、表示撮像パネルによってその表示撮像パネルからの光を利用することにより、第１の画像が得られる。そしてこれら第１の画像と第２の画像との差分画像が生成され、第２画像とこの差分画像とに基づく合成画像を利用して、近接物体の位置、形状または大きさの少なくとも１つに関する情報が検出される。

本発明の表示撮像装置、物体検出プログラムまたは物体の検出方法によれば、表示撮像パネルからの光を利用した近接物体の撮像により得られる第１の画像と、近接物体の影の撮像により得られる第２の画像との差分画像を生成すると共に、第２画像とこの差分画像とに基づく合成画像を利用して、近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出するようにしたので、例えば周囲の状況や表示光の輝度などのそのときの使用状況によらず、物体の検出を行うことが可能となる。
また、第２画像と差分画像とに基づく合成画像を利用して、近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出するようにしたので、より鮮明な近接物体の画像を検出することができ、より確実に物体の検出を行うことが可能となる。

以下、本発明を実施するための最良の形態（以下、単に実施の形態という。）について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る表示撮像装置の全体構成を表すものである。この表示撮像装置は、Ｉ／Ｏディスプレイパネル２０と、バックライト１５と、表示ドライブ回路１２と、受光ドライブ回路１３と、画像処理部１４と、アプリケーションプログラム実行部１１とを備えている。

Ｉ／Ｏディスプレイパネル２０は、複数の画素が全面に渡ってマトリクス状に配置された液晶パネル（ＬＣＤ（Liquid Crystal Display））からなり、線順次動作をしながら表示データに基づく所定の図形や文字などの画像を表示する機能（表示機能）を有すると共に、後述するようにこのＩ／Ｏディスプレイ２０に接触または近接する物体を撮像する機能（撮像機能）を有するものである。また、バックライト１５は、例えば複数の発光ダイオードが配置されてなるＩ／Ｏディスプレイパネル２０の光源であり、後述するようにＩ／Ｏディスプレイ２０の動作タイミングに同期した所定のタイミングで、高速にオン・オフ動作を行うようになっている。

表示ドライブ回路１２は、Ｉ／Ｏディスプレイパネル２０において表示データに基づく画像が表示されるように（表示動作を行うように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）回路である。

受光ドライブ回路１３は、Ｉ／Ｏディスプレイパネル２０において受光データが得られるように（物体を撮像するように）、このＩ／Ｏディスプレイパネル２０の駆動を行う（線順次動作の駆動を行う）回路である。なお、各画素での受光データは、例えばフレーム単位でフレームメモリ１３Ａに蓄積され、撮像画像として画像処理部１４へ出力されるようになっている。

画像処理部１４は、受光ドライブ回路１３から出力される撮像画像に基づいて所定の画像処理（演算処理）を行い、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出し、取得するものである。なお、この検知する処理の詳細については後述する。

アプリケーションプログラム実行部１１は、画像処理部１４による検知結果に基づいて所定のアプリケーションソフトに応じた処理を実行するものであり、例えば検知した物体の位置座標を表示データに含むようにし、Ｉ／Ｏディスプレイパネル２０上に表示させるものなどが挙げられる。なお、このアプリケーションプログラム実行部１１で生成される表示データは表示ドライブ回路１２へ供給されるようになっている。

次に、図２を参照してＩ／Ｏディスプレイパネル２０の詳細構成例について説明する。このＩ／Ｏディスプレイパネル２０は、表示エリア（センサエリア）２１と、表示用Ｈドライバ２２と、表示用Ｖドライバ２３と、センサ読み出し用Ｈドライバ２５と、センサ用Ｖドライバ２４とを有している。

表示エリア（センサエリア）２１は、バックライト１５からの光を変調して表示光を出射すると共にこのエリアに接触または近接する物体を撮像する領域であり、発光素子（表示素子）である液晶素子と後述する受光素子（撮像素子）とがそれぞれマトリクス状に配置されている。

表示用Ｈドライバ２２は、表示ドライブ回路１２から供給される表示駆動用の表示信号および制御クロックに基づいて、表示用Ｖドライバ２３と共に表示エリア２１内の各画素の液晶素子を線順次駆動するものである。

センサ読み出し用Ｈドライバ２５は、センサ用Ｖドライバ２４と共にセンサエリア２１内の各画素の受光素子を線順次駆動し、受光信号を取得するものである。

次に、図３を参照して、表示エリア２１における各画素の詳細構成例について説明する。この図３に示した画素３１は、表示素子である液晶素子と受光素子とから構成されている。

具体的には、表示素子側には、水平方向に延在するゲート電極３１ｈと垂直方向に延在するドレイン電極３１ｉとの交点に薄膜トランジスタ（ＴＦＴ；Thin Film Transistor）などからなるスイッチング素子３１ａが配置され、このスイッチング素子３１ａと対向電極との間に液晶を含む画素電極３１ｂが配置されている。そしてゲート電極３１ｈを介して供給される駆動信号に基づいてスイッチング素子３１ａがオン・オフ動作し、オン状態のときにドレイン電極３１ｉを介して供給される表示信号に基づいて画素電極３１ｂに画素電圧が印加され、表示状態が設定されるようになっている。

一方、表示素子に隣接する受光素子側には、例えばフォトダイオードなどからなる受光用のセンサ３１ｃが配置され、電源電圧ＶＤＤが供給されるようになっている。また、この受光センサ３１ｃには、リセットスイッチ３１ｄとコンデンサ３１ｅが接続され、リセットスイッチ３１ｄによってリセットされながら、コンデンサ３１ｅにおいて受光量に対応した電荷が蓄積されるようになっている。そして蓄積された電荷は読み出しスイッチ３１ｇがオンとなるタイミングで、バッファアンプ３１ｆを介して信号出力用電極３１ｊに供給され、外部へ出力される。また、リセットスイッチ３１ｄのオン・オフ動作はリセット電極３１ｋにより供給される信号により制御され、読み出しスイッチ３１ｇのオン・オフ動作は、読出し制御電極３１ｋにより供給される信号により制御される。

次に、図４を参照して、表示エリア２１内の各画素とセンサ読み出し用Ｈドライバ２５との接続関係について説明する。この表示エリア２１では、赤（Ｒ）用の画素３１と、緑（Ｇ）用の画素３２と、青（Ｂ）用の画素３３とが並んで配置されている。

各画素の受光センサ３１ｃ，３２ｃ，３３ｃに接続されたコンデンサに蓄積された電荷は、それぞれのバッファアンプ３１ｆ，３２ｆ，３３ｆで増幅され、読み出しスイッチ３１ｇ，３２ｇ，３３ｇがオンになるタイミングで、信号出力用電極を介してセンサ読み出し用Ｈドライバ２５へ供給される。なお、各信号出力用電極には定電流源４１ａ，４１ｂ，４１ｃがそれぞれ接続され、センサ読み出し用Ｈドライバ２５で感度良く受光量に対応した信号が検出されるようになっている。

次に、本実施の形態の表示撮像装置の動作について詳細に説明する。

まず、この表示撮像装置の基本動作、すなわち画像の表示動作および物体の撮像動作について説明する。

この表示撮像装置では、アプリケーションプログラム実行部１１から供給される表示データに基づいて、表示用ドライブ回路１２において表示用の駆動信号が生成され、この駆動信号により、Ｉ／Ｏディスプレイ２０に対して線順次表示駆動がなされ、画像が表示される。また、このときバックライト１５も表示ドライブ回路１２によって駆動され、Ｉ／Ｏディスプレイ２０と同期した点灯・消灯動作がなされる。

ここで、図５を参照して、バックライト１５のオン・オフ状態とＩ／Ｏディスプレイパネル２０の表示状態との関係について説明する。

まず、例えば１／６０秒のフレーム周期で画像表示がなされている場合、各フレーム期間の前半期間（１／１２０秒間）にバックライト１５が消灯し（オフ状態となり）、表示が行われない。一方、各フレーム期間の後半期間には、バックライト１５が点灯し（オン状態となり）、各画素に表示信号が供給され、そのフレーム期間の画像が表示されるようになっている。

このように、各フレーム期間の前半期間は、Ｉ／Ｏディスプレイパネル２０から表示光が出射されない無光期間である一方、各フレーム期間の後半期間は、Ｉ／Ｏディスプレイパネル２０から表示光が出射される有光期間となっている。

ここで、Ｉ／Ｏディスプレイパネル２０に接触または近接する物体（例えば、指先など）がある場合、受光ドライブ回路１３による線順次受光駆動により、このＩ／Ｏディスプレイパネル２０における各画素の受光素子においてその物体が撮像され、各受光素子からの受光信号が受光ドライブ回路１３へ供給される。受光ドライブ回路１３では、１フレーム分の画素の受光信号が蓄積され、撮像画像として画像処理部１４へ出力される。

そして画像処理部１４では、この撮像画像に基づいて、以下説明する所定の画像処理（演算処理）を行い、Ｉ／Ｏディスプレイ２０に接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）が検出される。

次に、図６〜図２２を参照して、本発明の特徴的部分の１つである、画像処理部１４による指先等のＩ／Ｏディスプレイ２０に接触または近接する物体（近接物体）の抽出処理（指先抽出処理）について詳細に説明する。ここで図６は、この画像処理部１４による指先抽出処理を流れ図で表したものであり、図７は、この指先抽出処理の一部をタイミング図で表したものである。

まず、表示１フレーム期間の前半期間であるバックライト１５がオフの期間（無光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ａ（影画像）が取得される（図６のステップＳ１１、図７）。

次に、表示１フレーム期間の後半期間であるバックライト１５がオンの期間（有光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ｂ（表示光利用画像）が取得される（図７）。そしてこの画像Ｂと画像Ａとの差分画像Ｃに基づく指先抽出処理（差分画像指先抽出処理）が画像処理部１４によってなされる（ステップＳ１２）。

また、この差分画像指先抽出処理と並行して、画像Ａ（影画像）に基づく指先抽出処理（影画像指先抽出処理）が画像処理部１４によってなされる（ステップＳ１３、図７）。

次に、画像処理部１４は、ステップＳ１２において差分画像指先抽出処理によって指先が抽出できた（指先等の近接物体の位置、形状または大きさなどの情報が取得できた）かどうかを判断する（ステップＳ１４）。抽出できたと判断した場合（ステップＳ１４：Ｙ）、画像処理部１４は、差分画像指先抽出処理による抽出結果を採用すると決定し（ステップＳ１５）、最終結果をアプリケーションプログラム実行部１１へ出力する（ステップＳ１７）。

一方、抽出できなかったと判断した場合（ステップＳ１４：Ｎ）、画像処理部１４は、影画像指先抽出処理による抽出結果を採用すると決定し（ステップＳ１６）、最終結果をアプリケーションプログラム実行部１１へ出力する（ステップＳ１７）。

このようにして、差分画像指先抽出処理を主、影画像指先抽出処理を従として、これら両抽出処理を考慮して、最終的に一方の抽出処理による抽出結果が選択されるようになっている。

次に、差分画像指先抽出処理および影画像指先抽出処理の詳細について説明する。

まず、図８〜図１３を参照して、差分画像指先抽出処理の詳細について説明する。図８は、この差分画像指先抽出処理の詳細を流れ図で表したものである。

まず、前述したように、表示１フレーム期間の後半期間であるバックライト１５がオンの期間（有光期間）において、Ｉ／Ｏディスプレイパネル２０により近接物体の撮像処理がなされ、画像Ｂ（表示光利用画像）が取得される（図８のステップＳ１２１、図７）。

次に、画像処理部１４は、この画像Ｂと、バックライト１５がオフの期間（無光期間）における撮像により得られた画像Ａ（影画像）との差分画像Ｃを生成する（ステップＳ１２２）。

そして、画像処理部１４は、生成された差分画像の重心を判定する演算処理を行い（ステップＳ１２３）、接触（近接）中心の特定を行う（ステップＳ１２４）。

このようにして、差分画像指先抽出処理では、表示光を利用した画像Ｂと表示光を利用しないで外光を利用した画像Ａとの差分画像Ｃに基づいて指先の抽出処理がなされるため、図９に示した差分画像Ｃの写真画像例のように、外光の明るさの影響が除去され、この外光の明るさに影響されずに近接物体の検出がなされるようになっている。

具体的には、例えば図１０（Ａ）に断面図で示したように、入射する外光が強い場合には、バックライト１５を点灯させた状態での受光出力電圧Ｖon１は、図１０（Ｂ）に示したように、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに低下する。これに対して、バックライト１５を消灯させた状態での受光出力電圧Ｖoff１は、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなる点は同じであるが、指で触れた個所では、外光が遮断された状態であり、非常にレベルの低い電圧値Ｖｃとなる。

また、図１１（Ａ）に断面図で示したように、入射する外光が弱い（ほとんどない）状態では、バックライト１５を点灯させた状態での受光出力電圧Ｖon２は、図１１（Ｂ）に示したように、指で触れた個所以外では、外光がないために非常にレベルの低い電圧値Ｖｃとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに上昇する。これに対して、バックライト１５を消灯させた状態での受光出力電圧Ｖoff２は、指で触れた個所とそれ以外の個所のいずれでも、非常にレベルの低い電圧値Ｖｃのままで変化がない。

このように、図１０および図１１を比較すると判るように、パネルの表示エリア２１に接触していない個所では、外光がある場合とない場合とで、受光出力電圧が大きく異なっている。ところが、指が接触している個所では、外光の有無に関係なく、バックライトの点灯時の電圧Ｖｂと、バックライトの消灯時の電圧Ｖｃとが、ほぼ同じような状態となっている。

よって、バックライト１５の点灯時の電圧と消灯時の電圧との差を検出して、電圧Ｖｂと電圧Ｖｃとの差のように、一定以上の差がある個所が、接触した個所又は近接した個所であると判断することができ、パネルに入射する外光が強い場合でも、外光が殆どない場合でも、均一な条件で良好に接触または近接が検出されるようになっている。

また、図１２（Ａ），（Ｂ）に示したように、受光出力電圧の検出に必要なダイナミックレンジについては、以下のように決定される。ここで、 図１２（Ａ）は、パネルの表示エリア２１の接触状態を示したもので、指ｆでパネル表面を触れているとともに、反射率がほぼ１００％の円形の物体ｍを、表示エリア２１に載せた状態としてある。この状態で、指ｆと物体ｍの双方を走査するラインでの受光出力電圧は、 図１２（Ｂ）に示す状態となる。また、図１２（Ｂ）において、電圧Ｖon３はバックライトを点灯させた状態での受光出力電圧であり、電圧Ｖoff３はバックライトを消灯させた状態での受光出力電圧である。

図１２（Ｂ）に示すように、反射率がほぼ１００％の物体ｍがある個所で、バックライト点灯時に検出される電圧Ｖｄよりも高い電圧は観測不要なレベルＶｙであり、そのレベル以下の範囲Ｖｘが、検出に必要なダイナミックレンジである。よって、観測不要なレベルＶｙの信号については、オーバーフローさせてしまって、同一の強度とみなすようにすればよいことが判る。

また、この差分画像指先抽出処理では、図１３（Ａ）〜（Ｄ）に示した画像（それぞれ、画像Ａ〜Ｃ、および画像Ｃの２値化画像）からわかるように、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上に同時に配置された複数の接触または近接する物体についても、同様にそれぞれの物体に関する位置、形状または大きさなどの情報が取得できるようになっている。

次に、図１４〜図２１を参照して、影画像指先抽出処理の詳細について説明する。図１４は、この影画像指先抽出処理の詳細を流れ図で表したものであり、図１５は、影画像指先抽出処理の際の状況を斜視図で表したものである。

まず、画像処理部１４は、すでに取得された画像Ａ（影画像）の反転画像（−Ａ）を生成する（ステップＳ１３１）。また、画像処理部１４は、もとの画像Ａの移動平均画像ＭＡを生成する（ステップＳ１３２）。

この移動平均画像ＭＡの生成は、具体的には例えば図１９（Ａ），（Ｂ）に示したように、画像Ａにおいて、一の注目画素３０Ａおよびその周辺画素からなる画素領域３０（この場合、（２ａ＋１）ピクセル×（２ａ＋１）ピクセルの画素領域）において、画素データの平均化演算処理を行うと共に、例えば図２０に示したように、その演算結果を次の注目画素を含む画素領域での平均化演算処理に反映させつつ注目画素を順次移動させるようにして、平均化演算処理を撮像画像について行う。また、この平均化演算処理の際の画素領域３０の大きさ（この場合、（２ａ＋１）ピクセル×（２ａ＋１）ピクセル）は、検出対象の物体として予想される大きさ（ターゲットサイズａ）に基づいて設定する（例えば、ターゲットサイズａと同程度の大きさに設定する）のが望ましい。詳細は後述するが、このような大きさとすることで、例えば図１６に示した画像２０Ａ（後述する画像Ｄまたは画像Ｅに対応）のように、近接物体である指先に加えて拳の部分についても検出（符号６０Ａの部分）されるようなことが回避されるからである。なお、例えば図２１に示したように、平均化演算処理の際に必要となる実際の撮像領域５０の外側の領域５１の画素データについては、例えば撮像領域５０の外周部分の画素データをそのままコピーして適用するようにすればよい。

次に、画像処理部１４は、移動平均画像ＭＡから、後に（ステップＳ１３６において）利用する所定の閾値ＴＨを算出する（ステップＳ１３３）。具体的には、移動平均画像ＭＡにおける最も明るい（最も画素データの大きい）画素の画素データと、もとの画像Ａにおける最も暗い（最も画素データの小さい）画素の画素データとに基づいて（例えば、これらの画素データの平均を取って）閾値ＴＨを求める。なお、最も明るい（最も画素データの大きい）画素の画素データについては、表示エリア２１の四隅には同時に近接物体が配置されることは通常ないものとして、これら四隅の画素の画素データの平均値を割り当てるようにしてもよい。

次に、画像処理部１４は、生成した移動平均画像ＭＡの反転画像（−ＭＡ）を生成し（ステップＳ１３４）、もとの画像Ａの反転画像（−Ａ）とこの移動平均画像ＭＡの反転画像（−ＭＡ）との差分画像、すなわち移動平均画像ＭＡともとの画像Ａとの差分画像である差分画像Ｄ＝（−Ａ）−（−ＭＡ）＝ＭＡ−Ａを生成する（ステップＳ１３６）。そして画像処理部１４は、画像Ｄの各画素データからステップＳ１３７において算出した閾値ＴＨを減算した画像Ｅ＝Ｄ−ＴＨを生成する（ステップＳ１３７）。

ここで、図１７に示した画像Ｄ，Ｅおよび図１８に示したこれら画像Ｄ，Ｅにおける受光出力電圧波形例Ｇｄ，Ｇｅのように、ターゲットサイズａと同程度の大きさである指先部分だけが検出される一方、指先よりも大きい拳部分については検出されないようになる。なお、図１８に示した受光出力電圧波形例Ｇａ，Ｇ（−ａ），Ｇｍａ，Ｇ（−ｍａ）はそれぞれ、もとの画像Ａ，その反転画像（−Ａ），移動平均画像ＭＡ，その反転画像（−ＭＡ）における受光出力電圧波形例に対応する。

次に、画像処理部１４は、前述の差分画像指先抽出処理の場合と同様にして、この画像Ｅに基づいて重心計算処理（ステップＳ１３７）および接触（近接）中心の特定処理（ステップＳ１３８）を行う。

このようにして、影画像指先抽出処理では、外光を利用して撮像された画像Ａの移動平均画像ＭＡと、もとの画像Ａとの差分画像Ｄに基づいて指先の抽出処理がなされるため、前述のようにターゲットサイズと同程度の大きさの物体のみが検出されると共に、表示光が出射されていないような場合（例えば、表示素子である液晶素子が半透過型の液晶素子である場合において屋外で利用する場合のように、バックライト１５が常時オフ状態になる場合や、黒画像がＩ／Ｏディスプレイパネル２０に表示されている場合など）にも、近接物体の検出がなされるようになっている。

なお、この影画像指先抽出処理においても、差分画像指先抽出処理の場合と同様に、Ｉ／Ｏディスプレイパネル２０の表示エリア２１上に同時に配置された複数の接触または近接する物体について、それぞれの物体に関する位置、形状または大きさなどの情報が取得できるようになっている。

このようにして本実施の形態の表示撮像装置では、以上説明した差分画像指先抽出処理および影画像指先抽出処理を考慮して、これらのうちの一方による近接物体の検出結果が最終結果として画像処理部１４からアプリケーションプログラム実行部１１へ出力される。

図２２は、これら差分画像指先抽出処理および影画像指先抽出処理による指先抽出処理の特徴を比較して表したものである。この図において、「○」はその条件下での指先抽出が得意であることを、「△」はその条件下での指先抽出処理が状況によって得意・不得意が変動することを、「×」はその状況下では原則として指先抽出処理が不得意であることを、それぞれ表している。この図から判るように、周囲が明るい環境のときには差分画像指先抽出処理のほうが指先抽出処理が得意であることから指先抽出処理による抽出結果が採用されると考えられる一方、バックライト１５が消灯していて表示光が出射されていない場合や黒表示状態のときには、差分画像指先抽出処理では抽出ができない場合が生じ、その場合には影画像指先抽出処理による抽出結果が採用されると考えられる。

次に、図２３〜図２６を参照して、これまで説明した指先抽出処理によって検出された物体の位置情報等を利用した、アプリケーションプログラム実行部１１によるアプリケーションプログラム実行例について、いくつか説明する。

まず、図２３（Ａ）に示した例は、Ｉ／Ｏディスプレイパネル２０の表面を指先６１で触れて、その触れた個所の軌跡を描画ライン６１１として画面に表示させるようにした例である。

また、図２３（Ｂ）に示した例は、手の形を用いたジェスチャ認識のものである。具体的には、Ｉ／Ｏディスプレイパネル２０に触れた（または近接した）手６２の形状を認識して、その認識した手の形を画像として表示させ、その表示オブジェクトの移動６２１で、何らかの処理を行うようにしたものである。

また、図２４に示した例は、閉じた状態の手６３Ａから、開いた状態の手６３Ｂに変化させて、それぞれの状態の手の接触または近接をＩ／Ｏディスプレイパネル２０で画像認識させて、その画像認識に基づいた処理を実行させるようにしたものである。これらの認識に基づいて処理を行うことで、例えばズームインなどの指示を行うことができる。また、このような指示ができることで、例えばＩ／Ｏディスプレイパネル２０をパーソナルコンピュータ装置に接続して、そのコンピュータ装置上でコマンドを切り替えている操作などを、これらの画像認識で、より自然な形で入力することができる。

また、例えば図２５に示したように、Ｉ／Ｏディスプレイパネル２０を複数台用意して、その複数台のＩ／Ｏディスプレイパネルを何らかの伝送手段で接続することで、接触または近接を検出した画像を、相手のＩ／Ｏディスプレイパネルに伝送して表示させて、両ディスプレイパネルを操作するユーザ間でコミュニケーションをとるようにしてもよい。すなわち、図２５に示したように、２つのＩ／Ｏディスプレイパネルを用意して、一方のパネルで画像認識した手６５の手形を相手に送信して、他方のパネルに手形６４２を表示させたり、他方のパネルを手６４で触れて表示された軌跡６４１を、相手のパネルに送って表示させる等の処理が可能になる。このようにして、描画している状態が動画で伝達され、手書きの文字や図形などを相手に送ることで、新しいコミュニケーションツールの可能性がある。このような例としては、例えば、Ｉ／Ｏディスプレイパネル２０を携帯電話端末の表示パネルに適用すること等が想定される。

また、例えば図２６に示したように、筆６６を使用してＩ／Ｏディスプレイパネル２０の表面で文字を書くように触れさせて、その筆６６が触れた個所をＩ／Ｏディスプレイパネル２０に画像６６１として表示させることで、毛筆による手書きの入力が可能になる。この場合には、毛筆の細かいタッチまで認識して実現することが可能である。従来の手書き認識の場合には、例えば一部のデジタイザにおいて、特殊なペンの傾きを電界検出で実現していたが、本例では、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行える。

以上のように本実施の形態では、表示光を利用した近接物体の撮像により得られる画像Ｂ（表示光利用画像）と、近接物体の影の撮像により得られる画像Ａ（影画像）との差分画像Ｃを生成すると共に、これら画像Ａ（影画像）および差分画像Ｃを考慮して近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出するようにしたので、例えば周囲の状況や表示光の輝度などのそのときの使用状況によらず、物体の検出を行うことが可能となる。

また、画像Ａに基づいて移動平均画像ＭＡを生成し、この移動平均画像ＭＡともとの画像Ａとの差分画像Ｄ、そしてこの差分画像Ｄの各画素データから閾値ＴＨを減算した画像Ｅを利用して検出すると共に、平均化演算処理の際の画素領域３０の大きさを、検出対象の物体として予想される大きさ（ターゲットサイズ）と同程度としたので、例えばターゲットサイズと同程度の大きさである指先部分だけを検出するようにし、指先よりも大きい拳部分については検出されないようにすることができ、より確実な検出処理を行うことが可能となる。

また、一の動作周期（１表示フレーム期間）内において、画像Ａ（影画像）の取得を画像Ｂ（表示光利用画像）の取得よりも先に行うようにしたので、例えば図７に示したように、差分画像指先抽出処理を行うまでに演算処理に時間を要する移動平均画像ＭＡの演算を行う時間を確保することができ、逆に画像Ｂの取得を画像Ａの取得よりも先に行うように構成した場合と比べ、全体として短時間で処理を行うことが可能となる。

なお、本実施の形態では、差分画像指先抽出処理を主とすると共に影画像指先抽出処理を従とするように構成したが、場合によっては、逆に差分画像指先抽出処理を従とすると共に影画像指先抽出処理を主として構成してもよい。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。本実施の形態の表示撮像装置は、所定の指標に基づいて差分画像指先抽出処理および影画像指先抽出処理のうちの一方を選択し、その選択した画像に基づいて指先抽出処理を行うようにしたものである。なお、その他の構成および動作については第１の実施の形態と同様であるので、適宜説明を省略する。

図２７は、本実施の形態の指先抽出処理を流れ図で表したものである。この図からわかるように、第１の実施の形態と同様にして画像Ａ（影画像）が取得されると（ステップＳ２１）、図２２に示した比較表からも判るように、画像処理部１４によって、その状況によって指先抽出処理が確実に行われるようなほうの処理が選択的に行われるようになっている（ステップＳ２２〜Ｓ２６）。

具体的には、バックライトが常時オフ状態のとき、黒画像が表示されているとき、周囲が暗くない環境の場合には、影画像指先抽出処理（ステップＳ２６）が選択的に実行されて、最終結果が出力される（ステップＳ２７）。なお、周囲が暗いかどうかは、画像Ａ（影画像）での画素データの大小によって判断され、画素データが非常に小さい場合には、周囲が非常に暗い環境であると判断されるようになっている。

一方、逆に、バックライトが常時オフ状態ではないとき、黒画像が表示されていないとき、周囲が非常に暗い環境の場合には、差分画像指先抽出処理（ステップＳ２５）が選択的に実行されて、最終結果が出力される（ステップＳ２７）。

以上のように本実施の形態では、所定の指標に基づいて差分画像指先抽出処理および影画像指先抽出処理のうちの一方を選択し、その選択した画像に基づいて指先抽出処理を行うようにしたので、それぞれの指先抽出処理のうちの適したほうを適用することができ、より様々な使用状況に対応して確実に抽出処理を行うことが可能となる。

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。本実施の形態の表示撮像装置は、どのような場合でも差分画像指先抽出処理および影画像指先抽出処理の両方を行い、画像Ａ（影画像）および差分画像Ｃの合成画像を利用して、指先抽出処理を行うようにしたものである。なお、その他の構成および動作については第１の実施の形態と同様であるので、適宜説明を省略する。

図２８は、本実施の形態の指先抽出処理を流れ図で表したものである。この図からわかるように、第１の実施の形態と同様にして画像Ａ（影画像）が取得されると（ステップＳ２１）、重心計算および接触（近接）中心の特定処理を除いて、差分画像指先抽出処理および影画像指先抽出処理がそれぞれ実行される（ステップＳ３２，Ｓ３３）。

次に、例えば図２９に示したように、差分画像指先抽出処理で生成される差分画像Ｃと、影画像指先抽出処理で生成される画像Ｅとの合成画像Ｆ＝α×Ｃ＋Ｅが生成される。（ステップＳ３４）なお、αは、所定の重み付け係数を表している。

そして、その後は第１の実施の形態と同様に、重心計算処理（ステップＳ３５）、接触（近接）中心の特定処理（ステップＳ３６）および最終結果の出力処理（ステップＳ３７）がなされる。

以上のように本実施の形態では、どのような場合でも差分画像指先抽出処理および影画像指先抽出処理の両方を行い、差分画像指先抽出処理で生成される差分画像Ｃと、影画像指先抽出処理で生成される画像Ｅとの合成画像Ｆ＝α×Ｃ＋Ｅを生成し、この合成画像Ｆに基づいて指先抽出処理を行うようにしたので、例えば図２９に示したように、より鮮明に指先などの画像を検出することができ、より確実に抽出処理を行うことが可能となる。

以上、第１〜第３の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。

例えば、本発明の移動平均画像の生成処理では、平均化画像処理を行い際に、対象とする画素を間引いて演算を行うようにし、処理を軽減するようにしてもよい。例えば図３０（Ａ），（Ｂ）に示したように、最初に注目画素を一の画素方向に沿って順次移動させつつ、この一の画素方向上の画素に対してのみ平均化演算処理を行い、その後、注目画素を他の一の画素方向に沿って順次移動させつつ、この他の一の画素方向上の画素に対してのみ平均化演算処理を行うようにしてもよい。また、例えば図３１（Ａ），（Ｂ）に示したような演算回路７０〜７３を用いて、所定の方向へのドット加算処理を行うようにしてもよい。

また、上記実施の形態では、原画像Ａから移動平均画像ＭＡを生成すると共に、この移動平均演算処理の際の画素領域３０の大きさを検出対象の物体として予想される大きさ（ターゲットサイズａ）を基に設定することにより、移動平均画像ＭＡにおいて、画素領域３０よりも小さい、すなわち画素領域３０よりも空間周波数の高いもの（この場合、指先画像）を除去し、この移動平均画像ＭＡと原画像Ａとの差分を取ることにより、最終的に画素領域３０よりも空間周波数の低いもの（この場合、影画像）を除去し、空間周波数の高いもの（この場合、指先画像）だけを抽出するようにしている。つまり、上記実施の形態では、このような高域通過フィルタの一例かつ最も簡便かつ高速処理の可能な方法として、移動平均画像ＭＡと原画像Ａとの差分を取る方法について説明している。よって、上記実施の形態で説明した方法には限定されず、他の高域通過フィルタを用いて、一度に低域通過フィルタ処理と差分処理の両方の処理を行うようにしてもよい。

また、上記実施の形態では、Ｉ／Ｏディスプレイパネル２０において、表示素子が液晶素子であると共に受光素子を別個に設ける場合で説明したが、例えば図３２および図３３に示した表示撮像装置のように、例えば、有機ＥＬ（ElectroLuminescence）素子のように、発光動作と受光動作とを時分割に行うことが可能な発光受光素子（表示撮像素子）によって、Ｉ／Ｏディスプレイパネル（Ｉ／Ｏディスプレイパネル８０）を構成するようにしてもよい。このように構成した場合でも、上記実施の形態と同様の効果を得ることが可能である。なお、この場合の表示光が出射されない期間とは、表示撮像素子による発光動作がなされていない期間となる。

本発明の第１の実施の形態に係る表示撮像装置の構成を表すブロック図である。 図１に示したＩ／Ｏディスプレイパネルの構成例を表すブロック図である。 各画素の構成例を表す回路図である。 各画素とセンサ読み出し用Ｈドライバとの接続関係を説明するための回路図である。 バックライトのオン・オフ状態と表示状態との関係について説明するためのタイミング図である。 第１の実施の形態に係る指先抽出処理を表す流れ図である。 図６における各抽出処理について説明するためのタイミング図である。 図７に示した差分画像指先抽出処理の詳細を表す流れ図である。 差分画像指先抽出処理について説明するための写真構成図である。 外光が明るい場合の差分画像指先抽出処理について説明するための図である。 外光が暗い場合の差分画像指先抽出処理について説明するための図である。 差分画像指先抽出処理による受光信号のダイナミックレンジについて説明するための図である。 検出対象の指先が同時に複数存在する場合の差分画像指先抽出処理について説明するための写真構成図である。 図７に示した影画像指先検出処理の詳細を表す流れ図である。 影画像指先検出処理の概念について説明するための斜視図である。 影画像指先検出処理による撮像画像の一例を表す摸式図である。 影画像指先抽出処理について説明するための写真構成図である。 影画像指先抽出処理による受光信号について説明するための図である。 移動平均画像の生成処理について説明するための図である。 移動平均画像の生成処理について説明するための図である。 移動平均画像の生成処理について説明するための図である。 差分画像指先抽出処理と影画像指先抽出処理とについて比較説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 指先抽出処理の結果を利用したアプリケーションの一例について説明するための図である。 第２の実施の形態に係る指先抽出処理を表す流れ図である。 第３の実施の形態に係る指先抽出処理を表す流れ図である。 図２８に示した画像合成処理について説明するための写真構成図である。 本発明の変形例に係る移動平均画像の生成処理について説明するための図である。 本発明の変形例に係る移動平均画像の生成処理について説明するための図である。 本発明の変形例に係る表示撮像装置の構成を表すブロック図である。 図３２に示した表示撮像装置における各画素の構成例を表す回路図である。

符号の説明

１１，８１…アプリケーションプログラム実行部、１２，８２…表示ドライブ回路、１３，８３…受光ドライブ回路、１３Ａ，８３Ａ…フレームメモリ、１４，８４…画像処理部、１５…バックライト、２０，８０…Ｉ／Ｏディスプレイパネル、２１…表示エリア（センサエリア）、２２…表示用Ｈドライバ、２３…表示用Ｖドライバ、２４…センサ用Ｖドライバ、２５…センサ読み出し用Ｈドライバ、３０…画素領域、３１〜３３…画素、４１ａ〜４１ｃ…定電流源、５０…撮像領域、５１…演算用領域。

Claims (17)

1. 画像表示機能と撮像機能とを有する表示撮像パネルと、
   前記表示撮像パネルからの光を利用してこの表示撮像パネルによって近接物体を撮像して得られる第１の画像と、前記表示撮像パネルによって前記近接物体の影を撮像して得られる第２の画像との差分画像を生成する生成手段と、
   前記第２の画像と前記差分画像とに基づく合成画像を利用して、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する画像処理手段と
   を備えた表示撮像装置。
2. 前記画像処理手段は、前記第２の画像を用いたフィルタ処理後の画像と、前記差分画像とに基づく合成画像を利用して、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する
   請求項１に記載の表示撮像装置。
3. 一の動作周期内において、前記第２の画像の取得を前記第１の画像の取得よりも先に行う
   請求項１に記載の表示撮像装置。
4. 前記一の動作周期内において、
   前記生成手段が前記差分画像を生成する前に、前記画像処理手段が、前記第２の画像を利用したフィルタ処理を開始する
   請求項３に記載の表示撮像装置。
5. 前記画像処理手段は、設定された大きさよりも小さな前記近接物体を検出するためのフィルタ処理を利用して、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する
   請求項１に記載の表示撮像装置。
6. 前記画像処理手段は、前記第２の画像の移動平均画像を生成し、この移動平均画像を利用して前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する
   請求項１に記載の表示撮像装置。
7. 前記画像処理手段は、複数の画素データから構成される前記第２の画像に基づいて、一の注目画素およびその周辺画素からなる画素領域において画素データの平均化演算処理を行うと共にその演算結果を次の注目画素を含む画素領域での平均化演算処理に反映させつつ注目画素を順次移動させるようにして平均化演算処理を撮像画像について行うことにより、前記移動平均画像を生成する
   請求項６に記載の表示撮像装置。
8. 前記画像処理手段は、前記近接物体の大きさに基づいて、前記平均化演算処理を行う際の画素領域の大きさを設定する
   請求項７に記載の表示撮像装置。
9. 前記画像処理手段は、前記平均化演算処理の対象とする画素を間引いて演算を行う
   請求項７に記載の表示撮像装置。
10. 前記画像処理手段は、前記移動平均画像と前記第２の画像との差分画像を利用して、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を取得する
    請求項６に記載の表示撮像装置。
11. 前記画像処理手段は、前記表示撮像パネル上に同時に位置する複数の近接物体の位置、形状または大きさの少なくとも１つに関する情報をそれぞれ取得する
    請求項１に記載の表示撮像装置。
12. 前記表示撮像パネルにより、取得した前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を表示する
    請求項１に記載の表示撮像装置。
13. 前記表示撮像パネルは、複数の液晶素子および複数の撮像素子を含んで構成され、
    前記複数の液晶素子へ向けて光を発する光源を備え、
    前記第２の画像は、前記光源から光が発せられていない期間または黒画像が表示されている期間に前記近接物体を撮像して得られる画像である
    請求項１に記載の表示撮像装置。
14. 前記表示撮像パネルは、発光動作および受光動作を時分割に行うことが可能な複数の表示撮像素子を含んで構成され、
    前記第２の画像は、前記表示撮像素子による発光動作がなされていない期間に前記近接物体を撮像して得られる画像である
    請求項１に記載の表示撮像装置。
15. 前記表示撮像素子は、有機ＥＬ素子である
    請求項１４に記載の表示撮像装置。
16. 画像表示機能と撮像機能とを有する表示撮像パネルによって近接物体の影を撮像する第１の撮像ステップと、
    前記表示撮像パネルからの光を利用して、この表示撮像パネルによって前記近接物体を撮像する第２の撮像ステップと、
    前記第２の撮像ステップにより得られた第１の画像と、前記第１の撮像ステップにより得られた第２の画像との差分画像を生成する画像生成ステップと、
    前記第２画像と前記差分画像とに基づく合成画像を利用して、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出する検出ステップと
    をコンピュータに実行させる物体検出プログラム。
17. 画像表示機能と撮像機能とを有する表示撮像パネルによって近接物体の影を撮像し、
    前記表示撮像パネルからの光を利用して、この表示撮像パネルによって前記近接物体を撮像し、
    前記表示撮像パネルからの光を利用した撮像により得られた第１の画像と、前記近接物体の影の撮像により得られた第２の画像との差分画像を生成し、
    前記第２画像と前記差分画像とに基づく合成画像を利用して、前記近接物体の位置、形状または大きさの少なくとも１つに関する情報を検出する
    物体の検出方法。

Images