JP4964850B2 - 画像解析装置、画像解析方法、撮像装置、画像解析プログラムおよび記録媒体 - Google Patents

Description

本発明は、複数の撮像センサを有する撮像画面を指示する指示物体の撮像画像を解析する画像解析装置、当該画像解析装置を備える撮像装置、および画像解析方法に関するものである。

近年、ＬＣＤ（液晶ディスプレイ）や有機ＥＬディスプレイなどのディスプレイの各画素に光センサを内蔵し、表示するだけでなく撮像も同時にできるディスプレイが開発されている。この光センサ内蔵ディスプレイを用いて、当該光センサ内蔵ディスプレイの表面の任意の位置を指示するユーザの指またはタッチペン等の指示部材の画像を撮像し、その画像をもとにタッチパネルを実現する技術開発もなされている。例えば、特許文献１において光センサ内蔵ＬＣＤを用いてタッチパネルを実現する技術が説明されている。なお、以下では、上記ユーザの指および指示部材をまとめて、指示物体と称する。

このように、光センサ内蔵ＬＣＤを用いたタッチパネルを実現する技術は開発されている。しかし、光センサで取得した画像は、タッチパネルにタッチされる指（または指示部材）の周囲の光である外光の強さおよび外光の入射する方向により大きく変化する。そのため、そのような変化の激しい画像から精度良くタッチと非タッチとを区別するためには、外光の影響を考慮した画像解析を行う必要がある。

そこで、特許文献２に記載の発明ではユーザの入力または外光センサなどから外光の強さを取得し、外光の強さがある閾値を超えたかどうかを基準に、画像処理方法を切替える手法を採用し、外光の変化に対応しようとしている。

また、特許文献３に記載の発明では、画像中の黒画像と白画像との割合を判定することにより、外光の強弱を判定し、画像処理方法を切替える手法を採用している。
特開２００６−２４４４４６号公報（２００６年９月１４日公開） 特開２００７−１８３７０６号公報（２００７年７月１９日公開） 特開２００４−３１８８１９号公報（２００４年１１月１１日公開）

ところが、特許文献２および３に記載の構成では、外光の強さを精度良く判定できないという問題が生ずる。

具体的には、特許文献２の発明では、外光を検出するための外光センサは、画像取得用光センサとは離れた位置にあるため、画像取得用光センサに入射する外光の強度を正確に算出することができない。

また、特許文献３の発明では、撮像画像に含まれる黒画像と白画像との割合から大雑把に外光の強度を判定しているだけであり、外光の強度を正確に算出することができない。

さらに、特許文献２および３には、算出した外光の強度を用いて、タッチパネル上の位置を指示する指示物体の画像を処理し、タッチ、非タッチの識別精度を向上させる技術は開示されていない。

本発明は、上記の問題点を解決するためになされたもので、その目的は、外光の強度を正確に算出することができる画像解析装置、撮像装置および画像解析方法を提供することにある。また、本発明の他の目的は、外光の強度を用いて、指示物体の画像を処理することにより、タッチ、非タッチの識別精度を向上させることである。

本発明に係る画像解析装置は、上記の課題を解決するために、複数の撮像センサを有する撮像画面に対して接触している、または接触していない指示物体の、上記撮像センサによって撮像された撮像画像を解析する画像解析装置であって、上記撮像画像を取得する取得手段と、上記取得手段が取得した撮像画像を解析することにより、上記撮像センサの一部に入射した上記指示物体の周囲の光の強度である外光強度を算出する外光強度算出手段とを備えることを特徴としている。

本発明に係る画像解析方法は、上記の課題を解決するために、複数の撮像センサを有する撮像画面に対して接触している、または接触していない指示物体の、上記撮像センサによって撮像された撮像画像を解析する画像解析装置における画像解析方法であって、上記撮像画像を取得する取得工程と、上記取得工程において取得された撮像画像を解析することにより、上記撮像センサの一部に入射した上記指示物体の周囲の光の強度である外光強度を算出する外光強度算出工程とを含むことを特徴としている。

指示物体の像が背景よりも暗く写った撮像画像を用いて、撮像画面に対して指示物体が接触しているかどうかを判定する場合には、背景の画素値、換言すれば、指示物体の周囲の光の強度である外光強度を正確に算出し、その外光強度を利用して撮像画像の解析を行うことが好ましい。

上記の構成によれば、取得手段は、指示物体の撮像画像を取得し、外光強度算出手段は、その撮像画像を解析することにより、撮像センサの一部に入射した指示物体の周囲の光の強度である外光強度を算出する。つまり、外光強度算出手段は、撮像センサによって撮像された撮像画像そのものを用いて外光強度を算出する。

それゆえ、外光強度測定用のセンサを設けることなく、外光強度を簡単な構成で、より正確に算出することができる。

また、上記外光強度算出手段は、上記取得手段が取得した撮像画像に含まれる複数の画素から少なくとも一部の画素を選択し、選択した画素を、その画素値が高い順に並べた場合の所定の順位にある画素の画素値を上記外光強度とすることが好ましい。

指示物体の像が背景よりも暗く写った撮像画像の場合、外光強度は、撮像画像の画素の中で比較的高い画素値を有する画素の群から算出することが好ましい。しかし、最も高い画素値を外光強度として採用した場合には、ノイズ等の影響を受け易くなり、外光強度を正確に算出できない可能性が高い。

上記の構成によれば、外光強度算出手段は、取得手段が取得した撮像画像に含まれる複数の画素から少なくとも一部の画素を選択し、選択した画素の画素値を高い順に並べる。そして、外光強度算出手段は、最上位から所定の順位（例えば、１０番目）にある画素の画素値を外光強度として採用する。

それゆえ、上記所定の順位を適切に設定することにより、外光強度を適切に算出することができる。

また、上記所定の順位は、選択された画素の総数の１０％未満の数に相当することが好ましい。

上記の構成によれば、外光強度算出手段は、選択された画素の総数の１０％未満の数に相当する順位にある画素の画素値を上記外光強度として採用する。例えば、選択された画素の総数が１０００であり、上記所定の順位が、選択された画素の総数の２％の数に相当する順位であれば、上記所定の順位は２０番目になる。

それゆえ、撮像画像の中から外光強度を算出するために適当な画素値を有する画素を適切に選択することができる。

また、上記画像解析装置は、上記外光強度算出手段が算出した外光強度から、上記指示物体が上記撮像画面に対して接触していない場合の当該指示物体の像を上記撮像画像から削除するための画素値の基準値を算出する基準値算出手段と、上記取得手段が取得した撮像画像に含まれる画素のうち、上記基準値算出手段が算出した基準値以上の画素値を有する画素の画素値を上記基準値に置き換える画像処理手段とをさらに備えることが好ましい。

上記の構成によれば、基準値算出手段は、指示物体が撮像画面に対して接触していない場合の当該指示物体の像を撮像画像から削除するための画素値の基準値を、外光強度算出手段が算出した外光強度に基づいて算出する。そして、画像処理手段は、撮像画像に含まれる画素のうち、上記基準値以上の画素値を有する画素の画素値を基準値に置き換える。

それゆえ、指示物体が撮像画面に対して接触していない場合の当該指示物体の像を形成する画素の画素値および背景に相当する画素の画素値は、すべて基準値まで下げられ、均一な背景が形成される。従って、指示物体が撮像画面に対して接触していない場合の当該指示物体の像が撮像画像から削除されることになる。

その結果、指示物体の認識に不要な、指示物体が撮像画面に対して接触していない場合の指示物体の像を撮像画像から削除でき、指示物体の認識の精度を高めることができる。

また、上記画像解析装置は、上記取得手段が取得した撮像画像から上記指示物体の像の特徴を示す特徴領域を抽出する特徴領域抽出手段と、上記外光強度算出手段が算出した外光強度から、上記特徴領域が上記撮像画面に接触した指示物体の接触部分の像に由来するものであるかどうかを判定するための画素値の基準値を算出する基準値算出手段と、上記基準値算出手段が算出した基準値以上の画素値を有する画素に由来する上記特徴領域を削除する削除手段と、上記削除手段によって削除されなかった特徴領域から、上記撮像画面に接触した指示物体の接触部分の像の位置を算出する位置算出手段とをさらに備えることが好ましい。

上記の構成によれば、特徴領域抽出手段は、撮像画像から指示物体の像の特徴を示す特徴領域を抽出する。基準値算出手段は、外光強度算出手段が算出した外光強度に基づいて、特徴領域が撮像画面に接触した指示物体の接触部分の像に由来するものであるかどうかを判定するための画素値の基準値を算出する。そして、削除手段は、特徴領域抽出手段が抽出した特徴領域から上記基準値以上の画素値を有する画素に由来する特徴領域を削除し、位置算出手段は、削除手段によって削除されなかった特徴領域から、撮像画面に接触した指示物体の接触部分の像の位置を算出する。

それゆえ、指示物体の認識に不要な、指示物体が撮像画面に対して接触していない場合の指示物体の像に由来する特徴領域を削除でき、指示物体の認識の精度を高めることができる。

また、上記基準値算出手段は、所定の数式を用いて上記基準値を算出し、上記外光強度算出手段が算出した外光強度に応じて、複数種類の上記所定の数式を使い分けることが好ましい。

上記の構成によれば、外光強度の変化に応じて、その外光強度に適した基準値を算出することができる。例えば、基準値算出手段は、外光強度が第１の範囲にある場合に第１の数式を用いて上記基準値を算出し、外光強度が第２の範囲にある場合に第２の数式を用いて上記基準値を算出することができる。

また、上記画像解析装置を動作させる画像解析プログラムであって、コンピュータを上記各手段として機能させるための画像解析プログラムおよび当該画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。

本発明に係る撮像装置は、上記の課題を解決するために、複数の撮像センサを有する撮像画面を備え、当該撮像画面に対して接触している、または接触していない指示物体の撮像画像を上記撮像センサによって撮像する撮像装置であって、上記画像解析装置を備え、上記取得手段は、上記撮像センサによって撮像された撮像画像を取得することを特徴としている。

上記の構成により、複数の撮像センサによって撮像画像を取得することができ、取得した撮像画像から外光強度を従来より簡単に、かつ、より正確に算出することができる。

また、上記撮像装置は、上記外光強度算出手段が算出した外光強度に基づいて上記撮像センサの感度を設定する感度設定手段をさらに備えることが好ましい。

上記の構成により、適切な感度で撮像画像を取得することができ、指示物体の認識に適した撮像画像を取得することができる。

上記感度設定手段は、上記撮像センサの感度を段階的に設定し、上記外光強度が所定の基準値以下になった場合に、上記撮像センサの感度を一度に複数段階上昇させることが好ましい。

上記の構成によれば、外光強度が所定の基準値以下になった場合に、撮像センサの感度が一度に複数段階上昇する。それゆえ、感度を少しずつ高めていくよりも、より迅速に適切な撮像を行うことができる。

上記感度設定手段は、上記外光強度算出手段が算出した外光強度が飽和しないように上記撮像センサの感度を設定することが好ましい。

外光強度が飽和した場合には、当該指示物体の像を認識する精度が著しく低下する。なお、外光強度が飽和するとは、外光強度が、撮像センサが定量的に検出できる光の強度の範囲を超えることを意味する。

上記の構成により、外光強度が飽和しない感度で撮像画像を取得することができ、指示物体の認識に適した撮像画像を取得することができる。

上記感度設定手段は、上記撮像センサの感度が第１感度に設定されている状態で上記外光強度が第１基準値に達したときに上記感度を上記第１感度から当該第１感度よりも低い第２感度へ低下させ、上記撮像センサの感度が上記第２感度に設定されている状態で上記外光強度が第２基準値に低下したときに上記感度を上記第２感度から上記第１感度へ上昇させ、上記第２基準値は、上記第１基準値に対応する実際の外光強度を上記第２感度に設定されている撮像センサで検出した場合の外光強度よりも小さいことが好ましい。

上記の構成によれば、撮像センサの感度が第２感度に設定されている状態で撮像センサの感度を第１感度に上昇させる外光強度（外光強度算出手段によって算出される外光強度）の基準である第２基準値は、撮像センサの感度が第１感度に設定されている状態で撮像センサの感度を第２感度に低下させる外光強度（外光強度算出手段によって算出される外光強度）の基準である第１基準値に対応する実際の外光強度を第２感度に設定されている撮像センサで検出した場合の外光強度（外光強度算出手段によって算出される外光強度）よりも小さい。

それゆえ、撮像センサの感度を第１感度から第２感度に低下させた場合に、外光強度算出手段によって算出される外光強度がすぐに第２基準値に達して、撮像センサの感度が第１感度へ再び切り替わる可能性が少なくなる。従って、外光強度が多少変化しただけで、撮像センサの感度が第１感度から第２感度へまたは第２感度から第１感度へ頻繁に切り替わることを防止することができる。

以上のように、本発明に係る画像解析装置は、撮像画像を取得する取得手段と、上記取得手段が取得した撮像画像を解析することにより、撮像センサの一部に入射した指示物体の周囲の光の強度である外光強度を算出する外光強度算出手段とを備える構成である。

本発明に係る画像方法は、撮像画像を取得する取得工程と、上記取得工程において取得された撮像画像を解析することにより、撮像センサの一部に入射した指示物体の周囲の光の強度である外光強度を算出する外光強度算出工程とを含む構成である。

それゆえ、外光強度を簡単な構成で、より正確に算出することができるという効果を奏する。

〔実施の形態１〕
本発明の実施の一形態について図１〜図１６に基づいて説明すれば、以下のとおりである。ここでは、本発明の実施形態のひとつとして、タッチパネル上の任意の位置を指示するユーザの指またはタッチペン等の指示部材（指示物体と総称する）の画像を撮像し、その画像をもとに指示物体が指示した位置を検出するタッチ位置検出装置１０について説明する。なお、タッチ位置検出装置を表示装置、撮像装置、入力装置または電子機器と表現することもできる。

（タッチ位置検出装置１０の構成）
図１は、本実施形態のタッチ位置検出装置１０の構成を示すブロック図である。図１に示すように、タッチ位置検出装置（画像解析装置、撮像装置）１０は、タッチパネル部（撮像部）１、画像解析部（画像解析装置）９およびアプリケーション実行部１５を備えている。

画像解析部９は、画像調整部２、外光強度算出部（外光強度算出手段）３、最適感度算出部（感度設定手段）４、タッチ・非タッチ間画素値算出部（基準値算出手段）５、認識不要情報削除部（画像処理手段）６、特徴量抽出部（特徴領域抽出手段）７およびタッチ位置検出部（位置算出手段）８を備えている。

タッチパネル部１は、撮像素子としての光センサ（撮像センサ）１２を内蔵した光センサ内蔵ＬＣＤ１１、ＡＤ（analog/digital）コンバータ１３および感度調整部１４を備えている。

光センサ内蔵ＬＣＤ（液晶パネル／ディスプレイ）１１は、光センサ１２を内蔵しているため、表示だけではなく画像の撮像が可能である。それゆえ、光センサ内蔵ＬＣＤ１１は、タッチパネルとしての光センサ内蔵ＬＣＤ１１の表面をタッチする指示物体の像を含む画像（以下、撮像画像（またはセンサ画像）と称する）を撮像する撮像画面として機能する。

光センサ１２は、光センサ内蔵ＬＣＤ１１の各画素に対して１つずつ設けられている。換言すれば、光センサ１２は、光センサ内蔵ＬＣＤ１１の内部において、マトリクス状に配置されている。ただし、光センサ１２の配置様式および個数は、上述のものに限定されず、適宜変更してもよい。

光センサ１２で取得した信号は、ＡＤコンバータ１３によりデジタル化された後、画像調整部２へ出力される。

画像調整部２は、タッチパネル部１で撮像された撮像画像のゲインおよびオフセットを調整するキャリブレーション処理などを行い、調整した撮像画像を外光強度算出部３および認識不要情報削除部６へ出力する。これ以降の説明では、８bit、２５６階調の精度でグレースケールの画像が出力されたものとして説明する。なお、画像調整部２はタッチパネル部１から撮像画像を取得する取得手段としても機能している。また、画像調整部２は、取得した撮像画像または調整した撮像画像を記憶部４０に格納してもよい。

外光強度算出部３は、画像調整部２から出力された撮像画像から外光強度を算出し、算出した外光強度を最適感度算出部４およびタッチ・非タッチ間画素値算出部５へ出力する。外光強度算出部３における処理の詳細については後述する。なお、外光強度とは、光センサ１２に入射した指示物体（撮像対象）の周囲の光の強度である。外光強度算出部３は、外光強度を反映した撮像画像中の画素の画素値（輝度値）を外光強度として算出する。

最適感度算出部４は、外光強度算出部３で算出された外光強度に応じて、指示物体を認識するための最適な光センサ１２の感度を算出し、感度調整部１４へ出力する。最適感度算出部４における処理の詳細については後述する。

感度調整部１４は、各光センサ１２の感度を最適感度算出部４から出力された最適感度に調整する。

タッチ・非タッチ間画素値算出部５は、認識不要情報削除部６において、指示物体の認識に不要な撮像画像中の情報を削除するための画素値の基準値（タッチ・非タッチ間画素値）を算出する。より具体的には、タッチ・非タッチ間画素値算出部５は、外光強度算出部３が算出した外光強度から、指示物体が光センサ内蔵ＬＣＤ１１に対して接触していない場合の当該指示物体の像を撮像画像から削除するための画素の基準値であるタッチ・非タッチ間画素値を算出する。タッチ・非タッチ間画素値算出部５における処理の詳細については後述する。

認識不要情報削除部６は、タッチ・非タッチ間画素値算出部５が算出したタッチ・非タッチ間画素値を取得し、撮像画像に含まれる画素のうち、タッチ・非タッチ間画素値以上の画素値を有する画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の認識に不要な撮像画像中の情報を削除する。

特徴量抽出部７は、認識不要情報削除部６によって処理された撮像画像から、ソーベルフィルタなどのエッジ検出処理により指示物体の特徴を示す特徴量（エッジ特徴量）を撮像画像の画素ごとに抽出する。換言すれば、特徴量抽出部７は、指示物体の像（形状）の特徴を示す特徴領域を撮像画像から抽出する。特徴量抽出部７は、指示物体の特徴量を、例えば、注目する画素の周囲８方向における画素値の勾配（グラデーション）方向を示す８方向のベクトルを含む特徴量として抽出する。特徴量抽出部７における特徴量抽出処理は、指示物体の形状（特にエッジ）を検出できるものであればよく、特に限定されない。特徴量抽出部７は、抽出した特徴量と、当該特徴量が抽出された画素（特徴領域）とを互いに対応付けてタッチ位置検出部８へ出力する。

タッチ位置検出部８は、特徴量抽出部７が抽出した特徴量を示す特徴領域に対して、パターンマッチすることによりタッチ位置を特定する。このパターンマッチの手法は、指示物体の像の位置を適切に特定できるものであれば、どのようなものであってもよい。タッチ位置検出部８は、特定したタッチ位置を示す座標をアプリケーション実行部１５へ出力する。

アプリケーション実行部１５は、タッチ位置検出部８が出力した座標を用いて、当該座標に対応したアプリケーションを実行するか、または、特定のアプリケーションにおいて、当該座標に対応した処理を行う。アプリケーション実行部１５において実行されるアプリケーションはどのようなものであってもよい。

（外光強度算出部３における処理の詳細）
次に、外光強度算出部３における処理の意義および内容について詳細に説明する。

まず、光センサ内蔵ＬＣＤ１１の光センサ１２が撮像した撮像画像から外光強度を算出する理由について説明する。例えば光センサ内蔵ＬＣＤ１１の外部に照度センサを装備して外光強度を算出することも可能であるが、撮像画像を取得する光センサ１２と照度センサとでは光の波長などの違いによって反応が異なるので、照度センサで算出した外光強度と光センサ１２で算出した外光強度とでは大きく異なる可能性がある。

例えば、室内光で照度センサが1000Luxを示す光と、太陽光で照度センサが1000Luxを示す光とでは、照度センサにとっては同じ1000Luxである。しかし、照度センサにとっては同じ1000Luxの光であっても、光に含まれる波長領域が大きく異なるので、光センサ１２で外光強度を算出した場合とは異なる結果になる。そのため、光センサ１２に入射する光の強度を算出するためには、光センサ１２で取得した画像から算出することが好ましい。

また、外部に照度センサではなく、光センサ１２と同じ特性を持つセンサを装備することも可能であるが、光センサ１２と外部のセンサとで光の当たり具合など微妙に場所や環境が変化するので、外光強度を算出するためには、光センサ１２で外光強度を算出することが最も好ましい。

それゆえ、外光強度算出部３は、光センサ１２によって撮像された撮像画像（より正確には、画像調整部２から出力された撮像画像）から外光強度を算出する。

図２は、外光強度算出部３の処理の内容を説明するための図であり、（ａ）は外光強度の算出に用いる画素を示す図であり、（ｂ）は外光強度算出部３が作成するヒストグラムと外光強度との関係を示す図である。

外光強度算出部３は、画像調整部２から出力された撮像画像に含まれる複数の画素から少なくとも一部の画素を選択し、選択した画素を、その画素値が高い順に並べた場合の所定の順位にある画素の画素値を外光強度と見なす。

つまり、外光強度算出部３は、撮像画像に含まれる複数の画素について、大きい順に並べた画素値と当該画素値を有する画素の個数との関係を示すヒストグラムを作成する。このヒストグラムは、撮像画像の全画素の画素値から作成するのが好ましい。しかし、コストや処理速度の観点から図２（ａ）に示すように、撮像画像を構成する全ての画素（換言すれば、全ての光センサ１２からの出力値）から求めるのではなく、撮像画像の画素値から、ある程度間隔をあけて等間隔に選択された画素（図２（ａ）にて符号２５を付した黒点で示される画素）（サンプル点）を用いてもよい。符号２６を付した画素は、サンプリングされない画素である。

外光の強さが異なる環境でタッチパネル部１上に指を置いた状態で撮像画像を取得した場合、図２（ｂ）に示すように撮像画像の明るさが異なるので、作成されるヒストグラムも異なり、外光が強い環境で取得した画像ほどヒストグラムの分布する領域が画素値の高い部分にひっぱられるような形になる。なお、図２（ｂ）において、Ａはセンサ画像（３）から求めた外光強度であり、Ｂはセンサ画像（２）から求めた外光強度であり、Ｃはセンサ画像（１）から求めた外光強度である。

次に、求めたヒストグラムから明るさを算出する処理では、ヒストグラムの画素値が高いほうから順にカウントしていき、そのカウント数がヒストグラムを作成したサンプル点数のある割合に達した時の画素値を外光強度の値として採用する。

このようにヒストグラムの上位の数％の部分の画素値を外光強度として算出する理由について説明する。図３は、外光強度算出部３における処理の意義を説明するための図である。例えば図３に示すように、同じ外光強度の条件下でも指や手の置き方によって取得される画像に変化が生じる。図３のセンサ画像（１）はパネルの左からパネルの左端のほうに指を置いた場合の撮像画像であり、図３のセンサ画像（２）はパネルの左からパネルの右端のほうに指を置いた場合の撮像画像である。

どちらの場合も外光の強度は同じであるが、パネル上の指を置く場所によって画像が異なるので、作成したヒストグラムも図３に示すように異なったものとなる。この場合に正確に外光強度を算出しようとした場合、例えばヒストグラムの上位５％の部分を外光強度とすれば図３のセンサ画像（１）と図３のセンサ画像（２）において差はほとんど生じないが、上位５０％の部分を外光強度として算出した場合は図３のセンサ画像（１）と図３のセンサ画像（２）との間で算出した外光強度の値に大きな差が生じることになる。

以上の理由により、ヒストグラムから外光強度を算出する場合は、上位数％から外光強度を算出することで、指や手を置く場所による算出値のゆれを極力減らすことが可能になる。

しかし、例えば上位０．１％など極端にヒストグラムの上位の値から算出すると、画素値の欠陥などによる精度の低下を招くことになるので、一桁％程度から外光強度を算出するのが好ましい。すなわち、撮像画像から選択された画素を、その画素値が高い順に並べた場合の、外光強度として採用される画素値を有する画素の順位は、選択された画素の総数の１０％未満の数に相当することが好ましい。

図４は、外光強度算出部３における処理の変更例を説明するための図である。

外光強度を求める方式はヒストグラムに限定されるものではなく、例えば図４に示すように、撮像画像内のサンプル点をとる領域（符号３１〜３５を付している）を限定し、限定された各領域３１〜３５内の画素（サンプル点）の画素値の平均値を求めて、平均値が一番高い値を外光強度として採用するようにしてもよい。なお、符号３６で示す白抜きの画素は、非サンプル点である。

（タッチ・非タッチ間画素値算出部５における処理の詳細）
タッチ・非タッチ間画素値算出部５の説明をする前に、光センサ１２で取得したタッチ、非タッチの撮像画像がどのような画像になるのか、図５を参照しつつ説明する。図５の（ａ）、（ｃ）、（ｅ）および（ｇ）は、指示物体を撮像するときの周囲の明るさを示す図であり、（ｂ）、（ｄ）、（ｆ）および（ｈ）は、撮像画像の一例を示す図である。

従来の光センサパネルでは、指でパネルをタッチした部分はバックライトの光が指腹に反射してセンサに反射光が入射される。図５の（ｂ）に示すように、指腹の反射光よりも外光が弱い場合、指腹は背景より明るく白い丸となり、図５の（ｄ）に示すように、指腹の反射光より外光が強い場合、指腹は背景より暗く黒い丸となる。ペンの場合も同様である。

それとは別の方式として、タッチ位置検出装置１０の構成を変えることにより、常に背景画素値が、指腹の像を形成する画素の画素値（以下、指腹下画素値と称する）よりも明るい状況を作りだすことができる。図６は、タッチパネル部１の変更例を示す断面図である。図６に示すように、光センサ内蔵ＬＣＤ１１の表面に透明基板１６と弾性フィルム１７とを設け、その反対側にバックライト１９を設けてもよい。

弾性フィルム１７には、突起部１７ａが形成されているため、透明基板１６と弾性フィルム１７との間に空気層１８が形成される。この空気層１８により、透明基板１６の表面に圧力がかかっていないときには、バックライト１９からの光の反射がおこる。一方で圧力がかかっているときは空気層１８での反射がなくなるために、反射率が低くなる。この方法により常に指でタッチした部分の画素値（指腹下画素値）を背景画素値よりも暗くすることができる。

この弾性フィルム１７を設けた時の撮像画像の例を図７に示す。弾性フィルム１７の影響により、周囲が真っ暗な状態でも、背景部分より指で押した部分が暗くなるので、常に指で押した部分が暗くなる状態を維持できる。外光が明るくなったときも同様に押した部分が常に暗くなる。ペンの場合も同様である。

以下の説明では、弾性フィルム１７を有するタッチパネル部１において、背景画素値よりも指腹下画素値が小さくなる場合について説明する。

図８に光センサ１２で取得したタッチ、非タッチの撮像画像がどのような画像になるのかを示す。指などが何も置かれていない状態で外光が直接光センサ１２に入った場合、図８の条件（１）のように指の像が含まれない画像４１（背景のみの画像）が得られる。図８の条件（２）のように光センサ内蔵ＬＣＤ１１の上に指を近づけているが、タッチしていない場合は、指の影４４が薄く映り込んだような画像４２になる。図８の条件（３）のように指を完全に光センサ内蔵ＬＣＤ１１に押し付けた状態では、画像４２よりも影４５の部分が濃くなった画像４３が取得される。

次に、図８の画像４１の画素値（外光強度算出部３で求めた外光強度と等価）と、図８の画像４２における非タッチ時の指腹下画素値と、図８の画像４３におけるタッチ時の指腹下画素値との関係を図９に示す。図９（ａ）に示すように、背景画素の画素値（符号５１で示す）、非タッチ時の指腹下画素値（符号５２で示す）およびタッチ時の指腹下画素値（符号５３で示す）は、外光強度が強くなる（明るくなる）につれて高くなっていく。その時の撮像画像をそれぞれ図９（ｂ）に示す。

背景画素の画素値は、非タッチ時の指腹下画素値よりも常に高く、非タッチ時の指腹下画素値は、タッチ時の指腹下画素値よりも常に高くなるという関係が成り立つので、非タッチ時の指腹下画素値とタッチ時の指腹下画素値との間には常に画素値差のギャップがあることになる。

この関係が成り立つのであれば、図１０に示すように、非タッチ時の指腹下画素値（符号５２で示す）とタッチ時の指腹下部分の画素値（符号５３で示す）との間に閾値（符号５４で示す）を設定することができれば、閾値以上の画素値は認識に不必要な情報として削除することができ、認識精度を向上させることができる。

そこで、タッチ・非タッチ間画素値算出部５では、外光強度の変化に応じてこの非タッチ時の指腹下画素値とタッチ時の指腹下画素値との間の画素値であるタッチ・非タッチ間画素値を動的に算出する。

しかし、オンライン処理時（実際にユーザが光センサ内蔵ＬＣＤ１１をタッチする時）には、タッチ時の指腹下画素値および非タッチ時の指腹下画素値を得ることは不可能であるので、現場で得ることができる外光強度とタッチ・非タッチ間画素値との関係を示す式を予め設定しておき、この式に外光強度を代入することによりタッチ・非タッチ間画素値を算出する。

この式は下記（１）式に示すものであり、この式に外光強度算出部３で算出した外光強度（Ａ）を代入することによりタッチ・非タッチ間画素値（Ｔ）を算出することができる。

Ｔ＝ＡＸ ・・・（１）
上記（１）式においてＸは、予め求められている定数である。このＸを求めるために、まず下記（２）式を満たすＮの値を設定する。

Ｔ＝（Ｂ＋Ｃ）/Ｎ ・・・（２）
上記（２）式において、Ｂは非タッチ時の指腹下画素値であり、Ｃはタッチ時の指腹下画素値である。Ｎは、ＴがＢとＣとの間になるような任意の数値である。

そして、上記（２）式をもとに、下記（３）を満たすＸを算出する。

Ｔ＝ＡＸ＝（Ｂ＋Ｃ）/Ｎ ・・・（３）
オンライン処理時には、タッチ・非タッチ間画素値算出部５は、フレーム毎に外光強度算出部３が求めたＡを上記（１）式に代入することにより、Ｔを算出する。

なお、上記（１）式は、タッチ・非タッチ間画素値算出部５が利用可能な記憶部（例えば、記憶部４０に格納されていればよい。

図１１（ａ）および（ｂ）は、環境照度の変化に対応した、タッチ時および非タッチ時の指腹下画素値の変化の別の例をそれぞれ示すグラフである。

タッチ・非タッチ間画素値を求める際に、タッチ、非タッチ画素値の特性が図１１の（ａ）および（ｂ）に示すように、分岐点を境に変化する場合は、分岐点（外光強度がある画素値に達した点）を境に、タッチ・非タッチ間画素値を算出する式を変更するようにしてもよい。

すなわち、記憶部４０にタッチ・非タッチ間画素値を求めるための２種類の異なる数式を格納しておき、タッチ・非タッチ間画素値算出部５は、外光強度算出部３が算出した外光強度が所定の値に達する前後で２種類の異なる数式を使い分けてもよい。換言すれば、タッチ・非タッチ間画素値算出部５は、外光強度算出部３が算出した外光強度に応じて、タッチ・非タッチ間画素値を求めるための複数種類の数式を使い分けてもよい。

上記２種類の異なる数式とは、例えば、上記（１）式において定数Ｘの値が互いに異なる数式である。

（認識不要情報削除部６における処理の詳細）
このようにして求めたタッチ・非タッチ間画素値は、認識不要情報削除部６に出力される。認識不要情報削除部６では、タッチ・非タッチ間画素値算出部５で求めたタッチ・非タッチ間画素値以上の画素値を有する撮像画像の画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の認識に不要な情報を削除する。

図１２は、認識不要情報削除部６における処理を説明するための図である。同図の最下段には、背景画素値と指腹下画素値との関係が示されている。

すなわち、タッチ・非タッチ間画素値よりも高い画素値を有する画素は、光センサ内蔵ＬＣＤ１１にタッチした指示物体の像の形成に関与していないと考えられるため、図１２に示すように、タッチ・非タッチ間画素値以上の画素値を有する画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の背景に存在している不要な像を削除することができる。

（最適感度算出部４における処理の詳細）
図１３は、外光強度が飽和した場合の問題点を説明するための図である。

上記の処理をフレームごとに行うことで、タッチ位置を検出することができる。しかし、図１３（ａ）に示すように外光強度が大きく上昇して、算出した外光強度が飽和画素値に達した場合、それ以上外光が強くなってもどれくらい外光が強くなったのかを算出することができなくなる。

そのため、外光強度から算出しているタッチ・非タッチ間画素値も正確に算出することができなくなってしまい、最悪の場合パネルの上に指を置いた状態でも全ての画素が飽和してしまい、まっ白な画像になってしまう。図１３（ａ）では、外光強度が飽和画素値に達した場合にタッチ・非タッチ間画素値算出部５によって算出されたタッチ・非タッチ間画素値を符号５４で示し、外光強度が飽和画素値に達していない場合の（実際の）タッチ・非タッチ間画素値を符号５５で示している。

この問題を解決するためには、光センサ１２の感度を落として図１３（ｂ）に示すように外光強度が飽和しない状態にする必要がある。この感度を落とす処理により外光強度が飽和しないようになるので、正確にタッチ・非タッチ間画素値を算出することができるようになる。光センサ１２の感度を切り替えるタイミングは、外光強度が飽和した時点（図１３（ａ）において符号５６で示す時点）またはその直前である。

最適感度算出部４では、外光強度算出部３で算出された外光強度に応じて、指示物体の認識にとって最適な感度算出を行い、感度調整部１４を通して最適な撮像画像を取得できるように光センサ１２の感度を調整する。

感度切替をした場合としない場合との撮像画像の例を図１４に示す。図１４の上段は感度切替をしない場合を示している。感度切替をしない場合は外光強度が強くなるにつれ背景画素値と同時に、指を透過する光により指腹下画素値も高くなってしまい、最後には全ての画素が飽和してしまい、まっ白な画像になる。このような画像からは正確にタッチ位置検出を行うことは不可能である。

一方、図１４の下段に示すように、感度切替をした場合は、感度切替をしない場合と同じ外光強度でも、感度が落ちているので背景画素値および指腹下画素値が飽和することなく、タッチ位置が検出できる画像の状態を保てていることがわかる。

ここで、最適感度算出部４の処理の一例として、感度１／１から感度１／４まで段階的に光センサ１２の感度を切替える処理について図１５を参照しつつ説明する。図１５は、最適感度算出部４における感度切替処理の例を説明するための図である。

まず、感度を落とす場合の例を説明する。感度１／１で外光強度が飽和画素値である２５５に達した時、感度DOWN（低下）処理が行われ感度１／２になる。この時、感度１／１で外光強度が２５５だったものが、感度１／２になることにより、同じ外光でも外光強度は半分の１２８と算出される。同じく感度１／２で外光強度が飽和画素値である２５５に達した時は感度DOWN処理により感度１／４になり、感度１／２で２５５だった外光強度は、感度１／４では１２８になる。

次に感度を上げる場合の例を説明する。感度１／４で外光強度が飽和画素値「２５５」の約１／４の６４以下になった場合は、感度UP（上昇）処理により感度１／２に戻す。感度１／４で６４だった外光強度は感度１／２になることにより１２８と算出される。感度１／２で外光強度が飽和画素値の約１／４の６４以下になった場合は、感度UP処理により光センサ１２の感度は感度１／１に戻る。

外光強度が２５５で飽和してしまうため、外光強度がそれ以上の場合は、外光強度がどの程度強くなったのかを算出することはできない。そのため、感度DOWNの場合は、感度１／１、１／２、１／４と順に感度を落としていくことが好ましい。しかし、感度UPの場合は外光強度が飽和することがないので、感度１／４から１／１にジャンプさせることができる。例えば、図１５で感度１／４のときに外光強度が１２８付近から３２以下にいきなり低下した場合は、感度を１／２にアップさせるのではなく、感度を１／１に上昇させるようにしても良い。

すなわち、最適感度算出部４は、外光強度に応じて光センサ１２の感度を段階的に設定し、外光強度が所定の基準値以下になった場合に、光センサ１２の感度を一度に複数段階上昇させる。なお、感度設定の段階は、上述の３段階に限定されず、２段階でも４段階以上でもよい。

ここでは軽度な外光強度の変化により、感度UP・DOWNが頻繁に切り替わらないようにするために、感度DOWNポイントを２５５（感度DOWN後は１２８になる）、感度UPポイントを６４（感度UP後は１２８になる）として、ヒステリシスを持たせるようにした。換言すれば、最適感度算出部４は、光センサ１２の感度が第１感度（例えば、感度１／１）に設定されている状態で外光強度が第１基準値（例えば、２５５）に達したときに光センサ１２の感度を第１感度から当該第１感度よりも低い第２感度（例えば、感度１／２）へ低下させ、光センサ１２の感度が第２感度に設定されている状態で外光強度が第２基準値（例えば、６４）に低下したときに光センサ１２の感度を第２感度から第１感度へ上昇させる。上記第２基準値は、第１基準値に対応する実際の外光強度を第２感度に設定されている光センサ１２で検出した場合の外光強度（例えば、１２８）よりも所定の値だけ小さいことが好ましい。この所定の値は、当業者によって適宜設定されればよい。

なお、上記第１および第２基準値は、最適感度算出部４が利用可能な記憶部に格納されていればよい。

以上のように外光強度に応じて光センサ１２の感度UP・DOWN処理を行うことで、画像のダイナミックレンジを最適な値に調整し、最適な画像で認識処理を行うことができるようになる。

（タッチ位置検出装置１０における処理の流れ）
次に、図１６を参照しつつ、タッチ位置検出装置１０におけるタッチ位置検出処理の流れの一例について説明する。図１６は、タッチ位置検出装置１０におけるタッチ位置検出処理の流れの一例を示すフローチャートである。

まず、光センサ内蔵ＬＣＤ１１の光センサ１２によって指示物体の撮像画像が撮像される。光センサ１２が取得した撮像画像は、ＡＤコンバータ１３を介して、画像調整部２へ出力される（Ｓ１）。

画像調整部２は、撮像画像を受け取ると（取得工程）、当該撮像画像のゲインおよびオフセットを調整するキャリブレーション処理などを行い、調整した撮像画像を外光強度算出部３および認識不要情報削除部６へ出力する（Ｓ２）。

外光強度算出部３は、撮像画像を受け取ると、当該撮像画像から上述したように外光強度を算出し（外光強度算出工程）、算出した外光強度を最適感度算出部４およびタッチ・非タッチ間画素値算出部５へ出力する（Ｓ３）。

最適感度算出部４は、外光強度算出部３で算出された外光強度に応じて、指示物体を認識するための最適な感度を算出し、感度調整部１４へ出力する（Ｓ４）。感度調整部１４は、最適感度算出部４から出力された最適感度に対応するように各光センサ１２の感度を調整する。

ここで、外光強度が飽和している場合および外光強度が所定の値よりも低い場合には、感度調整部１４によって光センサ１２の感度が調整される。この感度調整は、次のフレームの撮像画像に反映される。

次に、タッチ・非タッチ間画素値算出部５は、上述したように、外光強度算出部３が算出した外光強度からタッチ・非タッチ間画素値を算出し、算出したタッチ・非タッチ間画素値を認識不要情報削除部６へ出力する（Ｓ５）。

認識不要情報削除部６は、タッチ・非タッチ間画素値を受け取ると、撮像画像に含まれる画素のうち、タッチ・非タッチ間画素値以上の画素値を有する画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の認識に不要な撮像画像中の情報（すなわち、指示物体の背景の情報）を削除する（Ｓ６）。認識不要情報削除部６は、処理した撮像画像を特徴量抽出部７へ出力する。

特徴量抽出部７は、認識不要情報削除部６から撮像画像を受け取ると、エッジ検出処理により指示物体の特徴を示す特徴量（エッジ特徴量）を撮像画像の画素ごとに抽出し、抽出した特徴量および当該特徴量を示す画素（特徴領域）の位置情報（画素の座標）をタッチ位置検出部８へ出力する（Ｓ７）。

タッチ位置検出部８は、特徴量および特徴領域の位置情報を受け取ると、当該特徴領域に対してパターンマッチすることによりタッチ位置を算出する（Ｓ８）。タッチ位置検出部８は、算出したタッチ位置を示す座標をアプリケーション実行部１５へ出力する。

なお、画像調整部２が、調整した撮像画像を記憶部４０に格納する場合には、外光強度算出部３および認識不要情報削除部６は、記憶部４０から撮像画像を取得すればよい。

〔実施の形態２〕
本発明の他の実施形態について図１７〜図１９に基づいて説明すれば、以下のとおりである。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。

（タッチ位置検出装置２０の構成）
図１７は、本実施形態のタッチ位置検出装置２０の構成を示すブロック図である。図１７に示すように、タッチ位置検出装置２０は、タッチ位置検出装置１０とは異なり、特徴量抽出部（特徴領域抽出手段）２１および認識不要情報削除部（削除手段）２２を備えている。

特徴量抽出部２１は、画像調整部２から出力された撮像画像に含まれる、指示物体の像の特徴を示す特徴量を抽出し、認識不要情報削除部２２へ出力する。特徴量抽出部２１における処理は、特徴量抽出部７における処理と同じであり、処理の対象および特徴量の出力先が異なっているだけである。

認識不要情報削除部２２は、外光強度算出部３が算出した外光強度に基づいて、特徴量抽出部２１が抽出した特徴量を示す特徴領域の少なくとも一部を削除する。より詳細には、認識不要情報削除部２２は、タッチ・非タッチ間画素値算出部５が算出したタッチ・非タッチ間画素値以上の画素値を有する画素に由来する特徴量（特徴領域）を削除する。画素と対応付けられた特徴量を削除すれば特徴領域（特徴量を示す画素）の情報を削除したことになるため、特徴量の削除と特徴領域の削除とはほぼ同義である。

そして、認識不要情報削除部２２によって雑音除去された特徴量（特徴領域）に対して、タッチ位置検出部８がパターンマッチすることによりタッチ位置を特定する。

図１８は、認識不要情報削除部２２における認識不要情報削除処理を説明するための図である。図１８に示すように、非タッチ時の撮像画像に含まれている、光センサ内蔵ＬＣＤ１１に接触していない指示物体の像（タッチ・非タッチ間画素値以上の画素値を有する画素）の特徴量は、認識不要情報削除部２２によって削除される。そのため、図１８の「不要部分削除前」の画像に見られる特徴量（環状の領域）は、非タッチ時の撮像画像では削除されているが、タッチ時の撮像画像では削除されていない。

実施形態１のタッチ位置検出装置１０においては、図１２に示すように背景画素値と指腹下画素値との関係を変化させた後（背景画素値と指腹下画素値との差を縮めた後）に特徴量抽出を行うので、不要部分を削除した後の撮像画像から特徴量を抽出するためにはエッジ特徴量を抽出するための閾値を変化させる（緩める）必要がある。

一方、本実施形態のタッチ位置検出装置２０のように、特徴量抽出を行った後に、タッチ・非タッチ間画素値以上の画素値を有する画素に対応する特徴量の削除を行う場合には、特徴量抽出時のパラメータを変更する必要がないので、こちらの方式のほうが効果的である。

このような理由により、本実施形態では、撮像画像から特徴量抽出をした後に、タッチ・非タッチ間画素値を用いた雑音除去処理を採用している。

（タッチ位置検出装置２０における処理の流れ）
次に、図１９を参照しつつ、タッチ位置検出装置２０におけるタッチ位置検出処理の流れの一例について説明する。図１９は、タッチ位置検出装置２０におけるタッチ位置検出処理の流れの一例を示すフローチャートである。図１９に示すステップＳ１１〜Ｓ１５は、図１６に示したステップＳ１〜Ｓ５と同様のものである。

ステップＳ１５において、タッチ・非タッチ間画素値算出部５は、算出したタッチ・非タッチ間画素値を認識不要情報削除部２２へ出力する。

ステップＳ１６において、特徴量抽出部２１は、画像調整部２から出力された撮像画像から指示物体の像の特徴を示す特徴量を抽出し、抽出した特徴量および当該特徴量を示す特徴領域の位置情報を含む特徴領域データを、撮像画像とともに認識不要情報削除部２２へ出力する。

認識不要情報削除部２２は、タッチ・非タッチ間画素値算出部５からタッチ・非タッチ間画素値を、特徴量抽出部２１から撮像画像および特徴領域データを受け取ると、タッチ・非タッチ間画素値以上の画素値を有する画素に由来する特徴量を削除する（Ｓ１７）。より具体的には、認識不要情報削除部２２は、特徴領域データが示す特徴量と対応付けられた、撮像画像中の画素（特徴領域）の画素値を、撮像画像を参照することにより取得し、その画素値がタッチ・非タッチ間画素値以上であれば、当該特徴量を特徴領域データから削除する。認識不要情報削除部２２は、この処理を特徴領域データが示す特徴量ごとに行う。認識不要情報削除部２２は、処理した特徴領域データをタッチ位置検出部８へ出力する。

タッチ位置検出部８は、認識不要情報削除部２２によって処理された特徴領域データを受け取ると、当該特徴領域データが示す特徴領域に対してパターンマッチすることによりタッチ位置を算出する（Ｓ１８）。タッチ位置検出部８は、算出したタッチ位置を示す座標をアプリケーション実行部１５へ出力する。

（変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

また、上述したタッチ位置検出装置１０およびタッチ位置検出装置２０の各ブロック、特に外光強度算出部３、最適感度算出部４、タッチ・非タッチ間画素値算出部５、認識不要情報削除部６および認識不要情報削除部２２は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、タッチ位置検出装置１０およびタッチ位置検出装置２０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタッチ位置検出装置１０およびタッチ位置検出装置２０の制御プログラム（画像解析プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記タッチ位置検出装置１０およびタッチ位置検出装置２０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、タッチ位置検出装置１０およびタッチ位置検出装置２０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

なお、本発明は、以下のようにも表現できる。

すなわち、本発明の表示装置は、画像を取得することが可能な光センサ内蔵の表示装置において、前記表示装置は光センサで取得した画像から光センサに入射する光の強さを検出する外光強度算出手段を備えることを特徴としている。

また、前記外光強度算出手段は光センサで取得した画像のヒストグラムを算出する画像ヒストグラム算出手段を備え、画像ヒストグラム算出手段で算出されたヒストグラムから光の強度を算出することが好ましい。

また、前記画像ヒストグラム算出手段は、全画素中の任意のサンプル点からヒストグラムを算出することが好ましい。

前記外光強度算出手段は、前記画像ヒストグラム算出手段で算出されたヒストグラムにおいて、画素値の高いほうから順に度数を足し合わせていき、合計がヒストグラム全体の度数を足し合わせた合計値と比較して予め設定した割合より高くなったとき、その画素値を外光強度として算出することが好ましい。

前記表示装置は、前期外光強度算出手段で算出された外光強度を使って画像処理することが好ましい。

撮像画面を指示する指示物体の指示物体の周囲の外光強度を正確に算出でき、算出した外光強度に基づいて指示物体の撮像画像を処理することにより、指示物体の認識精度を高めることができるため、タッチパネルを有する位置検出装置、入力装置に適用できる。

本発明の一実施形態に係るタッチ位置検出装置の構成を示すブロック図である。 （ａ）は外光強度の算出に用いる画素を示す図であり、（ｂ）は外光強度算出部が作成するヒストグラムと外光強度との関係を示す図である。 外光強度算出部における処理の意義を説明するための図である。 外光強度算出部における処理の変更例を説明するための図である。 指示物体を撮像するときの周囲の明るさおよび撮像画像の例を示す図である。 タッチパネル部の変更例を示す断面図である。 指示物体を撮像するときの周囲の明るさおよび弾性フィルムを設けた時の撮像画像の例を示す図である。 タッチ、非タッチの撮像画像の例を示す図である。 （ａ）は環境照度と撮像画像の画素値との関係を示すグラフであり、（ｂ）は異なる環境照度下での撮像画像の例を示す図である。 タッチ・非タッチ間画素値を説明するためのグラフである。 （ａ）および（ｂ）は、環境照度の変化に対応した、タッチ時および非タッチ時の指腹下画素値の変化の別の例をそれぞれ示すグラフである。 認識不要情報削除部における処理を説明するための図である。 （ａ）および（ｂ）は、外光強度が飽和した場合の問題点を説明するための図である。 感度切替をした場合としない場合との撮像画像の例を示す図である。 最適感度算出部における感度切替処理の例を説明するための図である。 上記タッチ位置検出装置におけるタッチ位置検出処理の流れの一例を示すフローチャートである。 本発明の別の実施形態に係るタッチ位置検出装置の構成を示すブロック図である。 認識不要情報削除部における処理を説明するための図である。 上記タッチ位置検出装置におけるタッチ位置検出処理の流れの一例を示すフローチャートである。

符号の説明

１ タッチパネル部
２ 画像調整部（取得手段）
３ 外光強度算出部（外光強度算出手段）
４ 最適感度算出部（感度設定手段）
５ タッチ・非タッチ間画素値算出部（基準値算出手段）
６ 認識不要情報削除部（画像処理手段）
７ 特徴量抽出部（特徴領域抽出手段）
８ タッチ位置検出部（位置算出手段）
９ 画像解析部（画像解析装置）
１０ タッチ位置検出装置（画像解析装置、撮像装置）
１２ 光センサ（撮像センサ）
２０ タッチ位置検出装置（画像解析装置、撮像装置）
２１ 特徴量抽出部（特徴領域抽出手段）
２２ 認識不要情報削除部（削除手段）
４１ 画像（撮像画像）
４２ 画像（撮像画像）
４３ 画像（撮像画像）

Claims (12)

1. 複数の光センサを有する撮像画面に対して接触している、または接触していない指示物体の、上記光センサによって撮像された撮像画像を解析する画像解析装置であって、
   上記撮像画像を取得する取得手段と、
   上記取得手段が取得した撮像画像を解析することにより、上記光センサの一部に入射した上記指示物体の周囲の光の強度である外光強度を算出する外光強度算出手段とを備え、
   上記外光強度算出手段は、上記取得手段が取得した撮像画像に含まれる複数の画素から少なくとも一部の画素を選択し、選択した画素を、その画素値が高い順に並べた場合の所定の順位にある画素の画素値を上記外光強度とし、
   上記所定の順位は、選択された画素の総数の１０％未満の数に相当することを特徴とすることを特徴とする画像解析装置。
2. 上記外光強度算出手段が算出した外光強度から、上記指示物体が上記撮像画面に対して接触していない場合の当該指示物体の像を上記撮像画像から削除するための画素値の基準値を算出する基準値算出手段と、
   上記取得手段が取得した撮像画像に含まれる画素のうち、上記基準値算出手段が算出した基準値以上の画素値を有する画素の画素値を上記基準値に置き換える画像処理手段とをさらに備えることを特徴とする請求項１に記載の画像解析装置。
3. 上記取得手段が取得した撮像画像から上記指示物体の像の特徴を示す特徴領域を抽出する特徴領域抽出手段と、
   上記外光強度算出手段が算出した外光強度から、上記特徴領域が上記撮像画面に接触した指示物体の接触部分の像に由来するものであるかどうかを判定するための画素値の基準値を算出する基準値算出手段と、
   上記基準値算出手段が算出した基準値以上の画素値を有する画素に由来する上記特徴領域を削除する削除手段と、
   上記削除手段によって削除されなかった特徴領域から、上記撮像画面に接触した指示物体の接触部分の像の位置を算出する位置算出手段とをさらに備えることを特徴とする請求項１に記載の画像解析装置。
4. 上記基準値算出手段は、所定の数式を用いて上記基準値を算出し、上記外光強度算出手段が算出した外光強度に応じて、複数種類の上記所定の数式を使い分けることを特徴とする請求項３に記載の画像解析装置。
5. 請求項１〜４のいずれか１項に記載の画像解析装置を動作させる画像解析プログラムであって、コンピュータを上記各手段として機能させるための画像解析プログラム。
6. 請求項５に記載の画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体。
7. 複数の光センサを有する撮像画面に対して接触している、または接触していない指示物体の、上記光センサによって撮像された撮像画像を解析する画像解析装置における画像解析方法であって、
   上記撮像画像を取得する取得工程と、
   上記取得工程において取得された撮像画像を解析することにより、上記光センサの一部に入射した上記指示物体の周囲の光の強度である外光強度を算出する外光強度算出工程とを含み、
   上記外光強度算出工程において、上記取得工程で取得した撮像画像に含まれる複数の画素から少なくとも一部の画素を選択し、選択した画素を、その画素値が高い順に並べた場合の所定の順位にある画素の画素値を上記外光強度とし、
   上記所定の順位は、選択された画素の総数の１０％未満の数に相当することを特徴とする画像解析方法。
8. 複数の光センサを有する撮像画面を備え、当該撮像画面に対して接触している、または接触していない指示物体の撮像画像を上記光センサによって撮像する撮像装置であって、
   請求項１〜４のいずれか１項に記載の画像解析装置を備え、
   上記取得手段は、上記光センサによって撮像された撮像画像を取得することを特徴とする撮像装置。
9. 上記外光強度算出手段が算出した外光強度に基づいて上記光センサの感度を設定する感度設定手段をさらに備えることを特徴とする請求項８に記載の撮像装置。
10. 上記感度設定手段は、上記光センサの感度を段階的に設定し、上記外光強度が所定の基準値以下になった場合に、上記光センサの感度を一度に複数段階上昇させることを特徴とする請求項９に記載の撮像装置。
11. 上記感度設定手段は、上記外光強度算出手段が算出した外光強度が飽和しないように上記光センサの感度を設定することを特徴とする請求項９または１０に記載の撮像装置。
12. 上記感度設定手段は、上記光センサの感度が第１感度に設定されている状態で上記外光強度が第１基準値に達したときに上記感度を上記第１感度から当該第１感度よりも低い第２感度へ低下させ、上記光センサの感度が上記第２感度に設定されている状態で上記外光強度が第２基準値に低下したときに上記感度を上記第２感度から上記第１感度へ上昇させ、
    上記第２基準値は、上記第１基準値に対応する実際の外光強度を上記第２感度に設定されている光センサで検出した場合の外光強度よりも小さいことを特徴とする請求項９〜１１のいずれか１項に記載の撮像装置。

Images