JP4699536B2 - 位置検出装置、制御方法、制御プログラムおよび記録媒体 - Google Patents

Description

本発明は、光センサを有する撮像画面に近接した撮像対象を光センサによって撮像した撮像画像を解析することにより、当該撮像画像における、撮像対象の像の位置を検出する位置検出装置に関するものである。

タッチパネル上の任意の位置を指示するユーザの指またはタッチペン等の指示部材（以下、指示物体と総称する）の画像を撮像し、その画像に対してパターンマッチを行うことにより、指示物体が指示した位置を特定するタッチパネルが実現されている。このようなタッチパネルの一例が特許文献１に開示されている。

特許文献１の画像取込機能付き表示装置では、受光感度が異なる２種以上の光センサ素子を画素領域上に配置している。例えば、低感度の光センサ素子を備えた画素が配列された行と、高感度の光センサ素子を備えた画素が配列された行とが交互に配置されている。そして、外光が弱い場合には高感度の光センサ素子により指示物体の画像を取得し、外光が強い場合には低感度の光センサ素子により上記画像を取得している。

特開２００６−１８２１９号公報（２００６年１月１９日公開）

しかしながら、この表示装置に設けられた種類の異なる各光センサ素子は、光量の大きさに応じた受光感度は互いに異なっているが、検出可能な光の波長特異性は同じである。そのため、例えば、指示物体の反射光による光センサの出力と環境光による光センサの出力とが等しくなる状態で表示装置を使用する場合においては、画像の読み取りが互いに感度の異なる何れの光センサ素子においても不可能となってしまう。

本発明は、上記の問題点を解決するためになされたもので、その目的は、広い範囲の環境照度下において撮像対象の像の位置を適切に検出できる位置検出装置を提供することにある。

本発明に係る位置検出装置は、上記の課題を解決するために、複数の光センサを有する撮像画面に近接した撮像対象を上記光センサによって撮像した撮像画像を解析することにより、当該撮像画像における、上記撮像対象の像の位置を検出する位置検出装置であって、上記光センサとしての、波長に対する感度特性が互いに異なる第１および第２光センサと、上記第１光センサが取得した撮像画像を用いて、上記撮像対象の周囲の光強度である外光強度の指標となる推算値を算出する推算値算出手段とを備えることを特徴としている。

本発明に係る制御方法は、上記の課題を解決するために、複数の光センサを有する撮像画面に近接した撮像対象を上記光センサによって撮像した撮像画像を解析することにより、当該撮像画像における、上記撮像対象の像の位置を検出する位置検出装置の制御方法であって、上記位置検出装置は、上記光センサとして、波長に対する感度特性が互いに異なる第１および第２光センサを備え、上記第１光センサが取得した撮像画像を用いて、上記撮像対象の周囲の光強度である外光強度の指標となる推算値を算出する推算値算出工程を含むことを特徴としている。

撮像対象の像が写った撮像画像を用いて撮像対象の位置を検出する場合には、撮像対象の周囲の光の強度である外光強度を正確に算出し、その外光強度を利用して撮像画像の解析を行うことが好ましい。

上記の構成によれば、上記位置検出装置は、撮像対象を撮像する光センサとして、波長に対する感度特性が互いに異なる第１および第２光センサを備えている。また、推算値算出手段は、第１光センサが取得した撮像画像を用いて外光強度の指標となる推算値を算出する。この推算値は、外光強度そのものであってもよいし、外光強度の変化を反映した値であってもよい。この推算値は、位置検出装置における各種の処理に用いられ、外光強度の変化に応じた処理が行われる。

波長に対する感度特性が互いに異なる２種類の光センサを備えることにより、１種類の光センサを備える構成の場合よりも広い範囲の環境照度下において撮像対象の像の位置を適切に検出できる。また、第１光センサが取得した撮像画像を用いて外光強度の推算値を算出することにより、外光強度測定用のセンサを設けることなく、外光強度の変化を簡単な構成で検出することができる。

また、上記第１光センサは主に赤外光を受光する赤外光センサであり、上記推算値算出手段は、上記第１光センサの受光量に基づいて上記推算値を算出することが好ましい。

上記の構成によれば、推算値算出手段は、赤外光センサの受光量に基づいて上記推算値を算出する。蛍光灯および屋外での薄暗い環境光下の光には赤外光はほとんど含まれていないため、室内および屋外での薄暗い環境光下において、バックライトからの赤外光の反射光を利用して撮像対象の位置検出を行う場合（反射光認識モードの場合）には、外光の影響をほとんど受けずに位置検出を行うことができる。しかし、赤外光の外光強度が強くなると撮像対象の像と背景部分とのコントラストがなくなり、撮像対象の像を認識できなくなる。よって、認識ができなくなる前に赤外光の外光強度を検出して、撮像対象の認識を反射認識モードから影認識モード（撮像対象の影を認識するモード）に切り替えることが好ましい。それゆえ、赤外光の外光強度を推定しておくことが好ましい。

また、影認識モードにおいても、赤外光は、可視光よりも指を透過しやすいため、屋外の明るい環境光下のように赤外光が多く含まれている環境において、撮像対象の影を撮像して位置検出を行う場合には、撮像対象の影の明るさが指などを透過する赤外光の強さにより影響される（可視光を主に受光するセンサも赤外光には多少反応するため画素値が上昇する）ため、赤外光の外光強度を正確に把握することで、撮像対象の影の明るさ（画素値）を予測し、認識処理にフィードバックすることで認識精度を向上することが可能となる。

また、上記第２光センサは主に可視光を受光する可視光センサであることが好ましい。

上記の構成によれば、上記位置検出装置は、赤外光センサおよび可視光センサという光の波長に対する感度特性が互いに異なる光センサを備えることになる。それゆえ、１種類の光センサを備える構成の場合よりも広い範囲の環境照度下において撮像対象の像の位置を適切に検出できる。

また、上記位置検出装置は、上記撮像対象に対して赤外光を出射する赤外光光源をさらに備えることが好ましい。

上記の構成により、撮像対象に対して赤外光を出射し、その反射光を検出することにより、撮像対象の像を撮像することができる。

また、上記推算値算出手段は、上記第１光センサが取得した撮像画像に含まれる少なくとも一部の画素を、その画素値が高い順に並べた場合の所定の順位にある画素の画素値を用いて上記推算値を算出することが好ましい。

外光強度の推算値は、撮像画像の画素の中で比較的高い画素値を有する画素の群から算出することが好ましい。しかし、最も高い画素値を外光強度の推算値として採用した場合には、ノイズ等の影響を受け易くなり、外光強度の推算値を正確に算出できない可能性が高い。

上記の構成によれば、推算値算出手段は、撮像画像に含まれる複数の画素から少なくとも一部の画素を選択し、選択した画素の画素値を高い順に並べる。そして、推算値算出手段は、最上位から所定の順位（例えば、１０番目）にある画素の画素値を用いて外光強度の推算値を算出する。

それゆえ、上記所定の順位を適切に設定することにより、外光強度の推算値を適切に算出することができる。

また、上記位置検出装置は、上記推算値算出手段が算出した推算値に基づいて、上記撮像対象に対して出射された光が当該撮像対象に反射した光の像を撮像した撮像画像から当該撮像対象の像の位置を検出する第１検出方法と、上記光センサに入射する外光が上記撮像対象によって遮られることによって生じる影を撮像した撮像画像から当該撮像対象の像の位置を検出する第２検出方法とを切り替える切替手段をさらに備え、上記推算値算出手段は、上記切替手段が切り替えた検出方法に対応する上記所定の順位を用いて上記推算値を算出する。

上記の構成によれば、切替手段は、推算値算出手段が算出した外光強度の推算値に基づいて第１検出方法と第２検出方法とを切り替える。そして、推算値算出手段は、切り替えられた検出方法に対応する所定の順位を用いて推算値を算出する。

それゆえ、撮像対象の像の検出方法に応じて、適切な外光強度の推算値を算出することができる。

また、上記位置検出装置は、上記推算値算出手段が算出した推算値に基づいて、上記撮像対象に対して出射された光が当該撮像対象に反射した光の像を撮像した撮像画像から当該撮像対象の像の位置を検出する第１検出方法と、上記光センサに入射する外光が上記撮像対象によって遮られることによって生じる影を撮像した撮像画像から当該撮像対象の像の位置を検出する第２検出方法とを切り替える切替手段をさらに備えることが好ましい。

上記の構成によれば、切替手段は、推算値算出手段が算出した外光強度の推算値に基づいて第１検出方法と第２検出方法とを切り替える。第１検出方法は、撮像対象に対して出射された光が当該撮像対象に反射した光の像を撮像した撮像画像から当該撮像対象の像の位置を検出するものであり、反射光の強度以上に外光強度が強くなると撮像対象の像を検出することができない。

それゆえ、切替手段が、外光強度の推算値に基づいて第１検出方法と第２検出方法とを切り替えることにより、外光強度に応じて適切な撮像方法を選択することができる。

また、上記第１光センサは主に赤外光を受光する赤外光センサであり、上記位置検出装置は、上記撮像対象に対して赤外光を出射する赤外光光源をさらに備え、上記切替手段は、上記第１検出方法に切り替える場合に上記赤外光光源を点灯させ、上記第２検出方法に切り替える場合に上記赤外光光源を消灯させることが好ましい。

上記の構成によれば、切替手段は、第１検出方法で撮像対象の像を検出する場合には、赤外光光源をオンにすることにより赤外光光源から赤外光を出射させる。これにより、撮像対象に赤外光を照射することができ、撮像対象からの反射光を取得することができる。また、切替手段は、第２検出方法で撮像対象の像を検出する場合には、赤外光光源をオフにする。第２検出方法では、撮像対象の影を撮像した撮像画像から撮像対象の像の位置を検出するため、赤外光光源から赤外光を出射する必要はない。

また、赤外光光源をオフにしない状態でも撮像対象の認識が可能であるが、もし赤外光光源をオフにしなければ撮像対象の影が明るくなるため、外光強度が弱い状態では背景部分と撮像対象の影とが同化してしまい、認識できる範囲が狭くなる。よって、撮像対象の影を認識する第２検出方法では赤外光光源をオフにすることが好ましい。

それゆえ、上記の構成により、撮像対象の検出方法に応じて赤外光光源のオン／オフを適切に制御することができる。

また、上記第２検出方法を上記第１検出方法に切り替える上記推算値の基準値と、上記第１検出方法を上記第２検出方法に切り替える上記推算値の基準値とは異なっていることが好ましい。

上記の構成により、外光強度の推算値が小刻みに変動することによって第１検出方法と上記第２検出方法とが頻繁に切り替わることを防止することができる。

また、上記位置検出装置は、上記撮像画像から上記撮像対象の像の特徴を示す特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段が抽出した特徴量が、上記撮像画面に接触した撮像対象の接触部分の像に由来するものであるかどうかを判定するための画素値の基準値を、上記推算値算出手段が算出した推算値から算出する基準値算出手段と、上記基準値算出手段が算出した基準値に基づいて上記特徴量抽出手段が抽出した特徴量の少なくとも一部を削除する削除手段と、上記削除手段によって削除されなかった特徴量から、上記撮像画面に接触した撮像対象の接触部分の像の位置を算出する位置算出手段とをさらに備えることが好ましい。

上記の構成によれば、特徴量抽出手段は、撮像画像から撮像対象の像の特徴を示す特徴量を抽出する。基準値算出手段は、外光強度の推算値に基づいて、特徴量が撮像画面に接触した撮像対象の接触部分の像に由来するものであるかどうかを判定するための画素値の基準値を算出する。そして、削除手段は、上記基準値に基づいて特徴量抽出手段が抽出した特徴量の少なくとも一部を削除し、位置算出手段は、削除手段によって削除されなかった特徴量から、撮像画面に接触した撮像対象の接触部分の像の位置を算出する。

それゆえ、指示物体の認識に不要な、指示物体が撮像画面に対して接触していない場合の指示物体の像に由来する特徴量を削除でき、指示物体の認識の精度を高めることができる。

また、上記基準値算出手段は、上記基準値として画素値の上限値を算出し、上記削除手段は、上記基準値算出手段が算出した上限値以上の画素値を有する画素に対応する特徴量を削除することが好ましい。

上記の構成によれば、上記上限値以上の画素値を有する画素から抽出された特徴量が削除される。それゆえ、撮像対象の像の検出に不要な大きな画素値を有する画素から抽出された特徴量を削除することができる。

また、上記基準値算出手段は、上記基準値として画素値の下限値を算出し、上記削除手段は、上記基準値算出手段が算出した下限値以下の画素値を有する画素に対応する特徴量を削除することが好ましい。

上記の構成によれば、上記下限値以下の画素値を有する画素から抽出された特徴量が削除される。それゆえ、撮像対象の像の検出に不要な小さな画素値を有する画素から抽出された特徴量を削除することができる。

また、上記基準値算出手段は、上記基準値として画素値の上限値および下限値を算出し、上記削除手段は、上記基準値算出手段が算出した上限値以上の画素値を有する画素および上記基準値算出手段が算出した下限値以下の画素値を有する画素に対応する特徴量を削除することが好ましい。

上記の構成によれば、上記上限値以上および下限値以下の画素値を有する画素から抽出された特徴量が削除される。それゆえ、撮像対象の像の検出に不要な範囲の画素値を有する画素から抽出された特徴量を削除することができる。

また、上記位置検出装置は、上記推算値算出手段が算出した推算値から、上記撮像画面に接触した撮像対象の接触部分の像以外の像を上記撮像画像から削除するための画素値の基準値を算出する基準値算出手段と、上記基準値算出手段が算出した基準値に基づいて、上記撮像画像に含まれる画素の一部の画素の画素値を変更する画像処理手段とをさらに備えることが好ましい。

上記の構成によれば、基準値算出手段は、撮像画面に接触した撮像対象の接触部分の像以外の像（撮像対象の認識に不要な情報）を撮像画像から削除するための画素値の基準値を外光強度の推算値に基づいて算出する。そして、画像処理手段は、基準値算出手段が算出した基準値に基づいて、撮像対象の認識に不要な情報が撮像画像から削除されるように、撮像画像に含まれる画素の一部の画素の画素値を変更する。例えば、画像処理手段は、撮像画像に含まれる画素のうち、上記基準値以上の画素値を有する画素の画素値を基準値に置き換える。

それゆえ、撮像対象の認識に不要な情報を撮像画像から削除することができ、撮像対象を認識する精度を高めることができる。

また、上記基準値算出手段は、上記基準値として画素値の上限値を算出し、上記画像処理手段は、上記基準値算出手段が算出した上限値以上の画素値を変更することが好ましい。

上記の構成によれば、撮像画像における上記上限値以上の画素値が変更される。例えば、上記上限値以上の画素値を当該上限値に変更してもよいし、上記上限値以上の画素値が飽和するように画素値の最大値に変更してもよい。それゆえ、撮像対象の像の認識に不要な大きな画素値を有する像を撮像画像から削除することができる。

また、上記基準値算出手段は、上記基準値として画素値の下限値を算出し、
上記画像処理手段は、上記基準値算出手段が算出した下限値以下の画素値を変更することが好ましい。

上記の構成によれば、撮像画像における上記下限値以下の画素値が変更される。例えば、上記下限値以下の画素値を当該下限値に変更してもよいし、上記下限値以下の画素値が飽和するように画素値の最小値に変更してもよい。それゆえ、撮像対象の像の認識に不要な小さな画素値を有する像を撮像画像から削除することができる。

また、上記基準値算出手段は、上記基準値として画素値の上限値および下限値を算出し、上記画像処理手段は、上記基準値算出手段が算出した上限値以上の画素値および上記基準値算出手段が算出した下限値以下の画素値を変更することが好ましい。

上記の構成によれば、撮像画像における上記上限値以上および下限値以下の画素値が変更される。それゆえ、撮像対象の像の検出に不要な範囲の画素値を有する像を撮像画像から削除することができる。

上記基準値算出手段は、複数の所定の数式から選択される少なくとも１つの数式を用いて上記基準値を算出し、上記推算値算出手段が算出した推算値に応じて、複数種類の上記所定の数式を使い分けることが好ましい。

上記の構成によれば、外光強度の変化を表す推算値に応じて、その時点の外光強度に適した基準値を算出することができる。例えば、基準値算出手段は、外光強度（またはその推算値）が第１の範囲にある場合に第１の数式を用いて上記基準値を算出し、外光強度が第２の範囲にある場合に第２の数式を用いて上記基準値を算出することができる。

また、上記位置検出装置は、上記推算値算出手段が算出した推算値に基づいて、上記撮像対象に対して出射された光が当該撮像対象に反射した光の像を撮像した撮像画像から当該撮像対象の像の位置を検出する第１検出方法と、上記光センサに入射する外光が上記撮像対象によって遮られることによって生じる影を撮像した撮像画像から当該撮像対象の像の位置を検出する第２検出方法とを切り替える切替手段をさらに備え、上記基準値算出手段は、複数の所定の数式から選択される少なくとも１つの数式を用いて上記基準値を算出し、上記切替手段が切り替えた検出方法に応じて、上記所定の数式を使い分けることが好ましい。

撮像対象の認識に不要な情報を削除するための基準値は、第１検出方法と第２検出方法とでは異なる場合がある。上記の構成により、切替手段が切り替えた検出方法に応じた好ましい基準値を算出することができる。

また、上記位置検出装置は、上記推算値算出手段が算出した推算値に基づいて上記第１光センサの感度を設定する感度設定手段をさらに備えることが好ましい。

上記の構成により、外光強度の変化に応じて適切な感度で撮像画像を取得することができる。

また、上記感度設定手段は、上記第１光センサの感度を段階的に設定し、上記推算値が所定の基準値以下になった場合に、上記第１光センサの感度を一度に複数段階上昇させることが好ましい。

上記の構成によれば、外光強度の推算値が所定の基準値以下になった場合に、１光センサの感度が一度に複数段階上昇する。それゆえ、感度を少しずつ高めていくよりも、より迅速に適切な感度調整を行うことができる。

また、上記感度設定手段は、上記推算値算出手段が算出した推算値が飽和しないように上記第１光センサの感度を設定することが好ましい。

外光強度の推算値が飽和した場合には、撮像対象の像を認識する精度が著しく低下する。なお、外光強度が飽和するとは、外光強度が、第１光センサが定量的に検出できる光の強度の範囲を超えることを意味する。外光強度が飽和すれば、外光強度を反映した推算値も飽和する。

上記の構成により、外光強度の推算値が飽和しない感度で撮像画像を取得することができ、撮像対象の認識に適した撮像画像を取得することができる。

また、上記位置検出装置は、上記推算値算出手段が算出した推算値に基づいて上記第１光センサの感度を設定する感度設定手段をさらに備え、上記感度設定手段は、上記基準値算出手段が算出した基準値が飽和しないように上記第１光センサの感度を設定することが好ましい。

上記の構成によれば、基準値算出手段が算出した基準値が飽和しないように第１光センサの感度が調整される。外光強度が高まることで、基準値算出手段が算出する基準値が飽和すれば、撮像画面に接触した撮像対象の像と、撮像画面に接触していない撮像対象の像とを正確に区別することが困難になる。

それゆえ、上記の構成により、撮像画面に接触した撮像対象の像を認識する精度を高めることができる。

また、上記感度設定手段は、上記第１光センサの感度が第１感度に設定されている状態で上記推算値が第１基準値に達したときに上記感度を上記第１感度から当該第１感度よりも低い第２感度へ低下させ、上記第１光センサの感度が上記第２感度に設定されている状態で上記推算値が第２基準値に低下したときに上記感度を上記第２感度から上記第１感度へ上昇させ、上記第２基準値は、上記第１基準値に対応する実際の外光強度を上記第２感度に設定されている光センサで検出した場合の外光強度よりも小さいことが好ましい。

上記の構成によれば、第１光センサの感度が第２感度に設定されている状態で第１光センサの感度を第１感度に上昇させる外光強度の推算値の基準値である第２基準値は、第１光センサの感度が第１感度に設定されている状態で第１光センサの感度を第２感度に低下させる外光強度の推算値の基準値である第１基準値に対応する実際の外光強度を第２感度に設定されている第１光センサで検出した場合の外光強度の推算値よりも小さい。

それゆえ、第１光センサの感度を第１感度から第２感度に低下させた場合に、外光強度算出手段によって算出される外光強度の推算値がすぐに第２基準値に達して、第１光センサの感度が第１感度へ再び切り替わる可能性が少なくなる。従って、外光強度が多少変化しただけで、第１光センサの感度が第１感度から第２感度へまたは第２感度から第１感度へ頻繁に切り替わることを防止することができる。

また、上記位置検出装置を動作させる制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラムおよび当該制御プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。

本発明に係る位置検出装置は、以上のように、複数の光センサを有する撮像画面に近接した撮像対象を上記光センサによって撮像した撮像画像を解析することにより、当該撮像画像における、上記撮像対象の像の位置を検出する位置検出装置であって、上記光センサとしての、波長に対する感度特性が互いに異なる第１および第２光センサと、上記第１光センサが取得した撮像画像を用いて、上記撮像対象の周囲の光強度である外光強度の指標となる推算値を算出する推算値算出手段とを備える構成である。

また、本発明に係る制御方法は、以上のように、複数の光センサを有する撮像画面に近接した撮像対象を上記光センサによって撮像した撮像画像を解析することにより、当該撮像画像における、上記撮像対象の像の位置を検出する位置検出装置の制御方法であって、上記位置検出装置は、上記光センサとして、波長に対する感度特性が互いに異なる第１および第２光センサを備え、上記第光１センサが取得した撮像画像を用いて、上記撮像対象の周囲の光強度である外光強度の指標となる推算値を算出する推算値算出工程を含む構成である。

それゆえ、広い範囲の環境照度下において撮像対象の像の位置を適切に検出することができるという効果を奏する。

本発明の一実施形態に係るタッチ位置検出装置の構成を示すブロック図である。 （ａ）は赤外光センサの構成を示す概略図であり、（ｂ）は可視光センサの構成を示す概略図である。 上記タッチ位置検出装置が備える光センサ内蔵ＬＣＤの構成を示す概略図である。 （ａ）および（ｂ）は、赤外光センサおよび可視光センサの配置様式を示す図である。 （ａ）は赤外光センサが取得した撮像画像から外光強度を算出することを説明するための図であり、（ｂ）は外光強度算出部が作成するヒストグラムと外光強度との関係を示す図である。 外光強度算出部における処理の意義を説明するための図である。 外光強度算出部における処理の変更例を説明するための図である。 認識処理選択部における処理の流れの一例を示すフローチャートである。 （ａ）は反射光認識モードにおけるバックライトの状態を示す図であり、（ｂ）は影認識モードにおけるバックライトの状態を示す図である。 反射光認識モードと影認識モードとの切り替えの方式を示す図である。 反射光認識モードにおける撮像画像の例を概念的に示す図である。 影認識モードにおける撮像画像の例を概念的に示す図である。 反射光認識モードにおけるタッチ、非タッチの撮像画像を示す図である。 影認識モードにおけるタッチ、非タッチの撮像画像を示す図である。 （ａ）は反射光認識モードにおける、外光強度と非タッチ時の指腹下画素値とタッチ時の指腹下画素値との関係を示すグラフであり、（ｂ）は外光強度の変化に応じた撮像画像の変化を示す図である。 （ａ）〜（ｄ）は、反射光認識モードにおける非タッチ時の指腹下画素値とタッチ時の指腹下画素値とタッチ・非タッチ間画素値および不要情報削除用画素値との関係を示すグラフである。 （ａ）は、影認識モードにおける、外光強度と非タッチ時の指腹下画素値とタッチ時の指腹下画素値との関係を示すグラフであり、（ｂ）は外光強度の変化に応じた撮像画像の変化を示す図である。 （ａ）〜（ｄ）は、影認識モードにおける非タッチ時の指腹下画素値とタッチ時の指腹下画素値とタッチ・非タッチ間画素値および不要情報削除用画素値との関係を示すグラフである。 影認識モードの場合の認識不要情報削除部における処理を説明するための図である。 （ａ）および（ｂ）は、影認識モードにおいて外光強度が飽和した場合の問題点およびその解決方法を説明するための図である。 （ａ）および（ｂ）は、反射光認識モードにおいてタッチ・非タッチ間画素値が飽和した場合の問題点およびその解決方法を説明するための図である。 影認識モードにおいて感度切替をした場合としない場合との撮像画像の例を示す図である。 最適感度算出部における感度切替処理の例を説明するための図である。 上記タッチ位置検出装置におけるタッチ位置検出処理の流れの一例を示すフローチャートである。 本発明の別の実施形態に係るタッチ位置検出装置の構成を示すブロック図である。 影認識モードの場合の、認識不要情報削除部における認識不要情報削除処理を説明するための図である。 上記タッチ位置検出装置におけるタッチ位置検出処理の流れの一例を示すフローチャートである。

〔実施の形態１〕
本発明の実施の一形態について図１〜図２４に基づいて説明すれば、以下のとおりである。ここでは、本発明の実施形態のひとつとして、タッチパネル上の任意の位置を指示するユーザの指またはタッチペン等の指示部材（指示物体と総称する）の画像を撮像し、その画像をもとに指示物体が指示した位置を検出するタッチ位置検出装置１について説明する。なお、タッチ位置検出装置を表示装置、撮像装置、入力装置または電子機器と表現することもできる。

タッチ位置検出装置１は、反射光を利用して指示物体（撮像対象）の像を撮像する反射光認識モードと、指示物体の影を撮像する影認識モードとを切り替えることができる。反射光認識モードと影認識モードとの切り替えは、後述する認識処理選択部５によって行われる。

（タッチ位置検出装置１の構成）
図１は、本実施形態のタッチ位置検出装置１の構成を示すブロック図である。図１に示すように、タッチ位置検出装置（位置検出装置）１は、タッチパネル部（撮像部）１０、画像解析部２０、アプリケーション実行部２１および記憶部４０を備えている。

記憶部４０は、画像解析部２０およびアプリケーション実行部２１が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部４０は、ハードディスク、フラッシュメモリなどの不揮発性の記憶装置によって構成される。

また、タッチ位置検出装置１は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置によって構成される一次記憶部（不図示）を備えている。この一次記憶部は画像解析部２０およびアプリケーション実行部２１が上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される。

タッチパネル部１０は、撮像素子としての光センサ（赤外光センサ（第１光センサ）１２および可視光センサ（第２光センサ）１３）を内蔵した光センサ内蔵ＬＣＤ（液晶パネル／ディスプレイ）（撮像画面）１１、ＡＤ（analog/digital）コンバータ１４、バックライト制御部１５および感度調整部１６を備えている。また、図２に示すように、タッチパネル部１０は、バックライト１７を備えている。

バックライト１７は、撮像対象である指示物体に対して赤外光を出射する赤外光光源と可視光を出射する可視光光源とを備えている。

赤外光センサ１２および可視光センサ１３は、波長に対する感度特性が互いに異なる光センサである。なお、温度などの外的要因によって変化する光センサの検出特性を補償するための補正用のセンサとして、暗電流補償用の光センサ（不図示）がタッチパネル部１０に備えられていてもよい。

（赤外光センサ１２および可視光センサ１３の構成）
図２（ａ）は赤外光センサ１２の構成を示す概略図であり、図２（ｂ）は可視光センサ１３の構成を示す概略図である。赤外光センサ１２および可視光センサ１３とは、アクティブマトリクス基板５１上に設けられており、光センサそのものは同じであるが、赤外光センサ１２は、可視光をカットする光学フィルタ５３がその上方（対向基板５２の側）に設けられている点で可視光センサ１３とは異なっている。可視光センサ１３の上方においては、光学フィルタ５３は開口しているため、可視光センサ１３に入射する可視光は遮断されない。光学フィルタ５３の組成は、特に限定されないが、例えば、カラーフィルタの積層構造として実現することができる。

（光センサ内蔵ＬＣＤ１１の構成）
光センサ内蔵ＬＣＤ１１は、光センサを内蔵しているため、表示だけではなく画像の撮像が可能である。それゆえ、光センサ内蔵ＬＣＤ１１は、タッチパネルとしての光センサ内蔵ＬＣＤ１１の表面をタッチする指示物体の像を含む画像（以下、撮像画像と称する）を撮像する撮像画面として機能する。

図３は、光センサ内蔵ＬＣＤ１１の構成を示す概略図である。図３に示すように、光センサ内蔵ＬＣＤ１１は、アクティブマトリクス基板５１上に設けられた画素電極１８、および対向基板５２に設けられたＲ（赤）・Ｇ（緑）・Ｂ（青）のカラーフィルタ１９ｒ・１９ｇ・１９ｂを備えている。Ｒ・Ｇ・Ｂの３つの絵素により１つの画素が形成されている。

光センサ（赤外光センサ１２または可視光センサ１３）は、光センサ内蔵ＬＣＤ１１の各画素に対して１つずつ設けられている。換言すれば、赤外光センサ１２または可視光センサ１３は、光センサ内蔵ＬＣＤ１１のアクティブマトリクス基板５１上において、マトリクス状に配置されている。ただし、赤外光センサ１２および可視光センサ１３の配置様式および個数は、上述のものに限定されず、適宜変更してもよい。図３では、赤外光センサ１２は、青のカラーフィルタ１９ｂを設けた画素電極１８の近傍に設けられているが、この構成に限定されるものではない。赤外光センサ１２（または可視光センサ１３）を、赤のカラーフィルタ１９ｒを設けた画素電極１８の近傍に設けてもよいし、緑のカラーフィルタ１９ｇを設けた画素電極１８の近傍に設けてもよい。

赤外光センサ１２および可視光センサ１３で取得した信号は、ＡＤコンバータ１４によりデジタル化された後、画像調整部２へ出力される。なお、赤外光センサ１２が取得した撮像画像を赤外光画像と称し、可視光センサ１３が取得した撮像画像を可視光画像と称する。また、赤外光画像および可視光画像を総称してセンサ画像と称する場合もある。

（画像解析部２０の構成）
画像解析部２０は、画像調整部２、外光強度算出部（推算値算出手段）３、最適感度算出部（感度設定手段）４、認識処理選択部（切替手段）５、タッチ・非タッチ間画素値算出部（基準値算出手段）６、認識不要情報削除部（画像処理手段）７、特徴量抽出部（特徴量抽出手段）８およびタッチ位置検出部（位置算出手段）９を備えている。

画像調整部２は、タッチパネル部１０で撮像された撮像画像（赤外光画像および可視光画像）のゲインおよびオフセットを調整するキャリブレーション処理などを行い、調整した撮像画像を外光強度算出部３、認識処理選択部５および認識不要情報削除部７へ出力する。これ以降の説明では、８bit、２５６階調の精度でグレースケールの画像が出力されたものとして説明する。なお、画像調整部２はタッチパネル部１０から撮像画像を取得する取得手段としても機能している。また、画像調整部２は、取得した撮像画像または調整した撮像画像を記憶部４０に格納してもよい。

外光強度算出部３は、画像調整部２から出力された赤外光画像を用いて、指示物体の周囲の光強度である外光強度の指標となる推算値を算出する。この推算値は、外光強度の変化を反映した値である。推算値そのものが外光強度を表現している必要はなく、推算値に対して所定の計算を施すことにより外光強度が算出できる値であればよい。また、この推算値は、画素値として表現される値である。外光強度算出部３は、算出した外光強度の推算値を最適感度算出部４、認識処理選択部５およびタッチ・非タッチ間画素値算出部６へ出力する。

なお、外光強度とは、赤外光センサ１２に入射した指示物体（撮像対象）の周囲の光の強度である。外光強度算出部３は、影認識モードの場合も反射光認識モードの場合も同様の処理を行う。外光強度算出部３における処理の詳細については後述する。

最適感度算出部４は、外光強度算出部３で算出された外光強度の推算値に応じて、指示物体を認識するための最適な赤外光センサ１２および可視光センサ１３の感度を算出し、感度調整部１６へ出力する。最適感度算出部４における処理の詳細については後述する。なお、上述したように赤外光センサ１２および可視光センサ１３は、光センサの本体部分については同じものであり、最適感度算出部４は、赤外光センサ１２および可視光センサ１３に共通した好ましい感度を算出する。

感度調整部１６は、赤外光センサ１２および可視光センサ１３の感度を最適感度算出部４から出力された最適感度に調整する。

認識処理選択部５は、外光強度算出部３が算出した外光強度の推算値に基づいて、バックライト１７から撮像対象に対して出射された光が当該撮像対象に反射した光の像を撮像する反射光認識モード（第１撮像方法）と、赤外光センサ１２（または可視光センサ１３）に入射する外光が撮像対象によって遮られることによって生じる影を撮像する影認識モード（第２撮像方法）とを切り替える。換言すれば、認識処理選択部５は、外光強度算出部３が算出した外光強度の推算値に基づいて、バックライト１７から撮像対象に対して出射された光が当該撮像対象に反射した光の像を撮像した撮像画像から当該撮像対象の像の位置を検出する反射光認識モード（第１検出方法）と、赤外光センサ１２（または可視光センサ１３）に入射する外光が撮像対象によって遮られることによって生じる影を撮像した撮像画像から当該撮像対象の像の位置を検出する影認識モード（第２検出方法）とを切り替える。具体的には、認識処理選択部５は、バックライト制御部１５を介してバックライト１７における赤外光光源のオン／オフを切り替える。このとき認識処理選択部５は、反射光認識モードに切り替える場合にバックライト１７の赤外光光源を点灯させ、影認識モードに切り替える場合に赤外光光源を消灯させる。

また、認識処理選択部５は、タッチ・非タッチ間画素値算出部６における処理の内容を切り替える。認識処理選択部５における処理の詳細については後述する。

タッチ・非タッチ間画素値算出部６は、認識不要情報削除部７において、指示物体の認識に不要な撮像画像中の情報を削除するための画素値の基準値（タッチ・非タッチ間画素値および不要情報削除用画素値）を算出する。より具体的には、タッチ・非タッチ間画素値算出部６は、外光強度算出部３が算出した外光強度の推算値から、指示物体が光センサ内蔵ＬＣＤ１１に対して接触していない場合の当該指示物体の像を撮像画像から削除するための画素値の基準値であるタッチ・非タッチ間画素値、および指示物体の像の認識の妨げとなる画素を削除するための画素値の基準値である不要情報削除用画素値を算出する。換言すれば、タッチ・非タッチ間画素値算出部６は、光センサ内蔵ＬＣＤ１１に接触した指示物体の接触部分の像以外の像を撮像画像から削除するための画素値の基準値を算出する。タッチ・非タッチ間画素値算出部６における処理の詳細については後述する。

認識不要情報削除部７は、タッチ・非タッチ間画素値算出部６が算出したタッチ・非タッチ間画素値（および不要情報削除用画素値）に基づいて、撮像画像に含まれる画素の一部の画素の画素値を変更することにより、指示物体の認識に不要な撮像画像中の情報を削除する。換言すれば、認識不要情報削除部７は、指示物体が撮像画面に対して接触していない場合の当該指示物体の像が撮像画像から削除されるように、撮像画像に含まれる画素の一部の画素の画素値を変更する。この認識不要情報削除部７は、反射光認識モードの場合には、赤外光画像を処理対象とし、影認識モードの場合には、可視光画像を処理対象とする。

特徴量抽出部８は、認識不要情報削除部７によって処理された撮像画像から、ソーベルフィルタなどのエッジ検出処理により指示物体の特徴を示す特徴量（エッジ特徴量）を撮像画像の画素ごとに抽出する。特徴量抽出部８は、指示物体の特徴量を、例えば、注目する画素の周囲８方向における画素値の勾配（グラデーション）方向を示す８方向のベクトルを含む特徴量として抽出する。この特徴量の抽出方法は、例えば、特開２００８−２５０９４９号公報に記載されている。

具体的には、特徴量抽出部８は、縦方向に隣接する画素の画素値と注目画素の画素値との勾配を示す縦方向勾配量および横方向に隣接する画素の画素値と注目画素の画素値との勾配を示す横方向勾配量を算出し、これら縦方向勾配量および横方向勾配量を用いて、明るさが急激に変化する部分であるエッジ画素を特定する。そして、このエッジ画素における画素値の勾配を示すベクトルを特徴量として抽出する。

特徴量抽出部８における特徴量抽出処理は、指示物体の形状（特にエッジ）を検出できるものであればよく、特に限定されない。特徴量抽出部８は、従来のパターンマッチング等の画像処理により、指示物体の像（特徴領域）を検出してもよい。特徴量抽出部８は、抽出した特徴量と、当該特徴量が抽出された画素とを互いに対応付けてタッチ位置検出部９へ出力する。

タッチ位置検出部９は、特徴量抽出部８が抽出した特徴量を示す特徴領域に対して、パターンマッチすることによりタッチ位置（撮像画像における指示物体の像の位置）を特定する。具体的には、タッチ位置検出部９は、画素値の勾配方向が示された複数の画素からなる所定のモデルパターンと、特徴量抽出部８が抽出した特徴量が示す勾配方向のパターンとをパターンマッチし、モデルパターンに含まれる勾配方向と一致した画素の数が所定数に達した領域を指示物体の像として検出する。

タッチ位置検出部９における位置検出の方法は、指示物体の像の位置を適切に特定できるものであれば、どのようなものであってもよい。タッチ位置検出部９は、特定したタッチ位置を示す座標をアプリケーション実行部２１へ出力する。

アプリケーション実行部２１は、タッチ位置検出部９が出力した座標を用いて、当該座標に対応したアプリケーションを実行するか、または、特定のアプリケーションにおいて、当該座標に対応した処理を行う。アプリケーション実行部２１において実行されるアプリケーションはどのようなものであってもよい。

なお、タッチ・非タッチ間画素値算出部６、認識不要情報削除部７、特徴量抽出部８およびタッチ位置検出部９は、外光強度算出部３が算出した外光強度の推算値を用いて特定の処理を行う処理実行部（処理実行手段）であるともいえる。

（赤外光センサ１２および可視光センサ１３の配置）
図４は、赤外光センサ１２および可視光センサ１３の配置様式を示す図である。同図では、赤外光センサ１２を「Ａ」で、可視光センサ１３を「Ｂ」で表している。図４（ａ）に示すように、光センサ内蔵ＬＣＤ１１において、赤外光センサ１２の列と可視光センサ１３の列とを交互に配置してもよい。

また、図４（ｂ）に示すように、赤外光センサ１２および可視光センサ１３を互い違いに（千鳥状に）配置してもよい。この場合、赤外光センサ１２および可視光センサ１３によって市松模様が形成される。

撮像画像を適切に取得できるのであれば、赤外光センサ１２および可視光センサ１３の配置を上述の配置以外のものにしてもよい。

（外光強度算出部３における処理の詳細）
次に、外光強度算出部３における処理の内容について詳細に説明する。図５は、外光強度算出部３における処理の内容を説明するための図である。

外光強度算出部３は、図５（ａ）に示すように、赤外光センサ１２から出力された、受光量を示す出力値（画素値）から少なくとも一部の出力値を選択し、選択した出力値を、その出力値が高い順に並べた場合の所定の順位にある出力値を外光強度の推算値として採用する。

つまり、外光強度算出部３は、赤外光センサ１２が取得した撮像画像について、当該撮像画像が有する画素の画素値を大きい順に並べた場合の、画素値と当該画素値を有する画素の個数との関係を示すヒストグラムを作成する。このヒストグラムは、撮像画像の全画素の画素値から作成するのが好ましい。しかし、コストや処理速度の観点から、撮像画像を構成する全ての画素（換言すれば、全ての赤外光センサ１２からの出力値）から求めるのではなく、撮像画像の画素値から、ある程度間隔をあけて等間隔に選択された画素を用いてもよい。

なお、影認識モードの場合には、外光強度の推算値をそのまま外光強度と見なしているため、影認識モードについて説明する場合には、外光強度の推算値を単に外光強度と称する。反射光認識モードの場合には、外光強度が比較的小さいときには、指腹の像の画素値を用いて外光強度の推算値を算出することになるため、この推算値そのものが外光強度を表していることにはならない。しかし、この場合でも、指腹の像の画素値は外光強度が大きくなるにつれて大きくなるため、上記推算値は外光強度を反映した値である。以下では、影認識モードの場合の処理を例に挙げて外光強度算出部３の処理を説明する。

図５（ｂ）は、外光強度算出部３が作成するヒストグラムと外光強度との関係を示す図である。外光の強さが異なる環境でタッチパネル部１０上に指を置いた状態で外光強度を測定した場合、図５（ｂ）に示すように、作成されるヒストグラムも異なり、外光強度が強いほどヒストグラムの分布する領域が画素値の高い部分にひっぱられるような形になる。なお、図５（ｂ）において、Ａはセンサ画像（３）を撮像したときの外光強度であり、Ｂはセンサ画像（２）を撮像したときの外光強度であり、Ｃはセンサ画像（１）を撮像したときの外光強度である。

次に、求めたヒストグラムから外光強度を算出する処理では、ヒストグラムの画素値が高いほうから順にカウントしていき、そのカウント数が、ヒストグラムの作成に用いた画素値の個数の数％に達した時の画素値を外光強度の値として採用する。

このようにヒストグラムの上位の数％の部分の画素値を外光強度として算出する理由について説明する。図６は、外光強度算出部３における処理の意義を説明するための図である。例えば図６に示すように、同じ外光強度の条件下でも指や手の置き方によって取得される画像に変化が生じる。図６のセンサ画像（１）はパネルの左からパネルの左端のほうに指を置いた場合の撮像画像であり、センサ画像（２）はパネルの左からパネルの右端のほうに指を置いた場合の撮像画像である。

どちらの場合も外光の強度は同じであるが、パネル上の指を置く場所によって画像が異なるので、作成したヒストグラムも図６に示すように異なったものとなる。この場合に正確に外光強度を算出しようとした場合、例えばヒストグラムの上位５％の部分を外光強度とすれば図６のセンサ画像（１）と図６のセンサ画像（２）において差はほとんど生じないが、上位５０％の部分を外光強度として算出した場合は図６のセンサ画像（１）とセンサ画像（２）との間で算出した外光強度の値に大きな差が生じることになる。

以上の理由により、ヒストグラムから外光強度を算出する場合は、上位数％から外光強度を算出することで、指や手を置く場所による算出値のゆれを極力減らすことが可能になる。

しかし、例えば上位０．１％など極端にヒストグラムの上位の値から算出すると、外光強度算出用画像の画素値の欠陥などによる精度の低下を招くことになるので、一桁％程度から外光強度を算出するのが好ましい。すなわち、外光強度算出用画像中の画素から選択された画素を、その画素値が高い順に並べた場合の、外光強度として採用される画素値を有する画素の順位は、選択された画素の総数の１０％未満の数に相当することが好ましい。換言すれば、外光強度算出部３は、選択した赤外光センサ１２の出力値を、その出力値が高い順に並べた場合の所定の順位にある出力値を外光強度とし、その所定の順位は、選択された出力値の総数の１０％未満の数に相当することが好ましい。

また、外光強度算出部３は、認識処理選択部５が切り替えた認識モードに対応する上記所定の順位を用いて外光強度の推算値を算出してもよい。すなわち、外光強度算出部３は、反射光認識モードでは、反射光認識モードのための上記所定の順位を用い、影認識モードでは、影認識モードのための上記所定の順位を用いて外光強度の推算値を算出してもよい。

特に、反射光認識モードでは、上述したように、外光強度が比較的小さいときには、指腹の像の画素値を用いて外光強度の推算値を算出することになるため、ヒストグラムの上位１０％未満の画素値を用いて外光強度の推算値を算出することが必ずしも好ましいとはいえない。そのため、反射光認識モードでは、（１）指腹の像の影響を強く受けてもよいのでヒストグラムの上位１０％未満の画素値を用いて外光強度の推算値を算出する設定にしてもよいし、（２）外光強度の推定精度は多少おちるが、指腹の像の影響をできるだけ受けないように、外光強度の推算値をヒストグラムの上位数十％から求める設定にしてもよい。

このように、各認識モードに適した上記所定の順位を設定することにより、外光強度の推算値をより適切に算出することができる。

図７は、外光強度算出部３における処理の変更例を説明するための図である。外光強度算出部３が外光強度を求める方式はヒストグラムに限定されるものではなく、例えば、図７に示すように、撮像画像内のサンプル点をとる領域（符号７１〜７５を付している）を限定し、限定された各領域７１〜７５内の画素（サンプル点）の画素値の平均値を求めて、平均値が一番高い値を外光強度として採用するようにしてもよい。なお、符号７６で示す白抜きの画素は、非サンプル点である。

（赤外光で外光強度を算出する利点）
外光強度算出部３は、可視光センサ１３が取得した可視光画像を用いて外光強度を算出してもよいが、赤外光センサ１２が取得した赤外光画像を用いて外光強度を算出する方が好ましい。その理由について説明する。

蛍光灯および屋外での薄暗い環境光下の光には赤外光はほとんど含まれていないため、室内および屋外での薄暗い環境光下において、バックライト１７からの赤外光の反射光を利用して撮像対象の位置検出を行う場合には、外光の影響をほとんど受けずに位置検出を行うことができる。しかし、赤外光の外光強度が強くなると撮像対象の像と背景部分とのコントラストがなくなり、撮像対象の像を認識できなくなる。よって、認識ができなくなる前に赤外光の外光強度を検出して、反射認識モードから影認識モードに切り替えることが好ましい。それゆえ、赤外光の外光強度を推定しておくことが好ましい。

また、影認識モードにおいても、赤外光は、可視光よりも指を透過しやすいため、屋外の明るい環境光下のように赤外光が多く含まれている環境において、撮像対象の影を撮像して位置検出を行う場合には、撮像対象の影の明るさが指などを透過する赤外光の強さにより影響される（可視光を主に受光する可視光センサ１３も赤外光には多少反応するため画素値が上昇する）ため、赤外光の外光強度を正確に把握することで、撮像対象の影の明るさ（画素値）を予測し、認識処理にフィードバックすることで認識精度を向上することが可能となる。

これらの利点から、本実施形態では、赤外光センサ１２が取得した赤外光画像を用いて外光強度を算出している。

（認識処理選択部５における処理の詳細）
次に、認識処理選択部５における処理について詳細に説明する。図８は、認識処理選択部５における処理の流れの一例を示すフローチャートである。認識処理選択部５は、外光強度算出部３が算出した外光強度の推算値に基づいて、反射光認識モードと影認識モードとを切り替える。具体的には、認識処理選択部５は、外光強度算出部３から出力された外光強度の推算値が所定の閾値未満であるかどうかを判定する（Ｓ１）。

反射光認識モードの場合、外光強度が指腹６１（図２参照）の反射光の強度以上になると、指腹の像と背景とのコントラストがなくなり、反射光認識を行えなくなる。そのため、上記所定の閾値を、反射光認識を行える外光強度の上限値を考慮して設定することが好ましい。

外光強度の推算値が所定の閾値未満であると判定した場合（Ｓ１にてＹＥＳ）、認識処理選択部５は、バックライト１７における赤外光の光源をオンにする（Ｓ２）とともに、赤外光センサ１２から出力される撮像画像（赤外光画像）を解析するためのパラメータを設定する（Ｓ３）。このパラメータの設定は、以降の画像解析処理に反映される。さらに、認識処理選択部５は、赤外光画像を用いてタッチ・非タッチ間画素値を算出することを命じる命令をタッチ・非タッチ間画素値算出部６に出力する（Ｓ４）。このように、認識処理選択部５は、外光強度の推算値が所定の閾値未満である場合に、反射光認識モードに設定する。

一方、外光強度の推算値が所定の閾値以上であると判定した場合（Ｓ１にてＮＯ）、認識処理選択部５は、バックライト１７における赤外光の光源をオフにする（Ｓ５）とともに、可視光センサ１３から出力される撮像画像（可視光画像）を解析するためのパラメータを設定する（Ｓ６）。このパラメータの設定は、以降の画像解析処理に反映される。さらに、認識処理選択部５は、可視光画像を用いてタッチ・非タッチ間画素値を算出することを命じる命令をタッチ・非タッチ間画素値算出部６に出力する（Ｓ７）。このように、認識処理選択部５は、外光強度の推算値が所定の閾値以上である場合に、影認識モードに設定する。

（バックライト１７の切り替え様式）
次に、反射光認識モードおよび影認識モードにおけるバックライト１７の状態について説明する。図９は、反射光認識モードおよび影認識モードにおけるバックライト１７の状態を示す図である。

同図（ａ）に示すように、反射光認識モードでは、赤外光および可視光のバックライトがオンになっており、指腹に反射した赤外光が光センサ内蔵に入射する。このとき、外光に由来する可視光および赤外光も光センサ内蔵ＬＣＤ１１に入射する。

一方、同図（ｂ）に示すように、影認識モードでは、赤外光および可視光のバックライトがオフになっており、主に外光に由来する可視光および赤外光が光センサ内蔵ＬＣＤ１１に入射する。

（反射光認識と影認識との切り替え方法）
外光強度の軽度な変化により、反射光認識モードと影認識モードとが頻繁に切り替わることを防止するため、反射光認識モードへの切り替えポイントと、影認識モードへの切り替えポイントとにヒステリシスを持たせることが好ましい。この構成について、図１０を参照しつつ説明する。図１０は、反射光認識モードと影認識モードとの切り替えの方式を示す図である。

図１０に示すように、反射光認識モードへの切り替えポイントと、影認識モードへの切り替えポイントとの間に所定の間隔を設ける。換言すれば、影認識モードを反射光認識モードに切り替える外光強度の推算値の基準値と、反射光認識モードを影認識モードに切り替える上記基準値とは異なっている。これにより、反射光認識モードと影認識モードとが頻繁に切り替わることを防止できる。

このとき、反射光認識モードへの切り替えポイントよりも影認識モードへの切り替えポイントを外光強度が強い側に設定する。このように設定することにより、反射光認識モードに設定される外光強度の範囲を広げることができる。影認識モードでは、指の押し方または影の出方によっては、当該指を認識できない場合があるため、反射光認識モードを優先する。なお、反射光認識モードに設定される外光強度の範囲を広げるためには、赤外光バックライトの光強度を強くすることが好ましい。

（撮像画像の例）
次に反射光認識モードおよび影認識モードにおける撮像画像の例について説明する。図１１は、反射光認識モードにおける撮像画像の例を概念的に示す図である。同図において、（ａ）（光なし）、（ｃ）（蛍光灯）、（ｅ）（白熱灯）および（ｇ）（太陽光）は、指を撮像するときの光源の種類を示し、（ｂ）、（ｄ）、（ｆ）および（ｈ）は、撮像画像の一例を示している。

指で光センサ内蔵ＬＣＤ１１をタッチした部分（指腹）にバックライト１７からの赤外光反射し、その反射光が赤外光センサ１２に入射する。図１１の（ｂ）および（ｄ）に示すように、外光に赤外光がほとんど含まれない場合、指腹の像は背景より明るく白い丸となり、図１１の（ｆ）および（ｈ）に示すように、外光に含まれる赤外光の量が多くなると、指腹の像は認識され難くなる。

図１２は、影認識モードにおける撮像画像の例を概念的に示す図である。同図において、（ａ）（光なし）、（ｃ）（蛍光灯）、（ｅ）（白熱灯）および（ｇ）（太陽光）は、指を撮像するときの光源の種類を示し、（ｂ）、（ｄ）、（ｆ）および（ｈ）は、撮像画像の一例を示している。

影認識モードでは、外光が指によって遮られることによって生じる影を撮像する。図１２の（ｂ）に示すように、外光がない場合、指の影は撮像されない。図１１の（ｄ）、（ｆ）および（ｈ）に示すように、外光が比較的強い場合、指腹の像は黒いスポットとして撮像される。

（タッチ・非タッチ間画素値算出部６における処理の詳細）
（タッチ・非タッチの撮像画像の例）
まず、反射光認識モードにおいて、タッチ、非タッチの撮像画像がどのような画像になるのかを図１３に示す。指などが何も置かれていない状態でバックライト１７から赤外光が出射された場合、図１３の条件（１）のように指腹の像が含まれない画像（背景のみの画像）が得られる。図１３の条件（２）のように光センサ内蔵ＬＣＤ１１の上に指６０を近づけているが、タッチしていない場合は、指腹の像８３が薄く映り込んだような画像が得られる。図１３の条件（３）のように指を完全に光センサ内蔵ＬＣＤ１１に押し付けた状態では、くっきりとした指腹の像８４を含む画像が得られる。

次に、影認識モードにおいて、タッチ、非タッチの撮像画像がどのような画像になるのかを図１４に示す。指などが何も置かれていない状態で外光８１が直接赤外光センサ１２または可視光センサ１３に入った場合、図１４の条件（１）のように指腹の像が含まれない画像（背景のみの画像）が得られる。図１４の条件（２）のように光センサ内蔵ＬＣＤ１１の上に指を近づけているが、タッチしていない場合は、外光８２が遮られることによって指腹の影８５が薄く映り込んだような画像になる。図１４の条件（３）のように指を完全に光センサ内蔵ＬＣＤ１１に押し付けた状態では、条件（２）よりも指腹の影８６が濃くなった画像が得られる。

（タッチ・非タッチの画素値の関係）
次に、反射光認識モードの場合に、外光強度算出部３で求めた外光強度と、図１３の条件（２）の画像における非タッチ時の指腹下画素値と、図１３の条件（３）の画像におけるタッチ時の指腹下画素値との関係を図１５に示す。図１５（ａ）に示すように、撮像画像の背景の画素値（符号９１で示す）、タッチ時の指腹下画素値（符号９２で示す）および非タッチ時の指腹下画素値（符号９３で示す）は、外光強度が強くなる（明るくなる）につれて大きくなっていく。その時の撮像画像をそれぞれ図１５（ｂ）に示す。

図１５（ａ）に示すように、タッチ時の指腹下画素値は、非タッチ時の指腹下画素値よりも常に大きくなるという関係が成り立つので、タッチ時の指腹下画素値と非タッチ時の指腹下画素値との間には常に画素値のギャップがあることになる。

この関係が成り立つのであれば、図１６（ａ）に示すように、非タッチ時の指腹下画素値（符号１０２で示す）とタッチ時の指腹下画素値（符号１０１で示す）との間に閾値（符号１０４で示す）を設定することができる。このような閾値をタッチ・非タッチ間画素値と称する。この閾値以下の画素値を認識に不必要な情報として削除すれば、指の認識精度を向上させることができる。なお、図１６は、反射光認識モードにおける非タッチ時の指腹下画素値とタッチ時の指腹下画素値とタッチ・非タッチ間画素値および不要情報削除用画素値との関係を示すグラフである。

なお、説明を簡単にするために、図１６のグラフでは、外光強度が０の場合の画素値を全て０にしている。

さらに、タッチ時の指腹下部分の画素値１０１よりも大きい画素値を有する画素は、不要な強い外光が入射することによって生じたものである可能性が高い。このような不要な強い外光によって指腹の像の認識精度が低下することを防止するために、想定されるタッチ時の指腹下画素値よりも大きい画素値を有する画素の情報を削除することが好ましい。符号１０３で示す閾値は、タッチ時の指腹下画素値よりも大きい画素値を有する不要な画素の画素値を変更するための閾値である。このような閾値を不要情報削除用画素値と称する。

なお、反射光認識モードの場合には、不要情報削除用画素値は、撮像対象の認識に利用する画素値の範囲の上限値であり、タッチ・非タッチ間画素値は、上記画素値の範囲の下限値であるといえる。

次に、影認識モードの場合に、外光強度算出部３で求めた外光強度と、図１４の条件（２）の画像における非タッチ時の指腹下画素値と、図１４の条件（３）の画像におけるタッチ時の指腹下画素値との関係を図１７に示す。図１７（ａ）に示すように、撮像画像の背景の画素値（符号９４で示す）、非タッチ時の指腹下画素値（符号９５で示す）およびタッチ時の指腹下画素値（符号９６で示す）は、外光強度が強くなる（明るくなる）につれて大きくなっていく。その時の撮像画像をそれぞれ図１７（ｂ）に示す。

図１７（ａ）に示すように、非タッチ時の指腹下画素値は、タッチ時の指腹下画素値よりも常に大きくなるという関係が成り立つので、非タッチ時の指腹下画素値とタッチ時の指腹下画素値との間には常に画素値のギャップがあることになる。

この関係が成り立つのであれば、図１８（ａ）に示すように、非タッチ時の指腹下画素値（符号１１１で示す）とタッチ時の指腹下部分の画素値（符号１１２で示す）との間に閾値（符号１１３で示す）を設定することができる。反射光認識モードの場合と同様に、このような閾値をタッチ・非タッチ間画素値と称する。この閾値以上の画素値は認識に不必要な情報として削除することができ、認識精度を向上させることができる。なお、図１８は、影認識モードにおける非タッチ時の指腹下画素値とタッチ時の指腹下画素値とタッチ・非タッチ間画素値および不要情報削除用画素値との関係を示すグラフである。

さらに、タッチ時の指腹下画素値１１２よりも小さい画素値を有する画素は、不要な影によって生じたものである可能性が高い。このような不要な影によって指腹の像の認識精度が低下することを防止するために、想定されるタッチ時の指腹の画素値よりも小さい画素値を有する不要な画素の情報を削除することが好ましい。符号１１４で示す閾値は、タッチ時の指腹下画素値よりも小さい不要な画素値を有する画素の画素値を変更するための閾値である。このような閾値を不要情報削除用画素値と称する。

なお、影認識モードの場合には、不要情報削除用画素値は、撮像対象の認識に利用する画素値の範囲の下限値であり、タッチ・非タッチ間画素値は、上記画素値の範囲の上限値であるといえる。

上述の技術思想に基づいて、タッチ・非タッチ間画素値算出部６では、外光強度の変化に応じてタッチ・非タッチ間画素値および不要情報削除用画素値を動的に算出する。

しかし、オンライン処理時（実際にユーザが光センサ内蔵ＬＣＤ１１をタッチする時）には、タッチ時の指腹下画素値および非タッチ時の指腹下画素値を得ることは不可能であるので、現場で得ることができる外光強度の推算値とタッチ・非タッチ間画素値との関係を示す式を予め設定しておき、この式に外光強度の推算値を代入することによりタッチ・非タッチ間画素値を算出する。

この式は、例えば下記（１）式に示すものであり、この式に外光強度算出部３で算出した外光強度の推算値（Ａ）を代入することによりタッチ・非タッチ間画素値（Ｔ）を算出することができる。

Ｔ＝ＡＸ ・・・（１）
上記（１）式においてＸは、予め求められている定数である。このＸを求めるために、まず下記（２）式を満たすＮの値を設定する。

Ｔ＝（Ｂ＋Ｃ）/Ｎ ・・・（２）
上記（２）式において、Ｂは非タッチ時の指腹下画素値であり、Ｃはタッチ時の指腹下画素値である。Ｎは、ＴがＢとＣとの間になるような任意の数値である。

そして、上記（２）式をもとに、下記（３）を満たすＸを算出する。

Ｔ＝ＡＸ＝（Ｂ＋Ｃ）/Ｎ ・・・（３）
オンライン処理時には、タッチ・非タッチ間画素値算出部６は、フレーム毎に外光強度算出部３が求めたＡを上記（１）式に代入することにより、Ｔを算出する。

なお、上記（１）式は、タッチ・非タッチ間画素値算出部６が利用可能な記憶部（例えば、記憶部４０に格納されていればよい。 また、タッチ・非タッチ間画素値算出部６は、影認識モードと反射光認識モードとで、タッチ・非タッチ間画素値を算出するために異なる数式を用いてもよい。

不要情報削除用画素値についても同様に、外光強度の推算値と不要情報削除用画素値との関係を示す式を予め設定しておき、この式に外光強度の推算値を代入することにより不要情報削除用画素値を算出する。また、タッチ・非タッチ間画素値算出部６は、影認識モードと反射光認識モードとで、不要情報削除用画素値を算出するために異なる数式を用いてもよい。すなわち、タッチ・非タッチ間画素値算出部６は、、複数の所定の数式から選択される少なくとも１つの数式を用いてタッチ・非タッチ間画素値および不要情報削除用画素値を算出し、認識処理選択部５が切り替えた認識モードに応じて、上記所定の数式を使い分けてもよい。

図１６（ｂ）〜（ｄ）および図１８（ｂ）〜（ｄ）は、環境照度の変化に対応した、タッチ時および非タッチ時の指腹下画素値の変化の別の例をそれぞれ示すグラフである。図１６（ｂ）および図１８（ｂ）に示すように、タッチ・非タッチ間画素値および不要情報削除用画素値を算出するための数式は、曲線を表す数式であってもよい。

また、タッチ・非タッチ間画素値および不要情報削除用画素値を求める際に、タッチ、非タッチの指腹下画素値の特性が図１６（ｃ）〜（ｄ）および図１８（ｃ）〜（ｄ）に示すように、分岐点を境に変化する場合は、分岐点（外光強度がある画素値に達した点）を境に、タッチ・非タッチ間画素値を算出する式および不要情報削除用画素値を算出する式を変更するようにしてもよい。

すなわち、記憶部４０にタッチ・非タッチ間画素値（または不要情報削除用画素値）を求めるための２種類の異なる数式を格納しておき、タッチ・非タッチ間画素値算出部６は、外光強度算出部３が算出した外光強度が所定の値に達する前後で２種類の異なる数式を使い分けてもよい。換言すれば、タッチ・非タッチ間画素値算出部６は、外光強度算出部３が算出した外光強度の推算値に応じて、タッチ・非タッチ間画素値を求めるための複数種類の所定の数式および不要情報削除用画素値を求めるための複数種類の所定の数式を使い分けてもよい。

上記２種類の異なる数式とは、例えば、上記（１）式において定数Ｘの値が互いに異なる数式である。

また、タッチ・非タッチ間画素値をタッチ時の指腹下画素値とほぼ等価としてもよい。この場合、タッチ・非タッチ間画素値がタッチ時の指腹下画素値と等価になるように上記（１）式の定数Ｘを定めればよい。

なお、タッチ・非タッチ間画素値算出部６は、タッチ・非タッチ間画素値と不要情報削除用画素値との両方を算出する必要は必ずしもなく、タッチ・非タッチ間画素値のみを算出してもよい。少なくともタッチ・非タッチ間画素値を用いて不要情報の削除を行えば、タッチと非タッチとを識別する精度を高めることができる。

（認識不要情報削除部７における処理の詳細）
このようにして求められたタッチ・非タッチ間画素値および不要情報削除用画素値は、認識不要情報削除部７に出力される。認識不要情報削除部７は、影認識モードの場合には、可視光画像を処理対象として、タッチ・非タッチ間画素値算出部６で求めたタッチ・非タッチ間画素値以上の画素値を有する撮像画像の画素の画素値をタッチ・非タッチ間画素値に置き換えるとともに、不要情報削除用画素値以下の画素値を有する撮像画像の画素の画素値を不要情報削除用画素値に置き換えることにより、指示物体の認識に不要な情報を削除する。

一方、反射光認識モードの場合には、認識不要情報削除部７は、赤外光画像を処理対象として、タッチ・非タッチ間画素値算出部６で求めたタッチ・非タッチ間画素値以下の画素値を有する撮像画像の画素の画素値をタッチ・非タッチ間画素値に置き換えるとともに、不要情報削除用画素値以上の画素値を有する撮像画像の画素の画素値を不要情報削除用画素値に置き換えることにより、指示物体の認識に不要な情報を削除する。

すなわち、認識不要情報削除部７は、撮像対象の認識に利用する画素値の範囲の上限値以上の画素値を有する撮像画像の画素の画素値を当該上限値に置き換えるとともに、上記画素値の範囲の下限値以下の画素値を有する撮像画像の画素の画素値を当該下限値に置き換えることにより、指示物体の認識に不要な情報を削除する。

図１９は、影認識モードの場合の認識不要情報削除部７における処理を説明するための図である。同図の最下段には、背景画素値と指腹下画素値との関係が示されている。

すなわち、影認識モードの場合、タッチ・非タッチ間画素値よりも大きい画素値を有する画素は、光センサ内蔵ＬＣＤ１１にタッチした指示物体の像の形成に関与していないと考えられるため、図１９に示すように、タッチ・非タッチ間画素値以上の画素値を有する画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の背景に存在している不要な像を削除することができる。

反射光認識モードの場合には、逆にタッチ・非タッチ間画素値よりも小さい画素値を有する画素は、光センサ内蔵ＬＣＤ１１にタッチした指示物体の像の形成に関与していないと考えられるため、タッチ・非タッチ間画素値以下の画素値を有する画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の背景に存在している不要な像を削除することができる。

なお、認識不要情報削除部７における撮像画像の変更方法は、上述のものに限定されない。例えば、指示物体の認識に不要な画素の画素値が飽和するように、当該画素値を影認識モードの場合に最大値（白）に、反射光認識モードの場合に最小値（黒）に変更してもよい。

（最適感度算出部４における処理の詳細）
図２０は、影認識モードにおいて外光強度が飽和した場合の問題点およびその解決方法を説明するための図である。

上記の処理をフレームごとに行うことで、タッチ位置を適切に検出することができる。しかし、図２０（ａ）に示すように、影認識モードにおいて外光強度（符号１２１で示す）が大きく上昇して、算出した外光強度が飽和画素値に達した場合、それ以上外光が強くなってもどれくらい外光が強くなったのかを算出することができなくなる。

そのため、外光強度から算出しているタッチ・非タッチ間画素値も正確に算出することができなくなってしまい、最悪の場合パネルの上に指を置いた状態でも全ての画素が飽和してしまい、まっ白な画像になってしまう。図２０（ａ）では、外光強度が飽和画素値に達した場合にタッチ・非タッチ間画素値算出部６によって算出されたタッチ・非タッチ間画素値を符号１２２で示し、外光強度が飽和画素値に達していない場合の（本来の）タッチ・非タッチ間画素値を符号１２３で示している。

この問題を解決するためには、赤外光センサ１２および可視光センサ１３の感度を落として図２０（ｂ）に示すように外光強度が飽和しない状態にする必要がある。この感度を落とす処理により外光強度が飽和しないようになるので、正確にタッチ・非タッチ間画素値を算出することができるようになる。赤外光センサ１２および可視光センサ１３の感度を切り替えるタイミングは、外光強度が飽和した時点（図２０（ａ）における「感度切替ポント」）またはその直前である。

また、外光強度が飽和する前に指の影の画素値が飽和する場合も考えられる。そのため、赤外光センサ１２および可視光センサ１３の感度を切り替えるタイミングは、撮像画像における撮像対象の影の像の画素値が飽和した時点またはその前であってもよい。

最適感度算出部４では、外光強度算出部３で算出された外光強度に応じて、指示物体の認識にとって最適な感度算出を行い、感度調整部１６を通して最適な撮像画像を取得できるように赤外光センサ１２および可視光センサ１３の感度を調整する。

図２１は、反射光認識モードにおいてタッチ・非タッチ間画素値が飽和した場合の問題点およびその解決方法を説明するための図である。

反射光認識モードの場合には、図２１（ａ）に示すように、外光強度の推算値（符号１３１で示す）が所定の値に達すると、外光強度の推算値から算出されるタッチ・非タッチ間画素値（符号１３２で示す）が飽和画素値に達してしまう。図２１（ａ）では、飽和画素値に達していない場合の（本来の）タッチ・非タッチ間画素値を符号１３３で示している。

この問題を解決するためには、赤外光センサ１２および可視光センサ１３の感度を落として図２１（ｂ）に示すようにタッチ・非タッチ間画素値が飽和しない状態にする必要がある。この感度を落とす処理によりタッチ・非タッチ間画素値が飽和しないようになるので、正確にタッチ・非タッチ間画素値を算出することができるようになる。赤外光センサ１２および可視光センサ１３の感度を切り替えるタイミングは、タッチ・非タッチ間画素値が飽和した時点（図２１（ａ）における「感度切替ポント」）またはその直前である。

すなわち、最適感度算出部４は、タッチ・非タッチ間画素値算出部６が算出したタッチ・非タッチ間画素値が飽和しないように、感度調整部１６を通して赤外光センサ１２および可視光センサ１３の感度を設定する。

この構成により、反射光認識モードにおいて指示物体の認識にとって最適な撮像画像を取得できるように赤外光センサ１２の感度を調整することができる。

（感度切替処理の例）
影認識モードにおいて感度切替をした場合としない場合との撮像画像の例を図２２に示す。図２２の上段は感度切替をしない場合を示している。感度切替をしない場合は外光強度が強くなるにつれ背景画素値と同時に、指を透過する光により指腹下画素値も高くなってしまい、最後には全ての画素が飽和してしまい、まっ白な画像になる。このような画像からは正確にタッチ位置検出を行うことは不可能である。

一方、図２２の下段に示すように、感度切替をした場合は、感度切替をしない場合と同じ外光強度でも、感度が落ちているので背景画素値および指腹下画素値が飽和することなく、タッチ位置が検出できる画像の状態を保てていることがわかる。

ここで、最適感度算出部４の処理の一例として、影認識モードにおいて、感度１／１から感度１／４まで段階的に赤外光センサ１２の感度を切替える処理について図２３を参照しつつ説明する。図２３は、最適感度算出部４における感度切替処理の例を説明するための図である。

まず、感度を落とす場合の例を説明する。感度１／１で外光強度が飽和画素値である２５５に達した時、感度DOWN（低下）処理が行われ感度１／２になる。この時、感度１／１で外光強度が２５５だったものが、感度１／２になることにより、同じ外光でも外光強度は半分の１２８と算出される。同じく感度１／２で外光強度が飽和画素値である２５５に達した時は感度DOWN処理により感度１／４になり、感度１／２で２５５だった外光強度は、感度１／４では１２８になる。

次に感度を上げる場合の例を説明する。感度１／４で外光強度が飽和画素値「２５５」の約１／４の６４以下になった場合は、感度UP（上昇）処理により感度１／２に戻す。感度１／４で６４だった外光強度は感度１／２になることにより１２８と算出される。感度１／２で外光強度が飽和画素値の約１／４の６４以下になった場合は、感度UP処理により赤外光センサ１２および可視光センサ１３の感度は感度１／１に戻る。

外光強度が２５５で飽和してしまうため、外光強度がそれ以上の場合は、外光強度がどの程度強くなったのかを算出することはできない。そのため、感度DOWNの場合は、感度１／１、１／２、１／４と順に感度を落としていくことが好ましい。しかし、感度UPの場合は外光強度が飽和することがないので、感度１／４から１／１にジャンプさせることができる。例えば、図２３で感度１／４のときに外光強度が１２８付近から３２以下にいきなり低下した場合は、感度を１／２にアップさせるのではなく、感度を１／１に上昇させるようにしても良い。

すなわち、最適感度算出部４は、外光強度の推算値に応じて赤外光センサ１２および可視光センサ１３の感度を段階的に設定し、外光強度の推算値が所定の基準値以下になった場合に、赤外光センサ１２および可視光センサ１３の感度を一度に複数段階上昇させる。なお、感度設定の段階は、上述の３段階に限定されず、２段階でも４段階以上でもよい。

ここでは軽度な外光強度の変化により、感度UP・DOWNが頻繁に切り替わらないようにするために、感度DOWNポイントを２５５（感度DOWN後は１２８になる）、感度UPポイントを６４（感度UP後は１２８になる）として、ヒステリシスを持たせるようにした。換言すれば、最適感度算出部４は、赤外光センサ１２および可視光センサ１３の感度が第１感度（例えば、感度１／１）に設定されている状態で外光強度が第１基準値（例えば、２５５）に達したときに赤外光センサ１２および可視光センサ１３の感度を第１感度から当該第１感度よりも低い第２感度（例えば、感度１／２）へ低下させ、赤外光センサ１２および可視光センサ１３の感度が第２感度に設定されている状態で外光強度が第２基準値（例えば、６４）に低下したときに赤外光センサ１２および可視光センサ１３の感度を第２感度から第１感度へ上昇させる。上記第２基準値は、第１基準値に対応する実際の外光強度を第２感度に設定されている赤外光センサ１２および可視光センサ１３で検出した場合の外光強度（例えば、１２８）よりも所定の値だけ小さいことが好ましい。この所定の値は、当業者によって適宜設定されればよい。

なお、上記第１および第２基準値は、最適感度算出部４が利用可能な記憶部に格納されていればよい。

以上のように外光強度に応じて赤外光センサ１２および可視光センサ１３の感度UP・DOWN処理を行うことで、画像のダイナミックレンジを最適な値に調整し、最適な画像で認識処理を行うことができるようになる。上述の説明は、影認識モードの場合の説明であるが、同様の技術思想を反射認識モードに適用することができる。影認識モードの場合には、最適感度算出部４は、タッチ・非タッチ間画素値が飽和しないように外光強度の推算値に応じて赤外光センサ１２および可視光センサ１３の感度を調整すればよい。

（タッチ位置検出装置１における処理の流れ）
次に、図２４を参照しつつ、タッチ位置検出装置１におけるタッチ位置検出処理の流れの一例について説明する。図２４は、タッチ位置検出装置１におけるタッチ位置検出処理の流れの一例を示すフローチャートである。

まず、光センサ内蔵ＬＣＤ１１の赤外光センサ１２および可視光センサ１３によって指示物体の撮像画像が撮像される。赤外光センサ１２が取得した撮像画像である赤外光画像および可視光センサ１３が取得した撮像画像である可視光画像は、ＡＤコンバータ１４を介して、画像調整部２へ出力される（Ｓ１１）。

画像調整部２は、赤外光画像および可視光画像を受け取ると、当該画像のゲインおよびオフセットを調整するキャリブレーション処理などを行い、調整した赤外光画像および可視光画像を記憶部４０に格納するとともに、調整した赤外光画像を外光強度算出部３へ出力する（Ｓ１２）。

外光強度算出部３は、赤外光画像を受け取ると、当該赤外光画像から上述したように外光強度の推算値を算出し（外光強度算出工程）、算出した外光強度の推算値を最適感度算出部４、認識処理選択部５およびタッチ・非タッチ間画素値算出部６へ出力する（Ｓ１３）。

認識処理選択部５は、外光強度算出部３から外光強度の推算値を受け取ると、上述したように、当該推算値が所定の閾値未満であるかどうかを判定した結果に基づいて反射光認識モードに設定すべきか、影認識モードに設定すべきかを判定する（Ｓ１４）。

反射光認識モードに設定する場合には、認識処理選択部５は、バックライト制御部１５を介してバックライト１７における赤外光光源をオンにするとともに、タッチ・非タッチ間画素値算出部６へ反射光認識モードに対応したタッチ・非タッチ間画素値を算出するよう命じる（Ｓ１５）。

影認識モードに設定する場合には、認識処理選択部５は、バックライト制御部１５を介してバックライト１７における赤外光光源をオフにするとともに、タッチ・非タッチ間画素値算出部６へ影認識モードに対応したタッチ・非タッチ間画素値を算出するよう命じる（Ｓ１５）。このような認識モードの切り替えは、次のフレームの撮像画像に反映される。

一方、最適感度算出部４は、外光強度算出部３で算出された外光強度の推算値に応じて、指示物体を認識するための最適な感度を算出し、感度調整部１６へ出力する（Ｓ１６）。感度調整部１６は、最適感度算出部４から出力された最適感度に対応するように各赤外光センサ１２および可視光センサ１３の感度を調整する。この感度調整は、次のフレームの撮像画像に反映される。

次に、タッチ・非タッチ間画素値算出部６は、認識処理選択部５から出力された命令が示す認識モードに対応した数式を用いて、外光強度算出部３が算出した外光強度の推算値からタッチ・非タッチ間画素値を算出し、算出したタッチ・非タッチ間画素値を認識不要情報削除部７へ出力する（Ｓ１７）。このときタッチ・非タッチ間画素値算出部６は、さらに不要情報削除用画素値を算出し、認識不要情報削除部７へ出力してもよい。

認識不要情報削除部７は、タッチ・非タッチ間画素値を受け取ると、認識処理選択部５が設定した認識モードに対応した撮像画像を記憶部４０から取得する。すなわち、認識不要情報削除部７は、影認識モードの場合には可視光画像を取得し、反射光認識の場合には赤外光画像を取得する。そして、認識不要情報削除部７は、例えば、影認識モードの場合には、取得した可視光画像に含まれる画素のうち、タッチ・非タッチ間画素値以上の画素値を有する画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の認識に不要な撮像画像中の情報（すなわち、指示物体の背景の像）を削除する（Ｓ１８）。このとき、認識不要情報削除部７は、さらに不要情報削除用画素値を用いて指示物体の認識に不要な撮像画像中の情報を削除してもよい。認識不要情報削除部７は、処理した撮像画像を特徴量抽出部８へ出力する。

特徴量抽出部８は、認識不要情報削除部７から撮像画像を受け取ると、エッジ検出処理により指示物体の特徴を示す特徴量（エッジ特徴量）を撮像画像の画素ごとに抽出し、抽出した特徴量および当該特徴量を示す画素（特徴領域）の位置情報（画素の座標）をタッチ位置検出部９へ出力する（Ｓ１９）。

タッチ位置検出部９は、特徴量および特徴領域の位置情報を受け取ると、当該特徴領域に対してパターンマッチすることによりタッチ位置を算出する（Ｓ２０）。タッチ位置検出部９は、算出したタッチ位置を示す座標をアプリケーション実行部２１へ出力する。

なお、画像調整部２が、調整した撮像画像を記憶部４０に格納する場合には、外光強度算出部３は、記憶部４０から撮像画像を取得すればよい。

〔実施の形態２〕
本発明の他の実施形態について図２５〜図２７に基づいて説明すれば、以下のとおりである。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。

（タッチ位置検出装置５０の構成）
図２５は、本実施形態のタッチ位置検出装置５０の構成を示すブロック図である。図２５に示すように、タッチ位置検出装置５０は、タッチ位置検出装置１とは異なり、特徴量抽出部（特徴量抽出手段）３１および認識不要情報削除部（削除手段）３２を含む画像解析部２０ａを備えている。

特徴量抽出部３１は、画像調整部２によって調整された撮像画像（赤外光画像または可視光画像）に含まれる、指示物体の像の特徴を示す特徴量を抽出し、認識不要情報削除部３２へ出力する。この特徴量抽出部３１は、反射光認識モードの場合には、赤外光画像を処理対象とし、影認識モードの場合には、可視光画像を処理対象とする。特徴量抽出部３１における処理は、特徴量抽出部８における処理と同じであり、処理の対象および特徴量の出力先が異なっているだけである。

認識不要情報削除部３２は、外光強度算出部３が算出した外光強度の推算値に基づいて、特徴量抽出部３１が抽出した特徴量の少なくとも一部を削除する。より詳細には、認識不要情報削除部３２は、影認識モードの場合に、タッチ・非タッチ間画素値算出部６が算出したタッチ・非タッチ間画素値以上の画素値を有する画素に由来する特徴量（特徴領域）を削除する。また、反射光認識モードの場合には、認識不要情報削除部３２は、タッチ・非タッチ間画素値以下の画素値を有する画素に由来する特徴量（特徴領域）を削除する。画素と対応付けられた特徴量を削除すれば特徴領域（特徴量を示す画素）の情報を削除したことになるため、特徴量の削除と特徴領域の削除とはほぼ同義である。

特徴量の情報は、撮像画像の各画素と対応付けられて、例えば、撮像画像とは異なる特徴量テーブルとして生成される。特徴量を削除する場合には、特徴量を示す特徴量テーブルにおいて、削除の対象となる画素の特徴量を削除すればよい。

さらに、認識不要情報削除部３２は、影認識モードの場合に、タッチ・非タッチ間画素値算出部６が算出した不要情報削除用画素値以下の画素値を有する画素に由来する特徴量を削除し、反射光認識モードの場合に、不要情報削除用画素値以上の画素値を有する画素に由来する特徴量を削除してもよい。すなわち、認識不要情報削除部３２は、所定の上限値および下限値によって規定される所定の範囲から外れた画素値を有する、撮像画像の画素から抽出された特徴量を削除してもよい。

すなわち、タッチ・非タッチ間画素値算出部６は、特徴量抽出部３１が抽出した特徴量が、光センサ内蔵ＬＣＤ１１に接触した撮像対象の接触部分の像に由来するものであるかどうかを判定するための画素値の上限値および下限値を算出し、認識不要情報削除部３２は、上記上限値以上の画素値を有する画素および上記下限値以下の画素値を有する画素に対応する特徴量を削除してもよい。

そして、タッチ位置検出部９は、認識不要情報削除部３２によって雑音除去された特徴量を用いてタッチ位置（撮像対象の像の位置）を特定する。

なお、タッチ・非タッチ間画素値算出部６は、特徴量抽出部３１が抽出した特徴量が、光センサ内蔵ＬＣＤ１１の撮像画面に接触した撮像対象の接触部分の像に由来するものであるかどうかを判定するための画素値の基準値を、外光強度算出部３が算出した推算値から算出するものであるといえる。また、タッチ位置検出部９は、認識不要情報削除部７によって削除されなかった特徴量から、撮像画面に接触した撮像対象の接触部分の像の位置（撮像画像における特徴領域の位置）を算出するものであるといえる。

図２６は、影認識モードの場合の、認識不要情報削除部３２における認識不要情報削除処理を説明するための図である。図２６に示すように、影認識モードの場合、非タッチ時の撮像画像に含まれている、光センサ内蔵ＬＣＤ１１に接触していない指示物体の像（タッチ・非タッチ間画素値以上の画素値を有する画素）の特徴量は、認識不要情報削除部３２によって削除される。そのため、図２６の「不要部分削除前」の画像に見られる特徴領域（環状の領域）は、非タッチ時の撮像画像では削除されているが、タッチ時の撮像画像では削除されていない。

実施形態１のタッチ位置検出装置１においては、背景画素値と指腹下画素値との関係を変化させた後（背景画素値と指腹下画素値との差を縮めた後）に特徴量抽出を行うので、不要部分を削除した後の撮像画像から特徴量を抽出するためにはエッジ特徴量を抽出するための閾値を変化させる（緩める）必要がある。

一方、本実施形態のタッチ位置検出装置５０のように、特徴量抽出を行った後に、タッチ・非タッチ間画素値以上の画素値を有する画素に対応する特徴量の削除を行う場合には、特徴量抽出時のパラメータを変更する必要がないので、こちらの方式のほうが効果的である。

このような理由により、本実施形態では、撮像画像から特徴量抽出をした後に、タッチ・非タッチ間画素値を用いた雑音除去処理を採用している。

（タッチ位置検出装置５０における処理の流れ）
次に、図２７を参照しつつ、タッチ位置検出装置５０におけるタッチ位置検出処理の流れの一例について説明する。図２７は、タッチ位置検出装置５０におけるタッチ位置検出処理の流れの一例を示すフローチャートである。図２７に示すステップＳ２１〜Ｓ２６は、図１６に示したステップＳ１１〜Ｓ１６と同様のものである。

ステップＳ２７において、タッチ・非タッチ間画素値算出部６は、算出したタッチ・非タッチ間画素値および不要情報削除用画素値を認識不要情報削除部３２へ出力する。

ステップＳ２８において、特徴量抽出部３１は、画像調整部２から出力された撮像画像のうち、認識処理選択部５が設定した認識モードに対応する撮像画像から指示物体の像の特徴を示す特徴量を抽出する。そして、特徴量抽出部３１は、抽出した特徴量および当該特徴量を示す画素の位置情報を含む特徴領域データを、撮像画像とともに認識不要情報削除部３２へ出力する。

認識不要情報削除部３２は、タッチ・非タッチ間画素値算出部６からタッチ・非タッチ間画素値および不要情報削除用画素値を、特徴量抽出部３１から撮像画像および特徴領域データを受け取ると、影認識モードの場合には、タッチ・非タッチ間画素値以上の画素値を有する画素に由来する特徴量を削除する（Ｓ２９）。より具体的には、認識不要情報削除部３２は、特徴領域データが示す特徴量と対応付けられた、撮像画像中の画素（特徴領域）の画素値を取得し、その画素値がタッチ・非タッチ間画素値以上であれば、当該特徴量を特徴領域データから削除する。認識不要情報削除部３２は、この処理を特徴領域データが示す特徴量ごと（撮像画像における画素ごと）に行う。認識不要情報削除部３２は、処理した特徴領域データをタッチ位置検出部９へ出力する。

タッチ位置検出部９は、認識不要情報削除部３２によって処理された特徴領域データを受け取ると、当該特徴領域データが示す特徴領域に対してパターンマッチすることによりタッチ位置（撮像画像における指示物体の像の位置）を算出する（Ｓ３０）。タッチ位置検出部９は、算出したタッチ位置を示す座標をアプリケーション実行部２１へ出力する。

なお、反射光認識モードの場合には、ステップＳ２９において、認識不要情報削除部３２は、タッチ・非タッチ間画素値以下の画素値を有する画素に由来する特徴量を削除する。より具体的には、認識不要情報削除部３２は、特徴領域データが示す特徴量と対応付けられた、撮像画像中の画素（特徴領域）の画素値を取得し、その画素値がタッチ・非タッチ間画素値以下であれば、当該特徴量を特徴領域データから削除する。

さらに、ステップＳ２９において、認識不要情報削除部３２は、影認識モードの場合に、特徴領域データが示す特徴量と対応付けられた、撮像画像中の画素（特徴領域）の画素値を取得し、その画素値が不要情報削除用画素値以下であれば、当該特徴量を特徴領域データから削除してもよい。同様に、ステップＳ２９において、認識不要情報削除部３２は、反射光認識モードの場合に、特徴領域データが示す特徴量と対応付けられた、撮像画像中の画素（特徴領域）の画素値を取得し、その画素値が不要情報削除用画素値以上であれば、当該特徴量を特徴領域データから削除してもよい。

（変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

また、上述したタッチ位置検出装置１・５０の各ブロック、特に画像解析部２０・２０ａは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、タッチ位置検出装置１・５０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタッチ位置検出装置１・５０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記タッチ位置検出装置１・５０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、タッチ位置検出装置１・５０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

広い範囲の環境照度下において撮像対象の像の位置を適切に検出できるため、タッチパネルを有する位置検出装置、入力装置等に適用できる。

１ タッチ位置検出装置（位置検出装置）
３ 外光強度算出部（推算値算出手段）
４ 最適感度算出部（感度設定手段）
５ 認識処理選択部（切替手段）
６ タッチ・非タッチ間画素値算出部（基準値算出手段）
７ 認識不要情報削除部（画像処理手段）
８ 特徴量抽出部（特徴量抽出手段）
９ タッチ位置検出部（位置算出手段）
１１ 光センサ内蔵ＬＣＤ（撮像画面）
１２ 赤外光センサ（第１光センサ）
１３ 可視光センサ（第２光センサ）
１７ バックライト（赤外光光源）
３１ 特徴量抽出部（特徴量抽出手段）
３２ 認識不要情報削除部（削除手段）
５０ タッチ位置検出装置（位置検出装置）

Claims (27)

1. 複数の光センサを有する撮像画面に近接した撮像対象を上記光センサによって撮像した撮像画像を解析することにより、当該撮像画像における、上記撮像対象の像の位置を検出する位置検出装置であって、
   上記光センサとしての、波長に対する感度特性が互いに異なる第１および第２光センサと、
   上記第１光センサが取得した撮像画像を用いて、上記撮像対象の周囲の光強度である外光強度の指標となる推算値を算出する推算値算出手段とを備えることを特徴とする位置検出装置。
2. 上記第１光センサは主に赤外光を受光する赤外光センサであり、
   上記推算値算出手段は、上記第１光センサの受光量に基づいて上記推算値を算出することを特徴とする請求項１に記載の位置検出装置。
3. 上記第２光センサは主に可視光を受光する可視光センサであることを特徴とする請求項２に記載の位置検出装置。
4. 上記撮像対象に対して赤外光を出射する赤外光光源をさらに備えることを特徴とする請求項２または３に記載の位置検出装置。
5. 上記推算値算出手段は、上記第１光センサが取得した撮像画像に含まれる少なくとも一部の画素を、その画素値が高い順に並べた場合の所定の順位にある画素の画素値を用いて、上記推算値を算出することを特徴とする請求項１〜４のいずれか１項に記載の位置検出装置。
6. 上記推算値算出手段が算出した推算値に基づいて、上記撮像対象に対して出射された光が当該撮像対象に反射した光の像を撮像した撮像画像から当該撮像対象の像の位置を検出する第１検出方法と、上記光センサに入射する外光が上記撮像対象によって遮られることによって生じる影を撮像した撮像画像から当該撮像対象の像の位置を検出する第２検出方法とを切り替える切替手段をさらに備え、
   上記推算値算出手段は、上記切替手段が切り替えた検出方法に対応する上記所定の順位を用いて上記推算値を算出することを特徴とする請求項５に記載の位置検出装置。
7. 上記推算値算出手段が算出した推算値に基づいて、上記撮像対象に対して出射された光が当該撮像対象に反射した光の像を撮像した撮像画像から当該撮像対象の像の位置を検出する第１検出方法と、上記光センサに入射する外光が上記撮像対象によって遮られることによって生じる影を撮像した撮像画像から当該撮像対象の像の位置を検出する第２検出方法とを切り替える切替手段をさらに備えることを特徴とする請求項１〜５のいずれか１項に記載の位置検出装置。
8. 上記第１光センサは主に赤外光を受光する赤外光センサであり、
   上記撮像対象に対して赤外光を出射する赤外光光源をさらに備え、
   上記切替手段は、上記第１検出方法に切り替える場合に上記赤外光光源を点灯させ、上記第２検出方法に切り替える場合に上記赤外光光源を消灯させることを特徴とする請求項７に記載の位置検出装置。
9. 上記第２検出方法を上記第１検出方法に切り替える上記推算値の基準値と、上記第１検出方法を上記第２検出方法に切り替える上記推算値の基準値とは異なっていることを特徴とする請求項７または８に記載の位置検出装置。
10. 上記撮像画像から上記撮像対象の像の特徴を示す特徴量を抽出する特徴量抽出手段と、
    上記特徴量抽出手段が抽出した特徴量が、上記撮像画面に接触した撮像対象の接触部分の像に由来するものであるかどうかを判定するための画素値の基準値を、上記推算値算出手段が算出した推算値から算出する基準値算出手段と、
    上記基準値算出手段が算出した基準値に基づいて上記特徴量抽出手段が抽出した特徴量の少なくとも一部を削除する削除手段と、
    上記削除手段によって削除されなかった特徴量から、上記撮像画面に接触した撮像対象の接触部分の像の位置を算出する位置算出手段とをさらに備えることを特徴とする請求項１〜９のいずれか１項に記載の位置検出装置。
11. 上記基準値算出手段は、上記基準値として画素値の上限値を算出し、
    上記削除手段は、上記基準値算出手段が算出した上限値以上の画素値を有する画素に対応する特徴量を削除することを特徴とする請求項１０に記載の位置検出装置。
12. 上記基準値算出手段は、上記基準値として画素値の下限値を算出し、
    上記削除手段は、上記基準値算出手段が算出した下限値以下の画素値を有する画素に対応する特徴量を削除することを特徴とする請求項１０に記載の位置検出装置。
13. 上記基準値算出手段は、上記基準値として画素値の上限値および下限値を算出し、
    上記削除手段は、上記基準値算出手段が算出した上限値以上の画素値を有する画素および上記基準値算出手段が算出した下限値以下の画素値を有する画素に対応する特徴量を削除することを特徴とする請求項１０に記載の位置検出装置。
14. 上記推算値算出手段が算出した推算値から、上記撮像画面に接触した撮像対象の接触部分の像以外の像を上記撮像画像から削除するための画素値の基準値を算出する基準値算出手段と、
    上記基準値算出手段が算出した基準値に基づいて、上記撮像画像に含まれる画素の一部の画素の画素値を変更する画像処理手段とをさらに備えることを特徴とする請求項１〜９のいずれか１項に記載の位置検出装置。
15. 上記基準値算出手段は、上記基準値として画素値の上限値を算出し、
    上記画像処理手段は、上記基準値算出手段が算出した上限値以上の画素値を変更することを特徴とする請求項１４に記載の位置検出装置。
16. 上記基準値算出手段は、上記基準値として画素値の下限値を算出し、
    上記画像処理手段は、上記基準値算出手段が算出した下限値以下の画素値を変更することを特徴とする請求項１４に記載の位置検出装置。
17. 上記基準値算出手段は、上記基準値として画素値の上限値および下限値を算出し、
    上記画像処理手段は、上記基準値算出手段が算出した上限値以上の画素値および上記基準値算出手段が算出した下限値以下の画素値を変更することを特徴とする請求項１４に記載の位置検出装置。
18. 上記基準値算出手段は、複数の所定の数式から選択される少なくとも１つの数式を用いて上記基準値を算出し、上記推算値算出手段が算出した推算値に応じて、上記所定の数式を使い分けることを特徴とする請求項１０〜１７のいずれか１項に記載の位置検出装置。
19. 上記推算値算出手段が算出した推算値に基づいて、上記撮像対象に対して出射された光が当該撮像対象に反射した光の像を撮像した撮像画像から当該撮像対象の像の位置を検出する第１検出方法と、上記光センサに入射する外光が上記撮像対象によって遮られることによって生じる影を撮像した撮像画像から当該撮像対象の像の位置を検出する第２検出方法とを切り替える切替手段をさらに備え、
    上記基準値算出手段は、複数の所定の数式から選択される少なくとも１つの数式を用いて上記基準値を算出し、上記切替手段が切り替えた検出方法に応じて、上記所定の数式を使い分けることを特徴とする請求項１０〜１７のいずれか１項に記載の位置検出装置。
20. 上記推算値算出手段が算出した推算値に基づいて上記第１光センサの感度を設定する感度設定手段をさらに備えることを特徴とする請求項１〜１９のいずれか１項に記載の位置検出装置。
21. 上記感度設定手段は、上記第１光センサの感度を段階的に設定し、上記推算値が所定の基準値以下になった場合に、上記第１光センサの感度を一度に複数段階上昇させることを特徴とする請求項２０に記載の位置検出装置。
22. 上記感度設定手段は、上記推算値算出手段が算出した推算値が飽和しないように上記第１光センサの感度を設定することを特徴とする請求項２０または２１に記載の位置検出装置。
23. 上記推算値算出手段が算出した推算値に基づいて上記第１光センサの感度を設定する感度設定手段をさらに備え、
    上記感度設定手段は、上記基準値算出手段が算出した基準値が飽和しないように上記第１光センサの感度を設定することを特徴とする請求項１０〜１９のいずれか１項に記載の位置検出装置。
24. 上記感度設定手段は、上記第１光センサの感度が第１感度に設定されている状態で上記推算値が第１基準値に達したときに上記感度を上記第１感度から当該第１感度よりも低い第２感度へ低下させ、上記第１光センサの感度が上記第２感度に設定されている状態で上記推算値が第２基準値に低下したときに上記感度を上記第２感度から上記第１感度へ上昇させ、
    上記第２基準値は、上記第１基準値に対応する実際の外光強度を上記第２感度に設定されている光センサで検出した場合の外光強度よりも小さいことを特徴とする請求項２０〜２３のいずれか１項に記載の位置検出装置。
25. 請求項１〜２４のいずれか１項に記載の位置検出装置を動作させる制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
26. 請求項２５に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
27. 複数の光センサを有する撮像画面に近接した撮像対象を上記光センサによって撮像した撮像画像を解析することにより、当該撮像画像における、上記撮像対象の像の位置を検出する位置検出装置の制御方法であって、
    上記位置検出装置は、上記光センサとして、波長に対する感度特性が互いに異なる第１および第２光センサを備え、
    上記第１光センサが取得した撮像画像を用いて、上記撮像対象の周囲の光強度である外光強度の指標となる推算値を算出する推算値算出工程を含むことを特徴とする制御方法。