JP4796104B2 - 撮像装置、画像解析装置、外光強度算出方法、画像解析方法、撮像プログラム、画像解析プログラムおよび記録媒体 - Google Patents

Description

本発明は、複数の撮像センサを有する撮像画面を指示する指示物体の撮像画像を撮像する撮像装置、上記撮像画像を解析する画像解析装置、画像解析方法および指示物体の周囲の光強度を算出する外光強度算出方法に関するものである。

近年、ＬＣＤ（液晶ディスプレイ）や有機ＥＬディスプレイなどのディスプレイの各画素に光センサを内蔵し、表示するだけでなく撮像も同時にできるディスプレイが開発されている。この光センサ内蔵ディスプレイを用いて、当該光センサ内蔵ディスプレイの表面の任意の位置を指示するユーザの指またはタッチペン等の指示部材の画像を撮像し、その画像をもとにタッチパネルを実現する技術開発もなされている。例えば、特許文献１において光センサ内蔵ＬＣＤを用いてタッチパネルを実現する技術が説明されている。なお、以下では、上記ユーザの指および指示部材をまとめて、指示物体と称する。

このように、光センサ内蔵ＬＣＤを用いたタッチパネルを実現する技術は開発されている。しかし、光センサで取得した画像は、タッチパネルにタッチされる指（または指示部材）の周囲の光である外光の強さおよび外光の入射する方向により大きく変化する。そのため、そのような変化の激しい画像から精度良くタッチと非タッチとを区別するためには、外光の影響を考慮した画像解析を行う必要がある。

そこで、特許文献２に記載の発明ではユーザの入力または外光センサなどから外光の強さを取得し、外光の強さがある閾値を超えたかどうかを基準に、画像処理方法を切替える手法を採用し、外光の変化に対応しようとしている。

また、特許文献３に記載の発明では、画像中の黒画像と白画像との割合を判定することにより、外光の強弱を判定し、画像処理方法を切替える手法を採用している。
特開２００６−２４４４４６号公報（２００６年９月１４日公開） 特開２００７−１８３７０６号公報（２００７年７月１９日公開） 特開２００４−３１８８１９号公報（２００４年１１月１１日公開）

ところが、特許文献２および３に記載の構成では、外光の強さを精度良く判定できないという問題が生ずる。

具体的には、特許文献２の発明では、外光を検出するための外光センサは、画像取得用光センサとは離れた位置にあるため、画像取得用光センサに入射する外光の強度を正確に算出することができない。

また、特許文献３の発明では、撮像画像に含まれる黒画像と白画像との割合から大雑把に外光の強度を判定しているだけであり、外光の強度を正確に算出することができない。

さらに、特許文献２および３には、算出した外光の強度を用いて、タッチパネル上の位置を指示する指示物体の画像を処理し、タッチ、非タッチの識別精度を向上させる技術は開示されていない。

本発明は、上記の問題点を解決するためになされたもので、その目的は、外光の強度を正確に算出することができる撮像装置、外光強度算出方法を提供することにある。また、本発明の他の目的は、外光の強度を用いて、指示物体の画像を処理することにより、タッチ、非タッチの識別精度を向上させることである。

本発明に係る撮像装置は、上記の課題を解決するために、複数の撮像センサを有する撮像画面を備え、当該撮像画面に対して接触している、または接触していない指示物体の撮像画像を上記撮像センサによって撮像する撮像装置であって、上記撮像センサの近傍に配され、当該撮像センサよりも光の検出感度が低い少なくとも１つの外光センサと、上記外光センサの受光量に基づいて、上記指示物体の周囲の光の強度である外光強度を算出する外光強度算出手段とを備えることを特徴としている。

本発明に係る外光強度算出方法は、上記の課題を解決するために、複数の撮像センサを有する撮像画面を備え、当該撮像画面に対して接触している、または接触していない指示物体の撮像画像を上記撮像センサによって撮像する撮像装置における外光強度算出方法であって、上記撮像センサの近傍に配され、当該撮像センサよりも光の検出感度が低い少なくとも１つの外光センサの受光量に基づいて、上記光センサに入射する上記指示物体の周囲の光の強度である外光強度を算出する外光強度算出工程を含むことを特徴としている。

上記の構成によれば、撮像センサよりも光の検出感度が低い外光センサが、少なくとも１つ撮像センサの近傍に配されており、外光強度算出手段は、外光センサの受光量に基づいて指示物体の周囲の光の強度である外光強度を算出する。算出された外光強度は、例えば、撮像センサの感度を調整するため、または撮像画像の処理のために利用できる。

感度の高い撮像センサを用いて外光強度を算出した場合には、撮像センサの出力値（画素値）が飽和する状態が頻繁に起こる可能性が高い。上記の構成では、外光センサの検出感度が撮像センサの検出感度より低いため、外光センサの出力値が飽和する可能性が低く、外光強度を正確に算出できる可能性を高めることができる。

上記外光センサは、上記指示物体を透過する光に比べて上記指示物体を透過しない光に対する感度が低いことが好ましい。

上記の構成によれば、外光センサは、指示物体を透過する光はある程度検出するが、指示物体を透過しない光に対する感度は低い。外光強度を算出する場合には、指示物体を透過しない光よりも指示物体を透過する光を選択的に検出し、指示物体を透過する光の強度に基づいて外光強度を算出することが好ましい。その方が、算出した外光強度から、指示物体を透過する透過光の影響を予測することが容易になるためである。

それゆえ、上記の構成により、外光強度をより正確に算出することができる。

上記撮像装置は、上記外光センサを複数備え、上記外光センサは、上記複数の撮像センサの間に配置されていることが好ましい。

上記の構成により、複数の撮像センサの近傍にそれぞれ外光センサが設けられることになり、外光強度をより正確に算出することができる。

上記撮像装置は、上記外光センサを複数備え、上記外光センサは、上記撮像センサが配列されている領域の外縁部に隣接して配置されていることが好ましい。

上記の構成により、上記撮像センサが配列されている領域の内部には外光センサは配置されないため、撮像センサによって撮像される撮像画像の解像度が下がることを回避できる。

上記撮像装置は、上記外光センサを複数備え、上記外光強度算出手段は、上記複数の外光センサからの上記受光量を示す出力値の少なくとも一部の出力値を選択し、選択した出力値を、その出力値が高い順に並べた場合の所定の順位にある出力値を上記外光強度とすることが好ましい。

外光センサの位置によっては、指示物体によって当該外光センサに入射する外光が遮られる可能がある。

上記の構成によれば、外光強度算出手段は、複数の外光センサからの受光量を示す出力値の少なくとも一部の出力値を選択する。そして、外光強度算出手段は、選択した出力値を、その出力値が高い順に並べた場合の所定の順位（例えば、１０番目）にある出力値を外光強度として採用する。

それゆえ、上記所定の順位を適切に設定することにより、指示物体の影響を受けていない可能性の高い外光センサからの出力値に基づいて外光強度を適切に算出することができる。

上記所定の順位は、選択された出力値の総数の１０％未満の数に相当することが好ましい。

上記の構成によれば、外光強度算出手段は、選択された画出力値の総数の１０％未満の数に相当する順位にある出力値を外光強度として採用する。例えば、選択された画素の総数が１０００であり、上記所定の順位が、選択された出力値の総数の２％の数に相当する順位であれば、上記所定の順位は２０番目になる。

それゆえ、外光センサの出力値の中から外光強度を算出するために適当な出力値を適切に選択することができる。

上記撮像装置は、上記外光強度算出手段が算出した外光強度に基づいて上記撮像センサの感度を設定する感度設定手段をさらに備えることが好ましい。

上記の構成により、適切な感度で撮像画像を取得することができ、指示物体の認識に適した撮像画像を取得することができる。

上記感度設定手段は、上記撮像センサの感度を段階的に設定し、上記外光強度が所定の基準値以下になった場合に、上記撮像センサの感度を一度に複数段階上昇させることが好ましい。

上記の構成によれば、外光強度が所定の基準値以下になった場合に、撮像センサの感度が一度に複数段階上昇する。それゆえ、感度を少しずつ高めていくよりも、より迅速に適切な撮像を行うことができる。

上記撮像装置は、上記外光強度算出手段が算出した外光強度から、上記撮像画像に含まれる像が、上記撮像画面に対して接触した指示物体の接触部分に由来するものであるかどうかを判定するための画素値の基準値である判定基準値を算出する基準値算出手段と、上記基準値算出手段が算出した判定基準値に基づいて上記撮像センサの感度を設定する感度設定手段とをさらに備えることが好ましい。

上記の構成によれば、基準値算出手段は、撮像画像に含まれる像が、撮像画面に対して接触した指示物体の接触部分に由来するものであるかどうかを判定するための判定基準値を算出し、感度設定手段は、その判定基準値に基づいて撮像センサの感度を設定する。

それゆえ、撮像画像に含まれる、撮像画面に接触した指示物体の接触部分に由来する像を解析するために適した感度で撮像画像を取得することができる。

上記感度設定手段は、上記撮像センサの感度を段階的に設定し、上記判定基準値が所定の値以下になった場合に、上記撮像センサの感度を一度に複数段階上昇させることが好ましい。

上記の構成によれば、判定基準値が所定の値以下になった場合に、撮像センサの感度が一度に複数段階上昇する。それゆえ、感度を少しずつ高めていくよりも、より迅速に適切な撮像を行うことができる。

上記感度設定手段は、上記撮像画面に接触した指示物体の接触部分の像を形成する画素の画素値が飽和しないように上記撮像センサの感度を設定することが好ましい。

指示物体の接触部分の像を形成する画素の画素値が飽和した場合には、当該指示物体の像を認識する精度が低下する。

上記の構成により、指示物体の接触部分の像を形成する画素の画素値が飽和しない感度で撮像画像を取得することができ、指示物体の認識に適した撮像画像を取得することができる。

上記感度設定手段は、上記撮像センサの感度が第１感度に設定されている状態で上記外光強度が第１基準値に達したときに上記感度を上記第１感度から当該第１感度よりも低い第２感度へ低下させ、上記撮像センサの感度が上記第２感度に設定されている状態で上記外光強度が第２基準値に低下したときに上記感度を上記第２感度から上記第１感度へ上昇させ、上記第２基準値は、上記第１基準値よりも小さいことが好ましい。

上記の構成によれば、撮像センサの感度が第２感度に設定されている状態で撮像センサの感度を第１感度に上昇させる外光強度（外光強度算出手段によって算出される外光強度）の基準である第２基準値は、撮像センサの感度が第１感度に設定されている状態で撮像センサの感度を第２感度に低下させる外光強度（外光強度算出手段によって算出される外光強度）の基準である第１基準値よりも小さい。

それゆえ、撮像センサの感度を第１感度から第２感度に低下させた場合に、外光強度算出手段によって算出される外光強度がすぐに第２基準値に達して、撮像センサの感度が第１感度へ再び切り替わる可能性が少なくなる。従って、外光強度が多少変化しただけで、撮像センサの感度が第１感度から第２感度へまたは第２感度から第１感度へ頻繁に切り替わることを防止することができる。

上記感度設定手段は、上記撮像センサの感度が第１感度に設定されている状態で上記判定基準値が第１基準値に達したときに上記感度を上記第１感度から当該第１感度よりも低い第２感度へ低下させ、上記撮像センサの感度が上記第２感度に設定されている状態で上記判定基準値が第２基準値に低下したときに上記感度を上記第２感度から上記第１感度へ上昇させ、上記第２基準値は、上記第１基準値よりも小さいことが好ましい。

上記の構成によれば、撮像センサの感度が第２感度に設定されている状態で撮像センサの感度を第１感度に上昇させる判定基準値（基準値算出手段によって算出される判定基準値）の基準である第２基準値は、撮像センサの感度が第１感度に設定されている状態で撮像センサの感度を第２感度に低下させる判定基準値（基準値算出手段によって算出される判定基準値）の基準である第１基準値よりも小さい。

それゆえ、撮像センサの感度を第１感度から第２感度に低下させた場合に、基準値算出手段によって算出される判定基準値がすぐに第２基準値に達して、撮像センサの感度が第１感度へ再び切り替わる可能性が少なくなる。従って、外光強度が多少変化しただけで、撮像センサの感度が第１感度から第２感度へまたは第２感度から第１感度へ頻繁に切り替わることを防止することができる。

上記撮像装置を動作させる撮像プログラムであって、コンピュータを上記各手段として機能させるための撮像プログラムおよび当該撮像プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。

本発明に係る画像解析装置は、上記の課題を解決するために、複数の撮像センサを有する撮像画面に対して接触している、または接触していない指示物体の、上記撮像センサによって撮像された撮像画像を解析する画像解析装置であって、上記撮像画像を取得する取得手段と、上記指示物体の周囲の光の強度である外光強度から、上記指示物体が上記撮像画面に対して接触していない場合の当該指示物体の像を上記撮像画像から削除するための画素値の基準値を算出する基準値算出手段と、上記取得手段が取得した撮像画像に含まれる画素のうち、上記基準値算出手段が算出した基準値以上の画素値を有する画素の画素値を上記基準値に置き換える画像処理手段とを備えることを特徴としている。

本発明に係る画像解析方法は、上記の課題を解決するために、複数の撮像センサを有する撮像画面に対して接触している、または接触していない指示物体の、上記撮像センサによって撮像された撮像画像を解析する画像解析装置における画像解析方法であって、上記撮像画像を取得する取得工程と、上記指示物体の周囲の光の強度である外光強度から、上記指示物体が上記撮像画面に対して接触していない場合の当該指示物体の像を上記撮像画像から削除するための画素値の基準値を算出する基準値算出工程と、上記取得工程において取得された撮像画像に含まれる画素のうち、上記基準値算出工程において算出された基準値以上の画素値を有する画素の画素値を上記基準値に置き換える画像処理工程とを含むことを特徴としている。

上記の構成によれば、基準値算出手段は、指示物体が撮像画面に対して接触していない場合の当該指示物体の像を撮像画像から削除するための画素値の基準値を外光強度に基づいて算出する。そして、画像処理手段は、撮像画像に含まれる画素のうち、上記基準値以上の画素値を有する画素の画素値を基準値に置き換える。

それゆえ、指示物体が撮像画面に対して接触していない場合の当該指示物体の像を形成する画素の画素値および背景に相当する画素の画素値は、すべて基準値まで下げられ、均一な背景が形成される。従って、指示物体が撮像画面に対して接触していない場合の当該指示物体の像が撮像画像から削除されることになる。

その結果、指示物体の認識に不要な、指示物体が撮像画面に対して接触していない場合の指示物体の像を撮像画像から削除でき、指示物体の認識の精度を高めることができる。

本発明に係る画像解析装置は、上記の課題を解決するために、複数の撮像センサを有する撮像画面に対して接触している、または接触していない指示物体の、上記撮像センサによって撮像された撮像画像を解析する画像解析装置であって、上記撮像画像を取得する取得手段と、上記取得手段が取得した撮像画像から上記指示物体の像の特徴を示す特徴領域を抽出する特徴領域抽出手段と、上記指示物体の周囲の光の強度である外光強度から、上記特徴領域が上記撮像画面に接触した指示物体の接触部分の像に由来するものであるかどうかを判定するための画素値の基準値を算出する基準値算出手段と、上記特徴領域抽出手段が抽出した特徴領域から、上記基準値算出手段が算出した基準値以上の画素値を有する画素に由来する特徴領域を削除する削除手段と、上記削除手段によって削除されなかった特徴領域から、上記撮像画面に接触した指示物体の接触部分の像の位置を算出する位置算出手段とを備えることを特徴としている。

本発明に係る画像解析方法は、上記の課題を解決するために、複数の撮像センサを有する撮像画面に対して接触している、または接触していない指示物体の、上記撮像センサによって撮像された撮像画像を解析する画像解析装置における画像解析方法であって、上記撮像画像を取得する取得工程と、上記取得工程において取得された撮像画像に含まれる、上記指示物体の像の特徴を示す特徴領域を抽出する特徴領域抽出工程と、上記指示物体の周囲の光の強度である外光強度から、上記特徴領域が上記撮像画面に接触した指示物体の接触部分に由来するものであるかどうかを判定するための画素値の基準値を算出する基準値算出工程と、上記特徴領域抽出工程において抽出された特徴領域から、上記基準値算出工程において算出された基準値以上の画素値を有する画素に由来する特徴領域を削除する削除工程と、上記削除工程によって削除されなかった特徴領域から、上記撮像画面に接触した指示物体の接触部分の像の位置を算出する位置算出工程とを含むことを特徴としている。

上記の構成によれば、特徴領域抽出手段は、撮像画像から指示物体の像の特徴を示す特徴領域を抽出する。基準値算出手段は、外光強度に基づいて、特徴領域が撮像画面に接触した指示物体の接触部分の像に由来するものであるかどうかを判定するための画素値の基準値を算出する。そして、削除手段は、特徴領域抽出手段が抽出した特徴領域から上記基準値以上の画素値を有する画素に由来する特徴領域を削除し、位置算出手段は、削除手段によって削除されなかった特徴領域から、撮像画面に接触した指示物体の接触部分の像の位置を算出する。

それゆえ、指示物体の認識に不要な、指示物体が撮像画面に対して接触していない場合の指示物体の像に由来する特徴領域を削除でき、指示物体の認識の精度を高めることができる。

上記基準値算出手段は、所定の数式を用いて上記基準値を算出し、上記外光強度に応じて、複数種類の上記所定の数式を使い分けることが好ましい。

上記の構成によれば、外光強度の変化に応じて、その外光強度に適した基準値を算出することができる。例えば、基準値算出手段は、外光強度が第１の範囲にある場合に第１の数式を用いて上記基準値を算出し、外光強度が第２の範囲にある場合に第２の数式を用いて上記基準値を算出することができる。

上記画像解析装置を動作させる画像解析プログラムであって、コンピュータを上記各手段として機能させるための画像解析プログラムおよび当該画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。

以上のように、本発明に係る撮像装置は、撮像センサの近傍に配され、当該撮像センサよりも光の検出感度が低い少なくとも１つの外光センサと、上記外光センサの受光量に基づいて、上記指示物体の周囲の光の強度である外光強度を算出する外光強度算出手段とを備える構成である。

また、本発明に係る外光強度算出方法は、撮像センサの近傍に配され、当該撮像センサよりも光の検出感度が低い少なくとも１つの外光センサの受光量に基づいて、上記光センサに入射する上記指示物体の周囲の光の強度である外光強度を算出する外光強度算出工程を含む構成である。

それゆえ、外光センサの出力値が飽和する可能性が低く、外光強度を正確に算出できる可能性を高めることができるという効果を奏する。

本発明に係る画像解析装置は、撮像画像を取得する取得手段と、指示物体の周囲の光の強度である外光強度から、上記指示物体が撮像画面に対して接触していない場合の当該指示物体の像を上記撮像画像から削除するための画素値の基準値を算出する基準値算出手段と、上記取得手段が取得した撮像画像に含まれる画素のうち、上記基準値算出手段が算出した基準値以上の画素値を有する画素の画素値を上記基準値に置き換える画像処理手段とを備える構成である。

また、本発明に係る画像解析方法は、撮像画像を取得する取得工程と、指示物体の周囲の光の強度である外光強度から、上記指示物体が撮像画面に対して接触していない場合の当該指示物体の像を上記撮像画像から削除するための画素値の基準値を算出する基準値算出工程と、上記取得工程において取得された撮像画像に含まれる画素のうち、上記基準値算出工程において算出された基準値以上の画素値を有する画素の画素値を上記基準値に置き換える画像処理工程とを含む構成である。

それゆえ、指示物体の認識に不要な、指示物体が撮像画面に対して接触していない場合の指示物体の像を撮像画像から削除でき、指示物体の認識の精度を高めることができるという効果を奏する。

本発明に係る画像解析装置は、撮像画像を取得する取得手段と、上記取得手段が取得した撮像画像から指示物体の像の特徴を示す特徴領域を抽出する特徴領域抽出手段と、上記指示物体の周囲の光の強度である外光強度から、上記特徴領域が撮像画面に接触した指示物体の接触部分の像に由来するものであるかどうかを判定するための画素値の基準値を算出する基準値算出手段と、上記特徴領域抽出手段が抽出した特徴領域から、上記基準値算出手段が算出した基準値以上の画素値を有する画素に由来する特徴領域を削除する削除手段と、上記削除手段によって削除されなかった特徴領域から、上記撮像画面に接触した指示物体の接触部分の像の位置を算出する位置算出手段とを備える構成である。

また、本発明に係る画像解析方法は、撮像画像を取得する取得工程と、上記取得工程において取得された撮像画像に含まれる、指示物体の像の特徴を示す特徴領域を抽出する特徴領域抽出工程と、上記指示物体の周囲の光の強度である外光強度から、上記特徴領域が撮像画面に接触した指示物体の接触部分に由来するものであるかどうかを判定するための画素値の基準値を算出する基準値算出工程と、上記特徴領域抽出工程において抽出された特徴領域から、上記基準値算出工程において算出された基準値以上の画素値を有する画素に由来する特徴領域を削除する削除工程と、上記削除工程によって削除されなかった特徴領域から、上記撮像画面に接触した指示物体の接触部分の像の位置を算出する位置算出工程とを含む構成である。

それゆえ、指示物体の認識に不要な、指示物体が撮像画面に対して接触していない場合の指示物体の像に由来する特徴領域を削除でき、指示物体の認識の精度を高めることができるという効果を奏する。

〔実施の形態１〕
本発明の実施の一形態について図１〜図１６に基づいて説明すれば、以下のとおりである。ここでは、本発明の実施形態のひとつとして、タッチパネル上の任意の位置を指示するユーザの指またはタッチペン等の指示部材（指示物体と総称する）の画像を撮像し、その画像をもとに指示物体が指示した位置を検出するタッチ位置検出装置１０について説明する。なお、タッチ位置検出装置を表示装置、撮像装置、入力装置または電子機器と表現することもできる。

（タッチ位置検出装置１０の構成）
図１は、本実施形態のタッチ位置検出装置１０の構成を示すブロック図である。図１に示すように、タッチ位置検出装置（画像解析装置、撮像装置）１０は、タッチパネル部（撮像部）１、画像解析部（画像解析装置）９およびアプリケーション実行部３０を備えている。

画像解析部９は、画像調整部２、外光強度算出部（外光強度算出手段）３、最適感度算出部（感度設定手段）４、タッチ・非タッチ間画素値算出部（基準値算出手段）５、認識不要情報削除部（画像処理手段）６、特徴量抽出部（特徴領域抽出手段）７およびタッチ位置検出部（位置算出手段）８を備えている。

タッチパネル部１は、画像取得用の撮像素子である撮像センサ１２および外光強度検出用の外光センサ１５を内蔵した光センサ内蔵ＬＣＤ１１、ＡＤ（analog/digital）コンバータ１３および感度調整部１４を備えている。

光センサ内蔵ＬＣＤ（液晶パネル／ディスプレイ）１１は、撮像センサ１２を内蔵しているため、表示だけではなく画像の撮像が可能である。それゆえ、光センサ内蔵ＬＣＤ１１は、タッチパネルとしての光センサ内蔵ＬＣＤ１１の表面をタッチする指示物体の像を含む画像（以下、撮像画像（またはセンサ画像）と称する）を撮像する撮像画面として機能する。

撮像センサ１２は、光センサ内蔵ＬＣＤ１１の各画素に対して１つずつ設けられている。換言すれば、撮像センサ１２は、光センサ内蔵ＬＣＤ１１の内部において、マトリクス状に配置されている。ただし、撮像センサ１２の配置様式および個数は、上述のものに限定されず、適宜変更してもよい。

撮像センサ１２で取得した信号は、ＡＤコンバータ１３によりデジタル化された後、画像調整部２へ出力される。

外光センサ１５は、撮像センサ１２よりも光の検出感度が低いセンサである。外光センサ１５の好ましい感度としては、ある照度環境において撮像センサ１２を有する光センサ内蔵ＬＣＤ１１の上に指（指示物体）を置いた状態の指腹の像を撮像した撮像センサ１２の画素値とほぼ同じか、またはそれ以下の画素値が、外光センサ１５の画素値となる感度である。

また、外光センサ１５は、可視光にはほとんど反応しないが、赤外光にはある程度反応するセンサであってもよい。つまり、外光センサ１５は、外光として赤外光を主として受光するセンサであってもよい。

ここで、外光センサ１５を赤外光にだけある程度反応するようにする理由について説明する。指示物体である指は可視光をほぼ遮断して赤外光をある程度透過する。予測したいのは指腹を透過する透過光が外光の強さによってどれくらい変化するかということであるため、外光センサ１５をそれと同じように反応するようにすれば、指の透過光が予測しやすくなるからである。

すなわち、外光センサ１５は、指示物体である指を透過する光（赤外光）に比べて指を透過しない光（可視光）に対する感度が低いセンサである。

なお、図１には外光センサ１５は、外光センサ１５は少なくとも１つ備えられていればよいが、後述するように複数備えられていることが好ましい。

タッチ位置検出装置１０は、この光センサ内蔵ＬＣＤ１１を使って、タッチ位置を検出するための撮像画像と、外光強度を算出するための情報（各外光センサ１５の受光量）を取得する。

画像調整部２は、タッチパネル部１で撮像された撮像画像のゲインおよびオフセットを調整するキャリブレーション処理などを行い、調整した撮像画像を認識不要情報削除部６へ出力する。これ以降の説明では、８bit、２５６階調の精度でグレースケールの画像が出力されたものとして説明する。なお、画像調整部２はタッチパネル部１から撮像画像を取得する取得手段としても機能している。また、画像調整部２は、取得した撮像画像または調整した撮像画像を記憶部４０に格納してもよい。

外光強度算出部３は、外光センサ１５から出力された受光量を示す出力値を取得し、取得した出力値から外光強度を算出する。外光強度算出部３は、算出した外光強度を最適感度算出部４およびタッチ・非タッチ間画素値算出部５へ出力する。外光強度算出部３における処理の詳細については後述する。なお、外光強度とは、指示物体（撮像対象）の周囲の光の強度である。

最適感度算出部４は、外光強度算出部３で算出された外光強度またはタッチ・非タッチ間画素値算出部５で算出されたタッチ・非タッチ間画素値に応じて、指示物体を認識するための最適な撮像センサ１２の感度を算出し、感度調整部１４へ出力する。最適感度算出部４における処理の詳細については後述する。

感度調整部１４は、各撮像センサ１２の感度を最適感度算出部４から出力された最適感度に調整する。

タッチ・非タッチ間画素値算出部５は、認識不要情報削除部６において、指示物体の認識に不要な撮像画像中の情報を削除するための画素値の基準値（タッチ・非タッチ間画素値）を算出する。より具体的には、タッチ・非タッチ間画素値算出部５は、外光強度算出部３が算出した外光強度から、指示物体が光センサ内蔵ＬＣＤ１１に対して接触していない場合の当該指示物体の像を撮像画像から削除するための画素の基準値であるタッチ・非タッチ間画素値を算出する。また、タッチ・非タッチ間画素値算出部５は、外光強度算出部３が算出した外光強度から、撮像画像に含まれる像が、光センサ内蔵ＬＣＤ１１に対して接触した指示物体の接触部分に由来するものであるかどうかを判定するための画素値の基準値であるタッチ・非タッチ間画素値（判定基準値）を算出するとも言える。タッチ・非タッチ間画素値算出部５における処理の詳細については後述する。

認識不要情報削除部６は、タッチ・非タッチ間画素値算出部５が算出したタッチ・非タッチ間画素値を取得し、撮像画像に含まれる画素のうち、タッチ・非タッチ間画素値以上の画素値を有する画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の認識に不要な撮像画像中の情報を削除する。

特徴量抽出部７は、認識不要情報削除部６によって処理された撮像画像から、ソーベルフィルタなどのエッジ検出処理により指示物体の特徴を示す特徴量（エッジ特徴量）を撮像画像の画素ごとに抽出する。換言すれば、特徴量抽出部７は、指示物体の像（形状）の特徴を示す特徴領域を撮像画像から抽出する。特徴量抽出部７は、指示物体の特徴量を、例えば、注目する画素の周囲８方向における画素値の勾配（グラデーション）方向を示す８方向のベクトルを含む特徴量として抽出する。特徴量抽出部７における特徴量抽出処理は、指示物体の形状（特にエッジ）を検出できるものであればよく、特に限定されない。特徴量抽出部７は、抽出した特徴量と、当該特徴量が抽出された画素（特徴領域）とを互いに対応付けてタッチ位置検出部８へ出力する。

タッチ位置検出部８は、特徴量抽出部７が抽出した特徴量を示す特徴領域に対して、パターンマッチすることによりタッチ位置を特定する。このパターンマッチの手法は、指示物体の像の位置を適切に特定できるものであれば、どのようなものであってもよい。タッチ位置検出部８は、特定したタッチ位置を示す座標をアプリケーション実行部３０へ出力する。

アプリケーション実行部３０は、タッチ位置検出部８が出力した座標を用いて、当該座標に対応したアプリケーションを実行するか、または、特定のアプリケーションにおいて、当該座標に対応した処理を行う。アプリケーション実行部３０において実行されるアプリケーションはどのようなものであってもよい。

（撮像センサ１２および外光センサ１５の配置）
図２は、撮像センサ１２および外光センサ１５の配置様式を示す図である。図２（ａ）に示すように、光センサ内蔵ＬＣＤ１１において、撮像センサ１２の列と外光センサ１５の列とを交互に配置してもよい。換言すれば、外光センサ１５は、複数の撮像センサ１２の間に配置されていてもよい。この構成では、光センサ内蔵ＬＣＤ１１に照射される外光を均等に受光することができるが、撮像センサ１２を半分に減らす必要があるので撮像画像の解像度が落ちてしまう。

また、図２（ｂ）に示すように、撮像センサ１２が配列されている領域の周囲に外光センサ１５を配置してもよい。換言すれば、撮像センサ１２が配列されている領域の外縁部に隣接して外光センサ１５を配置してもよい。この場合、撮像センサ１２が削られるのは撮像センサ１２が配置可能な領域の周囲だけのため、ほとんど撮像画像の解像度を落とさずに済む。また、撮像センサ１２が配列されている矩形状の領域の４辺全てに外光センサ１５を配置することにより、指示物体によって外光センサ１５に入射する外光が遮断される可能性を低下させることができる。

しかし、外光センサ１５が撮像センサ１２の配置領域の周囲にしか配置できないため、外光強度に関する情報量が少なくなるとともに、光センサ内蔵ＬＣＤ１１に照射される外光を均等に受光できない可能性があるので、条件によっては図２（ａ）に示した配置に比べると外光強度算出の精度が落ちる可能性がある。

上述の配置以外にも、外光強度が算出できるのであれば、撮像センサ１２および外光センサ１５の配置をどのようにしてもよい。

撮像センサ１２が設けられている光センサ内蔵ＬＣＤ１１内に感度の異なる外光センサ１５を配置することは絶対条件ではないが、同じ液晶パネル内に配置したほうが、撮像センサ１２と外光センサ１５とで受光する外光の条件を一致させることができるので、撮像センサ１２と同じ液晶パネル内に外光センサ１５を配置するのが好ましい。すなわち、外光センサ１５は、撮像センサ１２の近傍に配されていることが好ましい。

（外光強度算出部３における処理の詳細）
次に、外光強度算出部３における処理の内容について詳細に説明する。

外光強度算出部３は、外光センサ１５から出力された、受光量を示す出力値（画素値）から少なくとも一部の出力値を選択し、選択した出力値を、その出力値が高い順に並べた場合の所定の順位にある出力値を外光強度と見なす。

なお、外光センサ１５から出力された複数の出力値を画像の画素値として扱うこともできる。この場合外光センサ１５は、外光強度を算出するための外光強度算出用画像を取得すると言える。この場合、外光強度算出部３は、画像調整部２から出力された外光強度算出用画像に含まれる複数の画素から少なくとも一部の画素を選択し、選択した画素を、その画素値が高い順に並べた場合の所定の順位にある画素の画素値を外光強度と見なす。

つまり、外光強度算出部３は、外光強度算出用画像に含まれる複数の画素について、大きい順に並べた画素値と当該画素値を有する画素の個数との関係を示すヒストグラムを作成する。このヒストグラムは、外光強度算出用画像の全画素の画素値から作成するのが好ましい。しかし、コストや処理速度の観点から、外光強度算出用画像を構成する全ての画素（換言すれば、全ての外光センサ１５からの出力値）から求めるのではなく、外光強度算出用画像の画素値から、ある程度間隔をあけて等間隔に選択された画素を用いてもよい。

図３は、外光強度算出部３が作成するヒストグラムと外光強度との関係を示す図である。外光の強さが異なる環境でタッチパネル部１上に指を置いた状態で外光強度を測定した場合、図３に示すように、作成されるヒストグラムも異なり、外光強度が強いほどヒストグラムの分布する領域が画素値の高い部分にひっぱられるような形になる。なお、図３において、Ａはセンサ画像（３）を撮像したときの外光強度であり、Ｂはセンサ画像（２）を撮像したときの外光強度であり、Ｃはセンサ画像（１）を撮像したときの外光強度である。

次に、求めたヒストグラムから外光強度を算出する処理では、ヒストグラムの画素値（出力値）が高いほうから順にカウントしていき、そのカウント数がヒストグラムの作成に用いた画素値（出力値）の個数のある割合に達した時の画素値（出力値）を外光強度の値として採用する。

このようにヒストグラムの上位の数％の部分の画素値を外光強度として算出する理由について説明する。例えば、同じ外光強度の条件下でも指や手の置き方によって取得される外光強度算出用画像に変化が生じる。そのため、外光強度算出用画像から作成されたヒストグラムも異なったものとなる。

この場合、外光強度算出用画像に含まれる画素のうち、外光強度をより正確に反映している画素は、その画素値が他の画素の画素値よりも比較的高いものである。なぜなら、指や手によって外光が遮られた場合には、外光強度算出用画像の画素の画素値は低くなるからである。

それゆえ、ヒストグラムから外光強度を算出する場合は、上位数％の画素値を有する画素の画素値から外光強度を算出することで、指や手を置く場所による算出値のゆれを極力減らすことが可能になる。

しかし、例えば上位０．１％など極端にヒストグラムの上位の値から算出すると、外光強度算出用画像の画素値の欠陥などによる精度の低下を招くことになるので、一桁％程度から外光強度を算出するのが好ましい。すなわち、外光強度算出用画像中の画素から選択された画素を、その画素値が高い順に並べた場合の、外光強度として採用される画素値を有する画素の順位は、選択された画素の総数の１０％未満の数に相当することが好ましい。換言すれば、外光強度算出部３は、選択した外光センサ１５の出力値を、その出力値が高い順に並べた場合の所定の順位にある出力値を外光強度とし、その所定の順位は、選択された出力値の総数の１０％未満の数に相当することが好ましい。

なお、外光強度算出部３が外光強度を求める方式はヒストグラムに限定されるものではなく、例えば、外光強度算出用画像内のサンプル点をとる領域を限定し、限定された各領域内の画素（サンプル点）の画素値の平均値を求めて、平均値が一番高い値を外光強度として採用するようにしてもよい。

（タッチ・非タッチ間画素値算出部５における処理の詳細）
タッチ・非タッチ間画素値算出部５の説明をする前に、撮像センサ１２で取得したタッチ、非タッチの撮像画像がどのような画像になるのか、図４を参照しつつ説明する。図４の（ａ）、（ｃ）、（ｅ）および（ｇ）は、指示物体を撮像するときの周囲の明るさを示す図であり、（ｂ）、（ｄ）、（ｆ）および（ｈ）は、撮像画像の一例を示す図である。

従来の光センサパネルでは、指でパネルをタッチした部分はバックライトの光が指腹に反射してセンサに反射光が入射される。図４の（ｂ）に示すように、指腹の反射光よりも外光が弱い場合、指腹は背景より明るく白い丸となり、図４の（ｄ）に示すように、指腹の反射光より外光が強い場合、指腹は背景より暗く黒い丸となる。ペンの場合も同様である。

それとは別の方式として、タッチ位置検出装置１０の構成を変えることにより、常に背景画素値が、指腹（指示物体）の像を形成する画素の画素値（以下、指腹下画素値と称する）よりも明るい状況を作りだすことができる。図５は、タッチパネル部１の変更例を示す断面図である。図５に示すように、光センサ内蔵ＬＣＤ１１の表面に透明基板１６と弾性フィルム１７とを設け、その反対側にバックライト１９を設けてもよい。

弾性フィルム１７には、突起部１７ａが形成されているため、透明基板１６と弾性フィルム１７との間に空気層１８が形成される。この空気層１８により、透明基板１６の表面に圧力がかかっていないときには、バックライト１９からの光の反射がおこる。一方で圧力がかかっているときは空気層１８での反射がなくなるために、反射率が低くなる。この方法により常に指でタッチした部分の画素値（指腹下画素値）を背景画素値よりも暗くすることができる。

この弾性フィルム１７を設けた時の撮像画像の例を図６に示す。弾性フィルム１７の影響により、周囲が真っ暗な状態でも、背景部分より指で押した部分が暗くなるので、常に指で押した部分が暗くなる状態を維持できる。外光が明るくなったときも同様に押した部分が常に暗くなる。ペンの場合も同様である。

以下の説明では、弾性フィルム１７を有するタッチパネル部１において、背景画素値よりも指腹下画素値が小さくなる場合について説明する。

図７に撮像センサ１２で取得したタッチ、非タッチの撮像画像がどのような画像になるのかを示す。指などが何も置かれていない状態で外光が直接撮像センサ１２に入った場合、図７の条件（１）のように指の像が含まれない画像４１（背景のみの画像）が得られる。図７の条件（２）のように光センサ内蔵ＬＣＤ１１の上に指を近づけているが、タッチしていない場合は、指の影４４が薄く映り込んだような画像４２になる。図７の条件（３）のように指を完全に光センサ内蔵ＬＣＤ１１に押し付けた状態では、画像４２よりも影４５の部分が濃くなった画像４３が取得される。

次に、外光強度算出部３で求めた外光強度と、図７の画像４２における非タッチ時の指腹下画素値と、図７の画像４３におけるタッチ時の指腹下画素値との関係を図８に示す。図８（ａ）に示すように、外光強度（符号５１で示す）、非タッチ時の指腹下画素値（符号５２で示す）およびタッチ時の指腹下画素値（符号５３で示す）は、外光強度が強くなる（明るくなる）につれて高くなっていく。その時の撮像画像をそれぞれ図８（ｂ）に示す。

図８（ａ）では、非タッチ時の指腹下画素値は、タッチ時の指腹下画素値よりも常に高くなるという関係が成り立つので、非タッチ時の指腹下画素値とタッチ時の指腹下画素値との間には常に画素値差のギャップがあることになる。

この関係が成り立つのであれば、図９に示すように、非タッチ時の指腹下画素値（符号５２で示す）とタッチ時の指腹下部分の画素値（符号５３で示す）との間に閾値（符号５４で示す）を設定することができれば、閾値以上の画素値は認識に不必要な情報として削除することができ、認識精度を向上させることができる。

そこで、タッチ・非タッチ間画素値算出部５では、外光強度の変化に応じてこの非タッチ時の指腹下画素値とタッチ時の指腹下画素値との間の画素値であるタッチ・非タッチ間画素値を動的に算出する。

しかし、オンライン処理時（実際にユーザが光センサ内蔵ＬＣＤ１１をタッチする時）には、タッチ時の指腹下画素値および非タッチ時の指腹下画素値を得ることは不可能であるので、現場で得ることができる外光強度とタッチ・非タッチ間画素値との関係を示す式を予め設定しておき、この式に外光強度を代入することによりタッチ・非タッチ間画素値を算出する。

この式は下記（１）式に示すものであり、この式に外光強度算出部３で算出した外光強度（Ａ）を代入することによりタッチ・非タッチ間画素値（Ｔ）を算出することができる。

Ｔ＝ＡＸ ・・・（１）
上記（１）式においてＸは、予め求められている定数である。このＸを求めるために、まず下記（２）式を満たすＮの値を設定する。

Ｔ＝（Ｂ＋Ｃ）/Ｎ ・・・（２）
上記（２）式において、Ｂは非タッチ時の指腹下画素値であり、Ｃはタッチ時の指腹下画素値である。Ｎは、ＴがＢとＣとの間になるような任意の数値である。

そして、上記（２）式をもとに、下記（３）を満たすＸを算出する。

Ｔ＝ＡＸ＝（Ｂ＋Ｃ）/Ｎ ・・・（３）
オンライン処理時には、タッチ・非タッチ間画素値算出部５は、フレーム毎に外光強度算出部３が求めたＡを上記（１）式に代入することにより、Ｔを算出する。

なお、上記（１）式は、タッチ・非タッチ間画素値算出部５が利用可能な記憶部（例えば、記憶部４０に格納されていればよい。

図１０（ａ）および（ｂ）は、環境照度の変化に対応した、タッチ時および非タッチ時の指腹下画素値の変化の別の例をそれぞれ示すグラフである。

タッチ・非タッチ間画素値を求める際に、タッチ、非タッチ画素値の特性が図１０の（ａ）および（ｂ）に示すように、分岐点を境に変化する場合は、分岐点（外光強度がある画素値に達した点）を境に、タッチ・非タッチ間画素値を算出する式を変更するようにしてもよい。

すなわち、記憶部４０にタッチ・非タッチ間画素値を求めるための２種類の異なる数式を格納しておき、タッチ・非タッチ間画素値算出部５は、外光強度算出部３が算出した外光強度が所定の値に達する前後で２種類の異なる数式を使い分けてもよい。換言すれば、タッチ・非タッチ間画素値算出部５は、外光強度算出部３が算出した外光強度に応じて、タッチ・非タッチ間画素値を求めるための複数種類の数式を使い分けてもよい。

上記２種類の異なる数式とは、例えば、上記（１）式において定数Ｘの値が互いに異なる数式である。

また、タッチ・非タッチ間画素値をタッチ時の指腹下画素値とほぼ等価としてもよい。この場合、タッチ・非タッチ間画素値がタッチ時の指腹下画素値と等価になるように上記（１）式の定数Ｘを定めればよい。

なお、外光センサ１５が、ある照度環境においてタッチ時の指腹下画素値とほぼ同じ画素値を出力するように感度設定されている場合には、外光強度算出部３の出力値をタッチ・非タッチ間画素値としてそのまま採用することもできる。この場合、タッチ・非タッチ間画素値算出部５を設ける必要は必ずしもない。

（認識不要情報削除部６における処理の詳細）
このようにして求めたタッチ・非タッチ間画素値は、認識不要情報削除部６に出力される。認識不要情報削除部６では、タッチ・非タッチ間画素値算出部５で求めたタッチ・非タッチ間画素値以上の画素値を有する撮像画像の画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の認識に不要な情報を削除する。

図１１は、認識不要情報削除部６における処理を説明するための図である。同図の最下段には、背景画素値と指腹下画素値との関係が示されている。

すなわち、タッチ・非タッチ間画素値よりも高い画素値を有する画素は、光センサ内蔵ＬＣＤ１１にタッチした指示物体の像の形成に関与していないと考えられるため、図１１に示すように、タッチ・非タッチ間画素値以上の画素値を有する画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の背景に存在している不要な像を削除することができる。

（外光センサ１５の利点）
次に、撮像センサ１２の出力値を用いてタッチ・非タッチ間画素値算出部５が外光強度を算出する場合の問題点、換言すれば、外光センサ１５の出力値を用いてタッチ・非タッチ間画素値算出部５が外光強度を算出する場合の利点について説明する。

図１２は、撮像センサ１２を用いて外光強度を算出する場合の問題点を説明するための図である。

撮像センサ１２を用いて外光強度を算出する場合に、図１２（ａ）に示すように撮像センサ１２に入射する外光の強度が大きく上昇して、算出された外光強度（符号５０で示す）が飽和画素値に達した場合、それ以上外光が強くなってもどれくらい外光が強くなったのかを算出することができなくなる。

そのため、外光強度から算出しているタッチ・非タッチ間画素値も正確に算出することができなくなってしまい、最悪の場合パネルの上に指を置いた状態でも全ての画素が飽和してしまい、まっ白な画像になってしまう。図１２（ａ）では、外光強度が飽和画素値に達した場合に算出されるタッチ・非タッチ間画素値を符号５４で示し、外光強度が飽和画素値に達していない場合の（実際の）タッチ・非タッチ間画素値を符号５５で示している。

この問題を解決するためには、撮像センサ１２の感度を落として図１２（ｂ）に示すように外光強度が飽和しない状態にする必要がある。この感度を落とす処理により外光強度が飽和しないようになるので、正確にタッチ・非タッチ間画素値を算出することができるようになる。撮像センサ１２の感度を切り替えるタイミングは、外光強度が飽和した時点（図１２（ａ）において符号５６で示す時点）またはその直前である。

感度切替をした場合としない場合との撮像画像の例を図１３に示す。図１３の上段は感度切替をしない場合を示している。感度切替をしない場合は外光強度が強くなるにつれ背景画素値と同時に、指を透過する光により指腹下画素値も高くなってしまい、最後には全ての画素が飽和してしまい、まっ白な画像になる。このような画像からは正確にタッチ位置検出を行うことは不可能である。

一方、図１３の下段に示すように、感度切替をした場合は、感度切替をしない場合と同じ外光強度でも、感度が落ちているので背景画素値および指腹下画素値が飽和することなく、タッチ位置が検出できる画像の状態を保てていることがわかる。

しかし、このように撮像センサ１２を用いて外光強度を算出する場合には、外光強度算出部３で算出した外光強度が飽和画素値に達してしまったときは、指腹下画素値（タッチ・非タッチ間画素値とほぼ等価）が飽和していない状態にもかかわらず感度を切替えることになる。

もし外光強度が飽和した時点で感度を切替えなかった場合、感度の切替ポイントを見失ったり、タッチ・非タッチ間画素値を正確に算出できなくなったり、認識処理に不具合が生じてしまうことになる。

これに対して、図１４（ｂ）に示すように、外光センサ１５の出力値から外光強度を算出した場合、図１４（ａ）に示すように撮像センサ１２から算出した外光強度が既に飽和している場合でも、外光センサ１５から算出した外光強度は飽和していないので、指腹下画素値（タッチ・非タッチ間画素値とほぼ等価）が飽和していない状態で無理やり感度を落とす必要がなくなる。なお、図１４は、外光センサ１５からタッチ・非タッチ間画素値を算出する場合の利点を説明するための図である。

以上のように撮像センサ１２よりも感度が低い外光センサ１５から外光強度を算出したほうが、撮像センサ１２を高感度に維持できる外光強度の領域を多く確保することができる。

また、撮像センサ１２の感度の切替えには多少の時間を要するため、切替えを頻繁に行えば、タイムロスが生じることになる。撮像センサ１２から外光強度を算出するよりも外光センサ１５から外光強度を算出したほうが、撮像センサ１２の感度の切替え頻度が低減できるため、タッチ位置検出装置１０の動作におけるタイムロスを低減できる。

（外光センサ１５の好ましい感度）
外光センサ１５の好ましい感度としては、ある照度環境において撮像センサ１２を有する光センサ内蔵ＬＣＤ１１の上に指（指示物体）を置いた状態の指腹の像を撮像した撮像センサ１２の画素値とほぼ同じ画素値が、外光センサ１５の画素値となる感度である。換言すれば、撮像センサ１２を有する光センサ内蔵ＬＣＤ１１の上に指（指示物体）を置いた状態の指腹の像を撮像した撮像センサ１２の画素値とほぼ同じ画素値に対応する強度の光を外光センサ１５が外光として検出するように、外光センサ１５の感度が設定されている。

図１４（ｂ）を用いて説明すると、タッチ・非タッチ間画素値をタッチ時の指腹下画素値とほぼ等価とし、このタッチ・非タッチ間画素値（符号５４で示す）と外光強度算出部３が算出した外光強度（符号５１で示す）とを同じ値とした場合、タッチ時の指腹下画素値が飽和した時、外光強度算出部３が算出する外光強度も同時に飽和する。それゆえ、外光強度算出部３が算出した外光強度をそのままタッチ・非タッチ間画素値として採用することもでき、タッチ・非タッチ間画素値の算出が容易になる。

（外光センサ１５の効果が得られる理由）
ここで、外光センサ１５の出力値を用いて外光強度を算出した場合に、撮像センサ１２の感度を高く維持できる具体的な理由について図１５を用いて説明する。図１５は、外光センサ１５を用いて外光強度を算出した場合の利点を説明するための図である。

図１５の上段は、撮像センサ１２で外光強度を算出して、撮像センサ１２の感度を切替えた場合の例を示している。図１５の下段は、外光センサ１５で外光強度を算出して撮像センサ１２の感度を切り替えた場合の例を示している。図の左側が外光強度が最も弱く、右に行くほど外光強度が強くなっていることを示している。

図１５には、外光強度に応じたそのときの感度における、タッチ時の指腹下画素値と非タッチ時の指腹下画素値との差を概念的に図示してある。説明を単純化するために、指腹を透過する光や、指腹にまわり込む光の影響などは無視して、感度の違いによるタッチと非タッチとの差を示している。また、感度は「１」が一番良く、数字が増えるごとに感度が悪くなっている。

図１５の上段の例では、外光強度が強くなるごとに撮像センサ１２の感度を落としているので、徐々にタッチ時と非タッチ時との指腹下画素値の差が少なくなっていき、感度「３」になった時点でタッチ時と非タッチ時との指腹下画素値の差がなくなっている。

一方、図１５の下段の例では、撮像センサ１２よりも感度の悪い外光センサ１５で外光強度を算出しているので、図１５の上段の場合よりも撮像センサ１２の感度を落とすタイミングを外光強度がより強くなった部分にずらすことができるようになっている。図１５の上段の例では、既にタッチ時と非タッチ時との指腹下画素値の差がなくなっている部分においても、図１５の下段の例では、撮像センサ１２の感度を高く維持できるのでタッチ時と非タッチ時との指腹下画素値の差を維持することができる。

撮像センサ１２の感度を落とすことで、タッチ時と非タッチ時との指腹下画素値の差が少なくなればなるほどタッチと非タッチとの区別が困難になるため、撮像センサ１２の感度を高く維持することが指示物体である指の認識精度を向上させることに直結する。

以上のように撮像センサ１２よりも感度の悪い外光センサ１５を使って外光強度を算出することにより、撮像センサ１２の感度を落とすタイミングを遅らせることができ、高感度を維持した画像を使って認識処理を行うことが可能となる。これにより認識精度を向上させることができる。

（最適感度算出部４における処理の詳細）
次に、最適感度算出部４における最適感度算出処理の詳細について説明する。まず、撮像センサ１２の感度を低下させる場合の処理について説明する。

図１４（ｂ）を使って説明すると、指腹下画素値（タッチ・非タッチ間画素値（符号５４で示す）とほぼ等価）よりも算出した外光強度（符号５１で示す）のほうが画素値が小さくなるように設定されている場合、指腹下画素値よりも外光強度が先に飽和することはない。

そのため、算出された外光強度が飽和した時に撮像センサ１２の感度を落としていたのでは、既に指腹下画素値が飽和しているために撮像画像が真っ白な状態になり、タッチ位置を検出することができない。

そこで、外光センサ１５の出力値を用いて外光強度を算出する場合は、指腹下画素値が飽和する前に（または飽和した時点で）撮像センサ１２の感度を落とすようにする。例えば、指腹下画素値が飽和する基準として、タッチ・非タッチ間画素値算出部５で算出したタッチ・非タッチ間画素値を採用し、タッチ・非タッチ間画素値が飽和したことをトリガとして感度切替を行うようにしても良い。

また、指腹下画素値が飽和する（または飽和する直前である）と推測される外光強度（基準外光強度）を予め設定し、外光強度算出部３が算出した外光強度が基準外光強度に達したと最適感度算出部４が判定した場合に、最適感度算出部４が撮像センサ１２の感度を低下させてもよい。

また、最適感度算出部４は、撮像センサ１２の感度を例えば、１／１、１／２、１／４と段階的に低下させることが好ましい。これは、必要以上に撮像センサ１２の感度を低下させた場合には、撮像画像の輝度が低下し、指示物体の認識精度が低下するからである。

次に撮像センサ１２の感度を上げる場合の例を説明する。まず、タッチ・非タッチ間画素値算出部５が算出したタッチ・非タッチ間画素値に基づいて最適感度算出部４が撮像センサ１２の感度を設定する場合について説明する。また、外光強度が飽和した場合に外光強度算出部３が算出する画素値を便宜上２５５として以下の説明を行う。

撮像センサ１２の感度が１／４に設定されている状態で、タッチ・非タッチ間画素値が飽和した場合の２５５の約１／４の６４以下になった場合は、感度UP（上昇）処理により感度１／２に戻す。感度１／４で６４だったタッチ・非タッチ間画素値は感度１／２になることにより１２８と算出される。感度１／２でタッチ・非タッチ間画素値が飽和状態の約１／４の６４以下になった場合は感度UP処理により撮像センサ１２の感度は感度１／１に戻る。

タッチ・非タッチ間画素値が２５５で飽和してしまうため、タッチ・非タッチ間画素値がそれ以上の場合は、タッチ・非タッチ間画素値がどの程度強くなったのかを算出することはできない。そのため、感度DOWNの場合は、感度１／１、１／２、１／４と順に撮像センサ１２の感度を落としていくことが好ましい。しかし、感度UPの場合はタッチ・非タッチ間画素値が飽和することがないので、撮像センサ１２の感度を感度１／４から１／１にジャンプさせることができる。例えば、感度１／４のときにタッチ・非タッチ間画素値が１２８付近から３２以下にいきなり低下した場合は、感度を１／２にアップさせるのではなく、感度を１／１に上昇させるようにしても良い。

すなわち、最適感度算出部４は、タッチ・非タッチ間画素値に応じて撮像センサ１２の感度を段階的に設定し、タッチ・非タッチ間画素値が所定の基準値以下になった場合に、撮像センサ１２の感度を一度に複数段階上昇させる。なお、感度設定の段階は、上述の３段階に限定されず、２段階でも４段階以上でもよい。

また、最適感度算出部４は、外光強度算出部３が算出した外光強度に応じて撮像センサ１２の感度を段階的に設定し、外光強度が所定の基準値以下になった場合に、撮像センサ１２の感度を一度に複数段階上昇させてもよい。この場合の処理は、タッチ・非タッチ間画素値に基づいて撮像センサ１２の感度を設定する場合の処理と基本的に同様である。

また、軽度な外光強度の変化により、感度UP・DOWNが頻繁に切り替わらないようにするために、感度設定にヒステリシスを持たせるようにしてもよい。具体的には、最適感度算出部４は、撮像センサ１２の感度が第１感度（例えば、感度１／１）に設定されている状態で3外光強度算出部３が算出した外光強度が第１基準値（例えば、２５５）に達したときに撮像センサ１２の感度を第１感度から当該第１感度よりも低い第２感度（例えば、感度１／２）へ低下させ、光センサ１２の感度が第２感度に設定されている状態で外光強度が第２基準値（例えば、６４）に低下したときに撮像センサ１２の感度を第２感度から第１感度へ上昇させる。そして、上記第２基準値は、第１基準値よりも所定の値だけ小さくする。この所定の値は、当業者によって適宜設定されればよい。

なお、上記第１および第２基準値は、最適感度算出部４が利用可能な記憶部に格納されていればよい。

また、上記の説明は、最適感度算出部４が外光強度に基づいて撮像センサ１２の感度設定にヒステリシスを持たせる場合の説明であるが、最適感度算出部４がタッチ・非タッチ間画素値に応じて撮像センサ１２の感度を設定する場合にも同様にヒステリシスを持たせてもよい。

すなわち、最適感度算出部４は、撮像センサ１２の感度が第１感度に設定されている状態でタッチ・非タッチ間画素値が第１基準値に達したときに撮像センサ１２の感度を第１感度から当該第１感度よりも低い第２感度へ低下させ、撮像センサ１２の感度が第２感度に設定されている状態でタッチ・非タッチ間画素値が第２基準値に低下したときに撮像センサ１２の感度を第２感度から第１感度へ上昇させ、第２基準値は、第１基準値よりも小さくしてもよい。

以上のように外光強度に応じて撮像センサ１２の感度UP・DOWN処理を行うことで、画像のダイナミックレンジを最適な値に調整し、最適な画像で認識処理を行うことができるようになる。

（タッチ位置検出装置１０における処理の流れ）
次に、図１６を参照しつつ、タッチ位置検出装置１０におけるタッチ位置検出処理の流れの一例について説明する。図１６は、タッチ位置検出装置１０におけるタッチ位置検出処理の流れの一例を示すフローチャートである。

まず、光センサ内蔵ＬＣＤ１１の撮像センサ１２によって指示物体の撮像画像が撮像される。撮像センサ１２が取得した撮像画像は、ＡＤコンバータ１３を介して、画像調整部２へ出力される（Ｓ１）。

画像調整部２は、撮像画像を受け取ると（取得工程）、当該撮像画像のゲインおよびオフセットを調整するキャリブレーション処理などを行い、調整した撮像画像を認識不要情報削除部６へ出力する（Ｓ２）。

一方、外光強度算出部３は、撮像画像が撮像されると、撮像時の外光センサ１５からの出力値を用いて上述したように外光強度を算出し（外光強度算出工程）、算出した外光強度を最適感度算出部４およびタッチ・非タッチ間画素値算出部５へ出力する（Ｓ３）。なお、外光強度算出部３は、撮像画像が撮像されたことを、例えば光センサ内蔵ＬＣＤ１１から撮像画像を撮像したことを示す情報を受信することによって認識できる。

最適感度算出部４は、外光強度算出部３で算出された外光強度に応じて、指示物体を認識するための最適な感度を算出し、感度調整部１４へ出力する（Ｓ４）。感度調整部１４は、最適感度算出部４から出力された最適感度に対応するように各撮像センサ１２の感度を調整する。

ここで、指腹下画素値が飽和している場合および外光強度が所定の値よりも低い場合には、感度調整部１４によって撮像センサ１２の感度が調整される。この感度調整は、次のフレームの撮像画像に反映される。

次に、タッチ・非タッチ間画素値算出部５は、上述したように、外光強度算出部３が算出した外光強度からタッチ・非タッチ間画素値を算出し、算出したタッチ・非タッチ間画素値を認識不要情報削除部６へ出力する（Ｓ５）。

認識不要情報削除部６は、タッチ・非タッチ間画素値を受け取ると、撮像画像に含まれる画素のうち、タッチ・非タッチ間画素値以上の画素値を有する画素の画素値をタッチ・非タッチ間画素値に置き換えることにより、指示物体の認識に不要な撮像画像中の情報（すなわち、指示物体の背景の情報）を削除する（Ｓ６）。認識不要情報削除部６は、処理した撮像画像を特徴量抽出部７へ出力する。

特徴量抽出部７は、認識不要情報削除部６から撮像画像を受け取ると、エッジ検出処理により指示物体の特徴を示す特徴量（エッジ特徴量）を撮像画像の画素ごとに抽出し、抽出した特徴量および当該特徴量を示す特徴領域の位置情報（画素の座標）をタッチ位置検出部８へ出力する（Ｓ７）。

タッチ位置検出部８は、特徴量および特徴領域の位置情報を受け取ると、当該特徴領域に対してパターンマッチすることによりタッチ位置を算出する（Ｓ８）。タッチ位置検出部８は、算出したタッチ位置を示す座標をアプリケーション実行部３０へ出力する。

なお、画像調整部２が、調整した撮像画像を記憶部４０に格納する場合には、認識不要情報削除部６は、記憶部４０から撮像画像を取得すればよい。

〔実施の形態２〕
本発明の他の実施形態について図１７〜図１９に基づいて説明すれば、以下のとおりである。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。

（タッチ位置検出装置２０の構成）
図１７は、本実施形態のタッチ位置検出装置２０の構成を示すブロック図である。図１７に示すように、タッチ位置検出装置２０は、タッチ位置検出装置１０とは異なり、特徴量抽出部（特徴領域抽出手段）２１および認識不要情報削除部（削除手段）２２を備えている。

特徴量抽出部２１は、画像調整部２から出力された撮像画像に含まれる、指示物体の像の特徴を示す特徴量を抽出する。特徴量抽出部２１における処理は、特徴量抽出部７における処理と同じであり、処理の対象が異なっているだけである。

認識不要情報削除部２２は、外光強度算出部３が算出した外光強度に基づいて、特徴量抽出部２１が抽出した特徴量を示す特徴領域の少なくとも一部を削除する。より詳細には、認識不要情報削除部２２は、タッチ・非タッチ間画素値算出部５が算出したタッチ・非タッチ間画素値以上の画素値を有する画素に由来する特徴量（特徴領域）を削除する。画素と対応付けられた特徴量を削除すれば特徴領域（特徴量を示す画素）の情報を削除したことになるため、特徴量の削除と特徴領域の削除とはほぼ同義である。

そして、認識不要情報削除部２２によって雑音除去された特徴量（特徴領域）に対して、タッチ位置検出部８がパターンマッチすることによりタッチ位置を特定する。

図１８は、認識不要情報削除部２２における認識不要情報削除処理を説明するための図である。図１８に示すように、非タッチ時の撮像画像に含まれている、光センサ内蔵ＬＣＤ１１に接触していない指示物体の像（タッチ・非タッチ間画素値以上の画素値を有する画素）の特徴量は、認識不要情報削除部２２によって削除される。そのため、図１８の「不要部分削除前」の画像に見られる特徴量（環状の領域）は、非タッチ時の撮像画像では削除されているが、タッチ時の撮像画像では削除されていない。

実施形態１のタッチ位置検出装置１０においては、図１１に示すように背景画素値と指腹下画素値との関係を変化させた後（背景画素値と指腹下画素値との差を縮めた後）に特徴量抽出を行うので、不要部分を削除した後の撮像画像から特徴量を抽出するためにはエッジ特徴量を抽出するための閾値を変化させる（緩める）必要がある。

一方、本実施形態のタッチ位置検出装置２０のように、特徴量抽出を行った後に、タッチ・非タッチ間画素値以上の画素値を有する画素に対応する特徴量の削除を行う場合には、特徴量抽出時のパラメータを変更する必要がないので、こちらの方式のほうが効果的である。

このような理由により、本実施形態では、撮像画像から特徴量抽出をした後に、タッチ・非タッチ間画素値を用いた雑音除去処理を採用している。

（タッチ位置検出装置２０における処理の流れ）
次に、図１９を参照しつつ、タッチ位置検出装置２０におけるタッチ位置検出処理の流れの一例について説明する。図１９は、タッチ位置検出装置２０におけるタッチ位置検出処理の流れの一例を示すフローチャートである。図１９に示すステップＳ１１〜Ｓ１５は、図１６に示したステップＳ１〜Ｓ５と同様のものである。

ステップＳ１５において、タッチ・非タッチ間画素値算出部５は、算出したタッチ・非タッチ間画素値を認識不要情報削除部２２へ出力する。

ステップＳ１６において、特徴量抽出部２１は、画像調整部２から出力された撮像画像から指示物体の像の特徴を示す特徴量を抽出し、抽出した特徴量および当該特徴量を示す特徴領域の位置情報を含む特徴領域データを、撮像画像とともに認識不要情報削除部２２へ出力する。

認識不要情報削除部２２は、タッチ・非タッチ間画素値算出部５からタッチ・非タッチ間画素値を、特徴量抽出部２１から撮像画像および特徴領域データを受け取ると、タッチ・非タッチ間画素値以上の画素値を有する画素に由来する特徴量を削除する（Ｓ１７）。より具体的には、認識不要情報削除部２２は、特徴領域データが示す特徴量と対応付けられた、撮像画像中の画素（特徴領域）の画素値を、撮像画像を参照することにより取得し、その画素値がタッチ・非タッチ間画素値以上であれば、当該特徴量を特徴領域データから削除する。認識不要情報削除部２２は、この処理を特徴領域データが示す特徴量ごとに行う。認識不要情報削除部２２は、処理した特徴領域データをタッチ位置検出部８へ出力する。

タッチ位置検出部８は、認識不要情報削除部２２によって処理された特徴領域データを受け取ると、当該特徴領域データが示す特徴領域に対してパターンマッチすることによりタッチ位置を算出する（Ｓ１８）。タッチ位置検出部８は、算出したタッチ位置を示す座標をアプリケーション実行部３０へ出力する。

（変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明をタッチ・非タッチ間画素値算出部５、認識不要情報削除部６（または認識不要情報削除部２２）および特徴量抽出部７（または特徴量抽出部２１）を備える画像解析装置として捉えた場合には、外光強度算出部３を備えずに、外光強度を外部から（例えば、ユーザによる入力によって）取得する構成も本発明の技術的範囲に含まれる。

また、上述したタッチ位置検出装置１０およびタッチ位置検出装置２０の各ブロック、特に外光強度算出部３、最適感度算出部４、タッチ・非タッチ間画素値算出部５、認識不要情報削除部６および認識不要情報削除部２２は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、タッチ位置検出装置１０およびタッチ位置検出装置２０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタッチ位置検出装置１０およびタッチ位置検出装置２０の制御プログラム（画像解析プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記タッチ位置検出装置１０およびタッチ位置検出装置２０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、タッチ位置検出装置１０およびタッチ位置検出装置２０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

撮像画面を指示する指示物体の指示物体の周囲の外光強度を正確に算出でき、算出した外光強度に基づいて指示物体の撮像画像を処理することにより、指示物体の認識精度を高めることができるため、タッチパネルを有する位置検出装置、入力装置に適用できる。

本発明の一実施形態に係るタッチ位置検出装置の構成を示すブロック図である。 撮像センサおよび外光センサの配置様式を示す図である。 外光強度算出部が作成するヒストグラムと外光強度との関係を示す図である。 指示物体を撮像するときの周囲の明るさおよび撮像画像の例を示す図である。 タッチパネル部の変更例を示す断面図である。 指示物体を撮像するときの周囲の明るさおよび弾性フィルムを設けた時の撮像画像の例を示す図である。 タッチ、非タッチの撮像画像の例を示す図である。 （ａ）は環境照度と撮像画像の画素値との関係を示すグラフであり、（ｂ）は異なる環境照度下での撮像画像の例を示す図である。 タッチ・非タッチ間画素値を説明するためのグラフである。 （ａ）および（ｂ）は、環境照度の変化に対応した、タッチ時および非タッチ時の指腹下画素値の変化の別の例をそれぞれ示すグラフである。 認識不要情報削除部における処理を説明するための図である。 （ａ）および（ｂ）は、外光強度が飽和した場合の問題点を説明するための図である。 感度切替をした場合としない場合との撮像画像の例を示す図である。 （ａ）は撮像センサからタッチ・非タッチ間画素値を算出する場合の例を説明するための図であり、（ｂ）は外光センサからタッチ・非タッチ間画素値を算出する場合の例を説明するための図である。 外光センサ１５を用いて外光強度を算出する場合の利点を説明するための図である。 上記タッチ位置検出装置におけるタッチ位置検出処理の流れの一例を示すフローチャートである。 本発明の別の実施形態に係るタッチ位置検出装置の構成を示すブロック図である。 認識不要情報削除部における処理を説明するための図である。 上記タッチ位置検出装置におけるタッチ位置検出処理の流れの一例を示すフローチャートである。

符号の説明

２ 画像調整部（取得手段）
３ 外光強度算出部（外光強度算出手段）
４ 最適感度算出部（感度設定手段）
５ タッチ・非タッチ間画素値算出部（基準値算出手段）
６ 認識不要情報削除部（画像処理手段）
７ 特徴量抽出部（特徴領域抽出手段）
８ タッチ位置検出部（位置算出手段）
９ 画像解析部（画像解析装置）
１０ タッチ位置検出装置（撮像装置、画像解析装置）
１２ 撮像センサ
１５ 外光センサ
２０ タッチ位置検出装置（撮像装置、画像解析装置）
２１ 特徴量抽出部（特徴領域抽出手段）
２２ 認識不要情報削除部（削除手段）
４１ 画像（撮像画像）
４２ 画像（撮像画像）
４３ 画像（撮像画像）

Claims (15)

1. 複数の撮像センサを有する撮像画面を備え、当該撮像画面に対して接触している、または接触していない指示物体の撮像画像を上記撮像センサによって撮像する撮像装置であって、
   上記撮像センサの近傍に配され、当該撮像センサよりも光の検出感度が低い少なくとも１つの外光センサと、
   上記外光センサの受光量に基づいて、上記指示物体の周囲の光の強度である外光強度を算出する外光強度算出手段とを備え、
   上記外光センサは、上記指示物体を透過する光に比べて上記指示物体を透過しない光に対する感度が低いことを特徴とする撮像装置。
2. 上記外光センサを複数備え、
   上記外光センサは、上記複数の撮像センサの間に配置されていることを特徴とする請求項１に記載の撮像装置。
3. 上記外光センサを複数備え、
   上記外光センサは、上記撮像センサが配列されている領域の外縁部に隣接して配置されていることを特徴とする請求項１に記載の撮像装置。
4. 上記外光センサを複数備え、
   上記外光強度算出手段は、上記複数の外光センサからの上記受光量を示す出力値の少なくとも一部の出力値を選択し、選択した出力値を、その出力値が高い順に並べた場合の所定の順位にある出力値を上記外光強度とすることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 上記所定の順位は、選択された出力値の総数の１０％未満の数に相当することを特徴とする請求項４に記載の撮像装置。
6. 上記外光強度算出手段が算出した外光強度に基づいて上記撮像センサの感度を設定する感度設定手段をさらに備えることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 上記感度設定手段は、上記撮像センサの感度を段階的に設定し、上記外光強度が所定の基準値以下になった場合に、上記撮像センサの感度を一度に複数段階上昇させることを特徴とする請求項６に記載の撮像装置。
8. 上記外光強度算出手段が算出した外光強度から、上記撮像画像に含まれる像が、上記撮像画面に対して接触した指示物体の接触部分に由来するものであるかどうかを判定するための画素値の基準値である判定基準値を算出する基準値算出手段と、
   上記基準値算出手段が算出した判定基準値に基づいて上記撮像センサの感度を設定する感度設定手段とをさらに備えることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
9. 上記感度設定手段は、上記撮像センサの感度を段階的に設定し、上記判定基準値が所定の値以下になった場合に、上記撮像センサの感度を一度に複数段階上昇させることを特徴とする請求項８に記載の撮像装置。
10. 上記感度設定手段は、上記撮像画面に接触した指示物体の接触部分の像を形成する画素の画素値が飽和しないように上記撮像センサの感度を設定することを特徴とする請求項６〜９のいずれか１項に記載の撮像装置。
11. 上記感度設定手段は、上記撮像センサの感度が第１感度に設定されている状態で上記外光強度が第１基準値に達したときに上記感度を上記第１感度から当該第１感度よりも低い第２感度へ低下させ、上記撮像センサの感度が上記第２感度に設定されている状態で上記外光強度が第２基準値に低下したときに上記感度を上記第２感度から上記第１感度へ上昇させ、
    上記第２基準値は、上記第１基準値よりも小さいことを特徴とする請求項６または７に記載の撮像装置。
12. 上記感度設定手段は、上記撮像センサの感度が第１感度に設定されている状態で上記判定基準値が第１基準値に達したときに上記感度を上記第１感度から当該第１感度よりも低い第２感度へ低下させ、上記撮像センサの感度が上記第２感度に設定されている状態で上記判定基準値が第２基準値に低下したときに上記感度を上記第２感度から上記第１感度へ上昇させ、
    上記第２基準値は、上記第１基準値よりも小さいことを特徴とする請求項８または９に記載の撮像装置。
13. 請求項１〜１２のいずれか１項に記載の撮像装置を動作させる撮像プログラムであって、コンピュータを上記各手段として機能させるための撮像プログラム。
14. 請求項１３に記載の撮像プログラムを記録したコンピュータ読み取り可能な記録媒体。
15. 複数の撮像センサを有する撮像画面を備え、当該撮像画面に対して接触している、または接触していない指示物体の撮像画像を上記撮像センサによって撮像する撮像装置における外光強度算出方法であって、
    上記撮像センサの近傍に配され、当該撮像センサよりも光の検出感度が低い少なくとも１つの外光センサの受光量に基づいて、上記指示物体の周囲の光の強度である外光強度を算出する外光強度算出工程を含み、
    上記外光センサは、上記指示物体を透過する光に比べて上記指示物体を透過しない光に対する感度が低いことを特徴とする外光強度算出方法。

Images