JP6553406B2 - プログラム、及び情報処理装置 - Google Patents

Description

本発明の一態様は、プログラムまたは情報処理装置に関する。

なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の一態様は、物、方法、または、製造方法に関する。または、本発明の一態様は、マシン、プロセス、マニュファクチャ、または組成物（コンポジション・オブ・マター）に関する。特に、本発明の一態様は、例えば、半導体装置、記憶装置、プロセッサ、表示装置、発光装置、入力装置、入出力装置、検知装置、照明装置、蓄電装置、それらの製造方法、または、それらの駆動方法に関する。

モバイル電子機器の急速な発展において、タッチパネル等による情報の入力技術が重要な役割を果たしている。

特に、光検出部をタッチパネルとして機能させる光学式タッチパネルが注目を集めている。例えば、光検出部および表示部が互いに重なる領域に設けられた半導体装置では、光検出部が生成したデータ信号に基づいて、表示部の表示状態を制御することができる。例えば、指で表示部をタッチした場合、光検出部が生成したデータ信号に基づいて、指の位置を検出することで、光検出部をタッチパネルとして機能させることができる。

非特許文献１には、光学式タッチパネルにおいて、タッチ位置を検出する情報処理フローの例が記載されている。

光検出部には、環境光（光検出部の置かれる環境における光）も入射する。その場合、環境光が、光検出部が生成したデータ信号に影響を与え、タッチ位置の検出が難しくなってしまう場合がある。

特許文献１には、半導体装置が備えるライトユニットの状態を点灯状態及び消灯状態に切り替え、点灯状態及び消灯状態のそれぞれの期間において、光検出部によるデータ生成を行い、生成した２つのデータ信号の差分をとったデータ信号を生成することにより、タッチパネルにおける環境光の影響の抑制する方法が記載されている。

特開２０１２−８５４１号公報

Ａｄｉ Ａｂｉｌｅａｈ ａｎｄ Ｐａｔｒｉｃｋ Ｇｒｅｅｎ， "Ｏｐｔｉｃａｌ Ｓｅｎｓｏｒｓ Ｅｍｂｅｄｄｅｄ ｗｉｔｈｉｎ ＡＭＬＣＤ Ｐａｎｅｌ： Ｄｅｓｉｇｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，" ＡＣＭ ＳＩＧＧＲＡＰＨ ２００７

光学式タッチパネルは、上記のように環境光の影響を受けやすいだけでなく、表示する画像の影響も受ける。従って、様々な環境光において、かつ、様々な画像の表示中に、より安定してタッチ位置を検出することができるプログラム、あるいは、当該プログラムを備えた情報処理装置が求められている。

本発明の一形態は、以下の少なくとも１つを課題とする。より安定して入力情報を抽出できるプログラムを提供すること、より高い精度で入力情報を抽出できるプログラムを提供すること、より利便性に優れた情報処理装置を提供すること、または、新規な情報処理装置を提供すること。

これらの課題の記載は、他の課題の存在を妨げるものではない。本発明の一態様は、これらの課題の全てを解決する必要はないものとする。これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。

（１）本発明の一態様は、第１乃至第４のステップを備え、第１のステップは、ライトユニットが点灯状態における第１のセンサイメージと、ライトユニットが消灯状態における第２のセンサイメージと、を取得するステップを有し、第２のステップは、第１の校正用イメージを用いて第１のセンサイメージを校正することで、第３のイメージを計算するステップと、第２の校正用イメージを用いて第２のセンサイメージを校正することで、第４のイメージを計算するステップと、を有し、第３のステップは、第３のイメージと第４のイメージを用いて、第５乃至第７のイメージを計算するステップと、照度および表示画像に従って第５乃至第７のイメージの加重平均をとることで、第８のイメージを計算するステップと、を有し、第４のステップは、第８のイメージを用いて、タッチデータを計算するステップを有するプログラムである。

（２）本発明の一態様は、第１乃至第４のステップを備え、第１のステップは、ライトユニットが点灯状態における第１のセンサイメージと、ライトユニットが消灯状態における第２のセンサイメージと、を取得するステップを有し、第２のステップは、第１の校正用イメージを用いて第１のセンサイメージを校正することで第３のイメージを計算するステップと、第２の校正用イメージを用いて第２のセンサイメージを校正することで第４のイメージを計算するステップと、を有し、第３のステップは、第３のイメージと第４のイメージを用いて、第５乃至第７のイメージを計算するステップと、照度に従って前記第６および第７のイメージの加重平均をとることで、第８のイメージを計算するステップと、表示画像を取得するステップと、表示画像をグレイスケールに変換することで、第９のイメージを計算するステップと、第９のイメージに従って第５および第８のイメージの加重平均をとることで、第１０のイメージを計算するステップと、を有し、第４のステップは、第１０のイメージを用いて、タッチデータを計算するステップを有するプログラムである。

（３）本発明の一態様は、第１乃至第４のステップを備え、第１のステップは、ライトユニットが点灯状態における第１のセンサイメージと、ライトユニットが消灯状態における第２のセンサイメージと、を取得するステップを有し、第２のステップは、第１の校正用イメージを用いて第１のセンサイメージを校正することで第３のイメージを計算するステップと、第２の校正用イメージを用いて第２のセンサイメージを校正することで第４のイメージを計算するステップと、を有し、第３のステップは、第３および第４のイメージの差分を規格化することで、第５のイメージを計算するステップと、第３のイメージを規格化することで、第６のイメージを計算するステップと、第４のイメージを規格化することで、第７のイメージを計算するステップと、照度に従って第６および第７のイメージの加重平均をとることで、第８のイメージを計算するステップと、表示画像を取得するステップと、表示画像をグレイスケールに変換することで、第９のイメージを計算するステップと、第９のイメージに従って第５および第８のイメージの加重平均をとることで、第１０のイメージを計算するステップと、を有し、第４のステップは、第１０のイメージを用いて、タッチデータを計算するステップを有するプログラムである。

（４）本発明の一態様は、第１乃至第４のステップを備え、第１のステップは、ライトユニットが点灯状態における第１のセンサイメージと、ライトユニットが消灯状態における第２のセンサイメージと、を取得するステップを有し、第２のステップは、第１の校正用イメージを用いて第１のセンサイメージを校正することで第３のイメージを計算するステップと、第２の校正用イメージを用いて第２のセンサイメージを校正することで第４のイメージを計算するステップと、を有し、第３のステップは、第３および第４のイメージの差分を規格化することで、第５のイメージを計算するステップと、第３のイメージを規格化することで、第６のイメージを計算するステップと、
第４のイメージを規格化することで、第７のイメージを計算するステップと、照度がしきい値となる照度より小さい場合には、第６および第７のイメージの重みはそれぞれ１および０であり、それ以外の場合には、第６および第７のイメージの重みはそれぞれ０および１であるとして、第６および第７のイメージの加重平均をとることで、第８のイメージを計算するステップと、
表示画像を取得するステップと、表示画像をグレイスケールに変換することで、第９のイメージを計算するステップと、第９のイメージの値に従って、白表示部では第５および第８のイメージの重みはそれぞれ１および０であり、黒表示部では第５および第８のイメージの重みはそれぞれ０および１となるように、加重平均をとることで、第１０のイメージを計算するステップと、を有し、前記第４のステップは、第１０のイメージを用いて、タッチデータを計算するステップを有するプログラムである。

（５）本発明の一態様は、第１乃至第３のステップを備え、第１のステップは、ライトユニットが消灯状態におけるセンサイメージを取得するステップを有し、第２のステップは、センサイメージから校正用イメージを差し引くことで第１のイメージを計算するステップを有し、第３のステップは、第１のイメージのスムージングを行うことで、第２のイメージを計算するステップと、第２のイメージのうち最も明るい要素を探すステップと、最も明るい要素の値を用いて第１および第２の照度の見積もり値を計算するステップと、表示画像を取得するステップと、表示画像をグレイスケールに変換することで、第３のイメージを計算するステップと、最も明るい要素の座標と第３のイメージに従って、第１および第２の照度の見積もり値の加重平均をとることで、第３の照度の見積もり値を計算するステップと、を有するプログラムである。

本発明の一態様は、（１）乃至（４）の何れか一の態様に係る第１のプログラムと、（５）に記載の第２のプログラムと、を有し、第１のプログラムは、第２のプログラムで計算される照度の見積もり値を用いるプログラムである。

（６）本発明の一態様は、第５乃至第７のステップを備え、第５のステップは、ライトユニットが消灯状態における第３のセンサイメージを取得するステップを有し、第６のステップは、第３のセンサイメージから第３の校正用イメージを差し引くことで第９のイメージを計算するステップを有し、第７のステップは、第９のイメージのスムージングを行うことで、第１０のイメージを計算するステップと、第１０のイメージのうち最も明るい要素を探すステップと、最も明るい要素の値を用いて第１および第２の照度の見積もり値を計算するステップと、表示画像をグレイスケールに変換することで、第１１のイメージを計算するステップと、最も明るい要素の座標と第１１のイメージに従って、第１および第２の照度の見積もり値の加重平均をとることで、第３の照度の見積もり値を計算するステップと、を有し、照度として第３の照度の見積もり値を用いる（１）に記載のプログラムである。

（７）本発明の一態様は、第５乃至第７のステップを備え、第５のステップは、ライトユニットが消灯状態における第３のセンサイメージを取得するステップを有し、第６のステップは、第３のセンサイメージから第３の校正用イメージを差し引くことで第１１のイメージを計算するステップを有し、第７のステップは、第１１のイメージのスムージングを行うことで、第１２のイメージを計算するステップと、第１２のイメージのうち最も明るい要素を探すステップと、最も明るい要素の値を用いて第１および第２の照度の見積もり値を計算するステップと、最も明るい要素の座標と第９のイメージに従って、第１および前記第２の照度の見積もり値の加重平均をとることで、第３の照度の見積もり値を計算するステップと、を有し、照度として第３の照度の見積もり値を用いる（２）に記載のプログラムである。

（８）本発明の一態様は、記憶部と実行ユニットとを有し、記憶部はプログラムを有し、実行ユニットはプログラムを実行し、プログラムは、第１乃至第４のステップを備え、第１のステップは、ライトユニットが点灯状態における第１のセンサイメージと、ライトユニットが消灯状態における第２のセンサイメージと、を取得するステップを有し、第２のステップは、第１の校正用イメージを用いて第１のセンサイメージを校正することで、第３のイメージを計算するステップと、第２の校正用イメージを用いて第２のセンサイメージを校正することで、第４のイメージを計算するステップと、を有し、第３のステップは、第３のイメージと第４のイメージを用いて、第５乃至第７のイメージを計算するステップと、照度および表示画像に従って第５乃至第７のイメージの加重平均をとることで、第８のイメージを計算するステップと、を有し、第４のステップは、第８のイメージを用いて、タッチデータを計算するステップを有する情報処理装置である。

（９）本発明の一態様は、（１）乃至（７）の何れか一の態様に係るプログラムを格納した記憶部と、光学式タッチパネルと、を有する情報処理装置である。

より安定して入力情報を抽出できるプログラムを提供することができる。または、より高い精度で入力情報を抽出できるプログラムを提供することができる。または、より利便性に優れた情報処理装置を提供することができる。または、新規な情報処理装置を提供することができる。

これらの効果の記載は、他の効果の存在を妨げるものではない。本発明の一態様は、必ずしも、これらの効果の全てを有する必要はない。なお、これら以外の効果は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の効果を抽出することが可能である。

本発明の一態様に係る情報処理装置のブロック図。 本発明の一態様に係る情報処理装置のブロック図。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係る情報処理装置のブロック図。 本発明の一態様に係る情報処理装置を示す図。 表示部および光検出部を有するモジュールのブロック図。 画素およびフォトダイオードを有するセルを示す回路図。 フォトダイオードを有するセルの動作を表すタイミングチャート。 本発明の一態様に係る情報処理装置のブロック図。 本発明の一態様に係るプログラムのフローチャート。 本発明の一態様に係るプログラムのフローチャート。 情報処理によって得られたタッチレベルを含むイメージ。 本発明の一態様に係るプログラムのフローチャート。 表示部および光検出部を有するモジュールの模式図。 照度の見積もり値と実測値を示す図。 比較例のフローチャート。 バックライトがオンとオフのときのそれぞれセンサ値と、その差分を示す図。

本発明の実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下の説明に限定されず、その形態および詳細を様々に変更し得ることは、当業者であれば容易に理解される。また、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、図面を用いて発明の構成を説明するにあたり、同じものを指す符号は異なる図面間でも共通して用いる。なお、同様のものを指す際にはハッチパターンを同じくし、特に符号を付さない場合がある。

図において、大きさ、膜（層）の厚さ、または領域は、明瞭化のために誇張されている場合がある。

第１、第２として付される序数詞は便宜的に用いるものであり、工程順または積層順を示すものではない。そのため、例えば、「第１の」を「第２の」又は「第３の」などと適宜置き換えて説明することができる。また、本明細書等に記載されている序数詞と、本発明の一態様を特定するために用いられる序数詞は一致しない場合がある。

本明細書において、要素Ｘを、単にＸと省略して記載する場合がある。数量Ｙを、単にＹと省略して記載する場合がある。要素とは、例えば、配線、信号線、電源線、回路、素子、導電体、絶縁体、膜等である。数量とは、例えば、変数、関数、パラメータ等である。例えば、照度ｉｌｌｕｍを単にｉｌｌｕｍと記載する場合がある。関数ｎｏｒｍを単にｎｏｒｍと記載する場合がある。信号線ＳＬを単にＳＬと記載する場合がある。

（実施の形態１）
本実施の形態では、本発明の一態様に係るプログラムおよび情報処理装置について図面を参照して説明する。

図１および図２を参照して、本発明の一態様に係る情報処理装置の構成例を説明する。

図１（Ａ）は、情報処理装置（ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅ）１８０Ａの構成を説明するブロック図である。

図１（Ａ）に示す情報処理装置１８０Ａは、実行ユニット（ｅｘｅｃｕｔｉｏｎ ｕｎｉｔ）１０１と、記憶部（ｍｅｍｏｒｙ）１０２とを有する。情報処理装置１８０Ａには、外部にある光検出部から出力される２種類のセンサイメージが入力される。つまり、外部にあるライトユニットが点灯状態におけるセンサイメージ（ｓｅｎｓｏｒ ｉｍａｇｅ （ｌｉｇｈｔ ｕｎｉｔ＝ｏｎ））と、上記ライトユニットが消灯状態におけるセンサイメージ（ｓｅｎｓｏｒ ｉｍａｇｅ （ｌｉｇｈｔ ｕｎｉｔ＝ｏｆｆ））である。情報処理装置１８０Ａは、外部にある表示部へ入力される表示画像（ｄｉｓｐｌａｙ ｉｍａｇｅ）を出力する。記憶部１０２は、センサイメージを処理する、本願発明の一態様に係るプログラムが格納されている。実行ユニット１０１は、上記プログラムを実行する。

実行ユニット１０１は、例えば、ＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）である。記憶部１０２は、例えば、キャッシュメモリである。または、実行ユニット１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよい。記憶部１０２は、主記憶部であってもよい。

情報処理装置１８０Ａは、例えば、光学式タッチパネルと接続され、記憶部１０２に格納されたプログラムを用いて、タッチ位置等のタッチデータを計算することが可能な情報処理装置である。

図１（Ｂ）は、情報処理装置１８０Ｂの構成を説明するブロック図である。図１（Ｂ）に示す情報処理装置１８０Ｂは、図１（Ａ）に示す情報処理装置１８０Ａと、表示画像の入出力が異なるのみである。従って、他の構成は、図１（Ａ）に示す情報処理装置１８０Ａの説明を適宜参照することができる。図１（Ａ）に示す情報処理装置１８０Ａは、表示画像を出力するのに対し、図１（Ｂ）に示す情報処理装置１８０Ｂは、表示画像が入力される。つまり、図１（Ａ）に示す情報処理装置１８０Ａは、表示画像を生成しているのに対し、図１（Ｂ）に示す情報処理装置１８０Ｂは、表示画像を生成していない。本願発明の一態様に係るプログラムは、表示画像を参照するため、情報処理装置１８０Ｂが表示画像を生成していない場合には、外部から表示画像を入力する構成となる。

図２は、情報処理装置１９０Ａの構成を説明するブロック図である。

図２に示す情報処理装置１９０Ａは、表示部および光検出部（ｄｉｓｐｌａｙ ＆ ＰＳ ｕｎｉｔ）１２０Ａと、情報処理ユニット（ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１１０と、を有する。表示部および光検出部１２０Ａは、光検出部（ｐｈｏｔｏｓｅｎｓｏｒ ｕｎｉｔ）１２１と、表示部（ｄｉｓｐｌａｙ）１２２と、ライトユニット（ｌｉｇｈｔ ｕｎｉｔ）１２３と、を有する。情報処理ユニット１１０は、実行ユニット（ｅｘｅｃｕｔｉｏｎ ｕｎｉｔ）１０１と、記憶部（ｍｅｍｏｒｙ）１０２とを有する。情報処理ユニット１１０には、光検出部１２１から出力される２種類のセンサイメージが入力される。つまり、ライトユニット１２３が点灯状態におけるセンサイメージと、ライトユニットが消灯状態におけるセンサイメージである。情報処理ユニット１１０は、表示部１２２へ入力される表示画像を出力する。記憶部１０２は、センサイメージを処理する、本願発明の一態様に係るプログラムが格納されている。実行ユニット１０１は、上記プログラムを実行する。

光検出部１２１は、２次元的に配置されたセルを有する。各セルは、例えば、フォトダイオードを有し、入射する光の照度に応じた電圧を生成する機能を有する。表示部１２２は、２次元的に配置された画素を有する。各画素は、例えば、赤、緑、青をそれぞれ表示する副画素を有する。各副画素は、例えば、液晶素子を有する。ライトユニット１２３は、例えば、液晶表示部のバックライトとして機能する。

表示部１２２は、液晶素子のほか、例えば、発光素子を有していてもよい。発光素子は、電流又は電圧によって輝度が制御される素子である。発光素子としては、エレクトロルミネセンス素子（ＥＬ素子又は電界発光素子ともいう）などを用いることができる。

本明細書において、ライトユニットとは、光源を備え、該光源が発光することにより点灯する機能を有する発光ユニットである。例えば、表示部が液晶素子を有する場合などに用いられるバックライトは、ライトユニットである。上記ライトユニットは、白色発光ダイオードや、複数の色の発光ダイオードを光源とすることができる。例えば、表示部が発光素子を有する場合、表示部自体が光源を備えるため、ライトユニットである。そのような場合、表示部とは別にライトユニットが設けられていなくても良い。

情報処理装置１９０Ａは、例えば、光学式タッチパネルを備えた情報処理装置であり、記憶部１０２に格納されたプログラムを用いて、タッチ位置等のタッチデータを計算することが可能な情報処理装置である。

次に、図３乃至図８、および図１８を参照して、本発明の一態様に係るプログラムの一例を説明する。

図３（Ａ）および（Ｂ）は、本発明の一態様に係るプログラムを説明するフローチャートの一例である。図３（Ａ）は、タッチ位置等のタッチデータを計算することが可能なプログラムＰ１を説明するフローチャートの一例である。図３（Ｂ）は、環境光の下での照度を見積もることが可能なプログラムＰ２を説明するフローチャートの一例である。プログラムＰ１を用いてタッチ位置等のタッチデータを計算する際に、環境光の下での照度を用いる。当該照度には、プログラムＰ２を用いて計算した照度を用いることができる。

図３（Ａ）に示すフローチャートは、ステップＳ１、Ｓ２、Ｓ３、およびＳ４を備える。

ステップＳ１は、ライトユニットが点灯状態におけるセンサイメージと、ライトユニットが消灯状態におけるセンサイメージと、を取得するステップである。

ステップＳ２は、取得した２種類のセンサイメージを、キャリブレーションするステップである。上記キャリブレーションは、２種類のセンサイメージそれぞれに対して行われる。上記キャリブレーションは、キャリブレーション用のセンサイメージを用いて行われる。上記キャリブレーションは、各セルに対して、異なる基準値を用いて行われる。

ステップＳ３は、キャリブレーションが行われた２種類のセンサイメージを用いて、タッチレベルを含むイメージを計算するステップである。上記計算は、照度および表示画像を用いて行われる。上記照度は、環境光の下での照度、またはその見積もり値を用いる。

ステップＳ４は、タッチレベルを含むイメージを用いて、タッチ位置等のタッチデータを計算するステップである。

以上のステップに従って情報処理を行うことで、タッチ位置等のタッチデータを計算することが可能となる。ライトユニットが点灯状態におけるセンサイメージとライトユニットが消灯状態におけるセンサイメージに加えて、環境光の下での照度や表示画像を用いて情報処理を行うことで、より安定してタッチデータの計算を行うことができる。

図３（Ｂ）に示すフローチャートは、ステップＴ１、Ｔ２，およびＴ３を備える。

ステップＴ１は、ライトユニットが消灯状態におけるセンサイメージを取得するステップである。

ステップＴ２は、取得したセンサイメージからバックグラウンドとなるセンサイメージを差し引くステップである。

バックグラウンドとなるセンサイメージは、最も暗い環境光のもとで黒表示状態かつライトユニットが消灯状態で取得したセンサイメージとすることができる。ステップＴ２の処理を行うことで、光検出部が有する欠陥やばらつきの影響を低減することができる。

ステップＴ３は、バックグラウンドとなるイメージを差し引いたセンサイメージを用いて、環境光の下での照度の見積もり値を計算するステップである。

以上のステップに従って情報処理を行うことで、環境光の下での照度を見積もることが可能となる。

図３（Ａ）および図３（Ｂ）に示すフローチャートについて、さらに詳細に説明する。

図４は、ステップＳ２（キャリブレーション）を説明するフローチャートの一例である。図４に示すフローチャートは、ステップＳ２−１Ａ、Ｓ２−１Ｂを備える。

ステップＳ２では、スタート時点において、ライトユニットが点灯状態におけるセンサイメージと、ライトユニットが消灯状態におけるセンサイメージと、を取得した状態となっている。ライトユニットが点灯状態におけるセンサイメージは、各セルにおけるセンサ入力値ｓｉ＿ｏｎ（ｃ）の集合によって表される。ライトユニットが消灯状態におけるセンサイメージは、各セルにおけるセンサ入力値ｓｉ＿ｏｆｆ（ｃ）の集合によって表される。なお、センサ入力はセルから読み出されるデータである。センサ入力値はその値である。引数ｃはセルの座標を示す。

ステップＳ２−１Ａでは、キャリブレーション用のセンサイメージを用いて、ライトユニットが消灯状態におけるセンサイメージをノーマライズ（規格化）する。

キャリブレーション用のセンサイメージは、例えば、２種類の環境光のもとで取得した、ライトユニットが消灯状態かつ白表示状態でのセンサイメージである。２種類の環境光は、例えば、使用環境を想定した最も明るい環境光（以下、単に、最も明るい環境光とも記す）と、最も暗い環境光（以下、単に、最も暗い環境光とも記す）とすることができる。最も明るい環境光のもとで取得した上記センサ入力値をｓｉ＿ｏｆｆ＿ｌ（ｃ）、最も暗い環境光のもとで取得した上記センサ入力値をｓｉ＿ｏｆｆ＿ｄ（ｃ）とする。以下では、正常なセルでは、ｓｉ＿ｏｆｆ＿ｄ（ｃ）＜ｓｉ＿ｏｆｆ＿ｌ（ｃ）であるとして説明する。

ノーマライズ（規格化）に用いる関数の一例を説明する。ノーマライズに用いる関数は、ｓｉ＿ｏｆｆ（ｃ）を引数として、ｓ０以上、ｓ１以下の値を返す（ｓ０、ｓ１は実数）。例えば、ｓｉ＿ｏｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｄ（ｃ）以上ｓｉ＿ｏｆｆ＿ｌ（ｃ）以下である区間は、増加関数であり、ｓｉ＿ｏｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｄ（ｃ）と同じであればｓ０を返し、ｓｉ＿ｏｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｌ（ｃ）と同じであれば、ｓ１を返す関数である。

ｆｎ（ｘ）が増加関数であるとは、ｘ１＜ｘ２であれば、ｆｎ（ｘ１）≦ｆｎ（ｘ２）が成り立つ関数である。ｆｎ（ｘ）が減少関数であるとは、ｘ１＜ｘ２であれば、ｆｎ（ｘ１）≧ｆｎ（ｘ２）が成り立つ関数である。

所定のセルにおいて、ｓｉ＿ｏｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｄ（ｃ）より小さい場合は、そのセルを欠陥セルとラベリングしても良い。そのような場合、例えば、タッチデータの計算において欠陥セルを区別、あるいは除外できるようにしても良い。ｓｉ＿ｏｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｄ（ｃ）より小さい場合、関数はｓ０を返してもよい。

所定のセルにおいて、ｓｉ＿ｏｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｌ（ｃ）より大きい場合は、そのセルを欠陥セルとラベリングしても良い。そのような場合、例えば、タッチデータの計算において欠陥セルを区別、あるいは除外できるようにしても良い。例えば、ｓｉ＿ｏｆｆ（ｃ）がｓｉ＿ｏｆｆ＿ｌ（ｃ）より大きい場合、関数はｓ１を返しても良い。

ノーマライズ（規格化）に用いる関数の具体的な例を示す。ノーマライズに用いる関数は、数式（１）に示す関数ｎｏｒｍ１において、ｘ、ｘ０、ｘ１、をそれぞれ、ｓｉ＿ｏｆｆ（ｃ）、ｓｉ＿ｏｆｆ＿ｄ（ｃ）、ｓｉ＿ｏｆｆ＿ｌ（ｃ）と置き換えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１以下の値に変換する非線形の増加関数であっても良い。

ノーマライズ（規格化）に用いる関数の別の具体的な例を示す。ノーマライズに用いる関数は、数式（２）に示す関数ｎｏｒｍ２において、ｘ、ｘ０、ｘ１、をそれぞれ、ｓｉ＿ｏｆｆ（ｃ）、ｓｉ＿ｏｆｆ＿ｄ（ｃ）、ｓｉ＿ｏｆｆ＿ｌ（ｃ）と置き換えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１以下の値に変換する非線形の増加関数であっても良い。

例えば、ｓ０を０としても良い。例えば、ｓ１を１としてもよい。

ステップＳ２−１Ｂは、キャリブレーション用のセンサイメージとして、ライトユニットが点灯状態でのセンサイメージを用いる。この点の相違を除き、ステップＳ２−１Ａと同様の処理を行えばよい。

以上のようにして、キャリブレーションが行われたセンサイメージが計算される。

また、ステップＳ２−１Ａにおいて、それぞれ、キャリブレーション用のセンサイメージとして、例えば、２種類の環境光のもとで黒い画像と白い画像を表示した状態で取得した４種類のセンサイメージを用い、２種類のキャリブレーションが行われたセンサイメージを得ることができる。２種類の環境光は、例えば、最も明るい環境光と、最も暗い環境光とすることができる。

例えば、最も明るい環境光のもとで黒画像を表示した状態で取得した上記センサ入力値をｓｉ＿ｏｆｆ＿ｌｂ（ｃ）とし、最も明るい環境光のもとで白画像を表示した状態で取得したセンサ入力値をｓｉ＿ｏｆｆ＿ｌｗ（ｃ）とする。最も暗い環境光のもとで黒画像を表示した状態で取得したセンサ入力値をｓｉ＿ｏｆｆ＿ｄｂ（ｃ）とし、最も暗い環境光のもとで白画像を表示した状態で取得したセンサ入力値をｓｉ＿ｏｆｆ＿ｄｗ（ｃ）とする。

正常なセルでは、ｓｉ＿ｏｆｆ＿ｄｗ（ｃ）＜ｓｉ＿ｏｆｆ＿ｌｗ（ｃ）かつｓｉ＿ｏｆｆ＿ｄｂ（ｃ）＜ｓｉ＿ｏｆｆ＿ｌｂ（ｃ）であるとして、上掲の計算を行えばよい。ｓｉ＿ｏｆｆ＿ｌｂ（ｃ）およびｓｉ＿ｏｆｆ＿ｄｂ（ｃ）を用いて、キャリブレーションの行われたセンサイメージｃａｌｉｂ＿ｏｆｆ＿ｂｌａｃｋを生成する。同様に、ｓｉ＿ｏｆｆ＿ｌｗ（ｃ）およびｓｉ＿ｏｆｆ＿ｄｗ（ｃ）を用いて、キャリブレーションの行われたセンサイメージｃａｌｉｂ＿ｏｆｆ＿ｗｈｉｔｅを生成する。

また、ステップＳ２−１ＢもステップＳ１−１Ａと同様であり、それぞれ、キャリブレーション用のセンサイメージとして、最も明るい環境光および最も暗い環境光のもとで、黒い画像と白い画像を表示した状態で取得した４種類のセンサイメージを用い、２種類のキャリブレーションが行われたセンサイメージを生成することができる。

ステップＳ２−１Ｂでは、最も明るい環境光のもとで黒画像を表示した状態で取得したセンサ入力値をｓｉ＿ｏｎ＿ｌｂ（ｃ）とし、最も明るい環境光のもとで白画像を表示した状態で取得したセンサ入力値をｓｉ＿ｏｎ＿ｌｗ（ｃ）とする。最も暗い環境光のもとで黒画像を表示した状態で取得したセンサ入力値をｓｉ＿ｏｎ＿ｄｂ（ｃ）とし、最も暗い環境光のもとで白画像を表示した状態で取得したセンサ入力値をｓｉ＿ｏｎ＿ｄｗ（ｃ）とする。

正常なセルでは、ｓｉ＿ｏｎ＿ｄｗ（ｃ）＜ｓｉ＿ｏｎ＿ｌｗ（ｃ）かつｓｉ＿ｏｎ＿ｄｂ（ｃ）＜ｓｉ＿ｏｎ＿ｌｂ（ｃ）であるとして、上掲の計算を行えばよい。ｓｉ＿ｏｎ＿ｌｂ（ｃ）およびｓｉ＿ｏｎ＿ｄｂ（ｃ）を用いて、キャリブレーションの行われたセンサイメージｃａｌｉｂ＿ｏｎ＿ｂｌａｃｋを生成し、ｓｉ＿ｏｎ＿ｌｗ（ｃ）およびｓｉ＿ｏｎ＿ｄｗ（ｃ）を用いてキャリブレーションの行われたセンサイメージｃａｌｉｂ＿ｏｎ＿ｗｈｉｔｅを生成する。

上記は、正常なセルでは、ｓｉ＿ｏｆｆ＿ｄ（ｃ）＜ｓｉ＿ｏｆｆ＿ｌ（ｃ）であるとして説明した。この大小関係は、センサイメージの読み出し方法等に依存する。勿論、不等号が逆の場合でも、同様な考え方で、キャリブレーションを行うことができる。

正常なセルにおいて、ｓｉ＿ｏｆｆ＿ｄ（ｃ）＞ｓｉ＿ｏｆｆ＿ｌ（ｃ）となる場合の例を示す。この場合、ノーマライズ（規格化）に用いる関数は、例えば、数式（３）に示す関数ｎｏｒｍ３において、ｘ、ｘ０、ｘ１、をそれぞれ、ｓｉ＿ｏｆｆ（ｃ）、ｓｉ＿ｏｆｆ＿ｄ（ｃ）、ｓｉ＿ｏｆｆ＿ｌ（ｃ）と置き換えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１以下の値に変換する非線形の増加関数であっても良い。

上記のようなステップＳ２の処理を行うことで、キャリブレーション用のセンサイメージを用いて、セルごとに異なる基準値を用いたキャリブレーションを行うことができる。その結果、光検出部が欠陥セルを有する場合に、欠陥セルをラベリングし、その後の処理に影響を与えないようにすることができる。また、光検出部が有するセルの特性ばらつきの影響を低減することができる。

上記のようなステップＳ２の処理を行うことで、使用環境に合わせたキャリブレーションを行うことができる。その結果、より高い精度で、または、より安定してタッチデータを計算することができるプログラムを実現することができる。

上記のようなステップＳ２の処理では、ライトユニットが消灯状態でのセンサイメージのキャリブレーションと、ライトユニットが点灯状態でのセンサイメージのキャリブレーションと、をそれぞれ行う。その結果、より高い精度で、または、より安定してタッチデータを計算することができるプログラムを実現することができる。

なお、ステップＳ２は、キャリブレーション用のセンサイメージをもとに、各セルにおけるセンサ入力の最大値、および／またはセンサ入力の最小値を決めるステップと、当該最大値、および／または最小値を用いて各セルのセンサ入力値をノーマライズ（規格化）するステップと、に分けることができる場合がある。

なお、ステップＳ２は、キャリブレーション用のセンサイメージをもとに、欠陥セルをラベリングする処理するステップと、欠陥セルのセンサ入力値を処理するステップと、欠陥セル以外のセル（正常セルとも呼ぶ）のセンサ入力値を処理するステップに分けることができる場合がある。

図１８は、ステップＳ３（タッチレベルを含むイメージの計算）を説明するフローチャートの一例である。
図１８に示すフローチャートは、ステップＳ３Ｃ−１Ａ、Ｓ３Ｃ−１Ｂ、Ｓ３Ｃ−１Ｃ、Ｓ３Ｃ−３、Ｓ３Ｃ−４、Ｓ３Ｃ−５を備える。

ステップＳ３では、スタート時点において、キャリブレーションが行われたライトユニットが点灯状態におけるセンサイメージと、キャリブレーションが行われたライトユニットが消灯状態におけるセンサイメージと、が生成された状態となっている。表示画像が白であれば、環境光の照度によらず、上記２種類のキャリブレーションが行われたセンサイメージを用いて、所定の計算を行うことで、タッチレベル（タッチの度合を表す量）が得られる。表示画像が黒であれば、ライトユニットからの光が画素によって遮断されるため、指によって反射されるライトユニットからの光の量が少ない。つまり、ライトユニットが点灯状態におけるセンサイメージに含まれるタッチレベルの情報が減少する。一方、ライトユニットが消灯状態におけるセンサイメージに含まれるタッチレベルの情報は、環境光が明るければ多く、環境光が暗ければ少ない。これは、環境光が明るければ、指の有無（タッチの有無）による遮光の差が大きいためである。このように、タッチレベルの情報を抽出するためには、照度を考慮することが有効となる。ステップＳ３では、このように、環境光の下での照度および表示画像を考慮して、タッチレベルの情報を抽出する。

ステップＳ３Ｃ−１Ａでは、キャリブレーションが行われた２種類のセンサイメージの全体もしくは一部を用いて、白表示時のタッチレベルを計算する計算方法を用いて、タッチレベルを含むイメージを計算する。

上記タッチレベルを含むイメージは、各セルにおけるタッチレベルｔｌ＿ｗ（ｃ）の集合によって表される。タッチレベルは、タッチの度合を表す量である。引数のｃはセルの座標を示す。例えば、基準となるタッチしている状態（フルタッチの状態）で０、基準となるタッチしていない状態（ノータッチの状態）で１となる量とすることができる。フルタッチの状態は、例えば、実際の環境下で実際にタッチした状態であっても良い。ノータッチの状態は、例えば、実際の環境下で実際にタッチしていない状態であっても良い。いずれの状態も、パラメータを適宜調整することで決まる、仮想的な状態であっても良い。

ステップＳ３Ｃ−１Ｂでは、キャリブレーションが行われた２種類のセンサイメージの全体もしくは一部を用いて、最も明るい環境光のもとでの黒表示時のタッチレベルを計算する計算方法を用いて、タッチレベルを含むイメージを計算する。上記タッチレベルを含むイメージは、各セルにおけるタッチレベルｔｌ＿ｂｌ（ｃ）の集合によって表される。

ステップＳ３Ｃ−１Ｃでは、キャリブレーションが行われた２種類のセンサイメージの全体もしくは一部を用いて、最も暗い環境光のもとでの黒表示時のタッチレベルを計算する計算方法を用いて、タッチレベルを含むイメージを計算する。上記タッチレベルを含むイメージは、各セルにおけるタッチレベルｔｌ＿ｂｄ（ｃ）の集合によって表される。

ステップＳ３Ｃ−３では、表示画像を取得する。

ステップＳ３Ｃ−４では、取得した表示画像をグレイスケールに変換する。

表示画像は、各画素に出力する表示出力値の集合によって表される。各画素が、赤、緑、青の副画素を有する場合、表示出力値は、（ｄｏ＿ｒｅｄ（ｐ）、ｄｏ＿ｇｒｅｅｎ（ｐ）、ｄｏ＿ｂｌｕｅ（ｐ））と表すことができる。ｄｏ＿ｒｅｄ（ｐ）、ｄｏ＿ｇｒｅｅｎ（ｐ）、ｄｏ＿ｂｌｕｅ（ｐ）はそれぞれ、赤、緑、青の副画素の表示出力値である。ｐは画素の座標を示す。８ビット階調を有する場合、ｄｏ＿ｒｅｄ（ｐ）、ｄｏ＿ｇｒｅｅｎ（ｐ）、ｄｏ＿ｂｌｕｅ（ｐ）はそれぞれ０以上、２５５以下の整数となる。

グレイスケールへの変換は、色ごとの適切な重みを用いてもよい。例えば、画素の表示出力値をグレイスケールに変換した値ｇｄｏ（ｐ）は、ｇｄｏ（ｐ）＝ｗ＿ｒｅｄ・ｄｏ＿ｒｅｄ（ｐ）＋ｗ＿ｇｒｅｅｎ・ｄｏ＿ｇｒｅｅｎ（ｐ）＋ｗ＿ｂｌｕｅ・ｄｏ＿ｂｌｕｅ（ｐ）と表すことができる。ｗ＿ｒｅｄ、ｗ＿ｇｒｅｅｎ、およびｗ＿ｂｌｕｅは、それぞれ、グレイスケールへの変換における赤、緑、青の重みである。

ステップＳ３Ｃ−５では、照度ｉｌｌｕｍ、およびグレイスケールに変換された表示画像に従って、ステップＳ３Ｃ−１Ａで計算したタッチレベルを含むイメージと、ステップＳ３Ｃ−１Ｂで計算したタッチレベルを含むイメージと、ステップＳ３Ｃ−１Ｃで計算したタッチレベルを含むイメージと、の加重平均をとる。照度ｉｌｌｕｍは、環境光の下での照度、またはその見積もり値を用いる。その結果、実際の環境光および表示画像を考慮したタッチレベルを含むイメージが計算される。

グレイスケールに変換された表示画像はセルによって値が変わるため、セルごとに異なる重み付けが行われる。

ステップＳ３では、照度ｉｌｌｕｍは、図３（Ｂ）に示すプログラムＰ２を用いて計算した、環境光の下での照度の見積もり値を用いることができる。光検出部の近傍に照度センサが設けられている場合は、照度センサから取得したデータを用いても良い。

例えば、指でタッチ動作を行う際に、光検出部（あるいは照度センサ等）が手などの影となることで、一時的に、照度が小さくなる場合がある。ステップＳ３で用いる照度を安定させるために、過去の照度を保存しておき、最近のある一定期間の照度の中で最大値のものを使用してもよい。例えば、照度を０．５秒間隔で取得し、最新の５つ照度の中で最大のものを用いてもよい。

ステップＳ３では、キャリブレーションが行われた複数のセンサイメージを用い、表示中の画像と、実際の環境光の下での照度を考慮して、タッチレベルを含むイメージの計算を行う。その結果、環境光や表示画像の影響をより抑えることができ、タッチレベルを含むイメージを、より高い精度で、または、より安定して、計算することができる。

図５は、ステップＳ３（タッチレベルを含むイメージの計算）を説明する、より具体的なフローチャートの一例である。図５に示すフローチャートは、ステップＳ３−１Ａ、Ｓ３−１Ｂ、Ｓ３−１Ｃ、Ｓ３−２、Ｓ３−３、Ｓ３−４、Ｓ３−５を備える。

ステップＳ３−１Ａ、Ｓ３−１ＢおよびＳ３−１Ｃは、図１８に示すフローチャートにおけるステップＳ３Ｃ−１Ａ、Ｓ３Ｃ−１ＢおよびＳ３Ｃ−１Ｃと、それぞれ同じ処理を行えばよい。従って、図１８に示すフローチャートの説明を参照することができる。

ステップＳ３−２では、照度ｉｌｌｕｍに従って、ステップＳ３−１Ｂで計算したタッチレベルを含むイメージと、ステップＳ３−１Ｃで計算したタッチレベルを含むイメージの加重平均をとる。照度ｉｌｌｕｍは、環境光の下での照度、またはその見積もり値を用いる。その結果、実際の環境光を考慮した黒表示時のタッチレベルを計算する計算方法を用いて、タッチレベルを含むイメージを計算することができる。上記タッチレベルを含むイメージは、各セルにおけるタッチレベルｔｌ＿ｂ（ｃ）の集合によって表される。

加重平均に用いる関数の一例を説明する。最も明るい環境光の下での照度をｉｌｌｕｍ＿ｌ、最も暗い環境光の下での照度をｉｌｌｕｍ＿ｄとする。加重平均に用いる関数ｍｉｘ１（ｔｌ＿ｂｄ（ｃ）、ｔｌ＿ｂｌ（ｃ）；ｉｌｌｕｍ）は、照度ｉｌｌｕｍに従って、ｔｌ＿ｂｄ（ｃ）とｔｌ＿ｂｌ（ｃ）の間の値を返す。例えば、関数ｍｉｘ１は、照度ｉｌｌｕｍの増加関数または減少関数であり、照度ｉｌｌｕｍがｉｌｌｕｍ＿ｄと同じであれば、ｔｌ＿ｂｄ（ｃ）を返し、照度ｉｌｌｕｍがｉｌｌｕｍ＿ｌと同じであれば、ｔｌ＿ｂｌ（ｃ）を返す関数である。

ステップＳ３−３およびＳ３−４は、図１８に示すフローチャートにおけるステップＳ３Ｃ−３およびＳ３Ｃ−４と、それぞれ同じ処理を行えばよい。従って、図１８に示すフローチャートの説明を参照することができる。

ステップＳ３−５では、グレイスケールに変換された表示画像に従って、ステップＳ３−１Ａで計算したタッチレベルを含むイメージと、ステップＳ３−２で計算したタッチレベルを含むイメージの加重平均をとる。その結果、実際の環境光および表示画像を考慮したタッチレベルを含むイメージが計算される。

所定のセル（座標ｃ）におけるグレイスケールに変換した値ｇｄｏａ（ｃ）は、上記所定のセルに最も近い一つ画素の表示出力値をグレイスケールに変換した値、または、上記所定のセルに近い複数の画素の表示出力値をグレイスケールに変換した値の平均値でもよい。ｇｄｏａ（ｃ）は、黒表示時にｇｄｏ＿ｂ、白表示時にｇｄｏ＿ｗとなるとする。

加重平均に用いる関数の一例を説明する。加重平均に用いる関数ｍｉｘ２（ｔｌ＿ｗ（ｃ）、ｔｌ＿ｂ（ｃ）；ｇｄｏａ（ｃ））は、ｇｄｏａ（ｃ）に従って、ｔｌ＿ｗ（ｃ）とｔｌ＿ｂ（ｃ）の間の値を返す。例えば、関数ｍｉｘ２は、ｇｄｏａ（ｃ）の増加関数または減少関数であり、ｇｄｏａ（ｃ）がｇｄｏ＿ｗと同じであれば、ｔｌ＿ｗ（ｃ）を返し、ｇｄｏａ（ｃ）がｇｄｏ＿ｂと同じであれば、ｔｌ＿ｂ（ｃ）を返す関数である。

加重平均に用いる関数ｍｉｘ２は、白表示部では、ｔｌ＿ｗ（ｃ）を返し、黒表示部ではｔｌ＿ｂ（ｃ）を返す。つまり、白表示部ではｔｌ＿ｗ（ｃ）およびｔｌ＿ｂ（ｃ）の重みはそれぞれ１および０であり、黒表示部ではｔｌ＿ｗ（ｃ）およびｔｌ＿ｂ（ｃ）の重みはそれぞれ０および１となるように、加重平均をとる。

加重平均に用いる関数の具体的な例を示す。加重平均に用いる関数は、数式（４）に示す関数ｍｉｘにおいて、ｙ０、ｙ１、ｘ、ｘ０、ｘ１、をそれぞれ、ｔｌ＿ｂ（ｃ）、ｔｌ＿ｗ（ｃ）、ｇｄｏａ（ｃ）、ｇｄｏ＿ｂ、ｇｄｏ＿ｗと置き換えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１以下の値に変換する非線形の増加関数であっても良い。

以上のようにして、タッチレベルを含むイメージが計算される。

上記のようなステップＳ３では、キャリブレーションが行われた２種類のセンサイメージを用い、表示中の画像と、実際の環境光下での照度を考慮して計算を行う。その結果、環境光や表示画像の影響をより抑えられたタッチレベルを含むイメージを、より高い精度で、または、より安定して、計算することができる。

図６は、ステップＳ３（タッチレベルを含むイメージの計算）を説明する、さらに具体的なフローチャートの一例である。図６に示すフローチャートは、ステップＳ３Ｂ−１Ａ、Ｓ３Ｂ−１Ｂ、Ｓ３Ｂ−１Ｃ、Ｓ３Ｂ−２、Ｓ３Ｂ−３、Ｓ３Ｂ−４、Ｓ３Ｂ−５を備える。

ステップＳ３Ｂ−１Ａでは、キャリブレーションが行われたライトユニットが点灯状態でのセンサ入力値ｃｉ＿ｏｎ（ｃ）と、キャリブレーションが行われたライトユニットが消灯状態でのセンサ入力値ｃｉ＿ｏｆｆ（ｃ）との差Δｃｉ（ｃ）、つまり（ｃｉ＿ｏｎ（ｃ）―ｃｉ＿ｏｆｆ（ｃ））を計算し、これをノーマライズ（規格化）する。

白表示時のフルタッチの状態で、タッチしている場所にあるセルにおいて、Δｃｉ（ｃ）はΔｃｉ＿ｆｕｌｌとなり、ノータッチの状態でΔｃｉ（ｃ）はΔｃｉ＿ｎｏとなるとする。このときの環境光は、例えば、最も明るい状態とする。セルの位置によって、フルタッチの状態のΔｃｉ（ｃ）やノータッチの状態のΔｃｉ（ｃ）が異なる場合は、例えば、正常なセルにおけるΔｃｉ（ｃ）が全てΔｃｉ＿ｆｕｌｌとΔｃｉ＿ｎｏの間に含まれるように、Δｃｉ＿ｆｕｌｌとΔｃｉ＿ｎｏを決めてもよい。

ノーマライズ（規格化）に用いる関数の一例を説明する。ノーマライズに用いる関数は、Δｃｉ（ｃ）を引数として、ｃ０以上、ｃ１以下の値を返す（ｃ０、ｃ１は実数）。例えば、Δｃｉ（ｃ）がΔｃｉ＿ｎｏとΔｃｉ＿ｆｕｌｌの間の区間では、増加関数または減少関数であり、Δｃｉ（ｃ）がΔｃｉ＿ｎｏと同じであればｃ１を返し、Δｃｉ（ｃ）がΔｃｉ＿ｆｕｌｌと同じであれば、ｃ０を返す関数である。

Δｃｉ（ｃ）がΔｃｉ＿ｆｕｌｌとΔｃｉ＿ｎｏの間に入らず、Δｃｉ＿ｆｕｌｌの外側であればｃ０を返しても良い。Δｃｉ（ｃ）がΔｃｉ＿ｆｕｌｌとΔｃｉ＿ｎｏの間に入らず、Δｃｉ＿ｎｏの外側であればｃ１を返しても良い。

ノーマライズ（規格化）に用いる関数の具体的な例を示す。Δｃｉ＿ｎｏ＜Δｃｉ＿ｆｕｌｌとする。ノーマライズに用いる関数は、数式（５）に示す関数ｎｏｒｍ４において、ｘ、ｘ０、ｘ１、をそれぞれ、Δｃｉ（ｃ）、Δｃｉ＿ｆｕｌｌ、Δｃｉ＿ｎｏと置き換えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１以下の値に変換する非線形の増加関数であっても良い。これにより、コントラストを変えることができる。その結果、タッチレベルの計算精度を向上できる場合がある。

例えば、ｃ０を０としてもよい。例えば、ｃ１を１としてもよい。

Δｃｉ＿ｎｏおよびΔｃｉ＿ｆｕｌｌは、パラメータとして、適宜変更することができる。その結果、タッチレベルの計算精度を向上できる場合がある。特に、Δｃｉ＿ｎｏ＝０としてもよい。

例えば、ｃ０を０、ｃ１を１として、Δｃｉ＿ｎｏを０、関数ｆを恒等関数とした場合、１／Δｃｉ＿ｆｕｌｌをｋと表すと、ノーマライズ（規格化）に用いる関数は、数式（６）に示す関数ｎｏｒｍ５において、ｘをΔｃｉ（ｃ）と置き換えた関数とすることができる。

ステップＳ３Ｂ−１Ａは、図１８に示すステップＳ３Ｃ−１Ａに対応する。ステップＳ３Ｂ−１Ａの処理は、白表示時にタッチレベルを計算できる計算方法の一例である。Δｃｉ（ｃ）は、白表示時にタッチレベルを表す場合がある。Δｃｉ（ｃ）を上記のようにノーマライズ（規格化）することで、タッチレベルの計算精度を向上することができる。

ステップＳ３Ｂ−２では、照度ｉｌｌｕｍが、あるしきい値となる照度ｉｌｌｕｍ＿ｔより小さいかどうかを判断する。照度ｉｌｌｕｍは、環境光の下での照度、またはその見積もり値を用いる。ｉｌｌｕｍがｉｌｌｕｍ＿ｔより小さければ、ステップＳ３Ｂ−１Ｂを処理し、それ以外では、ステップＳ３Ｂ−１Ｃを処理する。

ステップＳ３Ｂ−２は、図５に示すステップＳ３−２に対応する。照度ｉｌｌｕｍとあるしきい値となる照度ｉｌｌｕｍ＿ｔとの大小関係によって、２種類のタッチレベルのいずれか一方を選択する処理は、２種類のタッチレベルの加重平均の一種である。この方式では、２種類のタッチレベルの両方を計算する必要がなく、選択する一方のタッチレベルのみを計算すればよいので、計算量を減らすことができ好ましい。

ステップＳ３Ｂ−１Ｂでは、キャリブレーションが行われたライトユニットが点灯状態でのセンサ入力値ｃｉ＿ｏｎ（ｃ）をノーマライズ（規格化）する。

最も暗い環境光のもとで黒表示時のフルタッチの状態で、タッチしている場所にあるセルにおいて、ｃｉ＿ｏｎ（ｃ）はｃｉ＿ｏｎ＿ｆｕｌｌとなり、ノータッチの状態でｃｉ＿ｏｎ（ｃ）はｃｉ＿ｏｎ＿ｎｏとなるとする。セルの位置によって、フルタッチの状態のｃｉ＿ｏｎ（ｃ）やノータッチの状態のｃｉ＿ｏｎ（ｃ）が異なる場合は、例えば、正常なセルにおけるｃｉ＿ｏｎ（ｃ）が全てｃｉ＿ｏｎ＿ｆｕｌｌとｃｉ＿ｏｎ＿ｎｏの間に含まれるように、ｃｉ＿ｏｎ＿ｆｕｌｌとｃｉ＿ｏｎ＿ｎｏを決めてもよい。

ノーマライズ（規格化）に用いる関数の一例を説明する。ノーマライズに用いる関数は、ｃｉ＿ｏｎ（ｃ）を引数として、ｃ０以上、ｃ１以下の値を返す（ｃ０、ｃ１は実数）。例えば、ｃｉ＿ｏｎ（ｃ）がｃｉ＿ｏｎ＿ｎｏとｃｉ＿ｏｎ＿ｆｕｌｌの間の区間では、増加関数または減少関数であり、ｃｉ＿ｏｎ（ｃ）がｃｉ＿ｏｎ＿ｎｏと同じであればｃ１を返し、ｃｉ＿ｏｎ（ｃ）がｃｉ＿ｏｎ＿ｆｕｌｌと同じであれば、ｃ０を返す関数である。

ｃｉ＿ｏｎ（ｃ）がｃｉ＿ｏｎ＿ｆｕｌｌとｃｉ＿ｏｎ＿ｎｏの間に入らず、ｃｉ＿ｏｎ＿ｆｕｌｌの外側であればｃ０を返しても良い。ｃｉ＿ｏｎ（ｃ）がｃｉ＿ｏｎ＿ｆｕｌｌとｃｉ＿ｏｎ＿ｎｏの間に入らず、ｃｉ＿ｏｎ＿ｎｏの外側であればｃ１を返しても良い。

ノーマライズ（規格化）に用いる関数の具体的な例を示す。ｃｉ＿ｏｎ＿ｎｏ＜ｃｉ＿ｏｎ＿ｆｕｌｌとする。ノーマライズに用いる関数は、数式（５）に示す関数ｎｏｒｍ４において、ｘ、ｘ０、ｘ１、をそれぞれ、ｃｉ＿ｏｎ（ｃ）、ｃｉ＿ｏｎ＿ｆｕｌｌ、ｃｉ＿ｏｎ＿ｎｏと置き換えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１以下の値に変換する非線形の増加関数であっても良い。これにより、コントラストを変えることができる。その結果、タッチレベルの計算精度を向上できる場合がある。

例えば、ｃ０を０としてもよい。例えば、ｃ１を１としてもよい。

ｃｉ＿ｏｎ＿ｎｏおよびｃｉ＿ｏｎ＿ｆｕｌｌは、パラメータとして、適宜変更することができる。その結果、タッチレベルの計算精度を向上できる場合がある。

ステップＳ３Ｂ−１Ｂは、図１８に示すステップＳ３Ｃ−１Ｂに対応する。ステップＳ３Ｂ−１Ｂの処理は、最も暗い環境光のもとで黒表示時にタッチレベルを計算できる計算方法の一例である。ｃｉ＿ｏｎ（ｃ）は、最も暗い環境光のもとで黒表示時にタッチレベルを表す場合がある。ｃｉ＿ｏｎ（ｃ）を上記のようにノーマライズ（規格化）することで、タッチレベルの計算精度を向上することができる。

ステップＳ３Ｂ−１Ｃでは、キャリブレーションが行われたライトユニットが消灯状態でのセンサ入力値ｃｉ＿ｏｆｆ（ｃ）をノーマライズ（規格化）する。

最も明るい環境光のもとで黒表示時にフルタッチの状態で、タッチしている場所にあるセルにおいて、ｃｉ＿ｏｆｆ（ｃ）はｃｉ＿ｏｆｆ＿ｆｕｌｌとなり、ノータッチの状態でｃｉ＿ｏｆｆ（ｃ）はｃｉ＿ｏｆｆ＿ｎｏとなるとする。セルの位置によって、フルタッチの状態のｃｉ＿ｏｆｆ（ｃ）やノータッチの状態のｃｉ＿ｏｆｆ（ｃ）が異なる場合は、例えば、正常なセルにおけるｃｉ＿ｏｆｆ（ｃ）が全てｃｉ＿ｏｆｆ＿ｆｕｌｌとｃｉ＿ｏｆｆ＿ｎｏの間に含まれるように、ｃｉ＿ｏｆｆ＿ｆｕｌｌとｃｉ＿ｏｆｆ＿ｎｏを決めればよい。

ノーマライズ（規格化）に用いる関数の一例を説明する。ノーマライズに用いる関数は、ｃｉ＿ｏｆｆ（ｃ）を引数として、ｃ０以上、ｃ１以下の値を返す（ｃ０、ｃ１は実数）。例えば、ｃｉ＿ｏｆｆ（ｃ）がｃｉ＿ｏｆｆ＿ｎｏとｃｉ＿ｏｆｆ＿ｆｕｌｌの間の区間では、増加関数または減少関数であり、ｃｉ＿ｏｆｆ（ｃ）がｃｉ＿ｏｆｆ＿ｎｏと同じであればｃ１を返し、ｃｉ＿ｏｎ（ｃ）がｃｉ＿ｏｎ＿ｆｕｌｌと同じであれば、ｃ０を返す関数である。

ｃｉ＿ｏｆｆ（ｃ）がｃｉ＿ｏｆｆ＿ｆｕｌｌとｃｉ＿ｏｆｆ＿ｎｏの間に入らず、ｃｉ＿ｏｆｆ＿ｆｕｌｌの外側であればｃ０を返しても良い。ｃｉ＿ｏｆｆ（ｃ）がｃｉ＿ｏｆｆ＿ｆｕｌｌとｃｉ＿ｏｆｆ＿ｎｏの間に入らず、ｃｉ＿ｏｆｆ＿ｎｏの外側であればｃ１を返しても良い。

ノーマライズ（規格化）に用いる関数の具体的な例を示す。ｃｉ＿ｏｆｆ＿ｆｕｌｌ＜ｃｉ＿ｏｆｆ＿ｎｏとする。ノーマライズに用いる関数は、数式（７）に示す関数ｎｏｒｍ６において、ｘ、ｘ０、ｘ１、をそれぞれ、ｃｉ＿ｏｆｆ（ｃ）、ｃｉ＿ｏｆｆ＿ｆｕｌｌ、ｃｉ＿ｏｆｆ＿ｎｏと置き換えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１以下の値に変換する非線形の増加関数であっても良い。これにより、コントラストを変えることができる。その結果、タッチレベルの計算精度を向上できる場合がある。

例えば、ｃ０を０としてもよい。例えば、ｃ１を１としてもよい。

ｃｉ＿ｏｆｆ＿ｎｏおよびｃｉ＿ｏｆｆ＿ｆｕｌｌは、パラメータとして、適宜変更することができる。その結果、タッチレベルの計算精度を向上できる場合がある。

ステップＳ３Ｂ−１Ｃは、図１８に示すステップＳ３Ｃ−１Ｃに相当する。ステップＳ３Ｂ−１Ｃの処理は、最も明るい環境光のもとで黒表示時にタッチレベルを計算できる計算方法の一例である。ｃｉ＿ｏｆｆ（ｃ）は、最も明るい環境光のもとで黒表示時にタッチレベルを表す場合がある。ｃｉ＿ｏｆｆ（ｃ）を上記のようにノーマライズ（規格化）することで、タッチレベルの計算精度を向上することができる。

ステップＳ３Ｂ−３、Ｓ３Ｂ−４およびＳ３Ｂ−５は、図１８に示すステップＳ３Ｃ−３、Ｓ３Ｃ−４、および図５に示すステップＳ３−５と、それぞれ同じ処理を行えばよい。従って、図５および図１８に示すフローチャートの説明を参照することができる。

以上のようにして、タッチレベルを含むイメージが計算される。

上記のようなステップＳ３では、ライトユニットが点灯状態でのセンサイメージと、ライトユニットが消灯状態でのセンサイメージの２種類のセンサイメージを用い、表示中の画像と、実際の環境光下での照度を考慮して計算を行う。その結果、環境光や表示画像の影響がより抑えられたタッチレベルを含むイメージを計算することができる。

図７は、ステップＴ３（照度の計算）を説明するフローチャートの一例である。図７に示すフローチャートは、ステップＴ３−１、Ｔ３−２、Ｔ３−３Ａ、Ｔ３−３Ｂ、Ｔ３−４、Ｔ３−５、Ｔ３−６を備える。

ステップＴ３では、スタート時点において、バックグラウンドとなるセンサイメージを差し引いたセンサイメージが生成された状態となっている。

ステップＴ３−１では、ライトユニットが消灯状態でのセンサイメージのスムージングを行う。

スムージングは、例えば、隣接するセルのセンサ入力値を平均化する処理である。例えば、ｍ行ｎ列のセルアレイを有する場合、センサイメージは、ｍ×ｎ個のセンサ入力値を有する。スムージングは、例えば、（ｘ０、ｙ０）、（ｘ０＋１、ｙ０）、（ｘ０、ｙ０＋１）、（ｘ０＋１、ｙ０＋１）に位置する４つのセルのセンサ入力値を平均する処理である（ｘ０は１以上ｎ以下の奇数、ｙ０は１以上、ｍ以下の奇数）。ここで、（ｘ、ｙ）はｘ列目かつｙ行目のセルの座標を示す。その結果、スムージングを行ったセンサイメージは、ｍ×ｎ／４個の平均化されたセンサ入力値となる。上記の例では平均化するセル数を４としたが、これに限らない。例えば、１６セルを平均化してもよい。スムージングにより、点欠陥やノイズの影響を低減することができる。

ステップＴ３−２では、スムージングを行ったセンサイメージを用いて、最も明るい場所を見つける。このセンサ入力値は、環境光の下での照度を反映した値となる場合がある。

ステップＴ３−３Ａでは、最も明るい場所のセンサ入力値を用いて、照度ｉｌｌｕｍ＿ｗを取得する。白表示状態における環境光とセンサ入力値との関係を示す関数、或いはテーブルを参照して、照度ｉｌｌｕｍ＿ｗを取得する。照度ｉｌｌｕｍ＿ｗは、取得したセンサイメージが白表示であった場合に推定される環境光の下での照度を表す。上記関数、或いはテーブルは、予め測定しておいたデータに基づいて、準備しておけばよい。

ステップＴ３−３Ｂでは、最も明るい場所のセンサ入力値を用いて、照度ｉｌｌｕｍ＿ｂを取得する。黒表示状態における環境光とセンサ入力値との関係を示す関数、或いはテーブルを参照して、照度ｉｌｌｕｍ＿ｂを取得する。照度ｉｌｌｕｍ＿ｂは、取得したセンサイメージが黒表示であった場合に推定される環境光の下での照度を表す。上記関数、或いはテーブルは、予め測定しておいたデータに基づいて、準備しておけばよい。

ステップＴ３−４では、表示画像を取得する。

ステップＴ３−５では、取得した表示画像をグレイスケールに変換する。図５に示すフローチャートにおけるステップＳ３−４と同様の処理を行えばよく、図５に示すフローチャートの説明を参照することができる。

ステップＴ３−６では、グレイスケールに変換された表示画像に従って、ステップＴ３−３Ａで計算した照度ｉｌｌｕｍ＿ｗと、ステップＴ３−３Ｂで計算した照度ｉｌｌｕｍ＿ｂの加重平均をとる。その結果、実際の環境光の下での照度の見積もり値ｉｌｌｕｍが計算される。

ステップＴ３−２で見つけた最も明るい場所におけるグレイスケールに変換した値ｇｄｏｒは、当該場所に近い一つ画素の表示出力値をグレイスケールに変換した値、または、当該場所を含む複数の画素の表示出力値をグレイスケールに変換した値の平均値でもよい。ｇｄｏｒは、黒表示時にｇｄｏ＿ｂ、白表示時にｇｄｏ＿ｗとなるとする。

加重平均に用いる関数の一例を説明する。加重平均に用いる関数ｍｉｘ３（ｉｌｌｕｍ＿ｗ、ｉｌｌｕｍ＿ｂ；ｇｄｏｒ）は、ｇｄｏｒに従って、ｉｌｌｕｍ＿ｗとｉｌｌｕｍ＿ｂの間の値を返す。例えば、関数ｍｉｘ３は、ｇｄｏｒの増加関数または減少関数であり、ｇｄｏｒがｇｄｏ＿ｗと同じであれば、ｉｌｌｕｍ＿ｗを返し、ｇｄｏｒがｇｄｏ＿ｂと同じであれば、ｉｌｌｕｍ＿ｂを返す関数である。

加重平均に用いる関数の具体的な例を示す。加重平均に用いる関数は、数式（４）に示す関数ｍｉｘにおいて、ｙ０、ｙ１、ｘ、ｘ０、ｘ１、をそれぞれ、ｉｌｌｕｍ＿ｂ、ｉｌｌｕｍ＿ｗ、ｇｄｏｒ、ｇｄｏ＿ｂ、ｇｄｏ＿ｗと置き換えた関数とすることができる。

ここで、関数ｆは、例えば、恒等関数である。関数ｆは、０以上１以下の値を、０以上１以下の値に変換する非線形の増加関数であっても良い。

以上のようにして、環境光の下での照度の見積もり値が計算される。

上記のようなステップＴ３の処理を行うことで、照度センサが設けられていなくても、環境光の下での照度の見積もり値を取得することができる。タッチするパネル上での照度の見積もり値を取得することができる。

図８は、ステップＳ４（タッチデータの計算）を説明するフローチャートの一例である。図８に示すフローチャートは、ステップＳ４−１、Ｓ４−２、Ｓ４−３を備える。

ステップＳ４では、スタート時点において、タッチレベルを含むイメージが生成された状態となっている。

ステップＳ４−１では、ブロブ検出（ｂｌｏｂ ｄｅｔｅｃｔｉｏｎ）を行う。例えば、スレッショルディング（ｔｈｒｅｓｈｏｌｄｉｎｇ）、数理形態学（ｍａｔｈｅｍａｔｉｃａｌ ｍｏｒｐｈｏｌｏｇｙ）を用いた手法、イメージセグメンテーション（ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）を用いて、ブロブ検出を行うことができる。ブロブ検出は、これらの手法に限定されず、その他の輪郭検出の手法などを用いても良い。

ステップＳ４−２では、ブロブが１つ以上検出されたかどうかを判断する。ブロブが１つ以上検出されれば、ステップＳ４−３へ進む。ブロブが１つも検出されなければ、処理を終了する。

ステップＳ４−３では、タッチ位置等のタッチデータを計算する。例えば、重心の計算や、タッチ位置の座標の計算等を行う。

以上のようにして、本発明の一態様に係るプログラムは、タッチ位置等のタッチデータを計算することができる。ライトユニットが点灯状態でのセンサイメージと、ライトユニットが消灯状態でのセンサイメージの２種類のセンサイメージを用い、表示中の画像と、環境光の下での照度を考慮して計算を行うことで、より安定してタッチデータの計算を行うことができる。また、より高い精度でタッチデータの計算を行うことができる。このようなプログラムを記憶部に備えることで、より利便性に優れた情報処理装置を実現できる。

なお、照度の見積もり値の取得の頻度と、タッチ位置等のタッチデータを計算する頻度と、は同じであってもよいが、異なっていても良い。環境光の下での照度は頻繁には変化しない場合が多いため、照度の見積もり値の取得頻度をタッチデータの計算頻度より少なくしても良い。例えば、照度の見積もり値の取得頻度を、タッチデータの計算頻度の１／６０倍乃至１倍とすることができる。例えば、タッチデータの計算頻度を、表示画像の更新頻度の１／１０倍乃至１倍とすることができる。

なお、本実施の形態は、本明細書で示す他の実施の形態と適宜組み合わせることができる。

（実施の形態２）
本実施の形態では、本発明の一態様に係る情報処理装置について図面を参照して説明する。

図９を参照して、本発明の一態様に係る情報処理装置の構成の一例を説明する。

図９は、情報処理装置１９０Ｂの構成を説明するブロック図である。

図９に示す情報処理装置１９０Ｂは、プロセッサ１００と、記憶部１０３と、表示部および光検出部１２０Ｂと、センサユニット１４０と、通信ユニット１６０と、コントローラ１３０、コントローラ１５０、およびコントローラ１７０と、を有する。プロセッサ１００は、実行ユニット１０１と、記憶部１０２と、を有する。表示部および光検出部１２０Ｂは、光検出部１２１と、表示部１２２と、ライトユニット１２３と、を有する。コントローラ１３０は、記憶部１３１、記憶部１３２を有する。プロセッサ１００と、記憶部１０３と、コントローラ１３０、コントローラ１５０、およびコントローラ１７０と、はバスを介して接続されている。

プロセッサ１００は、センサイメージを処理するプログラム等、各種プログラムを実行する。記憶部１０２は、センサイメージを処理する、本願発明の一態様に係るプログラムが格納されている。実行ユニット１０１は、上記プログラムを実行する。記憶部１０３は、表示画像等を格納する。記憶部１０３は記憶部１０２より記憶容量が大きい。

表示部および光検出部１２０Ｂは、表示部１２２において画像を表示し、光検出部１２１においてタッチ位置等のタッチデータを入力することができる。光検出部１２１は、タッチパネルの機能を有しても良い。

コントローラ１３０は、光検出部１２１、表示部１２２、およびライトユニット１２３の制御を行う。記憶部１３１は、光検出部から出力されるセンサイメージを格納しても良い。記憶部１３２は表示部１２２に出力する表示画像を格納しても良い。

センサユニット１４０として、温度センサや照度センサ等が設けられていても良い。コントローラ１５０は、センサユニット１４０を制御する。例えば、温度センサから温度を取得する。例えば、照度センサから照度を取得する。プロセッサ１００は、取得した温度や照度に応じた処理を行うことができる。温度が高い場合には動作電圧を下げる、照度が高い場合にはライトユニットの輝度を高くする、といった処理を行っても良い。本発明の一態様のプログラムＰ１において、センサユニット１４０が有する照度センサから照度を取得しても良い。

通信ユニット１６０は、例えば、無線通信を行うユニットである。コントローラ１７０は、通信ユニット１６０を制御する。

情報処理装置１９０Ｂは、例えば、光学式タッチパネル付きの無線通信可能な情報処理装置であり、記憶部１０２に格納されたプログラムを用いて、タッチ位置などのタッチデータを計算することが可能な情報処理装置である。

なお、本実施の形態は、本明細書で示す他の実施の形態と適宜組み合わせることができる。

（実施の形態３）
本実施の形態では、本発明の一態様に係る情報処理装置について図面を参照して説明する。

本発明の一態様に係る情報処理装置として、例えば、テレビジョン装置（テレビ、またはテレビジョン受信機ともいう）、コンピュータ、デジタルビデオカメラ、デジタルフォトフレーム、携帯電話機（携帯電話、携帯電話装置ともいう）、携帯型ゲーム機、携帯情報端末、ゲーム機などが挙げられる。これらの電子機器の具体例を以下に示す。

図１０（Ａ）は、テレビジョン装置の一例を示している。テレビジョン装置は、筐体４１１に表示部４１３が組み込まれている。また、ここでは、取り付け具４１５により筐体４１１を壁面に支持できる構成を示している。表示部４１３により、映像を表示することが可能である。また、表示部４１３と重なる領域に光検出部が設けられている。

テレビジョン装置は、プロセッサや記憶部を有し、記憶部に格納された本発明の一態様に係るプログラムを用いて、タッチ位置などのタッチデータを計算することができる。その結果、様々な周囲の照度や表示画像においても、安定して、タッチデータを計算することができる。その結果、チャンネルや音量の操作、あるいは映像の操作を、安定して行うことができる。

テレビジョン装置の操作は、筐体４１１が備える操作スイッチや、別体のリモコン操作機４０１によっても行うことができる。リモコン操作機４０１が備える操作キー４０３により、テレビジョン装置を操作することができる。また、リモコン操作機４０１に表示部４０２を設ける構成としてもよい。

図１０（Ｂ１）はコンピュータであり、本体４２１、筐体４２２、表示部４２３、キーボード４２４、外部接続ポート４２５、ポインティングデバイス４２６等を含む。なお、このコンピュータは、表示部４２３と重なる領域に光検出部が設けられている。

コンピュータは、図１０（Ｂ２）のような形態であっても良い。図１０（Ｂ２）に示すコンピュータは、キーボード４２４、ポインティングデバイス４２６の代わりに表示部４３０が設けられている。

表示部４２３、および表示部４３０と重なる領域に光検出部が設けられている。すなわち、表示部４２３、および表示部４３０は、光学式タッチパネル式となっており、表示部４２３、および表示部４３０に表示された入力用の表示を指やペンで操作することによって入力を行うことができる。また、表示部４２３、および表示部４３０は入力用表示だけでなく、その他の画像を表示することも可能である。表示部４２３、または表示部４３０のどちらか一方が光学式タッチパネルであっても良い。

コンピュータは、プロセッサや記憶部を有し、記憶部に格納された本発明の一態様に係るプログラムを用いて、タッチ位置などのタッチデータを計算することができる。その結果、様々な周囲の照度や表示画像においても、安定して、タッチデータを計算することができる。その結果、コンピュータの操作を、安定して行うことができる。

図１０（Ｃ）は携帯型遊技機であり、筐体４３１と筐体４３２の２つの筐体で構成されており、連結部４３３により、開閉可能に連結されている。筐体４３１には、表示部４３４が組み込まれ、筐体４３２には表示部４３５が組み込まれている。

表示部４３４および表示部４３５と重なる領域に光検出部が設けられ、光学式タッチパネル式となっている。携帯型遊技機は、プロセッサや記憶部を有し、記憶部に格納された本発明の一態様に係るプログラムを用いて、タッチ位置などのタッチデータを計算することができる。その結果、様々な周囲の照度や表示画像においても、安定して、タッチデータを計算することができる。その結果、携帯型遊技機の操作を、安定して行うことができる。

また、図１０（Ｃ）に示す携帯型遊技機は、スピーカ部４３６、記録媒体挿入部４３７、ＬＥＤランプ４３８、入力手段（操作キー４３９、接続端子４４０、センサ４４１（力、変位、位置、速度、加速度、角速度、回転数、距離、光、液、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、におい又は赤外線を測定する機能を含むもの）、マイクロフォン４４２）等を備えている。図１０（Ｃ）に示す携帯型遊技機は、記録媒体に記録されているプログラム又はデータを読み出して表示部に表示する機能や、他の携帯型遊技機と無線通信を行って情報を共有する機能を有する。なお、図１０（Ｃ）に示す携帯型遊技機が有する機能はこれに限定されず、様々な機能を有することができる。

図１０（Ｄ）は、携帯電話機の一例を示している。携帯電話機は、筐体４５１に組み込まれた表示部４５２の他、操作ボタン４５３、外部接続ポート４５４、スピーカ４５５、マイク４５６などを備えている。

図１０（Ｄ）に示す携帯電話機は、表示部４５２と重なる領域に光検出部が設けられ、光学式タッチパネル式となっている。よって、表示部４５２を指などで触れることで、情報を入力することができる構成とすることもできる。この場合、電話を掛ける、或いはメールを作成するなどの操作は、表示部４５２を指などで触れることにより行うことができる。

携帯電話機は、プロセッサや記憶部を有し、記憶部に格納された本発明の一態様に係るプログラムを用いて、タッチ位置などのタッチデータを計算することができる。その結果、様々な周囲の照度や表示画像においても、安定して、タッチデータを計算することができる。その結果、携帯電話機の操作を、安定して行うことができる。

表示部４５２と重なる領域に設けられた光検出部で信号を検知し、表示部４５２のタッチ操作による入力が一定期間ない場合には、画面のモードを切り替えるように制御してもよい。

表示部４５２は、イメージセンサとして機能させることもできる。例えば、表示部４５２に掌や指で触れ、掌紋、指紋等を撮像することで、本人認証を行うことができる。また、表示部に近赤外光を発光するバックライトまたは近赤外光を発光するセンシング用光源を用いれば、指静脈、掌静脈などを撮像することもできる。

なお、本実施の形態は、本明細書で示す他の実施の形態と適宜組み合わせることができる。

なお、本明細書において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。半導体素子（トランジスタ、ダイオード等）を含む回路、同回路を有する装置等を含む。例えば、電子回路、電子回路を備えたチップは、半導体装置の一例である。記憶装置、表示装置、発光装置、照明装置、電気光学装置、および電子機器等は、半導体装置を有している場合がある。

トランジスタは、ゲート、ソース、およびドレインと呼ばれる３つのノード（端子）を有する。ゲートは、トランジスタの導通状態を制御する制御ノードとして機能するノードである。ソースまたはドレインとして機能する一対の入出力ノードは、トランジスタのチャネル型及び各ノード（端子）に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。一般的に、ｎチャネル型トランジスタでは、低い電位が与えられるノードがソースと呼ばれ、高い電位が与えられるノードがドレインと呼ばれる。逆に、ｐチャネル型トランジスタでは、低い電位が与えられるノードがドレインと呼ばれ、高い電位が与えられるノードがソースと呼ばれる。

本明細書では、回路構成やその動作の理解を容易にするため、トランジスタの２つの入出力ノードの一方をソースに、他方をドレインに限定して説明する場合がある。もちろん、駆動方法によっては、トランジスタの３つの端子に印加される電位の大小関係が変化し、ソースとドレインが入れ替わる場合がある。したがって、本発明の一形態において、トランジスタのソースとドレインの区別は、明細書および図面での記載に限定されるものではない。

トランジスタのゲートとして機能する導電体をゲート電極、トランジスタのソースとして機能する導電体をソース電極、トランジスタのドレインとして機能する導電体をドレイン電極、トランジスタのソースとして機能する領域をソース領域、トランジスタのドレインとして機能する領域をドレイン領域、と呼ぶ。本明細書では、ゲート電極をゲート、ドレイン電極またはドレイン領域をドレイン、ソース電極またはソース領域をソース、と記す場合がある。

電圧は、ある電位と、基準の電位（例えば接地電位（ＧＮＤ）またはソース電位）との電位差のことを示す場合が多い。よって、電圧を電位と言い換えることが可能である。

図面における各回路ブロックの配置は、説明のため位置関係を特定するものであり、異なる回路ブロックで別々の機能を実現するよう図面で示していても、実際の回路や領域では、同じ回路ブロック内で別々の機能を実現しうるように設けられている場合もある。また図面における各回路ブロックの機能は、説明のため機能を特定するものであり、一つの回路ブロックとして示していても、実際の回路や領域では、一つの回路ブロックで行う処理を複数の回路ブロックで行うよう設けられている場合もある。

本明細書において接続とは、電気的な接続を意味しており、電流、電圧または電位が、供給可能、或いは伝送可能な状態にすることができるような回路構成であることに相当する。従って、接続している回路構成とは、直接接続している回路構成を必ずしも指すわけではなく、電流、電圧または電位が、供給可能、或いは伝送可能であるように、素子（例えば、スイッチ、トランジスタ、容量素子、インダクタ、抵抗素子、ダイオード、表示素子、発光素子、負荷など）が例えば、配線、抵抗、ダイオード、トランジスタなどの回路素子を介して間接的に接続している回路構成も、その範疇に含む。

本明細書において、回路図上は独立している構成要素どうしが接続されている場合であっても、実際には、例えば配線の一部が電極としても機能する場合など、一の導電体が、複数の構成要素の機能を併せ持っている場合もある。本明細書において接続とは、このような、一の導電体が、複数の構成要素の機能を併せ持っている場合も、その範疇に含める。

なお、ある一つの実施の形態の中で述べる内容（一部の内容でもよい）は、その実施の形態で述べる別の内容（一部の内容でもよい）、及び／又は、一つ若しくは複数の別の実施の形態で述べる内容（一部の内容でもよい）に対して、適用、組み合わせ、又は置き換えなどを行うことが出来る。

なお、実施の形態の中で述べる内容とは、各々の実施の形態において、様々な図を用いて述べる内容、又は明細書に記載される文章を用いて述べる内容のことである。

なお、ある一つの実施の形態において述べる図（一部でもよい）は、その図の別の部分、その実施の形態において述べる別の図（一部でもよい）、及び／又は、一つ若しくは複数の別の実施の形態において述べる図（一部でもよい）に対して、組み合わせることにより、さらに多くの図を構成させることが出来る。

なお、明細書の中の図面や文章において規定されていない内容について、その内容を除くことを規定した発明の一態様を構成することが出来る。または、ある値について、上限値と下限値などで示される数値範囲が記載されている場合、その範囲を任意に狭めることで、または、その範囲の中の一点を除くことで、その範囲を一部除いた発明の一態様を規定することができる。これらにより、例えば、従来技術が本発明の一態様の技術的範囲内に入らないことを規定することができる。

具体例としては、ある回路において、第１乃至第５のトランジスタを用いている回路図が記載されているとする。その場合、その回路が、第６のトランジスタを有していないことを発明として規定することが可能である。または、その回路が、容量素子を有していないことを規定することが可能である。さらに、その回路が、ある特定の接続構造をとっているような第６のトランジスタを有していない、と規定して発明を構成することができる。または、その回路が、ある特定の接続構造をとっている容量素子を有していない、と規定して発明を構成することができる。例えば、ゲートが第３のトランジスタのゲートと接続されている第６のトランジスタを有していない、と発明を規定することが可能である。または、例えば、第１の電極が第３のトランジスタのゲートと接続されている容量素子を有していない、と発明を規定することが可能である。

なお、本明細書等においては、能動素子（トランジスタ、ダイオードなど）、受動素子（容量素子、抵抗素子など）などが有するすべての端子について、その接続先を特定しなくても、当業者であれば、発明の一態様を構成することは可能な場合がある。つまり、接続先を特定しなくても、発明の一態様が明確であると言える。そして、接続先が特定された内容が、本明細書等に記載されている場合、接続先を特定しない発明の一態様が、本明細書等に記載されていると判断することが可能な場合がある。特に、端子の接続先が複数のケース考えられる場合には、その端子の接続先を特定の箇所に限定する必要はない。したがって、能動素子（トランジスタ、ダイオードなど）、受動素子（容量素子、抵抗素子など）などが有する一部の端子についてのみ、その接続先を特定することによって、発明の一態様を構成することが可能な場合がある。

なお、本明細書等においては、ある回路について、少なくとも接続先を特定すれば、当業者であれば、発明を特定することが可能な場合がある。または、ある回路について、少なくとも機能を特定すれば、当業者であれば、発明を特定することが可能な場合がある。つまり、機能を特定すれば、発明の一態様が明確であると言える。そして、機能が特定された発明の一態様が、本明細書等に記載されていると判断することが可能な場合がある。したがって、ある回路について、機能を特定しなくても、接続先を特定すれば、発明の一態様として開示されているものであり、発明の一態様を構成することが可能である。または、ある回路について、接続先を特定しなくても、機能を特定すれば、発明の一態様として開示されているものであり、発明の一態様を構成することが可能である。

なお、本明細書等においては、ある一つの実施の形態において述べる図または文章において、その一部分を取り出して、発明の一態様を構成することは可能である。したがって、ある部分を述べる図または文章が記載されている場合、その一部分の図または文章を取り出した内容も、発明の一態様として開示されているものであり、発明の一態様を構成することが可能であるものとする。そして、その発明の一態様は明確であると言える。そのため、例えば、能動素子（トランジスタ、ダイオードなど）、配線、受動素子（容量素子、抵抗素子など）、導電層、絶縁層、半導体層、有機材料、無機材料、部品、装置、動作方法、製造方法などが単数もしくは複数記載された図面または文章において、その一部分を取り出して、発明の一態様を構成することが可能であるものとする。例えば、Ｎ個（Ｎは整数）の回路素子（トランジスタ、容量素子等）を有して構成される回路図から、Ｍ個（Ｍは整数で、Ｍ＜Ｎ）の回路素子（トランジスタ、容量素子等）を抜き出して、発明の一態様を構成することは可能である。別の例としては、Ｎ個（Ｎは整数）の層を有して構成される断面図から、Ｍ個（Ｍは整数で、Ｍ＜Ｎ）の層を抜き出して、発明の一態様を構成することは可能である。さらに別の例としては、Ｎ個（Ｎは整数）の要素を有して構成されるフローチャートから、Ｍ個（Ｍは整数で、Ｍ＜Ｎ）の要素を抜き出して、発明の一態様を構成することは可能である。さらに別の例としては、「Ａは、Ｂ、Ｃ、Ｄ、Ｅ、または、Ｆを有する」と記載されている文章から、一部の要素を任意に抜き出して、「Ａは、ＢとＥとを有する」、「Ａは、ＥとＦとを有する」、「Ａは、ＣとＥとＦとを有する」、または、「Ａは、ＢとＣとＤとＥとを有する」などの発明の一態様を構成することは可能である。

なお、本明細書等においては、ある一つの実施の形態において述べる図または文章において、少なくとも一つの具体例が記載される場合、その具体例の上位概念を導き出すことは、当業者であれば容易に理解される。したがって、ある一つの実施の形態において述べる図または文章において、少なくとも一つの具体例が記載される場合、その具体例の上位概念も、発明の一態様として開示されているものであり、発明の一態様を構成することが可能である。そして、その発明の一態様は、明確であると言える。

なお、本明細書等においては、少なくとも図に記載した内容（図の中の一部でもよい）は、発明の一態様として開示されているものであり、発明の一態様を構成することが可能である。したがって、ある内容について、図に記載されていれば、文章を用いて述べていなくても、その内容は、発明の一態様として開示されているものであり、発明の一態様を構成することが可能である。同様に、図の一部を取り出した図についても、発明の一態様として開示されているものであり、発明の一態様を構成することが可能である。そして、その発明の一態様は明確であると言える。

本実施例では、本発明の一態様に係るプログラムおよび情報処理装置について図面を用いて説明する。

図１４に示す情報処理装置１９０Ｃを用いて、タッチ位置の計算を行った。

図１４に示す情報処理装置１９０Ｃは、表示部および光検出部を有するモジュール１２０Ｃと、ボード１３０Ｃと、コンピュータ１８０Ｃと、を有する。表示部および光検出部を有するモジュール１２０Ｃは、光検出部１２１と、表示部１２２と、バックライト１２３Ｂと、を有する。ボード１３０Ｃは、記憶部１３１、コントローラ１３３、コントローラ１３４、及び１３５を有する。コンピュータ１８０Ｃは、プロセッサ１００と記憶部１０３とを有する。プロセッサ１００は、実行ユニット１０１と記憶部１０２とを有する。

コントローラ１３３は、光検出部１２１からセンサイメージを取得して、記憶部１３１に取得したセンサイメージを格納する。コントローラ１３４は、記憶部１３１に格納されたセンサイメージを読み出して、コンピュータ１８０Ｃに供給する。コントローラ１３５は、コンピュータ１８０Ｃから、表示画像を取得して、表示部１２２に取得した表示画像を供給する。記憶部１０２は、センサイメージを処理する、本願発明の一態様に係るプログラムが格納されている。実行ユニット１０１は、上記プログラムを実行する。

表示部および光検出部を有するモジュール１２０Ｃの構成について説明する。

評価では、酸化物半導体（好ましくはＩｎ、Ｇａ、及びＺｎを含む酸化物）をチャネル形成領域に含むトランジスタ（以下、酸化物半導体トランジスタとも呼ぶ）を用いたインセル型光学式タッチパネルを用いた。このパネルは、フォトダイオードを有するセルが４副画素ごとに設けられている。このパネルは、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で書き換えを行う、解像度７６８（Ｈ）×１０２４（Ｖ）の６インチの液晶である。

図１１は、表示部および光検出部を有するモジュール１２０Ｃの構成例を示すブロック図である。

図１１に示すモジュール１２０Ｃは、表示選択信号出力回路（ＤＳＥＬＯＵＴ）３０１と、表示データ信号出力回路（ＤＤＯＵＴ）３０２と、リセット信号出力回路（ＲＳＴＯＵＴ）３０３ａと、読み出し選択信号出力回路（ＲＳＥＬＯＵＴ）３０３ｂと、ライトユニット３０４と、７６８×１０２４個の画素（ＰＩＸＥＬ）３０５ｐ及び３８４×５１２個のセル（ＣＥＬＬ）３０５ｃが設けられた領域３０５と、読み出し回路３０６と、データ出力回路３０７と、を具備する。

表示選択信号出力回路３０１と、表示データ信号出力回路３０２と、画素３０５ｐは、表示部１２２が有していても良い。リセット信号出力回路３０３ａと、読み出し選択信号出力回路３０３ｂと、セル３０５ｃは、光検出部１２１が有していても良い。表示部１２２と光検出部１２１とは、互いに重なる領域に設けられている。ライトユニット３０４は、バックライト１２３Ｂに対応する。

表示選択信号出力回路３０１は、複数の表示選択信号を出力する機能を有する。表示データ信号出力回路３０２には、画像信号が入力される。表示データ信号出力回路３０２は、入力された画像信号を元に表示データ信号を生成し、生成した表示データ信号を出力する機能を有する。リセット信号出力回路３０３ａは、リセット信号を出力する機能を有する。読み出し選択信号出力回路３０３ｂは、読み出し選択信号を出力する機能を有する。ライトユニット３０４は、光源として白色ＬＥＤを備え、光源が発光することにより点灯する機能を有する。

画素３０５ｐは、例えば選択用トランジスタ及び液晶素子を備える。液晶素子は、電圧が印加されることにより光の透過率が変化する素子である。選択用トランジスタは、表示選択信号に応じてオン状態又はオフ状態になる。液晶素子は、表示データ信号に応じた表示状態になる機能を有する。

セル３０５ｃは、入射する光の照度に応じた電圧を生成する機能を有する。セル３０５ｃには、リセット信号及び読み出し選択信号が入力される。セル３０５ｃは、リセット信号に従ってリセット状態になる機能を有する。セル３０５ｃは、読み出し選択信号に従ってデータ信号を出力する機能を有する。

読み出し回路３０６は、セル３０５ｃを選択し、選択したセル３０５ｃからデータ信号を読み出す機能を有する。読み出し回路３０６は、読み出されたデータ信号をデータ出力回路３０７に供給する機能を有する。データ出力回路３０７は、入力されたデータ信号を、外部に出力する機能を有する。

図１１に示す表示部および光検出部を有するモジュール１２０Ｃの駆動方法は、センサ入力動作及び表示動作に分けられる。

センサ入力動作では、例えば、ライトユニット３０４が点灯状態あるいは消灯状態になり、セル３０５ｃによりデータ信号を出力して、読み出し回路３０６によりデータ信号を読み出し、データ出力回路３０７において読み出されたデータ信号を出力する。本発明の一態様のプログラムで用いるように、ライトユニット３０４が点灯状態及び消灯状態になり、それぞれの状態のときにセル３０５ｃによりデータ信号を出力してもよい。

表示動作では、例えば、ライトユニット３０４が点灯状態になり、表示選択信号に従って選択用トランジスタがオン状態になる。このとき、液晶素子に表示データ信号に応じた電圧が印加され、液晶素子は、印加される電圧に応じた表示状態になる。その後、表示選択信号に従って選択用トランジスタがオフ状態になる。

図１２に、画素３０５ｐ及びセル３０５ｃの回路構成の一例を示す。図１２では、４つの副画素３０５ｓｐと、１つのセル３０５ｃが示されている。

副画素３０５ｓｐは、液晶素子２２２と、選択用トランジスタ２２３と、容量素子２２４とを有する。選択用トランジスタ２２３のゲートは、走査線ＧＬに接続されて、ソースまたはドレインの一方は信号線ＳＬに、他方は液晶素子２２２に接続されている。容量素子２２４が有する一対の電極は、一方が液晶素子２２２に接続され、他方は配線ＣＯＭに接続されている。

走査線ＧＬには、上記表示選択信号が与えられる。信号線ＳＬには、上記表示データ信号が与えられる。

セル３０５ｃは、フォトダイオード２０２と、トランジスタ２０４と、トランジスタ２０５と、トランジスタ２０６と、を有している。フォトダイオード２０２は、半導体の接合部に光があたると電流が発生する性質を有する光電変換素子である。フォトダイオード２０２の陽極が、配線ＰＲに接続されている。フォトダイオード２０２の陰極が、トランジスタ２０４のソースとドレインの一方に接続されている。トランジスタ２０４のソースとドレインの他方がトランジスタ２０５のゲートに接続されている。トランジスタ２０４のゲートは、配線ＴＸと接続されている。トランジスタ２０５のソースとドレインの一方は、ハイレベルの電源電位ＶＤＤが与えられている配線ＶＲに接続されている。トランジスタ２０５のソースとドレインの他方は、トランジスタ２０６のソースとドレインの一方に接続されている。トランジスタ２０６のソースとドレインの他方は、配線ＯＵＴに接続されている。トランジスタ２０６のゲートは、配線ＳＥに接続されており、配線ＳＥにはトランジスタ２０６のスイッチングを制御する信号の電位が与えられる。

配線ＰＲには、上記リセット信号が与えられる。配線ＳＥには、上記読み出し選択信号が与えられる。

トランジスタ２０５のゲートが接続されているノードＦＤに蓄積される電荷の量によって、配線ＯＵＴに出力する信号の電位が決まる。ノードＦＤにおいて電荷をより確実に保持するために、トランジスタ２０４は、オフ電流の小さいトランジスタを用いることが好ましい。本実施例では、酸化物半導体トランジスタを用いることで、小さいオフ電流を実現している。

セル３０５ｃの動作について説明する。図１３に、セル３０５ｃに与えられる各種電位のタイミングチャートの一例を示す。

図１３に示すタイミングチャートでは、配線ＴＸには、ハイレベルの電位ＨＴＸと、ローレベルの電位ＬＴＸが与えられるものとし、配線ＳＥには、ハイレベルの電位ＨＳＥと、ローレベルの電位ＬＳＥが与えられるものとし、配線ＰＲには、ハイレベルの電位ＨＰＲと、ローレベルの電位ＬＰＲが与えられるものとする。

まず、時刻ｔ１において、配線ＴＸの電位を、電位ＬＴＸから電位ＨＴＸに変化させる。配線ＴＸの電位が電位ＨＴＸになると、トランジスタ２０４はオンになる。なお、時刻ｔ１において、配線ＳＥには電位ＬＳＥが与えられ、配線ＰＲには電位ＬＰＲが与えられている。

次いで、時刻ｔ２において、配線ＰＲの電位を、電位ＬＰＲから電位ＨＰＲに変化させる。また、時刻ｔ２において、配線ＴＸの電位は電位ＨＴＸのままであり、配線ＳＥの電位は電位ＬＳＥのままである。よって、ノードＦＤには配線ＰＲの電位ＨＰＲが与えられるため、ノードＦＤに保持されている電荷の量はリセットされる。

次いで、時刻ｔ３において、配線ＰＲの電位を、電位ＨＰＲから電位ＬＰＲに変化させる。時刻ｔ３の直前まで、ノードＦＤの電位は電位ＨＰＲに保たれているため、配線ＰＲの電位が電位ＬＰＲになると、フォトダイオード２０２に逆方向バイアスの電圧が印加されることになる。そして、フォトダイオード２０２に逆方向バイアスの電圧が印加された状態で、フォトダイオード２０２に光が入射すると、フォトダイオード２０２の陰極から陽極に向かって電流が流れる。上記電流値は、フォトダイオード２０２に入射する光の強度が高いほど高くなり、ノードＦＤからの電荷の流出も大きくなる。よって、ノードＦＤの電位は、光の強度が高いほど変化が大きい。

次いで、時刻ｔ４において、配線ＴＸの電位を電位ＨＴＸから電位ＬＴＸに変化させると、トランジスタ２０４はオフになる。よって、ノードＦＤからフォトダイオード２０２への電荷の移動が止まるため、ノードＦＤの電位が定まる。

次いで、時刻ｔ５において、配線ＳＥの電位を電位ＬＳＥから電位ＨＳＥに変化させると、トランジスタ２０６はオンになる。すると、ノードＦＤの電位に応じて配線ＶＲから配線ＯＵＴへと電荷が移動する。

次いで、時刻ｔ６において、配線ＳＥの電位を電位ＨＳＥから電位ＬＳＥに変化させると、配線ＶＲから配線ＯＵＴへの電荷の移動が停止し、配線ＯＵＴの電位が決定する。この配線ＯＵＴの電位が、セル３０５ｃの出力信号の電位に相当する。

上記一連の動作は、リセット動作、蓄積動作、読み出し動作に分類することができる。すなわち、時刻ｔ２から時刻ｔ３までの動作がリセット動作、時刻ｔ３から時刻ｔ４までの動作が蓄積動作、時刻ｔ５から時刻ｔ６までの動作が読み出し動作に相当する。リセット動作、蓄積動作、読み出し動作を行うことで、センサ入力値を取得することができる。

評価では、フレームごとに２つのセンサイメージを取り込んだ。１つはライトユニットがオンの状態のセンサイメージ、もう１つはライトユニットがオフの状態のセンサイメージである。以下に説明するように、本願発明の一態様に係るプログラムの手順（以下、アルゴリズムとも呼ぶ）に従って、これら２つのセンサイメージは、ホストシステムに送信され、タッチポイント検出のために画像処理された。

図１９は、表示部および光検出部を有するモジュール１２０の模式図を示す。モジュール１２０は１フレームごとに２つのセンサイメージを取得することができる。１つのイメージはライトユニットがオンのときに取得され、もう１つのイメージはライトユニットがオフときに取得される。

全セルで蓄積動作を一斉に行う方式を、グローバルシャッタ方式、セルにおける蓄積動作を、行ごとに順次行う方式を、ローリングシャッタ方式を言う。本評価では、グローバルシャッタ方式を採用した。グローバルシャッタ方式は、ローリングシャッタ方式よりも、全セルにおいて蓄積動作を完了させるまでの期間が短く、高速なセンサイメージの取得が可能である。フレームごとに２つのセンサイメージを取り込む本評価では、特に有効な方式である。さらに、高速で移動する被写体を撮像する場合、ローリングシャッタ方式では歪みの大きい被写体のセンサイメージが取得されるのに対し、グローバルシャッタ方式では、歪みの小さい被写体のセンサイメージを取得することができる。

一方、いずれの方式においても読み出し動作はセルの行ごとに行うため、読み出し期間が開始されるタイミングはセルの行ごとに異なる。このため、グローバルシャッタ方式では、蓄積期間が終了してから、読み出し期間が開始されるまでの期間（電荷保持期間とも呼ぶ）の長さが、セルの行ごとに異なる。このため、セル内のノードＦＤに蓄積されている電荷が時間の経過と共にリークしてしまうと、セルの出力信号の電位が行ごとに異なってしまい、行ごとにその階調数が変化した画像データが得られてしまう場合がある。本実施例では、図１２に示すセル３０５ｃにおいて、トランジスタ２０４として、オフ電流の小さい酸化物半導体トランジスタを用いた。その結果、グローバルシャッタ方式においても、電荷保持期間が異なることに起因する画像データの階調の変化を小さく抑え、撮像された画像の品質を向上させることができた。

評価に用いたアルゴリズムの概要を、図１５に示す。アルゴリズムは、タッチポイントの検知と計算の際に周囲照度とパネル上の画素出力値を考慮している。本実施例では、画素出力値は０から１までの浮動小数点数で表し、１が白表示で０が黒表示を示す。

白画像を映した状態で最も暗いときと最も明るいときに予め撮像した２つの校正用イメージ（以下、暗い校正用イメージと明るい校正用イメージと呼ぶ）を用いて、センサイメージをセルごとに校正する（図１５のブロック３）。セルごとのセンサ入力値は暗い校正用イメージとの差分を求めて、それから暗い校正用イメージと明るい校正用イメージの差分で割ることで、０から１の範囲に収まるように変換される。

黒画像を映した状態で最も暗い条件下で、第三の校正用イメージを予め取得する。ライトユニットオフで撮像したセンサイメージは、センサイメージのオフセットを調整するためにこの校正用イメージとの差分を計算する（図１５のブロック６）。この差分を取ったイメージは照度の見積もりで利用される（図１５のブロック７）。表示画像をグレイスケールに変換し（図１５のブロック５）、見積もった照度と共に、図１５のブロック８（選択的な正規化）に入力される。ブロック８では、校正後のセンサイメージは、この入力に依存して異なる方法で正規化される。

最後に、タッチの輪郭を一般的なブロブ検出方法で判別し（図１５のブロック９）、タッチデータを求める（図１５のブロック１０）。

照度の見積もりについて説明する。照度見積もりの概要を、図１６に示す。誤検出されたセンサ入力値を除外するため、センサイメージにスムージングを掛けた後（図１６のブロック２）、センサ入力の最大値を求める（図１６のブロック３）。この最大値は２つの別々の関数の引数として与えられる。２つの関数は黒表示画像と白表示画像に対応するものである。これらの関数は予め測定しておいたデータに基づいて近似して求めた。これらの関数はセンサ入力値を２つの照度に変換する（図１６のブロック４）。最後に、図１６のブロック３で検出した点（センサ入力が最大となる点）を用いて、表示している画像の画素出力値を調べる。その画素出力値を用いて、図１６のブロック４で得られた２つの照度の加重平均を求める（図１６のブロック６）。

さらに、ユーザがディスプレイを使用しているときに照度を安定させるために、過去の照度を保存しておき、その中で最大値のものを使用した。実験では、照度を０．５秒間隔で取得し、最新の５つ照度を用いた。

図１５のブロック８の処理では、校正後のセンサ入力値ｉｏｎとｉｏｆｆ（前者はライトユニットをオン、後者はライトユニットをオフ）を正規化して、０はフルタッチの状態、１はノータッチの状態とする。表示画像の白い画素に対する処理は単純である。すなわち、１−｜ｉｏｎ−ｉｏｆｆ｜を計算し、それから線形にスケールを変更する。

表示画像の黒い画素では、ライトユニットから光が画素に吸収されるため指で反射するライトユニットの光の量が少ない。そのため照度を考慮することが有効となる。照度が固定パラメータγより大きければ、遮光による差が大きいためｉｏｆｆのみを使用する。他方、照度がγより小さければ、ライトユニットから光の反射が充分に大きいのでｉｏｎのみを使用する。黒い画素上に生じるセンサ入力値はタッチ以外の影を除外するためにコントラストを大きくすることによって鮮明になる。最終的には、黒い画素と白い画素用の２つの正規化された値は、表示画像の画素出力値を用いて加重平均化が為される。

上記アルゴリズムは、ＧＰＵを活用せずとも６０ｆｐｓで動作した。照度の見積もりは、タッチパネル使用時における実際の照度から１５％以上外れることはなかった。

図１７に、上記アルゴリズムを用いた本願発明の一態様に係るプログラムに従って、画像処理を行った結果を示す。つまり、図１７に示すのは、情報処理によって得られたタッチレベルを含むイメージである。図１７（Ａ）は、周囲が明るく白表示画像の場合の結果である。図１７（Ｂ）は、周囲が暗く白表示画像の場合の結果である。図１７（Ｃ）は、周囲が明るく黒表示画像の場合の結果である。図１７（Ｄ）は、周囲が暗く黒表示画像の場合の結果である。図１７（Ｅ）は、明るい状態で表示画像のグレイスケールを変化させて撮像した６つのセンサイメージの画像処理の結果である。

図１７に見られるように、表示画像が白のときは、照度に関わらず鮮明なタッチ領域を判別できる。黒表示画像でも周囲が明るいときはタッチ領域がはっきり確認できる。照度が小さい場合、黒表示画像におけるタッチ領域ははっきりしているが、ノイズがあり模様がみられる。ダイナミックレンジも低くなる。全体的に見て、上記アルゴリズムは白表示画像以外の画像を表示した状態でも動作することから、周囲の光や表示画像を考慮しない場合と比較して、性能を改善することができた。

８通りの明るさについて、図１６に示すアルゴリズムに従って照度を見積もった。図２０は照度の見積もりの結果と、照度計で測定した照度とを示す。黒表示画像の場合と、白画像表示の場合について、それぞれ、照度を見積もった。ここでは、校正用のイメージとして第４の校正用センサイメージも取得しておいて、第１乃至第４の校正用イメージを用いて照度を見積もっている。第４の校正用センサイメージは、黒画像を映した状態で最も明るい条件下で取得したものである。

比較例として、バックライトがオンとオフのときのセンサイメージの差分のみを用いるタッチ検出手法でタッチポイントを検出した。図２１は、比較例のタッチ検出方法のフローチャートを示す。図２２は、ライトユニットがオンとオフそれぞれの一行のセンサ値、およびセンサ値の差分を示す。差分の曲線において、一点鎖線で囲まれているピークは、タッチ部分が存在していることを示唆している。実際のタッチポイントは点線で示している。

図１５に示す本実施例のタッチ検出方法と図２１に示す比較例のタッチ検出方法とにより、１２８点のタッチポイントを検出するテストを行った。両方の手法において、実際のタッチ検出には同じアルゴリズム、静的しきい値法および連結成分法が用いられた。このテストにおいて、本実施例のタッチ検出方法では、第１乃至第４の校正用イメージを用いて照度を見積もっている。

本実施例のアルゴリズムは１０５点の正しいタッチポイントを検出することができた。それに対して比較例では、検出することができた正しいタッチポイントは５８点であった。また、本実施例のアルゴリズムでは、誤って検出したタッチポイントは１８点であったのに対して、比較例では５８点を誤って検出した。この結果は、黒表示画像、白表示画像それぞれに関して、０から１６００ルクスにわたっている１２８点のタッチポイントについてものである。

本実施例で示したように、上記アルゴリズムを用いた本願発明の一態様に係るプログラムは、照度の見積もり値と表示画像とを考慮することで、より安定して、またより正確にタッチデータの計算を行うことができた。

１００ プロセッサ
１０１ 実行ユニット
１０２ 記憶部
１０３ 記憶部
１１０ 情報処理ユニット
１２０Ａ 表示部および光検出部
１２０Ｂ 表示部および光検出部
１２０Ｃ モジュール
１３０ コントローラ
１３０Ｃ ボード
１３１ 記憶部
１３２ 記憶部
１３３ コントローラ
１３４ コントローラ
１３５ コントローラ
１５０ コントローラ
１７０ コントローラ
１８０Ａ 情報処理装置
１８０Ｂ 情報処理装置
１８０Ｃ コンピュータ
１９０Ａ 情報処理装置
１９０Ｂ 情報処理装置
１９０Ｃ 情報処理装置

Claims (4)

1. 第１乃至第４のステップを備え、
   前記第１のステップは、ライトユニットが点灯状態における第１のセンサイメージと、前記ライトユニットが消灯状態における第２のセンサイメージと、を取得するステップを有し、
   前記第２のステップは、
   第１の校正用イメージを用いて前記第１のセンサイメージを校正することで第３のイメージを計算するステップと、
   第２の校正用イメージを用いて前記第２のセンサイメージを校正することで第４のイメージを計算するステップと、を有し、
   前記第３のステップは、
   前記第３および前記第４のイメージの差分を取ることで、第１１のイメージを計算するステップと、
   前記第１１のイメージを規格化することで、第５のイメージを計算するステップと、
   前記第３のイメージを規格化することで、第６のイメージを計算するステップと、
   前記第４のイメージを規格化することで、第７のイメージを計算するステップと、
   照度に従って前記第６および前記第７のイメージの加重平均をとることで、第９のイメージを計算するステップと、
   表示画像を取得するステップと、
   前記表示画像をグレイスケールに変換することで、第１の画像を計算するステップと、
   前記第１の画像に従って前記第５および前記第９のイメージの加重平均をとることで、第１０のイメージを計算するステップと、を有し、
   前記第４のステップは、前記第１０のイメージを用いて、タッチデータを計算するステップを有することを特徴とするプログラム。
2. 第１乃至第４のステップを備え、
   前記第１のステップは、ライトユニットが点灯状態における第１のセンサイメージと、前記ライトユニットが消灯状態における第２のセンサイメージと、を取得するステップを有し、
   前記第２のステップは、
   第１の校正用イメージを用いて前記第１のセンサイメージを校正することで第３のイメージを計算するステップと、
   第２の校正用イメージを用いて前記第２のセンサイメージを校正することで第４のイメージを計算するステップと、を有し、
   前記第３のステップは、
   前記第３および前記第４のイメージの差分を取ることで、第１１のイメージを計算するステップと、
   前記第１１のイメージを規格化することで、第５のイメージを計算するステップと、
   前記第３のイメージを規格化することで、第６のイメージを計算するステップと、
   前記第４のイメージを規格化することで、第７のイメージを計算するステップと、
   照度がしきい値となる照度より小さい場合には、前記第６および前記第７のイメージの重みはそれぞれ１および０であり、それ以外の場合には、前記第６および前記第７のイメージの重みはそれぞれ０および１であるとして、前記第６および前記第７のイメージの加重平均をとることで、第９のイメージを計算するステップと、
   表示画像を取得するステップと、
   前記表示画像をグレイスケールに変換することで、第１の画像を計算するステップと、
   前記第１の画像の値に従って、白表示部では前記第５および前記第９のイメージの重みはそれぞれ１および０であり、黒表示部では前記第５および前記第９のイメージの重みはそれぞれ０および１となるように、加重平均をとることで、第１０のイメージを計算するステップと、を有し、
   前記第４のステップは、前記第１０のイメージを用いて、タッチデータを計算するステップを有することを特徴とするプログラム。
3. 請求項１又は請求項２に記載のプログラムを格納した記憶部と、
   実行ユニットと、を有し、
   前記実行ユニットは前記プログラムを実行する情報処理装置。
4. 請求項１又は請求項２に記載のプログラムを格納した記憶部と、
   光学式タッチパネルと、を有する情報処理装置。