JP5619521B2

JP5619521B2 - タッチセンサ

Info

Publication number: JP5619521B2
Application number: JP2010183770A
Authority: JP
Inventors: 宗広上妻
Original assignee: Semiconductor Energy Laboratory Co Ltd
Current assignee: Semiconductor Energy Laboratory Co Ltd
Priority date: 2009-08-24
Filing date: 2010-08-19
Publication date: 2014-11-05
Anticipated expiration: 2030-08-19
Also published as: US20110043473A1; US9542022B2; JP2016095886A; TW201115437A; TWI498786B; KR20110020742A; JP2015015043A; KR101761543B1; JP6088081B2; JP2011070658A; CN101996006B; CN101996006A

Description

技術分野は、タッチセンサに関する。またタッチセンサを表示部に備えたタッチパネル、及びタッチパネルを有する表示装置に関する。

近年、液晶ディスプレイやＥＬ（エレクトロルミネセンス）ディスプレイの市場が大きくなったことで、パネルに対する付加価値の重要性が増してきている。中でもユーザーインターフェースとしてタッチセンサを表示部に備えたタッチパネルが注目され、携帯型ゲーム等のモバイル機器への導入が進んでいる。

また、指紋認証装置等の表示部を必須としない装置にも、タッチセンサを搭載し、本人認証を行う技術が提案されている。

例えばタッチパネルにおいては、表示部の画素内にフォトセンサを配置し、表示画面への入射光をフォトセンサで検出することにより、情報の入力を可能にしたものが開発されている（例えば特許文献１）。

この種のフォトセンサを備えたタッチパネルでは、画素内にフォトセンサとして例えばフォトダイオードを配置し、表示画面上に投影された指や物体等の影による光量の変化をフォトダイオードで検出する技術や、ライトペンなどの発光する物体からの光照射による光量の変化をフォトダイオードで検出する技術が提案されている。

特開２００４−３１８８１９号公報

タッチセンサ、タッチパネル、及びそれらを用いた装置において、入力の検出を正確に行い誤動作を防止することを目的の一とする。

また、入力の検出に要する時間を短縮することを目的の一とする。

タッチセンサの一態様は、フォトセンサを備えた入力部を有し、入力部に対象物が接触した際、対象物の色が変化することを利用して、タッチセンサへの入力を検出することを特徴とする。

検出原理は、例えば対象物を人の指とした場合、入力部への接触に伴い、接触した部分の指の色が、個人差はあるが、接触前の赤色からピンク色もしくは白色に変化することを利用するものである。

具体的には、フォトセンサにおいて指の画像を生成し、生成した画像の色情報を画像処理によって分析することで接触部分の面積を算出し、その面積情報に基づいてタッチセンサへの入力を検出するものである。

上記タッチセンサは、入力部をタッチパネルとすることで、表示装置に応用することもできる。

本発明の一態様は、複数の画素にフォトセンサを有するタッチパネルと、画像処理部とを有し、フォトセンサは、タッチパネルと対象物との接触画像を生成し、画像処理部は、接触画像の色情報から接触部分の面積を算出し、面積に基づいてタッチパネルへの入力を検出する表示装置である。接触画像は、タッチパネルと対象物との接触後の画像を指す。

また、本発明の他の一態様は、複数の画素にフォトセンサを有するタッチパネルと、入力処理部と応答処理部とを備える画像処理部とを有し、フォトセンサは、タッチパネルと対象物との接触画像を生成し、入力処理部は、接触画像の色情報から接触部分の面積を算出し、応答処理部は、面積に基づいてタッチパネルへの入力を検出する表示装置である。

また、本発明の他の一態様は、複数の画素にフォトセンサを有するタッチパネルと、入力処理部と応答処理部とを備える画像処理部とを有し、フォトセンサは、タッチパネルと対象物との接触画像を生成し、入力処理部は、接触画像の色情報に対して、ＲＧＢ値からＨＳＶ値への変換処理と、二値化処理と、ノイズ除去処理（ノイズフィルタ処理ともいう）と、ラベリング処理とを行い接触部分の面積を算出し、応答処理部は、面積に基づいてタッチパネルへの入力を検出する表示装置である。

また、面積に対してしきい値を設定し、面積としきい値との比較により、タッチパネルへの入力を検出してもよい。面積がしきい値を超えた場合に入力が行われたと判定され、面積がしきい値以下の場合に非入力であると判定される。しきい値以上の場合に入力が行われたと判定し、しきい値未満の場合に非入力であると判定してもよい。

また、面積に対して複数のしきい値を設定し、面積としきい値との比較により、タッチパネルへの入力の検出を多段階で行ってもよい。

なお、画像処理の他の態様として、タッチパネルと対象物との接触前後の画像について、色情報の変化量を分析することで接触部分の面積を算出する構成としてもよい。

タッチセンサ、タッチパネル、それらを用いた装置において、入力の検出を正確に行い誤動作を防止することができる。

また、画像処理を効率よく行い、入力の検出に要する時間を短縮することができる。

タッチパネルの構成を説明する図。タッチパネルの構成を説明する図。タッチパネルの構成を説明する図。タイミングチャート。タッチパネルの断面図。タッチパネルの断面図。タッチパネルの断面図。画像処理を説明する図。画像処理を説明する図。画像処理を説明する図。画像処理を説明する図。電子機器を説明する図。電子機器を説明する図。

実施の形態について、図面を参照して以下に説明する。ただし、本発明は以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなく形態及び詳細を様々に変更し得ることは、当業者であれば容易に理解される。従って、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。

（実施の形態１）
実施の形態１では、図１を用いて、タッチパネルを有する表示装置とその動作を説明する。

図１は、タッチパネルを有する表示装置のブロック図の一例である。

表示装置１１１は、タッチパネル１００、入力処理部１１３と応答処理部１１４を有する画像処理部１１２、及び画像合成部１１５を備えている。ここで示した表示装置の構成は一例であり、これに限定されない。

タッチパネル１００は、マトリクス状に配置された複数の画素１０４を有し、各画素１０４には表示素子１０５及びフォトセンサ１０６が配置されている。フォトセンサ１０６は、フォトダイオード等の受光素子である。なお、フォトセンサ１０６は、画素１０４の外に設けてもよい。また、フォトセンサ１０６の個数は、表示素子１０５の個数と異なっていてもよい。

本実施の形態では、タッチパネル１００へ接触する対象物が人の指の場合を例に説明するが、人の指に限定されるものではない。

タッチパネル１００に指が触れる際、各画素１０４に設けられたフォトセンサ１０６によりタッチパネル１００を走査して、受け取った光を電気信号に変換し、タッチパネル１００と指との接触画像を生成する。生成された接触画像は画像処理部１１２の入力処理部１１３に入力される。なお、フォトセンサ１０６が受け取る光は、表示装置の内部（バックライト等）から発せられ対象物で反射されたもの、外光等が対象物によって反射されたもの、対象物自体から発せられたもの、又は、外光等が対象物に遮られたものなどである。

入力処理部１１３は、入力された接触画像の色を判別し、接触画像の色情報から接触部分の面積を算出する。算出された面積は、応答処理部１１４に送信される。面積と入力圧が比例関係にあることから、面積に基づいて容易に入力を検出することが可能である。後の処理において、面積から算出した入力圧を利用してもよく、その場合は入力圧を算出する回路を設ければよい。

応答処理部１１４は、算出された面積が所定のしきい値を超える場合には入力が行われたと判定し、しきい値以下の場合には非入力であると判定する。なお、応答処理部１１４は、自動でしきい値を設定する機能を有していてもよい。

入力が行われたと判定された場合、応答処理部１１４は、入力が行われたことを示す応答画像を生成し、画像合成部１１５に出力する。

画像合成部１１５は、応答画像と、タッチパネル１００に表示されていた画像とを重ね合わせ合成画像を生成し、タッチパネル１００に出力する。

そしてタッチパネル１００は、合成画像を表示し、入力が行われたことを伝達する。必ずしも応答画像、合成画像を生成する必要はなく、音声やランプ等により入力・非入力を伝達してもよい。また、合成画像を生成せず応答画像のみをタッチパネル１００に出力してもよい。応答画像、合成画像を生成しない場合は、画像合成部１１５を設けなくても良い。

また、応答処理部１１４において、非入力であると判定された場合、非入力であることを伝達する処理を行ってもよい。

以上のように本実施の形態のタッチパネルは、フォトセンサ及び画像処理により入力を正確に判定することができ、誤動作を防止することができる。

また、本実施の形態ではタッチパネルについて説明したが、表示を行わない構成としてもよい。その場合、フォトセンサを有するタッチセンサを入力部に設け、本実施の形態で説明した画像処理部の分析により入力の検出を行う。

本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。

（実施の形態２）
本実施の形態では、画像処理及び応答処理の一例について図１、図８〜１１を用いて説明する。対象物の画像を生成する段階までは、実施の形態１と同様であるのでここでは省略する。本実施の形態では対象物を指とし、タッチパネルへの接触後の指画像についての処理を行う。ただし、対象物は指に限定されない。

生成された画像は、図１における画像処理部１１２の入力処理部１１３において処理される。入力処理部１１３のブロック図の一例を図８に示す。

入力処理部１１３では、タッチパネル１００から画像が入力され、ＨＳＶ変換処理８０１、二値化処理８０２、ノイズフィルタ処理８０３、ラベリング処理８０４、面積・位置情報算出処理８０５、特徴量抽出処理８０６を行い、応答処理部１１４に出力される。以下、各処理の詳細について説明する。

まず、ＨＳＶ変換処理８０１を行う。入力された画像についてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の成分の輝度値を抽出する。

そして、抽出されたＲＧＢの色情報を、色相（Ｈ：Ｈｕｅ）、彩度（Ｓ：Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖ：Ｖａｌｕｅ）の３つの成分から成るＨＳＶを基準とした色情報に変換する。色相（０以上３６０未満の実数）は色の種類、彩度（０以上１以下の実数）は色の鮮やかさ、明度（０以上１以下の実数）は色の明るさを表す、ＨＳＶを基準とすることで、画像の色合いを検出することができるため、ＲＧＢより正確な入力の検出を行うことができる。ただし、ＨＳＶへの変換を行わずにＲＧＢのまま画像処理を行うことや、またＨＳＶ以外のフォーマットに変換して画像処理を行うことも可能である。

ＲＧＢからＨＳＶへの変換は、以下のようにして行われる。

抽出されたＲＧＢの輝度値が（Ｒ、Ｇ、Ｂ）で表わされ、そのうち最大値：ＭＡＸ、最小値：ＭＩＮであるとする（Ｒ、Ｇ、Ｂはそれぞれ０以上１以下の実数とする）。

ＭＡＸ＝Ｒの時は、（式１）：Ｈ＝６０×（Ｇ‐Ｂ）／（ＭＡＸ‐ＭＩＮ）＋０で算出される。

またＭＡＸ＝Ｇの時は、（式２）：Ｈ＝６０×（Ｂ‐Ｒ）／（ＭＡＸ‐ＭＩＮ）＋１２０で算出される。

そしてＭＡＸ＝Ｂの時は、（式３）：Ｈ＝６０×（Ｒ‐Ｇ）／（ＭＡＸ‐ＭＩＮ）＋２４０で算出される。

また、（式４）：Ｓ＝（ＭＡＸ‐ＭＩＮ）／ＭＡＸであり、（式５）：Ｖ＝ＭＡＸである。

なお、Ｈが負の値を取る場合は、Ｈ＋３６０として算出する。

一例として、（Ｒ、Ｇ、Ｂ）＝（１、０、０）で表現される赤色の場合は、ＭＡＸ＝Ｒ＝１、ＭＩＮ＝０であり（式１）が適用され、Ｈ＝６０×（０‐０）／（１‐０）＋０＝０となる。また、（式４）よりＳ＝（１‐０）／１＝１であり、（式５）よりＶ＝１となる。すなわち、（Ｈ、Ｓ、Ｖ）＝（０、１、１）に変換される。この値より、赤色の中でも最も鮮やか且つ最も明るい色合いを有していることが分かる。

別の例として、（Ｒ、Ｇ、Ｂ）＝（１、１、０）で表現される黄色の場合は、ＭＡＸ＝ＲｏｒＧ＝１、ＭＩＮ＝０でり（式１）又は（式２）が適用される。（式１）を適用する場合はＨ＝６０×（１‐０）／（１‐０）＋０＝６０、（式２）を適用する場合はＨ＝６０×（０‐１）／（１‐０）＋１２０＝６０であり、いずれも同じ値となる。また（式４）よりＳ＝（１‐０）／１＝１であり、（式５）よりＶ＝１となる。すなわち、（Ｈ、Ｓ、Ｖ）＝（６０、１、１）に変換される。

本実施の形態では、このようなＲＧＢからＨＳＶへの色情報の変換を行い、ＨＳＶ値を用いて画像処理を行う。

以降の処理では、Ｈは０から３５９までの整数値を取る。

また、Ｓ、Ｖは変換時に０から１までの実数で表現されるが、データの取扱いを容易にするため、数値範囲を２５５倍することで、Ｓ、Ｖの取り得る値を新たに０から２５５までの整数値と定義する。

ただし、整数値の定義で最大値を２５５に限る必要はない。また、再定義をしなくても処理は可能である。

次に、ＨＳＶ値に変換された画像は、二値化処理８０２が行われる。

二値化処理８０２は、ＨＳＶ値にしきい値条件を設定した上で、各画素のＨＳＶ値をしきい値よって二分する処理であり、画像内の全ての画素について、画素単位で実施される。

具体的には、しきい値によって二分された各画素のＨＳＶ値は、１ビット（０または１）の二値変数で表される。

例えば、二値変数が１の場合はＨＳＶ値がしきい値条件を満たすことを表し、二値変数が０の場合にはＨＳＶ値がしきい値条件を満たさないことを表す。なお、二値変数の表現は０と１を入れ換えてもよい。

具体的に、二値化処理は色相Ｈ、彩度Ｓ、明度Ｖの各成分を条件値として用いて実行される。

色相Ｈ、彩度Ｓ、明度Ｖの各しきい値を設定することで、抽出したい領域を限定する。

各しきい値は、認識すべき対象物のみを抽出できる値に設定することが好ましい。

まず、色相Ｈは色の種類を表すため、対象物の色が特定の色であれば、特定の色のみを抽出できる条件を色相Ｈのしきい値で選択すればよい。

ただし、特に色の限定がなければ、色相Ｈのしきい値を設定する必要はない。

また、彩度Ｓは色の鮮やかさを表すため、対象物の鮮やかさが特定の鮮やかさであれば、特定の鮮やかさのみを抽出できる条件を彩度Ｓのしきい値で選択すればよい。

ただし、特に鮮やかさの限定がなければ、彩度Ｓのしきい値を設定する必要はない。

また、明度Ｖは色の明るさを表すため、対象物の明るさが特定の明るさであれば、特定の明るさのみを抽出できる条件を明度Ｖのしきい値で選択すればよい。

ただし、特に明るさの限定がなければ、明度Ｖのしきい値を設定する必要はない。

指の色相Ｈは、およそ０から３０の赤色の範囲に含まれるので、赤色を抽出するしきい値を設定する。

指の彩度Ｓは、周辺光の明るさに依存してフォトセンサが生成する指の画像も変化するため、周辺光の影響を受ける。そのため、周辺光の強度に応じてしきい値を設定する。

同様に指の明度Ｖは、周辺光の明るさに依存してフォトセンサが生成する指の画像も変化するため、周辺光の影響を受ける。そのため、周辺光の強度に応じてしきい値を設定する。

各しきい値の範囲は、画像全体のＨＳＶ各種のヒストグラムを利用し、ヒストグラムの画素値の分布の傾向から自動に設定することも可能である。

以降の二値化処理の説明では、二値変数は、しきい値の条件を満たす場合に１とし、しきい値に満たない場合０とする。

一例として、画像内の画素値が色相Ｈ＞２００、彩度Ｓ＞１５０、明度Ｖ＞１００である領域を残す場合を図９に示す。

図９（Ａ）は、画像の一部であり、各画素の色相Ｈ、彩度Ｓ、明度Ｖの値を表記している。

そして図９（Ｂ）は、図９（Ａ）に示す画像を、しきい値の条件である色相Ｈ＞２００、彩度Ｓ＞１５０、明度Ｖ＞１００に従って二値変数に変換した値を表記している。

例えば、図９（Ａ）において画素９０１は（Ｈ、Ｓ、Ｖ）＝（２５０、２００、２００）であり、しきい値の条件である色相Ｈ＞２００、彩度Ｓ＞１５０、明度Ｖ＞１００を満たしているため、図９（Ｂ）における処理後の画素９０１の二値変数は１となる。

一方、画素９０２は（Ｈ、Ｓ、Ｖ）＝（２５０、５０、３４）であり、条件を満たしていないため、処理後の画素９０２の二値変数は０となる。

同様に、全ての画素について二値化処理を行う。ここではＨ、Ｓ、Ｖの全てについてしきい値を設定したが、２つ以下としてもよい。

図９に示すように、二値化処理を行うことで、画像処理に必要となる色情報を１ビットに圧縮し、データ量を大幅に削減することが可能になる。

また、データ量の削減によって、以降の画像処理回路の規模が削減することができる。

次に、二値化処理された画像は、ノイズフィルタ処理８０３が行われる（図８）。

ノイズフィルタ処理は、画像内に含まれるノイズ画像を取り除く動作であり、画像内の全ての画素に対して、画素単位で実施される。

そして、メディアンフィルタ処理の結果は、対象となる画素及びその近傍の複数の画素を用い、各画素値の分布から算出される。

ここでは一般的にメディアンフィルタと呼ばれるノイズフィルタ処理を用いる。

以下に、メディアンフィルタの動作を図１０を用いて説明する。

図１０（Ａ）に示す画素値を持つ画像に対して、メディアンフィルタで処理した結果を図１０（Ｂ）に示す。

まず、メディアンフィルタの最初のステップとして、対象となる画素を中心に３×３の領域内の画素の値が入力される。３×３の領域に限定されず５×５等としてもよい。

そして次のステップとして、３×３の領域内の９つの画素の入力値をソート処理によって昇順又は降順にし、並べ替えた９つの入力値の中央値を処理結果として出力する。

例えば、図１０（Ａ）の画素１００１に対してメディアンフィルタの処理を行う。画素１００１を中心とした３×３の領域１００２に存在する画素の数値は、｛０、１、１、１、１、０、１、１、０｝であり、昇順に並べ替えると｛０、０、０、１、１、１、１、１、１｝となる。昇順の結果から中央値は１であるため、図１０（Ｂ）に示すように、処理後の画素１００１の数値は１となる。

また、図１０（Ａ）の画素１００３に対してメディアンフィルタの処理を行う。画素１００３を中心とした３×３の領域１００４に存在する数値は、｛０、０、１、１、１、０、０、０、０｝であり、昇順に並べ替えると、｛０、０、０、０、０、０、１、１、１｝となる。昇順の結果から中央値は０であるため、図１０（Ｂ）に示すように、処理後の画素１００３の数値は０となる。

同様にして、各画素について処理を行う。必ずしも入力値の中央値を出力する必要はなく、４番目又は６番目の値を出力し、フィルタ処理の精度を調整してもよい。

なお、図１０（Ａ）において外周に位置する画素は、メディアンフィルタに必要な３×３の領域が存在しないため、処理は行われず、そのままのデータが出力される。外周に位置する画素は、例えば、図１０（Ａ）の１列目、６列目、１行目、６行目にある画素（２０画素分）である。

メディアンフィルタは、小さなノイズの除去に特に有効である。

また、孤立したノイズは後のラベリング処理の対象となるため、メディアンフィルタによりノイズを除去することでラベリング処理の回数を軽減することが可能である。

ノイズフィルタ処理は、メディアンフィルタ以外にも複数の処理方法があり、他の処理方法を適用しても良い。

次に、ノイズフィルタ処理を行った画像に対して、ラベリング処理を行う。

ラベリング処理は、画像内の一部分の領域をグループ化する手法として用いられる。グループ化することで、後の処理をグループ単位で行うことができる。

本実施の形態では、ラベリング処理は、任意の位置にある画素に対し、該画素と該画素の近傍の複数の画素について画素の値を比較し、画素データが同一である画素に同一のラベル値（領域番号）を付ける動作であり、画像内の全ての画素について、画素単位で実施される。

ラベリング処理の対象となる画像は、二値変数で構成されており、０または１で表現される。

まず、二値変数が０の画素は、ラベル値を０とし、グループ化は行わない。

一方、二値変数が１の画素は、ラベル値１以上の整数値を付与し、同じラベル値同士の画素をグループ化する。

二値変数が１の画素にラベル値を付与する条件は以下の３点が上げられる。

第１の条件として、隣接画素が存在しない、もしくは隣接画素のラベル値が０、もしくは隣接画素のラベル値が付与されていない場合に、新たにラベル値が付与する。

第２の条件として、ラベル値が付与されておらず、かつ、隣接画素のいずれか１つに１以上のラベル値が付与されている場合は、当該隣接画素と同じラベル値を付与する。

第３の条件として、隣接画素同士が少なくとも２つの異なるラベル値を持つ場合、最小のラベル値と同じ値を付与する。

ここで隣接画素とは、１つ画素と接する八方向の画素を表す。

ラベリング処理の具体的な動作について図１１を用いて説明する。

図１１（Ａ）は、ラベリング処理前の画像であり、各画素は二値変数で表現されている。

図１１（Ａ）の画像の左上から画素を走査し、一画素ずつラベル値を付与する。図１１（Ｂ）はラベリング処理後の画像である。ラベリング処理の過程を示す図は省略する。

まず、画素１１０１は、二値変数が０である。そのためラベル値は０とする。この後の二値変数が０の画素の処理ついては、同様にラベル値は０とする。

次に、画素１１０２は、二値変数が１である。画素１１０２を処理する際には、隣接画素がラベル値０、または付与されていないので、上記の第１の条件に従い、新たにラベル値１が付与される。

次に、画素１１０２の右に隣接する画素１１０３は、二値変数が１である。画素１１０３を処理する際には、画素１１０３の隣接画素は、画素１１０２がラベル値１を持ち、その他の隣接画素がラベル値０、または付与されていない。すなわち、画素１１０３は、１以上のラベル値が付与されている画素１１０２が隣接しているため、上記の第２の条件に従い、画素１１０２のラベル値と同じラベル値１が割り当てられる。

同様にして画素群１１０４の各画素についてラベル値１が割り当てられる。

また、図１１（Ａ）において、二値変数が１の画素１１０５は、隣接画素がラベル値は０、または付与されていないので、上記の第１の条件に従い、新たにラベル値が付与される。ここで、既に画素群１１０４の各画素にラベル値１が付与されているため、画素１１０５はラベル値２が付与される。

同様にして、画素群１１０６の各画素についてラベル値２が付与される。

更に画素群１１０７の各画素についても、同様の方法によって、ラベル値３が付与される。

以上のように、ラベル値が付与されることで、同じラベル値同士の画素をグループ化することできる。グループ化することで、後の処理は、ラベル値の指定により領域の選択を行うことができ、画像の分離や部分的な合成等の画像の加工が非常に容易になる。

次に、ラベル値を付与した画像に対して、面積・位置情報算出処理８０５を行う（図８）。

面積情報は、同じラベル値を持つ画素数をカウントすることで得られる。また位置情報は、面積の重心位置であるので、同じラベル値を持つ画素の座標位置と、同じラベル値を持つ画素の面積から算出できる。

また面積情報は、認識すべき画像か、不要な画像かを判別するために有効に機能する。不要な画像としては、画像処理の過程でノイズになる画像の一部または全部があげられる。ノイズは、認識すべき画像より面積が小さいという特徴を持っているため、面積にしきい値を設定し、しきい値を超える面積を持つものを選択することで、ノイズを除去することができる。

次に、ラベル値を付与した画像に対して、特徴量抽出処理を行っても良い。

特徴量とは、例えば円形度など、数値で表現可能な画像の特徴のことである。

更に、円形度は画像がどれだけ円に近いかを数値で表現したものである。

例えば、指でパネル表面を押す場合、指の接触部分は円形に近い形状となる。

円形度をしきい値として画像に与えることで、指の検出精度の向上が図れる。

面積のしきい値条件と共に、特徴量のしきい値条件を設定することで、検出精度を高めることが可能である。

ただし、特徴量抽出処理は行わなくてよく、その場合、面積情報及び位置情報が出力される。

入力処理部１１３は、得られた画像の面積情報及び位置情報を応答処理部１１４へと出力する（図１、図８）。

応答処理部１１４は、面積情報、位置情報に基づき入力の判定を行い、結果をタッチパネル１００にフィードバックする機能を有する。

応答処理の例として、誤入力防止機能について説明する。

誤入力防止機能は、意図せずにタッチパネルに触れた場合に非入力であると判定する機能である。

意図せずにタッチパネルに接触した場合は、指を押し付ける動作ではなく、指を触れる動作であるため、検出される指の面積は小さい値となる。

そのため、面積にしきい値を設け、面積としきい値との比較によって、指を押しつける動作であるか、意図せず指を触れる動作であるかを判定することができる。

例として、図１１（Ｂ）の面積情報から入力を判定する場合について説明する。

図１１（Ｂ）において、画素群１１０４の位置に指を押しつける動作があり、画素群１１０６及び画素群１１０７の位置に意図せず指を触れる動作があったとする。

画素群１１０４の面積は１２、画素群１１０６の面積は４、画素群１１０７の面積は９であるため、例えば、面積のしきい値を１０と設定しておき、各面積としきい値を比較する。

画素群１１０４の面積はしきい値を超えるため、指を押しつける動作であると判定することができる。そして、画素群１１０６及び画素群１１０７の面積はしきい値以下であるため、意図せず指を触れる動作であると判定することができる。

したがって、指を押しつける動作の場合に入力があり、意図せず指を触れた動作の場合には非入力であると判定することが可能である。

また、図１１（Ｂ）において、しきい値を８にした場合は、画素群１１０４及び画素群１１０７の２点に入力があり、画素群１１０６は非入力と判定される。これを応用すれば入力箇所が複数の場合についても入力の検出が可能となり、タッチパネルの機能を向上させることができる。

更に、面積に対して複数のしきい値を設定し、面積としきい値との比較により、タッチパネルへの入力の検出を多段階で行ってもよい。

例えば、第１及び第２の二つのしきい値を設定した時は、面積が第１のしきい値以下の場合に非入力であると判定され、第１のしきい値を超え且つ第２のしきい値以下の場合に弱い入力が行われたと判定され、第２のしきい値を超えた場合に強い入力が行われたと判定する。

このように複数のしきい値を設定し、多段階に検出を行うことで、入力の検出をより精度良く行うことができる。

この多段階の検出を図１１（Ｂ）の面積情報に応用し、第１のしきい値を８、第２のしきい値を１０とした場合、画素群１１０４及び画素群１１０７の２点の入力を検出するだけでなく、入力の強弱についても検出することができ、タッチパネルの機能を更に向上させることが可能である。

応答処理部１１４は、応答画像をパネルに表示するために入力処理部１１３で得られた情報に基づき応答画像を生成する。

例えば、位置情報に基づいて指が触れた場所に○印を表示する処理が挙げられる。

また、スイッチ画像を表示しておき、スイッチ画像の位置に指の位置情報が得られた場合、スイッチを押下したものとみなすことができる。タッチパネル１００にてスイッチ切り替えが可能となる。

画像合成部１１５は、タッチパネル１００に表示される画像と、応答処理部１１４で生成された応答画像を重ね合わせた合成画像を生成する機能を持つ。

画像合成部１１５から出力された合成画像はタッチパネル１００に入力され、合成画像が表示される。

なお、必ずしも応答画像を生成する必要はなく、音声やランプ等により入力・非入力を伝達してもよい。応答画像を生成しない場合は、画像合成部１１５を設けなくても良い。

（実施の形態３）
次に、タッチパネルの詳細な回路構成について、その一例を図１〜図４を参照して説明する。

図１において、タッチパネル１００は、画素回路１０１、表示素子制御回路１０２及びフォトセンサ制御回路１０３を有する。画素回路１０１は、行列方向にマトリクス状に配置された複数の画素１０４を有する。各々の画素１０４は、表示素子１０５とフォトセンサ１０６を有する。

表示素子１０５は、薄膜トランジスタ（ＴｈｉｎＦｉｌｍＴｒａｎｓｉｓｔｏｒ：ＴＦＴ）、保持容量、液晶層を有する液晶素子などを有する。薄膜トランジスタは、保持容量への電荷を注入もしくは排出を制御する機能を有する。保持容量は、液晶層に印加する電圧に相当する電荷を保持する機能を有する。液晶層に電圧を印加することで偏光方向が変化することを利用して、液晶層を透過する光の明暗（階調）を作ることで、画像表示が実現される。液晶層を透過する光には、光源（バックライト）によって液晶表示装置の裏面から照射される光を用いる。

なお、カラー画像表示を行うには、例えば、カラーフィルタを用いる方式、所謂、カラーフィルタ方式を用いれば良い。これは、液晶層を透過した光がカラーフィルタを通過することで、特定の色（例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ））の階調を作ることができる。ここで、カラーフィルタ方式を用いる際に、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかの色を発光する機能を有する画素１０４を、各々、Ｒ画素、Ｇ画素、Ｂ画素と呼ぶことにする。

なお、表示素子１０５が液晶素子を有する場合について説明したが、発光素子などの他の素子を有していてもよい。発光素子は、電流または電圧によって輝度が制御される素子であり、具体的には発光ダイオード、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）等が挙げられる。

フォトセンサ１０６は、フォトダイオードなど、受光することで電気信号を発する機能を有する素子と、薄膜トランジスタとを有する。なお、フォトセンサ１０６は、バックライトからの光が指等の対象物に照射された際の反射光を受光し、対象物の画像を生成する。

表示素子制御回路１０２は、表示素子１０５を制御するための回路であり、ビデオデータ信号線などの信号線（「ソース信号線」ともいう。）を介して表示素子１０５に信号を入力する表示素子駆動回路１０７と、走査線（「ゲート信号線」ともいう。）を介して表示素子１０５に信号を入力する表示素子駆動回路１０８を有する。例えば、走査線側の表示素子駆動回路１０８は、特定の行に配置された画素が有する表示素子を選択する機能を有する。また、信号線側の表示素子駆動回路１０７は、選択された行の画素が有する表示素子に任意の電位を与える機能を有する。なお、走査線側の表示素子駆動回路１０８により高電位を印加された表示素子では、薄膜トランジスタが導通状態となり、信号線側の表示素子駆動回路１０７により与えられる電荷が供給される。

フォトセンサ制御回路１０３は、フォトセンサ１０６を制御するための回路であり、フォトセンサ出力信号線、フォトセンサ基準信号線等の信号線側のフォトセンサ読み出し回路１０９と、走査線側のフォトセンサ駆動回路１１０を有する。例えば、走査線側のフォトセンサ駆動回路１１０は、特定の行に配置された画素が有するフォトセンサ１０６を選択する機能を有する。また、信号線側のフォトセンサ読み出し回路１０９は、選択された行の画素が有するフォトセンサ１０６の出力信号を取り出す機能を有する。なお、信号線側のフォトセンサ読み出し回路１０９は、アナログ信号であるフォトセンサの出力を、ＯＰアンプを用いてアナログ信号のままタッチパネル外部に取り出す構成や、Ａ／Ｄ変換回路を用いてデジタル信号に変換してからタッチパネル外部に取り出す構成が考え得る。

画素１０４の回路図について、図２を用いて説明する。画素１０４は、トランジスタ２０１、保持容量２０２及び液晶素子２０３を有する表示素子１０５と、フォトダイオード２０４、トランジスタ２０５及びトランジスタ２０６を有するフォトセンサ１０６とを有する。

トランジスタ２０１は、ゲートがゲート信号線２０７に、ソース又はドレインの一方がビデオデータ信号線２１０に、ソース又はドレインの他方が保持容量２０２の一方の電極と液晶素子２０３の一方の電極に電気的に接続されている。保持容量２０２の他方の電極と液晶素子２０３の他方の電極は一定の電位に保たれている。液晶素子２０３は、一対の電極と、該一対の電極の間に液晶層を含む素子である。

トランジスタ２０１は、ゲート信号線２０７に”Ｈｉｇｈ”（高電位）が印加されると、ビデオデータ信号線２１０の電位を保持容量２０２と液晶素子２０３に印加する。保持容量２０２は、印加された電位を保持する。液晶素子２０３は、印加された電位により、光の透過率を変更する。

フォトダイオード２０４は、一方の電極がフォトダイオードリセット信号線２０８に、他方の電極がトランジスタ２０５のゲートに電気的に接続されている。トランジスタ２０５は、ソース又はドレインの一方がフォトセンサ基準信号線２１２に、ソース又はドレインの他方がトランジスタ２０６のソース又はドレインの一方に電気的に接続されている。トランジスタ２０６は、ゲートがゲート信号線２０９に、ソース又はドレインの他方がフォトセンサ出力信号線２１１に電気的に接続されている。

次に、フォトセンサ読み出し回路１０９の構成について、図３を用いて説明する。図３において、画素１列分のフォトセンサ読み出し回路３００は、ｐ型ＴＦＴ３０１、保持容量３０２、を有する。また、フォトセンサ読み出し回路３００は、当該画素列のフォトセンサ出力信号線２１１、プリチャージ信号線３０３を有する。

フォトセンサ読み出し回路３００では、画素内におけるフォトセンサの動作に先立ち、フォトセンサ信号線の電位を基準電位に設定する。図３では、プリチャージ信号線３０３を”Ｌｏｗ”（低電位）とすることで、フォトセンサ出力信号線２１１を基準電位である高電位に設定することができる。なお、保持容量３０２は、フォトセンサ出力信号線２１１の寄生容量が大きい場合には、特別に設けなくても良い。なお、基準電位は、低電位とする構成も可能である。この場合、ｎ型ＴＦＴを用いることで、プリチャージ信号線３０３を”Ｈｉｇｈ”とすることで、フォトセンサ出力信号線２１１を基準電位である低電位に設定することができる。

次に、本タッチパネルにおけるフォトセンサの読み出し動作について、図４のタイミングチャートを用いて説明する。図４において、信号４０１〜信号４０４は、図２におけるフォトダイオードリセット信号線２０８、トランジスタ２０６のゲートが接続されたゲート信号線２０９、トランジスタ２０５のゲートが接続されたゲート信号線２１３、フォトセンサ出力信号線２１１の電位に相当する。また、信号４０５は、図３におけるプリチャージ信号線３０３の電位に相当する。

時刻Ａにおいて、フォトダイオードリセット信号線２０８の電位（信号４０１）を”Ｈｉｇｈ”とすると、フォトダイオード２０４が導通し、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）が”Ｈｉｇｈ”となる。また、プリチャージ信号線３０３の電位（信号４０５）の電位は”Ｌｏｗ”とすると、フォトセンサ出力信号線２１１の電位（信号４０４）は”Ｈｉｇｈ”にプリチャージされる。

時刻Ｂにおいて、フォトダイオードリセット信号線２０８の電位（信号４０１）を”Ｌｏｗ”にすると、フォトダイオード２０４のオフ電流により、トランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）が低下し始める。フォトダイオード２０４は、光が照射されるとオフ電流が増大するので、照射される光の量に応じてトランジスタ２０５のゲートが接続されたゲート信号線２１３の電位（信号４０３）は変化する。すなわち、トランジスタ２０５のソースとドレイン間の電流が変化する。

時刻Ｃにおいて、ゲート信号線２０９の電位（信号４０２）を”Ｈｉｇｈ”にすると、トランジスタ２０６が導通し、フォトセンサ基準信号線２１２とフォトセンサ出力信号線２１１とが、トランジスタ２０５とトランジスタ２０６とを介して導通する。すると、フォトセンサ出力信号線２１１の電位（信号４０４）は、低下していく。なお、時刻Ｃ以前に、プリチャージ信号線３０３の電位（信号４０５）の電位は”Ｌｏｗ”とし、フォトセンサ出力信号線２１１のプリチャージを終了しておく。ここで、フォトセンサ出力信号線２１１の電位（信号４０４）が低下する速さは、トランジスタ２０５のソースとドレイン間の電流に依存する。すなわち、フォトダイオード２０４に照射されている光の量に応じて変化する。

時刻Ｄにおいて、ゲート信号線２０９の電位（信号４０２）を”Ｌｏｗ”にすると、トランジスタ２０６が遮断され、フォトセンサ出力信号線２１１の電位（信号４０４）は、時刻Ｄ以後、一定値となる。ここで、一定値となる値は、フォトダイオード２０４に照射されている光の量に応じて変化する。したがって、フォトセンサ出力信号線２１１の電位を取得することで、フォトダイオード２０４に照射されている光の量を知ることができる。

（実施の形態４）
本実施の形態では、実施の形態１〜３で説明したタッチパネルの構造について、図５、図６を用いて説明する。本実施の形態において、タッチパネルはフォトセンサと表示素子を有している。表示素子は液晶素子や発光素子を有する。

図５は、実施の形態１〜３で説明したタッチパネルにおいて、表示素子が液晶素子を有する液晶表示装置の断面の一例を示す図である。バックライトからの光が対象物である指２０３５で反射し、フォトセンサ２００３に照射される状態を示している。対象物は指に限定されない。

基板２０００としてはガラス基板又は石英基板等の透光性基板を用いる。基板２０００上には、薄膜トランジスタ２００１、薄膜トランジスタ２００２、及びフォトセンサ２００３が設けられている。フォトセンサ２００３は、ｎ型半導体層２０１０、ｉ型半導体層２０１１、及びｐ型半導体層２０１２が順に積層されて設けられている。ｎ型半導体層２０１０は、一導電型を付与する不純物元素（例えばリン）を含む。ｉ型半導体層２０１１は、真性半導体である。ｐ型半導体層２０１２は、一導電型を付与する不純物元素（例えばボロン）を含む。

図５では、薄膜トランジスタ２００１及び薄膜トランジスタ２００２としてトップゲート型の薄膜トランジスタを用いたが、これに限定されない。薄膜トランジスタ２００１及び薄膜トランジスタ２００２としてボトムゲート型の薄膜トランジスタを用いてもよい。また、フォトセンサ２００３は、ｎ型半導体層２０１０、ｉ型半導体層２０１１、及びｐ型半導体層２０１２を有する構成としているが、これに限定されない。

本実施の形態では、薄膜トランジスタ２００１及び薄膜トランジスタ２００２の半導体層に結晶性半導体層を用いることができる。例えば、多結晶シリコンを用いることができる。しかしこれに限定されず、薄膜トランジスタ２００１及び薄膜トランジスタ２００２の半導体層に、非晶質シリコン、微結晶シリコン、単結晶シリコン、ペンタセン等の有機半導体、または酸化物半導体等を用いてもよい。なお、基板２０００上に単結晶シリコンを用いた半導体層を形成する場合は、表面から所定の深さに損傷領域が設けられた単結晶シリコン基板と基板２０００とを接合し、当該損傷領域で単結晶シリコン基板を分離することによって形成することができる。また、酸化物半導体としては、インジウム、ガリウム、アルミニウム、亜鉛及びスズから選んだ元素の複合酸化物を用いることができる。

絶縁層２００４は、薄膜トランジスタ２００１及び薄膜トランジスタ２００２上を覆って設けられている。絶縁層２００４上には絶縁層２００５が設けられ、絶縁層２００５上には絶縁層２００６が設けられている。画素電極２００７は絶縁層２００６上に設けられ、フォトセンサ２００３と下部電極２００８は絶縁層２００５上に設けられている。下部電極２００８によって、絶縁層２００５に設けられた開口部を介して、フォトセンサ２００３と薄膜トランジスタ２００１とが電気的に接続される。

また、対向基板２０２０には、対向電極２０２１、カラーフィルタ層２０２２、及びオーバーコート層２０２３が設けられている。対向基板２０２０と基板２０００はシール材によって固定され、スペーサ２０２５によって基板間隔が概ね一定の距離に保たれている。画素電極２００７と対向電極２０２１が液晶層２０２４を挟持することで、液晶素子を構成している。

カラーフィルタ層２０２２は、図５に示すようにフォトセンサ２００３と画素電極２００７の両方と重なるように設けてもよい。

また、フォトセンサ２００３は、図５に示すように薄膜トランジスタ２００２のゲート電極２０１３と重なっており、薄膜トランジスタ２００２の信号線２０１４とも重なるように設けるとよい。

本実施の形態の液晶表示装置には、バックライトが設けられている。図５では、バックライトは基板２０００側に設けられ、矢印２０３６で示す方向に光が照射されている。バックライトとしては、冷陰極管（Ｃｏｌｄ−ＣａｔｈｏｄｅＦｌｕｏｒｅｓｃｅｎｔＬａｍｐ：ＣＣＦＬ）又は白色の発光ダイオードを用いることができる。白色の発光ダイオードは、冷陰極管よりも明るさの調整範囲が広いため好ましい。

また、フォトセンサ２００３を例えば駆動回路部にも設けて外光を検出し、使用環境に応じた表示が可能となるようにバックライトの明るさ（輝度）を調節することもできる。

また、バックライトは上記構成に限定されない。例えば、ＲＧＢの発光ダイオード（ＬＥＤ）を用いてバックライトを構成してもよいし、ＲＧＢのＬＥＤバックライトを順次点灯させてフィールドシーケンシャル方式でカラー表示してもよい。この場合にはカラーフィルタ層は不要である。

ここで、図５に示す液晶表示装置の作製方法の一例について簡単に説明する。

まず、活性層として結晶性半導体層を有するトップゲート構造の薄膜トランジスタを作製する。ここではゲート電極２０１３を有する薄膜トランジスタ２００２と、フォトセンサ２００３と電気的に接続される薄膜トランジスタ２００１を同一基板上に形成する。それぞれのトランジスタとして、ｎ型薄膜トランジスタ又はｐ型薄膜トランジスタを用いることができる。また、これらのトランジスタと同一の工程で保持容量を形成することができる。なお、保持容量は、半導体層を下部電極とし、容量配線を上部電極とし、薄膜トランジスタ２００１及び薄膜トランジスタ２００２のゲート絶縁膜と同一の工程で形成される絶縁膜を誘電体とすればよい。

また、薄膜トランジスタの層間絶縁層の一つである絶縁層２００４にはコンタクトホールが形成され、それぞれの薄膜トランジスタの半導体層と電気的に接続されるソース電極又はドレイン電極、若しくは、上方の配線と接続される接続電極を形成する。また、フォトセンサ２００３と電気的に接続される薄膜トランジスタ２００１の信号線も同一の工程で形成される。薄膜トランジスタ２００２の信号線２０１４も同一の工程で形成される。

次に、信号線２０１４を覆う絶縁層２００５を形成する。なお、本実施の形態では、透過型の液晶表示装置を例として示しているので、絶縁層２００５には可視光を透過することのできる絶縁性材料を用いる。次に、絶縁層２００５にコンタクトホールを形成し、絶縁層２００５上に下部電極２００８を形成する。

そして、下部電極２００８の少なくとも一部と重なるようにフォトセンサ２００３を形成する。下部電極２００８は、フォトセンサ２００３と、薄膜トランジスタ２００１とを電気的に接続させる電極である。フォトセンサ２００３は、ｎ型半導体層２０１０、ｉ型半導体層２０１１及びｐ型半導体層２０１２が順に積層されて形成される。本実施の形態では、プラズマＣＶＤ法を用いることで、リンを含む微結晶シリコンによりｎ型半導体層２０１０を形成し、非晶質シリコンによりｉ型半導体層２０１１を形成し、ボロンを含む微結晶シリコンによりｐ型半導体層２０１２を形成する。

次に、フォトセンサ２００３を覆う絶縁層２００６を形成する。透過型の液晶表示装置の場合は、絶縁層２００６に可視光を透過することのできる絶縁性材料を用いる。その後、絶縁層２００６にコンタクトホールを形成し、絶縁層２００６上に画素電極２００７を形成する。画素電極２００７と同一の層により、配線を形成する。その配線は、フォトセンサ２００３の上部電極であるｐ型半導体層２０１２と電気的に接続される。

次に、絶縁層２００６上にスペーサ２０２５を形成する。図５では、スペーサ２０２５として柱状スペーサ（ポストスペーサ）を設けたが、球状スペーサ（ビーズスペーサ）を用いてもよい。

次に、液晶層２０２４としてＴＮ液晶等を用いる場合には、画素電極２００７上に配向膜を塗布し、ラビング処理を行う。

一方で、対向基板２０２０上にはカラーフィルタ層２０２２、オーバーコート層２０２３、対向電極２０２１を形成し、対向電極２０２１上に配向膜を塗布し、ラビング処理を行う。

その後、基板２０００の配向膜が塗布された面と、対向基板２０２０の配向膜が塗布された面とを、シール材により貼り合わせる。これらの基板間には液晶滴下法又は液晶注入法により液晶を配置し、液晶層２０２４を形成する。

なお、液晶層２０２４は、配向膜を用いないブルー相を示す液晶を用いて形成してもよい。ブルー相は液晶相の一つであり、コレステリック液晶を昇温していくと、コレステリック相から等方相へ転移する直前に発現する相である。ブルー相は狭い温度範囲でしか発現しないため、液晶層２０２４に適用するには、温度範囲を改善するために５重量％以上のカイラル剤を混合させた液晶組成物を用いる。ブルー相を示す液晶とカイラル剤とを含む液晶組成物は、応答速度が１０μｓ〜１００μｓと短く、光学的に等方性であるため配向処理が不要であり、視野角依存性が小さい。

次に、実施の形態１〜２で説明したタッチパネルにおいて、表示素子が発光素子を有するエレクトロルミネセンス表示装置（以下、「ＥＬ表示装置」という。）について説明する。

図６は、上記タッチパネルにおいて、発光素子としてＥＬ素子（例えば、有機ＥＬ素子、無機ＥＬ素子、又は有機物及び無機物を含むＥＬ素子）を用いたＥＬ表示素子の断面の一例を示す図である。ＥＬ素子２１２７から発せられた光が対象物である指２１３５で反射し、フォトセンサ２１０３に照射される状態を示している。対象物は指に限定されない。

図６において、基板２１００上には、薄膜トランジスタ２１０１、薄膜トランジスタ２１０２、及びフォトセンサ２１０３が設けられている。フォトセンサ２１０３は、ｎ型半導体層２１１０、ｉ型半導体層２１１１、及びｐ型半導体層２１１２が積層されて設けられている。基板２１００は、シール材によって対向基板２１２０に固定されている。

絶縁層２１０４は、薄膜トランジスタ２１０１及び薄膜トランジスタ２１０２上を覆って設けられている。絶縁層２１０４上には絶縁層２１０５が設けられ、絶縁層２１０５上には絶縁層２１０６が設けられている。ＥＬ素子２１２７は絶縁層２１０６上に設けられ、フォトセンサ２１０３は絶縁層２１０５上に設けられている。フォトセンサ２１０３のｎ型半導体層２１１０によって、絶縁層２１０５に設けられた開口部を介して、フォトセンサ２１０３と薄膜トランジスタ２１０１とが電気的に接続されている。

また、センサ用配線２１０９によって、ｐ型半導体層２１１２と他の配線とが電気的に接続されている。

ＥＬ素子２１２７は、画素電極２１２３、発光層２１２４、対向電極２１２５が積層されて設けられている。なお、バンク２１２６によって隣り合う画素同士の発光層が区切られている。

薄膜トランジスタ２１０１及び薄膜トランジスタ２１０２として、ｎ型薄膜トランジスタ又はｐ型薄膜トランジスタを用いることができる。画素電極２１２３が陰極として機能する場合は、電流の向きを考慮して、画素電極２１２３と電気的に接続する薄膜トランジスタ２１０２をｎ型薄膜トランジスタとすることが好ましい。また、画素電極２１２３が陽極として機能する場合は、薄膜トランジスタ２１０２をｐ型薄膜トランジスタとすることが好ましい。

（実施の形態５）
本実施の形態では、タッチパネルの構造について、実施の形態４とは別の構造を採用した場合を、図７を用いて説明する。

図７では、基板２２００と対向基板２２２０との間に、フォトセンサ２２０１、薄膜トランジスタ２２０２、及び液晶素子または発光素子を含む層２２２４が設けられている。フォトセンサ２２０１は、ｎ型領域２２１０、ｉ型領域２２１１、及びｐ型領域２２１２を含む半導体層を有している。

実施の形態４とは異なり、フォトセンサ２２０１は、薄膜トランジスタ２２０２と同じ層に形成されている。また、フォトセンサ２２０１は、ｎ型領域２２１０、ｉ型領域２２１１、及びｐ型領域２２１２が一つの半導体層内に形成された構造を有している。

図７の構造を採用することで、フォトセンサ２２０１及び薄膜トランジスタ２２０２の半導体層を同一工程で形成することが可能となり、工程数が削減できる。

フォトセンサ２２０１及び薄膜トランジスタ２２０２の半導体層に結晶性半導体層を用いることができる。例えば、多結晶シリコンを用いることができる。しかしこれに限定されず、フォトセンサ２２０１及び薄膜トランジスタ２２０２の半導体層に、非晶質シリコン、微結晶シリコン、単結晶シリコン、ペンタセン等の有機半導体、または酸化物半導体等を用いてもよい。

なお、基板２２００上に単結晶シリコンを用いた半導体層を形成する場合は、表面から所定の深さに損傷領域が設けられた単結晶シリコン基板と基板２２００とを接合し、当該損傷領域で単結晶シリコン基板を分離することによって形成することができる。単結晶シリコンを用いた場合、フォトセンサ２２０１の電荷蓄積能力が極めて高くなるため、フォトセンサ２２０１を小型化し、画素の開口率を大きくすることが可能である。

また、酸化物半導体としては、インジウム、ガリウム、アルミニウム、亜鉛及びスズなどから選んだ元素の複合酸化物を用いることができる。

また、フォトセンサ２２０１の半導体層の膜厚を薄膜トランジスタ２２０２の膜厚より厚く形成することで、フォトセンサ２２０１の電荷蓄積能力を向上させることができ、単結晶シリコンを用いた場合に特に有効である。

なお、フォトセンサ２２０１の半導体層と薄膜トランジスタ２２０２の半導体層とを、異なる材料を用いて形成してもよい。

（実施の形態６）
本実施の形態では、タッチセンサ又はタッチパネルを用いた電子機器の一例について、図１２を用いて説明する。

図１２（Ａ）は表示装置であり、パーソナルコンピュータ用、ＴＶ放送受信用、広告表示用などの全ての情報表示用表示装置が含まれる。図１２（Ｂ）は携帯情報端末である。図１２（Ｃ）は現金自動預け入れ払い機である。図１２（Ｄ）は携帯型ゲーム機である。図１２（Ａ）〜図１２（Ｄ）の電子機器の表示部５００１〜５００４に、本発明の一態様に係るタッチパネルを用いることができる。また、図１２（Ａ）〜図１２（Ｄ）の電子機器の認証部５００５〜５００８に本発明の一態様に係るタッチセンサを用いることができる。

（実施の形態７）
本実施の形態では、タッチセンサ又はタッチパネルを用いた電子機器の一例について、図１３を用いて説明する。

図１３は、ライティングボード（黒板、ホワイトボード等）である。本体９００１のライティング部９１０１に、本発明の一態様に係るタッチパネル（又はタッチセンサ）を設けることができる。

ここで、ライティング部９１０１の表面には、マーカー等を用いて自由に書き込みができる。

なお、定着剤が含まれていないマーカー等を用いれば文字の消去が容易である。

また、マーカーのインクを落としやすくするため、ライティング部９１０１の表面は十分な平滑性を有していると良い。

例えば、ライティング部９１０１の表面がガラス基板等であれば平滑性は十分である。

また、ライティング部９１０１の表面に透明な合成樹脂シート等を貼り付けてもよい。

合成樹脂としては例えばアクリル等を用いると好ましい。この場合、合成樹脂シートの表面を平滑にしておくと好ましい。

また、ライティング部９１０１が特定の表示を行う際に、表面に絵や文字を記載することができる。そして、ライティング部９１０１は、記載された絵や文字と表示された画像とを合成することができる。

更に、フォトセンサを用いているため、記載した後、時間が経った場合でもいつでもセンシングが可能であるが、抵抗膜方式、静電容量方式等を用いた場合、記載と同時にしかセンシングをすることができない。

本実施の形態は、他の実施の形態と適宜組み合わせて実施することができる。

１００タッチパネル
１０１画素回路
１０２表示素子制御回路
１０３フォトセンサ制御回路
１０４画素
１０５表示素子
１０６フォトセンサ
１０７表示素子駆動回路
１０８表示素子駆動回路
１０９フォトセンサ読み出し回路
１１０フォトセンサ駆動回路
１１１表示装置
１１２画像処理部
１１３入力処理部
１１４応答処理部
１１５画像合成部
２０１トランジスタ
２０２保持容量
２０３液晶素子
２０４フォトダイオード
２０５トランジスタ
２０６トランジスタ
２０７ゲート信号線
２０８フォトダイオードリセット信号線
２０９ゲート信号線
２１０ビデオデータ信号線
２１１フォトセンサ出力信号線
２１２フォトセンサ基準信号線
２１３ゲート信号線
３００フォトセンサ読み出し回路
３０１ｐ型ＴＦＴ
３０２保持容量
３０３プリチャージ信号線
４０１信号
４０２信号
４０３信号
４０４信号
４０５信号
８０１ＨＳＶ変換処理
８０２二値化処理
８０３ノイズフィルタ処理
８０４ラベリング処理
８０５面積・位置情報算出処理
８０６特徴量抽出処理
９０１画素
９０２画素
１００１画素
１００２領域
１００３画素
１００４領域
１１０１画素
１１０２画素
１１０３画素
１１０４画素群
１１０５画素
１１０６画素群
１１０７画素群
２０００基板
２００１薄膜トランジスタ
２００２薄膜トランジスタ
２００３フォトセンサ
２００４絶縁層
２００５絶縁層
２００６絶縁層
２００７画素電極
２００８下部電極
２０１０ｎ型半導体層
２０１１ｉ型半導体層
２０１２ｐ型半導体層
２０１３ゲート電極
２０１４信号線
２０２０対向基板
２０２１対向電極
２０２２カラーフィルタ層
２０２３オーバーコート層
２０２４液晶層
２０３５指
２０３６矢印
２１００基板
２１０１薄膜トランジスタ
２１０２薄膜トランジスタ
２１０３フォトセンサ
２１０４絶縁層
２１０５絶縁層
２１０６絶縁層
２１０９センサ用配線
２１１０ｎ型半導体層
２１１１ｉ型半導体層
２１１２ｐ型半導体層
２１２０対向基板
２１２３画素電極
２１２４発光層
２１２５対向電極
２１２６バンク
２１２７ＥＬ素子
２１３５指
２２００基板
２２０１フォトセンサ
２２０２薄膜トランジスタ
２２１０ｎ型領域
２２１１ｉ型領域
２２１２ｐ型領域
２２２０対向基板
２２２４層
５００１表示部
５００２表示部
５００３表示部
５００４表示部
５００５認証部
５００６認証部
５００７認証部
５００８認証部
９００１本体
９１０１ライティング部

Claims

複数のフォトセンサを有する入力部と、画像処理部と、回路と、を有し、
前記フォトセンサは、前記入力部と対象物との接触画像を生成し、
前記画像処理部は、前記接触画像の色情報から接触部分の面積を算出し、前記面積に基づいて前記入力部への入力の検出を行い、
前記回路は、前記面積から入力圧の算出を行うことを特徴とするタッチセンサ。
請求項１において、
前記フォトセンサは、第１のトランジスタと、第２のトランジスタと、フォトダイオードと、を有し、
前記フォトダイオードの一方の電極は、リセット信号を入力する機能を有する配線に電気的に接続され、
前記フォトダイオードの他方の電極は、前記第１のトランジスタのゲートに電気的に接続され、
前記第１のトランジスタのソース又はドレインの一方は、前記第２のトランジスタのソース又はドレインの一方と電気的に接続されていることを特徴とするタッチセンサ。