WO2012018092A1

WO2012018092A1 - エリアセンサおよび表示装置

Info

Publication number: WO2012018092A1
Application number: PCT/JP2011/067895
Authority: WO
Inventors: 伸一宮崎; 健吾 ▲高▼濱
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2010-08-05
Filing date: 2011-08-04
Publication date: 2012-02-09
Anticipated expiration: 2013-02-05

Abstract

　光センサ（８ａ・８ｂ・８ｃ・８ｄ）は、遮光部材（１４）の開口部（１４ａ）が、各々の受光部に対して、左・右・上・下方向側にずらされて形成されている。

Description

エリアセンサおよび表示装置

　本発明は、受光素子（光センサ）を備えたエリアセンサおよびこのようなエリアセンサを備えている表示装置に関するものである。

　液晶表示装置などの表示装置の中には、入力用のペンまたは人の指などで表示装置の表面を触れると、その触れた位置を検出することのできるタッチパネル（エリアセンサ）機能を備えたタッチパネル一体型表示装置が開発されている。

　従来のタッチパネル一体型表示装置は、抵抗膜方式（押されると上の導電性基板と下の導電性基板とが接触することによって入力位置を検知する方式）や静電容量方式（触った場所の容量変化を検知することによって入力位置を検知する方式）のものが主流であった。

　しかし、このようなタッチパネル一体型表示装置においては、その厚さが厚くなることや別途の製造工程が追加されるなどのデメリットがあることから、近年、フォトダイオードやフォトトランジスタなどの受光素子（光センサ）を、例えば、液晶表示装置の画像表示領域内の各画素毎に（あるいは複数の画素毎に）設けたタッチパネル一体型液晶表示装置が開発されている。

　このような構成によれば、上記液晶表示装置には、各画素毎に画素トランジスタが設けられている。そして、上記受光素子は、上記液晶表示装置に備えられた対向する両基板間に形成されるため、上記液晶表示装置の厚さを厚くすることなく、また、上記受光素子は、上記画素トランジスタと同一工程にて形成することができるので、別途の製造工程を追加しなくてもよい。

　このような理由から、受光素子を備え、外部からの入力位置を検出するエリアセンサを備えた表示装置は、注目を浴びている。

　また、受光素子を備えたエリアセンサにおいては、抵抗膜方式や静電容量方式のタッチパネルでは、実現するのが困難である入力用のペンまたは人の指などの検出対象物のフロート状態（非接触状態）での位置の検出が可能である。

　さらには、受光素子を備えたエリアセンサにおいては、フロート状態にある上記検出対象物の上記表示装置の表示面からの距離も検出することができる。

　例えば、特許文献１には、手などの対象物体の距離情報を高い分解能で求めることができ、対象物体の立体形状を抽出できるフォトダイオードで構成された受光手段を備えた情報入力装置について記載されている。

　図２１は、上記情報入力装置の概略構成を示す図である。

　図示されているように、発光手段１０５より発光された光は、対象物体１０６に反射して、レンズ等の受光光学系１０７により、反射光抽出手段１０８の受光面上に結像するようになっている。

　反射光抽出手段１０８は、第１の受光手段１０９、第２の受光手段１１０および差分演算部１１１から構成され、対象物体１０６に反射された反射光の強度分布、すなわち、反射光画像を検出する。そして、第１の受光手段１０９と第２の受光手段１１０は、異なるタイミングで受光を行うように設定されており、第１の受光手段１０９が受光しているときに発光手段１０５が発光し、第２の受光手段１１０が受光しているときには発光手段１０５は発光しないように、タイミング制御手段１１２がこれらの動作タイミングを制御する。

　このような構成であるため、第１の受光手段１０９は、発光手段１０５からの光の対象物体１０６による反射光とそれ以外の太陽光、照明光などの外光を受光し、一方、第２の受光手段１１０は、外光のみを受光するようになっている。両者が受光するタイミングは異なっているが近いので、この間における外光の変動は無視できる。

　したがって、第１の受光手段１０９で受光した像と第２の受光手段１１０で受光した像との差分をとれば、発光手段１０５の光において、対象物体１０６による反射光の成分だけを抽出することができる。差分演算部１１１は、第１の受光手段１０９と第２の受光手段１１０とで受光した像の差を計算して出力する。

　そして、反射光抽出手段１０８は、反射光画像の各画素の反射光量をシーケンシャルに出力する。また、反射光抽出手段１０８からの出力は、アンプ１１３によって増幅され、Ａ／Ｄ変換器１１４によってデジタルデータに変換された後、メモリ１１５に蓄えられ、しかるべきタイミングでこのメモリ１１５より蓄積されたデータが読み出され、特徴情報生成手段１１６において処理されるようになっている。なお、これらの制御は、タイミング制御手段１１２が行う。

　対象物体１０６からの反射光は、対象物体１０６と第１の受光手段１０９との距離が大きくなるにつれ大幅に減少する。対象物体１０６の表面が一様に光を散乱する場合、反射光画像の１画素あたりの受光量は、対象物体１０６と第１の受光手段１０９との距離の２乗に反比例して小さくなる。したがって、上記情報入力装置の前に対象物体１０６を置いたとき、背景からの反射光はほぼ無視できるくらいに小さくなり、対象物体１０６のみからの反射光画像を得ることが出来る。

　具体的に例を挙げて説明すると、上記情報入力装置の前に手を持ってきた場合、その手からの反射光画像が得られるが、この時、反射光画像の１画素あたりの受光量は、その１画素に対応する単位受光部で受光した反射光量となる。そして、上記反射光量は、対象物体１０６の性質（光を鏡面反射する、散乱する、吸収する、など）、対象物体１０６の面の向き、対象物体１０６の距離、などに影響されるが、対象物体１０６全体が一様に光を散乱する物体である場合、その反射光量は、対象物体１０６までの距離と密接な関係を持つ。手などは、対象物体１０６全体が一様に光を散乱する物体であるため、手を差し出した場合の反射光画像は、手の距離、手の傾き（部分的に距離が異なる）、などを反映する。したがって、これらの特徴情報を抽出することによって、様々な情報の入力・生成が可能となる。

　上記特許文献１の構成においては、アンプ１１３として対数アンプを用いることにより、反射光画像の１画素あたりの受光量を、対象物体１０６までの距離に反比例するようにすることができ、ダイナミックレンジを有効に使うことができるとともに、距離情報を高い分解能で求め、対象物体１０６の立体形状を抽出できる情報入力装置を実現できると記載されている。

　図２２は、上記特許文献２に記載の表示装置の概略構成を示す図である。

　図示されているように、画素１４０は、縦および横方向に連続して配置されたマトリクス配列となっている。そして、１つの画素１４０における表示領域１２０は、矩形形状で形成されており、また、光センサ１３０Ｒ・１３０Ｌの１組は、表示領域１２０の下方において横方向に並んで配列している。

　また、遮光部材１５０は、図２２においてハッチングで付されているように配置されている。すなわち、遮光部材１５０は、表示領域１２０の形状に合わせた開口部１５２と、光センサ１３０Ｒ・１３０Ｌに合わせた矩形形状の開口部１５４とを有している。

　図示されているように、光センサ１３０Ｒと光センサ１３０Ｌとは、交互に配置されており、図２２の左より光センサ１３０Ｒと光センサ１３０Ｌとが、この順に並ぶ箇所では、光センサ１３０Ｒと光センサ１３０Ｌとに跨るように遮光部材１５０が設けられている。

　一方、図２２の左より光センサ１３０Ｌと光センサ１３０Ｒとが、この順に並ぶ箇所では、光センサ１３０Ｌと光センサ１３０Ｒとに跨るように遮光部材１５０の開口部１５４が設けられている。

　そして、各画素１４０における光センサ１３０Ｒと光センサ１３０Ｌとの境界と、遮光部材１５０における矩形形状の開口部１５４の中心線１３８とが一致するように、遮光部材１５０が設けられている。

　すなわち、上記構成においては、各画素１４０における光センサ１３０Ｒと光センサ１３０Ｌとに異なる指向特性を持たせるため、光センサ１３０Ｒの一部と光センサ１３０Ｌの一部とを跨るように一つの遮光部材１５０の開口部１５４を設けている構成である。

　また、比較的外部が明るい状態において、表示パネル１００から運転席側または、助手席側にかけて指のような被検出物が存在するとき、当該被検出物の影が生じ、すなわち、背景に対して暗くなる部分が生じ、光センサ１３０Ｒ・１３０Ｌによって検出される。

　一方、夜間やトンネル走行などのように比較的外部が暗い場合、バックライト（図示省略）による照射光が被検出物で反射して、光センサ１３０Ｒ・１３０Ｌに入射するので、被検出物による像は、背景に対して逆に明るくなる。

　このような構成であるため、外部が明るい場合にも暗い場合にも、光量が背景部分と比較して減少または、増加した部分のうち、光センサ１３０Ｒにより特定されるものをＲ像、光センサ１３０Ｌにより特定されるものをＬ像とすることができる。

　図２３は、指のような被検出物を球体として示し、上記被検出物が表示パネル１００へ接近する場合を示す図である。

　図示されているように、例えば、指が助手席側から表示パネル１００に接近する場合に、当該指は（ａ）、（ｂ）、（ｃ）の地点を経る。

　そして、上記指が表示パネル１００に接近するにつれて（当該指が（ａ）から（ｃ）に移動するにつれて）、Ｒ像とＬ像とは互いに近づき、上記指が表示パネル１００に触れた状態に至ると、Ｒ像とＬ像とはほぼ重なる。

　すなわち、上記指が表示パネル１００に接近するにつれて、Ｒ像とＬ像との視差は小さくなる。

　したがって、上記特許文献２には、このようなＲ像とＬ像との視差を利用し、上記視差が、予め設定された閾値よりも小さい場合に、上記指が表示パネル１００にタッチ操作を行ったと判別できる表示装置を実現できると記載されている。

特開平１０－１７７４４９号公報（１９９８年６月３０日公開）特開２００９－９０９８号公報（２００９年１月１５日公開）特開平９－２７９６９号公報（１９９７年１月２８日公開）

　しかしながら、上記特許文献１においては、対象物体１０６の距離の推定に、反射光画像の１画素あたりの受光量が、対象物体１０６までの距離に反比例していること、すなわち、対象物体１０６の反射強度のみを用いている。

　対象物体１０６の反射強度は、対象物体１０６の反射率によってばらつくため、例えば、第１の受光手段１０９から同じ距離離された位置に対象物体１０６として手があるとした場合、同じ距離離されているにも関わらず、人種（肌の色）、手の皮の厚さ、血行などによって、手の反射特性は異なるため、精度の高い距離の推定を行うためには、ユーザーが変わる度に、上記情報入力装置の最適化（調整）が必要になるという問題がある。

　また、上記特許文献１の構成においては、外光に瞬間的な変動が生じた場合には、対応できず、距離の推定が困難になるという問題がある。

　また、上記特許文献２においては、図２２に図示されているように、各画素１４０における光センサ１３０Ｒと光センサ１３０Ｌとに異なる指向特性を持たせるため、光センサ１３０Ｒの一部と光センサ１３０Ｌの一部とを跨るように一つの遮光部材１５０の開口部１５４を設けている構成である。

　したがって、各画素１４０における光センサ１３０Ｒと光センサ１３０Ｌとの境界と、遮光部材１５０における矩形形状の開口部１５４の中心線１３８とが一致するように、光センサ１３０Ｒと光センサ１３０Ｌと遮光部材１５０とは、一定間隔でストライプ状に設けられている。

　上記構成によれば、各画素１４０において、二つの光センサ１３０Ｒ・１３０Ｌに対して、共通する一つの開口部１５４が形成されているので、二つの光センサ１３０Ｒ・１３０Ｌに異なる指向特性を持たせるためには、開口部１５４の配置位置に対する光センサ１３０Ｒ・１３０Ｌの配置位置は限定されることとなる。

　したがって、二つの光センサ１３０Ｒ・１３０Ｌを、各画素１４０において、独立的に自由に配置するのは困難である。

　また、上記特許文献２の構成においては、左上方向と右上方向とに２種類の異なる指向特性を有する光センサ１３０Ｒと光センサ１３０Ｌとが、各画素１４０毎に設けられている構成であるため、Ｒ像とＬ像とから左右方向の視差を検出することができる。すなわち、上記特許文献２の構成によれば、視差を検出できる方向が１軸である。

　したがって、図２４の（ａ）に示すように、上記特許文献２に記載の表示パネル１００上に、似通った形状の複数の被検出物１７０ａ・１７０ｂ・１７０ｃ（複数の指）が、等間隔で上記左右方向に直線的に配置されると、上記Ｒ像と上記Ｌ像との視差を算出するため、上記Ｒ像と上記Ｌ像との画像マッチングを行う際に、図２４の（ｂ）に図示されているように、最大相関値を示すピーク値以外にも多数のゴーストピークが生じ、視差の検出精度が低下してしまうという問題がある。

　本発明は、上記の問題点に鑑みてなされたものであり、より精度の高い距離（高さ）の推定を行うことができるとともに、異なる指向特性を有する受光素子を比較的自由に配置することのできるエリアセンサおよび表示装置を提供することを目的とする。

　本発明のエリアセンサは、上記の課題を解決するために、光の入射光量を検出する受光素子が複数個形成されている面を有するエリアセンサであって、上記受光素子は、複数の１組の第１の受光素子と第２の受光素子、複数の１組の第３の受光素子と第４の受光素子とからなり、上記第１の受光素子は、第１の受光部と、上記第１の受光部より上層に形成され上記光を遮断する第１の遮光部材とを備え、上記第２の受光素子は、第２の受光部と、上記第２の受光部より上層に形成され上記光を遮断する第２の遮光部材とを備え、上記第３の受光素子は、第３の受光部と、上記第３の受光部より上層に形成され上記光を遮断する第３の遮光部材とを備え、上記第４の受光素子は、第４の受光部と、上記第４の受光部より上層に形成され上記光を遮断する第４の遮光部材とを備え、上記第１の受光素子においては、第１の方向からの光成分は受光でき、上記第１の方向からの光が上記面で鏡面反射される場合の反射光の方向と反対方向である第２の方向からの光成分は遮光できるように、上記第１の遮光部材の開口部は、上記第１の受光部に対して、平面視において部分的に重なるように、上記第１の方向側に所定量ずらされて形成されており、上記第２の受光素子においては、上記第２の方向からの光成分は受光でき、上記第１の方向からの光成分は遮光できるように、上記第２の遮光部材の開口部は、上記第２の受光部に対して、平面視において部分的に重なるように、上記第２の方向側に所定量ずらされて形成されており、上記第３の受光素子においては、上記第１の方向と上記第２の方向とは異なる第３の方向からの光成分は受光でき、上記第３の方向からの光が上記面で鏡面反射される場合の反射光の方向と反対方向である第４の方向からの光成分は遮光できるように、上記第３の遮光部材の開口部は、上記第３の受光部に対して、平面視において部分的に重なるように、上記第３の方向側に所定量ずらされて形成されており、上記第４の受光素子においては、上記第４の方向からの光成分は受光でき、上記第３の方向からの光成分は遮光できるように、上記第４の遮光部材の開口部は、上記第４の受光部に対して、平面視において部分的に重なるように、上記第４の方向側に所定量ずらされて形成されていることを特徴としている。

　従来においては、二つの異なる指向特性を有する受光素子を形成するため、隣接するように形成された二つの受光素子のそれぞれの一部に跨るように一つの遮光部材の開口部を設けていた。

　したがって、上記二つの受光素子間の境界と上記一つの遮光部材の開口部の中心線とが一致するように、上記受光素子と上記遮光部材とは、一定間隔で設けられていた。

　このような構成であるため、上記二つの受光素子を独立的に自由に配置するのは困難である。

　また、従来においては、左上方向と右上方向とに２種類の異なる指向特性を有する光センサを各画素毎に設けていたため、上記光センサから得られる２種類の画像からは、左右方向（１軸方向）の視差のみを検出することができていた。

　しかしながら、このような場合、エリアセンサ上に、似通った形状の複数の被検出物、例えば、複数の指が、等間隔で上記左右方向に直線的に配置されると、上記光センサから得られる２種類の画像の視差を算出するため、上記２種類の画像の画像マッチングを行う際に、最大相関値を示すピーク値以外にも多数のゴーストピークが生じ、視差の検出精度が低下してしまうという問題があった。

　一方、本発明の構成によれば、上記第１の受光素子に指向性を持たせるため、上記第１の遮光部材の開口部を、上記第１の受光部に対して、平面視において部分的に重なるように、上記第１の方向側に所定量ずらして形成しており、上記第２の受光素子に指向性を持たせるため、上記第２の遮光部材の開口部を、上記第２の受光部に対して、平面視において部分的に重なるように、上記第２の方向側に所定量ずらして形成しており、上記第３の受光素子に指向性を持たせるため、上記第３の遮光部材の開口部を、上記第３の受光部に対して、平面視において部分的に重なるように、上記第３の方向側に所定量ずらして形成しており、上記第４の受光素子に指向性を持たせるため、上記第４の遮光部材の開口部を、上記第４の受光部に対して、平面視において部分的に重なるように、上記第４の方向側に所定量ずらして形成している。

　このような構成であるため、上記各々の受光素子の配置位置は、他の受光素子の指向特性には影響を与えない。

　すなわち、上記構成においては、各受光素子毎に、独立的に指向特性を制御できる構成であるため、上記各受光素子の配置位置には、特に制限が生じないこととなる。

　したがって、上記構成によれば、異なる指向特性を有する上記１組の受光素子を、必ず隣接した位置に設けなくてもよいので、上記各受光素子を比較的自由に配置することのできるエリアセンサを実現することができる。

　また、上記構成によれば、上記第１の受光素子と上記第２の受光素子とによって得られる２種類の画像から１軸方向、例えば、左右方向の視差を検出することができ、上記第３の受光素子と上記第４の受光素子とによって得られる２種類の画像からさらに他の１軸方向、例えば、上下方向の視差を検出することができるので、２軸方向の視差に基づいて、上記被検出物の上記第１の受光素子と上記第２の受光素子と上記第３の受光素子と上記第４の受光素子とが形成されている面からの高さを検出することができる。

　したがって、エリアセンサ上に、似通った形状の複数の被検出物、例えば、複数の指が、等間隔で直線的に配置された場合においても、精度の高い距離（高さ）の推定を行うことができるエリアセンサを実現することができる。

　また、上記構成によれば、上記第１の受光素子と上記第２の受光素子とによって検出された上記被検出物の画像の視差および上記第３の受光素子と上記第４の受光素子とによって検出された上記被検出物の画像の視差に基づいて、上記被検出物の上記各受光素子が形成されている面からの距離（高さ）を検出することができる。

　したがって、上記被検出物の反射強度のみを用いて、上記被検出物との距離（高さ）を推定する方式と比べると、より精度の高い距離（高さ）の推定を行うことができるエリアセンサを実現することができる。

　なお、上記第１の受光素子と上記第２の受光素子とが、上記第３の受光素子と上記第４の受光素子とが、それぞれ１組になっているとは、上記第１の受光素子の数と上記第２の受光素子の数が同数であり、上記第３の受光素子の数と上記第４の受光素子の数が同数であることを意味し、上記第１の受光素子（上記第２の受光素子）の数と上記第３の受光素子（上記第４の受光素子）の数とは異なってもよいことを意味する。

　本発明の表示装置は、上記の課題を解決するために、上記エリアセンサを備え、上記第１の受光素子と上記第２の受光素子と上記第３の受光素子と上記第４の受光素子とが形成されている面上には、マトリクス状に形成され、画像の表示を行う複数の画素が備えられ、上記第１の受光素子と上記第２の受光素子と上記第３の受光素子と上記第４の受光素子とは、上記画素の位置に応じて設けられていることを特徴としている。

　上記構成によれば、上記エリアセンサが一体化された表示装置を実現することができる。したがって、上記表示装置の画像を見ながら、上記エリアセンサを用いて、情報入力を行うことができる。

　なお、上記各受光素子が、上記画素の位置に応じて設けられているとは、例えば、１画素に指向特性が異なる４種類の受光素子が配置される場合や複数の画素に上記４種類の受光素子が分散して配置される場合や上記何れかの場合であって、上記受光素子が設けられてない画素を含む場合などを例に挙げることができるが、これに限定されることはない。

　本発明のエリアセンサは、以上のように、上記受光素子は、複数の１組の第１の受光素子と第２の受光素子、複数の１組の第３の受光素子と第４の受光素子とからなり、上記第１の受光素子は、第１の受光部と、上記第１の受光部より上層に形成され上記光を遮断する第１の遮光部材とを備え、上記第２の受光素子は、第２の受光部と、上記第２の受光部より上層に形成され上記光を遮断する第２の遮光部材とを備え、上記第３の受光素子は、第３の受光部と、上記第３の受光部より上層に形成され上記光を遮断する第３の遮光部材とを備え、上記第４の受光素子は、第４の受光部と、上記第４の受光部より上層に形成され上記光を遮断する第４の遮光部材とを備え、上記第１の受光素子においては、第１の方向からの光成分は受光でき、上記第１の方向からの光が上記面で鏡面反射される場合の反射光の方向と反対方向である第２の方向からの光成分は遮光できるように、上記第１の遮光部材の開口部は、上記第１の受光部に対して、平面視において部分的に重なるように、上記第１の方向側に所定量ずらされて形成されており、上記第２の受光素子においては、上記第２の方向からの光成分は受光でき、上記第１の方向からの光成分は遮光できるように、上記第２の遮光部材の開口部は、上記第２の受光部に対して、平面視において部分的に重なるように、上記第２の方向側に所定量ずらされて形成されており、上記第３の受光素子においては、上記第１の方向と上記第２の方向とは異なる第３の方向からの光成分は受光でき、上記第３の方向からの光が上記面で鏡面反射される場合の反射光の方向と反対方向である第４の方向からの光成分は遮光できるように、上記第３の遮光部材の開口部は、上記第３の受光部に対して、平面視において部分的に重なるように、上記第３の方向側に所定量ずらされて形成されており、上記第４の受光素子においては、上記第４の方向からの光成分は受光でき、上記第３の方向からの光成分は遮光できるように、上記第４の遮光部材の開口部は、上記第４の受光部に対して、平面視において部分的に重なるように、上記第４の方向側に所定量ずらされて形成されている構成である。

　また、本発明の表示装置は、以上のように、上記エリアセンサを備え、上記第１の受光素子と上記第２の受光素子と上記第３の受光素子と上記第４の受光素子とが形成されている面上には、マトリクス状に形成され、画像の表示を行う複数の画素が備えられ、上記第１の受光素子と上記第２の受光素子と上記第３の受光素子と上記第４の受光素子とは、上記画素の位置に応じて設けられている構成である。

　それゆえ、より精度の高い距離の推定を行うことができるとともに、異なる指向特性を有する受光素子を比較的自由に配置することのできるエリアセンサおよび表示装置を実現することができるという効果を奏する。

本発明の一実施の形態のエリアセンサ一体型の液晶表示装置に備えられた光センサの概略構成を示す図である。図１に示した光センサの平面図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置の概略構成を示す図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置に設けられる光センサの形成例を示している。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置の各画素における概略的な回路構成を示す図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置の構成を示す概略ブロック図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置において、２値化された左画像と右画像とを用いて相関演算を行い、視差を算出する場合を説明するための図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置において、２５６階調の左画像と右画像とを正規化相関法を用いて、各ライン毎にマッチングを行い、視差を算出する場合を説明するための図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置において、エッジが検出された左画像と右画像とを用いて各ライン毎に相関演算を行い、視差を算出する場合を説明するための図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置において、図９の（ｂ）および図９の（ｃ）に図示したエッジが検出された左画像と右画像とを正規化相関法を用いて、マッチングを行い、視差を求める場合を説明するための図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置において、左画像と右画像とのエッジ方向画像を求め、エッジの方向に関する項を含む相関演算によって、視差を求める場合を説明するための図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置において、エッジが検出された上画像と下画像とを用いて各ライン毎に相関演算を行い、視差を算出する場合を説明するための図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置において、図１２の（ｂ）および図１２の（ｃ）に図示したエッジが検出された上画像と下画像とを正規化相関法を用いて、マッチングを行い、視差を求める場合を説明するための図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置において、視差ｄと、入射角θとから、高さｈを求める方法を説明するための図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置において、画素毎の相関関数を求めるフローを説明するための図である。図１５におけるＲ（ｊ、ｋ）を示す図である。図１５におけるエッジの方向に関する項であるＷｄｉｒの値を求めるための参照テーブルを示す図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置において、各ライン毎の相関関数の最大値を求めるフローを説明するための図である。図１８におけるＲ（ｊ、ｋ）と視差ｚ（ｋ）とを示す図である。本発明の一実施の形態のエリアセンサ一体型の液晶表示装置に備えられている入射角を一定の範囲内に制限する光学素子を備えた光センサの概略構成を示す図である。従来の情報入力装置の概略構成を示す図である。特許文献２に記載の従来の表示装置の概略構成を示す図である。図２２に示す従来の表示装置において、指のような被検出物を球体として示し、上記被検出物が表示パネルへ接近する場合を示す図である。図２２に示す従来の表示装置の問題点を説明するための図である。

　以下、図面に基づいて本発明の実施の形態について詳しく説明する。ただし、この実施の形態に記載されている構成部品の寸法、材質、形状、その相対配置などはあくまで一実施形態に過ぎず、これらによってこの発明の範囲が限定解釈されるべきではない。

　〔実施の形態１〕
　本実施の形態では、受光素子（光センサ）を備えたエリアセンサ一体型の液晶表示装置を例に挙げて説明するが、本発明は、これに限定されることなく、上記エリアセンサを備えた、例えば、有機ＥＬ表示装置などの表示装置や受光素子を備えたエリアセンサにも適用できるのは勿論である。

　先ず、本実施の形態のエリアセンサ一体型の液晶表示装置１の構成を、図３を参照しながら説明する。

　図３に示すエリアセンサ一体型の液晶表示装置１（単に液晶表示装置１とも呼ぶ）は、図示されてないが、液晶表示パネル２の各画素毎に光センサを備えており、上記光センサによって、液晶表示パネル２の表示面２ａ側に置かれる被検出物７（指）の画像を抽出し、その位置を検出するようになっている。

　また、液晶表示パネル２の背面２ｂ側には、液晶表示パネル２に光を照射するバックライト３が備えられている。

　液晶表示パネル２は、多数の画素がマトリクス状に配列されたアクティブマトリクス基板４と、これに対向するように配置された対向基板５とを備えており、さらにこれら２つの基板４・５の間に液晶層６が挟持された構造を有している。なお、本実施の形態においては、ＶＡモードの液晶表示パネル２を用いているが、液晶表示パネル２の表示モードは特に限定されず、ＴＮモード、ＩＰＳモードなどのあらゆる表示モードを適用することができる。

　また、図示されてないが、液晶表示パネル２の外側には、液晶表示パネル２を挟み込むようにして表側偏光板と裏側偏光板とがそれぞれ設けられている。

　上記各偏光板は、偏光子としての役割を果たし、液晶層６における液晶材料が垂直配向型である本実施の形態においては、上記表側偏光板の偏光方向と上記裏側偏光板の偏光方向とを、互いにクロスニコルの関係になるように配置することで、ノーマリーブラックモードの液晶表示装置を実現することができる。

　なお、アクティブマトリクス基板４には、図示されてないが、各画素を駆動するためのスイッチング素子であるＴＦＴ素子、上記ＴＦＴ素子に電気的に接続された画素電極、上記光センサ、配向膜などが形成されている。

　一方、対向基板５には、図示してないが、カラーフィルタ層、対向電極および配向膜などが形成されている。上記カラーフィルタ層は、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの色を有する着色部と、ブラックマトリクスから構成することができる。

　なお、本実施の形態においては、バックライト３として、表示用の可視光の他に、表示画像の画質に影響を及ぼすことなく、外部の明るさに関係なくより精度高く被検出物７を検出するため、不可視光である赤外光をも均一に発光する機能を備えたバックライトを用いている。上記赤外光は、不可視光であるため、必要に応じて、適宜変調して、パルス発光させることができる。

　また、本実施の形態においては、バックライト３から出射された上記赤外光が被検出物７に反射され、上記光センサに入射される入射光量を検出する構成を用いているため、上記光センサが形成されている領域上には、対向基板５に設けられたカーボンブラックなどからなるブラックマトリクスが位置するようになっている。

　上記カーボンブラックなどからなるブラックマトリクスは、可視光は遮断し、赤外光は透過させるので、上記ブラックマトリクスを透過して上記光センサに入射される光は、赤外光のみとなるので、被検出物７に反射され、上記光センサに入射される赤外光の光量を検出することができる。

　なお、バックライト３が、赤外光を含まず、表示用の可視光を発光するバックライトである場合には、上記光センサが形成されている領域上には、対向基板５に設けられたカーボンブラックなどからなるブラックマトリクスの開口部が位置するようにし、以下のように、被検出物７の位置を検出することができる。

　比較的外部が明るい場合には、光センサへの外部からの光の入射光量が、被検出物７が存在する箇所と存在しない箇所とでは、異なるため、バックライトを使用せず、被検出物７の位置を検出することができる。

　一方、比較的外部が暗い場合には、光センサへの外部からの光の入射光量が、被検出物７が存在する箇所と存在しない箇所とで、差がないため、バックライトから出射された光が被検出物７が存在する箇所では反射されることを利用して、被検出物７の位置を検出することができる。

　以下、図１および図２に基づいて、本実施の形態の液晶表示装置１に備えられた光センサについて詳しく説明する。

　図１は、本実施の形態の液晶表示装置１に備えられた光センサの概略構成を示す図である。

　図１の（ａ）は、アクティブマトリクス基板４に備えられた図中、Ｘ方向の斜め上方向（以下、左上方向と称する）に指向特性を有する光センサ８ａ（第１の受光素子）を示しており、図１の（ｂ）は、アクティブマトリクス基板４に備えられた図中、Ｘ方向の斜め下方向（以下、右上方向と称する）に指向特性を有する光センサ８ｂ（第２の受光素子）を示している。

　一方、図１の（ｃ）は、アクティブマトリクス基板４に備えられた図中、Ｙ方向の斜め上方向（以下、斜め上方向と称する）に指向特性を有する光センサ８ｃ（第３の受光素子）を示しており、図１の（ｄ）は、アクティブマトリクス基板４に備えられた図中、Ｙ方向の斜め下方向（以下、斜め下方向と称する）に指向特性を有する光センサ８ｄ（第４の受光素子）を示している。

　なお、図１において、Ｘ方向とＹ方向とは、互いに直交しているものとするが、これに限定されることはない。

　図１の（ａ）から図１の（ｄ）に図示されているように、本実施の形態においては、センシング速度が高い光センサ（受光素子）を比較的容易に製造するという観点から、Ｐ＋層９ｐ＋、Ｉ層９ｉ（第１の受光部・第２の受光部・第３の受光部・第４の受光部）およびＮ＋層９ｎ＋の各層が互いに重なりを持たない構造を有するＰＩＮダイオードを用いているが、これに限定されることはない。

　また、光センサとしては、上記光センサに備えられた受光部における、光の受光量に応じて異なる電流値を流すものであればよく、例えば、ＣＣＤ、ＣＭＯＳ、ＰＮダイオード、フォトトランジスタなどを用いることもできる。

　以下、アクティブマトリクス基板４上に、光センサ８ａ・８ｂ・８ｃ・８ｄを形成するプロセスについて説明する。

　本実施の形態においては、アクティブマトリクス基板４を構成するための基板として、ガラス基板を用いているが、これに限定されることなく、石英基板やプラスチック基板などを用いることもできる。

　上記ガラス基板においては、図示されてないが、詳しくは後述する画素ＴＦＴと光センサ８ａ・８ｂ・８ｃ・８ｄとが形成される面には、バックライト３から出射された光が、上記画素ＴＦＴと光センサ８ａ・８ｂ・８ｃ・８ｄとに入射するのを遮断するための遮光膜が形成されている。そして、上記遮光膜の上側には、上記遮光膜およびガラス基板の全面を覆うようにベースコート膜が形成されている。

　上記ベースコート膜としては、シリコン酸化膜、シリコン窒化膜、シリコン窒化酸化膜などの絶縁性無機物質からなる膜、あるいはこれらを適宜組み合わせた積層膜を用いることが可能であり、本実施の形態においては、シリコン酸化膜を用いた。また、これらの膜は、ＬＰＣＶＤ法、プラズマＣＶＤ法、スパッタ法等により堆積させて形成することができる。

　そして、ベースコート膜の上面には、図１の（ａ）から図１の（ｄ）に示す光センサ８ａ・８ｂ・８ｃ・８ｄが形成されている。

　なお、上記ベースコート膜上に光センサ８ａ・８ｂ・８ｃ・８ｄを形成するプロセスは次のとおりである。

　先ず、上記ベースコート膜上には、ＬＰＣＶＤ法、プラズマＣＶＤ法、スパッタ法等により、後から多結晶半導体膜９となる非単結晶半導体薄膜がそれぞれ形成される。

　なお、上記非単結晶半導体薄膜としては、非晶質シリコン、多結晶シリコン、非晶質ゲルマニウム、多結晶ゲルマニウム、非晶質シリコン・ゲルマニウム、多結晶シリコン・ゲルマニウム、非晶質シリコン・カーバイド、多結晶シリコン・カーバイドなどを用いることができる。本実施の形態では、非晶質シリコンを用いている。

　続いて、上記非単結晶半導体薄膜が結晶化されることにより、多結晶半導体膜９となる。結晶化の際にはレーザビーム、電子ビームなどが使用可能であり、本実施の形態ではレーザビームを用いて結晶化を行った。

　次に、多結晶半導体膜９を、上記遮光膜の形成領域に応じてフォトリソグラフィ法によりパターニングをする。

　そして、光センサ８ａ・８ｂ・８ｃ・８ｄを形成する領域における、多結晶半導体膜９の中央には、受光部となる真性半導体層または不純物濃度が相対的に低い半導体層であるＩ層９ｉが形成され、その両側には、Ｐ型の不純物濃度が相対的に高い半導体層であるＰ＋層９ｐ＋と、Ｎ型の不純物濃度が相対的に高い半導体層であるＮ＋層９ｎ＋とがそれぞれ形成される。

　次に、シリコン酸化膜などからなるゲート絶縁膜１０が形成され、ゲート絶縁膜１０によって、多結晶半導体膜９が覆われる。

　それから、ゲート絶縁膜１０を貫通するコンタクトホールが、Ｐ＋層９ｐ＋上及びＮ＋層９ｎ＋上にそれぞれ形成される。

　そして、スパッタ法などにより、全面に導電膜が形成される。

　上記導電膜としては、例えば、アルミニウム等からなる導電膜を用いることができるが、これに限定されることはなく、Ｔａ、Ｗ、Ｔｉ、Ｍｏ、Ａｌ、Ｃｕ、Ｃｒ、Ｎｄなどから選ばれた元素、あるいは前記元素を主成分とする合金材料もしくは化合物材料を用い、必要に応じてこれらの適宜組合せによる積層構造として形成してもよい。また、多結晶シリコンなどに代表される半導体膜にリン、ボロンなどの不純物をドーピングしたものにより上記導電膜を形成してもよい。なお、本実施の形態では、上記導電膜としてアルミニウムを用いている。

　なお、上記導電膜は、フォトリソグラフィ法によりエッチングすることにより所望の形状にパターニングされ、Ｐ＋層９ｐ＋及びＮ＋層９ｎ＋にそれぞれ電気的に接続されるメタル電極（配線）１１ａ・１１ｂとなる。

　そして、ゲート絶縁膜１０と上記導電膜とを覆うように、透明絶縁層１２が全面に形成される。なお、本実施の形態においては、透明絶縁層１２として、アクリル系の樹脂からなる有機層間絶縁膜を用いている。

　その後、ＩＴＯ（Ｉｎｄｉｕｍ　Ｔｉｎ　Ｏｘｉｄｅ）やＩＺＯ（Ｉｎｄｉｕｍ　Ｚｉｎｃ　Ｏｘｉｄｅ）などからなるシールド電極層１３が、図１の（ａ）から図１の（ｄ）に示すように、Ｐ＋層９ｐ＋、Ｉ層９ｉおよびＮ＋層９ｎ＋と平面視において重なるように透明絶縁層１２上に形成される。

　そして、シールド電極層１３上には、開口部１４ａを有する遮光部材１４が形成される。

　また、図２は、図１に示す光センサ８ａ・８ｂ・８ｃ・８ｄの平面図を示す。

　本実施の形態においては、図１の（ａ）および図２の（ａ）に図示されているように、図中の左上方向に指向特性を有する光センサ８ａを形成するため、図中の左上方向からの光成分は受光でき、上記図中の左上方向からの光が、光センサ８ａが形成されている面で鏡面反射される場合の反射光の方向と反対方向である図中の右上方向からの光成分は遮光できるように、遮光部材１４の開口部１４ａを、光センサ８ａの受光部である多結晶半導体膜９のＩ層９ｉに対して、平面視において部分的に重なるように、図中の左方向に所定量ずらして形成している。

　そして、図１の（ｂ）および図２の（ｂ）に図示されているように、図中の右上方向に指向特性を有する光センサ８ｂを形成するため、図中の右上方向からの光成分は受光でき、上記図中の右上方向からの光が、光センサ８ｂが形成されている面で鏡面反射される場合の反射光の方向と反対方向である図中の左上方向からの光成分は遮光できるように、遮光部材１４の開口部１４ａを、光センサ８ｂの受光部である多結晶半導体膜９のＩ層９ｉに対して、平面視において部分的に重なるように、図中の右方向に所定量ずらして形成している。

　また、図１の（ｃ）および図２の（ｃ）に図示されているように、図中の斜め上方向に指向特性を有する光センサ８ｃを形成するため、図中の斜め上方向からの光成分は受光でき、上記図中の斜め上方向からの光が、光センサ８ｃが形成されている面で鏡面反射される場合の反射光の方向と反対方向である図中の斜め下方向からの光成分は遮光できるように、遮光部材１４の開口部１４ａを、光センサ８ｃの受光部である多結晶半導体層９のＩ層９ｉに対して、平面視において部分的に重なるように、図中の上方向に所定量ずらして形成している。

　そして、図１の（ｄ）および図２の（ｄ）に図示されているように、図中の斜め下方向に指向特性を有する光センサ８ｄを形成するため、図中の斜め下方向からの光成分は受光でき、上記図中の斜め下方向からの光が、光センサ８ｄが形成されている面で鏡面反射される場合の反射光の方向と反対方向である図中の斜め上方向からの光成分は遮光できるように、遮光部材１４の開口部１４ａを、光センサ８ｄの受光部である多結晶半導体層９のＩ層９ｉに対して、平面視において部分的に重なるように、図中の下方向に所定量ずらして形成している。

　なお、上記左方向にずらす所定量（図２の（ａ）のｎ＋層９ｎ＋上に形成される遮光部材１４の開口部１４ａ）は、遮光部材１４の開口部１４ａの図２の（ａ）における左右方向の幅である横幅の５％以上５０％以下であることが好ましい。

　また、上記右方向にずらす所定量（図２の（ｂ）のｐ＋層９ｐ＋上に形成される遮光部材１４の開口部１４ａ）は、遮光部材１４の開口部１４ａの図２の（ｂ）における左右方向の幅である横幅の５％以上５０％以下であることが好ましい。

　一方、上記上方向にずらす所定量（図２の（ｃ）のＩ層９ｉと平面視において重ならない遮光部材１４の開口部１４ａ）は、遮光部材１４の開口部１４ａの図２の（ｃ）における上下方向の幅である縦幅の５％以上５０％以下であることが好ましい。

　また、上記下方向にずらす所定量（図２の（ｄ）のＩ層９ｉと平面視において重ならない遮光部材１４の開口部１４ａ）は、遮光部材１４の開口部１４ａの図２の（ｄ）における上下方向の幅である縦幅の５％以上５０％以下であることが好ましい。

　また、本実施の形態においては、遮光部材１４の開口部１４ａを、多結晶半導体膜９のＩ層９ｉに対して、所定量ずらして形成している場合について説明しているが、これに限定されることはなく、光センサの実質的な受光部となる、Ｉ層９ｉ上において導電膜などの非透過性膜が形成されてない部分に対して、所定量ずらして形成してもよい。

　なお、本実施の形態においては、既に上述したように、バックライト３から出射された赤外光が被検出物７に反射され、光センサ８ａ・８ｂ・８ｃ・８ｄに入射される赤外光の入射光量を検出する構成を用いているため、光センサ８ａ・８ｂ・８ｃ・８ｄが形成されている領域上には、対向基板５に設けられたカーボンブラックなどからなるブラックマトリクスが位置するようになっている。

　カーボンブラックなどからなるブラックマトリクスは、可視光は遮断し、赤外光は透過させるので、上記ブラックマトリクスを透過して光センサ８ａ・８ｂ・８ｃ・８ｄに入射される光は、赤外光のみとなるので、本実施の形態においては、遮光部材１４の材料としては、赤外光を遮断するという機能を有するものであれば特に限定されることなく用いることができ、赤外光を遮断することのできる材料としては、例えば、金属材料を挙げることができる。

　本実施の形態においては、遮光部材１４として、アルミニウムを用いているが、これに限定されることはなく、上記赤外光の波長領域において、反射率が高い物質であれば何れも用いることが可能である。

　一方、カーボンブラックなどからなるブラックマトリクスを介さず直接、光センサ８ａ・８ｂ・８ｃ・８ｄに入射される斜め光の影響を考慮する場合や光センサ８ａ・８ｂ・８ｃ・８ｄを備えたエリアセンサ単体で用いる場合や上述したようにバックライト３が、赤外光を含まず、表示用の可視光を発光するバックライトである場合などには、遮光部材１４として、光センサ８ａ・８ｂ・８ｃ・８ｄに感度のある光の波長域をカットできる材料を選択する必要がある。

　さらに具体的には、本実施の形態のように、光センサ８ａ・８ｂ・８ｃ・８ｄの受光部として多結晶シリコンを用いている場合においては、遮光部材１４として、１１００ｎｍ以下の光の波長域を吸収あるいは、反射する材料を選択すればよい。

　このような構成であるため、上記各々の受光素子８ａ・８ｂ・８ｃ・８ｄの配置位置は、他の受光素子８ａ・８ｂ・８ｃ・８ｄの指向特性には影響を与えない。

　すなわち、上記構成においては、各光センサ８ａ・８ｂ・８ｃ・８ｄ毎に、独立的に指向特性を制御できる構成であるため、光センサ８ａ・８ｂ・８ｃ・８ｄの配置位置には、特に制限が生じないこととなる。

　したがって、上記構成によれば、異なる指向特性を有する光センサ８ａ・８ｂ・８ｃ・８ｄを、必ず隣接した位置に設けなくてもよいので、異なる指向特性を有する光センサ８ａ・８ｂ・８ｃ・８ｄを比較的自由に配置することができる。

　図４は、本実施の形態の液晶表示装置１に設けられる光センサ８ａ・８ｂ・８ｃ・８ｄの形成例を示している。

　図示されているように、画素Ｐ（１、１）に図中の左上方向に指向特性を有する光センサ８ａを設けた場合には、画素Ｐ（１、１）の右方向の最隣接画素であるＰ（１、２）には、図中の右上方向に指向特性を有する光センサ８ｂを設け、画素Ｐ（１、１）の下方向の最隣接画素である画素Ｐ（２、１）には、図中の斜め上方向に指向特性を有する光センサ８ｃを設け、画素Ｐ（１、１）の斜め右下方向の最隣接画素である画素Ｐ（２、２）には、図中の斜め下方向に指向特性を有する光センサ８ｄを設けてある。このような配置を繰り返すことによって、例えば、光センサ８ａが設けられている画素の最隣接画素８つには、光センサ８ａ以外の光センサ８ｂ・８ｃ・８ｄが配置されるようになっている。すなわち、ある一つの光センサは、上記一つの光センサとは、指向特性が異なる８つの光センサによって取り囲まれている。

　また、これに限定されることなく、図示してないが、例えば、１画素に指向特性が異なる４種類の受光素子８ａ・８ｂ・８ｃ・８ｄを配置してもよく、この場合、１画素内において、受光素子８ａ・８ｂ・８ｃ・８ｄは、規則的または、ランダムに配置することができる。また、複数の画素に４種類の受光素子８ａ・８ｂ・８ｃ・８ｄを分散して配置することもできる。

　さらには、受光素子８ａ・８ｂ・８ｃ・８ｄの何れも設けられてない画素を含むようにすることもできる。

　また、特定色に関する画素にのみ光センサ８ａ・８ｂ・８ｃ・８ｄを設けることもできる。

　本実施の形態においては、各画素毎に光センサ８ａ・８ｂ・８ｃ・８ｄの何れかを設けている構成を用いているが、これに限定されることなく、被検出物の検出のために求められる解像度と異なる指向特性を有する光センサ８ａ・８ｂ・８ｃ・８ｄによって検出される被検出物の画像から求められる詳しくは後述する視差の精度などを考慮し、光センサ８ａ・８ｂ・８ｃ・８ｄを設けることができる。

　図５は、本実施の形態の液晶表示装置１の各画素における概略的な回路構成を示す図である。

　図示されているように、各画素の下部には、光センサ８ａ・８ｂ・８ｃ・８ｄの何れか一つと、昇圧用のコンデンサ１６と、センサ出力（出力アンプ）の役割を担うトランジスタ１７とで構成された光センサ回路が設けられており、上記各画素における上記光センサ回路が設けられている領域の上部には、図示されてない走査信号線駆動回路（図６参照）から走査信号が供給される走査信号線ＧＬｎおよび図示されてないデータ信号線駆動回路（図６参照）からデータ信号が供給されるデータ信号線ＳＬｎが交差するように形成され、走査信号線ＧＬｎとデータ信号線ＳＬｎとが交差する位置付近には、画素ＴＦＴ１５が形成されている。

　なお、図５は、図４に示すｎ×ｎ画素を有する液晶表示装置１において、隣接する４つの画素Ｐ（ｎ－１、ｎ－１）・Ｐ（ｎ－１、ｎ）・Ｐ（ｎ、ｎ－１）・Ｐ（ｎ、ｎ）の回路構成を例示的に示している。

　なお、本実施の形態においては、画素電極と、液晶層６と、対向電極（Ｖｃｏｍ）とで形成される液晶容量Ｃｌｃに充電された電荷の減衰時間を長くするため、液晶容量Ｃｌｃと並列に補助容量Ｃｓを設けている構成を用いており、補助容量Ｃｓの一端は、画素ＴＦＴ１５のドレイン電極および液晶容量Ｃｌｃの上記画素電極に電気的に接続されており、他端は、該当画素内に走査信号線ＧＬｎと平行に形成された補助容量バスラインＣＳｎに電気的に接続されている。

　以下、上記光センサ回路について、さらに詳しく説明する。

　上記光センサ回路は、センサ出力の役割を担うトランジスタ１７を１つだけ用いた１Ｔ（トランジスタの略）方式の回路として構成されており、トランジスタ１７は、ソースフォロワトランジスタ（電圧フォロワトランジスタ）として機能する。

　トランジスタ１７のドレイン電極はＡＭＰ電源供給バスラインＶｓｎ（ｎは画素の列番号を示す自然数）に接続され、ソース電極は光センサ出力バスラインＶｏｎに接続されている。そして、ＡＭＰ電源供給バスラインＶｓｎおよび光センサ出力バスラインＶｏｎは、図示されてないセンサ読出し回路（図６参照）に接続され、ＡＭＰ電源供給バスラインＶｓｎには上記センサ読出し回路から電源電圧ＶＤＤが印加される。

　また、トランジスタ１７のゲート電極には、ＰＩＮダイオードからなる光センサ８ａ・８ｂ・８ｃ・８ｄの何れか一つが接続されるとともに、昇圧用コンデンサ１６の一端が接続されている。

　さらに、光センサ８ａ・８ｂ・８ｃ・８ｄに備えられたＰＩＮダイオードのアノード電極（図１の（ａ）から図１の（ｄ）におけるメタル電極（配線）１１ａ）は、図示されてないセンサ走査信号線駆動回路（図６参照）からリセット信号ＲＳＴが送られる配線Ｖｒｓｔｎ（ｎは画素の行番号を示す自然数）に接続され、昇圧用コンデンサ１６の他端は、図示されてないセンサ走査信号線駆動回路（図６参照）から光センサ行選択信号ＲＷＳが送られる配線Ｖｒｗｎに接続されている。なお、光センサ行選択信号ＲＷＳは、マトリクス状に並んでいる光センサ回路の特定行を選択し、その特定行にある光センサ回路から検出信号を出力させる役割を持っている。

　次に、図５を参照して、上記光センサ回路の動作について説明する。

　先ず、トランジスタ１７のゲート電極の電位をリセットするために、図示されてないセンサ走査信号線駆動回路（図６参照）から配線Ｖｒｓｔｎにハイレベルのリセット信号ＲＳＴが送られる。これにより、配線Ｖｒｓｔｎにハイレベルのリセット信号ＲＳＴが送られる期間においては、光センサ８ａ・８ｂ・８ｃ・８ｄに備えられたＰＩＮダイオードに順方向バイアスがかかるので、昇圧用コンデンサ１６が充電され、トランジスタ１７のゲート電極の電位は徐々に立ち上がり、最終的に初期化電位に到達する。

　そして、トランジスタ１７のゲート電極の電位が初期化電位に到達した後、リセット信号ＲＳＴをローレベルに落とすと、光センサ８ａ・８ｂ・８ｃ・８ｄに備えられたＰＩＮダイオードのカソード電極（図１の（ａ）から図１の（ｄ）におけるメタル電極（配線）１１ｂ）の電位が、上記アノード電極の電位より高くなるので、上記ＰＩＮダイオードに逆バイアスがかかる。

　この状態で、光センサ８ａ・８ｂ・８ｃ・８ｄに光が照射されると、光の強さに応じて、逆バイアスによる光電流が上記ＰＩＮダイオードに流れる。この結果、昇圧用コンデンサ１６に保持されていた電荷が、配線Ｖｒｓｔｎを介して放電されるため、トランジスタ１７のゲート電極の電位が次第に下がり、最終的には、光の強さに応じた検出電位まで下がる。

　続いて、検出結果の読み取りを行う。この際には、昇圧用コンデンサ１６の他端に、図示されてないセンサ走査信号線駆動回路（図６参照）から配線Ｖｒｗｎを介してハイレベルの行選択信号ＲＷＳが印加される。これにより、昇圧用コンデンサ１６越しに、トランジスタ１７のゲート電極の電位が突き上げられるので、トランジスタ１７のゲート電極の電位は、検出電位に行選択信号ＲＷＳのハイレベルの電位が上乗せされた電位になる。

　以上のように、トランジスタ１７のゲート電極の電位が突き上げられると、トランジスタ１７がオンになるしきい値電圧を越えるので、トランジスタ１７がオン状態になる。この結果、トランジスタ１７のゲート電極の電位のレベルに応じた、すなわち、光の強さに応じた増幅率で制御された電圧が、検出信号として、トランジスタ１７のソース電極から出力され、光センサ出力バスラインＶｏｎを介して図示してないセンサ読出し回路（図６参照）に送られる。

　このようにして、光センサ８ａ・８ｂ・８ｃ・８ｄが受光した光の強さに応じたレベルを持つ検出信号が生成され、しかも、その検出信号は、光センサ８ａ・８ｂ・８ｃ・８ｄが備えられた各画素毎に生成される。したがって、液晶表示装置１に近接配置された被検出物について、検出動作を行うことができる。

　なお、本実施の形態においては、各画素毎に、データ信号線ＳＬｎとは別に、ＡＭＰ電源供給バスラインＶｓｎと光センサ出力バスラインＶｏｎとを設けているが、データ信号線ＳＬｎとＡＭＰ電源供給バスラインＶｓｎとを共有化し、開口率を高くすることもできる。また、複数の画素毎に上記センサ回路が設けられている場合には、ＡＭＰ電源供給バスラインＶｓｎをデータ信号線ＳＬｎ－１と共有化し、光センサ出力バスラインＶｏｎをデータ信号線ＳＬｎと共有化することもできる。

　また、本実施の形態においては、光センサ８ａ・８ｂ・８ｃ・８ｄ、画素ＴＦＴ１５、補助容量Ｃｓ、昇圧用コンデンサ１６、画素電極およびトランジスタ１７は、同一プロセスによって形成しているが、これに限定されることはない。

　以下、図６に基づいて、液晶表示装置１に備えられた概略的な回路構成について説明する。

　図６は、液晶表示装置１の構成を示す概略ブロック図である。

　図示されているように、液晶表示装置１には、液晶表示パネル２、走査信号線駆動回路１８、データ信号線駆動回路／センサ読み出し回路１９、センサ走査信号線駆動回路２０、制御回路２１、センシング画像処理部２２およびインターフェース回路２８が備えられている。

　なお、本実施の形態においては、データ信号線駆動回路の機能とセンサ読み出し回路の機能との兼ね合わせたデータ信号線駆動回路／センサ読み出し回路１９を用いているが、これに限定されることはなく、データ信号線駆動回路とセンサ読み出し回路とを別々に設けることもできる。

　走査信号線駆動回路１８、データ信号線駆動回路／センサ読み出し回路１９およびセンサ走査信号線駆動回路２０は、別途作成したＬＳＩを液晶表示パネル２に外付けしてもよく、また、液晶表示パネル２上にモノリシックに形成してもよい。

　走査信号線駆動回路１８は、図示されてない走査信号線を用いて、画素Ｐ（ｎ、ｎ）を１行ずつ選択的に走査する走査信号を生成する。そして、データ信号線駆動回路／センサ読み出し回路１９は、図示されてないデータ信号線を用いて、各画素Ｐ（ｎ、ｎ）にデータ信号を供給する。

　また、センサ走査信号線駆動回路２０は、上記光センサ回路を１行ずつ選択して駆動させ、データ信号線駆動回路／センサ読み出し回路１９は、図示されてないＡＭＰ電源供給バスラインを用いて、上記光センサ回路に一定電位の電源電圧ＶＤＤを供給するとともに、図示されてない光センサ出力バスラインを用いて、被検出物の検出信号を上記光センサ回路から読み出す。

　そして、制御回路２１は、走査信号線駆動回路１８、データ信号線駆動回路／センサ読み出し回路１９、センサ走査信号線駆動回路２０およびセンシング画像処理部２２へ必要な電源電圧および制御信号を供給する。

　センシング画像処理部２２は、左上方向に指向特性を有する光センサ８ａから得られる被検出物の画像データを格納する左画像用フレームメモリ２３と右上方向に指向特性を有する光センサ８ｂから得られる被検出物の画像データを格納する右画像用フレームメモリ２４とを備えている。

　また、左画像用フレームメモリ２３から得られる左画像と右画像用フレームメモリ２４から得られる右画像との相関演算を行い、上記両画像の視差と上記被検出物の高さ（Ｚ座標）を求める視差および高さ検出回路２５を備えている。

　さらに、左画像用フレームメモリ２３から得られる左画像と右画像用フレームメモリ２４から得られる右画像と視差および高さ検出回路２５から得られる視差とに基づいて、基準画像を生成する基準画像生成回路２６と、上記基準画像からＸＹ座標を抽出する座標抽出回路２７とを備えている。

　また、センシング画像処理部２２には、さらに、斜め上方向に指向特性を有する光センサ８ｃから得られる被検出物の画像データを格納する上画像用フレームメモリ２９と斜め下方向に指向特性を有する光センサ８ｄから得られる被検出物の画像データを格納する下画像用フレームメモリ３０とを備えている。

　また、上画像用フレームメモリ２９から得られる上画像と下画像用フレームメモリ３０から得られる下画像との相関演算を行い、上記両画像の視差と上記被検出物の高さ（Ｚ座標）を求める視差および高さ検出回路３１を備えている。

　さらに、上画像用フレームメモリ２９から得られる上画像と下画像用フレームメモリ３０から得られる下画像と視差および高さ検出回路３１から得られる視差とに基づいて、基準画像を生成する基準画像生成回路３２と、上記基準画像からＸＹ座標を抽出する座標抽出回路３３とを備えている。

　そして、センシング画像処理部２２によって、得られる各情報は、インターフェース回路２８を介して図示されてないＣＰＵなどに取り出すことができる。

　図７は、２値化された左画像と右画像とを用いて相関演算を行い、視差を算出する場合を説明するための図である。

　図７の（ａ）は、液晶表示パネル２上に被検出物７として指が存在する場合を示している。

　また、図７の（ｂ）は、左上方向に指向特性を有する光センサ８ａから得られる被検出物の画像データを、一定の閾値未満では黒色に、一定の閾値以上では白色になるように２値化した左画像を示しており、一方、図７の（ｃ）は、右上方向に指向特性を有する光センサ８ｂから得られる被検出物の画像データを、一定の閾値未満では黒色に、一定の閾値以上では白色になるように２値化した右画像を示している。

　図７の（ｂ）および図７の（ｃ）に図示されているように、上記左画像は、実際の指の位置より左方向にずれており、上記右画像は、実際の指の位置より右方向にずれている。したがって、上記左画像と上記右画像との間には、視差が存在する。

　図７の（ｄ）に図示されているように、上記視差を求めるため、正規化相関法を用いて、上記左画像と上記右画像との何れか一方を基準とし、基準とした画像を１画素ずつずらしながら、各ライン毎に上記左画像と上記右画像とのマッチングを行い、７画素をずらした際に相関値Ｒが最大となり、上記視差は、７画素に相当し、液晶表示パネル２の画素ピッチを基に、視差距離を算出することができる。

　一方、図８は、２５６階調の左画像と右画像とを正規化相関法を用いて、各ライン毎にマッチングを行い、視差を算出する場合を説明するための図である。

　図示されているように、２５６階調の左画像と右画像とを用いて相関演算を行い、視差を算出した場合、相関値Ｒのピーク値がブロードになるため、上記視差を精度高く算出するのは、困難である。

　また、２５６階調の画像を上記視差の算出に用いる場合は、２値化された画像を用いる場合と比較して、その情報量が多く、情報量が多い分だけ相関演算における計算処理量が膨大になり、膨大な計算量を高速に処理できるハードウェアやソフトウェアを備える必要が生じる。

　図９は、エッジが検出された左画像と右画像とを用いて各ライン毎に相関演算を行い、視差を算出する場合を説明するための図である。

　図９の（ａ）は、液晶表示パネル２上に被検出物７として指が存在する場合を示している。

　また、図９の（ｂ）は、左上方向に指向特性を有する光センサ８ａから得られる被検出物の左画像を、ＳｏｂｅｌフィルタやＲｏｂｅｒｔｓフィルタなどの公知のフィルタを用いてフィルタ処理し、被検出物である指の輪郭線、すなわち、エッジを検出した画像である。

　一方、図９の（ｃ）は、右上方向に指向特性を有する光センサ８ｂから得られる被検出物の右画像を、ＳｏｂｅｌフィルタやＲｏｂｅｒｔｓフィルタなどの公知のフィルタを用いてフィルタ処理し、被検出物である指の輪郭線、すなわち、エッジを検出した画像（エッジ画像）である。

　図９の（ｂ）および図９の（ｃ）に図示されているように、上記左画像は、実際の指の位置より左方向にずれており、上記右画像は、実際の指の位置より右方向にずれている。したがって、上記左画像と上記右画像との間には、視差が存在する。

　図１０は、図９の（ｂ）および図９の（ｃ）に図示したエッジが検出された左画像と右画像とを正規化相関法を用いて、マッチングを行い、視差を求める場合を説明するための図である。

　図１０の（ａ）は、エッジが検出された左画像を示し、図１０の（ｂ）は、エッジが検出された右画像を示し、図１０の（ｃ）は、上記右画像を基準とし、基準とした右画像を１画素ずつずらしながら、上記左画像と上記右画像とを１ラインずつマッチングを行い、７画素をずらした際に上記左画像と上記右画像とにおける被検出物である指の輪郭線がちょうど一致することを示している。

　図１０の（ｄ）に図示されているように、エッジが検出された左画像と右画像とを用いて、マッチングを行いながら、相関値Ｒを求めた場合には、図７に図示されている２値化された画像を用いる場合と比較すると、ゴーストが生じないので、比較的精度高く視差を算出することができる。

　図１１は、左画像と右画像とのエッジ方向画像を求め、エッジの方向に関する項を含む相関演算によって、視差を求める場合を説明するための図である。

　図１１の（ａ）は、液晶表示パネル２上に被検出物７として指が存在する場合を示している。

　また、図１１の（ｂ）は、左上方向に指向特性を有する光センサ８ａから得られる被検出物の左画像を、ＳｏｂｅｌフィルタやＲｏｂｅｒｔｓフィルタなどの公知のフィルタを用いてフィルタ処理し、被検出物である指の輪郭線、すなわち、エッジを検出するとともに、上記エッジの方向も検出した画像である。なお、エッジの方向を示すため、図１１の（ｂ）には、その方向によって、１から８の数字を記載している。

　一方、図１１の（ｃ）は、右上方向に指向特性を有する光センサ８ｂから得られる被検出物の右画像を、ＳｏｂｅｌフィルタやＲｏｂｅｒｔｓフィルタなどの公知のフィルタを用いてフィルタ処理し、被検出物である指の輪郭線、すなわち、エッジを検出するとともに、上記エッジの方向も検出した画像である。なお、エッジの方向を示すため、図１１の（ｃ）には、その方向によって、１から８の数字を記載している。

　なお、エッジの方向に関する項を含む相関演算によって、視差を求めるため、相関関数として、下記（式１）を用いた。

　上記（式１）において、ＩＬｉは、左画像のｉ番目のエッジ強度であり、ＩＲｉ＋ｊは、右画像のｊ画素だけ左へずらしたｉ番目のエッジ強度である。

　また、ｗｄｉｒｉは、左画像のｉ番目のエッジの方向と右画像のｊ画素だけ左へずらしたｉ番目のエッジの方向とのなす角度のＣＯＳ値である。したがって、例えば、上記両エッジの方向が同じであるとｗｄｉｒｉは１となり、上記両エッジの方向が９０度異なるとｗｄｉｒｉは０、上記両エッジの方向が１８０度異なるとｗｄｉｒｉは－１となる。

　以上のように、相関演算を行う際に、エッジの方向に関する項であるｗｄｉｒｉの重み付けをすることにより、左画像の左エッジと右画像の左エッジ、左画像の右エッジと右画像の右エッジが一致した場合、高い相関値Ｒを得ることができる。

　したがって、上記（式１）を用いて、相関演算を行い、視差を求める場合、精度高く視差を求めることができる。

　図７から図１１では、左上方向に指向特性を有する光センサ８ａから得られる被検出物の左画像と右上方向に指向特性を有する光センサ８ｂから得られる被検出物の右画像とを用いて相関演算を行い、視差を算出する例を説明した。

　以下の図１２および図１３では、斜め上方向に指向特性を有する光センサ８ｃから得られる被検出物の上画像と斜め下方向に指向特性を有する光センサ８ｄから得られる被検出物の下画像とを用いて相関演算を行い、視差を算出する一例について説明する。

　なお、上記上画像と上記下画像とを用いて相関演算を行い、視差を算出する場合においても、上述した上記左画像と上記右画像とを用いて相関演算を行い、視差を算出する各方法を用いることができるので、ここでは、例示的にエッジが検出された上画像と下画像とを用いて各ライン毎に相関演算を行い、視差を算出する場合について説明する。

　図１２は、エッジが検出された上画像と下画像とを用いて各ライン毎に相関演算を行い、視差を算出する場合を説明するための図である。

　図１２の（ａ）は、液晶表示パネル２上に被検出物７として指が存在する場合を示している。

　また、図１２の（ｂ）は、斜め上方向に指向特性を有する光センサ８ｃから得られる被検出物の上画像を、ＳｏｂｅｌフィルタやＲｏｂｅｒｔｓフィルタなどの公知のフィルタを用いてフィルタ処理し、被検出物である指の輪郭線、すなわち、エッジを検出した画像である。

　一方、図１２の（ｃ）は、斜め下方向に指向特性を有する光センサ８ｄから得られる被検出物の下画像を、ＳｏｂｅｌフィルタやＲｏｂｅｒｔｓフィルタなどの公知のフィルタを用いてフィルタ処理し、被検出物である指の輪郭線、すなわち、エッジを検出した画像である。

　図１２の（ｂ）および図１２の（ｃ）に図示されているように、上記上画像は、実際の指の位置より上方向にずれており、上記下画像は、実際の指の位置より下方向にずれている。したがって、上記上画像と上記下画像との間には、視差が存在する。

　図１３は、図１２の（ｂ）および図１２の（ｃ）に図示したエッジが検出された上画像と下画像とを正規化相関法を用いて、マッチングを行い、視差を求める場合を説明するための図である。

　図１３の（ａ）は、エッジが検出された上画像を示し、図１３の（ｂ）は、エッジが検出された下画像を示し、図１３の（ｃ）は、上記下画像を基準とし、基準とした下画像を１画素ずつずらしながら、上記上画像と上記下画像とを１ラインずつマッチングを行い、７画素をずらした際に上記上画像と上記下画像とにおける被検出物である指の輪郭線がちょうど一致することを示している。

　図１３の（ｄ）に図示されているように、エッジが検出された上画像と下画像とを用いて、マッチングを行いながら、相関値Ｒを求めた場合には、図７に図示されている２値化された画像を用いる場合と比較すると、ゴーストが生じないので、比較的精度高く視差を算出することができる。

　したがって、液晶表示装置１は、左上方向に指向特性を有する光センサ８ａから得られる被検出物の左画像と右上方向に指向特性を有する光センサ８ｂから得られる被検出物の右画像とを用いて、左右方向の視差を検出することができ、さらには、斜め上方向に指向特性を有する光センサ８ｃから得られる被検出物の上画像と斜め下方向に指向特性を有する光センサ８ｄから得られる被検出物の下画像とを用いて、上下方向の視差を検出することができる構成となっている。

　よって、２軸方向（左右方向および上下方向）の視差に基づいて、被検出物７の高さを検出できるので、被検出物７が似通った形状を有する、例えば、複数の指であり、上記複数の指が、等間隔で直線的に配置された場合においても、精度の高い距離（高さ）の推定を行うことができる。

　なお、図１１に示した方法を上画像と下画像に適用し、上画像と下画像とのエッジ方向画像を求め、エッジの方向に関する項を含む相関演算によって、視差を求める場合には、上記（式１）の代わりに下記（式２）を用いればよい。

　上記（式２）において、ＩＵｉは、上画像のｉ番目のエッジ強度であり、ＩＤｉ＋ｊは、下画像のｊ画素だけ上へずらしたｉ番目のエッジ強度である。

　また、ｗｄｉｒｉは、上画像のｉ番目のエッジの方向と下画像のｊ画素だけ上へずらしたｉ番目のエッジの方向とのなす角度のＣＯＳ値である。

　図１４は、上述したような方法で求めた視差ｄと、被検出物（指）７からの反射光の光センサ８ａ・８ｂ・８ｃ・８ｄへの入射角、すなわち、光センサ８ａ・８ｂ・８ｃ・８ｄにおけるＩ層９ｉの垂線と上記反射光とのなす角θとから、Ｉ層９ｉから被検出物（指）７までの高さｈを求める方法を説明するための図である。

　図１４に図示されている視差ｄと、入射角θと、高さｈとは、Ｔａｎθ＝（ｄ／２）／ｈとなり、この式を高さｈについて整理すると、ｈ＝（ｄ／２）×（１／Ｔａｎθ）となる。

　したがって、各ライン毎に求まった視差ｄと、設定値である入射角θとからＩ層９ｉから被検出物（指）７までの高さｈを求めることができる。

　なお、本実施の形態においては、上記入射角θを、光センサ８ａ・８ｂ・８ｃ・８ｄにおけるＩ層９ｉの中心からの垂線と、Ｉ層９ｉの中心と遮光部材１４の開口部１４ａにおける中心とを結ぶ直線との成す角としたが、これに限定されることはない。

　なお、図６に示す視差および高さ検出回路２５・３１から得られる信頼性情報（信頼度）は、下記（式３）および下記（式４）によって、求めることができ、相関値Ｒの最大値Ｒｊｍａｘの大きさの平方根をエッジ強度で正規化したものである。

　したがって、液晶表示装置１は、図６に示す視差および高さ検出回路２５・３１のそれぞれから高さ（Ｚ座標）および信頼性情報（信頼度）を得ることができるので、得られる２つの高さ中、より信頼度の高い方を最終的な高さ（Ｚ座標）とすることにより、より精度高く、被検出物の高さの推定を行うことができる。

　以下、図１５から図１９に基づいて、図６に示す視差および高さ検出回路２５で、左画像用フレームメモリ２３から得られる左画像と右画像用フレームメモリ２４から得られる右画像との相関演算を行うフローと上記両画像の視差を求めるフローについて詳しく説明する。

　なお、図６に示す視差および高さ検出回路３１で、上画像用フレームメモリ２９から得られる上画像と下画像用フレームメモリ３０から得られる下画像との相関演算を行うフローと上記両画像の視差を求めるフローについては、上記視差および高さ検出回路２５で行われるフローと、ずらす方向が異なる点以外は同様であるため、その説明を省略する。

　なお、ここでは、図１１に示すように、左画像と右画像とのエッジ方向画像を求め、エッジの方向に関する項を含む相関演算によって、視差を求める場合について説明する。

　図１５は、画素毎の相関関数を求めるフローを説明するための図であり、図１６は、図１５におけるＲ（ｊ、ｋ）を示す図であり、ＨＳＺは横方向の画素数を、ＶＳＺは縦方向の画素数をそれぞれ示す。また、図１７は、エッジの方向に関する項であるＷｄｉｒの値を求めるための参照テーブルである。

　図１５に図示されているように、フローの開始とともに、初期値として、Ｒ（ｊ、ｋ）＝０、ｋ＝０、ｊ＝０、ｉ＝０が設定される。

　そして、Ｓ１０１では、図１７に示す参照テーブルを参照して、左画像のある画素におけるエッジ方向と右画像のある画素におけるエッジ方向との成す角によって定まるＣＯＳ値であるＷｄｉｒを求める。

　図１７に図示されているように、上記エッジの方向は１から８の数字で記載されており、左画像のある画素におけるエッジ方向と右画像のある画素におけるエッジ方向とが同じである場合は、ＣＯＳ０となり、Ｗｄｉｒは１となる。

　それから、Ｓ１０２では、ｉ＋ｊが０以上、ＨＳＺ－１以下であるかを判断し、そうであれば、ＰｒｉｊをＰＲ（ｉ＋ｊ、ｋ）とし、そうでなければ、Ｐｒｉｊを０とする。

　そして、Ｓ１０３では、先ず、左画像の一番左上画素（０、０）と右画像の一番左上画素（０、０）との相関関数を算出し、Ｓ１０４で、ｉがＨＳＺ以上と判断されるまでは、右画像を同一行内で一列ずつずらしながら、左画像の一番左上画素（０、０）と右画像の一番上の行の全ての画素（０、０）～（０、ＨＳＺ－１）との相関関数を算出する。

　一方、Ｓ１０４で、ｉがＨＳＺ以上と判断された場合には、左画像を同一行内で一列ずらした画素（０、１）と右画像の一番上の行の全ての画素（０、０）～（０、ＨＳＺ－１）との相関関数を算出する。

　そして、Ｓ１０５で、ｊがＨＳＺ以上と判断されるまでは、左画像を同一行内で一列ずつずらしながら、左画像の画素（０、２）～（０、ＨＳＺ－１）それぞれと右画像の一番上の行の全ての画素（０、０）～（０、ＨＳＺ－１）との相関関数を算出する。

　一方、Ｓ１０５で、ｊがＨＳＺ以上と判断された場合には、左画像を一行ずらした画素（１、０）～（１、ＨＳＺ－１）それぞれと右画像の２番目の行の全ての画素（１、０）～（１、ＨＳＺ－１）との相関関数を算出する。

　そして、Ｓ１０６で、ｋがＶＳＺ以上と判断されるまでは、左画像を一行ずつずらしながら、上記と同様に全ての左画像の画素と全ての右画像の画素との相関関数を算出する。

　それから、Ｓ１０６で、ｋがＶＳＺ以上と判断された時点で上記フローは終了するようになっている。

　以上のようにして、本実施の形態においては、左画像と右画像との各ライン毎の相関関数を求めることができる。

　以下、図１８および図１９に基づいて、以上のようにして得られた相関関数の最大値を求めることにより、視差を求めるフローについて説明する。

　図１８は、各ライン毎の相関関数の最大値を求めるフローを説明するための図であり、図１９は、図１８におけるＲ（ｊ、ｋ）と視差ｚ（ｋ）とを示す図である。

　図１８に図示されているように、フローの開始とともに、初期値として、ｚ（ｋ）＝０、ｋ＝０、ｉ＝０が設定される。

　そして、Ｓ２０１で、ｋ（ｚ）＜Ｒ（ｊ、ｋ）であると判断された場合には、左画像の一番左上画素（０、０）と右画像の一番上の行の全ての画素（０、０）～（０、ＨＳＺ－１）との相関関数の最大値を求める。

　そして、Ｓ２０２で、ｊがＨＳＺ以上と判断されるまでは、左画像を同一行内で一列ずつ、ずらしながら、左画像の画素（０、１）～（０、ＨＳＺ－１）それぞれと右画像の一番上の行の全ての画素（０、０）～（０、ＨＳＺ－１）との相関関数の最大値を求める。

　なお、Ｓ２０１で、ｋ（ｚ）≧Ｒ（ｊ、ｋ）であると判断された場合には、以上のように相関関数の最大値を求めることなく、左画像を同一行内で一列ずらす。

　また、Ｓ２０２で、ｊがＨＳＺ以上と判断された場合には、左画像を一行ずらしたそれぞれの画素（１、０）～（１、ＨＳＺ－１）と右画像の２番目の行の全ての画素（１、０）～（１、ＨＳＺ－１）との相関関数の最大値を求める。

　そして、Ｓ２０３で、ｋがＶＳＺ以上と判断されるまでは、左画像を一行ずつ、ずらしながら、上記と同様に全ての左画像の画素と全ての右画像の画素との相関関数の最大値を求める。

　以上のようにして、各ライン毎の相関関数の最大値を求めることにより、視差ｚ（ｋ）を求めることができる。

　〔実施の形態２〕
　次に、図２０に基づいて、本発明の第２の実施形態について説明する。本実施の形態は、光センサ８ａ・８ｂ・８ｃ・８ｄへの入射角を一定の範囲内に制限するレンズ（光学素子）３４ａ・３４ｂ・３４ｃ・３４ｄが設けられている点において実施の形態１とは異なっており、その他の構成については実施の形態１において説明したとおりである。説明の便宜上、上記の実施の形態１の図面に示した部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。

　図２０は、入射角を一定の範囲内に制限するレンズ３４ａ・３４ｂ・３４ｃ・３４ｄが備えられている光センサの概略構成を示す図である。

　図２０（ａ）から図２０（ｄ）に図示されているように、各々の光センサ８ａ・８ｂ・８ｃ・８ｄにおいては、受光部であるＩ層９ｉより上層であり、遮光部材１４の開口部１４ａと平面視において重なる位置に、受光部であるＩ層９ｉへの入射角を一定の範囲内に制限するレンズ３４ａ・３４ｂ・３４ｃ・３４ｄが設けられている。

　レンズ３４ａ・３４ｂ・３４ｃ・３４ｄは、光センサ８ａ・８ｂ・８ｃ・８ｄの指向特性によって、受光部であるＩ層９ｉと対向するレンズ面の厚さが左右または上下で異なっており、例えば、図中の左上方向に指向特性を有する光センサ８ａの場合は、受光部であるＩ層９ｉと対向するレンズ面において、図中左側がより厚くなるように形成されている。

　上記構成によれば、受光部であるＩ層９ｉへ入射される入射光のボケを改善することができ、さらに、精度の高い被検出物の距離の推定を行うことができる液晶表示装置１を実現することができる。

　本発明のエリアセンサにおいては、上記複数の第１の受光素子によって検出された被検出物の第１の画像と、上記複数の第２の受光素子によって検出された上記被検出物の第２の画像と、上記複数の第３の受光素子によって検出された被検出物の第３の画像と、上記複数の第４の受光素子によって検出された上記被検出物の第４の画像とは、同タイミングで検出され、上記第１の画像と上記第２の画像との相関演算を行い、算出された上記第１の画像と上記第２の画像との視差に基づいて、上記被検出物の上記面からの高さを検出する第１の検出回路と、上記第３の画像と上記第４の画像との相関演算を行い、算出された上記第３の画像と上記第４の画像との視差に基づいて、上記被検出物の上記面からの高さを検出する第２の検出回路とを備えていることが好ましい。

　本発明のエリアセンサにおいて、上記第１の画像、上記第２の画像、上記第３の画像および上記第４の画像は、それぞれ２値化された画像であり、上記第１の画像と上記第２の画像との視差および上記第３の画像と上記第４の画像との視差は、上記２値化された画像の相関演算によって、算出されることが好ましい。

　例えば、上記視差の算出に２５６階調の画像を用いる場合には、上記２値化された画像を用いる場合に比べると、その情報量が多く、情報量が多い分だけ相関演算における計算処理量が膨大になり、膨大な計算量を高速に処理できるハードウェアやソフトウェアを備える必要が生じることとなる。

　一方、上記構成によれば、上記視差の算出に２値化された画像を用いているため、上記相関演算における計算処理量を少なくすることができる。

　本発明のエリアセンサにおいて、上記第１の画像、上記第２の画像、上記第３の画像および上記第４の画像は、上記被検出物の輪郭線を抽出したエッジ画像であり、上記第１の画像と上記第２の画像との視差および上記第３の画像と上記第４の画像との視差は、上記エッジ画像の相関演算によって、算出されることが好ましい。

　例えば、２５６階調の画像を上記視差の算出に用いた場合には、画像間のパターンが最も一致する、相関値（類似度）が最大を示す部分がブロードになるため、正確な視差を算出できず、精度の高い上記被検出物の距離（高さ）の推定を行うことができない場合がある。

　また、２値化された画像を上記視差の算出に用いた場合には、画像間のパターンが最も一致する、相関値（類似度）が最大を示す部分の両側に、ゴーストピークが生じるため、上記視差算出の精度の低下を招いてしまう。

　一方、上記構成によれば、上記視差の算出に上記被検出物の輪郭線を抽出したエッジ画像が用いられているため、画像間のパターンが最も一致する、相関値（類似度）が最大を示す部分を比較的シャープに得ることができるので、正確な視差を算出でき、精度の高い上記被検出物との距離（高さ）の推定を行うことができるエリアセンサを実現することができる。

　本発明のエリアセンサにおいて、上記第１の画像、上記第２の画像、上記第３の画像および上記第４の画像は、上記被検出物の輪郭線を抽出したエッジ画像であり、上記第１の画像と上記第２の画像との視差および上記第３の画像と上記第４の画像との視差は、上記エッジの方向に関する項を含む相関演算によって、算出されることが好ましい。

　上記構成によれば、例えば、上記第１の画像における上記被検出物の左エッジのエッジの方向と上記第２の画像における上記被検出物の左エッジのエッジの方向とが一致した場合、または、上記第３の画像における上記被検出物の左エッジのエッジの方向と上記第４の画像における上記被検出物の左エッジのエッジの方向とが一致した場合に、相関値（類似度）が高くなるように設定されたエッジの方向に関する項を含む相関演算によって、それぞれの視差を算出している。

　したがって、画像間のパターンが最も一致する、相関値（類似度）が最大を示す部分を比較的シャープに得ることができるので、正確な視差を算出でき、精度の高い上記被検出物との距離（高さ）の推定を行うことができるエリアセンサを実現することができる。

　本発明のエリアセンサにおいては、上記第１の画像と、上記第２の画像と、上記第１の画像と上記第２の画像との視差とに基づいて、第１の基準画像を生成する第１の基準画像生成回路と、上記第３の画像と、上記第４の画像と、上記第３の画像と上記第４の画像との視差とに基づいて、第２の基準画像を生成する第２の基準画像生成回路と、上記第１の基準画像から座標を抽出する第１の座標抽出回路と、上記第２の基準画像から座標を抽出する第２の座標抽出回路とを備えていることが好ましい。

　上記構成によれば、上記被検出物の距離、すなわち、上記被検出物の上記各受光素子が形成されている面からの距離（高さ）に関する座標（Ｚ座標）のみでなく、上記第１の基準画像または、上記第２の基準画像から上記各受光素子が形成されている面上の座標（ＸＹ座標）も抽出することができる。

　したがって、例えば、上記エリアセンサを３次元座標（ＸＹＺ座標）の情報入力手段として用いることもできる。

　本発明のエリアセンサにおいて、上記第１の受光部、上記第２の受光部、上記第３の受光部および上記第４の受光部より上層であり、上記第１の遮光部材の開口部、上記第２の遮光部材の開口部、上記第３の遮光部材の開口部および上記第４の遮光部材の開口部と平面視において重なる各々の位置には、上記第１の受光部、上記第２の受光部、上記第３の受光部および上記第４の受光部への上記光の入射角を一定の範囲内に制限する光学素子が設けられていることが好ましい。

　上記構成によれば、上記各開口部と平面視において重なる位置に、上記各受光部への光の入射角を一定の範囲内に制限する光学素子が設けられているため、上記各受光部へ入射される入射光のボケを改善することができ、さらに、精度の高い上記被検出物との距離（高さ）の推定を行うことができるエリアセンサを実現することができる。

　本発明の表示装置は、上記第１の受光素子と上記第２の受光素子と上記第３の受光素子と上記第４の受光素子とが形成されている面を有するアクティブマトリクス基板と、上記第１の受光素子と上記第２の受光素子と上記第３の受光素子と上記第４の受光素子とが形成されている面と対向するように配置された対向基板と、上記アクティブマトリクス基板と上記対向基板との間に挟持された液晶層とを備えていることが好ましい。

　上記構成によれば、上記エリアセンサが一体化された液晶表示装置を実現することができる。したがって、上記液晶表示装置の画像を見ながら、上記エリアセンサを用いて、情報入力を行うことができる。

　本発明は上記した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。

　本発明は、受光素子（光センサ）を備えたエリアセンサおよびこのようなエリアセンサを備えている表示装置に適用することができる。

　１　　　　　　　　　　　　　　　液晶表示装置（表示装置）
　２　　　　　　　　　　　　　　　液晶表示パネル
　３　　　　　　　　　　　　　　　バックライト
　７　　　　　　　　　　　　　　　指（被検出物）
　８ａ　　　　　　　　　　　　　　光センサ（第１の受光素子）
　８ｂ　　　　　　　　　　　　　　光センサ（第２の受光素子）
　８ｃ　　　　　　　　　　　　　　光センサ（第３の受光素子）
　８ｄ　　　　　　　　　　　　　　光センサ（第４の受光素子）
　９ｉ　　　　　　　　　　　受光部（第１・第２・第３・第４の受光部）
　１４　　　　　　　　　　　　　　遮光部材
　１４ａ　　　　　　　　　　　　　開口部
　２５・３１　　　　　　　　　　　視差および高さ検出回路
　２６・３２　　　　　　　　　　　基準画像生成回路
　２７・３３　　　　　　　　　　　座標抽出回路
　３４ａ・３４ｂ・３４ｃ・３４ｄ　レンズ（光学素子）

Claims

　光の入射光量を検出する受光素子が複数個形成されている面を有するエリアセンサであって、
　上記受光素子は、複数の１組の第１の受光素子と第２の受光素子、複数の１組の第３の受光素子と第４の受光素子とからなり、
　上記第１の受光素子は、第１の受光部と、上記第１の受光部より上層に形成され上記光を遮断する第１の遮光部材とを備え、
　上記第２の受光素子は、第２の受光部と、上記第２の受光部より上層に形成され上記光を遮断する第２の遮光部材とを備え、
　上記第３の受光素子は、第３の受光部と、上記第３の受光部より上層に形成され上記光を遮断する第３の遮光部材とを備え、
　上記第４の受光素子は、第４の受光部と、上記第４の受光部より上層に形成され上記光を遮断する第４の遮光部材とを備え、
　上記第１の受光素子においては、第１の方向からの光成分は受光でき、上記第１の方向からの光が上記面で鏡面反射される場合の反射光の方向と反対方向である第２の方向からの光成分は遮光できるように、上記第１の遮光部材の開口部は、上記第１の受光部に対して、平面視において部分的に重なるように、上記第１の方向側に所定量ずらされて形成されており、
　上記第２の受光素子においては、上記第２の方向からの光成分は受光でき、上記第１の方向からの光成分は遮光できるように、上記第２の遮光部材の開口部は、上記第２の受光部に対して、平面視において部分的に重なるように、上記第２の方向側に所定量ずらされて形成されており、
　上記第３の受光素子においては、上記第１の方向と上記第２の方向とは異なる第３の方向からの光成分は受光でき、上記第３の方向からの光が上記面で鏡面反射される場合の反射光の方向と反対方向である第４の方向からの光成分は遮光できるように、上記第３の遮光部材の開口部は、上記第３の受光部に対して、平面視において部分的に重なるように、上記第３の方向側に所定量ずらされて形成されており、
　上記第４の受光素子においては、上記第４の方向からの光成分は受光でき、上記第３の方向からの光成分は遮光できるように、上記第４の遮光部材の開口部は、上記第４の受光部に対して、平面視において部分的に重なるように、上記第４の方向側に所定量ずらされて形成されていることを特徴とするエリアセンサ。
　上記複数の第１の受光素子によって検出された被検出物の第１の画像と、上記複数の第２の受光素子によって検出された上記被検出物の第２の画像と、上記複数の第３の受光素子によって検出された被検出物の第３の画像と、上記複数の第４の受光素子によって検出された上記被検出物の第４の画像とは、同タイミングで検出され、
　上記第１の画像と上記第２の画像との相関演算を行い、算出された上記第１の画像と上記第２の画像との視差に基づいて、上記被検出物の上記面からの高さを検出する第１の検出回路と、
　上記第３の画像と上記第４の画像との相関演算を行い、算出された上記第３の画像と上記第４の画像との視差に基づいて、上記被検出物の上記面からの高さを検出する第２の検出回路とを備えていることを特徴とする請求項１に記載のエリアセンサ。
　上記第１の画像、上記第２の画像、上記第３の画像および上記第４の画像は、それぞれ２値化された画像であり、
　上記第１の画像と上記第２の画像との視差および上記第３の画像と上記第４の画像との視差は、上記２値化された画像の相関演算によって、算出されることを特徴とする請求項２に記載のエリアセンサ。
　上記第１の画像、上記第２の画像、上記第３の画像および上記第４の画像は、上記被検出物の輪郭線を抽出したエッジ画像であり、
　上記第１の画像と上記第２の画像との視差および上記第３の画像と上記第４の画像との視差は、上記エッジ画像の相関演算によって、算出されることを特徴とする請求項２に記載のエリアセンサ。
　上記第１の画像、上記第２の画像、上記第３の画像および上記第４の画像は、上記被検出物の輪郭線を抽出したエッジ画像であり、
　上記第１の画像と上記第２の画像との視差および上記第３の画像と上記第４の画像との視差は、上記エッジの方向に関する項を含む相関演算によって、算出されることを特徴とする請求項２に記載のエリアセンサ。
　上記第１の画像と、上記第２の画像と、上記第１の画像と上記第２の画像との視差とに基づいて、第１の基準画像を生成する第１の基準画像生成回路と、
　上記第３の画像と、上記第４の画像と、上記第３の画像と上記第４の画像との視差とに基づいて、第２の基準画像を生成する第２の基準画像生成回路と、
　上記第１の基準画像から座標を抽出する第１の座標抽出回路と、
　上記第２の基準画像から座標を抽出する第２の座標抽出回路とを備えていることを特徴とする請求項２から５の何れか１項に記載のエリアセンサ。
　上記第１の受光部、上記第２の受光部、上記第３の受光部および上記第４の受光部より上層であり、
　上記第１の遮光部材の開口部、上記第２の遮光部材の開口部、上記第３の遮光部材の開口部および上記第４の遮光部材の開口部と平面視において重なる各々の位置には、
　上記第１の受光部、上記第２の受光部、上記第３の受光部および上記第４の受光部への上記光の入射角を一定の範囲内に制限する光学素子が設けられていることを特徴とする請求項１から６の何れか１項に記載のエリアセンサ。
　請求項１から７の何れか１項に記載のエリアセンサを備え、
　上記第１の受光素子と上記第２の受光素子と上記第３の受光素子と上記第４の受光素子とが形成されている面上には、マトリクス状に形成され、画像の表示を行う複数の画素が備えられ、
　上記第１の受光素子と上記第２の受光素子と上記第３の受光素子と上記第４の受光素子とは、上記画素の位置に応じて設けられていることを特徴とする表示装置。
　上記第１の受光素子と上記第２の受光素子と上記第３の受光素子と上記第４の受光素子とが形成されている面を有するアクティブマトリクス基板と、
　上記第１の受光素子と上記第２の受光素子と上記第３の受光素子と上記第４の受光素子とが形成されている面と対向するように配置された対向基板と、
　上記アクティブマトリクス基板と上記対向基板との間に挟持された液晶層とを備えていることを特徴とする請求項８に記載の表示装置。