JP4935481B2 - 検出装置、および、その制御方法 - Google Patents

Description

本発明は、表示面に対して異なる方向からの操作を区別して検出する技術に関する。

近年では、２つの観察方向に対して、それぞれ異なる画像が視認されるようした、いわゆる２画面表示モードを備えた表示パネルが普及しつつある。このような２画面表示モードを備えた表示パネルに情報の入力機能も持たせる場合、２つの観察方向から入力操作がなされるので、この操作方向を区別して検出する必要がある。
そこで、２つの画面に対応させたアイコンを表示位置が重複しないように表示させるとともに、操作されたアイコンを検出することにより、いずれの観察方向にいる観察者の入力操作であるのかを判断する技術が提案されている（例えば特許文献１参照）。
特開２００５−２８４５９２号公報

しかしながら、上記技術では、いずれの方向からの操作であることをタッチ操作されたアイコンの位置で検出しているので、２つの画面に対応させたアイコンが接近していると、誤認識の可能性がある。これを避けるために、上記技術では、２つのアイコンを異なる位置で、なるべく距離をおいて表示させる必要があるので、表示画面が制約を受けてしまうことになる。
本発明は、このような事情に鑑みてなされたもので、その目的とするところは、いずれの方向からの操作であることを直接的に検出することが可能な検出装置、および、その制御方法を提供することにある。

上記目的を達成するために本発明に係る制御方法は、第１画像を表示する第１画素と、第２画像を表示する第２画素と、前記第１画像を第１方向に射出し、前記第１方向とは異なる第２方向に遮光するとともに、前記第２画像を前記第２方向に射出し、前記第１方向に遮光する光遮光部材と、前記第１画素に対応して設けられ、前記第１方向からの入射する光量を検出する第１センサと、前記第２画素に対応して設けられ、前記第２方向からの入射する光量を検出する第２センサと、を具備し、前記第１画素と前記第２画素は交互に配置され、前記光遮光部材は、前記第１画素と前記第２画素の観察側に配置され、前記第１センサは、前記第１画素と前記第２画素が交互に並ぶ方向と交差した方向に複数配列され、前記第２センサは、前記第１画素と前記第２画素が交互に並ぶ方向と交差した方向に複数配列された検出装置において、前記第１および第２センサの検出結果を少なくとも１フレーム分記憶し、現在における前記第１および第２センサの検出結果を取得したとき、記憶した１フレーム分と現在の１フレーム分との比較結果に基づいて、前記第１または第２方向のいずれかからの物体の接近を検出することを特徴とする。本発明によれば、第１または第２方向からの接近を、第１および第２センサの検出結果から直接的に検出する。

本発明において、前記第１センサの検出結果と前記第２センサの検出結果のそれぞれにおいて、記憶した１フレーム分と現在の１フレーム分との比較し、光量が相違する部分の範囲が狭くなる度合いが大きい検出結果に対応する方向を、接近方向であると判定しても良いし、前記第１センサの検出結果と前記第２センサの検出結果のそれぞれにおいて、記憶した１フレーム分と現在の１フレーム分との比較し、光量が相違する部分の範囲の重心移動が小さい検出結果に対応する方向を、接近方向であると判定しても良い。
また、本発明において、マトリクス配列する前記第１および第２センサのうち、前記第１方向寄りの辺と、前記第２方向寄りの辺との外周２辺に位置する位置するものにおいて、前記第１または第２方向寄りの辺の一方で光量変化が検出されたときに、前記第１または第２方向の他方からの接近であると判定しても良い。
本発明において、マトリクス配列する前記第１および第２センサのうち、前記第１方向寄りの辺と、前記第２方向寄りの辺との外周２辺に位置するものにより光量を検出するとともに、前記第１または第２方向寄りの辺の一方に位置するものにおいて、光量変化が検出されたときに、前記第１方向または第２方向からの接近であると判定し、前記第１方向からの接近であると判定した場合、この後、前記第２センサで光量検出を行い、前記第２方向からの接近であると判定した場合、この後、前記第１センサで光量検出を行うとしても良い。
さらに、前記第１センサの検出結果と前記第２センサの検出結果のそれぞれにおいて、記憶した１フレーム分と現在の１フレーム分との比較して、光量が相違する部分の範囲が対称である場合に、正面方向が接近方向であると判定しても良い。
ここで、検出した操作接近方向に応じて第１または第２画像、もしくは、第１および第２画像を制御することが好ましい。
なお、本発明は、検出装置の制御方法のみならず、表示も行う検出装置それ自体としても概念することが可能である。

以下、本発明の実施形態について図面を参照して説明する。

＜第１実施形態＞
まず、本発明の第１実施形態に係る表示装置について説明する。この表示装置は、例えばカー・ナビゲーション・システムの表示部分であり、車両のダッシュボード中央に配置し、運転席側と助手席側とにそれぞれ異なる画像を表示可能とするものである。
なお、この説明において運転席側および助手席側とは、右ハンドル車を基準とし、車両の進行方向に向かって右側を運転席側（左側を助手席側）としている。このため、逆に表示部分からみると、左側が運転席側（右側が助手席側）となる。

図１は、この表示装置１の構成を示す図である。なお、カー・ナビゲーション・システムのうち、表示および入力以外の構成については、本発明とは直接関係しないので省略している。
図１に示されるように、表示装置１は、制御回路１０、Ｙドライバ１２、Ｘドライバ１４、Ｙドライバ１６、読出回路１８、判別回路２０および表示パネル１００を有する。このうち、表示パネル１００は、運転席側で視認される画像を表示するための画素（Ｌ）と、助手席側で視認される画像を表示するための画素（Ｒ）とが本実施形態ではストライプ状に交互に配置したマトリクス配列となっている。
なお、画素（Ｌ）と画素（Ｒ）とには構造的な差がなく、２画面表示モードとしたときに、これらの画素によって表示される画像ソースが異なるだけである。このため、区別する必要のない場合には、単に画素１１０と表記する。

ここで、画素１１０について、図２を参照して説明する。
画素１１０は、実際には、図１に示されるようにマトリクス状に配列するが、図２は、マトリクス状に配列する画素のうち、任意の１つの画素を抜き出して示すものである。
なお、マトリクス状に配列する画素１１０において、走査線１１２がＸ方向に延在して１行分で共用され、データ線１１４がＹ方向に延在して１列分で共用されている。同様に、制御線１４２、１４３がＸ方向に延在して１行分で共用され、読出線１４４がＹ方向に延在して１列分で共用されている。

図２に示されるように、画素１１０は、表示系１２０とセンサ系１３０との２つに分かれている。
このうち、表示系１２０は、ｎチャネル型のトランジスタ１２２と液晶素子１２４と蓄積容量１２６とを有する。トランジスタ１２２のゲート電極は走査線１１２に接続され、ソース電極がデータ線１１４に接続され、ドレイン電極は液晶素子１２４の一端と蓄積容量１２６の一端とに共通接続されている。液晶素子１２４の他端は、電圧Ｖcomに保たれ、各画素１１０にわたって共通接続されたコモン電極１２８である。
なお、本実施形態では、蓄積容量１２６の他端についても、各画素１１０について電圧Ｖcomに保たれているので、電気的にみれば、コモン電極１２８に共通接続されているものとして扱っている。

液晶素子１２４は、周知のように、トランジスタ１２２のドレイン電極に接続された画素電極と各画素１１０にわたって共通なコモン電極とで液晶を挟持して、画素電極とコモン電極とで保持された電圧の実効値に応じた透過率となる。
このような液晶素子１２４において、走査線１１２がしきい値以上の電圧に相当するＨレベルになると、トランジスタ１２２がオン状態となって、データ線１１４に供給された電圧が画素電極に印加される。このため、走査線１１２がＨレベルとなったときに、データ線１１４を階調に応じた電圧にすると、液晶素子１２４には、当該階調に応じた電圧と電圧Ｖcomとの差電圧が書き込まれる。なお、走査線１１２がＬレベルになると、トランジスタ１２２がオフするが、液晶素子１２４に書き込まれた差電圧は、液晶素子１２４自体の電圧保持性および並列接続された蓄積容量１２６によって保持されるので、液晶素子１２４は、保持した差電圧に応じた透過率となる。

センサ系１３０は、トランジスタ１３１、１３２、１３３と、ＰＩＮ型の光ダイオード１３４と、センサ容量１３５とを有する。トランジスタ１３１は、センサ容量１３５に電圧をプリチャージさせるものであり、そのゲート電極は制御線１４２に接続され、そのソース電極は電圧Ｐreを給電する給電線に接続され、そのドレイン電極は光ダイオード１３４のアノード、センサ容量１３５の一端およびトランジスタ１３２のゲート電極にそれぞれ接続されている。光ダイオード１３４とセンサ容量１３５とは、トランジスタ１３１のドレイン電極（トランジスタ１３２のゲート電極）と、電圧基準の接地電位Ｇndとの間で並列接続されている。トランジスタ１３２のソース電極は電位Ｇndに接地され、そのドレイン電極は、読み出し用のトランジスタ１３３のソース電極に接続されている。トランジスタ１３３のゲート電極は制御線１４３に接続され、そのドレイン電極は読出線１４４に接続されている。

センサ系１３０において、まず、制御線１４２がＨレベルになると、トランジスタ１３１がオンするので、センサ容量１３５に電圧Ｐreがプリチャージされる。制御線１４２がＬレベルになってトランジスタ１３１がオフすると、光ダイオード１３４には、入射光量が多くなるにつれて逆バイアス方向にリーク電流が流れるので、センサ容量１３５の保持電圧がプリチャージ電圧Ｐreから減少する。詳細には、センサ容量１３５の一端は、光ダイオード１３４のリーク電流が少なければほぼプリチャージ電圧Ｐreを維持し、リーク電流が多くなるにつれて電圧ゼロに近づく。
このとき、読出線１４４を所定電圧にプリチャージした後、制御線１４３をＨレベルにすると、トランジスタ１３３がオンするので、トランジスタ１３２のドレイン電極が読出線１４４に接続される。光ダイオード１３４への入射光量が少なく、センサ容量１３５の一端がほぼプリチャージ電圧Ｐreに保たれているのであれば、トランジスタ１３３がオンするので、読出線１４４はプリチャージ電圧から電圧ゼロに向かって急激に変化する。一方、光ダイオード１３４への入射光量が多く、センサ容量１３５の一端がリーク電流によってほぼ電圧ゼロであれば、トランジスタ１３３がオフするので、読出線１４４はプリチャージ電圧からほとんど変化しない。

したがって、制御線１４２をＨレベルからＬレベルとし、その後、制御線１４３をＨレベルにしたときに、読出線１４４がプリチャージ電圧から変化するか否かによって、制御線１４２（１４３）と読出線１４４との交差に対応する画素１１０において入射光量が多いか、少ないかを判別することができる。

なお、図２において、走査線１１２、制御線１４２、１４３は、すべての異なる場合について説明したが、一部を兼用することが可能である。同様に、データ線１１４、読出線１４４、電圧Ｐreの給電線は、すべて異なる場合について説明したが、一部を兼用することが可能である。
また、１つの画素１１０は、表示系１２０とセンサ系１３０との組を有しているが、センサ系１３０については、例えば複数個の画素１１０につき１個の割合で有するようにしても良い。

説明を図１に戻すと、制御回路１０は、Ｙドライバ１２、Ｘドライバ１４、Ｙドライバ１６および読出回路１８を制御するものである。
Ｙドライバ１２は、制御回路１０による制御にしたがって、表示パネル１００における走査線１１２を順番に選択して、選択した走査線にＨレベルとし、それ以外の走査線をＬレベルとするものである。Ｘドライバ１４は、選択走査線に位置する画素１１０の階調に応じた電圧を、データ線１１４に印加するものである。
なお、Ｘドライバ１４は、図示省略した上位制御回路から表示すべき画像信号の供給を受け、これを表示に適合させた電圧に変換してデータ線に供給する。２画面表示モードであれば、Ｘドライバ１４は、２種類の画像信号の供給を受けることになる。

Ｙドライバ１６は、制御回路１０による制御にしたがって、表示パネル１００における制御線１４２をＨレベルからＬレベルとした後、対をなす制御線１４３をＨレベルとする動作を、画素１１０の１行ずつ順番に実行するものである。
検出回路を兼用する読出回路１８は、各列の読出線１４４をプリチャージした後に、読出線１４４の電圧を読み出して、読み出した電圧がプリチャージ電圧から変化したか否かを検出するものである。詳細には、読出回路１８は、読出線の電圧がプリチャージ電圧から電圧ゼロに変化すれば、当該読出線の列と、Ｙドライバ１６において制御対象となっている行とで規定される画素のセンサ系１３０への入射光量が多いと検出し、読出線の電圧がプリチャージ電圧から変化しなければ、当該読出線の列と制御対象となっている行とで規定される画素のセンサ系１３０への入射光量が少ないと検出する。

したがって、走査線１１２を順番に選択するとともに、選択走査線に位置する画素の階調に応じた電圧をデータ線１１４に印加することにより、表示系１２０の液晶素子１２４に当該階調に応じた電圧を保持させることができる。
同様に、制御線１４２、１４３を順番に１行ずつ制御するとともに、各行の制御の都度、各列の読出線の電圧変化を判別することにより、センサ系１３０の入射光量の大小を、全画素について検出することができる。
なお、制御線１４２、１４３を１行目から最終行目まで制御するのに要する期間をセンサフレーム期間と称する。この実施形態では、走査線１１２と、制御線１４２・１４３とは、別個独立させているので、センサフレームの期間は、画像の表示に要する垂直走査期間とは無関係である。

判別回路２０は、センサ系１３０の検出結果を全画素について数フレームの期間分記憶するとともに、その記憶内容から後述する手順にしたがって表示パネル１００への操作状態を判別するものである。

図３は、表示パネル１００を背面方向（観察方向の反対側）からみたときに、画素１１０のマトリクス配列に対する遮光部材（イメージスプリッタ）の配置を示す平面図である。この図では、背面方向からみているので、左側が運転席側となり、右側が助手席側となる。
図１や図３に示されるように、画素（Ｌ）と画素（Ｒ）とは縦方向に連続するとともに横方向に交互に配置したマトリクス配列となっている。遮光部材１５０は、図３に示されるように、本実施形態では帯形状であり、帯中心が画素（Ｌ）と画素（Ｒ）との境界に一致するように、液晶素子１２４よりも観察側に設けられている。この遮光部材１５０により、画素（Ｌ）については、運転席側に向かって開口し、助手席側に向かう方向が遮光され、反対に、画素（Ｒ）については、助手席側に向かって開口し、助手席側に向かう方向が遮光される。
すなわち、画素（Ｌ）および画素（Ｒ）のそれぞれにおいて、表示系１２０とセンサ系１３０とに対し、共通の遮光部材１５０が配置されている。例えば、画素（Ｌ）において、表示系１２０に対する遮光部材１５０の開口は、センサ系１３０に対する遮光部材１５０の開口と同じ角度をなすように設けられている。

このため、図４に示されるように、運転席側からは画素（Ｌ）の表示系１２０が視認されるが、画素（Ｒ）は遮光され、助手席側からは画素（Ｒ）の表示系１２０が視認されるが、画素（Ｌ）は遮光されるので、運転席側と助手席側とでそれぞれ異なる画像を同時に表示させることが可能となっている（２画面表示モード）。
センサ系１３０においても、遮光部材１５０によって、画素（Ｌ）のセンサ系１３０は、助手席側方向からの光が遮光され、画素（Ｒ）のセンサ系１３０は、運転席側方向からの光が遮光される。
ここで、運転席または助手席の位置を想定したとき、画素（Ｌ）からの画像が運転手席に集光され、画素（Ｒ）からの画像が助手席に集光されるようになっている。このようにするため、画素（Ｌ）および画素（Ｒ）のピッチは、遮光部材１５０の開口のピッチよりも若干広くなっている。また、図４において、表示パネル１００の中央から両端に向かうにつれ、遮光部材１５０の遮光部分の幅が広くなるようになっている。
ここで、図４は、運転席側と助手席側との光路方向を説明するために遮光部材１５０の配置を簡略化しており、実際には、図３に示される通りである。

なお、画素（Ｌ）・画素（Ｒ）の配列に対する遮光部材１５０は、図３に示されるような配置以外にも、例えば、図１５に示されるようなものとしても良い。すなわち、画素（Ｌ）および画素（Ｒ）を行毎に交互に入れ替えるとともに、この入れ替えに合わせて、遮光部材１５０の配置を変更しても良い。このような画素配列にすると、表示解像度を改善することができる。
なお、図１５に示した配列においても、画素（Ｌ）のセンサ系１３０は、助手席側方向からの光が遮光され、画素（Ｒ）のセンサ系１３０は、運転席側方向からの光が遮光される。

次に、このようなセンサ系１３０を用いて、表示パネル１００への操作を検出する原理について説明する。図６は、表示パネル１００の上方からみたときに、操作者による指を球体とみなしたときの接近状態を示す図であり、図７は、その接近状態における光量変化を示す図である。
まず、図６に示されるように、比較的外部が明るい状態において、運転席に着座した操作者の指が表示パネル１００に接近する場合に、当該指が（ａ）、（ｂ）、（ｃ）の地点を経る、と考えられる。この場合に、画素（Ｌ）のセンサ系１３０に入射するであろう光量の分布図は、図７の上段（ａ）、（ｂ）、（ｃ）で示されるようなものとなることが考えられる。すなわち、指が表示パネル１００に接近するにつれて、指の投影面積が徐々に小さくなるので、光量が少ない部分の面積が縮小すると考えられる。ここで、指の接近方向は運転席側からなので、指の投影中心の移動量は少ないと考えられる。

これに対し、画素（Ｒ）のセンサ系１３０に入射するであろう光量の分布図は、図７の下段（ａ）、（ｂ）、（ｃ）で示されるようなものとなることが考えられる。詳細には、表示パネル１００から遠い地点の（ａ）にある指については、遮光部材１５０によって画素（Ｒ）のセンサ系１３０に入射するであろう光量に変化が現れない。指が（ｂ）の地点に達したときに、表示パネル１００では、運転席側の周縁に指の投影部分がかかるので、当該周縁で光量が少ない部分が発生する。さらに（ｃ）の地点に向かうにつれて、指の投影部分である楕円が移動する。
そして、指が表示パネルの観察パネルにほぼ触れる地点に位置すると、画素（Ｌ）と画素（Ｒ）との視差がほとんどなくなるので、画素（Ｌ）のセンサ系１３０で検出される投影と画素（Ｒ）のセンサ系１３０で検出される投影とが重なる部分が発生する。と考えられる。
なお、助手席に着座した操作者の指が表示パネル１００に接近する場合には、画素（Ｌ）と画素（Ｒ）との関係が入れ替わる関係になる。

また、夜間やトンネル走行などのように比較的外部が暗い場合、バックライト（図示省略）による照射光が指で反射し、センサ系１３０で検出されるので、指の接近にしたがって光量が逆に増えるので、光量の変化方向が逆転するが、その光量が変化する部分の面積増加や重心移動についての関係は、図６および図７と同一である、と考えられる。 このため、外部が明るい場合にも暗い場合にも、例えば運転席に着座した操作者の指が表示パネル１００に接近するにつれて、画素（Ｌ）のセンサ系１３０によって入射する光量の分布図でみたときに、光量が少ない（または、多い）部分の面積が縮小し、かつ、その部分の重心移動量は接近に対して少ないと考えられる。
ここで、光量が少ない、または、多い部分を便宜的に光量相違部分と呼ぶことにする。
なお、外部環境に応じて検出モードを切り替えてもよい。例えば、周囲環境が明るい場合と周囲環境が暗い場合とで、検出結果を反転させて判別してもよい。

このため、画素（Ｒ）または画素（Ｌ）のいずれかでセンサ系１３０に入射光量の分布に時間的変化が発生したときに、光量相違部分の重心位置の移動が少ない状態で、当該光量相違部分の面積が縮小したとき、光量の変化が発生した画素に対応した観察方向からの操作である、と検出することができる。さらに、画素（Ｌ）のセンサ系１３０で検出される投影と画素（Ｒ）のセンサ系１３０で検出される投影とにおいて重なる部分が発生し、かつ、重なる部分の面積が一定値以下となったときに、指が表示パネル１００に触れたタッチ操作である、と検出することができる。

図５は、この検出手順を具体的に示すフローチャートである。
判別回路２０は、まず、センサ系１３０の検出結果を全画素分について取得したとき、ステップＳａ１において、この検出結果を、次回にステップＳａ１を実行するときの比較のために記憶するとともに、１センサフレーム期間前に取得し結果を読み出し、今回と前回との結果を比較して、光量が少ない、または、多い部分（光量相違部分）の形状が、画素（Ｌ）または画素（Ｒ）のセンサ系１３０のいずれか一方で変化しているのか否かを判別する。なお、ステップＳａ１がはじめて実行される場合には、１センサフレーム期間前に取得した結果が記憶されていないので、１センサフレーム分記憶してから上記判別を行うものとする。
変化していないと判別すれば「Ｎｏ」となって、処理手順がステップＳａ１に戻り、１センサフレーム期間が経過したときの次回の判別に備える。一方、変化していると判別すれば「Ｙｅｓ」となって、処理手順は、ステップＳａ２に移行する。
なお、このステップＳａ１の実行タイミングは、センサ系１３０の検出結果を全画素分について取得したときである。したがって、本実施形態では、ステップＳａ１は、センサフレームの期間周期で実行される。

判別回路２０は、ステップＳａ２において、画素（Ｌ）または画素（Ｒ）のセンサ系１３０のいずれかにおいて、光量相違部分の面積が縮小化し、かつ、その光量相違部分の重心移動量がしきい値以内であるのか否かを判別する。
例えば運転席側から指が表示パネル１００に接近する場合、画素（Ｌ）のセンサ系１３０から取得した結果でみると、光量相違部分の面積が縮小化するが、画素（Ｒ）のセンサ系１３０から取得した結果でみると、逆に拡大化すると考えられる。ただし、この場合、画素（Ｌ）のセンサ系１３０から取得した光量相違部分の重心移動量が少ない。
このため、光量相違部分の面積が縮小化することのみならず、さらに、その光量相違部分の重心移動量がしきい値以内であることによって、運転席側から指が表示パネル１００に接近している旨を判別することができる。助手席側から指が表示パネル１００に接近する場合は画素（Ｌ）と画素（Ｒ）との関係が逆転するが、光量相違部分の面積の縮小化と、重心移動量が少ない点については共通である。
なお、ステップＳａ２の判別結果が「Ｎｏ」であれば、処理手順がステップＳａ１に戻る。

ステップＳａ２の判別結果が「Ｙｅｓ」であれば、判別回路２０は、光量相違部分の外径がしきい値以下となっているか否かを判別する（ステップＳａ３）。例えば運転席側から指が表示パネル１００に接近する場合、上述したように、画素（Ｌ）のセンサ系１３０から取得した結果でみると、光量相違部分の外径がしきい値を超えているのであれば、指が表示パネル１００に接近しているものの、表示パネル１００までの距離がある程度離れている状態であることを示している。したがって、この状態にあれば、ステップＳａ３の判別結果が「Ｎｏ」となり、処理手順がステップＳａ１に戻る。
一方、ステップＳａ３の判別結果が「Ｙｅｓ」であれば、判別回路２０は、光量相違部分の面積が縮小化し、かつ、その重心移動量がしきい値以内であったところが、画素（Ｌ）のセンサ系１３０で発生しているのか否かを判別する（ステップＳａ４）。

判別回路２０は、ステップＳａ４の判別結果が「Ｙｅｓ」であれば、運転席側に着座している者が指で表示パネル１００をタッチしたと判別し（ステップＳａ５）、判別結果が「Ｎｏ」であれば、助手席側に着座している者が指で表示パネル１００をタッチしたと判別する（ステップＳａ６）。判別回路２０は、ステップＳａ５またはＳａ６による判別をすると、その結果を、カー・ナビゲーション・システムを上位制御回路に通知する。これにより、当該タッチ操作に合わせた処理が実行される。
なお、このタッチ操作に合わせた処理としては、例えば、タッチ操作がなされた方向への表示画面を切り替える、映像・ラジオなどの制御する、などが考えられる。
また、ステップＳａ５またはＳａ６の後、処理手順がステップＳａ１に戻り、センサフレーム期間が経過したときの次回の判別に備える。そして、判別回路２０は、センサ系１３０の検出結果が全画素分について取得される毎に、ステップＳａ１〜Ｓａ６の処理が繰り返し実行される。

ここで、運転席側および助手席側に着座している者が表示パネル１００に対して指等を接近させる動作をすると、ステップＳａ１およびＳａ２での判別結果がいずれも「Ｙｅｓ」となり、さらに指等が表示パネル１００に触れる程度にまで近づくと、ステップＳａ３の判別結果が「Ｙｅｓ」となって、それが運転席側からの接近であるか否かが判別される（ステップＳａ４）。
なお、なんら動作をしなければ、ステップＳａ１の判別結果が「Ｎｏ」となり、また、なんらかの動作をしても、それが表示パネル１００への接近でなければ、ステップＳａ２の判別結果が「Ｎｏ」となる。また、接近動作であっても、さらに指等が表示パネル１００に触れる程度にまで近づいていなければ、ステップＳａ３の判別結果が「Ｎｏ」となる。
このように本実施形態では、画素（Ｌ）または画素（Ｒ）のセンサ系１３０によるフレーム光量相違部分の時間的な変化によって、いずれの方向から指等が接近したのかを直接的に検出している。このため、たとえ運転席側に向けては画素（Ｌ）による表示画面と助手席側に向けては画素（Ｒ）による表示画面とで、ほぼ同じ位置にアイコンを表示させても、本実施形態によれば、タッチ操作がなされた方向が、運転席側であったのか、助手席側であったのかを判別することができるのである。

＜第１実施形態の応用・変形＞
上述した図５のフローチャートで示した手順では、例えば運転席側の方向から指等が接近する場合、結果的に、画素（Ｒ）のセンサ系１３０による光量相違部分の時間的変化について、なんら考慮しなかった。ただし、図６および図７で説明したように、運転席側、助手席側のいずれかの方向から指等が表示パネル１００に接近するにつれて、画素（Ｌ）と画素（Ｒ）とのセンサ系１３０による光量相違部分の重心が一致する方向に近づき、指が表示パネル１００に触れてタッチ操作をしたと考えられる状態では、遮光部材１５０による視差の影響がなくなるので、画素（Ｌ）と画素（Ｒ）とのセンサ系１３０による光量相違部分の形状および重心がほぼ一致する。
このため、画素（Ｌ）と画素（Ｒ）とのセンサ系１３０による光量相違部分の形状および重心を比較することによって、タッチ操作を検出することができるはずである。

図８は、この接近およびタッチ操作を検出する手順を示すフローチャートである。なお、この図のフローチャートにおけるステップＳｂ１、Ｓｂ５、Ｓｂ６については、それぞれ図５におけるステップＳａ１、Ｓａ５、Ｓａ６と同様である。
判別回路２０は、まず、センサ系１３０の検出結果を全画素分について取得したときに、ステップＳｂ１において、１センサフレーム期間前に取得した結果と比較して、光量相違部分の形状が、画素（Ｌ）または画素（Ｒ）のセンサ系１３０のいずれかで変化しているのか否かを判別する。変化していないと判別すれば「Ｎｏ」となって、処理手順がステップＳｂ１に戻る一方、変化していると判別すれば「Ｙｅｓ」となって、判別回路２０は、ステップＳｂ２において、画素（Ｌ）および画素（Ｒ）のセンサ系１３０による光量相違部分の重心位置をそれぞれ求めて、両者の距離がしきい値以内であるのか否かを判別する。
しきい値以内でなければ「Ｎｏ」となって、処理手順がステップＳｂ１に戻る一方、しきい値以内であれば「Ｙｅｓ」となって、判別回路２０は、ステップＳｂ３において、光量相違部分の重心移動が少ない方が画素（Ｌ）のセンサ系１３０によるものであったか否かを判別する。
判別回路２０は、ステップＳｂ３の判別結果が「Ｙｅｓ」であれば、運転席側に着座している者が指で表示パネル１００をタッチしたと判別し（ステップＳｂ５）、判別結果が「Ｎｏ」であれば、助手席側に着座している者が指で表示パネル１００をタッチしたと判別する（ステップＳｂ６）。なお、ステップＳｂ５またはＳｂ６の後、処理手順がステップＳｂ１に戻り、センサフレーム期間が経過したときの次回の判別に備える。
このような方法によっても、タッチ操作が、運転席側からなされたのか、助手席側からなされたのかを判別することができるのである。

＜第２実施形態＞
次に、本発明の第２実施形態に係る表示装置について説明する。
図９は、第２実施形態に係る表示装置１の構成を示す図である。この第２実施形態に係る表示装置１は、第１実施形態と同様に、カー・ナビゲーション・システムの表示部分であるが、第１実施形態と相違する部分は、判別回路２０における判別結果が制御回路１０にフィードバックされて、制御回路１０が、センサ系１３０を駆動するＹドライバ１６および読出回路１８を制御する点にある。このため、第２実施形態については、相違点である制御内容を中心に説明することにする。

図１１に示されるように、例えば運転席に着座した操作者の指が表示パネル１００に接近する場合に、当該指が（１）の地点に達したとき、助手席側の画素（Ｒ）のうち、最も運転席側に近い方の辺において、当該指によって入射光が遮られる。反対に、助手席に着座した操作者の指が表示パネル１００に接近する場合に、当該指が（２）の地点に達したとき、運転席側の画素（Ｌ）のうち、最も助手席側に近い方の辺において、当該指によって入射光が遮られる。
すなわち、運転席側または助手席側のいずれか一方から指等が接近すると、運転席側または助手席側のいずれか他方のセンサ系のうち、運転席側または助手席側の一方の側にある最外周辺に位置するセンサ系において光量変化が発生する。
したがって、当初、センサ系１３０のすべてを検出に用いる必要がなく、マトリクス配列の最外周に位置する垂直２辺のセンサ系１３０、詳細には図１１において※印で示される画素（Ｌ）および画素（Ｒ）だけを動作させ、画素（Ｌ）または画素（Ｒ）のいずれか一方のセンサ系において光量変化が発生したときに、いずれか他方のセンサ系を駆動させて、タッチ操作を検出すれば、センサ系１３０の駆動により消費される電力を抑えることができるはずである。

図１０は、この処理手順を具体的に示すフローチャートである。
判別回路２０は、まず、ステップＳｃ１において、制御回路１０に対して、センサ系１３０について、マトリクス配列の最外周に位置する垂直２辺の画素（Ｌ）および画素（Ｒ）だけを動作させる旨を指令する。これにより、制御回路１０は、Ｙドライバ１６に対する制御については変更しないが、読出回路１８に対し、左右端各２列の読出線１４４の計４列についてのみ動作対象とさせ、他の読出線を無視するように制御する。
続いて、判別回路２０は、最外周に位置する垂直２辺の画素（Ｌ）または画素（Ｒ）のセンサ系１３０の検出結果を取得したとき、ステップＳｃ２において、１センサフレーム期間前に取得した結果と比較して、いずれかのセンサ系において光量が相違する部分が発生したか否かを判別する。

変化していないと判別すれば「Ｎｏ」となって、処理手順が再びステップＳｃ２に戻り、センサフレーム期間が経過したときの次回の判別に備える。したがって、ステップＳｃ２の判別結果が「Ｎｏ」である限り、センサ系１３０については、マトリクス配列の最外周に位置する垂直２辺の画素（Ｌ）および画素（Ｒ）だけが動作することになる。
一方、変化していると判別すれば「Ｙｅｓ」となって、ステップＳｃ３に移行し、判別回路２０は、画素（Ｒ）のセンサ系１３０において、光量相違部分が発生したのか否かを判別する。
この判別結果が「Ｙｅｓ」であれば、運転席側からの接近であるので、判別回路２０は、制御回路１０に対して、画素（Ｌ）のセンサ系１３０だけを動作させる旨を指令する（ステップＳｃ４）。これにより、制御回路１０は、読出回路１８に対し、画素（Ｌ）の列の読出線１４４についてのみ動作対象とさせ、画素（Ｒ）の列の読出線を無視するように制御する。
一方、ステップＳｃ３の判別結果が「Ｎｏ」であれば、光量相違部分が画素（Ｌ）のセンサ系において発生し、これは、助手席側からの接近であることを示しているので、判別回路２０は、制御回路１０に対して、画素（Ｒ）のセンサ系１３０だけを動作させる旨を指令する（ステップＳｃ５）。これにより、制御回路１０は、読出回路１８に対し、画素（Ｒ）の列の読出線１４４についてのみ動作対象とさせ、画素（Ｌ）の列の読出線を無視するように制御する。

ステップＳｃ４またはＳｃ５の後、画素（Ｌ）または画素（Ｒ）のいずれかの一方のセンサ系の検出結果をすべて取得したときに、ステップＳｃ１１において、１センサフレーム期間前に取得した結果と比較して、光量相違部分の形状が変化しているのか否かを判別する。なお、ステップＳｃ１１がはじめて実行される場合には、１センサフレーム期間前に取得した結果が記憶されていないので、１センサフレーム分記憶してから上記判別を行うものとする。
ステップＳｃ１１において変化していないと判別されれば「Ｎｏ」となって、処理手順がステップＳｃ１１に再び戻り、センサフレーム期間が経過したときの次回の判別に備える。一方、変化していると判別すれば「Ｙｅｓ」となって、判別回路２０は、ステップＳｃ１２において、その形状変化が光量相違部分の面積の縮小化であり、かつ、その光量相違部分の重心移動量がしきい値以内であるのか否かを判別する。
この判別結果が「Ｎｏ」であれば、処理手順がステップＳｃ１１に戻り、判別結果が「Ｙｅｓ」であれば、判別回路２０は、光量相違部分の外径がしきい値以下となっているか否かを判別する（ステップＳｃ１３）。
ステップＳｃ１３の判別結果が「Ｎｏ」であれば、処理手順がステップＳｃ１１に戻り、判別結果が「Ｙｅｓ」であれば、判別回路２０は、現時点において動作対象となっているセンサ系の画素（Ｌ）であるのか否かを判別する（ステップＳｃ１４）。判別回路２０は、ステップＳｃ１４の判別結果が「Ｙｅｓ」であれば、運転席側に着座している者が指で表示パネル１００をタッチしたと判別し（ステップＳｃ１５）、判別結果が「Ｎｏ」であれば、助手席側に着座している者が指で表示パネル１００をタッチしたと判別する（ステップＳｃ１６）。
ステップＳｃ１５またはＳｃ１６の後、処理手順がステップＳｃ１に戻って、ステップＳｃ１〜Ｓｃ５、Ｓｃ１１〜Ｓｃ１６の処理が繰り返し実行される。

本実施形態では、検出の初期状態では、マトリクス配列の最外周に位置する垂直２辺の画素（Ｌ）および画素（Ｒ）のセンサ系１３０だけが動作する。ここで、運転席側および助手席側に着座している者が表示パネル１００に対して指等を接近させる動作をすると、ステップＳｃ２およびＳｃ３での判別結果にしたがって接近方向に対応する画素（Ｌ）または画素（Ｒ）のいずれか一方だけのすべてを動作させる。このため、本実施形態にあっては、ステップＳｃ２の判別結果が「Ｎｏ」である限り、マトリクス配列の最外周に位置する垂直２辺の画素（Ｌ）および画素（Ｒ）のセンサ系だけの動作で済み、また、ステップＳｃ２の判別結果が「Ｙｅｓ」になっても、画素（Ｌ）または画素（Ｒ）のセンサ系の一方だけの動作で済むので、センサ系１３０の駆動に要する消費電力を抑えることが可能となる。

＜第３実施形態＞
上述した第１（第２）実施形態では、指等の接近方向を運転席側と助手席側との２方向で検出するものであったが、この第３実施形態では、この２方向にくわえて、さらに後部座席側（正面後方）からの接近を検出しようとするものである。
なお、第３実施形態の構成は、第１実施形態（図１）と同一なので、検出原理およびその手順を中心に説明することにする。

図１３に示されるように、後部座席席に着座した操作者の指が表示パネル１００の正面から接近する場合に、当該指が（ａ）、（ｂ）の地点を経る、と考えられる。
このうち、指が（ａ）の地点に達したとき、画素（Ｌ）のセンサ系１３０では、図１４の上段（ａ）に示されるように助手席側方向に位置するものに光量変化が発生し、反対に画素（Ｒ）のセンサ系１３０では、同図１４の下段（ａ）に示されるように運転手席側方向に位置するものに光量変化が発生する。
さらに、指が（ｂ）の地点に達したとき、画素（Ｌ）のセンサ系１３０では、同図上段（ｂ）に示されるように、指の投影部分である楕円中心がタッチされるであろう部分に向かって運転席側方向に移動し、反対に、画素（Ｒ）のセンサ系１３０では、同図下段（ｂ）に示されるように、指の投影部分である楕円中心がタッチされるであろう部分に向かって助手席側方向に移動する。
したがって、後部座席側からのタッチ操作がなされようとする場合に、画素（Ｌ）および画素（Ｒ）のセンサ系１３０によって検出される光量相違部分は、タッチ操作されるであろう部分を中心にして、ほぼ対称となる。このため、光量相違部分が対称であることを検出することにより、後部座席側からのタッチ操作であることが検出することができる。

図１２は、この処理手順を具体的に示すフローチャートである。
判別回路２０は、まず、センサ系１３０の検出結果を全画素分について取得したとき、ステップＳｄ１において、１センサフレーム期間前に取得した結果と比較して、光量相違部分の形状が、画素（Ｌ）または画素（Ｒ）のセンサ系１３０のいずれか一方で変化しているのか否かを判別する。
変化していないと判別すれば「Ｎｏ」となって、処理手順がステップＳｄ１に戻り、センサフレーム期間が経過したときの次回の判別に備える。一方、変化していると判別すれば「Ｙｅｓ」となって、判別回路２０は、ステップＳｄ２において、画素（Ｌ）または画素（Ｒ）のセンサ系１３０のいずれかにおいて、光量相違部分の面積が縮小化し、かつ、その光量相違部分の重心移動量がしきい値以内であるのか否かを判別する。
ステップＳｄ２の判別結果が「Ｙｅｓ」であれば、判別回路２０は、第１実施形態におけるステップＳｃ３〜Ｓｃ６と同様なステップＳｄ３〜Ｓｄ６の処理を実行して、運転席側または助手席側からのタッチ操作を判別する。

一方、ステップＳｄ２の判別結果が「Ｎｏ」であれば、ステップＳｄ１１において、判別回路２０は、画素（Ｌ）と画素（Ｒ）とのセンサ系１３０による光量相違部分に対称性が認められるか否かを判別する。
この判別結果が「Ｎｏ」であれば、処理手順がステップＳｄ１に戻る一方、判別結果が「Ｙｅｓ」であれば、判別回路２０は、第１実施形態におけるステップＳｂ２と同様に、画素（Ｌ）および画素（Ｒ）のセンサ系１３０による光量相違部分の重心位置をそれぞれ求めて、両者の距離がしきい値以内であるのか否かを判別する（ステップＳｄ１２）。しきい値以内でなければ「Ｎｏ」となって、処理手順がステップＳｄ１に戻る一方、しきい値以内であれば「Ｙｅｓ」となって、判別回路２０は、ステップＳｄ１３において、後部座席側から指等の接近であって、当該指等が表示パネル１００に触れたと判断して、その旨を、制御回路１０やカー・ナビゲーション・システムの上位制御回路等に通知する。

この第３実施形態において、制御回路１０は、タッチ操作に応じて例えば次のように画面を制御する。
すなわち、制御回路１０は、ある一定期間において、運転席側からのタッチ操作だけしか検出され、かつ、助手席側または後部座席側からのタッチ操作が検出されなければ、運転席側の画面のみを表示させる１画面表示とさせ、また、ある一定期間において、助手席側または後部座席側からのタッチ操作も加われば、運転席側の画面とともに助手席側の画面も表示させる２画面表示とさせるように、それぞれ表示パネル１００における表示を制御する。
なお、画面制御の例としては、このほかにも、第１実施形態で述べたような例などが考えられる。
ステップＳｄ５、Ｓｄ６またはＳｄ１３の後、処理手順が再びステップＳｄ１に戻り、センサフレーム期間が経過したときの次回の判別に備える。

このように第３実施形態によれば、運転席側および助手席側にくわえて、後部座席側からの指等が接近し、タッチ操作が行われたか否かの検出を直接的に行うことが可能となる。

なお、上述した各実施形態では、指等が表示パネル１００に触れた状態と同視できる場合にタッチ操作がなされたと判断したが、ある程度まで至近距離に達した段階で、すなわち、いずれかの方向からの指等が接近したことを検出した段階でタッチ操作がなされたと判断しても良い。
また、上述した各実施形態では、表示パネル１００を液晶表示装置として説明したが、他の表示装置、例えば有機ＥＬ表示装置や、プラズマディスプレイ装置などにおいて、各画素に同様なセンサ系１３０を組み込むことによって、同様に接近方向およびタッチ操作を検出することが可能である。
表示装置を適用した電子機器機としては、上述したカー・ナビゲーション・システムのほかにも、携帯電話機や、デジタルスチルカメラや、テレビ、ビューファインダ型、モニタ直視型のビデオテープレコーダ、カーナビゲーション装置、ページャ、電子手帳、電卓、ワードプロセッサ、ワークステーション、テレビ電話、ＰＯＳ端末などのように、タッチ操作を検出する必要のある機器等などが挙げられる。

本発明の第１実施形態に係る表示装置の構成を示す図である。 同表示装置の画素の一例を示す図である。 同表示装置における画素と光学部材との関係を示す図である。 同表示装置における光学的な経路を示す図である。 同表示装置における操作検出を示すフローチャートである。 同表示装置における操作検出を示す図である。 同表示装置における操作検出を示す図である。 第１実施形態の応用例に係る表示装置の操作検出を示すフローチャートである。 第２実施形態に係る表示装置の構成を示す図である。 同表示装置における操作検出を示すフローチャートである。 同表示装置における操作検出を示す図である。 第３実施形態に係る表示装置の操作検出を示すフローチャートである。 同表示装置における操作検出を示す図である。 同表示装置における操作検出を示す図である。 表示装置における画素と光学部材との別の関係を示す図である。

符号の説明

１０…制御回路、１２、１６…Ｙドライバ、１４…Ｘドライバ、１８…読出回路、２０…判別回路、１１０…画素、１１２…走査線、１１４…データ線、１２０…表示系、１２４…液晶素子、１３０…センサ系、１３４…光ダイオード、１４２、１４３…制御線、１４４…読出線、１５０…遮光部材

Claims (8)

1. 第１画像を表示する第１画素と、
   第２画像を表示する第２画素と、
   前記第１画像を第１方向に射出し、前記第１方向とは異なる第２方向に遮光するとともに、前記第２画像を前記第２方向に射出し、前記第１方向に遮光する光遮光部材と、
   前記第１画素に対応して設けられ、前記第１方向からの入射する光量を検出する第１センサと、
   前記第２画素に対応して設けられ、前記第２方向からの入射する光量を検出する第２センサと、
   を具備し、
   前記第１画素と前記第２画素は交互に配置され、
   前記光遮光部材は、前記第１画素と前記第２画素の観察側に配置され、
   前記第１センサは、前記第１画素と前記第２画素が交互に並ぶ方向と交差した方向に複数配列され、
   前記第２センサは、前記第１画素と前記第２画素が交互に並ぶ方向と交差した方向に複数配列された検出装置において、
   前記第１および第２センサの検出結果を少なくとも１フレーム分記憶し、
   現在における前記第１および第２センサの検出結果を取得したとき、記憶した１フレーム分と現在の１フレーム分との比較結果に基づいて、前記第１または第２方向のいずれかからの物体の接近を検出する
   ことを特徴とする制御方法。
2. 前記第１センサの検出結果と前記第２センサの検出結果のそれぞれにおいて、記憶した１フレーム分と現在の１フレーム分との比較し、光量が相違する部分の範囲が狭くなる度合いが大きい検出結果に対応する方向を、接近方向であると判定する
   ことを特徴とする請求項１に記載の制御方法。
3. 前記第１センサの検出結果と前記第２センサの検出結果のそれぞれにおいて、記憶した１フレーム分と現在の１フレーム分との比較し、光量が相違する部分の範囲の重心移動が小さい検出結果に対応する方向を、接近方向であると判定する
   ことを特徴とする請求項１に記載の制御方法。
4. マトリクス配列する前記第１および第２センサのうち、前記第１方向寄りの辺と、前記第２方向寄りの辺との外周２辺に位置する位置するものにおいて、前記第１または第２方向寄りの辺の一方で光量変化が検出されたときに、前記第１または第２方向の他方からの接近であると判定する
   ことを特徴とする請求項１に記載の制御方法。
5. マトリクス配列する前記第１および第２センサのうち、前記第１方向寄りの辺と、前記第２方向寄りの辺との外周２辺に位置するものにより光量を検出するとともに、
   前記第１または第２方向寄りの辺の一方に位置するものにおいて、光量変化が検出されたときに、前記第１方向または第２方向からの接近であると判定し、前記第１方向からの接近であると判定した場合、この後、前記第２センサで光量検出を行い、前記第２方向からの接近であると判定した場合、この後、前記第１センサで光量検出を行う
   ことを特徴とする請求項１に記載の制御方法。
6. 前記第１センサの検出結果と前記第２センサの検出結果のそれぞれにおいて、記憶した１フレーム分と現在の１フレーム分との比較して、光量が相違する部分の範囲が対称である場合に、正面方向が接近方向であると判定する
   ことを特徴とする請求項１に記載の制御方法。
7. 請求項２、３または６に記載の制御方法を用いて前記検出装置を制御し、その結果に基づき、判定した接近方向に応じて第１または第２画像、もしくは、第１および第２画像を制御する
   ことを特徴とする制御方法。
8. 第１画像を表示する第１画素と、
   第２画像を表示する第２画素と、
   前記第１画像を第１方向に視認させ、前記第１方向とは異なる第２方向に遮光するとともに、前記第２画像を前記第２方向に視認させ、前記第１方向に遮光する光遮光部材と、
   前記第１画素に対応して設けられ、前記第１方向からの入射する光量を検出する第１センサと、
   前記第２画素に対応して設けられ、前記第２方向からの入射する光量を検出する第２センサと、
   前記第１および第２センサの検出結果を少なくとも１フレーム分記憶し、記憶した１フレーム分と現在の１フレーム分との比較結果に基づいて、前記第１または第２方向のいずれかからの接近を検出する判別回路と、
   を具備し、
   前記第１画素と前記第２画素は交互に配置され、
   前記光遮光部材は、前記第１画素と前記第２画素の観察側に配置され、
   前記第１センサは、前記第１画素と前記第２画素が交互に並ぶ方向と交差した方向に複数配列され、
   前記第２センサは、前記第１画素と前記第２画素が交互に並ぶ方向と交差した方向に複数配列されたことを特徴とする検出装置。