JP4475321B2

JP4475321B2 - 表示装置

Info

Publication number: JP4475321B2
Application number: JP2007304829A
Authority: JP
Inventors: 満建内; 亮一津崎; 勉原田; 和範山口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-11-26
Filing date: 2007-11-26
Publication date: 2010-06-09
Anticipated expiration: 2027-11-26
Also published as: JP2009129271A; KR20090054374A; CN101446873A; TW200925965A; KR101465801B1; US8587560B2; US20090284505A1; TWI377493B

Description

本発明は、表示装置に関し、特に、受光解像度を低くした場合であっても、正確に検出対象物の位置を検出することができるようにする表示装置に関する。

表示回路と受光回路を同一の基板上に配置し、画像を表示するとともに、外部からの光を受光することが可能な表示装置が数多く提案されている（例えば、特許文献１，２参照）。受光回路は、LED(Light Emitting Diode）等の外部光源を持つ物体（例えば、ペンなど）から発せられる光や、バックライトからの光が画面に触れている指やペンで反射して戻ってきた光などを検出し、その検出結果としての受光信号を後段の信号処理回路等に供給する。

後段の信号処理回路等は、例えば、ユーザが指やペンで指示した画面上の位置を解析することにより、ユーザが入力した情報を解析する。従って、基板上に形成された受光回路の個数が多いほど検出精度は高くなるが、受光信号を処理する負荷も大きくなるため、高い受光解像度を必要としない場合には、受光回路を間引いて配置し、表示解像度よりも受光解像度を低く設定する場合がある。

特開２００４−３１８０６７号公報特開２００４−３１８８１９号公報

しかしながら、受光回路を間引いて配置した場合、指などの比較的大きな物体を検出するときは位置情報を得るのに支障はないが、先端の細いペンやスタイラスなど、検出対象物が小さくなると欠落する受光情報の重みが大きくなり、検出対象物の位置情報が正確に検出できないという問題が生じる。

本発明は、このような状況に鑑みてなされたものであり、受光解像度を低くした場合であっても、正確に検出対象物の位置を検出することができるようにするものである。

本発明の第１の側面の表示装置は、表示回路を有する表示セルと、外部からの光を受光する受光センサを含む受光セルとが、表示信号線に対して垂直な行方向および並行な列方向に配列された表示装置において、列方向に隣接する一方の行と他方の行において、各行の前記受光セルの行方向の位置が互いにずれており、前記一方の行で前記受光セルが配置されていた位置に対応する前記他方の行の位置には、前記表示装置の表面側に、前記受光セルと同様のブラックマスクが形成されていることにより暗部とされたダミーブラックが配置されている。

本発明の第２の側面の表示装置は、表示回路を有する表示セルと、受光センサを含む受光セルとが、表示信号線に対して垂直な行方向および並行な列方向に配列された表示装置において、行方向に隣接する一方の列と他方の列において、各列の前記受光セルの列方向の位置が互いにずれており、前記一方の列で前記受光セルが配置されていた位置に対応する前記他方の列の位置には、前記表示装置の表面側に、前記受光セルと同様のブラックマスクが形成されていることにより暗部とされたダミーブラックが配置されている。

本発明の第１の側面においては、表示装置の列方向に隣接する一方の行と他方の行において、各行の受光セルの行方向の位置が互いにずれており、一方の行で受光セルが配置されていた位置に対応する他方の行の位置には、表示装置の表面側に、受光セルと同様のブラックマスクが形成されていることにより暗部とされたダミーブラックが配置されている。

本発明の第２の側面においては、表示装置の行方向に隣接する一方の列と他方の列において、各列の受光セルの列方向の位置が互いにずれており、一方の列で受光セルが配置されていた位置に対応する他方の列の位置には、表示装置の表面側に、受光セルと同様のブラックマスクが形成されていることにより暗部とされたダミーブラックが配置されている。

本発明の第１および第２の側面によれば、受光解像度を低くした場合であっても、正確に検出対象物の位置を検出することができる。

図１は、本発明を適用した情報処理装置の一実施の形態の構成例を示している。

図１の情報処理装置１は、所定の情報を画像として表示する表示装置を少なくとも備え、通話処理、撮像処理、データの送受信処理などの所定の情報処理を行う、携帯電話機、デジタルスチルカメラ、または、PDA（Personal Digital Assistant）などである。また、この情報処理装置１では、図２に示されるように、表示装置の画面上を指やペン、またはスタイラスなどで指示することによって所定の情報を入力することが可能である。

情報処理装置１は、制御部１１、ROM１２、通信部１３、および表示処理部１４などにより構成される。表示処理部１４は、上述の表示装置に対応し、画像信号生成部２１、コントローラ２２、ゲートドライバ２３、ソースドライバ２４、表示パネル２５、受光信号処理部２６、入力情報解析部２７、および記憶部２８により構成される。

制御部１１は、ROM(Read Only Memory)１２に記憶されている制御プログラムに基づいて情報処理装置１の全体の動作を制御する。例えば、制御部１１は、図示せぬ他のモジュールからの指令や、通信部１３が受信したデータに基づいて、表示パネル２５に表示させる表示データを画像信号生成部２１に供給する。また、制御部１１は、後述するように、入力情報解析部２７から供給されるメッセージに対応して、画像信号生成部２１に供給する表示データを更新したり、通信部１３や他のモジュールにデータを供給したりもする。

ここで、他のモジュールとは、例えば、情報処理装置１が携帯電話機であれば通話機能を実行するモジュールなどであり、情報処理装置１がデジタルスチルカメラであれば撮像機能を実行するモジュールなどである。通信部１３は、インターネットなどのネットワークを介して、各種の機器と有線または無線により通信し、取得したデータを制御部１１に供給する。なお、情報処理装置１が外部との通信を必要としない場合には、通信部１３を省略することができる。

画像信号生成部２１は、制御部１１から供給される表示データに対応する画像を表示するための画像信号を生成し、生成した画像信号を、表示パネル２５の駆動を制御するコントローラ２２に出力する。

コントローラ２２は、表示パネル２５の各画素に配置されているスイッチング素子のオン（導通）またはオフ（非導通）を制御するゲートドライバ２３の駆動と、ゲートドライバ２３の駆動に連動して、画像信号に対応する電圧信号（以下、表示信号と称する）を各画素に供給するソースドライバ２４の駆動を制御する。ゲートドライバ２３は、表示選択線５２（図３）を介して表示パネル２５の各画素と接続されている。また、ソースドライバ２４は、表示信号線５１（図３）を介して表示パネル２５の各画素と接続されている。

表示パネル２５は、例えば、行方向にｍ個および列方向にｎ個のｍ×ｎ個からなる画素が行列状に配置されたLCD(Liquid Crystal Display)であり、図示せぬバックライトからの光の透過率を液晶層で変化させることにより、所定の情報を画像として表示する。なお、行方向とは、ソースドライバ２４に接続されている表示信号線５１（図３）に垂直な方向を表し、列方向とは、表示信号線５１に平行な方向を表す。

また、表示パネル２５は、受光センサを内蔵し、バックライトからの光が、表示パネル２５の最上部の表面に接触または近接している指やペンなどに反射して戻ってきた戻り光を受光して、その結果得られる受光信号を、受光信号処理部２６に供給する。従って、表示パネル２５には、画像の表示を行うための表示回路と、入力情報としての光を検出する受光回路が設けられている。

なお、表示解像度の単位（画像の表示単位）としての１画素は、R(Red)，G（Green）、およびB（Blue）の３画素から構成されるので、表示パネル２５を構成する画素の全画素数は、厳密には、３ｍ×ｎ個となる。以下では、R，G、およびBの３画素からなる表示解像度の単位としての画素をピクセル、ピクセルを構成するR，G、およびBの各画素を表示セルと称する。

受光信号処理部２６は、表示パネル２５から供給される受光信号に対して、所定の増幅処理、フィルタ処理、または画像処理などを行い、処理後の整形された受光信号を入力情報解析部２７に供給する。

入力情報解析部２７は、受光信号から生成される受光画像を用いて、指やペンなどで指示された画面上の位置（接触位置）を解析することにより、ユーザが入力した情報を解析し、解析結果をメッセージとして制御部１１に供給する。例えば、受光信号処理部２６からNフレーム目の受光信号が供給されるとすると、入力情報解析部２７は、Nフレーム目の受光信号から生成した受光画像を、記憶部２８に記憶されている１つ前のフレーム（N-1フレーム目）の受光画像と比較し、両受光画像の差分を算出する。そして、入力情報解析部２７は、算出された差分に基づいて、前フレームからの接触位置の動きを解析する。接触位置が複数ある場合には、その複数の接触位置それぞれについて解析が行われる。さらに、入力情報解析部２７は、記憶部２８に記憶されている所定フレーム期間前からの接触位置の変化の情報と照合し、制御部１１へ供給する接触位置の検出に関するメッセージを決定する。

以上のように構成される情報処理装置１の表示パネル２５では、複数個のピクセルに対して１個の割合で受光回路が配置されており、受光解像度が表示解像度より低く設定されている。

以下では、最初に、受光解像度が表示解像度と同一である場合の配置について説明し、それと比較する形で、表示パネル２５で採用されている、受光解像度が表示解像度より低い場合の配置について説明する。

図３は、ピクセルと受光回路からなる基本ユニットの構成例を示している。

基本ユニット３０は、Rの発光を行う表示セル３１R、Gの発光を行う表示セル３１G、およびBの発光を行う表示セル３１BからなるピクセルPixと、受光セル３２とが行方向に配列されて構成されている。表示セル３１R、３１G、および３１Bのそれぞれは、その内部に表示回路４１を有し、受光セル３２は、その内部に受光回路４２を有する。以下において、特にR,G,Bの区別をする必要がない場合には、表示セル３１R、３１G、または３１Bを単に表示セル３１と称する。なお、表示回路４１と受光回路４２は、同一の基板（ガラス基板）上に形成されている。

表示セル３１の表示回路４１には、表示信号線５１がそれぞれ接続されており、その表示信号線５１を介して、表示信号がソースドライバ２４から供給される。また、表示回路４１は、行方向に延びる同一の表示選択線５２とも接続されている。この表示選択線５２を介して、ゲートドライバ２３から出力された表示選択信号が、表示セル３１の表示回路４１に供給される。表示回路４１は、表示選択信号および表示信号に応じてバックライトからの光を制御する。

一方、受光回路４２は、受光センサSSR（図４）による受光を制御し、受光センサSSRが受光して生成した受光信号を、受光セル３２内を列方向に配線された受光信号線５３を介して、受光信号処理部２６に供給する。

図４は、表示回路４１および受光回路４２の回路例を示している。

表示回路４１は、スイッチング素子SW１、液晶層LC、および保持容量Cなどにより構成されている。スイッチング素子SW１は、例えば、TFT（Thin Film Transistor）で構成される。

表示回路４１において、スイッチング素子SW１は、表示選択線５２を介してゲートドライバ２３から供給される表示選択信号に応じて、接続をオンまたはオフする。スイッチング素子SW１がオンしているとき、ソースドライバ２４からの表示信号が、表示信号線５１を介して液晶層LCおよび保持容量Cに供給され、所定の電圧が液晶層LCおよび保持容量Cに印加される。液晶層LCでは、印加された電圧に応じて、液晶分子の配列が変化し、バックライトからの光が表示パネル２５の前面側に出射される。スイッチング素子SW１がオフしているときは、液晶層LCおよび保持容量Cに印加された電圧が保持される。このスイッチング素子SW１のオンおよびオフを、行方向に一列に並ぶ表示セル３１を水平ラインとして、１水平ラインずつ列方向に順次切替えることにより、即ち、線順次走査することにより、表示パネル２５全体として画像が表示される。

受光回路４２は、スイッチング素子SW２およびSW３、センサSSR、並びにアンプAMPにより構成されている。スイッチング素子SW２およびSW３のそれぞれは、例えば、TFTで構成され、センサSSRは、例えば、フォトダイオードやTFTなどで構成される。

センサSSRは、表示パネル２５の表面から入射される光を受光し、受光量に応じた電流信号をアンプAMPに出力する。アンプAMPは、入力される電流信号を電圧信号に変換するとともに増幅し、受光信号として出力する。スイッチング素子SW３は読み出し制御信号に応じて接続をオンまたはオフし、スイッチング素子SW３がオンしているとき、出力された受光信号が、受光信号線５３を介して受光信号処理部２６に供給される。スイッチング素子SW２は、リセット制御信号に応じて接続をオンまたはオフし、スイッチング素子SW２がオンしているとき、受光信号がリセットされる。

以上のように構成される表示回路４１または受光回路４２が、図３の表示セル３１または受光セル３２内に配置されている。

なお、表示パネル２５を、LCDではなく、自発光素子である有機または無機のEL (Electro Luminescent)素子を用いたELディスプレイによって実現することも可能である。

図５は、表示パネル２５がELディスプレイで構成される場合の、表示回路４１および受光回路４２の回路例を示している。なお、受光回路４２は、図４における場合と同様であるので、その説明は省略する。

図５の表示回路４１は、スイッチング素子SW１およびSW４、回路群６１、およびEL素子６２により構成されている。

回路群６１は、例えば、表示データ書き込み回路、閾値ばらつき補正回路などからなる。表示データ書き込み回路は、スイッチング素子SW１から供給されてきた表示信号（電圧信号）を電流信号に変換するI/V（電流／電圧）変換回路である。閾値ばらつき補正回路は、表示信号のスイッチング素子SW１によるばらつきを補正する回路（TFTの閾値補正回路）である。

スイッチング素子SW１は、表示選択線５２を介してゲートドライバ２３から供給される表示選択信号に応じて、接続をオンまたはオフする。スイッチング素子SW１がオンしているとき、ソースドライバ２４からの表示信号が、表示信号線５１を介して回路群６１に供給される。回路群６１は、入力される表示信号に対して、上述したI/V変換やばらつき補正などの処理を行い、処理後の表示信号をスイッチング素子SW４に出力する。スイッチング素子SW４は、発光制御信号に応じて接続をオンまたはオフし、スイッチング素子SW４がオンしているとき、回路群６１からの表示信号がEL素子６２に供給される。これにより、EL素子６２が発光する。

なお、図４および図５を参照して説明した読み出し制御信号、リセット信号、および発光制御信号のそれぞれは、図示せぬ制御線を介してゲートドライバ２３またはソースドライバ２４から供給される。

図６は、図３の基本ユニット３０が行方向に繰り返し配列されて構成される１行の表示状態を示している。

また、図７は、図６の１行をさらに列方向に展開したとき、換言すれば、図３の基本ユニット３０を２次元に展開したときの表示状態を示している。

受光解像度が表示解像度と同一である場合の表示パネルは、このように、図３の基本ユニット３０が行方向および列方向に繰り返し配列されて構成される。

表示セル３１R、３１G、または３１Bは、表示回路４１が液晶層LCを制御してバックライトからの光を透過させた場合、それぞれ、赤色、緑色、および青色を表示する。一方、受光セル３２はバックライトからの光を透過させない領域であるので、ユーザは、受光セル３２を黒色として認識する。

図６および図７では、R，G、およびBの色の違いを、網掛けの濃淡で示している。即ち、表示セル３１Rに対応する赤色を高濃度の網掛けで示し、表示セル３１Gに対応する緑色を中濃度の網掛けで示し、表示セル３１Bに対応する青色を低濃度の網掛けで示している。後述するその他の図についても同様である。

図８は、受光解像度が表示解像度と同一である図７に示した配置を有する表示パネルの画面上に、検出対象物としてのユーザの指が接触または近接している様子を示すイメージ図である。

図８においては、受光セル３２の受光感度に着目するため、受光セル３２の配列のみを示している。

ユーザが指を画面上に接触または近接させた場合、配列された受光セル３２の一部は、検出対象物としての指によって反射された光を受光する。図９には、受光セル３２が反射光を受光できる程度に指が接触または近接した領域を、接触領域８１として示している。したがって、接触領域８１に含まれる受光セル３２が、検出対象物としての指によって反射された光を受光する。

一方、図９の接触領域８２は、例えば、先端の細い物体であるペンを用いてユーザが画面上を接触または近接した場合に、受光セル３２が反射光を受光できる領域を表す。図９を参照して明らかなように、検出対象物が小さければ、接触領域も小さくなり、接触領域に含まれる受光セル３２（の受光センサSSR）の個数にも違いが生じる。

ここで、図１の情報処理装置１の表示パネル２５は、上述したように、複数個のピクセルPixに対して１個の受光回路４２（受光セル３２）が配置されるように構成されており、表示解像度に対して受光解像度が低く設定されている。換言すれば、受光セル３２が間引いて配置されている。

表示パネル２５がどのような目的で受光セル３２を間引いて配置するかについては、本実施の形態では限定されないが、例えば、表示パネル２５内部の反射光によって発生するノイズをキャンセルしてSN比を向上させることを目的として参照センサを配置させるために、受光セル３２を間引く場合がある。参照センサが配置された画素（以下、参照セルと称する）は、受光セル３２と同様の受光回路４２を有するが、画面の最上部（表面）側にブラックマスクが形成されているため、検出対象物からの反射光は受光せず、表示パネル２５内部の反射光のみを受光するようになっている画素である。したがって、参照センサによる受光信号の相当分を受光セル３２の受光信号から減算することで、表示パネル２５内部の反射光によって発生するノイズをキャンセルし、SN比を向上させることができる。

また例えば、単に、高い受光解像度が要求されない場合や、バックライトを採用している場合に光の透過率を向上させることを目的とする場合、または、後段の信号処理や画像処理の負担の軽減を目的とするために、受光セル３２を間引いて配置することもある。

なお、受光セル３２を間引いて配置した場合には、受光セル３２が間引かれた位置にダミーブラックと呼ばれる画素を配置する場合がある。ダミーブラックを配置する理由について簡単に説明する。

受光セル３２は発光しない画素であるので、図９を見ても分かるように、表示された画像には、受光セル３２の位置に対応する黒いスジのストライプが含まれる。図９のように表示解像度と受光解像度が同一である場合には、受光セル３２の位置に対応する黒いスジのストライプのピッチは短いピッチであるが、ピクセルPix数個に対して受光セル３２を１個というように所定の割合で一律に受光セル３２を間引くと、受光セル３２の位置に対応する黒いスジのストライプのピッチが長くなる。

人間は、感度特性として、空間周波数が低くなるほど、わずかな輝度変化のものでも視認するという特性を有している。空間周波数とは、簡単に言えば白色（明部）と黒色（暗部）の濃淡変化（コントラスト）を意味し、本実施の形態では、表示パネル２５に画像を表示したときの表示セル３１に対応する白色部分と受光セル３２に対応する黒色部分とからなる濃淡変化に対応する。そして、空間周波数が低い場合とは、黒色部分のピッチが長い場合を意味する。したがって、単純に所定の割合で受光セル３２を間引いてストライプの黒色部分のピッチが長くなると、人間は、受光セル３２の部分を黒色のスジとして視認してしまう現象が発生する。

そのため、人間が受光セル３２の部分を黒色のスジとして認識しないレベルに空間周波数を低下させないために、ダミーの黒色となる画素であるダミーブラックが、受光セル３２を間引いた位置に配置される。ダミーブラックは、画面の最上部（表面）側にブラックマスクが形成されているのみで、受光回路４２は有しない。

図９の説明に戻るが、接触領域８１のように、接触領域が大きくなる検出対象物の位置を計算する場合には、受光セル３２を間引いて配置しても、間引かない場合と比してさほど困難性はないと考えられるが、接触領域８２のように、接触領域が小さくなる検出対象物の位置を計算する場合には、接触領域８２内に含まれる受光センサSSRの個数が少ない状態からさらに少なくなるため、検出対象物の正確な位置を計算することができなくなる可能性がある。

さらに、図１０乃至図１２を参照して説明する。

図１０は、２個のピクセルPixに対して１個の受光セル３２が配置されるように配置したときの１行の配置例を示す。図１１は、図１０に示した１行をさらに列方向に展開したときの配置例を示している。

即ち、図１０および図１１は、受光解像度が表示解像度の１／２に設定されている配置（以下、適宜、１／２間引きとも称する）例である。なお、図１０および図１１では、受光セル３２が間引かれた位置に、上述した参照セル１０１が配置されている。

図１１の配置を有する表示パネルに対して、図９と同様に、指を接触（近接）させた場合およびペンを接触（近接）させた場合の接触領域８１および８２を重ねると図１２に示すようになる。

１／２間引きとした場合であっても、接触領域８１では、その領域内に受光セル３２は多数存在するので、指の位置を正確に取得するのには問題はないと考えられる。換言すれば、物体の重心位置を算出する信号処理や画像処理において、その演算結果の誤差は、受光セル３２を間引かない図９の配置による結果と比べて少ないと考えられる。

しかしながら、接触領域８２に含まれる受光セル３２からの受光信号に基づいて、物体の重心位置を算出する信号処理や画像処理を行った場合には、接触領域８２に含まれる受光セル３２は極端に少ないので、受光セル３２を間引かない図９の配置による結果と比べると、誤差が大きくなる可能性があり、問題がある。

そこで、図１の情報処理装置１の表示パネル２５では、表示解像度に対して受光解像度を低く設定しても、上述した問題が生じないような配置構成が採用されている。

図１３は、図１の情報処理装置１の表示パネル２５が採用する配置構成の第１の実施の形態を示している。

図１３の配置は、行単位で見ると、受光セル３２と参照セル１０１が交互に配置されている点では、図１１の配置例と同様であるが、隣接する行で、受光セル３２と参照セル１０１の位置が逆になっている点が図１１の配置例と相違する。

即ち、（Ｑ−１）行目とＱ行目の受光セル３２と参照セル１０１の位置は逆であり、Ｑ行目と（Ｑ＋１）行目の受光セル３２と参照セル１０１の位置はまた逆である。換言すれば、Ｑ行目では、（Ｑ−１）行目の受光セル３２が配置されている位置に参照セル１０１が配置されており、（Ｑ＋１）行目では、Ｑ行目の受光セル３２が配置されている位置に参照セル１０１が配置されている。或いは、（Ｑ−１）行目の隣接する２つの受光セル３２の間に、Ｑ行目の受光セル３２が配置されており、Ｑ行目の隣接する２つの受光セル３２の間に、（Ｑ＋１）行目の受光セル３２が配置されていると言うこともできる。ここで、Ｑ＝３，４，・・・・，ｎ−３（ｎ≧６）である。従って、図１３の受光解像度も、図１１における場合と同様に、表示解像度の１／２である。

図１３の配置を有する表示パネル２５に対して、図９および図１２と同様に、指を接触（近接）させた場合およびペンを接触（近接）させた場合の接触領域８１および８２を図１４に示す。

接触領域８２に含まれる受光セル３２から検出できる領域であって、接触領域８２に含まれるすべての受光セル３２を囲む領域は、同じ１／２間引きである図１２の配置における場合と比べて大きい。即ち、隣接する行で受光セル３２と参照セル１０１の位置を逆にしたことで、擬似的に受光解像度を向上させることができたといえる。

したがって、図１３の配置を有する表示パネル２５において接触領域８２に含まれる受光セル３２からの出力を基に、物体の重心位置を算出する信号処理や画像処理を行った場合であっても本来の物体の位置との誤差を小さくすることができる。換言すれば、小さい接触領域８２に含まれる受光セル３２からの出力を基に、物体の重心位置を算出する信号処理や画像処理を行っても信頼性の高い結果を得ることができる。また、大きい接触領域８１に含まれる受光セル３２からの出力を基に物体の位置を取得する場合も当然に、信頼性の高い結果を得ることができる。

ところで、図３の基本ユニット３０は、ピクセルPixに対して行方向に受光セル３２を配列した構成であるが、これに限らず、ピクセルPixに対して列方向に受光セル３２を配列した構成も可能である。

そこで、次に、ピクセルPixに対して列方向に受光セル３２を配列した構成について説明する。

図１５は、ピクセルPixに対して列方向に受光セル３２を配列して構成される基本ユニット３０’を示している。

基本ユニット３０’では、ピクセルPixに対して列方向に受光セル３２が配置されるので、受光信号線５３が行方向に配線されている。

図１６は、図１５の基本ユニット３０’が行方向に繰り返し配列されて構成される１行の表示状態を示している。

また、図１７は、図１５の基本ユニット３０’を２次元に展開したときの配置構成例であって、図９および図１２と同様に接触領域８１および８２を重ねた図を示す。

基本ユニット３０’を２次元に展開し、受光解像度と表示解像度が同一であるときには、当然ながら、接触領域８１および８２のいずれにおいても、その領域内に十分な数の受光セル３２が含まれるので、接触領域８１または８２に含まれる受光セル３２からの出力を基に、物体の重心位置を算出する信号処理や画像処理を行っても問題はない。

図１８は、列方向に２個のピクセルPixに対して受光セル３２が１個配置されるように受光セル３２を間引き、受光セル３２が間引かれた位置に参照セル１０１を配置したときの２行分の配置例を示す。

また、図１９は、図１８の２行を列方向に展開した構成を有する表示パネルにおいて、図９および図１２と同様に接触領域８１および８２を重ねた図を示す。

図１９に示す配列でも、小さな接触領域８２に含まれる受光セル３２の個数はやはり極端に少なくなるため、接触領域８２に含まれる少ない受光セル３２の出力を基に、重心位置を算出したり、画像処理を行った場合には、本来の物体の位置との誤差が大きくなる可能性がある。

そこで、基本ユニット３０’の２次元展開した表示パネルに対して受光セル３２を間引く場合には、例えば、図２０に示す配置が採用される。即ち、図２０は、図１の情報処理装置１の表示パネル２５の第２の実施の形態を示している。

図２０の配置は、列単位で見ると、受光セル３２と参照セル１０１が交互に配置されている点は、図１８の配置例と同様であるが、隣接する列で、受光セル３２と参照セル１０１の位置が逆になっている点が図１８の配置例と相違する。

即ち、（Ｐ−１）列目とＰ列目の受光セル３２と参照セル１０１の位置は逆であり、Ｐ列目と（Ｐ＋１）列目の受光セル３２と参照セル１０１の位置はまた逆である。換言すれば、Ｐ列目では、（Ｐ−１）列目の受光セル３２が配置されている位置に参照セル１０１が配置されており、（Ｐ＋１）列目では、Ｐ列目の受光セル３２が配置されている位置に参照セル１０１が配置されている。或いは、（Ｐ−１）列目の隣接する２つの受光セル３２の間に、Ｐ列目の受光セル３２が配置されており、Ｐ列目の隣接する２つの受光セル３２の間に、（Ｐ＋１）列目の受光セル３２が配置されていると言うこともできる。ここで、Ｐ＝２，３，・・・・，ｍ−２である。したがって、図２０も１／２間引きの配置例である。

図２０の配置を有する表示パネル２５に対して、図９および図１２と同様に接触領域８１および８２を重ねると図２１に示すようになる。

第２の実施の形態における表示パネル２５においても、接触領域８２に含まれるすべての受光セル３２を囲む領域は、図１９と比較すると大きくなっており、隣接する列で受光セル３２と参照セル１０１の位置を逆にしたことで、擬似的に受光解像度を向上させることができたといえる。

従って、第２の実施の形態においても、小さな接触領域８２に含まれる受光セル３２からの出力を基に、物体の重心位置を算出する信号処理や画像処理を行っても信頼性の高い結果を得ることができる。また、大きい接触領域８１に含まれる受光セル３２からの出力を基に物体の位置を取得する場合も当然に、信頼性の高い結果を得ることができる。

図２２は、ピクセルPixに対して行方向に受光セル３２を配列した１／２間引きの構成であって、第１の実施の形態における参照セル１０１（図１０）の代わりに、ダミーブラック１２１が配置されている場合の、１行の配置例を示す。

また、図２３は、図２２の１行をさらに列方向に展開したときの配置例を示している。この場合も、受光セル３２の配置は、図１１における場合と同様であるので、接触領域８２に含まれる受光セル３２は極端に少なくなり、その少ない受光セル３２のみで重心位置を算出したり、画像処理を行った場合には、本来の物体の位置との誤差が大きくなる場合がある。

そこで、図１の情報処理装置１の表示パネル２５の第３の実施の形態として、図２４に示すように、第１の実施の形態と同様に、受光セル３２とダミーブラック１２１の配置が、隣接する行で逆になるように配置させることができる。

これにより、小さな接触領域８２に含まれる受光セル３２からの出力を基に、物体の重心位置を算出する信号処理や画像処理を行っても信頼性の高い結果を得ることができる。また、大きい接触領域８１に含まれる受光セル３２からの出力を基に物体の位置を取得する場合も当然に、信頼性の高い結果を得ることができる。

次は、受光解像度を表示解像度の１／３または１／４というように、１／２よりもさらに低くした場合の例について説明する。なお、上述した１／２間引きの配置例では、受光セル３２をピクセルPixの行方向に隣接して配置した基本ユニット３０に対応する実施の形態と、受光セル３２をピクセルPixの列方向に隣接して配置した基本ユニット３０’に対応する実施の形態の両方について説明したが、以下では、基本ユニット３０に対応する実施の形態のみについて説明する。ただし、基本ユニット３０’に対応する実施の形態も同様に構成可能であることは言うまでもない。

受光セル３２とダミーブラック１２１とを用いて、受光解像度を表示解像度の１／３に設定する場合には、図２５に示されるように１行が構成される。１行単位では、受光セル３２およびダミーブラック１２１が、受光セル３２、ダミーブラック１２１、ダミーブラック１２１の順で繰り返し配列される。

そして、２次元的には、図２６に示されるように、隣接する３行で受光セル３２の位置が互いにずれるように、図２５に示した行が列方向に展開される（表示パネル２５の第４の実施の形態）。

即ち、表示パネル２５の第３の実施の形態では、（Ｑ−１）行目の受光セル３２の位置とＱ行目の受光セル３２の位置は１列分だけずれており、Ｑ行目の受光セル３２の位置と（Ｑ＋１）行目の受光セル３２の位置は１列分だけずれている。また、（Ｑ＋１）行目の受光セル３２の位置と（Ｑ＋２）行目の受光セル３２の位置は１列分だけずれている。従って、（Ｑ＋２）行目の受光セル３２の位置は（Ｑ−１）行目の受光セル３２の位置と同一である。

このように配列することにより、図１４における場合と同様に、擬似的に受光解像度を向上させることができ、小さな接触領域８２に含まれる受光セル３２からの出力を基に物体の重心位置を算出する信号処理や画像処理を行う場合であっても、信頼性の高い結果を得ることができる。

図２７は、受光セル３２とダミーブラック１２１とを用いて、受光解像度を表示解像度の１／４に設定する場合の、１行の構成例を示している。１行単位では、受光セル３２およびダミーブラック１２１が、受光セル３２、ダミーブラック１２１、ダミーブラック１２１、ダミーブラック１２１の順で繰り返し配列される。

そして、２次元的には、図２８に示されるように、隣接する４行で受光セル３２の位置が互いにずれるように、図２７に示した行が展開される（表示パネル２５の第５の実施の形態）。

即ち、表示パネル２５の第４の実施の形態では、（Ｑ−２）行目の受光セル３２の位置と（Ｑ−１）行目の受光セル３２の位置は１列分だけずれており、（Ｑ−１）行目の受光セル３２の位置とＱ行目の受光セル３２の位置は１列分だけずれている。また、Ｑ行目の受光セル３２の位置と（Ｑ＋１）行目の受光セル３２の位置は１列分だけずれており、（Ｑ＋１）行目の受光セル３２の位置と（Ｑ＋２）行目の受光セル３２の位置は１列分だけずれている。（Ｑ＋１）行目の受光セル３２の位置は（Ｑ−２）行目の受光セル３２の位置と同一である。

このように配列することにより、図１４における場合と同様に、擬似的に受光解像度を向上させることができ、小さい接触領域８２に含まれる受光セル３２からの出力を基に物体の重心位置を算出する信号処理や画像処理を行っても信頼性の高い結果を得ることができる。

図２６または図２８は、受光セル３２の１／３間引きまたは１／４間引きの配置例ではあるが、受光セル３２を間引いた部分にはダミーブラック１２１が配置されているため、空間周波数は間引きのない場合と同様となるので、間引きのない場合と同様の画質としてユーザに画像を視認させることができる。

図２９は、表示パネル２５の第６の実施の形態であって、１／４間引きのその他の配置例を示す。

図２９では、２つのピクセルPixでダミーブラック１２１が挟まれたユニット１５１と２つのピクセルPixで受光セル３２が挟まれたユニット１５２が行方向に繰り返し配列されている。

従って、４個のピクセルPixに対して１個の受光セル３２が配置される繰り返しとなるので、１／４に間引きとなるが、２つのピクセルPixに挟まれた受光セル３２でない部分にダミーブラック１２１が配置されていることで、ユーザには、１／２間引きと同様の見た目（空間周波数）となり、黒いスジを感じさせないという効果を奏する。

図３０は、第６の実施の形態における表示パネル２５の所定の４行分の配置例を示している。

図３０では、（Ｑ−１）行目とＱ行目の受光セル３２とダミーブラック１２１の位置は逆であり、Ｑ行目と（Ｑ＋１）行目の受光セル３２とダミーブラック１２１の位置はまた逆である。換言すれば、Ｑ行目では、（Ｑ−１）行目の受光セル３２が配置されている位置にダミーブラック１２１が配置されており、（Ｑ＋１）行目では、Ｑ行目の受光セル３２が配置されている位置にダミーブラック１２１が配置されている。

図２５乃至図３０では、間引いた受光セル３２の位置にダミーブラック１２１を配置した例について説明したが、ダミーブラック１２１に代えて参照セル１０１を配置してもよい。

また、参照セル１０１とダミーブラック１２１の両方を用いることもできる。

次の図３１乃至図３６に示す例は、ダミーブラック１２１と参照セル１０１の両方を配置した例である。

図３１および図３２は、表示パネル２５の第７の実施の形態を示している。

ダミーブラック１２１と参照セル１０１の両方を用いて１／３間引きとする場合、例えば、図３１に示されるように、各行においては、空間周波数の黒色に対応する画素の位置に、受光セル３２、参照セル１０１、およびダミーブラック１２１が、その順で、行方向に繰り返し配置される。

隣接する複数行では、図３２に示されるように、（Ｑ−１）行目の受光セル３２の位置とＱ行目の受光セル３２の位置は１列分だけずれており、Ｑ行目の受光セル３２の位置と（Ｑ＋１）行目の受光セル３２の位置は１列分だけずれている。また、（Ｑ＋１）行目の受光セル３２の位置と（Ｑ＋２）行目の受光セル３２の位置は１列分だけずれている。（Ｑ＋２）行目の受光セル３２の位置は（Ｑ−１）行目の受光セル３２の位置と同一である。受光セル３２と参照セル１０１それぞれも、受光セル３２と同様に、隣接する行で１列分だけ順にずれて配置される。

図３３および図３４は、表示パネル２５の第８の実施の形態を示している。

第８の実施の形態における表示パネル２５の各行は、図３３に示されるように、２つのピクセルPixでダミーブラック１２１が挟まれたユニット１５１、２つのピクセルPixで受光セル３２が挟まれたユニット１５２、および２つのピクセルPixで参照セル１０１が挟まれたユニット１５３が行方向に繰り返し配列されて構成されている。

そして、列方向に対しては、図３４に示されるように、図３３の行が、隣接する２行でユニット１５１、１５２、および１５３が互いに１つずつずれるように展開される。受光解像度は表示解像度の１／６であるが、ダミーブラック１２１と参照セル１０１があるので、ユーザには、表示解像度の１／２の受光解像度と同様の画質（空間周波数）で見える。

図３５および図３６は、表示パネル２５の第９の実施の形態を示している。

第９の実施の形態における表示パネル２５の所定の１行は、図３５に示されるように、ユニット１５１、１５３、１５２、および１５３の１まとまりが行方向に繰り返し配列されている。

そして、図３６に示されるように、図３５に示した１行と、そのユニット１５１と１５３を入れ替えた並びの１行からなる２行が、列方向に繰り返し配列されることにより、表示パネル２５全体が構成されている。

図３６の配置例は、１／８間引きとなるが、空間周波数としては１／２間引きと同等であるので、１／２間引きの画質でユーザに画像を視認させることができる。

なお、図３４の配置例と同様に、ユニット１５１、１５３、１５２、および１５３を各行で１つずつずらして、列方向に展開する配置も可能である。また、ユニット１５３を２個用いる組み合わせでなく、ユニット１５１を２個用いる組み合わせでもよい。

以上説明したような、受光解像度を表示解像度よりも低下させつつ、検出対象物の位置を正確に検出することを可能とする受光セル３２の配置についてまとめると次のようになる。

隣接する行の行方向の受光セル３２のずれ量をＸ、同一行における受光セル３２のピッチをＹとすると、ＸとＹには、Ｘ＝Ｙ／α（αは２以上の整数）の関係が成立する。

図３７は、図１３と同様の１／２間引きの配置例を示しており、この場合、受光セル３２のずれ量Ｘと受光セル３２のピッチＹとの間には、Ｘ＝Ｙ／２の関係が成立する。

図３８は、図２６と同様の１／３間引きの配置例を示しており、この場合、受光セル３２のずれ量Ｘと受光セル３２のピッチＹとの間には、Ｘ＝Ｙ／３の関係が成立する。

図３９は、図３０と同様の１／４間引きの配置例を示しており、この場合、受光セル３２のずれ量Ｘと受光セル３２のピッチＹとの間には、Ｘ＝Ｙ／２の関係が成立する。

なお、基本ユニット３０’を用いて配列した表示パネル２５においても同様の関係が成立する。即ち、隣接する列の列方向の受光セル３２のずれ量をＸ、同一列における受光セル３２のピッチをＹとすると、ＸとＹには、Ｘ＝Ｙ／αの関係が成立する。

以上のように、受光解像度を表示解像度よりも低くするように受光セル３２を配置する場合、表示パネル２５のように、隣接する行で受光セル３２の位置（行方向の位置）をずらして配置することにより、接触領域の小さい物体（検出対象物）であっても、その位置を正確に検出することができる。即ち、受光解像度を表示解像度より低くした場合であっても、接触領域の小さい物体（検出対象物）の位置を正確に検出することができる。

表示処理部１４では、受光解像度を表示解像度よりも低くしたことにより、後段の入力情報解析部２７における信号処理および画像処理の負担が軽減される。

さらに、受光解像度を表示解像度よりも低くし、本来受光セル３２が配置されていた位置に、参照セル１０１を配置することにより、表示パネル２５内部の反射光によって発生するノイズをキャンセルしてSN比を向上させることができる。

あるいは、受光解像度を表示解像度よりも低くし、本来受光セル３２が配置されていた位置に、ダミーブラック１２１を配置することにより、受光解像度を低下させたことによる黒色のスジをユーザに認識させないようにすることができる（画質を向上させることができる）。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した情報処理装置の一実施の形態の構成例を示す図である。情報処理装置に情報を入力するときの操作を説明する図である。ピクセルと受光回路からなる基本ユニットの構成例を示す図である。表示回路および受光回路の回路例を示す図である。表示パネルがELディスプレイで構成される場合の表示回路および受光回路の回路例を示す図である。図３の基本ユニットが行方向に繰り返し配列された構成を示す図である。図３の基本ユニットを２次元展開した構成を示す図である。ユーザの指が画面に接触または近接している様子を示すイメージ図である。指またはペンによる接触面積を示す図である。受光セルを間引く場合の問題について説明する図である。受光セルを間引く場合の問題について説明する図である。受光セルを間引く場合の問題について説明する図である。図１の情報処理装置の表示パネルの第１の実施の形態を示す図である。第１の実施の形態の配列による効果を説明する図である。ピクセルと受光回路からなる基本ユニットのその他の構成例を示す図である。図１５の基本ユニットが行方向に繰り返し配列された構成を示す図である。図１５の基本ユニットを２次元展開した構成を示す図である。受光セルを間引く場合の問題について説明する図である。受光セルを間引く場合の問題について説明する図である。図１の情報処理装置の表示パネルの第２の実施の形態を示す図である。第２の実施の形態の配列による効果を説明する図である。ダミーブラックを配置した従来の１／２間引きの例を示す図である。ダミーブラックを配置した従来の１／２間引きの例を示す図である。図１の情報処理装置の表示パネルの第３の実施の形態を示す図である。図１の情報処理装置の表示パネルの第４の実施の形態を示す図である。図１の情報処理装置の表示パネルの第４の実施の形態を示す図である。図１の情報処理装置の表示パネルの第５の実施の形態を示す図である。図１の情報処理装置の表示パネルの第５の実施の形態を示す図である。図１の情報処理装置の表示パネルの第６の実施の形態を示す図である。図１の情報処理装置の表示パネルの第６の実施の形態を示す図である。図１の情報処理装置の表示パネルの第７の実施の形態を示す図である。図１の情報処理装置の表示パネルの第７の実施の形態を示す図である。図１の情報処理装置の表示パネルの第８の実施の形態を示す図である。図１の情報処理装置の表示パネルの第８の実施の形態を示す図である。図１の情報処理装置の表示パネルの第９の実施の形態を示す図である。図１の情報処理装置の表示パネルの第９の実施の形態を示す図である。受光セルのずれ量Ｘと受光セルのピッチＹとの関係について説明する図である。受光セルのずれ量Ｘと受光セルのピッチＹとの関係について説明する図である。受光セルのずれ量Ｘと受光セルのピッチＹとの関係について説明する図である。

符号の説明

１情報処理装置，１４表示処理部（表示装置），２５表示パネル，４１表示回路，４２受光回路， Pix ピクセル，３１表示セル，３２受光セル，１０１参照セル，１２１ダミーブラック

Claims

表示回路を有する表示セルと、外部からの光を受光する受光センサを含む受光セルとが、表示信号線に対して垂直な行方向および並行な列方向に配列された表示装置において、
列方向に隣接する一方の行と他方の行において、各行の前記受光セルの行方向の位置が互いにずれており、
前記一方の行で前記受光セルが配置されていた位置に対応する前記他方の行の位置には、前記表示装置の表面側に、前記受光セルと同様のブラックマスクが形成されていることにより暗部とされたダミーブラックが配置されている
表示装置。
前記列方向に隣接する行どうしでは、前記一方の行の行方向に隣接する２つの前記受光セルの間の位置に、前記他方の行の前記受光セルが配置されている
請求項１に記載の表示装置。
前記列方向に隣接する行どうしで、各行の前記受光セルの行方向の位置が逆となっている
請求項１に記載の表示装置。
前記ダミーブラックのうちの一部は、さらに、前記ブラックマスクの下側に、前記表示装置内部からの反射光のみを受光する受光センサを含む参照セルとなっており、
前記受光セルと、前記参照セルを含む前記ダミーブラックとを合わせた個数で決定される解像度は、表示解像度と同一である
請求項１に記載の表示装置。
前記受光セルは、前記受光センサとスイッチング素子を少なくとも含む受光回路を有し、
前記参照セルは、前記受光セルと同様の前記受光回路と、前記受光セルと同様のブラックマスクとからなる
請求項４に記載の表示装置。
前記受光セルが検出した受光信号から、前記参照セル内の前記受光センサによる受光信号の相当分を減算する処理を実行する演算手段をさらに備える
請求項４に記載の表示装置。
各行における前記受光セルのピッチＹと、前記列方向に隣接する行どうしの行方向の前記受光セルのずれ量Ｘとの間に、Ｘ＝Ｙ／α（αは２以上の整数）の関係が成立する
請求項１に記載の表示装置。
表示回路を有する表示セルと、受光センサを含む受光セルとが、表示信号線に対して垂直な行方向および並行な列方向に配列された表示装置において、
行方向に隣接する一方の列と他方の列において、各列の前記受光セルの列方向の位置が互いにずれており、
前記一方の列で前記受光セルが配置されていた位置に対応する前記他方の列の位置には、前記表示装置の表面側に、前記受光セルと同様のブラックマスクが形成されていることにより暗部とされたダミーブラックが配置されている
表示装置。
前記行方向に隣接する列どうしでは、前記一方の列の列方向に隣接する２つの前記受光セルの間の位置に、前記他方の列の前記受光セルが配置されている
請求項８に記載の表示装置。
前記行方向に隣接する列どうしで、各列の前記受光セルの列方向の位置が逆となっている
請求項８に記載の表示装置。
前記ダミーブラックのうちの一部は、さらに、前記ブラックマスクの下側に、前記表示装置内部からの反射光のみを受光する受光センサを含む参照セルとなっており、
前記受光セルと、前記参照セルを含む前記ダミーブラックとを合わせた個数で決定される解像度は、表示解像度と同一である
請求項８に記載の表示装置。
前記受光セルは、前記受光センサとスイッチング素子を少なくとも含む受光回路を有し、
前記参照セルは、前記受光セルと同様の前記受光回路と、前記受光セルと同様のブラックマスクとからなる
請求項１１に記載の表示装置。
前記受光セルが検出した受光信号から、前記参照セル内の前記受光センサによる受光信号の相当分を減算する処理を実行する演算手段をさらに備える
請求項１１に記載の表示装置。
各列における前記受光セルのピッチＹと、前記行方向に隣接する列どうしの列方向の前記受光セルのずれ量Ｘとの間に、Ｘ＝Ｙ／α（αは２以上の整数）の関係が成立する
請求項８に記載の表示装置。