以下、本発明を実施するための最良の形態(以下、単に実施の形態という。)について、図面を参照して詳細に説明する。なお、以下の実施の形態では、「非可視光領域」を、可視光領域よりも長波長側の領域(近赤外・赤外領域)から構成した場合で説明する。
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る画像表示装置の全体構成を表すものである。この画像表示装置は、表示部1と、表示信号生成部21と、表示信号保持制御部22と、表示信号ドライバ23と、可視光発光用スキャナ24と、受光用スキャナ31と、受光信号レシーバ32と、受光信号保持部33と、位置検出部34とを備えており、画像データに基づく画像を表示部1に表示すると共に、この表示部1に接触または近接する物体(後述する検出対象物体12)の位置などを検出するものである。なお、本実施の形態に係る物体の検出方法は、本実施の形態に係る画像表示装置によって具現化されるので、以下、併せて説明する。
表示部1は、複数の各画素11が表示部1の全面に渡ってマトリクス状に配置されたLCD(Liquid Crystal Display)からなり、後述するように線順次動作をしながら所定の図形や文字などの画像を表示するものである。また、各画素11は、可視光を発する可視光発光セルCWrgb、非可視光を発する非可視光発光セルCWIR、ならびに可視光および非可視光のいずれをも受光することが可能な受光セルCRを有する発光受光セルCWRから構成され、後述するように画素ごとに発光動作と受光動作とを行うことができるようになっている。なお、この表示部1の構成の詳細については後述する。
表示信号生成部21は、例えば図示しないCPU(Central Processing Unit)などから供給される画像データに基づいて、例えば1画面ごと(1フィールドの表示ごと)に表示部1に表示するための表示信号を生成するものである。このようにして生成された表示信号は、表示信号保持制御部22へ出力される。
表示信号保持制御部22は、表示信号生成部21から出力される表示信号を1画面ごと(1フィールドの表示ごと)に、例えばSRAM(Static Random Access Memory)などから構成されるフィールドメモリに格納して保持するものである。この表示信号保持制御部22はまた、各可視光発光セルCWrgbを駆動する可視光発光用スキャナ24および表示信号ドライバ23、ならびに各受光セルCRを駆動する受光用スキャナ31が連動して動作するように制御する役割も果たしている。具体的には、可視光発光用スキャナ24に対しては発光タイミング制御信号41を、受光用スキャナ31に対しては受光タイミング制御信号42を、表示信号ドライバ23に対しては、制御信号、およびフィールドメモリに保持されている1画面分の表示信号に基づく1水平ライン分の表示信号を、それぞれ出力するようになっている。このようにして、これら可視光発光用スキャナ24、受光用スキャナ31および表示信号ドライバ23に各制御信号および表示信号が供給されることで、後述する例えば矢印X方向への線順次動作が行われるようになっている。
可視光発光用スキャナ24は、表示信号保持制御部22から出力される発光タイミング制御信号41に応じて、駆動対象の可視光発光セルCWrgbを選択するものである。具体的には、表示部1の各画素11に接続された発光用ゲート線介して駆動対象の可視光発光セルCWrgbへ発光用選択信号を供給し、発光素子選択スイッチを制御するようになっている。このようにして、この発光用選択信号によってある画素の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素では表示信号ドライバ23から供給された電圧に対応した輝度の発光動作がなされるようになっている。
表示信号ドライバ23は、表示信号保持制御部22から出力される1水平ライン分の表示信号に応じて、駆動対象の可視光発光セルCWrgbへ表示データを供給するものである。具体的には、表示部1の各画素11に接続されたデータ供給線を介して、可視光発光用スキャナ24により選択された画素11へ表示データに対応する電圧を供給するようになっている。このようにして、これら可視光発光用スキャナ24および表示信号ドライバ23が連動して線順次動作することにより、任意の表示データに対応する画像が表示部1に表示されるようになっている。
受光用スキャナ31は、表示信号保持制御部22から出力される受光タイミング制御信号42に応じて、駆動対象の受光セルCRを選択するものである。具体的には、表示部1の各画素11に接続された受光用ゲート線を介して駆動対象の受光セルCRへ受光用選択信号を供給し、受光素子選択スイッチを制御するようになっている。つまり、上記した可視光発光用スキャナ24の動作と同様に、受光用選択信号によってある画素の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素から検出された受光信号が受光信号レシーバ32に出力されるようになっている。このようにして、可視光および非可視光が受光セルCRによって受光される。
なお、この受光用スキャナ31は、受光信号レシーバ32および受光信号保持部33に対してそれぞれ受光ブロック制御信号43を出力し、これら受光動作に寄与する部分の動作を制御する役割も果たしている。
受光信号レシーバ32は、受光用スキャナ31から出力される受光ブロック制御信号43に応じて、各受光セルCRから出力された1水平ライン分の受光信号を取得するものである。このようにして取得された1水平ライン分の受光信号は、受光信号保持部33へ出力される。
受光信号保持部33は、受光用スキャナ31から出力される受光ブロック制御信号43に応じて、受光信号レシーバ32から出力される受光信号を1画面ごと(1フィールドの表示ごと)の受光信号に再構成し、例えばSRAMなどから構成されるフィールドメモリに格納して保持するものである。このようにしてフィールドメモリに格納された受光信号は、位置検出部34へ出力される。なお、この受光信号保持部33はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータとして保持しておくようにしてもよい。
位置検出部34は、受光信号保持部33から出力される受光信号に基づいて信号処理を行い、受光信号を検出した受光セルCRの位置から、表示部1に接触あるいは近接する物体の位置などを特定するものである。このようにして、表示部1に接触あるいは近接する物体の位置などが特定される。なお、上記のように受光信号保持部33が受光信号をアナログデータとして保持している場合には、この位置検出部34がアナログ/デジタル変換(A/D変換)を行ってから信号処理を実行するように構成することが可能である。
なお、表示信号ドライバ23および可視光発光スキャナ24は本発明における「第1発光駆動手段」の一具体例に対応し、受光用スキャナ31は本発明における「第1受光駆動手段」の一具体例に対応する。
次に、図2〜図5を参照して、表示部1および発光受光セルCWRの構成の詳細について説明する。
図2は、各画素11における発光受光セルCWRの構成の一例を平面図で表したものである。この発光受光セルCWRは、前述のように可視光発光セルCWrgbと、非可視光発光セルCWIRと、受光セルCRとを有している。また、そのうちの可視光発光セルCWrgbは、赤色発光する赤色発光セルCWrと、緑色発光する緑色発光セルCWgと、青色発光する青色発光セルCWbとを有している。また、赤色発光セルCWrは、赤色発光する部分である赤色発光素子CLrと、この赤色発光素子CLrを駆動するスイッチ素子(後述する発光素子選択スイッチSW1R)を含むTFT(Thin Film Transistor)回路部113Rとを有し、緑色発光セルCWgは、緑色発光する部分である緑色発光素子CLgと、この緑色発光素子CLgを駆動するスイッチ素子(後述する発光素子選択スイッチSW1G)を含むTFT回路部113Gとを有し、青色発光セルCWbは、青色発光する部分である青色発光素子CLbと、この青色発光素子CLbを駆動するスイッチ素子(後述する発光素子選択スイッチSW1B)を含むTFT回路部113Bとを有している。また、非可視光発光セルCWIRは、非可視光を発する部分である非可視光発光素子CLIRを有し、受光セルCRは、可視光および非可視光を受光する部分である受光センサ111と、この受光センサ111を駆動するスイッチ素子(後述する受光素子選択スイッチSW2)を含む受光センサ回路部112とを有している。受光センサ111は、例えばフォトダイオードなどから構成される。ここで、本実施の形態のように可視光領域よりも長波長側の非可視光を利用する場合、この受光センサ111は、アモルファスシリコンよりも単結晶シリコンから構成されていることが好ましい。これは、単結晶シリコンによって受光センサ111を構成したほうが、受光可能な光の波長領域が広くなる(約1100nm以下の波長領域)からである。なお、これら赤色発光素子CLr、緑色発光素子CLgおよび青色発光素子CLbとTFT回路部113との接続関係、ならびにTFT回路部113と前述の表示信号ドライバ23、可視光発光用スキャナ24、受光用スキャナ31および受光信号レシーバ32との接続関係の詳細は後述(図4)する。
ここで、これら赤色発光素子CLr、緑色発光素子CLgおよび青色発光素子CLbは本発明における「第1発光素子」の一具体例に対応し、非可視光発光素子CLIRは本発明における「第2発光素子」の一具体例に対応し、受光センサ111は本発明における「受光素子」の一具体例に対応する。
図3は、図2におけるA−A部分の矢視断面図であり、表示部1の断面構成の一例を表したものである。この表示部1は、光源100と、各発光素子(赤色発光素子CLr、緑色発光素子CLg、青色発光素子CLbおよび非可視光発光素子CLIR)を構成する積層構造とから構成されている。この積層構造は、具体的には光源100側から、偏光板101Aと、ガラス基板102Aと、回路部103と、絶縁層104と、透明画素電極105Aと、液晶層106と、透明電極105Bと、カラーフィルタ107と、選択透過フィルタ108と、ブラックマトリクス109と、ガラス基板102Bと、偏光板101Bとから構成されている。すなわち、これら各発光素子は液晶素子から構成され、互いに対向するガラス基板102A,102Bの間に液晶層106を設けた構成となっている。
光源100は、可視光領域および非可視光領域の光を上記した液晶素子へ向けて発するバックライトである。また、ガラス基板102A,102Bは、いずれもガラス材料からなる透明基板である。ただし、これら102A,102Bをガラス材料の代わりに、透明なプラスチック材料などから構成してもよい。なお、これらガラス基板102A,102Bは本発明における「一対の透明基板」の一具体例であり、そのうちのガラス基板102Bは本発明における「表示面側の透明基板」の一具体例に対応する。
回路部103は、図2に示したTFT回路部113や受光センサ回路部112に対応する部分であり、各透明画素電極105Aと電気的に接続されている。また、透明画素電極105Aは各可視光発光セルCWRrgbに配置されており、例えばITO(Indium Tin Oxide;酸化インジウムスズ))などの透明材料から構成される。一方、透明電極105B
は透明電極105Aと対向する共通電極であり、透明電極105Aと同様に例えばITOなどの透明材料から構成される。また、絶縁層104は、各回路部103の間に形成されている。このような構成により、これら透明電極105A,105B間に表示データに応じた電圧が印加され、光源100からのバックライト光LOが液晶層106を透過または遮断されるようになっている。なお、図3に示したように、非可視光発光セルCWIRには、透明画素電極105Aが配置されていない。これは後述するように、非可視光発光セルCWIRからは一定の輝度の非可視光LIRが出射されるようにすればよく、表示データに応じて輝度を変化させる必要がないためである。
カラーフィルタ107は、各可視光発光セルCWrgb(赤色発光セルCWr、緑色発光セルCWgおよび青色発光セルCWb)に対応する領域に配置されており、液晶層106を透過したバックライト光LOのうち、自己の発光色に対応する波長領域の光を選択的に透過するものである。また、選択透過フィルタ108は、非可視光発光セルCWIRに対応する領域に配置されており、液晶層106を透過したバックライト光LOのうち、非可視光領域(ここでは、可視光領域よりも長波長側の領域)の光を選択的に透過するものである。ブラックマトリクス109は、各カラーフィルタ107および選択透過フィルタ108の間に配置されており、光源100からのバックライト光LOを遮断して表示面10側に出射しないようにするものである。
このようにして、光源100からのバックライト光LOがカラーフィルタ107または選択透過フィルタ108を透過することで、可視光発光セルCWrgbからは可視光Lrgb、すなわち、赤色発光セルCWrからは赤色光Lrが、緑色発光セルCWgからは緑色光Lgが、青色発光セルCWbからは青色光Lbがそれぞれ出射される一方、非可視光発光セルCWIRからは非可視光LIRが出射されるようになっている。したがって、これら可視光Lrgbおよび非可視光LIRの発光スペクトルは、例えば図4に示したようになる。すなわち、しきい値波長W1よりも短波長側である可視光領域側には、赤色発光スペクトルPr、緑色発光スペクトルPgおよび青色発光スペクトルPbからなる可視光発光スペクトルPrgbが、そしてしきい値波長W1よりも長波長側である非可視光領域には、非可視光発光スペクトルPIRが、それぞれ観測されるようになっている。なお、カラーフィルタ107は本発明における「第1選択透過フィルタ」の一具体例に対応し、選択透過フィルタ108は本発明における「第2選択透過フィルタ」の一具体例に対応する。
図5は、各画素11における発光受光セルCWRの回路構成の一例を表したものである。この発光受光セルCWRは、前述のように、赤色発光セルCWr、緑色発光セルCWgおよび青色発光セルCWbからなる可視光発光セルCWrgbと、非可視光発光セルCWIRと、受光セルCRとを有している。このうち、可視光発光セルCWrgbには、表示信号ドライバ23に接続された表示データ供給線DWと、可視光発光用スキャナ24に接続された発光用ゲート線GWとが接続されている。具体的には、赤色発光セルCWrには表示データ供給線DWrと発光用ゲート線GWとが、緑色発光セルCWgには表示データ供給線DWgと発光用ゲート線GWとが、青色発光セルCWbには表示データ供給線DWbと発光用ゲート線GWとが、それぞれ接続されている。一方、受光セルCRには、受光用スキャナ31に接続された受光用ゲート線GRと受光信号レシーバ32に接続されたデータ読み出し線DRとが接続され、非可視光発光セルCWIRには、これらの接続線は接続されていない。なお、この非可視光発光セルCWIRに接続線が接続されていないのは、前述のように非可視光発光セルCWIRからは一定の輝度の非可視光LIRが出射されるようにすればよく、表示データに応じて輝度を変化させる必要がないためである。
赤色発光セルCWrは、前述の赤色発光素子CLrと、前述のTFT回路部113R内に設けられた発光素子選択スイッチSW1Rとを有している。緑色発光セルCWgは、前述の緑色発光セルCLgと、前述のTFT回路部113G内に設けられた発光素子選択スイッチSW1Gとを有している。青色発光セルCWbは、前述の青色発光素子CLbと、前述のTFT回路部113B内に設けられた発光素子選択スイッチSW1Bとを有している。また、受光セルCRは、前述の受光素子としての受光センサ111(図5に示した例では、フォトダイオード)と、前述の受光センサ回路部112内に設けられた受光素子選択スイッチSW2とを有している。また、非可視光発光セルCWIRは、前述の非可視光発光素子CLIRと、定電圧電源VIRとを有している。なお、これら発光素子選択スイッチSW1R,SW1G,SW1Bは、いずれも例えばTFTなどのスイッチ素子から構成される。
発光素子選択スイッチSW1R,SW1G,SW1Bはそれぞれ、発光用ゲート線GWによってそのオンオフ動作が制御されるようになっている。また、発光素子選択スイッチSW1Rの一端は表示データ供給線DWrに接続され、その他端は赤色発光素子CLrの一端(具体的には、前述の透明画素電極105A)に接続され、赤色発光素子CLrの他端(具体的には、前述の透明電極105B)は接地されている。同様に、発光素子選択スイッチSW1Gの一端は表示データ供給線DWgに接続され、その他端は緑色発光素子CLgの一端に接続され、緑色発光素子CLgの他端は接地されている。発光素子選択スイッチSW1Bの一端は表示データ供給線DWbに接続され、その他端は青色発光素子CLbの一端に接続され、青色発光素子CLbの他端は接地されている。一方、受光素子選択スイッチSW2は受光用ゲート線GRによってそのオンオフ動作が制御されるようになっており、その一端はデータ読出線DRに接続され、その他端は受光センサ111の一端に接続され、受光センサ111の他端は接地または正バイアス点(図示せず)に接続されている。また、非可視光発光素子CLIRの一端(具体的には、図3の回路部103側)は、非可視光発光用データ供給線DWIRを介して定電圧電源VIRに接続され、その他端(具体的には、前述の透明電極105B)は接地されている。
このような回路構成により発光受光セルCWRでは、以下のような発光動作および受光動作がなされる。
まず、可視光Lrgbの発光動作時には、発光用ゲート線GWから供給される発光用選択信号に応じて、1水平ライン分の発光素子選択スイッチSW1R,SW1G,SW1Bがそれぞれオン状態となる。そして各表示信号に応じた輝度の発光となるよう、表示データ供給線DWr,DWg,DWbからそれぞれI1r,I1g,I1bの経路にて、赤色発光素子CLr、緑色発光素子CLgおよび青色発光素子CLbが充電されることで、これら発光素子はそれぞれ、各発光色に対応すると共に各表示信号に応じた輝度からなる発光動作を行う。これに対して、非可視光LIRの発光動作については、定電圧電源VIRから非可視光発光用データ供給線DWIRを介して非可視光発光素子CLIRへ常に一定の電圧が印加されることから、常に一定の電流がI1IRの経路にて非可視光発光素子CLIRが充電され、非可視光発光素子CLIRは、一定の輝度からなる非可視光LIRの発光動作を行う。
一方、受光動作時には、受光用ゲート線GRから供給される受光用選択信号に応じて、1水平ライン分の受光素子選択スイッチSW2がオン状態となり、受光センサ111において受光した光量に応じた電流がI2の経路にてデータ読出線DRへ供給されることで、可視光Lrgbおよび非可視光LIRの受光動作を行うようになっている。
なお、発光動作および受光動作のいずれの動作も行っていないときには、発光素子選択スイッチSW1R,SW1G,SW1Bおよび受光素子選択スイッチSW2のいずれのスイッチもオフ状態となっており、表示データ供給線DWr,DWg,DWbと赤色発光素子CLr、緑色発光素子CLgまたは青色発光素子CLbとの間の接続、ならびにデータ読出線DRと受光センサ111との間の接続は、いずれも切断されるようになっている。
次に、以上のような構成からなる画像表示装置において、表示部1の表示面10に接触あるいは近接する物体(検出対象物体)を検出する処理を、黒表示状態の場合とそれ以外の通常表示状態の場合とに分けて説明する。
まず、図6〜図8を参照して、検出対象物体を検出する処理の概要について説明する。ここで図6は、通常表示状態のときに検出対象物体を線順次動作で検出する処理の一例を表したものである。一方、図7は、黒表示状態のときの表示部1の状況を断面図で表したものであり、図8は、同じく黒表示状態のときに検出対象物体を線順次動作で検出する処理の一例を表したものである。なお、黒表示状態とは、通常、表示部1の画素11から可視光Lrgbが出射されていない状態を意味するが、ここでは説明のために、表示部1に表示されている映像が、全ての画素11にわたって黒表示である状態を示すものとする。また、図6および図8に示した1マスは、表示部1における画素11を表している。
まず、図6を参照して、通常表示状態の場合について説明する。
図6(A)に示したように、非可視光発光素子CLIRからは常に一定の輝度からなる非可視光LIRが出射されることから、表示部1における各画素11は常に非可視光発光領域51となっている。
ここで、図6(B),(C)に示したように、前述の1水平ライン分の可視光発光素子CLrgbの発光動作(可視光発光領域52の領域)、および1水平ライン分の受光センサ111の受光動作(受光領域53の領域)が、それぞれ矢印Xのように同期して線順次動作(それぞれ、線順次発光動作および線順次受光動作)を行うことで、表示部1全体にわたってそれぞれ、映像の表示(可視光Lrgbの出射)ならびに可視光Lrgbおよび非可視光LIRの受光が可能となる。そして、例えば表示部1に指などの検出対象物体12が接触あるいは近接すると、可視光発光領域52から出射された可視光Lrgbおよび非可視光発光領域51から出射された非可視光LIRが、それぞれこの検出対象物体12で反射される。ここで、この可視光Lrgbまたは非可視光LIRを出射した画素と位置が近い画素(例えば、図6(B)の符号P3で示した水平ラインの画素)には、この検出対象物体12での反射光が入射する一方、位置が遠い画素(例えば、図6(C)の符号P6で示した水平ラインの画素)には、この検出対象物体12での反射光は入射しない。したがって、ある検出対象物体12の近傍に位置する受光センサ111からは受光信号が検出される一方、それ以外の領域からは受光信号が検出されないことから、この検出対象物体12が表示部1のどの位置に存在するのかが検知できる。
このようにして、1水平ラインが線順次発光動作すると共にその可視光Lrgbまたは非可視光LIRの出射光による反射光を線順次受光動作することにより、表示部1全体が発光領域になると共に受光領域となり、ある画像データが表示部1全体に渡って表示されることに加え、受光センサ111から検出された受光信号により、ある検出対象物体12が表示部1の近傍に存在するかどうか、そして存在する場合はその位置が検出される。
また、黒表示状態の場合には、上記のように全ての画素11で黒表示となることから、図7に示したように、光源100から出射されたバックライト光LOは、各可視光発光セルCWr,CWg,CWbにおいては、液晶層106で遮断される。一方、非可視光発光セルCWIRでは、前述のように常に一定の輝度からなる非可視光LIRが出射されることから、光源100から出射されたバックライト光LOは、液晶層106を透過することとなる。したがって、このような黒表示状態のときでも、図8(A)〜(C)に示したように、この非可視光領域51から出射された非可視光LIRを用いることで、図6に示した通常表示状態の場合と同様にして、検出対象物体12の位置が検出される。このようにして、表示部1の表示状態、すなわち画像データに応じた輝度変化の影響や、さらに例えば周囲の状況(明るい場合や暗い場合など)など、そのときの使用状況の影響を受けることなく、検出対象物体12の位置が検出される。
次に、図9を参照して、図1の画像表示装置において検出対象物体12を検出する処理の詳細を、やはり通常表示状態の場合と黒表示状態の場合とに分けて説明する。ここで図9は、図1の画像表示装置において検出対象物体12を検出する処理をタイミング図で表したものであり、(A)は表示データ供給線DWiを、(B)は非可視光発光用データ供給線DWIRを、(C)は1〜n番目の水平ラインの発光用ゲート線GW(GW1〜GWn)を、(D)は1〜n番目の水平ラインの受光用ゲート線GR(GR1〜GRn)を、(E)は1〜n番目の水平ラインにおける1垂直ライン分の発光受光セルCWRi(CWRi1〜CWRin)を、(F)は各発光受光セルCWRiに接続されたデータ読出線DRiを、それぞれ示している。また、図9において位置を表す符号であるi,j,n,mは、ある自然数を表している。
また、図9において、横軸は時間を表し、垂直期間TH1,THmは表示部1の画面全体分スキャンするのに要する時間、つまり可視光発光用スキャナ24および受光用スキャナ31がそれぞれ、GW1〜GWnまでおよびGR1〜GRnまでスキャンする時間を表すものである。また、検出対象物体12は表示部1における発光受光セルCWRi(j-1),CWRij,CWRi(j+1)付近にあるものとし、これに対応する期間、つまり垂直期間TH1においてはタイミングt3〜t6の期間(受光信号検出期間TF1)において、同様に垂直期間THmにおいては受光信号検出期間TFmにおいて受光信号が検出されるものとする。一方、縦軸は上記の(A)〜(D),(F)に示した各信号の各タイミングにおける電圧を表している。ここで、(A)に示した表示データ供給線DWiの信号は、各画素11において任意の輝度に対応する表示データであり、垂直期間TH1では通常表示状態、垂直期間THmでは黒表示状態であることを表している。また、(E)に示したのは、各発光受光セルCWRiにおける可視光Lrgbの発光と可視光Lrgbおよび非可視光LIRの受光とを行う発光受光期間TRW、ならびに可視光Lrgbの発光期間TWを表すものである。
なお、図9に示した処理は、可視光発光用スキャナ24による発光動作のスキャンおよび受光用スキャナ31による受光動作のスキャンが同じタイミングで同一の水平ラインによって線順次動作していく例であるが、可視光Lrgbの発光動作スキャンおよび受光動作スキャンは、独立して動作することが可能である。また、(F)に示したデータ読出線DRiの信号は、アナログデータとして受光信号保持部33に格納される例であるが、前述のようにデジタルデータとして受光信号保持部33に格納するように構成することも可能である。
まず、通常表示状態の場合(垂直期間TH1)について説明する。
タイミングt0〜t1では、全ての発光用ゲート線GWおよび受光用ゲート線GRに選択信号が供給されず、各発光受光セルCWRiにおける発光素子選択スイッチSW1および受光素子選択スイッチSW2は、いずれもオフ状態となる。したがって、表示データ供給線DWr,DWg,DWbと赤色発光素子CL、緑色発光素子CLgまたは青色発光素子CLbとの間の接続、ならびにデータ読出線DRと受光センサ111との間の接続は切断され、各発光受光セルCWRiは非動作状態となる。一方、可視光発光用データ線DWIRには常に一定の電圧が印加され、一定の輝度からなる非可視光LIRが出射されている。
次にタイミングt1〜t2において、発光用ゲート線GW1および受光用ゲート線GR1には発光用選択信号および受光用選択信号が供給され、これらのゲート線が接続された発光受光セルCWR11,CWR21,…,CWRm1における発光素子選択スイッチSW1および受光素子選択スイッチSW2が、一斉にオン状態となる。またこのとき、図9中に発光受光期間TRWで示したように、各発光受光セルCWRiにおいて、各可視光発光素子CLr,CLg,CLbが表示データ供給線DWiの信号に応じた輝度の発光動作を行うと共に、受光センサ111において受光された光量に応じた電流がデータ読出線DRiへ供給されることで、受光動作がなされる。なお、この期間(タイミングt1〜t2)では、検出対象物体12による受光信号が検出されないことから、データ読出線DRiからも出力信号は出力されない。
また、タイミングt2以降も同様にして、発光用ゲート線GW2および受光用ゲート線GR2,発光用ゲート線GW3および受光用ゲート線GR3,…と、線順次に発光動作および受光動作が行われるが、やはり検出対象物体12による受光信号が検出されないので、データ読出線DRiからは出力信号が出力されない。なお、各発光受光セルCWRiとも、発光受光期間TRWが終了した後は、ある一定期間、発光動作期間TWが保持される。
タイミングt3〜t6において、検出対象物体12からの反射光が、各発光受光セルCWRi(j-1),CWRij,CWRi(j+1)において受光されると、受光した光量に応じた電流が電圧に変換され、データ読出線DRiへ出力される(受光信号検出期間TF1)。なお、この場合、各発光受光セルCWRi(j-1),CWRij,CWRi(j+1)では、自己の発光動作に基づく反射光、および非可視光発光セルCWIRからの出射光による反射光の両者が受光されることとなるので、データ読出線DRiへ出力される信号は、表示データ供給線DWiおよび非可視光発光用データ供給線DWIRにおける信号に応じた値となる。
タイミングt6〜7も、タイミングt1〜t3と同様に、発光用ゲート線GWj+2および受光用ゲート線GRj+2,発光用ゲート線GWj+3および受光用ゲート線GRj+3,…,発光用ゲート線GWnおよび受光用ゲート線GRnと、線順次に発光動作および受光動作が行われるが、やはり検出対象物体12による受光信号が検出されないので、データ読出線DRiからは出力信号が出力されない。
このようにして、垂直期間TH1において、発光受光セルCWRi(j-1),CWRij,CWRi(j+1)付近の位置に検出対象物体12が存在すると検出することできる。
一方、黒表示状態の場合(垂直期間THm)のときも、基本的には通常表示状態の場合(垂直期間TH1)と同様に動作する。つまり、各発光受光セルCWRiにおいて、各可視光発光素子CLr,CLg,CLbが発光動作を行うと共に、受光センサ111において受光された光量に応じた電流がデータ読出線DRiへ供給され、受光動作がなされる。ただし、この黒表示状態では、表示データ供給線DWiの信号に応じた輝度がほぼ0であることから、受光センサ111では、非可視光発光セルCWIRからの出射光による反射光のみが受光される。つまり、各発光受光セルCWRi(j-1),CWRij,CWRi(j+1)は非可視光発光セルCWIRからの出射光による反射光のみを受光することになるので、データ読出線DRiへ出力される信号は、非可視光発光用データ供給線DWIRにおける信号に応じた値となる。このようにして、黒表示状態の垂直期間THmにおいても、受光信号検出期間TFmにおいてデータ読出線DRiから出力信号が出力され、やはり発光受光セルCWRi(j-1),CWRij,CWRi(j+1)付近の位置に検出対象物体12が存在すると検出される。
以上のように、本実施の形態によれば、表示部1の表示面10から非可視光LIRを出射すると共に、この表示面10に接触または近接する検出対象物体12で反射された非可視光LIRを表示面10上で受光し、受光したこの非可視光LIRに基づいて検出対象物体12の検出を行うようにしたので、表示部1の表示状態、すなわち画像データに応じた輝度変化の影響や、さらに例えば周囲の状況(明るい場合や暗い場合など)など、そのときの使用状況の影響を受けることなく、確実に検出することができる。
また、このような検出対象物体12の位置などを検出するうえで、例えばタッチパネルなどの部品を別途設ける必要もないので、簡易な構成で実現することができる。
また、受光セルCR内の受光センサ111が、非可視光LIRだけではなく可視光Lrgbをも受光するようにしたので、本実施の形態で説明してきた物体の検出処理に加え、例えば画像の取り込み処理を行うことができ、例えばスキャナとして利用することも可能となる。
また、可視光および非可視光を出射することが可能な光源100と、カラーフィルタ107および選択透過フィルタ108とを組み合わせて構成したので、各可視光発光セルCWr,CWg,CWbからは可視光Lrgbを、非可視光発光セルCWIRからは非可視光LIRを、それぞれ別個に出射することができる。なお、このように可視光および非可視光を出射することが可能な光源100の代わりに、可視光を出射することが可能な光源(第1光源)と、非可視光を出射することが可能な光源(第2光源)とを別個に設けるように構成してもよい。
また、非可視光発光セルCWIRからは、常に一定の輝度で非可視光LIRを出射するようにしたので、各可視光発光セルCWr,CWg,CWbや受光セルCRに設けられているような選択スイッチが不要となり、発光受光セルCWRの構成を簡素化することが可能となる。
なお、本実施の形態では、図2に示したように、画素11内において、各可視光発光セルCWr,CWg,CWbと非可視光発光セルCWIRおよび受光セルCRとが並列配置されている場合の例について説明してきたが、例えば図10に示したように、画素11内において、非可視光発光セルCWIRおよび受光セルCRを各可視光発光セルCWr,CWg,CWbの下部や上部に配置するようにしてもよい。
また、本実施の形態では、選択透過フィルタ108を非可視光発光セルCWIRに対応する領域のみに配置し、受光センサ111が非可視光LIRおよび可視光Lrgbの両者を受光する場合の例について説明してきたが、例えば図11(A)に示したように、選択透過フィルタ108を受光センサ111に対応する領域にも配置し、この受光センサ111が非可視光LIRのみを受光するようにしてもよい。このように構成した場合、可視光Lrgbの影響を取り除くことができるので、より確実に検出対象物体12を検出することができる。また、例えば図11(B)に示したように、受光セルCR内に受光センサを複数(この場合、2つ)設け、非可視光LIRおよび可視光Lrgbの両者を受光する受光センサ111Aと、非可視光LIRのみを受光する111Bとに区別し、これら受光センサ111A,111Bを選択的に受光駆動するようにしてもよい。このように構成した場合、例えば本実施の形態で説明したような検出対象物体12の検出処理と、前述の映像取り込み処理とを、自由に切り換えることが可能となる。なお、この受光センサ111A上に、可視光Lrgbのみを選択的に透過するフィルタを設け、受光センサ111Aが可視光Lrgbのみを受光するようにしてもよく、この場合のこの受光センサ111Aは本発明における「第1受光素子」の一具体例に対応し、受光センサ111Bは本発明における「第2受光素子」の一具体例に対応する。
また、例えば図12に示したように、非可視光LIRのみを選択的に透過する選択透過フィルタ108を、各画素11内において、各可視光発光セルCWr,CWg,CWbに対応する領域以外の領域全てに配置するようにしてもよい。このように構成した場合、各可視光発光セルCWr,CWg,CWbに対応する領域以外からは、可視光Lrgbが出射されないことから、選択透過フィルタ108が、図3に示したブラックマトリクス109としての役割を果たすことが可能となる。よって、図3に示した表示部1の積層構造において、積層数を1層減らすことができることから、製造工程を簡素化することができ、製造コストを削減することが可能となる。
また、可視光発光用スキャナ24に対して受光用スキャナ31が間引いて(2本おきや3本おきに)駆動するようにしてもよい。そのように構成した場合、本実施の形態における効果に加え、受光信号のデータ量を削減することで受光側の回路(受光用スキャナ311、受光信号レシーバ32、受光信号保持部33)を簡素化することができ、また、低消費電力化を図ることも可能となる。よって、特に接触あるいは近接する物体の検出位置の精度よりも回路構成の簡素化および低消費電力化を図りたい場合には有効である。
また、複数の可視光発光セルCWr,CWg,CWbが出射した光を複数の受光セルCRが受光し、それらの受光信号を加算して1つの受光信号として出力するようにしてもよい。そのように構成した場合、第1の実施の形態における効果に加え、受光信号のデータ量を削減することで受光側の回路(受光用スキャナ31、受光信号レシーバ32および受光信号保持部33)を簡素化することができ、また、低消費電力化を図ることも可能となる。またその場合、複数の受光信号を加算し、1つの受光信号として受光信号レシーバ32に出力することになるので、出力信号量を上げてS/N比を向上させ、検出感度を上げることも可能となる。
また、各可視光発光セルCWr,CWg,CWbに対して受光セルCRの配置自体を間引くように構成にしてもよい。そのように構成した婆、第1の実施の形態における効果に加え、受光信号のデータ量を削減することで受光側の回路(受光用スキャナ31、受光信号レシーバ32、受光信号保持部33)を簡素化することができ、また、低消費電力化を図ることも可能となる。また逆に、各可視光発光セルCWr,CWg,CWbに対して複数の受光セルCRを配置するようにしてもよい。そのように構成した場合、第1の実施の形態における効果に加え、接触あるいは近接する物体をより精度良く位置検出することが可能となる。
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。
上記の第1の実施の形態では、各発光素子(赤色発光素子CLr、緑色発光素子CLg、青色発光素子CLbおよび非可視光発光素子CLIR)が、いずれも液晶素子から構成されている場合について説明したが、本実施の形態では、各発光素子が、いずれも自発光素子である有機EL(ElectroLuminescence)素子から構成されている場合について説明する。
図13は、本実施の形態に係る画像表示装置の全体構成を表すものである。この図において、図1に示した第1の実施の形態に係る画像表示装置の構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。この画像表示装置は、図1に示した第1の実施の形態における表示部1に代えて、表示部6を備えたものである。
表示部6は、表示部1と同様に、複数の各画素61が全面に渡ってマトリクス状に配置され、線順次動作をしながら所定の図形や文字などの画像を表示するものである。また、画素61は、画素11と同様に、可視光を発する可視光発光セルCWrgb、非可視光を発する非可視光発光セルCWIR、ならびに可視光および非可視光のいずれをも受光することが可能な受光セルCRを有する発光受光セルCWRから構成されている。この表示部6が表示部1と異なるのは、上記のように、各発光素子(赤色発光素子CLr、緑色発光素子CLg、青色発光素子CLbおよび非可視光発光素子CLIR)を有機EL素子から構成するようにした点である。
図14は、各画素61における発光受光セルCWRの構成の一例を平面図で表したものであり、第1の実施の形態における図2に対応するものである。本実施の形態の発光受光セルCWRは、前述のように可視光発光セルCWrgbと、非可視光発光セルCWIRと、受光セルCRとを有している。また、そのうちの可視光発光セルCWrgbは、赤色発光する赤色発光セルCWrと、緑色発光する緑色発光セルCWgと、青色発光する青色発光セルCWbとを有している。また、赤色発光セルCWrは、赤色発光する部分である赤色発光素子ELrと、この赤色発光素子ELrを駆動するスイッチ素子(後述する発光素子選択スイッチSW3R)を含むTFT回路部613Rとを有し、緑色発光セルCWgは、緑色発光する部分である緑色発光素子ELgと、この緑色発光素子ELgを駆動するスイッチ素子(後述する発光素子選択スイッチSW3G)を含むTFT回路部613Gとを有し、青色発光セルCWbは、青色発光する部分である青色発光素子ELbと、この青色発光素子ELbを駆動するスイッチ素子(後述する発光素子選択スイッチSW3B)を含むTFT回路部613Bとを有している。また、非可視光発光セルCWIRは、非可視光を発する部分である非可視光発光素子ELIRと、この非可視光発光素子ELIRへ電荷を供給する容量素子(後述するキャパシタCIR)を含むTFT回路部613IRとを有し、受光セルCRは、受光センサ111と、この受光センサ111を駆動する受光素子選択スイッチSW2を含む受光センサ回路部112とを有している。なお、赤色発光素子ELr、緑色発光素子ELgおよび青色発光素子ELbはそれぞれ、本発明における「赤色発光有機EL素子」、「緑色発光有機EL素子」および「青色発光有機EL素子」の一具体例に対応する。また、非可視光発光素子ELIRは、本発明における「非可視光発光有機EL素子」の一具体例に対応する。
図15は、図14におけるB−B部分の矢視断面図であり、表示部6の断面構成の一例を表したものであり、第1の実施の形態における図3に対応するものである。この表示部6は、各発光素子(赤色発光素子ELr、緑色発光素子ELg、青色発光素子ELbおよび非可視光発光素子ELIR)を構成する積層構造から構成されている。また、この積層構造は具体的には、ガラス基板602Aと、回路部603と、コンタクト部601と、絶縁層604と、画素電極605Aと、有機層606と、透明電極605Bと、ガラス基板602Bとから構成されている。すなわち、これら各発光素子は上記のように有機EL素子から構成され、互いに対向するガラス基板602A,602Bの間に有機層606を設けた構成となっている。
ガラス基板602A,602Bは、ガラス基板102A,102Bと同様に、いずれもガラス材料からなる透明基板である。ただし、これら602A,602Bをガラス材料の代わりに、透明なプラスチック材料などから構成してもよい。なお、これらガラス基板602A,602Bは本発明における「一対の基板」の一具体例であり、そのうちのガラス基板602Bは本発明における「表示面側の基板」の一具体例に対応する。
回路部603は、図14に示したTFT回路部613や受光センサ回路部112に対応する部分であり、コンタクト部601を介して各画素電極605Aと電気的に接続されている。また、この画素電極605Aは、各可視光発光セルCWRrgbに配置されている。一方、透明電極605Bは透明電極605Aと対向する共通電極であり、例えばITOなどの透明材料から構成される。
有機層606は、所定の有機材料から構成されており、画素電極605Aおよび透明電極605B間に表示データに応じた電圧が印加されると、材料の組成に応じた所定の波長領域の光を、印加された電圧に応じた輝度で発光するものである。具体的には、可視光発光セルCWRrにおける有機層606は赤色光Lrを、可視光発光セルCWRgにおける有機層606は緑色光Lgを、可視光発光セルCWRbにおける有機層606は青色光Lbを出射する一方、非可視光発光セルCWIRにおける有機層606は非可視光LIRを出射するようになっている。この非可視光発光セルCWIRにおける有機層606は、例えばポルフィリン・フラーレン膜の電荷移動錯体などから構成することができる。なお、各可視光発光セルCWRrgbにおける有機層606は、本発明における「発光層」の一具体例に対応し、非可視光発光セルCWRIRにおける有機層606は、本発明における「非可視光発光層」の一具体例に対応する。
図16は、各画素61における発光受光セルCWRの回路構成の一例を表したものであり、第1の実施の形態における図5に対応するものである。第1の実施の形態の各画素11における発光受光セルと異なるのは、各可視光発光セルCWrgb内の構成である。具体的には、赤色発光セルCWrは、前述の赤色発光素子ELrと、前述のTFT回路部613R内に設けられた発光素子選択スイッチSW3Rと、電荷保持用のキャパシタCrとを有している。緑色発光セルCWgは、前述の緑色発光セルELgと、前述のTFT回路部613G内に設けられた発光素子選択スイッチSW3Gと、電荷保持用のキャパシタCgとを有している。青色発光セルCWbは、前述の青色発光素子ELbと、前述のTFT回路部613B内に設けられた発光素子選択スイッチSW3Bと、電荷保持用のキャパシタCbとを有している。また、非可視光発光セルCWIRは、前述の非可視光発光素子ELIRと、定電圧電源VIRと、電荷保持用のキャパシタCIRとを有している。なお、これら発光素子選択スイッチSW3R,SW3G,SW3Bは、いずれも発光素子選択スイッチSW1R,SW1G,SW1Bと同様に、例えばTFTなどのスイッチ素子から構成される。
発光素子選択スイッチSW3R,SW3G,SW3Bはそれぞれ、発光用ゲート線GWによってそのオンオフ動作が制御されるようになっている。また、発光素子選択スイッチSW3Rの一端は表示データ供給線DWrに接続され、その他端はキャパシタCrの一端に接続され、キャパシタCrの他端は赤色発光素子ELrの一端(具体的には、前述の画素電極605A)に接続され、赤色発光素子ELrの他端(具体的には、前述の透明電極605B)は接地されている。同様に、発光素子選択スイッチSW3Gの一端は表示データ供給線DWgに接続され、その他端はキャパシタCgの一端に接続され、キャパシタCgの他端は緑色発光素子ELgの一端に接続され、緑色発光素子ELgの他端は接地されている。発光素子選択スイッチSW3Bの一端は表示データ供給線DWbに接続され、その他端はキャパシタCbの一端に接続され、キャパシタCbの他端は青色発光素子ELbの一端に接続され、青色発光素子ELbの他端は接地されている。また、非可視光発光素子CLIRの一端(具体的には、前述の画素電極605A)は、非可視光発光用データ供給線DWIRおよびキャパシタCIRを介して定電圧電源VIRに接続され、その他端(具体的には、前述の透明電極605B)は接地されている。
このような回路構成により、本実施の形態の発光受光セルCWRでは、以下のような発光動作がなされる。なお、受光動作については、第1の実施の形態と同様であるので、その説明を省略する。
まず、可視光Lrgbの発光動作時には、発光用ゲート線GWから供給される発光用選択信号に応じて、1水平ライン分の発光素子選択スイッチSW3R,SW3G,SW3Bがそれぞれオン状態となる。そして各表示信号に応じた輝度の発光となるよう、表示データ供給線DWr,DWg,DWbからそれぞれI3r,I3g,I3bの経路にて、キャパシタCr,Cg,Cbに電荷が充電される。そしてこれらキャパシタCr,Cg,Cbに充電された電荷が赤色発光素子CLr、緑色発光素子CLgおよび青色発光素子CLbへそれぞれ供給されることで電流が流れ、これら発光素子はそれぞれ、各発光色に対応すると共に各表示信号に応じた輝度からなる発光動作を行う。これに対して、非可視光LIRの発光動作については、定電圧電源VIRから非可視光発光用データ供給線DWIRを介してキャパシタCIRに常に一定の電圧が印加されることから、非可視光発光素子CLIRへは常に一定の電流がI3IRの経路にて流れ、非可視光発光素子CLIRは、一定の輝度からなる非可視光LIRの発光動作を行う。
なお、発光動作および受光動作のいずれの動作も行っていないときには、発光素子選択スイッチSW3R,SW3G,SW3Bおよび受光素子選択スイッチSW2のいずれのスイッチもオフ状態となっており、表示データ供給線DWr,DWg,DWbと赤色発光素子ELr、緑色発光素子ELgまたは青色発光素子ELbとの間の接続、ならびにデータ読出線DRと受光センサ111との間の接続は、いずれも切断されるようになっている。
本実施の形態における検出対象物体の検出方法は、第1の実施の形態における検出対象物体の検出方法と基本的に同様であり、異なるのは、駆動する各発光素子が、液晶素子の代わりに有機EL素子となっている点である。したがって、図6〜図9に示した第1の実施の形態の場合と同様、通常表示状態の場合、受光素子検出期間TF1において受光信号が得られることで、発光受光セルCWRi(j-1),CWRij,CWRi(j+1)付近の位置に検出対象物体12が存在すると検出される。
また、例えば図17に示したような黒表示状態(非可視光発光セルCWIRのみから、非可視光LIRが出射されている状態)においても、やはり第1の実施の形態の場合と同様に、受光素子検出期間TFmにおいて受光信号が得られることで、検出対象物体12の位置が検出される。
以上のように、本実施の形態によれば、各発光素子(可視光発光素子ELr,ELg,ELbおよび非可視光発光素子ELIR)を自発光素子である有機EL素子から構成したとしても、第1の実施の形態と同様、使用状況の影響を受けることなく、確実に検出対象物体12を検出することができる。
なお、例えば図18に示したように、非可視光発光セルCWIRを非可視光発光素子ELIRの代わりに、白色発光素子ELLOと、前述の選択透過フィルタ108との組み合わせにより構成するようにしてもよい。ここで、この白色発光素子ELLOは本発明における「白色発光有機EL素子」の一具体例に対応し、この場合の非可視光発光セルCWIRは本発明における「白色発光層」の一具体例に対応する。このように構成した場合でも、非可視光発光セルCWIRから、非可視光LIRを出射することができる。また、例えば図19に示したように、各可視光発光セルCWrgbにおいても、前述のカラーフィルタ107を設けるようにしてもよい。このように構成した場合、各可視光発光素子ELr,ELg,ELbから出射される可視光Lrgbの色純度を高めることができる。
さらに、例えば図20に示したように、各可視光発光セルCWrgbを、白色発光素子ELLOとカラーフィルタ107との組み合わせにより構成するようにしてもよく、また、例えば図21に示したように、非可視光発光セルCWIRおよび各可視光発光セルCWrgbの両者を、白色発光素子ELLOと、選択透過フィルタ108またはカラーフィルタ107との組み合わせにより構成するようにしてもよい。このように構成した場合でも、各可視光発光セルCWrgbから各可視光Lrgbを出射すると共に、非可視光発光セルCWIRから非可視光LIRを出射することができる。
なお、本実施の形態では、自発光素子の一例として、各発光素子(赤色発光素子CLr、緑色発光素子CLg、青色発光素子CLbおよび非可視光発光素子CLIR)を有機EL素子から構成した場合について説明してきたが、他の自発光素子、例えば発光ダイオード(LED;Light Emitting Diode)から構成してもよい。
また、本実施の形態においても、第1の実施の形態の場合と同様に、各発光受光セルCWRの配置や構成を任意に設定することが可能であり、また、種々の発光駆動または受光駆動を行うことが可能である。
[第3の実施の形態]
次に、本発明の第3の実施の形態について説明する。
上記の第1および第2の実施の形態では、非可視光の発光素子と非可視光(および可視光)の受光素子とを別々に構成(非可視光発光素子CLIRおよび受光センサ111)した場合について説明してきたが、本実施の形態では、このような非可視光の発光素子と非可視光(および可視光)の受光素子とを単一の素子(非可視光発光素子ELIR)で構成した場合について説明する。
図22は、本実施の形態に係る画像表示装置の全体構成を表すものである。この図において、図1に示した第1の実施の形態に係る画像表示装置または図13に示した第2の実施の形態に係る画像表示装置の構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。この画像表示装置は、図1,図13に示した第1または第2の実施の形態における表示部1,6に代えて表示部7を設けると共に、受光用スキャナ31の代わりに、受光信号選択スキャナ35を設けるようにしたものである。なお、本実施の形態における表示信号ドライバ23および可視光発光スキャナ24は、本発明における「第3発光駆動手段」の一具体例に対応し、受光信号選択スキャナ35は、本発明における「第4発光駆動手段」および「第2受光駆動手段」の一具体例に対応する。
表示部7は、表示部1,6と同様に、複数の各画素71が全面に渡ってマトリクス状に配置され、線順次動作をしながら所定の図形や文字などの画像を表示するものである。この画素71が表示部1,6と異なるのは、発光受光セルCWRを、可視光を発する可視光発光セルCWrgbと、非可視光の発光と非可視光(および可視光)の受光とを併有する非可視光発光受光セルCWRIRとから構成するようにした点である。すなわち、表示部1,6における可視光発光セルCWIRおよび受光セルCRの機能を、非可視光発光受光セルCWRIRにもたせるようにした点である。
受光信号選択スキャナ35は、表示信号保持制御部22から出力される受光タイミング制御信号42に応じて、非可視光発光受光セルCWRIRの発光動作と受光動作とを切り換え、それにより受光駆動対象の非可視光発光受光セルCWRIRを選択するものである。具体的には後述するように、表示部7の各画素71に接続された切換線Sを介して切換信号を供給し受光信号選択スキャナ35は、受光用スキャナ31と同様に、受光信号レシーバ32および受光信号保持部33に対してそれぞれ受光ブロック制御信号43を出力し、これら受光動作に寄与する部分の動作を制御する役割も果たしている。
図23は、各画素71における発光受光セルCWRの構成の一例を平面図で表したものであり、第1の実施の形態における図2、および第2の実施の形態における図14に対応するものである。本実施の形態の発光受光セルCWRは、前述のように可視光発光セルCWrgbと、非可視光発光受光セルCWRIRとを有している。そのうちの非可視光発光受光セルCWRIRは、非可視光の発光と非可視光(および可視光)の受光とを併有する部分である非可視光発光素子ELIRを有している。この非可視光発光セルCWIRは、非可視光を発する部分である非可視光発光素子ELIRと、この非可視光発光素子ELIRへ電荷を供給する容量素子(キャパシタCIR)を含むTFT回路部713IRとを有している。なお、この非可視光発光素子ELIRは、後述するように逆方向バイアス電圧の印加により、非可視光(および可視光)の受光ができるようになっている。また、この場合の赤色発光素子ELr、緑色発光素子ELgおよび青色発光素子ELbは本発明における「第3発光素子」の一具体例に対応し、この場合の非可視光発光素子ELIRは本発明における「発光受光素子」の一具体例に対応する。
また、図24は、各画素71における発光受光セルCWRの回路構成の一例を表したものであり、第1の実施の形態における図5、および第2の実施の形態における図16に対応するものである。第2の実施の形態の各画素61における発光受光セルと異なるのは、非可視光発光セルCWIRおよび受光セルCRの代わりに、非可視光発光受光セルCWRIRを設けた点である。この非可視光発光受光セルCWRIRは、前述の非可視光発光素子ELIRと、定電圧電源VIRと、電荷保持用のキャパシタCIRと、発光動作と受光動作とを切り換える切換スイッチSW4,SW5と、抵抗器RIRを有している。なお、これら切換スイッチSW4,SW5は、いずれも発光素子選択スイッチSW1R,SW1G,SW1Bなどと同様に、例えばTFTなどのスイッチ素子から構成される。
切換スイッチSW4,SW5はそれぞれ、切換線Sによってそのオンオフ動作が制御されるようになっている。また、非可視光発光素子CLIRの一端(具体的には、前述の画素電極605A)は、非可視光発光用データ供給線DWIR、切換スイッチSW4およびキャパシタCIRを介して定電圧電源VIRに接続され、その他端(具体的には、前述の透明電極605B)は接地されている。さらに、この非可視光発光素子CLIRの一端は切換スイッチSW5を介して抵抗器RIRの一端およびデータ読出線DRにも接続され、抵抗器RIRの他端は接地または正バイアス点(図示せず)に接続されている。
このような回路構成により、本実施の形態の発光受光セルCWRでは、非可視光発光受光セルCWRIRにおいて、以下のような非可視光の発光動作および非可視光(および可視光)の受光動作がなされる。なお、各可視光発光セルCWr,CWg,CWbにおける可視光の発光動作については、第2の実施の形態と同様であるので、その説明を省略する。
まず、非可視光LIRの発光動作時には、切換線Sから供給される切換信号に応じて、1水平ライン分の切換スイッチSW4がそれぞれオン状態となる一方、1水平ライン分の切換スイッチSW5がそれぞれオフ状態となる。したがって、第2の実施の形態の場合と同様に、定電圧電源VIRから非可視光発光用データ供給線DWIRを介してキャパシタCIRに常に一定の電圧が印加され、非可視光発光素子CLIRへは常に一定の電流がI3IRの経路にて流れることで、非可視光発光素子CLIRは、一定の輝度からなる非可視光LIRの発光動作を行う。
一方、非可視光LIR(および可視光Lrgb)の受光動作時には、切換線Sから供給される切換信号に応じて、1水平ライン分の切換スイッチSW4がそれぞれオフ状態となる一方、1水平ライン分の切換スイッチSW5がそれぞれオン状態となる。また、このとき非可視光発光素子ELIRに逆方向バイアス電圧が印加される。ここで、例えば有機EL素子やLED素子などは、順方向バイアス電圧が印加されると発光動作を行い、逆方向バイアス電圧が印加されると、受光して電流を発生する性質を有している。したがって、このように切換スイッチSW4がオフ状態、および切換スイッチSW5がオン状態となると共にこの非可視光発光素子ELIRに逆方向バイアス電圧が印加されることで、非可視光発光素子ELIRにおいて受光した光量に応じた電流がI4の経路にてデータ読出線DRへ供給され、非可視光LIR(および可視光Lrgb)の受光動作がなされる。なお、抵抗器RIRは、I4の経路でデータ読出線DRに供給された電流に基づいてその両端に電位差を生じさせ、これを受光信号として出力するためのものである。
なお、このような発光動作および受光動作のいずれの動作も行っていないときには、切換スイッチSW4,SW5のいずれのスイッチもオフ状態となっており、非可視光発光用データ供給線DWIRと非可視光発光素子ELIRとの間の接続、およびデータ読出線DRと非可視光発光素子ELIRとの間の接続は、いずれも切断されるようになっている。
本実施の形態の画像表示装置において検出対象物体を検出する処理は、通常表示状態および黒表示状態の場合とも、基本的には第1および第2の実施の形態と同様である。これら第1および第2の実施の形態と異なるのは、可視光発光セルCWIRおよび受光セルCRの機能を非可視光発光受光セルCWRIRにもたせるようにしたことで、非可視光の発光動作と非可視光(および可視光)の受光動作とが同一画素ではなされない点である。
具体的には、例えば図25(A)〜(C)に示したように、通常表示状態の場合は、第1の実施の形態で説明した図6(A)〜(C)の場合と比較すると、非可視光発光領域51と受光領域53とが同一画素には適用されないようになっている。この他の点は、第1および第2の実施の形態と同様である。すなわち、1水平ラインが矢印Xの方向に線順次発光動作すると共にその可視光Lrgbまたは非可視光LIRの出射光による反射光を線順次受光動作することで、表示部7全体が発光領域になると共に受光領域となり、ある画像データが表示部7全体に渡って表示されることに加え、非可視光発光素子ELIRの受光動作により検出された受光信号に基づいて、ある検出対象物体12が表示部7の近傍に存在するかどうか、そして存在する場合はその位置が検出される。
一方、例えば図26(A)〜(C)に示したように黒表示状態の場合にも、第1の実施の形態で説明した図8(A)〜(C)の場合と比較すると、非可視光発光領域51と受光領域53とが同一画素には適用されない点を除いては、同様の動作がなされる。すなわち、非可視光領域51から出射された非可視光LIRを用いることで、通常表示状態の場合と同様にして、黒表示状態の場合でも検出対象物体12の位置が検出される。このようにして、表示部7の表示状態、すなわち画像データに応じた輝度変化の影響や、さらに例えば周囲の状況(明るい場合や暗い場合など)など、そのときの使用状況の影響を受けることなく、検出対象物体12の位置が検出される。
また、本実施の形態における画像表示装置の駆動方法の基本動作も、通常表示状態および黒表示状態の場合とも、第1および第2の実施の形態における画像表示装置の駆動方法の基本動作と同様である。したがって、受光素子検出期間TF1,TFmにおいて受光信号が得られることで、発光受光セルCWRi(j-1),CWRij,CWRi(j+1)付近の位置に検出対象物体12が存在すると検出される。
以上のように、本実施の形態によれば、非可視光の発光素子と非可視光(および可視光)の受光素子とを単一の素子(非可視光発光素子ELIR)から構成し、非可視光の発光と非可視光(および可視光)の受光とを時分割動作させるようにしたので、第1および第2の実施の形態の場合の効果に加えて発光受光セルCWRの構成が簡素化し、表示部7の回路構成や配線構成も簡素化することが可能となる。
なお、本実施の形態では、非可視光発光受光セルCWRIRにおける非可視光の発光受光素子(非可視光発光素子ELIR)を、有機EL素子から構成した場合について説明してきたが、このような非可視光の発光機能および受光機能を併有する他の素子、例えば発光ダイオードなどから構成してもよい。
また、本実施の形態では、非可視光発光素子ELIRが、非可視光および可視光を受光するように構成した場合について説明してきたが、例えば第1および第2の実施の形態の場合と同様に、非可視光発光セルCWRIRに対応する領域に選択透過フィルタ108を設け、この非可視光発光素子ELIRが、非可視光のみを受光するよう構成してもよい。
また、本実施の形態においても、第1および第2の実施の形態の場合と同様に、各発光受光セルCWRの配置や構成を任意に設定することが可能であり、また、種々の発光駆動または受光駆動を行うことが可能である。
以上、第1〜第3の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。
例えば、上記実施の形態では、受光された受光信号に基づいて、表示部1,6,7における検出対象物体12の位置を検出する場合について説明してきたが、この受光信号に基づいて、検出対象物体12の位置および大きさのうちの少なくとも一方を検出するようにしてもよく、また、同時に配置された複数の検出対象物体を検出することも可能である。
また、上記実施の形態では、非可視光発光素子CLIRが常に一定の輝度で非可視光LIRを出射する場合について説明してきたが、常に一定輝度とするのではなく、例えば所定の周期をなすパルス波形状に出射するように構成してもよい。このように構成した場合、上記実施の形態における効果に加え、低消費電力化を図ることが可能となる。
また、上記実施の形態では、非可視光LIRを、可視光領域よりも長波長側の領域(近赤外・赤外領域)の光から構成した場合ついて説明してきたが、逆にこの非可視光LIRを、可視光領域よりも短波長側の領域(紫外領域)の光から構成してもよい。
また、上記実施の形態では、可視光Lrgbと非可視光LIRとを別個の発光素子からそれぞれ独立して出射する場合について説明してきたが、これら可視光Lrgbおよび非可視光LIRをそれぞれ、単一の発光素子から時分割で出射するように構成してもよい。このように構成した場合、回路構成が簡素化すると共に低消費電力化を図ることが可能となる。
さらに、上記実施の形態では、表示部1、6,7の各画素11,61,71(各発光素子および受光素子)が、いずれもマトリクス状に配置されて線順次動作を行う場合について説明してきたが、各画素(各発光素子および受光素子)の配置および動作方法はこれには限られず、例えば各画素(各発光素子および受光素子)を所定のセグメント状に配置するようにしてもよい。
1,6,7…表示部、100…光源、101A,101B…偏光板、102A,102B…ガラス基板、103…回路部、104…絶縁層、105A…透明画素電極、105B…透明電極、106…液晶層、107…カラーフィルタ、108…選択透過フィルタ、109…ブラックマトリクス、10,60…表示面、11,61,71…画素、111…受光センサ、112…受光センサ回路部、113,613,713…TFT回路部、12…検出対象物体、21…表示信号生成部、22…表示信号保持制御部、23…表示信号ドライバ、24…可視光発光用スキャナ、31…受光用スキャナ、32…受光信号レシーバ、33…受光信保持部、34…位置検出部、35…受光信号選択スキャナ、41…発光タイミング制御信号、42…受光タイミング制御信号、43…受光ブロック制御信号、51…非可視光発光領域、52…可視光発光領域、53…受光領域、601…コンタクト部、602A,602B…ガラス基板、603…回路部、604…絶縁層、605A…画素電極、605B…透明電極、606…有機層、CWR…発光受光セル、CWRIR…非可視光発光受光セル、CWrgb…可視光発光セル、CWr…赤色発光セル、CWg…緑色発光セル、CWb…青色発光セル、CWIR…非可視光発光セル、CR…受光セル、GW…発光用ゲート線、GR…受光用ゲート線、DW,DWr,DWg,DWb…表示データ供給線、DWIR…非可視光発光用データ供給線、DR…データ読出線、S…切換線、CLr,ELr…赤色発光素子、CLg,ELg…緑色発光素子、CLb,ELb…青色発光素子、CLIR,ELIR…非可視光発光素子、ELLO…白色発光素子、SW1R,SW1G,SW1B,SW3r,SW3g,SW3b…発光素子選択スイッチ、SW2…受光素子選択スイッチ、SW4,SW5…切換スイッチ、I1r,I1g,I1b,I3r,I3g,I3b…表示信号電流路、I1IR,I3IR…非可視光発光電流、I2,I4…受光信号電流路、Cr,Cg,Cb,CIR…キャパシタ、RIR…抵抗器、VIR…固定電圧電源、X…スキャン方向、P3,P6…スキャン中のラインの位置、TH1,THm…垂直期間、TRW…発光受光期間、TW…発光期間、TF1,TFm…受光信号検出期間、t1〜t11…タイミング、LO…バックライト光(白色光)、Lrgb…可視光、Lr…赤色光、Lg…緑色光、Lb…青色光、LIR…非可視光、Prgb…可視光発光スペクトル、Pr…赤色発光スペクトル、Pg…緑色発光スペクトル、Pb…青色発光スペクトル、PIR…非可視光発光スペクトル。