以下、本発明の実施の形態について図を参照して説明する。
図1は、本発明を適用した情報処理システムの構成例を示す図である。
表示装置(情報処理装置)1の正面には、そのほぼ全体にわたって表示部11が形成されている。表示部11は、例えば、TFT(Thin Film Transistor)が各画素に配設された、有機または無機のEL(Electroluminescence)ディスプレイやLCD(Liquid Crystal Display)からなり、画素毎にその駆動を制御し、所定の図形や文字などの画像を表示する。
表示部11に表示されているウインドウ12には、動画像12Aが表示され、その右隅にマトリクス型の2次元コードであるシンボル13が表示されている。
シンボル13は、動画像12Aのデータを表す図形画像であり、例えば、表示部11による1フレームの表示毎に、その白黒のパターンが切り替えられる。表示装置1は、動画像12Aのソースデータを取得したとき、そのソースデータを表す、複数のシンボル(2次元コード)からなるシンボル列を生成し、1フレームの表示毎に各シンボルを順次表示する。
従って、表示されるシンボルを検出し、それを解析することにより、シンボルを検出可能なリーダが設けられている機器は、表示部11に表示されるシンボルを介してソースデータを取得することができる。
情報処理端末21は、PDA(Personal Digital Assistants)やパーソナルコンピュータ、或いは、携帯電話機などから構成され、ケーブル23を介して、表示装置1に表示されるシンボルを読み取り可能なリーダライタ24が接続されている。先端面24Aが表示部11に表示されているシンボル13に当接されたとき、リーダライタ24により、表示部11に表示されるシンボル13が読み取られる。
すなわち、リーダライタ24は、表示部11の表示周期に併せて、表示されるシンボル13のパターンを所定の期間だけ検出する。リーダライタ24により検出されたシンボルのデータは、ケーブル23を介して情報処理端末21に出力される。
情報処理端末21は、リーダライタ24から転送されたデータに基づいて、複数のシンボルが時系列的に並べられたシンボル列を取得し、さらに、取得したシンボル列からソースデータ(表示装置1により表示されている画像のソースデータ)を取得する。これにより、シンボル13を介して、表示装置1から情報処理端末21に対して、表示部11に表示されている画像に対応するデータが転送されることになる。
例えば、60Hzの周波数でプログレッシブ方式によりシンボルが順次表示され、かつ、1シンボルにより2KB(Byte)のデータが表される場合、960Kbps(60(回/秒)×2(KB)×8(bit))の転送レートでデータが転送されることになる。
また、近年、400Hzの周波数で高画質な映像を表示できるディスプレイなども開発されているが、そのように非常に短い周期で、1つで2KBのデータが表されるシンボルが順次表示された場合、6400Kbps(400(回/秒)×2(KB)×8(bit))の転送レートでデータが転送されることになる。
すなわち、IEEE(Institute of Electrical and Electronics Engineers)802.11a,802.11bなどのいわゆる無線LAN(Local Area Network)や、Bluetoothなどの無線通信によらずに、比較的高い転送レートでデータを送受信させることができる。
なお、1つのシンボルにより表されるデータ量は、その大きさや誤り訂正の方式などにより適宜変更可能である。また、1つのシンボルにより表されるデータ量と、表示部11の表示周波数により、転送レートも適宜変更可能である。
情報処理端末21においては、シンボル13を介して表示装置1から転送されたデータが内部の記憶部に保存されたり、或いは、転送されてきたデータに基づいて、対応する画像が表示部22に表示される。
従って、ユーザは、リーダライタ24の先端面24Aを、表示されているシンボル13に当接させるといった、非常に直感的な操作により、表示装置1から情報処理端末21にデータを取り込ませることができる。
また、ユーザは、リーダライタ24の先端面24Aを、表示部11の所定の位置に形成された読み取り領域に当接させることで、上述したものと反対に、情報処理端末21から表示装置1に対してデータを入力することができる。
例えば、図2に示されるように、表示部11の右下に、表示装置1により読み取り領域31が形成され、そこに当接されたリーダライタ24から、シンボルを介してのデータの転送が行われる。
詳細については後述するが、表示部11の各画素に配設されているTFTには、その画素により所定の画像の一部を表示させるとき、正方向のバイアス電圧が印加され、一方、その画素により、リーダライタ24において出力されるシンボルを検出させるとき、0V近傍のバイアス電圧が印加される(ゲート電圧が0Vになるように制御される)。
従って、読み取り領域31は、例えば、表示部11の各画素のうち、0V近傍のバイアス電圧が印加された複数の画素から構成される。
そのように0V近傍のバイアス電圧が印加された画素(TFT)に対して、外部から光が入射されたとき(リーダライタ24からシンボルの白黒のパターンを表す光が入射されたとき)、TFTの活性半導体層ではリーク電流が発生するため、読み取り領域31を構成する各画素において検出されるリーク電流の有無に基づいて、各画素に対する、外部からの光の照射の有無が検出される。
すなわち、リーダライタ24の内部に設けられているシンボル表示部104(図10)にシンボルを表示させ、そのシンボルに対応する光が読み取り領域31に照射されたとき、読み取り領域31を構成する各画素において、光の有無、換言すれば、シンボルの白黒が検出される。
具体的には、リーダライタ24内において表示されるシンボルのうち、黒色の部分が当接された読み取り領域31の画素ではリーク電流が発生されず、一方、白色の部分が当接された画素ではリーク電流が発生され、それが検出される。
そして、読み取り領域31の各画素における検出結果が合成され、リーダライタ24内において表示された1つのシンボルが表示装置1により取得される。また、それが所定の期間繰り返されることで、リーダライタ24内において表示されたシンボル列(情報処理端末21から転送されてくるデータを表す全てのシンボル)が表示装置1に取り込まれる。表示装置1においては、情報処理端末21により表示装置1に転送するものとして選択されたデータがシンボル列の解析により復元され、取得される。
これによりユーザは、表示部11に表示されるシンボル13にリーダライタ24を当接させるだけで表示装置1から情報処理端末21にデータを取り込むことができるとともに、リーダライタ24を読み取り領域31に当接させるだけで、情報処理端末21において選択したデータを表示装置1に転送することができる。
すなわち、表示装置1と情報処理端末21との間で無線LANやBluetoothにより通信を行い、データを送受信する場合に較べて、煩雑な設定を行うことなく、直感的な操作で、容易にデータを送受信させることができる。
なお、図2の例においては、表示部11に形成される読み取り領域31が点線で表されているが、ユーザが目視できるように、所定の大きさの枠画像が表示され、その枠の中に形成されるようにしてもよい。
また、図2の例においては、表示部11のうち、読み取り領域31以外の領域にはいずれの画像も表示されていないが、0V近傍のバイアス電圧が印加される読み取り領域31以外の領域には、テレビジョン番組の映像などの各種の画像を表示させておくことが可能である。
表示装置1と情報処理端末21との間で行われるデータの送受信については、フローチャートを参照して後に詳述する。
図3は、図1の表示装置1の構成例を示すブロック図である。
制御部45は、図示せぬROM(Read Only Memory)などに記憶されている制御プログラムに基づいて表示装置1の全体の動作を制御し、例えば、所定のチャンネルの番組の映像を表示させたり、所定のサイトにアクセスし、そのサイトの画面を表示させるなど、リモートコントローラなどよりなる入力部46からの、ユーザの指示に対応した処理を実行する。
信号処理部42は、制御部45による制御に基づいて、アンテナ41において受信されるテレビジョン放送波の中から所定のチャンネルの信号を取得し、そのチャンネルにより放送される番組のデータを制御部45に出力する。通信部43は、インターネットなどのネットワークを介して、各種の機器と有線または無線により通信し、取得したデータを制御部45に出力する。
記憶部44は、ハードディスクなどより構成され、情報処理端末21から転送されたデータ、テレビジョン番組の番組データ、通信部43により取得されたデータなど、各種のデータを記憶する。
画像信号生成部47は、制御部45から供給されるデータに対応する画像を表示するための画像信号を生成し、生成した画像信号を、表示部11の駆動を制御するコントローラ48に出力する。
また、画像信号生成部47は、シンボル処理部52により生成され、供給されたデータに基づいて、例えば、1画面毎(1フレームの表示毎)に1つのシンボルを表示させるための画像信号を生成し、それをコントローラ48に出力する。
コントローラ48は、表示部11の各画素に配設されるTFTのゲート電極に印加される電圧を制御するゲートドライバ50、および、ゲートドライバ50の駆動に連動して、TFTのソース電極−ドレイン電極間の電圧を制御するソースドライバ49の駆動を制御する。
例えば、コントローラ48は、表示部11の所定の位置に読み取り領域を形成することが制御部45から指示されたとき、読み取り領域を形成する画素(画素のTFT)には、0V近傍のバイアス電圧が印加されるようにゲートドライバ50を制御するとともに、それ以外の領域には、正方向のバイアス電圧が印加されるようにゲートドライバ50を制御する。
これにより、読み取り領域を形成する画素は、ゲートがオフにされた状態となり、上述したように、外部から照射される光に対応したリーク電流の有無に基づいて、リーダライタ24において出力されているシンボルのパターンを検出することが可能となる。また、それ以外の画素は、ゲートがオンにされた状態となり、ソースドライバ49により供給される電圧に対応する電流により、画素電極に接続されているEL素子を発光し、画像の一部を表示する。
ここで、図4および図5を参照して、表示部11の各画素に配設されるTFTの動作についてより詳細に説明する。
図4は、画像を表示する画素(シンボルの読み取り領域を構成する画素ではない画素)としてコントローラ48により制御された表示部11の1画素を示している。
例えば、ゲートドライバ50によりTFT71のゲート電極71A(G)に正方向の電圧が印加され、オンにされたとき、実線矢印で示されるように、ソースドライバ49により印加された電圧に応じて、アルファモスシリコンやポリシリコンからなる活性半導体層(チャネル)中を、ソース電極71B(S)からドレイン電極71C(D)方向に電流が流れる。
TFT71のドレイン電極71Cには、EL素子74のアノード電極74Aが接続されており、ドレイン電極71Cから供給された電流がEL素子74間を流れたとき、その電流に応じて、電界発光素子であるEL素子74が発光する。
このようにして発光された光が表示部11の表面を透過して表示装置1の外部に出射され、図4の画素により画像の一部が表示される。なお、図4においては、説明の便宜上、EL素子74から、白抜き矢印で示されるように図の右方向に光が出射されているが、実際には、アノード電極74Aまたはカソード電極74Bのいずれかが透明電極により構成され、その透明電極を透過して、EL素子74により発光された光が外部に出射される。
一方、ゲートドライバ50によりTFT71のゲート電極71A(G)に0V近傍の電圧が印加され、ゲートがオフにされたとき、ソースドライバ49により電圧が印加された場合であっても活性半導体層中に電流が流れず、結果として、EL素子74に電流が流れないため発光が生じない。
この状態において、図5の白抜き矢印で示されるように、外部から光が照射されたとき、TFT71の活性半導体層の光伝導性により、微量ではあるがドレイン電極71Cからソース電極71B方向にリーク電流(オフ電流)が発生する。また、EL素子74も、同様に、0V近傍の電圧が印加された状態において光が照射されたとき、発光することなく、逆方向の電流を発生する。
このようにして発生した電流が検出され、図5の画素に外部から光が照射されたこと、すなわち、図5の画素に対応するリーダライタ24のシンボル表示部104(図10)の位置(図5の画素の正面)には、シンボルの白の領域が表示されていることが検出される。
図6は、図4および図5に示される画素において発生された電流の計測結果を表している。図6において、横軸はゲート電極71Aに印加された電圧を表しており、縦軸は画素中の電流を表している。
計測結果l1は、正方向の電圧が印加された状態において、光が照射されたときにチャネル中を流れた電流の値を示しており、計測結果l2は、正方向の電圧が印加された状態において、光が照射されていないときにチャネル中を流れた電流の値を示している。
この計測結果l1およびl2により、正方向の電圧が印加されている場合は、外部からの光の有無に関わらず、ソースドライバ49により印加された電圧に応じた電流が流れていることがわかる。すなわち、この場合、計測対象の画素により、画像の一部が表示される。
一方、図6の計測結果l3は、逆方向の電圧が印加されている状態において、外部から光が照射されたときに、その画素において発生したリーク電流の値を表しており、外部から光が照射されていないときの電流値を表す計測結果l4と比較して明らかなように、発生する電流に差が生じている。
例えば、約−5ボルトの電圧(逆方向の電圧)が印加されている状態において、外部から所定の光量の光が照射された場合、「1E−8(A)」程度の電流(TFTの活性半導体層中において発生した電流と、EL素子が発生した電流)が発生している。
従って、逆方向のバイアス電圧が印加された画素において検出される電流の値が、所定の閾値以上の値をとるか否かに基づいて、その画素に対して光が照射されたか否かが検出される。なお、実際には、図6の各信号がそれぞれ増幅され、増幅後の信号から、光の照射の有無が検出される。
図6においては、計測結果l4により、外部から光が照射されていない場合であっても、「1E−10(A)」程度の微小な電流が発生していることが示されているが、これは計測中のノイズによるものである。なお、RGBのうちのいずれの色を発光するEL素子であっても、図6に示されるものとほぼ同一の計測結果が得られる。
図7は、図6の0V近傍を拡大して示す図である。
図7の計測結果l3と計測結果l4により示されるように、0V近傍の電圧が印加されている状態でも、光が照射されている場合と、照射されていない場合とで、その電流値に差が検出される。
従って、0V近傍の電圧が印加されている状態でも、発生した電流を増幅させることで、この差、すなわち、光が照射されているか否かの検出が可能となる。
このことから、意識的に逆方向の電圧を印加することなく、ゲート電圧が0V近傍の値になるように制御することで、ある画素を、外部からの入力を検出する画素として駆動させることができる。
ゲート電圧が0V近傍の値になるように制御して、ある画素を外部からの入力を検出する画素として駆動させるようにすることにより、逆方向の電圧を印加してその駆動を行わせる場合に較べて、その逆方向の電圧の分だけ消費電力を抑えることができる。
また、制御する電圧の数が少なくなるため、その制御、さらにはシステム構成が容易になる。すなわち、ゲート電圧が0V近傍の値になるように制御することは、正方向の電圧が印加されないように制御することでもあるから、正方向の電圧が印加されるようにゲート電圧を制御する制御線や電源回路だけをもって実現することができる(逆方向の電圧が印加されるようにゲート電圧を制御する制御線を別に設ける必要がない)。
これにより、表示部11(ディスプレイ)の駆動基板やシステム基板上から電源回路の構成を簡略化することができ、上述したような低消費電力化を実現することができるだけでなく、それらの基板上の限られたスペースの効率的な利用も実現することができる。
さらに、逆方向の電圧を印加しないようにすることにより、逆方向の電圧を印加したときに生じることのあるTFTやEL素子の破壊を回避することができる。例えば、チャネル長(L長)を長くすることでTFTの耐電圧性を高めることができるが、この場合、ON時(導通時)の電流が下がってしまい、十分な電流を確保するためには、チャネル幅(W長)を大きくする必要がある。
この結果、TFTを流れる電流値を変えることなく耐電圧性を高めるためには、1つのTFTのサイズを大きくする必要があり、各画素のサイズが小さい高精細なディスプレイの各画素に、そのTFTを配置することが困難となる。
従って、上述したように、逆方向の電圧をなくすことで、TFTやEL素子の耐圧設計が容易になり、かつ、TFTやEL素子そのもののサイズを小さくすることができる。その結果、高精細なディスプレイを実現することが可能になる。
このように、正方向の電圧が印加されているときと、0V近傍かまたは逆方向の電圧が印加されているときとで、光の有無によって検出される電流値が異なるものとなる。なお、正方向の電圧が印加されているとき、光の有無によって検出される電流値に差が生じないのは、電圧を印加することにより流れる電流が、光を照射することによって流れる(発生する)電流に対して十分大きいためである。
図8は、光が照射されている場合と、照射されていない場合のTFTのドレイン電流Idの値を示す図である。
図8に示されるように、逆方向のゲート電圧Vgが印加されている状態で光が照射された場合、照射されていない場合と較べて大きい値のドレイン電流Idが検出される。
また、0V近傍のゲート電圧Vgが印加されている状態でも、光が照射された場合、照射されていない場合と較べて大きい値のドレイン電流Idが検出される。
従って、ゲート電圧Vgとして逆方向の電圧を印加するように制御するだけでなく、0V近傍の値になるように制御することによっても、光が照射されているか否かの検出が可能となる。
なお、図4および図5の例においては、1画素に1つのTFTが設けられるとしたが、2つのTFTが設けられる2TFT型の画素や、4つのTFTが設けられる4TFT型の画素の場合でも、同様に、それぞれのTFTが発生するリーク電流に基づいて、外部からのシンボルの入力を検出させることができる。
また、表示部11がLCDである場合(EL素子74が設けられる自発光型のディスプレイでない場合)、図4および図5のEL素子74の位置に液晶が設けられ、各画素が構成される。
この場合、0V近傍の値や逆方向のバイアス電圧が印加され、外部から光が照射された場合であっても、液晶はEL素子74のように電流を発生しないことから、その画素に配設されているTFTが発生したリーク電流のみに基づいて(図8に示すような値をとるリーク電流に基づいて)、シンボルの白黒のパターンが検出されることになる。
図3の説明に戻り、検出部53は、上述したように、例えば、0V近傍のバイアス電圧が印加された画素において発生した電流を検出し、その検出結果をシンボル処理部52に出力する。
シンボル処理部52は、検出部53からの出力に基づいて、読み取り領域を構成する各画素における検出結果を合成し、リーダライタ24により出力されたシンボルを取得する。
また、シンボルを検出する処理が所定の期間(ソースデータを転送するのに必要な期間)だけ繰り返し実行され、図9に示されるようなシンボル列がシンボル処理部52により取得される。
図9のシンボルS1乃至S3は、検出の際に同期をとるためのシンボルであり、単純なパターンからなるシンボルを繰り返すものとされる。そして、同期をとるためのシンボルシンボルS1乃至S3に続くシンボルS4乃至Snにより、例えば、画像データ、音楽データ、テキストデータなどの各種のソースデータが表される。
図9に示されるようなシンボル列がシンボル処理部52により取得され、データ処理部51に出力される。
また、シンボル処理部52は、表示部11の所定の位置にシンボルを表示し、情報処理端末21にデータを転送するとき、データ処理部51から供給されたデータに基づいてシンボルを生成する。シンボル処理部52により生成されたシンボル列のデータは画像信号生成部47に出力される。例えば、シンボル処理部52により、図9のシンボル列が生成された場合、表示部11には、シンボルS1乃至Snのそれぞれが、1フレームの表示毎に順次表示される。
データ処理部51は、表示部11にシンボルを表示するとき、制御部45により取得され、供給されたソースデータ(情報処理端末21に転送するデータ)に対して、スクランブル、誤り訂正ブロックの付加、変調処理等を適宜施し、得られたデータをシンボル処理部52に出力する。
また、データ処理部51は、表示部11に形成された読み取り領域においてシンボルが検出され、それを表すデータがシンボル処理部52から供給されたとき、供給されたデータに対して復調処理、誤り訂正処理、およびデスクランブル処理等を適宜施し、得られたソースデータ(情報処理端末21から転送されたデータ)を制御部45に供給する。
制御部45に供給された、情報処理端末21から転送されてきたデータは、記憶部44に記憶されたり、或いは、転送されてきたデータに基づく画像信号生成部47およびコントローラ48の処理により、対応する画像が表示部11に表示される。
図10は、情報処理端末21とリーダライタ24の構成例を示すブロック図である。
リーダライタ24の先端面24Aにはレンズ101が配設されている。例えば、表示部11に表示されているシンボルに先端面24Aが当接または近接されたとき、表示部11から出射される、シンボルのパターンを表す光がレンズ101を介してリーダライタ24の内部に入射される。入射された光は、ハーフミラー102で反射され、シンボル検出部103により受光される。
シンボル検出部103には、光の有無を検出する光センサがアレイ状に配設されており、ハーフミラー102で反射され、受光された光から、そのとき表示部11に表示されているシンボルが検出される。シンボル検出部103の検出結果は、ケーブル23を介して情報処理端末21のシンボル処理部112に出力される。
シンボル表示部104は、プログレッシブ方式により表示可能なLCDなどから構成され、表示部11と同じ周波数でシンボルを表示する。例えば、表示装置1にデータを転送するとき、シンボル表示部104は、画像信号生成部111から供給された信号に基づいて、転送するデータを表すシンボルを順次表示し、自分自身を挟んでハーフミラー102と対向する位置に設けられている光源(図示せず)からの光を利用して、シンボルを表す光を、表示部11に形成される読み取り領域に照射する。照射された光は、ハーフミラー102およびレンズ101を介してリーダライタ24の先端面24Aから外部に出射される。
制御部114は、ROM(図示せず)やハードディスクなどよりなる記憶部118に記憶されている制御プログラムに基づいて、情報処理端末21の全体の動作を制御する。
通信部115は、インターネットなどのネットワークを介して、各種の機器と有線または無線により通信を行う。
入力部117は、所定の入力ボタンや、表示部22に重畳して配置されるタッチパネルなどに入力されるユーザからの指示を制御部114に出力する。
画像信号生成部111は、シンボル処理部112により生成され、供給されたシンボル列のデータに基づいて、シンボル表示部104にシンボルを表示させるための画像信号を生成し、それを、ケーブル23を介してシンボル表示部104に出力する。
シンボル処理部112は、表示装置1からデータを取得するとき、シンボル検出部103による検出結果に基づいてシンボルを復元し、表示部11に表示されたシンボル列を取得する。すなわち、シンボルを検出する処理が所定の期間だけ繰り返し実行され、例えば、図9に示されるようなシンボル列がシンボル処理部112により取得される。
また、シンボル処理部112は、シンボル表示部104にシンボルを表示し、表示装置1にデータを転送するとき、データ処理部113から供給されたデータに基づいてシンボルを生成する。シンボル処理部112により生成されたシンボルのデータは、画像信号生成部111に出力される。
データ処理部113は、シンボル表示部104にシンボルを表示するとき、制御部114から供給されたソースデータ(表示装置1に転送するデータ)に対して、スクランブル、誤り訂正ブロックの付加、変調処理等を適宜施し、得られたデータをシンボル処理部112に出力する。
また、データ処理部113は、検出されたシンボルを表すデータがシンボル処理部112から供給されたとき、そのデータに対して復調処理、誤り訂正処理、およびデスクランブル処理等を適宜施し、得られたソースデータ(表示装置1から転送されたデータ)を制御部114に供給する。
なお、制御部114には、必要に応じてドライブ116が接続され、磁気ディスク131、光ディスク132、光磁気ディスク133、或いは半導体メモリ134などが適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部118にインストールされる。
次に、図1の情報処理システムの動作についてフローチャートを参照して説明する。
始めに、図11のフローチャートを参照して、情報処理端末21に対してデータを転送する表示装置1の処理について説明する。
ステップS1において、表示装置1の制御部45(図3)は、情報処理端末21に転送するソースデータを取得する。例えば、制御部45は、ユーザからの指示により、所定のテレビジョン番組を表示部11に表示させている状態において、その番組のデータを転送することが指示されたとき、或いは、ネットワークを介して取得した画像データなどを表示部11に表示させている状態において、その画像データを転送することが指示されたとき、その指示に応じて、番組データや画像データをソースデータとして取得する。
当然、ユーザは、表示装置1の記憶部44に記憶されている音楽データやテキストデータなど、各種のデータを情報処理端末21に転送することを表示装置1に指示することができる。
制御部45により取得されたソースデータは、例えば、画像信号生成部47とデータ処理部51に出力される。
ステップS2において、データ処理部51は、制御部45から供給されたソースデータに応じて、シンボル列によりソースデータを表すことができるように、所定の単位のデータ毎に、スクランブル処理、誤り訂正コードの付加、変調処理、および同期コードの付加などを適宜行う。
また、転送されるデータのタイトルやカテゴリを表す情報、或いは、データ量やデータのフォーマットを表す情報などが、サブデータとして適宜付加される。データ処理部51により各種の処理が施された後に得られたデータは、シンボル処理部52に供給される。
シンボル処理部52は、ステップS3において、例えば、予め用意されている変換テーブルを参照し、データ処理部51から供給されたデータに対応するシンボルを生成する。生成されるシンボルは、各セルが黒白でコード化されたマトリクス型のシンボルであってもよいし、バーコードが積み重ねられてコード化されたスタック型のシンボルであってもよい。
ソースデータのデータ量に対応する所定の数のシンボルがシンボル処理部52により生成され、例えば、図9に示されるようなシンボル列が画像信号生成部47に出力される。
ステップS4において、画像信号生成部47は、制御部45から供給されたソースデータに対応する画像を表示させるための画像信号と、シンボル処理部52から供給されたシンボル列を表示させるための画像信号を重畳して得られた画像信号をコントローラ48に供給し、ソースデータに対応する画像とともにシンボルを順次表示させる。
これにより、表示されている画像に対応するシンボル(表示されている画像を転送するためのシンボル)が、例えば、画像の近傍などの、表示部11の所定の位置に表示される。
ステップS5において、コントローラ48は、転送するデータを表す全てのシンボルを表示したか否かを判定し、全てのシンボルを表示したと判定するまで、ステップS4に戻り、シンボルの表示を順次繰り返す。その後、ステップS5において、全てのシンボルを表示したと判定された場合、処理が終了される。
なお、表示されているシンボルを取り込むことで、そのとき表示部11に表示されている画像データを情報処理端末21に取り込むことができることをユーザが認識できるように、転送するデータによる画像が表示されている期間だけ、シンボル列が繰り返し表示されるようにしてもよい。例えば、10分間の動画像が表示部11に表示されている場合、その動画像のデータから生成されたシンボル列が、画像の表示に併せて10分間繰り返し表示される。
以上のようにして表示部11の所定の位置に表示されるシンボルをリーダライタ24で読み取ることにより、ユーザは、表示装置1から情報処理端末21にデータを取り込むことができる。
次に、図12のフローチャートを参照して、図11の処理に対応して実行される、情報処理端末21のデータ取得処理について説明する。
リーダライタ24の先端面24Aが表示部11に当接され、当接された位置に表示されているシンボルの同期コード(図9)を検出したとき、情報処理端末21のシンボル検出部103(図10)は、ステップS21において、それを読み取る。
ステップS22において、シンボル検出部103は、全てのシンボルを読み取ったか否かを判定し、読み取っていないと判定した場合、ステップS21に戻り、表示されるシンボルを繰り返し読み取る。シンボル検出部103により読み取られたシンボルの情報は、例えば、シンボル処理部112に順次出力される。
シンボル検出部103は、例えば、シンボル列の終端のシンボルであることを表すシンボルを検出したとき、ステップS22において、転送されるデータを表す全てのシンボルを読み取ったと判定し、ステップS23に進む。
ステップS23において、シンボル処理部112は、シンボル列をデコードし、得られたデータをデータ処理部113に出力する。
データ処理部113は、シンボル処理部112から供給されたデータに対して、復調処理、誤り訂正処理、デスクランブル処理等をステップS24において適宜行い、ソースデータを取得する。これにより、表示装置1において、情報処理端末21に転送するものとして選択されたソースデータが情報処理端末21により取得される。
ステップS25において、制御部114は、データ処理部113により取得されたソースデータに対応する処理を行う。
例えば、図13に示されるように、ウインドウ151に、動画像151Aと、動画像151Aのデータを表すシンボル152が表示され(図11の処理)、ユーザがリーダライタ24によりシンボル152を読み取らせた場合、動画像151Aのソースデータが情報処理端末21に転送され(図12のステップS21乃至S24の処理)、情報処理端末21の制御部114は、ステップS25において、転送されたソースデータに基づいて、動画像151Aと同じ動画像を表示部22に表示させる。
これにより、ユーザは、ウインドウ151に表示されているものと同一の画像を、表示部22に表示させることができ、表示装置1と離れた場所でも、情報処理端末21を用いて動画像151Aの内容を確認することができる。
また、情報処理端末21に転送されたソースデータは、ステップS25において、記憶部118に保存されたり、通信部115を介して他の機器に送信されたり、或いは、ドライブ116に装着された記録媒体に記録される。
さらに、図13のウインドウ161に、例えば、ネットワークを介して取得されたテキスト画像161Aが表示され(図11の処理)、ユーザがウインドウ161の右隅に表示されているシンボル162をリーダライタ24により読み取らせた場合、テキストデータ(ソースデータ)が情報処理端末21に転送される(図12のステップS21乃至S24の処理)。
情報処理端末21の制御部114は、ステップS25において、転送されたテキストデータを記憶部118に保存させたり、或いは、対応する画像(テキスト画像)を表示部22に表示させる。
図13のウインドウ171に表示されるシンボル172は、音楽データをソースデータとして生成され、表示されるものであり(図11の処理)、シンボル172にリーダライタ24が所定の期間(音楽データのデータ量に対応するシンボルが表示される期間)だけ当接されたとき、情報処理端末21により音楽データが取り込まれる(図12のステップS21乃至S24の処理)。取り込まれた音楽データは、例えば、図12のステップS25において再生され、情報処理端末21の図示せぬスピーカから出力される。
なお、ウインドウ171には、情報処理端末21に取り込むことができる音楽のタイトルやアーティストに関する情報などのサブデータが表示されるようにしてもよい。
例えば、テレビジョン番組において音楽が流れると同時にウインドウ171とシンボル172が表示部11の所定の位置に表示される場合、ユーザは、表示されるシンボル172をリーダライタ24で読み取らせることにより、その音楽データを情報処理端末21に取り込むことができる。
また、ソースデータとして、所定のサイトにアクセスするためのURLが取得された場合、図13のウインドウ181に示されるように、そのURLを表すシンボル182が表示される(図11の処理)。リーダライタ24がシンボル182に当接され、URLが制御部114により取得された場合、制御部114は、ステップS25において、通信部115を制御して、取得したURLにより指定されるサイトにアクセスし、アクセスしたサイトの画面を表示部22に表示させる。
当然、ウインドウ181にサイトの画面がシンボル182とともに表示されており、そのシンボル182を読み取らせることで、情報処理端末21においてもサイトの画面を確認できるようにしてもよい。
以上のように、ユーザは、表示されるシンボルをリーダライタ24により読み取らせるだけでよいため、直感的かつ容易な操作により、各種のデータを情報処理端末21に取り込むことができる。
次に、図14および図15のフローチャートを参照して、図11および図12を参照して説明したものと反対に、情報処理端末21から表示装置1に対してデータを転送する情報処理システムの動作について説明する。
始めに、図14のフローチャートを参照して、表示装置1にデータを転送する情報処理端末21の処理について説明する。
図14に示される処理は、図11を参照して説明した表示装置1の処理と基本的に同様の処理である。すなわち、情報処理端末21の制御部114は、ステップS41において、表示装置1に転送するソースデータを取得する。
例えば、ユーザの入力部117に対する入力により、記憶部118に記憶されている所定のデータを転送することが指示されたとき、或いは、ネットワークを介して取得した画像データなどを表示部22に表示させている状態において、その画像データを転送することが指示されたとき、制御部114は、その指示に応じてソースデータを取得する。
ステップS42において、データ処理部113は、制御部114から供給されたソースデータに応じて、シンボル列によりソースデータを表すことができるように、所定の単位のデータ毎に、スクランブル処理、誤り訂正コードの付加、変調処理、および同期コードの付加などを適宜行う。
シンボル処理部112は、ステップS43において、例えば、予め用意されている変換テーブルを参照し、データ処理部113から供給されたデータに対応するシンボル列を生成する。生成されたシンボル列は、画像信号生成部111に出力される。
ステップS44において、画像信号生成部111は、シンボル処理部112から供給されたシンボル列のデータに基づいて、シンボルを表示させるための画像信号を生成し、シンボル表示部104に順次表示させる。
シンボル表示部104においては、例えば、表示装置1の表示部11と同じ周波数でシンボル列のそれぞれのシンボルが順次表示され、シンボルを表す光がハーフミラー102およびレンズ101を介してリーダライタ24の外部に出射される。
後述するように、リーダライタ24の先端面24Aが表示部11に形成される読み取り領域に当接されているとき、ステップS44において表示されるシンボル(リーダライタ24から出射されるシンボルを表す光)が読み取り領域において読み取られる(図15のステップS62)。
画像信号生成部111は、ステップS45において、転送するデータを表すシンボル列の各シンボルを、シンボル表示部104に全て表示したか否かを判定し、表示していないと判定した場合、ステップS44に戻り、シンボルの表示を繰り返す。
画像信号処理部111は、ステップS45において、全てのシンボルを表示したと判定した場合、処理を終了させる。
次に、図15のフローチャートを参照して、図14の処理に対応して実行される、表示装置1のデータ取得処理について説明する。
ステップS61において、表示装置1の制御部45は、表示部11の所定の位置に読み取り領域を設定する。すなわち、制御部45は、所定の画素(TFT)に、例えば、0V近傍のバイアス電圧を印加し(電圧が印加されないように制御し)、読み取り領域を表示部11に形成する。
読み取り領域は、所定の位置に固定的に常時形成されるようにしてもよいし、それまで正方向のバイアス電圧が印加されており、シンボルが表示されていた位置に形成されるようにしてもよい。
形成された読み取り領域にリーダライタ24の先端面24Aが当接され、リーダライタ24のシンボル表示部104に表示されているシンボルを表す光が照射されたとき、シンボル処理部52は、ステップS62において、検出部53による検出結果に基づいてシンボルを読み取る。
上述したように、シンボル処理部52は、読み取り領域を構成するそれぞれの画素においてリーク電流が検出された場合、その画素の正面にはシンボルの白の領域があるものとし、一方、リーク電流が検出されていない場合、その画素の正面にはシンボルの黒の領域があるとものして、読み取り領域を構成する各画素の検出結果を合成し、1つのシンボルを読み取る。
シンボル処理部52は、ステップS63において、全てのシンボルを読み取ったか否かを判定し、読み取っていないと判定した場合、ステップS62に戻り、リーダライタ24において出力されるシンボルを繰り返し読み取る。検出部53により読み取られたシンボルの情報は、シンボル処理部52に順次出力される。
シンボル処理部52は、ステップS63において、シンボル列の終端であることを表すシンボルが検出されたとき、転送されるデータを表す全てのシンボルを読み取ったと判定し、ステップS64に進む。
ステップS64において、シンボル処理部52は、2次元コードのパターンと、データの対応テーブルを参照してシンボル列をデコードし、得られたデータをデータ処理部51に出力する。
データ処理部51は、ステップS65において、シンボル処理部52から供給されたデータに対して、復調処理、誤り訂正処理、デスクランブル処理等を適宜行い、ソースデータを取得する。これにより、情報処理端末21において選択されたソースデータが表示装置1により取得された状態になる。
ステップS66において、制御部45は、データ処理部51により取得されたソースデータに対応する処理を行う。
例えば、図16に示されるように、情報処理端末21の表示部22に表示されている動画像22Aが、表示装置1に転送するデータとして選択された場合、動画像22Aを表すシンボル列が生成され、リーダライタ24から、各シンボルを表す光が順次出射される(図14のステップS44)。
そして、リーダライタ24から出射されるシンボル列が、表示部11の右下方に形成される読み取り領域192において読み取られた場合(図15のステップS62)、ウインドウ191が表示され、そこに、読み取られたシンボル列から取得されたソースデータ(動画像22Aのデータ)に対応する動画像が表示される(図15のステップS66)。
このように、ユーザは、情報処理端末21において指定し、リーダライタ24を読み取り領域192に当接させるだけで、指定した画像を表示部11に拡大表示させることができる。
例えば、情報処理端末21がPDAなどの端末である場合、表示部22の大きさが制限されることから、画像の詳細を確認することが困難であることがあるが、以上のようにして、情報処理端末21から表示装置1にデータを転送し、表示部11に画像を拡大表示させることで、その詳細を容易に確認することができる。
同様にして、情報処理端末21において選択された音楽データが表示装置1に転送されたとき、表示装置1により音楽データが再生され、再生音がスピーカから出力される。
また、情報処理端末21において指定されたURLが表示装置1に転送されたとき、表示装置1により、そのURLにより指定されるサイトに対するアクセスが表示装置1の通信部43を介して行われ、アクセスしたサイトの画面が表示部11に表示される。
以上においては、単にデータのみが送受信されるとしたが、取得されたデータに対する処理の内容を指示する命令コード(指示情報)がシンボル列に含まれている場合、そのシンボル列を読み取った機器により、命令コードに応じて各種の処理が実行されるようにしてもよい。
次に、図17のフローチャートを参照して、命令コードを含むシンボル列を表示し、データを表示装置1に転送する情報処理端末21の処理について説明する。
図17に示される処理は、ユーザからの入力に基づいて命令コードを生成し、それをソースデータに付加する処理が行われる点を除いて、基本的に、図14のステップS41乃至S45の処理と同様の処理であり、詳細な説明は省略する。
すなわち、情報処理端末21の制御部114は、ステップS81において、ソースデータを取得したとき、ステップS82に進み、取得したソースデータに命令コードを付加する。
例えば、命令コードとして、命令コードとともに転送されたソースデータの画像を表示するウインドウの大きさ、表示位置、表示時間などを指示するコードや、命令コードとともに転送されたソースデータに、その転送主(ユーザ)のみが表示装置1において再生できるような鍵を設定することを指示するコードなどがユーザからの指示に基づいて付加される。
ステップS83において、データ処理部113により、命令コードが付加されたソースデータに各種の処理が施される。また、各種の処理が施されて得られたデータに基づいて、ステップS84において、シンボル処理部112によりシンボル列が生成される。
ステップS85において、各シンボルがシンボル表示部104に順次表示され、全てのシンボルが表示されたことがステップS86において判定されたとき、処理が終了される。
次に、図18のフローチャートを参照して、図17の処理に対応して実行される、表示装置1のデータ取得処理について説明する。
ステップS101乃至S105の処理は、図15のステップS61乃至S65の処理と同様の処理であるため、その説明は省略する。
すなわち、表示部11に形成した読み取り領域においてシンボル列を読み取り、ソースデータを取得したとき、ステップS106において、表示装置1の制御部45は、取得したデータから命令コードを抽出する。
ステップS107において、制御部45は、抽出した命令コードに基づいて画像信号生成部47を制御し、ソースデータに対応する画像の表示を制御する。
例えば、命令コードとして、表示部11の所定の位置にウインドウを表示し、そこに、ソースデータに対応する画像を表示させることを指示するコードを抽出した場合、制御部45は、そのコードに従ってウインドウの表示位置を決定する。
また、制御部45は、命令コードとしてウインドウのサイズを指示するコードも含まれている場合、指示されるサイズのウインドウを表示し、ソースデータに対応する画像を表示する。
さらに、制御部45は、命令コードとして、ソースデータに対応する画像を表示する期間を指示するコードを抽出した場合、それにより指定された時刻までソースデータに対応する画像を表示し続ける。
このように、ユーザは、情報処理端末21において表示の設定を行い、その設定通りに、表示装置1に画像を表示させることができる。
同様に、転送するデータが音楽データである場合、その音楽データを再生するときの音量を指示するコードや、再生モード(リピート再生、シャッフル再生等)などを指示するコードが命令コードとして含まれ、その命令コードに従って、表示装置1において音楽データが再生される。
図19は、図17の処理に対応して実行される、表示装置1の他のデータ取得処理について説明するフローチャートである。
この例においては、ソースデータを表示装置1に転送した本人のみが、そのソースデータを表示装置1において再生できるようにすることを指示するコードが、命令コードとして、ソースデータとともに情報処理端末21から表示装置1に転送される。
ステップS121乃至S126の処理は、図18のステップS101乃至S106の処理と同様の処理であるため、その説明は省略する。
読み取り領域において読み取ったシンボル列からソースデータを取得し、命令コードを抽出したとき(ステップS121乃至S126)、ステップS127において、表示装置1の制御部45は、取得したデータを記憶部44に保存し、保存したデータに鍵を設定する。
例えば、情報処理端末21からの命令コードには、情報処理端末21に固有のものとして設定される識別情報が含まれており、その識別情報と組み合わせることで鍵を解くことができるシンボルを生成し、表示部11に表示させる。表示部11に表示されたシンボルと、情報処理端末21の識別情報を組み合わせることで生成できる解読シンボルは、保存することが指示されたデータと対応付けて記憶部44に保存される。
情報処理端末21から転送されたデータに鍵が設定されたとき、表示部11には、図20に示されるような画面が表示される。
例えば、ユーザAが利用する情報処理端末21からデータが転送され、そのデータに鍵を設定することが命令コードにより指示されたとき、制御部45は、情報処理端末21の識別情報と組み合わせることで解読シンボルを生成できるシンボル201を、ユーザ名(ユーザA)の直右方に表示させる。なお、ユーザ名は、命令コードに含まれる情報に基づいて表示されるものである。
従って、ユーザは、表示装置1に転送し、保存しておいたデータを再生するとき、リーダライタ24によりシンボル201を読み取り、情報処理端末21に、鍵を解くための解読シンボルを生成させる。
例えば、シンボル201が表示されている位置には、所定の周期で読み取り領域が設定されるため(シンボル201が表示されている画素に印加されるバイアス電圧の極性が所定の周期で切り替えられるため)、ユーザは、新たに形成される読み取り領域に、情報処理端末21において生成させた解読シンボルをリーダライタ24から入力することによって、保存しておいたデータを再生(出力)させる。
図20の例においては、ユーザBが使用する端末から転送されたデータと、ユーザCが使用する端末から転送されたデータに対しても鍵が設定されていることも示されている。
なお、シンボルの表示と読み取り領域の形成が周期的に切り替えられるのではなく、例えば、図20のシンボル201の近傍に読み取り領域が常時設定されているようにしてもよい。
図19の説明に戻り、ステップS128において、制御部45は、データ処理部51からの出力に基づいて、解読シンボルが読み取り領域において読み取られたか否かを判定し、読み取られたと判定するまで待機する。上述したようにして、情報処理端末21において生成された解読シンボルが読み取り領域に入力されたとき、検出部53により検出された解読シンボルを表すデータが、シンボル処理部52およびデータ処理部51を介して制御部45に供給される。
制御部45は、ステップS128において、解読シンボルが供給されたと判定した場合、ステップS129に進み、供給された解読シンボルに対応付けて保存されているデータを記憶部44から読み出し、再生する。例えば、保存されていたデータが画像データである場合、対応する画像が表示部11に表示され、保存されていたデータが音楽データである場合、その音楽データが再生される。
以上のように、自分自身の名前の近傍に表示されるシンボルをリーダライタ24により読み取り、それに応じて生成された解読シンボルを表示装置1に入力することで、保存しておいたデータを再生させることができるため、ユーザは、直感的な操作で、データを保存することができるとともに、その再生を指示することができる。
図20に示されるように、ユーザA乃至Cにより所定のデータが表示装置1に転送されている場合、仮に、ユーザAが情報処理端末21のリーダライタ24によりシンボル202(ユーザBが使用する端末の識別情報と組み合わせることで解読シンボルを生成することができるシンボル)を読み取った場合であっても、ユーザBの端末の識別情報が情報処理端末21には用意されていないため、ユーザAは、ユーザBにより保存され、鍵が設定されたデータを再生させることができない。
従って、自分が保存していたデータが他人に利用されることを防止することができる。なお、以上においては、端末の識別情報と、表示されるシンボルに基づいて解読シンボルが生成され、それにより鍵を解除することができるとしたが、鍵の設定と解読のアルゴリズムは適宜変更可能である。
次に、図21のフローチャートを参照して、図17の処理に対応して実行される、表示装置1のさらに他のデータ取得処理について説明する。
この例においては、指定する機器にデータを送信することを指示するコードが、命令コードとして情報処理端末21から表示装置1に転送される。例えば、機器を指定する情報であるアドレスなどが命令コードに含まれ、その命令コードが、アドレスで指定する機器に送信するデータとともに転送される。
ステップS141乃至S146の処理は、図18のステップS101乃至S106の処理と同様の処理であるため、その説明は省略する。
読み取り領域において読み取ったシンボル列からソースデータを取得し、命令コードを抽出したとき(ステップS141乃至S146)、ステップS147において、表示装置1の制御部45は、命令コードにより指定される機器に、取得したデータを送信する。
例えば、情報処理端末21において入力された、ネットワークを介して接続される機器のアドレスが命令コードに含まれている場合、制御部45は、通信部43を制御し、情報処理端末21から転送されたデータを、そのアドレスで指定される機器に送信する。
これにより、ユーザは、情報処理端末21に通信部115が設けられていない場合であっても、情報処理端末21において送信先の機器を指定し、リーダライタ24を表示部11に当接させるだけで、表示装置1を介して、他の機器にデータを送信することができる。
以上においては、命令コードとして、画像の表示を制御する情報、送信したデータに鍵を設定することを指示する情報、および、データの送信先を指定する情報などが含まれるとしたが、これ以外にも、各種の情報を命令コードに含めることができるようにしてもよい。
例えば、データの属性を表す情報を命令コードとしてデータとともに転送し、その命令コードを取得した機器において、命令コードに応じた処理が行われるようにしてもよい。データの属性を表す情報として、それぞれのデータの優先度が含まれている場合、優先度に応じて、表示される順番が制御されたり、或いは、それぞれのデータの表示サイズが制御される。また、データの属性を表す情報として、ユーザの嗜好情報(視聴履歴情報)が含まれている場合、ユーザの嗜好に応じて、表示される順番や表示位置などが制御される。
以上においては、読み取り領域は、表示部11の所定の位置に固定して形成されるか、または、シンボルが表示される位置に周期的に形成される場合について説明したが、表示部11の走査に併せて、読み取り領域の移動が行われるようにしてもよい。
例えば、図22の点線矢印で示されるように、表示部11の画面走査が画面の左上端から1/60(秒)の周期で行われる場合、この走査に併せて例えば0V近傍の電圧が印加される画素が切り替えられることで読み取り領域211の移動が行われる。これにより、表示部11にリーダライタ24が当接されたか否かが、1/60(秒)の周期でスキャンされることになる。
なお、表示部11にウインドウ212が既に表示されている場合、画像の表示と同時に、読み取り領域として1つの画素(ウインドウ212の画素)を機能させることができないため、ウインドウ212が表示される領域以外の領域で、読み取り領域211によるスキャンが行われる。
例えば、図23に示される表示部11の位置Pにユーザがリーダライタ24を当接させているときに、読み取り領域211により位置Pがスキャンされた場合、リーダライタ24から出力されるシンボルが読み取り領域211により読み取られ、情報処理端末21において選択されたデータが表示装置1に転送される。
データが表示装置1に転送されたとき、例えば、読み取り領域211が右隅に位置するように、ウインドウ221が表示され、そこに、取り込まれたデータに対応する画像が表示される。
このように表示部11の表面にリーダライタ24が当接されたか否か(データの転送が行われるか否か)が周期的にスキャンされ、当接された位置を基準としてウインドウが表示されるようにしたため、ユーザは、画像が表示されていない領域であれば、リーダライタ24を移動させやすい位置、或いは、ウインドウを表示させたい位置、すなわち、好みの位置にリーダライタ24を当接させることでデータを表示装置1に転送することができる。
次に、図24のフローチャートを参照して、図22および図23に示されるように、リーダライタ24からの入力の有無を読み取り領域によりスキャンし、リーダライタ24が当接されたときに情報処理端末21からデータを取得する表示装置1の処理について説明する。
ステップS161において、表示装置1の制御部45は、所定の画素に例えば0V近傍のバイアス電圧を印加して読み取り領域を設定し、ステップS162に進み、画像が表示されていない領域を、設定した読み取り領域によりスキャンする。
ステップS163において、制御部45は、リーダライタ24が表示部11の表面に当接され、シンボルの入力が読み取り領域において検出されたか否かを判定し、検出されていないと判定した場合、ステップS162に戻り、スキャンを繰り返す。
一方、読み取り領域において、リーク電流が発生されたことが検出され、シンボルが入力されたと判定した場合、制御部45は、読み取り領域の移動を停止し、ステップS164に進み、シンボルを読み取る。
すなわち、ステップS164乃至S167において、上述した処理と同様のシンボルの読み取り処理が実行され、ソースデータが取得される。
ソースデータが取得されたとき、制御部45は、ステップS168において、リーダライタ24が当接された位置を基準としてウインドウを表示させ、そこに、転送されてきたデータに対応する画像を表示させる。
以上の処理により、ユーザは、所定の位置に固定して設定されている読み取り領域にリーダライタ24を当接させることなく、好みの位置に、かつ、容易に、データを表示装置1に転送することができる。
なお、図22および図23に示される例においては、説明の便宜上、比較的広い範囲に読み取り領域が形成され、それが移動されるとしたが、1画素からなる読み取り領域により順次スキャンが行われるようにしてもよい。
この場合、スキャンが行われる1画素によりシンボルの入力が検出されたとき、検出された位置の周囲の所定の範囲に読み取り領域が拡大して設定され(検出された位置の周囲の画素の極性が切り替えられ)、設定された読み取り領域により、リーダライタ24から出射されるシンボルが読み取られる。
ユーザからの入力の有無を検出する画素は、必要最小限の1画素だけでよいため、これにより、その1画素を除く、他の全ての画素に画像を表示させることができる。従って、ユーザからの入力を順次スキャンする場合であっても、より広い領域を表示領域として確保することができる。
以上においては、情報処理端末21には、シンボルの読み書きのみを行うリーダライタ24がケーブル23を介して接続されるとしたが、表示部22が、表示装置1の表示部11と同様にTFTが各画素に配置された表示デバイスにより構成され、その極性を制御することで画像を表示するだけでなく、外部からの光を検出できるセンサ(読み取り領域)として駆動することが可能である場合、リーダライタ24が情報処理端末21に設けられている必要はない。
図25は、表示装置1の表示部11と同様に、TFTが各画素に配置された表示デバイスが設けられる情報処理端末231の外観を示している。
このように、リーダライタが設けられていない場合であっても、表示装置1の表示部11に情報処理端末231の表示部232を当接または近接させることで、上述したようにして、表示装置1と情報処理端末231との間でデータの送受信を実行させることが可能である。
すなわち、ユーザは、情報処理端末231の表示部232に表示させたシンボルを、表示装置1の表示部11に形成される読み取り領域に読み取らせることにより、情報処理端末231から表示装置1にデータを転送することができる。
また、ユーザは、反対に、例えば、0V近傍のバイアス電圧が印加され、外部からの光を検出するセンサとして駆動するように形成された表示部232の読み取り領域で、表示装置1の表示部11に表示されるシンボルを読み取らせることにより、表示装置1から情報処理端末231にデータを転送することができる。
従って、情報処理端末231は、ユーザが容易にその位置や向きを変えることができるような大きさの端末とされる。
以上においては、表示装置1の表示部11は、TFTが各画素に配置されたELディスプレイまたはLCDであるとしたが、図26に示されるように、表示部242のうちの領域243がPDP(Plasma Display Panel)として構成され、領域244が、TFTが各画素に配置されるLCDとして構成されるハイブリッド型のディスプレイであってもよい。
この場合、表示装置241は、画像の表示のみを行う場合(外部から入力されるシンボルの検出を行わない場合)、PDPからなる領域243とLCDからなる領域244に、すなわち、表示部242全体に画像を表示し、一方、外部から入力されるシンボルを検出する読み取り領域を形成する必要があるとき、領域244の所定の領域の画素に例えば0V近傍のバイアス電圧を印加し、読み取り領域を形成する。
これにより、TFTが各画素に配置されるELディスプレイやLCDにより表示部242の全体を構成する場合に較べて、容易に、上述したようにして各種のデータを送受信することができる表示装置の大画面化を図ることができる。
また、PDPからなる領域243にのみ画像が表示され、領域244の全体には、外部からの光の有無を検出する光センサがアレイ状に常時配置されるようにしてもよい。この場合、当然、領域244には、画像が表示されない。
さらに、表示装置の縁(表示部が形成されていない部分)や、表示装置の側面などの所定の位置に光センサが設けられ、そこでシンボルが検出されるようにしてもよいし、シンボルの読み書きを行うための小型のTFTディスプレイ(TFTが各画素に配置されたELディスプレイ、LCD)が設けられ、そこでシンボルの表示と検出が行われるようにしてもよい。
シンボルの読み書きを行うための小型のTFTディスプレイが情報処理端末に設けられる場合、その外観構成は、例えば、図27に示されるものとなる。
図27に示される情報処理端末251には、表示部252が筐体の正面に設けられ、表示部252の直右側には、図の垂直方向を軸として回動自在なリーダライタ部253が形成され、そこに、TFTディスプレイ254が設けられている。
例えば、外部の機器に対してシンボルを介してデータを転送する場合、TFTディスプレイ254には、シンボルが順次連続して表示され、シンボルに対応する光が外部に照射される。また、外部の機器に表示されているシンボルを検出する場合、TFTディスプレイ254の各画素には例えば0V近傍のバイアス電圧が印加され、光センサとしての駆動が行われる。
このように、リーダライタ部253が情報処理端末251の筐体に対して回動自在に形成されている場合、表示部252とTFTディスプレイ254の正面を、それぞれ異なる方向に位置させることができるため、ユーザは、表示部252の表示を確認しながら、転送するデータを選択し、表示部252と反対方向に向けられているTFTディスプレイ254の表示によりデータを転送することができる。
また、図28に示されるように、図1のリーダライタ24の内部に、小型のTFTディスプレイ262が配置され、それにより、シンボルの表示と検出が行われるようにしてもよい。
以上においては、TFTが各画素に配設されたLCDによっても、例えば、0V近傍のバイアス電圧を印加することで、外部からの光を検出できるセンサとして駆動させることができるとしたが、仮に、その検出の際にバックライトからの光が誤検出を引き起こすおそれがあるとき、或いは、外部から照射されるシンボルを検出することができないときは、外部からの光を検出するときだけ、バックライトの出力がオフにされるようにしてもよい。
これにより、TFTが各画素に配設されたLCDによっても、バックライトの影響を受けることなく、外部からの光を検出できるセンサとして駆動させることができ、シンボルを介して各種のデータの送受信を行わせることが可能となる。
以上のようにして行われるデータの送受信は、例えば、パーソナルコンピュータ、携帯電話機、PDA、テレビジョン受像機、音楽再生機、ディジタルカメラ、ビデオカメラなどの、表示部が設けられる様々な情報処理装置に実行させることができる。
ここで、画像の表示と、外部からの入力の検出とを切り替える動作について、より具体的に説明する。
図29は、表示装置1の他の構成例を示す図である。図3と同じ部分には同一の符号を付してあり、重複する説明については適宜省略する。
切替部301は、コントローラ48による制御に基づいて、各画素に設けられるスイッチ(TFT)のオン/オフを切り替え、各画素を、画像を表示する画素として、または、外部からの入力を検出する画素として駆動させる。
上述した構成においては、画像を表示する画素として、または、外部からの入力を検出する画素として駆動させることの切り替えは、TFTのゲート電極に印加する電圧の方向が制御されることで行われるものとしたが、この例においては、切替部301によるスイッチの切り替えに応じて行われる。切替部301によるスイッチのオン/オフに連動して、各画素に設けられるEL素子に印加される電圧の方向が制御される。
以下、適宜、RGBを1組とする画素を「ピクセル」と称し、1ピクセルを構成するRGBのそれぞれを「サブピクセル」と称する。
図30は、図29の表示部11に接続される各信号線の例を示す図である。
図30の例においては、データ線と受光信号線は、それぞれ、左から1乃至XまでのX本だけ配設され、ゲート線と切替線は、それぞれ、上から1乃至YまでのY本だけ配設されている。例えば、表示部11がXGA(eXtended Graphics Array)サイズのディスプレイである場合、Xの値は1024×3(RGB)となり、Yの値は768となる。
図29のソースドライバ49は、データ線(ソース線)を介して、各サブピクセルに、表示する画像に対応する信号を供給し、ゲートドライバ50は、ゲート線を介して、各行のピクセルのTFTのオン/オフを制御する。
検出部53は、受光信号線を介して、外部からの入力を検出するサブピクセルとして駆動しているサブピクセルで生じたリーク電流を表す受光信号を検出し、切替部301は、切替線を介して、各サブピクセルを、画像を表示するサブピクセルとして、または、外部からの入力を検出するサブピクセルとして駆動させる。
なお、1ピクセルを構成する3つのサブピクセルの全てにおいて外部からの入力を検出することができるのではなく、1ピクセルを構成する3つのサブピクセルのうち、例えば、赤色(R)などの、1つのサブピクセルでのみ、外部からの入力を検出することができるようになされている場合、受光信号線の数は、各ピクセルに1本ずつ、すなわち、Xとなる。
後述するように、RGBのそれぞれの受光特性が異なることから、このように、受光感度のよいEL素子を有するサブピクセルのみが、画像を表示するだけでなく、外部からの入力を検出するサブピクセルとしても駆動することができるようにしてもよい。
図31は、画像を表示するサブピクセルとして駆動するだけでなく、外部からの入力を検出するサブピクセルとしても駆動可能なサブピクセルに形成される回路(点線内の回路)の例を示す図である。
以下、画像を表示するサブピクセルとしての駆動を発光駆動(表示駆動)と、外部からの入力を検出するサブピクセルとしての駆動を受光駆動と、適宜称する。
図31のサブピクセルが発光駆動を行う場合、データ線からの信号に基づく電流がEL素子に供給されるように、切替部301により、トランジスタTr3が切替線を介してオン(導通状態)にされる。
また、トランジスタTr3の動作に反転して、トランジスタTr4がオフ(非導通状態)にされる。なお、トランジスタTr4には、切替部301が、そのオン/オフを制御するための切替線(図示せず)が接続される。
トランジスタTr3がオンにされている状態でゲート線がアクティブになった場合(ゲート端子に電圧が印加された場合)、トランジスタTr1がオンにされ、データ線を介して供給される電荷がコンデンサCにチャージされる。
また、コンデンサCに電荷がチャージされることで生じる電位差に応じてトランジスタTr2が開放し、トランジスタTr2中を電流(+Vccに基づく電流)が流れる。このとき、トランジスタTr3がオンにされ、EL素子のカソードがGNDに接続されていることから、トランジスタTr2によって生じた電流がEL素子のアノードに供給され、これによりEL素子が発光する。
一方、図31のサブピクセルが受光駆動を行う場合、切替部301により、切替線を介してトランジスタTr3がオフにされ、それに反転して、トランジスタTr4がオンにされる。
トランジスタTr3がオフにされている状態でEL素子に光が入射した場合、上述したように、入射光量に応じてリーク電流IELが生じ、これが、トランジスタTr4を介して増幅回路に供給される。
リーク電流IELは増幅回路において増幅され、リーク電流IEL’として検出部53に供給される。
このように、発光駆動を行うための回路(トランジスタTr1,Tr2、コンデンサCからなる回路)と受光駆動を行うための回路(トランジスタTr4、増幅回路)のうち、そのときに動作を行う回路を切替線を介して切り替えることによって、サブピクセルの発光駆動と受光駆動の切り替えが行われる。
図31に示されるような回路を有するサブピクセルが、表示部11を構成する1ピクセルに少なくとも1つ設けられ、各ピクセルにおいて、画像の表示と外部からの入力の検出が行われる。
ここで、図32のフローチャートを参照して、表示部11に画像を表示するとともに、その画像を表示する領域とは異なる領域に、外部からの入力を検出可能な読み取り領域を形成し、画像の表示と外部からの入力の検出を行う表示装置1の処理について説明する。
ステップS201において、制御部45は、例えば、ユーザからの指示や、そのとき実行しているアプリケーションに応じて、読み取り領域を形成する範囲、位置等を設定する。
ここでは、例えば、表示部11の全面を読み取り領域にすること、表示部11の所定の範囲のみを読み取り領域にすること、所定の範囲のみが読み取り領域にされる場合の、その位置、および、図22を参照して説明したように移動する読み取り領域であるのか、といった、読み取り領域に関する各種の設定が行われる。読み取り領域を形成する範囲、位置等を表す情報は、コントローラ48に出力される。
ステップS202において、コントローラ48は、制御部45により設定された読み取り領域を形成する範囲、位置等と、画像信号生成部47から供給されるテレビジョン番組などの画像信号に基づいて、表示部11の全ての行のうち、所定の数の、発光駆動を行わせる行と受光駆動を行わせる行を選択する。
ELディスプレイにおいては、所定の数の行をひとまとまりに発光させ、そのひとまとまりの範囲を上から下方向に、例えば、1/60秒などの表示周波数に従って順次移動させることを繰り返すことで画像の表示が行われるため、ここでは、所定の数の行が発光駆動を行わせる行として選択される。
ステップS203において、コントローラ48は、処理対象の行が発光駆動を行わせる行であるか否かを判定し、発光駆動を行わせる行の処理についてはステップS204に進む。また、コントローラ48は、受光駆動を行わせる行の処理についてはステップS206に進む。
ステップS204において、コントローラ48は、切替部301を制御し、発光駆動を行わせる行のサブピクセルのトランジスタTr3(図31)をオンとし、それとともに、トランジスタTr4をオフにする。これにより、受光駆動を行うための回路(トランジスタTr4、増幅回路からなる回路)とEL素子の接続が遮断される。
また、コントローラ48は、ステップS205において、ゲートドライバ50を制御してゲート線をアクティブにするとともに、ソースドライバ49を制御し、表示させる画像に対応する信号をゲート線から発光駆動を行わせるサブピクセルに送る。
これにより、発光駆動を行うサブピクセルにおいては、トランジスタTr1がオンにされ、データ線を介して供給される電荷がコンデンサCにチャージされる。また、コンデンサCに電荷がチャージされることで生じる電位差に応じてトランジスタTr2が開放し、トランジスタTr2により生成された電流によりEL素子が発光する。
発光駆動を行うものとして選択された行のサブピクセルの全てにおいて、このような処理が行われ、形成される表示領域に画像が表示される。
一方、コントローラ48は、ステップS206において、受光駆動を行わせる行の読み取り領域を形成するサブピクセルのトランジスタTr3を、切替部301を制御してオフにし、それに反転して、トランジスタTr4をオンにする。
この状態でEL素子に外部から光が入射した場合、ステップS207において、検出部53は、入射光量に応じて生じるリーク電流IELを増幅して得られるリーク電流IEL’を受光信号として検出する。検出された受光信号は、シンボル処理部52に出力され、例えば、上述したシンボルを用いてなどの、外部からの入力の検出が行われる。
ステップS205における発光駆動、ステップS207における受光駆動が行われた後、処理はステップS208に進む。ステップS208において、表示終了であると判定されるまでステップS202以降の処理が繰り返され、表示終了であると判定された場合、処理が終了される。
以上のようにして、図31の回路の動作が制御され、画像の表示と外部からの入力の検出が行われる。
図33A乃至Cは、以上の処理によって表示部11に形成される表示領域(発光駆動を行うピクセル(サブピクセル)からなる領域)と読み取り領域(受光駆動を行うピクセル(サブピクセル)からなる領域)の例を示す図である。
なお、図33A乃至Cの例は、いずれも、表示部11の表示周波数に相当する、ある1/60秒間での表示領域と読み取り領域の例を示している。後述する、図35A乃至C、図37A乃至C、図39A乃至Cについても同様である。
図33A乃至Cは、表示領域の先頭(第N行目)と読み取り領域の先頭(第P行目)が同じ間隔を保持したまま、ともに、白抜き矢印で示されるように上から下方向に移動し、最下行のY行目まできたときには、第1行目から下方向に移動することを繰り返すことで表示領域と読み取り領域が形成される場合の例を示している。
図33Aにおいては、読み取り領域は、その縦方向が上から第P行目を先頭(領域の移動方向の先頭)として第P−q行目までとされ、横方向が表示部11の横方向全体と同じになるように形成されている。なお、説明の便宜上、読み取り領域には斜線を付してあるが、発光駆動を行っていないサブピクセルからなる領域であるため、実際には、斜線を含むいずれの画像も表示されない。
また、表示領域は、その縦方向が上から第N行目を先頭として第N−m行目までとされ、横方向が、表示部11の横方向全体となるように形成されている。
上述したように、ELディスプレイにおいては、所定の数の行をひとまとまりとして発光させ、そのひとまとまりの範囲を図の白抜き矢印で示されるように上から下方向に順次移動させることを表示周波数に従って繰り返すことで画像の表示が行われており、この例においては、ある1/60秒間のタイミングで発光駆動を行う行の数がmとされている。この表示領域が表示周波数に従って順次移動することで1フレームの画像が表示される。
このように、ある1/60秒間のタイミングでは、そのとき発光駆動している表示領域により、例えば、図33Aのように人物Hの一部(顔を中心とする部分)が表示される。なお、表示領域以外の領域は発光駆動していないため、瞬間的には黒が表示される領域である。
図33Bは、図33Aの動作が行われた後の、ある1/60秒間のタイミングでの表示領域と読み取り領域の例を示している。
図33Bにおいては、読み取り領域は、その縦方向が、第P行目(図33A)から下方にある、上から第P'行目を先頭として第P'−q行目までとされ、横方向が表示部11の横方向全体となるように形成されている。
また、表示領域は、その縦方向が、第N行目から下方にある、上から第N'行目を先頭として第N'−m行目までとされ、横方向が、表示部11の横方向全体となるように形成されている。図33Bの表示領域に表示されている人物Hは、図33Aの表示領域に表示されているものと較べて、表示範囲が下方に切り替わっている。
図33Cは、図33Bの動作が行われた後の、ある1/60秒間のタイミングでの表示領域と読み取り領域の例を示している。
図33Cの例においては、読み取り領域は、その縦方向が、上から第P''行目を先頭として第P''−q行目までとされ、横方向が表示部11の横方向全体となるように形成されている。
また、表示領域は、その縦方向が、上から第N''行目を先頭として第N''−m行目までとされ、横方向が、表示部11の横方向全体となるように形成されている。図33Cの表示領域に表示されている人物Hは、図33Bの表示領域に表示されているものと較べて、表示範囲が下方に切り替わっている。
このように、読み取り領域の横方向を表示部11の横方向全体と同じとし、表示周波数に従って読み取り領域の位置を順次切り替える(順次移動させる)ことにより、表示部11の全体が読み取り領域によりスキャンされることになる。
従って、この場合、ユーザは、表示部11のどこにでも、外部から光を照射したりすることで表示装置1に所定の情報を入力することができる。すなわち、ある1/60秒間ではなく、所定の期間を全体として見た場合、図34に示されるように、表示部11の全体に読み取り領域が形成されることになる。
この場合であっても、ある1/60秒間においては、読み取り領域とは異なる位置に表示領域が常に形成されていることから、当然、ユーザは、人物Hを含む画像の全体を見ることもできる。
図35A乃至Cは、図32の処理により形成される表示領域と読み取り領域の他の例を示す図である。
図35A乃至Cは、読み取り領域の横方向の範囲が制限されている点を除いて、図33A乃至Cと同様に、表示領域の先頭(第N行目)と、読み取り領域の先頭(第P行目)が同じ間隔を保持したまま、ともに、白抜き矢印で示されるように上から下に移動し、最下行のY行目まできたときには、第1行目からそれを繰り返すことで、表示領域と受光領域が形成される場合の例を示している。
図35A乃至Cにおいては、受光駆動しているサブピクセルからなる読み取り領域は、その横方向が表示部11の第L列目から第L+s列目までの範囲になるように形成されている。切替線を介して、サブピクセル毎の駆動を制御することが可能であることから、このように、読み取り領域の横方向の範囲を制限したりすることもできる。
このように、横方向が制限された読み取り領域の位置が順次移動することにより、表示部11の第L列目から第L+s列目までの範囲で繰り返しスキャンが行われることになる。
従って、この場合、ユーザは、第L列目から第L+s列目までの範囲に、外部から光を照射するなどして所定の情報を表示装置1に入力することができる。すなわち、ある1/60秒間ではなく、所定の期間を全体として見た場合、図36に示されるように、表示部11の第L列目から第L+s列目までの範囲に、読み取り領域が形成されることになる。
図37A乃至Cは、図32の処理により形成される表示領域と読み取り領域のさらに他の例を示す図である。
図37A乃至Cにおいては、読み取り領域の上下方向の移動範囲が、第L'行目から第L'−s'行目までの範囲内になるように制限されている点を除いて、図33A乃至Cに示すものと同様である。すなわち、図37A乃至Cにおいては、読み取り領域の先頭の行が第L'行目にきた次の瞬間、第L' −s'行目を先頭として読み取り領域が形成される。
このように、読み取り領域の縦方向の移動範囲が第L'行目から第L'−s'行目の範囲になるように制限されることにより、表示部11の第L'行目から第L'−s行目の範囲で繰り返しスキャンが行われることになる。
従って、この場合、ユーザは、第L'行目から第L'−s行目の範囲に光を照射するなどして所定の情報を表示装置1に入力することができる。すなわち、ある1/60秒間ではなく、所定の期間を全体として見た場合、図38に示されるように、表示部11の第L'行目から第L'−s'行目までの縦方向の範囲に、その横方向を表示部11の横方向と同じにする読み取り領域が形成されることになる。
図39A乃至Cは、図35A乃至Cに示されるように横方向の範囲を制限して読み取り領域を形成する動作と、図37A乃至Cに示されるように、その縦方向の移動範囲を制限して読み取り領域を形成する動作とを組み合わせた動作により読み取り領域が形成される場合の例を示す図である。
すなわち、図39A乃至Cの例においては、図35A乃至Cの場合と同様に、読み取り領域の横方向が、表示部11の第L列目から第L+s列目の範囲になるように制限され、かつ、読み取り領域の上下方向の移動範囲が、第L'行目から第L'−s'行目の範囲になるように制限されている。図39A乃至Cに示される表示領域と読み取り領域は、この点を除いて、図33A乃至Cに示すものと同様である。
このように、読み取り領域の上下方向の移動範囲と横方向の範囲を制限することにより、表示部11の第L列目から第L+s列目の範囲であって、第L'行目から第L'−s'行目の範囲で繰り返しスキャンが行われることになる。
従って、この場合、ユーザは、第L列目から第L+s列目の範囲、かつ、第L'行目から第L'−s'行目の範囲に光を照射するなどして所定の情報を表示装置1に入力することができる。すなわち、ある1/60秒間ではなく、所定の期間を全体として見た場合、図40に示されるように、表示部11の第L'行目から第L'+s'行目の範囲に、その横方向を第L列目から第L+s列目とする方形の読み取り領域が形成されることになる。
なお、上述した図22の読み取り領域(画面全体を移動する読み取り領域)は、このように、図40の方形の読み取り領域の形成範囲が、各サブピクセルの動作により順次切り替えられることで実現されるものである。
以上のように、サブピクセル毎に、発光駆動または受光駆動を行わせることが可能であるため、そのときの目的に応じて、位置、範囲(大きさ)、移動させるか否か等を設定し、読み取り領域を形成することが可能になる。また、例えば、図40に示される方形の読み取り領域が、表示部11上に同時に複数形成されるように、読み取り領域の数も、アプリケーションなどによる目的に応じて適宜設定可能である。
以上においては、外部からの光を受光することで所定の情報の入力を検出する場合について説明したが、この受光に関する特性は、EL素子の材料などによって異なるものとなる。
ここで、EL素子(有機EL素子)の材料と特性について説明する。
図41に示されるように、アノードの材料をα、発光層、正孔輸送層、電子輸送層からなる有機層の材料をβ、カソードの材料をγとしてEL素子を生成する場合、その材料の組み合わせによって、EL素子の受光感度は、図42に示されるようにそれぞれ異なるものとなる。なお、図42は、発光駆動を行う場合に、赤(R)を発光するEL素子の特性を示している。図42の横軸は波長nmを示し、縦軸は受光感度A/W(光電流(A)/入射光量(W))を示す。
図42において、特性曲線l11は、アノードの材料をα1、有機層の材料をβ1、カソードの材料をγ1とした場合のEL素子の特性を示している。同様に、特性曲線l12は、アノードをα2、有機層をβ2、カソードをγ2とした場合のEL素子の特性を示し、特性曲線l13は、アノードをα3、有機層をβ3、カソードをγ3とした場合のEL素子の特性を示している。
また、特性曲線l14は、アノードをα4、有機層をβ4、カソードをγ4とした場合のEL素子の特性を示し、特性曲線l15は、アノードをα5、有機層をβ5、カソードをγ5とした場合のEL素子の特性を示し、特性曲線l16は、アノードをα6、有機層をβ6、カソードをγ6とした場合のEL素子の特性を示している。
このように、材料の組み合わせによりEL素子の受光感度の特性が異なるものになることがわかる。また、図42からは、赤を発光するEL素子は、特に、390nmに近い波長の紫外の光や、500nm近傍の波長の緑の光に対する受光感度が高いことがわかる。
従って、外部から所定の情報を入力するときに照射する光としては、紫外線を用いることが好ましい。例えば、情報処理端末21のリーダライタ24を利用して、表示装置1に情報を入力する場合、リーダライタ24にシンボル(2次元コード)を表示させるための光源として、紫外線を出射する光源を用いることにより、発光駆動を行っているときには赤を発光するEL素子に対して(図42の受光感度を有するEL素子に対して)、より確実に情報を入力することができる。
また、図43に示されるように、受光側のディスプレイAと発光側(表示側)のディスプレイBを対向させて所定の情報を入力する場合、あるピクセルP1のうちのRのサブピクセルに受光駆動を行わせ、それに対向する位置にある、ピクセルP2のGのサブピクセルに発光駆動を行わせることにより、より確実に、外部からの光の検出をさせること、すなわち、ディスプレイBからディスプレイAに情報を入力することができる。このような駆動も、それぞれのディスプレイにおいて、上述したように切替線を介して回路の駆動を切り替えることにより実現することができる。
さらに、表示装置1が、自分自身が出射した光の反射光を検出することで、例えば、ユーザが指を表示部11の表面に近接させたことを検出し、それに基づいて所定の処理を行うようになされている場合、図44に示されるように、ユーザの指Fに光を照射するサブピクセルは緑(G)を発光するサブピクセルSP11とし、サブピクセルSP11から出射された光の反射光(指Fで反射された光)を受光するサブピクセルは、サブピクセルSP11の近傍にある、赤(R)のサブピクセルSP12(発光駆動を行うときには赤を発光するサブピクセル)とするのが好ましい。
また、サブピクセルSP11とサブピクセルSP12の間隔が近いほど、指Fが近接されたことをより確実に検出することができるため、例えば、サブピクセルSP11がある第Y1行目とサブピクセルSP12がある第Y2行目の間隔は数行間隔とされる。
また、図45に示されるように、ユーザの指Fを検出する方形の読み取り領域が表示部11の上から第Y11行目から第Y12行目に形成されている場合、その位置の近傍にある、例えば、図の斜線で示されるような上下の範囲A1,A2のピクセルが、緑を発光するように動作することにより、より確実に、ユーザの入力(指Fが近づけられたこと)を検出することができる。
なお、指Fだけでなく、図46に示されるように、所定の反射率を有する物体Oを表示部11の表面に近づけることによっても、ユーザは、表示装置1に情報を入力することができる(物体Oを近づけたことを検出させることができる)。これにより、例えば、表示部11に表示されている物と同じ物を表示部11に近づけることで情報を入力するといった、直感的な操作が可能になる。
これらの近接されたものの検出も、切替線を介して回路の駆動を切り替え、ある行のサブピクセルに受光駆動を行わせ、その近傍のサブピクセルに発光駆動を行わせることにより実現することが可能である。
また、同様に、出射した光の反射光を表示装置1に検出させることで、ユーザは、指が近接されているか否かなどの、点で検出できる情報だけでなく、表示部11の表面に当接させた指の指紋などの所定の面情報を入力することもできる。
図47は、あるタイミングにおける、表示部11(ディスプレイ)の断面と、表示部11の表面に触れているユーザの指Fを示す図である。また、図48は、図47の状態の外観を示す図である。
このように、サブピクセルSP11を含む、発光駆動を行う第Y1行目にあるサブピクセル(G)からなる発光領域から出射した光の反射光を、その近傍のサブピクセルSP12を含む、受光駆動を行う第Y2行目にあるサブピクセル(R)からなる読み取り領域で受光することにより、表示装置1は、そのとき発光領域が照射している指Fの横方向の情報(図47の点線で囲われる部分の紙面方向の凹凸の有無)を取得することができる。
また、発光駆動を行うサブピクセルの行と、受光駆動を行うサブピクセルの行の位置関係を保持しつつ、図48の白抜き矢印で示されるように、ともに下方向に移動させ、それぞれのタイミングで取得される横方向の情報(時分割で取得される情報)を合成することにより、表示装置1は、ユーザが表示部11に当接している指Fの指紋全体の情報を取得することができる。
図49Aは、図47、図48に示されるように、第Y1行目のGのサブピクセルを発光させ、その反射光を第Y2行目のGのサブピクセルで受光させたときの、受光駆動を行っている各サブピクセルで発生された受光信号の出力(アナログ値)を示す図である。図49Aにおいて、横軸は、図48の横方向の位置に対応し、第Y2行目にあるサブピクセルの位置を表す。また、縦軸は、第Y2行目にあるサブピクセルのそれぞれの受光信号線の出力を表す。
図49Bは、図49Aの点線で示される閾値以上の出力を1と、閾値以下の出力を0として図49Aの各サブピクセルにおける出力をディジタル値で表したものである。
図48の白抜き矢印で示されるように発光領域と読み取り領域をともに下方向に移動させることにより、図49AおよびBに示されるような出力が、発光領域が照射する位置毎に得られることになる。従って、それぞれの位置で取得された出力を合成することにより、表示装置1は、指Fの表面全体の凹凸の情報を取得することができ、指紋を検出することが可能になる。
なお、図49Bに示されるように、指紋情報を「1」、「0」で2値化するのではなく、図49Aと同じ図50Aの出力が取得された場合、図50Bに示されるように、各サブピクセルの出力に所定の数のビットを割り当て、ディジタル値の出力に階調を持たせることも可能である。
表示部11においては、各サブピクセルの動作を切り替えることができるため、例えば、図51に示されるように、指紋を検出している位置の近傍に指紋表示領域311を形成し、その指紋表示領域311に、既に検出された行の指紋から順に、指紋の画像を表示させるようにしてもよい。これにより、ユーザは、指紋の検出が行われていることを直感的に確認することができる。
当然、指紋表示領域311を形成し、そこに検出済みの指紋の画像を表示するのではなく、ユーザが指Fを当接しているその位置に、検出済みの指紋の画像を順次表示させるようにしてもよい。受光駆動を行い、指紋の検出を終えた行のサブピクセルから順次発光駆動を行わせ、指紋の画像を表示させるように駆動することにより、このような、検出を行う位置にその検出結果を表示することも可能である。
また、上述したような、近接されたもの、または接触しているものの情報を取得するのと同様に、所定の数のサブピクセルに受光駆動を行わせることにより、表示装置1の前方にある対象を撮像することもできる。
図52は、受光駆動を行うサブピクセルにより撮像を行う場合の概念を示す図である。
例えば、第Y1行目乃至第Y1+K行目のRのサブピクセルに切替線を介して受光駆動を行わせ、それらのサブピクセルに撮像対象の像を結ぶレンズを表示部11(ディスプレイ)の表面などに設けることにより、受光駆動を行っているサブピクセルの受光信号から対象の撮像を行うことができる。
図53Aは、図52の第Y1行目にあるサブピクセルのそれぞれにおいて検出される受光信号のアナログ値での出力を示し、図53Bは、第Y1+K行目にあるサブピクセルのそれぞれにおいて検出される受光信号のアナログ値での出力を示している。
また、図54Aは、図53Aの出力をディジタル値に変換したものであり、図54Bは、図53Bの出力をディジタル値に変換したものである。このような出力を、第Y1行目乃至第Y1+K行目のそれぞれについて検出し、それらを合成することにより、表示装置1の前方にある撮像対象の画像を取得することができる。
また、撮像結果を、撮像が行われた直後に表示部11に表示させることにより、ユーザは、迅速に、かつ容易に撮像結果を確認することができる。
以上のように、受光駆動を行っているサブピクセルにおいては、可視光を検出することが可能である。従って、例えば、図55に示されるように、赤などの可視光を出射可能なレーザポインタ321(一般的に普及しているレーザポインタ)を用いても表示装置1に情報を入力することができる。
図55の表示部11にはテレビジョン番組の予約画面が表示されており、そこに、チャンネル選択ボタン331が表示されている。
チャンネル選択ボタン331(1,3,4,6,8,10,12チャンネルのボタン)は、例えば、表示部11の表示周波数に従って発光駆動と受光駆動を交互に行うようになされており、受光駆動を行っている瞬間にレーザポインタ321からの光が照射されることにより、表示装置1は、レーザポインタ321からの入力を検出することができる。
図55の例においては、「6チャンネル」を選択されたことが検出される。なお、この場合、レーザポインタ321は、単に、レーザポインタ321の表面に設けられるボタンが押下された場合にオンの信号を出力し、それ以外の期間は出力をオフにする、図56に示されるような信号を出力可能なレーザポインタで実現することが可能である。
また、図57のレーザポインタ321が、図58に示されるような、所定のデータを表す可視光を出射することが可能なもの(データを変調し、それに対応する光(オン/オフ)を所定の周波数で出力可能なもの)である場合、表示部11に形成されるデータ入力用窓331に対してレーザポインタ321を用いてデータを入力することができる。このデータ入力用窓331(読み取り領域)は、受光駆動を行っているサブピクセルから形成されるものである。
以上においては、Gのサブピクセルに発光駆動を行わせ、その近傍にあるRのサブピクセルに受光駆動を行わせて、表示部11の表面に近接している物体の有無などを検出することについて主に説明したが、発光駆動を行うサブピクセルと受光駆動を行うサブピクセルの組み合わせは、その組み合わせ(GとRの組み合わせ)に限られるものではない。
すなわち、上述したように、EL素子の電極と有機層の材料により受光駆動を行うサブピクセルの受光感度の特性が異なるため、発光駆動を行うサブピクセルと受光駆動を行うサブピクセルの組み合わせは、発光駆動を行うサブピクセルと、そのサブピクセルから出射された光に対する受光感度が高いサブピクセルの組み合わせであれば、どのようなサブピクセルの組み合わせでもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図10に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク131(フレキシブルディスクを含む)、光ディスク132(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク133(MD(登録商標)(Mini-Disk)を含む)、もしくは半導体メモリ134などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMや、記憶部118に含まれるハードディスクなどで構成される。
なお、本明細書において、各ステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
1 表示装置, 11 表示部, 13 シンボル, 21 情報処理端末, 24 リーダライタ, 31 読み取り領域, 45 制御部, 48 コントローラ, 51 データ処理部, 52 シンボル処理部, 53 検出部, 111 画像信号生成部, 112 シンボル処理部, 113 データ処理部, 114 制御部, 131 磁気ディスク, 132 光ディスク, 133 光磁気ディスク, 134 半導体メモリ, 301 切替部