以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
本発明に係る電子機器の一実施態様について、図1から図42を参照して説明すると以下のとおりである。
<電子機器の外観>
図1は、本実施の形態に係る電子機器100の外観を示した図である。図1を参照して、電子機器100は、第1の筐体100Aと第2の筐体100Bとを含む。
第1の筐体100Aと第2の筐体100Bとは、ヒンジ100Cにより折畳み可能に接続されている。第1の筐体100Aは、光センサ内蔵液晶パネル140を備える。第2の筐体100Bは、光センサ内蔵液晶パネル240を備える。このように、電子機器100は、光センサ内蔵液晶パネルを2つ備える。
なお、電子機器100は、PDA(Personal Digital Assistant)、ノート型のパーソナルコンピュータ、携帯型電話機、電子辞書などの表示機能を有する携帯型デバイスとして構成される。
<ハードウェア構成について>
次に、図2を参照して、電子機器100の具体的構成の一態様について説明する。図2は、電子機器100のハードウェア構成を表わすブロック図である。電子機器100は、主たる構成要素として、本体装置101と、表示装置102と、表示装置103とを含む。
第1の筐体100Aは、表示装置102を含む。第2の筐体100Bは、本体装置101と表示装置103とを含む。なお、電子機器100は、第2の筐体100Bの代わりに第1の筐体100Aに本体装置101を含んでもよい。
本体装置101は、CPU(Central Processing Unit)110と、RAM(Random Access Memory)171と、ROM(Read-Only Memory)172と、メモリカードリーダライタ173と、通信部174と、マイク175と、スピーカ176と、操作キー177とを含む。各構成要素は、相互にデータバスDB1によって接続されている。メモリカードリーダライタ173には、メモリカード1731が装着される。
CPU110は、プログラムを実行する。操作キー177は、電子機器100の使用者による指示の入力を受ける。RAM171は、CPU110によるプログラムの実行により生成されたデータ、または操作キー177を介して入力されたデータを揮発的に格納する。ROM172は、データを不揮発的に格納する。また、ROM172は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどのデータの書込みおよび消去が可能なROMである。通信部174は、図示しない他の電子機器との間で無線通信を行う。なお、図2には図示していないが、電子機器100が、他の電子機器に有線により接続するためのインターフェイス(IF)を備える構成としてもよい。
表示装置102は、ドライバ130と、光センサ内蔵液晶パネル140(以下、液晶パネル140と称する)と、内部IF178と、バックライト179と、画像処理エンジン180とを含む。
ドライバ130は、液晶パネル140およびバックライト179を駆動するための駆動回路である。ドライバ130に含まれる各種の駆動回路については、後述する。
液晶パネル140は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル140は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル140の詳細については、後述する。
内部IF(Interface)178は、本体装置101と表示装置102との間で、データの遣り取りを仲介する。
バックライト179は、液晶パネル140の裏面に配置された光源である。バックライト179は、当該裏面に対して均一な光を照射する。
画像処理エンジン180は、ドライバ130を介して液晶パネル140の動作を制御する。ここで、当該制御は、内部IF178を介して本体装置101から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン180は、液晶パネル140から出力されるデータを処理し、処理したデータを内部IF178を介して本体装置101に送る。さらに、画像処理エンジン180は、ドライバ制御部181と、タイマ182と、信号処理部183とを含む。
ドライバ制御部181は、ドライバ130に対して制御信号を送ることによりドライバ130の動作を制御する。また、ドライバ制御部181は、本体装置101から送られてくるコマンドを解析する。そして、ドライバ制御部181は、当該解析の結果に基づいた制御信号をドライバ130に送る。ドライバ130の動作の詳細については、後述する。
タイマ182は、時刻情報を生成し、信号処理部183に対して時刻情報を送る。
信号処理部183は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部183は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部183は、当該デジタルデータに対して、本体装置101から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部183は、上記データ処理を行った後のデータと、タイマ182から取得した時刻情報とを含んだデータ(以下、応答データと称する)を本体装置101に送る。また、信号処理部183は、後述するスキャンデータを連続して複数格納できるRAM(図示せず)を備えている。
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する(図7〜図9)。
なお、タイマ182は、必ずしも画像処理エンジン180に備えられている必要はない。たとえば、タイマ182は、表示装置102内における、画像処理エンジン180の外部に備えられていてもよい。あるいは、タイマ182は、本体装置101に備えられていてもよい。また、マイク175およびスピーカ176は、電子機器100が常に備える構成ではなく、電子機器100の実施例によっては、マイク175およびスピーカ176のいずれかあるいは両方を有さない構成であってもよい。
ここで、表示装置102は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル140の周辺機器を当該液晶パネル140のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、液晶パネル140のガラス基板上に一体形成されている。なお、表示装置102が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、上記ガラス基板以外の基板に構成されていてもよい。
表示装置103は、ドライバ230と、光センサ内蔵液晶パネル240(以下、「液晶パネル240」と称する)と、内部IF278と、バックライト279と、画像処理エンジン280とを含む。画像処理エンジン280は、ドライバ制御部281と、タイマ282と、信号処理部283とを含む。
表示装置103は、表示装置102と同様な構成を有する。つまり、ドライバ230、液晶パネル240、内部IF278、バックライト279、および画像処理エンジン280は、表示装置102における、ドライバ130、液晶パネル140、内部IF178、バックライト179、画像処理エンジン180と同じ構成をそれぞれ有する。ドライバ制御部281、タイマ282、および信号処理部283は、表示装置102における、ドライバ制御部181、タイマ182、信号処理部183と同じ構成をそれぞれ有する。したがって、表示装置103に含まれる各機能ブロックについての説明は、繰り返さない。
ところで、電子機器100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM172に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1731その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ173その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部174または通信IF(図示せず)を介してダウンロードされた後、ROM172に一旦格納される。そのソフトウェアは、CPU110によってROM172から読み出され、RAM171に実行可能なプログラムの形式で格納される。CPU110は、そのプログラムを実行する。
図2に示される電子機器100の本体装置101を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM171、ROM172、メモリカード1731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器100の本体装置101のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、記憶媒体としては、メモリカードに限られず、CD−ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
<光センサ内蔵液晶パネルの構成および駆動について>
次に、液晶パネル140の構成と、当該液晶パネル140の周辺回路の構成とについて説明する。図3は、液晶パネル140の構成と、当該液晶パネル140の周辺回路とを示した図である。
図3を参照して、液晶パネル140は、画素回路141と、光センサ回路144と、走査信号線Giと、データ信号線SRjと、データ信号線SGjと、データ信号線SBjと、センサ信号線SSjと、センサ信号線SDjと、読出信号線RWiと、リセット信号線RSiとを含む。なお、iは、1≦i≦mを満たす自然数であり、jは1≦j≦nを満たす自然数である。
また、図2に示した表示装置102のドライバ130は、液晶パネル140の周辺回路として、走査信号線駆動回路131と、データ信号線駆動回路132と、光センサ駆動回路133と、スイッチ134と、アンプ135とを含む。
走査信号線駆動回路131は、図2に示すドライバ制御部181から制御信号TC1を受ける。そして、走査信号線駆動回路131は、制御信号TC1に基づき、各走査信号線(G1〜Gm)に対して、走査信号線G1から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路131は、単位時間毎に走査信号線(G1〜Gm)の中から1つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するTFT(Thin Film Transistor)142のゲートをターンオンできるだけの電圧(以下、ハイレベル電圧)を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
データ信号線駆動回路132は、図2に示すドライバ制御部181から画像データ(DR,DG,DB)を受ける。そして、データ信号線駆動回路132は、3n個のデータ信号線(SR1〜SRn,SG1〜SGn,SB1〜SBn)に対して、上記単位時間毎に、1行分の画像データに対応する電圧を順次印加する。
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
画素回路141は、1つの画素の輝度(透過率)を設定するための回路である。また、画素回路141は、マトリクス状にm×n個配されている。より詳しくは、画素回路141は、図3の縦方向にm個、横方向にn個配されている。
画素回路141は、Rサブピクセル回路141rと、Gサブピクセル回路141gと、Bサブピクセル回路141bとからなる。これら3つの回路(141r,141g,141b)は、それぞれ、TFT142と、画素電極と対向電極とからなる1組の電極対143と、図示しないコンデンサとを含む。
なお、n型のトランジスタとp型のトランジスタとを作れるCMOS(Complementary Metal Oxide Semiconductor)を実現できること、キャリア(電子または正孔)の移動速度がアモルファスシリコン薄膜トランジスタ(a-Si TFT)に比べて数百倍早いことなどから、表示装置102では、TFT142として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、TFT142は、n型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT142がp型チャネルの電界効果トランジスタであってもよい。
Rサブピクセル回路141r内のTFT142のソースはデータ信号線SRjに接続されている。また、当該TFT142のゲートは走査信号線Giに接続されている。さらに、当該TFT142のドレインは、電極対143の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Gサブピクセル回路141gおよびBサブピクセル回路141bについても、各TFT142のソースが接続されるデータ信号線が異なる以外は、Rサブピクセル回路141rと同じ構成である。このため、これら2つの回路(141g,141b)についての説明は、繰り返さない。
ここで、画素回路141における輝度の設定について説明する。まず、走査信号線Giに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、TFT142のゲートがターンオンする。このようにTFT142のゲートがターンオンした状態で、各データ信号線(SRj,SGj,SBj)に対して、それぞれ指定された電圧(1画素分の画像データに対応する電圧)を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ(補助容量)によって、次のフレーム期間において走査信号線Giが選択されるまで保持される。
光センサ駆動回路133は、図2に示すドライバ制御部181から制御信号TC2を受ける。
そして、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎にリセット信号線(RS1〜RSm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDRを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧VSSRを印加したままとする。たとえば、電圧VDDRを0Vに、電圧VSSRを−5Vに設定すればよい。
また、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎に読出信号線(RW1〜RWm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDを印加する。なお、選択されていない読出信号線に対しては、上記電圧VSSRを印加したままとする。たとえば、VDDの値を8Vに設定すればよい。
なお、電圧VDDRを印加するタイミング、および電圧VDDを印加するタイミングについては、後述する。
光センサ回路144は、フォトダイオード145と、コンデンサ146と、TFT147とを含む。なお、以下では、TFT147がn型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT147がp型チャネルの電界効果トランジスタであってもよい。
フォトダイオード145のアノードは、リセット信号線RSiに接続されている。一方、フォトダイオード145のカソードは、コンデンサ146の一方の電極に接続されている。また、コンデンサ146の他方の電極は、読出信号線RWiに接続されている。なお、以下では、フォトダイオード145とコンデンサ146との接続点をノードNと称する。
TFT147のゲートは、ノードNに接続されている。また、TFT147のドレインは、センサ信号線SDjに接続されている。さらに、TFT147のソースは、センサ信号線SSjに接続されている。光センサ回路144を用いたセンシングの詳細については、後述する。
スイッチ134は、センサ信号線(SD1〜SDn)に対して、予め定められた電圧を印加するか否かを切換えるために設けられたスイッチである。スイッチ134の切換え動作は、光センサ駆動回路133により行われる。なお、スイッチ134が導通状態となった場合にセンサ信号線(SD1〜SDn)に印加される電圧については、後述する。
アンプ135は、各センサ信号線(SS1〜SSn)から出力された電圧を増幅する。なお、増幅された電圧は、図2に示した信号処理部183に送られる。
なお、画素回路141を用いて画像を液晶パネル140に表示させるタイミングと、光センサ回路144を用いてセンシングするタイミングとについては、画像処理エンジン180が制御する。
図4は、液晶パネル140とバックライト179との断面図である。図4を参照して、液晶パネル140は、アクティブマトリクス基板151Aと、対向基板151Bと、液晶層152とを含む。対向基板151Bは、アクティブマトリクス基板151Aに対向して配されている。液晶層152は、アクティブマトリクス基板151Aと対向基板151Bとに挟まれている。バックライト179は、アクティブマトリクス基板151Aに関し液晶層152と反対側に配されている。
アクティブマトリクス基板151Aは、偏光フィルタ161と、ガラス基板162と、電極対143を構成する画素電極143aと、フォトダイオード145と、データ信号線157と、配向膜164とを含む。さらに、図4には示していないが、アクティブマトリクス基板151Aは、図3に示した、コンデンサ146と、TFT147と、TFT142と、走査信号線Giとを含む。
また、アクティブマトリクス基板151Aにおいては、バックライト179側から、偏光フィルタ161、ガラス基板162、画素電極143a、および配向膜164が、この順に配されている。フォトダイオード145とデータ信号線157とは、ガラス基板162の液晶層152側に形成されている。
対向基板151Bは、偏光フィルタ161と、ガラス基板162と、遮光膜163と、カラーフィルタ(153r,153g,153b)と、電極対143を構成する対向電極143bと、配向膜164とを含む。
また、対向基板151Bにおいては、液晶層152側から、配向膜164、対向電極143b、カラーフィルタ(153r,153g,153b)、ガラス基板162、および偏光フィルタ161が、この順に配されている。遮光膜163は、カラーフィルタ(153r,153g,153b)と同一の層に形成されている。
カラーフィルタ153rは、赤色の波長の光を透過させるフィルタである。カラーフィルタ153gは、緑色の波長の光を透過させるフィルタである。カラーフィルタ153bは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード145は、カラーフィルタ153bに対向する位置に配されている。
液晶パネル140は、外光やバックライト179などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル140は、画素電極143aと対向電極143bとの間に電圧を印加することにより液晶層152の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ161を配置している。
なお、フォトダイオード145の位置は、上記の位置に限定されるものではなく、カラーフィルタ153rに対向する位置やカラーフィルタ153gに対向する位置に設けることも可能である。
ここで、光センサ回路144の動作について説明する。図5は、光センサ回路144を動作させる際のタイミングチャートを示した図である。図5において、電圧VINTは、光センサ回路144内のノードNにおける電位を示している。また、電圧VPIXは、図3に示したセンサ信号線SSjからの出力電圧であって、アンプ135によって増幅される前の電圧を示している。
以下では、光センサ回路144をリセットするためのリセット期間と、光センサ回路144を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
まず、リセット期間について説明する。リセット期間においては、リセット信号線RSiに印加する電圧を、ローレベル(電圧VSSR)からハイレベル(電圧VDDR)へと瞬間的に切換える。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。このように、リセット信号線RSiに上記ハイレベルの電圧を印加することにより、フォトダイオード145の順方向(アノード側からカソード側)に電流が流れ始める。その結果、ノードNの電位である電圧VINTは、以下の式(1)で示す値となる。なお、式(1)では、フォトダイオード145における順方向の電圧降下量をVfとしている。
VINT=VSSR+|VDDR−VSSR|−Vf … (1)
それゆえ、ノードNの電位は、図5に示すとおり、電圧VDDRよりもVfだけ小さな値となる。
ここで、電圧VINTは、TFT147のゲートをターンオンさせる閾値以下であるため、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。また、コンデンサ146の電極間には、上記電圧VINT分の差が生じる。このため、コンデンサ146には、当該差に応じた電荷が蓄積される。
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線RSiに印加する電圧は、ハイレベル(電圧VDDR)からローレベル(電圧VSSR)へと瞬間的に切り換わる。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。
このように、リセット信号線RSiに印加する電圧をローレベルに変化させることにより、ノードNの電位は、リセット信号線RSiの電圧および読出信号線RWiの電圧よりも高くなる。このため、フォトダイオード145においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード145は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード145が受光すると、フォトダイオード145のカソード側からアノード側へと電流が流れ始める。その結果、図5に示すとおり、ノードNの電位(つまり、電圧VINT)は時間の経過とともに低くなる。
なお、このように電圧VINTが低下し続けるため、TFT147のゲートはターンオンした状態にはならない。それゆえ、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線RSiに印加する電圧をローレベル(電圧VSSR)のままとする。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)からハイレベル(電圧VDD)へと瞬間的に切り換わる。ここで、電圧VDDは、電圧VDDRよりも高い値である。
このように、読出信号線RWiにハイレベルの電圧を瞬間的に印加することにより、図5に示すとおり、コンデンサ146を介してノードNの電位が引き上げられる。なお、ノードNの電位の上昇幅は、読出信号線RWiに印加する電圧に応じた値となる。ここで、ノードNの電位(つまり、電圧VINT)が、TFT147のゲートをターンオンさせる閾値以上まで引き上げられるため、TFT147のゲートがターンオンする。
この際、TFT147のドレイン側に接続されたセンサ信号線SDj(図3参照)に予め一定電圧を印加しておけば、TFT147のソース側に接続されたセンサ信号線SSjからは、図5のVPIXのグラフに示すとおり、ノードNの電位に応じた電圧が出力される。
ここで、フォトダイオード145が受光する光の量(以下、受光量と称する)が少ないと、図5のVINTのグラフに示す直線の傾きが緩やかになる。その結果、電圧VPIXは、受光量が多い場合に比べて高くなる。このように、光センサ回路144は、フォトダイオード145の受光量に応じて、センサ信号線SSjに出力する電圧の値を変化させる。
ところで、上記においては、m×n個存在する光センサ回路のうち、1つの光センサ回路144に着目して、その動作を説明した。以下では、液晶パネル140における各光センサ回路の動作について説明する。
まず、光センサ駆動回路133は、n個のセンサ信号線(SD1〜SDn)の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路133は、リセット信号線RS1に対して、通常よりもハイレベルな電圧VDDRを印加する。なお、他のリセット信号線(RS2〜RSm)および読出信号線(RW1〜RWm)については、ローレベルの電圧を印加したままの状態とする。これにより、図3における1行目のn個の光センサ回路が、上述したリセット期間に入る。その後、1行目のn個の光センサ回路は、センシング期間に入る。さらに、その後、1行目のn個の光センサ回路は、読出期間に入る。
なお、n個のセンサ信号線(SD1〜SDn)の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
1行目のn個の光センサ回路の読出期間が終了すると、光センサ駆動回路133は、リセット信号線RS2に対して、通常よりもハイレベルな電圧VDDRを印加する。つまり、2行目のn個の光センサ回路のリセット期間に入る。リセット期間が終了すると、2行目のn個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
以降は、上述した処理が、順に、3行目のn個の光センサ回路、4行目のn個の光センサ回路、…m行目のn個の光センサ回路に対して行われる。その結果、センサ信号線(SS1〜SSn)からは、1行目のセンシング結果、2行目のセンシング結果、…、m行目のセンシング結果が、この順に出力される。
なお、表示装置102においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル140から出力される。このため、以下では、液晶パネル140から出力される1行目からm行目までのm行分の電圧に関するデータに対して、信号処理部183が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物(たとえば、ユーザの指)をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
また、上記においては、m×n個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル140の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
以下では、電子機器100が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切換えは、操作キー177を介した入力などに基づく本体装置101から送られてくるコマンドにより行われるものとする。なお、液晶パネル140の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン180が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー177を介してユーザが指定できる構成としてもよい。
このように、液晶パネル140の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。1つ目は、上記一部の領域(以下、スキャン領域と称する)以外の表面の領域において、画像を表示させる態様である。2つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置101から画像処理エンジン180に送られてくるコマンドに基づく。
図6は、液晶パネル140とバックライト179との断面図であって、スキャンの際にフォトダイオード145がバックライト179からの光を受光する構成を示した図である。
図6を参照して、ユーザの指900が液晶パネル140の表面に接触している場合、バックライト179から発せられた光の一部は、当該接触している領域ではユーザの指900(略平面)にて反射される。そして、フォトダイオード145は、当該反射された光を受光する。
また、指900が接触していない領域においても、バックライト179から発せられた光の一部は、ユーザの指900にて反射される。この場合においても、フォトダイオード145は、当該反射された光を受光する。ただし、当該領域においては液晶パネル140の表面に指900が接触していないため、指900が接触している領域よりも、フォトダイオード145の受光量は少なくなる。なお、バックライト179から発せられた光のうち、ユーザの指900に到達しない光のほとんどについては、フォトダイオード145は受光できない。
ここで、バックライト179を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路144は、ユーザの指900により反射した光の光量に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179の点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
以上により、表示装置102は、指900によって光が反射されることにより得られる像(以下、反射像とも称する)をスキャンすることができる。
なお、指900以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器100の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機EL(Electro-Luminescence)パネルなどの他のパネルを用いてもよい。
<データについて>
次に、センシングコマンドについて説明する。なお、表示装置102においては、画像処理エンジン180は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ(つまり、応答データ)を本体装置101に送り返す。
図7は、センシングコマンドの概略構成を示した図である。図7を参照して、センシングコマンドは、ヘッダのデータ領域DA01と、タイミングを示すデータ領域DA02と、データ種別を示すデータ領域DA03と、読取方式を示すデータ領域DA04と、画像階調を示すデータ領域DA05と、解像度を示すデータ領域DA06と、予備のデータ領域DA07とを含む。
図8は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
図8を参照して、タイミングを示すデータ領域に「00」が設定されたセンシングコマンドは、画像処理エンジン180に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン180が受信した後に、光センサ回路144を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「01」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「10」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
データ種別を示すデータ領域に「001」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「010」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「100」が設定されたセンシングコマンドは、全体画像の送信を要求する。
ここで、「全体画像」とは、m×n個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン180により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル140の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
読取方式を示すデータ領域に「00」が設定されたセンシングコマンドは、バックライト179を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「01」が設定されたセンシングコマンドは、バックライト179を消灯してスキャンすることを要求する。なお、バックライト179を消灯してスキャンする構成については後述する(図12)。さらに、読取方式を示すデータ領域に「10」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト179を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切換えて、スキャン対象物のスキャンを行うことを指す。
画像階調を示すデータ領域に「00」が設定されたセンシングコマンドは、白黒の2値の画像データを要求する。また、画像階調を示すデータ領域に「01」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「10」が設定されたセンシングコマンドは、RGBのカラーの画像データを要求する。
解像度を示すデータ領域に「0」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「1」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
また、センシングコマンドには、図7および図8に示したデータ以外に、スキャンを行う領域(光センサ回路144を駆動する画素の領域)の指定、スキャンを行うタイミング、バックライト179の点灯のタイミングなどが記述されている。
図9は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示装置102の画像処理エンジン180が本体装置101に対して送信するデータである。
図9を参照して、応答データは、ヘッダのデータ領域DA11と、座標を示すデータ領域DA12と、時刻を示すデータ領域DA13と、画像を示すデータ領域DA14とを含む。ここで、座標を示すデータ領域DA12には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン180のタイマ182から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン180により処理がされた後の画像データ(つまり、スキャンデータ)が書き込まれる。
図10は、指900をスキャンすることにより得られた画像(つまり、スキャン画像)を示した図である。図10を参照して、太実線で囲まれた領域W1の画像が全体画像であり、破線で囲まれた領域P1の画像が部分画像である。また、太線で示した十字の中心点C1が、中心座標となる。
本実施の形態では、矩形の領域であって、かつセンサ信号線SSjからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素(つまり、予め定められた階調または予め定められた輝度以上の画素)全てを含む領域を、部分画像の領域としている。
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点(つまり図心)との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
センシングコマンドのデータ種別を示すデータ領域に「001」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に上記中心座標の値を書き込む。この場合、画像処理エンジン180は、画像を示すデータ領域DA14には画像データを書き込まない。画像処理エンジン180は、上記中心座標の値の書込みを行った後、当該中心座標の値を含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「001」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
また、センシングコマンドのデータ種別を示すデータ領域に「010」が設定されている場合には、画像処理エンジン180は、画像を示すデータ領域DA14に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン180は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン180は、上記スキャン結果が変化した部分画像の画像データの書込みを行った後、当該部分画像の画像データを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「010」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指900などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
また、センシングコマンドのデータ種別を示すデータ領域に「011」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン180は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「011」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
また、センシングコマンドのデータ種別を示すデータ領域に「100」が設定されている場合には、画像処理エンジン180は、図9に示した応答データの画像を示すデータ領域DA14に、全体画像の画像データを書き込む。この場合、画像処理エンジン180は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン180は、上記全体画像の画像データの書込みを行った後、当該全体画像の画像データを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「100」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
また、センシングコマンドのデータ種別を示すデータ領域に「101」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14に全体画像の画像データを書き込む。その後、画像処理エンジン180は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「101」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
<構成の第1の変形例について>
ところで、液晶パネル140の構成は、図3に示した構成に限定されるものではない。以下では、図3とは異なる態様の液晶パネルについて説明する。
図11は、上記異なる態様である光センサ内蔵液晶パネル140Aの回路図である。図11を参照して、光センサ内蔵液晶パネル140A(以下、液晶パネル140Aと称する)は、1画素内に3つの光センサ回路(144r,144g,144b)を含んでいる。このように液晶パネル140Aが1画素内に3つの光センサ回路(144r,144g,144b)を備える点において、液晶パネル140Aは、1画素内に1つの光センサ回路を備える液晶パネル140と異なる。なお、光センサ回路144の構成と、3つの各光センサ回路(144r,144g,144b)との構成は同じである。
また、1画素内における3つのフォトダイオード(145r,145g,145b)は、それぞれ、カラーフィルタ153r、カラーフィルタ153g、カラーフィルタ153bに対向する位置に配されている。それゆえ、フォトダイオード145rは赤色の光を受光し、フォトダイオード145gは緑色の光を受光し、フォトダイオード145bは青色の光を受光する。
また、液晶パネル140は1画素内において1つの光センサ回路144しか含まないため、1画素内に配設されるTFT147用のデータ信号線は、センサ信号線SSjとセンサ信号線SDjとの2本であった。しかしながら、液晶パネル140Aは1画素内において3つの光センサ回路(144r,144g,144b)を含むため、1画素内に配設されるTFT(147r,147g,147b)用のデータ信号線は6本となる。
具体的には、カラーフィルタ153rに対向する位置に配されたフォトダイオード145rのカソードに接続されたTFT147rに対応して、センサ信号線SSRjとセンサ信号線SDRjとが配設される。また、カラーフィルタ153gに対向する位置に配されたフォトダイオード145gのカソードに接続されたTFT147gに対応して、センサ信号線SSGjとセンサ信号線SDGjとが配設される。さらに、カラーフィルタ153bに対向する位置に配されたフォトダイオード145bのカソードに接続されたTFT147bに対応して、センサ信号線SSBjとセンサ信号線SDBjとが配設される。
このような液晶パネル140Aにおいては、バックライト179から照射された白色光は、3つのカラーフィルタ(153r,153g,153b)を透過し、液晶パネル140Aの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、3つのカラーフィルタ(153r,153g,153b)を透過する。
この際、カラーフィルタ153rは赤色の波長の光を透過し、フォトダイオード145rは、当該赤色の波長の光を受光する。また、カラーフィルタ153gは緑色の波長の光を透過し、フォトダイオード145gは、当該緑色の波長の光を受光する。また、カラーフィルタ153bは青色の波長の光を透過し、フォトダイオード145bは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は3つのカラーフィルタ(153r,153g,153b)によって3原色(R,G,B)に色分解され、各フォトダイオード(145r,145g,145b)は、それぞれに対応した色の光を受光する。
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード(145r,145g,145b)の受光量が各フォトダイオード(145r,145g,145b)で異なることになる。このため、センサ信号線SSRjとセンサ信号線SSGjとセンサ信号線SSBjとの出力電圧は互いに異なる。
それゆえ、各出力電圧に応じて、Rの階調とGの階調とBの階調とを画像処理エンジン180が決定することにより、画像処理エンジン180はRGBのカラー画像を本体装置101へ送ることができる。
以上述べたように、電子機器100が液晶パネル140Aを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
次に、図12を参照して、前述のスキャンの方法(つまり、図6における反射像をスキャンする方法)とは異なるスキャンの方法について説明する。
図12は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図12に示されるように、外光の一部は、指900によって遮られる。それゆえ、指900と接触している液晶パネル140の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指900の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
ここで、バックライト179を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路144は、液晶パネル140の表面に対する指900の位置に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179を点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
以上により、表示装置102は、指900によって外光が遮られることにより得られる像(以下、影像とも称する)をスキャンすることができる。
さらに、表示装置102を、バックライト179を点灯させてスキャンを行った後に、バックライト179を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置102を、バックライト179を消灯させてスキャンを行った後に、バックライト179を点灯させて再度スキャンを行う構成としてもよい。
この場合には、2つのスキャン方式を併用することになるため、2つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
<表示装置について>
表示装置103の動作は、表示装置102の動作と同様、本体装置101からのコマンド(たとえば、センシングコマンド)に応じて制御される。表示装置103は表示装置102と同様な構成を有する。それゆえ、表示装置103が表示装置102と同じコマンドを本体装置101から受付けた場合、表示装置103は表示装置102と同様の動作を行う。このため、表示装置103の構成や動作についての説明は繰り返さない。
なお、本体装置101は、表示装置102と表示装置103とに対して、命令が異なるコマンドを送ることができる。この場合、表示装置102と表示装置103とは別々の動作を行う。また、本体装置101は、表示装置102および表示装置103のいずれかに対して、コマンドを送ってもよい。この場合、一方の表示装置のみがコマンドに応じた動作を行う。また、本体装置101が、表示装置102と表示装置103とに命令が同じコマンドを送ってもよい。この場合、表示装置102と表示装置103とは、同じ動作を行う。
なお、表示装置102の液晶パネル140のサイズと表示装置103の液晶パネル240のサイズとは、同じであってもよいし又は異なっていてもよい。また、液晶パネル140の解像度と液晶パネル240の解像度とは、同じであってもよいし又は異なっていてもよい。
<構成の第2の変形例について>
本実施の形態では、電子機器100が、液晶パネル140と液晶パネル240といったそれぞれに光センサを内蔵した液晶パネルを備える構成について説明するが、一方の液晶パネルのみが光センサを内蔵している構成であってもよい。
図13は、電子機器1300のハードウェア構成を表すブロック図である。電子機器1300は、電子機器100と同様、第1の筐体100Aと、第2の筐体100Bとを含む。第1の筐体100Aは、表示装置102を含む。第2の筐体100Bは、光センサを内蔵しない液晶パネル(つまり、表示機能のみを有する液晶パネル)を含む。電子機器1300は、第2の筐体100Bが光センサを内蔵しない液晶パネルを含む点で、第2の筐体100Bが光センサを内蔵した液晶パネル240を含む電子機器100と異なる。このような電子機器1300は、第1の筐体100Aの表示装置102を用いて上述したセンシングを行う。
また、第2の筐体100Bは、光センサを内蔵した液晶パネル240の代わりに、たとえば抵抗膜方式や静電容量方式のタッチパネルを備えてもよい。
また、本実施の形態では、表示装置102がタイマ182を備え、表示装置103がタイマ282を備える構成として説明するが、表示装置102と表示装置103とが1つのタイマを共有する構成としてもよい。
また、本実施の形態では、電子機器100を折畳型の機器として説明するが、電子機器100は必ずしも折畳型に限定されるものではない。たとえば、電子機器100は、第1の筐体100Aが第2の筐体100Bに対してスライドする構成のスライド式の機器であってもよい。
<<具体的な第1実現例>>
<機能ブロック>
図14は、電子機器100の機能ブロックを示した図である。図14を参照して、電子機器100は、制御部10と、記憶装置90と、液晶パネル140,240とを備える。制御部10は、実行部11と、受付部12と、算出部13と、判断部14とを備える。なお、記憶装置90は、RAM171やハードディスク(図示せず)により構成される。
以下において、「画像」とは、液晶パネル140,240の表示面に出力(つまり表示)されている情報(表示情報)のこという。つまり、「画像」は、絵、写真、文字列などを含む概念である。後述する、第2実現例、および第3実現例においても、同様である。
実行部11は、記憶装置90内のVRAM(図示せず)に格納された画像データに基づき、液晶パネル140,240の表示領域(以下、「画面」と称する)に画像を表示させる。実行部11は、液晶パネル140,240に上述したスキャンを実行させる。
受付部12は、上記スキャンを実行した際に得られるスキャンデータを、電子機器100への入力として受付ける。たとえば、スタイラスペンやユーザの指900などの物体が液晶パネル140,240の画面に接触した場合、受付部12は、上記物体をスキャンした際に得られるスキャンデータを受付ける。受付部12は、受付けたスキャンデータを算出部13に送る。
上記のように液晶パネル140,240の画面に物体が接触した場合、算出部13は、画面と物体との接触面積を算出する。具体的には、算出部13は、受付部12から送られてくるスキャンデータに基づき、上記接触面積を算出する。算出部13は、算出した接触面積を判断部14に送る。また、算出部13は、画面に接触した物体の位置(画面上の位置)を算出する。
判断部14は、上記接触面積が予め定められた値Th以上か否かを判断する。判断部14は、判断結果を受付部12に送る。
予め定められた値Thは、たとえば以下のように定められる。指900が上記画面に接触した場合における接触面積A1は、スタイラスペンが上記画面に接触した場合における接触面積A2よりも通常は大きい。したがって、予め定められた値Thは、たとえば、実験により収集した接触面積A1よりも小さく、実験により収集した接触面積A2よりも大きな値に定められる。
その結果、指900が液晶パネル140,240の画面に接触した場合、判断部14は、上記接触面積が予め定められた値Th以上であると判断する。一方、スタイラスペンが液晶パネル140,240の画面に接触した場合、判断部14は、上記接触面積が予め定められた値Th未満であると判断する。
接触面積が予め定められた値以上の場合、受付部12は、上記スキャンデータを第1入力として受付ける。一方、接触面積が予め定められた値未満の場合、受付部12は、上記スキャンデータを第2入力として受付ける。受付部12は、上記スキャンデータを第1入力として受付けたか、あるいは上記スキャンデータを第2入力として受付けたかを示す情報を、上記スキャンデータとともに実行部11に送る。
実行部11は、上記スキャンデータが第1入力として受付けられた場合と第2入力として受付けられた場合とで異なる動作を電子機器100に実行させる。以下、上記スキャンデータが第1入力として受付けられた場合と、第2入力として受付けられた場合とにおける電子機器100の動作例を説明する。なお、電子機器100が液晶パネル140に画像Aを表示しており、かつ液晶パネル140の画面にスタイラスペンまたは指が接触した場合を例に挙げて説明する。
上記スキャンデータが第1入力として受付けられたとき、物体(つまり指900)が接触した位置がオブジェクトを表示した位置であるか否かに関わらず、実行部11は、液晶パネル140の画面に表示された画像の表示態様を変更する。
上記スキャンデータが第1入力として受付けられたとき、実行部11は、上記表示態様の変更の一例として、画像Aをスクロール表示させる。あるいは、上記スキャンデータが第1入力として受付けられたとき、実行部11は、上記表示態様の変更の一例として、上記画像Aを拡大表示または縮小表示させる。実行部11が、画像をスクロール表示させるのか、画像Aを拡大表示させるのか、あるいは画像Aを縮小表示させるのかは、たとえば、ユーザの指示に応じて電子機器100が予め設定する構成とすればよい。
上記スキャンデータが第2入力として受付けられた場合、物体(つまりスタイラスペン)が接触した位置がオブジェクトを表示した位置であるとき、実行部11は、液晶パネル140の画面に表示されている画像の当該画面での位置を示した位置情報と、上記スキャンデータ(詳しくは、算出部13により算出された物体の位置を示した情報)とに基づき、当該オブジェクトが選択されたことを検知する。さらに、実行部11は、オブジェクトの選択に基づく動作を電子機器100に実行させる。なお、当該オブジェクトは、たとえば、ファイルやフォルダを示したアイコン、リンク先を特定する画像、チェックボックス、文字入力ボックスである。
たとえば画像Aがリンク先を特定する画像を含んでいる場合、当該リンク先を特定する画像の表示位置にスタイラスペン等が接触したとき、実行部11は、当該リンク先を特定する画像が選択されたことを検知する。この場合、実行部11は、オブジェクトの選択に基づく動作の一例として、液晶パネル140の画面に表示させる画像を、上記オブジェクトを含んだ画像A(たとえばウェブページ)からリンク先の画像(たとえば他のウェブページ)へ切換える。
なお、以下では、画像Aおよびリンク先の画像がともにウェブページであるとして説明する。また、スキャンデータが第1入力として受付けられた場合に、実行部11が画像Aをスクロール表示させる構成を例に挙げて説明する。なお、スクロール表示におけるスクロール方向が画面下方向である場合を例に挙げて説明する。
なお、電子機器100は、指900が画面に接触している間、上記スクロールを実行してもよい。あるいは、電子機器100は、指900が一度画面に接触すると、一定距離だけ画像をスクロールしてもよい。
<画面遷移例>
図15は、液晶パネル140の画面にウェブページWP11(画像A)が表示された状態を示した図である。ウェブページWP11は、リンク先を特定する画像として、たとえば画像LN11〜LN14を含む。また、図15は、画像LN12が表示された位置にスタイラスペン950が接触する直前を示した図でもある。
図16は、画像LN12が表示された位置にスタイラスペン950が接触した場合に、液晶パネル140の画面に表示される内容を示した図である。図16を参照して、電子機器100は、液晶パネル140の画面に表示させる画像を、ウェブページWP11から、画像LN12に対応するリンク先のウェブページWP13に切換える。
図17は、液晶パネル140の画面にウェブページWP11が表示された状態を示した図である。また、図17は、画像LN12が表示された位置に指900が接触する直前を示した図でもある。
図18は、画像LN12が表示された位置に指900が接触した場合に、液晶パネル140の画面に表示される内容を示した図である。図18を参照して、電子機器100は、ウェブページWP11を画面下方向にスクロールする。
<処理フロー>
図19は、電子機器100の処理のフローを示したフローチャートである。図19を参照して、ステップS1において、電子機器100は、上記物体をスキャンした際に得られるスキャンデータを受付ける。ステップS3において、電子機器100は、物体と液晶パネル140の画面との接触面積を算出する。ステップS5において、電子機器100は、算出した接触面積が予め定められた値Th以上であるか否かを判断する。
接触面積が値Th以上である場合(ステップS5においてYES)、ステップS7において、電子機器100は、液晶パネル140の画面に表示されている画像Aの表示態様を変更する。一方、接触面先が値Th未満である場合(ステップS5においてNO)、電子機器100は、ステップS9において、オブジェクト(たとえばリンク先を特定する画像)の選択に基づく動作を実行する。
なお、上記においては、電子機器100が液晶パネル140に画像Aを表示しており、かつ液晶パネル140の画面にスタイラスペンまたは指が接触した場合を例に挙げて説明した。電子機器100が液晶パネル240に画像Aを表示しており、かつ液晶パネル240の画面にスタイラスペンまたは指が接触した場合も、上記の例と同様の動作を行なうため、ここでの説明は繰り返さない。
<まとめ>
以上のように、電子機器100は、液晶パネル(たとえば液晶パネル140)の画面に物体が接触することにより電子機器100が入力を受付けた場合、当該画面と物体との接触面積を算出する算出部13を備える。また、電子機器100は、接触面積が予め定められた値以上か否かを判断する判断部14を備える。さらに、電子機器100は、接触面積が予め定められた値以上の場合、上記入力を第1入力として受付け、接触面積が予め定められた値未満の場合、上記入力を第2入力として受付ける受付部12を備える。さらに、電子機器100は、上記入力が上記第1入力として受付けられた場合と上記第2入力として受付けられた場合とで異なる動作を電子機器100に実行させる実行部11とを備える。
したがって、電子機器100の動作は、画面と物体との接触面積が予め定められた値以上か未満かにより異なる。それゆえ、電子機器100は、画面と物体との接触面積に基づく処理を行なうことができる。
物体が接触した位置がオブジェクトを表示した位置である場合に、上記入力が第1入力として受付けられたとき、実行部11は、上記画面に表示された画像の表示態様を変更させる。また、物体が接触した位置がオブジェクトを表示した位置である場合に、上記入力が第2入力として受付けられたとき、実行部11は、当該オブジェクトの選択に基づく動作を電子機器100に実行させる。
したがって、上記接触面積が予め定められた値以上の場合には、電子機器100は、液晶パネルの画面に表示された画像の表示態様を変更できる。一方、上記接触面積が小さい場合には、電子機器100は、オブジェクトの選択に基づく動作を実行することができる。
上記入力が第1入力として受付けられたとき、実行部11は、上記画像の表示態様の変更の一例として、上記画像をスクロール表示させる。
したがって、上記接触面積が予め定められた値以上の場合には、電子機器100は、液晶パネルの画面に表示された画像をスクロール表示することができる。
上記入力が第1入力として受付けられたとき、実行部11は、上記画像の表示態様の変更の一例として、上記画像を拡大表示または縮小表示させる。
したがって、上記接触面積が予め定められた値以上の場合には、電子機器100は、液晶パネルの画面に表示された画像を拡大表示または縮小表示することができる。
上記オブジェクトがリンク先を特定する画像である場合、上記入力が第2入力として受付けられると、実行部11は、上記オブジェクトの選択に基づく動作の一例として、上記画面に表示させる画像を、当該オブジェクトを含んだ画像から当該リンク先の画像へ切換える。
したがって、上記接触面積が予め定められた値未満の場合には、電子機器100は、液晶パネルの画面にリンク先の画像を表示することができる。
<電子機器100の変形例>
図20は、電子機器100の機能を一部変更した電子機器2000の機能ブロックを示した図である。図20を参照して、電子機器2000は、制御部10Aと、記憶装置90と、液晶パネル140,240とを備える。制御部10Aは、実行部11Aと、受付部12Aと、算出部13と、判断部14とを備える。
実行部11Aは、記憶装置90内のVRAM(図示せず)に格納された画像データに基づき、液晶パネル140,240の表示領域に画像を表示させる。実行部11Aは、液晶パネル140,240に上述したスキャンを実行させる。
受付部12Aは、上記スキャンを実行した際に得られるスキャンデータを、電子機器2000への入力として受付ける。たとえば、スタイラスペンやユーザの指900などの物体が液晶パネル140,240の画面に接触した場合、受付部12は、上記物体をスキャンした際に得られるスキャンデータを受付ける。受付部12は、受付けたスキャンデータを算出部13に送る。
接触面積が予め定められた値以上の場合、受付部12Aは、上記スキャンデータを第1入力として受付ける。接触面積が予め定められた値未満の場合、受付部12Aは、上記スキャンデータを第2入力として受付ける。受付部12は、上記スキャンデータを第1入力として受付けたか、あるいは上記スキャンデータを第2入力として受付けたかを示す情報(以下、「識別情報」と称する)を、上記スキャンデータとともに検知部15に送る。
検知部15は、上記スキャンデータに基づいて、液晶パネル(たとえば液晶パネル140)の画面に接触した物体の形状を検知する。なお、検知部15は、たとえば、上記スキャンデータを第2入力として受付けた場合に上記検知を行えばよい。検知部15は、上記スキャンデータと、上記識別情報と、検知した物体の形状を示した情報(以下、「形状情報」と称する)とを、実行部11Aに送る。
たとえば、指900の方向を画面の右斜め上方向として当該指900が当該画面に接触した場合のスキャンデータに基づくスキャン画像は、図10に示した画像となる。検知部15は、当該スキャン画像の画像データ(スキャンデータ)を解析して、物体(指900)の形状を検知する。図10に示したスキャン画像の場合には、検知部15は、スキャン画像の濃淡に基づき、物体が画面に対して右斜め上方向に伸びた形状であると判断する。
上記入力が第1入力として受付けられたとき、実行部11Aは、上記形状情報に基づいて、物体の形状に応じた動作を電子機器100に実行させる。上記スキャンデータが第1入力として受付けられたとき、実行部11Aは、たとえば、物体の形状に応じた方向に液晶パネルの画面に表示された画像をスクロール表示させる。なお、以下では、物体が指900である場合を例に挙げて説明する。
図21は、指900が液晶パネル140の画面に対して上向きにとなるように、当該画面に対して接触した状態を示した図である。図21に示した状態で指900が画面に接触した場合、電子機器2000は、当該画面に表示されているウェブページWP11を画面に対して上方向にスクロールする。
図22は、指900が液晶パネル140の画面に対して左向きにとなるように、当該画面に対して接触した状態を示した図である。図22に示した状態で指900が画面に接触した場合、電子機器2000は、当該画面に表示されているウェブページWP11を画面に対して左方向にスクロールする。
図23は、指900が液晶パネル140の画面に対して右向きにとなるように、当該画面に対して接触した状態を示した図である。図23に示した状態で指900が画面に接触した場合、電子機器2000は、当該画面に表示されているウェブページWP11を画面に対して右方向にスクロールする。
図24は、指900が液晶パネル140の画面に対して下向きにとなるように、当該画面に対して接触した状態を示した図である。図24に示した状態で指900が画面に接触した場合、電子機器2000は、当該画面に表示されているウェブページWP11を画面に対して下方向にスクロールする。
なお、上述した物体の形状に応じた動作は一例であって、動作は当該例に限定されるものではない。指900の方向とスクロールとの方向との関係は、図21から図24に示した関係に限定されない。また、電子機器2000は、たとえば、上記スクロールの代わりに、画像の拡大表示や縮小表示を行ってもよい。たとえば、指900の方向を画面の左斜め上方向として指900が当該画面に接触した場合には、電子機器100は画像の縮小表示を行い、指900の方向を画面の右斜め下方向として指900が当該画面に接触した場合には、電子機器100は画像の拡大表示を行ってもよい。
<まとめ>
以上のように、電子機器2000は、光センサによってセンシングされたデータ(スキャンデータ)に基づき、画面に接触した物体の形状を検知する検知部15をさらに備える。上記入力が第1入力として受付けられたとき、実行部11Aは、液晶パネルに、画像の表示態様を上記検知される前の画像の表示態様から物体の形状に応じた表示態様へと変更させる。
したがって、上記接触面積が予め定められた値以上の場合には、電子機器2000は、物体の形状に応じた動作を実行することができる。
また、上記入力が第1入力として受付けられたとき、実行部11Aは、上記表示態様の変更の一例として、物体の形状に応じた方向に画像をスクロール表示させる。
したがって、上記接触面積が予め定められた値以上の場合には、電子機器2000は、液晶パネルの画面に表示された画像を、物体の形状に応じた方向にスクロール表示することができる。
<<具体的な第2実現例>>
<機能ブロック>
図25は、電子機器100の機能を一部変更した電子機器2500の機能ブロックを示した図である。図25を参照して、電子機器2500は、制御部2510と、記憶装置90と、液晶パネル140,240とを備える。制御部2510は、実行部2511と、受付部2512と、算出部2513と、判断部2514とを備える。
実行部2511は、記憶装置90内のVRAM(図示せず)に格納された画像データに基づき、液晶パネル140,240の表示領域に画像を表示させる。実行部2511は、液晶パネル140,240に上述したスキャンを実行させる。
受付部2512は、上記スキャンを実行した際に得られるスキャンデータを、電子機器2500への入力として受付ける。たとえば、スタイラスペンやユーザの指900などの物体が液晶パネル140,240の画面に接触した場合、受付部2512は、上記物体をスキャンした際に得られるスキャンデータを受付ける。受付部2512は、受付けたスキャンデータを算出部2513に送る。
上記のように液晶パネル140,240の画面に物体が接触した場合、算出部2513は、画面と物体との接触領域の数を算出する。具体的には、算出部2513は、受付部2512から送られてくるスキャンデータに基づき、上記接触領域の数を算出する。算出部2513は、算出した接触領域の数を判断部2514に送る。
算出部2513は、たとえば、全体画像をスキャンした際に含まれる部分画像P1の数を算出し、当該算出した数を接触領域の数とする(図8、10参照)。あるいは、算出部2513は、各部分画像のそれぞれに存在する中心点C1の座標(つまり中心座標)の数を算出し、当該算出した数を接触領域の数とする。
算出部2513は、さらに、画面に接触した物体の位置(画面上の位置)を算出する。
判断部2514は、上記接触領域の数が複数か否かを判断する。たとえば、2本の指が液晶パネル140,240の画面に接触した場合、判断部2514は、上記接触領域の数が複数であると判断する。一方、1本の指が液晶パネル140,240の画面に接触した場合、判断部2514は、上記接触領域の数が複数でないと判断する。判断部2514は、判断結果を受付部2512に送る。
接触領域の数が複数の場合、受付部2512は、上記スキャンデータを第1入力として受付ける。一方、接触領域の数が複数でない場合、受付部2512は、上記スキャンデータを第2入力として受付ける。受付部2512は、上記スキャンデータを第1入力として受付けたか、あるいは上記スキャンデータを第2入力として受付けたかを示す情報を、上記スキャンデータとともに実行部2511に送る。
実行部2511は、上記スキャンデータが第1入力として受付けられた場合と第2入力として受付けられた場合とで異なる動作を電子機器2500に実行させる。以下、上記スキャンデータを第1入力として受付けた場合と、第2入力として受付けた場合とにおける電子機器2500の動作例を説明する。なお、電子機器2500が液晶パネル140に画像Aを表示しており、かつ液晶パネル140の画面に指が接触した場合を例に挙げて説明する。
上記スキャンデータが第1入力として受付けられたとき、複数本の指のいずれかの指が接触した位置がオブジェクトを表示した位置であるか否かに関わらず、実行部2511は、液晶パネル140の画面に表示された画像の表示態様を変更する。
上記スキャンデータが第1入力として受付けられたとき、実行部2511は、上記表示態様の変更の一例として、画像Aをスクロール表示させる。あるいは、上記スキャンデータが第1入力として受付けられたとき、実行部2511は、上記表示態様の変更の一例として、上記画像Aを拡大表示または縮小表示させる。実行部2511が、画像をスクロール表示させるのか、画像Aを拡大表示させるのか、あるいは画像Aを縮小表示させるのかは、たとえば、ユーザの指示に応じて電子機器2500が予め設定する構成とすればよい。
上記スキャンデータが第2入力として受付けられた場合に、指900が接触した位置がオブジェクトを表示した位置であるとき、実行部2511は、液晶パネル140の画面において表示されている画像の当該画面での位置を示した位置情報と、上記スキャンデータとに基づき、当該オブジェクトが選択されたことを検知する。さらに、実行部2511は、オブジェクトの選択に基づく動作を電子機器2500に実行させる。なお、当該オブジェクトは、たとえば、ファイルやフォルダを示したアイコン、リンク先を特定する画像、チェックボックス、文字入力ボックスである。
たとえば画像Aがリンク先を特定する画像を含んでいる場合、当該リンク先を特定する画像の表示位置に指900が接触し、かつ他の指が画面に接触していないとき、実行部2511は、当該リンク先を特定する画像が選択されたことを検知する。この場合、実行部2511は、オブジェクトの選択に基づく動作の一例として、液晶パネル140の画面に表示させる画像を、上記オブジェクトを含んだ画像A(たとえばウェブページ)からリンク先の画像(たとえば他のウェブページ)へ切換える。
なお、以下では、画像Aおよびリンク先の画像がともに、ウェブページであるとして説明する。また、スキャンデータが第1入力として受付けられた場合に、実行部2511が画像Aをスクロール表示させる構成を例に挙げて説明する。なお、スクロール表示におけるスクロール方向が画面下方向である場合を例に挙げて説明する。
<画面遷移例>
図26は、液晶パネル140の画面にウェブページWP11(画像A)が表示された状態を示した図である。ウェブページWP11は、リンク先を特定する画像として、たとえば画像LN11〜LN14を含む。また、図26は、画像LN12が表示された位置に1本の指900が接触する直前を示した図でもある。
図27は、画像LN12が表示された位置に1本の指900が接触し、かつ他の指が画面に接触していない場合に、液晶パネル140の画面に表示される内容を示した図である。図27を参照して、電子機器2500は、液晶パネル140の画面に表示させる画像を、ウェブページWP11から、画像LN12に対応するリンク先のウェブページWP13に切換える。
図28は、液晶パネル140の画面にウェブページWP11が表示された状態を示した図である。また、図28は、画像LN12が表示された位置に指900が接触する直前を示した図である。さらに、図28は、画像LN12が表示された位置以外の位置に指900Aが接触する直前を示した図でもある。
図29は、画像LN12が表示された位置に指900が接触し、かつ画像LN12が表示された位置以外の位置に900Aが接触した場合に、液晶パネル140の画面に表示される内容を示した図である。図29を参照して、電子機器2500は、ウェブページWP11を画面下方向にスクロールする。
<処理フロー>
図30は、電子機器2500の処理のフローを示したフローチャートである。図30を参照して、ステップS11において、電子機器2500は、上記物体をスキャンした際に得られるスキャンデータを受付ける。ステップS13において、電子機器2500は、物体と液晶パネル140の画面との接触領域の数を算出する。ステップS15において、電子機器2500は、算出した接触領域の数が複数か否かを判断する。
接触領域の数が複数である場合(ステップS15においてYES)、ステップS17において、電子機器2500は、液晶パネル140の画面に表示されている画像Aの表示態様を変更する。一方、接触領域の数が複数でない場合(ステップS15においてNO)、ステップS19において、電子機器2500は、オブジェクト(たとえばリンク先を特定する画像)の選択に基づく動作を実行する。
なお、上記においては、電子機器2500が液晶パネル140に画像Aを表示しており、かつ液晶パネル140の画面に指900が接触した場合を例に挙げて説明した。電子機器2500が液晶パネル240に画像Aを表示しており、かつ液晶パネル240の画面に指900が接触した場合も、上記の例と同様の動作を行なうため、ここでの説明は繰り返さない。
<まとめ>
以上のように、電子機器2500は、液晶パネル(たとえば液晶パネル140)の画面に物体が接触することにより電子機器2500が入力を受付けた場合、当該画面と物体との接触領域の数を算出する算出部2513を備える。また、電子機器2500は、接触領域の数が複数か否かを判断する判断部2514を備える。さらに、電子機器2500は、接触領域の数が複数の場合、上記入力を第1入力として受付け、接触領域の数が複数でない場合、上記入力を第2入力として受付ける受付部2512を備える。さらに、電子機器2500は、上記入力が第1入力として受付けられた場合と第2入力として受付けられた場合とで異なる動作を電子機器2500に実行させる実行部2511を備える。
したがって、電子機器2500の動作は、画面と物体との接触領域の数が複数か否かにより異なる。それゆえ、電子機器2500は、画面と物体との接触領域の数に基づく処理を行なうことができる。
算出部2513は、さらに、画面に接触した物体の位置を算出する。物体が接触した位置がオブジェクトを表示した位置である場合に、上記入力が第1入力として受付けられたとき、実行部2511は、タッチパネルの画面に表示された画像の表示態様を変更させる。また、物体が接触した位置がオブジェクトを表示した位置である場合、上記入力が第2入力として受付けられたとき、実行部2511は、上記オブジェクトの選択に基づく動作を電子機器2500に実行させる。
したがって、接触領域の数が複数の場合には、電子機器2500は、液晶パネルの画面に表示された画像の表示態様を変更できる。一方、上記接触領域の数が1つの場合には、電子機器2500は、オブジェクトの選択に基づく動作を実行することができる。
上記入力が第1入力として受付けられたとき、実行部2511は、上記表示態様の変更の一例として、上記画像をスクロール表示させる。
したがって、上記接触領域の数が複数の場合には、電子機器2500は、液晶パネルの画面に表示された画像をスクロール表示することができる。
上記入力が第1入力として受付けられたとき、実行部2511は、上記表示態様の変更の一例として、上記画像を拡大表示または縮小表示させる。
したがって、上記接触領域の数が複数の場合には、電子機器2500は、液晶パネルの画面に表示された画像を拡大表示または縮小表示することができる。
上記オブジェクトは、リンク先を特定する画像である場合、上記入力が第2入力として受付けられると、実行部2511は、オブジェクトの選択に基づく動作の一例として、上記画面に表示させる画像を、当該オブジェクトを含んだ画像から当該リンク先の画像へ切換える。
したがって、上記接触領域の数が複数でない場合には、電子機器2500は、液晶パネルの画面にリンク先の画像を表示することができる。
<<具体的な第3実現例>>
<機能ブロック>
図31は、電子機器100の機能を一部変更した電子機器3000の機能ブロックを示した図である。図31を参照して、電子機器3000は、制御部3010と、記憶装置90と、液晶パネル140A,240とを備える。制御部3010は、実行部3011と、スキャン部3012と、判断部3013と、識別部3014と、受付部3015と、位置算出部3016とを備える。
実行部3011は、記憶装置90内のVRAM(図示せず)に格納された画像データに基づき、液晶パネル140A,240の画面に画像を表示させる。
スキャン部3012は、液晶パネル140A,240に上述したスキャンを実行させる。スキャン部3012は、上記スキャンを実行した際に得られるスキャンデータを取得する。たとえば、スタイラスペンやユーザの指900などの物体が液晶パネル140A,240の画面に接触した場合、スキャン部3012は、上記物体をスキャンした際に得られるスキャンデータを取得する。スキャン部3012は、取得したスキャンデータを判断部3013に送る。
ここで、スキャン部3012と液晶パネル140,240とからなる装置を「スキャン装置」とすると、スキャン装置は、画面上に接触した物体の接触面をカラースキャンさせる構成であるといえる。
判断部3013は、スキャンデータに基づいて、電子機器3000が入力を受付けたか否かを判断する。判断部3013は、入力を受付けたと判断した場合には、入力を受付けたことを示す情報を、スキャンデータとともに識別部3014および位置算出部3016に送る。
位置算出部3016は、スキャンデータに基づいて、画面に接触した物体の位置を算出する。位置算出部3016は、当該算出した物体の位置を示した情報を実行部3011に送る。
識別部3014は、上記スキャンデータに基づいて、上記物体における液晶パネル140A,240との接触面の色を識別する。識別部3014は、識別した色を示した色情報を、上記スキャンデータとともに受付部3015に送る。
受付部3015は、上記色情報に基づき、上記スキャンデータを上記識別した色に応じた入力として受付ける。たとえば、識別した色が第1の色である場合、受付部3015は、上記スキャンデータを第1入力として受付ける。識別した色が第2の色である場合、受付部3015は、上記スキャンデータを第2入力として受付ける。識別した色が第3の色である場合、受付部3015は、上記スキャンデータを第3入力として受付ける。識別した色が第4の色である場合、受付部3015は、上記スキャンデータを第4入力として受付ける。なお、以下では、第1の色が赤色、第2の色が青色、第3の色が緑色、第4の色が黒色として説明する。また、第3入力が、手書き入力である場合を例に挙げて説明する。
受付部3015は、上記スキャンデータをどのような入力(たとえば第1入力、第2入力、第3入力、第4入力)として受付けたかを示す情報を、スキャンデータとともに、実行部3011に送る。
実行部3011は、上記受付けた入力に応じた動作を電子機器3000に実行させる。以下、上記スキャンデータを、第1入力から第4入力のそれぞれとして受付けた場合における電子機器3000の動作例を説明する。なお、電子機器3000が液晶パネル140Aに画像Aを表示しており、かつ液晶パネル140Aの画面に指が接触した場合を例に挙げて説明する。
上記スキャンデータが第1入力として受付けられた場合(つまり物体における接触面の色が赤色の場合)、物体が接触した位置がオブジェクトを表示した位置であるとき、実行部3011は、液晶パネル140Aの表示領域において表示されている画像の当該表示領域での位置を示した位置情報と、上記スキャンデータ(詳しくは、位置算出部3016により算出された物体の位置を示した情報)とに基づき、当該オブジェクトが選択されたことを検知する。さらに、実行部3011は、オブジェクトの選択に基づく動作を電子機器3000に実行させる。なお、当該オブジェクトは、たとえば、ファイルやフォルダを示したアイコン、リンク先を特定する画像、チェックボックス、文字入力ボックスである。
たとえば画像Aがリンク先を特定する画像を含んでいる場合、当該リンク先を特定する画像の表示位置に上記物体が接触したとき、実行部3011は、当該リンク先を特定する画像が選択されたことを検知する。この場合、実行部3011は、オブジェクトの選択に基づく動作の一例として、液晶パネル140Aの画面に表示させる画像を、上記オブジェクトを含んだ画像A(たとえばウェブページ)からリンク先の画像(たとえば他のウェブページ)へ切換える。
上記スキャンデータが第2入力として受付けられた場合(つまり物体における接触面の色が青色の場合)、物体が接触した位置がオブジェクトを表示した位置であるとき、実行部3011は、液晶パネル140Aの画面に表示されている画像の当該画面での位置を示した位置情報と、上記スキャンデータとに基づき、当該オブジェクトが選択されたことを検知する。さらに、実行部3011は、オブジェクトの選択に基づく動作を電子機器3000に実行させる。なお、当該オブジェクトは、たとえば、ファイルやフォルダを示したアイコン、リンク先を特定する画像である。
たとえば画像Aがリンク先を特定する画像を含んでいる場合、当該リンク先を特定する画像の表示位置に上記物体が接触したとき、実行部3011は、当該リンク先を特定する画像が選択されたことを検知する。この場合、実行部3011は、オブジェクトの選択に基づく動作の一例として、液晶パネル140Aにおいて、リンク先を特定する画像を含む画像A(たとえばウェブページ)の表示領域とは異なる表示領域に、当該リンク先の画像(たとえば他のウェブページ)を表示させる。
上記スキャンデータが第3入力(つまり手書き入力)として受付けられた場合(つまり物体における接触面の色が緑色の場合)、物体が接触した位置がオブジェクトを表示した位置であるか否かに関わらず、実行部3011は、手書き入力に基づく画像を液晶パネル140Aの画面に表示させる。
上記スキャンデータが第4入力として受付けられた場合(つまり物体における接触面の色が黒色の場合)、物体が接触した位置がオブジェクトを表示した位置であるか否かに関わらず、実行部3011は、液晶パネル140Aの画面に表示された画像の表示態様を変更する。
たとえば、上記スキャンデータが第4入力として受付けられたとき、実行部3011は、上記表示態様の変更の一例として、画像Aをスクロール表示させる。あるいは、上記スキャンデータが第1入力として受付けられたとき、実行部3011は、上記表示態様の変更の一例として、上記画像Aを拡大表示または縮小表示させる。実行部3011が、画像をスクロール表示させるのか、画像Aを拡大表示させるのか、あるいは画像Aを縮小表示させるのかは、たとえば、ユーザの指示に応じて電子機器3000が予め設定する構成とすればよい。
なお、以下では、画像Aおよびリンク先の画像がともに、ウェブページであるとして説明する。また、スキャンデータが第4入力として受付けられた場合に、実行部3011が画像Aをスクロール表示させる構成を例に挙げて説明する。なお、スクロール表示におけるスクロール方向が画面下方向の場合を例に挙げて説明する。
<画面遷移例>
図32は、液晶パネル140Aの画面にウェブページWP11(画像A)が表示された状態を示した図である。ウェブページWP11は、リンク先を特定する画像として、たとえば画像LN11〜LN14を含む。また、図32は、画像LN12が表示された位置にスタイラスペン950Rが接触する直前を示した図でもある。
スタイラスペン950Rは、ペンの先端部の表面が赤色である。したがって、スタイラスペン950Rを用いた場合、受付部3015は、スキャンデータを第1入力として受付ける。
図33は、画像LN12が表示された位置にスタイラスペン950Rの先端部が接触した場合に、液晶パネル140Aの画面に表示される内容を示した図である。図33を参照して、電子機器3000は、液晶パネル140Aの画面に表示させる画像を、ウェブページWP11から、画像LN12に対応するリンク先のウェブページWP13に切換える。
図34は、液晶パネル140Aの画面にウェブページWP11が表示された状態を示した図である。また、図34は、画像LN12が表示された位置に、スタイラスペン950Bの先端部が接触する直前を示した図でもある。
スタイラスペン950Bは、ペンの先端部の表面が青色である。したがって、スタイラスペン950Bを用いた場合、受付部3015は、スキャンデータを第2入力として受付ける。
図35は、画像LN12が表示された位置に、スタイラスペン950Bの先端部が接触した場合に、液晶パネル140Aの画面に表示される内容を示した図である。図35を参照して、電子機器3000は、液晶パネル140Aにおいて、リンク先を特定する画像LN12を含むウェブページWP11の表示領域とは異なる表示領域に、当該リンク先のウェブページWP13を表示させる。図35の場合、電子機器3000は、ウェブページWP13をウェブページWP11に重畳して表示する。
図36は、液晶パネル140Aの画面にウェブページWP11が表示された状態を示した図である。また、図36は、画像LN12が表示された位置に、スタイラスペン950Gの先端部が接触する直前を示した図でもある。
スタイラスペン950Gは、ペンの先端部の表面が緑色である。したがって、スタイラスペン950Gを用いた場合、受付部3015は、スキャンデータを第3入力として受付ける。
図37は、画像LN12が表示された位置にスタイラスペン950Gの先端部が接触し、さらに、スタイラスペン950Gが液晶パネル140Aの画面に接触した状態で矢印751の方向に移動した後の状態を示した図である。図37を参照して、電子機器3000は、上記移動に伴った、手書き入力に基づく画像801を液晶パネル140Aの画面に表示させる。
図38は、液晶パネル140Aの画面にウェブページWP11が表示された状態を示した図である。また、図38は、画像LN12が表示された位置にスタイラスペン950Kが接触する直前を示した図でもある。
スタイラスペン950Kは、ペンの先端部の表面が黒色である。したがって、スタイラスペン950Kを用いた場合、受付部3015は、スキャンデータを第4入力として受付ける。
図39は、画像LN12が表示された位置にスタイラスペン950Kが接触した場合に、液晶パネル140Aの画面に表示される内容を示した図である。図39を参照して、電子機器3000は、ウェブページWP11を画面下方向にスクロールする。
<処理フロー>
図40は、電子機器3000の処理のフローを示したフローチャートである。図40を参照して、ステップS21において、電子機器3000は、スタイラスペン950のペン先のカラースキャンを実行する。ステップS23において、電子機器3000は、スキャンデータに基づいて、電子機器3000が入力を受付けたか否かを判断する。入力を受付けたと判断された場合(ステップS23においてYES)、ステップS25において、電子機器3000は、スキャンデータに基づいて、スタイラスペン950のペン先の色を識別する。一方、入力を受付けていないと判断された場合(ステップS23においてNO)、電子機器3000は、処理をステップS21に戻す。
ステップS27において、電子機器3000は、識別結果に基づいて、スタイラスペン950のペン先の色が赤色であるか否かを判断する。赤色であると判断された場合(ステップS27においてYES)、ステップS29において、電子機器3000は、液晶パネル140Aの画面に表示させる画像を、リンク先を特定する画像を含む画像(たとえばウェブページ)から、リンク先の画像へ切換える。赤色でないと判断された場合(ステップS27においてNO)、ステップS31において、電子機器3000は、上記識別結果に基づいて、スタイラスペン950のペン先の色が青色であるか否かを判断する。
青色であると判断された場合(ステップS31においてYES)、ステップS33において、電子機器3000は、液晶パネル140Aにおいて、リンク先を特定する画像を含む画像(たとえばウェブページ)の表示領域とは異なる表示領域に、当該リンク先の画像を表示させる。一方、青色でないと判断された場合(ステップS31においてNO)、ステップS35において、電子機器3000は、上記識別結果に基づいて、スタイラスペン950のペン先の色が緑色か否かを判断する。
緑色であると判断された場合(ステップS35においてYES)、ステップS37において、電子機器3000は、液晶パネル140Aの画面に、スタイラスペン950のペン先の当該画面上の軌跡に対応した手書き画像を表示する。一方、緑色でないと判断された場合(ステップS35においてNO)、ステップS39において、電子機器3000は、上記識別結果に基づいて、スタイラスペン950のペン先の色が黒色か否かを判断する。
黒色であると判断された場合(ステップS39においてYES)、ステップS41において、電子機器3000は、液晶パネル140Aの画面に表示されている画像の表示態様を変更する。一方、黒色でないと判断された場合(ステップS39においてNO)、電子機器3000は、処理を終了する。
なお、上記においては、電子機器3000が液晶パネル140Aに画像Aを表示しており、かつ液晶パネル140Aの画面にスタイラスペンが接触した場合を例に挙げて説明した。電子機器3000が液晶パネル240に画像Aを表示しており、かつ液晶パネル240の画面にスタイラスペンが接触した場合も、上記の例と同様の動作を行なうため、ここでの説明は繰り返さない。
<まとめ>
以上のように、電子機器3000は、液晶パネル(たとえば液晶パネル140A)の画面に接触した物体の接触面を、液晶パネルにカラースキャンさせるスキャン部3012を備える。また、電子機器3000は、カラースキャンにより得られたスキャンデータに基づいて、電子機器が入力を受付けたか否かを判断する判断部3013を備える。さらに、電子機器3000は、入力を受付けたと判断された場合、スキャンデータに基づいて接触面の色を識別する識別部3014を備える。さらに、電子機器3000は、上記入力を、識別した色に応じた入力として受付ける受付部3015を備える。さらに、電子機器3000は、上記受付けた入力に応じた動作を電子機器3000に実行させる実行部3011を備える。
したがって、画面に接触した物体の接触面(たとえば、スタイラスペンのペン先部分)の色に応じて、電子機器100の動作が異なる。それゆえ、電子機器100は、画面に接触した物体の接触面の色に基づく処理を行なうことができる。
また、位置算出部3016は、カラースキャンにより得られたスキャンデータに基づいて、画面に接触した物体の位置を算出する。上記識別した色が赤色である場合、受付部3015は、上記入力を第1入力として受付ける。物体が接触した位置がオブジェクトを表示した位置である場合に、上記入力が第1入力として受付けられたとき、実行部3011は、上記オブジェクトの選択に基づく動作を電子機器3000に実行させる。
また、上記識別した色が青色である場合、受付部3015は、上記入力を第2入力として受付ける。物体が接触した位置がオブジェクトを表示した位置である場合に、上記入力が第2入力として受付けられたとき、実行部3011は、上記オブジェクトの選択に基づく動作を電子機器3000に実行させる。
したがって、液晶パネルの画面に接触した物体の表面の色が赤色または青色である場合、電子機器3000は、オブジェクトの選択に基づく動作を実行することができる。
また、上記オブジェクトがリンク先を特定する画像である場合、上記入力が第1入力または第2入力として受付けられると、実行部3011は、オブジェクトの選択に基づく動作の一例として、画面に表示させる画像を、オブジェクトを含んだ画像からリンク先の画像へ切換える。
したがって、液晶パネルの画面に接触した物体の表面の色が赤色または青色である場合、電子機器3000は、液晶パネルの画面にリンク先の画像を表示することができる。
また、上記オブジェクトがリンク先を特定する画像である場合、上記入力が第2入力として受付けられると、実行部3011は、オブジェクトの選択に基づく動作の一例として、オブジェクトを含んだ画像の表示領域とは異なる表示領域にリンク先の画像を表示させる。
したがって、液晶パネルの画面に接触した物体の表面の色が青色である場合、電子機器3000は、オブジェクトを含んだ画像の表示領域とは異なる表示領域に、リンク先の画像を表示することができる。
また、識別した色が緑色である場合、受付部3015は、上記入力を手書き入力として受付ける。上記入力が手書き入力として受付けられた場合、実行部3011は、手書き入力に基づく画像を画面に表示させる。
したがって、液晶パネルの画面に接触した物体の表面の色が緑色である場合、電子機器3000は、手書き入力に基づく画像を画面に表示することができる。
また、識別した色が黒色である場合、受付部3015は、上記入力を第4入力として受付ける。上記入力が第4入力として受付けられた場合、実行部3011は、液晶パネルの画面に表示された画像の表示態様を変更させる。
したがって、液晶パネルの画面に接触した物体の表面の色が黒色である場合、電子機器3000は、液晶パネルの画面に表示された画像の表示態様を変更できる。
また、上記入力が第4入力として受付けられた場合、実行部3011は、上記表示態様の変更の一例として、液晶パネルの画面に表示された画像をスクロール表示させる。
したがって、液晶パネルの画面に接触した物体の表面の色が黒色である場合、電子機器3000は、液晶パネルの画面に表示された画像をスクロール表示することができる。
あるいは、上記入力が第4入力として受付けられた場合、実行部3011は、上記表示態様の変更の一例として、液晶パネルの画面に表示された画像を拡大表示または縮小表示させる。
したがって、液晶パネルの画面に接触した物体の表面の色が黒色である場合、電子機器3000は、液晶パネルの画面に表示された画像を拡大表示または縮小表示することができる。
なお、上記においては、第1の色が赤色、第2の色が青色、第3の色が緑色、第4の色が黒色である場合を例に挙げて説明したが、第1の色、第2の色、第3の色、および第4の色は、これらの色に限定されるものではない。
<その他>
(1)画像LN12が表示された位置に、スタイラスペン950Bの先端部が接触した場合、電子機器3000は、以下に示す動作を行ってもよい。図41は、画像LN12が表示された位置に、スタイラスペン950Bの先端部が接触した場合に、液晶パネル140A,240の画面に表示される内容を示した図である。図41を参照して、電子機器3000は、リンク先を特定する画像LN12を含むウェブページWP11を液晶パネル140Aの画面に表示し、当該リンク先のウェブページWP13を液晶パネル240の画面に表示する。このように、電子機器3000は、リンク先を特定する画像LN12を含むウェブページWP11と、当該リンク先のウェブページWP13とを、互いに異なる液晶パネルの画面に表示してもよい。
(2)図42は、電子機器3000に好適なスタイラスペン960の概略構成を示した図である。スタイラスペン960は、4本のペン先を備える。スタイラスペン960は、ユーザの操作により、いずれか1本のペン先を開口部961から外部に露出する。また、スタイラスペン960は、4本のペン先の表面の色は、赤色(R)、青色(B)、緑色(G)、および黒色(K)である。ユーザは、スタイラスペン960を用いることにより、スタイラスペン(たとえばスタイラスペン950R)を他のスタイラスペン(たとえばスタイラスペン950B)にもち換えることなく、ペン先の表面の色に応じた処理を電子機器3000に実行させることができる。
(3)オブジェクトの選択に基づく動作の他の例として、たとえば、チェックボックスの入力、文字入力ボックスへの入力許可、ファイルの選択、ファイルのオープン、フォルダの選択が挙げられる。
(4)今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。