以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
本発明に係る電子機器の一実施態様について、図1から図35を参照して説明すると以下のとおりである。
<電子機器の外観>
図1は、本実施の形態に係る電子機器100の外観を示した図である。図1を参照して、電子機器100は、第1の筐体100Aと第2の筐体100Bとを含む。
第1の筐体100Aと第2の筐体100Bとは、ヒンジ100Cにより折畳み可能に接続されている。第1の筐体100Aは、光センサ内蔵液晶パネル140を備える。第2の筐体100Bは、光センサ内蔵液晶パネル240を備える。このように、電子機器100は、光センサ内蔵液晶パネルを2つ備える。
なお、電子機器100は、PDA(Personal Digital Assistant)、ノート型のパーソナルコンピュータ、携帯型電話機、電子辞書などの表示機能を有する携帯型デバイスとして構成される。
<ハードウェア構成について>
次に、図2を参照して、電子機器100の具体的構成の一態様について説明する。図2は、電子機器100のハードウェア構成を表わすブロック図である。電子機器100は、主たる構成要素として、本体装置101と、表示装置102と、表示装置103とを含む。
第1の筐体100Aは、表示装置102を含む。第2の筐体100Bは、本体装置101と表示装置103とを含む。なお、電子機器100は、第2の筐体100Bの代わりに第1の筐体100Aに本体装置101を含んでもよい。
本体装置101は、CPU(Central Processing Unit)110と、RAM(Random Access Memory)171と、ROM(Read-Only Memory)172と、メモリカードリーダライタ173と、通信部174と、マイク175と、スピーカ176と、操作キー177とを含む。各構成要素は、相互にデータバスDB1によって接続されている。メモリカードリーダライタ173には、メモリカード1731が装着される。
CPU110は、プログラムを実行する。操作キー177は、電子機器100の使用者による指示の入力を受ける。RAM171は、CPU110によるプログラムの実行により生成されたデータ、または操作キー177を介して入力されたデータを揮発的に格納する。ROM172は、データを不揮発的に格納する。また、ROM172は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどのデータの書込みおよび消去が可能なROMである。通信部174は、図示しない他の電子機器との間で無線通信を行う。なお、図2には図示していないが、電子機器100が、他の電子機器に有線により接続するためのインターフェイス(IF)を備える構成としてもよい。
表示装置102は、ドライバ130と、光センサ内蔵液晶パネル140(以下、液晶パネル140と称する)と、内部IF178と、バックライト179と、画像処理エンジン180とを含む。
ドライバ130は、液晶パネル140およびバックライト179を駆動するための駆動回路である。ドライバ130に含まれる各種の駆動回路については、後述する。
液晶パネル140は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル140は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル140の詳細については、後述する。
内部IF(Interface)178は、本体装置101と表示装置102との間で、データの遣り取りを仲介する。
バックライト179は、液晶パネル140の裏面に配置された光源である。バックライト179は、当該裏面に対して均一な光を照射する。
画像処理エンジン180は、ドライバ130を介して液晶パネル140の動作を制御する。ここで、当該制御は、内部IF178を介して本体装置101から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン180は、液晶パネル140から出力されるデータを処理し、処理したデータを内部IF178を介して本体装置101に送る。さらに、画像処理エンジン180は、ドライバ制御部181と、タイマ182と、信号処理部183とを含む。
ドライバ制御部181は、ドライバ130に対して制御信号を送ることによりドライバ130の動作を制御する。また、ドライバ制御部181は、本体装置101から送られてくるコマンドを解析する。そして、ドライバ制御部181は、当該解析の結果に基づいた制御信号をドライバ130に送る。ドライバ130の動作の詳細については、後述する。
タイマ182は、時刻情報を生成し、信号処理部183に対して時刻情報を送る。
信号処理部183は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部183は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部183は、当該デジタルデータに対して、本体装置101から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部183は、上記データ処理を行った後のデータと、タイマ182から取得した時刻情報とを含んだデータ(以下、応答データと称する)を本体装置101に送る。また、信号処理部183は、後述するスキャンデータを連続して複数格納できるRAM(図示せず)を備えている。
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する(図7〜図9)。
なお、タイマ182は、必ずしも画像処理エンジン180に備えられている必要はない。たとえば、タイマ182は、表示装置102内における、画像処理エンジン180の外部に備えられていてもよい。あるいは、タイマ182は、本体装置101に備えられていてもよい。また、マイク175およびスピーカ176は、電子機器100が常に備える構成ではなく、電子機器100の実施例によっては、マイク175およびスピーカ176のいずれかあるいは両方を有さない構成であってもよい。
ここで、表示装置102は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル140の周辺機器を当該液晶パネル140のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、液晶パネル140のガラス基板上に一体形成されている。なお、表示装置102が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、上記ガラス基板以外の基板に構成されていてもよい。
表示装置103は、ドライバ230と、光センサ内蔵液晶パネル240(以下、「液晶パネル240」と称する)と、内部IF278と、バックライト279と、画像処理エンジン280とを含む。画像処理エンジン280は、ドライバ制御部281と、タイマ282と、信号処理部283とを含む。
表示装置103は、表示装置102と同様な構成を有する。つまり、ドライバ230、液晶パネル240、内部IF278、バックライト279、および画像処理エンジン280は、表示装置102における、ドライバ130、液晶パネル140、内部IF178、バックライト179、画像処理エンジン180と同じ構成をそれぞれ有する。ドライバ制御部281、タイマ282、および信号処理部283は、表示装置102における、ドライバ制御部181、タイマ182、信号処理部183と同じ構成をそれぞれ有する。したがって、表示装置103に含まれる各機能ブロックについての説明は、繰り返さない。
ところで、電子機器100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM172に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1731その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ173その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部174または通信IF(図示せず)を介してダウンロードされた後、ROM172に一旦格納される。そのソフトウェアは、CPU110によってROM172から読み出され、RAM171に実行可能なプログラムの形式で格納される。CPU110は、そのプログラムを実行する。
図2に示される電子機器100の本体装置101を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM171、ROM172、メモリカード1731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器100の本体装置101のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、記憶媒体としては、メモリカードに限られず、CD−ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
<光センサ内蔵液晶パネルの構成および駆動について>
次に、液晶パネル140の構成と、当該液晶パネル140の周辺回路の構成とについて説明する。図3は、液晶パネル140の構成と、当該液晶パネル140の周辺回路とを示した図である。
図3を参照して、液晶パネル140は、画素回路141と、光センサ回路144と、走査信号線Giと、データ信号線SRjと、データ信号線SGjと、データ信号線SBjと、センサ信号線SSjと、センサ信号線SDjと、読出信号線RWiと、リセット信号線RSiとを含む。なお、iは、1≦i≦mを満たす自然数であり、jは1≦j≦nを満たす自然数である。
また、図2に示した表示装置102のドライバ130は、液晶パネル140の周辺回路として、走査信号線駆動回路131と、データ信号線駆動回路132と、光センサ駆動回路133と、スイッチ134と、アンプ135とを含む。
走査信号線駆動回路131は、図2に示すドライバ制御部181から制御信号TC1を受ける。そして、走査信号線駆動回路131は、制御信号TC1に基づき、各走査信号線(G1〜Gm)に対して、走査信号線G1から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路131は、単位時間毎に走査信号線(G1〜Gm)の中から1つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するTFT(Thin Film Transistor)142のゲートをターンオンできるだけの電圧(以下、ハイレベル電圧)を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
データ信号線駆動回路132は、図2に示すドライバ制御部181から画像データ(DR,DG,DB)を受ける。そして、データ信号線駆動回路132は、3n個のデータ信号線(SR1〜SRn,SG1〜SGn,SB1〜SBn)に対して、上記単位時間毎に、1行分の画像データに対応する電圧を順次印加する。
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
画素回路141は、1つの画素の輝度(透過率)を設定するための回路である。また、画素回路141は、マトリクス状にm×n個配されている。より詳しくは、画素回路141は、図3の縦方向にm個、横方向にn個配されている。
画素回路141は、Rサブピクセル回路141rと、Gサブピクセル回路141gと、Bサブピクセル回路141bとからなる。これら3つの回路(141r,141g,141b)は、それぞれ、TFT142と、画素電極と対向電極とからなる1組の電極対143と、図示しないコンデンサとを含む。
なお、n型のトランジスタとp型のトランジスタとを作れるCMOS(Complementary Metal Oxide Semiconductor)を実現できること、キャリア(電子または正孔)の移動速度がアモルファスシリコン薄膜トランジスタ(a-Si TFT)に比べて数百倍早いことなどから、表示装置102では、TFT142として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、TFT142は、n型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT142がp型チャネルの電界効果トランジスタであってもよい。
Rサブピクセル回路141r内のTFT142のソースはデータ信号線SRjに接続されている。また、当該TFT142のゲートは走査信号線Giに接続されている。さらに、当該TFT142のドレインは、電極対143の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Gサブピクセル回路141gおよびBサブピクセル回路141bについても、各TFT142のソースが接続されるデータ信号線が異なる以外は、Rサブピクセル回路141rと同じ構成である。このため、これら2つの回路(141g,141b)についての説明は、繰り返さない。
ここで、画素回路141における輝度の設定について説明する。まず、走査信号線Giに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、TFT142のゲートがターンオンする。このようにTFT142のゲートがターンオンした状態で、各データ信号線(SRj,SGj,SBj)に対して、それぞれ指定された電圧(1画素分の画像データに対応する電圧)を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ(補助容量)によって、次のフレーム期間において走査信号線Giが選択されるまで保持される。
光センサ駆動回路133は、図2に示すドライバ制御部181から制御信号TC2を受ける。
そして、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎にリセット信号線(RS1〜RSm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDRを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧VSSRを印加したままとする。たとえば、電圧VDDRを0Vに、電圧VSSRを−5Vに設定すればよい。
また、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎に読出信号線(RW1〜RWm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDを印加する。なお、選択されていない読出信号線に対しては、上記電圧VSSRを印加したままとする。たとえば、VDDの値を8Vに設定すればよい。
なお、電圧VDDRを印加するタイミング、および電圧VDDを印加するタイミングについては、後述する。
光センサ回路144は、フォトダイオード145と、コンデンサ146と、TFT147とを含む。なお、以下では、TFT147がn型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT147がp型チャネルの電界効果トランジスタであってもよい。
フォトダイオード145のアノードは、リセット信号線RSiに接続されている。一方、フォトダイオード145のカソードは、コンデンサ146の一方の電極に接続されている。また、コンデンサ146の他方の電極は、読出信号線RWiに接続されている。なお、以下では、フォトダイオード145とコンデンサ146との接続点をノードNと称する。
TFT147のゲートは、ノードNに接続されている。また、TFT147のドレインは、センサ信号線SDjに接続されている。さらに、TFT147のソースは、センサ信号線SSjに接続されている。光センサ回路144を用いたセンシングの詳細については、後述する。
スイッチ134は、センサ信号線(SD1〜SDn)に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ134の切り換え動作は、光センサ駆動回路133により行われる。なお、スイッチ134が導通状態となった場合にセンサ信号線(SD1〜SDn)に印加される電圧については、後述する。
アンプ135は、各センサ信号線(SS1〜SSn)から出力された電圧を増幅する。なお、増幅された電圧は、図2に示した信号処理部183に送られる。
なお、画素回路141を用いて画像を液晶パネル140に表示させるタイミングと、光センサ回路144を用いてセンシングするタイミングとについては、画像処理エンジン180が制御する。
図4は、液晶パネル140とバックライト179との断面図である。図4を参照して、液晶パネル140は、アクティブマトリクス基板151Aと、対向基板151Bと、液晶層152とを含む。対向基板151Bは、アクティブマトリクス基板151Aに対向して配されている。液晶層152は、アクティブマトリクス基板151Aと対向基板151Bとに挟まれている。バックライト179は、アクティブマトリクス基板151Aに関し液晶層152と反対側に配されている。
アクティブマトリクス基板151Aは、偏光フィルタ161と、ガラス基板162と、電極対143を構成する画素電極143aと、フォトダイオード145と、データ信号線157と、配向膜164とを含む。さらに、図4には示していないが、アクティブマトリクス基板151Aは、図3に示した、コンデンサ146と、TFT147と、TFT142と、走査信号線Giとを含む。
また、アクティブマトリクス基板151Aにおいては、バックライト179側から、偏光フィルタ161、ガラス基板162、画素電極143a、および配向膜164が、この順に配されている。フォトダイオード145とデータ信号線157とは、ガラス基板162の液晶層152側に形成されている。
対向基板151Bは、偏光フィルタ161と、ガラス基板162と、遮光膜163と、カラーフィルタ(153r,153g,153b)と、電極対143を構成する対向電極143bと、配向膜164とを含む。
また、対向基板151Bにおいては、液晶層152側から、配向膜164、対向電極143b、カラーフィルタ(153r,153g,153b)、ガラス基板162、および偏光フィルタ161が、この順に配されている。遮光膜163は、カラーフィルタ(153r,153g,153b)と同一の層に形成されている。
カラーフィルタ153rは、赤色の波長の光を透過させるフィルタである。カラーフィルタ153gは、緑色の波長の光を透過させるフィルタである。カラーフィルタ153bは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード145は、カラーフィルタ153bに対向する位置に配されている。
液晶パネル140は、外光やバックライト179などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル140は、画素電極143aと対向電極143bとの間に電圧を印加することにより液晶層152の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ161を配置している。
なお、フォトダイオード145の位置は、上記の位置に限定されるものではなく、カラーフィルタ153rに対向する位置やカラーフィルタ153gに対向する位置に設けることも可能である。
ここで、光センサ回路144の動作について説明する。図5は、光センサ回路144を動作させる際のタイミングチャートを示した図である。図5において、電圧VINTは、光センサ回路144内のノードNにおける電位を示している。また、電圧VPIXは、図3に示したセンサ信号線SSjからの出力電圧であって、アンプ135によって増幅される前の電圧を示している。
以下では、光センサ回路144をリセットするためのリセット期間と、光センサ回路144を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
まず、リセット期間について説明する。リセット期間においては、リセット信号線RSiに印加する電圧を、ローレベル(電圧VSSR)からハイレベル(電圧VDDR)へと瞬間的に切り換える。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。このように、リセット信号線RSiに上記ハイレベルの電圧を印加することにより、フォトダイオード145の順方向(アノード側からカソード側)に電流が流れ始める。その結果、ノードNの電位である電圧VINTは、以下の式(1)で示す値となる。なお、式(1)では、フォトダイオード145における順方向の電圧降下量をVfとしている。
VINT=VSSR+|VDDR−VSSR|−Vf … (1)
それゆえ、ノードNの電位は、図5に示すとおり、電圧VDDRよりもVfだけ小さな値となる。
ここで、電圧VINTは、TFT147のゲートをターンオンさせる閾値以下であるため、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。また、コンデンサ146の電極間には、上記電圧VINT分の差が生じる。このため、コンデンサ146には、当該差に応じた電荷が蓄積される。
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線RSiに印加する電圧は、ハイレベル(電圧VDDR)からローレベル(電圧VSSR)へと瞬間的に切り換わる。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。
このように、リセット信号線RSiに印加する電圧をローレベルに変化させることにより、ノードNの電位は、リセット信号線RSiの電圧および読出信号線RWiの電圧よりも高くなる。このため、フォトダイオード145においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード145は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード145が受光すると、フォトダイオード145のカソード側からアノード側へと電流が流れ始める。その結果、図5に示すとおり、ノードNの電位(つまり、電圧VINT)は時間の経過とともに低くなる。
なお、このように電圧VINTが低下し続けるため、TFT147のゲートはターンオンした状態にはならない。それゆえ、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線RSiに印加する電圧をローレベル(電圧VSSR)のままとする。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)からハイレベル(電圧VDD)へと瞬間的に切り換わる。ここで、電圧VDDは、電圧VDDRよりも高い値である。
このように、読出信号線RWiにハイレベルの電圧を瞬間的に印加することにより、図5に示すとおり、コンデンサ146を介してノードNの電位が引き上げられる。なお、ノードNの電位の上昇幅は、読出信号線RWiに印加する電圧に応じた値となる。ここで、ノードNの電位(つまり、電圧VINT)が、TFT147のゲートをターンオンさせる閾値以上まで引き上げられるため、TFT147のゲートがターンオンする。
この際、TFT147のドレイン側に接続されたセンサ信号線SDj(図3参照)に予め一定電圧を印加しておけば、TFT147のソース側に接続されたセンサ信号線SSjからは、図5のVPIXのグラフに示すとおり、ノードNの電位に応じた電圧が出力される。
ここで、フォトダイオード145が受光する光の量(以下、受光量と称する)が少ないと、図5のVINTのグラフに示す直線の傾きが緩やかになる。その結果、電圧VPIXは、受光量が多い場合に比べて高くなる。このように、光センサ回路144は、フォトダイオード145の受光量に応じて、センサ信号線SSjに出力する電圧の値を変化させる。
ところで、上記においては、m×n個存在する光センサ回路のうち、1つの光センサ回路144に着目して、その動作を説明した。以下では、液晶パネル140における各光センサ回路の動作について説明する。
まず、光センサ駆動回路133は、n個のセンサ信号線(SD1〜SDn)の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路133は、リセット信号線RS1に対して、通常よりもハイレベルな電圧VDDRを印加する。なお、他のリセット信号線(RS2〜RSm)および読出信号線(RW1〜RWm)については、ローレベルの電圧を印加したままの状態とする。これにより、図3における1行目のn個の光センサ回路が、上述したリセット期間に入る。その後、1行目のn個の光センサ回路は、センシング期間に入る。さらに、その後、1行目のn個の光センサ回路は、読出期間に入る。
なお、n個のセンサ信号線(SD1〜SDn)の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
1行目のn個の光センサ回路の読出期間が終了すると、光センサ駆動回路133は、リセット信号線RS2に対して、通常よりもハイレベルな電圧VDDRを印加する。つまり、2行目のn個の光センサ回路のリセット期間に入る。リセット期間が終了すると、2行目のn個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
以降は、上述した処理が、順に、3行目のn個の光センサ回路、4行目のn個の光センサ回路、…m行目のn個の光センサ回路に対して行われる。その結果、センサ信号線(SS1〜SSn)からは、1行目のセンシング結果、2行目のセンシング結果、…、m行目のセンシング結果が、この順に出力される。
なお、表示装置102においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル140から出力される。このため、以下では、液晶パネル140から出力される1行目からm行目までのm行分の電圧に関するデータに対して、信号処理部183が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物(たとえば、ユーザの指)をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
また、上記においては、m×n個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル140の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
以下では、電子機器100が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー177を介した入力などに基づく本体装置101から送られてくるコマンドにより行われるものとする。なお、液晶パネル140の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン180が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー177を介してユーザが指定できる構成としてもよい。
このように、液晶パネル140の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。1つ目は、上記一部の領域(以下、スキャン領域と称する)以外の表面の領域において、画像を表示させる態様である。2つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置101から画像処理エンジン180に送られてくるコマンドに基づく。
図6は、液晶パネル140とバックライト179との断面図であって、スキャンの際にフォトダイオード145がバックライト179からの光を受光する構成を示した図である。
図6を参照して、ユーザの指900が液晶パネル140の表面に接触している場合、バックライト179から発せられた光の一部は、当該接触している領域ではユーザの指900(略平面)にて反射される。そして、フォトダイオード145は、当該反射された光を受光する。
また、指900が接触していない領域においても、バックライト179から発せられた光の一部は、ユーザの指900にて反射される。この場合においても、フォトダイオード145は、当該反射された光を受光する。ただし、当該領域においては液晶パネル140の表面に指900が接触していないため、指900が接触している領域よりも、フォトダイオード145の受光量は少なくなる。なお、バックライト179から発せられた光のうち、ユーザの指900に到達しない光のほとんどについては、フォトダイオード145は受光できない。
ここで、バックライト179を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路144は、ユーザの指900により反射した光の光量に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179の点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
以上により、表示装置102は、指900によって光が反射されることにより得られる像(以下、反射像とも称する)をスキャンすることができる。
なお、指900以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器100の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機EL(Electro-Luminescence)パネルなどの他のパネルを用いてもよい。
<データについて>
次に、センシングコマンドについて説明する。なお、表示装置102においては、画像処理エンジン180は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ(つまり、応答データ)を本体装置101に送り返す。
図7は、センシングコマンドの概略構成を示した図である。図7を参照して、センシングコマンドは、ヘッダのデータ領域DA01と、タイミングを示すデータ領域DA02と、データ種別を示すデータ領域DA03と、読取方式を示すデータ領域DA04と、画像階調を示すデータ領域DA05と、解像度を示すデータ領域DA06と、予備のデータ領域DA07とを含む。
図8は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
図8を参照して、タイミングを示すデータ領域に「00」が設定されたセンシングコマンドは、画像処理エンジン180に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン180が受信した後に、光センサ回路144を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「01」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「10」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
データ種別を示すデータ領域に「001」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「010」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「100」が設定されたセンシングコマンドは、全体画像の送信を要求する。
ここで、「全体画像」とは、m×n個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン180により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル140の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
読取方式を示すデータ領域に「00」が設定されたセンシングコマンドは、バックライト179を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「01」が設定されたセンシングコマンドは、バックライト179を消灯してスキャンすることを要求する。なお、バックライト179を消灯してスキャンする構成については後述する(図12)。さらに、読取方式を示すデータ領域に「10」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト179を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。
画像階調を示すデータ領域に「00」が設定されたセンシングコマンドは、白黒の2値の画像データを要求する。また、画像階調を示すデータ領域に「01」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「10」が設定されたセンシングコマンドは、RGBのカラーの画像データを要求する。
解像度を示すデータ領域に「0」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「1」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
また、センシングコマンドには、図7および図8に示したデータ以外に、スキャンを行う領域(光センサ回路144を駆動する画素の領域)の指定、スキャンを行うタイミング、バックライト179の点灯のタイミングなどが記述されている。
図9は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示装置102の画像処理エンジン180が本体装置101に対して送信するデータである。
図9を参照して、応答データは、ヘッダのデータ領域DA11と、座標を示すデータ領域DA12と、時刻を示すデータ領域DA13と、画像を示すデータ領域DA14とを含む。ここで、座標を示すデータ領域DA12には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン180のタイマ182から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン180により処理がされた後の画像データ(つまり、スキャンデータ)が書き込まれる。
図10は、指900をスキャンすることにより得られた画像(つまり、スキャン画像)を示した図である。図10を参照して、太実線で囲まれた領域W1の画像が全体画像であり、破線で囲まれた領域P1の画像が部分画像である。また、太線で示した十字の中心点C1が、中心座標となる。
本実施の形態では、矩形の領域であって、かつセンサ信号線SSjからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素(つまり、予め定められた階調または予め定められた輝度以上の画素)全てを含む領域を、部分画像の領域としている。
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点(つまり図心)との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
センシングコマンドのデータ種別を示すデータ領域に「001」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に上記中心座標の値を書き込む。この場合、画像処理エンジン180は、画像を示すデータ領域DA14には画像データを書き込まない。画像処理エンジン180は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「001」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
また、センシングコマンドのデータ種別を示すデータ領域に「010」が設定されている場合には、画像処理エンジン180は、画像を示すデータ領域DA14に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン180は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン180は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「010」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指900などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
また、センシングコマンドのデータ種別を示すデータ領域に「011」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン180は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「011」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
また、センシングコマンドのデータ種別を示すデータ領域に「100」が設定されている場合には、画像処理エンジン180は、図9に示した応答データの画像を示すデータ領域DA14に、全体画像の画像データを書き込む。この場合、画像処理エンジン180は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン180は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「100」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
また、センシングコマンドのデータ種別を示すデータ領域に「101」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14に全体画像の画像データを書き込む。その後、画像処理エンジン180は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「101」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
<構成の第1の変形例について>
ところで、液晶パネル140の構成は、図3に示した構成に限定されるものではない。以下では、図3とは異なる態様の液晶パネルについて説明する。
図11は、上記異なる態様である光センサ内蔵液晶パネル140Aの回路図である。図11を参照して、光センサ内蔵液晶パネル140A(以下、液晶パネル140Aと称する)は、1画素内に3つの光センサ回路(144r,144g,144b)を含んでいる。このように液晶パネル140Aが1画素内に3つの光センサ回路(144r,144g,144b)を備える点において、液晶パネル140Aは、1画素内に1つの光センサ回路を備える液晶パネル140と異なる。なお、光センサ回路144の構成と、3つの各光センサ回路(144r,144g,144b)との構成は同じである。
また、1画素内における3つのフォトダイオード(145r,145g,145b)は、それぞれ、カラーフィルタ153r、カラーフィルタ153g、カラーフィルタ153bに対向する位置に配されている。それゆえ、フォトダイオード145rは赤色の光を受光し、フォトダイオード145gは緑色の光を受光し、フォトダイオード145bは青色の光を受光する。
また、液晶パネル140は1画素内において1つの光センサ回路144しか含まないため、1画素内に配設されるTFT147用のデータ信号線は、センサ信号線SSjとセンサ信号線SDjとの2本であった。しかしながら、液晶パネル140Aは1画素内において3つの光センサ回路(144r,144g,144b)を含むため、1画素内に配設されるTFT(147r,147g,147b)用のデータ信号線は6本となる。
具体的には、カラーフィルタ153rに対向する位置に配されたフォトダイオード145rのカソードに接続されたTFT147rに対応して、センサ信号線SSRjとセンサ信号線SDRjとが配設される。また、カラーフィルタ153gに対向する位置に配されたフォトダイオード145gのカソードに接続されたTFT147gに対応して、センサ信号線SSGjとセンサ信号線SDGjとが配設される。さらに、カラーフィルタ153bに対向する位置に配されたフォトダイオード145bのカソードに接続されたTFT147bに対応して、センサ信号線SSBjとセンサ信号線SDBjとが配設される。
このような液晶パネル140Aにおいては、バックライト179から照射された白色光は、3つのカラーフィルタ(153r,153g,153b)を透過し、液晶パネル140Aの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、3つのカラーフィルタ(153r,153g,153b)を透過する。
この際、カラーフィルタ153rは赤色の波長の光を透過し、フォトダイオード145rは、当該赤色の波長の光を受光する。また、カラーフィルタ153gは緑色の波長の光を透過し、フォトダイオード145gは、当該緑色の波長の光を受光する。また、カラーフィルタ153bは青色の波長の光を透過し、フォトダイオード145bは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は3つのカラーフィルタ(153r,153g,153b)によって3原色(R,G,B)に色分解され、各フォトダイオード(145r,145g,145b)は、それぞれに対応した色の光を受光する。
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード(145r,145g,145b)の受光量が各フォトダイオード(145r,145g,145b)で異なることになる。このため、センサ信号線SSRjとセンサ信号線SSGjとセンサ信号線SSBjとの出力電圧は互いに異なる。
それゆえ、各出力電圧に応じて、Rの階調とGの階調とBの階調とを画像処理エンジン180が決定することにより、画像処理エンジン180はRGBのカラー画像を本体装置101へ送ることができる。
以上述べたように、電子機器100が液晶パネル140Aを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
次に、図12を参照して、前述のスキャンの方法(つまり、図6における反射像をスキャンする方法)とは異なるスキャンの方法について説明する。
図12は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図12に示されるように、外光の一部は、指900によって遮られる。それゆえ、指900と接触している液晶パネル140の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指900の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
ここで、バックライト179を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路144は、液晶パネル140の表面に対する指900の位置に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179を点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
以上により、表示装置102は、指900によって外光が遮られることにより得られる像(以下、影像とも称する)をスキャンすることができる。
さらに、表示装置102を、バックライト179を点灯させてスキャンを行った後に、バックライト179を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置102を、バックライト179を消灯させてスキャンを行った後に、バックライト179を点灯させて再度スキャンを行う構成としてもよい。
この場合には、2つのスキャン方式を併用することになるため、2つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
<表示装置について>
表示装置103の動作は、表示装置102の動作と同様、本体装置101からのコマンド(たとえば、センシングコマンド)に応じて制御される。表示装置103は表示装置102と同様な構成を有する。それゆえ、表示装置103が表示装置102と同じコマンドを本体装置101から受け付けた場合、表示装置103は表示装置102と同様の動作を行う。このため、表示装置103の構成や動作についての説明は繰り返さない。
なお、本体装置101は、表示装置102と表示装置103とに対して、命令が異なるコマンドを送ることができる。この場合、表示装置102と表示装置103とは別々の動作を行う。また、本体装置101は、表示装置102および表示装置103のいずれかに対して、コマンドを送ってもよい。この場合、一方の表示装置のみがコマンドに応じた動作を行う。また、本体装置101が、表示装置102と表示装置103とに命令が同じコマンドを送ってもよい。この場合、表示装置102と表示装置103とは、同じ動作を行う。
なお、表示装置102の液晶パネル140のサイズと表示装置103の液晶パネル240のサイズとは、同じであってもよいし又は異なっていてもよい。また、液晶パネル140の解像度と液晶パネル240の解像度とは、同じであってもよいし又は異なっていてもよい。
<構成の第2の変形例について>
本実施の形態では、電子機器100が、液晶パネル140と液晶パネル240といったそれぞれに光センサを内蔵した液晶パネルを備える構成について説明するが、一方の液晶パネルのみが光センサを内蔵している構成であってもよい。
図13は、電子機器1300のハードウェア構成を表すブロック図である。電子機器1300は、電子機器100と同様、第1の筐体100Aと、第2の筐体100Bとを含む。第1の筐体100Aは、表示装置102を含む。第2の筐体100Bは、光センサを内蔵しない液晶パネル(つまり、表示機能のみを有する液晶パネル)を含む。電子機器1300は、第2の筐体100Bが光センサを内蔵しない液晶パネルを含む点で、第2の筐体100Bが光センサを内蔵した液晶パネル240を含む電子機器100と異なる。このような電子機器1300は、第1の筐体100Aの表示装置102を用いて上述したセンシングを行う。
また、第2の筐体100Bは、光センサを内蔵した液晶パネル240の代わりに、たとえば抵抗膜方式や静電容量方式のタッチパネルを備えてもよい。
また、本実施の形態では、表示装置102がタイマ182を備え、表示装置103がタイマ282を備える構成として説明するが、表示装置102と表示装置103とが1つのタイマを共有する構成としてもよい。
また、本実施の形態では、電子機器100を折畳型の機器として説明するが、電子機器100は必ずしも折畳型に限定されるものではない。たとえば、電子機器100は、第1の筐体100Aが第2の筐体100Bに対してスライドする構成のスライド式の機器であってもよい。
<システム構成>
図14は、本実施の形態に係る通信システム1の構成を示した図である。図14を参照して、通信システム1は、電子機器100,7001〜7003とサーバ装置8001〜8003とを含む。各電子機器100,7001〜7003は、それぞれ接続したサーバ装置8001〜8003を経由して、インターネットに接続する。
<<具体的な第1実現例>>
第1実現例の電子機器100は、一方の液晶パネル(たとえば液晶パネル140)の表示領域に表示されたリンク先を特定する画像が選択されたことを検知すると、他の画像が表示されている他方の液晶パネル(たとえば液晶パネル240)の表示領域に、当該他の画像の代わりに当該リンク先の画像を表示する。以下、当該電子機器100の詳細な構成について説明する。
ここで、「画像」とは、液晶パネル140,240の表示面に出力(つまり表示)されている情報(表示情報)のことである。つまり、「画像」は、絵、写真、文字列などを含む概念である。後述する、第2実現例、第3実現例、および第4実現例においても、同様である。
<機能ブロック>
図15は、電子機器100の機能ブロックを示した図である。図15を参照して、電子機器100は、制御部10と、記憶装置90と、液晶パネル140,240とを備える。制御部10は、表示制御部11と、データ受付部12と、検知部13とを備える。なお、記憶装置90は、RAM171やハードディスク(図示せず)により構成される。
表示制御部11は、記憶装置90内のVRAM(図示せず)に格納された画像データに基づき、液晶パネル140,240の表示領域に画像を表示させる。表示制御部11は、液晶パネル140の表示領域において表示されている画像の当該表示領域での位置を示した位置情報と、液晶パネル240の表示領域において表示されている画像の当該表示領域での位置を示した位置情報とを検知部13に送る。
以下では、一方の液晶パネル(たとえば液晶パネル140)の表示領域に画像Aが表示され、他方の液晶パネル(たとえば液晶パネル240)の表示領域に画像Bが表示されている場合について説明する。また、上記一方の液晶パネルの表示領域を、「第1表示領域」と称する。さらに、上記他方の液晶パネルの表示領域を、「第2表示領域」と称する。なお、画像Aおよび画像Bは、各表示領域の全体に表示されていてもよいし、一部に表示されていてもよい。電子機器100は、第1表示領域および第2表示領域のそれぞれに、1つ以上のウィンドウを表示する。画像Aおよび画像Bは、たとえば、ウィンドウ内に表示される。
データ受付部12は、液晶パネル140,240から上述したスキャンデータを受付ける。データ受付部12は、受信したスキャンデータを、表示制御部11および検知部13に送る。
スタイラスペンやユーザの指900などが液晶パネル140,240の表示領域に接触した場合、当該接触位置に選択可能な画像が表示されているとき、検知部13は、上記スキャンデータと上記位置情報とに基づき、当該画像が選択されたことを検知する。
たとえば画像Aがリンク先(以下、「リンク先A」と称する)を特定する画像を含んでいる場合、当該画像の表示位置にスタイラスペン等が接触したとき、検知部13は、当該リンク先Aを特定する画像が選択されたことを検知する。検知部13は、リンク先Aを特定する画像が選択されたことを示すデータを、表示制御部11に送る。第2表示領域に画像Bが表示された状態で、リンク先Aを特定する画像が選択されたことが検知された場合、表示制御部11は、第2表示領域に表示させる画像を、上記画像Bからリンク先Aの画像に切換える。なお、画像A、画像B、リンク先Aの画像は、たとえば、ウェブページである。リンク先Aを特定する画像の具体例については、後述する(図16等)。
第2表示領域に表示されたリンク先Aの画像にリンク先(以下、「リンク先B」と称する)を特定する画像が含まれている場合、当該画像の表示位置にスタイラスペン等が接触したとき、検知部13は、当該リンク先Bを特定する画像が選択されたことをさらに検知する。第1表示領域に画像Aが表示された状態で、リンク先Bを特定する画像が選択されたことが検知された場合、表示制御部11は、第1表示領域に表示させる画像を、上記画像Aからリンク先Bの画像に切換える。なお、リンク先Bの画像は、たとえば、ウェブページである。
上記においては、表示制御部11が、まず第2表示領域に表示させる画像を切換え、次いで第1表示領域に表示させる画像を切換える例を挙げて説明した。しかしながら、この順序による切換えは一例であって、切換えは当該順序に限定されるものではない。また、切換えの回数も、2回に限定されるものではない。当該切換え回数は、3回以上であってもよい。
なお、以下では、画像A、画像B、リンク先Aの画像、およびリンク先Bの画像がともに、ウェブページであるとして説明する。
<画面遷移例>
図16は、液晶パネル140の表示領域にウェブページWP11が表示され、液晶パネル240の表示領域にウェブページWP12が表示された状態を示した図である。図16を参照して、ウェブページWP11のユニフォームリソースロケータ(URL:Uniform Resource Locator)は、文字列「http://www.xyxy.co.jp/index.html」で示される。ウェブページWP12のユニフォームリソースロケータは、文字列「http://www.yyysearch」で示される。ウェブページWP11は、リンク先を特定する画像として、たとえば画像LN11〜LN14を含む。なお、以下では、ユニフォームリソースロケータを「URL」と表記する。
図17は、図16の状態で画像LN12が選択されたことを検知した場合において、各液晶パネル140,240の表示領域に表示される内容を示した図である。図17を参照して、電子機器100は、液晶パネル240の表示領域に表示させる画像を、ウェブページWP12から、画像LN12に対応するリンク先のウェブページWP13に切換える。ウェブページWP13は、リンク先を特定する画像として、たとえば画像LN21〜LN26を含む。
図18は、図17の状態で画像LN22が選択されたことを検知した場合において、各液晶パネル140,240の表示領域に表示される内容を示した図である。図18を参照して、電子機器100は、液晶パネル140の表示領域に表示させる画像を、ウェブページWP11から、画像LN22に対応するリンク先のウェブページWP14に切換える。
<処理フロー>
図19は、電子機器100の処理のフローを示したフローチャートである。具体的には、図19は、図16から図18で示した画面遷移の処理を示したフローチャートである。
図19を参照して、ステップS1において、電子機器100は、液晶パネル140の表示領域にウェブページWP11を表示する。ステップS3において、電子機器100は、液晶パネル240の表示領域にウェブページWP12を表示する。
ステップS5において、ウェブページWP11内に表示されたリンク先を特定する画像LN12の表示位置にスタイラスペン等が接触した場合、電子機器100は、当該画像LN12が選択されたことを検知する。ステップS7において、電子機器100は、液晶パネル240に表示させる画像を、ウェブページWP12から、選択された画像LN12に対応するリンク先のウェブページWP13に切換える。
ステップS9において、ウェブページWP13内に表示されたリンク先を特定する画像LN22の表示位置にスタイラスペン等が接触した場合、電子機器100は、当該画像LN22が選択されたことを検知する。ステップS11において、電子機器100は、液晶パネル140に表示させる画像を、ウェブページWP11から、選択された画像LN22に対応するリンク先のウェブページWP14に切換える。
<まとめ>
以上のように、電子機器100は、第1リンク先(たとえばリンク先A)を特定する画像を含む第1画像(たとえば画像A)を第1表示領域(たとえば液晶パネル140の表示領域)に表示させ、第2画像(たとえば画像B)を第2表示領域(たとえば液晶パネル240の表示領域)に表示させる表示制御部11を備える。また、電子機器100は、当該第1リンク先を特定する画像が選択されたことを検知する検知部13を備える。第2表示領域に第2画像が表示された状態で、第1リンク先を特定する画像が選択されたことが検知された場合、表示制御部11は、第2表示領域に表示させる画像を、第2画像から前記第1リンク先の画像に切換える。このように、表示制御部11は、第1リンク先を特定する画像が選択されたことが検知された場合、第1リンク先の画像を取得して第2表示領域に表示されている第2画像を第1リンク先の画像に切換えて表示させる。
したがって、第1表示領域において第1リンク先を特定する画像が選択された場合、電子機器100は、第2画像が表示されている第2表示領域に、当該第2画像の代わりに当該第1リンク先の画像を表示することができる。
第1リンク先の画像に第2リンク先(たとえばリンク先B)を特定する画像が含まれている場合、検知部13は、当該第2リンク先を特定する画像が選択されたことをさらに検知する。第1表示領域に第1画像が表示された状態で、第2リンク先を特定する画像が選択されたことが検知された場合、表示制御部11は、第1表示領域に表示させる画像を、第1画像から第2リンク先の画像に切換える。このように、表示制御部11は、第2リンク先を特定する画像が選択されたことが検知された場合、第2リンク先の画像を取得して第2表示領域に表示されている第1画像を第2リンク先の画像に切換えて表示させる。
したがって、電子機器100は、第1画像が表示されている第1表示領域に、当該第1画像の代わりに上記第2リンク先の画像を表示させることができる。
第1画像および第2画像は、それぞれウェブページである。したがって、電子機器100は、WWW(World Wide Web)に存在する個々の文書を表示対象とできる。
<<具体的な第2実現例>>
第2実現例の電子機器2000(図20参照)は、一方の液晶パネルの表示領域に表示されたリンク先を特定する画像が選択されたことを検知すると、後述する判断部14(図20参照)の判断結果に従って、当該液晶パネルの表示領域に当該リンク先の画像を表示するか、あるいは他方の液晶パネルの表示領域に当該リンク先の画像を表示するかを決定する。そして、電子機器2000は、当該決定に従って、いずれか一方の液晶パネルの表示領域にリンク先の画像を表示する。以下、当該電子機器2000の詳細な構成について説明する。
<機能ブロック>
図20は、電子機器100の機能を一部変更した電子機器2000の機能ブロックを示した図である。図20を参照して、電子機器2000は、制御部10Aと、記憶装置90と、液晶パネル140,240とを備える。制御部10Aは、表示制御部11Aと、データ受付部12と、検知部13Aと、判断部14とを備える。
表示制御部11Aは、記憶装置90内のVRAM(図示せず)に格納された画像データに基づき、液晶パネル140,240の表示領域に画像を表示させる。表示制御部11Aは、液晶パネル140の表示領域において表示されている画像の当該表示領域での位置を示した位置情報と、液晶パネル240の表示領域において表示されている画像の当該表示領域での位置を示した位置情報とを、検知部13Aに送る。
以下では、上述した具体的な第1実現例と同様、一方の液晶パネル(たとえば液晶パネル140)の表示領域に画像Aが表示され、他方の液晶パネル(たとえば液晶パネル240)の表示領域に画像Bが表示されている場合について説明する。また、上記一方の液晶パネルの表示領域を、「第1表示領域」と称する。さらに、上記他方の液晶パネルの表示領域を、「第2表示領域」と称する。なお、画像Aおよび画像Bは、各表示領域の全体に表示されていてもよいし、一部に表示されていてもよい。画像Aおよび画像Bは、たとえば、ウィンドウ内に表示される。
スタイラスペンやユーザの指900などが液晶パネル140,240の表示領域に接触した場合、当該接触位置に選択可能な画像が表示されているとき、検知部13Aは、上記スキャンデータと上記位置情報とに基づき、当該画像が選択されたことを検知する。
画像Aがリンク先を特定する画像を含んでいる場合、当該画像の表示位置にスタイラスペン等が接触したとき、検知部13Aは、上記スキャンデータと上記位置情報とに基づき、当該リンク先を特定する画像が選択されたことを検知する。検知部13Aは、リンク先を特定する画像が選択されたことを示すデータを、表示制御部11Aに送る。
さらに、検知部13Aは、選択された画像を特定するための情報を判断部14に送る。リンク先を特定する画像として、たとえばリンク先Aを特定する画像Cとリンク先Bを特定する画像Dとが含まれている場合、検知部13Aが当該画像Dが選択されたことを検知すると、検知部13Aは画像Dを特定するための情報を判断部14に送る。
判断部14は、画像Aが属するグループを特定する第1識別子と、上記リンク先の画像が属するグループを特定する第2識別子とに基づき、画像Aが属する第1グループとリンク先の画像が属する第2グループとが同じグループであるか否かを判断する。なお、判断部14は、リンク先を特定する画像が選択されたことを検知する前に当該判断を行なってもよいし、あるいは当該検知後に当該判断を行なってもよい。
第1グループおよび第2グループは、たとえば、ウェブサイトである。第1グループおよび第2グループがウェブサイトである場合、第1識別子および第2識別子は、たとえば、URLである。
判断部14は、第1識別子であるURLにおけるホスト名と、第2識別子であるURLにおけるホスト名とに基づき、画像Aが属する第1グループとリンク先の画像が属する第2グループとが同じグループであるか否かを判断する。なお、ホスト名とは、リソースが保管されている機器を示す名称である。たとえば、ウェブページWP11のURL「http://www.xyxy.co.jp/index.html」においては、文字列「www.xyxy.co.jp」がホスト名に該当する。
リンク先を特定する画像が選択されたことが検知された場合、第1グループと第2グループとが同じグループであると判断されると、表示制御部11Aは、第2表示領域に表示させる画像を、画像Bからリンク先の画像に切換える。一方、第1グループと第2グループとが同じグループでないと判断されると、表示制御部11Aは、第1表示領域に表示させる画像を、画像Aからリンク先の画像に切換える。
なお、画像Bにリンク先を特定する画像が含まれている場合において、当該画像の表示位置にスタイラスペン等が接触したときも、電子機器2000は、画像Aにリンク先を特定する画像が含まれている場合の処理と同様な処理を行う。
また、切換えの回数は、1回に限定されるものではない。すなわち、切換え処理が一度行なわれた後に、検知部13Aがリンク先を特定する画像の選択を新たに検知した場合、電子機器2000は、切換え処理を再度行うことが好ましい。なお、当該切換え処理の回数は、3回以上であってもよい。
なお、以下では、画像A、画像B、およびリンク先の画像がウェブページであるとして説明する。また、第1グループおよび第2グループは、ウェブサイトであるとして説明する。さらに、第1識別子および第2識別子は、URLとして説明する。
<画面遷移例>
図21は、液晶パネル140の表示領域にウェブページWP11が表示され、液晶パネル240の表示領域にウェブページWP12が表示された状態を示した図である。図21を参照して、画像LN31,L32は、リンク先を特定する画像である。
図22は、図21の状態で画像LN31が選択されたことを検知した場合において、各液晶パネル140,240の表示領域に表示される内容を示した図である。図22を参照して、電子機器2000は、液晶パネル240の表示領域に表示させる画像を、ウェブページWP12から、画像LN31に対応するリンク先のウェブページWP21に切換える。
このように、液晶パネル240の表示領域に表示させる画像を切換え、液晶パネル140の表示領域に表示させる画像を切換えない理由は、以下のとおりである。画像LN31に対応するリンク先のウェブページWP21のURLは、文字列「http://www.xyxy.co.jp/corporate/news/08123.html」で示される。一方、液晶パネル140の表示領域に表示されているウェブページWP11のURLは、上述したとおり、文字列「http://www.xyxy.co.jp/index.html」で示される。したがって、判断部14は、URL「http://www.xyxy.co.jp/corporate/news/08123.html」におけるホスト名と、URL「http://www.xyxy.co.jp/index.html」におけるホスト名とが同じであると判断する。この結果、表示制御部11Aは、液晶パネル240の表示領域に表示させる画像を切換える。
図23は、図21の状態で画像LN32が選択されたことを検知した場合において、各液晶パネル140,240の表示領域に表示される内容を示した図である。図23を参照して、電子機器2000は、液晶パネル140の表示領域に表示させる画像を、ウェブページWP11から、画像LN32に対応するリンク先のウェブページWP22に切換える。
このように、液晶パネル140の表示領域に表示させる画像を切換え、液晶パネル240の表示領域に表示させる画像を切換えない理由は、以下のとおりである。画像LN32に対応するリンク先のウェブページWP22のURLは、文字列「http://www.abcde.co.jp/index.html」で示される。一方、液晶パネル140の表示領域に表示されているウェブページWP11のURLは、上述したとおり、文字列「http://www.xyxy.co.jp/index.html」で示される。したがって、判断部14は、URL「http://www.abcde.co.jp/index.html」におけるホスト名「www.abcde.co.jp」と、URL「http://www.xyxy.co.jp/index.html」におけるホスト名「www.xyxy.co.jp」とが同じでないと判断する。この結果、表示制御部11Aは、液晶パネル140の表示領域に表示させる画像を切換える。
<処理フロー>
図24は、電子機器2000の処理のフローを示したフローチャートである。具体的には、図24は、図21から図23で示した画面遷移の処理を示したフローチャートである。
図24を参照して、ステップS21において、電子機器2000は、液晶パネル140の表示領域にウェブページWP11を表示する。ステップS23において、電子機器2000は、液晶パネル240の表示領域にウェブページWP12を表示する。ステップS25において、ウェブページWP11内に表示されたリンク先を特定する画像の表示位置にスタイラスペン等が接触した場合、電子機器2000は、当該画像が選択されたことを検知する。
ステップS27において、電子機器2000は、ウェブページWP11が属するウェブサイトと、選択された画像に対応するリンク先のウェブページが属するウェブサイトとが同じサイトか否かを判断する。同じサイトであると判断された場合(S27においてYES)、ステップS29において、電子機器2000は、液晶パネル240の表示領域に表示させる画像を、ウェブページWP12から、選択された画像(たとえば画像LN31)に対応するウェブページ(たとえばウェブページWP21)に切換える。一方、同じサイトでないと判断された場合(S27においてNO)、ステップS31において、電子機器2000は、液晶パネル140の表示領域に表示させる画像を、ウェブページWP11から、選択された画像に対応するウェブページに切換える。
<まとめ>
以上のように、電子機器2000は、リンク先を特定する画像を含む第1画像(たとえば画像A)を第1表示領域(たとえば液晶パネル140の表示領域)に表示させ、第2画像(たとえば画像B)を第2表示領域(たとえば液晶パネル240の表示領域)に表示させる表示制御部11Aを備える。また、電子機器2000は、当該リンク先を特定する画像が選択されたことを検知する検知部13Aを備える。さらに、電子機器2000は、第1画像が属するグループを特定する第1識別子と上記リンク先の画像が属するグループを特定する第2識別子とに基づき、第1画像が属する第1グループとリンク先の画像が属する第2グループとが同じグループであるか否かを判断する判断部14を備える。
リンク先を特定する画像が選択されたことが検知された場合、第1グループと第2グループとが同じグループであると判断されたとき、表示制御部11Aは、第2表示領域に表示させる画像を、第2画像から前記リンク先の画像に切換える。このように、判断部14における判断にて、第1グループと第2グループとが同じグループであると判断されると、表示制御部11Aは、リンク先の画像を取得して第2表示領域に表示されている画像を、第2画像から当該リンク先の画像に切換えて表示を行わせる。一方、第1グループと第2グループとが同じグループでないと判断されたとき、表示制御部11Aは、第1表示領域に表示させる画像を、第1画像から前記リンク先の画像に切換える。このように、判断部14における判断にて、第1グループと第2グループとが同じグループでないと判断されると、表示制御部11Aは、リンク先の画像を取得して第1表示領域に表示されている画像を、第1画像から当該リンク先の画像に切換えて表示させる。
したがって、第1表示領域においてリンク先を特定する画像が選択された場合、第1グループと第2グループとが同じグループであるときには、電子機器2000は、第2画像が表示されている第2表示領域に、当該第2画像の代わりに当該リンク先の画像を表示することができる。
さらに、電子機器2000は、第1画像が属する第1グループとリンク先の画像が属する第2グループとが同じグループであるか否かに応じて、当該リンク先の画像を表示する表示領域を変更できる。同じグループである場合には、電子機器2000は、第1画像とリンク先の画像とを互い異なる表示領域において表示する。このため、ユーザは、関連性の高い2つの画像を視認可能となる。一方、同じグループでない場合には、電子機器2000は、第1表示領域において第1画像の代わりにリンク先の画像を表示する。したがって、ユーザは、視認することを直近に希望した画像(つまりリンク先の画像)を、第1画像が表示されていた第1表示領域で視認することができる。それゆえ、ユーザは、リンク先が第2表示領域に表示される場合に比べ、目線の移動量が少なくて済む。
第1画像および第2画像は、それぞれウェブページであり、第1識別子および第2識別子は、それぞれユニフォームリソースロケータである。したがって、電子機器2000は、WWWに存在する個々の文書を表示対象とできる。
判断部14は、第1識別子であるユニフォームリソースロケータにおけるホスト名と、第2識別子であるユニフォームリソースロケータにおけるホスト名とに基づき、第1画像が属する第1グループとリンク先の画像が属する第2グループとが同じグループであるか否かを判断する。したがって、電子機器2000は、WWWに存在する個々の文書について、グループの異同を判断できる。
また、表示制御部11Aの構成を以下のとおりとしてもよい。つまり、判断部14における判断にて、第1グループと第2グループとが同じグループであると判断されると、表示制御部11Aは、リンク先の画像を取得して第1表示領域に表示されている画像を、第1画像から当該リンク先の画像に切換えて表示させる。一方、判断部14における判断にて、第1グループと第2グループとが同じグループでないと判断されると、リンク先の画像を取得して第2表示領域に表示されている画像を、第2画像から当該リンク先の画像に切換えて表示を行わせる。
このような構成によれば、同じグループである場合には、電子機器2000は、第1表示領域において第1画像の代わりにリンク先の画像を表示する。したがって、ユーザは、視認することを直近に希望した画像(つまりリンク先の画像)を、第1画像が表示されていた第1表示領域で視認することができる。それゆえ、ユーザは、リンク先が第2表示領域に表示される場合に比べ、目線の移動量が少なくて済む。一方、同じグループでない場合には、電子機器2000は、第1画像とリンク先の画像とを互い異なる表示領域において表示する。このため、ユーザは、同じグループに属さない画像同士を対比可能となる。
<<具体的な第3実現例>>
第3実現例の電子機器2500(図25参照)は、一方の液晶パネルの表示領域に表示されたリンク先を特定する画像が選択されたことを検知すると、後述する判断部14A(図25参照)の判断結果に従って、当該液晶パネルの表示領域に当該リンク先の画像を表示するか、あるいは他方の液晶パネルの表示領域に当該リンク先の画像を表示するかを決定する。そして、電子機器2500は、当該決定に従って、いずれか一方の液晶パネルの表示領域にリンク先の画像を表示する。以下、当該電子機器2500の詳細な構成について説明する。
<機能ブロック>
図25は、電子機器100の機能を一部変更した電子機器2500の機能ブロックを示した図である。図25を参照して、電子機器2500は、制御部10Bと、記憶装置90と、液晶パネル140,240とを備える。制御部10Bは、表示制御部11Bと、データ受付部12と、検知部13Aと、判断部14Aとを備える。
表示制御部11Bは、記憶装置90内のVRAM(図示せず)に格納された画像データに基づき、液晶パネル140,240の表示領域に画像を表示させる。表示制御部11Bは、液晶パネル140の表示領域において表示されている画像の当該表示領域での位置を示した位置情報と、液晶パネル240の表示領域において表示されている画像の当該表示領域での位置を示した位置情報とを、検知部13Aに送る。
以下では、上述した具体的な第1実現例および第2実現例と同様、一方の液晶パネル(たとえば液晶パネル140)の表示領域に画像Aが表示され、他方の液晶パネル(たとえば液晶パネル240)の表示領域に画像Bが表示されている場合について説明する。また、上記一方の液晶パネルの表示領域を、「第1表示領域」と称する。さらに、上記他方の液晶パネルの表示領域を、「第2表示領域」と称する。なお、画像Aおよび画像Bは、各表示領域の全体に表示されていてもよいし、一部に表示されていてもよい。画像Aおよび画像Bは、たとえば、ウィンドウ内に表示される。
画像Aがリンク先を特定する画像を含んでいる場合、当該画像の表示位置にスタイラスペン等が接触したとき、検知部13Aは、上記スキャンデータと上記位置情報とに基づき、当該リンク先を特定する画像が選択されたことを検知する。
判断部14Aは、画像Aが格納されている場所を示した第1識別子と、リンク先の画像が格納されている場所を示した第2識別子とに基づき、当該リンク先の画像が格納されている場所の階層が画像Aが格納されている場所の階層より上位の階層であるか否かを判断する。判断部14Aは、リンク先を特定する画像が選択されたことを検知する前に当該判断を行なってもよいし、あるいは当該検知後に当該判断を行なってもよい。
第1識別子および第2識別子は、たとえばURLである。判断部14は、第1識別子であるURLにおける、ホスト名およびパス名と、第2識別子であるURLにおける、ホスト名およびパス名とに基づき、リンク先の画像の階層が画像Aの階層より上位の階層であるか否かを判断する。なお、パス名とは、URLにおいてホスト名に続いて記述される文字列である。パス名は、ディレクトリ名を含む。たとえば、ウェブページWP21のURL「http://www.xyxy.co.jp/corporate/news/08123.html」においては、文字列「corporate/news/08123.html」がパス名に該当する。
リンク先の画像が格納されている場所の階層が画像Aが格納されている場所の階層より上位の階層であると判断された場合、表示制御部11Bは、第1表示領域に表示させる画像を、画像Aからリンク先の画像に切換える。一方、リンク先の画像が格納されている場所の階層が画像Aが格納されている場所の階層より上位の階層でないと判断された場合、表示制御部11Bは、第2表示領域に表示させる画像を、画像Aからリンク先の画像に切換える。
なお、画像Bにリンク先を特定する画像が含まれている場合において、当該画像の表示位置にスタイラスペン等が接触したときも、上述した、画像Aにリンク先を特定する画像が含まれている場合の処理と同様な処理を電子機器2500は行う。
また、切換えの回数は、1回に限定されるものではない。すなわち、切換え処理が一度行なわれた後に、検知部13Aがリンク先を特定する画像の選択を新たに検知した場合、電子機器2500は、切換え処理を再度行うことが好ましい。なお、当該切換え処理の回数は、3回以上であってもよい。
なお、以下では、画像A、画像B、およびリンク先の画像がウェブページであるとして説明する。さらに、第1識別子および第2識別子は、URLとして説明する。
<画面遷移例>
図26は、液晶パネル140の表示領域にウェブページWP31が表示され、液晶パネル240の表示領域にウェブページWP12が表示された状態を示した図である。図26を参照して、ウェブページWP31のURLは、文字列「http://www.xyxy.co.jp/products/index.html」で示される。ウェブページWP31は、リンク先を特定する画像として、たとえば画像LN41〜LN45を含む。
図27は、図26の状態で画像LN41が選択されたことを検知した場合において、各液晶パネル140,240の表示領域に表示される内容を示した図である。図27を参照して、電子機器2500は、液晶パネル140の表示領域に表示させる画像を、ウェブページWP31から、画像LN41に対応するリンク先のウェブページWP11に切換える。このように、液晶パネル140の表示領域に表示させる画像を切換え、液晶パネル240の表示領域に表示させる画像を切換えない理由は、以下のとおりである。
画像LN41に対応するリンク先のウェブページWP11のURLは、文字列「http://www.xyxy.co.jp/index.html」で示される。一方、液晶パネル140の表示領域に表示されているウェブページWP31のURLは、文字列「http://www.xyxy.co.jp/products/index.html」で示される。
そこで、判断部14Aは、URL「http://www.xyxy.co.jp/index.html」におけるホスト名「www.xyxy.co.jp」およびパス名「index.html」と、URL「http://www.xyxy.co.jp/products/index.html」におけるホスト名「www.xyxy.co.jp」およびパス名「products/index.html」とに基づいて、リンク先のウェブページWP11の階層がウェブページWP31の階層より上位の階層であるか否かを判断する。URL「http://www.xyxy.co.jp/index.html」とURL「http://www.xyxy.co.jp/products/index.html」とは、ホスト名が同じである。パス名「index.html」とパス名「products/index.html」とを比較すると、ディレクトリ構造において、パス名「index.html」の方がパス名「products/index.html」よりも上位の階層である。
したがって、電子機器2500は、リンク先のウェブページWP11の階層がウェブページWP31の階層より上位の階層であると判断する。この結果、表示制御部11Bは、液晶パネル140の表示領域に表示させる画像を切換える。
図28は、図26の状態で画像LN42が選択されたことを検知した場合において、各液晶パネル140,240の表示領域に表示される内容を示した図である。図28を参照して、電子機器2500は、液晶パネル240の表示領域に表示させる画像を、ウェブページWP12から、画像LN42に対応するリンク先のウェブページWP32に切換える。このように、液晶パネル240の表示領域に表示させる画像を切換え、液晶パネル140の表示領域に表示させる画像を切換えない理由は、以下のとおりである。
画像LN42に対応するリンク先のウェブページWP32のURLは、文字列「http://www.xyxy.co.jp/products/menu/av/index.html」で示される。一方、液晶パネル140の表示領域に表示されているウェブページWP31のURLは、上述したとおり、文字列「http://www.xyxy.co.jp/products/index.html」で示される。
そこで、判断部14Aは、URL「http://www.xyxy.co.jp/products/menu/av/index.html」におけるホスト名「www.xyxy.co.jp」およびパス名「products/menu/av/index.html」と、URL「http://www.xyxy.co.jp/products/index.html」におけるホスト名「www.xyxy.co.jp」およびパス名「products/index.html」とに基づいて、リンク先のウェブページWP32の階層がウェブページWP31の階層より上位の階層であるか否かを判断する。URL「http://www.xyxy.co.jp/products/menu/av/index.html」とURL「http://www.xyxy.co.jp/products/index.html」とは、ホスト名が同じである。パス名「products/menu/av/index.html」とパス名「products/index.html」とを比較すると、ディレクトリ構造において、パス名「products/index.html」の方がパス名「products/menu/av/index.html」よりも上位の階層である。
したがって、電子機器2500は、リンク先のウェブページWP32の階層がウェブページWP31の階層より上位の階層でないと判断する。この結果、表示制御部11Bは、液晶パネル240の表示領域に表示させる画像を切換える。
<処理フロー>
図29は、電子機器2500の処理のフローを示したフローチャートである。具体的には、図29は、図26から図28で示した画面遷移の処理を示したフローチャートである。
図29を参照して、ステップS41において、電子機器2500は、液晶パネル140の表示領域にウェブページWP31を表示する。ステップS43において、電子機器2500は、液晶パネル240の表示領域にウェブページWP12を表示する。ステップS45において、ウェブページWP31内に表示されたリンク先を特定する画像の表示位置にスタイラスペン等が接触した場合、電子機器2000は、当該画像が選択されたことを検知する。
ステップS47において、電子機器2500は、選択された画像に対応するリンク先のウェブページの階層がウェブページWP31の階層より上位の階層であるか否かを判断する。上位の階層であると判断された場合(S47においてYES)、ステップS49において、電子機器2500は、液晶パネル140の表示領域に表示させる画像を、ウェブページWP31から、選択された画像(たとえば画像LN41)に対応するリンク先のウェブページ(たとえばウェブページWP11)に切換える。上位の階層でないと判断された場合(S47においてNO)、ステップS51において、電子機器2500は、液晶パネル240の表示領域に表示させる画像を、ウェブページWP12から、選択された画像(たとえば画像LN42)に対応するリンク先のウェブページ(たとえばウェブページWP32)に切換える。
<まとめ>
以上のように、電子機器2500は、リンク先を特定する画像を含む第1画像(たとえば画像A)を第1表示領域(たとえば液晶パネル140の表示領域)に表示させ、第2画像(たとえば画像B)を第2表示領域(たとえば液晶パネル240の表示領域)に表示させる表示制御部11Bを備える。また、電子機器2500は、当該リンク先を特定する画像が選択されたことを検知する検知部13Aを備える。さらに、電子機器2500は、第1画像が格納されている場所を示した第1識別子と上記リンク先の画像が格納されている場所を示した第2識別子とに基づき、リンク先の画像が格納されている場所の階層が第1画像が格納されている場所の階層より上位の階層であるか否かを判断する判断部14Aを備える。
リンク先の画像が格納されている場所の階層が第1画像が格納されている場所の階層より上位の階層であると判断された場合、表示制御部11Bは、第1表示領域に表示させる画像を、第1画像からリンク先の画像に切換える。このように、表示制御部11Bは、リンク先の画像を取得して第1表示領域に表示させる画像を、第1画像から当該リンク先の画像に切換えて表示を行わせる。一方、リンク先の画像が格納されている場所の階層が第1画像が格納されている場所の階層より上位の階層でないと判断された場合、表示制御部11Bは、第2表示領域に表示させる画像を、第2画像からリンク先の画像に切換える。このように、表示制御部11Bは、リンク先の画像を取得して第2表示領域に表示させる画像を、第2画像から当該リンク先の画像に切換えて表示させる。
したがって、第1表示領域においてリンク先を特定する画像が選択された場合、リンク先の画像の階層が第1画像の階層より上位の階層でない場合ときには、電子機器2500は、第2画像が表示されている第2表示領域に、当該第2画像の代わりに当該リンク先の画像を表示することができる。
さらに、電子機器2500は、リンク先の画像の階層が第1画像の階層より上位の階層であるか否かに応じて、当該リンク先の画像を表示する表示領域を変更できる。リンク先の画像の階層が第1画像の階層より上位の階層である場合には、電子機器2500は、第1表示領域において第1画像の代わりにリンク先の画像を表示する。したがって、ユーザは、視認することを直近に希望した、第1画像より上位の階層の画像(つまりリンク先の画像)を、第1画像が表示されていた第1表示領域で視認することができる。それゆえ、ユーザは、リンク先が第2表示領域に表示される場合に比べ、目線の移動量が少なくて済む。一方、リンク先の画像の階層が第1画像の階層より上位の階層でない場合には、電子機器2500は、第1画像とリンク先の画像とを互い異なる表示領域において表示する。このため、ユーザは、第1画像と当該第1画像の下位の階層の画像とを視認可能となる。
第1画像および第2画像は、それぞれウェブページであり、第1識別子および第2識別子は、それぞれユニフォームリソースロケータである。したがって、電子機器2500は、WWWに存在する個々の文書を表示対象とできる。
判断部14Aは、第1識別子であるユニフォームリソースロケータにおける、ホスト名およびパス名と、第2識別子であるユニフォームリソースロケータにおける、ホスト名およびパス名とに基づき、リンク先の画像の階層が第1画像の階層より上位の階層であるか否かを判断する。したがって、電子機器2500は、WWWに存在する個々の文書について、画像(文書)の階層の異同を判断できる。
<<具体的な第4実現例>>
第4実現例の電子機器3000(図30参照)は、一方の液晶パネルの表示領域に表示されたリンク先を特定する画像が選択されたことを検知すると、当該選択の際における当該表示領域に対するスタイラスペン等の接触の状態に従って、当該液晶パネルの表示領域に当該リンク先の画像を表示するか、あるいは他方の液晶パネルの表示領域に当該リンク先の画像を表示するかを決定する。そして、電子機器3000は、当該決定に従って、いずれか一方の液晶パネルの表示領域にリンク先の画像を表示する。以下、当該電子機器3000の詳細な構成について説明する。
<機能ブロック>
図30は、電子機器100の機能を一部変更した電子機器3000の機能ブロックを示した図である。図30を参照して、電子機器3000は、制御部10Cと、記憶装置90と、液晶パネル140,240とを備える。制御部10Cは、表示制御部11Cと、データ受付部12と、検知部13Bとを備える。
表示制御部11Cは、記憶装置90内のVRAM(図示せず)に格納された画像データに基づき、液晶パネル140,240の表示領域に画像を表示させる。表示制御部11Cは、液晶パネル140の表示領域において表示されている画像の当該表示領域での位置を示した位置情報と、液晶パネル240の表示領域において表示されている画像の当該表示領域での位置を示した位置情報とを、検知部13Bに送る。
以下では、上述した具体的な第1実現例〜第3実現例と同様、一方の液晶パネル(たとえば液晶パネル140)の表示領域に画像Aが表示され、他方の液晶パネル(たとえば液晶パネル240)の表示領域に画像Bが表示されている場合について説明する。また、上記一方の液晶パネルの表示領域を、「第1表示領域」と称する。さらに、上記他方の液晶パネルの表示領域を、「第2表示領域」と称する。なお、画像Aおよび画像Bは、各表示領域の全体に表示されていてもよいし、一部に表示されていてもよい。画像Aおよび画像Bは、たとえば、ウィンドウ内に表示される。
スタイラスペンやユーザの指900などが液晶パネル140,240の表示領域に接触した場合、当該接触位置に選択可能な画像が表示されているとき、検知部13Bは、上記スキャンデータと上記位置情報とに基づき、当該画像が選択されたことを検知する。
画像Aにリンク先を特定する画像が含まれている場合、検知部13Bは、当該画像の表示位置にスタイラスペン等が接触したことを検出したとき、上記スキャンデータと上記位置情報とに基づき、当該リンク先を特定する画像が選択されたことを検知する。検知部13Bは、当該接触の状態をさらに検知する。検知部13Bは、リンク先を特定する画像が選択されたことを示すデータを、表示制御部11Cに送る。
画像Aにリンク先を特定する画像が含まれている場合であって、上記接触の状態が第1状態であるとき、表示制御部11Cは、第1表示領域に表示させる画像を、画像Aから前記リンク先の画像に切換える。一方、画像Aにリンク先を特定する画像が含まれている場合であって、上記接触の状態が第2状態であるとき、表示制御部11Cは、第2表示領域に表示させる画像を、画像Bから上記リンク先の画像に切換える。
上記第1状態および上記第2状態のいずれか一方の状態(たとえば第1状態)は、たとえば、第1表示領域上をスタイラスペン等が第1表示領域に対して相対的に第1方向(たとえば、右方向)に移動した際の接触の状態である。また、上記いずれか一方の状態とは異なる他方の状態(たとえば第2状態)は、たとえば、第1表示領域上をスタイラスペン等が第1表示領域に対して相対的に第2方向(たとえば、左方向)に移動した際の接触の状態、または第1表示領域上においてスタイラスペン等が停止している際の接触の状態である。
なお、画像Bにリンク先を特定する画像が含まれている場合において、当該画像の表示位置にスタイラスペン等が接触したときも、上述した、画像Aにリンク先を特定する画像が含まれている場合の処理と同様な処理を電子機器3000は行う。
また、切換えの回数は、1回に限定されるものではない。すなわち、切換え処理が一度行なわれた後に、検知部13Bがリンク先を特定する画像の選択を新たに検知した場合、電子機器3000は、切換え処理を再度行うことが好ましい。なお、当該切換え処理の回数は、3回以上であってもよい。
なお、以下では、画像A、画像B、およびリンク先の画像がウェブページであるとして説明する。
<画面遷移>
図31は、液晶パネル140にウェブページWP11が表示され、液晶パネル240にウェブページWP12が表示された状態を示した図である。より詳しくは、図31は、リンク先を特定する画像LN12が表示された領域にスタイラスペン950が接触した状態を示した図である。
検知部13Bは、リンク先を特定する画像LN12が選択されたことを検知する。以下、スタイラスペン950が、液晶パネル140の表示領域上を当該表示領域と接触しつつ、矢印701の方向に移動した場合と、矢印702の方向に移動した場合とに分けて説明する。
図32は、スタイラスペン950が矢印701の方向に移動した場合に、液晶パネル140,240の各表示領域に表示される内容を示した図である。図32を参照して、表示制御部11Cは、液晶パネル140の表示領域にウェブページWP11を表示させ、液晶パネル240の表示領域にウェブページWP13を表示させる。
図33は、スタイラスペン950が矢印702の方向に移動した場合に、液晶パネル140,240の各表示領域に表示される内容を示した図である。図33を参照して、表示制御部11Cは、液晶パネル140の表示領域にウェブページWP13を表示させ、液晶パネル240の表示領域にウェブページWP12を表示させる。
<処理フロー>
図34は、電子機器3000の処理のフローを示したフローチャートである。具体的には、図34は、図31から図33で示した画面遷移の処理を示したフローチャートである。
図34を参照して、ステップS61において、電子機器3000は、液晶パネル140の表示領域にウェブページWP11を表示する。ステップS63において、電子機器3000は、液晶パネル240の表示領域にウェブページWP12を表示する。ステップS65において、ウェブページWP11内に表示されたリンク先を特定する画像LN12の表示位置にスタイラスペン等が接触した場合、電子機器3000は、当該LN12が選択されたことを検知する。
ステップS67において、電子機器3000は、スタイラスペン950の接触の態様が第1状態であるか否かを判断する。第1状態であると判断された場合(S67においてYES)、ステップS69において、電子機器3000は、液晶パネル140の表示領域に表示させる画像を、ウェブページWP11から、画像LN12に対応するウェブページWP13に切換える。一方、第1状態でないと判断された場合(S67においてNO)、ステップS71において、電子機器3000は、液晶パネル240の表示領域に表示させる画像を、ウェブページWP12から、画像LN12に対応するウェブページWP13に切換える。
<まとめ>
以上のように、電子機器3000は、リンク先を特定する画像を含む第1画像(たとえば画像A)を第1表示領域(たとえば液晶パネル140の表示領域)に表示させ、第2画像(たとえば画像B)を第2表示領域(たとえば液晶パネル240の表示領域)に表示させる表示制御部11Cを備える。また、電子機器3000は、当該リンク先を特定する画像が選択されたことを検知する検知部13Bを備える。
検知部13Bは、第1表示領域における、リンク先を特定する画像が表示された位置に物体(たとえばスタイラスペン950)が接触したことを検出することにより、当該リンク先を特定する画像が選択されたことを検知する。さらに、検知部13Bは、上記接触の状態をさらに検知する。接触の状態が第1状態である場合、表示制御部11Cは、第1表示領域に表示させる画像を、第1画像からリンク先の画像に切換える。このように、接触の状態が第1状態である場合、表示制御部11Cは、リンク先の画像を取得して第1表示領域に表示させる画像を、第1画像から当該リンク先の画像に切換えて表示させる。一方、接触の状態が第2状態である場合、表示制御部11Cは、第2表示領域に表示させる画像を、第2画像からリンク先の画像に切換える。このように、接触の状態が第2状態である場合、表示制御部11Cは、リンク先の画像を取得して第2表示領域に表示させる画像を、第2画像からリンク先の画像に切換えて表示させる。
したがって、第1表示領域においてリンク先を特定する画像が選択された場合、上記接触の状態が第2状態のときには、電子機器3000は、第2画像が表示されている第2表示領域に、当該第2画像の代わりに当該リンク先の画像を表示することができる。
さらに、電子機器3000は、物体の接触の状態に応じて、当該リンク先の画像を表示する表示領域を変更できる。当該接触の状態が第1状態である場合には、電子機器3000は、第1表示領域において第1画像の代わりにリンク先の画像を表示する。したがって、ユーザは、視認することを直近に希望した画像(つまりリンク先の画像)を、第1画像が表示されていた第1表示領域で視認することができる。それゆえ、ユーザは、リンク先が第2表示領域に表示される場合に比べ、目線の移動量が少なくて済む。一方、接触の状態が第2状態である場合には、電子機器3000は、第1画像とリンク先の画像とを互い異なる表示領域において表示する。このため、ユーザは、第1画像とリンク先の画像とを視認可能となる。
上記第1状態および上記第2状態のいずれか一方の状態は、第1表示領域上を上記物体が相対的に第1方向に移動した際の接触の状態である。したがって、ユーザは、第1表示領域上において相対的に第1方向に物体(スタイラスペン950や指900等)を移動させた場合、第1表示領域において第1画像の代わりにリンク先の画像を視認することができる。
上記いずれか一方の状態とは異なる他方の状態は、第1表示領域上を上記物体が相対的に第2方向に移動した際の接触の状態、または第1表示領域上において上記物体が停止している際の接触の状態である。したがって、ユーザは、第1表示領域上において相対的に第2方向に物体を移動させた場合、あるいは当該物体を移動させなかった場合、第1画像とリンク先の画像とを互い異なる表示領域において視認することができる。
<具体的な第4実現例の変形例>
図35は、電子機器3000の機能を一部変更した電子機器3000Aの機能ブロックを示した図である。図35を参照して、電子機器3000Aは、制御部10Dと、記憶装置90と、液晶パネル140,240とを備える。制御部10Dは、表示制御部11Dと、データ受付部12と、検知部13Cと、測定部15とを備える。
表示制御部11Dは、記憶装置90内のVRAM(図示せず)に格納された画像データに基づき、液晶パネル140,240の表示領域に画像を表示させる。表示制御部11Dは、液晶パネル140の表示領域において表示されている画像の当該表示領域での位置を示した位置情報と、液晶パネル240の表示領域において表示されている画像の当該表示領域での位置を示した位置情報とを、検知部13Cに送る。
以下では、一方の液晶パネル(たとえば液晶パネル140)の表示領域に画像Aが表示され、他方の液晶パネル(たとえば液晶パネル240)の表示領域に画像Bが表示されている場合について説明する。また、上記一方の液晶パネルの表示領域を、「第1表示領域」と称する。さらに、上記他方の液晶パネルの表示領域を、「第2表示領域」と称する。なお、画像Aおよび画像Bは、各表示領域の全体に表示されていてもよいし、一部に表示されていてもよい。画像Aおよび画像Bは、たとえば、ウィンドウ内に表示される。
スタイラスペン950やユーザの指900などが液晶パネル140,240の表示領域に接触した場合、当該接触位置に選択可能な画像が表示されているとき、検知部13Cは、上記スキャンデータと上記位置情報とに基づき、当該画像が選択されたことを検知する。
画像Aにリンク先を特定する画像が含まれている場合、当該画像の表示位置にスタイラスペン等が接触したとき、検知部13Cは、上記スキャンデータと上記位置情報とに基づき、当該リンク先を特定する画像が選択されたことを検知する。検知部13Cは、リンク先を特定する画像が選択されたことを示すデータを、表示制御部11Dに送る。さらに、検知部13Cは、検知を開始したことを示す情報を測定部15に送る。
測定部15は、スタイラスペン950が、リンク先を特定する画像が表示された位置にスタイラスペン950が接触している時間を測定する。測定部15は、当該時間の情報を表示制御部11Dに送る。
測定時間が予め定められた時間以上である場合、表示制御部11Dは、第1表示領域に表示させる画像を、画像Aからリンク先の画像に切換える。一方、測定時間が上記予め定められた時間未満である場合、表示制御部11Dは、第2表示領域に表示させる画像を、画像Bからリンク先の画像に切換える。
なお、画像Bにリンク先を特定する画像が含まれている場合において、当該画像の表示位置にスタイラスペン等が接触したときも、上述した、画像Aにリンク先を特定する画像が含まれている場合の処理と同様な処理を電子機器3000Aは行う。
また、切換えの回数は、1回に限定されるものではない。すなわち、切換え処理が一度行なわれた後に、検知部13Cがリンク先を特定する画像の選択を新たに検知した場合、電子機器3000Aは、切換え処理を再度行うことが好ましい。なお、当該切換え処理の回数は、3回以上であってもよい。
以上のように、電子機器3000Aは、上記接触した時間を測定する測定部15をさらに備える。上記第1状態は、測定された時間が予め定められた時間以上である場合の接触の状態である。上記第2状態は、上記測定された時間が予め定められた時間未満である場合の接触の状態である。
したがって、ユーザは、たとえばスタイラスペン950や指900等を、第1表示領域上において上記予め定められた時間以上接触させ続けた場合、第1表示領域において第1画像の代わりにリンク先の画像を視認することができる。また、ユーザは、たとえばスタイラスペン950や指900等を、第1表示領域上において上記予め定められた時間以上接触させ続けなかった場合、第1画像とリンク先の画像とを互い異なる表示領域において視認することができる。
なお、電子機器3000Aを、測定時間が上記予め定められた時間以上である場合に、第2表示領域に表示させる画像を画像Bからリンク先の画像に切換え、測定時間が上記予め定められた時間未満である場合、第1表示領域に表示させる画像を画像Aからリンク先の画像に切換える構成に変更してもよい。つまり、上記第1状態が、上記測定された時間が予め定められた時間未満である場合の接触の状態とし、上記第2状態が、測定された時間が予め定められた時間以上である場合の接触の状態としてもよい。
<その他>
ところで、上記の各実現例における画像Aおよび画像Bは、ウェブページに限定されず、ハイパーテキストといった仕組みにおける文書であればよい。リンクは、WWWのURLに限定されず、ハイパーリンクであればよい。
また、各電子機器は、光センサ内蔵液晶パネル140,240の代わりに、他の方式のタッチパネルを備えてもよい。当該他の方式のタッチパネルとしては、静電容量方式のタッチパネルや抵抗膜方式のタッチパネル等の様々な方式のタッチパネルが挙げられる。
また、1つの液晶パネル(たとえば、液晶パネル140)の表示領域が、上述した第1表示領域と第2表示領域とを備えていてもよい。つまり、電子機器が、1つの画面における互いに異なる表示領域のうち、一方に第1画像を表示し、他方に第2画像を表示してもよい。たとえば、電子機器が、1つの画面を左右または上下に2分割し、一方の表示領域に第1画像を表示し、他方の領域に第2画像を表示してもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。