以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
本発明に係る電子機器の一実施態様について、図1から図49を参照して説明すると以下のとおりである。
<電子機器の外観>
図1は、本実施の形態に係る電子機器100の外観を示した図である。図1を参照して、電子機器100は、第1の筐体100Aと第2の筐体100Bとを含む。
第1の筐体100Aと第2の筐体100Bとは、ヒンジ100Cにより折畳み可能に接続されている。第1の筐体100Aは、光センサ内蔵液晶パネル140を備える。第2の筐体100Bは、光センサ内蔵液晶パネル240を備える。このように、電子機器100は、光センサ内蔵液晶パネルを2つ備える。
なお、電子機器100は、PDA(Personal Digital Assistant)、ノート型のパーソナルコンピュータ、携帯型電話機、電子辞書などの表示機能を有する携帯型デバイスとして構成される。
<ハードウェア構成について>
次に、図2を参照して、電子機器100の具体的構成の一態様について説明する。図2は、電子機器100のハードウェア構成を表わすブロック図である。
電子機器100は、第1ユニット1001と、第2ユニット1002とを含む。第2ユニット1002は、電子機器100から着脱可能に第1ユニット1001に接続されている。第1ユニット1001は、本体装置101と、表示装置102とを含む。第2ユニット1002は、表示装置103と、本体装置104とを含む。
第1の筐体100Aは、表示装置102を含む。第2の筐体100Bは、本体装置101を含む。また、第2の筐体100Bは、第2ユニット1002を含む。
(第1ユニットについて)
本体装置101は、CPU(Central Processing Unit)110と、RAM(Random Access Memory)171と、ROM(Read-Only Memory)172と、メモリカードリーダライタ173と、外部通信部174と、マイク175と、スピーカ176と、操作キー177と、電源スイッチ191と、電源回路192と、電源検出部193と、USB(Universal Serial Bus)コネクタ194と、アンテナ195と、LAN(Local Area Network)コネクタ196とを含む。各構成要素(110,171〜177,193)は、相互にデータバスDB1によって接続されている。メモリカードリーダライタ173には、メモリカード1731が装着される。
CPU110は、プログラムを実行する。操作キー177は、電子機器100の使用者による指示の入力を受ける。RAM171は、CPU110によるプログラムの実行により生成されたデータ、または操作キー177を介して入力されたデータを揮発的に格納する。ROM172は、データを不揮発的に格納する。また、ROM172は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどのデータの書込みおよび消去が可能なROMである。
外部通信部174は、他の電子機器と通信を行なう。具体的には、外部通信部174は、USBコネクタ194を介して、たとえば第2ユニット1002と通信を行なう。また、外部通信部174は、アンテナ195を介して、たとえば第2ユニット1002と無線通信を行なう。さらに、外部通信部174は、LANコネクタ196を介して、他の電子機器との間で有線通信を行なう。
なお、本体装置101は、Bluetooth(登録商標)以外の無線通信により、他の電子機器と通信を行なってもよい。たとえば、外部通信部174は、図示しない無線LANアンテナを介して、LANに接続された他の電子機器との間で無線通信を行なってもよい。あるいは、図示しない赤外線ポートを介して、他の電子機器との間で無線通信を行なってもよい。
電源スイッチ191は、電子機器100を起動させるためのスイッチである。
電源スイッチ191がオンすると、電源回路192は、電源検出部193を介して、データバスDB1に接続されている各構成要素と表示装置102とに電力を供給する。また、電源スイッチ191がオンすると、電源回路192は、電源検出部193を介することなく、外部通信部174に電力を供給する。
電源検出部193は、電源回路192からの出力を検出する。また、電源検出部193は、当該検出した出力に関する情報(たとえば、電圧値や電流値)を、CPU110に送る。
USBコネクタ194は、第1ユニット1001を第2ユニット1002に接続するために用いられる。なお、本体装置101は、USBコネクタ194に加えて他のUSBコネクタを備えていてもよい。
第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002にデータを送信する。また、第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002からデータを受信する。さらに、第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002に電力を供給する。
アンテナ195は、第1ユニット1001と、他の通信装置(たとえば第2ユニット1002)との間における、Bluetooth(登録商標)の規格に沿った通信に用いられる。LANコネクタ196は、電子機器100をLANに接続するために用いられる。
表示装置102は、ドライバ130と、光センサ内蔵液晶パネル140(以下、液晶パネル140と称する)と、内部IF178と、バックライト179と、画像処理エンジン180とを含む。
ドライバ130は、液晶パネル140およびバックライト179を駆動するための駆動回路である。ドライバ130に含まれる各種の駆動回路については、後述する。
液晶パネル140は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル140は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル140の詳細については、後述する。
内部IF(Interface)178は、本体装置101と表示装置102との間で、データの遣り取りを仲介する。
バックライト179は、液晶パネル140の裏面に配置された光源である。バックライト179は、当該裏面に対して均一な光を照射する。
画像処理エンジン180は、ドライバ130を介して液晶パネル140の動作を制御する。ここで、当該制御は、内部IF178を介して本体装置101から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン180は、液晶パネル140から出力されるデータを処理し、処理したデータを内部IF178を介して本体装置101に送る。さらに、画像処理エンジン180は、ドライバ制御部181と、タイマ182と、信号処理部183とを含む。
ドライバ制御部181は、ドライバ130に対して制御信号を送ることによりドライバ130の動作を制御する。また、ドライバ制御部181は、本体装置101から送られてくるコマンドを解析する。そして、ドライバ制御部181は、当該解析の結果に基づいた制御信号をドライバ130に送る。ドライバ130の動作の詳細については、後述する。
タイマ182は、時刻情報を生成し、信号処理部183に対して時刻情報を送る。
信号処理部183は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部183は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部183は、当該デジタルデータに対して、本体装置101から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部183は、上記データ処理を行った後のデータと、タイマ182から取得した時刻情報とを含んだデータ(以下、応答データと称する)を本体装置101に送る。また、信号処理部183は、後述するスキャンデータを連続して複数格納できるRAM(図示せず)を備えている。
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する(図7,図8,および図14)。
なお、タイマ182は、必ずしも画像処理エンジン180に備えられている必要はない。たとえば、タイマ182は、表示装置102内における、画像処理エンジン180の外部に備えられていてもよい。あるいは、タイマ182は、本体装置101に備えられていてもよい。また、マイク175およびスピーカ176は、電子機器100が常に備える構成ではなく、電子機器100の実施例によっては、マイク175およびスピーカ176のいずれかあるいは両方を有さない構成であってもよい。
ここで、表示装置102は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル140の周辺機器を当該液晶パネル140のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、液晶パネル140のガラス基板上に一体形成されている。なお、表示装置102が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、上記ガラス基板以外の基板に構成されていてもよい。
(第2ユニットについて)
第2ユニット1002は、第1ユニット1001から電力の供給を受ける。具体的には、後述するUSBコネクタ294と第1ユニット1001のUSBコネクタ194とを接続することにより、第2ユニット1002は、第1ユニット1001の電源回路192から電力の供給を受ける。
本体装置104は、CPU210と、RAM271と、ROM272と、外部通信部274と、電源検出部293と、USBコネクタ294と、アンテナ295と、信号強度検出部297とを含む。各構成要素(210,271,272,274,293)は、相互にデータバスDB2によって接続されている。
CPU210は、プログラムを実行する。RAM271は、CPU210によるプログラムの実行により生成されたデータを揮発的に格納する。ROM272は、データを不揮発的に格納する。また、ROM272は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどのデータの書込みおよび消去が可能なROMである。
外部通信部274は、他の電子機器との間で通信を行なう。具体的には、外部通信部274は、USBコネクタ294を介して、たとえば第1ユニット1001と通信を行なう。また、外部通信部274は、アンテナ295を介して、たとえば第1ユニット1001と通信を行なう。
なお、本体装置104は、Bluetooth(登録商標)以外の無線通信により、他の電子機器(たとえば、第1ユニット1001)と通信を行なってもよい。たとえば、外部通信部274は、図示しない赤外線ポートを介して、他の電子機器との間で無線通信を行なってもよい。
信号強度検出部297は、アンテナ295を介して受信した信号についての強度を検出する。そして、信号強度検出部297は、検出した強度を外部通信部274に送る。
USBコネクタ294は、第2ユニット1002を第1ユニット1001に接続するために用いられる。
第2ユニット1002は、USBコネクタ294を介して、第1ユニット1001にデータを送信する。また、第2ユニット1002は、USBコネクタ294を介して、第1ユニット1001からデータを受信する。さらに、第2ユニット1002は、上述したように、USBコネクタ294を介して、第1ユニット1001から電力の供給を受ける。なお、第2ユニット1002は、第1ユニット1001から供給された電力を、図示しないバッテリに蓄電する。
アンテナ295は、第2ユニット1002と、たとえば第1ユニット1001との間における、Bluetooth(登録商標)の規格に沿った通信に用いられる。
電源検出部293は、USBコネクタ294を介して給電された電力を検出する。また、電源検出部293は、当該検出した電力についての情報を、CPU210に送る。
また、本体装置104は、赤外線通信を行なう機能を備えていてもよい。
表示装置103は、ドライバ230と、光センサ内蔵液晶パネル240(以下、「液晶パネル240」と称する)と、内部IF278と、バックライト279と、画像処理エンジン280とを含む。画像処理エンジン280は、ドライバ制御部281と、タイマ282と、信号処理部283とを含む。
表示装置103は、表示装置102と同様な構成を有する。つまり、ドライバ230、液晶パネル240、内部IF278、バックライト279、および画像処理エンジン280は、表示装置102における、ドライバ130、液晶パネル140、内部IF178、バックライト179、画像処理エンジン180と同じ構成をそれぞれ有する。ドライバ制御部281、タイマ282、および信号処理部283は、表示装置102における、ドライバ制御部181、タイマ182、信号処理部183と同じ構成をそれぞれ有する。したがって、表示装置103に含まれる各機能ブロックについての説明は、繰り返さない。
ところで、電子機器100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM172に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1731その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ173その他の読取装置によりその記憶媒体から読み取られて、あるいは、外部通信部174または通信IF(図示せず)を介してダウンロードされた後、ROM172に一旦格納される。そのソフトウェアは、CPU110によってROM172から読み出され、RAM171に実行可能なプログラムの形式で格納される。CPU110は、そのプログラムを実行する。
図2に示される電子機器100の本体装置101を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM171、ROM172、メモリカード1731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器100の本体装置101のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、記憶媒体としては、メモリカードに限られず、CD−ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
<光センサ内蔵液晶パネルの構成および駆動について>
次に、液晶パネル140の構成と、当該液晶パネル140の周辺回路の構成とについて説明する。図3は、液晶パネル140の構成と、当該液晶パネル140の周辺回路とを示した図である。
図3を参照して、液晶パネル140は、画素回路141と、光センサ回路144と、走査信号線Giと、データ信号線SRjと、データ信号線SGjと、データ信号線SBjと、センサ信号線SSjと、センサ信号線SDjと、読出信号線RWiと、リセット信号線RSiとを含む。なお、iは、1≦i≦mを満たす自然数であり、jは1≦j≦nを満たす自然数である。
また、図2に示した表示装置102のドライバ130は、液晶パネル140の周辺回路として、走査信号線駆動回路131と、データ信号線駆動回路132と、光センサ駆動回路133と、スイッチ134と、アンプ135とを含む。
走査信号線駆動回路131は、図2に示すドライバ制御部181から制御信号TC1を受ける。そして、走査信号線駆動回路131は、制御信号TC1に基づき、各走査信号線(G1〜Gm)に対して、走査信号線G1から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路131は、単位時間毎に走査信号線(G1〜Gm)の中から1つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するTFT(Thin Film Transistor)142のゲートをターンオンできるだけの電圧(以下、ハイレベル電圧)を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
データ信号線駆動回路132は、図2に示すドライバ制御部181から画像データ(DR,DG,DB)を受ける。そして、データ信号線駆動回路132は、3n個のデータ信号線(SR1〜SRn,SG1〜SGn,SB1〜SBn)に対して、上記単位時間毎に、1行分の画像データに対応する電圧を順次印加する。
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
画素回路141は、1つの画素の輝度(透過率)を設定するための回路である。また、画素回路141は、マトリクス状にm×n個配されている。より詳しくは、画素回路141は、図3の縦方向にm個、横方向にn個配されている。
画素回路141は、Rサブピクセル回路141rと、Gサブピクセル回路141gと、Bサブピクセル回路141bとからなる。これら3つの回路(141r,141g,141b)は、それぞれ、TFT142と、画素電極と対向電極とからなる1組の電極対143と、図示しないコンデンサとを含む。
なお、n型のトランジスタとp型のトランジスタとを作れるCMOS(Complementary Metal Oxide Semiconductor)を実現できること、キャリア(電子または正孔)の移動速度がアモルファスシリコン薄膜トランジスタ(a-Si TFT)に比べて数百倍早いことなどから、表示装置102では、TFT142として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、TFT142は、n型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT142がp型チャネルの電界効果トランジスタであってもよい。
Rサブピクセル回路141r内のTFT142のソースはデータ信号線SRjに接続されている。また、当該TFT142のゲートは走査信号線Giに接続されている。さらに、当該TFT142のドレインは、電極対143の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Gサブピクセル回路141gおよびBサブピクセル回路141bについても、各TFT142のソースが接続されるデータ信号線が異なる以外は、Rサブピクセル回路141rと同じ構成である。このため、これら2つの回路(141g,141b)についての説明は、繰り返さない。
ここで、画素回路141における輝度の設定について説明する。まず、走査信号線Giに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、TFT142のゲートがターンオンする。このようにTFT142のゲートがターンオンした状態で、各データ信号線(SRj,SGj,SBj)に対して、それぞれ指定された電圧(1画素分の画像データに対応する電圧)を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ(補助容量)によって、次のフレーム期間において走査信号線Giが選択されるまで保持される。
光センサ駆動回路133は、図2に示すドライバ制御部181から制御信号TC2を受ける。
そして、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎にリセット信号線(RS1〜RSm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDRを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧VSSRを印加したままとする。たとえば、電圧VDDRを0Vに、電圧VSSRを−5Vに設定すればよい。
また、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎に読出信号線(RW1〜RWm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDを印加する。なお、選択されていない読出信号線に対しては、上記電圧VSSRを印加したままとする。たとえば、VDDの値を8Vに設定すればよい。
なお、電圧VDDRを印加するタイミング、および電圧VDDを印加するタイミングについては、後述する。
光センサ回路144は、フォトダイオード145と、コンデンサ146と、TFT147とを含む。なお、以下では、TFT147がn型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT147がp型チャネルの電界効果トランジスタであってもよい。
フォトダイオード145のアノードは、リセット信号線RSiに接続されている。一方、フォトダイオード145のカソードは、コンデンサ146の一方の電極に接続されている。また、コンデンサ146の他方の電極は、読出信号線RWiに接続されている。なお、以下では、フォトダイオード145とコンデンサ146との接続点をノードNと称する。
TFT147のゲートは、ノードNに接続されている。また、TFT147のドレインは、センサ信号線SDjに接続されている。さらに、TFT147のソースは、センサ信号線SSjに接続されている。光センサ回路144を用いたセンシングの詳細については、後述する。
スイッチ134は、センサ信号線(SD1〜SDn)に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ134の切り換え動作は、光センサ駆動回路133により行われる。なお、スイッチ134が導通状態となった場合にセンサ信号線(SD1〜SDn)に印加される電圧については、後述する。
アンプ135は、各センサ信号線(SS1〜SSn)から出力された電圧を増幅する。なお、増幅された電圧は、図2に示した信号処理部183に送られる。
なお、画素回路141を用いて画像を液晶パネル140に表示させるタイミングと、光センサ回路144を用いてセンシングするタイミングとについては、画像処理エンジン180が制御する。
図4は、液晶パネル140とバックライト179との断面図である。図4を参照して、液晶パネル140は、アクティブマトリクス基板151Aと、対向基板151Bと、液晶層152とを含む。対向基板151Bは、アクティブマトリクス基板151Aに対向して配されている。液晶層152は、アクティブマトリクス基板151Aと対向基板151Bとに挟まれている。バックライト179は、アクティブマトリクス基板151Aに関し液晶層152と反対側に配されている。
アクティブマトリクス基板151Aは、偏光フィルタ161と、ガラス基板162と、電極対143を構成する画素電極143aと、フォトダイオード145と、データ信号線157と、配向膜164とを含む。さらに、図4には示していないが、アクティブマトリクス基板151Aは、図3に示した、コンデンサ146と、TFT147と、TFT142と、走査信号線Giとを含む。
また、アクティブマトリクス基板151Aにおいては、バックライト179側から、偏光フィルタ161、ガラス基板162、画素電極143a、および配向膜164が、この順に配されている。フォトダイオード145とデータ信号線157とは、ガラス基板162の液晶層152側に形成されている。
対向基板151Bは、偏光フィルタ161と、ガラス基板162と、遮光膜163と、カラーフィルタ(153r,153g,153b)と、電極対143を構成する対向電極143bと、配向膜164とを含む。
また、対向基板151Bにおいては、液晶層152側から、配向膜164、対向電極143b、カラーフィルタ(153r,153g,153b)、ガラス基板162、および偏光フィルタ161が、この順に配されている。遮光膜163は、カラーフィルタ(153r,153g,153b)と同一の層に形成されている。
カラーフィルタ153rは、赤色の波長の光を透過させるフィルタである。カラーフィルタ153gは、緑色の波長の光を透過させるフィルタである。カラーフィルタ153bは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード145は、カラーフィルタ153bに対向する位置に配されている。
液晶パネル140は、外光やバックライト179などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル140は、画素電極143aと対向電極143bとの間に電圧を印加することにより液晶層152の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ161を配置している。
なお、フォトダイオード145の位置は、上記の位置に限定されるものではなく、カラーフィルタ153rに対向する位置やカラーフィルタ153gに対向する位置に設けることも可能である。
ここで、光センサ回路144の動作について説明する。図5は、光センサ回路144を動作させる際のタイミングチャートを示した図である。図5において、電圧VINTは、光センサ回路144内のノードNにおける電位を示している。また、電圧VPIXは、図3に示したセンサ信号線SSjからの出力電圧であって、アンプ135によって増幅される前の電圧を示している。
以下では、光センサ回路144をリセットするためのリセット期間と、光センサ回路144を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
まず、リセット期間について説明する。リセット期間においては、リセット信号線RSiに印加する電圧を、ローレベル(電圧VSSR)からハイレベル(電圧VDDR)へと瞬間的に切り換える。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。このように、リセット信号線RSiに上記ハイレベルの電圧を印加することにより、フォトダイオード145の順方向(アノード側からカソード側)に電流が流れ始める。その結果、ノードNの電位である電圧VINTは、以下の式(1)で示す値となる。なお、式(1)では、フォトダイオード145における順方向の電圧降下量をVfとしている。
VINT=VSSR+|VDDR−VSSR|−Vf … (1)
それゆえ、ノードNの電位は、図5に示すとおり、電圧VDDRよりもVfだけ小さな値となる。
ここで、電圧VINTは、TFT147のゲートをターンオンさせる閾値以下であるため、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。また、コンデンサ146の電極間には、上記電圧VINT分の差が生じる。このため、コンデンサ146には、当該差に応じた電荷が蓄積される。
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線RSiに印加する電圧は、ハイレベル(電圧VDDR)からローレベル(電圧VSSR)へと瞬間的に切り換わる。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。
このように、リセット信号線RSiに印加する電圧をローレベルに変化させることにより、ノードNの電位は、リセット信号線RSiの電圧および読出信号線RWiの電圧よりも高くなる。このため、フォトダイオード145においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード145は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード145が受光すると、フォトダイオード145のカソード側からアノード側へと電流が流れ始める。その結果、図5に示すとおり、ノードNの電位(つまり、電圧VINT)は時間の経過とともに低くなる。
なお、このように電圧VINTが低下し続けるため、TFT147のゲートはターンオンした状態にはならない。それゆえ、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線RSiに印加する電圧をローレベル(電圧VSSR)のままとする。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)からハイレベル(電圧VDD)へと瞬間的に切り換わる。ここで、電圧VDDは、電圧VDDRよりも高い値である。
このように、読出信号線RWiにハイレベルの電圧を瞬間的に印加することにより、図5に示すとおり、コンデンサ146を介してノードNの電位が引き上げられる。なお、ノードNの電位の上昇幅は、読出信号線RWiに印加する電圧に応じた値となる。ここで、ノードNの電位(つまり、電圧VINT)が、TFT147のゲートをターンオンさせる閾値以上まで引き上げられるため、TFT147のゲートがターンオンする。
この際、TFT147のドレイン側に接続されたセンサ信号線SDj(図3参照)に予め一定電圧を印加しておけば、TFT147のソース側に接続されたセンサ信号線SSjからは、図5のVPIXのグラフに示すとおり、ノードNの電位に応じた電圧が出力される。
ここで、フォトダイオード145が受光する光の量(以下、受光量と称する)が少ないと、図5のVINTのグラフに示す直線の傾きが緩やかになる。その結果、電圧VPIXは、受光量が多い場合に比べて高くなる。このように、光センサ回路144は、フォトダイオード145の受光量に応じて、センサ信号線SSjに出力する電圧の値を変化させる。
ところで、上記においては、m×n個存在する光センサ回路のうち、1つの光センサ回路144に着目して、その動作を説明した。以下では、液晶パネル140における各光センサ回路の動作について説明する。
まず、光センサ駆動回路133は、n個のセンサ信号線(SD1〜SDn)の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路133は、リセット信号線RS1に対して、通常よりもハイレベルな電圧VDDRを印加する。なお、他のリセット信号線(RS2〜RSm)および読出信号線(RW1〜RWm)については、ローレベルの電圧を印加したままの状態とする。これにより、図3における1行目のn個の光センサ回路が、上述したリセット期間に入る。その後、1行目のn個の光センサ回路は、センシング期間に入る。さらに、その後、1行目のn個の光センサ回路は、読出期間に入る。
なお、n個のセンサ信号線(SD1〜SDn)の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
1行目のn個の光センサ回路の読出期間が終了すると、光センサ駆動回路133は、リセット信号線RS2に対して、通常よりもハイレベルな電圧VDDRを印加する。つまり、2行目のn個の光センサ回路のリセット期間に入る。リセット期間が終了すると、2行目のn個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
以降は、上述した処理が、順に、3行目のn個の光センサ回路、4行目のn個の光センサ回路、…m行目のn個の光センサ回路に対して行われる。その結果、センサ信号線(SS1〜SSn)からは、1行目のセンシング結果、2行目のセンシング結果、…、m行目のセンシング結果が、この順に出力される。
なお、表示装置102においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル140から出力される。このため、以下では、液晶パネル140から出力される1行目からm行目までのm行分の電圧に関するデータに対して、信号処理部183が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物(たとえば、ユーザの指)をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
また、上記においては、m×n個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル140の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
以下では、電子機器100が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー177を介した入力などに基づく本体装置101から送られてくるコマンドにより行われるものとする。なお、液晶パネル140の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン180が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー177を介してユーザが指定できる構成としてもよい。
このように、液晶パネル140の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。1つ目は、上記一部の領域(以下、スキャン領域と称する)以外の表面の領域において、画像を表示させる態様である。2つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置101から画像処理エンジン180に送られてくるコマンドに基づく。
図6は、液晶パネル140とバックライト179との断面図であって、スキャンの際にフォトダイオード145がバックライト179からの光を受光する構成を示した図である。
図6を参照して、ユーザの指900が液晶パネル140の表面に接触している場合、バックライト179から発せられた光の一部は、当該接触している領域ではユーザの指900(略平面)にて反射される。そして、フォトダイオード145は、当該反射された光を受光する。
また、指900が接触していない領域においても、バックライト179から発せられた光の一部は、ユーザの指900にて反射される。この場合においても、フォトダイオード145は、当該反射された光を受光する。ただし、当該領域においては液晶パネル140の表面に指900が接触していないため、指900が接触している領域よりも、フォトダイオード145の受光量は少なくなる。なお、バックライト179から発せられた光のうち、ユーザの指900に到達しない光のほとんどについては、フォトダイオード145は受光できない。
ここで、バックライト179を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路144は、ユーザの指900により反射した光の光量に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179の点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
以上により、表示装置102は、指900によって光が反射されることにより得られる像(以下、反射像とも称する)をスキャンすることができる。
なお、指900以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器100の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機EL(Electro-Luminescence)パネルなどの他のパネルを用いてもよい。
なお、液晶パネル240も基本的に液晶パネル140と同様の構造を備えている。
<データについて>
次に、第1ユニット1001と第2ユニット1002との間でやり取りされるコマンド、および第1ユニット1001内の本体装置101と表示装置102との間でやり取りされるコマンドについて説明する。
図7は、コマンドの概略構成を示した図である。図7を参照して、コマンドは、ヘッダDA01と、第1フィールドDA02と、第2フィールドDA03と、第3フィールドDA04と、第4フィールドDA05と、第5フィールドDA06と、予備のデータ領域DA07とを含む。
図8は、種別「000」のコマンド(つまり、センシングコマンド)を説明するための図である。CPU110は、種別「000」のコマンド(以下、「第1コマンド」と称する)を、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU110は、第1コマンドを、本体装置101から表示装置102に送る。なお、以下においては、CPU110が第1コマンドを第1ユニット1001の本体装置101から第2ユニット1002に送る場合を例に挙げて説明する。
CPU110は、ヘッダDA01に、コマンドの種別(「000」)、コマンドの送信先等を書き込む。CPU110は、第1フィールドDA02に、番号が「1」のタイミングの値を書き込む。CPU110は、第2フィールドDA03に、番号が「2」のデータ種別の値を書き込む。CPU110は、第3フィールドDA04に、番号が「3」の読取方式の値を書き込む。CPU110は、第4フィールドDA05に、番号が「4」の画像階調の値を書き込む。CPU110は、第5フィールドDA06に、番号が「5」の解像度の値を書き込む。
第1フィールドDA02に「00」が設定された第1コマンドは、画像処理エンジン280に対して、そのときのスキャンデータの送信を要求する。つまり、センシング第1コマンドは、当該第1コマンドを画像処理エンジン280が受信した後に、液晶パネル240の光センサ回路を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、第1フィールドDA02に「01」が設定された第1コマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、第1フィールドDA02に「10」が設定された第1コマンドは、一定周期毎にスキャンデータの送信を要求する。
第2フィールドDA03に「001」が設定された第1コマンドは、部分画像における中心座標の座標値の送信を要求する。また、第2フィールドDA03に「010」が設定された第1コマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、第2フィールドDA03に「100」が設定された第1コマンドは、全体画像の送信を要求する。
ここで、「全体画像」とは、m×n個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン280により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル240の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
第3フィールドDA04に「00」が設定されたセンシング第1コマンドは、バックライト279を点灯してスキャンすることを要求する。また、第3フィールドDA04に「01」が設定された第1コマンドは、バックライト279を消灯してスキャンすることを要求する。なお、バックライト279を消灯してスキャンする構成については後述する(図17)。さらに、第3フィールドDA04に「10」が設定された第1コマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト279を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。
第4フィールドDA05に「00」が設定された第1コマンドは、白黒の2値の画像データを要求する。また、第4フィールドDA05に「01」が設定された第1コマンドは、多階調の画像データを要求する。さらに、第4フィールドDA05に「10」が設定された第1コマンドは、RGBのカラーの画像データを要求する。
第5フィールドDA06に「0」が設定された第1コマンドは、解像度の高い画像データを要求する。また、第5フィールドDA06に「1」が設定された第1コマンドは、解像度の低い画像データを要求する。
また、上記第1コマンドには、図8に示したデータ以外に、スキャンを行う領域(光センサ回路144を駆動する画素の領域)の指定、スキャンを行うタイミング、バックライト179の点灯のタイミングなどが記述されている。
なお、画像処理エンジン280は、第1コマンドの内容を解析し、当該解析の結果に従ったデータ(つまり、応答データ)を本体装置101に送り返す。
図9は、種別「001」のコマンド(以下、「第2コマンド」と称する)を説明するための図である。CPU110は、第2コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。
CPU110は、ヘッダDA01に、コマンドの種別(「001」)、コマンドの送信先等を書き込む。CPU110は、第1フィールドDA02に、番号が「1」の表示要求の値を書き込む。CPU110は、第2フィールドDA03に、番号が「2」の個数/種類に関する情報を書き込む。CPU110は、第3フィールドDA04に、番号が「3」の表示範囲の値を書き込む。CPU110は、第4フィールドDA05に、番号が「4」の画像データに関する情報を書き込む。
第1フィールドDA02に「001」が設定された第2コマンドは、液晶パネル240(サブ画面)に画像を表示させることを画像処理エンジン280に対して要求する。また、第1フィールドDA02に「010」が設定された第2コマンドは、液晶パネル240にアイコンを表示させることを画像処理エンジン280に対して要求する。さらに、第1フィールドDA02に「011」が設定された第2コマンドは、液晶パネル240に手書領域を表示させることを画像処理エンジン280に対して要求する。
第2フィールドDA03には、液晶パネル240に表示させる画像の個数、および手書言語の種類を指定する番号が格納される。画像処理エンジン280は、当該画像の個数、または言語の種類に応じた処理を行う。
第3フィールドDA04に「01」が設定された第2コマンドは、液晶パネル240における表示範囲を座標にて指定することを、画像処理エンジン280に対して要求する。また、第3フィールドDA04に「10」が設定された第2コマンドは、液晶パネル240における表示範囲を表示領域の全体にすることを、画像処理エンジン280に対して要求する。
第4フィールドDA05には、液晶パネル240に表示させる画像データと、当該画像データを表示する位置情報とが格納される。画像処理エンジン280は、当該位置情報で特定される位置に当該画像データを表示する処理を行う。
図10は、種別「010」のコマンド(以下、「第3コマンド」と称する)を説明するための図である。CPU110は、第3コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU210は、第3コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
CPU110,210は、ヘッダDA01に、コマンドの種別(「001」)、コマンドの送信先等を書き込む。CPU110,210は、第1フィールドDA02に、番号が「1」のOS(Operating System)処理要求の値を書き込む。CPU110,210は、第2フィールドDA03に、番号が「2」のOS情報の値を書き込む。
第1フィールドDA02に「01」または「10」が設定された第3コマンドは、第2ユニット1002から第1ユニット1001に送信される。
第1フィールドDA02に「01」が設定された第3コマンドは、第1ユニット1001に対して、当該第1ユニット1001(メイン装置)のOSの種類を示した情報の送信を要求する。また、第1フィールドDA02に「10」が設定された第3コマンドは、第1ユニット1001に対して、OS情報にて指定されたOSの起動を要求する。
第2フィールドDA03に「000」、「001」、または「010」が設定された第3コマンドは、第2ユニット1002から第1ユニット1001に送信される。
第2フィールドDA03に「000」が設定された第3コマンドは、第1ユニット1001におけるOSの起動を要求しない。また、第2フィールドDA03に「001」が設定された第3コマンドは、第2ユニット1002が第1OSの起動を選択したことを示す。さらに、第2フィールドDA03に「010」が設定された第3コマンドは、第2ユニット1002が第2OSの起動を選択したことを示す。
図11は、種別「011」のコマンド(以下、「第4コマンド」と称する)を説明するための図である。CPU210は、第4コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
CPU210は、ヘッダDA01に、コマンドの種別(「011」)、コマンドの送信先等を書き込む。CPU210は、第1フィールドDA02に、番号が「1」の起動アプリに関する情報を書き込む。CPU210は、第2フィールドDA03に、番号が「2」の起動時情報を書き込む。
第1フィールドDA02には、第1ユニット1001において起動させるアプリを指定する情報が格納される。第2フィールドDA03には、起動設定時に用いる情報、および起動後に用いる情報が格納される。
図12は、種別「100」のコマンド(以下、「第5コマンド」と称する)を説明するための図である。CPU210は、第5コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
CPU210は、ヘッダDA01に、コマンドの種別(「100」)、コマンドの送信先等を書き込む。CPU210は、第1フィールドDA02に、番号が「1」の受信要求に関する情報を書き込む。CPU210は、第2フィールドDA03に、番号が「2」の個数に関する情報を書き込む。CPU210は、第3フィールドDA04に、番号が「3」のファイルに関する情報を書き込む。
第1フィールドDA02に「01」が設定された第5コマンドは、第1ユニット1001に対してファイルの受信を要求する。また、第2フィールドDA03には、第2ユニット1002が第1ユニット1001に送信するファイルの個数が格納される。さらに、第3フィールドDA04には、第2ユニット1002が第1ユニット1001に送信するファイルが格納される。
図13は、種別「101」のコマンド(以下、「第6コマンド」と称する)を説明するための図である。CPU110は、第6コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU210は、第6コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
CPU110,210は、ヘッダDA01に、コマンドの種別(「101」)、コマンドの送信先等を書き込む。CPU110,210は、第1フィールドDA02に、番号が「1」の通信種別の値を書き込む。CPU110,210は、第2フィールドDA03に、番号が「2」の接続先の値を書き込む。CPU110,210は、第3フィールドDA04に、番号が「3」の転送先の値を書き込む。CPU110,210は、第4フィールドDA05に、番号が「4」の信号強度の取得タイミングの値を書き込む。
第1フィールドDA02に「001」が設定された第6コマンドは、相手側の装置に対して赤外線通信を行なうことを要求する。また、第1フィールドDA02に「010」が設定された第6コマンドは、相手側の装置に対してBluetooth(登録商標)による無線通信を行なうことを要求する。さらに、第1フィールドDA02に「011」が設定された第6コマンドは、相手側の装置に対してLAN通信を行なうことを要求する。
第2フィールドDA03に「000」が設定された第6コマンドは、通信の接続先を指定する情報を有していないことを示す。
また、第2フィールドDA03に「001」が設定された第6コマンドは、第1ユニット1001によって、当該第1ユニット1001の接続先の装置に送信される。そのような第6コマンドは、第1ユニット1001が接続する装置に関する情報の送信を要求する。
さらに、第2フィールドDA03に「010」が設定された第6コマンドは、第2ユニット1002によって、当該第2ユニット1002の接続先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002が接続する第1ユニット1001に関する情報の送信を要求する。
また、第2フィールドDA03に「011」が設定された第6コマンドは、第2ユニット1002によって、当該第2ユニット1002の接続先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002に関する情報を接続先の機器情報として設定することを要求する。
さらに、第2フィールドDA03に「100」が設定された第6コマンドは、第1ユニット1001によって、当該第1ユニット1001の接続先の装置(たとえば、第2ユニット1002)に送信される。そのような第6コマンドは、第1ユニット1001に関する情報を接続先の機器情報として設定することを要求する。
第3フィールドDA04に「000」が設定された第6コマンドは、データ(たとえば、ファイル)の転送先を指定する情報を有していないことを示す。
また、第3フィールドDA04に「001」が設定された第6コマンドは、第1ユニット1001によって、データ転送先の装置に送信される。そのような第6コマンドは、データ転送先の装置に関する情報の送信を要求する。
さらに、第3フィールドDA04に「010」が設定された第6コマンドは、第2ユニット1002によって、データ転送先の第1ユニット1001に送信される。そのような第6コマンドは、データ転送先の第1ユニット1001に関する情報の送信を要求する。
また、第3フィールドDA04に「011」が設定された第6コマンドは、第2ユニット1002によって、データ転送先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002に関する情報をデータ転送元の機器情報として設定することを要求する。
さらに、第3フィールドDA04に「100」が設定された第6コマンドは、第1ユニット1001によって、データ転送先の装置(たとえば、第2ユニット1002)に送信される。そのような第6コマンドは、第1ユニット1001に関する情報をデータ転送元の機器情報として設定することを要求する。
第4フィールドDA05に「00」、「01」、「10」、または「11」が設定された第6コマンドは、第1ユニット1001によって、第2ユニット1002に送信される。
第4フィールドDA05に「00」が設定された第6コマンドは、第2ユニット1002に対して、信号強度を示したデータの送信を要求しない。また、第4フィールドDA05に「01」が設定された第6コマンドは、信号強度検出部297に対して、そのときの信号強度を示したデータの送信を要求する。さらに、第4フィールドDA05に「10」が設定された第6コマンドは、信号強度に変化があったときの信号強度を示したデータの送信を要求する。また、第4フィールドDA05に「11」が設定された第6コマンドは、一定周期毎に信号強度を示したデータの送信を要求する。
図14は、応答データの概略構成を示した図である。応答データは、第1コマンド(センシングコマンド)の内容に応じたデータである。
第1コマンドが本体装置101から第2ユニット1002に送信された場合、CPU210は、応答データを、表示装置103から第1ユニット1001に送信する。また、第1コマンドが本体装置101から第1ユニット1001の表示装置102に送信された場合、画像処理エンジン180は、応答データを、画像処理エンジン180から本体装置101に送信する。なお、以下では、第1コマンドが本体装置101から第2ユニット1002に送信された場合を例に挙げて説明する。
図14を参照して、応答データは、ヘッダのデータ領域DA11と、座標を示すデータ領域DA12と、時刻を示すデータ領域DA13と、画像を示すデータ領域DA14とを含む。ここで、座標を示すデータ領域DA12には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン280のタイマ282から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン280により処理がされた後の画像データ(つまり、スキャンデータ)が書き込まれる。
図15は、指900をスキャンすることにより得られた画像(つまり、スキャン画像)を示した図である。図15を参照して、太実線で囲まれた領域W1の画像が全体画像であり、破線で囲まれた領域P1の画像が部分画像である。また、太線で示した十字の中心点C1が、中心座標となる。
本実施の形態では、矩形の領域であって、かつセンサ信号線SSjからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素(つまり、予め定められた階調または予め定められた輝度以上の画素)全てを含む領域を、部分画像の領域としている。
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点(つまり図心)との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
第1コマンドのデータ種別を示すデータ領域に「001」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に上記中心座標の値を書き込む。この場合、画像処理エンジン280は、画像を示すデータ領域DA14には画像データを書き込まない。画像処理エンジン280は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値を含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「001」が設定されている場合には、第1コマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
また、第1コマンドのデータ種別を示すデータ領域に「010」が設定されている場合には、画像処理エンジン280は、画像を示すデータ領域DA14に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン280は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン280は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置104に送る。本体装置104は、当該部分画像の画像データを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「010」が設定されている場合には、第1コマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指900などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
また、第1コマンドのデータ種別を示すデータ領域に「011」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン280は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値と当該部分画像の画像データとを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「011」が設定されている場合には、第1コマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
また、第1コマンドのデータ種別を示すデータ領域に「100」が設定されている場合には、画像処理エンジン280は、図14に示した応答データの画像を示すデータ領域DA14に、全体画像の画像データを書き込む。この場合、画像処理エンジン280は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン280は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置104に送る。本体装置104は、当該全体画像の画像データを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「100」が設定されている場合には、第1コマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
また、第1コマンドのデータ種別を示すデータ領域に「101」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14に全体画像の画像データを書き込む。その後、画像処理エンジン280は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値と当該全体画像の画像データとを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「101」が設定されている場合には、第1コマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
<構成の第1の変形例について>
ところで、液晶パネル140の構成は、図3に示した構成に限定されるものではない。以下では、図3とは異なる態様の液晶パネルについて説明する。
図16は、上記異なる態様である光センサ内蔵液晶パネル140Aの回路図である。図16を参照して、光センサ内蔵液晶パネル140A(以下、液晶パネル140Aと称する)は、1画素内に3つの光センサ回路(144r,144g,144b)を含んでいる。このように液晶パネル140Aが1画素内に3つの光センサ回路(144r,144g,144b)を備える点において、液晶パネル140Aは、1画素内に1つの光センサ回路を備える液晶パネル140と異なる。なお、光センサ回路144の構成と、3つの各光センサ回路(144r,144g,144b)との構成は同じである。
また、1画素内における3つのフォトダイオード(145r,145g,145b)は、それぞれ、カラーフィルタ153r、カラーフィルタ153g、カラーフィルタ153bに対向する位置に配されている。それゆえ、フォトダイオード145rは赤色の光を受光し、フォトダイオード145gは緑色の光を受光し、フォトダイオード145bは青色の光を受光する。
また、液晶パネル140は1画素内において1つの光センサ回路144しか含まないため、1画素内に配設されるTFT147用のデータ信号線は、センサ信号線SSjとセンサ信号線SDjとの2本であった。しかしながら、液晶パネル140Aは1画素内において3つの光センサ回路(144r,144g,144b)を含むため、1画素内に配設されるTFT(147r,147g,147b)用のデータ信号線は6本となる。
具体的には、カラーフィルタ153rに対向する位置に配されたフォトダイオード145rのカソードに接続されたTFT147rに対応して、センサ信号線SSRjとセンサ信号線SDRjとが配設される。また、カラーフィルタ153gに対向する位置に配されたフォトダイオード145gのカソードに接続されたTFT147gに対応して、センサ信号線SSGjとセンサ信号線SDGjとが配設される。さらに、カラーフィルタ153bに対向する位置に配されたフォトダイオード145bのカソードに接続されたTFT147bに対応して、センサ信号線SSBjとセンサ信号線SDBjとが配設される。
このような液晶パネル140Aにおいては、バックライト179から照射された白色光は、3つのカラーフィルタ(153r,153g,153b)を透過し、液晶パネル140Aの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、3つのカラーフィルタ(153r,153g,153b)を透過する。
この際、カラーフィルタ153rは赤色の波長の光を透過し、フォトダイオード145rは、当該赤色の波長の光を受光する。また、カラーフィルタ153gは緑色の波長の光を透過し、フォトダイオード145gは、当該緑色の波長の光を受光する。また、カラーフィルタ153bは青色の波長の光を透過し、フォトダイオード145bは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は3つのカラーフィルタ(153r,153g,153b)によって3原色(R,G,B)に色分解され、各フォトダイオード(145r,145g,145b)は、それぞれに対応した色の光を受光する。
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード(145r,145g,145b)の受光量が各フォトダイオード(145r,145g,145b)で異なることになる。このため、センサ信号線SSRjとセンサ信号線SSGjとセンサ信号線SSBjとの出力電圧は互いに異なる。
それゆえ、各出力電圧に応じて、Rの階調とGの階調とBの階調とを画像処理エンジン180が決定することにより、画像処理エンジン180はRGBのカラー画像を本体装置101へ送ることができる。
以上述べたように、電子機器100が液晶パネル140Aを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
次に、図17を参照して、前述のスキャンの方法(つまり、図6における反射像をスキャンする方法)とは異なるスキャンの方法について説明する。
図17は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。同図に示すとおり、外光の一部は、指900によって遮られる。それゆえ、指900と接触している液晶パネル140の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指900の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
ここで、バックライト179を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路144は、液晶パネル140の表面に対する指900の位置に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179を点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
以上により、表示装置102は、指900によって外光が遮られることにより得られる像(以下、影像とも称する)をスキャンすることができる。
さらに、表示装置102を、バックライト179を点灯させてスキャンを行った後に、バックライト179を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置102を、バックライト179を消灯させてスキャンを行った後に、バックライト179を点灯させて再度スキャンを行う構成としてもよい。
この場合には、2つのスキャン方式を併用することになるため、2つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
<表示装置について>
表示装置103の動作は、表示装置102の動作と同様、本体装置101からのコマンド(たとえば、第1コマンド)に応じて制御される。表示装置103は表示装置102と同様な構成を有する。それゆえ、表示装置103が表示装置102と同じコマンドを本体装置101から受付けた場合、表示装置103は表示装置102と同様の動作を行う。このため、表示装置103の構成や動作についての説明は繰り返さない。
なお、本体装置101は、表示装置102と表示装置103とに対して、命令が異なるコマンドを送ることができる。この場合、表示装置102と表示装置103とは別々の動作を行う。また、本体装置101は、表示装置102および表示装置103のいずれかに対して、コマンドを送ってもよい。この場合、一方の表示装置のみがコマンドに応じた動作を行う。また、本体装置101が、表示装置102と表示装置103とに命令が同じコマンドを送ってもよい。この場合、表示装置102と表示装置103とは、同じ動作を行う。
なお、表示装置102の液晶パネル140のサイズと表示装置103の液晶パネル240のサイズとは、同じであってもよいし又は異なっていてもよい。また、液晶パネル140の解像度と液晶パネル240の解像度とは、同じであってもよいし又は異なっていてもよい。
<構成の第2の変形例について>
本実施の形態では、電子機器100が、液晶パネル140と液晶パネル240といったそれぞれに光センサを内蔵した液晶パネルを備える構成について説明するが、一方の液晶パネルのみが光センサを内蔵している構成であってもよい。
図18は、電子機器1300のハードウェア構成を表すブロック図である。電子機器1300は、電子機器100と同様、第1の筐体100Aと、第2の筐体100Bとを含む。また、図18を参照して、電子機器1300は、第1ユニット1001Aと、第2ユニット1002とを含む。第1ユニット1001Aは、本体装置101と、表示装置102Aとを含む。第2ユニット1002は、本体装置104と、表示装置103とを含む。
表示装置102Aは、光センサを内蔵しない液晶パネル(つまり、表示機能のみを有する液晶パネル)を含む。電子機器1300は、第1ユニット1001Aが光センサを内蔵しない液晶パネルを含む点で、第1ユニット1001が光センサを内蔵した液晶パネル240を含む電子機器100と異なる。このような電子機器1300は、第2ユニット1002の表示装置103を用いて上述したセンシングを行なう。
また、第1ユニット1001は、光センサを内蔵した液晶パネル140の代わりに、たとえば抵抗膜方式や静電容量方式のタッチパネルを備えてもよい。
また、本実施の形態では、表示装置102がタイマ182を備え、表示装置103がタイマ282を備える構成として説明するが、表示装置102と表示装置103とが1つのタイマを共有する構成としてもよい。
また、本実施の形態では、電子機器100を折畳型の機器として説明するが、電子機器100は必ずしも折畳型に限定されるものではない。たとえば、電子機器100は、第1の筐体100Aが第2の筐体100Bに対してスライドする構成のスライド式の機器であってもよい。
本実施の形態に係る電子機器100は、上記のように構成されているため、第2ユニット1002が、USBコネクタ194,294を介して第1ユニット1001に着脱自在になっている。
そして、本実施の形態に係る電子機器100は、たとえば電源投入時において、以下のような機能を発揮することができる。まず、ユーザが第1ユニット1001の電源スイッチ191を押下すると、第1ユニット1001は電源回路192からの電力を利用することによってBIOS(Basic Input/Output System)を起動させる。
第2ユニット1002は、USBコネクタ194,294を介して第1ユニット1001から電力を取得する。第2ユニット1002は、当該電力を利用することによって、第1ユニット1001との間でデータを送受信することができる。このとき、第2ユニット1002のCPU210は、USBコネクタ194,294からの電力を使用することによって、液晶パネル240にOS(Operation System)の種類を選択可能に表示させることができる。
ユーザは、液晶パネル240を介して、起動したいOSを選択する。CPU210は、ユーザの選択に応じ、USBコネクタ194,294を介して第1ユニット1001へと、起動すべきOSを指定するコマンド(たとえば、図10に示す「第1のOS」コマンド)を送信する。第1ユニット1001は、当該コマンドに応じて、OSを起動する。
また、たとえば、第2ユニット1002は、アンテナ295を介して外部の携帯電話などとの間でデータの送受信を行なう。第2ユニット1002のCPU210は、アンテナ295を介して、外部の携帯電話から写真画像データや対応するサムネイルデータを取得して、当該写真画像データや対応するサムネイルデータをRAM271などに格納する。CPU210は、RAM271からサムネイルデータを読み出して、液晶パネル240に写真のサムネイル画像を選択可能に表示させる。
そして、外部からの選択命令に応じて、CPU210は、液晶パネル240に写真画像を表示させる。あるいは、CPU210は、USBコネクタ294を介して、写真画像を液晶パネル140あるいは表示装置102Aに表示させる。
<<具体的な実現例>>
[実施の形態1]
次に、上述の構成を用いる電子機器100の具体的な実現例について説明する。
<電子機器100の機能ブロック>
図19は、電子機器100の機能ブロックを示した図である。図19を参照して、電子機器100は、制御部10と、記憶装置90と、液晶パネル140,240とを備える。制御部10は、表示制御部11と、第1検知部12と、第2検知部13と、解除検知部14と、ファイルオープン部15と、変更部16とを含む。なお、記憶装置90は、RAM171やハードディスク(図示せず)により構成される。
表示制御部11は、記憶装置90内のVRAM(図示せず)に格納された画像データに基づき、液晶パネル140,240に画像を表示させる。また、表示制御部11は、液晶パネル140の表示領域において表示されているアイコンやウィンドウの当該表示領域での位置を示した位置情報を、第1検知部12および第2検知部13に送る。
たとえばユーザの指やスタイラスなどが液晶パネル140の表示領域に接触した場合、第1検知部12は、当該表示領域における点が指定されたことを検知する。第1検知部12は、当該指定された点の座標を表示制御部11に送る。たとえば、第1検知部12は、上述した第1コマンドに対する応答データ(図14参照)に基づいて、部分画像の中心座標(図10)で示される中心点C1(図15参照)が指定されたことを検知する。第1検知部12は、当該中心座標の値を表示制御部11に送る。
また、第1検知部12は、点が指定されたことを示すデータを、第2検知部13に送る。なお、以下では、液晶パネル140の表示領域に接触するものが「指」である場合を例に挙げて説明する。
上記指定された点が、アイコンやウィンドウといった画像(以下、「第2画像」ともいう)と重なる点である場合、第1検知部12は、当該第2画像が選択されたと判断する。第1検知部12は、表示制御部11から取得した上記位置情報に基づき、当該判断を行なう。なお、第2画像が選択されたと判断された場合、表示制御部11は、当該第2画像の表示態様を、当該第2画像が選択されていることを示す態様に変化させることが好ましい。
第2検知部13は、第1検知部12から上記データが送られてきたことを条件に、液晶パネル140の表示領域に表示されているアイコンなどの画像(以下、「第1画像」ともいう)が選択されたことを検知する。
具体的には、上記データが送られてきたことを条件に、ユーザの指が液晶パネル140の表示領域に接触した場合、第2検知部13は、当該表示領域における点が指定されたことを検知する。第2検知部13は、当該位置の座標を表示制御部11に送る。上記指定された点に第1画像が表示されている場合、第2検知部13が、点が指定されたことを検知すると、第2検知部13は、当該第1画像が選択されたと判断する。第2検知部13は、表示制御部11から取得した上記位置情報に基づき、当該判断を行なう。なお、第1画像が選択されたと判断された場合、表示制御部11は、当該第1画像の表示態様を、当該第1画像が選択されていることを示す態様に変化させることが好ましい。
第2検知部13は、さらに、第1画像が選択された状態において、上記選択された第1画像を移動するための操作入力を受け付けたことを検知する。具体的には、第2検知部13は、表示領域に接触している指が表示領域上を移動したことを検知する。なお、第2検知部13は、上述したスキャンデータに基づき、当該移動を検知する。第2検知部13は、操作入力を受け付けたことを検知した場合、操作入力を受け付けたことを示すデータを表示制御部11および変更部16に送る。
表示制御部11は、上記操作入力に基づいて、第1画像の表示位置を、選択された際に表示されていた位置から、上記指定された点に応じた位置に切換える。たとえば、表示制御部11は、第2画像に重なる位置に第1画像を表示させる。また、たとえば、表示制御部11は、ウィンドウ内の領域に第1画像を表示させる。
また、第1画像が1つ選択された状態において、上記選択された第1画像を移動するための操作入力を受け付けていないことを条件に、第2検知部13は、当該表示領域における点が指定されたことを検知する。上記指定された点に他の第1画像が表示されている場合、第2検知部13は、点が指定されたことを検知すると、当該他の第1画像が選択されたと判断する。つまり、第2検知部13は、2つの第1画像が選択されたことを検知する。さらに、当該2つの第1画像に挟まれている他の第1画像が存在する場合、第2検知部13は、当該他の第1画像についても選択されたと判断する。
2つの第1画像が選択されたことが検知された場合、表示制御部11は、上記操作入力に基づいて、2つの第1画像と、当該2つの第1画像に挟まれている上記他の第1画像とを、第2画像に重なる位置に表示させる。
ところで、第1検知部12が第2画像の選択を検知した場合、制御部10は、当該第2画像に関連付けて記憶装置90に格納された当該第2画像の属性を示すデータに基づいて、第2画像がアイコンかウィンドウであるかを判断する。また、制御部10が、第1画像がアイコンであると判断した場合、制御部10は、当該アイコンで特定されるファイルの種類を判断する。たとえば、制御部10は、当該ファイルが、アプリケーションで開くことが可能なファイルであるか、あるいは前記アプリケーションを実行する実行ファイルであるか等を判断する。
また、第2検知部13が第1画像の選択を検知した場合、制御部10は、第1画像がアイコンかウィンドウであるかを判断する。また、制御部10が、第1画像がアイコンであると判断した場合、制御部10は、当該アイコンで特定されるファイルの種類を判断する。たとえば、制御部10は、当該ファイルが、アプリケーションで開くことが可能なファイルであるか、あるいは当該アプリケーションを実行する実行ファイルであるか等を判断する。
アプリケーションで開くことが可能なファイルとは、たとえば、ワードプロセッサのソフトウェアを用いて作成されたファイル、表計算のソフトウェアを用いて作成されたファイル、テキストエディタを用いて作成されたファイルなどが挙げられる。テキストエディタを用いて作成されたファイルの拡張子は、たとえば「txt」となる。また、アプリケーションを実行する実行ファイルとは、たとえば、EXEフォーマットのファイルが挙げられる。なお、EXEフォーマットの場合、ファイルの拡張子は「exe」となる。
解除検知部14およびファイルオープン部15は、第1画像が、アプリケーションで開くことが可能なファイルを示したアイコンであって、第2画像が、上記アプリケーションを実行する実行ファイルのショートカットを示したアイコンである場合に機能する。
解除検知部14は、第2画像の選択が解除されたことを検知する。具体的には、第2画像の選択に用いられていたユーザの指が液晶パネル140の表示領域から離れた場合、解除検知部14は、第2画像の選択が解除されたことを検知する。解除検知部14は、第2画像の選択が解除されたことを検知すると、第2画像の選択が解除されたことを示したデータをファイルオープン部15に送る。
第2画像に重なる位置に第1画像が表示された場合、解除検知部14が上記選択が解除されたことを検知すると、ファイルオープン部15は、上記アプリケーションによってファイルを開く。つまり、ファイルオープン部15は、上記ショートカットのアイコンにより特定されるアプリケーションによって、上記ファイルのアイコンで特定されるファイルを開く。
変更部16は、第1画像が、ファイルを示すアイコンであって、第2画像が、ファイルを格納するフォルダを開いた場合に示されるウィンドウである場合に機能する。表示制御部11が、ウィンドウ内の領域に第1画像を表示させた場合、変更部16は、当該第1画像により特定されるファイルの保存先を、第2画像で特定されるフォルダに変更する。
<操作例1>
アイコンの表示位置の切換えに関する操作例について説明する。以下では、第1画像がファイルを示すアイコンであり、上記指定された点が第2画像と重なる点ではない場合について説明する。
図20は、液晶パネル140の表示領域に、第1画像として、ファイルを示すアイコン401が表示された状態を示した図である。図20を参照して、アイコン401は、表示領域の右上に表示されている。
図21は、ユーザが左手の指900Aを液晶パネル140の表示領域に接触させた状態を示した図である。このように、ユーザが指900Aを表示領域に接触させることにより、第1検知部12は、表示領域における点が指定されたことを検知する。
図22は、指900Aを表示領域に接触させた状態で、ユーザが右手の指900Bを当該表示領域に接触させた状態を示した図である。より詳しくは、図22は、指900Bがアイコン401が表示されている位置に接触している状態を示した図である。このように、ユーザが指900Bをアイコン401が表示されている位置に接触させることにより、第2検知部13は、アイコン401が選択されたことを検知する。以下、表示パネル140と指900Bとが接触した状態で、ユーザが矢印801で示す方向に指900Bを移動させた場合について説明する。
図23は、ユーザが矢印801で示す方向に指900Bを移動させた後の状態を示した図である。より詳しくは、図23は、指900Bの移動後の、アイコン401の移動の態様を模式的に示した図である。図23を参照して、電子機器100は、上記指定された点に応じた位置まで、アイコン401の表示位置を連続的にずらす。つまり、電子機器100は、時間の経過とともにアイコン401の表示位置を変化させる。
なお、図22では、ユーザが矢印801で示す方向(つまり指900Aの方向)に指900Bを移動させているが、指900Bの移動方向は矢印801の方向に限定されるものではない。また、指900Bを移動させる距離については、特に限定されるものではない。たとえば指900Bが1cm動いたときに、電子機器100は、上記指定された点に応じた位置までアイコン401を移動させる指示を受付けたと判断してもよい。
また、指900Bを移動させることによりアイコン401が移動を開始した時点で、ユーザが指900Aおよび指900Bを表示領域から離しても、電子機器100がアイコンの401の移動を継続するように電子機器100を構成してもよい。あるいは、アイコン401が移動を開始した時点で、ユーザが指900Aまたは900Bを表示領域から離しても、電子機器100がアイコンの401の移動を継続するように、電子機器100を構成してもよい。あるいは、アイコン401が移動を開始した後、ユーザが指900Aおよび指900Bを表示領域に接触させ続けなければ、電子機器100がアイコンの401の移動を継続しないように、電子機器100を構成してもよい。あるいは、アイコン401が移動を開始した後、ユーザが指900Aまたは指900Bを表示領域に接触させ続けなければ、電子機器100がアイコンの401の移動を継続しないように、電子機器100を構成してもよい。
図24は、アイコン401の表示位置を連続的にずらす処理が終了した状態を示した図である。図24を参照して、電子機器100は、アイコン401の表示位置を、アイコン401が選択された際に表示されていた位置から、上記指定された点に応じた位置に切換える。以上により、アイコン401の移動処理が完了する。
ここで、「指定された点に応じた位置」とは、たとえば、アイコン401の中心点が、上述したスキャンデータの中心点C1(図10参照)と一致する位置である。あるいは、「指定された点に応じた位置」とは、たとえば、アイコン401の中心点が、上述したスキャンデータの領域P1(図10参照)に含まれる位置である。あるいは、「指定された点に応じた位置」とは、たとえば、アイコン401と上記中心点C1とが重なる位置である。あるいは、「指定された点に応じた位置」とは、たとえば、アイコン401の中心点が上述したスキャンデータの中心点C1から一定距離(例えば、数ドットから数十ドット)以内となる位置である。
<操作例2>
アイコンの表示位置の切換えに関する他の操作例について説明する。以下では、第1画像がファイルを示すアイコンであり、第2画像がファイルを格納するフォルダを開いた場合に表示されるウィンドウである場合について説明する。
図25は、液晶パネル140の表示領域に、第1画像として、ファイルを示すアイコン411,412,413が表示された状態を示した図である。また、図25は、液晶パネル140の表示領域に、第2画像として、ウィンドウ444が表示された状態を示した図である。
図25を参照して、アイコン411は、ウィンドウ441の表示領域441Aに表示されている。また、アイコン412は、ウィンドウ442の表示領域442Aに表示されている。また、アイコン413は、ウィンドウ443の表示領域443Aに表示されている。つまり、アイコン411により特定されるファイルの保存先は、ウィンドウ441で特定されるフォルダである。同様に、アイコン412により特定されるファイルの保存先は、ウィンドウ442で特定されるフォルダである。アイコン413により特定されるファイルの保存先は、ウィンドウ443で特定されるフォルダである。
ウィンドウ444の表示領域444Aには、アイコンが表示されていない。なお、各ウィンドウ441,442,443,444は、フォルダを開いたときに表示されるウィンドウである。また、各表示領域441A,442A,443A,444Aは、ファイルを示すアイコンを表示するために、制御部10により設定された領域である。
図26は、ユーザが左手の指900Aを液晶パネル140の表示領域に接触させた状態を示した図である。このように、ユーザが指900Aを表示領域に接触させることにより、第1検知部12は、表示領域における点が指定されたことを検知する。また、当該位置にウィンドウ444があるため、第1検知部12は、ウィンドウ444が選択されたと判断する。
図27は、指900Aを表示領域に接触させた状態で、ユーザがさらに指900Bを当該表示領域に接触させた状態を示した図である。より詳しくは、図27は、アイコン412が表示されている位置に指900Bが接触している状態を示した図である。このように、ユーザが指900Bを、アイコン412が表示されている位置に接触させることにより、第2検知部13は、アイコン412が選択されたことを検知する。以下、表示パネル140と指900Bとが接触した状態で、ユーザが矢印811で示す方向に指900Bを移動させた場合について説明する。
図28は、ユーザが矢印811で示す方向に指900Bを移動させた後の状態を示した図である。より詳しくは、図28は、当該移動後の、アイコン412の移動の態様を模式的に示した図である。図28を参照して、電子機器100は、上記指定された点に応じた位置まで、アイコン412の表示位置を連続的にずらす。つまり、電子機器100は、時間の経過とともにアイコン412の表示位置を変化させる。
図29は、アイコン412の表示位置を連続的にずらす処理が終了した状態を示した図である。図29を参照して、電子機器100は、アイコン412の表示位置を、アイコン412が選択された際に表示されていた位置から、上記指定された点に応じた位置に切換える。以上により、アイコン412の移動処理が完了する。なお、この場合、変更部16は、アイコン412により特定されるファイルの保存先を、ウィンドウ442で特定されるフォルダから、ウィンドウ444で特定されるフォルダに変更する。
ここで、「指定された点に応じた位置」とは、たとえば、アイコン412がウィンドウ444に重なる位置である。より詳しくは、「指定された点に応じた位置」とは、たとえば、アイコン412の全体が表示領域444Aに重なる位置である。あるいは、「指定された点に応じた位置」とは、たとえば、アイコン412の一部が表示領域444Aに重なる位置である。
<操作例3>
フィルを示すアイコンの表示位置の切換えに関するさらに他の操作例について説明する。以下では、第1画像がファイルを示すアイコンであり、第2画像がアプリケーションを実行する実行ファイルのショートカットを示したアイコンである場合について説明する。
図30は、液晶パネル140の表示領域に、第1画像として、ファイルを示すアイコン421,422,423が表示された状態を示した図である。また、図30は、液晶パネル140の表示領域に、第2画像として、ショートカットを示したアイコン461が表示された状態を示した図である。
図30を参照して、アイコン421は、ウィンドウ451の表示領域451Aに表示されている。また、アイコン422は、ウィンドウ452の表示領域452Aに表示されている。また、アイコン423は、ウィンドウ453の表示領域453Aに表示されている。
つまり、アイコン421により特定されるファイルの保存先は、ウィンドウ451で特定されるフォルダである。同様に、アイコン422により特定されるファイルの保存先は、ウィンドウ452で特定されるフォルダである。アイコン423により特定されるファイルの保存先は、ウィンドウ453で特定されるフォルダである。
なお、各ウィンドウ451,452,453は、フォルダを開いたときに表示されるウィンドウである。また、各表示領域451A,452A,453Aは、ファイルを示すアイコンを表示するために、制御部10により設定された領域である。
図31は、ユーザが指900Aを液晶パネル140の表示領域に接触させた状態を示した図である。このように、ユーザが指900Aを表示領域に接触させることにより、第1検知部12は、表示領域における点が指定されたことを検知する。また、当該位置にアイコン461があるため、第1検知部12は、アイコン461が選択されたと判断する。
図32は、指900Aを表示領域に接触させた状態で、ユーザが指900Bを当該表示領域に接触させた状態を示した図である。より詳しくは、図32は、指900Bがアイコン421が表示されている位置に接触している状態を示した図である。このように、ユーザが指900Bを、アイコン421が表示されている位置に接触させることにより、第2検知部13は、アイコン421が選択されたことを検知する。当該検知の後、表示パネル140と指900Bとが接触した状態で、ユーザが矢印821で示す方向に指900Bを移動させたとする。つまり、電子機器100が、アイコン421を移動するための操作入力を受け付けたとする。
図33は、上記操作入力に基づいて、アイコン421の表示位置を、アイコン421が選択された際に表示されていた位置から、上記指定された点に応じた位置に切換えた後の状態を示した図である。また、図33は、指900Bがアイコン422が表示されている位置に接触している状態を示した図でもある。図33を参照して、アイコン421は、上記指定された点に応じた位置として、アイコン461に重なる位置に表示される。当該表示が行われた後、表示パネル140と指900Bとが接触した状態で、ユーザが矢印822で示す方向に指900Bを移動させたとする。つまり、電子機器100が、アイコン422を移動するための操作入力を受け付けたとする。
図34は、上記操作入力に基づいて、アイコン422の表示位置を、アイコン422が選択された際に表示されていた位置から、上記指定された点に応じた位置に切換えた後の状態を示した図である。また、図34は、指900Bがアイコン423が表示されている位置に接触している状態を示した図でもある。図34を参照して、アイコン422は、上記指定された点に応じた位置として、アイコン461に重なる位置に表示される。また、同図は、アイコン422がアイコン421に重なった状態で表示されている例を示している。当該表示が行われた後、表示パネル140と指900Bとが接触した状態で、ユーザが矢印823で示す方向に指900Bを移動させたとする。つまり、電子機器100が、アイコン423を移動するための操作入力を受け付けたとする。
図35は、上記操作入力に基づいて、アイコン423の表示位置を、アイコン423が選択された際に表示されていた位置から、上記指定された点に応じた位置に切換えた後の状態を示した図である。図35を参照して、アイコン423は、上記指定された点に応じた位置として、アイコン461に重なる位置に表示される。また、同図は、アイコン423がアイコン422に重なった状態で表示されている例を示している。
図36は、図35に示した状態において、指900Aを表示領域から離した場合を示した図である。この場合、解除検知部14は、アイコン461の選択が解除されたことを検知する。当該選択が解除されたことが検知されると、ファイルオープン部15は、各アイコン421,422,423で特定されるファイルを、アイコン461で特定されるアプリケーションを用いて開く。
<操作例4>
アイコンの表示位置の切換えに関するさらに他の操作例について説明する。以下では、第1画像がファイルを示すアイコンであり、第2画像がファイルを格納するフォルダを開いた場合に示されるウィンドウである場合について説明する。
図37は、液晶パネル140の表示領域に、第1画像として、ファイルを示すアイコン431〜436が表示された状態を示した図である。また、図37は、液晶パネル140の表示領域に、第2画像として、ウィンドウ481が表示された状態を示した図である。
図37を参照して、アイコン431〜436は、ウィンドウ471の表示領域471Aに表示されている。つまり、アイコン431〜436により特定されるファイルの保存先は、ウィンドウ471で特定されるフォルダである。ウィンドウ481の表示領域481Aには、アイコンが表示されていない。なお、各ウィンドウ471,481は、フォルダを開いたときに表示されるウィンドウである。また、各表示領域471A,481Aは、ファイルを示すアイコンを表示するために、制御部10により設定された領域である。
図38は、ユーザが指900Aを液晶パネル140の表示領域に接触させた状態を示した図である。このように、ユーザが指900Aを表示領域に接触させることにより、第1検知部12は、表示領域における点が指定されたことを検知する。また、当該位置にウィンドウ481があるため、第1検知部12は、ウィンドウ481が選択されたと判断する。
図39は、指900Aを表示領域に接触させた状態で、ユーザが指900Bを当該表示領域に接触させたのち、ユーザが指900Cを当該表示領域にさらに接触させた状態を示した図である。より詳しくは、図39は、指900Bがアイコン432が表示されている位置に接触しており、かつ指900Cがアイコン434が表示されている位置に接触している状態を示した図である。
このように、ユーザが指900Bおよび指900Cを、それぞれアイコン432およびアイコン434が表示されている位置に接触させることにより、第2検知部13は、図39の点線で示した領域472に存在するアイコン432,433,434が選択されたことを検知する。
図40は、表示パネル140と指900B,900Cとが接触した状態で、指900B,900Cの移動方向を説明するための図である。図40を参照して、ユーザは、指900B,900Cを、矢印831の方向(つまりウィンドウ481に向かう方向)に移動させる。
図41は、ユーザが矢印831で示す方向に指900B,900Cを移動させた後の状態を示した図である。より詳しくは、図41は、当該移動後の、アイコン412の移動の途中の状態を示した図である。電子機器100は、上記指定された点に応じた位置まで、アイコン432〜434の表示位置を矢印832に示す方向に連続的にずらす。つまり、電子機器100は、時間の経過とともにアイコン432〜434の表示位置を変化させる。
図42は、アイコン432〜434の表示位置を連続的にずらす処理が終了した状態を示した図である。図42を参照して、電子機器100は、アイコン432〜434の表示位置を、アイコン432〜434が選択された際に表示されていた位置から、上記指定された点に応じた位置に切換える。以上により、アイコン432〜434の移動処理が完了する。なお、この場合、変更部16は、アイコン432〜434により特定されるファイルの保存先を、ウィンドウ471で特定されるフォルダから、ウィンドウ481で特定されるフォルダに変更する。
ここで、「指定された点に応じた位置」とは、たとえば、各アイコン432〜434がウィンドウ481に重なる位置である。より詳しくは、「指定された点に応じた位置」とは、たとえば、各アイコン432〜434の全体が表示領域481Aに重なる位置である。
<処理フロー>
図43は、電子機器100における処理のフローを示したフローチャートである。図43を参照して、ステップS2において、電子機器100は、液晶パネル140の表示領域における点が指定されたか否かを判断する。点が指定されたと電子機器100が判断した場合(ステップS2においてYES)、ステップS4において、電子機器100は、第1画像が選択されたか否かを判断する。一方、点が指定されていないと電子機器100が判断した場合(ステップS2においてNO)、CPU110は、処理をステップS2の処理に戻す。
第1画像が選択されたと電子機器100が判断した場合(ステップS4においてYES)、ステップS6において、電子機器100は、ユーザの指の移動に基づく操作入力を受け付けたか否かを、第2検知部13による当該操作入力の検知に基づいて判断する。一方、第1画像が選択されていないと電子機器100が判断した場合(ステップS4においてNO)、CPU110は、処理をステップS4の処理に戻す。
操作入力を受け付けたと電子機器100が判断した場合(ステップS6においてYES)、ステップS14において、電子機器100は、第1画像の表示位置を、上記選択された際に表示されていた位置から、指定された点に応じた位置に切換える。ステップS14の処理を実行すると、CPU110は、一連の処理を終了する。操作入力を受け付けていないと判断された場合(ステップS6においてNO)、ステップS8において、電子機器100は、他の第1画像が選択されたか否かを判断する。
他の第1画像が選択されたと電子機器100が判断した場合(ステップS8においてYES)、ステップS10において、電子機器100は、ユーザの指の移動に基づく操作入力を受け付けたか否かを判断する。一方、他の第1画像が選択されていないと電子機器100が判断した場合(ステップS8においてNO)、ステップS16において、CPU110は、表示位置を切換える処理を終了する指示を受け付けたか否かを判断する。処理終了指示を受け付けたとCPU110が判断した場合(ステップS16においてYES)、CPU110は、一連の処理を終了する。一方、処理終了指示を受け付けていないとCPU110が判断した場合(ステップS16においてNO)、CPU110は、処理をステップS6の処理に戻す。
操作入力を受け付けたと電子機器100が判断した場合(ステップS10においてYES)、ステップS12において、電子機器100は、第1画像の表示位置と、他の第1画像の表示位置と、当該2つの第1画像に挟まれている画像の表示位置とを、上記選択された際に表示されていた位置から、指定された点に応じた位置に切換える。ステップS12の処理を実行すると、CPU110は、一連の処理を終了する。一方、操作入力を受け付けていないと電子機器100が判断した場合(ステップS10においてNO)、ステップS18において、CPU110は、表示位置を切換える処理を終了する指示を受け付けたか否かを判断する。
処理終了指示を受け付けたとCPU110が判断した場合(ステップS18においてYES)、CPU110は、一連の処理を終了する。一方、処理終了指示を受け付けていないとCPU110が判断した場合(ステップS18においてNO)、CPU110は、処理をステップS10の処理に戻す。
<実施の形態1のまとめ>
(1)第1検知部12は、表示領域における点が指定されたことを検知する。第2検知部13は、表示領域に表示されている第1画像が選択されたことを検知する。表示制御部11は、選択された第1画像を移動するための操作入力に基づいて、当該第1画像の表示位置を、上記選択された際に表示されていた位置から、上記指定された点に応じた位置に切換える。
したがって、電子機器100は、第1画像の表示位置を、上記選択された際に表示されていた位置から、ユーザによって指定された点に応じた位置に切換える。それゆえ、電子機器100は、ユーザが所望する位置まで、移動対象である画像を正確に移動することができる。
(2)指定された点に第2画像が表示されている場合、第1検知部12は、当該点が指定されたことを検知すると、第2画像が選択されたと判断する。表示制御部11は、操作入力に基づいて、指定された点に応じた位置として第2画像に重なる位置に、第1画像を表示させる。
したがって、指定された点に第2画像が表示されている場合、電子機器100は、操作入力に基づき、第2画像に重なる位置に第1画像を表示することができる。
(3)第1画像は、たとえば、ファイルを示すアイコンである。第2画像は、たとえば、ファイルを格納するフォルダを開いた場合に示されるウィンドウである。この場合、表示制御部11は、操作入力に基づいて、ウィンドウ内の領域に第1画像を表示させる。変更部16は、第1画像により特定されるファイルの保存先をフォルダに変更する。
したがって、第1画像および第2画像の検知と、操作入力とに基づき、電子機器100は、第1画像の表示位置の切換えと、第1画像により特定されるファイルの保存先の変更とを行なう。それゆえ、電子機器100は、いわゆるドラッグ(移動)&ドロップ(離す)とは異なる態様で、ファイルを示すアイコンの表示位置の切換えおよび当該ファイルの保存先の変更を行なうことが可能となる。
(4)第1画像は、たとえば、アプリケーションで開くことが可能なファイルを示したアイコンである。第2画像は、たとえば、アプリケーションを実行する実行ファイルのショートカットを示したアイコンである。解除検知部14は、第2画像の選択が解除されたことを検知する。第2画像に重なる位置に第1画像が表示された場合、選択が解除されたことが検知されると、ファイルオープン部15は、上記アプリケーションによって上記ファイルを開く。
したがって、第1画像が移動された後、第2画像の選択が解除されたことが検知されたことをトリガーとして、電子機器100は、第2画像で特定されるアプリケーションによって第1画像で特定されるファイルを開くことができる。
また、第2画像に重なる位置に第1画像が表示された後であっても、第2画像の選択の解除が検知されない限り、電子機器は、アプリケーションによって第1画像で特定されるファイルを開かない。それゆえ、ユーザは、ファイルを開く前のタッチパネルの表示領域の状態を、ユーザが所望する間、確認することができる。
(5)表示制御部11は、第1画像として、ファイルを示したアイコンを複数表示させる。第2画像に重なる位置に上記複数のアイコンの各々が表示されている場合に、選択が解除されたことが検知されると、ファイルオープン部15は、アプリケーションによって、各アイコンで特定される各ファイルを開く。
したがって、複数の第1画像が移動された後、第2画像の選択が解除されたことが検知されたことをトリガーとして、電子機器100は、第2画像で特定されるアプリケーションによって第1画像で特定されるファイルを複数開くことができる。
このように、電子機器100は、複数のアイコンを連続して第2画像に重なる位置に移動した後、当該各アイコンに対応する各ファイルを一度に開くことが可能となる。
(6)表示制御部11は、第1画像として、複数の画像を表示させる。第2検知部13は、上記複数の画像のうち、2つの画像が選択されたことを検知する。表示制御部11は、第1画像を移動するための操作入力に基づいて、上記2つの画像と、上記複数の画像のうち当該2つの画像に挟まれている画像とを、第2画像に重なる位置に表示させる。
したがって、電子機器100は、上記操作入力に基づき、3つ以上の第1画像を第2画像に重なる位置に同時に移動させることができる。
(7)表示制御部11は、上記切換えの際に、第2画像に重なる位置まで第1画像の表示位置を連続的にずらす。したがって、ユーザは、第1画像が移動していることを視覚により認識できる。
<補足>
(1)第1画像がファイルを示すアイコンであって、第2画像がファイルを格納するフォルダを開いた場合に示されるウィンドウである場合においても、解除検知部14が機能する構成としてもよい。
このような構成の場合、解除検知部14によって第2画像の選択が解除されたことが検知されると、変更部16は、第1画像により特定されるファイルの保存先をフォルダに変更する。
したがって、第1画像および第2画像の検知と、操作入力と、第2画像の選択の解除の検知とに基づき、電子機器100は、第1画像の表示位置の切換えと、第1画像により特定されるファイルの保存先の変更とを行なう。それゆえ、電子機器100は、いわゆるドラッグ(移動)&ドロップ(離す)とは異なる態様で、ファイルを示すアイコンの表示位置の切換えおよび当該ファイルの保存先の変更を行なうことが可能となる。
また、ウィンドウ内の領域に第1画像が表示された後であっても、第2画像の選択の解除が検知されない限り、電子機器100はファイルの保存先を変更しない。それゆえ、ユーザは、ファイルの保存先が変更される前のタッチパネルの表示領域の状態を、ユーザが所望する間、確認することができる。
さらに、当該構成の場合、たとえば上記の操作例2において、電子機器100の動作を以下のように設定できる。電子機器100が、アイコン412の移動が完了する前に指900Bが表示領域から一旦離れたことを検知し、さらに当該移動が完了する前に他のアイコン(たとえばアイコン411またはアイコン413)を移動させる操作を受付けた場合、電子機器100がファイルの保存先を変更するように、電子機器100の動作を設定できる。この場合、電子機器100は、複数のアイコンを連続して同じフォルダへと移動できる。
(2)上記においては、第2画像に重なる位置に第1画像が表示された場合、解除検知部14によって選択が解除されたことが検知されると、ファイルオープン部15は、上記アプリケーションによって上記ファイルを開いた。しかしながら、解除検知部14の上記検知動作に関わらず、ファイルオープン部15は、上記アプリケーションによって上記ファイルを開いてもよい。この構成の場合、第1画像が移動された後、上記選択の解除の検知に関係なく、電子機器100は、第2画像で特定されるアプリケーションによって第1画像で特定されるファイルを開くことができる。
(3)上記においては、液晶パネル140において第1画像の表示位置を切換える構成を例に挙げて説明したが、液晶パネル240において第1画像の表示位置を切換える構成であってもよい。この場合、第1検知部12は、液晶パネル240の表示領域における点が指定されたことを検知する。第2検知部13は、液晶パネル240の表示領域に表示されている第1画像が選択されたことを検知する。表示制御部11は、選択された第1画像を移動するための操作入力に基づいて、当該第1画像の表示位置を、上記選択された際に表示されていた位置から、上記指定された点に応じた位置に切換える。このように、本実施の形態に示した表示位置の切換えを実行するためには、電子機器100が少なくとも1つの液晶パネルを備えていればよい。
(4)また、液晶パネル240において第1画像の表示位置を切換える構成の一例として、電子機器1300(図18参照)を、電子機器100と同様の機能を有する構成としてもよい。
(5)また、上記においては、電子機器100が、表示装置として光センサを内蔵した液晶パネル140,240を備える例を挙げて説明した。しかしながら、表示装置は、光センサを内蔵した液晶パネルに限定されず、多点入力が可能なタッチパネルであればよい。
[実施の形態2]
次に、上述の構成(図1〜図17)を用いる電子機器1100の具体的な実現例について説明する。なお、以下では、電子機器100と同じ部材については、同じ符号を付し、その説明を繰り返さない。
<電子機器1100の機能ブロック>
図44は、電子機器1100の機能ブロックを示した図である。図44を参照して、電子機器1100は、制御部10Aと、記憶装置90と、液晶パネル140,240とを備える。制御部10Aは、表示制御部11と、第1検知部12Aと、第2検知部13Aと、解除検知部14Aと、ファイルオープン部15と、変更部16とを含む。
電子機器1100は、電子機器100の第1検知部12が液晶パネル140の表示領域において位置の指定を受け付けるのに対し、第1検知部12Aが液晶パネル140の表示領域および液晶パネル240の表示領域において位置の指定を受け付ける点で、電子機器100とは異なる。また、電子機器1100は、電子機器100の第2検知部13が液晶パネル140の表示領域において第1画像の選択を検知するのに対し、第2検知部13Aが液晶パネル140の表示領域および液晶パネル240の表示領域において第1画像の選択を検知する点で、電子機器100とは異なる。さらに、電子機器1100は、電子機器100の解除検知部14が液晶パネル140の表示領域において第2画像の選択解除を検知するのに対し、解除検知部14Aが液晶パネル140の表示領域および液晶パネル240の表示領域において第2画像の選択解除を検知する点で、電子機器100とは異なる。
電子機器1100は、上記の構成を備えるため、第1検知部12Aは、一方の液晶パネルの表示領域における点が指定されたことを検知する。また、第2検知部13Aは、他方の液晶パネルの表示領域に表示されている第1画像が選択されたことを検知できる。
表示制御部11は、実施の形態1において述べたとおり、選択された第1画像を移動するための操作入力に基づいて、当該第1画像の表示位置を、選択された際に表示されていた位置から、指定された点に応じた位置に切換える。
たとえば、第1検知部12Aが液晶パネル240の表示領域において点が指定されたことを検知し、かつ第2検知部13Aが液晶パネル140の表示領域に表示されている第1画像の選択を検知した場合、表示制御部11は、液晶パネル140の表示領域に表示されていた第1画像を、上記操作入力に従い、液晶パネル240の表示領域に表示させる。また、第1検知部12Aが液晶パネル140の表示領域において点が指定されたことを検知し、かつ第2検知部13Aが液晶パネル240の表示領域に表示されている第1画像の選択を検知した場合、表示制御部11は、液晶パネル240の表示領域に表示されていた第1画像を、上記操作入力に従い、液晶パネル140の表示領域に表示させる。
<操作例>
アイコンの表示位置の切換えに関する操作例について説明する。以下では、第1画像がファイルを示すアイコンであり、上記指定された点が第2画像と重なる点ではない場合について説明する。
図45は、液晶パネル240の表示領域に、第1画像として、ファイルを示すアイコン431が表示された状態を示した図である。図45を参照して、アイコン431は、液晶パネル240の表示領域の中央付近に表示されている。
図46は、ユーザが指900Aを液晶パネル140の表示領域に接触させた状態を示した図である。このように、ユーザが指900Aを表示領域に接触させることにより、第1検知部12Aは、表示領域における点が指定されたことを検知する。
図47は、指900Aを液晶パネル140の表示領域に接触させた状態で、ユーザが指900B液晶パネル240の表示領域に接触させた状態を示した図である。より詳しくは、図47は、指900Bがアイコン431が表示されている位置に接触している状態を示した図である。このように、ユーザが指900Bを、アイコン431が表示されている位置に接触させることにより、第2検知部13Aは、アイコン431が選択されたことを検知する。以下、表示パネル240と指900Bとが接触した状態で、ユーザが矢印841で示す方向に指900Bを移動させた場合について説明する。
図48は、ユーザが矢印841で示す方向に指900Bを移動させた後の状態を示した図である。より詳しくは、図48は、指900Bの移動後の、アイコン431の移動の態様を模式的に示した図である。図48を参照して、電子機器1100は、上記指定された点に応じた位置まで、アイコン431の表示位置を連続的にずらす。つまり、電子機器1100は、時間の経過とともにアイコン431の表示位置を変化させる。
図49は、アイコン431の表示位置を連続的にずらす処理が終了した状態を示した図である。図49を参照して、電子機器1100は、アイコン431の表示位置を、アイコン431が選択された際に表示されていた位置から、上記指定された点に応じた位置に切換える。以上により、アイコン431の移動処理が完了する。
<まとめ>
第1検知部12Aは、一方の液晶パネルの表示領域における点が指定されたことを検知する。第2検知部13Aは、他方の液晶パネルの表示領域に表示されている第1画像が選択されたことを検知する。表示制御部11は、選択された第1画像を移動するための操作入力に基づいて、当該第1画像の表示位置を、上記選択された際に表示されていた位置から、上記指定された点に応じた位置に切換える。
したがって、電子機器1100は、第1画像の表示位置を、上記選択された際に表示されていた位置から、ユーザによって指定された点に応じた位置に切換える。また、ユーザによって指定された点は上記一方の液晶パネルにおける点であり、上記選択された際に表示されていた位置は上記他方の液晶パネルの位置である。それゆえ、電子機器1100は、上記一方の液晶パネルの表示領域におけるユーザが所望する位置まで、移動対象である画像を正確に移動することができる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。