本発明に係る通信システムの一実施態様について、図1から図73を参照して説明すると以下のとおりである。
<システム構成>
図1は、本実施の形態に係る通信システム1の構成を示した図である。図1を参照して、通信システム1は、カード型の電子機器100と据置型の電子機器200とを含む。
電子機器100および電子機器200は、それぞれ、光センサ内蔵液晶パネルを備えている。電子機器100と電子機器200とは、当該光センサ内蔵液晶パネルを用いて互いに通信を行う。具体的な通信の手法については、後述する。
電子機器100および電子機器200は、たとえば認証に用いられる。この場合、電子機器100は被認証側の機器として動作し、電子機器200は認証側の機器として動作する。電子機器100は、PDA(Personal Digital Assistant)や携帯型電話機などの表示機能を有する携帯型デバイスとして構成される。電子機器200は、コンピュータに接続されるモニタやテレビなどの表示機能を有するデバイスとして構成される。
<ハードウェア構成について−1>
次に、電子機器100の具体的構成の一態様について説明する。図2は、電子機器100のハードウェア構成を表わすブロック図である。図2を参照して、電子機器100は、主たる構成要素として、本体装置101と、表示装置102とを含む。
本体装置101は、CPU(Central Processing Unit)110と、RAM(Random Access Memory)171と、ROM(Read-Only Memory)172と、メモリカードリーダライタ173と、通信部174と、マイク175と、スピーカ176と、操作キー177とを含む。各構成要素は、相互にデータバスDB1によって接続されている。メモリカードリーダライタ173には、メモリカード1731が装着される。
CPU110は、プログラムを実行する。操作キー177は、電子機器100の使用者による指示の入力を受ける。RAM171は、CPU110によるプログラムの実行により生成されたデータ、または操作キー177を介して入力されたデータを揮発的に格納する。ROM172は、データを不揮発的に格納する。また、ROM172は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどの書込みおよび消去が可能なROMである。通信部174は、図示しない他の電子機器との間で無線通信を行う。なお、図2には図示していないが、電子機器100が、他の電子機器に有線により接続するためのインターフェイス(IF)を備える構成としてもよい。
表示装置102は、ドライバ130と、光センサ内蔵液晶パネル140(以下、液晶パネル140と称する)と、内部IF178と、バックライト179と、画像処理エンジン180とを含む。
ドライバ130は、液晶パネル140およびバックライト179を駆動するための駆動回路である。ドライバ130に含まれる各種の駆動回路については、後述する。
液晶パネル140は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル140は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル140の詳細については、後述する。
内部IF(Interface)178は、本体装置101と表示装置102との間で、データの遣り取りを仲介する。
バックライト179は、液晶パネル140の裏面に配置された光源である。バックライト179は、当該裏面に対して均一な光を照射する。
画像処理エンジン180は、ドライバ130を介して液晶パネル140の動作を制御する。ここで、当該制御は、内部IF178を介して本体装置101から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン180は、液晶パネル140から出力されるデータを処理し、処理したデータを内部IF178を介して本体装置101に送る。さらに、画像処理エンジン180は、ドライバ制御部181と、タイマ182と、信号処理部183とを含む。
ドライバ制御部181は、ドライバ130に対して制御信号を送ることによりドライバ130の動作を制御する。また、ドライバ制御部181は、本体装置101から送られてくるコマンドを解析する。そして、ドライバ制御部181は、当該解析の結果に基づいた制御信号をドライバ130に送る。ドライバ130の動作の詳細については、後述する。
タイマ182は、時刻情報を生成し、信号処理部183に対して時刻情報を送る。
信号処理部183は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部183は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部183は、当該デジタルデータに対して、本体装置101から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部183は、上記データ処理を行った後のデータと、タイマ182から取得した時刻情報とを含んだデータ(以下、応答データと称する)を本体装置101に送る。また、信号処理部183は、後述するスキャンデータを連続して複数格納できるRAM(図示せず)を備えている。
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する(図7〜図9)。
なお、タイマ182は、必ずしも画像処理エンジン180に備えられている必要はない。たとえば、タイマ182は、表示装置102内における、画像処理エンジン180の外部に備えられていてもよい。あるいは、タイマ182は、本体装置101に備えられていてもよい。また、マイク175およびスピーカ176は、電子機器100が常に備える構成ではなく、電子機器100の実施例によっては、マイク175およびスピーカ176のいずれかあるいは両方を有さない構成であってもよい。
ここで、表示装置102は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル140の周辺機器を当該液晶パネル140のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、液晶パネル140のガラス基板上に一体形成されている。なお、表示装置102が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、上記ガラス基板以外の基板に構成されていてもよい。
ところで、電子機器100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM172に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1731その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ173その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部174または通信IF(図示せず)を介してダウンロードされた後、ROM172に一旦格納される。そのソフトウェアは、CPU110によってROM172から読み出され、RAM171に実行可能なプログラムの形式で格納される。CPU110は、そのプログラムを実行する。
図2に示される電子機器100の本体装置101を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM171、ROM172、メモリカード1731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器100の本体装置101のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、記憶媒体としては、メモリカードに限られず、CD−ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
<光センサ内蔵液晶パネルの構成および駆動について>
次に、液晶パネル140の構成と、当該液晶パネル140の周辺回路の構成とについて説明する。図3は、液晶パネル140の構成と、当該液晶パネル140の周辺回路とを示した図である。
図3を参照して、液晶パネル140は、画素回路141と、光センサ回路144と、走査信号線Giと、データ信号線SRjと、データ信号線SGjと、データ信号線SBjと、センサ信号線SSjと、センサ信号線SDjと、読出信号線RWiと、リセット信号線RSiとを含む。なお、iは、1≦i≦mを満たす自然数であり、jは1≦j≦nを満たす自然数である。
また、図2に示した表示装置102のドライバ130は、液晶パネル140の周辺回路として、走査信号線駆動回路131と、データ信号線駆動回路132と、光センサ駆動回路133と、スイッチ134と、アンプ135とを含む。
走査信号線駆動回路131は、図2に示すドライバ制御部181から制御信号TC1を受ける。そして、走査信号線駆動回路131は、制御信号TC1に基づき、各走査信号線(G1〜Gm)に対して、走査信号線G1から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路131は、単位時間毎に走査信号線(G1〜Gm)の中から1つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するTFT(Thin Film Transistor)142のゲートをターンオンできるだけの電圧(以下、ハイレベル電圧)を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
データ信号線駆動回路132は、図2に示すドライバ制御部181から画像データ(DR,DG,DB)を受ける。そして、データ信号線駆動回路132は、3n個のデータ信号線(SR1〜SRn,SG1〜SGn,SB1〜SBn)に対して、上記単位時間毎に、1行分の画像データに対応する電圧を順次印加する。
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
画素回路141は、1つの画素の輝度(透過率)を設定するための回路である。また、画素回路141は、マトリクス状にm×n個配されている。より詳しくは、画素回路141は、図3の縦方向にm個、横方向にn個配されている。
画素回路141は、Rサブピクセル回路141rと、Gサブピクセル回路141gと、Bサブピクセル回路141bとからなる。これら3つの回路(141r,141g,141b)は、それぞれ、TFT142と、画素電極と対向電極とからなる1組の電極対143と、図示しないコンデンサとを含む。
なお、n型のトランジスタとp型のトランジスタとを作れるCMOS(Complementary Metal Oxide Semiconductor)を実現できること、キャリア(電子または正孔)の移動速度がアモルファスシリコン薄膜トランジスタ(a-Si TFT)に比べて数百倍早いことなどから、表示装置102では、TFT142として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、TFT142は、n型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT142がp型チャネルの電界効果トランジスタであってもよい。
Rサブピクセル回路141r内のTFT142のソースはデータ信号線SRjに接続されている。また、当該TFT142のゲートは走査信号線Giに接続されている。さらに、当該TFT142のドレインは、電極対143の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Gサブピクセル回路141gおよびBサブピクセル回路141bについても、各TFT142のソースが接続されるデータ信号線が異なる以外は、Rサブピクセル回路141rと同じ構成である。このため、これら2つの回路(141g,141b)についての説明は、繰り返さない。
ここで、画素回路141における輝度の設定について説明する。まず、走査信号線Giに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、TFT142のゲートがターンオンする。このようにTFT142のゲートがターンオンした状態で、各データ信号線(SRj,SGj,SBj)に対して、それぞれ指定された電圧(1画素分の画像データに対応する電圧)を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ(補助容量)によって、次のフレーム期間において走査信号線Giが選択されるまで保持される。
光センサ駆動回路133は、図2に示すドライバ制御部181から制御信号TC2を受ける。
そして、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎にリセット信号線(RS1〜RSm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDRを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧VSSRを印加したままとする。たとえば、電圧VDDRを0Vに、電圧VSSRを−5Vに設定すればよい。
また、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎に読出信号線(RW1〜RWm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDを印加する。なお、選択されていない読出信号線に対しては、上記電圧VSSRを印加したままとする。たとえば、VDDの値を8Vに設定すればよい。
なお、電圧VDDRを印加するタイミング、および電圧VDDを印加するタイミングについては、後述する。
光センサ回路144は、フォトダイオード145と、コンデンサ146と、TFT147とを含む。なお、以下では、TFT147がn型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT147がp型チャネルの電界効果トランジスタであってもよい。
フォトダイオード145のアノードは、リセット信号線RSiに接続されている。一方、フォトダイオード145のカソードは、コンデンサ146の一方の電極に接続されている。また、コンデンサ146の他方の電極は、読出信号線RWiに接続されている。なお、以下では、フォトダイオード145とコンデンサ146との接続点をノードNと称する。
TFT147のゲートは、ノードNに接続されている。また、TFT147のドレインは、センサ信号線SDjに接続されている。さらに、TFT147のソースは、センサ信号線SSjに接続されている。光センサ回路144を用いたセンシングの詳細については、後述する。
スイッチ134は、センサ信号線(SD1〜SDn)に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ134の切り換え動作は、光センサ駆動回路133により行われる。なお、スイッチ134が導通状態となった場合にセンサ信号線(SD1〜SDn)に印加される電圧については、後述する。
アンプ135は、各センサ信号線(SS1〜SSn)から出力された電圧を増幅する。なお、増幅された電圧は、図2に示した信号処理部183に送られる。
なお、画素回路141を用いて画像を液晶パネル140に表示させるタイミングと、光センサ回路144を用いてセンシングするタイミングとについては、画像処理エンジン180が制御する。
図4は、液晶パネル140とバックライト179との断面図である。図4を参照して、液晶パネル140は、アクティブマトリクス基板151Aと、対向基板151Bと、液晶層152とを含む。対向基板151Bは、アクティブマトリクス基板151Aに対向して配されている。液晶層152は、アクティブマトリクス基板151Aと対向基板151Bとに挟まれている。バックライト179は、アクティブマトリクス基板151Aに関し液晶層152と反対側に配されている。
アクティブマトリクス基板151Aは、偏光フィルタ161と、ガラス基板162と、電極対143を構成する画素電極143aと、フォトダイオード145と、データ信号線157と、配向膜164とを含む。さらに、図4には示していないが、アクティブマトリクス基板151Aは、図3に示した、コンデンサ146と、TFT147と、TFT142と、走査信号線Giとを含む。
また、アクティブマトリクス基板151Aにおいては、バックライト179側から、偏光フィルタ161、ガラス基板162、画素電極143a、および配向膜164が、この順に配されている。フォトダイオード145とデータ信号線157とは、ガラス基板162の液晶層152側に形成されている。
対向基板151Bは、偏光フィルタ161と、ガラス基板162と、遮光膜163と、カラーフィルタ(153r,153g,153b)と、電極対143を構成する対向電極143bと、配向膜164とを含む。
また、対向基板151Bにおいては、液晶層152側から、配向膜164、対向電極143b、カラーフィルタ(153r,153g,153b)、ガラス基板162、および偏光フィルタ161が、この順に配されている。遮光膜163は、カラーフィルタ(153r,153g,153b)と同一の層に形成されている。
カラーフィルタ153rは、赤色の波長の光を透過させるフィルタである。カラーフィルタ153gは、緑色の波長の光を透過させるフィルタである。カラーフィルタ153bは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード145は、カラーフィルタ153bに対向する位置に配されている。
液晶パネル140は、外光やバックライト179などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル140は、画素電極143aと対向電極143bとの間に電圧を印加することにより液晶層152の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ161を配置している。
なお、フォトダイオード145の位置は、上記の位置に限定されるものではなく、カラーフィルタ153rに対向する位置やカラーフィルタ153gに対向する位置に設けることも可能である。
ここで、光センサ回路144の動作について説明する。図5は、光センサ回路144を動作させる際のタイミングチャートを示した図である。図5において、電圧VINTは、光センサ回路144内のノードNにおける電位を示している。また、電圧VPIXは、図3に示したセンサ信号線SSjからの出力電圧であって、アンプ135によって増幅される前の電圧を示している。
以下では、光センサ回路144をリセットするためのリセット期間と、光センサ回路144を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
まず、リセット期間について説明する。リセット期間においては、リセット信号線RSiに印加する電圧を、ローレベル(電圧VSSR)からハイレベル(電圧VDDR)へと瞬間的に切り換える。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。このように、リセット信号線RSiに上記ハイレベルの電圧を印加することにより、フォトダイオード145の順方向(アノード側からカソード側)に電流が流れ始める。その結果、ノードNの電位である電圧VINTは、以下の式(1)で示す値となる。なお、式(1)では、フォトダイオード145における順方向の電圧降下量をVfとしている。
VINT=VSSR+|VDDR−VSSR|−Vf … (1)
それゆえ、ノードNの電位は、図5に示すとおり、電圧VDDRよりもVfだけ小さな値となる。
ここで、電圧VINTは、TFT147のゲートをターンオンさせる閾値以下であるため、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。また、コンデンサ146の電極間には、上記電圧VINT分の差が生じる。このため、コンデンサ146には、当該差に応じた電荷が蓄積される。
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線RSiに印加する電圧は、ハイレベル(電圧VDDR)からローレベル(電圧VSSR)へと瞬間的に切り換わる。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。
このように、リセット信号線RSiに印加する電圧をローレベルに変化させることにより、ノードNの電位は、リセット信号線RSiの電圧および読出信号線RWiの電圧よりも高くなる。このため、フォトダイオード145においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード145は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード145が受光すると、フォトダイオード145のカソード側からアノード側へと電流が流れ始める。その結果、図5に示すとおり、ノードNの電位(つまり、電圧VINT)は時間の経過とともに低くなる。
なお、このように電圧VINTが低下し続けるため、TFT147のゲートはターンオンした状態にはならない。それゆえ、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線RSiに印加する電圧をローレベル(電圧VSSR)のままとする。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)からハイレベル(電圧VDD)へと瞬間的に切り換わる。ここで、電圧VDDは、電圧VDDRよりも高い値である。
このように、読出信号線RWiにハイレベルの電圧を瞬間的に印加することにより、図5に示すとおり、コンデンサ146を介してノードNの電位が引き上げられる。なお、ノードNの電位の上昇幅は、読出信号線RWiに印加する電圧に応じた値となる。ここで、ノードNの電位(つまり、電圧VINT)が、TFT147のゲートをターンオンさせる閾値以上まで引き上げられるため、TFT147のゲートがターンオンする。
この際、TFT147のドレイン側に接続されたセンサ信号線SDj(図3参照)に予め一定電圧を印加しておけば、TFT147のソース側に接続されたセンサ信号線SSjからは、図5のVPIXのグラフに示すとおり、ノードNの電位に応じた電圧が出力される。
ここで、フォトダイオード145が受光する光の量(以下、受光量と称する)が少ないと、図5のVINTのグラフに示す直線の傾きが緩やかになる。その結果、電圧VPIXは、受光量が多い場合に比べて高くなる。このように、光センサ回路144は、フォトダイオード145の受光量に応じて、センサ信号線SSjに出力する電圧の値を変化させる。
ところで、上記においては、m×n個存在する光センサ回路のうち、1つの光センサ回路144に着目して、その動作を説明した。以下では、液晶パネル140における各光センサ回路の動作について説明する。
まず、光センサ駆動回路133は、n個のセンサ信号線(SD1〜SDn)の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路133は、リセット信号線RS1に対して、通常よりもハイレベルな電圧VDDRを印加する。なお、他のリセット信号線(RS2〜RSm)および読出信号線(RW1〜RWm)については、ローレベルの電圧を印加したままの状態とする。これにより、図3における1行目のn個の光センサ回路が、上述したリセット期間に入る。その後、1行目のn個の光センサ回路は、センシング期間に入る。さらに、その後、1行目のn個の光センサ回路は、読出期間に入る。
なお、n個のセンサ信号線(SD1〜SDn)の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
1行目のn個の光センサ回路の読出期間が終了すると、光センサ駆動回路133は、リセット信号線RS2に対して、通常よりもハイレベルな電圧VDDRを印加する。つまり、2行目のn個の光センサ回路のリセット期間に入る。リセット期間が終了すると、2行目のn個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
以降は、上述した処理が、順に、3行目のn個の光センサ回路、4行目のn個の光センサ回路、…m行目のn個の光センサ回路に対して行われる。その結果、センサ信号線(SS1〜SSn)からは、1行目のセンシング結果、2行目のセンシング結果、…、m行目のセンシング結果が、この順に出力される。
なお、表示装置102においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル140から出力される。このため、以下では、液晶パネル140から出力される1行目からm行目までのm行分の電圧に関するデータに対して、信号処理部183が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物(たとえば、ユーザの指)をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
また、上記においては、m×n個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル140の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
以下では、電子機器100が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー177を介した入力などに基づく本体装置101から送られてくるコマンドにより行われるものとする。なお、液晶パネル140の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン180が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー177を介してユーザが指定できる構成としてもよい。
このように、液晶パネル140の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。1つ目は、上記一部の領域(以下、スキャン領域と称する)以外の表面の領域において、画像を表示させる態様である。2つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置101から画像処理エンジン180に送られてくるコマンドに基づく。
図6は、液晶パネル140とバックライト179との断面図であって、スキャンの際にフォトダイオード145がバックライト179からの光を受光する構成を示した図である。
図6を参照して、ユーザの指900が液晶パネル140の表面に接触している場合、バックライト179から発せられた光の一部は、当該接触している領域ではユーザの指900(略平面)にて反射される。そして、フォトダイオード145は、当該反射された光を受光する。
また、指900が接触していない領域においても、バックライト179から発せられた光の一部は、ユーザの指900にて反射される。この場合においても、フォトダイオード145は、当該反射された光を受光する。ただし、当該領域においては液晶パネル140の表面に指900が接触していないため、指900が接触している領域よりも、フォトダイオード145の受光量は少なくなる。なお、バックライト179から発せられた光のうち、ユーザの指900に到達しない光のほとんどについては、フォトダイオード145は受光できない。
ここで、バックライト179を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路144は、ユーザの指900により反射した光の光量に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179の点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
以上により、表示装置102は、指900によって光が反射されることにより得られる像(以下、反射像とも称する)をスキャンすることができる。
なお、指900以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器100の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機EL(Electro-Luminescence)パネルなどの他のパネルを用いてもよい。
<データについて>
次に、センシングコマンドについて説明する。なお、表示装置102においては、画像処理エンジン180は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ(つまり、応答データ)を本体装置101に送り返す。
図7は、センシングコマンドの概略構成を示した図である。図7を参照して、センシングコマンドは、ヘッダのデータ領域DA01と、タイミングを示すデータ領域DA02と、データ種別を示すデータ領域DA03と、読取方式を示すデータ領域DA04と、画像階調を示すデータ領域DA05と、解像度を示すデータ領域DA06と、予備のデータ領域DA07とを含む。
図8は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
図8を参照して、タイミングを示すデータ領域に「00」が設定されたセンシングコマンドは、画像処理エンジン180に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン180が受信した後に、光センサ回路144を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「01」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「10」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
データ種別を示すデータ領域に「001」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「010」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「100」が設定されたセンシングコマンドは、全体画像の送信を要求する。
ここで、「全体画像」とは、m×n個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン180により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル140の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
読取方式を示すデータ領域に「00」が設定されたセンシングコマンドは、バックライト179を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「01」が設定されたセンシングコマンドは、バックライト179を消灯してスキャンすることを要求する。なお、バックライト179を消灯してスキャンする構成については後述する(図12)。さらに、読取方式を示すデータ領域に「10」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト179を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。
画像階調を示すデータ領域に「00」が設定されたセンシングコマンドは、白黒の2値の画像データを要求する。また、画像階調を示すデータ領域に「01」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「10」が設定されたセンシングコマンドは、RGBのカラーの画像データを要求する。
解像度を示すデータ領域に「0」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「1」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
また、センシングコマンドには、図7および図8に示したデータ以外に、スキャンを行う領域(光センサ回路144を駆動する画素の領域)の指定、スキャンを行うタイミング、バックライト179の点灯のタイミングなどが記述されている。
図9は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示装置102の画像処理エンジン180が本体装置101に対して送信するデータである。
図9を参照して、応答データは、ヘッダのデータ領域DA11と、座標を示すデータ領域DA12と、時刻を示すデータ領域DA13と、画像を示すデータ領域DA14とを含む。ここで、座標を示すデータ領域DA12には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン180のタイマ182から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン180により処理がされた後の画像データ(つまり、スキャンデータ)が書き込まれる。
図10は、指900をスキャンすることにより得られた画像(つまり、スキャン画像)を示した図である。図10を参照して、太実線で囲まれた領域W1の画像が全体画像であり、破線で囲まれた領域P1の画像が部分画像である。また、太線で示した十字の中心点C1が、中心座標となる。
本実施の形態では、矩形の領域であって、かつセンサ信号線SSjからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素(つまり、予め定められた階調または予め定められた輝度以上の画素)全てを含む領域を、部分画像の領域としている。
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点(つまり図心)との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
センシングコマンドのデータ種別を示すデータ領域に「001」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に上記中心座標の値を書き込む。この場合、画像処理エンジン180は、画像を示すデータ領域DA14には画像データを書き込まない。画像処理エンジン180は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「001」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
また、センシングコマンドのデータ種別を示すデータ領域に「010」が設定されている場合には、画像処理エンジン180は、画像を示すデータ領域DA14に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン180は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン180は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「010」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指900などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
また、センシングコマンドのデータ種別を示すデータ領域に「011」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン180は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「011」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
また、センシングコマンドのデータ種別を示すデータ領域に「100」が設定されている場合には、画像処理エンジン180は、図9に示した応答データの画像を示すデータ領域DA14に、全体画像の画像データを書き込む。この場合、画像処理エンジン180は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン180は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「100」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
また、センシングコマンドのデータ種別を示すデータ領域に「101」が設定されている場合には、画像処理エンジン180は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14に全体画像の画像データを書き込む。その後、画像処理エンジン180は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置101に送る。このように、データ種別を示すデータ領域に「101」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
<変形例について>
ところで、液晶パネル140の構成は、図3に示した構成に限定されるものではない。以下では、図3とは異なる態様の液晶パネルについて説明する。
図11は、上記異なる態様である光センサ内蔵液晶パネル140Aの回路図である。図11を参照して、光センサ内蔵液晶パネル140A(以下、液晶パネル140Aと称する)は、1画素内に3つの光センサ回路(144r,144g,144b)を含んでいる。このように液晶パネル140Aが1画素内に3つの光センサ回路(144r,144g,144b)を備える点において、液晶パネル140Aは、1画素内に1つの光センサ回路を備える液晶パネル140と異なる。なお、光センサ回路144の構成と、3つの各光センサ回路(144r,144g,144b)との構成は同じである。
また、1画素内における3つのフォトダイオード(145r,145g,145b)は、それぞれ、カラーフィルタ153r、カラーフィルタ153g、カラーフィルタ153bに対向する位置に配されている。それゆえ、フォトダイオード145rは赤色の光を受光し、フォトダイオード145gは緑色の光を受光し、フォトダイオード145bは青色の光を受光する。
また、液晶パネル140は1画素内において1つの光センサ回路144しか含まないため、1画素内に配設されるTFT147用のデータ信号線は、センサ信号線SSjとセンサ信号線SDjとの2本であった。しかしながら、液晶パネル140Aは1画素内において3つの光センサ回路(144r,144g,144b)を含むため、1画素内に配設されるTFT(147r,147g,147b)用のデータ信号線は6本となる。
具体的には、カラーフィルタ153rに対向する位置に配されたフォトダイオード145rのカソードに接続されたTFT147rに対応して、センサ信号線SSRjとセンサ信号線SDRjとが配設される。また、カラーフィルタ153gに対向する位置に配されたフォトダイオード145gのカソードに接続されたTFT147gに対応して、センサ信号線SSGjとセンサ信号線SDGjとが配設される。さらに、カラーフィルタ153bに対向する位置に配されたフォトダイオード145bのカソードに接続されたTFT147bに対応して、センサ信号線SSBjとセンサ信号線SDBjとが配設される。
このような液晶パネル140Aにおいては、バックライト179から照射された白色光は、3つのカラーフィルタ(153r,153g,153b)を透過し、液晶パネル140Aの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、3つのカラーフィルタ(153r,153g,153b)を透過する。
この際、カラーフィルタ153rは赤色の波長の光を透過し、フォトダイオード145rは、当該赤色の波長の光を受光する。また、カラーフィルタ153gは緑色の波長の光を透過し、フォトダイオード145gは、当該緑色の波長の光を受光する。また、カラーフィルタ153bは青色の波長の光を透過し、フォトダイオード145bは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は3つのカラーフィルタ(153r,153g,153b)によって3原色(R,G,B)に色分解され、各フォトダイオード(145r,145g,145b)は、それぞれに対応した色の光を受光する。
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード(145r,145g,145b)の受光量が各フォトダイオード(145r,145g,145b)で異なることになる。このため、センサ信号線SSRjとセンサ信号線SSGjとセンサ信号線SSBjとの出力電圧は互いに異なる。
それゆえ、各出力電圧に応じて、Rの階調とGの階調とBの階調とを画像処理エンジン180が決定することにより、画像処理エンジン180はRGBのカラー画像を本体装置101へ送ることができる。
以上述べたように、電子機器100が液晶パネル140Aを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
次に、図6を参照して説明したスキャンの方法(つまり、反射像をスキャンする方法)とは異なるスキャンの方法について、図12を参照して説明する。
図12は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図12を参照して、外光の一部は、指900によって遮られる。それゆえ、指900と接触している液晶パネル140の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指900の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
ここで、バックライト179を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路144は、液晶パネル140の表面に対する指900の位置に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179を点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
以上により、表示装置102は、指900によって外光が遮られることにより得られる像(以下、影像とも称する)をスキャンすることができる。
さらに、表示装置102を、バックライト179を点灯させてスキャンを行った後に、バックライト179を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置102を、バックライト179を消灯させてスキャンを行った後に、バックライト179を点灯させて再度スキャンを行う構成としてもよい。
この場合には、2つのスキャン方式を併用することになるため、2つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
<ハードウェア構成について−2>
次に、電子機器200の具体的構成の一態様について説明する。図13は、電子機器200のハードウェア構成を表わすブロック図である。図13を参照して、電子機器200は、主たる構成要素として、本体装置201と、表示装置202とを含む。
本体装置201は、CPU210と、RAM271と、ROM272と、CD−ROM駆動装置273と、通信IF274と、マイク275と、スピーカ276と、操作キー277と、HDD(Hard disk drive)299とを含む。各構成要素は、相互にデータバスDB2によって接続されている。CD−ROM駆動装置273には、CD−ROM2731が装着される。
CPU210は、プログラムを実行する。操作キー277は、電子機器200の使用者による指示の入力を受ける。RAM271は、CPU210によるプログラムの実行により生成されたデータ、または操作キー277を介して入力されたデータを揮発的に格納する。ROM272は、データを不揮発的に格納する。通信IF274は、他の電子機器に有線により接続するためのインターフェイスである。たとえば、通信IF274に無線通信機を接続することにより、電子機器200は無線通信を行うこともできる。HDD299は、プログラム、およびCPU210によるプログラムの実行により生成されたデータを不揮発的に格納する。
表示装置202は、ドライバ230と、光センサ内蔵液晶パネル240と、内部IF278と、バックライト279と、画像処理エンジン280とを含む。さらに、画像処理エンジン280は、ドライバ制御部281と、タイマ282と、信号処理部283とを含む。
表示装置202は、光センサ内蔵液晶パネルにおける画素数、走査信号線およびデータ信号線の数、バックライトの大きさなどが異なる点を除けば、電子機器100の表示装置102と略同様な構成を有する。
つまり、ドライバ230、光センサ内蔵液晶パネル240、内部IF278、バックライト279、画像処理エンジン280は、表示装置102における、ドライバ130、液晶パネル140、内部IF178、バックライト179、画像処理エンジン180と同じ構成をそれぞれ有する。また、ドライバ制御部281、タイマ282、信号処理部283は、表示装置102における、ドライバ制御部181、タイマ182、信号処理部183と同じ構成をそれぞれ有する。
したがって、表示装置202に含まれる各機能ブロックについての説明は、繰り返さない。
ところで、電子機器200における処理は、各ハードウェアおよびCPU210により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM272またはHDD299に予め記憶されている場合がある。また、ソフトウェアは、CD−ROM2731その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、CD−ROM駆動装置273その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信IF274または図示しない通信部を介してダウンロードされた後、ROM272またはHDD299に一旦格納される。そのソフトウェアは、CPU210によってROM272またはHDD299から読み出され、RAM271に実行可能なプログラムの形式で格納される。CPU210は、そのプログラムを実行する。
図13に示される電子機器200の本体装置201を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM271、ROM272、HDD299、CD−ROM2731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器200の本体装置201のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、記録媒体としては、CD−ROMに限られず、メモリカード、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
なお、本実施の形態においては、電子機器200の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機ELパネルなどの他のパネルを用いてもよい。
<ハード構成の詳細>
次に、電子機器100の画像処理エンジン180のハードウェア構成の詳細について説明する。図14は、画像処理エンジン180のハードウェア構成の詳細と、画像処理エンジン180の周辺ブロックとを示した図である。なお、図14においては、本体装置101の各ブロックのうちCPU110のみを示し、他の部材についてはは示さない。また、図14においては、表示装置102における、内部IF178およびバックライト179についても示さない。
図14を参照して、画像処理エンジン180のドライバ制御部181は、送信コントローラ1811と、VRAM(Video RAM)1812と、ROM1813とを含む。
VRAM1812は、液晶パネル140に表示する内容を記憶する。具体的には、VRAM1812は、CPU110から送られてきた画像データを記憶する。送信コントローラ1811は、VRAM1812に格納された画像データをドライバ130に送信する。以上により、液晶パネル140に画像を表示することが可能となる。ROM1813は、後述するデバイス情報などの双方向通信時に必要となる情報を予め記憶している。
信号処理部183は、A/D変換器1831と、受信コントローラ1832と、VRAM1833とを含む。
A/D変換器1831は、光センサ回路144から出力されるデータ(アナログデータ)をデジタルデータに変換する。そして、当該デジタルデータは、受信コントローラ1832によりVRAM1833に順次記憶される。そして、VRAM1833に記憶された画像データ(スキャンデータ)は、信号処理部183によってCPU110に送られる。
なお、VRAM1812とVRAM1833とを、1つのVRAMで構成してもよい。
また、電子機器200の画像処理エンジン280についても、電子機器100の画像処理エンジン180と同様な構成を有する。そのため、画像処理エンジン280についての説明は繰り返さない。
<カード型の電子機器100の機能ブロック>
次に、電子機器100の機能ブロックについて説明する。図15は、電子機器100の機能ブロックを示した機能ブロック図である。
図15を参照して、電子機器100は、液晶パネル140と、制御部10と、記憶装置49と、操作キー177とを含む。なお、記憶装置49は、図2に示したRAM171およびROM172に該当する。また、図15においては、CPU110と、メモリカードリーダライタ173と、通信部174と、マイク175と、スピーカ176とは、説明の便宜上、図示していない。
制御部10は、電子機器100における各種動作を制御する。また、制御部10は、表示制御部11と、受信部12と、第1設定部13と、第2設定部14とを含む。なお、制御部10および制御部10内の各機能ブロックによる処理は、上述したように、CPU110により実行されるソフトウェアによって実現される。
ここで、制御部10の各機能ブロックについて、説明する。
表示制御部11は、操作キー177を介したユーザからの指示や、受信部12からの指示等に従って、液晶パネル140の表示面に画像を表示させる。表示制御部11は、液晶パネル140に、大別して、電子機器200との通信に用いる通信用の画像と、通信用ではない画像(以下、「表示用の画像」と称する)とを表示させる。なお、以下では、電子機器100の表示面と電子機器200の表示面とが対向した状態を「対向状態」と称する。
表示制御部11は、対向状態にある電子機器200にデータを送信する場合、当該データを自機器100の液晶パネル140の表示面に画像として表示させる。この場合、電子機器200は、電子機器100の液晶パネル140の表示面に画像として表示されたデータを、自機器200の光センサを介して受信する。
具体的には、表示制御部11は、操作キー177などを介して所定の入力を受け付けた場合や液晶パネル140を介して所定の入力を受け付けた場合、記憶装置49に記憶された情報(たとえば、後述する通信用データのフォーマット)を基に、通信用データ(たとえば、後述する通信要求信号、デバイス情報を含むデータ)を生成する。そして、表示制御部11は、当該読み出した通信用データを画像として液晶パネル140に表示させる。
また、受信部12が電子機器200から送られてきた第1データを受信した場合、表示制御部11は、記憶装置49からデバイス情報を読み出す。そして、表示制御部11は、当該読み出したデバイス情報を含むデータを画像として自機器の表示面に表示する。なお、デバイス情報には、少なくとも自機器100の表示面のサイズ情報と、当該表示面のうち前記データの送受信に用いる自機器100の通信領域についての位置情報とを含んでいる。デバイス情報の詳細については後述する。
また、表示制御部11は、受信部12が電子機器200から第2データを受け付けた場合、記憶装置49から自機器100の表示面のうち上記データの送受信が可能な領域を示した領域情報を読み出す。そして、表示制御部11は、当該読み出した領域情報を含むデータを画像として自機器の表示面に表示する。領域情報については、後述する。
さらに、表示制御部11は、記憶装置49に記憶された基準信号およびデータ信号を読み出し、当該読み出した基準信号とデータ信号とを液晶パネル140に画像として表示させる。
なお、表示制御部11が液晶パネル140に表示させる表示内容の詳細については後述する。
受信部12は、対向状態にある電子機器200の液晶パネル240の表示面に画像として表示されたデータを、自機器100の光センサ回路144を介して受信する。具体的には、受信部12は、電子機器200が液晶パネル240に表示した画像を光センサ回路144にセンシングさせる制御を行うことによって、電子機器200から出力される通信用データ(たとえば、後述する通信パラメータ)を受信する。受信部12が電子機器200から通信用データを受け付けると、制御部10は、当該受け付けたデータに基づいた処理を行う。
また、受信部12は、電子機器200から液晶パネル140を介して受信したデータを解析する。
ここで、データの送受信の際に電子機器200の表示面と対向している自機器100の表示面の領域を「第1領域S1」とする。第1設定部13は、第1領域S1のうちデータの送受信に用いる通信領域を設定する。なお、通信領域の範囲の設定に関する具体例については後述する。
以上のように、電子機器100は、電子機器200の液晶パネル240の表示面と自機器100の液晶パネル140の表示面とを対向させた状態で、電子機器200が表示した画像を自機器100の光センサ回路144を介して受信部12で受信するとともに、表示制御部11によって表示させた画像を電子機器200の光センサ回路144で検知させることにより、電子機器200との間で双方向通信を行う。
なお、以下では、電子機器200との通信のために電子機器100の表示制御部11が液晶パネル140の表示面に画像を表示することを、「データの送信」とも称する。
第2設定部14は、データの送受信の際に電子機器200にデータを送信する表示面の送信領域と、当該データの送受信の際に電子機器200からデータを受信する表示面の受信領域とを、同じ領域に設定する。以下では、電子機器100におけるデータの送信領域とデータの受信領域とを同一の領域にした構成について説明する。
<据置型の電子機器200の機能ブロック>
次に、電子機器200の機能ブロックについて説明する。図16は、電子機器200の機能ブロックを示した機能ブロック図である。
図16を参照して、電子機器200は、液晶パネル240と、制御部50と、記憶装置99と、操作キー277とを含む。なお、記憶装置99は、図13に示したRAM271,ROM272,HDD299に該当する。また、図16においては、CPU210と、CD_ROM駆動装置273と、通信IF274と、マイク275と、スピーカ276とは、説明の便宜上、図示していない。
制御部50は、電子機器200における各種動作を制御する。また、制御部50は、表示制御部51と、受信部52と、判断部53と、第1設定部54と、認証部55と、パラメータ決定部56と、第2設定部57とを含む。また、判断部53は、検知部53Aと、更新部53Bとを含む。なお、制御部50および制御部50内の各機能ブロックによる処理は、上述したように、CPU210により実行されるソフトウェアによって実現される。
ここで、制御部50の各機能ブロックについて、説明する。
表示制御部51は、操作キー277を介したユーザからの指示や、受信部52からの指示等に従って、液晶パネル240の表示面に画像を表示させる。表示制御部51は、液晶パネル240に、大別して、電子機器100との双方向通信に用いる通信用の画像と、表示用の画像とを表示させる。
表示制御部51は、対向状態にある電子機器100にデータを送信する場合、当該データを自機器200の液晶パネル240の表示面に画像として表示させる。この場合、電子機器100は、電子機器200の液晶パネル240の表示面に画像として表示されたデータを、自機器100の光センサを介して受信する。
また、表示制御部51は、記憶装置99に記憶された基準信号およびデータ信号を読み出し、当該読み出した基準信号とデータ信号とを液晶パネル240に画像として表示させる。
なお、表示制御部51が液晶パネル240に表示させる表示内容の詳細については後述する。
受信部52は、対向状態にある電子機器100の液晶パネル140の表示面に画像として表示されたデータを、自機器200の光センサを介して受信する。具体的には、受信部52は、電子機器100が液晶パネル140に表示した画像を光センサ回路にセンシングさせる制御を行うことによって、電子機器100から出力される通信用データを受信する。受信部52が電子機器100から通信用データを受け付けると、制御部50は、当該受け付けたデータに基づいた処理を行う。
また、受信部52は、液晶パネル240を介して受信したデータを解析する。
ここで、データの送受信の際に電子機器100の表示面と対向している自機器200の表示面の領域を「第1領域L1」とする。また、自機器200の表示面のうち第1領域L1と異なる領域を「第2領域L2」とする。判断部53は、上記受信したデバイス情報(詳しくは、後述するサイズ情報)と、自機器200の表示面のうち上記データの受信に用いる自機器200の通信領域についての位置を示した位置情報とに基づき、第2領域L2の位置を判断する。なお、位置情報については、後述する。
検知部53Aは、自機器200の表示面のうち上記データの受信に用いる領域の位置の変化を検知する。
更新部53Bは、検知部53Aの検知結果に基づき、第2領域L2の位置を示した位置情報を更新する。
このように検知と更新とを行うことにより、判断部53が第2領域L2の位置を一旦判断した場合であっても、電子機器200の表示面に対する電子機器100の表示面の位置の変化が生じたときには、判断部53は、第2領域L2の位置を再度判断することができる。
なお、位置情報を更新するタイミングについては後述する(図61)。
第1設定部54は、第1領域L1のうち双方向通信に用いる通信領域を設定する。なお、通信領域の範囲の設定に関する具体例については後述する。
認証部55は、電子機器100から受け付けた通信データ(認証用データ)に基づき、認証を行う。そして、認証に成功した場合には、電子機器200は、他の装置(図示せず)の動作を制御する。たとえば、建物のゲートを閉状態から開状態へと変化させる。また、認証に成功した場合には、受信部52は、液晶パネル240を介して電子機器100に認証に成功したことを示した認証結果を送信する。一方、認証に失敗した場合には、液晶パネル240を介して電子機器100に認証に失敗したことを示した認証結果を送信する。
パラメータ決定部56は、電子機器100から受信したデバイス情報に基づき、前記データの送受信に用いる通信パラメータを決定する。具体的には、パラメータ決定部56は、後述する本通信時における通信パラメータを決定する。なお、通信パラメータの詳細については後述する(図46)。
以上のように、電子機器200は、電子機器100の液晶パネル140の表示面と自機器200の液晶パネル240の表示面とを対向させた状態で、電子機器100が表示した画像を自機器200の光センサを介して受信部52で受信するとともに、表示制御部51によって表示させた画像を電子機器100の光センサ回路144で検知させることにより、電子機器100との間で双方向通信を行う。
なお、以下では、電子機器100との通信のために電子機器200の表示制御部51が液晶パネル240の表示面に画像を表示することを、「データの送信」とも称する。
第2設定部57は、データの送受信の際に電子機器100にデータを送信する表示面の送信領域と、当該データの送受信の際に電子機器100からデータを受信する表示面の受信領域とを、同じ領域に設定する。以下では、電子機器200におけるデータの送信領域とデータの受信領域とを同一の領域にした構成を前提として説明する。
<認証の概要>
ここで、通信システム1における認証の概要について説明する。通信システム1における認証は、対向状態で行われる。具体的には、上記認証は、電子機器100と電子機器200との間で双方向通信(データの送受信)を行うことにより行われる。ここで、対向している領域おいては、電子機器100および電子機器200とも外光が両表示面に入射しないように、両表示面を互いに密着することが好ましい。なお、双方向通信で送受信されるデータについては、後述する。
図17は、認証時に液晶パネル140で表示される内容の遷移を示した遷移図である。
まず、電子機器100のユーザにより認証開始ボタンが押されると、制御部10が自機器100のシステムを初期化した後、図17に示すとおり、液晶パネル140は認証を開始する旨の表示をする。たとえば、図17に示すとおり、液晶パネル140は、「認証します」との表示をする。
その後、認証に成功すると、表示制御部11は、認証に成功した旨を液晶パネル140に表示させる。一方、認証に失敗すると、表示制御部11は、認証に失敗した旨を液晶パネル140に表示させる。また、認証中に、電子機器200との通信において通信エラーが発生した場合には、表示制御部11は、通信エラーが発生した旨を液晶パネル140に表示させる。
図18は、認証時に液晶パネル240で表示される内容の遷移を示した遷移図である。
まず、電子機器200が電子機器100から通信要求信号を受信待ちの状態において、電子機器200が人間の接近をセンサ(図示)等で検知すると、認証を開始する旨の表示をする。たとえば、図18に示すとおり、液晶パネル240は、「認証を行います。画面を…」との表示をする。
その後、電子機器200が通信要求信号を電子機器100から受信すると、液晶パネル240は、認証を実行中であることを示す旨の表示を行う。そして、認証に成功した場合には、液晶パネル240は、認証の成功に伴い実行される処理を開始する旨の表示を行う。たとえば、図18に示すとおり、液晶パネル240は「ドアが開きます」といった表示を行う。一方、認証に失敗した場合には、液晶パネル240は、認証に失敗した旨を示す表示を行う。また、認証中に、電子機器100との通信において通信エラーが発生した場合には、液晶パネル240は、通信エラーが発生した旨の表示を行う。
このように、電子機器100および電子機器200は、認証時に、それぞれの液晶パネル140,240の表示面にユーザに対するメッセージを表示する。この際、電子機器200の液晶パネル240が当該メッセージを表示する位置の詳細については、後述する。
以上のように、電子機器100のユーザは、電子機器200の液晶パネル240および電子機器100の液晶パネル140で、認証状況を確認することができる。また、認証状況は、図17および図18に示すとおり、文字などで表示される。したがって、単に色で認証状況を示す構成の通信システムに比べ、ユーザは認証状況を容易に視認できる。また、認証に用いるセンサ(つまり光センサ)が表示装置である液晶パネルに内蔵されているため、センサと表示装置とが別体である通信システムに比べ、ユーザは認証状況を視認し易い。また、対向状態で認証が行なわれるため、他人の盗聴を防止できる。さらに、同様な理由により、通信システム1は通信障害の発生が少ない。
<データ送受信の概要>
図19は、電子機器100の液晶パネル140の表示面と、電子機器200の液晶パネル240の表示面とを対向させた状態で、データの送受信を行う際のデータの流れを説明するための図である。
図19を参照して、電子機器100において、まず、記憶装置49(具体的には、図14に示すVRAM1812)に記憶された画像データが液晶パネル140に表示される。この状態で、電子機器100のユーザは、電子機器100の表示面と電子機器200の表示面とを対向させる。そして、電子機器200は、上述したセンシングを行う。電子機器200は、1画素(単位ピクセル)毎に光センサ回路144を備える構成であるため、光センサ回路144は、カラーフィルタ153bを透過した光の受光量を1画素毎に検出できる。それゆえ、電子機器200の記憶装置99(具体的には、図14に示すVRAM1833)には、電子機器100が表示面に表示した画像と略同一な画像の画像データが記憶される。
ここで、一方の電子機器(たとえば電子機器100)から他方の電子機器(たとえば電子機器200)にデータ(以下、データ信号と称する)を送信する場合、送信側の電子機器と受信側の電子機器200との間で同期をとるための信号(以下、「基準信号」と称する)を用いることが好ましい。
この理由は以下のとおりである。基準信号を用いなくてもデータの送受信のタイミングを固定すればデータの送受信は行うことができる。しかしながら、通信速度が決まってしまうといった問題が生じる。また、通信システム1に様々な通信速度を有する電子機器が混在するような場合には、各電子機器間同士でデータの送受信が行えなくなるといった互換性の問題が生じる。データ信号の他に基準信号をも用いる理由は、このような問題を生じさせないためである。
当該理由から、電子機器100および電子機器200では、互いに、基準信号とデータ信号とを用いて双方向通信を行う。
ところで、基準信号とデータ信号とを用いる場合、受信側の電子機器では、当該2つの信号を区別する必要がある。区別の方法として、たとえば、基準信号をデータ信号の上側に表示させる取り決めを、電子機器100と電子機器200との間で予め行うことが挙げられる。図20は、基準信号をデータ信号の上側に表示させる構成を示した図である。このような取り決めを行っておくことにより、電子機器100および電子機器200は、いずれが受信側の電子機器になっても送信側の電子機器から送られてくる2つの信号を区別することができる。
図21は、上記のような取り決めを行っていた場合における、基準信号とデータ信号との組み合わせをパターンを示した図である。図21を参照して、基準信号が表示されていない場合(左側の欄)には、データ信号が表示されていない場合(上欄)と、データ信号が表示されている場合(下欄)とがある。同様に、基準信号が表示されている場合(右側の欄)には、データ信号が表示されていない場合(上欄)と、データ信号が表示されている場合(下欄)とがある。つまり、基準信号とデータ信号との表示の組み合わせは、4通り存在する。
しかしながら、上述したように基準信号をデータ信号の上側に表示させる取り決めを行っている場合、以下のような問題が生じる。図22は、送信側の電子機器(ここでは、電子機器100)の表示面を受信側の電子機器の表示面に対向させた状態で、送信側の電子機器の表示面を所定の位置から90度回転させた場合における、受信側の電子機器(ここでは、電子機器200)が受信する上記2つの信号の配列を示した図である。
図22を参照して、受信側の電子機器200では、上記センシングを行うと、水平方向に基準信号とデータ信号とが並んで検出される。このため、上記のように基準信号をデータ信号の上側に表示させる取り決めを行っていても、電子機器200は、基準信号とデータ信号との区別ができない。
このような問題点を解消するため、以下のような複数の手法を採ることができる。
第1の手法は、基準信号を表示する領域の大きさと、データ信号を表示する領域の大きさとを異ならせる手法である。図23は、基準信号を表示する領域の大きさを、データ信号を表示する領域の大きさよりも大きくした場合における、基準信号とデータ信号とを示した図である。なお、図23では、基準信号をデータ信号の上側に表示させている構成を示しているが、当該手法では受信側の電子機器において基準信号とデータ信号との区別がつくため、基準信号とデータ信号との位置関係は、これに限定されるものではない。当該位置関係が限定されないことについては、以下の他の手法の場合も同様である。
第2の手法は、基準信号を表示する領域の形と、データ信号を表示する領域の形とを異ならせる手法である。図24は、基準信号を表示する領域の形を矩形とし、データ信号を表示する領域の形を円形とした場合における、基準信号とデータ信号とを示した図である。
第3の手法は、基準信号を表示する領域の階調と、データ信号を表示する領域の階調とを異ならせる手法である。図25は、基準信号を表示する領域の階調を、データ信号を表示する領域の階調よりも高くした場合における、基準信号とデータ信号とを示した図である。
第4の手法は、基準信号を表示する領域の色(輝度)と、データ信号を表示する領域の色(輝度)とを異ならせる手法である。図26は、基準信号を表示する領域の色を赤色に、データ信号を表示する領域の色を青色にした場合における、基準信号とデータ信号とを示した図である。
以上述べた4つの手法を用いることにより、受信側の電子機器において基準信号とデータ信号とを正確に区別することが可能となる。
<データ送受信のタイミングについて>
次に、電子機器100と電子機器200との間で双方向通信を行う際のデータの送受信のタイミングについて説明する。以下では、説明の便宜上、データの送信側を電子機器100と、データの受信側を電子機器200として説明する。なお、データの送信側を電子機器200と、データの受信側を電子機器100とした場合も同様であるため、説明は繰り返さない。
まず、送信側の電子機器100の動作について説明する。図27は、基準信号とデータ信号との出力タイミングを示したタイミングチャートである。具体的には、図27は、2進数「10101100」(16進数表記ではC9)を送信する場合のタイミングチャートである。この場合、表示制御部11は、図27に示すタイミングに同期して、基準信号とデータ信号とを液晶パネル140に画像として表示させる。なお、送信するデータ信号は一例であって、当該「10101100」に限定されるものではない。
データ信号「10101100」を送信するに当たり、表示制御部11は、基準信号をハイレベル「1」としてから時間2t1経過するまで、基準信号とデータ信号との出力をハイレベル「1」とする。時間2t1経過すると、表示制御部11は、時間t2にわたり基準信号の出力をローレベル「0」とする。この後、表示制御部11は、時間t2の間隔で、基準信号の出力を、ハイレベルとローレベルとの間で切換える。
また、表示制御部11は、基準信号の出力レベルの切換えに同期して、送信すべきデータ信号を出力する。たとえば、時間2t1経過して基準信号の出力がローレベルに切換わると、表示制御部11は、「10101100」の最初の「1」を出力する。その後、表示制御部11は、t2の間隔で、順次、「0」、「1」、「0」、「1」、「1」、「0」、「0」を出力する。
このような基準信号とデータ信号との出力により、上記時間2t1が経過するまでのデータ信号「1」と、送信すべき8桁のデータ信号「10101100」とを含んだ9桁の信号「110101100」に基づいた画像が液晶パネル140に表示される。
次に、受信側の電子機器200の動作について説明する。まず、電子機器200は、電気機器100の液晶パネル140に表示される基準信号およびデータ信号がハイレベル「1」になるまで待機する。基準信号およびデータ信号がともにハイレベル「1」になったことを液晶パネル240のセンシングにより受信部52が検知すると、受信部52は、基準信号とデータ信号との判別を行う。この判別の手法は、図20、図23〜図26に基づいた説明に従うので、ここでは説明を繰り返さない。
基準信号およびデータ信号がともにハイレベル「1」になったこと検知してから時間t1経過した後、基準信号およびデータ信号がともにハイレベル「1」でないことを受信部52が検知すると、再度、電子機器200は基準信号およびデータ信号がハイレベル「1」になるまで待機する。
そして、基準信号がハイレベル「1」からローレベル「0」へと切換わったことを受信部52が検知すると、受信部52は、当該切換わりを検知した直後のデータ信号を記憶装置99に記憶する。図27の場合、最初の時間t2のデータ信号「1」を記憶する。この後、基準信号の出力の切換えを受信部52が検知するたびに、切換わりを検知した直後のデータ信号を記憶装置99に記憶する。
このような処理を受信部52が行うことにより、電子機器200の記憶装置99には、「10101100」といった8桁のデータが記憶される。これにより、電子機器100と電子機器200との間におけるデータの送受信を行うことができる。
ここで、受信側の電子機器200において、受信部52による基準信号およびデータ信号のサンプリングについて説明する。受信部52による基準信号およびデータ信号のサンプリングは所定の間隔で行われる。このサンプリング間隔は、上述したt2に限定されるのものではなく、t2よりも短い間隔であればよい。
この場合、たとえば基準信号がローレベル「0」を維持している期間に、複数回のデータ信号のサンプリングが行われる可能性がある。この場合には、受信部52は、基準信号とデータ信号との組として、たとえば「0,1」と「0,1」といった信号を検知することになる。受信部52は、このような場合には、基準信号が切換わっていないことから、2回目のサンプリング結果「0,1」を無効とし、1回目のサンプリング結果「0,1」のみを有効とする。そして、受信部52は、有効とした基準信号とデータ信号との組のうち、データ信号を記憶装置99に記憶する。
このような構成とすることにより、電子機器100と電子機器200との間において正確なデータの送受信を行うことができる。
<通信システムのフローチャート>
次に、電子機器100と電子機器200との間の通信フローについて説明する。図28は、電子機器100と電子機器200との間の通信のフローチャートである。
まず、電子機器100の操作キー177のうち認証を開始するためのキー(以下、認証開始キー)が押下された場合、電子機器100は、通信要求信号を液晶パネル140に表示することにより、当該通信要求信号を電子機器200に送信する(S1)。ステップS1の後、電子機器200が通信要求信号を液晶パネル240を介して受信すると、電子機器200は、液晶パネル240を介して電子機器100にREADY信号を送信する(S2)。ステップS2の後、電子機器100がREADY信号を受信すると、電子機器100は、自機器100のデバイス情報を含んだデータを電子機器200に送信する(S3)。電子機器200がデバイス情報を受信すると、電子機器200は、当該デバイス情報に基づき生成された通信パラメータを含んだデータを電子機器100に送信する(S4)。なお、以下では、ステップS1からステップS4までのデータの送受信を、「初期通信」と称する。
ステップS5以降は、電子機器100および電子機器200は、上記通信パラメータに基づいた通信を行う。まず、電子機器100は、認証要求信号を電子機器200に送信する(S5)。電子機器200が上記認証要求信号を受信すると、電子機器200は認証に必要な処理を行う。そして、電子機器200は、認証の準備が整うと、電子機器100に対して、認証準備ができたことを示す認証準備完了信号を送信する(S6)。
電子機器100が上記認証準備完了信号を受信すると、電子機器100は、認証情報を含んだデータを電子機器200に送信する(S7)。電子機器200が上記認証情報を含んだデータを受信すると、電子機器200は、上記認証情報を用いて認証を行う。そして、認証が終了すると、電子機器200は、電子機器100に対して認証結果を送信する(S8)。以上により、一連の処理が終了する。
<初期通信および本通信での表示内容について>
次に、図28に示したフローチャートの初期通信時および本通信時における、電子機器100の表示面の表示内容および電子機器200の表示面の表示内容について説明する。
図29は、電子機器100の認証開始キーが押下された後の、電子機器100の液晶パネル140の表示面の表示内容を示した図である。図29を参照して、電子機器100は、液晶パネル140の表示面に、認証を開始する旨の表示と、基準信号およびとデータ信号とを表示する。
図30は、電子機器200がREADY信号を送信した後の、電子機器200の液晶パネル240の表示面の表示内容を示した図であって、かつ電子機器100の表示面を電子機器200の表示面に対向させた状態を示した図である。図30を参照して、電子機器200は、液晶パネル240の表示面に、電子機器100のユーザをガイドする内容を表示する。
図31は、認証要求信号を送信する際の電子機器100の表示面の表示内容を示した図である。図31を参照して、基準信号とデータ信号とは表示面の上側に表示される。なお、当該表示面の下側には、制御部10によりデータ入力領域が形成される。
初期通信時は、1つのデータ信号を液晶パネル140に表示する構成であったが、本通信時には、1つ以上のデータ信号を液晶パネルに表示する。なお、本通信時におけるデータ信号の数については後述する。また、初期通信時および本通信時における基準信号の数についても後述する。
図32は、電子機器200が認証情報を受信した後(あるいは、認証準備完了信号を送信した後)の、電子機器200の液晶パネル240の表示面の表示内容を示した図であって、かつ電子機器100の表示面を電子機器200の表示面に対向させた状態を示した図である。図32を参照して、電子機器200は、液晶パネル240の表示面に、認証中であることを示す表示を行う。
図33は、認証が成功した場合の電子機器100の液晶パネル140の表示面に表示される内容を示した図である。図33を参照して、電子機器100は、認証に成功したことを示す内容を表示面に表示する。
図34は、認証が成功した場合の電子機器200の液晶パネル240の表示面に表示される内容を示した図である。図34を参照して、電子機器200は、認証が成功した場合に行われる動作を示した内容を表示面に表示する。
<画面構成について>
次に、電子機器100の表示面の画面構成と、電子機器200の表示面の画面構成とについて説明する。なお、以下では、説明の便宜上、1ピクセルが1mm×1mmの正方形の形状であるとする。
図35は、電子機器100の表示面の画面構成を示した図である。図35を参照して、電子機器200との通信に用いることが可能な電子機器100の領域(以下、通信可能領域と称する)のサイズは、縦サイズ(dLY)が100mmであり、横サイズ(dLX)が150mmである。また、当該通信可能領域の解像度は、縦サイズ(dH)が100ピクセルであり、横サイズ(dW)が150ピクセルである。
図36は、電子機器200の表示面の画面構成を示した図である。図36を参照して、電子機器100との通信に用いることが可能な電子機器200の通信可能領域のサイズは、縦のサイズが300mmであり、横のサイズが400mmである。また、当該通信可能領域の解像度は、縦のサイズが300ピクセルであり、横のサイズが400ピクセルである。
なお、図35および図36に示した各サイズは例示であって、当該サイズに限定されるものではない。
次に、電子機器100と電子機器200との間において送受信される通信用データのフォーマットについて説明する。
図37は、通信用データのフォーマットを示した図である。図37を参照して、通信用データは、コマンドを示すデータ領域DA21と、予備のデータ領域DA22と、パリティビットDA23と、データを示すデータ領域DA24とを含む。
図38は、図37のコマンドを示すデータ領域DA21に書き込まれるコードと、当該各コードが示す意味とを示した図である。図38に示すとおり、たとえば、データ領域DA21に「0010」が設定された通信用データは、受信側の電子機器においてはデバイス情報を示す信号であると解釈される。
(初期通信時の画面構成)
次に、初期通信時における、電子機器100の表示面の画面構成と、電子機器200の表示面の画面構成とについて説明する。
図39は、初期通信時における、電子機器100の表示面の画面構成を示した図である。図39を参照して、電子機器100の表示面は、表示用領域と通信用領域とを含む。また、通信用領域には、基準信号とデータ信号とが表示される。当該通信用領域は、上述した通信可能領域に含まれる。
初期通信時においては、単位時間当たり、1つのデータ信号が表示面に表示される。また、初期通信時においては、2つの基準信号が表示面に表示される。なお、これは一例であって、データ信号および基準信号の数が、上記の数に限定されるものではない。
電子機器100の通信用領域は、縦25ピクセル×横25ピクセルで構成される画素領域(以下、「画素ブロック」と称する)を3つ含む。当該3つの画素ブロックのうち一番上の画素ブロックBL_A1と一番下の画素ブロックBL_A2とは、基準信号の出力のために用いられる。また、真中の画素ブロックBL_A3がデータ信号の出力のために用いられる。また、これらの3つの画素ブロックの位置は、電子機器100において予め定められている。なお、1つの画素ブロックのサイズは、25ピクセル×25ピクセルに限定されるものではない。
また、以下では、電子機器100において、一番上の画素ブロックを用いて出力される基準信号を「基準信号S_A1」と称し、一番下の画素ブロックを用いて出力される基準信号を「基準信号S_A2」と称する。さらに、真中の画素ブロックBL_A3を用いて出力されるデータ信号を、「データ信号D_A1」と称する。
また、各画素ブロック(BL_A1〜BL_A3)の領域をあわせた領域(横25ピクセル×縦75ピクセル)を、「第1通信領域SV」と称する。
図40は、初期通信時における、電子機器200の表示面の画面構成を示した図である。図40を参照して、電子機器200の表示面は、表示用領域と通信用領域とを含む。また、通信用領域には、基準信号とデータ信号とが表示される。当該通信用領域は、上述した通信可能領域に含まれる。
電子機器200の通信用領域は、電子機器100の通信用領域と同じ大きさを有する。つまり、電子機器200の通信用領域は、画素ブロック(縦25ピクセル×横25ピクセルで構成される画素領域)を3つ含む。当該3つの画素ブロックのうち一番上の画素ブロックBL_B1と一番下の画素ブロックBL_B2とは、基準信号の出力のために用いられる。また、真中の画素ブロックBL_B3がデータ信号の出力のために用いられる。
このような通信システム1においては、電子機器100が自機器100の通信領域を用いて出力した基準信号とデータ信号とを、電子機器200が自機器200の通信領域に含まれる画素内の光センサ回路を用いて受信する。また、電子機器200が自機器200の通信領域を用いて出力した基準信号とデータ信号とを、電子機器100が自機器100の通信領域に含まれる画素内の光センサ回路を用いて受信する。
なお、以下では、電子機器200において、一番上の画素ブロックBL_B1を用いて出力される基準信号を「基準信号S_B1」と称し、一番下の画素ブロックBL_B2を用いて出力される基準信号を「基準信号S_B2」と称する。さらに、真中の画素ブロックBL_B3を用いて出力されるデータ信号を、「データ信号D_B1」と称する。
また、各画素ブロック(BL_B1〜BL_B3)の領域をあわせた領域(横25ピクセル×縦75ピクセル)を、「第1通信領域LV」と称する。
(本通信時の画面構成)
次に、本通信時における、電子機器100の表示面の画面構成と、電子機器200の表示面の画面構成とについて説明する。
図41は、本通信時における、電子機器100の表示面の画面構成を示した図である。図41を参照して、電子機器100の表示面は、表示用領域と通信用領域とを含む。
通信用領域は、通信可能領域の中央に2行4列の8つのデータ信号用の画素ブロックを含む。つまり、本通信時には、8ビットのデータ通信が行なわれる。したがって、本通信時には、電子機器100は、初期通信時に比べて、単位時間当たり8倍のデータを電子機器200に送信可能となる。
また、通信用領域は、5つの基準信号用の画素ブロック(BL_C1〜BL_C5)を含む。5つの基準信号用の画素ブロック(BL_C1〜BL_C5)のうち4つの基準信号用の画素ブロック(BL_C1,BL_C2,BL_C3,BL_C5)は、通信可能領域の4つの隅にそれぞれ設定される。また、残りの1つの基準信号用の画素ブロックBL_C4は、上記4つの基準信号のいずれか1つの画素ブロックと隣接する位置に設定される。図41では、残りの1つの基準信号用の画素ブロックBL_C4は、左下隅に配された基準信号用の画素ブロックBL_C5に隣接した位置に設定される。
なお、以下では、基準信号用の画素ブロック(BL_C1〜BL_C5)を用いて出力される基準信号を、画素ブロックBL_C1から画素ブロックBL_C5の順に、「基準信号S_C1」、「基準信号S_C2」、「基準信号S_C3」、「基準信号S_C4」、「基準信号S_C5」と称する。
通信可能領域の右下隅に配された基準信号用の画素ブロックBL_C3に隣接した画素ブロックBL_C6(25ピクセル×25ピクセルの領域)は、電子機器200から出力される基準信号を受信する領域として用いられる。
このように、本通信時においては、5つの基準信号を用いる。ただし、基準信号の数は、5つに限定されるものではない。たとえば、1つの基準信号あるいは2つの基準信号といった5つよりも少ない基準信号を用いても、本通信は可能である。
表示用領域は、8つのデータ信号用の画素ブロックの上下左右の4つの領域からなる。
なお、表示制御部11は、電子機器100における画素ブロックの位置や大きさを、通信パラメータに基づいて決定する。
図42は、図41に示した8つのデータ信号用の画素ブロックを示した図である。図42を参照して、上の段の左から右へと、画素ブロックBL_C11、画素ブロックBL_C12、画素ブロックBL_C13、画素ブロックBL_C14が配される。また、下の段の左から右へと、画素ブロックBL_C15、画素ブロックBL_C16、画素ブロックBL_C17、画素ブロックBL_C18が配される。
なお、以下では、画素ブロック(BL_C11〜BL_C18)を用いて出力されるデータ信号を、画素ブロックBL_C11から画素ブロックBL_C18の順に、「データ信号D_C1」、「データ信号D_C2」、「データ信号D_C3」、「データ信号D_C4」、「データ信号D_C5」、「データ信号D_C6」、「データ信号D_C7」、「データ信号D_C8」と称する。また、各画素ブロック(BL_C1〜BL_C6,BL_C11〜BL_C18)の領域を合わせた領域を、「第2通信領域SW」と称する。
図43は、本通信時における、電子機器200の表示面の画面構成を示した図である。図43を参照して、電子機器200の表示面は、表示用領域と通信用領域とを含む。
当該通信用領域は、2行4列の8つのデータ信号用の画素ブロックを含む。これら、8つのデータ信号用の画素ブロックは、電子機器100の8つのデータ信号用の画素ブロックと対向する位置に設定される。したがって、本通信時には、電子機器200は、初期通信時に比べて、単位時間当たり8倍のデータを電子機器100に送信可能となる。
また、通信用領域は、5つの基準信号用の画素ブロック(BL_D1〜BL_D5)を含む。当該5つの基準信号用の画素ブロック(BL_D1〜BL_D5)のうち4つの基準信号用の画素ブロック(BL_D1,BL_D2,BL_D3,BL_D5)は、電子機器100の4つの隅の基準信号用のデータブロックに対向する位置にそれぞれ設定される。残りの1つの基準信号用の画素ブロックBL_D4は、電子機器100と同様、左下隅に配された基準信号用の画素ブロックBL_D5に隣接した位置に設定される。なお、以下では、基準信号用の画素ブロック(BL_D1〜BL_D5)を用いて出力される基準信号を、画素ブロックBL_D1から画素ブロックBL_D5の順に、「基準信号S_D1」、「基準信号S_D2」、「基準信号S_D3」、「基準信号S_D4」、「基準信号S_D5」と称する。
右下に配された基準信号用の画素ブロックBL_D3に隣接した画素ブロックBL_D6(25ピクセル×25ピクセルの領域)は、電子機器100の画素ブロックBL_C4から出力される基準信号を受信する領域として用いられる。
また、電子機器200の通信可能領域のうち、8つのデータ信号用の画素ブロックと基準信号用の画素ブロック(BL_D1〜BL_D5)と画素ブロックBL_D6とを除いた領域が、表示用領域となる。
なお、電子機器200における画素ブロックの位置や大きさは、表示制御部51が通信パラメータに基づいて決定する。
図44は、図43に示した8つのデータ信号用の画素ブロックを示した図である。図44を参照して、上の段の左から右へと、画素ブロックBL_D11、画素ブロックBL_D12、画素ブロックBL_D13、画素ブロックBL_D14が配される。また、下の段の左から右へと、画素ブロックBL_D15、画素ブロックBL_D16、画素ブロックBL_D17、画素ブロックBL_D18が配される。
なお、以下では、画素ブロック(BL_D11〜BL_D18)を用いて出力されるデータ信号を、画素ブロックBL_D11から画素ブロックBL_D18の順に、「データ信号D_D1」、「データ信号D_D2」、「データ信号D_D3」、「データ信号D_D4」、「データ信号D_D5」、「データ信号D_D6」、「データ信号D_D7」、「データ信号D_D8」と称する。また、通信領域として用いられる各画素ブロック(BL_D1〜BL_D6,BL_D11〜BL_D18)の領域を合わせた領域を、「第2通信領域LW」と称する。
第1設定部54は、当該第2通信領域LWを、電子機器100の表示面と自機器200の表示面とを対向させた際に当該第2通信領域LWが電子機器100の表示面のうちデータの送受信が可能な領域(つまり、横150mm×縦100mmの矩形領域)に含まれるように設定する。
このように第2通信領域LWを設定することにより、電子機器100と電子機器200とが互いに同じ広さの通信領域を用いて通信を行なうことができる。
なお、少なくとも基準信号の配置(図39〜41,43)については、電子機器100と電子機器200との間で予め取り決めを行なっておく。あるいは、電子機器100と電子機器200との間で、当該取り決めを定める信号を認証中に送受信する構成としてもよい。
<デバイス情報の詳細について>
次に、電子機器100が記憶している自機器100のデバイス情報について説明する。図45は、デバイス情報を示した図である。図45を参照して、デバイス情報には、通信可能領域横サイズ(dLX)と、通信可能領域の縦サイズ(dLY)と、通信可能領域横解像度(dW)と、通信可能領域縦解像度(dH)と、リフレッシュレート(dRR)と、カラー液晶フラグ(dCFLG)と、受信可能領域希望横オフセット(rROX)と、受信可能領域希望縦オフセット(rROY)と、希望通信スピード(rSPD)と、機器識別ID(UID)と、表示面横サイズ(dDLX)と、表示面縦サイズ(dDLY)と、表示面横解像度(dDW)と、表示面縦解像度(dDH)と、通信可能領域横位置(dPX)と、通信可能領域縦位置(dPY)とが含まれている。
なお、通信可能領域横サイズ(dLX)と、通信可能領域縦サイズ(dLY)と、通信可能領域横解像度(dW)と、通信可能領域縦解像度(dH)とは、図35に基づいて説明したため、ここでの説明は繰り返さない。
リフレッシュレート(dRR)は、垂直同期周波数である。つまり、リフレッシュレート(dRR)は、単位時間に何回画面を書き換えるかを表す指標である。カラー液晶フラグ(dCFLG)は、電子機器100の液晶パネル140が、カラー液晶か又はモノクロの液晶かを示したフラグである。
受信領域希望横オフセット(rROX)は、電子機器200との通信を行うに当たり電子機器200に対して希望する、電子機器100の通信可能領域における横方向のオフセットの値である。つまり、受信領域希望横オフセット(rROX)は、電子機器100の通信可能領域内において、送信領域と受信領域との横方向のズレを規定する値である。
受信領域希望縦オフセット(rROY)は、電子機器200との通信を行うに当たり電子機器200に対して希望する、電子機器100の通信可能領域における縦方向のオフセットの値である。つまり、受信領域希望縦オフセット(rROY)は、電子機器100の通信可能領域内において、送信領域と受信領域との縦方向のズレを規定する値である。
このように受信領域希望横オフセット(rROX)と受信領域希望縦オフセット(rROY)とをそれぞれ指定することにより、電子機器100は、電子機器200と通信を行うにあたり、電子機器200に対して、送信領域と受信領域とを完全に重ねたり、あるいは送信領域と受信領域とを別の場所にしたりするよう要求することができる。
希望通信スピード(rSPD)は、電子機器100が電子機器200に対して希望する、電子機器200によるデータ送信の際の送信速度である。
機器識別IDは、電子機器100の機器識別IDである。
表示面横サイズ(dDLX)は、液晶パネル140の表示面の横サイズである。表示面縦サイズ(dDLY)は、液晶パネル140の表示面の横のサイズである。表示面横解像度(dDW)は、液晶パネル140の表示面の横方向の解像度である。表示面縦解像度(dDH)は、液晶パネル140の表示面の縦方向の解像度である。通信可能領域横位置(dPX)は、液晶パネル140の表示面のうち通信可能領域の横方向の位置(後述する図48の頂点PAのX座標)を示している。通信可能領域縦位置(dPY)は、液晶パネル140の表示面のうち通信可能領域の縦方向の位置(後述する図48の頂点PAのY座標)を示している。
なお、図45は、表示面のサイズと通信可能領域のサイズ(dLX,dLY)とが一致している場合を示している。つまり、図45は、電子機器100が液晶パネル140の表示面全体を用いて双方向通信を行なうことが可能な構成である場合を示している。たとえば、液晶パネル140のうち一部の領域を用いてしか双方向通信を行なうことができない構成の場合には、通信可能領域のサイズ(dLX,dLY)が、表示面のサイズよりも小さな値となる。
なお、電子機器100の表示面のサイズを示した情報である、表示面横サイズ(dDLX)と表示面縦サイズ(dDLY)との情報を、「サイズ情報」と称する。また、通信可能領域横サイズ(dLX)と通信可能領域縦サイズ(dLY)との情報が、上記領域情報に該当する。また、本実施の形態では、通信可能領域横解像度(dW)と通信可能領域縦解像度(dH)と、通信可能領域横位置(dPX)と、通信可能領域縦位置(dPY)とによって示される矩形領域についての情報を、「通信可能領域を示した情報」と称する。
<通信パラメータの詳細について>
次に、通信パラメータについて説明する。通信パラメータは、本通信時の通信条件を規定するパラメータである。本通信時においては、電子機器100および電子機器200は、当該通信パラメータに基づいて双方向通信を行う。つまり、通信パラメータは、基準信号用の画素ブロックおよびデータ信号用の画素ブロックの設定など、電子機器100と電子機器200とが初期通信とは異なる態様で双方向通信を行うために用いられる。
図46は、通信パラメータを示した図である。なお、図46に示した通信パラメータの各設定項目についてのパラメータの値は、図41および図43に示した態様の本通信を行う場合の値である。
図46を参照して、通信パラメータは、通信領域横サイズ(cAW)と、通信領域縦サイズ(cAH)と、横方向データ数(cAXN)と、縦方向データ数(cAYN)と、受信領域横方向オフセット(rXO)と、受信領域縦方向オフセット(rYO)と、追従フラグ(fLW)と、通信スピード(fRQ)と、信号領域横サイズ(sAW)と、信号領域縦サイズ(sAH)と、信号イメージオフセット(sAO)と、信号イメージ横サイズ(sCW)と、信号イメージ縦サイズ(sCH)と、基準信号形状(sCBSF)と、データ信号形状(sCDSF)と、基準信号大きさ(sCBS)と、基準信号イメージ色(sCBFC)と、データ信号イメージ色(sCDFC)と、信号イメージ背景色(sCBC)と、送信領域横サイズ(cSAW)と、送信領域縦サイズ(cSAH)と、受信領域横サイズ(cRAW)と、受信領域縦サイズ(cRAH)と、送信領域の横位置(cSPX)と、送信領域の縦位置(cSPY)と、受信領域の横位置(cRPX)と、受信領域の縦位置(cRPY)とを含む。
通信領域横サイズ(cAW)は、本通信時に用いる通信領域の横のサイズである。通信領域縦サイズ(cAH)は、本通信時に用いる通信領域の縦のサイズである。
横方向データ数(cAXN)は、横方向における、データ信号の画素ブロックの数である。縦方向データ数(cAYN)は、縦方向における、データ信号の画素ブロックの数である。
受信領域横方向オフセット(rXO)は、通信可能領域における横方向のオフセットの値である。つまり、受信領域横方向オフセット(rXO)は、通信可能領域内において、送信領域と受信領域との横方向のズレを規定する値である。
受信領域縦方向オフセット(rYO)は、通信可能領域における縦方向のオフセットの値である。つまり、受信領域縦方向オフセット(rYO)は、通信可能領域内において、送信領域と受信領域との縦方向のズレを規定する値である。
追従フラグ(fLW)は、電子機器100と、通信パラメータを決定する電子機器200とのうちいずれの機器が追従動作を行うかを示したフラグである。ここで、追従動作とは、一方の電子機器(たとえば電子機器200)の表示面に対する他方の電子機器(たとえば電子機器100)の表示面が位置が変化した場合、当該位置の変更に対して、当該一方電子機器の基準信号用の画素ブロックとデータ信号用の画素ブロックとの位置を追従させる動作である。
通信スピード(fRQ)は、電子機器100と電子機器200との間における通信スピードである。信号領域横サイズ(sAW)は、1つの画素ブロックの横方向のサイズである。信号領域縦サイズ(sAH)は、1つの画素ブロックの縦方向のサイズである。
送信領域横サイズ(cSAW)は、通信領域のうちデータを送信する領域の横サイズである。送信領域縦サイズ(cSAH)は、通信領域のうちデータを送信する領域の縦サイズである。受信領域横サイズ(cRAW)は、通信領域のうちデータを受信する領域の横サイズである。受信領域縦サイズ(cRAH)は、通信領域のうちデータを受信する領域の縦サイズである。なお、本実施の形態の場合、通信領域横サイズとは、送信領域と受信領域とを設定可能な領域を示す。
送信領域横位置(cSPX)は、通信領域内において送信領域の横方向の位置を特定するための情報である。送信領域縦位置(cSPY)は、通信領域内において送信領域の縦方向の位置を特定するための情報である。受信領域横位置(cRPX)は、通信領域内において受信領域の横方向の位置を特定するための情報である。受信領域縦位置(cRPY)は、通信領域内において受信領域の縦方向の位置を特定するための情報である。このように、電子機器100,200は、通信領域内において、送信領域および受信領域をそれぞれ任意の位置に配置できるものとする。
その他の項目(sAO,sCW,sCH,sCBSF,sCDSF,sCBS,sCBFC,sCDFC,sCBC)については、後述する(図48)。
<通信領域の仕様(初期通信時)>
次に、初期通信時における通信領域の仕様について説明する。図47は、初期通信における電子機器100の通信領域の仕様を説明するための図である。具体的には、図47は、図39および図40に示した状態における、基準信号用の画素ブロックとデータ信号用の画素ブロックとの詳細を示した図である。
図47を参照して、画素ブロックBL_A1は、内部の領域(15ピクセル×15ピクセルの領域)を用いて、基準信号S_A1を出力する。画素ブロックBL_A2は、内部の領域(15ピクセル×15ピクセルの領域)を用いて、基準信号S_A2を出力する。画素ブロックBL_A3は、内部の領域(15ピクセル×15ピクセルの領域)を用いて、データ信号D_A1を出力する。
また、本実施の形態では、基準信号とデータ信号とを、互いに10ピクセル分の隙間を介して出力させる構成としている。このように隙間を設ける理由は、受信側の電子機器が互いに隣り合う2つの信号を区別しやすくするためである。
なお、初期通信における電子機器200の通信領域の仕様も、初期通信における電子機器100の仕様と同様であるため、ここでは説明を繰り返さない。
<通信領域の仕様(本通信時)>
次に、本通信時における通信領域の仕様について説明する。図48は、本通信における電子機器100の通信領域の仕様を説明するための図である。具体的には、図48は、図41および図43に示した状態における、基準信号用の画素ブロック(BL_C1〜BL_C5)とデータ信号用の画素ブロック(BL_C11〜BL_C18)との詳細を示した図である。
図48を参照して、画素ブロックBL_C1は、内部の領域(15ピクセル×15ピクセルの領域)を用いて、基準信号S_C1を出力する。また、電子機器100は、他の基準信号(S_C2〜S_C5)についても、基準信号S_C1と同じ態様で出力する。
ここで、画素ブロック(BL_C1〜BL_C5)の仕様の詳細について、画素ブロックBL_C1を例に挙げて説明する。画素ブロックBL_C1は、図46に示した通信パラメータにおける、通信領域の横サイズ(cAW)と、通信領域の縦サイズ(cAH)と、信号イメージオフセット(sAO)と、信号イメージ横サイズ(sCW)と、信号イメージ縦サイズ(sCH)と、基準信号形状(sCBSF)と、基準信号大きさ(sCBS)と、基準信号イメージ色(sCBFC)と、信号イメージ背景色(sCBC)とにより規定される。
画素ブロックBL_C1の外周と基準信号S_C1の外周との距離は、信号イメージオフセット(sAO)で規定される。基準信号S_C1の横のサイズは、信号イメージ横サイズ(sCW)で規定される。基準信号S_C1の縦のサイズは、信号イメージ縦サイズ(sCH)で規定される。基準信号S_C1の形状は、基準信号形状(sCBSF)で規定される。基準信号S_C1の大きさは、基準信号大きさ(sCBS)で規定される。基準信号S_C1の色は、基準信号イメージ色(sCBFC)で規定される。基準信号S_C1の背景領域(すなわちオフセット領域)の色は、信号イメージ背景色(sCBC)で規定される。
ここで、基準信号大きさ(sCBS)は、基準信号を表示する領域(詳しくは、信号イメージの縦および横)の大きさを示す。たとえば、標準の場合、当該領域は、15ピクセル×15ピクセルとなる。
なお、画素ブロック(BL_C2〜BL_C5)については画素ブロックBL_C1と同じであるため、その説明は繰り返さない。
次に、画素ブロック(BL_C11〜BL_C18)の仕様の詳細について、画素ブロックBL_C11を例に挙げて説明する。画素ブロックBL_C11は、図46に示した通信パラメータにおける、通信領域の横サイズ(cAW)と、通信領域の縦サイズ(cAH)と、信号イメージオフセット(sAO)と、信号イメージ横サイズ(sCW)と、信号イメージ縦サイズ(sCH)と、データ信号形状(sCDSF)と、基準信号大きさ(sCBS)と、データ信号イメージ色(sCDFC)と、信号イメージ背景色(sCBC)とにより規定される。
画素ブロックBL_C11の外周とデータ信号D_C1の外周との距離は、信号イメージオフセット(sAO)で規定される。データ信号D_C1の横のサイズは、信号イメージ横サイズ(sCW)で規定される。データ信号D_C1の縦のサイズは、信号イメージ縦サイズ(sCH)で規定される。データ信号D_C1の形状は、データ信号形状(sCDSF)で規定される。データ信号D_C1の色は、データ信号イメージ色(sCDFC)で規定される。データ信号D_C1の背景領域(すなわちオフセット領域)の色は、信号イメージ背景色(sCBC)で規定される。
画素ブロック(BL_C12〜BL_C18)については画素ブロックBL_C11と同じであるため、ここでの説明は繰り返さない。
また、本通信における電子機器200の通信領域の仕様も、本通信における電子機器100の仕様と同様であるため、ここでは説明を繰り返さない。
<追従について>
次に、初期通信や本通信において、電子機器200の液晶パネル240の表示面に対し、電子機器100の液晶パネル140の表示面の位置が変化した場合の電子機器200における処理について説明する。
図49は、認証を行うにあたり、電子機器100の液晶パネル140の表示面と電子機器200の液晶パネル240の表示面とを対向させた状態を示した図である。なお、図49においては、電子機器100については背面が示されている。
図50は、図49に示した状態で本通信が行われている場合の、電子機器200の液晶パネル240の表示面に表示される内容を示した図である。
図50を参照して、液晶パネル240の表示面には、基準信号とデータ信号とが表示されるとともに、予め指定されたメッセージの表示(同図においては、認証中であることを示す表示)がなされる。この際、表示制御部51は、上述した第2領域に上記予め指定されたメッセージを表示させる。
このように、電子機器100の表示面と対向している電子機器200の表示面の領域(第1領域L1)とは異なる領域(第2領域L2)にメッセージを表示することにより、ユーザは、認証が行われていることを確認することができる。
また、表示制御部51は、上記第2領域L2のうち上記第1領域L1の境界付近を除いた位置に上記メッセージを表示することが好ましい。これは、電子機器100の表示面の周囲には表示面を支持する縁など筐体部分が存在するので、第1領域の境界付近にメッセージを表示すると、ユーザがメッセージの一部を確認できなくなるおそれがあるためである。
ここで、上記位置情報について説明する。本実施の形態においては、位置情報は、図48に示した各頂点(PA〜PD)の座標に対応した、電子機器200の表示面における座標である。具体的には、図50に示した各頂点(PA’〜PD’)の座標である。
図51は、電子機器100の液晶パネル140の表示面の位置が認証中に変化した場合を示した図である。図51では、電子機器100が左方向に移動している。
図52は、図51に示すように電子機器100が移動した場合における、電子機器200の液晶パネル240の表示面の表示内容を示した図である。図52を参照して、表示制御部51は、当該位置が変化した後の第1領域L1を用いて電子機器100との通信を行う。つまり、表示制御部51は、基準信号およびデータ信号を出力する画素ブロックの位置を、電子機器100の位置の移動に追従して変化させる制御を行う。また、表示制御部51は、上記メッセージを当該位置が変化した後の第1領域L1に関する第2領域L2に表示させる。なお、当該第1領域L1および第2領域L2の位置は、検知部53Aによる検知結果により決まる。
このような処理を行なうことにより、、電子機器200は、認証中に電子機器100の位置が変化した場合であっても、ユーザが視認可能な位置に上記メッセージを表示し続けることが可能となる。なお、追従のタイミングについては後述する(図61)。
また、当該追従については、初期通信時においても適用可能である。
<受信信号の解析について>
次に、電子機器200が電子機器100から受信した信号について、電子機器200における解析処理について説明する。
図53は、データ送信時における電子機器100の表示面を示した図である。詳しくは、図53は、電子機器100が、データ信号「01111101」を送信している状態を示した図である。
図54は、電子機器100と電子機器200とが対向した状態において、電子機器100が出力した図53に示す基準信号およびデータ信号を電子機器200が受信した状態を模式的に示した図である。図54を参照して、電子機器200の受信部52は、受信した信号に基づき、受信した信号全体の頂点座標を検出する。つまり、受信部52は、図48の各頂点(PA,PB,PC,PD)に対応する、電子機器200の液晶パネル240での座標を検出する。
また、受信部52は、検出した各頂点の座標に基づき、当該各頂点座標で特定される矩形の傾きを補正する。具体的には、受信部52は、当該矩形の傾きを0とする。さらに、受信部52は、上記傾きを補正した後、第1領域からデータ信号の領域(つまり、電子機器100の画素ブロック(BL_C11〜BL_C18)に対応する領域)を抽出する。図55は、抽出したデータ信号の領域を示した図である。
その後、受信部52は、受信した5つの基準信号(S_C1〜S_C5)の位置関係に基づき、受信したデータ信号の配列を補正する。図56は、データ信号の配列を補正した後の図である。図56を参照して、受信部52は、受信したデータ信号の並びが、上段の左から順に、データ信号D_C1、データ信号D_C2、データ信号D_C3、データ信号D_C4となり、下段の左から順に、データ信号D_C5、データ信号D_C6、データ信号D_C7、データ信号D_C8となるように補正をする。
そして、受信部52は、受信したデータ信号のパターン解析を行なう。図57は、受信したデータ信号をパターン解析した結果を示した図である。この際、受信部52は、解析結果の出力として、予め定められた順に、「0」または「1」を順に出力する。この場合、電子機器200では、受信データとして「01111101」を得ることができる。ここで、予め定められた順とは、本実施の形態では、図57の上段の左から右へ、その後下段の左から右へといった順である。
なお、電子機器200が出力した信号を電子機器100が受信した場合における、当該受信した信号の解析についても、電子機器200の場合と同様であるため、ここでは説明を繰り返さない。
<電子機器100のフローチャート>
次に、認証時の電子機器100の処理フローについて説明する。図58は、認証時の電子機器100の処理の前半のフローを示したフローチャートである。図59は、認証時の電子機器100の処理の後半のフローを示したフローチャートである。
図58を参照して、制御部10は電子機器100のシステムを初期化する(S11)。ステップS11の後は、表示制御部11は、液晶パネル140に「認証します」を表示させる(S12)。ステップS12の後は、表示制御部11が、初期通信時における基準信号とデータ信号との表示位置を決定する(S13)。ステップS13の後は、表示制御部11が、通信要求信号を生成する(S14)。なお、当該通信要求信号の生成手順は、以下のとおりである。まず、送信用バッファ(SUBF)を0として、当該バッファの内容を消去する。次に、図37のデータ領域DA21に「0000」を設定する。さらに、パリティビットを演算し、当該演算した値をパリティビットDA23に設定する。
ステップS14の後は、表示制御部11は、液晶パネル140を介して、通信要求信号を電子機器200に送信する(S15)。ステップS15の後は、受信部12は、電子機器200からの信号を受信する(S16)。なお、READY信号の受信にn回失敗したら、制御部10は、後述するステップS26以降の処理を行なってもよい。
ステップS16の後は、受信部12は、電子機器200からREADY信号を受信したか否かを判断する(S17)。ステップS17においてREADY信号を受信したと判断された場合(Yesの場合)、表示制御部11はデバイス情報を含んだ送信データを生成する(S18)。一方、ステップS17においてREADY信号を受信しなかったと判断された場合(Noの場合)、制御部10はステップS15に戻る。たとえば、通信途中に電子機器100の表示面と電子機器200の表示面とが離れた場合には、ステップS15に戻ることになる。なお、上記READY信号の生成手順は、以下のとおりである。まず、表示制御部11は、送信用バッファ(SUBF)を0として、当該バッファの内容を消去する。次に、表示制御部11は、データ領域DA21に「0010」を設定する。さらに、表示制御部11は、データ領域DA24に、図45に示すデバイス情報を設定する。そして、表示制御部11は、パリティビットを演算し、当該演算した値をパリティビットDA23に設定する。
ステップS18の後は、表示制御部11は、デバイス情報を含んだデータを電子機器200に送信する(S19)。ステップS19の後は、電子機器200からの信号を受信する(S20)。ステップS20の後は、受信部12は、電子機器200から通信パラメータを受信したか否かを判断する(S21)。ステップS21において通信パラメータを受信したと判断された場合(Yesの場合)、表示制御部11は、本通信時における基準信号とデータ信号との表示位置を決定する(S22)。一方、ステップS21において通信パラメータを受信しなかったと判断された場合(Noの場合)、図59を参照して、表示制御部11は、液晶パネル140に通信エラーを表示させる(S36)。なお、ステップS22においては、(X,Y)=(0,0)とすればよい。
ステップS11において受信部12が通信パラメータを受信した後は、本通信が行われる。つまり、電子機器100と電子機器200との間で、8ビットを用いたデータの送受信が行なわれる。
ステップS22の後は、表示制御部11は認証要求信号を生成する(S23)。なお、当該認証要求信号の生成は、以下のとおりである。まず、送信用バッファ(SUBF)を0として、当該バッファの内容を消去する。次に、データ領域DA21に「0100」を設定する。さらに、パリティビットを演算し、当該演算した値をパリティビットDA23に設定する。
ステップS23の後は、表示制御部11は、認証要求信号を電子機器200に送信する(S24)。ステップS24の後は、電子機器200からの信号を受信する(S25)。ステップS25の後は、図59を参照して、受信部12は、電子機器200からの信号の受信に関し、タイムアウトとなったか否かを判断する(S26)。つまり、受信部12は、ステップS26において、予め定めた時間以内に電子機器200から信号を受信できなかったか否かを判断する。ステップS26においてタイムアウトと判断された場合(Yesの場合)には、表示制御部11は、液晶パネル140に通信エラーを表示させる(S36)。一方、ステップS26において処理時間がタイムアウトでないと判断された場合(Noの場合)には、受信部12は、認証準備完了信号を電子機器200から受信したか否かを判断する(S27)。
ステップS27において認証準備完了信号を受信したと判断された場合(Yesの場合)、表示制御部11は、認証情報を含んだデータを生成する(S28)。なお、当該データの生成手順は、以下のとおりである。まず、表示制御部11は、送信用バッファ(SUBF)を0として、当該バッファの内容を消去する。次に、表示制御部11は、データ領域DA21に「0110」を設定する。さらに、表示制御部11は、データ領域DA24に、認証に関する情報を設定する。そして、表示制御部11は、パリティビットを演算し、当該演算した値をパリティビットDA23に設定する。一方、ステップS27において認証準備完了信号を受信したと判断されなかった場合(Noの場合)には、表示制御部11、液晶パネル140に通信エラーを表示させる(S36)。
ステップS28の後は、表示制御部11は、認証情報を含んだデータを電子機器200に送信する(S29)。ステップS29の後は、受信部12は、電子機器200からの信号を受信する(S30)。ステップS30の後は、受信部12は、電子機器200からの信号の受信に関し、タイムアウトとなったか否かを判断する(S31)。ステップS31において処理時間がタイムアウトしていると判断された場合(Yesの場合)には、受信部12は、表示制御部11に通信エラーを表示させる(S36)。一方、ステップS31においてタイムアウトしていないと判断された場合(Noの場合)には、受信部12は、認証に失敗したことを示す信号を受信したか否かを判断する(S32)。
ステップS32において認証に失敗したことを示す信号を受信したと判断された場合(Yesの場合)、表示制御部11は、液晶パネル140に認証に失敗した旨を表示させる(S33)。一方、ステップS32において認証に失敗したことを示す信号を受信しなかったと判断された場合(Noの場合)、受信部12は、認証に成功したことを示す信号を受信したか否かを判断する(S34)。
ステップS34において認証に成功したことを示す信号を受信したと判断された場合(Yesの場合)、表示制御部11は、液晶パネル140に認証に成功した旨を表示させる(S35)。一方、ステップS34において認証に成功したことを示す信号を受信したと判断されなかった場合(Noの場合)、表示制御部11は、液晶パネル140に通信エラーを表示させる(S36)。
ステップS33、ステップS35、およびステップS36の後は、制御部10は、予め定められた時間(たとえば、1分間)、電源をOFFすることなく電子機器100を待機状態とする(S37)。ステップS37の後は、制御部10は電源をOFFする(S38)。以上により、一連の処理が終了する。
<電子機器200のフローチャート>
次に、認証時の電子機器200の処理フローについて説明する。図60は、認証時の電子機器200の処理の前半のフローを示したフローチャートである。図61は、認証時の電子機器200の処理の後半のフローを示したフローチャートである。
図60を参照して、制御部50は電子機器200のシステムを初期化する(S101)。ステップS101の後は、表示制御部51は、液晶パネル240に「認証を行います」といった表示をさせる(S102)。ステップS102の後は、受信部52は、電子機器100からの信号を受信する(S103)。
ステップS103の後は、受信部52は、電子機器100からの信号の受信に関し、タイムアウトとなったか否かを判断する(S104)。ステップS104において処理時間がタイムアウトしていると判断された場合(Yesの場合)、ステップS103に戻る。一方、ステップS104においてタイムアウトしていないと判断された場合(Noの場合)、受信部52は、通信要求信号を電子機器100から受信したか否かを判断する(S105)。
ステップS105において通信要求信号を受信したと判断された場合(Yesの場合)、初期通信時における基準信号とデータ信号との表示位置を決定する(S106)。なお、当該表示位置は、通信要求信号を受信した位置から決定する。ステップS105において通信要求信号を受信したと判断されなかった場合(Noの場合)、ステップS103に戻る。
ステップS106の後は、表示制御部51は、READY信号を生成する(S107)。なお、当該READY信号の生成手順は、以下のとおりである。まず、表示制御部51は、送信用バッファ(SUBF)を0として、当該バッファの内容を消去する。次に、表示制御部51は、データ領域DA21に「0001」を設定する。さらに、表示制御部51は、パリティビットを演算し、当該演算した値をパリティビットDA23に設定する。
ステップS107の後は、表示制御部51は、液晶パネル240を介して、READY信号を電子機器100に送信する(S108)。ステップS108の後は、受信部52は、電子機器100からの信号を受信する(S109)。なお、デバイス情報の受信にn回失敗したら、後述するステップS137以降の処理を行なってもよい。
ステップS109の後は、受信部52は、タイムアウトとなったか否かを判断する(S110)。ステップS110においてタイムアウトとなったと判断された場合(Yesの場合)、再度、ステップS103に戻る。一方、ステップS110においてタイムアウトしていないと判断された場合(Noの場合)、受信部52は、電子機器100からデバイス情報を受信したか否かを判断する(S111)。
ステップS111においてデバイス情報を含んだデータ受信したと判断された場合(Yesの場合)、表示制御部51は、通信パラメータを含んだデータを生成する(S112)。一方、ステップS111においてデバイス情報を含んだデータを受信したと判断されなかった場合(Noの場合)、ステップS109に戻る。なお、当該通信パラメータを含んだデータの生成手順は、以下のとおりである。まず、表示制御部51は、送信用バッファ(SUBF)を0として、当該バッファの内容を消去する。次に、表示制御部51は、データ領域DA21に「0011」を設定する。さらに、表示制御部51は、データ領域DA24に、図46に示した通信パラメータを設定する。そして、表示制御部51は、パリティビットを演算し、当該演算した値をパリティビットDA23に設定する。
ステップS112の後は、表示制御部51は、通信パラメータを含んだデータを送信する(S113)。なお、ステップS113において通信パラメータを送信した後は、本通信が行われる。つまり、電子機器100と電子機器200との間で、8ビットを用いたデータの送受信が行なわれる。ステップS113の後は、電子機器100からの信号を受信する(S114)。
ステップS114の後は、受信部52は、タイムアウトとなったか否かを判断する(S115)。ステップS115においてタイムアウトとなったと判断された場合(Yesの場合)、受信部52は、電子機器100の機器識別IDを記憶装置99に記憶する(S134)。一方、ステップS115においてタイムアウトしていないと判断された場合(Noの場合)、受信部52は、認証要求信号を受信したか否かを判断する(S116)。
ステップS116において認証要求信号を受信したと判断されなかった場合(Noの場合)、ステップS114に戻る。一方、ステップS116において認証要求信号を受信したと判断された場合(Yesの場合)、図61を参照して、表示制御部51は、本通信時における基準信号とデータ信号との表示位置を決定する(S117)。なお、当該表示位置は、認証要求信号を受信した位置から決定する。ステップS117の後は、表示制御部51は、液晶パネル240に認証中であることを示す表示をさせる(S118)。なお、表示制御部51は、認証中であることを示す表示を上記第2領域L2に行なう。
ステップS118の後は、表示制御部51は、認証準備完了信号を生成する(S119)。なお、当該認証準備間慮信号の生成手順は、以下のとおりである。まず、送信用バッファ(SUBF)を0として、当該バッファの内容を消去する。次に、データ領域DA21に「0101」を設定する。さらに、パリティビットを演算し、当該演算した値をパリティビットDA23に設定する。
ステップS119の後は、表示制御部51は、生成した認証準備完了信号を電子機器100に送信する(S120)。ステップS120の後は、電子機器200は、電子機器100からの信号を受信する(S121)。ステップS121の後は、受信部52は、タイムアウトとなったか否かを判断する(S122)。ステップS122においてタイムアウトになったと判断された場合(Yesの場合)、受信部52は、電子機器100の機器識別IDを記憶装置99に記憶する(S134)。一方、ステップS122においてタイムアウトしていないと判断された場合(Noの場合)、受信部52は、認証情報を含んだデータを受信したか否かを判断する(S123)。
ステップS123において認証情報を含んだデータを受信したと判断された場合(Yesの場合)、認証部55は認証処理を実行する(S124)。一方、ステップS123において認証情報を含んだデータを受信していないと判断された場合(Noの場合)、受信部52は、電子機器100の機器識別IDを記憶装置99に記憶する(S134)。ステップS124の後は、第2設定部57は、基準信号とデータ信号との表示位置の再設定を行なう(S125)。なお、、第2設定部57は、認証情報を含んだデータの受信位置と、送信領域横位置(cSPX)と、送信領域縦位置(cSPY)と、受信領域横位置(cRPX)と、受信領域縦位置(cRPY)との位置関係を基に、当該表示位置を決定する。当該決定により、電子機器200では、認証中に電子機器100の位置が変化した場合であっても、上記メッセージをユーザが視認可能な位置に表示し続けることが可能となる。また、当該決定により、電子機器100,200は、互いの送信領域のズレにより生じる通信エラーを防ぐことができる。
ステップS125の後は、表示制御部51は、認証部55による認証が成功したか否かを判断する(S126)。ステップS126において認証が成功したと判断された場合(Yesの場合)、表示制御部51は、認証に成功したことを示す信号を生成する(S127)。なお、当該信号の生成手順は、以下のとおりである。まず、表示制御部51は、送信用バッファ(SUBF)を0として、当該バッファの内容を消去する。次に、表示制御部51は、データ領域DA21に「0111」を設定する。さらに、表示制御部51は、パリティビットを演算し、当該演算した値をパリティビットDA23に設定する。
ステップS127の後は、表示制御部51は、認証に成功したことを示す信号を電子機器100に送信する(S128)。ステップS128の後は、表示制御部51は、認証に成功したことを示す表示を自機器200の液晶パネル240の表示面に表示する(S129)。ステップS129の後は、表示制御部51は、記憶装置99に記憶した機器識別IDを消去する(S130)。
一方、ステップS126において認証が成功したと判断されなかった場合(Noの場合)、表示制御部51は、認証に失敗したことを示す信号を生成する(S131)。なお、当該信号の生成手順は、以下のとおりである。まず、表示制御部51は、送信用バッファ(SUBF)を0として、当該バッファの内容を消去する。次に、表示制御部51は、データ領域DA21に「1000」を設定する。さらに、表示制御部51は、パリティビットを演算し、当該演算した値をパリティビットDA23に設定する。
ステップS131の後は、表示制御部51は、認証に失敗したことを示す信号を電子機器100に送信する(S132)。ステップS132の後は、表示制御部51は、認証に失敗したことを示す表示を自機器200の液晶パネル240の表示面に表示する(S133)。ステップS133の後は、表示制御部51は、記憶装置99に記憶した機器識別IDを消去する(S130)。
ステップS134の後は、表示制御部51は、エラーを示すデータを生成する(S135)。なお、当該データの生成手順は、以下のとおりである。まず、表示制御部51は、送信用バッファ(SUBF)を0として、当該バッファの内容を消去する。次に、表示制御部51は、データ領域DA21に「1111」を設定する。さらに、表示制御部51は、パリティビットを演算し、当該演算した値をパリティビットDA23に設定する。
ステップS135の後は、表示制御部51は、エラーを示すデータを電子機器100に送信する(S136)。ステップS136の後は、液晶パネル240に表示制御部51は、通信エラーを示す表示を表示させる(S137)。
ステップS130およびステップS137の後は、電子機器200は、予め定めた時間(たとえば15秒)、電源をOFFすることなく電子機器200を待機状態とする(S138)。ステップS138の後は、制御部50は、自機器200の電源がOFFか否かを判断する(S139)。ステップS139において電源OFFとなれば、一連の処理を終了する。一方、ステップS139において電源OFFと判断されなかった場合、ステップS102に戻る。
なお、ステップS130では、制御部50は、記憶した機器識別IDを消去する。この場合、記憶装置99において機器識別IDに割り当てられたメモリ領域の上限まで、機器識別IDを記憶しておき、新たに機器識別IDを当該メモリ領域に記憶させる必要がある場合には、最初に記憶された機器識別IDを消去する構成としてもよい。あるいは、電子機器100の認証に関し、認証に成功した回数と認証に失敗した回数との差が閾値を超えた場合にだけ、電子機器100の機器識別IDを消去する構成としてもよい。
<初期通信時のフローチャート>
次に、初期通信時における電子機器100のデータの送信フローについて説明する。図
62は、初期通信時における電子機器100のデータの送信フローを示したフローチャートである。
図62を参照して、表示制御部11は、基準信号(S_A1,S_A2)をハイレベル「1」とする(S201)。ステップS201の後は、表示制御部11は、データ信号D_A1をハイレベル「1」とする(S202)。ステップS202の後は、表示制御部11は、電子機器200に送信する画像をVRAM1812に描画する(S203)。ステップS203の後は、表示制御部11は、垂直同期信号(VSYNC)の割り込みを待つ(S204)。ここまでのステップが、送信開始のための同期信号をVRAM1812に描画するステップである。以降のステップは、128ビットのデータをVRAM1812に描画するためのステップである。なお、以下では、iを1以上128以下の自然数とする。
表示制御部11は、送信済みビット数を表す変数SA_iの値を0に設定する(S205)。ステップS205の後は、表示制御部11は、基準信号(S_A1,S_A2)の出力レベルを、変数SA_iを2で除した際に得られる余りに応じた値とする(S206)。変数SA_iの値が0または偶数であれば、当該余りは0となるため、表示制御部11は基準信号(S_A1,S_A2)をローレベル「0」とする。一方、変数SA_iの値が奇数であれば、当該余りは1となるため、表示制御部11は基準信号(S_A1,S_A2)をハイレベル「1」とする。
ステップS206の後は、表示制御部11は、128ビットのデータのうちの1ビットのデータを順に記憶装置49から読み出す(S207)。ステップS207の後は、表示制御部11は、電子機器200に送信する画像をVRAM1812に描画する(S208)。ステップS208の後は、変数SA_iに1を加える(S209)。ステップS209の後は、表示制御部11は、変数SA_iが128よりも小さいか否かを判断する(S210)。ステップS210において小さいと判断された場合(Yesの場合)、ステップS206に戻る。一方、ステップS210において小さいと判断されなかった場合(Noの場合)、処理を終了する。
なお、上記一連の処理は、垂直帰線期間内に終了するものとする。
次に、図62のステップS203およびステップS208における処理の詳細について説明する。図63は、図62のステップS203およびステップS208における処理の詳細のフローを示したフローチャートである。
図63を参照して、表示制御部11は、垂直同期信号の割り込みを待つ(S301)。ステップS301の後は、表示制御部11は、基準信号用の画素ブロック(BL_A1,BL_A2)およびデータ信号用の画素ブロックBL_A3を黒色で表示する(S302)。ステップS302の後は、表示制御部11は、基準信号(S_A1,S_A2)がハイレベルであるか否かを判断する(S303)。
ステップS303においてハイレベルであると判断された場合(Yesの場合)、表示制御部11は、基準信号(S_A1)をVRAM1812に描画する(S304)。具体的には、表示制御部11は、画素ブロックBL_A1の内部の15×15ピクセルの領域に対応するVRAM1812内の領域を青色に変更する。ステップS304の後は、表示制御部11は、基準信号S_A2をVRAM1812に描画する(S305)。具体的には、表示制御部11は、画素ブロックBL_A2の内部の15×15ピクセルの領域に対応するVRAM1812内の領域を青色に変更する。
ステップS303においてハイレベルでないと判断された場合(Noの場合)、およびステップS305の後は、表示制御部11は、データ信号D_A1がハイレベルであるか否かを判断する(S306)。ステップS306においてハイレベルであると判断された場合(Yesの場合)には、表示制御部11は、データ信号D_A1をVRAM1812に描画する(S307)。具体的には、表示制御部11は、画素ブロックBL_A3の内部の15×15ピクセルの領域に対応するVRAM1812内の領域を青色に変更する。一方、ステップS306においてハイレベルでないと判断された場合(Noの場合)には、処理を終了する。
次に、初期通信時における電子機器200のデータの受信フローについて説明する。図
64は、初期通信時における電子機器200のデータの受信フローを示したフローチャートである。
図64を参照して、受信部52は、データ受信の同期を試みる回数RA_rの値を60に設定する(S401)。ステップS401の後は、受信部52が、受信した信号(S_A1,S_A2,D_A1)の解析を行なう(S402)。ステップS402の後は、受信部52が、各基準信号(S_A1,S_A2)およびデータ信号D_A1が全てハイレベルであるか否かを判断する(S403)。
ステップS403においてハイレベルであると判断された場合(Yesの場合)、制御部50は、電子機器200の状態を時間4tだけ待機状態とする(S404)。ここで、時間tは、垂直同期信号の周期に対して十分に短い時間である。本実施の形態では、たとえば、時間tを垂直同期信号の周期の1/4に設定している。ステップS404の後は、受信部52が、受信した信号(S_A1,S_A2,D_A1)の解析を行なう(S405)。ステップS405の後は、受信部52が、各基準信号(S_A1,S_A2)およびデータ信号D_A1が全てハイレベルであるか否かを判断する(S406)。
ステップS406においてハイレベルであると判断された場合(Yesの場合)、受信部52は、記憶済みビット数を表す変数RA_iの値を0に設定する(S407)。ステップS407の後は、受信部52は、変数RA_Bの値を1に設定する(S408)。ステップS408の後は、制御部50は、電子機器200の状態を時間tだけ待機状態とする(S409)。ステップS409の後は、受信部52が、受信した信号の解析を行なう(S410)。
ステップS410の後は、受信部52が、基準信号S_A1と基準信号S_A2とが同じ状態であるか否かを判断する(S411)。ステップS411において同じであると判断された場合(Yesの場合)、受信部52は、基準信号S_C2の出力レベル(1または0)と、変数RA_Bとが異なっているか否かを判断する(S412)。一方、ステップS411において同じでないと判断された場合(Noの場合)、ステップS409に戻る。
ステップS412において異なっていると判断された場合(Yesの場合)、受信部52は、変数RA_Bの値を、基準信号S_C2の出力レベルに設定する(S413)。つまり、受信部52は、現在の基準信号の状態を変数RA_Bとして記憶装置99に記憶する。一方、ステップS412において異なっていないと判断された場合(Noの場合)、制御部50は、ステップS409に戻る。ステップS413の後は、受信部52は、1ビット分のデータ信号D_A1を記憶装置99(詳しくは、バッファメモリ)に記憶する(S414)。
ステップS414の後は、受信部52は、変数RA_iに1を加算する(S415)。ステップS415の後は、受信部52は、128ビット分の記憶が完了していないか否かを判断する(S416)。ステップS416において完了していないと判断された場合(Yesの場合)、再度、ステップS409に戻る。一方、ステップS416において完了していると判断された場合(Noの場合)、受信部52は、エラーなしと判断し(S417)、表示制御部51がエラー表示を行なうことなく一連の処理を終了する。
ところで、ステップS403においてハイレベルであると判断されなかった場合(Noの場合)、およびステップS406においてハイレベルであると判断されなかった場合(Noの場合)、受信部52は、データ受信の同期を試みる回数RA_rから1を減ずる(S418)。ステップS418の後は、受信部52は、上記回数RA_rが0であるか否かを判断する(S419)。ステップS419において0であると判断された場合(Yesの場合)、表示制御部51は、液晶パネル240にタイムアウトを示す表示を行わせる(S420)。一方、ステップS419において0であると判断されなかった場合(Noの場合)、制御部50は、電子機器200の状態を時間4tだけ待機状態とする(S421)。ステップS421の後は、再度、ステップS402に戻る。
<本通信時のフローチャート>
次に、本通信時における電子機器100のデータの送信フローについて説明する。図65は、本通信時における電子機器100のデータの送信フローを示したフローチャートである。
図65を参照して、表示制御部11は、基準信号(S_C1〜S_C5)をハイレベル「1」とする(S501)。ステップS501の後は、表示制御部11は、データ信号(D_C1〜D_C8)をハイレベル「1」とする(S502)。ステップS502の後は、表示制御部11は、電子機器200に送信する画像をVRAM1812に描画する(S503)。ステップS503の後は、表示制御部11は、垂直同期信号の割り込みを待つ(S504)。
ステップS504の後は、表示制御部11は、データ信号(D_C1〜D_C8)をローレベル「0」とする(S505)。ステップS505の後は、表示制御部11は、送信済みのフレーム数を示す変数SB_jの値を0に設定する(S506)。なお、jは1以上の自然数である。また、本実施の形態では、1フレームで8ビット分のデータを送信することができる。
ステップS506の後は、表示制御部11は、基準信号(S_C1〜S_C5)の出力レベルを、変数SB_jを2で除した際に得られる余りに応じた値とする(S507)。変数SB_jの値が0または偶数であれば、当該余りは0となるため、表示制御部11は基準信号(S_C1〜S_C5)をローレベル「0」とする。一方、変数SB_jの値が奇数であれば、当該余りは1となるため、表示制御部11は基準信号(S_C1〜S_C5)をハイレベル「1」とする。
ステップS507の後は、表示制御部11は、電子機器200に送信する画像をVRAM1812に描画する(S508)。ステップS508の後は、表示制御部11は、変数SB_jに1を加える(S509)。ステップS509の後は、表示制御部11は、128ビット分のデータを送信するのに必要なフレーム数分のフレームを送信していないか否かを判断する(S510)。たとえば、本実施の形態では、表示制御部11が、16(128ビット/8ビット)個のフレームを送信したか否かを判断する。
ステップS510において送信していないと判断された場合(Yesの場合)、再度、ステップS507に戻る。一方、ステップS510において送信していると判断された場合(Noの場合)、処理を終了する。
次に、図65のステップS503およびステップS508における処理の詳細について説明する。図66は、図65のステップS503およびステップS508における処理の詳細のフローを示したフローチャートである。
図66を参照して、表示制御部11は、垂直同期信号の割り込みを検知する(S601)。ステップS601の後は、表示制御部11は、基準信号用の画素ブロック(BL_C1〜BL_C5)およびデータ信号用の画素ブロック(BL_C11〜BL_C18)を黒色で表示する(S602)。ステップS602の後は、表示制御部11は、基準信号(S_C1〜S_C5)がハイレベルであるか否かを判断する(S603)。
ステップS603においてハイレベルであると判断された場合(Yesの場合)、表示制御部11は、基準信号(S_C1)を液晶パネル140の表示面に表示する(S604)。具体的には、表示制御部11は、画素ブロックBL_C1の内部の15×15ピクセルの領域を青色に変更する。一方、ステップS603においてハイレベルでないと判断された場合(Noの場合)、表示制御部11は、変数kの値を0とする(S609)。
ステップS604の後は、表示制御部11は、基準信号S_C2をVRAM1812に描画する(S605)。具体的には、表示制御部11は、画素ブロックBL_C2の内部の15×15ピクセルの領域に対応するVRAM1812内の領域を青色に変更する。
ステップS605の後は、表示制御部11は、基準信号S_C3をVRAM1812に描画する(S606)。具体的には、表示制御部11は、画素ブロックBL_C3の内部の15×15ピクセルの領域に対応するVRAM1812内の領域を青色に変更する。
ステップS606の後は、表示制御部11は、基準信号S_C4をVRAM1812に描画する(S607)。具体的には、表示制御部11は、画素ブロックBL_C4の内部の15×15ピクセルの領域に対応するVRAM1812内の領域を青色に変更する。
ステップS607の後は、表示制御部11は、基準信号S_C5をVRAM1812に描画する(S608)。具体的には、表示制御部11は、画素ブロックBL_C5の内部の15×15ピクセルの領域に対応するVRAM1812内の領域を青色に変更する。
ステップS608の後は、ステップS609に進む。ステップS609の後は、表示制御部11が、送信するデータ信号が8ビットともハイレベルであるか否かを判断する(S610)。ステップS610でハイレベルでないと判断された場合(Noの場合)、表示制御部11は、8ビットのデータ信号のうち1ビット分のデータを取り出す(S611)。一方、ステップS610でハイレベルであると判断された場合(Yesの場合)、ステップS613に進む。ステップS611の後は、表示制御部11は、取り出したデータ信号がハイレベル「1」であるか否かを判断する(S612)。
ステップS610においてハイレベルであると判断された場合(Yesの場合)、およびステップS612においてハイレベルであると判断された場合(Yesの場合)、表示制御部11は、当該取り出したデータをVRAM1812に描画する(S613)。ステップS613の後は、表示制御部11は、変数kの値に1を加算する(S614)。一方、ステップS612においてハイレベルであると判断されなかった場合(Noの場合)には、ステップS614に進む。
ステップS614の後は、表示制御部11は、1つのフレームに表示できるデータ信号の全てを、液晶パネル140の表示面に表示していないか否かを判断する(S615)。ステップS615において表示していないと判断された場合(Yesの場合)、再度、ステップS610に戻る。一方、ステップS615において表示していると判断された場合(Noの場合)、処理を終了する。
次に、本通信時における電子機器200のデータの受信フローについて説明する。図67は、本通信時における電子機器200のデータの受信フローの前半を示したフローチャートである。図68は、本通信時における電子機器200のデータの受信フローの後半を示したフローチャートである。
図67を参照して、受信部52は、データ受信の同期を試みる回数RB_rの値を60に設定する(S701)。ステップS701の後は、受信部52が、受信した信号(S_C1〜S_C5,D_C11〜D_C18)の解析を行なう(S702)。ステップS702の後は、受信部52が、各基準信号(S_C1〜S_C5)が全てハイレベルであるか否かを判断する(S703)。
ステップS703においてハイレベルであると判断された場合(Yesの場合)、制御部50は、電子機器200の状態を時間4tだけ待機状態とする(S704)。ステップS704の後は、受信部52が、受信した信号(S_C1〜S_C5,D_C11〜D_C18)の解析を行なう(S705)。ステップS705の後は、受信部52が、各基準信号(S_C1〜S_C5)が全てハイレベルであるか否かを判断する(S706)。
ステップS706においてハイレベルであると判断された場合(Yesの場合)、受信部52は、記憶済みビット数を表す変数RB_jの値を0に設定する(S707)。ステップS707の後は、受信部52は、変数RB_Bの値を基準信号S_C3の出力レベル(1または0)に設定する(S708)。ステップS708の後は、図68を参照して、制御部50は、電子機器200の状態を時間tだけ待機状態とする(S709)。ステップS709の後は、受信部52が、受信した信号(S_C1〜S_C3,D_C11〜D_C18)の解析を行なう(S710)。なお、当該ステップS710では、受信部52は、基準信号(S_C4,S_C5)の解析は行わない。
ステップS710の後は、受信部52は、各基準信号(S_C1〜S_C5)の出力レベルが同じであるか否かを判断する(S711)。ステップS711において同じであると判断された場合(Yesの場合)、受信部52は、変数RB_Bの値が基準信号S_C2の出力レベル(1または0)と同じでないか否かを判断する(S712)。当該ステップS712は、基準信号S_C2が更新されているかを判断するステップである。つまり、変数RB_Bの値と基準信号S_C2の出力レベルとは同じでないと判断されれば(Yesの場合)、基準信号S_C2が更新されていることになる。一方、ステップS711において同じであると判断されなかった場合(Noの場合)、ステップS709に戻る。
ステップS712において同じでないと判断された場合(Yesの場合)、受信部52は、変数RB_Bの値を基準信号S_C3の出力レベル(1または0)に設定する(S713)。つまり、受信部52は、現在の基準信号S_C3の状態を記憶する。一方、ステップS712において同じであると判断された場合(Noの場合)、ステップS709に戻る。
ステップS713の後は、受信部52は、変数kの値を0に設定する(S714)。ステップS714の後は、受信部52は、データ信号(D_C11〜D_C18)のうち、1ビット分のデータ信号を記憶装置99(詳しくは、バッファメモリ)に記憶する(S715)。なお、当該記憶する順は、データ信号D_C11からデータ信号D_C18への順とする。
ステップS715の後は、受信部52は、変数kの値に1を加える(S716)。ステップS716の後は、受信部52は、1つのフレーム内のデータ信号(D_C11〜D_C18)が全て読み出されて、記憶装置99に記憶されたか否かを判断する(S717)。ステップS717において記憶されたと判断されなかった場合(Yesの場合)、ステップS715に戻る。一方、ステップS717においてデータ信号(D_C11〜D_C18)が記憶されたと判断された場合(Noの場合)、受信部52は、変数RB_jの値に1を加える(S718)。
ステップS718の後は、受信部52は、128ビット分の記憶が完了していないか否かを判断する(S719)。ステップS719において完了していないと判断された場合(Yesの場合)、ステップS709に戻る。一方、ステップS719において完了していると判断された場合(Noの場合)、受信部52は、エラー表示を行なうことなく(S720)、処理を終了する。
ところで、ステップS703においてハイレベルであると判断されなかった場合、およびステップS706においてハイレベルであると判断されなかった場合、図67を参照して、データ受信の同期を試みる回数RB_rから1を減ずる(S721)。ステップS721の後は、受信部52は、上記回数RB_rが0であるか否かを判断する(S722)。ステップS722において0であると判断された場合(Yesの場合)、表示制御部51は、液晶パネル240にタイムアウトを示す表示を行わせる(S723)。一方、ステップS722において0でないと判断された場合(Noの場合)、制御部50は、電子機器200の状態を時間4tだけ待機状態とする(S724)。ステップS723の後は、再度、ステップS702に戻る。
<まとめ>
(電子機器100および電子機器200について)
電子機器100,200の各第2設定部14,57は、データの送受信の際に相手機器にデータを送信する表示面の送信領域と、データの送受信の際に相手機器からデータを受信する表示面の受信領域とを、同じ領域に設定する。
このような構成により、送信領域(または受信領域)を或る広さに設定することが要求される場合、電子機器100,200では、送信領域と受信領域とを異なる領域にする場合に比べて、データの送受信に必要な領域を小さくすることができる。
また、上記構成により、或る広さの領域内でデータの送受信を行なうことが要求される場合、電子機器100,200では、送信領域と受信領域とを異なる領域にする場合に比べて、送信領域(または受信領域)を大きくとることができる。
また、第2設定部14,57は、データの受信位置を含む領域を受信領域として設定し、送信領域と受信領域との設定を行った後、データの受信位置の変更に伴い受信領域を再設定する場合、送信領域についても再設定する。より詳しくは、受信領域と送信領域とは同一であるため、受信領域の再設定は、同時に送信領域の再設定にもなる。電子機器100,200は、データ受信の際に相手機器の送信領域が判別できるため、第2設定部14,57は、当該相手機器の送信領域に対応する領域を自機器の送信領域に設定する。
したがって、対向状態にある相手機器の位置が移動することによって互いの送受信領域の位置がずれた場合であっても、再度、送受信領域を設定しなおすことができる。それゆえ、電子機器100と電子機器200との間での通信エラーの発生を防ぐことができる。
(据置型の電子機器200について)
電子機器200の第2設定部57は、電子機器100から受信した通信可能領域を示した情報に基づき、送信領域および受信領域を設定する。
したがって、電子機器200は、電子機器100の通信可能領域の大きさの範囲内で送信領域と受信領域とを設定することができる。
また、表示制御部51は、初期通信において、電子機器100との通信条件を変更するための通信パラメータであって、少なくとも通信可能領域を示した情報に基づいて生成された通信パラメータを、送信領域を用いて電子機器100に送信する。
したがって、電子機器100が通信パラメータに基づいて自機器100の通信領域(送信領域および受信領域)を設定することにより、電子機器100は、自機器100の通信領域を電子機器200の通信領域に対応した領域に設定できる。
(カード型の電子機器100について)
電子機器100の第2設定部14は、通信可能領域を示した情報に基づき電子機器200にて生成された通信パラメータに応じて、送信領域および受信領域を設定する。
したがって、電子機器100が通信パラメータに基づいて通信領域(送信領域および受信領域)を設定することにより、電子機器100は、自機器100の通信領域を電子機器200の通信領域に対応した領域に設定できる。
<変形例−1>
次に、電子機器100および電子機器200において、データの送信領域と、データの受信領域とを異なる領域に設定する構成について説明する。このような領域の設定は、第2設定部(14,57)により行なわれる。図71は、電子機器200において、送信領域と受信領域とが異なる領域に設定された場合を模式的に示した図である。
図71を参照して、電子機器200においては、送信領域TR_Aと受信領域RE_Aとが縦に並んで配されている。なお、送信領域TR_Aと受信領域RE_Aとの位置関係は、電子機器100に対して送信した通信パラメータに基づく。
また、電子機器200が、図71に示す状態で電子機器100とのデータの送受信を行なっている場合、電子機器100では、表示面内の上側の領域に受信領域が設定され、当該表示面の下側に送信領域が設定される。
このように送信領域と受信領域とを異なる領域に設定することにより、電子機器200が送信したデータ信号および基準信号が、自機器200の液晶パネル240の保護膜等または電子機器200の液晶パネル140の保護膜等で反射することによりノイズとして電子機器100に入力されてしまう可能性を低減できる。したがって、各電子機器(100,200)は、データの送信と受信とにおける全2重通信を安定的に実行することができる。
また、送信領域と受信領域とは近接していることが好ましい。このような構成とすることにより、限られた通信可能領域において通信領域(送信領域および受信領域)を広く設定することができる。
図72は、電子機器200において送信領域と受信領域とを異なる領域とした場合であって、送信領域TR_Aと受信領域RE_Aとが横に並んで配された場合を模式的に示した図である。図73は、電子機器200の送信領域と受信領域とが図72に示す態様で設定された場合における、電子機器100の送信領域と受信領域との配置を模式的に示した図である。
このような構成としても、図71を用いて説明した場合と同様の効果を得ることができる。
なお、電子機器200における送信領域TR_Aと受信領域RE_Aとの配置は、図71や図72に示した配置に限定されるものではない。また、電子機器100における送信領域TR_A’と受信領域RE_A’との配置も、図73に示した配置に限定されるものではない。
<変形例−2>
(1)図14においては、送信コントローラ1811および受信コントローラ1832を画像処理エンジン180に設けた構成を示した。しかしながら、送信コントローラ1811および受信コントローラ1832を、ドライバ130に備えてもよい。あるいは、送信コントローラ1811および受信コントローラ1832の機能をCPU110が実行する構成としてもよい。
(2)上記においては、認証が成功した後、認証側の電子機器200がゲートを開く制御を行う構成について説明した。しかしながら、電子機器200が行なう制御は、ゲートを開く制御に限定されるものではない。たとえば、電子機器100(たとえば携帯型電話機)の表示面を電子機器200(たとえばレジスタ)の表示面に対向させると、電子機器200が課金処理を行なう構成としてもよい。
図69は、課金処理を行なう前の、電子機器100の表示面に表示される内容と電子機器200の表示面に表示される内容を示した図である。図70は、課金処理を行なった後の、電子機器100の表示面に表示される内容と電子機器200の表示面に表示される内容を示した図である。
図69を参照して、課金処理を行なう前は、電子機器100の表示制御部11は、自機器の表示面に認証開始する旨の表示をさせる。一方、電子機器200の表示制御部51は、自機器の表示面に、電子機器100のユーザに当該電子機器100の表示面を電子機器200の表示面に対向させることを案内する旨の表示をさせる。
図70を参照して、認証が終了し、かつ課金処理が終了した後は、電子機器100の表示制御部11は、課金の詳細(たとえば、レシートとして表示される内容)を電子機器100の表示面に表示させる。一方、電子機器200の表示制御部51は、課金終了に伴い表示すべき内容を電子機器200の表示面に表示させる。
このような構成とすることにより、電子機器100では課金の詳細をユーザが確認できるため、電子機器100は、課金の詳細を電子機器100で表示できない構成の電子機器に比べて、利便性に優れる。
また、電子機器200の通信可能領域内のいずれの位置に電子機器100の表示面を対向させても、認証および課金の処理を行なうことができる。LEDなどの通信を用いる場合は認証側の機器の配置が限定されるが、本発明では電子機器100の配置が、LEDを用いた通信ほどは限定されない。
また、通信システム1では、盗聴が防止できるといった効果もある。さらに、通信システム1では、対向状態で通信を行なうため通信障害の発生が少ない。
(3)また、電子機器100と電子機器200との間で、アドレス帳などのデータ交換を行う構成としてもよい。さらに、電子機器200をテレビ放送の表示が可能な機器とした場合、電子機器200の表示面の一部の領域に電子機器100の表示面を対向させることにより、電子機器200が当該一部の領域から出力しているデータを電子機器100で読み取る構成としてもよい。当該データとしては、たとえば、番組関連情報、プレミアムコンテンツ課金情報が挙げられる。
(4)電子機器100の液晶パネル140と電子機器200の液晶パネル240とのドットピッチが異なる場合には、データの送受信の際、当該ドットピッチの違いを考慮して、データの送受信の領域を決定すればよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。