本実施の一形態について図1〜図13に基づいて説明すると以下の通りである。
本実施の形態に係るデータ表示/センサ装置100(数値入力装置)は、近傍の像を検知するセンサ内蔵液晶パネル301(面状部材)と、センサ内蔵液晶パネル301が検知した指(対象物)の像に基づいて、センサ内蔵液晶パネル301上における指の像の領域を検出するデータ取得部820(領域検出手段)と、データ取得部820が検出した上記領域の個数をカウントし、該カウントした上記領域の個数をユーザによって入力された入力数値として認識する座標データカウント部830(入力数値認識手段)とを備える装置である。
まず、以下で、上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301の概要について説明する。
(センサ内蔵液晶パネルの概要)
上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング(タッチ)した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
図2を参照しながら、センサ内蔵液晶パネル301の構造について説明する。図2は、センサ内蔵液晶パネル301の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル301は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
図示のとおり、センサ内蔵液晶パネル301は、背面側に配置されるアクティブマトリクス基板51Aと、表面側に配置される対向基板51Bとを備え、これら基板の間に液晶層52を挟持した構造を有している。アクティブマトリクス基板51Aには、画素電極56、データ信号線57、光センサ回路32(図示せず)、配向膜58、偏光板59などが設けられる。対向基板51Bには、カラーフィルタ53r(赤)、53g(緑)、53b(青)、遮光膜54、対向電極55、配向膜58、偏光板59などが設けられる。また、センサ内蔵液晶パネル301の背面には、バックライト307が設けられている。
なお、光センサ回路32に含まれるフォトダイオード6は、青のカラーフィルタ53bを設けた画素電極56の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ53rを設けた画素電極56の近傍に設けてもよいし、緑のカラーフィルタ53gを設けた画素電極56の近傍に設けてもよい。
次に、図3(a)および図3(b)を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル301上をタッチした位置を検出する2種類の方法について説明する。
図3(a)は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト307から光63が出射されると、フォトダイオード6を含む光センサ回路32は、指などの対象物64により反射された光63を検知する。これにより、対象物64の反射像を検知することができる。このように、センサ内蔵液晶パネル301は、反射像を検知することにより、タッチした位置を検出することができる。
また、図3(b)は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)に示すように、フォトダイオード6を含む光センサ回路32は、対向基板51Bなどを透過した外光61を検知する。しかしながら、ペンなどの対象物62がある場合は、外光61の入射が妨げられるので、光センサ回路32が検知する光量が減る。これにより、対象物62の影像を検知することができる。このように、センサ内蔵液晶パネル301は、影像を検知することにより、タッチした位置を検出することもできる。
上述のように、フォトダイオード6は、バックライト307より出射された光の反射光(影像)を検知してもよいし、外光による影像を検知してもよい。また、上記2種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
(データ表示/センサ装置の要部構成)
次に、図4を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図4は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、1または複数の表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。ここでは、データ表示/センサ装置100は、表示/光センサ部300を2つ(第1表示/光センサ部300Aおよび第2表示/光センサ部300B)備えているものとして説明する。なお、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bを区別しないときは、表示/光センサ部300と表記する。
表示/光センサ部300は、いわゆる光センサ内蔵液晶表示装置である。表示/光センサ部300は、センサ内蔵液晶パネル301、バックライト307、それらを駆動するための周辺回路309を含んで構成される。
センサ内蔵液晶パネル301は、マトリクス状に配置された複数の画素回路31および光センサ回路32を含んで構成される。センサ内蔵液晶パネル301の詳細な構成については後述する。
周辺回路309は、液晶パネル駆動回路304、光センサ駆動回路305、信号変換回路306、バックライト駆動回路308を含む。
液晶パネル駆動回路304は、回路制御部600の表示制御部601からのタイミング制御信号(TC1)およびデータ信号(D)に従って、制御信号(G)およびデータ信号(S)を出力し、画素回路31を駆動する回路である。画素回路31の駆動方法の詳細については後述する。
光センサ駆動回路305は、回路制御部600のセンサ制御部602からのタイミング制御信号(TC2)に従って、信号線(R)に電圧を印加し、光センサ回路32を駆動する回路である。光センサ回路32の駆動方法の詳細については後述する。
信号変換回路306は、光センサ回路32から出力されるセンサ出力信号(SS)をデジタル信号(DS)に変換し、該変換後の信号をセンサ制御部602に送信する回路である。
バックライト307は、複数の白色LED(Light Emitting Diode)を含んでおり、センサ内蔵液晶パネル301の背面に配置される。そして、バックライト駆動回路308から電源電圧が印加されると、バックライト307は点灯し、センサ内蔵液晶パネル301に光を照射する。なお、バックライト307は、白色LEDに限らず、他の色のLEDを含んでいてもよい。また、バックライト307は、LEDに代えて、例えば、冷陰極管(CCFL:Cold Cathode Fluorescent Lamp)を含むものであってもよい。
バックライト駆動回路308は、回路制御部600のバックライト制御部603からの制御信号(BK)がハイレベルであるときは、バックライト307に電源電圧を印加し、逆に、バックライト制御部603からの制御信号がローレベルであるときは、バックライト307に電源電圧を印加しない。
次に、回路制御部600について説明する。回路制御部600は、表示/光センサ部300の周辺回路309を制御するデバイスドライバとしての機能を備えるものである。回路制御部600は、表示制御部601、センサ制御部602、バックライト制御部603、および表示データ記憶部604を備えている。
表示制御部601は、データ処理部700の表示データ処理部701から表示データを受信するとともに、表示データ処理部701からの指示に従って、表示/光センサ部300の液晶パネル駆動回路304に、タイミング制御信号(TC1)およびデータ信号(D)を送信し、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。
なお、表示制御部601は、表示データ処理部701から受信した表示データを、表示データ記憶部604に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号(D)を生成する。表示データ記憶部604は、例えば、VRAM(video random access memory)などである。
センサ制御部602は、データ処理部700のセンサデータ処理部703からの指示に従って、表示/光センサ部300の光センサ駆動回路305に、タイミング制御信号(TC2)を送信し、センサ内蔵液晶パネル301にてスキャンを実行させる。
また、センサ制御部602は、信号変換回路306からデジタル信号(DS)を受信する。そして、センサ内蔵液晶パネル301に含まれる全ての光センサ回路32から出力されたセンサ出力信号(SS)に対応するデジタル信号(DS)に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル301の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部703に送信する。
バックライト制御部603は、表示データ処理部701およびセンサデータ処理部703からの指示に従って、表示/光センサ部300のバックライト駆動回路308に制御信号(BK)を送信し、バックライト307を駆動させる。
なお、データ表示/センサ装置100が、複数の表示/光センサ部300を備える場合、表示制御部601は、データ処理部700から、どの表示/光センサ部300にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示/光センサ部300の液晶パネル駆動回路304を制御する。また、センサ制御部602は、データ処理部700から、どの表示/光センサ部300にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示/光センサ部300の光センサ駆動回路305を制御するとともに、当該指示に応じた表示/光センサ部300の信号変換回路306からデジタル信号(DS)を受信する。
次に、データ処理部700について説明する。データ処理部700は、主制御部800から受信する「コマンド」に基づいて、回路制御部600に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
データ処理部700は、表示データ処理部701およびセンサデータ処理部703を備えている。そして、データ処理部700が、主制御部800からコマンドを受信すると、該受信したコマンドに含まれる各フィールド(後述する)の値に応じて、表示データ処理部701およびセンサデータ処理部703の少なくとも一方が動作する。
表示データ処理部701は、主制御部800から表示データを受信するとともに、データ処理部700が受信したコマンドに従って、表示制御部601およびバックライト制御部603に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。なお、コマンドに応じた、表示データ処理部701の動作については、後述する。
センサデータ処理部703は、データ処理部700が受信したコマンドに従って、センサ制御部602およびバックライト制御部603に指示を与える。
また、センサデータ処理部703は、センサ制御部602から画像データを受信し、当該画像データをそのまま画像データバッファ704に格納する。そして、センサデータ処理部703は、データ処理部700が受信したコマンドに従って、画像データバッファ704に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ(部分画像の座標データを含む)」、および「座標データ」の少なくともいずれか1つを、主制御部800に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部703の動作については、後述する。
次に、主制御部800は、アプリケーションプログラムを実行するものである。主制御部800は、記憶部901に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部902に読み出して実行する。
主制御部800で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル301に表示データを表示させたり、センサ内蔵液晶パネル301にて対象物のスキャンを行わせるために、データ処理部700に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか1つを、データ処理部700から受信する。
なお、回路制御部600、データ処理部700、および主制御部800は、それぞれ、CPU(Central Processing Unit)およびメモリ等で構成することができる。また、データ処理部700は、ASIC(application specific integrate circuit)などの回路で構成されていてもよい。
次に、記憶部901は、図示のように、主制御部800が実行するプログラムおよびデータを格納するものである。なお、主制御部800が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
次に、操作部903は、データ表示/センサ装置100のユーザの入力操作を受けつけるものである。操作部903は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部903は、データ表示/センサ装置100のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部800へ送信する。
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ904、電源のオンとオフとを切り替える電源スイッチ905、予め所定の機能が割り当てられているユーザスイッチ906などのハードウェアスイッチを想定している。
その他、データ表示/センサ装置100は、無線/有線通信によって外部装置と通信を行なうための外部通信部907、音声を出力するためのスピーカ等の音声出力部908、音声信号を入力するためのマイク等の音声入力部909などを適宜備えていてもよい。
(コマンドの詳細)
次に、図5および図6を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図5は、コマンドのフレーム構造の一例を模式的に示す図である。また、図6は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
図5に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図6に示す値が指定可能である。
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
次に、「データ取得タイミング」フィールドは、データを主制御部800へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”(センス)、“01”(イベント)、および“10”(オール)という値が指定可能である。
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部800に送信する。
また、“イベント”は、センサ制御部602から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部602から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部800に送信する。
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部800に送信する。なお、上記所定周期は、光センサ回路32にてスキャンを行なう周期と一致する。
次に、「データ種別」フィールドは、センサデータ処理部703から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”(座標)、“010”(部分画像)、および“100”(全体画像)という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”/“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
センサデータ処理部703は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ704に記憶している画像データそのものを主制御部800に送信する。画像データバッファ704に記憶している画像データそのものを、「全体画像データ」と称する。
また、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部602から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部800に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出されたそれぞれの部分画像データを主制御部800に送信する。
さらに、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
次に、センサデータ処理部703は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部800に送信する(多点検出)。
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト307を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”(反射)、“01”(透過)、および“10”(反射/透過)という値が指定可能である。
“反射”は、バックライト307を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路305とバックライト駆動回路308とが同期して動作するように、センサ制御部602とバックライト制御部603とに指示を与える。
また、“透過”は、バックライト307を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路305を動作させ、バックライト駆動回路308と動作させないようにセンサ制御部602とバックライト制御部603とに指示を与える。なお、“反射/透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”(2値)、および“01”(多値)という値が指定可能である。
ここで、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“2値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部800に送信する。
また、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部800に送信する。
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”(高)および“1”(低)という値が指定可能である。
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部800に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ(指紋などの画像データ)には、“高”を指定することが望ましい。
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部800に送信する。例えば、タッチした位置等が分かる程度でよい画像データ(タッチした指や手の画像データなど)には、“低”を指定することが望ましい。
次に、「スキャンパネル」フィールドは、どの表示/光センサ部300にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
ここで、センサデータ処理部703は、「スキャンパネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aの光センサ駆動回路305およびバックライト駆動回路308を制御するように、センサ制御部602およびバックライト制御部603に指示を与える。
次に、「表示パネル」フィールドは、どの表示/光センサ部300にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
ここで、表示データ処理部701は、例えば、「表示パネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aに表示データを表示させるために、第1表示/光センサ部300Aの液晶パネル駆動回路304およびバックライト駆動回路308を制御するように、表示制御部601およびバックライト制御部603に指示を与える。
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
なお、主制御部800にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値(NULL値など)を設定しておけばよい。
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部700に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる(多点検出)。
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部700に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
(全体画像データ/部分画像データ/座標データ)
次に、図7を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図7(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、図7(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。
ユーザが指でセンサ内蔵液晶パネル301をタッチしたとき、当該タッチした近傍の光センサ回路32が受光する光量が変化するため、当該光センサ回路32が出力する電圧に変化が生じ、その結果として、センサ制御部602が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
図7(b)に示す画像データでは、図7(a)に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図7(b)に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域(領域PP)が、“部分画像データ”である。
なお、領域APで示される画像データが、“全体画像データ”である。
また、部分画像データ(領域PP)の代表座標Zの、全体画像データ(領域AP)における座標データは(Xa,Ya)であり、部分画像データ(領域PP)における座標データは(Xp,Yp)である。
(センサ内蔵液晶パネルの構成)
次に、図8を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図8は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
センサ内蔵液晶パネル301は、光透過率(輝度)を設定するための画素回路31、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路32を備えている。なお、画素回路31は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するR画素回路31r、G画素回路31g、B画素回路31bの総称して用いる。
画素回路31は、センサ内蔵液晶パネル301上の列方向(縦方向)にm個、行方向(横方向)に3n個配置される。そして、R画素回路31r、G画素回路31g、およびB画素回路31bの組が、行方向(横方向)に連続して配置される。この組が1つの画素を形成する。
画素回路31の光透過率を設定するには、まず、画素回路31に含まれるTFT(Thin Film Transistor)33のゲート端子に接続される走査信号線Giにハイレベル電圧(TFT33をオン状態にする電圧)を印加する。その後、R画素回路31rのTFT33のソース端子に接続されているデータ信号線SRjに、所定の電圧を印加する。同様に、G画素回路31gおよびB画素回路31bについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル301上に画像が表示される。
次に、光センサ回路32は、一画素毎に配置される。なお、R画素回路31r、G画素回路31g、およびB画素回路31bのそれぞれの近傍に1つずつ配置されてもよい。
光センサ回路32にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ35の一方の電極に接続されているセンサ読み出し線RWiと、フォトダイオード36のアノード端子に接続されているセンサリセット線RSiとに所定の電圧を印加する。この状態において、フォトダイオード36に光が入射されると、入射した光量に応じた電流がフォトダイオード36に流れる。そして、当該電流に応じて、コンデンサ35の他方の電極とフォトダイオード36のカソード端子との接続点(以下、接続ノードV)の電圧が低下する。そして、センサプリアンプ37のドレイン端子に接続される電圧印加線SDjに電源電圧VDDを印加すると、接続ノードVの電圧は増幅され、センサプリアンプ37のソース端子からセンシングデータ出力線SPjに出力される。そして、当該出力された電圧に基づいて、光センサ回路32が受光した光量を算出することができる。
次に、センサ内蔵液晶パネル301の周辺回路である、液晶パネル駆動回路304、光センサ駆動回路305、およびセンサ出力アンプ44について説明する。
液晶パネル駆動回路304は、画素回路31を駆動するための回路であり、走査信号線駆動回路3041およびデータ信号線駆動回路3042を含んでいる。
走査信号線駆動回路3041は、表示制御部601から受信したタイミング制御信号TC1に基づいて、1ライン時間毎に、走査信号線G1〜Gmの中から1本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
データ信号線駆動回路3042は、表示制御部601から受信した表示データD(DR、DG、およびDB)に基づいて、1ライン時間毎に、1行分の表示データに対応する所定の電圧を、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnに印加する(線順次方式)。なお、データ信号線駆動回路3042は、点順次方式で駆動するものであってもよい。
光センサ駆動回路305は、光センサ回路32を駆動するための回路である。光センサ駆動回路305は、センサ制御部602から受信したタイミング制御信号TC2に基づいて、センサ読み出し信号線RW1〜RWmの中から、1ライン時間毎に1本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号TC2に基づいて、センサリセット信号線RS1〜RSmの中から、1ライン時間毎に1本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
センシングデータ出力信号線SP1〜SPnはp個(pは1以上n以下の整数)のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ47を介して、センサ出力アンプ44に接続される。センサ出力アンプ44は、スイッチ47により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号SS(SS1〜SSp)として、信号変換回路306へ出力する。
(データ表示/センサ装置の動作説明)
次に、図9(a)〜(f)を参照しながら、データ表示/センサ装置100が、選択画面の表示及び確定動作を行う処理の典型例について説明する。なお、ここでは、処理の概要について説明し、各処理の詳細については後述する。
また、ここでは、データ表示/センサ装置100に設けられている表示/光センサ部300は、第1表示/光センサ部300A、または第2表示/光センサ部300Bの何れに表示させてもよい。このため、図9(a)〜(f)、及び以下の説明では、データ表示/センサ装置100として1つの表示/光センサ部300のみを用いて説明する。さらに、データ表示/センサ装置100として1つの表示/光センサ部300からなっていてもよい。この場合、ヒンジ部スイッチ904は省略することができる。
そして、ユーザは片手(5本指)でデータ表示/センサ装置100を操作する場合について説明する。
(選択画面の表示及び確定動作)
図9(a)は、本発明の一実施形態に係るデータ表示/センサ装置100に選択画面を表示している様子を表す説明図である。図9(b)は、図9(a)に示すデータ表示/センサ装置100に指を1本タッチした際の選択画面を表示している様子を表す説明図である。図9(c)は、図9(b)に示すデータ表示/センサ装置100に指を2本タッチした際の選択画面を表示している様子を表す説明図である。図9(d)は、図9(c)に示すデータ表示/センサ装置100から指を全て離した際の確定画面を表示している様子を表す説明図である。図9(e)は、図9(a)に示すデータ表示/センサ装置100に指を5本タッチした際の選択画面を表示している様子を表す説明図である。図9(f)は、図9(e)に示す選択画面を表示しているデータ表示/センサ装置100に指を1本タッチした際の様子を表す説明図である。
図9(a)に示すように、センサ内蔵液晶パネル301は、ユーザに選択させるための項目に分かれた選択項目を含む選択画面(画像)を表示する。本実施の形態では、この選択画面は、選択項目として4つの表示領域(第1領域SD1〜第4領域SD4)が縦に並んで配置されており、それぞれの領域に、ユーザに選択させるための項目情報を表示している。
ここでは、第1領域SD1に項目情報として”confidential”、第2領域SD2に項目情報として”delimit”、第3領域に項目情報として”strike”、第4領域に項目情報として”struck”と表示している。なお、この第1領域〜第4領域の配置の仕方は、任意に設定すればよい。
次に、図9(b)に示すように、ユーザは、第1領域SD1〜第4領域SD4のうち、選択したい項目情報が表示されている表示領域を選択するために、1〜4本の指(対象物)をセンサ内蔵液晶パネル301にタッチする。
ここで、指は、センサ内蔵液晶パネル301と完全に接触させる必要はなく、センサ内蔵液晶パネル301が指の像を明確に検出できる程度に、センサ内蔵液晶パネル301と接触させればよい。
すると、データ表示/センサ装置100は、ユーザがセンサ内蔵液晶パネル301上にタッチした指の本数(すなわち、データ取得部820が取得する座標データ(代表座標)の個数)を入力数値と認識する。そして、データ表示/センサ装置100は、第1領域SD1〜第4領域SD4のうち、入力数値に対応付けられている表示領域の表示を、例えば、文字の色と、背景色とが反転するなど、選択されていることがユーザに分かるような表示(選択表示)に切り替えた選択画面をセンサ内蔵液晶パネル301に表示する。
ここでは、ユーザは、第1領域SD1に表示されている”confidential”を選択するために、1本の指をセンサ内蔵液晶パネル301上にタッチする。すると、データ表示/センサ装置100は、センサ内蔵液晶パネル301上の1本の指のタッチを検出することにより、入力数値は「1」であると認識する。そして、データ表示/センサ装置100は、入力数値「1」に対応付けられている第1領域SD1を選択表示した選択画面を、センサ内蔵液晶パネル301Bに表示させる。
このように、データ表示/センサ装置100は、ユーザがセンサ内蔵液晶パネル301にタッチした指の本数を入力数値として認識し、該認識した入力数値に対応付けられている表示領域を選択表示した選択画面を、センサ内蔵液晶パネル301に表示することができる。
ここで、ユーザは、第1領域SD1を選択するために、1本の指をセンサ内蔵液晶パネル301にタッチすればよく、センサ内蔵液晶パネル301のどの位置に指をタッチしてもよい。すなわち、データ表示/センサ装置100は、センサ内蔵液晶パネル301内であれば、どの位置にユーザが指をタッチしたとしても、該タッチした指の本数を入力数値として認識することが可能である。
また、図9(c)に示すように、ユーザは、1度選択した表示領域を確定せず、別の表示領域を選択したい場合、センサ内蔵液晶パネル301にタッチしている指を離さず、別の指をセンサ内蔵液晶パネル301上にタッチすることにより、別の表示領域を選択することが可能である。
例えば、ユーザは、第2領域SD2に表示されている”delimit”を選択するために、図9(c)でセンサ内蔵液晶パネル301にタッチした指を離さず、2本目の指をセンサ内蔵液晶パネル301にタッチする。
すると、データ表示/センサ装置100は、入力数値は「2」であると認識し、入力数値「2」に対応付けられている第2領域SD2を選択表示させた選択画面をセンサ内蔵液晶パネル301に表示させる。
つまり、ユーザは、センサ内蔵液晶パネル301上にタッチしている指を全て離すまでは、任意に、センサ内蔵液晶パネル301にタッチする指の本数を増減することにより、センサ内蔵液晶パネル301に表示されている所望の表示領域を選択表示に変更することができる。
そして、データ表示/センサ装置100は、センサ内蔵液晶パネル301にタッチしている指が全て離れたと認識するまで、任意に増減される指の本数を入力数値と認識し、該認識した入力数値に対応付けられている表示領域を選択表示した選択画面をセンサ内蔵液晶パネル301に表示させる。
そして、ユーザは、選択表示されている表示領域を確定したい場合、センサ内蔵液晶パネル301にタッチしている指を全て、センサ内蔵液晶パネル301から離す。これにより、データ表示/センサ装置100は、センサ内蔵液晶パネル301にタッチしている指が全て離れたと認識し、確定動作(後述する)を行う。
例えば、図9(d)に示すように、ユーザは、図9(c)で選択した、第2領域に表示されている”delimit”を確定したい場合、センサ内蔵液晶パネル301にタッチしている2本の指を離す。
これにより、表示データ制御部810は、センサ内蔵液晶パネル301からユーザの指が離れたと認識し、確定動作を行う。ここでは、確定動作として、表示データ制御部810は、第2領域を、例えば一定時間点滅させる表示する確定画面をセンサ内蔵液晶パネル301に表示させる。
これにより、ユーザは、第2領域の”delimit”が確定されたことを認識することができる。
(選択画面スクロール)
次に、センサ内蔵液晶パネル301に表示されている選択画面をスクロールさせて、第1領域SD1〜第4領域SD4に表示されている項目情報を1画面分、変更する場合について説明する。
ユーザは、図9(e)で示すように、第1領域SD1〜第4領域SD4のそれぞれの項目情報を変更したい場合、センサ内蔵液晶パネル301に5本の指をタッチし、該タッチした5本の指をセンサ内蔵液晶パネル301から全て離す。
これにより、データ表示/センサ装置100は、入力数値「5」が入力および確定されたことを認識し、記憶部901を参照し、センサ内蔵液晶パネル301に、第1領域SD1〜第4領域SD4それぞれの項目情報を更新した選択画面を表示させる。
続いて、図9(a)〜(d)で説明したように、ユーザは、更新された選択画面が表示されているセンサ内蔵液晶パネル301をタッチする。これにより、データ表示/センサ装置100は、センサ内蔵液晶パネル301にタッチされた指の本数を入力数値と認識し、該認識した入力数値に対応付けられた表示領域を選択表示した選択画面をセンサ内蔵液晶パネル301に表示させる。また、ユーザは、センサ内蔵液晶パネル301にタッチしている全ての指をセンサ内蔵液晶パネル301から離す。これにより、データ表示/センサ装置100は、センサ内蔵液晶パネル301にタッチしている指が全て離れたと認識し、確定動作を行う。
例えば、図9(f)に示すように、ユーザは、センサ内蔵液晶パネル301に1本の指を接触させることにより、データ表示/センサ装置100は、入力数値「1」を認識し、更新された選択画面の項目情報”annotate”が表示されている第1領域SD1を選択表示した表示画面をセンサ内蔵液晶パネル301に表示させることができる。
そして、データ表示/センサ装置100は、センサ内蔵液晶パネル301にタッチしている1本の指が離れたと認識することにより、選択表示している第1領域SD1が一定時間点滅する確定画面をセンサ内蔵液晶パネル301に表示させる。
なお、ここでは、データ表示/センサ装置100は、センサ内蔵液晶パネル301への5本指の接触、確定を検出した場合、項目情報が1画面分スクロールする場合について説明したが、項目情報がスクロールする量は任意に設定すればよい。
例えば、表示データ制御部810は、センサ内蔵液晶パネル301への5本指の接触および確定を検出するたびに、すなわち、入力数値「5」の入力及び確定を認識するたびに、例えば第1領域SD1に”delimit”、第2領域SD2に”strike”、第3領域SD3に”struck”、第4領域SD4に”annotate”と表示する選択画面をセンサ内蔵液晶パネル301に表示させるなど、項目情報と、表示領域とを1つづつずらしていってもよい。
(データ表示/センサ装置の要部説明)
次に、図1を参照しながら、データ表示/センサ装置100の詳細な説明を行う。
図1は、データ表示/センサ装置100の要部構成を表すブロック図である。
図1に示すように、主制御部800は、表示データ制御部(表示データ制御手段)810と、データ取得部(領域検出手段、座標検出手段)820と、座標データカウント部(入力数値認識手段)830とを備える。
表示データ制御部810は、ユーザの操作や、座標データカウント部830や、後述する座標データ制御部(座標データ制御手段)840(図1には不図示)から入力される情報に対応付けられている情報を記憶部901から読み込み、該読み込んだ情報を含めた選択画面や、確定画面をセンサ内蔵液晶パネル301に表示させるものである。
データ取得部820は、所定のタイミングで、センサ内蔵液晶パネル301に近接する指の像の領域や、座標データ(代表座標)を検出している。
座標データカウント部830は、データ取得部820が検出した指の像の領域や座標データの個数をカウントし、該カウントした指の像の領域や座標データの個数をユーザに入力された入力数値と認識するものである。
また、記憶部930は、座標データカウント部830が認識した順に上記入力数値を記憶する。
表示データ制御部810は、ユーザが選択可能な複数の選択項目を備える画像を、センサ内蔵液晶パネル301(図1には不図示)に表示させる。
また、表示データ制御部810は、上記複数の選択項目のうち、座標データカウント部830が認識した上記入力数値に対応付けられている選択項目を選択状態とした画像を、センサ内蔵液晶パネル301に表示させる。
このため、ユーザが、センサ内蔵液晶パネル301に表示されている複数の選択項目のうち、所望の選択項目を選択するには、該所望の選択項目に対応付けられている本数分の指を、センサ内蔵液晶パネル301に近接させればよい。
これにより、座標データカウント部830は、ユーザがセンサ内蔵液晶パネル301に近接させた指の本数を入力数値として認識する。そして、表示データ制御部810は、座標データカウント部830が認識した上記入力数値に対応付けられている選択項目を選択状態とした画像を、センサ内蔵液晶パネル301に表示させることができる。
このように、上記構成によると、正確で容易に数値入力ができるので、表示されている複数の選択項目のうち、所望する選択項目を正確に選択でき、かつ選択する選択項目の変更を容易に行うことができる。
そして、表示データ制御部810は、データ取得部820がセンサ内蔵液晶パネル301上における像の領域または座標データを検出(取得)しなかったときに、記憶部930に記憶された最新の入力数値を取得し、該取得した入力数値に対応付けられている選択項目の機能を実行する。
このように、選択項目の機能を実行するために、ユーザが数値を入力するには、上記選択項目に対応付けられている入力数値と同じ本数分の指をセンサ内蔵液晶パネル301に近接させ、該近接させた指の像をセンサ内蔵液晶パネル301が検出できなくなる距離まで、指を離せばよい。
これにより、記憶部930には、上記最新の入力数値が記憶される。そして、表示データ制御部810は、データ取得部820が上記領域を検出しなかったときに、記憶部930に記憶された上記最新の入力数値を取得する。これにより、表示データ制御部810は、上記取得した入力数値に対応付けられている選択項目の機能を実行することができる。
ここで、入力数値に対応付けられている選択項目の機能の実行(確定動作)とは、入力数値に対応付けられている選択項目(表示領域)を確定表示することである。確定表示とは、ユーザが確定されたことを認識できるような表示であればよく、例えば、確定した表示領域を一定時間点滅させるなどである。
また、確定動作として、表示データ制御部810は、上述したように、センサ内蔵液晶パネル301に確定表示させるとともに、記憶部901から、所定のアプリケーションの機能を読み込み、その結果を表す表示画面をセンサ内蔵液晶パネル301に表示させるために、表示データを生成し、該生成した表示データをデータ処理部700に出力してもよい。
例えば、センサ内蔵液晶パネル301に表示されている選択画面が、クイズなどの答えを選択するための選択画面である場合、ユーザが確定した表示領域の項目情報の内容に対応付けて、正誤判定を示す表示画面をセンサ内蔵液晶パネル301に表示させるなどである。
座標データカウント部830は、データ取得部820から全体画像データおよび座標データ(または指の像の領域)を取得すると、該取得した座標データ(または指の像の領域)の個数をカウントし、カウントした座標データ(または指の像の領域)の個数を入力数値と認識する。そして、座標データカウント部830は、認識した入力数値を表示データ制御部810に通知すると共に、記憶部901に一次的に記憶する。
また、座標データカウント部830は、データ取得部820から出力される座標データ(または指の像の領域)の有無により、ユーザがセンサ内蔵液晶パネル301にタッチしていた指を全て離したか否かを判定するものである。
すなわち、座標データカウント部830は、データ取得部820から全体画像データのみを取得することにより、ユーザがセンサ内蔵液晶パネル301にタッチしていた指を全て離したと認識する。そして、座標データカウント部830は、ユーザの指がセンサ内蔵液晶パネル301から全て離れたと認識すると、入力数値を確定するために、確定情報を表示データ制御部810及び記憶部901に出力する。
ここで、確定情報は、たとえば、座標データをカウントすることができなかったことを表すエラー情報であってもよいし、入力数値「0(ゼロ)」としてもよい。
また、記憶部901は、座標データカウント部830から出力される入力数値を、座標データカウント部830から出力されてきた順番と対応付けて記憶する。また、入力数値と各表示領域とを対応付けて記憶しており、さらに、各表示領域と、各表示領域に表示させるための項目情報とを対応付けて記憶している。
(フローチャート説明)
次に、図9(a)〜(f)、図10を参照しながら、データ表示/センサ装置100の処理の流れと、主制御部800からデータ処理部700に送信されるコマンドの詳細とについて説明する。
図10は、データ表示/センサ装置100の処理の流れを表すフローチャートである。
まず、データ表示/センサ装置100の電源がオフの状態にあるとき、ユーザが電源スイッチ905を押下することにより、データ表示/センサ装置100は電源をオンにする(ステップS11)。
そして、表示データ制御部810は、ユーザの操作(例えばユーザスイッチ905を押下するなど)を検出することにより、記憶部901を参照し、ユーザが選択可能な複数の選択項目(表示領域)を含む選択画面をセンサ内蔵液晶パネル301に表示するための表示データを生成し、該生成した表示データをデータ処理部700に出力する。
ここでは、表示データ制御部810は、記憶部901から、表示領域としての第1領域SD1〜第4領域SD4のセンサ内蔵液晶パネル301での配置位置や、各表示領域に対応付けられた各表示領域に表示させる情報(項目情報)を読み込む、第1領域SD1の項目情報”confidential”、第2領域SD2の項目情報”delimit”、第3領域SD3の項目情報”strike”、第4領域SD4の項目情報”struck”を読み込む。そして、表示データ制御部810は、これらを含む選択画面をセンサ内蔵液晶パネル301に表示させるため表示データを生成し、該生成した表示データをデータ処理部700に出力する。
併せて、表示データ制御部810は、選択画面を第1表示/光センサ部300Aに表示させる場合は、「表示パネル」フィールドの値として上画面(”001”)を指定したコマンドを、データ処理部700に出力する。また、表示データ制御部810は、選択画面を第2表示/光センサ部300Bに表示させる場合は、「表示パネル」フィールドの値として下画面(”010”)を指定したコマンドを、データ処理部700に出力する。
これにより、図9(a)に示すように、表示データ制御部810は、センサ内蔵液晶パネル301に選択画面を表示させる(ステップS12)。
なお、表示データ制御部810は、電源スイッチ905の押下を検出することにより、選択画面をセンサ内蔵液晶パネル301に表示させてもよい。
また、ここで、上画面(図9(a)には不図示)にユーザに対して選択画面に表示されている項目情報を選択するように促すためのメッセージを、センサ内蔵液晶パネル301のうち選択画面が表示されていない側のセンサ内蔵液晶パネル301に表示してもよい。
この場合、表示データ制御部810は、項目情報を選択するように促すためのメッセージを、センサ内蔵液晶パネル301に表示させるための表示データを生成し、該生成した表示データをデータ処理部700に出力する。
併せて、表示データ制御部810は、選択画面が第1表示/光センサ部300Aに表示されている場合は、「表示パネル」フィールドの値として下画面(”010”)を指定したコマンドを、データ処理部700に出力する。また、表示データ制御部810は、選択画面が第2表示/光センサ部300Bに表示されている場合は、「表示パネル」フィールドの値として上画面(”001”)を指定したコマンドを、データ処理部700に出力する。
そして、データ表示/センサ装置100は、センサ内蔵液晶パネル301への指のタッチを検出するまで待機する(ステップS13、ステップS13のNO)。
上記検出を行うために、表示データ制御部810は、選択画面をセンサ内蔵液晶パネル301に表示させるための表示データを、データ処理部700に出力したとき、併せて、「データ取得タイミング」フィールドに、”イベント”を指定し、「データ種別」フィールドに”座標”および”全体画像”の両方を指定(”101”を指定)したコマンドをデータ処理部700に出力する。
これにより、センサ内蔵液晶パネル301にタッチされる指の本数に変更があった場合に、データ取得部820は、データ処理部700から座標データおよび全体画像データを取得することができる。
具体的には、図9(b)に示すように、ユーザが指をセンサ内蔵液晶パネル301にタッチしたとき、光センサ回路32が、タッチした指の影像および反射像の少なくとも何れかを検知するので、その結果、データ処理部700が、センサ制御部602から取得する画像データに変化が生じる。
そして、データ取得部820は、上記画像データに変化が生じた際にデータ処理部700から出力されてくる、座標データおよび全体画像データを取得することにより、指がセンサ内蔵液晶パネル301にタッチしたことを検出する(ステップS13のYES)。
そして、データ取得部820は、センサ内蔵液晶パネル301へ指のタッチを検出すると、データ処理部700から取得した座標データ及び全体画像データを座標データカウント部830に出力する。
座標データカウント部830は、データ取得部820から出力される座標データの個数をカウントし(ステップS14)、カウントした座標データの個数を入力数値と認識する(ステップS15)。そして、座標データカウント部830は、認識した入力数値を表示データ制御部810に通知すると共に、記憶部901に一次的に記憶する。
例えば、図9(b)では、1本の指がセンサ内蔵液晶パネル301とタッチしているので、座標データカウント部830が、データ取得部820から取得する座標データの個数は1である。このため、図9(b)の場合、座標データカウント部830は、入力数値「1」と認識する。
また、図9(c)では、2本の指がセンサ内蔵液晶パネル301とタッチしているので、座標データカウント部830が、データ取得部820から取得する座標データの個数は2である。このため、図9(c)の場合、座標データカウント部830は、入力数値「2」と認識する。
さらに、座標データカウント部830は、データ取得部820から出力される座標データの有無により、ユーザがセンサ内蔵液晶パネル301にタッチしていた指を全て離したか否かを判定する(ステップS16)。ステップS16のYESの処理については後述する。
そして、座標データカウント部830は、ユーザがセンサ内蔵液晶パネル301にタッチしていた指を全て離していないと判定した場合(ステップS16でNO)、表示データ制御部810は、座標データカウント部830から出力される入力数値を取得する。
そして、表示データ制御部810は、記憶部901を参照し、入力数値に対応付けられている表示領域を特定し(ステップS17)、特定した表示領域を選択表示した選択画面を、センサ内蔵液晶パネル301に表示させるための表示データを生成する。
そして、表示データ制御部810は、上記生成した表示データをデータ処理部700に出力する。
併せて、表示データ制御部810は、選択画面を第1表示/光センサ部300Aに表示させる場合は、「表示パネル」フィールドの値として上画面(”001”)を指定したコマンドを、データ処理部700に出力する。または、表示データ制御部810は、選択画面を第2表示/光センサ部300Bに表示させる場合は、「表示パネル」フィールドの値として下画面(”010”)を指定したコマンドを、データ処理部700に出力する。
これにより、センサ内蔵液晶パネル301は、入力数値に対応付けられている表示領域を選択表示した選択画面を表示する(ステップS18)。
例えば、センサ内蔵液晶パネル301は、図9(b)に示すように、入力数値「1」に対応付けられている第1領域SD1を選択状態にした選択画面を表示したり、図9(c)に示すように、入力数値「2」対応付けられている第2領域SD2を選択状態にした選択画面を表示したりする。
そして、ステップS16で、座標データカウント部830が、ユーザがセンサ内蔵液晶パネル301にタッチしている指を全て離した(ステップS16のYES)と認識するまで、つまり、座標データカウント部830が、データ取得部820から、全体画像データのみを取得するまで、上述したステップS14〜ステップS18の処理を繰り返す。
次に、ステップS16のYESの処理について説明する。
図9(d)に示すように、ユーザがセンサ内蔵液晶パネル301にタッチしている指を全て離した場合、データ取得部820は、データ処理部700から全体画像データのみを取得し、座標データは取得(検出)しない。そして、データ取得部820は、データ処理部700から取得した全体座標データのみを座標データカウント部830に出力する。座標データカウント部830は、データ取得部820から全体画像データのみを取得する。
これにより、座標データカウント部830は、センサ内蔵液晶パネル301にタッチしている指の本数に変化があったことを認識する。しかし、座標データカウント部830は、データ取得部820から座標データを取得しないので、座標データの個数をカウントしない。
つまり、座標データカウント部830は、データ取得部820から全体画像データのみを取得することにより、ユーザがセンサ内蔵液晶パネル301にタッチしていた指を全て離したと認識する(ステップS15のYES)ことができる。
座標データカウント部830は、ユーザの指がセンサ内蔵液晶パネル301から全て離れたと認識すると、入力数値を確定するために、確定情報を表示データ制御部810及び記憶部901に出力する。
表示データ制御部810は、座標データカウント部830から確定情報を取得すると、記憶部901から、記憶された確定情報の一つ前に記憶された入力数値を取得する。そして、表示データ制御部810は、取得した入力数値を確定する入力数値(確定入力数値)として認識する。そして、表示データ制御部810は、入力数値を確定する(ステップS19)。
次に、表示データ制御部810は、ステップS19で確定した入力数値が「5」であるか否かを判定する(ステップS20)。
そして、表示データ制御部810は、確定した入力数値が「5」ではない(すなわち「1」〜「4」である)と判定した場合(ステップS20のNO)、表示データ制御部810は、記憶部901を参照し、確定した入力数値に対応付けられている確定動作を読み込み、該読み込んだ確定動作に基づいて、センサ内蔵液晶パネル301に確定した表示画面である確定画面を表示させるための表示データを生成する。そして、生成した表示データをデータ処理部700に出力する。
併せて、表示データ制御部810は、確定した表示画面を第1表示/光センサ部300Aに表示させる場合は、「表示パネル」フィールドの値として上画面(”001”)を指定したコマンドを、データ処理部700に出力する。または、表示データ制御部810は、確定した表示画面を第2表示/光センサ部300Bに表示させる場合は、「表示パネル」フィールドの値として下画面(”010”)を指定したコマンドを、データ処理部700に出力する。
これにより、センサ内蔵液晶パネル301は、確定した入力数値に対応付けられている表示画面である確定画面を表示する(ステップS21)。
(スクロール)
また、図9(e)に示すように、センサ内蔵液晶パネル301にタッチしている指の本数が5本である場合、つまり、表示データ制御部810は、確定した入力数値が「5」であると判定した場合(ステップS20のYES)、表示データ制御部810は、表示領域(第1領域SD1〜第4領域SD4)に表示されている項目情報を更新した選択画面を、センサ内蔵液晶パネル301に表示させる。
すなわち、表示データ制御部810は、確定した入力数値が「5」であると判定した場合、記憶部910を参照し、各表示領域に対応付けられている項目情報を更新する(ステップS22)。
ここでは、表示データ制御部810は、記憶部910を参照し、第1領域SD1に”annotate”、第2領域に”advise”、第3領域SD3に”deceive”、第4領域SD4に”identify”と表示する選択画面をセンサ内蔵液晶パネル301に表示させるための表示データを生成する。そして、該生成した表示データを、表示データ制御部810は、データ処理部700に出力する。
併せて、表示データ制御部810は、選択画面を第1表示/光センサ部300Aに表示させる場合は、「表示パネル」フィールドの値として上画面(”001”)を指定したコマンドを、データ処理部700に出力する。または、表示データ制御部810は、選択画面を第2表示/光センサ部300Bに表示させる場合は、「表示パネル」フィールドの値として下画面(”010”)を指定したコマンドを、データ処理部700に出力する。
これにより、センサ内蔵液晶パネル301は、第1領域SD1〜第4領域SD4それぞれの項目情報を更新した選択画面を表示する(ステップS23)。
その後、ステップS14の処理に戻る。
これにより、ユーザは、更新された選択画面から、所望の項目情報が表示された表示領域の選択、確定を行うことができる。
例えば、図9(f)に示すように、ユーザは、センサ内蔵液晶パネル301に1本の指を接触させることにより、表示データ制御部810は、入力数値「1」を認識し、更新された選択画面の第1領域SD1に表示されている項目情報”annotate”を選択することができる。
(変形例)
次に、図11〜図12を用い、変形例について説明する。
データ表示/センサ装置100は、ユーザが、センサ内蔵液晶パネル301にタッチさせている指の移動に合せて、選択表示されている表示領域の情報を移動させる構成としてもよい。
図11に示すように、センサ内蔵液晶パネル301は、例えば画面の右下に第1領域SD1〜第4領域SD4を表示し、さらに、第1領域SD1〜第4領域SD4とは異なる領域に、特定のアプリケーションを動作させるための領域であるアプリケーション領域Pを表示している。
そして、ユーザは、センサ内蔵液晶パネル301にタッチしている指を矢印SM1の方向に移動する。すると、データ表示/センサ装置100は、選択表示している表示領域(ここでは第1領域SD1)を、矢印SM1の方向に合せて矢印SM2の方向に移動する。
次に、第1領域SD1がアプリケーション領域Pまで移動すると、ユーザは、センサ内蔵液晶パネル301にタッチしている指を全て、センサ内蔵液晶パネル301から離す。これにより、データ表示/センサ装置100は、確定画面を表示し、アプリケーション領域Pに対応付けられているアプリケーションを動作する。
例えば、削除機能を有するアプリケーションをアプリケーション領域Pに対応付けておくと、アプリケーション領域Pに移動した第1領域SD1は、削除される。
このように、データ表示/センサ装置100は、ユーザの指の移動に合せて、選択表示している表示領域を移動し、ユーザがセンサ内蔵液晶パネル301から指を離した場合、確定表示をし、特定のアプリケーションを動作させることができる。
(変形例の具体的説明)
次に、図12を用い、データ表示/センサ装置100の変形例の具体的な構成を説明する。
変形例では、主制御部800に座標データ制御部840を設けている。
座標データ制御部840は、データ取得部820が検出する複数の座標データから、座標データの移動量および移動方向を算出し、該算出した座標データの移動量および移動方向を表示データ制御部810に出力するものである。
そして、表示データ制御部810は、座標データ制御部840から出力される座標データの移動量、移動方向に基づいて、選択項目を移動させる。
つまり、表示データ制御部810は、座標データ制御840から出力される座標データの移動方向および移動量から、センサ内蔵液晶パネル301に表示させる選択項目の、センサ内蔵液晶パネル301内の配置位置を移動する。そして、表示データ制御部810は、該配置位置を移動した選択項目を備える選択画面をセンサ内蔵液晶パネル301に表示させる。
これにより、センサ内蔵液晶パネル301に表示されている選択項目を、上記指の移動に伴って、移動させることができる。
(変形例の処理の流れ)
次に、図13を用い、データ表示/センサ装置100の変形例の処理の流れについて説明する。
図13は、データ表示/センサ装置100の変形例の処理の流れを表すフローチャートである。なお、ここでは、図10で説明した処理と同じところの説明は省略する。
まず、ステップS13のYESの処理の際、データ取得部820は、データ処理部700から取得した座標データ及び全体画像データを座標データカウント部830に出力すると共に、座標データを座標データ制御部840へ出力する。
そして、ステップS14の処理後、座標データ制御部840は、座標データカウント部830が記憶部901に一次記憶した入力数値を取得する。
そして、座標データ制御部840は、記憶部901から入力数値を取得することにより、座標データの個数が変更されているか否かを判定する(ステップS30)。
次に、座標データ制御部840は、入力数値が変更されていると判定した場合(ステップS30のYES)、続いて、ステップS16以降の処理が行われる。
また、座標データ制御部840は、入力数値が変更されていないと判定した場合(ステップS30のNO)、データ取得部820から取得する座標データの移動量を算出し、予め決めている閾値以上であるか否かを判定する(ステップSS31)。
そして、座標データ制御部840が算出した座標データの移動量が、予め決めている閾値未満である場合(ステップS31のNO)、ステップS16以降の処理が行われる。
また、座標データ制御部840は、座標データ制御部840が算出した座標データの移動量が、予め決められている閾値以上であると判断した場合(ステップS31のYES)、座標データの移動方向と、座標データの移動量とを表示データ制御部810へ出力する。その後、ステップS15以降の処理が行われる。なお、上記閾値の値は、任意で設定可能である。
そして、表示データ制御部810は、ステップS18の処理の際、座標データ制御部840から取得した座標データの移動方向と、座標データの移動量とを基に、入力数値に対応付けられている表示領域の座標(センサ内蔵液晶パネル301での配置位置)を変更した選択画面を、センサ内蔵液晶パネル301に表示させるための表示データを生成する。そして、表示データ制御部810は、上記生成した表示データをデータ処理部700に出力する。
併せて、表示データ制御部810は、選択画面を第1表示/光センサ部300Aに表示させる場合は、「表示パネル」フィールドの値として上画面(”001”)を指定したコマンドを、データ処理部700に出力する。または、表示データ制御部810は、選択画面を第2表示/光センサ部300Bに表示させる場合は、「表示パネル」フィールドの値として下画面(”010”)を指定したコマンドを、データ処理部700に出力する。
これにより、センサ内蔵液晶パネル301は、入力数値に対応付けられている表示領域を選択表示した選択画面を表示する(ステップS32)。
(付記事項)
なお、上述した説明では、入力数値が「5」である場合、表示データ制御部810は項目情報を更新する(選択画面をスクロールさせる)ことについて説明したが、選択項目を5つ設けた選択画面を、センサ内蔵液晶パネル301に表示させてもよい。
すなわち、表示領域として第5領域SD5を設け、第5領域SD5に表示させるために、第5領域SD5に対応つけられた項目情報を記憶部901に記憶しておく。そして、表示データ制御部810は入力数値「5」を座標データカウント部830から取得すると、入力数値「5」に対応つけられた項目情報を読み込み、第5領域SD5が選択表示された表示画面をセンサ内蔵液晶パネル301に表示させる。
これにより、データ表示/センサ装置100は、選択項目が5つの選択画面をセンサ内蔵液晶パネル301に表示することができる。
さらに、上述のように、選択項目が5つの選択画面をセンサ内蔵液晶パネル301に表示した場合、ユーザが入力数値を確定するためにセンサ内蔵液晶パネル301にタッチしている指を全て離したあと、センサ内蔵液晶パネル301に確定画面を表示し、続けて、表示データ制御部810は、項目情報を更新(選択画面をスクロール)した選択画面をセンサ内蔵液晶パネル301に表示させてもよい。
また、本実施の形態では、片手で数値を入力することについて説明したが、両手でデータ表示/センサ装置100に数値を入力してもよい。つまり、入力数値は「1」〜「5」に限定されず、「6」〜「10」であってもよいし、さらに「10」以上であってもよい。
(プログラム、コンピュータ読み取り可能な記録媒体)
また、データ表示/センサ装置100の各ブロック、特に表示データ制御部810、データ取得部820、座標データカウント部830は、ハードウェアロジックによって構成してもよいし、次のようにコンピュータを用いてソフトウェアによって実現してもよい。
すなわち、表示データ制御部810、データ取得部820、座標データカウント部830は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである表示データ制御部810、データ取得部820、座標データカウント部830の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記表示データ制御部810、データ取得部820、座標データカウント部830に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、表示データ制御部810、データ取得部820、および座標データカウント部830を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。