本発明の一実施の形態について図1から図16に基づいて説明すれば、以下のとおりである。本実施の形態に係るデータ表示/センサ装置(表示装置)100は、隣接した2つのセンサ内蔵液晶パネル(面状部材)301(301A、301B)を備え、該2つのセンサ内蔵液晶パネル301で1つの画面のように表示させることが可能である。
そして、データ表示/センサ装置100は、上記2つのセンサ内蔵液晶パネル301の一方(液晶パネルAとする)に表示させた表示範囲303を、他方のセンサ内蔵液晶パネル301(液晶パネルBとする)にも表示されるように移動すると、液晶パネルBの表示範囲303には、データを処理した後のデータである処理後データが表示するものである。
よって、ユーザは、液晶パネルAに表示されている表示範囲303を隣接した液晶パネルBに移動させるのみで、実行された処理の結果を認識することができる。そして、ユーザは、表示範囲303が、液晶パネルAから液晶パネルBに移動すること、すなわち、表示範囲303が液晶パネルAと液晶パネルBとの境界を通過すると、処理が実行されているように認識できるので、一連の連続した表示状態を認識することができる。
また、ユーザは、表示範囲303の移動と処理との対応が容易に認識できるので、操作に慣れていないユーザであっても、直感的に操作することで処理を実行することができる。
なお、ここでデータの処理とは、画像データであれば、画像に対してモザイクをかける処理であったり、テキストデータであれば、テキストを他の言語へ翻訳したりする処理のことをいう。
また、データ表示/センサ装置100は、上述した液晶パネルAと液晶パネルBとの関係とは逆に、液晶パネルBに表示されている表示範囲303を隣接した液晶パネルAにも表示されるように移動すると、液晶パネルAの表示範囲303には、データを処理した後のデータである処理後データが表示されるものであってもよい。
まず、以下で上記データ表示/センサ装置100が備えているセンサ内蔵液晶パネル301の概要について説明する。
(センサ内蔵液晶パネルの概要)
上記データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング(タッチ)した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
図2を参照しながら、センサ内蔵液晶パネル301の構造について説明する。図2は、センサ内蔵液晶パネル301の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル301は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
図示のとおり、センサ内蔵液晶パネル301は、背面側に配置されるアクティブマトリクス基板51Aと、表面側に配置される対向基板51Bとを備え、これら基板の間に液晶層52を挟持した構造を有している。アクティブマトリクス基板51Aには、画素電極56、データ信号線57、光センサ回路32(図示せず)、配向膜58、偏光板59などが設けられる。対向基板51Bには、カラーフィルタ53r(赤)、53g(緑)、53b(青)、遮光膜54、対向電極55、配向膜58、偏光板59などが設けられる。また、センサ内蔵液晶パネル301の背面には、バックライト307が設けられている。
なお、光センサ回路32に含まれるフォトダイオード6は、青のカラーフィルタ53bを設けた画素電極56の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ53rを設けた画素電極56の近傍に設けてもよいし、緑のカラーフィルタ53gを設けた画素電極56の近傍に設けてもよい。
次に、図3(a)および図3(b)を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル301上をタッチした位置を検出する2種類の方法について説明する。
図3(a)は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト307から光63が出射されると、フォトダイオード6を含む光センサ回路32は、指などの対象物64により反射された光63を検知する。これにより、対象物64の反射像を検知することができる。このように、センサ内蔵液晶パネル301は、反射像を検知することにより、タッチした位置を検出することができる。
また、図3(b)は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図3(b)に示すように、フォトダイオード6を含む光センサ回路32は、対向基板51Bなどを透過した外光61を検知する。しかしながら、ペンなどの対象物62がある場合は、外光61の入射が妨げられるので、光センサ回路32が検知する光量が減る。これにより、対象物62の影像を検知することができる。このように、センサ内蔵液晶パネル301は、影像を検知することにより、タッチした位置を検出することもできる。
上述のように、フォトダイオード6は、バックライト307より出射された光の反射光(影像)を検知してもよいし、外光による影像を検知してもよい。また、上記2種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
(データ表示/センサ装置の要部構成)
次に、図4を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図4は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、1または複数の表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。ここでは、データ表示/センサ装置100は、表示/光センサ部300を2つ(第1表示/光センサ部300Aおよび第2表示/光センサ部300B)備えているものとして説明する。なお、第1表示/光センサ部300Aおよび第2表示/光センサ部300Bを区別しないときは、表示/光センサ部300と表記する。
表示/光センサ部300は、いわゆる光センサ内蔵液晶表示機器である。表示/光センサ部300は、センサ内蔵液晶パネル301、バックライト307、それらを駆動するための周辺回路309を含んで構成される。
センサ内蔵液晶パネル301は、マトリクス状に配置された複数の画素回路31および光センサ回路32を含んで構成される。センサ内蔵液晶パネル301の詳細な構成については後述する。
周辺回路309は、液晶パネル駆動回路304、光センサ駆動回路305、信号変換回路306、バックライト駆動回路308を含む。
液晶パネル駆動回路304は、回路制御部600の表示制御部601からのタイミング制御信号(TC1)およびデータ信号(D)に従って、制御信号(G)およびデータ信号(S)を出力し、画素回路31を駆動する回路である。画素回路31の駆動方法の詳細については後述する。
光センサ駆動回路305は、回路制御部600のセンサ制御部602からのタイミング制御信号(TC2)に従って、信号線(R)に電圧を印加し、光センサ回路32を駆動する回路である。光センサ回路32の駆動方法の詳細については後述する。
信号変換回路306は、光センサ回路32から出力されるセンサ出力信号(SS)をデジタル信号(DS)に変換し、該変換後の信号をセンサ制御部602に送信する回路である。
バックライト307は、複数の白色LED(Light Emitting Diode)を含んでおり、センサ内蔵液晶パネル301の背面に配置される。そして、バックライト駆動回路308から電源電圧が印加されると、バックライト307は点灯し、センサ内蔵液晶パネル301に光を照射する。なお、バックライト307は、白色LEDに限らず、他の色のLEDを含んでいてもよい。また、バックライト307は、LEDに代えて、例えば、冷陰極管(CCFL:Cold Cathode Fluorescent Lamp)を含むものであってもよい。
バックライト駆動回路308は、回路制御部600のバックライト制御部603からの制御信号(BK)がハイレベルであるときは、バックライト307に電源電圧を印加し、逆に、バックライト制御部603からの制御信号がローレベルであるときは、バックライト307に電源電圧を印加しない。
次に、回路制御部600について説明する。回路制御部600は、表示/光センサ部300の周辺回路309を制御するデバイスドライバとしての機能を備えるものである。回路制御部600は、表示制御部601、センサ制御部602、バックライト制御部603、および表示データ記憶部604を備えている。
表示制御部601は、データ処理部700の表示データ処理部701から表示データを受信するとともに、表示データ処理部701からの指示に従って、表示/光センサ部300の液晶パネル駆動回路304に、タイミング制御信号(TC1)およびデータ信号(D)を送信し、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。
なお、表示制御部601は、表示データ処理部701から受信した表示データを、表示データ記憶部604に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号(D)を生成する。表示データ記憶部604は、例えば、VRAM(video random access memory)などである。
センサ制御部602は、データ処理部700のセンサデータ処理部703からの指示に従って、表示/光センサ部300の光センサ駆動回路305に、タイミング制御信号(TC2)を送信し、センサ内蔵液晶パネル301にてスキャンを実行させる。
また、センサ制御部602は、信号変換回路306からデジタル信号(DS)を受信する。そして、センサ内蔵液晶パネル301に含まれる全ての光センサ回路32から出力されたセンサ出力信号(SS)に対応するデジタル信号(DS)に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル301の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部703に送信する。
バックライト制御部603は、表示データ処理部701およびセンサデータ処理部703からの指示に従って、表示/光センサ部300のバックライト駆動回路308に制御信号(BK)を送信し、バックライト307を駆動させる。
なお、データ表示/センサ装置100が、複数の表示/光センサ部300を備える場合、表示制御部601は、データ処理部700から、どの表示/光センサ部300にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示/光センサ部300の液晶パネル駆動回路304を制御する。また、センサ制御部602は、データ処理部700から、どの表示/光センサ部300にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示/光センサ部300の光センサ駆動回路305を制御するとともに、当該指示に応じた表示/光センサ部300の信号変換回路306からデジタル信号(DS)を受信する。
次に、データ処理部700について説明する。データ処理部700は、主制御部800から受信する「コマンド」に基づいて、回路制御部600に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
データ処理部700は、表示データ処理部701およびセンサデータ処理部703を備えている。そして、データ処理部700が、主制御部800からコマンドを受信すると、該受信したコマンドに含まれる各フィールド(後述する)の値に応じて、表示データ処理部701およびセンサデータ処理部703の少なくとも一方が動作する。
表示データ処理部701は、主制御部800から表示データを受信するとともに、データ処理部700が受信したコマンドに従って、表示制御部601およびバックライト制御部603に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。なお、コマンドに応じた、表示データ処理部701の動作については、後述する。
センサデータ処理部703は、データ処理部700が受信したコマンドに従って、センサ制御部602およびバックライト制御部603に指示を与える。
また、センサデータ処理部703は、センサ制御部602から画像データを受信し、当該画像データをそのまま画像データバッファ704に格納する。そして、センサデータ処理部703は、データ処理部700が受信したコマンドに従って、画像データバッファ704に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ(部分画像の座標データを含む)」、および「座標データ」の少なくともいずれか1つを、主制御部800に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部703の動作については、後述する。
次に、主制御部800は、アプリケーションプログラムを実行するものである。主制御部800は、記憶部901に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部902に読み出して実行する。
主制御部800で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル301に表示データを表示させたり、センサ内蔵液晶パネル301にて対象物のスキャンを行わせるために、データ処理部700に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか1つを、データ処理部700から受信する。
なお、回路制御部600、データ処理部700、および主制御部800は、それぞれ、CPU(Central Processing Unit)およびメモリ等で構成することができる。また、データ処理部700は、ASIC(application specific integrate circuit)などの回路で構成されていてもよい。
次に、記憶部901は、図示のように、主制御部800が実行するプログラムおよびデータを格納するものである。なお、主制御部800が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
次に、操作部903は、データ表示/センサ装置100のユーザの入力操作を受けつけるものである。操作部903は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部903は、データ表示/センサ装置100のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部800へ送信する。
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ904、電源のオンとオフとを切り替える電源スイッチ905、予め所定の機能が割り当てられているユーザスイッチ906などのハードウェアスイッチを想定している。
その他、データ表示/センサ装置100は、無線/有線通信によって外部装置と通信を行なうための外部通信部907、音声を出力するためのスピーカ等の音声出力部908、音声信号を入力するためのマイク等の音声入力部909などを適宜備えていてもよい。
(コマンドの詳細)
次に、図5および図6を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図5は、コマンドのフレーム構造の一例を模式的に示す図である。また、図6は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
図5に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図6に示す値が指定可能である。
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
次に、「データ取得タイミング」フィールドは、データを主制御部800へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”(センス)、“01”(イベント)、および“10”(オール)という値が指定可能である。
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部800に送信する。
また、“イベント”は、センサ制御部602から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部602から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部800に送信する。
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部800に送信する。なお、上記所定周期は、光センサ回路32にてスキャンを行なう周期と一致する。
次に、「データ種別」フィールドは、センサデータ処理部703から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”(座標)、“010”(部分画像)、および“100”(全体画像)という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”/“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
センサデータ処理部703は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ704に記憶している画像データそのものを主制御部800に送信する。画像データバッファ704に記憶している画像データそのものを、「全体画像データ」と称する。
また、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部602から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部800に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出されたそれぞれの部分画像データを主制御部800に送信する。
さらに、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
次に、センサデータ処理部703は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部800に送信する(多点検出)。
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト307を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”(反射)、“01”(透過)、および“10”(反射/透過)という値が指定可能である。
“反射”は、バックライト307を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路305とバックライト駆動回路308とが同期して動作するように、センサ制御部602とバックライト制御部603とに指示を与える。
また、“透過”は、バックライト307を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路305を動作させ、バックライト駆動回路308と動作させないようにセンサ制御部602とバックライト制御部603とに指示を与える。なお、“反射/透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”(2値)、および“01”(多値)という値が指定可能である。
ここで、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“2値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部800に送信する。
また、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部800に送信する。
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”(高)および“1”(低)という値が指定可能である。
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部800に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ(指紋などの画像データ)には、“高”を指定することが望ましい。
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部800に送信する。例えば、タッチした位置等が分かる程度でよい画像データ(タッチした指や手の画像データなど)には、“低”を指定することが望ましい。
次に、「スキャンパネル」フィールドは、どの表示/光センサ部300にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
ここで、センサデータ処理部703は、「スキャンパネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aの光センサ駆動回路305およびバックライト駆動回路308を制御するように、センサ制御部602およびバックライト制御部603に指示を与える。
次に、「表示パネル」フィールドは、どの表示/光センサ部300にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
ここで、表示データ処理部701は、例えば、「表示パネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aに表示データを表示させるために、第1表示/光センサ部300Aの液晶パネル駆動回路304およびバックライト駆動回路308を制御するように、表示制御部601およびバックライト制御部603に指示を与える。
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
なお、主制御部800にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値(NULL値など)を設定しておけばよい。
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部700に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる(多点検出)。
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部700に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
(全体画像データ/部分画像データ/座標データ)
次に、図7を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。同図(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、同図(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。
ユーザが指でセンサ内蔵液晶パネル301をタッチしたとき、当該タッチした近傍の光センサ回路32が受光する光量が変化するため、当該光センサ回路32が出力する電圧に変化が生じ、その結果として、センサ制御部602が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
図7(b)に示す画像データでは、図7(a)に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図7(b)に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域(領域PP)が、“部分画像データ”である。
なお、領域APで示される画像データが、“全体画像データ”である。
また、部分画像データ(領域PP)の代表座標Zの、全体画像データ(領域AP)における座標データは(Xa,Ya)であり、部分画像データ(領域PP)における座標データは(Xp,Yp)である。
(センサ内蔵液晶パネルの構成)
次に、図8を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図8は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
センサ内蔵液晶パネル301は、光透過率(輝度)を設定するための画素回路31、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路32を備えている。なお、画素回路31は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するR画素回路31r、G画素回路31g、B画素回路31bの総称して用いる。
画素回路31は、センサ内蔵液晶パネル301上の列方向(縦方向)にm個、行方向(横方向)に3n個配置される。そして、R画素回路31r、G画素回路31g、およびB画素回路31bの組が、行方向(横方向)に連続して配置される。この組が1つの画素を形成する。
画素回路31の光透過率を設定するには、まず、画素回路31に含まれるTFT(Thin Film Transistor)33のゲート端子に接続される走査信号線Giにハイレベル電圧(TFT33をオン状態にする電圧)を印加する。その後、R画素回路31rのTFT33のソース端子に接続されているデータ信号線SRjに、所定の電圧を印加する。同様に、G画素回路31gおよびB画素回路31bについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル301上に画像が表示される。
次に、光センサ回路32は、一画素毎に配置される。なお、R画素回路31r、G画素回路31g、およびB画素回路31bのそれぞれの近傍に1つずつ配置されてもよい。
光センサ回路32にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ35の一方の電極に接続されているセンサ読み出し線RWiと、フォトダイオード36のアノード端子に接続されているセンサリセット線RSiとに所定の電圧を印加する。この状態において、フォトダイオード36に光が入射されると、入射した光量に応じた電流がフォトダイオード36に流れる。そして、当該電流に応じて、コンデンサ35の他方の電極とフォトダイオード36のカソード端子との接続点(以下、接続ノードV)の電圧が低下する。そして、センサプリアンプ37のドレイン端子に接続される電圧印加線SDjに電源電圧VDDを印加すると、接続ノードVの電圧は増幅され、センサプリアンプ37のソース端子からセンシングデータ出力線SPjに出力される。そして、当該出力された電圧に基づいて、光センサ回路32が受光した光量を算出することができる。
次に、センサ内蔵液晶パネル301の周辺回路である、液晶パネル駆動回路304、光センサ駆動回路305、およびセンサ出力アンプ44について説明する。
液晶パネル駆動回路304は、画素回路31を駆動するための回路であり、走査信号線駆動回路3041およびデータ信号線駆動回路3042を含んでいる。
走査信号線駆動回路3041は、表示制御部601から受信したタイミング制御信号TC1に基づいて、1ライン時間毎に、走査信号線G1〜Gmの中から1本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
データ信号線駆動回路3042は、表示制御部601から受信した表示データD(DR、DG、およびDB)に基づいて、1ライン時間毎に、1行分の表示データに対応する所定の電圧を、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnに印加する(線順次方式)。なお、データ信号線駆動回路3042は、点順次方式で駆動するものであってもよい。
光センサ駆動回路305は、光センサ回路32を駆動するための回路である。光センサ駆動回路305は、センサ制御部602から受信したタイミング制御信号TC2に基づいて、センサ読み出し信号線RW1〜RWmの中から、1ライン時間毎に1本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号TC2に基づいて、センサリセット信号線RS1〜RSmの中から、1ライン時間毎に1本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
センシングデータ出力信号線SP1〜SPnはp個(pは1以上n以下の整数)のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ47を介して、センサ出力アンプ44に接続される。センサ出力アンプ44は、スイッチ47により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号SS(SS1〜SSp)として、信号変換回路306へ出力する。
(データ表示/センサ装置の筐体)
次に、図9を参照しながら、本発明に係るデータ表示/センサ装置100の筐体について説明する。図9は、データ表示/センサ装置100の筐体を示す概要図である。図示のとおり、データ表示/センサ装置100は、第1表示/光センサ部300Aと第2表示/光センサ部300Bとが隣接して構成されている。
そして、図9に示すとおり、データ表示/センサ装置100の筐体は、第1表示/光センサ部300Aのセンサ内蔵液晶パネル301と、第2表示/光センサ部300Bのセンサ内蔵液晶パネル301とで、データ表示およびユーザ入力が可能となる。
なお、以降では、説明の便宜上、第1表示/光センサ部300Aを「上画面」とも称し、また、第2表示/光センサ部300Bを「下画面」とも称する。
また、第1表示/光センサ部300Aのセンサ内蔵液晶パネル301を、センサ内蔵液晶パネル301Aと表記し、第2表示/光センサ部300Bのセンサ内蔵液晶パネル301を、センサ内蔵液晶パネル301Bと表記する。センサ内蔵液晶パネル301Aおよびセンサ内蔵液晶パネル301Bを区別しないときは、センサ内蔵液晶パネル301と表記する。そして、センサ内蔵液晶パネル301Aが表示を行う領域を表示領域(第1の表示領域)302Aとし、センサ内蔵液晶パネル301Bが表示を行う領域を表示領域(第2の表示領域)302Bとする。
さらに、単に“表示する(または、表示させる)”と表記している場合は、センサ内蔵液晶パネル301に表示する(または、表示させる)ものとする。
また、本実施の形態では、データ表示/センサ装置100は、2つのセンサ内蔵液晶パネル301を隣接して備えている装置として説明するが、これに限られるものではない。センサ内蔵液晶パネル301Aとセンサ内蔵液晶パネル301Bとの間にヒンジを備えた、いわゆるクラムシェル型であって、開いた状態でセンサ内蔵液晶パネル301Aとセンサ内蔵液晶パネル301Bとが隣接した構成になるものであってもよい。
(データ表示/センサ装置を用いてデータ処理を行う様子)
次に、図10〜13を参照しながら、データ表示/センサ装置100がデータ処理を行う典型例について説明する。なお、ここでは処理の概要について説明し、各処理の詳細については後述する。
まず、画像処理(ここでは画像に対してモザイクを施す処理)を行う場合について説明する。図10は、データ表示/センサ装置100において、画像処理を行う場合を示す説明図である。そして、同図の(a)は、上画面に画像処理が行われる前の画像が表示されている状態を示す図であり、同図の(b)は、上画面に表示されていた画像の一部が下画面に表示されるように移動したときに、下画面に表示されている部分はモザイク処理が施されて表示されている状態を示す図である。
図10に示すように、画像501に対しモザイク処理を施す場合、まず、ユーザは、表示されたメニュー表示から処理の内容としてモザイク処理を選択し、処理の対象となる画像501を選択する。ユーザが、画像501を選択すると、表示決定部132は、上画面に処理の対象となる画像501を表示させる。そして、ユーザが指等で画像501をタッチしてそのまま下画面の方向に指を移動(ドラッグ)させると、接触座標取得部134がユーザの指が接触している位置座標を取得し、取得した位置座標の変化に基づいて、表示決定部132が、画像501の表示範囲303を下画面に移動させる。これにより、画像501の一部が下画面に移動する。そして、表示決定部132は、画像501の表示範囲303のうち、下画面に表示されている部分を、モザイク処理が施された表示とする。
次に、翻訳処理を行う場合について説明する。図11は、データ表示/センサ装置100において、翻訳処理を行う場合を示す説明図である。そして、同図の(a)は、下画面に翻訳処理が行われる前のテキストデータ502が表示されている状態を示す図であり、同図の(b)は、下画面に表示されていたテキストデータ502の表示範囲303の一部が上画面に表示されるように移動したときに、上画面に表示された部分は下画面に表示されていたときのテキストデータから翻訳処理が施された後の状態を示す図である。
図11に示すように、テキストデータ502に対して翻訳処理を施す場合、まず、ユーザは、表示されたメニュー表示から処理の内容として翻訳処理を選択し、処理の対象となるテキストデータ502を選択する。ユーザがテキストデータ502を選択すると、表示決定部132は、下画面に処理の対象となるテキストデータ502を表示させる。そして、ユーザが指等でテキストデータ502をタッチしてそのまま上画面の方向に指をドラッグすると、接触座標取得部134がユーザの指が接触している位置座標を取得し、取得した位置座標の変化に基づいて、表示決定部132が、テキストデータ502を上画面に移動させる。これにより、テキストデータ502の表示範囲303の一部が上画面に移動する。そして、表示決定部132は、テキストデータ502の表示範囲303のうち、上画面に表示されている部分を、下画面に表示されていたときのテキストデータから翻訳処理が施された後の表示とする。
なお、翻訳処理についても、上述したモザイク処理と同様の処理を行うものであってもよい。すなわち、データ表示/センサ装置100は、上画面に翻訳処理前のテキストデータ502を表示し、表示されているテキストデータ502が上画面から下画面に移動すると、下画面に表示している部分には、翻訳処理後のテキストデータ502を表示する処理を行うものであってもよい。
次に、データを削除する処理(削除処理)を行う場合について説明する。図12は、データ表示/センサ装置100において、削除処理を行う場合を示す説明図である。そして、同図の(a)は、上画面に削除処理の対象となるデータ503が表示されている状態を示す図であり、同図の(b)は、上画面に表示されていた削除処理の対象となるデータ503の一部が下画面に表示されるように移動したときに、下画面に表示されている部分はシュレッダーによって処理されたように表示されている状態を示す図である。
図12に示すように、データ503に対して削除処理を施す場合、まず、ユーザは、表示されたメニューから処理の内容として削除処理を選択し、処理の対象となるデータ503を選択する。ユーザがデータ503を選択すると、表示決定部132は、上画面に削除処理の対象となるデータ503を表示させる。そして、ユーザが指等でデータ503をタッチしてそのまま下画面の方向に指をドラッグすると、接触座標取得部134がユーザの指が接触している位置座標を取得し、取得した位置座標の変化に基づいて、表示決定部132が、データ503を下画面に移動させる。これにより、データ503の表示範囲303の一部が下画面に移動する。そして、表示決定部132は、データ503の表示範囲303のうち、下画面に表示されている部分を、印刷された紙がシュレッダーにより裁断されたような状態で表示する。
これにより、表示は、印刷された紙がシュレッダーにより裁断されたような状態になるとともに、データ503は、データ記憶部22から削除される。
(データ表示/センサ装置のより詳細な構成)
次に、図1を参照しながら、データ表示/センサ装置100のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部800と表示/光センサ部300との間に位置するデータ処理部700および回路制御部600の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部800の各部が、データ処理部700にコマンドを送信し、データ処理部700がコマンドに基づいて回路制御部600を制御し、回路制御部600が表示/光センサ部300に対して信号を送信する。また、主制御部800は、データ処理部700に対して送信したコマンドに対する応答として、データ処理部700から、全体画像データ、部分画像データ、および座標データを取得する。
図1は、データ表示/センサ装置100のより詳細な構成を示すブロック図である。
図1に示すようにデータ表示/センサ装置100の主制御部800は、メニュー表示制御部11、スキャン処理部12、および表示処理部13を含む構成である。なお、データ表示/センサ装置100においてスキャン処理を行わない場合は、スキャン処理部12は含んでいなくてもよい。
また、記憶部901は、メニュー記憶部21、データ記憶部22、およびデータ処理用記憶部23を含む構成である。
メニュー表示制御部11は、データ表示/センサ装置100の動作状態に応じたメニューやボタンを、メニュー記憶部21から読み出し、該読み出したメニューやボタンをセンサ内蔵液晶パネル301上に表示させる。
そして、ユーザが、センサ内蔵液晶パネル301上を指やペンなどで操作(タッチ)したとき、光センサ回路32が、指やペンなどの影像および反射像の少なくともいずれかを検知するので、その結果として、メニュー表示制御部11は、タッチした位置を示す座標データを取得する。
よって、上記得られた座標データで示される位置が、センサ内蔵液晶パネル301にメニューやボタンを表示した領域内である場合、メニュー表示制御部11は、ユーザが、当該メニューやボタンを操作したものと判定することができる。
したがって、上記取得した座標データが、メニュー項目を表示している位置に対応する座標データであるとき、メニュー表示制御部11は、当該メニュー項目に対応づけられている処理を実行する。例えば、「画像表示」というメニュー項目を表示している位置に対応する座標データを受信したとき、表示処理部13を起動し、画像表示処理を実行させる。また、「画像スキャン/文字認識」というメニュー項目を表示している位置に対応する座標データを受信したとき、スキャン処理部12を起動し、スキャン処理を実行させる。
スキャン処理部12は、センサ内蔵液晶パネル301上に置かれた対象物のスキャンを行う。そして、スキャン処理部12は、センサ内蔵液晶パネル301にスキャンを実行させた結果として、画像データを取得し、該取得した画像データからスキャンデータを抽出して、当該スキャンデータを記憶部901に格納する。
表示処理部13は、データ記憶部22に記憶されているデータを、センサ内蔵液晶パネル301で表示させるとともに、該データの処理を行い、その結果を表示させるものである。より詳細には、表示処理部13は、データ取得部131、表示決定部(データ取得手段、表示合成手段)132、取得データ処理部133、および接触座標取得部(接触検知手段)134を含む構成である。
データ取得部131は、データ記憶部22に記憶されているデータを取得して、表示決定部132および取得データ処理部133へ送信するものである。
接触座標取得部134は、センサ内蔵液晶パネル301上において、指やペンが接触された位置を示す位置情報(座標データ)を取得するものである。そして、取得した位置情報を表示決定部132および取得データ処理部133へ送信する。
取得データ処理部133は、データ取得部131から取得したデータに対し、接触座標取得部134から取得した位置情報が示す位置の変化をトリガーとして、ユーザによって指示された処理を施し、処理結果を示すデータである処理後データを表示決定部132へ送信するものである。より具体的には、取得した位置情報に基づいて、上画面に表示されていた表示範囲303を下画面へ移動させたときに、ユーザによって指示された処理を施すものである。そして、取得データ処理部133は、画像処理部145および翻訳処理部(翻訳言語決定手段)146を含む構成であり、データに対する処理は、取得データ処理部133に含まれている各処理部が行う。
画像処理部145は、取得した画像データに対し、モザイク処理を施したり、カラー画像を白黒画像にしたりする等の画像処理を行うものである。この画像処理は、公知の技術を用いて行うものであり、その説明は省略する。
翻訳処理部146は、取得したテキストデータを他の言語に翻訳する処理を行うものである。この翻訳処理は、公知の技術を用いて行うものであり、その説明は省略する。
表示決定部132は、データ取得部131から取得したデータと、取得データ処理部133から取得した処理後データと、接触座標取得部134から取得した位置情報とから、センサ内蔵液晶パネル301に表示させるデータおよびその表示範囲303の位置を決定する。そして、決定したデータおよびその位置をデータ処理部700を介して、センサ内蔵液晶パネル301へ送信する。また、センサ内蔵液晶パネル301で表示されているデータの表示位置を取得する。より詳細には、表示決定部132は、表示位置決定部(表示範囲移動手段、表示合成手段)142、および表示内容決定部(表示合成手段)143を含む構成である。
表示位置決定部142は、センサ内蔵液晶パネル301で表示させるべきデータをセンサ内蔵液晶パネル301のどの位置に表示させるかを決定するものである。例えば、データ取得部131から取得したデータは、初めにセンサ内蔵液晶パネル301の上画面に表示させる。そして、画面上で接触(タッチ)されていることを接触座標取得部134から取得した位置情報によって判断し、そのままタッチされている位置が変更されるとそれに対応させてセンサ内蔵液晶パネル301で表示させている表示範囲303も変更させる。
また、表示位置決定部142は、取得データ処理部133から取得した処理後データの表示位置を、一体として表示させるデータのうち、下画面に表示される部分に対応する位置に表示されるように決定する。
表示内容決定部143は、センサ内蔵液晶パネル301の上画面、下画面に表示されるデータを、上画面には処理前のデータを、下画面には処理後のデータを表示するように決定する。
次に、記憶部901について説明する。上述したように記憶部901は、メニュー記憶部21、データ記憶部22、およびデータ処理用記憶部23を含む構成である。
メニュー記憶部21は、センサ内蔵液晶パネル301上に表示するメニューに関する情報を記憶するものである。メニューは、ユーザ選択可能な複数のメニュー項目によって構成されるリストである。なお、メニュー項目は、ユーザ選択された際に実行する処理と対応付けられている。
なお、メニュー記憶部21は、データ表示/センサ装置100の動作状態に応じたメニューを記憶する。例えば、データ表示/センサ装置100の起動直後に、センサ内蔵液晶パネル301上に表示されるメニューとして、データ処理と対応付けられているメニュー項目である「データ処理」、記憶部に格納している画像データをセンサ内蔵液晶パネル301上に表示する処理と対応付けられているメニュー項目である「画像表示」、アドレス帳のアプリケーションを起動する処理と対応付けられているメニュー項目である「アドレス帳」などを含むメニューを記憶している。
データ記憶部22は、データ表示/センサ装置100で処理を行うデータを記憶するものである。データ表示/センサ装置100で処理を行うデータとしては画像データやテキストデータが挙げられる。これらのデータは、例えば、データ表示/センサ装置100がインターネットに接続され、ネットを経由して取得したデータであったり、データ表示/センサ装置100のスキャン機能を用いてスキャンされたデータであったり、ユーザがデータが記録されている記録媒体をデータ表示/センサ装置100と接続して記憶させたデータであることが考えられる。
データ処理用記憶部23は、取得データ処理部133がデータ処理を行うために必要なデータを記憶するものである。例えば、画像処理を行うための画像処理プログラムや、翻訳処理を行うための翻訳処理プログラム等を記憶するものである。
(主制御部がデータ処理部に送信するコマンドの説明)
次に、主制御部800の動作例について、主制御部800からデータ処理部700に送信されるコマンドに触れながら説明する。
データ処理の対象となる表示データを表示させる場合、データ処理の対象となる表示データをデータ処理部700へ送信する。併せて、表示決定部132は、「表示パネル」フィールドの値として上画面(“001”)(または下画面(“010”))を指定したコマンドをデータ処理部700へ送信する。
次に、ユーザの指やタッチペン等でセンサ内蔵液晶パネル301にタッチ(接触)していることを判断する場合、接触座標取得部134は、「データ取得タイミング」フィールドに、“イベント(01)”または“オール(10)”を指定し、「データ種別」フィールドに“座標(001)”を指定する。
そして、指やペン等の接触主体がセンサ内蔵液晶パネル301上に接触したとき、光センサ回路32が、接触主体の影像および反射像の少なくともいずれかを検知するので、その結果、データ処理部700がセンサ制御部602から受信する画像データに変化が生じる。
したがって、データ処理部700は、上述したコマンドの応答として、変化が生じた部分の座標データ(位置情報)を接触座標取得部134に送信する。
その後、接触主体の接触位置が移動すると、上述した方法で、変化した座標データを接触座標取得部134へ送信する。
次に、ユーザの指やタッチペン等でセンサ内蔵液晶パネル301にタッチしながら表示されている表示データの位置を変更する場合、上述した方法で接触位置の座標データを取得する。そして、前回取得した座標データと今回取得した座標データとの差分に対応する距離だけ表示データの表示位置を変更した位置で表示させるコマンドを表示データと併せてデータ処理部700へ送信する。
また、表示データが下画面(または上画面)にも表示される位置となる場合、表示決定部132は、データ処理が行われた処理後表示データを、「表示パネル」フィールドの値として下画面(“010”)(または上画面(“001”))を指定したコマンドと併せて、データ処理部700へ送信する。
(データ表示/センサ装置における処理の流れ)
次に、データ表示/センサ装置100における処理の流れについて図13および図14を用いて説明する。図13は、データ表示/センサ装置100における、処理の流れを示すフローチャートである。
まず、データ表示/センサ装置100の電源が入れられると、センサ内蔵液晶パネル301にメニューが表示される(S1301)。該メニューにより、ユーザが何らかの処理と処理対象となるデータを選択すると、データ表示/センサ装置100は該処理内容を受け付け(S1302)、データ取得部131は、処理の対象となるデータをデータ記憶部22より取得する(S1303)。そして、表示決定部132は、処理対象となるデータをセンサ内蔵液晶パネル301の上画面に表示させる(S1304)。
ここで、ユーザは指やタッチペン等を用いて画面にタッチし、そのまま指やタッチペンを移動させることで表示されているデータの表示範囲303を移動させることができる。そして、表示範囲303の位置が移動され(S1305でYES)、表示範囲303が一部でも、下画面に移動すると(S1306)、取得データ処理部133はデータ処理を行う(S1307)。
なお、データ処理は、下画面に移動した部分のみを対象とするものであってもよいし、データすべてを対象とするものであってもよい。
そして、表示決定部132は、表示すべきデータのうち、センサ内蔵液晶パネル301の上画面に表示されている表示範囲303については処理前のデータを表示させ、下画面に表示されている表示範囲303については処理後のデータを表示させる(S1308)。その後、ユーザから保存指示を受けると(S1309でYES)、取得データ処理部133は、処理後のデータをデータ記憶部22へ記憶させる(S1310)。そして処理を終了する。
なお、ユーザによる保存の指示としては、例えば、センサ内蔵液晶パネル301に表示されているデータをユーザが移動させていって、下画面の下端に接する状態になったときに保存するということが考えられる。
また、上記の構成では、表示されているデータが一部でも下画面で表示されたときに、取得データ処理部133がデータ処理を行うとしたが、これに限られるものではない。処理対象となるデータが上画面に表示されたときに、データ処理も実行し、表示されているデータが下画面で表示されると、下画面にはデータ処理後のデータを表示するものであってもよい。
次に、図14を用いて、データ表示/センサ装置100における翻訳処理の流れについて説明する。図14は、データ表示/センサ装置100における翻訳処理の流れを示すフローチャートである。
まず、データ表示/センサ装置100の電源が入れられると、センサ内蔵液晶パネル301にメニューが表示される(S1401)。該メニューにより、ユーザが処理内容として翻訳処理を選択するとともに、処理対象となるデータを選択すると、データ表示/センサ装置100は該処理内容を受け付け(S1402)、データ取得部131は、処理の対象となるデータをデータ記憶部22より取得する(S1403)。そして、表示決定部132は、処理対象となるデータをセンサ内蔵液晶パネル301の下画面に表示させる(S1404)。
ここで、ユーザは指やタッチペン等を用いて画面にタッチし、そのまま指やタッチペンを移動させることで表示されているデータの表示範囲303を移動させることができる。そして、表示範囲303の位置が移動され(S1406でYES)、表示範囲303が一部でも、上画面に移動すると(S1406)、取得データ処理部133は翻訳処理を行う(S1407)。
なお、翻訳処理は、上画面に移動した部分のみを対象とするものであってもよいし、データすべてを対象とするものであってもよい。
そして、表示決定部132は、表示すべきデータのうち、センサ内蔵液晶パネル301の下画面に表示されている表示範囲303については処理前のデータを表示させ、上画面に表示されている表示範囲303については処理後のデータを表示させる(S1408)。その後、ユーザから保存指示を受けると(S1409でYES)、取得データ処理部133は、処理後のデータをデータ記憶部22へ記憶させる(S1410)。そして処理を終了する。
なお、ユーザによる保存の指示としては、例えば、センサ内蔵液晶パネル301に表示されているデータをユーザが移動させていって、上画面の上端に接する状態になったときに保存するということが考えられる。
また、上記の構成では、表示されているデータが一部でも上画面で表示されたときに、取得データ処理部133がデータ処理を行うとしたが、これに限られるものではない。処理対象となるデータが下画面に表示されたときに、翻訳処理も実行し、表示されているデータが上画面で表示されると、上画面にはデータ処理後のデータを表示するものであってもよい。
(翻訳処理の実施例)
取得データ処理部133で、翻訳処理を行う場合に、最初のメニュー画面等を用いてユーザから指定された言語に翻訳する方法の他に、以下のような方法によって、翻訳する言語を選択することが考えられる。この翻訳言語を選択する方法について、図15を用いて説明する。図15は、翻訳処理において、翻訳言語を選択する方法を説明するための説明図である。ここで、翻訳言語とは、翻訳後の言語を示す。
図15に示すように、この方法は、翻訳処理を実行するときに、センサ内蔵液晶パネル301の下画面から上画面へ指またはタッチペン等が移動した位置が上画面と下画面との間の筐体(境界筐体310)のどの地点を通過したと判断できるかによって、翻訳言語を決定するものである。
より具体的には、指またはタッチペン等が下画面から離れた位置と、上画面に最初に接触した位置とから、境界筐体310のどの位置を指またはタッチペンが通過したかを判断する。そして、予め、境界筐体310の幅方向に互いに重複することなく分散して翻訳する言語を設定しておき、指またはタッチペンが通過した位置と対応する言語に翻訳する。例えば、図15に示した例では、境界筐体310を3つの区画に分割し、左部分が英語への翻訳、中央部分がフランス語への翻訳、右部分が中国語への翻訳となっている。そして、指は境界筐体310の中央部分を通過していると判断されるので、この場合は中国語へ翻訳される。
なお、指やタッチペン等が下画面から上画面に移動するのではなく下画面における移動のみで、上記翻訳言語を選択するものであってもよい。この場合、下画面から、指やタッチペンが最終的に離れた位置と最も近い距離にある境界筐体310の位置に対応する言語を翻訳言語として選択すればよい。
また、境界筐体310の全てに翻訳言語を割り当てておく必要はなく、翻訳言語が割り当てられていない区画が存在していてもよい。
また、翻訳処理の対象となるデータが上画面に表示され、データの表示範囲が下画面に入ったときに、下画面に表示されている部分に翻訳処理後のデータが表示される場合では、指またはタッチペン等が上画面から離れた位置と、下画面に最初に接触した位置とから、境界筐体310のどの位置を指またはタッチペンが通過したかを判断して、翻訳言語を選択すればよい。さらに、この場合に、上画面における移動のみで、上記翻訳言語を選択するものであってもよい。
また、翻訳言語の決定を、指またはタッチペン等がセンサ内蔵液晶パネル301に接触している位置ではなく、接触している指またはタッチペン等の数によって行ってもよい。
より具体的に、図16を用いて説明する。図16は、翻訳処理において、翻訳言語を選択する方法を説明するための説明図であり、同図の(a)は、テキストデータ502の表示範囲303が上画面のみの場合を示す図であり、同図の(b)は、テキストデータ502の表示範囲303の一部が下画面に表示されるように移動した場合を示す図である。
本実施の形態は、接触本数と翻訳言語とが対応付けられており、下画面に表示されているテキストデータ502の表示範囲303を上画面方向に移動させたときに、移動させるために接触させた指の本数(または、タッチペン等の本数)によって翻訳言語を決定するものである。例えば、接触本数が2本であれば翻訳言語は英語となるように対応付けられている場合、図16に示すように、指2本を用いて下画面に表示されている日本語のテキストの表示範囲303を上画面方向へ移動させると、上画面に表示される部分には、英語に翻訳されたテキストが表示される。
より詳細には、本実施の形態では、指またはタッチペン等のセンサ内蔵液晶パネル301に対する接触本数と翻訳言語とが対応付けられてデータ処理用記憶部23に記憶されている。そして、センサ内蔵液晶パネル301に対し、1または複数の位置で接触があると、接触座標取得部134は、1または複数の位置情報を取得する。
次に、接触座標取得部134は取得した複数の位置情報を翻訳処理部146へ送信する。翻訳処理部146は、接触座標取得部134から複数の位置情報を取得すると、該位置情報の数をセンサ内蔵液晶パネル301への接触本数として、データ処理用記憶部23に記憶されている接触本数と翻訳言語との対応付けから翻訳言語を決定し、翻訳処理を行う。
そして、表示決定部132は、表示されているテキストデータ502のうち、下画面に表示されている部分には、翻訳処理部146が処理した翻訳言語のテキストデータ502を表示させる。
また、図16に示すように、接触本数と翻訳言語との対応付けた対応表504をセンサ内蔵液晶パネル301に表示する構成であってもよい。
なお、上述した実施の形態では、接触本数により翻訳言語を決定するとしたが、接触本数によりデータ表示/センサ装置100での処理の内容(画像処理、翻訳処理、削除処理等)を決定する構成であってもよい。
以上のように、本実施の形態では、指やタッチペン等で表示されているデータをタッチしながら一方の画面から他方の画面へ移動させることでデータ処理を行うことができる。
そして、表示されているデータをタッチして移動させるだけという単純な操作は、ボタン操作等に慣れていないユーザであっても、容易に行うことができ、しかも、一方の画面から他方の画面へ移動させると処理が実行されるので、ユーザは、イメージとして認識しやすい。
さらに、ユーザの操作と処理との対応が容易に認識できるので、ボタン操作等に慣れていない人間であっても、直感的に操作できる。
なお、上述した実施の形態では、画像処理の場合には、上画面に表示されているデータを下画面に移動させたときに、下画面に画像処理後のデータを表示し、翻訳処理の場合には、下画面に表示されているデータを上画面に移動させたときに、上画面に翻訳処理後のデータを表示する構成としたが、これに限られるものではない。画像処理の場合に、下画面に表示されているデータを上画面に移動させたときに、上画面に画像処理後のデータを表示する構成であってもよく、また、翻訳処理の場合に、上画面に表示されているデータが下画面に移動したときに、下画面に翻訳処理後のデータを表示する構成であってもよい。
また、上述した実施の形態では、隣接した画面が上下に配置されている場合の説明をしたが、画面の配置は、これに限られるものではない。ユーザから見て、隣接した画面が左右に配置されるものであってもよい。この場合、左右に配置されている一方の画面に表示されているデータを他方の画面に移動させると、他方の画面に処理後のデータを表示する。また、画面が左右に配置されている場合において、縦書きの言語の翻訳処理を行うときは、翻訳前のデータを左側の画面に表示し、データを右側の画面に移動させると、右側の画面に翻訳後のデータを表示する構成とすれば、翻訳前後のデータをユーザが容易に認識できる。
また、上述した実施の形態では、一方の画面に表示したデータを、指等を用いて他方の画面に移動させるときに、表示範囲303が一方の画面から他方の画面に移動したときにデータ処理を実行したが、これに限られるものではない。例えば、一方の画面にデータを表示させたときに、データ処理を実行するとともに処理結果を保存し、他方の画面にデータが表示されたときに他方の画面の部分には保存されている処理後のデータを表示させるものであってもよい。
また、データ表示/センサ装置100は、データの表示範囲303が、一方の画面から他方の画面へと移動した場合にのみ処理後のデータが表示される構成に限られるものではない。他方の画面から一方の画面に表示範囲303が移動した場合に、一方の画面から他方の画面に移動したときとは反対の処理が行われたデータが一方の画面に表示される構成であってもよい。
例えば、画像データが上画面から下画面に移動したときにモザイク処理が施される場合に、モザイク処理が施された画像データを下画面に表示させ、該モザイク処理が施された画像データを上画面に移動させると、上画面に表示された部分は、モザイクが外され、通常の画像データを表示するものであってもよい。
また、翻訳処理において、下画面から上画面にテキストデータが移動したときに、日本語表示から英語表示となる場合に、上画面から下画面にテキストデータが移動すると、英語表示から日本語表示となる構成であってもよい。
これにより、ユーザは、表示されているテキストデータを下画面から上画面に移動することで、日本語の英訳を確認することができ、そのまま下画面に移動すると、英訳された日本語を確認することができる。よって、日本語とその英訳とを繰り返し確認することができ、例えば英語学習に有効な装置として用いることができる。
本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
(ソフトウェアによる構成)
最後に、データ表示/センサ装置100の各ブロック、特に回路制御部600、データ処理部700、および主制御部800は、ハードウェアロジックによって構成してもよいし、次のようにCPU(central processing unit)を用いてソフトウェアによって実現してもよい。
すなわち、データ表示/センサ装置100は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示/センサ装置100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示/センサ装置100に供給し、そのコンピュータ(またはCPUやMPU(microprocessor unit))が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM(compact disc read-only memory)/MO(magneto-optical)/MD(Mini Disc)/DVD(digital versatile disk)/CD−R(CD Recordable)等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM(erasable programmable read-only memory)/EEPROM(electrically erasable and programmable read-only memory)/フラッシュROM等の半導体メモリ系などを用いることができる。
また、データ表示/センサ装置100を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN(local area network)、ISDN(integrated services digital network)、VAN(value-added network)、CATV(community antenna television)通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE(institute of electrical and electronic engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(asynchronous digital subscriber loop)回線等の有線でも、IrDA(infrared data association)やリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR(high data rate)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。