JP5095574B2 - 画像表示／像検知装置、画像表示方法、画像表示プログラムおよび当該プログラムを記録した記録媒体 - Google Patents

Description

本発明は、画像を表示すると共に、近傍に位置する対象物の像を検知する画像表示／像検知装置に関するものである。より具体的には、画像表示／像検知装置におけるアプリケーションの処理に関するものである。

従来、複数の画像表示装置を備えたコンピュータにおいてアプリケーションを起動すると、アプリケーションは予め決められた画像表示装置において起動する。そのため、別の画像表示装置にアプリケーションウィンドウを表示させたい場合には、アプリケーションを起動させた後、例えばマウスを用いたドラッグなどのユーザ操作により、所望の画像表示装置上にアプリケーションウィンドウを移動させる必要がある。

従来のアプリケーションの起動、および、起動したアプリケーションに対応するアプリケーションウィンドウの移動の具体例を図１８（ａ）〜（ｃ）を参照して説明する。まず、ユーザが、図１８（ａ）に示すように、アプリケーションを起動させるためのアイコンをタッチ（またはポインタにより選択）する。すると、図１８（ｂ）に示すように、アプリケーションが起動し、あらかじめ定められた画面（ここでは、下部筐体４１における表示部３１０Ｂ）にアプリケーションウィンドウが表示される。

このとき、ユーザが上側の画面（上部筐体４０における表示部３１０Ａ）にアプリケーションウィンドウを表示させたいと考えていた場合であっても、図１８（ｃ）に示すように、一度アプリケーションを起動し、アプリケーションウィンドウを表示部３１０Ａに表示させた後、アプリケーションウィンドウを表示部３１０Ｂにドラッグしなければならない。

アプリケーションウィンドウの表示位置を自動的に変更する技術としては、例えば特許文献１に記載の技術がある。しかし、特許文献１に記載の技術は、表示されているアプリケーションウィンドウが互いに重ならないように表示位置および表示面積を調整するのみであり、アプリケーションの起動時におけるアプリケーションウィンドウの表示位置を決定することはできない。

アプリケーションの起動時において、ユーザが所望する位置にアプリケーションウィンドウを表示させる技術としては、例えば特許文献２に記載の技術を挙げることができる。特許文献２には、マウスのドラッグ開始位置およびドラッグ終了位置からアプリケーションウィンドウの表示位置および表示サイズを取得し、それに応じてアプリケーションを起動させる技術が開示されている。
特開平１１−１９４８６７号公報（公開日：平成１１年７月２１日） 特開２００１−２９６９４５号公報（公開日：平成１３年１０月２６日）

しかし、特許文献２に記載の技術では、キーボードにおけるキーの押下と共に、マウスをドラッグしなければならず、アプリケーションの起動に要するユーザ操作の回数が増加することになる。そのため、アプリケーションウィンドウの表示位置を決める際に、ユーザに対して煩雑な操作を強いることになるという問題を依然として有している。

また、画像表示装置が大画面である場合には、ドラッグのためにマウスを移動させる移動量が増加するため、ユーザの所望する位置およびサイズでアプリケーションを起動させることが非常に困難になるという問題も有している。

本発明は、上記の各問題に鑑みてなされたものであり、その主たる目的は、ユーザに煩雑な操作を強いることなく、ユーザの所望する位置にアプリケーションウィンドウを表示させることができる画像表示装置（画像表示／像検知装置）を提供することにある。

本発明に係る画像表示／像検知装置では、上記課題を解決するために、
画像を表示すると共に、近傍に位置する対象物の像を検知する１つ以上の面状部材を備えた画像表示／像検知装置であって、上記１つ以上の面状部材上に設けられた複数の画像表示領域の何れかに表示されたアイコン上の点が上記面状部材の近傍に位置する物体により指示されたとき、この点の位置座標と、この点の次に上記面状部材の近傍に位置する物体により指示された点の位置座標とに基づいて、指示方向を検出する指示方向検出手段と、上記アイコンが表示されている画像表示領域に対して上記指示方向にある他の画像表示領域の何れかを上記アイコンに関連付けられたアプリケーションにより表示されるウィンドウ画像を表示する画像表示領域として設定する表示領域設定手段と、上記表示領域設定手段において設定された画像表示領域に、上記アイコンに関連付けられたアプリケーションにより表示されるウィンドウを表示する表示処理制御手段と、を備えていることを特徴としている。

本発明に係る画像表示／像検知装置では、ユーザの指示する指示方向を検出する指示方向検出手段と、指示方向により示される方向に配置されている画像表示領域からアプリケーションにより表示されるウィンドウを表示する画像表示領域を設定する表示領域設定手段と、設定された画像表示領域にウィンドウを表示する表示処理制御手段と、を備えている。

これによって、本発明に係る画像表示／像検知装置では、ユーザは、アプリケーションにより表示されるウィンドウを表示させたい画像表示領域の方向を指示するのみで、所望の画像表示領域においてウィンドウを表示させることができる。したがって、本発明に係る画像表示／像検知装置は、ユーザに対して煩雑な操作を強いることなく、起動させたアプリケーションにより表示されるウィンドウ画像をユーザの所望する画像表示領域において表示することができる効果を奏する。

本発明に係る画像表示方法では、上記課題を解決するために、
画像を表示すると共に、近傍に位置する対象物の像を検知する１つ以上の面状部材を備えた画像表示／像検知装置における画像表示方法であって、上記１つ以上の面状部材上に設けられた複数の画像表示領域の何れかに表示されたアイコン上の点が上記面状部材の近傍に位置する物体により指示されたとき、この点の位置座標と、この点の次に上記面状部材の近傍に位置する物体により指示された点の位置座標とに基づいて、指示方向を検出する指示方向検出ステップと、上記アイコンが表示されている画像表示領域に対して上記指示方向にある他の画像表示領域の何れかを上記アイコンに関連付けられたアプリケーションにより表示されるウィンドウを表示する画像表示領域として設定する表示領域設定ステップと、上記表示領域設定ステップにおいて設定された画像表示領域に、上記アイコンに関連付けられたアプリケーションにより表示されるウィンドウを表示する表示処理制御ステップと、を含むことを特徴としている。

上記の構成によれば、上述した画像表示／像検知装置と同様の作用効果を奏する。

本発明に係る画像表示／像検知装置では、上記課題を解決するために、
画像を表示すると共に、近傍に位置する対象物の像を検知する１つ以上の面状部材を備えた画像表示／像検知装置であって、上記１つ以上の面状部材上に設けられた複数の画像表示領域の何れかに表示された第１の画像上の点が上記面状部材の近傍に位置する物体により指示されたとき、この点を指示する上記面状部材の近傍に位置する物体の像の数を算出する算出手段と、上記第１の画像の種類および上記算出手段において算出された像の数に応じて、当該画像表示／像検知装置において実行する処理を決定する処理決定手段と、上記物体により指示された上記第１の画像上の点の位置座標と、この点の次に上記面状部材の近傍に位置する物体により指示された点の位置座標とに基づいて、指示方向を検出する指示方向検出手段と、上記第１の画像が表示されている画像表示領域に対して上記指示方向にある他の画像表示領域の何れかを上記処理決定手段において決定された処理を実行することにより得られる第２の画像を表示する画像表示領域として設定する表示領域設定手段と、上記表示領域設定手段により設定された画像表示領域に上記第２の画像を表示する表示処理制御手段と、を備えていることを特徴としている。

上記の構成によれば、画像表示領域のいずれかに表示されている第１の画像の少なくとも一部を被覆する物体の像の数に応じて、当該画像表示／像検知装置において実行する処理を決定する。

これによって、物体の像の数を変更するのみで、例えば、ユーザの指の数またはタッチペンの数を変更することによるのみで、画像表示／像検知装置に所望の処理を実行させることができる。

したがって、本発明に係る画像表示／像検知装置は、ユーザに対して煩雑な操作を強いることなく、ユーザの所望する画像表示領域に第２の画像を表示させることができると共に、画像表示／像検知装置において実行する処理を、容易な操作で設定することができる効果を奏する。

本発明に係る画像表示／像検知装置では、さらに、上記処理決定手段は、上記第１の画像がアイコンであり、かつ、上記算出手段において算出された像の数が第１の値である場合、当該画像表示／像検知装置において実行する処理を、上記アイコンに関連付けられたアプリケーションの実行に決定することが好ましい。

本発明に係る画像表示／像検知装置では、さらに、上記処理決定手段は、上記第１の画像が上記アプリケーションにより表示されるウィンドウであり、かつ、上記算出手段において算出された像の数が第３の値である場合、当該画像表示／像検知装置において実行する処理を、当該ウィンドウの表示の終了に決定することが好ましい。

本発明に係る画像表示／像検知装置では、さらに、上記処理決定手段は、上記算出手段において算出された像の数が第２の値である場合、当該画像表示／像検知装置において実行する処理を、上記第１の画像を表示する上記画像表示領域の変更に決定することが好ましい。

上記の構成によれば、片手で、かつ、ユーザが直感的に理解しやすい物体の像の数により各処理を実行させることができる効果を奏する。

本発明に係る画像表示／像検知装置では、さらに、上記指示方向検出手段は、上記面状部材の近傍に位置する物体を逐次検知した像の位置座標の軌跡を参照して指示方向を検出することが好ましい。

上記の構成によれば、指示方向検出手段は、上記面状部材の近傍に位置する物体の像を逐次検知することにより、時間的に連続する像の位置座標の軌跡に応じて指示方向を検出する。すなわち、物体のスクロール方向に応じて指示方向を検出する。

これによって、ユーザは画像の表示される画像表示領域をより一層直感的に設定することができる。したがって、本発明に係る画像表示／像検知装置は、画像表示／像検知装置の操作に不慣れなユーザ（例えば年少者または高齢者など）であっても容易に理解し、実践できる操作により、指示方向を設定することができる効果を奏する。

本発明に係る画像表示／像検知装置では、さらに、上記画像表示領域のそれぞれに対応する画像表示装置を備えていることが好ましい。

また、本発明に係る画像表示／像検知装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。

本発明に係る画像表示／像検知装置は、以上のように、ユーザの指示する指示方向を検出する指示方向検出手段と、指示方向により示される方向に表示されている画像表示領域からアプリケーションにより表示されるウィンドウを表示する画像表示領域を設定する表示領域設定手段と、決定された画像表示領域にウィンドウを表示する表示処理制御手段と、を備えている。

これによって、本発明に係る画像表示／像検知装置は、ユーザに対して煩雑な操作を強いることなく、起動させたアプリケーションのウィンドウ画像をユーザの所望する画像表示領域において表示することができる効果を奏する。

本発明に係るデータ表示／センサ装置（画像表示／像検知装置）の一実施形態について図１〜１６を参照しつつ、以下に説明する。

（データ表示／センサ装置の外観）
まず、本実施形態に係るデータ表示／センサ装置の外観について、図９（ａ）を参照しつつ以下に説明する。データ表示／センサ装置１００は、図９（ａ）に示すように、上部筐体４０、下部筐体４１の２つの筐体からなる。上部筐体４０には、第１表示／光センサ部３００Ａが備えられており、下部筐体４１には、第２表示／光センサ部３００Ｂが備えられている。

なお、本実施形態では、主として、データ表示／センサ装置１００が上部筐体４０および下部筐体４１の２つの筐体からなるデータ表示／センサ装置を例に挙げて説明するが、もちろん、データ表示／センサ装置１００の構成はこれに限定されるものではない。例えば、図９（ｂ）に示すように、右側筐体４２および左側筐体４３の２つの筐体からなる構成であってもよいし、図９（ｃ）に示すように、第１筐体４４、第２筐体４５および第３筐体４６の３つの筐体からなる構成であってもよい。また、ここには図示していないが、４つ以上の筐体からなる構成であってもよい。なお、図９（ａ）〜（ｃ）における矢印は、各筐体の可動方向を示している。

（センサ内蔵液晶パネルの概要）
ここで、データ表示／センサ装置１００の構成および処理動作の詳細な説明に先立って、本発明に係るデータ表示／センサ装置１００の備えるセンサ内蔵液晶パネル３０１の概要について説明する。

データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図５に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（データ表示／センサ装置１００の要部構成）
続いて、データ表示／センサ装置１００における主制御部８００の要部構成について、図１を参照しつつ以下に説明する。図１は、データ表示／センサ装置１００における主制御部８００の要部構成を示すブロック図である。

データ表示／センサ装置１００における主制御部８００は、図１に示すように、画像数算出部１１、指示方向検出部１２、実行処理決定部１３、表示位置決定部１４および表示処理制御部１５を備えている。これらの部材について、以下に説明する。

（画像数算出部１１）
画像数算出部１１は、表示／光センサ部３００において検知された対象物の像のうち、表示／光センサ部３００に表示されている画像上に位置する像の数を算出する。

（指示方向検出部１２）
指示方向検出部１２は、表示／光センサ部３００に表示されている画像上の点を指示する対象物の位置座標と、この位置座標の次に指示された点の位置座標とに基づいて、指示方向を検出する。

ここで、本実施形態では、対象物の像における時間的に連続する位置座標から求められるベクトルの向きにより、指示方向を検出する場合を例に挙げて説明する。すなわち、本実施形態では、対象物（例えば、ユーザの指またはタッチペン）をスライドさせることにより得られるストロークに基づいて、指示方向を検出する場合を例に挙げて説明する。もちろん、指示方向の検出手法は、これに限定されるものではなく、対象物の位置座標の位置変化に応じて検出されるものであれば、いかなる手法により検出してもよい。

（実行処理決定部１３）
実行処理決定部１３は、対象物により少なくとも一部が被覆されている画像の種類および画像数算出部１１において算出された像の数に応じて、データ表示／センサ装置１００において実行する処理を決定する。

本実施形態では、画像がアプリケーションの実行ファイルに関連付けられたアイコンであり、そのアイコンを被覆する対象物の像の数が１つである場合、実行ファイルを実行することにより、アプリケーションを起動する。より具体的には、データ表示／センサ装置１００において実行する処理を、アプリケーションに起動させ、起動したアプリケーションのウィンドウ画像を表示する。

画像を被覆する対象物の像の数が２つである場合には、画像を別の表示／光センサ部３００に対してそのままの状態で移動する。

また、画像がアプリケーションのウィンドウ画像であり、ウィンドウ画像を被覆する対象物の像の数が３つである場合には、ウィンドウ画像の表示を終了する。より具体的には、アプリケーションのウィンドウ画像に変えて、当該アプリケーションの実行ファイルに関連付けられたアイコンを表示する。

なお、データ表示／センサ装置１００において実行されるアプリケーションの実行ファイルを含むプログラムデータおよび当該実行ファイルに関連付けられたアイコンは、記憶部９０１に格納されていることが好ましい。すなわち、主制御部８００は、アイコンを記憶部９０１から読み出して表示する。

（表示位置決定部１４）
表示位置決定部１４は、指示方向検出部１２において検出された指示方向に基づいて、実行処理決定部１３において決定された処理を実行することにより得られる画像を表示する表示／光センサ部３００を決定する。

このとき、表示位置決定部１４は、データ表示／センサ装置１００における表示／光センサ部３００の配置の認識に基づいて、表示／光センサ部３００を決定する。

例えば、データ表示／センサ装置１００が図９（ａ）に示す構成である場合、第２表示／光センサ部３００Ｂにおいてユーザの指示する指示方向が上方向である場合には、第２表示／光センサ部３００Ｂの上部に設けられている、上部筐体４０における第１表示／光センサ部３００Ａに画像を表示する。

なお、データ表示／センサ装置１００が図９（ｃ）に示す構成である場合、すなわち３つの筐体からなる場合の指示方向の定義については、図１０に示す。図１０は、データ表示／センサ装置１００が３つの筐体からなる場合における指示方向の定義を示す図である。

図１０に示すように、第１筐体４４における第１表示／光センサ部３００Ａにおいてユーザの指示する指示方向が方向Ａ１である場合には、第２筐体４５における第２表示／光センサ部３００Ｂに画像を表示し、指示方向が方向Ａ２である場合には、第３筐体４６における第３表示／光センサ部３００Ｃに画像を表示する。

同様に、第２表示／光センサ部３００Ｂにおいてユーザの指示する指示方向が方向Ｂ１である場合には、第１表示／光センサ部３００Ａに画像を表示し、指示方向が方向Ｂ２である場合には、第３表示／光センサ部３００Ｃに画像を表示する。第３表示／光センサ部３００Ｃにおいてユーザの指示する指示方向が方向Ｃ１である場合には、第２表示／光センサ部３００Ｂに画像を表示し、指示方向が方向Ｃ２である場合には、第１表示／光センサ部３００Ａに画像を表示する。

このように、データ表示／センサ装置１００が図９（ｃ）に示すような構成である場合の各指示方向は、対象物の部分画像における代表座標を中心とする扇状領域に基づいて決定すればよい。各扇状領域の大きさ、すなわち扇形の中心角は、データ表示／センサ装置１００における表示／光センサ部３００の配置の認識に基づいている。

なお、扇形の中心各の大きさは、予め設定された不変の値であってもよいし、ユーザにより適宜設定可能であってもよい。また、対象物が画像を被覆すると共に、図１０に示す扇状領域を表示／光センサ部３００に実際に表示するようにしてもよい。

表示／光センサ部３００が４つ以上である場合には、対象物の部分画像における代表座標を中心とする扇状領域の数を増加することにより対応すればよい。

（表示処理制御部１５）
表示処理制御部１５は、実行処理決定部１３において決定された処理を、表示位置決定部１４において決定された表示／光センサ部３００において実行するように指示する。

例えば、実行処理決定部１３において決定された処理がアプリケーションの起動であり、かつ、表示位置決定部１４において決定された表示／光センサ部３００が、上側筐体４０における第１表示／光センサ部３００Ａである場合、表示処理制御部１５は、起動するアプリケーションを記憶部９０１から読み出すと共に、読み出したアプリケーションのウィンドウ画像を第１表示／光センサ部３００Ａにおいて表示する指示を出力する。

（ウィンドウ画像を表示させる際の動作処理の詳細）
次に、データ表示／センサ装置１００において所望する表示／光センサ部３００においてアプリケーションのウィンドウ画像を表示させる際の動作処理の詳細について、図１１を参照しつつ以下に説明する。図１１は、所望する表示／光センサ部３００においてアプリケーションのウィンドウを表示させる際の動作を示すフローチャートである。

まず、画像数算出部１１は、データ処理部７００を介して入力された対象物の像のうち、表示／光センサ部３００に表示されている画像上に位置する像の数がいくつであるのかを判定する（ステップＳ１）。

画像数算出部１１が像の数が１つであると判定した場合、実行処理決定部１３は、対象物により被覆される画像がアプリケーションを実行する実行ファイルに関連付けられたアイコンであるか否かを判定する（ステップＳ２）。対象物により被覆される画像がアイコンではない場合には（ステップＳ２においてＮｏ）、データ表示／センサ装置１００は処理を終了する。一方で、対象物により被覆される画像がアイコンである場合（ステップＳ２においてＹｅｓ）、実行処理決定部１３は、データ表示／センサ装置１００において実行する処理を、アプリケーションの起動に決定する（ステップＳ３）。

また、指示方向検出部１２は、データ処理部７００を介して入力される、アイコンを被覆する対象物の像の時間的に連続する位置座標から指示方向を検出する（ステップＳ４）。そして、表示位置決定部１４は、ステップＳ４において検出された指示方向に基づいて、アプリケーションを起動することにより表示されるウィンドウ画像を表示する表示／光センサ部３００を決定する（ステップＳ５）。

最後に、表示処理制御部１５は、表示位置決定部１４において決定した表示／光センサ部３００において、アイコンに関連付けられた実行ファイルを実行することにより起動するアプリケーションのウィンドウ画像を表示させるようにデータ処理部７００に対して指示を出力する（ステップＳ６）。

（所望の表示／光センサ部３００にウィンドウ画像を表示させる具体例）
次に、ユーザの所望する表示／光センサ部３００においてウィンドウ画像を表示する具体例を図１２（ａ）および（ｂ）を参照しつつ以下に説明する。図１２（ａ）および（ｂ）は、ユーザの所望する表示／光センサ部３００において、実行したアプリケーションのウィンドウ画像を表示する具体例を示す図であり、（ａ）はアプリケーションを実行する際の動作を示す図であり、（ｂ）は（ａ）に示す動作に基づいてウィンドウ画像を表示した状態を示す図である。

なお、本項では、下部筐体４１における第２表示／光センサ部３００Ｂに表示されている「表計算」のアプリケーションを実行する実行ファイルに関連付けられたアイコンをタッチ（タップ）することにより、上部筐体４０における表示／光センサ部３００Ａに「表計算」のアプリケーションのウィンドウ画像を表示する場合を例に挙げて説明する。

図１２（ａ）に示すように、ユーザが下部筐体４１における第２表示／光センサ部３００Ｂに表示されているアイコンを一本指でタッチ（タップ）しつつ、アイコンをタッチした指を上方向にスライドさせる。このとき、データ表示／センサ装置１００における画像数算出部１１は、「表計算」のアプリケーションを起動するためのアイコンを被覆するユーザの指の像が１つであることを検出する。実行処理決定部１３は、画像数算出部１１における検出結果に基づいて、アイコンに関連付けられた実行ファイルを実行することにより、「表計算」のアプリケーションを起動する処理の実行を決定する。

また同時に、指示方向検出部１２は、ユーザの指が上方向にスライドされたことを検出する。これに基づいて、表示位置決定部１４は、「表計算」のアプリケーションを起動するためのアイコンに関連付けられた実行ファイルを実行することにより表示されるウィンドウ画像を上部筐体４０における第１表示／光センサ部３００Ａに表示することを決定する。

これによって、図１２（ｂ）に示すように、起動した「表計算」のアプリケーションのウィンドウ画像を上部筐体４０における第１表示／光センサ部３００Ａに表示させることができる。なお、このときアイコンは、図１２（ｂ）に示すように、下部筐体４１における第２表示／光センサ部３００Ｂにおいて、色を薄く表示する（例えば、グレイアウト表示）などして表示させ続けてもよいし、表示を消すようにしてもよい。

（画像を移動表示させる際の動作処理の詳細）
次に、データ表示／センサ装置１００において、所望する表示／光センサ部３００に画像を移動して表示させる際の動作処理の詳細について、図１３を参照しつつ以下に説明する。図１３は、所望する表示／光センサ部３００に画像を移動して表示させる際の動作を示すフローチャートである。

画像数算出部１１は、データ処理部７００を介して入力された対象物の像のうち、表示／光センサ部３００に表示されている画像上に位置する像の数が２つであると判定した場合、実行処理決定部１３は、データ表示／センサ装置１００において実行する処理を、対象物により被覆されている画像（すなわち、ユーザにより選択された画像）の移動処理に決定する（ステップＳ１１）。

指示方向検出部１２は、データ処理部７００を介して入力される、画像を被覆する対象物の像における時間的に連続する位置座標から指示方向を検出する（ステップＳ１２）。そして、表示位置決定部１４は、ステップＳ１２において検出された指示方向に基づいて、対象物により被覆されている画像を移動する表示／光センサ部３００を決定する（ステップＳ１３）。

最後に、表示処理制御部１５は、表示位置決定部１４において決定した表示／光センサ部３００において、画像を表示させるようにデータ処理部７００に対して指示を出力する（ステップＳ１４）。

（所望の表示／光センサ部３００に画像を移動して表示させる具体例）
次に、ユーザの所望する表示／光センサ部３００にウィンドウ画像を移動して表示する具体例を、図１４（ａ）および（ｂ）を参照しつつ以下に説明する。図１４（ａ）および（ｂ）は、ユーザの所望する表示／光センサ部３００にウィンドウ画像を移動して表示する具体例を示す図であり、（ａ）ウィンドウ画像を移動させる動作を示す図であり、（ｂ）は（ａ）に示す動作に基づいてウィンドウ画像を移動して表示した状態を示す図である。

なお、図１４（ａ）および（ｂ）では、上部筐体４０における第１表示／光センサ部３００Ａに表示されている「表計算」のアプリケーションのウィンドウ画像を、下部筐体４１における第２表示／光センサ部３００Ｂに移動して表示する場合を例に挙げて説明する。

図１４（ａ）に示すように、ユーザが上部筐体４０における第１表示／光センサ部３００Ａに表示されているウィンドウ画像を二本指でタッチ（タップ）しつつ、ウィンドウ画像をタッチした指を下側にスライドさせる。このとき、データ表示／センサ装置１００における画像数算出部１１は、「表計算」のアプリケーションのウィンドウ画像の一部を被覆するユーザの指の像が２つであることを検出する。実行処理決定部１３は、画像数算出部１１における検出結果に基づいて、ウィンドウ画像を移動させる処理の実行を決定する。

また同時に、指示方向検出部１２は、ユーザの指が下方向にスライドされたことを検出する。これに基づいて、表示位置決定部１４は、「表計算」のアプリケーションのウィンドウ画像を下部筐体４１における第２表示／光センサ部３００Ｂに移動することを決定する。

これによって、図１４（ｂ）に示すように、上部筐体４０における第１表示／光センサ部３００Ａに表示されている「表計算」のアプリケーションのウィンドウ画像を、そのままの状態で下部筐体４１における第２表示／光センサ部３００Ｂに移動して表示することができる。

図１４（ａ）および（ｂ）では、「表計算」のアプリケーションのウィンドウ画像を移動させることを例に挙げて説明しているが、移動させることができる画像は、ウィンドウ画像に限定させるものではない。例えば、表示／光センサ部３００に表示されているアイコンを別の表示／光センサ部３００に移動して表示させることもできる。

ユーザの所望する表示／光センサ部３００にアイコンを移動して表示する具体例を図１５（ａ）および（ｂ）を参照しつつ以下に説明する。図１５（ａ）および（ｂ）は、ユーザの所望する表示／光センサ部３００にアイコンを移動して表示する具体例を示す図であり、（ａ）アイコンを移動させる動作を示す図であり、（ｂ）は（ａ）に示す動作に基づいてアイコンを移動して表示した状態を示す図である。

なお、図１５（ａ）および（ｂ）では、下部筐体４１における第２表示／光センサ部３００Ｂに表示されている「表計算」のアプリケーションの実行ファイルに関連付けられたアイコンを、上部筐体４０における第１表示／光センサ部３００Ａに移動して表示する場合を例に挙げて説明する。

図１５（ａ）に示すように、ユーザが下部筐体４１における第２表示／光センサ部３００Ｂに表示されているアイコンを二本指でタッチ（タップ）しつつ、アイコンをタッチした指を上方向にスライドさせる。このとき、データ表示／センサ装置１００における画像数算出部１１は、アイコンの一部を被覆するユーザの指の像が２つであることを検出する。実行処理決定部１３は、画像数算出部１１における検出結果に基づいて、アイコンを移動させる処理の実行を決定する。

また同時に、指示方向検出部１２は、ユーザの指が上方向にスライドされたことを検出する。これに基づいて、表示位置決定部１４は、アイコンを上部筐体４０における第１表示／光センサ部３００Ａに移動することを決定する。

これによって、図１５（ｂ）に示すように、下部筐体４１における第２表示／光センサ部３００Ｂに表示されている「表計算」のアプリケーションの実行ファイルに関連付けられたアイコンを、そのままの状態で上部筐体４０における第１表示／光センサ部３００Ａに移動して表示することができる。

（ウィンドウ画像の表示を終了させる際の動作処理の詳細）
次に、データ表示／センサ装置１００において表示／光センサ部３００に表示されているウィンドウ画像の表示を終了させる際の動作処理の詳細について、図１６を参照しつつ以下に説明する。図１６は、表示／光センサ部３００に表示されているウィンドウ画像の表示を終了させる際の動作を示すフローチャートである。

画像数算出部１１は、データ処理部７００を介して入力された対象物の像のうち、表示／光センサ部３００に表示されている画像上に位置する像の数が３つであると判定した場合、実行処理決定部１３は、対象物により被覆される画像がウィンドウ画像であるか否かを判定する（ステップＳ２１）。対象物により被覆される画像がウィンドウ画像ではない場合には（ステップＳ２１においてＮｏ）、データ表示／センサ装置１００は処理を終了する。一方で、実行処理決定部１３が、対象物により被覆される画像がウィンドウ画像であると判定した場合には（ステップＳ２１においてＹｅｓ）、実行処理決定部１３は、データ表示／センサ装置１００において実行する処理を、ウィンドウ画像の表示の終了に決定する（ステップＳ２２）。

指示方向検出部１２は、データ処理部７００を介して入力される、ウィンドウ画像を被覆する対象物の像における時間的に連続する位置座標から指示方向を検出する（ステップＳ２３）。そして、表示位置決定部１４は、ステップＳ２３において検出された指示方向に基づいて、対象物により被覆されているウィンドウ画像に変えて表示する実行ファイルに関連付けられたアイコンを表示する表示／光センサ部３００を決定する（ステップＳ２４）。

最後に、表示処理制御部１５は、表示されているウィンドウ画像の表示を終了すると共に、表示位置決定部１４において決定した表示／光センサ部３００にアイコンを表示させるようにデータ処理部７００に対して指示を出力する（ステップＳ２５）。

（所望の表示／光センサ部３００に画像を移動して表示させる具体例）
次に、表示／光センサ部３００に表示されているウィンドウ画像の表示を終了する具体例を図１７（ａ）および（ｂ）を参照しつつ以下に説明する。図１７（ａ）および（ｂ）は、表示／光センサ部３００に表示されているウィンドウ画像の表示を終了する具体例を示す図であり、（ａ）ウィンドウ画像の表示を終了させる動作を示す図であり、（ｂ）は（ａ）に示す動作に基づいてウィンドウ画像の表示を終了した状態を示す図である。

なお、図１７（ａ）および（ｂ）では、上部筐体４０における第１表示／光センサ部３００Ａに表示されている「表計算」のアプリケーションのウィンドウ画像の表示を終了し、「表計算」のアプリケーションを実行する実行ファイルに関連付けられたアイコンを下部筐体４１における第２表示／光センサ部３００Ｂに表示する場合を例に挙げて説明する。

図１７（ａ）に示すように、ユーザが上部筐体４０における第１表示／光センサ部３００Ａに表示されているウィンドウ画像を三本指でタッチ（タップ）しつつ、ウィンドウ画像をタッチした指を下方向にスライドさせる。このとき、データ表示／センサ装置１００における画像数算出部１１は、「表計算」のアプリケーションのウィンドウ画像を被覆するユーザの指の像が３つであることを検出する。実行処理決定部１３は、画像数算出部１１における検出結果に基づいて、ウィンドウ画像の表示を終了する処理の実行を決定する。

また同時に、指示方向検出部１２は、ユーザの指が下方向にスライドされたことを検出する。これに基づいて、表示位置決定部１４は、「表計算」のアプリケーションを起動するためのアイコンを下部筐体４１における第２表示／光センサ部３００Ｂに表示することを決定する。

これによって、図１７（ｂ）に示すように、上部筐体４０における第１表示／光センサ部３００Ａにおける「表計算」のアプリケーションのウィンドウ画像の表示を終了すると共に、「表計算」のアプリケーションを実行する実行ファイルに関連付けられたアイコンを下部筐体４１における第２表示／光センサ部３００Ｂ表示させることができる。なお、図１２（ｂ）に示すように、ウィンドウ画像を表示する際に、アイコンの色を薄くして表示するような場合には、アイコンの色を元に戻す処理を実行するようにすればよい。

（データ表示／センサ装置１００の利点）
以上説明したように、本発明に係るデータ表示／センサ装置１００では、ユーザの指示する指示方向を検出する指示方向検出部１２と、指示方向により示される方向に配置されている画像表示領域からアプリケーションにより表示されるウィンドウ画像を表示する表示／光センサ部３００を決定する表示位置決定部１４と、決定された表示／光センサ部３００にウィンドウ画像を表示する表示表示処理制御部１５と、を備えている。

これによって、データ表示／センサ装置１００では、ユーザはウィンドウ画像を表示させたい表示／光センサ部３００の方向を指示するのみで、所望の表示／光センサ部３００においてウィンドウ画像を表示させることができる。したがって、データ表示／センサ装置１００は、ユーザに対して煩雑な操作を強いることなく、起動させたアプリケーションのウィンドウ画像をユーザの所望する画像表示領域において表示することができる。

また、本発明に係るデータ表示／センサ装置１００は、表示／光センサ部３００のいずれかに表示されている画像の少なくとも一部を被覆する対象物の像の数を算出する画像数算出部１１と、画像の種類および画像数算出部１１において算出された像の数の応じて、データ表示／センサ装置１００において実行する処理を決定する実行処理決定部１３と、をさらに備えている。

これによって、データ表示／センサ装置１００は、対象物の像の数を変更するのみで、データ表示／センサ装置１００に所望の処理を実行させることができる。例えば、ユーザの指の数またはタッチペンの数を変更することにより、データ表示／センサ装置１００に所望の処理を実行させることができる。したがって、データ表示／センサ装置１００は、データ表示／センサ装置１００において実行する処理を容易な操作で設定することができる。

また、本発明に係るデータ表示／センサ装置１００は、対象物のスクロール方向に応じて、指示方向を検出する。

これによって、ユーザは画像の表示される表示／光センサ部３００をより一層直感的に設定することができるため、例えば年少者または高齢者などのようなデータ表示／センサ装置１００の操作に不慣れなユーザであっても容易に理解できる操作により、指示方向を設定することができる。

（主制御部８００のコマンドを用いた動作例）
上述した主制御部８００の動作処理の説明では、本発明の理解を容易にするために、コマンドを用いることなく主制御部８００の動作を説明したが、本項では、主制御部８００からデータ処理部７００に送信されるコマンドに触れながら主制御部８００の動作について説明する。なお、本項では、データ表示／センサ装置１００が２つの表示／光センサ部３００を備えており、下部筐体４１における第２表示／光センサ部３００Ｂに表示されているアイコンに関連付けられた実行ファイルを実行することにより起動するアプリケーションのウィンドウ画像を上部筐体４０における第１表示／光センサ部３００Ａに表示する場合の動作処理を例に挙げて説明する。

まず、下画面である第２表示／光センサ部３００Ｂにおいて、アイコンの少なくとも一部を被覆する対象物の像の数を算出するために、画像数算出部１１は、「スキャンパネル」フィールドの値として、“第２表示／光センサ部”（“001”）を指定し、「データ取得タイミング」フィールドの値として、“イベント”（“01”）または“オール”（“10”）を指定し、「データ種別」フィールドの値として、“部分画像”および“座標”の両方（“011”）を指定したコマンドを、データ処理部７００に送信する。

これによって、画像数算出部１１は、データ処理部７００から、第２表示／光センサ部３００Ｂにおける部分画像および部分画像の座標（全体画像における座標）を受信することができるため、この部分画像および座標に基づいて、アイコンの少なくとも一部を被覆する対象物の像の数を算出することができる。そして、アイコンの少なくとも一部を被覆する像の数が１つである場合、データ表示／センサ装置１００は、上述したように、記憶部９０１に記憶されているアイコンに関連付けられた実行ファイルを実行することにより、アプリケーションを起動する。

また、下画面である第２表示／光センサ部３００Ｂにおいてユーザの指示する指示方向を検出するために、指示方向検出部１２は、「スキャンパネル」フィールドの値として、“第２表示／光センサ部”（“001”）を指定し、「データ取得タイミング」フィールドの値として、“オール”（“10”）を指定し、「データ種別」フィールドの値として、“座標”（“001”）を指定したコマンドを、データ処理部７００に送信する。

これによって、指示方向検出部１２は、データ処理部７００から、第２表示／光センサ部３００Ｂにおける部分画像の代表座標の経時的な変化を受信することができるため、対象物の移動方向、すなわちユーザの指示する指示方向を検出することができる。

そして、表示処理制御部１５が、「表示パネル」フィールドの値として“第１表示／光パネル”（“010”）を指定したコマンドと共に、起動するアプリケーションのウィンドウ画像を、データ処理部７００に送信する。これによって、第１表示／光センサ部３００Ａに、選択したアイコンに関連付けられた実行ファイルにより実行されるアプリケーションのウィンドウ画像を表示することができる。

（付記事項）
本実施形態では、図９（ａ）〜（ｃ）に示すように、表示／光センサ部３００の数が縦方向および横方向に連続して２つ備えられている場合を例に挙げて説明したが、表示／光センサ部３００は縦方向または横方向に３つ以上連続して備えられていてもよい。

表示／光センサ部３００が縦方向または横方向に３つ以上連続して備えられている場合には、画像を表示する指示方向と共に、いずれの表示／光センサ部３００に画像を表示するようにするのかを決定するパラメータを検出するパラメータ検出部を備えていることが好ましい。これは、対象物の像の位置座標および当該像よりも後に検知される像の位置座標に基づいて検出されるベクトルの大きさから検出することができる。例えば、指示方向がユーザの指によるスクロールにより決定される場合には、単位時間あたりのスクロール量（すなわち、スクロール速度）により決定すればよい。

より具体的には、例えば、表示／光センサ部３００が縦方向に３つ以上連続して備えられており、ユーザが最下部の表示／光センサ部３００において指示方向を指定する場合、パラメータ検出部において検出したベクトルの大きさが所定の閾値よりも大きい場合、表示位置決定部１４は、最上部の表示／光センサ部３００を画像を表示する表示／光センサ部３００に決定する。パラメータ検出部において検出したベクトルの大きさが所定の閾値よりも小さい場合、表示位置決定部１４は、隣接する（すなわち、中段の）表示／光センサ部３００を画像を表示する表示／光センサ部３００に決定する。

なお、表示／光センサ部３００が縦方向または横方向に４つ以上連続して備えられている場合には、閾値をより詳細に設定することにより対応するようにすればよい。

これによって、表示／光センサ部３００が縦方向または横方向に３つ以上連続して備えられているような場合であっても、表示位置決定部１４においていずれの表示／光センサ部３００に画像を表示するのかを決定することができる。

また、本実施形態では、基本的には、筐体それぞれに表示／光センサ部３００が備えられている場合、すなわち、表示／光センサ部３００における画像表示領域が物理的に分割されている場合を例に挙げて説明したが、これに限定されるものではない。例えば、表示／光センサ部３００が１つであり、１つの表示／光センサ部３００において、仮想的に画像表示領域が複数に分割されているような構成であってもよい。また、筐体それぞれに表示／光センサ部３００が備えられており、それらの表示／光センサ部３００がさらに複数の画像表示領域に仮想的に分割されていてもよい。

さらに、ユーザの意図しない方向を指示方向として検出することを防止するために、指示方向検出部１２は単位時間あたりの位置座標の変化量が所定以上の大きさである場合にのみ、指示方向を検出するようにすることが好ましい。すなわち、指示方向検出部１２は、所定の速度以上で対象物をスクロールしたときにのみ、指示方向を検出するようにすることが好ましい。

また、上述した実施形態では、対象物の像の数が１つである場合にアプリケーションを起動させ、２つである場合に画像を移動させ、３つである場合にウィンドウ画像の表示の終了である場合を例に挙げて説明したが、もちろん対象物の像の数は任意に設定することができる。

（プログラムおよび記録媒体）
最後に、データ表示／センサ装置１００に含まれている回路制御部６００、データ処理部７００、および主制御部８００は、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

すなわち、回路制御部６００、データ処理部７００および主制御部８００は、各機能を実現するプログラムの命令を実行するＭＰＵなどのＣＰＵ、このプログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを実行可能な形式に展開するＲＡＭ（Random Access Memory）、および、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。

そして、本発明の目的は、回路制御部６００、データ処理部７００および主制御部８００のプログラムメモリに固定的に担持されている場合に限らず、上記プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、または、ソースプログラム）を記録した記録媒体をデータ表示／センサ装置１００に供給し、データ表示／センサ装置１００が上記記録媒体に記録されている上記プログラムコードを読み出して実行することによっても、達成可能である。

上記記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。

また、回路制御部６００、データ処理部７００および主制御部８００（またはデータ表示／センサ装置１００）を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して回路制御部６００、データ処理部７００および主制御部８００に供給する。この通信ネットワークは回路制御部６００、データ処理部７００および主制御部８００にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等であればよい。

この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

以上、本発明を実施形態に基づいて具体的に説明したが、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明に係る画像表示／像検知装置は、画像表示モニターを備えた携帯電話、携帯型ゲーム機またはコンピュータなどに好適に適用することができる。また、画像表示領域が仮想的に分割されている画像表示装置にも好適に適用することができる。

本発明に係るデータ表示／センサ装置における主制御部の要部構成を示すブロック図である。 センサ内蔵液晶パネルの断面を模式的に示す図である。 センサ内蔵液晶パネル上をタッチした位置を検出する検出方法を模式的に示す図であり、（ａ）は反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、（ｂ）は影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 本発明に係るデータ表示／センサ装置の構成を示すブロック図である。 コマンドのフレーム構造の一例を模式的に示す図である。 コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 センサ内蔵液晶パネルをスキャンした結果として得られる画像データを示す図であり、（ａ）は、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データであり、（ｂ）は、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。 センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。 本発明に係るデータ表示／センサ装置の外観を模式的に示す図であり、（ａ）は上部筐体と下部筐体とからなる構成を示す図であり、（ｂ）は左側筐体と右側筐体とからなる構成を示す図であり、（ｃ）は、表示／光センサ部を３つ備えた構成を示す図である。 データ表示／センサ装置が３つの筐体からなる場合における指示方向の定義を示す図である。 ユーザの所望する表示／光センサ部においてアプリケーションのウィンドウ画像を表示させる際の動作を示すフローチャートである。 ユーザの所望する表示／光センサ部に、アプリケーションのウィンドウ画像を表示する具体例を示す図であり、（ａ）はアプリケーションを実行する際の動作を示す図であり、（ｂ）は（ａ）に示す動作に基づいて、ウィンドウ画像を表示した状態を示す図である。 ユーザの所望する表示／光センサ部に、画像を移動して表示させる際の動作を示すフローチャートである。 ユーザの所望する表示／光センサ部にウィンドウ画像を移動して表示する具体例を示す図であり、（ａ）ウィンドウ画像を移動させる動作を示す図であり、（ｂ）は（ａ）に示す動作に基づいて、ウィンドウ画像を移動して表示した状態を示す図である。 ユーザの所望する表示／光センサ部にアイコンを移動して表示する具体例を示す図であり、（ａ）アイコンを移動させる動作を示す図であり、（ｂ）は（ａ）に示す動作に基づいて、アイコンを移動して表示した状態を示す図である。 表示／光センサ部に表示されているウィンドウ画像の表示を終了させる際の動作を示すフローチャートである。 表示／光センサ部に表示されているウィンドウ画像の表示を終了する具体例を示す図であり、（ａ）ウィンドウ画像の表示を終了させる動作を示す図であり、（ｂ）は（ａ）に示す動作に基づいてウィンドウ画像の表示を終了した状態を示す図である。 実行したアプリケーションのウィンドウ画像を表示する従来の例を示す図であり、（ａ）はアプリケーションを実行する動作を示す図であり、（ｂ）は（ａ）に示す動作に基づいて表示されたウィンドウ画像を移動させる動作を示す図であり、（ｃ）は（ｂ）に示す動作に基づいて、ウィンドウ画像を移動して表示した状態を示す図である。

符号の説明

１１ 画像数算出部（算出手段）
１２ 指示方向検出部
１３ 実行処理決定部（処理決定手段）
１４ 表示位置決定部（表示領域設定手段）
１５ 表示処理制御部
４０ 上部筐体
４１ 下部筐体
４２ 左側筐体
４３ 右側筐体
４４ 第１筐体
４５ 第２筐体
４６ 第３筐体
１００ データ表示／センサ装置（画像表示／像検知装置）
３００ 表示／光センサ部（面状部材）
３００Ａ 第１表示／光センサ部
３００Ｂ 第２表示／光センサ部
３００Ｃ 第３表示／光センサ部
３０１ センサ内蔵液晶パネル
６００ 回路制御部
７００ データ処理部
８００ 主制御部

Claims (10)

1. 画像を表示すると共に、近傍に位置する対象物の像を検知する１つ以上の面状部材を備えた画像表示／像検知装置であって、
   上記１つ以上の面状部材上に設けられた複数の画像表示領域の何れかに表示されたアイコン上の点が上記面状部材の近傍に位置する物体により指示されたとき、この点の位置座標と、この点の次に上記面状部材の近傍に位置する物体により指示された点の位置座標とに基づいて、指示方向を検出する指示方向検出手段と、
   上記アイコンが表示されている画像表示領域に対して上記指示方向にある他の画像表示領域の何れかを上記アイコンに関連付けられたアプリケーションにより表示されるウィンドウを表示する画像表示領域として設定する表示領域設定手段と、
   上記表示領域設定手段において設定された画像表示領域に、上記アイコンに関連付けられたアプリケーションにより表示されるウィンドウを表示する表示処理制御手段と、
   を備えていることを特徴とする画像表示／像検知装置。
2. 画像を表示すると共に、近傍に位置する対象物の像を検知する１つ以上の面状部材を備えた画像表示／像検知装置であって、
   上記１つ以上の面状部材上に設けられた複数の画像表示領域の何れかに表示された第１の画像上の点が上記面状部材の近傍に位置する物体により指示されたとき、この点を指示する上記面状部材の近傍に位置する物体の像の数を算出する算出手段と、
   上記第１の画像の種類および上記算出手段において算出された像の数の応じて、当該画像表示／像検知装置において実行する処理を決定する処理決定手段と、
   上記物体により指示された上記第１の画像上の点の位置座標と、この点の次に上記面状部材の近傍に位置する物体により指示された点の位置座標とに基づいて、指示方向を検出する指示方向検出手段と、
   上記第１の画像が表示されている画像表示領域に対して上記指示方向にある他の画像表示領域の何れかを上記処理決定手段において決定された処理を実行することにより得られる第２の画像を表示する画像表示領域として設定する表示領域設定手段と、
   上記表示領域設定手段により設定された画像表示領域に上記第２の画像を表示する表示処理制御手段と、
   を備えていることを特徴とする画像表示／像検知装置。
3. 上記処理決定手段は、上記第１の画像がアイコンであり、かつ、上記算出手段において算出された像の数が第１の値である場合、当該画像表示／像検知装置において実行する処理を、上記アイコンに関連付けられたアプリケーションの実行に決定することを特徴とする請求項２に記載の画像表示／像検知装置。
4. 上記処理決定手段は、上記第１の画像が上記アプリケーションにより表示されるウィンドウであり、かつ、上記算出手段において算出された像の数が第３の値である場合、当該画像表示／像検知装置において実行する処理を、当該ウィンドウの表示の終了に決定することを特徴とする請求項３に記載の画像表示／像検知装置。
5. 上記処理決定手段は、上記算出手段において算出された像の数が第２の値である場合、当該画像表示／像検知装置において実行する処理を、上記第１の画像を表示する上記画像表示領域の変更に決定することを特徴とする請求項２または３に記載の画像表示／像検知装置。
6. 上記指示方向検出手段は、上記面状部材の近傍に位置する物体を逐次検知した像の位置座標の軌跡を参照して指示方向を検出することを特徴とする請求項１から５のいずれか１項に記載の画像表示／像検知装置。
7. 上記画像表示領域のそれぞれに対応する画像表示装置を備えていることを特徴とする請求項１から６のいずれか１項に記載の画像表示／像検知装置。
8. 画像を表示すると共に、近傍に位置する対象物の像を検知する１つ以上の面状部材を備えた画像表示／像検知装置における画像表示方法であって、
   上記１つ以上の面状部材上に設けられた複数の画像表示領域の何れかに表示されたアイコン上の点が上記面状部材の近傍に位置する物体により指示されたとき、この点の位置座標と、この点の次に上記面状部材の近傍に位置する物体により指示された点の位置座標とに基づいて、指示方向を検出する指示方向検出ステップと、
   上記アイコンが表示されている画像表示領域に対して上記指示方向にある他の画像表示領域の何れかを上記アイコンに関連付けられたアプリケーションにより表示されるウィンドウを表示する画像表示領域として設定する表示領域設定ステップと、
   上記表示領域設定ステップにおいて設定された画像表示領域に、上記アイコンに関連付けられたアプリケーションにより表示されるウィンドウを表示する表示処理制御ステップと、
   を含むことを特徴とする画像表示方法。
9. 請求項１から７のいずれか１項に記載の画像表示／像検知装置が備えているコンピュータを動作させるプログラムであって、上記コンピュータを上記の各手段として機能させるためのプログラム。
10. 請求項９に記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

Images