JP5306780B2 - 入力装置 - Google Patents

Description

本発明は、情報機器に対してユーザが入力を行なう際に用いられる入力装置に関するものであり、特に、対象物の動きを検出して入力信号を生成する入力装置に関するものである。

コンピュータ等の情報機器に対しユーザが入力を行なう際に用いる入力装置としては、マウス、ペンタブレット、ライトペン、ジョイスティック、タッチパネル、トラックボール、ポインティングスティック、キーボード等様々なものがあり、用途によってそれぞれが使い分けられている。

例えば、マウスは、ＧＵＩ（グラフィカルユーザインターフェイス）を介した入力に好適であり、マウスの移動、クリック、ホイール操作等を組み合わせることによってユーザは快適な操作感を得ることができる。また、ペンタブレットは、紙にペンを用いて描画するのと同様の感覚で操作することが可能であり、描画ソフトウェア等の操作に好適である。その他の入力装置についても、好適な用途がそれぞれ存在している。

また、特許文献１は、手操作の形状をイメージ情報として形状認識して入力信号を生成する、疲れ難く操作性の良い入力装置を提案している。
特開昭５９−１３２０７９号公報（昭和５９年７月３０日公開）

しかしながら、用途によって様々な入力装置が存在することからも示されるように、人間はより使い易い入力装置をさらに求めるものであり、新たな特徴を有する入力装置を提案することは有益である。裏を返せば、特許文献１に記載の入力装置は、人間のすべての要求を満たすような入力装置ではない。

本発明は、上記課題に鑑みてなされたものであり、新たな入力装置を提供することを目的とする。

本発明に係る入力装置は、上記課題を解決するために、近傍の像を検知する面状部材と、上記面状部材が検知した対象物の像に基づいて当該対象物の動きを検出して、当該対象物の動きに関連付けられた入力信号を生成する複数の入力信号生成手段と、上記面状部材が検知した上記対象物の像に基づいて、上記複数の入力信号生成手段からいずれか一つの入力信号生成手段を選択して、選択した入力信号生成手段に上記入力信号を生成させる入力信号生成制御手段とを備えていることを特徴としている。

上記構成によれば、上記入力装置は、複数の入力信号生成手段を備えており、上記入力信号を生成させる入力信号生成手段を、上記面状部材が検知した上記対象物の像に基づいて選択するため、ユーザは、上記対象物を介して容易により適切な上記入力信号生成手段を選択して上記入力信号を生成させることができる。さらに、上記入力信号生成手段は、上記面状部材が検知した上記対象物の像に基づいて上記入力信号を生成するため、ユーザは、特別な器具を物理的に操作することなく容易に入力を行える上、上記入力信号生成手段の選択と、上記入力装置への入力とをシームレスに行うことができる。なお上記対象物の動きと入力信号との対応関係は、入力信号生成手段毎にそれぞれ異なっていることが好ましい。

本発明に係る入力装置は、上記複数の入力信号生成手段のうちの少なくとも一つは、上記対象物が上記面状部材上の特定の位置を指示したことを検出して当該特定の位置を示す入力信号を生成するタブレット信号生成手段であることが好ましい。

上記構成によれば、上記入力装置は、上記対象物が上記面状部材上の特定の位置を指示したことを検出して当該特定の位置を示す上記入力信号を生成できるので、ユーザが、実際にペンを手に持たなくとも、ペンタブレット操作と同等の操作感で入力することを可能にすることができる。

本発明に係る入力装置は、上記複数の入力信号生成手段のうちの少なくとも一つは、上記対象物が上記面状部材上を移動したことを検出して当該移動の量を示す入力信号を生成するとともに、上記対象物の一部が上記面状部材から離れた後接近または接触したことを検出してクリック操作があったことを示す入力信号を生成するマウス信号生成手段であることが好ましい。

上記構成によれば、上記入力装置は、上記対象物が上記面状部材上を移動したことを検出して当該移動の量を示す上記入力信号を生成するとともに、上記対象物の一部が上記面状部材から離れた後接触したことを検出してクリック操作があったことを示す上記入力信号を生成することができるので、ユーザが、実際にマウスを手に持たなくとも、マウス操作と同等の操作感で入力することを可能にすることができる。

本発明に係る入力装置では、上記マウス信号生成手段が、上記対象物の一部が上記面状部材に接近または接触した状態で移動したことを検出してホイール操作があったことを示す入力信号を生成してもよい。

上記構成によれば、上記入力装置は、上記対象物の一部が上記面状部材に接触した状態で移動したことを検出してホイール操作があったことを示す上記入力信号を生成することができるので、ユーザが、実際にホイール付マウスを手に持たなくとも、ホイール付マウス操作と同等の操作感で入力することを可能にすることができる。

本発明に係る入力装置では、上記入力信号生成制御手段は、上記面状部材が検知した上記対象物の像と、上記複数の入力信号生成手段のそれぞれに関連付けられた基準画像とを比較することにより、上記複数の入力信号生成手段からいずれか一つの入力信号生成手段を選択することが好ましい。

上記構成によれば、上記入力装置は、上記対象物の像と、上記基準画像とを比較することにより、用いる入力信号生成手段を選択する。ここで、上記基準画像は、何れかの上記入力信号生成手段に関連付けられているため、ユーザが意図する上記入力信号生成手段を上記対象物の形態によって示したときに、上記入力装置は、上記対象物の像に基づいて、首尾よく上記ユーザが意図する入力信号生成手段を選択することができる。

本発明に係る入力装置では、上記入力信号生成制御手段は、上記面状部材が検知した上記対象物の像と、ある上記基準画像に移動、回転、拡大および縮小からなる群より選ばれる一つ以上の画像処理を施した画像、または当該ある基準画像との重複率に基づいて、当該ある基準画像に関連付けられた入力信号生成手段を選択するか否かを決定することが好ましい。

上記構成によれば、上記入力装置は、移動、回転、拡大および縮小等の処理を上記基準画像に施した後に上記対象物の像と比較することにより、ユーザが提示する上記対象物が標準的な形態から外れていたとしても、ユーザの意図する上記入力信号生成手段を首尾よく選択することができる。

本発明に係る入力装置では、上記面状部材が、画像を表示するものであり、上記入力信号生成制御手段が選択した上記入力信号生成手段に関連付けられた補助画像を上記面状部材に表示させる補助画像表示制御手段をさらに備えていることが好ましい。

上記構成によれば、上記面状部材上に上記入力信号生成手段に関連付けられた補助画像を表示することができる。これにより、ユーザに対し、上記入力装置が、現在何れの入力信号生成手段を用いて、上記対象物の動きを検出して信号を生成しているのかを提示することができるほか、ユーザが選択された上記入力信号生成手段に適合した入力を行う際に補助となるような画像、例えば、選択された上記入力信号生成手段が、上記対象物が特定の位置を指示したことを検出して当該特定の位置を示す入力信号を生成するような場合には、目的とする位置をユーザが指示し易くする、方眼（グリッド）等の画像を上記面状部材に表示させることが可能となる。

本発明に係る入力装置では、上記補助画像が、ペン画像、マウス画像およびグリッド画像からなる群より選ばれる補助画像であってもよい。

上記構成によれば、上記補助画像としてペン画像、マウス画像およびグリッド画が用いられるため、特に、タブレット入力またはマウス入力を模した入力方式により入力を行う上記入力信号生成手段が選択されているときに好適な補助画像を表示し得る。

本発明に係る入力装置の制御方法は、近傍の像を検知する面状部材と、上記面状部材が検知した上記対象物の像に基づいて当該対象物の動きを検出して、当該対象物の動きに関連付けられた上記入力信号を生成する複数の入力信号生成手段とを備えた入力装置の制御方法であって、上記面状部材が検知した上記対象物の像に基づいて、上記複数の入力信号生成手段からいずれか一つの上記入力信号生成手段を選択して、選択した当該入力信号生成手段に上記入力信号を生成させる入力信号生成制御工程を包含することを特徴としている。

上記構成によれば、本発明に係る入力装置と同等の効果を奏することができる。

上記の構成によれば、本発明に係る画像表示／像検知装置と同様の作用効果を奏する。

また、本発明に係る画像表示／像検知装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムも本発明の範疇に含まれる。

本発明に係る入力装置は、複数の入力信号生成手段を備えているので、ユーザは、適切な入力信号生成手段を選択して入力を行うことができる上、上記入力装置は、上記入力信号生成手段の選択を、検知した対象物の像に基づいて行うため、ユーザは、容易に適切な入力信号生成手段を選択することができ、これにより上記入力装置に対する入力を首尾よく行うことができる。

本発明の一実施形態に係る入力装置１００は、近傍の像を検知することができるセンサ内蔵液晶パネル（面状部材）３０１を備えており、これにより対象物６４の像の読み取りを行ない、読み取った対象物６４の像に基づいて入力信号を生成する装置である。

なお、本明細書において、対象物とは、ユーザが入力を行なうために用いる物体を指している。具体的には、手を想定している。また、入力信号とは、上記物体を用いてユーザが入力する情報を示す信号である。また、対象物の像の読み取りを、以下では、スキャンとも称する。

一実施形態において入力装置１００は、タブレットモードとマウスモードとの複数の入力モードを備えており、それらを切り替えて使用することができる。

図１５はタブレットモードの概要を示す模式図である。図１５に示すように、本モードにおいてユーザは手（対象物６４）をペンを持つような形に結んで操作を行う。このとき、入力装置１００は、ユーザの手の形状をセンサ内蔵液晶パネル３０１を用いて読み取り、その手に仮想的に握られているペン先の位置を検出して入力信号とする。なお、入力装置１００は、図１５に示すように、検出した位置にペン画像１７１を表示することが好ましい。また、タブレットモードでは、ユーザによる入力を助けるグリッド画像１７２を表示することが好ましい。

図１７は、マウスモードの概要を示す模式図である。図１７に示すように、本モードにおいてユーザは手（対象物６４）をマウスを持つような形にして操作を行う。このとき、入力装置１００は、ユーザの手の形状をセンサ内蔵液晶パネル３０１を用いて読み取り、その手に仮想的に握られているマウスの移動等を検出して入力信号とする。なお、入力装置１００は、図１７に示すように、検出したマウスの位置にマウス画像１７４を表示することが好ましい。

そして、ユーザは、入力装置１００における上記タブレットモードと上記マウスモードとの切換を自然に行うことができる。すなわち、ユーザは、手（対象物６４）の形を、ペンを持つような形にするか、マウスを持つような形にするかによって、上記入力モードを直感的に切り替えることができる。

以下、上述した機能を実現する各部材の構成について詳細に説明する。まず、上記入力装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。

（センサ内蔵液晶パネルの概要）
上記入力装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、対象物６４がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６４の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（入力装置の要部構成）
次に、図４を参照しながら、上記入力装置１００の要部構成について説明する。図４は、入力装置１００の要部構成を示すブロック図である。図示のように、入力装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、入力装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、入力装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、入力装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、入力装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１の表示／光センサ部３００）、“010”（第２の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、第１および第２の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドに指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１の表示／光センサ部３００）、“010” （第２の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、第１および第２の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が第１の表示／光センサ部３００であるコマンドを受信すると、第１の表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（入力装置のより詳細な構成）
次に、図１を参照しながら、入力装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行なうにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。

図１は、入力装置１００のより詳細な構成を示すブロック図である。図１に示すように、主制御部８００は、入力信号生成制御部（入力信号生成制御手段）１１、タブレット信号生成部（入力信号生成手段、タブレット信号生成手段）１３、マウス信号生成部（入力信号生成手段、マウス信号生成手段）１４、補助画像表示制御部（補助画像表示制御手段）１５、スキャンデータ保持部１６、基準画像処理データ保持部１７、およびマウス状態保持部１８を備えている。また、記憶部９０１は、基準画像記憶部２１、および補助画像記憶部２２を備えている。

タブレット信号生成部１３およびマウス信号生成部１４はともに、入力信号を生成する入力信号生成部（入力信号生成手段）１２である。タブレット信号生成部１３は、対象物６４の動きをタブレットに対する操作として検出して、当該操作に関連付けられた入力信号を生成するものである。また、マウス信号生成部１４は、対象物６４の動きをマウスの操作として検出して、当該操作に関連付けられた入力信号を生成するものである。

入力信号生成制御部１１は、入力信号生成部１２のうちの何れかを選択して、選択した入力信号生成部１２に入力信号を生成させるものである。上述したように、一実施形態において入力装置１００は、タブレットモードと、マウスモードとの二つの入力モードを有しており、入力信号生成制御部１１はそのいずれの入力モードを実行するかを決定し、タブレットモードを実行する場合には、タブレット信号生成部１３に、マウスモードを実行する場合には、マウス信号生成部１４に入力信号を生成させる。

補助画像表示制御部１５は、上記各入力モードに対応する補助画像１７０をセンサ内蔵液晶パネル３０１上に表示させるものである。

スキャンデータ保持部１６は、センサ内蔵液晶パネル３０１が読み取った対象物６４のスキャンデータ（像）１６０を一時的に記憶するものである。

基準画像処理データ保持部１７は、後述するステップにおいて、基準画像１６１に加えた画像処理の内容を示すデータを一次的に記憶するものである。

基準画像記憶部２１は、入力信号生成制御部１１および入力信号生成部１２がスキャンデータ１６０を解析するために用いる基準画像１６１および基準画像１６１に関連付けられたデータを予め記憶しておくためのものである。

補助画像記憶部２２は、補助画像表示制御部１５がセンサ内蔵液晶パネル３０１上に表示させる補助画像１７０を予め記憶しておくためのものである。

次に、図９〜２０を参照しながら、入力装置１００の動作の一例について詳細に説明する。

（モード切替処理）
図９は、入力装置１００のモード切替処理を説明するフローチャートである。入力装置１００は、例えば、起動直後、一定時間入力が途絶えたとき、後述する局面等において、モード切替処理を行なう。以下、モード切替処理の各ステップについて図面を参照して説明する。モード切替処理は、ステップＳ１から開始される。

ステップＳ１では、入力装置１００は、対象物６４のスキャンを行なう。一実施形態において、入力信号生成制御部１１が、センサデータ処理部７０３から全体画像データを取得してスキャンデータ１６０としてスキャンデータ保持部１６に保持させる。

詳しく述べれば、まず、入力信号生成制御部１１は、データ処理部７００に対して、「データ種別」を”全体画像データ”、「データ取得タイミング」を、”イベント”とした上記コマンドを送る。入力信号生成制御部１１は、上記コマンドの応答としてセンサデータ処理部７０３から得られた全体画像データを、スキャンデータ１６０としてスキャンデータ保持部１６に記憶させる。なお、入力信号生成制御部１１が、データ取得のタイミングおよび取得データの変化の判定を行なう場合には、上記コマンドの「データ取得タイミング」は、”オール”または”センス”としてもよい。

ステップＳ２以降では、入力装置１００は、スキャンデータ１６０と、各入力モードに対応する基準画像１６１とを順次比較することにより、実行する入力モードを選択する。

一実施形態において、ステップＳ２では、入力信号生成制御部１１が、スキャンデータ保持部１６から取得したスキャンデータ１６０と、基準画像記憶部２１から呼び出したマウスモードに対応する基準画像１６１とを比較する。スキャンデータ１６０が、マウスモードに対応する基準画像１６１と類似していた場合には、マウスモードを実行し、類似していなかった場合にはステップＳ３に移行する。マウスモードの実行処理については後述する。

詳しく述べれば、まず、入力信号生成制御部１１は、スキャンデータ保持部１６からスキャンデータ１６０を取得する。このとき、図１０（ａ）に示すように、マウスを握った格好の手（対象物６４）が、センサ内蔵液晶パネル３０１上に置かれているとき、スキャンデータ１６０は、図１０（ｂ）に示すようなものとなる。なお、図中、灰色に塗りつぶされた領域は、対象物６４とセンサ内蔵液晶パネル３０１とが接近しているまたは接触している接近／接触領域であり、上記スキャン方式を”反射”とした場合には、所定の閾値以上の高輝度領域であり、上記スキャン方式を”透過”とした場合には、所定の閾値以下の低輝度領域である。

ここで、マウスモードに対応する（マウス信号生成部１４に関連付けられた）基準画像１６１として、図１０（ｂ）に類似した図１１（ａ）に示すような画像を用意して基準画像記憶部２１に予め記憶させておく。なお、マウスの握り方および手の形状は人によって異なる場合があるので、それぞれに対応した基準画像を複数枚用意して、基準画像記憶部２１に予め記憶させておくことが好ましい。

入力信号生成制御部１１は、このようなマウスモードに対応する（マウス信号生成部１４に関連付けられた）基準画像１６１を、基準画像記憶部２１から順次呼び出して、スキャンデータ１６０と比較して、類似しているか否かを判定する。

一実施形態において、スキャンデータ１６０と基準画像１６１とが類似しているとは、例えば、次のような場合を指す。すなわち、まず、スキャンデータ１６０と基準画像１６１とを重ね合わせ、上記接触／接触領域の重複率を算出する。次いで、図１１（ｂ）に示すように、基準画像１６１を回転させ、回転させた基準画像１６１とスキャンデータ１６０とを重ね合わせて、上記接触／接触領域の重複率を算出する。なお、予め回転させた基準画像１６１を基準画像記憶部２１に予め記憶させておいてもよい。また、基準画像１６１を回転だけでなく、上下左右に移動させたもの、拡大縮小させたものに対してもスキャンデータ１６０と重ね合わせて、上記接触／接触領域の重複率を算出してもよい。以上の処理によって得られた上記重複率が、所定の値、例えば８０％を超えた場合に、スキャンデータ１６０と基準画像１６１とが類似していると判定する。なお、上記重複率は、例えば、（重なった上記接触／接触領域の面積／基準画像１６１中の上記接触／接触領域の面積）といった計算式によって得ることができる。また、基準画像１６１の回転、移動、拡大縮小等の処理は、細かく行う必要はなく、ユーザが一般にマウスを用いる際に想定され得る範囲にて適宜設定すればよい。

ここで、図１０（ａ）に示すように対象物６４が、マウスを握った格好の手であり、スキャンデータ１６０が、図１０（ｂ）に示すような像であった場合には、図１１（ａ）と殆ど重複するため、入力信号生成制御部１１は、スキャンデータ１６０と基準画像１６１とが類似していると判定し、マウス信号生成部１４に入力信号を生成するように指令することにより、マウスモードを実行する。スキャンデータ１６０と基準画像１６１とは類似していないと判定された場合には、ステップＳ３に移行する。

一実施形態において、ステップＳ３では、入力信号生成制御部１１が、スキャンデータ保持部１６から取得したスキャンデータ１６０と、基準画像記憶部２１から呼び出したタブレットモードに対応する基準画像１６１とを比較する。スキャンデータ１６０が、タブレットモードに対応する基準画像１６１と類似していた場合には、タブレットモードを実行し、類似していなかった場合にはいずれの入力モードも選択せず、ステップＳ１に戻る。

詳しく述べれば、ステップＳ２とほぼ同様であり、入力信号生成制御部１１は、スキャンデータ保持部１６からスキャンデータ１６０を取得する。このとき、図１２（ａ）に示すように、ペンを握った格好の手（対象物６４）が、センサ内蔵液晶パネル３０１上に置かれているとき、スキャンデータ１６０は、図１２（ｂ）に示すようなものとなる。なお、図中、灰色に塗りつぶされた領域の説明は、ステップＳ２に準ずる。

ここで、タブレットモードに対応する（タブレット信号生成部１３に関連付けられた）基準画像１６１として、図１２（ｂ）に類似した図１３（ａ）に示すような画像を用意して基準画像記憶部２１に予め記憶させておく。なお、ペンの握り方および手の形状は人によって異なる場合があるので、それぞれに対応した基準画像を複数枚用意して、基準画像記憶部２１に予め記憶させておくことが好ましい。

入力信号生成制御部１１は、このようなタブレットモードに対応する（タブレット信号生成部１３に関連付けられた）基準画像１６１を、基準画像記憶部２１から順次呼び出して、スキャンデータ１６０と比較して、類似しているか否かを判定する。当該類否の判定の説明は、ステップＳ２に準ずる。なお、参考として、回転させた、タブレットモードに対応する基準画像１６１を図１３（ｂ）に示す。本ステップにおける基準画像１６１の回転、移動、拡大縮小等の処理も、細かく行う必要はなく、ユーザが一般にペンを用いる際に想定され得る範囲にて適宜設定すればよい。

ここで、図１２（ａ）に示すように対象物６４が、ペンを握った格好の手であり、スキャンデータ１６０が、図１２（ｂ）に示すような像であった場合には、図１３（ａ）と殆ど重複するため、入力信号生成制御部１１は、スキャンデータ１６０と基準画像１６１とが類似していると判定し、タブレット信号生成部１３に入力信号を生成するように指令することにより、タブレットモードを実行する。スキャンデータ１６０と基準画像１６１とは類似していないと判定された場合には、ステップＳ１に戻る。

（タブレットモード）
図１４は、入力装置１００のタブレットモードの処理を説明するフローチャートである。以下、タブレットモードの処理の各ステップについて図面を参照して説明する。タブレットモードの処理は、ステップＳ１１から開始される。

ステップＳ１１では、入力装置１００は、センサ内蔵液晶パネル３０１上に、図１５に示すようなグリッド画像１７２を表示する。一実施形態において、タブレットモードが実行されると（入力信号生成制御部１１からタブレット信号生成部１３へ入力信号を生成するように指令がなされると）、タブレット信号生成部１３は、補助画像表示制御部１５にグリッド画像１７２をセンサ内蔵液晶パネル３０１上に表示するように指令する。補助画像表示制御部１５は、これを受けて、グリッド画像１７２のデータを補助画像記憶部２２から呼び出して、センサ内蔵液晶パネル３０１上に表示させる。

詳しく述べれば、タブレット信号生成部１３は、入力信号生成制御部１１から入力信号を生成するように指令を受けると、まず、補助画像表示制御部１５にグリッド画像１７２をセンサ内蔵液晶パネル３０１上に表示するように指令する。指令を受けた補助画像表示制御部１５は、グリッド画像１７２のデータを補助画像記憶部２２から呼び出して、表示データ処理部７０１へ送るとともに、「表示パネル」を表示／光センサ部３００とした上記コマンドをデータ処理部７００に送ることで、センサ内蔵液晶パネル３０１上にグリッド画像を表示させる。その後、ステップＳ１２に移行する。

なお、グリッド画像１７２としては、例えば、図１５に示すようなセンサ内蔵液晶パネル３０１の全体を覆うような方眼（グリッド）を用いることができるが、センサ内蔵液晶パネル３０１部分を覆う方眼であってもよい。また、方眼の升目の大きさは、用途等によって適宜設定すればよい。補助画像表示制御部１５は、また、既にセンサ内蔵液晶パネル３０１上に表示している画像がある場合には、当該画像とグリッド画像１７２とを合成した画像をデータ処理部７００に送ってもよい。

ステップＳ１２では、入力装置１００は、対象物６４のスキャンを行なう。一実施形態において、タブレット信号生成部１３が、センサデータ処理部７０３から全体画像データを取得してスキャンデータ１６０としてスキャンデータ保持部１６に保持させる。その後、ステップＳ１３に移行する。なお、直前にモード切替処理を行っており、スキャンデータ保持部１６に既に直前のスキャンデータ１６０が記憶されていた場合には、本ステップを省略することもできる。

詳しく述べれば、まず、タブレット信号生成部１３は、データ処理部７００に対して、「データ種別」を”全体画像データ”、「データ取得タイミング」を、”イベント”とした上記コマンドを送る。タブレット信号生成部１３は、上記コマンドの応答としてセンサデータ処理部７０３から得られた全体画像データを、スキャンデータ１６０としてスキャンデータ保持部１６に記憶させる。なお、タブレット信号生成部１３が、データ取得のタイミングおよび取得データの変化の判定を行なう場合には、上記コマンドの「データ取得タイミング」は、”オール”または”センス”としてもよい。

ステップＳ１３では、入力装置１００は、スキャンデータ１６０と、タブレットモードに対応する基準画像１６１とを比較することにより、モード切替処理を実行するか否かを判断する。一実施形態において、ステップＳ１３では、タブレット信号生成部１３が、スキャンデータ保持部１６から取得したスキャンデータ１６０と、基準画像記憶部２１から呼び出したタブレットモードに対応する基準画像１６１とを比較する。スキャンデータ１６０が、タブレットモードに対応する基準画像１６１と類似していた場合には、ステップＳ１４に移行し、類似していなかった場合には、タブレットモードを終了し、前述のモード切替処理を実行する。

スキャンデータ１６０と基準画像１６１との比較の説明は、ステップＳ３に準ずるが、加えて、スキャンデータ１６０と上記接触／接触領域の重複率が上記所定の値を上回った基準画像１６１について、当該基準画像に施した移動、回転、拡大縮小等に用いたデータ（水平方向の移動距離Ｘ、垂直方向の移動距離Ｙ、回転角度θ、拡大率Ｍ）および当該基準画像１６１を示す情報Ｐを、基準画像処理データ保持部１７に記憶させておく。

ステップＳ１４では、入力装置１００は、ユーザが対象物６４を用いて指示するペン位置を検出する。一実施形態において、タブレット信号生成部１３は、基準画像処理データ保持部１７および基準画像記憶部２１から、ステップＳ１３においてスキャンデータ１６０に類似するように処理された基準画像１６１に関するデータを呼び出し、当該データに基づいて上記ペン位置を算出する。

詳しく述べれば、タブレット信号生成部１３は、基準画像処理データ保持部１７から、当該基準画像処理データ保持部１７に記憶されている水平方向の移動距離Ｘ、垂直方向の移動距離Ｙ、回転角度θ、拡大率Ｍおよび情報Ｐを取得する。タブレット信号生成部１３は、次いで、基準画像記憶部２１から情報Ｐに示される基準画像１６１に関連付けられた指示座標１６２（ＰＸ，ＰＹ）を取得する。指示座標１６２は、図１３に示すように、対象物６４（ペンを握った手）が指示する位置（上記ペンの先が指す位置）を示す。

タブレット信号生成部１３は、これらのデータに基づいて、上記ペン位置を算出する。例えば、ペン位置の水平座標は、（ＰＸｃｏｓθ−ＰＹｓｉｎθ）×Ｍ＋Ｘ、垂直座標は、（ＰＸｓｉｎθ＋ＰＹｃｏｓθ）×Ｍ＋Ｙとなる。その後、ステップＳ１５に移行する。

ステップＳ１５〜Ｓ１８において、入力装置１００はステップＳ１４において上記ペン位置の検出が成功したか否かを判定し（ステップＳ１５）、成功した場合、上記ペン位置にペン画像１７１を表示させ（ステップＳ１６）、上記ペン位置を入力信号として出力する（ステップＳ１７）、一方、上記ペン位置の検出が失敗であった場合には、ペン画像１７１を消す（ステップＳ１８）。その後、ステップＳ１２に戻る。一実施形態において、上記一連の動作は、タブレット信号生成部１３によってなされる。また、上記ペン位置の検出が成功したか否かは、例えば、上記ペン位置が所定の領域内に存在しているか否かによって判定される。

詳しく述べれば、ステップＳ１６では、タブレット信号生成部１３は、補助画像表示制御部１５に、ペン画像１７１を、上記ペン位置に表示するように指令する。補助画像表示制御部１５は、ペン画像１７１を補助画像記憶部２２から呼び出し、ペン画像１７１の下に表示される画面（グリッド画像１７２等）の上記ペン位置に合成して、表示データ処理部７０１へ送るとともに、「表示パネル」を表示／光センサ部３００とした上記コマンドをデータ処理部７００に送ることで、センサ内蔵液晶パネル３０１上にペン画像１７１を表示させる（図１５参照）。

また、ステップＳ１７では、タブレット信号生成部１３は、補助画像表示制御部１５に、ペン画像１７１を表示しないように指令する。補助画像表示制御部１５は、ペン画像１７１の下に表示される画面（グリッド画像１７２等）のみを表示データ処理部７０１へ送るとともに、「表示パネル」を表示／光センサ部３００とした上記コマンドをデータ処理部７００に送ることで、センサ内蔵液晶パネル３０１上からペン画像１７１を消去する。

このように、入力装置１００は、ユーザが手（対象物６４）をペンを握る形にしたとき、タブレットモードに移行し、タブレットモードでは、実際には握られてはいないものの、タブレットペンを握っているのと同様の操作感で入力を行うことができる。入力されるペン位置は、ユーザの手によって実際に握られていた場合のペンの先が指す位置となる。このように、本発明によれば、ユーザはペンを持つことなく、快適にペンタブレットと同じ操作感を得ることができる。

（マウスモード）
図１６は、入力装置１００のマウスモードの処理を説明するフローチャートである。以下、マウスモードの処理の各ステップについて図面を参照して説明する。マウスモードの処理は、ステップＳ２１から開始される。

ステップＳ２１では、入力装置１００は、センサ内蔵液晶パネル３０１上に、図１７に示すようなマウス画像１７４を表示する。一実施形態において、マウスモードが実行されると（入力信号生成制御部１１からマウス信号生成部１４へ入力信号を生成するように指令がなされると）、マウス信号生成部１４は、補助画像表示制御部１５にマウス画像１７４をセンサ内蔵液晶パネル３０１上のマウス位置に表示するように指令する。補助画像表示制御部１５は、これを受けて、マウス画像１７４のデータを補助画像記憶部２２から呼び出して、センサ内蔵液晶パネル３０１上のマウス位置に表示させる。なお、マウス位置が未定の場合には、このステップは実行されない。

詳しく述べれば、マウス信号生成部１４は、入力信号生成制御部１１から入力信号を生成するように指令を受けると、まず、補助画像表示制御部１５にマウス画像１７４をセンサ内蔵液晶パネル３０１上のマウス位置に表示するように指令する。指令を受けた補助画像表示制御部１５は、マウス画像１７４のデータを補助画像記憶部２２から呼び出して、マウス画像１７４の下に表示されるべき画面に、マウス画像１７４をマウス位置に合成した画像を表示データ処理部７０１へ送るとともに、「表示パネル」を表示／光センサ部３００とした上記コマンドをデータ処理部７００に送ることで、センサ内蔵液晶パネル３０１上にグリッド画像を表示させる。その後、ステップＳ２２に移行する。

ステップＳ２２では、入力装置１００は、対象物６４のスキャンを行なう。一実施形態において、マウス信号生成部１４が、センサデータ処理部７０３から全体画像データを取得してスキャンデータ１６０としてスキャンデータ保持部１６に保持させる。その後、ステップＳ２３に移行する。なお、直前にモード切替処理を行っており、スキャンデータ保持部１６に既に直前のスキャンデータ１６０が記憶されていた場合には、本ステップを省略することもできる。

詳しく述べれば、まず、マウス信号生成部１４は、データ処理部７００に対して、「データ種別」を”全体画像データ”、「データ取得タイミング」を、”イベント”とした上記コマンドを送る。マウス信号生成部１４は、上記コマンドの応答としてセンサデータ処理部７０３から得られた全体画像データを、スキャンデータ１６０としてスキャンデータ保持部１６に記憶させる。なお、マウス信号生成部１４が、データ取得のタイミングおよび取得データの変化の判定を行なう場合には、上記コマンドの「データ取得タイミング」は、”オール”または”センス”としてもよい。

ステップＳ２３〜Ｓ２８では、入力装置１００は、ステップＳ２２において取得したスキャンデータ１６０に基づいて、対象物６４の動きを検出して入力信号を生成する。一実施形態において、マウス信号生成部１４は、まず、スキャンデータ保持部１６から取得したスキャンデータ１６０と、基準画像記憶部２１から呼び出したマウスモードに対応する基準画像１６１とを比較する。

スキャンデータ１６０と基準画像１６１との比較の説明は、ステップＳ２に準ずるが、加えて、スキャンデータ１６０と上記接触／接触領域の重複率が上記所定の値を上回った基準画像１６１について、当該基準画像に施した移動、回転、拡大縮小等に用いたデータ（水平方向の移動距離Ｘ、垂直方向の移動距離Ｙ、回転角度θ、拡大率Ｍ）および当該基準画像１６１を示す情報Ｐを、基準画像処理データ保持部１７に記憶させておく。

マウス信号生成部１４は、スキャンデータ１６０が、上記マウスモードに対応する基準画像１６１の何れかに類似していた場合、マウス位置を算出する。すなわち、マウス信号生成部１４は、基準画像処理データ保持部１７から、当該基準画像処理データ保持部１７に記憶されている水平方向の移動距離Ｘ、垂直方向の移動距離Ｙ、回転角度θ、拡大率Ｍおよび情報Ｐを取得する。マウス信号生成部１４は、次いで、基準画像記憶部２１から情報Ｐに示される基準画像１６１に関連付けられた中央座標１６３（ＰＸ，ＰＹ）を取得する。中央座標１６３は、図１７に示すように、対象物６４（マウスを持った）の中央位置を示す。

マウス信号生成部１４は、これらのデータに基づいて、上記マウス位置を算出する。例えば、マウス位置の水平座標は、（ＰＸｃｏｓθ−ＰＹｓｉｎθ）×Ｍ＋Ｘ、垂直座標は、（ＰＸｓｉｎθ＋ＰＹｃｏｓθ）×Ｍ＋Ｙとなる。

ステップＳ２３では、算出した上記マウス位置と、予めマウス状態保持部１８に記憶されているマウス位置とを比較する。変化があった場合には、変化量（移動方向、および移動量）を示す入力信号を生成して出力し、マウス状態保持部１８に上記算出した上記マウス位置を記憶させ、さらにマウス表示位置を変更し（ステップＳ２９）、ステップＳ２１に戻る。マウス位置に変化がなかった場合には、ステップＳ２４に移行する。

マウス表示位置の変更を詳しく述べれば、まず、マウス信号生成部１４は、まず、補助画像表示制御部１５にマウス画像１７４をセンサ内蔵液晶パネル３０１上の上記算出したマウス位置に表示するように指令する。指令を受けた補助画像表示制御部１５は、マウス画像１７４のデータを補助画像記憶部２２から呼び出して、マウス画像１７４の下に表示されるべき画面に、マウス画像１７４をマウス位置に合成した画像を表示データ処理部７０１へ送るとともに、「表示パネル」を表示／光センサ部３００とした上記コマンドをデータ処理部７００に送ることで、センサ内蔵液晶パネル３０１上にグリッド画像を表示させる。

ステップＳ２４では、対象物６４が左クリック操作を行ったか否かを検出する。一実施形態において、図１８に示すようなシーケンスで、スキャンデータ１６０が現れたときに、左クリック操作を検出する。すなわち、五本の指がすべて接触している状態から、人差し指だけが離れた状態を経て、また、五本の指がすべて接触している状態になったことを検出する。この検出は、例えば、五本の指がすべて接触している状態の基準画像１６１と、人差し指だけが離れた状態の基準画像１６１とを用意して、ともにマウスモードに対応する（マウス信号生成手段１３に関連付けられた）基準画像１６１として基準画像記憶部２１に予め記憶しておき、それぞれ上述したようにスキャンデータ１６０と比較させる。スキャンデータ１６０が、人差し指だけが離れた状態の基準画像１６１と類似していたとき、例えば、マウス状態として”人差し指だけが離れた”をマウス状態保持部１８に記憶させる。スキャンデータ１６０が、五本の指がすべて接触している状態の基準画像１６１と類似していたとき、マウス状態保持部１８に記憶されていたマウス状態が、”人差し指だけが離れた”であったならば、左クリックがあったことを示す入力信号を生成して出力し、マウス状態保持部１８にマウス状態として例えば、”五本の指がすべて接触している”を記憶させ、さらにマウスの左ボタンを強調表示させ（ステップＳ３０）、ステップＳ２１に戻る。左クリックが検出されなかった場合には、ステップＳ２５に移行する。

ステップＳ２５では、対象物６４が右クリック操作を行ったか否かを検出する。検出方法は、ステップＳ２４における左クリックの検出とほぼ同様であり、図１９に示すようなシーケンスで、スキャンデータ１６０が現れたときに、右クリック操作を検出する。すなわち、五本の指がすべて接触している状態から、中指だけが離れた状態を経て、また、五本の指がすべて接触している状態になったことを検出する。この検出は、例えば、五本の指がすべて接触している状態の基準画像１６１と、中指だけが離れた状態の基準画像１６１とを用意して、ともにマウスモードに対応する（マウス信号生成手段１３に関連付けられた）基準画像１６１として基準画像記憶部２１に予め記憶しておき、それぞれ上述したようにスキャンデータ１６０と比較させる。スキャンデータ１６０が、中指だけが離れた状態の基準画像１６１と類似していたとき、例えば、マウス状態として”中指だけが離れた”をマウス状態保持部１８に記憶させる。スキャンデータ１６０が、五本の指がすべて接触している状態の基準画像１６１と類似していたとき、マウス状態保持部１８に記憶されていたマウス状態が、”中指だけが離れた”であったならば、右クリックがあったことを示す入力信号を生成して出力し、マウス状態保持部１８にマウス状態として例えば、”五本の指がすべて接触している”を記憶させ、さらにマウスの右ボタンを強調表示させ（ステップＳ３１）、ステップＳ２１に戻る。右クリックが検出されなかった場合には、ステップＳ２６に移行する。

ステップＳ２６では、対象物６４がホイール操作を行ったか否かを検出する。検出方法は、ステップＳ２４における左クリックの検出とほぼ同様であり、図２０に示すようなスキャンデータ１６０が現れたときに、ホイール操作を検出する。すなわち、五本の指がすべて普通に接触している状態から、人差し指だけが上方または下方にずれた状態になったことを検出する。この検出は、例えば、五本の指がすべて普通に接触している状態の基準画像１６１と、人差し指だけがずれた状態の基準画像１６１とを用意して、ともにマウスモードに対応する（マウス信号生成手段１３に関連付けられた）基準画像１６１として基準画像記憶部２１に予め記憶しておき、それぞれ上述したようにスキャンデータ１６０と比較させる。スキャンデータ１６０が、人差し指だけがずれた状態の基準画像１６１と類似していたとき、ホイールが一回転したことを検出し、ホイール操作の量（方向、ずれた回数（回転量））を示す入力信号を生成して出力し、さらにマウスのホイールを強調表示させ（ステップＳ３２）、ステップＳ２１に戻る。ホイール操作が検出されなかった場合には、ステップＳ２７に移行する。

ステップＳ２７では、スキャンデータ１６０に対象物６４の像が含まれるか否かを判定する。もし、スキャンデータ１６０が何の像も含んでいないとき（上記接触／接触領域を含んでいないとき）、マウスを消去して（ステップＳ３３）、ステップＳ２１に戻る。何らかの像を含んでいた場合にはステップＳ２８に移行する。

ステップＳ２８では、スキャンデータ１６０と上記マウスモードに対応した基準画像１６１が類似しているか否かを判定する。もし、スキャンデータ１６０と上記マウスモードに対応した基準画像１６１が類似していないときには、モード切替処理に移行する。類似していた場合には、マウスを通常表示させる（ステップＳ３４）。

マウスの左ボタン、右ボタンもしくはホイールの強調表示または通常表示を詳しく述べれば、まず、マウス信号生成部１４は、まず、補助画像表示制御部１５にマウス画像１７４をセンサ内蔵液晶パネル３０１上の上記マウス位置に、左ボタン、右ボタンもしくはホイールを強調してまたは通常の状態で表示するように指令する。指令を受けた補助画像表示制御部１５は、左ボタン、右ボタンもしくはホイールが強調されたまたは通常の状態のマウス画像１７４のデータを補助画像記憶部２２から呼び出して、マウス画像１７４の下に表示されるべき画面に、マウス画像１７４をマウス位置に合成した画像を表示データ処理部７０１へ送るとともに、「表示パネル」を表示／光センサ部３００とした上記コマンドをデータ処理部７００に送ることで、センサ内蔵液晶パネル３０１上にグリッド画像を表示させる。

また、マウス表示を消去する場合には、マウス信号生成部１４は、補助画像表示制御部１５に、マウス画像１７４を表示しないように指令する。補助画像表示制御部１５は、マウス画像１７４の下に表示される画面のみを表示データ処理部７０１へ送るとともに、「表示パネル」を表示／光センサ部３００とした上記コマンドをデータ処理部７００に送ることで、センサ内蔵液晶パネル３０１上からマウス画像１７４を消去する。

このように、入力装置１００は、ユーザが手（対象物６４）をマウスを持つ形にしたとき、マウスモードに移行し、マウスモードでは、実際には持っていないものの、マウスを持っているのと同様の操作感で入力を行うことができる。このように、本発明によれば、ユーザはマウスを持つことなく、快適にマウスと同じ操作感を得ることができる。

（変形例）
なお、上記では、センサ内蔵液晶パネル３０１は、近傍の像を検知するとともに、画像を表示することができるものであるが、単に、近傍の像を検知表示するだけのものであってもよい。そのような構成であっても、補助画像１７０が表示されないだけで、上述したような複数のモードによる入力と、モードの切替は実現される。

また、補助画像１７０としては、上述したようなペン画像１７１、グリッド画像１７２、およびマウス画像１７４に限定されるものではなく、他のものであってもよい。例えば、図１５に示すアイコン１７３および図１７に示すアイコン１７５のように、そのときの入力モードを示すアイコンであってもよい。

また、上述したタブレットモード、マウスモードの他のモードとして、タッチパネルモード、スクリーンキーボードモード等を備えていてもよい。その場合には、それぞれタッチパネル信号生成部およびスクリーンキーボード信号生成部が対象物６４の動きに基づいて入力信号を生成する。

（プログラムおよび記録媒体）
上では、入力装置１００の構成として、データ処理部７００や回路制御部６００を備える構成について説明したが、この構成に限定されるものではない。例えば、主制御部８００が回路制御部６００を直接制御し、主制御部８００が全体画像データ／部分画像データ／座標データを生成するような構成であってもよい。また、主制御部８００が表示／光センサ部３００を直接制御するような構成であってもよい。

最後に、入力装置１００の主制御部８００、データ処理部７００、回路制御部６００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、入力装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである入力装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記入力装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、入力装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、様々な情報機器の入力機器に使用することができるため、情報機器の製造分野において利用可能である。

本発明の一実施形態に係る入力装置の詳細構成を示すブロック図である。 本発明の一実施形態に係る入力装置が備えるセンサ内蔵液晶パネルの断面を示す模式図である。 図３（ａ）は、本発明の一実施形態に係る入力装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係る入力装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 本発明の一実施形態に係る入力装置の要部構成を示すブロック図である。 本発明の一実施形態に係る入力装置で用いられるコマンドのフレーム構造の一例を示す模式図である。 図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を示す説明図である。 図７（ａ）は、本発明の一実施形態に係る入力装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係る入力装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。 本発明の一実施形態に係る入力装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 本発明の一実施形態に係る入力装置のモード切替処理を説明するフローチャートである。 図１０（ａ）は、面状部材上に置かれた対象物の一例を示す図であり、図１０（ｂ）は、図１０（ａ）における上記面状部材が検知した上記対象物の像を示す図である。 図１１（ａ）は、本発明の一実施形態に係るマウス信号入力手段に関連付けられた基準画像の一例を示す図であり、図１１（ｂ）は、図１１（ａ）で示した基準画像を回転させた結果を示す図である。 図１２（ａ）は、面状部材上に置かれた対象物の一例を示す図であり、図１２（ｂ）は、図１０（ａ）における上記面状部材が検知した上記対象物の像を示す図である。 図１３（ａ）は、本発明の一実施形態に係るタブレット信号入力手段に関連付けられた基準画像の一例を示す図であり、図１３（ｂ）は、図１３（ａ）で示した基準画像を回転させた結果を示す図である。 本発明の一実施形態に係る入力装置のタブレットモードの動作を説明するフローチャートである。 本発明の一実施形態に係る入力装置のタブレットモードの概略を示す模式図である。 本発明の一実施形態に係る入力装置のマウスモードの動作を説明するフローチャートである。 本発明の一実施形態に係る入力装置のマウスモードの概略を示す模式図である。 本発明の一実施形態に係る入力装置のマウスモードにおける左クリック操作を示す模式図である。 本発明の一実施形態に係る入力装置のマウスモードにおける右クリック操作を示す模式図である。 本発明の一実施形態に係る入力装置のマウスモードにおけるホイール操作を示す模式図である。

符号の説明

６ フォトダイオード
１１ 入力信号生成制御部（入力信号生成制御手段）
１２ 入力信号生成部（入力信号生成手段）
１３ タブレット信号生成部（タブレット信号生成手段）
１４ マウス信号生成部（マウス信号生成手段）
１５ 補助画像表示制御部（補助画像表示制御手段）
１６ スキャンデータ保持部
１７ 基準画像処理データ保持部
１８ マウス状態保持部
２１ 基準画像記憶部
２２ 補助画像記憶部
６４ 対象物
１００ 入力装置
１６０ スキャンデータ（対象物の像）
１６１ 基準画像
１６２ 指示座標
１６３ 中央座標
１７０ 補助画像
１７１ ペン画像
１７２ グリッド画像
１７３ アイコン
１７４ マウス画像
１７５ アイコン
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）
６００ 回路制御部
６０１ 表示制御部
６０２ センサ制御部
６０３ バックライト制御部
７００ データ処理部
７０１ 表示データ処理部
７０３ センサデータ処理部
８００ 主制御部
９０１ 記憶部

Claims (8)

1. 近傍の像を検知する面状部材と、
   上記面状部材が検知したユーザの手の像に基づいて当該ユーザの手の動きを検出して、当該ユーザの手の動きに関連付けられた入力信号を生成する、互いに異なる入力装置を模する複数の入力信号生成手段と、
   上記面状部材が検知した上記ユーザの手の像に基づいて、上記複数の入力信号生成手段から当該ユーザの手の像に対応する入力装置を模する入力信号生成手段を選択して、選択した入力信号生成手段に上記入力信号を生成させる入力信号生成制御手段とを備えており、
   上記複数の入力信号生成手段のうちの少なくとも一つは、上記ユーザの手が仮想的に握るペンが上記面状部材上の特定の位置を指示したことを検出して当該特定の位置を示す入力信号を生成するペンタブレット信号生成手段であり、
   上記入力信号生成制御手段は、上記ユーザの手の像がペンを握る形であるとき、上記ペンタブレット信号生成手段を選択することを特徴とする入力装置。
2. 近傍の像を検知する面状部材と、
   上記面状部材が検知したユーザの手の像に基づいて当該ユーザの手の動きを検出して、当該ユーザの手の動きに関連付けられた入力信号を生成する、互いに異なる入力装置を模する複数の入力信号生成手段と、
   上記面状部材が検知した上記ユーザの手の像に基づいて、上記複数の入力信号生成手段から当該ユーザの手の像に対応する入力装置を模する入力信号生成手段を選択して、選択した入力信号生成手段に上記入力信号を生成させる入力信号生成制御手段とを備えており、
   上記複数の入力信号生成手段のうちの少なくとも一つは、上記ユーザの手が仮想的に握るマウスが上記面状部材上を移動したことを検出して当該移動の量を示す入力信号を生成するとともに、上記ユーザの指が上記面状部材から離れた後接近または接触したことを検出してクリック操作があったことを示す入力信号を生成するマウス信号生成手段であり、
   上記入力信号生成制御手段は、上記ユーザの手の像がマウスを握る形であるとき、上記マウス信号生成手段を選択することを特徴とする入力装置。
3. 上記マウス信号生成手段が、上記ユーザの指が上記面状部材に接近または接触した状態で移動したことを検出してホイール操作があったことを示す入力信号を生成することを特徴とする請求項２に記載の入力装置。
4. 近傍の像を検知する面状部材と、
   上記面状部材が検知したユーザの手の像に基づいて当該ユーザの手の動きを検出して、当該ユーザの手の動きに関連付けられた入力信号を生成する、互いに異なる入力装置を模する複数の入力信号生成手段と、
   上記面状部材が検知した上記ユーザの手の像に基づいて、上記複数の入力信号生成手段から当該ユーザの手の像に対応する入力装置を模する入力信号生成手段を選択して、選択した入力信号生成手段に上記入力信号を生成させる入力信号生成制御手段とを備えており、
   上記入力信号生成制御手段は、上記面状部材が検知した上記ユーザの手の像と、上記複数の入力信号生成手段のそれぞれに関連付けられた基準画像とを比較することにより、上記複数の入力信号生成手段からいずれか一つの入力信号生成手段を選択することを特徴とする入力装置。
5. 上記入力信号生成制御手段は、上記面状部材が検知した上記ユーザの手の像と、ある上記基準画像に移動、回転、拡大および縮小からなる群より選ばれる一つ以上の画像処理を施した画像、または当該ある基準画像との重複率に基づいて、当該ある基準画像に関連付けられた入力信号生成手段を選択するか否かを決定することを特徴とする請求項４に記載の入力装置。
6. 上記面状部材が、画像を表示するものであり、
   上記入力信号生成制御手段が選択した上記入力信号生成手段に関連付けられた補助画像を上記面状部材に表示させる補助画像表示制御手段をさらに備えていることを特徴とする請求項１から５のいずれか一項に記載の入力装置。
7. 上記補助画像が、ペン画像、マウス画像およびグリッド画像からなる群より選ばれる補助画像であることを特徴とする請求項６に記載の入力装置。
8. 請求項１から７のいずれか一項に記載の入力装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるための、プログラム。

Images