JP5367339B2 - メニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラム - Google Patents

Description

本発明は、ユーザの手の大きさに応じたメニュー表示を行うことが可能なメニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラムに関する。

近年、携帯電話機、ＰＤＡなどに代表されるモバイル機器（携帯端末）は、持ち運び、モバイル利用（メールサーバなどにアクセスして、直接処理可能なこと）を前提としているため、さらなる小型・薄型化が望まれている。しかし、モバイル機器の小型化を図る場合、当該モバイル機器に備えられた例えば機能キー、ボタンなどのハードキーサイズ、表示画面サイズも小さくなる。この場合、ユーザは、小さな表示画面を見ながら、小さなハードキーを操作することとなる。このため、上記モバイル機器の小型化を図る場合、ハードキーサイズおよび表示画面サイズが小さくなるため、当該表示画面に表示される情報の視認性、および当該ハードキーの操作性が低下するという問題があった。

この問題を解決するため、ハードキーの機能をソフトウェアにて実現して、当該ハードキーの機能をメニューアイコンとして表示画面に表示させることによって、モバイル機器の小型化を図った場合であっても表示画面サイズをそのままにする（もしくは大きくする）ことが可能な技術が開発されている。このようなモバイル機器の場合、上記情報の視認性およびキーの操作性の低下を抑制できる。

上記ハードキーの機能をソフトウェアにて実現した技術は、特許文献１、２に開示されている（図１１（ａ）および（ｂ））。

特許文献１には、表示画面に重なる入力領域を有するタッチ入力部を備え、当該タッチ入力部に対する第１のタッチＴ１に応じて、当該タッチＴ１のタッチ位置を中心としてほぼ環状に配置される円形メニューを表示する表示装置が開示されている。なお、図１１（ａ）は、タッチ位置を中心として環状に配置される円形メニューを表示する表示装置の表示画面を示す図である。

また、特許文献２には、片手で保持可能な筐体２１０を有し、当該筐体２１０の側面に人の手の接触領域の分布を検知するためのシート状の感圧センサ２２０Ｌ、２２０Ｒを備えた情報処理装置２００が開示されている。この情報処理装置２００は、感圧センサ２２０Ｌ、２２０Ｒからの出力に基づいて、表示画面２３０上に表示される内容を制御している。

この構成によれば、感圧センサ２２０Ｌ、２２０Ｒによってユーザがどちらの手で持っているかを判断し、当該判断の結果に応じてソフトキーの配置を切り替えることができるので、ユーザにとって最適な表示を行うことができる。なお、図１１（ｂ）は、特許文献２に係る情報処理装置の概観を示す図である。
特開２００６−１３９６１５号公報（平成１８年６月１日公開） 特開２００８−２７１８３号公報（平成２０年２月７日公開）

しかしながら、特許文献１の技術では、第１のタッチＴ１のタッチ位置の周辺に円形メニューを表示する構成となっているが、この円形メニューの大きさ（配置の仕方）は予め設定されており、タッチ入力部をタッチするユーザの指の大きさに応じて配置を変更する構成とはなっていない。

また、特許文献２の技術では、ユーザの持ち手によってソフトキーの配置を変更するものであるが、持ち手（すなわち、ユーザがどちらの手で持っているか）によって配置の仕方は予め決められている。すなわち、特許文献２の技術では、ユーザが表示画面２３０に触れたときの指の大きさに応じたソフトキーの配置については想定していない。

従って、上記特許文献１、２の技術では、メニューアイコンの配置の仕方は一定であり、ユーザの指の大きさによってその配置を変更するものではないので、上記表示装置または上記情報処理装置を使用するユーザによっては、依然として使い勝手の悪いものであった。

なお、上記携帯端末において表示画面を大きくした場合、タッチパネル等のタッチ入力を受け付けるユーザインタフェースを表示画面にあわせて大きくすることができる。しかしながら、ユーザが携帯端末を片手で操作する（すなわち、ユーザが携帯端末を片手で持って、その持ち手の指で表示画面を触れて操作する）場合、各ユーザの手の大きさ（指の長さ）が異なるため、各ユーザによって表示画面に触れることが可能な範囲が異なる。

このため、上記携帯端末において、メニューアイコンが予め設定された配置の仕方で表示画面に表示された場合、ユーザによっては使い勝手の悪いものとなってしまう虞がある。例えば、手の小さいユーザが当該携帯端末を使用した場合には、持ち手から離れた位置に表示されるメニューアイコンを触れることが困難になるため、片手で操作したいにもかかわらず、両手での操作を強いられる虞がある。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、ユーザの手の大きさに応じたメニュー表示を行うことが可能なメニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラムを提供することにある。

本発明に係るメニュー表示装置は、上記課題を解決するため、ユーザの指を検知すると共に、ユーザが機能を選択するためのメニューを表示する面状部材を備えたメニュー表示装置であって、ユーザの指が上記面状部材の表面上にあるときに、当該面状部材が検知した指の像を取得する像取得手段と、上記像取得手段が取得した指の像における指先の位置を示す指先位置座標を求める座標算出手段と、上記座標算出手段が求めた指先位置座標上または指先位置座標近傍を通り、ユーザの指が上記面状部材の表面上を移動したときに、当該指の指先が通る仮想的な線分を決定する線分決定手段と、上記線分決定手段が決定した仮想的な線分上に上記メニューのメニュー項目を配置するための位置座標を求める位置算出手段と、上記位置算出手段が求めた位置座標の示す位置に、ユーザが選択可能なメニュー項目を配置したメニュー表示画面を表示させる画面表示手段と、を備えたことを特徴としている。

本発明に係るメニュー表示装置の制御方法は、上記課題を解決するため、ユーザの指を検知すると共に、ユーザが機能を選択するためのメニューを表示する面状部材を備えたメニュー表示装置の制御方法であって、ユーザの指が上記面状部材の表面上にあるときに、当該面状部材が検知した指の像を取得する像取得ステップと、上記像取得ステップにて取得した指の像における指先の位置を示す指先位置座標を求める座標算出ステップと、上記座標算出ステップにて求めた指先位置座標上または指先位置座標近傍を通り、ユーザの指が上記面状部材の表面上を移動したときに、当該指の指先が通る仮想的な線分を決定する線分決定ステップと、上記線分決定ステップにて決定した仮想的な線分上に上記メニューのメニュー項目を配置するための位置座標を求める位置算出ステップと、上記位置算出ステップにて求めた位置座標の示す位置に、ユーザが選択可能なメニュー項目を配置したメニュー表示画面を表示させる画面表示ステップと、を含むことを特徴としている。

上記構成によれば、メニュー表示装置およびメニュー表示装置の制御方法では、線分決定手段（線分決定ステップ）は、座標算出手段（座標算出ステップ）が求めた指先位置座標上または指先位置座標近傍を通る仮想的な線分を決定する。そして、画面表示手段（画面表示ステップ）は、位置算出手段（位置算出ステップ）が求めた、上記仮想的な線分上におけるメニューのメニュー項目を配置するための位置座標の示す位置に、ユーザが選択可能なメニュー項目を配置したメニュー表示画面を表示させる。

これにより、メニュー表示装置および上記制御方法では、仮想的な線分上にメニュー項目を配置したメニュー表示画面を表示させるので、ユーザが面状部材の表面を指でなぞったときに指先または指の腹にメニューがくるように、当該メニューを表示させることができる。すなわち、例えばユーザがメニュー表示装置を片手で持って使用する場合、ユーザが無理なく（例えば持ち替える、両手で操作するなどの行動を起こすことなく）操作できる範囲にメニューを表示することができる。

従って、メニュー表示装置および上記制御方法では、ユーザに面状部材の表面上に指を置く（または面状部材の表面上をなぞる）という簡易な操作を行わせるだけで、当該ユーザの手の大きさにあわせたメニュー表示を行うことが可能となる。このため、メニュー表示装置および上記制御方法では、ユーザの操作性および利便性を向上させることができる。

上記座標算出手段は、上記座標算出手段が求めた指先位置座標と付け根位置座標との距離を求める距離算出手段をさらに備え、上記座標算出手段は、さらに、上記像取得手段が取得した指の像における当該指の付け根の位置を示す付け根位置座標を求めるものであり、上記線分決定手段は、上記座標算出手段が求めた付け根位置座標を中心座標とし、上記距離算出手段が求めた距離または当該距離よりも短い距離を半径とした円孤の軌跡を上記仮想的な線分として求めてもよい。

上記構成によれば、線分決定手段は、座標算出手段が求めた付け根位置座標を中心座標とし、距離算出手段が求めた距離または当該距離よりも短い距離を半径とした円弧の軌跡を仮想的な線分として求める。

これにより、メニュー表示装置は、円の軌跡上にメニュー項目を配置したメニュー表示画面を生成するので、ユーザが面状部材の表面上を指でなぞったときに指先または指の腹にメニューがくるように、当該メニューを表示することができる。

さらに、本発明に係るメニュー表示装置は、上記位置算出手段が求めた位置座標の個数よりも配置すべきメニュー項目の個数が多い場合に、上記画面表示手段にて表示させるメニュー表示画面に配置するメニュー項目を選択するメニュー選択手段をさらに備えていてもよい。

上記構成によれば、例えばユーザがメニュー表示装置の上方または下方（メニュー表示装置の角部を含む）を把持している場合には、ユーザが面状部材上をなぞる領域が狭くなってしまうため、メニュー表示装置は、配置すべきメニュー項目全てを表示することができない虞がある。

しかし、メニュー表示装置では、メニュー選択手段は、メニュー表示画面の仮想的な線分上に配置するメニュー項目を選択する。このため、メニュー表示装置は、上記のようにユーザが面状部材の表面上をなぞる領域が狭く、メニューを表示できる箇所が少ない（配置すべきメニュー項目全てを表示することができない）場合であっても、選択されたメニュー項目でメニューを確実に表示することができる。

さらに、本発明に係るメニュー表示装置は、上記像取得手段が取得した指の像の面積を求める面積算出手段をさらに備え、上記画面表示手段は、上記面積算出手段が求めた面積に応じてメニュー項目の大きさを決定し、当該メニュー項目を用いて生成したメニュー表示画面を表示させてもよい。

上記構成によれば、メニュー表示装置では、画面表示手段は、面積算出手段が求めた指の像の面積に応じてメニュー項目の大きさを決定し、当該メニュー項目を用いてメニュー表示画面を表示させる。

これにより、メニュー表示装置は、ユーザが指の大きさに応じたメニュー項目の大きさで、メニューを表示することができる。このため、例えばユーザの指が大きく、面状部材にメニュー項目が小さく表示されているような場合に、ユーザは、複数のメニュー項目を同時に確定してしまうなどの誤操作を未然に防ぐことができる。

さらに、本発明に係るメニュー表示装置は、上記面状部材の表面上における指の移動を検知する移動検知手段と、上記移動検知手段が指の移動を検知したとき、上記面状部材の表示機能を有効にする表示制御手段と、をさらに備えていてもよい。

上記構成によれば、表示制御手段は、移動検知手段が指の移動を検知したとき、面状部材の表示機能を有効にする。

これにより、メニュー表示装置は、ユーザが当該メニュー表示装置を使用する意図がなく面状部材の表面に触れた場合であっても表示機能を無効のままにできるので、消費電力を低減することができる。

なお、上記メニュー表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記メニュー表示装置をコンピュータにて実現させるメニュー表示装置の制御プログラムも、本発明の範疇に入る。

本発明に係るメニュー表示装置は、以上のように、ユーザの指が上記面状部材の表面上にあるときに、当該面状部材が検知した指の像を取得する像取得手段と、上記像取得手段が取得した指の像における指先の位置を示す指先位置座標を求める座標算出手段と、上記座標算出手段が求めた指先位置座標上または指先位置座標近傍を通り、ユーザの指が上記面状部材の表面上を移動したときに、当該指の指先が通る仮想的な線分を決定する線分決定手段と、上記線分決定手段が決定した仮想的な線分上に上記メニューのメニュー項目を配置するための位置座標を求める位置算出手段と、上記位置算出手段が求めた位置座標の示す位置に、ユーザが選択可能なメニュー項目を配置したメニュー表示画面を表示させる画面表示手段と、を備えた構成である。

また、本発明に係るメニュー表示装置の制御方法は、以上のように、ユーザの指が上記面状部材の表面上にあるときに、当該面状部材が検知した指の像を取得する像取得ステップと、上記像取得ステップにて取得した指の像における指先の位置を示す指先位置座標を求める座標算出ステップと、上記座標算出ステップにて求めた指先位置座標上または指先位置座標近傍を通り、ユーザの指が上記面状部材の表面上を移動したときに、当該指の指先が通る仮想的な線分を決定する線分決定ステップと、上記線分決定ステップにて決定した仮想的な線分上に上記メニューのメニュー項目を配置するための位置座標を求める位置算出ステップと、上記位置算出ステップにて求めた位置座標の示す位置に、ユーザが選択可能なメニュー項目を配置したメニュー表示画面を表示させる画面表示ステップと、を含む方法である。

それゆえ、メニュー表示装置およびメニュー表示装置の制御方法では、ユーザに面状部材の表面上に指を置く（または面状部材の表面上をなぞる）という簡易な操作を行わせるだけで、当該ユーザの手の大きさにあわせたメニュー表示を行うことが可能となる。このため、メニュー表示装置および制御方法では、ユーザの操作性および利便性を向上させることができる。

本発明の一実施形態について図１から図１０に基づいて説明すると以下の通りである。

本実施形態に係るデータ表示／センサ装置１００（メニュー表示装置）は、ユーザの指が上記センサ内蔵液晶パネル３０１（面状部材）の表面上にあるときに、当該センサ内蔵液晶パネル３０１が検知した指の像を取得すると共に、当該指の像における指先の位置を示す指先位置座標Ｂを求める座標算出部１２１（座標算出手段）と、座標算出部１２１が求めた指先位置座標上または指先位置座標近傍を通り、ユーザの指が上記センサ内蔵液晶パネル３０１の表面上を移動したときに、当該指の指先が通る仮想的な線分を決定する軌跡算出部１２３（線分決定手段）と、上記軌跡算出部１２３が決定した仮想的な線分上に上記メニューのメニュー項目を配置するための位置座標を求める配置可能位置算出部１２４（位置算出手段）と、上記配置可能位置算出部１２４が求めた位置座標の示す位置に、ユーザが選択可能なメニュー項目を配置したメニュー表示画面を表示させるメニュー表示画面生成部１３２（画面表示手段）と、を備えている。

これにより、データ表示／センサ装置１００は、ユーザにセンサ内蔵液晶パネル３０１上に指を置く（センサ内蔵液晶パネル３０１の表面上をなぞる）という簡易な操作を行わせるだけで、当該ユーザの手の大きさにあわせたメニュー表示を行うことが可能となる。このため、データ表示／センサ装置１００は、ユーザの操作性および利便性を向上させることができる。

まず、以下で、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。

（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（発明の要点）
本発明の主な特徴は、ユーザがデータ表示／センサ装置１００を片手で持った状態で、センサ内蔵液晶パネル３０１上を指（例えば親指）でなぞったときに、当該データ表示／センサ装置１００が、各ユーザの手の大きさ（指の大きさ、長さ）にあわせて、センサ内蔵液晶パネル３０１にメニュー表示を行うことである。すなわち、データ表示／センサ装置１００は、ユーザが指でなぞった範囲の指先または指の腹にメニュー項目を表示するものである。

これにより、データ表示／センサ装置１００は、ユーザにセンサ内蔵液晶パネル３０１上をなぞるという簡易な操作を行わせるだけで、当該ユーザの手の大きさにあわせたメニュー表示を行うことが可能となる。このため、データ表示／センサ装置１００は、ユーザの操作性および利便性を向上させることができる。

なお、上記では、データ表示／センサ装置１００は、表示／光センサ部３００を２つ備えているものとして説明したが、表示／光センサ部３００を１つだけ備えた構成であってもよい。以下では、データ表示／センサ装置１００が表示／光センサ部３００を１つだけ（表示／光センサ部３００Ａだけ）備えているものとして説明する。また、この場合のデータ表示／センサ装置１００は、表示／光センサ部３００Ａと表示／光センサ部３００Ｂを接続するヒンジ部分を有しないため、図４に示すヒンジ部スイッチ９０４を必要としない。

（データ表示／センサ装置を用いてメニュー表示を行う様子）
次に、図９（ａ）から（ｆ）を参照しながら、データ表示／センサ装置１００が、半円状にメニュー表示を行う処理および指の大きさに応じて表示するメニュー項目の大きさを変更する処理の典型例について説明する。なお、ここでは、処理の概要について説明し、各処理の詳細については後述する。また、以下では、ユーザがデータ表示／センサ装置１００を左手で持った場合について説明するが、これに限らず、データ表示／センサ装置１００を右手で持った場合であっても同様の処理が行われる。

図９（ａ）は、手（指）の小さいユーザが左手でデータ表示／センサ装置１００を持ち、操作する指（例えば親指）でセンサ内蔵液晶パネル３０１の縦軸のほぼ中央をなぞった場合に、メニュー表示が行われる場合の様子を示す模式図である。また、図９（ｂ）は、手の大きいユーザが左手でデータ表示／センサ装置１００を持ち、操作する指でセンサ内蔵液晶パネル３０１の縦軸のほぼ中央をなぞった場合に、メニュー表示が行われる場合の様子を示す模式図である。

図９（ａ）および（ｂ）では、ユーザは、センサ内蔵液晶パネル３０１の縦軸（ｙ軸）のほぼ中央を左手で挟み込むように持っているので、挟み込んだ左手の親指の付け根が、当該センサ内蔵液晶パネル３０１の縦軸のほぼ中央に位置する。そして、ユーザは、この位置を支点として、センサ内蔵液晶パネル３０１を上下方向（ｙ軸方向）になぞる。すなわち、ユーザは、センサ内蔵液晶パネル３０１の縦軸のほぼ中央を上下方向に指でなぞることとなる。

そして、データ表示／センサ装置１００は、ユーザがセンサ内蔵液晶パネル３０１を指でなぞったことをトリガにして、各ユーザの手の大きさ（指の大きさ、長さ）にあわせて、センサ内蔵液晶パネル３０１に半円状にメニュー表示を行う。つまり、データ表示／センサ装置１００は、図９（ａ）および（ｂ）に示す点線上をユーザの指先がくるように、メニュー表示が行う。

これにより、データ表示／センサ装置１００は、当該データ表示／センサ装置１００を片手で持って使用するユーザが無理なく（例えば持ち替える、両手で操作するなどの行動を起こすことなく）操作できる範囲に、メニューを表示することができる。

次に、図９（ｃ）は、左手でデータ表示／センサ装置１００を持ち、操作する指でセンサ内蔵液晶パネル３０１の縦軸の中央から離れた位置をなぞった場合に、メニュー表示が行われる場合の様子を示す模式図である。

図９（ｃ）では、ユーザがデータ表示／センサ装置１００を把持している位置が、図９（ａ）および（ｂ）の場合とは異なり、上記縦軸の中央から離れた位置である。つまり、図９（ｃ）の場合、ユーザは、この位置を支点として、センサ内蔵液晶パネル３０１を上下方向になぞる。

しかし、この場合であっても、データ表示／センサ装置１００は、図９（ａ）および（ｂ）の場合と同様、各ユーザの手の大きさ（指の大きさ、長さ）にあわせて、センサ内蔵液晶パネル３０１に半円状にメニュー表示を行う。

従って、図９（ｃ）の場合であっても、データ表示／センサ装置１００は、当該データ表示／センサ装置１００を片手で持って使用するユーザが無理なく操作できる範囲に、メニューを表示することができる。

次に、図９（ｄ）は、左手でデータ表示／センサ装置１００を持ち、操作する指でセンサ内蔵液晶パネル３０１の縦軸の中央からさらに離れた位置をなぞった場合に、メニュー表示が行われる場合の様子を示す模式図である。

つまり、図９（ｄ）では、図９（ｃ）の場合と比べ、ユーザは、さらにデータ表示／センサ装置１００の上方を把持している。この場合には、データ表示／センサ装置１００は、半円状に配置すべきメニュー項目全てを表示することができなくなってしまう。

しかし、図９（ｄ）では、データ表示／センサ装置１００は、図９（ｄ）に示す点線上に、上記配置すべきメニュー項目から、表示する必要性の高いメニュー項目（例えば使用頻度の高いメニュー項目、最近使ったメニュー項目など）を選択する。このため、データ表示／センサ装置１００は、配置すべきメニュー項目全てを表示できない場合であっても、選択したメニュー項目でメニュー表示を行うことができる。

次に、図９（ｅ）は、左手でデータ表示／センサ装置１００を持ち、操作する指でセンサ内蔵液晶パネル３０１の角部から当該センサ内蔵液晶パネル３０１をなぞった場合に、メニュー表示が行われる場合の様子を示す模式図である。

図９（ｅ）では、ユーザは、データ表示／センサ装置１００の角部を把持している。この場合には、図９（ｄ）に比べ、さらにメニュー項目を表示させることができない。しかし、図９（ｄ）の場合と同様、データ表示／センサ装置１００は、表示できる数だけメニュー項目を選択することによってメニュー表示を行う。

つまり、データ表示／センサ装置１００は、ユーザの手の大きさだけでなく、ユーザがセンサ内蔵液晶パネル３０１を指でなぞった位置にあわせて、メニュー表示を行うことができる。

なお、図９（ｄ）および（ｅ）では、ユーザがデータ表示／センサ装置１００の上方を把持した場合について説明したが、これに限らず、上記縦軸の中央から下方に離れた位置を把持した場合も同様である。

次に、図９（ｆ）は、ユーザの指の大きさに応じて表示するメニュー項目の大きさを変更する様子を示す模式図である。

図９（ｆ）では、データ表示／センサ装置１００は、ユーザがセンサ内蔵液晶パネル３０１をなぞった際に指の大きさを検知すると、その大きさを判断して、当該大きさに応じたメニュー項目の大きさでメニュー表示を行う。これにより、例えばユーザの指が大きく、センサ内蔵液晶パネル３０１にメニュー項目が小さく表示されているような場合に、ユーザが複数のメニュー項目を同時に確定してしまうなどの誤操作を未然に防ぐことができる。

なお、図９（ａ）から（ｆ）では、ユーザがセンサ内蔵液晶パネル３０１上を半円状になぞる（半円状にメニュー項目を表示する）場合について説明したが、これに限らず、データ表示／センサ装置１００は、ユーザがなぞった範囲における指先の軌跡上にメニュー項目を配置したメニュー表示画面を表示する構成であってもよい。

例えば、ユーザがセンサ内蔵液晶パネル３０１上を当該センサ内蔵液晶パネル３０１の縦軸と平行となるようになぞった場合には、データ表示／センサ装置１００は、それにあわせて、当該縦軸と平行になり、かつ、指先にメニュー項目が表示されるようにメニュー表示画面を生成する。

（データ表示／センサ装置のより詳細な構成）
次に、図１を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、メニューの表示およびユーザの指のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。

図１は、データ表示／センサ装置１００のより詳細な構成を示すブロック図である。図示のように、記憶部９０１は、表示メッセージ記憶部２１、画像データ記憶部２２およびメニュー記憶部２３を備えている。

表示メッセージ記憶部２１は、ユーザに提示する所定のメッセージ、および、センサ内蔵液晶パネル３０１上において上記メッセージを表示する領域を示す情報（座標データなど）の組を、読み出し可能な状態で記憶するものである。以下、表示メッセージ記憶部２１で記憶する組を、メッセージ情報と称する。

ユーザに提示する所定のメッセージとしては、例えば、データ算出部１２が全体画像データを取得するときに表示するメッセージである「操作する指で画面をなぞって下さい」などの文字データが挙げられる。なお、上記メッセージは、文字データに限定されるものではなく、画像データなどであってもよい。

画像データ記憶部２２は、データ算出部１２がユーザの指の大きさ（長さ）を把握するために、座標算出部１２１が取得した全体画像データ、および、面積算出部１２５が取得した部分画像データを記憶するものである。また、画像データ記憶部２２は、後述の座標算出部１２１が全体画像データから抽出した指の像を記憶するものである。なお、ここでは、指の像は、センサ内蔵液晶パネル３０１によって検知された全体画像に含まれる指の影像（または反射像）を指す。

メニュー記憶部２３は、センサ内蔵液晶パネル３０１に表示するメニューに関する情報を記憶するものである。メニューは、ユーザが選択および確定可能な複数のメニュー項目で構成されるリストである。また、メニュー項目は、各メニュー項目が確定された際に実行する処理、各メニュー項目を表示するためのアイコンおよび名称、各アイコンの大きさ（メニュー項目の大きさ）を示す値（例えば各アイコンを囲う四角形の辺の長さ、当該四角形における中心座標など）、使用頻度の高い順または最近使った順を示す優先順位などと対応付けられている。また、メニュー項目の大きさを示す値は、指の像（または部分画像）の面積または距離ｄと対応付けられていてもよい。

なお、メニュー記憶部２３に格納されたメニュー項目としては、テレビを視聴するための「テレビ」、スケジュール機能を実行するための「スケジュール」、備忘録用として使用されるノート機能を実行するための「ＴｏＤｏ」、メール機能を実行するための「メール」、個人等の住所、メールアドレス等のリストを表示するための「連絡先」、メモ機能を実行するための「メモ」、インターネットに接続するための「インターネット」、カメラ機能を実行するための「カメラ」、撮像された写真を表示するための「写真」などが挙げられる。

また、メニュー記憶部２３は、メニュー項目が実行された際に表示されるサブメニューを記憶していてもよい。このサブメニューも、上記メニュー項目と同様、複数のサブメニュー項目で構成されるリストであり、各サブメニュー項目が確定された際に実行する処理などと対応付けられている。

次に、主制御部８００について説明する。図示のように、主制御部８００は、表示起動制御部１１、データ算出部１２およびメニュー表示制御部１３を備えている。

表示起動制御部１１は、センサ内蔵液晶パネル３０１上の指の移動を検知して、当該センサ内蔵液晶パネル３０１の表示機能を有効にする、または、メニュー表示モードに切り替えるものである。そのため、表示起動制御部１１は、座標データ取得部（移動検知手段）１１１、座標データ比較部（移動検知手段）１１２、表示起動部１１３および座標データ保持部１１４を備えている。

座標データ取得部１１１は、データ処理部７００から所定の時間間隔で座標データ（全体画像における部分画像の代表座標）を取得するものである。また、座標データ取得部１１１は、取得した座標データを座標データ保持部１１４に保存する。

座標データ比較部１１２は、座標データ保持部１１４に保存された２つの座標データを読み出し、当該座標データが一致するか否かを判定するものである。これにより、ユーザがセンサ内蔵液晶パネル３０１上を指でなぞったか否かを判定する。なお、２つの座標データについては、座標データ保持部１１４において説明する。

また、座標データ比較部１１２は、上記２つの座標データの差分を算出し、記憶部９０１に格納された閾値と比較することで、ユーザが指でなぞったか否かを判定する構成であってもよい。この場合、上記閾値は、記憶部９０１に予め格納されており、ユーザが指でセンサ内蔵液晶パネル３０１上をなぞっていないと判定できる程度の縦軸方向の移動量を示す値であればよい。

表示起動部１１３は、座標データ比較部１１２がユーザが指でなぞったと判定した場合に、センサ内蔵液晶パネル３０１の表示機能を有効またはメニュー表示モードにし、データ算出部１２が適切なデータを算出できるように、ユーザに対して所定のメッセージを表示させるものである。すなわち、表示起動部１１３は、表示メッセージ記憶部２１に格納されたメッセージ情報を読み出し、当該メッセージ情報に含まれるメッセージを配置したメニュー表示画面を生成し、当該メニュー表示画面をデータ処理部７００に送信する。表示起動部１１３は、上記メニュー表示画面をデータ処理部７００に送信したことをトリガにして、センサ内蔵液晶パネル３０１の表示機能が無効の場合には当該機能を有効に、当該機能が有効である場合にはメニュー表示モードに設定することとなる。

なお、メニュー表示モードとは、データ表示／センサ装置１００に実装されたアプリケーションを実行するための機能が割り当てられたメニューを表示するためのモードであり、ユーザにメニュー選択を行わせるための表示をセンサ内蔵液晶パネル３０１に行うためのものである。

座標データ保持部１１４は、座標データ取得部１１１が取得した座標データを保存するものである。具体的には、座標データ保持部１１４は、今回座標データ取得部１１１から送られてくる座標データと、当該座標データを取得する直前の座標データとの２つの座標データを保持するように構成されている。なお、座標データ保持部１１４は、主制御部８００が備えた構成となっているが、これに限らず、記憶部９０１が備えた構成であってもよい。

次に、データ算出部１２は、後述のメニュー表示制御部１３がメニュー表示画面を生成するために、当該メニュー表示画面におけるメニュー項目の配置位置を機能毎に決定するための各種データを算出するものである。そのため、データ算出部１２は、座標算出部１２１、距離算出部１２２、軌跡算出部１２３、配置可能位置算出部１２４、面積算出部１２５および座標／算出データ保持部１２６を備えている。

座標算出部１２１は、データ処理部７００から全体画像データを取得して、当該全体画像データを解析する（指の像を抽出する）ことによって、センサ内蔵液晶パネル３０１上における指の付け根の位置を示す付け根位置座標Ａを算出するものである。また、座標算出部１２１は、付け根位置座標Ａを座標／算出データ保持部１２６に保存する。

また、座標算出部１２１は、上記表示機能が有効またはメニュー表示モードになったことをトリガにして、データ処理部７００から、所定の時間、座標データ（全体画像における部分画像の代表座標）を取得する。なお、上記所定の時間は、記憶部９０１に予め格納されており、ユーザが上下方向（縦軸方向）に２、３度なぞる程度の時間であればよい。

距離算出部１２２は、センサ内蔵液晶パネル３０１上の指の付け根と指先との距離ｄを算出するものである。距離算出部１２２は、例えば座標算出部１２１が算出した付け根位置座標Ａと、当該座標算出部１２１が抽出した指の像における輪郭の座標とを用いて、当該付け根位置座標Ａと当該輪郭の座標との差分を繰り返し算出し、最大となる差分を決定する。また、距離算出部１２２は、この最大の差分を距離ｄとして座標／算出データ保持部１２６に保存する。

なお、距離算出部１２２は、メニューおよびサブメニューを同時にセンサ内蔵液晶パネル３０１に表示する場合には、サブメニュー項目を上記円の軌跡に配置すると共に、メニュー項目を当該円の外延に配置するために、距離ｄに所定の長さを加算した値である距離ｄ１を算出する。距離算出部１２２は、この距離ｄ１を座標／算出データ保持部１２６に保存する。

なお、上記所定の長さは、記憶部９０１に予め格納されているものであり、サブメニュー項目とメニュー項目とが重ならない程度の長さであればよい。

軌跡算出部１２３は、座標算出部１２１が算出した付け根位置座標Ａを中心座標、距離算出部１２２が算出した距離ｄまたは当該距離ｄよりも短い距離を半径とする、ｘ≧０かつｙ≧０を満たす円の軌跡（すなわち円弧の軌跡）を算出するものである。また、軌跡算出部１２３は、この円の軌跡を座標／算出データ保持部１２６に保存する。すなわち、軌跡算出部１２３は、ユーザの指がセンサ内蔵液晶パネル３０１の表面上を移動したときに、当該指の指先が通る仮想的な線分（円の軌跡）を決定しているといえる。

なお、上記ｘ、ｙとは、センサ内蔵液晶パネル３０１の横軸方向と縦軸方向とをそれぞれ示すものである。つまり、ｘ≧０かつｙ≧０とは、センサ内蔵液晶パネル３０１における表示可能な範囲全てを指すものである。なお、ここでは、座標（０，０）を、センサ内蔵液晶パネル３０１の左上部に位置する角部と指すものとする。

さらに、軌跡算出部１２３は、メニューおよびサブメニューを同時にセンサ内蔵液晶パネル３０１に表示する場合には、距離算出部１２２が算出した距離ｄ１を半径とした円の軌跡（以降、拡大円の軌跡とする）を算出する。

配置可能位置算出部１２４は、軌跡算出部１２３が算出した円の軌跡と、座標算出部１２１が取得した座標データとを用いて、ユーザがなぞった範囲に対応した、メニュー項目が配置可能な範囲を決定する。そして、配置可能位置算出部１２４は、上記円の軌跡、記憶部９０１に格納された所定の角度を示す値、および、メニュー記憶部２３に格納されたメニュー項目の大きさを示す値を用いて、メニュー項目が配置可能な位置座標とその個数を算出するものである。

また、配置可能位置算出部１２４は、メニュー項目が配置可能な範囲を決定するときに算出される、円端部座標（上記なぞった範囲の両端である指の像の位置で、かつ、円の軌跡上の２つの位置座標）、メニュー項目の配置可能な位置座標およびその個数を座標／算出データ保持部１２６に保存する。

さらに、配置可能位置算出部１２４は、後述の面積算出部（面積算出手段）１２５が指の像（または部分画像）の面積を算出した場合には、当該面積に対応付けてメニュー記憶部２３に格納されたメニュー項目の大きさを示す値を用いて、メニュー項目の配置可能な位置座標を算出する。また、配置可能位置算出部１２４は、このメニュー項目の配置可能な位置座標を算出したときに、上記メニュー項目の大きさを示す値を読み出したことをメニュー表示制御部１３に通知する。

この場合、配置可能位置算出部１２４は、隣接して配置されるメニュー項目が重なると判断した場合には、上記所定の角度を示す値を設定しなおした後、メニュー項目が配置可能な位置座標を算出する。

なお、上記所定の角度を示す値は、例えば記憶部９０１に予め格納されており、ユーザがメニュー項目を確実に識別できる程度の間隔となるように表示されるように設定されていればよい。

また、上記では、記憶部９０１には、指の像の面積に対応付けてメニュー項目の大きさを示す値が格納されていたが、これに限らず、配置可能位置算出部１２４は、指の像の面積からメニュー項目の大きさを算出する構成であってもよい。

面積算出部１２５は、ユーザの指の大きさに応じて、センサ内蔵液晶パネル３０１に表示するメニュー項目の大きさを変更できるように、座標算出部１２１が抽出した指の像の面積を算出するものである。また、面積算出部１２５は、座標算出部１２１が全体画像データを取得するときに部分画像データを取得し、当該部分画像の面積を算出してもよい。面積算出部１２５は、この指の像の面積（または部分画像の面積）を座標／算出データ保持部１２６に保存する。

座標／算出データ保持部１２６は、座標算出部１２１が算出した付け根位置座標Ａと、距離算出部１２２が算出した距離ｄ、ｄ１と、軌跡算出部１２３が算出した円、拡大円の軌跡と、配置可能位置算出部１２４が算出した円端部座標、メニュー項目の配置可能な位置座標およびその個数と、面積算出部１２５が算出した指の像（または部分画像）の面積とを保存するものである。なお、座標／算出データ保持部１２６は、主制御部８００が備えた構成となっているが、これに限らず、記憶部９０１が備えた構成であってもよい。

次に、メニュー表示制御部１３は、ユーザがメニュー項目を選択および確定を行うためのメニュー表示画面を生成するものである。そのため、メニュー表示制御部１３は、メニュー選択部（メニュー選択手段）１３１およびメニュー表示画面生成部１３２を備えている。

メニュー選択部１３１は、センサ内蔵液晶パネル３０１に配置すべきメニュー項目全てが表示可能であるか否かを判定するものである。ここで、配置すべきメニュー項目とは、メニュー記憶部２３に格納された「テレビ」等のメニュー項目を指す。また、メニュー選択部１３１は、全てのメニュー項目を表示できないと判定した場合、上記優先順位に基づいて、センサ内蔵液晶パネル３０１に表示するメニュー項目を選択する。

また、メニュー選択部１３１は、後述のメニュー表示画面生成部１３２でサブメニューを表示する画面を生成する場合には、上記と同様、配置すべきサブメニュー項目全てが表示可能であるか否かを判定する。

メニュー表示画面生成部１３２は、配置可能位置算出部１２４が算出した位置座標を中心として、メニュー選択部１３１にて選択された、ユーザが選択可能なメニュー項目（アイコン）（全てのメニュー項目が表示可能である場合を含む）を機能毎に配置することにより、メニュー表示画面を生成する。そして、メニュー表示画面生成部１３２は、メニュー表示画面をデータ処理部７００に送信することによって、当該メニュー表示画面をセンサ内蔵液晶パネル３０１に表示させる。

また、メニュー表示画面生成部１３２は、サブメニューだけをセンサ内蔵液晶パネル３０１に表示する場合には、上記メニュー項目が配置される位置に当該サブメニュー項目を配置したメニュー表示画面を生成する。一方、メニュー表示画面生成部１３２は、メニューおよびサブメニューをセンサ内蔵液晶パネル３０１に同時に表示する場合には、上記円の軌跡上にサブメニュー項目、上記拡大円の軌跡上にメニュー項目を配置したメニュー表示画面を生成する。

なお、上記では、データ表示／センサ装置１００において、付け根位置座標Ａを中心座標、距離ｄを半径とする、ｘ≧０かつｙ≧０を満たす円の軌跡を算出し、ユーザがなぞった範囲内の当該軌跡上にメニュー項目を配置したメニュー表示画面を表示する例について説明した。しかし、データ表示／センサ装置１００は、この構成に限らず、ユーザの指がなぞった範囲における指先の軌跡上（すなわち、センサ内蔵液晶パネル３０１上をなぞった指の領域の外周）にメニュー項目を配置したメニュー表示画面を表示する構成であってもよい。すなわち、データ表示／センサ装置１００は、円の軌跡を算出するのではなく、ユーザがなぞった範囲に対応するようにメニュー項目を表示するように構成されていてもよい。

この場合、座標算出部１２１は、距離算出部１２２が距離ｄを算出して座標／算出データ保持部１２６に保存する代わりに、指の像における指先の位置を示す指先位置座標Ｂを算出する。すなわち、座標算出部１２１は、付け根位置座標Ａおよび指先位置座標Ｂを算出するものといえる。

ここで、座標算出部１２１は、例えば上記指先位置座標Ｂを次のように算出する。すなわち、座標算出部１２１は、所定の時間、全体画像データを取得し、これら全体画像データ全てについて付け根位置座標Ａを算出する。そして、座標算出部１２１は、これらの付け根位置座標Ａを座標／算出データ保持部１２６に保存する。なお、上記所定の時間とは、記憶部９０１に予め格納されており、座標算出部１２１が座標データ（全体画像における部分画像の代表座標）を取得するときと同様、ユーザが上下方向（縦軸方向）に２、３度なぞる程度の時間であればよい。

座標算出部１２１は、距離算出部１２２が距離ｄを算出するときの処理と同様の処理を行うことによって、距離算出部１２２が距離ｄとするときの輪郭の座標を指先位置座標Ｂとして決定し、当該指先位置座標Ｂを座標／算出データ保持部１２６に保存する。

軌跡算出部１２３は、座標／算出データ保持部１２６から指先位置座標Ｂを読み出し、当該指先位置座標Ｂ上もしくは当該指先位置座標Ｂ近傍を通る線分を算出する。すなわち、軌跡算出部１２３は、ユーザの指がセンサ内蔵液晶パネル３０１の表面上を移動したときに、当該指の指先が通る仮想的な線分を決定しているといえる。

配置可能位置算出部１２４は、軌跡算出部１２３が算出した線分と、座標算出部１２１が取得した座標データとを用いて、ユーザがなぞった範囲に対応した、メニュー項目が配置可能な範囲を決定する。

（主制御部の動作例）
次に、再び図９を参照しながら、主制御部８００の動作例について、主制御部８００からデータ処理部７００に送信されるコマンドに触れながら、説明する。なお、ここでは、半円状にメニュー表示を行う処理および指の大きさに応じて表示するメニュー項目の大きさを変更する処理を実行する際の、主制御部８００の動作例について説明する。

また、データ表示／センサ装置１００が表示／光センサ部３００を１つだけ備える構成について説明するので、主制御部８００がデータ処理部７００に送信するコマンドの「表示パネル」フィールドを設定する場合には、“第１表示／光センサ部”（“001”）が指定されるものとする。

さらに、主制御部８００は、センサ内蔵液晶パネル３０１がユーザがなぞったことを検知することができるように、センサ内蔵液晶パネル３０１をスキャン可能な状態にしておく必要がある。このため、主制御部８００は、まず、「スキャン方式」フィールドの値として“反射”（“00”）、“透過”（“01”）、“反射／透過”（“10”）のいずれか、「スキャン画像階調」フィールドの値として“２値”（“00”）、“多値”（“01”）のいずれか、「スキャン解像度」フィールドの値として“２値”（“00”）、“多値”（“01”）のいずれか、「スキャンパネル」フィールドの値として“第１表示／光センサ部”（“001”）を指定したコマンドを、データ処理部７００に送信する。

図９（ａ）から（ｅ）の場合、座標データ取得部１１１は、データ処理部７００から所定の時間間隔で座標データ（全体画像における部分画像の座標データ）を取得する。このため、座標データ取得部１１１は、「データ取得タイミング」フィールドの値として“オール”（“10”）、「データ種別」フィールドの値として“座標”（“001”）を指定したコマンドを、データ処理部７００に送信する。

次に、座標データ比較部１１２は、座標データ保持部１１４に保存された２つの座標データを読み出し、当該座標データが一致するか否か（または上記移動量を示す閾値以上であるか否か）を判定することによって、ユーザがセンサ内蔵液晶パネル３０１上を指でなぞったか否かを判定する。

座標データ比較部１１２によってユーザがセンサ内蔵液晶パネル３０１上を指でなぞったと判定されると、表示起動部１１３は、センサ内蔵液晶パネル３０１の表示機能を有効（またはメニュー表示モード）にし、ユーザに対してメッセージ表示を行う。このため、表示起動部１１３は、「表示パネル」フィールドの値として“第１表示／光センサ部３００Ａ”（“001”）を指定したコマンドを、データ処理部７００に送信する。これにあわせて、表示起動部１１３は、表示メッセージ記憶部２１からメッセージ情報を読み出し、当該メッセージ情報に含まれるメッセージを配置したメニュー表示画面を生成し、当該メニュー表示画面を表示データとしてデータ処理部７００に送信する。

次に、座標算出部１２１は、付け根位置座標Ａを算出し、指の像を抽出するために、データ処理部７００から全体画像データを取得する。このため、座標算出部１２１は、「データ種別」フィールドの値として“全体画像”（“100”）を指定したコマンドを、データ処理部７００に送信する。

また、座標算出部１２１は、データ処理部７００が取得している最新の全体画像データ、または、センサ内蔵液晶パネル３０１上で変化があったときの全体画像データを取得する必要がある。このため、座標算出部１２１は、上記コマンドの「データ取得タイミング」フィールドの値として“センス”（“00”）または“イベント”（“01”）を指定する。

このとき、座標算出部１２１は、配置可能位置算出部１２４がメニュー項目が配置可能な範囲を決定するために、データ処理部７００から、所定の時間、座標データ（全体画像における部分画像の代表座標）を取得する。このため、座標算出部１２１は、「データ取得タイミング」フィールドの値として“オール”（“10”）、「データ種別」フィールドの値として“座標”（“001”）を指定したコマンドを、データ処理部７００に送信する。

また、座標算出部１２１は、所定の時間、全体画像データを取得する構成であってもよい。この場合、座標算出部１２１は、「データ種別」フィールドの値として“全体画像”（“100”）、「データ取得タイミング」フィールドの値として“イベント”（“01”）または“オール”（“10”）を指定したコマンドを、データ処理部７００に送信する。

この後、データ算出部１２およびメニュー表示制御部１３における処理が行われることにより、メニュー表示画面生成部１３２は、図９（ａ）から（ｅ）に示すようなメニュー表示を行うためのメニュー表示画面を生成する。そして、メニュー表示画面生成部１３２は、このメニュー表示画面をセンサ内蔵液晶パネル３０１に表示させるために、当該メニュー表示画面を表示データとしてデータ処理部７００に送信する。

また、図９（ｆ）に示すように、主制御部８００が指の大きさに応じて表示するメニュー項目の大きさを変更する処理を実行する場合に、面積算出部１２５が部分画像データをデータ処理部７００から取得する場合がある。この場合、面積算出部１２５は、「データ取得タイミング」フィールドの値として“イベント”（“01”）、「データ種別」フィールドの値として“部分画像”（“010”）を指定したコマンドを、データ処理部７００に送信する。

（データ表示／センサ装置における処理の流れ）
次に、図１０を参照しながら、データ表示／センサ装置１００において、データ算出処理およびメニュー表示処理を行う際の処理の流れについて説明する。図１０は、データ表示／センサ装置１００において、メニュー表示処理を行う際の処理の流れを示すフローチャートである。ここでは、データ表示／センサ装置１００の軌跡算出部１２３が円の軌跡を算出し、当該円の軌跡上にメニュー項目を配置する場合の処理について説明する。

まず、ユーザがデータ表示／センサ装置１００を片手で持った状態において、操作する指でセンサ内蔵液晶パネル３０１上をなぞったか否かを判定する（Ｓ１）。具体的には、表示起動制御部１１の座標データ取得部１１１は、データ処理部７００から所定の時間間隔で座標データ（全体画像における部分画像の代表座標）を取得し、当該座標データを座標データ保持部１１４に保存する。また、座標データ取得部１１１は、上記座標データを取得したことを座標データ比較部１１２に通知する。

座標データ比較部１１２は、上記通知を受けると、座標データ保持部１１４に保持された２つの座標データを読み出して、当該２つの座標データを比較する。座標データ比較部１１２は、上記２つの座標データの値が同じである場合（２つの座標データの差分がほぼ０である場合）には、ユーザがセンサ内蔵液晶パネル３０１上を指でなぞっていないものと判定する一方、当該２つの座標データの値が異なる場合には、センサ内蔵液晶パネル３０１上を指でなぞったと判定する。

なお、座標データ比較部１１２が上記判定を行う場合、２つの座標データの値が同じか否か（差分がほぼ０か否か）によって判定を行っているが、これに限らず、２つの座標データの差分が記憶部９０１に予め格納された閾値以上か否かによって判定を行ってもよい。座標データ比較部１１２は、２つの座標データの差分が閾値以上であると判定した場合には、ユーザがセンサ内蔵液晶パネル３０１上を指でなぞったものと判定する。

ユーザがセンサ内蔵液晶パネル３０１上を指でなぞったと判定された場合（Ｓ１でＹＥＳ）、座標データ比較部１１２は、２つの座標データが異なることを表示起動部１１３に通知する。表示起動部１１３は、表示メッセージ記憶部２１からメッセージ情報を読み出し、当該メッセージ情報に含まれるメッセージを配置したメニュー表示画面を生成し、当該メニュー表示画面をデータ処理部７００に送信する。つまり、表示起動部１１３は、上記メニュー表示画面をデータ処理部７００に送信することにより、センサ内蔵液晶パネル３０１の表示機能が無効の場合には当該機能を有効にすることとなる（Ｓ２）。また、表示起動部１１３は、既にセンサ内蔵液晶パネル３０１の表示機能が有効である場合には、メッセージ情報をデータ処理部７００に送信することをトリガにして、メニュー表示モード（操作パネル設定モード）に切り替えることとなる。

なお、ユーザがセンサ内蔵液晶パネル３０１上を指でなぞっていないと判定された場合（Ｓ１でＮＯ）には、表示起動制御部１１は、Ｓ１の処理を再び実行することとなる。

次に、データ算出部１２の座標算出部１２１は、表示起動制御部１１からメニュー表示画面をデータ処理部７００に送信したことを示す通知を受けると、データ処理部７００から全体画像データを取得して、画像データ記憶部２２に記憶する（Ｓ３）。

座標算出部１２１は、取得した全体画像データを画像データ記憶部２２から読み出し、当該全体画像データを解析することによって、付け根位置座標Ａを算出する（Ｓ４）。具体的には、座標算出部１２１は、上記全体画像データに含まれる指の像を抽出し、センサ内蔵液晶パネル３０１の端部と当該指の像との接触領域における、ｙ座標が最大の座標と最小の座標とを取得する。そして、座標算出部１２１は、この２つの座標の平均値を算出して、付け根位置座標Ａとして座標／算出データ保持部１２６に保存する。また、座標算出部１２１は、抽出した指の像を画像データ記憶部２２に格納する。

また、Ｓ３の処理の際に、座標算出部１２１は、データ処理部７００から、所定の時間、座標データ（全体画像における部分画像の代表座標）を取得し、座標／算出データ保持部１２６を保存する。

なお、座標算出部１２１が、所定の時間、データ処理部７００から全体画像データを取得する場合には、各全体画像データにおける付け根位置座標Ａを算出し、これらの付け根位置座標Ａのうちの１つを、座標／算出データ保持部１２６に保存する付け根位置座標Ａ（すなわち軌跡算出部１２３が用いる付け根位置座標Ａ）としてもよい。

次に、距離算出部１２２は、センサ内蔵液晶パネル３０１上の指の付け根と指先との距離ｄを算出する（Ｓ５）。具体的には、距離算出部１２２は、座標算出部１２１が算出した付け根位置座標Ａと、上記指の像における輪郭の座標とを用いることによって、距離ｄを算出する。

例えば、距離算出部１２２は、上記指の像を画像データ記憶部２２から読み出すと、当該指の像における輪郭の座標を検出する。距離算出部１２２は、座標／算出データ保持部１２６から付け根位置座標Ａを読み出し、当該付け根位置座標Ａと上記輪郭の座標との差分を算出して、当該輪郭の座標と算出した差分とを対応付けて座標／算出データ保持部１２６に保存する。そして、距離算出部１２２は、上記のような輪郭の座標の検出および差分の算出を繰り返し行い、差分を算出する毎に、当該算出した差分と座標／算出データ保持部１２６に保存された差分とを比較する。距離算出部１２２は、比較した結果、差分が大きいと判定した方の輪郭の座標と、このとき大きいと判定された差分とを対応付けて座標／算出データ保持部１２６に保存する。

つまり、距離算出部１２２は、上記比較を行うことによって、最大となる差分を決定することができ、当該最大となる差分を距離ｄとして座標／算出データ保持部１２６に保存する。

次に、軌跡算出部１２３は、座標／算出データ保持部１２６に保存された付け根位置座標Ａと距離ｄとを読み出すと、当該付け根位置座標Ａを中心座標、当該距離ｄを半径とする、ｘ≧０かつｙ≧０を満たす円の軌跡を算出する（Ｓ６）。軌跡算出部１２３は、算出した円の軌跡を座標／算出データ保持部１２６に保存する。

次に、配置可能位置算出部１２４は、座標／算出データ保持部１２６に保存された円の軌跡を読み出し、メニュー項目の配置が可能な位置座標を算出する（Ｓ７）。

具体的には、配置可能位置算出部１２４は、座標／算出データ保持部１２６に保存された座標データを読み出し、当該座標のうち、ｙ座標が最小の座標と最大の座標とを取得する。配置可能位置算出部１２４は、ｙ座標が最小の座標を有する指の像の位置と、ｙ座標が最大の座標を有する指の像の位置との間で、かつ、上記円の軌跡上に、メニュー項目が配置可能である（メニュー項目が配置可能な範囲）と判定する。配置可能位置算出部１２４は、上記指の像の位置で、かつ、円の軌跡上の２つの位置座標を、円端部座標として座標／算出データ保持部１２６に保存する。

さらに、配置可能位置算出部１２４は、記憶部９０１に格納された所定の角度を示す値を読み出し、付け根位置座標Ａからｘ軸方向（センサ内蔵液晶パネル３０１の水平方向）に延びる直線を基準として、円の軌跡上の位置座標を算出する。

つまり、配置可能位置算出部１２４は、まず、付け根位置座標Ａからｘ軸方向に延びる直線上で、かつ、円の軌跡上の位置座標を算出する。次に、配置可能位置算出部１２４は、付け根位置座標Ａを中心として、上記直線から所定の角度をなす直線上で、かつ、円の軌跡上の位置座標を算出する。配置可能位置算出部１２４は、上記メニュー項目が配置可能な範囲内（円端部座標に挟まれた円の軌跡内）において上記処理を繰り返し行うことにより、円の軌跡上の位置座標を算出する。

なお、上記では、配置可能位置算出部１２４は、付け根位置座標Ａからｘ軸方向に延びる直線を基準として、円の軌跡上の位置座標を算出したが、これに限られたものではない。例えば、配置可能位置算出部１２４は、ｙ座標が最小（または最大）の座標を有する指の像の位置（すなわち付け根位置座標Ａと上記最小（または最大）の座標を結ぶ直線）を基準として、円の軌跡上の位置座標を算出してもよい。

次に、配置可能位置算出部１２４は、上記円の軌跡上の位置座標と、メニュー記憶部２３に格納されたメニュー項目の大きさを示す値とを用いて、メニュー項目の配置可能な位置座標とその個数とを算出する。例えば、配置可能位置算出部１２４は、上記円の軌跡上の位置座標を中心としてメニュー項目を配置するときに、当該メニュー項目がセンサ内蔵液晶パネル３０１内にあると判定した場合には、当該円の軌跡上の位置座標をメニュー項目が配置可能な位置座標として決定すると共に、当該配置可能な位置座標の個数をカウントする。

そして、配置可能位置算出部１２４は、メニュー項目の配置可能な位置座標とその個数とを座標／算出データ保持部１２６に保存すると共に、保存したことをメニュー表示制御部１３に通知する。

メニュー表示制御部１３のメニュー選択部１３１は、配置可能位置算出部１２４からの通知を受けると、センサ内蔵液晶パネル３０１に配置すべきメニュー項目全てが表示可能であるかを判定する（Ｓ８）。具体的には、メニュー選択部１３１は、座標／算出データ保持部１２６からメニュー項目の配置可能な位置座標の個数を読み出すと、メニュー記憶部２３に格納された、メニュー表示画面に配置するのに必要なメニュー項目の個数をカウントし、カウントした個数が当該位置座標の個数以下であるか否かを判定する。すなわち、メニュー選択部１３１は、カウントした個数が上記位置座標の個数以下である場合には、全てのメニュー項目を配置可能であると判定する。

メニュー選択部１３１は、全てのメニュー項目を表示可能であると判定した場合（Ｓ８でＹＥＳ）、配置すべきメニュー項目として全てのメニュー項目を選択する。そして、メニュー表示画面生成部１３２は、座標／算出データ保持部１２６からメニュー項目の配置可能な位置座標を読み出し、当該位置座標を中心として、メニュー選択部１３１にて選択されたメニュー項目を配置することにより、メニュー表示画面を生成する（Ｓ９）。

メニュー表示画面生成部１３２は、生成したメニュー表示画面をデータ処理部７００に送信する。これにより、データ表示／センサ装置１００は、メニュー表示画面をセンサ内蔵液晶パネル３０１に表示することができる。

一方、メニュー選択部１３１は、全てのメニュー項目が表示可能でないと判定した場合（Ｓ８でＮＯ）、配置すべきメニュー項目から、メニュー表示画面に表示するメニュー項目を選択する（Ｓ１０）。そして、メニュー画面生成部１３２によってＳ９の処理が行われる。

なお、例えばデータ表示／センサ装置１００は、上記メニュー項目に対して、使用頻度の高い順や最近使った順に優先順位を設定する構成となっており、当該優先順位を当該メニュー項目に対応付けて記憶していてもよい。この場合、Ｓ１０の処理において、メニュー選択部１３１は、優先順位の若い順（すなわち、使用頻度の高い順または最近使った順）に、座標／算出データ保持部１２６から読み出した位置座標の個数分だけ、当該優先順位に対応するメニュー項目を選択してもよい。

なお、上記では、メニュー項目の大きさがメニュー記憶部２３に予め格納されている場合の処理について説明したが、これに限らず、当該大きさが、メニュー記憶部２３に予め格納されておらず、ユーザの指の大きさによって変更されてもよい。

この場合、例えばメニュー記憶部２３には、上記指の像（または部分画像）の面積とメニュー項目の大きさを示す値とが対応付けて記憶されている。データ算出部１２の面積算出部１２５は、Ｓ３の処理において画像データ記憶部２２に格納された指の像を読み出し、当該指の像の面積を算出し、座標／算出データ保持部１２６に保存する。

Ｓ７の処理において、配置可能位置算出部１２４は、座標／算出データ保持部１２６から指の像の面積を読み出すと、当該面積に対応するメニュー項目の大きさを示す値をメニュー記憶部２３から読み出す。配置可能位置算出部１２４は、この読み出したメニュー項目の大きさを示す値と、上記円の軌跡上の位置座標とを用いて、メニュー項目の配置可能な位置座標とその個数とを算出する。

このとき、配置可能位置算出部１２４は、隣接して配置されるメニュー項目を囲む四角形が重なる（すなわち当該２つのメニュー項目が重なる）と判断した場合には、記憶部９０１に格納された所定の角度を示す値を設定しなおしてもよい。

なお、配置可能位置算出部１２４が指の像の代わりに部分画像の面積を用いる場合には、面積算出部１２５は、Ｓ３の処理が行われるときに、部分画像データをデータ処理部７００から取得し、当該部分画像の面積を算出する。そして、面積算出部１２５がこの部分画像の面積を座標／算出データ保持部１２６に保存することにより、配置可能位置算出部１２４は、上記と同様、メニュー項目の配置可能な位置座標とその個数とを算出する。

また、配置可能位置算出部１２４は、上記面積に対応するメニュー項目の大きさを示す値を読み出すときに、当該値を読み出したことをメニュー表示制御部１３のメニュー表示画面生成部１３２に通知する。

これにより、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上の指の大きさを検知することによって、ユーザの指の大きさに応じたメニュー項目の大きさに変更することができる。

また、メニュー項目の大きさは、上記と同様、メニューの表示位置（円の大きさ）によって変更されてもよい。この場合、例えばメニュー記憶部２３には、距離算出部１２２が算出する距離ｄに対応付けてメニュー項目の大きさを示す値が記憶されている。そして、Ｓ７の処理において、配置可能位置算出部１２４は、座標／算出データ保持部１２６から部分画像データの代わりに距離ｄを読み出して、上記と同様の処理を行う。

なお、データ表示／センサ装置１００は、上記のように「テレビ」などの任意のメニュー表示処理を行い、あるメニュー項目を実行すると、当該メニュー項目に対応付けられたサブメニュー項目を、上記メニュー項目の配置可能な位置座標に表示するようにしてもよい。この場合、データ表示／センサ装置１００は、上記メニュー項目に対応付けられたサブメニュー項目をメニュー記憶部２３から読み出して、Ｓ７以降の処理を行って、センサ内蔵液晶パネル３０１にサブメニューの表示を行う。

また、データ表示／センサ装置１００は、上記メニュー表示を行ったまま、サブメニューを表示するようにしてもよい。この場合、あるメニュー項目が実行されると、データ表示／センサ装置１００は、上記のようにサブメニュー項目の表示位置を決定する。そして、データ表示／センサ装置１００では、メニュー項目の新たな表示位置を決定するために、軌跡算出部１２３は、距離算出部１２２が算出し、座標／算出データ保持部１２６に保存された距離ｄ１を半径として拡大円の軌跡を算出する。データ表示／センサ装置１００は、拡大円の軌跡に対しても、Ｓ７以降の処理を行い、表示するメニュー項目およびその位置を決定する。

すなわち、データ表示／センサ装置１００は、あるメニュー項目を実行すると、当該メニュー項目が配置されていた円の軌跡上（図９（ａ）から（ｅ）に示す点線上）にサブメニュー項目を配置すると共に、当該円より大きい半径を有する拡大円の軌跡上にメニュー項目を配置しなおす。これにより、データ表示／センサ装置１００は、メニューおよびサブメニューを同時にセンサ内蔵液晶パネル３０１に表示することができる。

（データ表示／センサ装置における処理の流れの別例）
上記では、軌跡算出部１２３が算出した円の軌跡上にメニュー項目を配置する場合の、データ表示／センサ装置１００における処理の流れについて説明した。ここでは、データ表示／センサ装置１００が、円の軌跡を算出する場合に限らず、ユーザがなぞった範囲に対応するようにメニュー項目を配置する場合の処理の流れについて説明する。

ここでは、図１０に示すデータ表示／センサ装置１００における処理の流れのうち、上記処理とは異なるステップについてのみ説明することとし、同様の処理が行われるステップについてはその説明を省略することとする。

この場合、図１０に示すＳ３の処理において、座標算出部１２１は、表示起動制御部１１からメニュー表示画面をデータ処理部７００に送信したことを示す通知を受けると、全体画像データを所定の時間取得して、画像データ記憶部２２に記憶する。そして、Ｓ４の処理と同様、座標算出部１２１は、取得した全体画像データ全てを画像データ記憶部２２から読み出し、付け根位置座標Ａを算出する。

次に、Ｓ５の処理の代わりに、座標算出部１２１は、距離算出部１２２と同様の処理を行うことによって、距離ｄを算出するときに用いる、差分が最大となるときの輪郭の座標を指先位置座標Ｂとして決定し、座標／算出データ保持部１２６に保存する。座標算出部１２１は、軌跡算出部１２３が、ユーザの指がセンサ内蔵液晶パネル３０１の表面上を移動したときに、当該指の指先が通る仮想的な線分を決定するために、全ての全体画像データに対して指先位置座標Ｂを算出する。

そして、軌跡算出部１２３は、Ｓ６の処理の代わりに、座標／算出データ保持部１２６に保存された全ての指先位置座標Ｂを読み出し、当該指先位置座標Ｂ上（もしくは近傍）を通る線分を仮想的な線分として決定する。軌跡算出部１２３は、算出した線分を座標／算出データ保持部１２６に保存する。

なお、軌跡算出部１２３の線分の算出方法は、これに限らず、例えば２つの指先位置座標Ｂを取得した時点で、ユーザの指が移動する方向を予測して、予測した結果を仮想的な線分として決定する方法であってもよい。

次に、Ｓ７での処理において、配置可能位置算出部１２４は、円の軌跡の代わりに、上記線分を読み出し、メニュー項目の配置が可能な位置座標を算出する。

この場合、配置可能位置算出部１２４は、座標／算出データ保持部１２６に保存された座標データのうち、ｙ座標が最小の座標を有する指の像の位置と、ｙ座標が最大の座標を有する指の像の位置との間で、かつ、上記線分上に、メニュー項目が配置可能である（メニュー項目が配置可能な範囲）と判定する。そして、配置可能位置算出部１２４は、上記指の像の位置で、かつ、上記線分上の２つの位置座標を、上記の円端部座標として座標／算出データ保持部１２６に保存する。

これにより、データ表示／センサ装置１００は、軌跡算出部１２３が円の軌跡を算出する場合に比べて、指がなぞった軌跡に忠実にメニュー項目を配置することができるので、センサ内蔵液晶パネル３０１上をなぞる指（手）の大きさだけでなく、指の動きにあわせてメニュー表示を行うことができる。このため、データ表示／センサ装置１００は、ユーザの操作性および利便性をさらに向上させることができる。

（メニューの選択および確定について）
次に、データ表示／センサ装置１００がメニュー項目を選択したときにメニュー表示画面、および、当該メニュー項目を確定するときのタイミングについて説明する。

データ表示／センサ装置１００は、メニュー表示画面生成部１３２が生成したメニュー表示画面をセンサ内蔵液晶パネル３０１に表示させると、当該メニュー項目上にユーザの指がある場合、当該メニュー項目を選択可能な状態であることを示すメニュー表示画面に切り替える。

この場合、例えばメニュー表示画面生成部１３２は、座標データ取得部１１１が取得した座標データを順次受信して、メニュー項目の表示領域内の座標と一致するかを判定する。そして、メニュー表示画面生成部１３２は、受信した座標データとメニュー項目の表示領域内の座標とが一致した場合には、当該メニュー項目が選択されたものと判定し、当該メニュー項目が選択状態であることを示すメニュー表示画面（選択されたメニュー項目の表示（メニュー項目の名称を含む）の拡大、メニュー項目の色の変更など）を生成する。

データ表示／センサ装置１００は、選択状態にあるメニュー項目（以降、選択メニュー項目）において、以下の状態（１）から（４）となった場合、当該メニュー項目が確定したものと判定する。すなわち、主制御部８００は、
（１）選択メニュー項目上に指が置かれ、そのまま所定の時間が経過したとき
（２）センサ内蔵液晶パネル３０１上かつ選択メニュー項目上から指が離れたとき
（３）選択メニュー項目上で指の色が変化したとき（すなわち図７（ｂ）に示すような全体画像データを取得したとき）
（４）センサ内蔵液晶パネル３０１上かつ選択メニュー項目上から指を離して、所定の時間内に再び選択メニュー項目上に指が置かれたとき
に、選択メニュー項目が確定したものと判定し、選択メニュー項目に対応付けられた機能を実行する。

このため、メニュー表示画面生成部１３２は、選択メニュー項目が確定したか否かを判定するために、表示データをデータ処理部７００に送信するのにあわせて、例えば「データ取得タイミング」フィールドの値として“イベント”（“01”）、「データ種別」フィールドの値として“座標”（“001”）を指定したコマンドを、データ処理部７００に送信する。

（補足）
最後に、本実施形態に係るデータ表示／センサ装置１００の各ブロック、特に表示起動制御部１１の座標データ取得部１１１、座標データ比較部１１２および表示起動部１１３、データ算出部１２の座標算出部１２１、距離算出部１２２、軌跡算出部１２３、配置可能位置算出部１２４および面積算出部１２５、並びに、メニュー表示制御部１３のメニュー選択部１３１およびメニュー表示画面生成部１３２は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、本実施形態に係るデータ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（Central Processing Unit）、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、本実施形態に係るデータ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、メニュー表示を行う処理および指の大きさに応じて表示するメニュー項目の大きさを変更する処理を行う装置に適用できる。特に、ユーザの手の大きさに応じたメニュー表示を行うメニュー表示装置に好適である。

本発明の一実施形態に係るデータ表示／センサ装置のより詳細な構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。 本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。 図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。 本発明の一実施形態に係るデータ表示／センサ装置が備える表示／光センサ部３００の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。 図９（ａ）は、手（指）の小さいユーザが左手で本発明の一実施形態に係るデータ表示／センサ装置を持ち、操作する指（例えば親指）でセンサ内蔵液晶パネルの縦軸のほぼ中央をなぞった場合に、メニュー表示が行われる場合の様子を示す模式図である。図９（ｂ）は、手の大きいユーザが左手で本発明の一実施形態に係るデータ表示／センサ装置を持ち、操作する指でセンサ内蔵液晶パネルの縦軸のほぼ中央をなぞった場合に、メニュー表示が行われる場合の様子を示す模式図である。図９（ｃ）は、左手で本発明の一実施形態に係るデータ表示／センサ装置を持ち、操作する指でセンサ内蔵液晶パネルの縦軸の中央から離れた位置をなぞった場合に、メニュー表示が行われる場合の様子を示す模式図である。図９（ｄ）は、左手で本発明の一実施形態に係るデータ表示／センサ装置を持ち、操作する指でセンサ内蔵液晶パネルの縦軸の中央からさらに離れた位置をなぞった場合に、メニュー表示が行われる場合の様子を示す模式図である。図９（ｅ）は、左手で本発明の一実施形態に係るデータ表示／センサ装置を持ち、操作する指でセンサ内蔵液晶パネルの角部から当該センサ内蔵液晶パネルをなぞった場合に、メニュー表示が行われる場合の様子を示す模式図である。図９（ｆ）は、ユーザの指の大きさに応じて表示するメニュー項目の大きさを変更する様子を示す模式図である。 本発明の一実施形態に係るデータ表示／センサ装置において、メニュー表示処理を行う際の処理の流れを示すフローチャートである。 図１１（ａ）は、従来技術を示すものであり、タッチ位置を中心として環状に配置される円形メニューを表示する表示装置の表示画面を示す図である。図１１（ｂ）は、従来技術を示すものであり、情報処理装置の概観を示す図である。

符号の説明

１００ データ表示／センサ装置（メニュー表示装置）
１１１ 座標データ取得部（移動検知手段）
１１２ 座標データ比較部（移動検知手段）
１１３ 表示起動部（表示制御手段）
１２１ 座標算出部（像取得手段、座標算出手段）
１２２ 距離算出部（距離算出手段）
１２３ 軌跡算出部（線分決定手段）
１２４ 配置可能位置算出部（位置算出手段）
１２５ 面積算出部（面積算出手段）
１３１ メニュー選択部（メニュー選択手段）
１３２ メニュー表示画面生成部（画面表示手段）
３０１ センサ内蔵液晶パネル（面状部材）
Ａ 付け根位置座標
Ｂ 指先位置座標
ｄ 距離

Claims (6)

1. ユーザの指を検知すると共に、ユーザが機能を選択するためのメニューを表示する面状部材を備えたメニュー表示装置であって、
   ユーザの指が上記面状部材の表面上を移動したときに当該面状部材が検知した指の複数の像を取得する像取得手段と、
   上記像取得手段が取得した指の複数の像のそれぞれにおける指先の位置を示す指先位置座標を求める座標算出手段と、
   上記座標算出手段が求めた複数の指先位置座標上または複数の指先位置座標近傍を通り、ユーザの指の指先が当該指の付け根を支点として上記面状部材の表面上を移動したときに、当該指の指先が通る仮想的な軌跡を決定する線分決定手段と、
   上記線分決定手段が決定した軌跡上に上記メニューのメニュー項目を配置するための位置座標を求める位置算出手段と、
   上記位置算出手段が求めた位置座標の示す位置に、ユーザが選択可能なメニュー項目を配置したメニュー表示画面を表示させる画面表示手段と、を備えたことを特徴とするメニュー表示装置。
2. 上記位置算出手段が求めた位置座標の個数よりも配置すべきメニュー項目の個数が多い場合に、上記画面表示手段にて表示させるメニュー表示画面に配置するメニュー項目を選択するメニュー選択手段をさらに備えたことを特徴とする請求項１に記載のメニュー表示装置。
3. 上記像取得手段が取得した指の像の面積を求める面積算出手段をさらに備え、
   上記画面表示手段は、上記面積算出手段が求めた面積に応じてメニュー項目の大きさを決定し、当該メニュー項目を用いて生成したメニュー表示画面を表示させることを特徴とする請求項１または２に記載のメニュー表示装置。
4. 上記面状部材の表面上における指の移動を検知する移動検知手段と、
   上記移動検知手段が指の移動を検知したとき、上記面状部材の表示機能を有効にする表示制御手段と、をさらに備えたことを特徴とする請求項１から３のいずれか１項に記載のメニュー表示装置。
5. ユーザの指を検知すると共に、ユーザが機能を選択するためのメニューを表示する面状部材を備えたメニュー表示装置の制御方法であって、
   ユーザの指が上記面状部材の表面上を移動したときに当該面状部材が検知した指の複数の像を取得する像取得ステップと、
   上記像取得ステップにて取得した指の複数の像のそれぞれにおける指先の位置を示す指先位置座標を求める座標算出ステップと、
   上記座標算出ステップにて求めた複数の指先位置座標上または複数の指先位置座標近傍を通り、ユーザの指の指先が当該指の付け根を支点として上記面状部材の表面上を移動したときに、当該指の指先が通る軌跡を決定する線分決定ステップと、
   上記線分決定ステップにて決定した軌跡上に上記メニューのメニュー項目を配置するための位置座標を求める位置算出ステップと、
   上記位置算出ステップにて求めた位置座標の示す位置に、ユーザが選択可能なメニュー項目を配置したメニュー表示画面を表示させる画面表示ステップと、を含むことを特徴とするメニュー表示装置の制御方法。
6. 請求項１から４のいずれか１項に記載のメニュー表示装置の上記各手段としてコンピュータを機能させるためのメニュー表示プログラム。

Images