JP5259352B2 - 入力装置および入力装置の制御方法 - Google Patents

Description

本発明は、２枚の板体がスライド可能に重ね合わされた入力装置及び入力装置の制御方法に関するものである。

従来から、電子機器の操作入力を行うために、様々な入力装置が用いられている。例えば、パソコンの入力装置としては、キーボードやマウス等が一般に用いられている。マウスは、マウスを実際に移動させた方向を入力信号として出力するので、ユーザは操作の手応えを感じながら直感的な入力操作を行うことができる。

しかし、マウスは、マウスパッドのような平面状で移動させて使用するものであるから、携帯型の電子機器の入力装置として適用することは難しい。

携帯型の電子機器の入力装置としては、キーボードや入力ボタンを用いたものが一般的であるが、このような入力装置では、キーやボタンと、それに割り当てられた機能との対応を直感的に認識し難いという難点がある。

このため、近年では、携帯型の電子機器では、入力装置としてタッチパネルを用いるものが増える傾向にある。タッチパネルは、画像として表示された入力領域に指やペン先で触れることにより、入力領域に対応付けられた入力信号を出力するものである。タッチパネルで入力操作を行うユーザは、表示される画像によって、その入力領域に割り当てられた入力信号によって実行される機能を認識することができるので、キーやボタンと比べてより直感的に入力操作を行うことができる（例えば下記の特許文献１）。

また、下記の特許文献２には、タッチパネル機能をするサブ表示画面を携帯電話機の本体からスライドして引き出せるように設けたテレビ付き携帯電話機が開示されている。そして、特許文献２には、携帯電話機のメイン表示画面にテレビ映像を表示しているときに、サブ表示画面を引き出すことにより、該引き出したサブ表示画面にデータ放送等の文字情報を表示すること等が記載されている。
特開２００８−１４１５１９号公報（2008年6月19日公開） 国際公開第０６／０５１６６９号パンフレット（2006年5月18日公開）

しかしながら、タッチパネルは、ユーザが入力操作時に手応えを感じることがなく、操作の実感に乏しいという問題がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザが入力操作時に手応えを感じながら、しかも直感的な入力操作を行うことのできる入力装置及び入力装置の制御方法を提供することにある。

上記課題を解決するために、本発明に係る入力装置は、２枚の板状の板体がスライド可能に重ね合わされた入力装置であって、下側の板体である下側板体には、上側の板体である上側板体の像を検知する下側面状部材が上側板体側の面に設けられており、上記下側面状部材が検知した上記上側板体の像に基づいて、上記下側板体と上記上側板体とのずれ量及びずれ方向の少なくとも一方を検出するずれ検出手段と、上記ずれ検出手段が検出したずれ量及びずれ方向の少なくとも一方に応じて、予め対応付けられた入力信号を生成する入力信号生成手段とを備えていることを特徴としている。

また、本発明に係る入力装置の制御方法は、上記課題を解決するために、２枚の板状の板体がスライド可能に重ね合わされた入力装置の制御方法であって、上記入力装置は、下側の板体である下側板体には、上側の板体である上側板体の像を検知する下側面状部材が上側板体側の面に設けられており、上記下側面状部材が検知した上記上側板体の像に基づいて、上記下側板体と上記上側板体とのずれ量及びずれ方向の少なくとも一方を検出するずれ検出ステップと、上記ずれ検出ステップにて検出したずれ量及びずれ方向の少なくとも一方に応じて、予め対応付けられた入力信号を生成する入力信号生成ステップとを含むことを特徴としている。

上記の構成または方法によれば、下側板体には、像を検知する下側面状部材が上側板体側の面に設けられており、これにより上側板体の像が検知される。つまり、上側板体と下側板体とは重ね合わされた構成になっているので、下側面状部材で像の検知を行うことによって、上側板体の像が検知される。

ここで、下側面状部材において、上側板体で被覆されている領域と、露出している領域とでは、光の当たり方が異なるので、検知される像の輝度や色等が異なることになる。したがって、検知された像において、例えば輝度値の変化等を調べることにより、下側板体と上側板体との相対位置を特定し、下側板体と上側板体とのずれ量及びずれ方向を求めることができる。

そして、上記の構成または方法によれば、このずれ量及びずれ方向の少なくとも一方に応じて、予め対応付けられた入力信号が生成される。つまり、ユーザは、上記入力装置の２枚の板体をスライドさせることによって、入力操作を行うことができる。

これにより、ユーザは、操作の手応えを感じながら入力を行うことができる。また、例えばずれ方向に対応する入力信号によって、画像をずれ方向に移動させたり、カーソルやポインタをずれ方向に移動させたりする構成とすることで、ユーザが直感的に入力操作を行うことも可能になる。

なお、上記ずれ量及びずれ方向は、２枚の板体のある位置関係を基準として求めることができる。例えば、２枚の板体の重なりが最も大きい（上側板体によって被覆される下側板体の上面の面積が最も広くなる）位置関係を基準として、そのときの２枚の板体の相対位置と、スライド後の相対位置とを比較することによってずれ量及びずれ方向を求めることもできる。

また、２枚の板体は、少なくとも一方向にスライド可能になっていればよいが、スライド方向が多いほど、多様な入力信号を対応付けることができるので、スライド方向は多いほど好ましい。

また、上記入力装置は、複数の所定の処理を実行する処理実行手段を備え、上記入力信号生成手段は、上記複数の所定の処理のうち、上記ずれ検出手段が検出したずれ方向に対応する処理を上記処理実行手段に実行させる入力信号を生成することが好ましい。

上記の構成によれば、２枚の板体をスライドさせる（ずらす）ことによって、２枚の板体のずれ方向に対応する処理を上記処理実行手段に実行させる入力信号が生成される。したがって、上記入力装置のユーザは、２枚の板体をスライドさせるだけで、処理実行手段に所望の処理を実行させることができる。

なお、上記入力装置の上側板体の上面には画像を表示する上側面状部材が設けられていることが好ましく、この上側面状部材の表示領域に、上記処理実行手段が実行する各処理を示す情報（例えばアイコン）が、上記表示領域の中央部に対して、各処理に対応付けられたずれ方向に位置するように表示することが好ましい。

これにより、ユーザは、板体をどの方向にずらせばどの処理が実行されるかを容易に認識することができる。

また、上記入力装置の上側板体の上面には、画像を表示する上側面状部材が設けられており、上記上側面状部材に設けられた表示領域に、該表示領域よりも大きい元画像から、上記表示領域の大きさで切り出した第１画像が表示されている場合に、上記ずれ検出手段が上記下側板体と上記上側板体とのずれを検出したときに、上記入力信号生成手段は、上記第１画像の切り出し位置を上記ずれ検出手段が検出したずれ方向に移動させた切り出し位置で上記元画像から切り出した第２画像を上記表示領域に表示させる入力信号を生成することが好ましい。

上記の構成によれば、２枚の板体をずらすことにより、元画像からの画像の切り出し位置が２枚の板体をずらした方向に移動される。つまり、上記の構成によれば、２枚の板体をずらすことにより、元画像のうち、上側面状部材の表示領域に表示される部分が、２枚の板体のずれ方向に移動する。

したがって、上記の構成によれば、元画像のうち、上側面状部材に表示させる領域を直感的な操作で移動させることができ、これにより、ユーザは、元画像の表示させたい部分を上側面状部材に容易に表示させることができる。

なお、ずれ方向に画像の切り出し位置を移動させる入力信号は、２枚の板体がずれている間、所定の時間間隔で継続的に出力することが好ましい。これにより、元画像は、２枚の板体のずれ方向にスクロール表示されることになる。

また、上記入力信号生成手段は、上記ずれ検出手段が検出したずれ量に応じて、上記切り出し位置の移動量を指定した入力信号を生成することが好ましい。

上記の構成によれば、ずれ量と切り出し位置の移動量とが連動しているので、ユーザは、２枚の板体をずらす量（ずらし幅）を調節することにより、所望の移動量だけ移動させた領域の画像を表示させることができる。

なお、切り出し位置の移動量は、ずれ量に比例して大きくすることにより、ユーザが直感的な操作を行うことができるので好ましい。また、ずれ方向に画像の切り出し位置を移動させ、またずれ量に応じた切り出し位置の移動量を指定した入力信号は、２枚の板体がずれている間、所定の時間間隔で継続的に出力することが好ましい。これにより、元画像は、２枚の板体のずれ方向に、ずれ量に応じた速度でスクロール表示されることになる。

また、上記入力装置の下側面状部材は、その上面に画像を表示する機能をさらに有し、上記入力信号生成手段は、上記上側板体と上記下側板体とがスライドすることによって露出した上記下側面状部材の表示領域に、上記元画像の上記第２画像に隣接する領域を、上記第２画像と連続するように表示させる入力信号を生成することが好ましい。

上記のように、上側板体と下側板体とは重ね合わされた構成となっているので、下側面状部材の表示領域は、上側板体によって被覆されることになる。そして、上側板体と下側板体とをずらしたときには、この被覆された表示領域が当該入力装置の外部から視認可能に露出した状態となる。

この状態において、入力装置を上方から見ると、上側面状部材の表示領域と、下側面状部材の表示領域とが、その隣接部分でつながった１つの大きな表示領域として視認される。上記の構成によれば、この大きな表示領域に元画像を表示させることができるので、ユーザは、元画像のより広い範囲を一度に確認することができる。

また、上記入力装置は、放送を受信する放送受信部を備え、上記上側板体の上面には、上記放送受信部が受信した放送の画像を表示する上側面状部材が設けられており、上記放送受信部が受信した放送の画像が上記上側面状部材に表示されている場合に、上記ずれ検出手段が上記上側板体と上記下側板体とのずれを検出したときに、上記入力信号生成手段は、上記ずれ検出手段が検出した上記上側板体と上記下側板体とのずれ方向に基づいて、上記放送受信部に受信する番組を切り換えさせる入力信号を生成することが好ましい。

上記の構成によれば、ユーザは、上側板体と下側板体とをずらすという簡単な操作で視聴する番組を切り換えることができる。

また、上記入力装置の下側面状部材は、その上面に画像を表示する機能をさらに有し、上記下側板体の上面には、画像を表示する上側面状部材が設けられており、上記ずれ検出手段が上記上側板体と上記下側板体とのずれを検出したときに、上記入力信号生成手段は、現在の状態からさらに上記上側板体と上記下側板体とをずらすことによって実行される処理を示す情報を、上記上側板体と上記下側板体とがスライドすることによって露出した上記下側面状部材の表示領域に表示させる入力信号を生成することが好ましい。

上記入力装置では、２枚の板体を一度ずらした後、さらにもう一度ずらすことによって、一度目にずらしたことによって生成される入力信号とは別の入力信号を生成するようにしてもよい。この場合には、２枚の板体を１度ずらしたときに、次にどのように板体をずらせばどのような処理が実行されるかをユーザに認識させる必要がある。

そこで、上記の構成によれば、一度目のずらしによって露出した下側面状部材の表示領域に、二度目のずらしで実行される処理を示す情報を表示させる入力信号を生成するようにしている。

これにより、ユーザは、次にどのように板体をずらせばどのような処理が実行されるかを認識することができる。また、上記の情報は、下側面状部材の表示領域に表示されるので、この表示によって、上側面状部材の表示は妨げられない。

以上のように、本発明に係る入力装置は、下側の板体である下側板体には、上側の板体である上側板体の像を検知する下側面状部材が上側板体側の面に設けられており、上記下側面状部材が検知した上記上側板体の像に基づいて、上記下側板体と上記上側板体とのずれ量及びずれ方向の少なくとも一方を検出するずれ検出手段と、上記ずれ検出手段が検出したずれ量及びずれ方向の少なくとも一方に応じて、予め対応付けられた入力信号を生成する入力信号生成手段とを備えている構成である。

また、以上のように、本発明に係る入力装置の制御方法は、入力装置の下側の板体である下側板体には、上側の板体である上側板体の像を検知する下側面状部材が上側板体側の面に設けられており、上記下側面状部材が検知した上記上側板体の像に基づいて、上記下側板体と上記上側板体とのずれ量及びずれ方向の少なくとも一方を検出するずれ検出ステップと、上記ずれ検出ステップにて検出したずれ量及びずれ方向の少なくとも一方に応じて、予め対応付けられた入力信号を生成する入力信号生成ステップとを含む構成である。

したがって、ユーザは、操作の手応えを感じながら入力を行うことができるという効果を奏する。また、例えばずれ方向に対応する入力信号によって、画像をずれ方向に移動させたり、カーソルやポインタをずれ方向に移動させたりする構成とすることで、ユーザが直感的に入力操作を行うことも可能になる。

本発明の一実施形態について図１から図２１に基づいて説明すると以下の通りである。まず、本実施形態に係るデータ表示／センサ装置（入力装置）１００の概要について、図１に基づいて説明する。

〔データ表示／センサ装置の概要〕
図１は、データ表示／センサ装置１００の動作例を示す斜視図であり、同図（ａ）は筐体（板体）を閉じた状態を示し、同図（ｂ）は筐体を縦方向にずらした状態を示し、同図（ｃ）は筐体を斜め方向にずらした状態を示している。なお、筐体の長手方向を縦方向と呼び、２枚の筐体が対向する面上において上記縦方向に垂直な方向を横方向と呼び、２枚の筐体が対向する面上において上記縦方向でも横方向でもない方向を斜め方向と呼ぶ。

また、ここでは、２枚の筐体のずれ方向及びずれ量を、２枚の筐体のずれが最も小さい同図（ａ）の状態を基準として説明する。つまり、同図（ａ）の状態は２枚の筐体のずれ量が全方向についてゼロである状態と言え、同図（ｂ）の状態は縦方向にずれがあり、横方向のずれがゼロの状態と言え、同図（ｃ）の状態は斜め方向にずれがある状態と言える。

同図（ａ）に示すように、データ表示／センサ装置１００は、表示／光センサ部３００Ａの筐体（以下、単に表示／光センサ部３００Ａと呼ぶ）と表示／光センサ部３００Ｂの筐体（以下、単に表示／光センサ部３００Ｂと呼ぶ）とが重ねあわされた構成であり、表示／光センサ部３００Ａの上面（表示／光センサ部３００Ｂに対向していない側の面）は、センサ内蔵液晶パネル３０１Ａ（上側面状部材）となっている。

詳細については後述するが、表示／光センサ部３００Ａは、センサ内蔵液晶パネル３０１Ａに画像を表示させることができると共に、表示／光センサ部３００Ａの近傍の像を検知することができる。

なお、図示の例では、表示／光センサ部３００Ａと表示／光センサ部３００Ｂとが、ぴったり重なり合う態様（データ表示／センサ装置１００の真上から見ると表示／光センサ部３００Ａのみが視認され、真下から見ると表示／光センサ部３００Ｂのみが視認される態様）を示しているが、表示／光センサ部３００Ａと表示／光センサ部３００Ｂとは、完全に重なり合う必要はなく、筐体を閉じたときの重なり程度は、必要に応じて適宜変更することができ、また両者の形状も適宜変更することができる。

また、データ表示／センサ装置１００は、同図（ｂ）に示すように、表示／光センサ部３００ＡとＢとを、縦方向にスライドさせる（ずらす）ことができるようになっている。表示／光センサ部３００ＡとＢとをずらすことにより、表示／光センサ部３００Ａに隠れていた表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１Ｂ（下側面状部材）が外部から視認できるようになる。

詳細については後述するが、表示／光センサ部３００Ｂも、表示／光センサ部３００Ａと同様に、センサ内蔵液晶パネル３０１Ｂに画像を表示させることができると共に、表示／光センサ部３００Ｂの近傍の像を検知することができる。

さらに、データ表示／センサ装置１００は、同図（ｃ）に示すように、表示／光センサ部３００ＡとＢとを、斜め方向にもスライドさせる（ずらす）ことができるようになっている。また、図示していないが、データ表示／センサ装置１００では、表示／光センサ部３００ＡとＢとを横方向にもずらすことができるようになっている。

つまり、データ表示／センサ装置１００では、表示／光センサ部３００ＡとＢとを縦方向及び横方向のみならず、斜め方向にもずらすことができるようになっている。このように表示／光センサ部３００ＡとＢとをスライドさせるための機構は、例えば、表示／光センサ部３００ＡとＢとが対向する面にヒンジを設けることによって実現することが可能である。

具体的には、表示／光センサ部３００Ａの表示／光センサ部３００Ｂに対向する側の面、または表示／光センサ部３００Ｂの表示／光センサ部３００Ａに対向する側の面の何れか一方に中心点から８方向に伸びるレールを設けておき、他方に該レールに沿ってスライドする突起部を設ける構成が考えられる。

なお、スライド機構の構成としては、特にこのような構成に限定されるものではなく、表示／光センサ部３００ＡとＢとが相対的に移動可能な構造であればどのようなものであってもよい。

データ表示／センサ装置１００の主な特徴点は、センサ内蔵液晶パネル３０１Ｂが検知した表示／光センサ部３００Ａの像に基づいて表示／光センサ部３００ＡとＢとのずれ量及びずれ方向を検出し、検出したずれ量及びずれ方向に基づいて動作する点にある。

つまり、データ表示／センサ装置１００では、ユーザが表示／光センサ部３００ＡとＢとをずらして入力操作を行うという、今までにはない入力操作方法を適用している。これにより、ユーザは、入力操作の手応えを感じながら、今までにはない直感的な入力操作を行うことができる。

次に、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１Ａ及びＢの概要について説明する。なお、センサ内蔵液晶パネル３０１Ａ及びＢは、同様の構成を備えているので、以下の説明では、センサ内蔵液晶パネル３０１Ａ及びＢをセンサ内蔵液晶パネル３０１と称して説明する。また、表示／光センサ部３００Ａ及びＢについても同様に、表示／光センサ部３００と称して説明する。

〔センサ内蔵液晶パネルの概要〕
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

〔データ表示／センサ装置の要部構成〕
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行うための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９を備えている。

データ表示／センサ装置１００では、外部通信部９０７の機能により、携帯電話通信網を介して他の携帯電話機等と通話したり、電子メールの送受信を行ったり、インターネットに接続したりすることができるようになっている。これらの機能は、一般の携帯電話機が備えているものを適用することもできる。

また、データ表示／センサ装置１００は、テレビ受信部（放送受信部）９１０を備えている。テレビ受信部９１０は、放送波を受信してデコードし、映像や音声などを出力するものであり、アンテナやチューナ等で構成されている。つまり、データ表示／センサ装置１００では、テレビ放送の視聴が可能になっている。

さらに、データ表示／センサ装置１００は、図示していないが、カメラを備えており、このカメラによって撮影を行うこともできるようになっている。

〔コマンドの詳細〕
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行う周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行う対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

〔全体画像データ／部分画像データ／座標データ〕
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

〔センサ内蔵液晶パネルの構成〕
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

〔データ表示／センサ装置のより詳細な構成〕
次に、図９を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。

図９は、データ表示／センサ装置１００のより詳細な構成を示すブロック図である。図示のように、主制御部８００は、ずれ検出部（ずれ検出手段）１１、表示制御部１２、表示データ保持部１３、及び機能実行部（機能実行手段、入力信号生成手段）１４を備え、記憶部９０１にはアイコン画像記憶部１５が含まれている。

ずれ検出部１１は、表示／光センサ部３００ＡとＢとのずれ量及びずれ方向を検出する。データ表示／センサ装置１００では、ずれ検出部１１が検出したずれ量及びずれ方向に基づいて、機能実行部１４が所定の動作を行うようになっている。なお、ずれの検出方法及び機能実行部１４の実行する動作の詳細については後述する。

表示制御部１２は、機能実行部１４の指示に従ってセンサ内蔵液晶パネル３０１Ａ及びＢの何れかまたは両方に画像を表示させる。また、表示データ保持部１３は、表示制御部１２がセンサ内蔵液晶パネル３０１ＡまたはＢに表示させる画像を格納する。

機能実行部１４は、データ表示／センサ装置１００が備える各機能を実行する。機能実行部１４によって、電子メールの送受信及び閲覧等に関するメール機能、カメラによる撮影等に関する写真機能、通話、履歴管理、電話帳管理等に関する電話機能、各種設定変更機能、音楽再生機能、データ管理機能、その他のアプリケーションソフト実行機能等が実現される。

また、機能実行部１４は、図示のように、メインメニュー表示部（入力信号生成手段）１４１、アプリ起動時メニュー表示部（入力信号生成手段）１４２、テレビ制御部（入力信号生成手段）１４３、及びブラウザ制御部（入力信号生成手段）１４４を備えている。なお、上記のように、機能実行部１４は、メール機能等の複数の機能を実行するが、これらの機能に対応するブロックを全て図示すると図面が煩雑になるので、図９では機能実行部１４の主なブロックのみを示している。また、これら図示していないブロックが実行する処理の主体を、機能実行部１４として説明する。

メインメニュー表示部１４１は、データ表示／センサ装置１００が備える上記各機能の何れを実行するかをユーザに選択させるためのメインメニューをセンサ内蔵液晶パネル３０１Ａ及びＢの何れかまたは両方に表示させる。ここでは、アイコン画像記憶部１５から読み出した、上記各機能に対応するアイコンを表示させることによって、上記各機能の何れを実行するかをユーザに選択させることを想定している。

そして、メインメニュー表示部１４１は、ずれ検出部１１の検出結果に基づいて、表示したアイコンの何れが選択されたかを判断し、選択されたアイコンに対応する機能を実行させるための入力信号を生成する。

アプリ起動時メニュー表示部１４２は、アプリ起動時（メインメニューが表示されていない状態）において、表示／光センサ部３００ＡとＢとを縦方向にずらす操作が行われたときに、表示／光センサ部３００ＡとＢとがずれることによって、露出するセンサ内蔵液晶パネル３０１Ｂに、機能切り換えのためのアイコンを表示させるための入力信号を生成する。

また、アプリ起動時メニュー表示部１４２は、アイコンを表示した状態において、表示／光センサ部３００ＡとＢとを横方向にずらす操作が行われたときに、上記アイコンをスクロール表示する。そして、アプリ起動時メニュー表示部１４２は、表示／光センサ部３００ＡとＢとの横方向のずれがゼロになったときに表示されているアイコンに対応する機能を実行させる。これにより、センサ内蔵液晶パネル３０１Ａでは、新たに実行された機能によって画面表示が行われるようになる。

このように、アプリ起動時メニュー表示部１４２は、現在実行中の機能（アプリ等）によってセンサ内蔵液晶パネル３０１Ａに画像が表示されているときに、センサ内蔵液晶パネル３０１Ｂにアイコンを表示し、このアイコンをユーザに選択させて機能の切り換えを行う。

つまり、アプリ起動時メニュー表示部１４２の上記機能により、ユーザは、現在実行中の機能を終了してメインメニューを再表示させるという従来の携帯電話機等で一般に行われている操作を行うことなく、簡単かつ迅速に機能の切り換えを行うことができる。

テレビ制御部１４３は、ずれ検出部１１の検出結果に基づいて、テレビ受信部９１０の動作を制御する。具体的には、テレビ制御部１４３は、例えばメインメニューからテレビ機能に対応するアイコン（図１１の２１ｄ）が選択されたときに、テレビ受信部９１０に指示して、テレビ放送の受信を開始させる。これにより、受信されたテレビの画像がセンサ内蔵液晶パネル３０１Ａに表示され、音声が音声出力部９０８から出力される。

また、テレビ制御部１４３は、テレビの画像がセンサ内蔵液晶パネル３０１Ａに表示されている状態で、表示／光センサ部３００ＡとＢとを縦方向にずらす操作が行われたときに、テレビ受信部９１０に所定の入力信号を送信して受信チャンネルを切り換えさせる。さらに、テレビ制御部１４３は、テレビの画像がセンサ内蔵液晶パネル３０１Ａに表示されている状態で、表示／光センサ部３００ＡとＢとを横方向にずらす操作が行われたときに、テレビ受信部９１０に指示して受信する放送種別（地上デジタル、ＢＳ、ＣＳ等）を切り換えさせる。

ブラウザ制御部１４４は、ウェブページの閲覧等を可能にするものであり、外部通信部９０７を介してインターネットに接続することで取得したデータ等をセンサ内蔵液晶パネル３０１に表示する機能を有する。

ここで、例えばウェブサイトの閲覧をするときには、表示する画面のサイズが、センサ内蔵液晶パネル３０１Ａが一度に表示可能なサイズを超えていることが多くなると考えられる。ブラウザ制御部１４４は、このようなサイズの画像の一部分がセンサ内蔵液晶パネル３０１Ａに表示されている状態で、表示／光センサ部３００ＡとＢとをずらす操作が行われたときに、画像の表示領域を移動させるための入力信号を生成する。これにより、センサ内蔵液晶パネル３０１Ａに表示される画像がスクロールされるので、ユーザは、大きい画像の所望の位置を直感的な操作で表示させることができる。

また、表示／光センサ部３００ＡとＢとをずらす操作が行われることによって、センサ内蔵液晶パネル３０１Ｂが外部に露出する。ここで、ブラウザ制御部１４４は、外部に露出したセンサ内蔵液晶パネル３０１Ｂに、上記画像のセンサ内蔵液晶パネル３０１Ａに表示しきれていない部分を表示させる。これにより、センサ内蔵液晶パネル３０１ＡとＢとの両方の表示領域を合わせた表示領域に画像が表示されるので、センサ内蔵液晶パネル３０１Ａのみに画像を表示させる場合と比べて、ユーザは一度に広い範囲の画像を閲覧することができる。

〔ずれの検出方法〕
続いて、ずれ検出部１１が表示／光センサ部３００ＡとＢとのずれ量及びずれ方向を検出する方法について、図１０に基づいて説明する。図１０は、表示／光センサ部３００ＡとＢとのずれ量及びずれ方向を検出する方法を模式的に示した図である。図１０では、説明のため、表示／光センサ部３００ＡとＢとの間の距離を強調して記載している。また、図１０では、表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１Ｂに画像が表示されていないことを想定している。

図示のように、表示／光センサ部３００ＡとＢとがずれている場合には、表示／光センサ部３００Ｂにおいて、表示／光センサ部３００Ａと重なっている部分には外光が入射せず、重なっていない部分には外光が入射する。

したがって、表示／光センサ部３００ＡとＢとがずれている状態において、表示／光センサ部３００Ｂにてスキャンを行うことにより、ＳＣＤ１のような画像が取得される。ＳＣＤ１では、表示／光センサ部３００Ｂにおいて、表示／光センサ部３００Ａと重なっている部分が暗く、重なっていない部分が明るくなっている。

このため、ＳＣＤ１における隣接する画素の輝度値や色の変化率が所定の閾値を越える部位を境界として特定することができる、これにより、表示／光センサ部３００ＡとＢとのずれ方向及びずれ量を算出することができる。つまり、図示の例では、ＳＣＤ１の下端から明暗の境界までの距離を、横方向のずれ量として算出することができ、同様にＳＣＤ１の左端から明暗の境界までの距離を、縦方向のずれ量として算出することができる。そして、このようにして算出した横方向及び縦方向のずれ量に基づいて、ずれ方向が斜め方向であることを判断することができ、また斜め方向へのずれ量を判断することができる。

なお、表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１Ｂに画像を表示させた状態においても、上記と同様の方法にて、ずれ量及びずれ方向を検出することができる。ただし、センサ内蔵液晶パネル３０１Ｂに画像を表示させた状態では、センサ内蔵液晶パネル３０１Ｂの発する光が表示／光センサ部３００Ａに反射して、センサ内蔵液晶パネル３０１Ｂで検出される。このため、ＳＣＤ１における明暗の境界の判別が困難となることが考えられる。また、外光の入射量が少ない場合にも、ＳＣＤ１における明暗の境界の判別が困難となることが考えられる。

そこで、ずれ検出部１１は、ＳＣＤ１における明暗の境界の判別に失敗したときには、センサ内蔵液晶パネル３０１Ｂに表示させる画像の輝度を変化させて、再度スキャンを行うことが好ましい。これにより、センサ内蔵液晶パネル３０１Ｂに画像を表示させた状態であっても、また暗い場所で使用する場合であってもずれ量及びずれ方向を正確かつ確実に求めることができる。

〔メインメニューからの機能選択〕
続いて、データ表示／センサ装置１００において、メインメニューから実行する機能を選択するときの処理について、図１１に基づいて説明する。図１１は、メインメニューから実行する機能を選択するときの表示画面の一例を示す図であり、同図（ａ）はメインメニューが表示されたときの画面例を示し、同図（ｂ）はメインメニューから１つのアイコンが選択されたときの画面例を示し、同図（ｃ）は選択されたアイコンに対応する機能を実行した後の画面例を示している。

同図（ａ）に示すメインメニューの画面例では、センサ内蔵液晶パネル３０１Ａに、各機能に対応するアイコン２１ａ〜２１ｊが、センサ内蔵液晶パネル３０１Ａの外周に沿って表示されている。アイコン２１ａ〜２１ｊの表示位置は、固定されていてもよいし、経時的に変化するようになっていてもよい。

なお、アイコン２１ａはメール機能に対応し、アイコン２１ｂは写真機能に対応し、アイコン２１ｃは電話機能に対応し、アイコン２１ｄはテレビ機能に対応し、アイコン２１ｆは設定変更機能に対応し、アイコン２１ｇは音楽機能に対応し、アイコン２１ｈはデータ管理機能に対応し、アイコン２１ｉはその他のアプリ実行機能に対応し、アイコン２１ｊはウェブブラウザ機能に対応している。

同図（ａ）に示すように、アイコン２１ａ〜２１ｊは、それぞれ大きさが異なっている。ここでは、アイコンの表示サイズを、該アイコンに対応する機能の実行頻度に応じて変化させることを想定している。

つまり、データ表示／センサ装置１００では、アイコン２１ａ〜２１ｊのそれぞれについて、累積選択回数を記憶している。そして、選択された回数の多いアイコンを、他のアイコンと比べてより大きく表示する。これにより、ユーザは、使用頻度の高いアイコンを容易に発見することができる。

なお、アイコンのサイズを変化させることは、データ表示／センサ装置１００の必須の構成ではない。実際の選択回数に拘らず、使用頻度の高いアイコンのサイズを予め大きくしておいてもよいし、全てのアイコンのサイズを同じにしてもよい。

また、データ表示／センサ装置１００は、図１に示すように、表示／光センサ部３００ＡとＢとをずらすために、操作時にセンサ内蔵液晶パネル３０１Ａ上にユーザの指が触れることになる。このため、指と重なる位置に表示されたアイコンは、ユーザの視認性が低下してしまう。このため、センサ内蔵液晶パネル３０１Ａでスキャンを行って得た画像から指の位置検知し、指の位置にはアイコンを表示しないようにすることが好ましい。なお、アイコンの形状、表示位置等は、これらの例に限られず、適宜変更することができる。

ここで、同図（ａ）の例では、「ＭＡＩＬ」と表示されたアイコン２１ａが、センサ内蔵液晶パネル３０１Ａの表示画面の中心部分に対して、左上に位置している。データ表示／センサ装置１００では、この状態において、同図（ｂ）に示すように、表示／光センサ部３００Ａを、表示／光センサ部３００Ｂに対して、左上方向にずらすことにより、アイコン２１ａを選択候補とすることができるようになっている。

そして、データ表示／センサ装置１００は、アイコンが選択候補とされると、選択候補とされたアイコンをユーザが確認できるように、選択候補とされたアイコンの表示態様を変化させる。図示の例では、アイコン２１ａの輝度値を他のアイコンよりも上げることによって、アイコン２１ａが選択候補とされたことをユーザに確認させることを想定しているが、選択候補とされたアイコンの表示態様は、この例に限られない。

また、図示の例では、選択候補とされなかったアイコンを、センサ内蔵液晶パネル３０１Ａから、表示／光センサ部３００ＡとＢとがずれたことによってユーザが視認可能となったセンサ内蔵液晶パネル３０１Ｂに移動していくように表示する。これにより、ユーザは、メニューからアイコンを選択する操作を視覚的に楽しむことができる。なお、このような表示は一例であり、このような表示を行うことは、データ表示／センサ装置１００の必須の構成ではない。

そして、データ表示／センサ装置１００では、何れかのアイコンを選択候補として、表示／光センサ部３００ＡとＢとを閉じる、すなわち表示／光センサ部３００ＡとＢとが完全に重なり合う状態とすることによって、選択候補とされたアイコンに対応する機能を実行するようになっている。

つまり、同図（ｂ）の状態で、表示／光センサ部３００ＡとＢとを閉じることによって、アイコン２１ａに対応する機能であるメール機能が実行される。これにより、同図（ｃ）に示すように、センサ内蔵液晶パネル３０１Ａにメールの文面２２のような、メールに関連する画像が表示されるようになる。

なお、図１１には示していないが、実際にメール機能が実行されたときには、まず、メールの送信、受信メールの確認等の項目を含むサブメニューがセンサ内蔵液晶パネル３０１Ａに表示される。そして、ユーザが、サブメニューから受信メールの確認の項目を選択して、受信メールの一覧を表示させ、一覧からメールを選択することによって、同図（ｃ）に示すようなメールの文面２２が表示される。

ここで、同図（ｃ）の画面例では、メールの文面２２が表示されていると共に、上向きの矢印と「ＭＥＮＵ」の文字とで構成される操作ガイド２３、左下向きの矢印と「ＲＥＴＵＲＮ」の文字とで構成される操作ガイド２４、及び右下向きの矢印と「ＮＥＸＴ」の文字とで構成される操作ガイド２５が表示されている。

これらの操作ガイド２３〜２５に従って表示／光センサ部３００ＡとＢとをずらすことによって、各操作ガイド２３〜２５に記載の文字列に対応する処理をデータ表示／センサ装置１００に実行させることができる。

具体的には、操作ガイド２４に従って表示／光センサ部３００ＡをＢに対して左下方向にずらしたときには、「ＲＥＴＵＲＮ」に対応する処理、すなわちメールの文面２２を表示する前に表示されていた画像（メールの一覧）を再度表示させる処理が行われる。

また、操作ガイド２５に従って表示／光センサ部３００ＡをＢに対して右下方向にずらしたときには、「ＮＥＸＴ」に対応する処理、すなわちメールの一覧において、現在表示している文面２２に対応するメールの次に位置するメールの文面を表示する処理が行われる。

そして、操作ガイド２３に従って表示／光センサ部３００ＡをＢに対して上方向にずらしたときには、「ＭＥＮＵ」に対応する処理、すなわち表示／光センサ部３００ＡをＢに対して上方向にずらすことによって、ユーザが視認可能となったセンサ内蔵液晶パネル３０１Ｂに、メインメニューから選択可能な各機能に対応するアイコンを表示させる処理が行われる。

つまり、従来の携帯電話機等では、実行する機能を切り換えるときには、現在実行中の機能を終了し、メインメニューを表示させ、メインメニューから切り換え先の機能を選択するという操作が必要であった。これに対し、データ表示／センサ装置１００では、ある機能を実行しているときに、その機能を終了することなく、またメインメニュー画面に戻ることなく、機能選択用のメニューを表示させて、表示させたメニューから切り換え先の機能を選択することができる。機能実行中にメニューを表示させる処理の詳細については後述する。

〔メインメニューから機能選択する処理の流れ〕
続いて、図１２に基づいて、メインメニューから機能選択する処理の流れについて説明する。図１２は、メインメニューから機能選択する処理の一例を示すフローチャートである。メインメニューから機能選択する処理は、メインメニュー表示部１４１の制御に従って行われる。

まず、メインメニュー表示部１４１は、アイコン画像記憶部１５から、メインメニュー用のアイコンを読み出し、読み出したアイコンをセンサ内蔵液晶パネル３０１Ａの表示領域に合わせたサイズの背景画像上に配置してメインメニュー画面を作成し、表示制御部１２に指示してこれをセンサ内蔵液晶パネル３０１Ａに表示させる（Ｓ１０）。なお、背景画像は、アイコンの視認性を低下させるようなものでなければ、どのようなものであってもよい。

なお、このときに、メインメニュー表示部１４１は、各アイコンの選択頻度に応じて、各アイコンの表示サイズを指定するようにしてもよい。これにより、図１１（ａ）（ｂ）の例のように、使用頻度に応じたサイズのアイコンを表示させることができる。

そして、メインメニュー表示部１４１は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとのずれを検出するのを待ち受ける（Ｓ１１）。

ここで、ずれ検出部１１が、表示／光センサ部３００ＡとＢとのずれを検出したことを確認する（Ｓ１１でＹＥＳ）と、メインメニュー表示部１４１は、各アイコンの表示位置と、ずれ検出部１１が検出したずれ方向とに基づき、該ずれ方向に最も近い位置に表示されているアイコンが選択されたと判断し、これを選択候補として決定する（Ｓ１２）。

選択候補を決定したメインメニュー表示部１４１は、該アイコンが選択候補となっていることをユーザが視認できるように、表示制御部１２に指示して、選択候補のアイコンの表示態様を変化させる。また、メインメニュー表示部１４１は、表示制御部１２に指示して、選択候補となっていないアイコンが、センサ内蔵液晶パネル３０１Ｂ側に移動していくように表示させる（Ｓ１３）。なお、このように、センサ内蔵液晶パネル３０１ＡとＢとにまたがった表示を行う方法については後述する。

そして、メインメニュー表示部１４１は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとのずれ量がゼロになったことを検出するのを待ち受ける（Ｓ１４）。ここで、ずれ量がゼロになったことが検出されない場合（Ｓ１４でＮＯ）には、Ｓ１２の処理に戻る。

なお、この場合に、ずれの方向が変化しているときには、メインメニュー表示部１４１は、各アイコンの表示位置と、ずれ検出部１１が検出した最新のずれ方向とに基づき、該ずれ方向に最も近い位置に表示されているアイコンが選択されたと判断し、これを選択候補として決定する。つまり、表示／光センサ部３００ＡとＢとを閉じた状態として確定するまでの間は、表示／光センサ部３００ＡとＢとのずれ方向を変化させることによって選択候補を変更することができるようになっている。

一方、ずれ量がゼロになったことが検出された場合（Ｓ１４でＹＥＳ）には、メインメニュー表示部１４１は、選択されたアイコンに対応する処理を実行する（Ｓ１５）。すなわち、この場合には、メインメニュー表示部１４１は、現在選択候補となっているアイコンに対応する処理を機能実行部１４に実行させ、これによりメインメニューから機能選択する処理は終了する。

なお、メインメニューから機能選択する処理は、上記の例に限られない。例えば、図１２の例では、Ｓ１２において、ずれ方向に最も近い位置に表示されているアイコンを選択候補としているが、この段階でアイコンの選択を確定し、選択されたアイコンに対応する機能を実行させるようにしてもよい。この場合には、Ｓ１３及びＳ１４の処理が省略される。

また、センサ内蔵液晶パネル３０１Ａ及びＢは、像を検知することができるので、該センサ内蔵液晶パネル３０１Ａ及びＢに対する指やペン先などの接触を検知することもできる。したがって、指やペン先などで触れることによっても、表示したアイコンを選択することができるように構成してもよい。

なお、データ表示／センサ装置１００では、図１に示すように、表示／光センサ部３００ＡとＢとをずらすためにセンサ内蔵液晶パネル３０１Ａ上にユーザの指が置かれる。このため、表示／光センサ部３００ＡとＢとをずらすための指の接触と、アイコンを選択するための接触とを識別するための工夫を施しておくことが好ましい。例えば、アイコンを選択するためには、マウスのダブルクリックと同様に、アイコンが表示されている位置に２回連続タッチすることによって、当該アイコンが選択されたと判断するようにすればよい。

〔２つのセンサ内蔵液晶パネルにまたがった表示を行う方法〕
図１１（ｂ）に示すように、データ表示／センサ装置１００では、表示／光センサ部３００ＡとＢとをずらしたときには、センサ内蔵液晶パネル３０１Ａと、表示／光センサ部３００ＡとＢとをずらすことによって外部から視認可能となったセンサ内蔵液晶パネル３０１Ｂとの両方で画像を表示する。これにより、センサ内蔵液晶パネル３０１Ａに表示しきれないサイズの画像を表示することができる。ここでは、このような画像の表示方法について説明する。

メインメニュー表示部１４１は、表示／光センサ部３００ＡとＢとをずらしたときには、センサ内蔵液晶パネル３０１Ａの表示領域（以下、表示領域Ａと呼ぶ）に、表示／光センサ部３００ＡとＢとをずらすことによって外部から視認可能となったセンサ内蔵液晶パネル３０１Ｂの表示領域（以下、表示領域Ｂと呼ぶ）を加えた表示領域（以下、表示領域Ａ＋Ｂと呼ぶ）に画像の表示を行う。

つまり、メインメニュー表示部１４１は、表示領域Ａ＋Ｂのサイズに合わせた背景画像上に、アイコンを配置してメインメニュー画面を生成する。そして、メインメニュー表示部１４１は、表示制御部１２に指示して、上記生成したメインメニュー画面の、表示領域Ａに対応する領域をセンサ内蔵液晶パネル３０１Ａに表示させ、他の領域をセンサ内蔵液晶パネル３０１Ｂに表示させる。

これにより、図１１（ｂ）に示すように、センサ内蔵液晶パネル３０１ＡとＢとの両方を表示領域として、センサ内蔵液晶パネル３０１ＡとＢとにまたがった画像を表示することができる。

〔機能実行中にメニューを表示させる処理〕
次に、機能実行中にメニューを表示させる処理について、図１３に基づいて説明する。図１３は、機能実行中にメニューを表示させるときの表示画面の一例を示す図であり、同図（ａ）は機能実行中の画面例を示し、同図（ｂ）は機能実行中にメニューを表示させたときの画面例を示し、同図（ｃ）は表示させたメニューをスクロールさせているときの画面例を示し、同図（ｄ）はメニューが選択されて機能が切り替わったときの画面例を示している。

同図（ａ）は、図１１（ｃ）と同じである。すなわち、ここではメール機能の実行中にメニューを表示させる例を示している。上述のように、操作ガイド２３が、メニューを表示させる操作を示している。

操作ガイド２３に従い、表示／光センサ部３００ＡをＢに対して同図の下向きにずらすと、表示／光センサ部３００ＡとＢとがずれたことによってユーザが視認可能となったセンサ内蔵液晶パネル３０１Ｂにアイコンが表示される。同図（ｂ）の例では、現在実行中のメール機能に対応するアイコン２６ａが表示されている。

また、同図（ｂ）の例では、アイコン２６ａの右側に右向きの矢印が、左側に左向きの矢印が表示されている。この矢印の表示に従い、表示／光センサ部３００ＡをＢに対して同図の右向きまたは左向きにずらすことによって、アイコン２６ａを右向きまたは左向きに移動させて、メール機能以外の機能に対応するアイコンを表示させることができる。つまり、図１１のメインメニューでは一覧表示されていたアイコンを、ここではスクロール表示する。

また、ここでは、センサ内蔵液晶パネル３０１Ｂに表示させたアイコンをスクロール表示する処理と連動させて、センサ内蔵液晶パネル３０１Ａに表示される当該アイコンに対応する機能を実行したときの画面もスクロール表示する。

これにより、表示／光センサ部３００ＡをＢに対して同図の右向きにずらしたときには、同図（ｃ）に示すように、センサ内蔵液晶パネル３０１Ｂにおいては、アイコン２６ａの表示位置が左側に移動すると共に、右側から電話機能に対応するアイコン２６ｂが現れるように表示が行われる。

同時に、センサ内蔵液晶パネル３０１Ａにおいては、メール文面２２の表示位置が左側に移動すると共に、右側から電話機能に対応する表示画面であるアドレス帳２７が現れるように表示が行われる。またこのときには、図１１（ｂ）のアイコン２１ｃ等と同様に、メール文面２２がセンサ内蔵液晶パネル３０１Ａ及びＢにまたがって表示される。

このように、データ表示／センサ装置１００では、機能の実行中に、表示／光センサ部３００ＡをＢに対して下向きにずらし、さらに表示／光センサ部３００ＡをＢに対して右向きにずらすことにより、アイコン及び該アイコンに対応する機能の表示画面が左向きに流れていくようにスクロール表示が行われる。また、このスクロール表示の速度は、ずれ量が大きいほど速くなるようになっている。なお、表示／光センサ部３００ＡをＢに対して左向きにずらした場合にはスクロール方向が逆向きになる。

そして、表示／光センサ部３００ＡのＢに対する左右方向のずれをゼロにすることにより、スクロール表示は終了する。つまり、この時点において表示中の機能がそのまま実行される。なお、２つの機能が表示されているときに、スクロール表示が終了されたときには、予め定めたルールに従って、何れかの機能を実行する。例えば、表示中の面積が広い方の機能を実行するようにしてもよいし、スクロールの上流側（図１３（ｃ）の例では右側）の機能を実行するようにしてもよい。

同図（ｄ）は、メール機能から電話機能に切り換え後の画面例を示している。図示のように、センサ内蔵液晶パネル３０１Ａには、アドレス帳２７が表示されており、センサ内蔵液晶パネル３０１Ｂには、電話機能に対応するアイコン２６ｂが表示されている。また、センサ内蔵液晶パネル３０１Ａに表示されたアドレス帳２７上には、カーソル２８が表示されている。

データ表示／センサ装置１００では、同図（ｄ）の状態から、表示／光センサ部３００ＡをＢに対してさらに下向きにずらすことにより、アドレス帳を下向きにスクロールさせることができるようになっている。これにより、ユーザは、アドレス帳２７に含まれるアドレス情報の中から任意のアドレスを選択することができる。

〔メニューアイコンをスクロール表示する処理の流れ〕
続いて、図１４に基づいて、メニューアイコンをスクロール表示する処理の流れについて説明する。図１４は、メニューアイコンをスクロール表示する処理の一例を示すフローチャートである。メニューアイコンをスクロール表示する処理は、アプリ起動時メニュー表示部１４２の制御に従って行われる。

まず、アプリ起動時メニュー表示部１４２は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとの縦方向のずれ（ずれたときにセンサ内蔵液晶パネル３０１Ａの上側にセンサ内蔵液晶パネル３０１Ｂが現れる向きのずれ）を検出するのを待ち受ける（Ｓ２０）。

ここで、ずれ検出部１１が、縦方向のずれを検出したことを確認する（Ｓ２０でＹＥＳ）と、アプリ起動時メニュー表示部１４２は、アイコン画像記憶部１５から、スクロール表示用のアイコンを読み出し、表示制御部１２に指示してこれをセンサ内蔵液晶パネル３０１Ｂに表示させる（Ｓ２１）。もちろん、アイコンを表示させる位置は、表示／光センサ部３００ＡとＢとが縦方向にずれたことによって、ユーザに視認可能となった位置である。

続いて、アプリ起動時メニュー表示部１４２は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとの横方向のずれを検出するのを待ち受ける（Ｓ２２）。

ここで、ずれ検出部１１が、表示／光センサ部３００ＡとＢとの横方向のずれを検出したことを確認する（Ｓ２２でＹＥＳ）と、アプリ起動時メニュー表示部１４２は、ずれ検出部１１が検出した横方向のずれ量に基づき、メニューアイコンの移動速度（スクロール速度）を決定する（Ｓ２３）。なお、アプリ起動時メニュー表示部１４２は、ずれ量が大きいほど大きい移動速度を決定する。そして、移動速度を決定したアプリ起動時メニュー表示部１４２は、決定した移動速度でスクロール表示を開始する（Ｓ２４）。

具体的には、アプリ起動時メニュー表示部１４２は、表示制御部１２に指示して、現在センサ内蔵液晶パネル３０１Ｂに表示中のアイコンの表示位置を上記決定した移動速度で移動させる。

また、アプリ起動時メニュー表示部１４２は、アイコン画像記憶部１５から、現在表示中のアイコンとは別の機能に対応するアイコンの画像を読み出し、表示制御部１２に指示して、読み出したアイコンと、現在表示中のアイコンとの間隔がセンサ内蔵液晶パネル３０１Ａの横幅と等しくなるように表示させる。

同時に、アプリ起動時メニュー表示部１４２は、表示中のアイコンに対応する機能の表示画面を、アイコンのスクロールと連動するようにスクロール表示させる。具体的には、アプリ起動時メニュー表示部１４２は、まず現在表示中の各アイコンに対応する機能によって表示される表示画面をアイコンの表示順に従って並列に組み合わせた組合せ画像を生成する。

なお、各アイコンに対応する機能によって表示される表示画面は、当該機能を起動させて生成させてもよいし、予め表示データ保持部１３に格納しておいてもよい。機能を起動させる場合には、スクロール表示終了時にスムーズに当該機能を実行することができるという利点がある。また、表示データ保持部１３に格納しておく場合には、スクロール表示を行うときに、各機能を起動させる必要がないという利点がある。

次に、アプリ起動時メニュー表示部１４２は、上記生成した組合せ画像の表示領域を決定する。すなわち、アプリ起動時メニュー表示部１４２は、上記アイコンの表示位置に基づいて、上記組合せ画像からセンサ内蔵液晶パネル３０１Ａ及びＢに表示させる（表示領域Ａ＋Ｂに表示させる）画像を切り出す。

そして、アプリ起動時メニュー表示部１４２は、表示制御部１２に指示して、上記切り出した画像の、表示領域Ａに対応する領域をセンサ内蔵液晶パネル３０１Ａに表示させ、他の領域をセンサ内蔵液晶パネル３０１Ｂに表示させる。

これにより、図１３（ｃ）に示すように、センサ内蔵液晶パネル３０１ＡとＢとの両方を表示領域として、センサ内蔵液晶パネル３０１ＡとＢとにまたがって、各機能の画面を表示することができる。

このような処理を繰り返すことにより、各機能に対応するアイコンと、該アイコンに対応する機能の表示画面とがスクロール表示される。なお、全てのアイコンを一通り表示させた後も、同じ表示順でスクロール表示が繰り返される。

このスクロール表示中において、アプリ起動時メニュー表示部１４２は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとの横方向のずれ量が変化したことを検出するのを待ち受ける（Ｓ２５）。

ここで、横方向のずれ量の変化が検出されたことを確認した場合（Ｓ２５でＹＥＳ）には、アプリ起動時メニュー表示部１４２は、横方向のずれ量がゼロとなったか否かを確認する（Ｓ２６）。ずれ量がゼロになったことが検出されない場合（Ｓ２６でＮＯ）には、Ｓ２３の処理に戻る。

この場合には、アプリ起動時メニュー表示部１４２は、ずれ検出部１１が検出した最新のずれ量に基づき、スクロール表示速度を再設定する。つまり、表示／光センサ部３００ＡとＢとの横方向のずれ量をゼロにするまでの間は、表示／光センサ部３００ＡとＢとのずれ量を変化させることによってスクロール速度を変化させることができるようになっている。

一方、ずれ量がゼロになったことが検出された場合（Ｓ２６でＹＥＳ）には、アプリ起動時メニュー表示部１４２は、表示中のアイコンに対応する処理を実行する（Ｓ２７）。すなわち、この場合には、アプリ起動時メニュー表示部１４２は、現在表示中のアイコンに対応する処理を機能実行部１４に実行させ、これによりメニューアイコンをスクロール表示させる処理は終了する。なお、上述のように、複数のアイコンが同時に表示されている場合には、予め定めたルールに従って選択された１つのアイコンに対応する処理が実行される。

なお、上記の処理は一例であり、機能実行中にメニューを表示させる処理は、この例に限られない。例えば、上記の例では、各機能に対応する表示画面もスクロールさせているが、アイコンのみをスクロールさせるようにしてもよい。また、アイコンのスクロール方向も、データ表示／センサ装置１００の横方向に限られず、縦方向や斜め方向にスクロールさせてもよい。

〔項目選択処理の流れ〕
続いて、図１３（ｃ）の状態において、カーソル２８を移動させてアドレスを選択する際に行われる項目選択処理の流れについて、図１５に基づいて説明する。図１５は、項目選択処理の一例を示すフローチャートである。なお、項目選択処理は、現在実行中の機能の一部として行われる。例えば、図１３（ｂ）の例では、電話機能が実行中であるから、電話機能を実現するアプリケーションソフトによって、項目選択処理が行われる。

項目選択処理では、まず、ずれ検出部１１が、表示／光センサ部３００ＡとＢとのずれの検出が待ち受けられる（Ｓ３０）。ここで、ずれ検出部１１が、ずれを検出したことが確認される（Ｓ３０でＹＥＳ）と、ずれ検出部１１が検出したずれ量とずれ方向とに基づき、スクロール速度が決定される（Ｓ３１）。そして、決定された移動速度でスクロール表示が開始される（Ｓ３２）。

なお、スクロール表示においては、カーソル画像をスクロールさせるようにしてもよいし、カーソル画像の画面上の位置は固定とし、表示画面をスクロールさせるようにしてもよい。要は、画面上において、カーソルが合っている項目が順次切り替わるようになっていればよい。

スクロール表示中においては、ずれ検出部１１が、表示／光センサ部３００ＡとＢとのずれ量またはずれ方向の変化の検出が待ち受けられ（Ｓ３３）、ずれ量またはずれ方向の変化が検出されたことが確認された場合（Ｓ３３でＹＥＳ）には、ずれ量がゼロとなったか否かが確認される（Ｓ３４）。ここで、ずれ量がゼロになったことが検出されない場合（Ｓ３４でＮＯ）には、Ｓ３１の処理に戻る。

この場合には、ずれ検出部１１が検出した最新のずれ量に基づき、スクロール表示速度が再設定される。つまり、表示／光センサ部３００ＡとＢとの横方向のずれ量をゼロにするまでの間は、表示／光センサ部３００ＡとＢとのずれ量を変化させることによってスクロール速度を変化させることができるようになっている。

一方、ずれ量がゼロになったことが検出された場合（Ｓ３４でＹＥＳ）には、カーソル位置に対応する項目が選択されたと判断される（Ｓ３５）。そして、処理は、Ｓ３０に戻り、機能の切り換えや電源オフ等の操作が行われるまでの間、項目選択処理は実行され続ける。

なお、上記の例では、カーソルの表示位置を固定し、選択対象となる項目をスクロールさせる例を示したが、カーソルの表示位置を移動させるようにしてもよい。

〔テレビ機能実行中の動作〕
上述のように、データ表示／センサ装置１００は、テレビ放送の受信出力機能（テレビ機能）を備えている。ここでは、テレビ機能の実行中のデータ表示／センサ装置１００の動作について、図１６に基づいて説明する。

図１６は、テレビ機能実行中の表示画面の一例を示す図であり、同図（ａ）は表示／光センサ部３００ＡとＢとがずれていない状態の画面例を示し、同図（ｂ）は表示／光センサ部３００ＡとＢとを縦方向にずらしたときの画面例を示し、同図（ｃ）は再び表示／光センサ部３００ＡとＢとがずれていない状態に戻したときの画面例を示している。

テレビ機能を実行することにより、センサ内蔵液晶パネル３０１Ａには、テレビ受信部９１０（図９等参照）が受信出力したテレビ番組の画像が表示される。一般に放送されているテレビ番組の画像は横長であるから、テレビ機能実行時にはデータ表示／センサ装置１００は、図示のように横向きにして使用される。ここでは、センサ内蔵液晶パネル３０１Ａにある番組の画像４１が表示されているものとする。

データ表示／センサ装置１００では、テレビ機能を実行しているときに、表示／光センサ部３００ＡとＢとをずらすことによって、チャンネルを切り換えることができるようになっている。

つまり、図１６（ｂ）に示すように、表示／光センサ部３００ＡをＢに対して縦方向（同図の左向き）にずらすことにより、同図（ａ）の状態でセンサ内蔵液晶パネル３０１Ａの全面に表示されていた画像４１が左側にずれる。そして、ずれた画像４１の右側の端部を左端とする画像４２が、センサ内蔵液晶パネル３０１ＡとＢとにまたがって表示される。この画像４２が、チャンネル切り換え後の番組の画像である。

そして、同図（ｃ）に示すように、表示／光センサ部３００ＡとＢとをずれがない状態に戻すことにより、チャンネル切り換えが確定されて、画像４２がセンサ内蔵液晶パネル３０１Ａの全面に表示される。

また、図１６には示していないが、データ表示／センサ装置１００では、テレビ機能の実行中に、表示／光センサ部３００ＡとＢとを横方向（図１６の上下方向）にずらすことによって、放送種別（地上デジタル放送、ＢＳ放送、ＣＳ放送等）を切り換えることもできるようになっている。

つまり、データ表示／センサ装置１００では、図１７に示すようなイメージでチャンネル及び放送種別の切り換えを行うことができるようになっている。図１７は、データ表示／センサ装置１００において、チャンネル及び放送種別が切り換えられる態様を説明する図である。

同図において、Ｌ１は第１放送（例えば地上デジタル放送）のチャンネル群を示し、Ｌ２は第２放送（例えばＢＳ放送）のチャンネル群を示し、Ｌ３は第３放送（例えばＣＳ放送）のチャンネル群を示している。つまり、Ｌ１〜Ｌ３を構成する各矩形が、各放送における番組の画像を示している。また、同図では、矩形Ｐの位置の画像が、センサ内蔵液晶パネル３０１Ａに表示されることを想定している。

つまり、データ表示／センサ装置１００では、表示／光センサ部３００ＡとＢとを縦方向（図１６の左右方向）にずらすことにより、Ｌ１が回転するようなイメージで、現在表示中の画像（矩形Ｐの位置の画像）がずれ、代わりに現在表示中の画像の隣に位置する画像が矩形Ｐの位置に移動してゆくように表示が行われる。

また、データ表示／センサ装置１００では、表示／光センサ部３００ＡとＢとを横方向（図１６の上下方向）にずらすことにより、Ｌ１とＬ２またはＬ３が切り換わるようなイメージで、現在表示中の画像（矩形Ｐの位置の画像）の代わりに現在表示中の画像の上または下に位置する画像が表示される。

〔テレビ機能実行中の処理の流れ〕
続いて、図１８に基づいて、テレビ機能実行中の処理の流れについて説明する。図１８は、テレビ機能実行中の処理の一例を示すフローチャートである。テレビ機能実行中の処理は、テレビ制御部１４３の制御に従って行われる。

まず、テレビ制御部１４３は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとの縦方向のずれ（図１６の左右方向のずれ）を検出したか否かを確認する（Ｓ４０）。ここで、縦方向のずれの検出が確認できなかった場合（Ｓ４０でＮＯ）には、テレビ制御部１４３は、Ｓ４６の処理に進む。なお、Ｓ４６以降の説明は、Ｓ４５までの説明の後で行う。

一方、ずれ検出部１１が、縦方向のずれを検出したことを確認する（Ｓ４０でＹＥＳ）と、テレビ制御部１４３は、ずれ検出部１１が検出したずれの向き及びずれ量に基づき、チャンネル変更（切り換え）速度を決定する（Ｓ４１）。なお、テレビ制御部１４３は、ずれ量が大きいほど大きい切り換え速度とする。そして、テレビ制御部１４３は、決定した速度でチャンネル切り換えを開始する（Ｓ４２）。

具体的には、テレビ制御部１４３は、まず、ずれの向きに基づいて切り換え先のチャンネルを特定し、テレビ受信部９１０に指示して特定したチャンネルの番組を受信させる。これにより、切り換え先のチャンネルの画像がテレビ制御部１４３に送られる。なお、切り換え先のチャンネルは、図１７に示したように、ずれの向きに応じて予め定められている。

また、テレビ制御部１４３は、切り換え前の番組の画像と、切り換え先の番組の画像とをチャンネルの切り換え順に従って並列に組み合わせた組合せ画像を生成する。なお、組合せ画像は、動画像であってもよい。切り換え前の番組の画像と、切り換え先の番組の画像との両方を動画像とする場合には、テレビ受信部９１０に２つのチューナを設けておき、一方のチューナで切り換え前の番組を受信させ、他方のチューナで切り換え先の番組を受信させればよい。チューナが１つである場合には、切り換え前の番組の画像を表示データ保持部１３に格納しておき、上記チューナで受信した番組の静止画像または動画像と、表示データ保持部１３に格納した静止画像とを組み合わせて組合せ画像を生成すればよい。

次に、テレビ制御部１４３は、上記生成した組合せ画像の表示領域を決定する。すなわち、テレビ制御部１４３は、上記組合せ画像からセンサ内蔵液晶パネル３０１Ａ及びＢに表示させる（表示領域Ａ＋Ｂに表示させる）画像を切り出す。なお、画像の切り出し位置は、切り換え前の番組の画像側から、切り換え先の番組の画像側へと経時的に変化する。この切り出し位置の変化量は、Ｓ４１で決定した切り換え速度に応じて決定される。つまり、切り換え速度が大きい場合には、切り出し位置の時間当たりの変化量を大きくし、切り換え速度が小さい場合には、切り出し位置の時間当たりの変化量を小さくする。

そして、テレビ制御部１４３は、表示制御部１２に指示して、上記切り出した画像の、表示領域Ａに対応する領域をセンサ内蔵液晶パネル３０１Ａに表示させ、他の領域をセンサ内蔵液晶パネル３０１Ｂに表示させる。

これにより、図１６（ｂ）に示すように、センサ内蔵液晶パネル３０１ＡとＢとの両方を表示領域として、センサ内蔵液晶パネル３０１ＡとＢとにまたがって、切り換え前の番組の画像と、切り換え先の番組の画像とを表示することができる。なお、全てのチャンネルの画像を一通り表示させた後も、同じ順番で画像が表示される。

また、チャンネル切り換え中において、テレビ制御部１４３は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとの縦方向のずれ量が変化したことを検出するのを待ち受ける（Ｓ４３）。

ここで、縦方向のずれ量の変化が検出されたことを確認した場合（Ｓ４３でＹＥＳ）には、テレビ制御部１４３は、縦方向のずれ量がゼロとなったか否かを確認する（Ｓ４４）。ずれ量がゼロになったことが検出されない場合（Ｓ４４でＮＯ）には、Ｓ４１の処理に戻る。

この場合には、テレビ制御部１４３は、ずれ検出部１１が検出した最新のずれ量に基づき、チャンネル切り換え速度を再設定する。つまり、表示／光センサ部３００ＡとＢとの縦方向のずれ量をゼロにするまでの間は、表示／光センサ部３００ＡとＢとのずれ量を変化させることによってチャンネル切り換え速度を変化させることができるようになっている。

一方、ずれ量がゼロになったことが検出された場合（Ｓ４４でＹＥＳ）には、テレビ制御部１４３は、チャンネル切り換えを終了する（Ｓ４５）。すなわち、この場合には、テレビ制御部１４３は、現在表示中の画像に対応する番組の画像を出力させる。なお、複数の番組の画像が同時に表示されている場合には、テレビ制御部１４３は、予め定めたルール（例えば、切り換え先の番組を選択する等）に従って選択した１つの番組を出力させる。

チャンネル切り換えを終了した後、またはＳ４０において左右方向のずれが検出されなかったときには、処理はＳ４６に進み、テレビ制御部１４３は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとの横方向のずれ（図１６の上下方向のずれ）を検出したか否かを確認する。ここで、縦方向のずれの検出が確認できなかった場合（Ｓ４６でＮＯ）には、処理はＳ４０に戻る。

一方、ずれ検出部１１が、横方向のずれを検出したことを確認する（Ｓ４６でＹＥＳ）と、テレビ制御部１４３は、ずれ検出部１１が検出したずれの向き及びずれ量に基づき、放送種別の変更（切り換え）速度を決定する（Ｓ４７）。なお、テレビ制御部１４３は、ずれ量が大きいほど大きい切り換え速度とする。そして、テレビ制御部１４３は、決定した速度で放送種別の切り換えを開始する（Ｓ４８）。

具体的には、テレビ制御部１４３は、まず、ずれの向きに基づいて切り換え先の放送種別を特定し、現在表示しているチャンネルに基づいて切り換え先のチャンネルを特定する。そして、テレビ受信部９１０に指示して、上記特定した種別の放送における、上記特定したチャンネルの番組を受信させる。これにより、切り換え先のチャンネルの画像がセンサ内蔵液晶パネル３０１Ａに表示される。なお、ずれの向きと切り換え先の放送種別との対応は、図１７に示したように、予め定めておけばよい。同様に、現在表示しているチャンネルと切り換え先のチャンネルとについても、予め定めておけばよい。

また、放送種別の切り換え中において、テレビ制御部１４３は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとの横方向のずれ量が変化したことを検出するのを待ち受ける（Ｓ４９）。

ここで、横方向のずれ量の変化が検出されたことを確認した場合（Ｓ４９でＹＥＳ）には、テレビ制御部１４３は、横方向のずれ量がゼロとなったか否かを確認する（Ｓ５０）。ずれ量がゼロになったことが検出されない場合（Ｓ５０でＮＯ）には、Ｓ４７の処理に戻る。

この場合には、テレビ制御部１４３は、ずれ検出部１１が検出した最新のずれ量に基づき、放送種別の切り換え速度を再設定する。つまり、表示／光センサ部３００ＡとＢとの横方向のずれ量をゼロにするまでの間は、表示／光センサ部３００ＡとＢとのずれ量を変化させることによって放送種別の切り換え速度を変化させることができるようになっている。

一方、ずれ量がゼロになったことが検出された場合（Ｓ５０でＹＥＳ）には、テレビ制御部１４３は、放送種別の切り換えを終了し（Ｓ５１）、処理はＳ４０に戻る。

なお、上記の例では、チャンネル切り換え中に、センサ内蔵液晶パネル３０１Ａ及びＢの表示領域に、切り換え元の番組の画面と、切り換え先の番組の画面とを両方表示する例を示したが、１つの番組の画面のみをセンサ内蔵液晶パネル３０１Ａのみに表示するようにしてもよい。

〔地図画像表示中の動作〕
上述のように、データ表示／センサ装置１００は、インターネット上のデータを閲覧するウェブブラウザ機能を備えている。ここでは、ウェブブラウザ機能の実行中におけるデータ表示／センサ装置１００の動作の一例として、地図の画像を表示しているときの動作例について、図１９に基づいて説明する。

図１９は、地図画像を表示しているときの画面例を示す図であり、同図（ａ）は表示／光センサ部３００ＡとＢとがずれていない状態の画面例を示し、同図（ｂ）は表示／光センサ部３００ＡをＢに対して左斜め上方向にずらしたときの画面例を示し、同図（ｃ）は表示／光センサ部３００ＡとＢとの左斜め上方向のずれ量をさらに大きくしたときの画面例を示している。

データ表示／センサ装置１００では、地図等の画像を表示しているときに、表示／光センサ部３００ＡとＢとをずらすことによって、表示位置をスクロールすることができるようになっている。なお、ここで表示する地図画像は、センサ内蔵液晶パネル３０１Ａの表示領域に一度に表示可能なサイズを超えているものとする。つまり、センサ内蔵液晶パネル３０１Ａには、元の地図画像（以下、元画像と呼ぶ）の一部が切り出されて表示される。

同図（ａ）の例では、センサ内蔵液晶パネル３０１Ａに地図画像４３ａが表示されている。この状態において、表示／光センサ部３００ＡをＢに対してずらすことにより、ずらした方向に、地図画像をスクロールして表示することができる。

つまり、同図（ｂ）に示すように、表示／光センサ部３００ＡをＢに対して左斜め上方向にずらしたときには、元画像から、地図画像４３ａの切り出し位置よりも左斜め上方に移動した切り出し位置で切り出された地図画像４３ｂがセンサ内蔵液晶パネル３０１Ａ（表示領域Ａ）に表示される。

また、同図（ｂ）に示すように、表示／光センサ部３００ＡをＢに対して左斜め上方向にずらしたときには、表示／光センサ部３００ＡとＢとをずらすことによって外部から視認可能となったセンサ内蔵液晶パネル３０１Ｂの表示領域（表示領域Ｂ）にも、地図画像４３ｂ’が表示される。つまり、表示／光センサ部３００ＡをＢに対してずらしたときには、表示領域Ａ＋Ｂに地図画像が表示される。

また、データ表示／センサ装置１００では、ずらし量を増やしたときには、スクロール速度が上がるようになっている。これにより、サイズの大きい地図画像をスピーディに閲覧することができる。

同図（ｃ）に示すように、左斜め上方向へのずらし量を増やしたときには、元画像から、地図画像４３ｂの切り出し位置よりもさらに左斜め上方に、より大きい移動幅で移動した切り出し位置で切り出された地図画像４３ｃがセンサ内蔵液晶パネル３０１Ａ（表示領域Ａ）に表示される。

また、図示のように、ずらし量を増やしたときには、センサ内蔵液晶パネル３０１Ｂの表示領域である表示領域Ｂが拡大するので、センサ内蔵液晶パネル３０１Ｂに表示される地図画像４３ｃ’は、地図画像４３ｂ’と比べて広い範囲を網羅した画像となっている。このように、データ表示／センサ装置１００では、地図画像の閲覧中にずらし量を増やすことにより、ユーザがより広い範囲の地図画像を一度に確認することができるようになっている。

〔地図画像表示中の処理の流れ〕
続いて、図２０に基づいて、地図画像表示中の処理の流れについて説明する。図２０は、地図画像表示中の処理の一例を示すフローチャートである。地図画像表示中の処理は、ブラウザ制御部１４４の制御に従って行われる。

まず、ブラウザ制御部１４４は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとのずれの検出を待ち受ける（Ｓ６０）。ここで、ずれ検出部１１が、縦方向のずれを検出したことを確認する（Ｓ６０でＹＥＳ）と、ブラウザ制御部１４４は、ずれ検出部１１が検出したずれの向き及びずれ量に基づき、画面のスクロール速度を決定する（Ｓ６１）。

なお、ブラウザ制御部１４４は、ずれ量が大きいほどスクロール速度を大きくする。また、ずれ量が大きいほど、外部に露出するセンサ内蔵液晶パネル３０１Ｂの面積が広くなり、表示される地図の面積も広がる。このため、ユーザは、大きい画像を高速で確認することができる。

そして、ブラウザ制御部１４４は、決定した速度で画面のスクロールを開始する（Ｓ６２）。具体的には、ブラウザ制御部１４４は、センサ内蔵液晶パネル３０１Ａの表示領域（表示領域Ａ）と、ずれ検出部１１が検出したずれの向き及びずれ量に基づいて求めたセンサ内蔵液晶パネル３０１Ｂの表示領域（表示領域Ｂ）とに基づいて、全体の表示領域（表示領域Ａ＋Ｂ）を決定する。

次に、ブラウザ制御部１４４は、ずれ検出部１１が検出したずれの向き及びずれ量に基づいて、元画像から、センサ内蔵液晶パネル３０１Ａ及びＢに表示する地図画像を切り出す位置を決定する。なお、切り出し位置は、例えばスクロール前にセンサ内蔵液晶パネル３０１Ａに表示されている画像の切り出し位置を基準として、ずれ検出部１１が検出したずれの向きに、ずれ検出部１１が検出したずれ量に応じた所定の距離だけ移動させた位置とすることができる。

そして、ブラウザ制御部１４４は、元画像から、上記決定した切り出し位置で、上記決定した表示領域Ａ＋Ｂに相当する範囲の画像を切り出し、表示制御部１２に指示して、切り出した画像の、表示領域Ａに対応する領域をセンサ内蔵液晶パネル３０１Ａに表示させ、他の領域をセンサ内蔵液晶パネル３０１Ｂに表示させる。

これにより、図１９（ａ）（ｂ）に示すように、表示／光センサ部３００ＡとＢとをずらす前の表示領域から、表示／光センサ部３００ＡとＢとをずらした方向に移動した表示領域の地図画像が表示される。この処理が、表示／光センサ部３００ＡとＢとがずれている間、所定の時間間隔で継続的に行われることにより、地図画像がスクロール表示される。このとき、切り出し位置の移動距離が大きければ、スクロール速度は速くなる。すなわち、Ｓ６１では、ずれ量に基づいて切り出し位置の移動距離が決定され、これによりスクロール速度が決定されるようになっている。

また、スクロール表示中において、ブラウザ制御部１４４は、ずれ検出部１１が、表示／光センサ部３００ＡとＢとのずれ量が変化したことを検出するのを待ち受ける（Ｓ６３）。

ここで、ずれ量の変化が検出されたことを確認した場合（Ｓ６３でＹＥＳ）には、ブラウザ制御部１４４は、ずれ量がゼロとなったか否かを確認する（Ｓ６４）。ずれ量がゼロになったことが検出されない場合（Ｓ６４でＮＯ）には、Ｓ６１の処理に戻る。

この場合には、ブラウザ制御部１４４は、ずれ検出部１１が検出した最新のずれ量に基づき、画面のスクロール速度を再設定する。つまり、表示／光センサ部３００ＡとＢとのずれ量をゼロにするまでの間は、表示／光センサ部３００ＡとＢとのずれ量を変化させることによってスクロール速度を変化させることができるようになっている。

一方、ずれ量がゼロになったことが検出された場合（Ｓ６４でＹＥＳ）には、ブラウザ制御部１４４は、画面のスクロールを終了する（Ｓ６５）。

以上のように、データ表示／センサ装置１００では、表示／光センサ部３００ＡとＢとをずらすことにより、所望の方向に所望の速度で画面をスクロールさせることができる。無論、スクロール表示させる対象は、地図画像に限られず、任意の画像、表示画面等をスクロール表示させることができる。

また、上記の例では、ブラウザ制御部１４４がスクロール表示の制御を行う例を示したが、スクロール表示の制御を行う主体は、これに限られない。例えば、画像の閲覧用ソフトウェアがスクロール表示の制御を行うようにしてもよい。

〔表示／光センサ部３００の形状〕
上述の例では、表示／光センサ部３００Ａ及びＢが長方形の板状である例を示したが、表示／光センサ部３００Ａ及びＢの形状は、これに限られない。例えば、図２１のように表示／光センサ部３００Ａ及びＢを楕円形の板状としてもよい。

図２１は、表示／光センサ部３００の形状の変形例を示す図であり、同図（ａ）は表示／光センサ部３００ＡとＢとにずれがない状態を示し、同図（ｂ）は表示／光センサ部３００ＡとＢとをずらした状態を示し、同図（ｃ）は再び表示／光センサ部３００ＡとＢとのずれをなくした状態を示している。

同図（ａ）〜（ｃ）のように、データ表示／センサ装置１００’は、楕円形状の表示／光センサ部３００Ａ’とＢ’とを重ね合わせた形状であり、形状が変わっている以外は、データ表示／センサ装置１００と同様の構成及び機能を備えている（図１１参照）。

楕円形状の表示／光センサ部３００Ａ’及びＢ’は、長方形状の表示／光センサ部３００Ａ及びＢと比べて、ユーザの掌にフィットするので、ユーザの操作感を向上することができる。無論、表示／光センサ部３００の形状は、上述の例に限られず、必要に応じて適宜変更することができる。

〔コマンドを用いた処理〕
以上の説明では、簡単のためコマンドを用いずにスキャン処理の説明を行ったが、データ表示／センサ装置１００では、実際には以下のようにコマンドを用いてずれ量及びずれ方向の検出等の処理が行われる。

すなわち、まず、ずれ検出部１１は、「データ取得タイミング」フィールドの値を“イベント”、「データ種別」フィールドの値を“全体画像”、「スキャン方式」フィールドの値を“反射”、そして「スキャンパネル」フィールドの値を“第２表示／光センサ部”としたコマンドをデータ処理部７００に送信する。

これにより、センサ内蔵液晶パネル３０１Ｂで、表示／光センサ部３００Ａの背面（センサ内蔵液晶パネル３０１Ａが設けられていない側の面）のスキャンが実行され、スキャンした結果として、光センサ回路３２からセンサ制御部６０２を介して得られる画像データの全体が、データ処理部７００から取得される。ずれ検出部１１は、この画像データに基づいて、表示／光センサ部３００ＡとＢとのずれ量及びずれ方向を判断する。なお、この判断手法については、既に説明した通りである。

また、表示制御部１２は、以下のようにして画像の表示を行う。すなわち、表示制御部１２は、表示の指示を受けた画像データをデータ処理部７００に送信すると共に、「表示パネル」フィールドの値として、“第１表示／光センサ部”または“第２表示／光センサ部”を指定したコマンドをデータ処理部７００に送信する。これにより、表示／光センサ部３００ＡまたはＢに、表示を指示された画像が表示される。

〔付記事項〕
上述では、データ表示／センサ装置１００の構成として、データ処理部７００や回路制御部６００を備える構成について説明したが、この構成に限定されるものではない。例えば、主制御部８００が回路制御部６００を直接制御し、主制御部８００が全体画像データ／部分画像データ／座標データを生成するような構成であってもよい。また、主制御部８００が表示／光センサ部３００を直接制御するような構成であってもよい。

最後に、データ表示／センサ装置１００の主制御部８００、データ処理部７００、回路制御部６００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、様々な電子機器の入力装置として適用することが可能である。特に、携帯型の電子機器の入力装置として適用した場合には、片手で２枚の筐体をスライドさせて入力操作を行うことができるので、携帯電話機、ＰＤＡ（Personal Digital Assistance）、携帯型ゲーム機等に好適に適用できる。

本発明の一実施形態にかかるデータ表示／センサ装置の動作例を示す斜視図であり、同図（ａ）は筐体を閉じた状態を示し、同図（ｂ）は筐体を縦方向にずらした状態を示し、同図（ｃ）は筐体を斜め方向にずらした状態を示している。 上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 同図（ａ）は、上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、同図（ｂ）は、上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 上記データ表示／センサ装置の要部構成を示すブロック図である。 上記データ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。 上記コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 同図（ａ）は、上記データ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像の一例を示す図であり、同図（ｂ）は上記データ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像の一例を示す図である。 上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 上記データ表示／センサ装置のより詳細な構成を示すブロック図である。 上記データ表示／センサ装置が、表示／光センサ部のずれ量及びずれ方向を検出する方法を模式的に示した図である。 上記データ表示／センサ装置において、メインメニューから実行する機能を選択するときの表示画面の一例を示す図であり、同図（ａ）はメインメニューが表示されたときの画面例を示し、同図（ｂ）はメインメニューから１つのアイコンが選択されたときの画面例を示し、同図（ｃ）は選択されたアイコンに対応する機能を実行した後の画面例を示している。 上記データ表示／センサ装置が実行するメインメニューから機能選択する処理の一例を示すフローチャートである。 機能実行中にメニューを表示させるときの表示画面の一例を示す図であり、同図（ａ）は機能実行中の画面例を示し、同図（ｂ）は機能実行中にメニューを表示させたときの画面例を示し、同図（ｃ）は表示させたメニューをスクロールさせているときの画面例を示し、同図（ｄ）はメニューが選択されて機能が切り替わったときの画面例を示している。 上記データ表示／センサ装置が実行するメニューアイコンをスクロール表示する処理の一例を示すフローチャートである。 上記データ表示／センサ装置が実行する項目選択処理の一例を示すフローチャートである。 テレビ機能実行中の表示画面の一例を示す図であり、同図（ａ）は表示／光センサ部３００ＡとＢとがずれていない状態の画面例を示し、同図（ｂ）は表示／光センサ部３００ＡとＢとを縦方向にずらしたときの画面例を示し、同図（ｃ）は再び表示／光センサ部３００ＡとＢとがずれていない状態に戻したときの画面例を示している。 上記データ表示／センサ装置において、チャンネル及び放送種別が切り換えられる態様を説明する図である。 上記データ表示／センサ装置が実行するテレビ機能実行中の処理の一例を示すフローチャートである。 上記データ表示／センサ装置が地図画像を表示しているときの画面例を示す図であり、同図（ａ）は表示／光センサ部３００ＡとＢとがずれていない状態の画面例を示し、同図（ｂ）は表示／光センサ部３００ＡをＢに対して左斜め上方向にずらしたときの画面例を示し、同図（ｃ）は表示／光センサ部３００ＡとＢとの左斜め上方向のずれ量をさらに大きくしたときの画面例を示している。 上記データ表示／センサ装置が実行する地図画像表示中の処理の一例を示すフローチャートである。 上記表示／光センサ部の形状の変形例を示す図であり、同図（ａ）は表示／光センサ部３００ＡとＢとにずれがない状態を示し、同図（ｂ）は表示／光センサ部３００ＡとＢとをずらした状態を示し、同図（ｃ）は再び表示／光センサ部３００ＡとＢとのずれをなくした状態を示している。

符号の説明

１１ ずれ検出部（ずれ検出手段）
１４ 機能実行部（機能実行手段、入力信号生成手段）
１００ データ表示／センサ装置（入力装置）
１４１ メインメニュー表示部（入力信号生成手段）
１４２ アプリ起動時メニュー表示部（入力信号生成手段）
１４３ テレビ制御部（入力信号生成手段）
１４４ ブラウザ制御部（入力信号生成手段）
３００ 表示／光センサ部
３００Ａ 表示／光センサ部（上側筐体）
３００Ｂ 表示／光センサ部（下側筐体）
３０１ センサ内蔵液晶パネル
３０１Ａ センサ内蔵液晶パネル（上側面状部材）
３０１Ｂ センサ内蔵液晶パネル（下側面状部材）

Claims (8)

1. ２枚の板体がスライド可能に重ね合わされた入力装置であって、
   下側の板体である下側板体には、上側の板体である上側板体の像を検知する下側面状部材が上側板体側の面に設けられており、
   上記下側面状部材が検知した上記上側板体の像に基づいて、上記下側板体と上記上側板体とのずれ量及びずれ方向の少なくとも一方を検出するずれ検出手段と、
   上記ずれ検出手段が検出したずれ量及びずれ方向の少なくとも一方に応じて、予め対応付けられた入力信号を生成する入力信号生成手段とを備え、
   上記上側板体の上面には、画像を表示する上側面状部材が設けられており、
   上記上側面状部材に設けられた表示領域に、該表示領域よりも大きい元画像から、上記表示領域の大きさで切り出した第１画像が表示されている場合に、上記ずれ検出手段が上記下側板体と上記上側板体とのずれを検出したときに、
   上記入力信号生成手段は、上記第１画像の切り出し位置を上記ずれ検出手段が検出したずれ方向に移動させた切り出し位置で上記元画像から切り出した第２画像を上記表示領域に表示させる入力信号を生成することを特徴とする入力装置。
2. 上記入力信号生成手段は、上記ずれ検出手段が検出したずれ量に応じて、上記切り出し位置の移動量を指定した入力信号を生成することを特徴とする請求項１に記載の入力装置。
3. 上記下側面状部材は、その上面に画像を表示する機能をさらに有し、
   上記入力信号生成手段は、上記上側板体と上記下側板体とがスライドすることによって露出した上記下側面状部材の表示領域に、上記元画像の上記第２画像に隣接する領域を、上記第２画像と連続するように表示させる入力信号を生成することを特徴とする請求項１または２に記載の入力装置。
4. ２枚の板体がスライド可能に重ね合わされた入力装置であって、
   下側の板体である下側板体には、上側の板体である上側板体の像を検知する下側面状部材が上側板体側の面に設けられており、
   上記下側面状部材が検知した上記上側板体の像に基づいて、上記下側板体と上記上側板体とのずれ量及びずれ方向の少なくとも一方を検出するずれ検出手段と、
   上記ずれ検出手段が検出したずれ量及びずれ方向の少なくとも一方に応じて、予め対応付けられた入力信号を生成する入力信号生成手段と、
   放送を受信する放送受信部とを備え、
   上記上側板体の上面には、上記放送受信部が受信した放送の画像を表示する上側面状部材が設けられており、
   上記放送受信部が受信した放送の画像が上記上側面状部材に表示されている場合に、上記ずれ検出手段が上記上側板体と上記下側板体とのずれを検出したときに、
   上記入力信号生成手段は、上記ずれ検出手段が検出した上記上側板体と上記下側板体とのずれ方向に基づいて、上記放送受信部に受信する番組を切り換えさせる入力信号を生成することを特徴とする入力装置。
5. ２枚の板体がスライド可能に重ね合わされた入力装置であって、
   下側の板体である下側板体には、上側の板体である上側板体の像を検知する下側面状部材が上側板体側の面に設けられており、
   上記下側面状部材が検知した上記上側板体の像に基づいて、上記下側板体と上記上側板体とのずれ量及びずれ方向の少なくとも一方を検出するずれ検出手段と、
   上記ずれ検出手段が検出したずれ量及びずれ方向の少なくとも一方に応じて、予め対応付けられた入力信号を生成する入力信号生成手段とを備え、
   上記下側面状部材は、その上面に画像を表示する機能をさらに有し、
   上記上側板体の上面には、画像を表示する上側面状部材が設けられており、
   上記ずれ検出手段が上記上側板体と上記下側板体とのずれを検出したときに、
   上記入力信号生成手段は、現在の状態からさらに上記上側板体と上記下側板体とをずらすことによって実行される処理を示す情報を、上記上側板体と上記下側板体とがスライドすることによって露出した上記下側面状部材の表示領域に表示させる入力信号を生成することを特徴とする入力装置。
6. 上記入力信号生成手段は、上記上側板体と上記下側板体とがスライドすることによって露出した上記下側面状部材の表示領域に、上記上側面状部材に表示された情報に対応する情報をさらに表示させる入力信号を生成することを特徴とする請求項５に記載の入力装置。
7. ２枚の板状の板体がスライド可能に重ね合わされた入力装置の制御方法であって、
   上記入力装置は、下側の板体である下側板体には、上側の板体である上側板体の像を検知する下側面状部材が上側板体側の面に設けられており、
   上記下側面状部材が検知した上記上側板体の像に基づいて、上記下側板体と上記上側板体とのずれ量及びずれ方向の少なくとも一方を検出するずれ検出ステップと、
   上記ずれ検出ステップにて検出したずれ量及びずれ方向の少なくとも一方に応じて、予め対応付けられた入力信号を生成する入力信号生成ステップとを含み、
   上記下側面状部材は、その上面に画像を表示する機能をさらに有し、
   上記上側板体の上面には、画像を表示する上側面状部材が設けられており、
   上記ずれ検出ステップにて上記上側板体と上記下側板体とのずれを検出したときに、
   上記入力信号生成ステップでは、現在の状態からさらに上記上側板体と上記下側板体とをずらすことによって実行される処理を示す情報を、上記上側板体と上記下側板体とがスライドすることによって露出した上記下側面状部材の表示領域に表示させる入力信号を生成することを特徴とする入力装置の制御方法。
8. ２枚の板状の板体がスライド可能に重ね合わされた入力装置の制御方法であって、
   上記入力装置は、下側の板体である下側板体には、上側の板体である上側板体の像を検知する下側面状部材が上側板体側の面に設けられており、
   上記下側面状部材が検知した上記上側板体の像に基づいて、上記下側板体と上記上側板体とのずれ量及びずれ方向の少なくとも一方を検出するずれ検出ステップと、
   上記ずれ検出ステップにて検出したずれ量及びずれ方向の少なくとも一方に応じて、予め対応付けられた入力信号を生成する入力信号生成ステップとを含み、
   上記上側板体の上面には、画像を表示する上側面状部材が設けられており、
   上記上側面状部材に設けられた表示領域に、該表示領域よりも大きい元画像から、上記表示領域の大きさで切り出した第１画像が表示されている場合に、上記ずれ検出ステップにて上記下側板体と上記上側板体とのずれを検出したときに、
   上記入力信号生成ステップにて、上記第１画像の切り出し位置を上記ずれ検出ステップにて検出したずれ方向に移動させた切り出し位置で上記元画像から切り出した第２画像を上記表示領域に表示させる入力信号を生成することを特徴とする入力装置の制御方法。

Images