JP5172641B2 - 電子機器、情報処理方法および情報処理プログラム - Google Patents

Description

本発明は、電子機器、情報処理方法および情報処理プログラムに関する。

現在、パーソナルコンピュータなどの電子機器は、電子機器内部の情報を表示装置により外部に出力することが一般的である。また、近年では、多くの電子機器のユーザインターフェースは、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）により実現されている。

特許文献１（特開２００８−７１３０１号公報）に開示されている情報処理装置は、表示画面上の物体の形状を読み取るセンサおよび内蔵カメラを備える。情報処理装置は、物体の形状情報と電子ファイルとを対応付けて記憶しており、読み取った形状と対応する電子ファイルを表示画面に表示する。

ところで、多くの電子機器は、画面スクロール機能を有している。このような電子機器の中には、スクロール時に、表示画面内の一部の領域をスクロールしないものもある。

例えば、特許文献２（特開２０００−１９４３５２号公報）に開示されている表示制御装置は、矢印キー、ＥＸＥキーなどの操作にしたがって固定表示領域を固定表示領域に設定する。表示制御装置は、固定表示領域が設定された状態で、スクロールの指示を受け付けると、固定表示領域以外の表示内容のみをスクロールし、固定表示領域の表示内容をスクロールせずに固定したま画面に表示させる。

特許文献３（特開平１０−２６１０３９号公報）には、表示されているスプレッドシートの中の指定された列や行を固定的に表示する表計算装置が開示されている。この表計算装置のユーザは、キー入力部やポインティングデバイスを操作して、固定したい行や列を指定する。
特開２００８−７１３０１号公報 特開２０００−１９４３５２号公報 特開平１０−２６１０３９号公報

特許文献１に記載の情報処理装置は、電子ファイルと物体の形状情報とを対応付けることができる。しかしながら、この情報処理装置が行なう動作は、表示画面上に置かれた物体と電子ファイルとの対応付け、あるいは、置かれた物体に対応する電子ファイルの表示に限られる。この情報処理装置を用いて、表示画面内の所定の領域を選択することはできない。

一方、特許文献２や３に記載の電子機器は、固定領域を指定できる。しかし、これらの機器のユーザは、固定領域を指定するにあたり、入力キーやポインティングデバイスを操作する必要があった。このような操作は、ユーザにとってわずらわしい。

本発明は、上記のような問題を解決するためになされたものであって、ユーザの簡易な操作により表示画面内の特定の領域に対する処理を実行できる電子機器、ならびに電子機器にその処理を実行させる情報処理方法および情報処理プログラムを提供することを課題とする。

本発明の１つの局面に従うと、ディスプレイと、ディスプレイ上の物体を検知するセンサと、ディスプレイを制御し、表示オブジェクトを含む画面をディスプレイに表示する表示制御手段と、センサの検知結果に基づいて、ディスプレイ上の物体の位置データを算出する位置算出手段と、位置算出手段により算出された物体の位置データを記憶する記憶手段と、表示オブジェクトと物体とを対応付けて記憶手段に格納する登録手段とを備え、表示制御手段は、物体に対応付けられた表示オブジェクトを、ディスプレイ上の物体の位置データに応じた領域に表示する対応表示手段と、ディスプレイ上で物体の位置をユーザが移動させたことに基づき、対応表示手段が、物体に対応付けられた表示オブジェクトを、ディスプレイ上の物体の移動後の位置データに応じた領域に表示させる場合に、移動後の領域に表示する表示オブジェクトに対応する移動後画像と、移動前に表示オブジェクトが表示されていた領域に表示する表示オブジェクトに対応する移動前画像とを異なる画像で、ディスプレイに同時に表示する。

好ましくは、電子機器は、センサがディスプレイ上に検知した物体が、ディスプレイに表示されている表示オブジェクト上に置かれているか否かを該物体の位置データから判断する物体載置判断手段をさらに備え、記憶手段は、表示オブジェクト毎の、ディスプレイ上における表示オブジェクトの表示領域であるオブジェクト領域をさらに記憶する。

さらに好ましくは、電子機器は、物体載置判断手段により物体が置かれていると判断された表示オブジェクトが、該物体と対応付けて登録手段により登録されている表示オブジェクトであるか否かを判断する登録判断手段をさらに備える。

さらに好ましくは、表示制御手段は、対応表示手段により、センサがディスプレイ上に検知した物体と対応付けて登録手段により登録されている表示オブジェクトをディスプレイ上に表示させる際に、該表示オブジェクトが既にディスプレイ上に表示されていた場合、該移動後の表示オブジェクトの表示画像と該移動前の表示オブジェクトの表示画像とを異ならせる。

さらに好ましくは、請求項１に記載の異なる画像および請求項４に記載の異ならせる表示画像は、いずれも移動前と移動後とで画像の表示形態を異ならせた画像である。

さらに好ましくは、電子機器は、センサがディスプレイ上に検知した物体が物体載置判断手段により表示オブジェクト上に置かれていないと判断された場合に、センサが検知した物体に対応付けて登録手段により登録されている表示オブジェクトを検索する対応オブジェクト検索手段をさらに備える。

さらに好ましくは、対応表示手段は、対応オブジェクト検索手段によって抽出された表示オブジェクトを物体の検知された位置に対応してディスプレイ上に表示させる。

さらに好ましくは、センサは、ディスプレイ上の物体の形状データを取得し、登録手段は、表示オブジェクトと表示オブジェクトに置かれた物体の形状データとを対応付けた対応データを作成し、対応データを記憶手段に格納し、登録判断手段は、記憶手段に格納された対応データおよびディスプレイ上に置かれた物体の形状データに基づいて、ディスプレイ上に置かれた物体が表示オブジェクトに対応付けられているかどうかを判断し、表示制御手段は、ディスプレイ上に置かれた物体が表示オブジェクトに対応付けられていると判断された場合、ディスプレイに、物体の位置データに応じた領域に物体と対応付けられた表示オブジェクトを表示させる。

さらに好ましくは、表示制御手段は、ディスプレイ上に置かれた物体が表示オブジェクトに対応付けられていると判断された場合、物体がディスプレイ上を移動すると、物体に対応する表示オブジェクトを物体に追従するようにディスプレイに表示させる。

さらに好ましくは、表示制御手段は、表示オブジェクトに対応付けられている物体がディスプレイ上に置かれると、物体に対応する表示オブジェクトの表示領域を物体の位置に応じた領域に移動する。

さらに好ましくは、表示制御手段は、表示オブジェクトに対応付けられている物体がディスプレイから離れると、ディスプレイに、物体に対応する表示オブジェクトを、物体がディスプレイに置かれる前のオブジェクト領域に表示させる。

さらに好ましくは、表示制御手段は、物体がディスプレイに置かれる前のオブジェクト領域が、ディスプレイの表示範囲外にある場合、表示オブジェクトに対応付けられている物体がディスプレイから離れると、ディスプレイに、物体に対応する表示オブジェクトの表示を終了させる。

さらに好ましくは、表示制御手段は、表示オブジェクトに対応付けられている物体がディスプレイ上に置かれている間、ディスプレイに、物体がディスプレイ上に置かれる前のオブジェクト領域に、表示オブジェクトとは異なる画像を表示させる。

さらに好ましくは、表示制御手段は、表示オブジェクトに対応付けられている物体がディスプレイ上に置かれている間、ディスプレイに、物体がディスプレイ上に置かれる前のオブジェクト領域に、物体に対応する表示オブジェクトを表示形態を変えて表示させる。

好ましくは、ディスプレイは、液晶パネルであり、センサは、ディスプレイに内蔵されている。

本発明の他の局面に従うと、情報処理方法は、ディスプレイと、ディスプレイ上の物体を検知するセンサと、記憶手段とを備える電子機器を制御する情報処理方法であって、表示オブジェクトを含む画面をディスプレイに表示するステップと、センサの検知結果に基づいて、ディスプレイ上の物体の位置データを算出するステップと、記憶手段に位置データを算出するステップにより算出された物体の位置データを記憶するステップと、表示オブジェクトと物体とを対応付けて記憶手段に格納するステップとを含み、表示するステップは、物体に対応付けられた表示オブジェクトを、ディスプレイ上の物体の位置データに応じた領域に表示する対応表示ステップと、ディスプレイ上で物体の位置をユーザが移動させたことに基づき、対応表示ステップが、物体に対応付けられた表示オブジェクトを、ディスプレイ上の物体の移動後の位置データに応じた領域に表示させる場合に、移動後の領域に表示する表示オブジェクトに対応する移動後画像と、移動前に表示オブジェクトが表示されていた領域に表示する表示オブジェクトに対応する移動前画像とを異なる画像で、ディスプレイに同時に表示するステップとを含む。

本発明のさらに他の局面に従うと、情報処理プログラムは、ディスプレイと、ディスプレイ上の物体を検知するセンサと、記憶手段とを備える電子機器を制御する情報処理プログラムであって、表示オブジェクトを含む画面をディスプレイに表示するステップと、センサの検知結果に基づいて、ディスプレイ上の物体の位置データを算出するステップと、記憶手段に位置データを算出するステップにより算出された物体の位置データを記憶するステップと、表示オブジェクトと物体とを対応付けて記憶手段に格納するステップとを電子機器に実行させ、表示するステップは、物体に対応付けられた表示オブジェクトを、ディスプレイ上の物体の位置データに応じた領域に表示する対応表示ステップと、ディスプレイ上で物体の位置をユーザが移動させたことに基づき、対応表示ステップが、物体に対応付けられた表示オブジェクトを、ディスプレイ上の物体の移動後の位置データに応じた領域に表示させる場合に、移動後の領域に表示する表示オブジェクトに対応する移動後画像と、移動前に表示オブジェクトが表示されていた領域に表示する表示オブジェクトに対応する移動前画像とを異なる画像で、ディスプレイに同時に表示するステップとを含む。

本発明に係る電子機器によれば、ディスプレイ上で物体の位置をユーザが移動させたことに基づき、物体に対応付けられた表示オブジェクトを、ディスプレイ上の物体の移動後の位置データに応じた領域に表示させる場合に、移動後の領域に表示する移動後画像と、移動前の領域に表示する移動前画像とを異なる画像で、ディスプレイに同時に表示できる。その結果、ユーザの簡易な操作により、表示画面内の移動前後の表示オブジェクト画像を同時に確認できる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。

＜電子機器の外観＞
図１に、本実施の形態に係る電子機器１００の外観を示す。図１を参照して、電子機器１００は、テーブル型であり、上面に光センサ内蔵液晶パネル１４０（以下、単に、液晶パネル１４０ともよぶ）を備える。電子機器１００が使用される際には、液晶パネル１４０に、物体が置かれる。図１では、液晶パネル１４０上の物体として、文鎮１０および付箋２０を示している。

なお、本実施の形態では、電子機器１００がテーブル型の機器であるとして説明するが、電子機器１００の形態は、これに限られるわけではない。電子機器１００は、例えば、ラップトップコンピュータであってもよい。あるいは、電子機器１００は、光センサ内蔵液晶パネル１４０を表示面として持つ電子ホワイトボードであってもよい。

＜ハードウェア構成について＞
次に、電子機器１００の具体的構成の一態様について説明する。図２は、電子機器１００のハードウェア構成を表わすブロック図である。図２を参照して、電子機器１００は、主たる構成要素として、本体装置１０１と、表示装置１０２とを含む。

本体装置１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１７１と、ＲＯＭ（Read-Only Memory）１７２と、メモリカードリーダライタ１７３と、通信部１７４と、マイク１７５と、スピーカ１７６と、操作キー１７７とを含む。各構成要素は、相互にデータバスＤＢ１によって接続されている。メモリカードリーダライタ１７３には、メモリカード１７３１が装着される。

ＣＰＵ１１０は、プログラムを実行する。操作キー１７７は、電子機器１００の使用者による指示の入力を受ける。ＲＡＭ１７１は、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータを揮発的に格納する。ＲＯＭ１７２は、データを不揮発的に格納する。また、ＲＯＭ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどの書込みおよび消去が可能なＲＯＭである。通信部１７４は、図示しない他の電子機器との間で無線通信を行う。なお、図２には図示していないが、電子機器１００が、他の電子機器に有線により接続するためのインターフェイス（ＩＦ）を備える構成としてもよい。

表示装置１０２は、ドライバ１３０と、光センサ内蔵液晶パネル１４０（以下、液晶パネル１４０と称する）と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。

ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。

液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル１４０の詳細については、後述する。

内部ＩＦ（Interface）１７８は、本体装置１０１と表示装置１０２との間で、データの遣り取りを仲介する。

バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。

画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して本体装置１０１から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン１８０は、液晶パネル１４０から出力されるデータを処理し、処理したデータを内部ＩＦ１７８を介して本体装置１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１８３とを含む。

ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体装置１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。

タイマ１８２は、時刻情報を生成し、信号処理部１８３に対して時刻情報を送る。
信号処理部１８３は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部１８３は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部１８３は、当該デジタルデータに対して、本体装置１０１から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部１８３は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）を本体装置１０１に送る。また、信号処理部１８３は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。

上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する（図７〜図９）。

なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、表示装置１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体装置１０１に備えられていてもよい。また、マイク１７５およびスピーカ１７６は、電子機器１００が常に備える構成ではなく、電子機器１００の実施例によっては、マイク１７５およびスピーカ１７６のいずれかあるいは両方を有さない構成であってもよい。

ここで、表示装置１０２は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル１４０の周辺機器を当該液晶パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、表示装置１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。

ところで、電子機器１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、ＲＯＭ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってＲＯＭ１７２から読み出され、ＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。

図２に示される電子機器１００の本体装置１０１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１７１、ＲＯＭ１７２、メモリカード１７３１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器１００の本体装置１０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。

ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

＜光センサ内蔵液晶パネルの構成および駆動について＞
次に、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路の構成とについて説明する。図３は、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路とを示した図である。

図３を参照して、液晶パネル１４０は、画素回路１４１と、光センサ回路１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊと、データ信号線ＳＧｊと、データ信号線ＳＢｊと、センサ信号線ＳＳｊと、センサ信号線ＳＤｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。

また、図２に示した表示装置１０２のドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。

走査信号線駆動回路１３１は、図２に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。

データ信号線駆動回路１３２は、図２に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。

なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。

画素回路１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素回路１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素回路１４１は、図３の縦方向にｍ個、横方向にｎ個配されている。

画素回路１４１は、Ｒサブピクセル回路１４１ｒと、Ｇサブピクセル回路１４１ｇと、Ｂサブピクセル回路１４１ｂとからなる。これら３つの回路（１４１ｒ，１４１ｇ，１４１ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。

なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、表示装置１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。

Ｒサブピクセル回路１４１ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Ｇサブピクセル回路１４１ｇおよびＢサブピクセル回路１４１ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、Ｒサブピクセル回路１４１ｒと同じ構成である。このため、これら２つの回路（１４１ｇ，１４１ｂ）についての説明は、繰り返さない。

ここで、画素回路１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。

光センサ駆動回路１３３は、図２に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。

そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。

また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。

なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。

光センサ回路１４４は、フォトダイオード１４５と、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。

フォトダイオード１４５のアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５のカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５とコンデンサ１４６との接続点をノードＮと称する。

ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳｊに接続されている。光センサ回路１４４を用いたセンシングの詳細については、後述する。

スイッチ１３４は、センサ信号線（ＳＤ１〜ＳＤｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤ１〜ＳＤｎ）に印加される電圧については、後述する。

アンプ１３５は、各センサ信号線（ＳＳ１〜ＳＳｎ）から出力された電圧を増幅する。なお、増幅された電圧は、図２に示した信号処理部１８３に送られる。

なお、画素回路１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、光センサ回路１４４を用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。

図４は、液晶パネル１４０とバックライト１７９との断面図である。図４を参照して、液晶パネル１４０は、アクティブマトリクス基板１５１Ａと、対向基板１５１Ｂと、液晶層１５２とを含む。対向基板１５１Ｂは、アクティブマトリクス基板１５１Ａに対向して配されている。液晶層１５２は、アクティブマトリクス基板１５１Ａと対向基板１５１Ｂとに挟まれている。バックライト１７９は、アクティブマトリクス基板１５１Ａに関し液晶層１５２と反対側に配されている。

アクティブマトリクス基板１５１Ａは、偏光フィルタ１６１と、ガラス基板１６２と、電極対１４３を構成する画素電極１４３ａと、フォトダイオード１４５と、データ信号線１５７と、配向膜１６４とを含む。さらに、図４には示していないが、アクティブマトリクス基板１５１Ａは、図３に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。

また、アクティブマトリクス基板１５１Ａにおいては、バックライト１７９側から、偏光フィルタ１６１、ガラス基板１６２、画素電極１４３ａ、および配向膜１６４が、この順に配されている。フォトダイオード１４５とデータ信号線１５７とは、ガラス基板１６２の液晶層１５２側に形成されている。

対向基板１５１Ｂは、偏光フィルタ１６１と、ガラス基板１６２と、遮光膜１６３と、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と、電極対１４３を構成する対向電極１４３ｂと、配向膜１６４とを含む。

また、対向基板１５１Ｂにおいては、液晶層１５２側から、配向膜１６４、対向電極１４３ｂ、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）、ガラス基板１６２、および偏光フィルタ１６１が、この順に配されている。遮光膜１６３は、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と同一の層に形成されている。

カラーフィルタ１５３ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｂは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード１４５は、カラーフィルタ１５３ｂに対向する位置に配されている。

液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ１６１を配置している。

なお、フォトダイオード１４５の位置は、上記の位置に限定されるものではなく、カラーフィルタ１５３ｒに対向する位置やカラーフィルタ１５３ｇに対向する位置に設けることも可能である。

ここで、光センサ回路１４４の動作について説明する。図５は、光センサ回路１４４を動作させる際のタイミングチャートを示した図である。図５において、電圧ＶＩＮＴは、光センサ回路１４４内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図３に示したセンサ信号線ＳＳｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。

以下では、光センサ回路１４４をリセットするためのリセット期間と、光センサ回路１４４を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。

まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切り換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式（１）で示す値となる。なお、式（１）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。

ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ … （１）
それゆえ、ノードＮの電位は、図５に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。

ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。

次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。

このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図５に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。

なお、このように電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。

次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。

このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図５に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。

この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤｊ（図３参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳｊからは、図５のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。

ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図５のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、光センサ回路１４４は、フォトダイオード１４５の受光量に応じて、センサ信号線ＳＳｊに出力する電圧の値を変化させる。

ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの光センサ回路１４４に着目して、その動作を説明した。以下では、液晶パネル１４０における各光センサ回路の動作について説明する。

まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図３における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。

なお、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。

１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。

以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。

なお、表示装置１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル１４０から出力される。このため、以下では、液晶パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１８３が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物（たとえば、ユーザの指）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。

また、上記においては、ｍ×ｎ個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル１４０の表面の一部の領域に関してスキャンを行うことも構成としてもよい。

以下では、電子機器１００が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー１７７を介した入力などに基づく本体装置１０１から送られてくるコマンドにより行われるものとする。なお、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン１８０が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。

このように、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。

図６は、液晶パネル１４０とバックライト１７９との断面図であって、スキャンの際にフォトダイオード１４５がバックライト１７９からの光を受光する構成を示した図である。

図６を参照して、ユーザの指９００が液晶パネル１４０の表面に接触している場合、バックライト１７９から発せられた光の一部は、当該接触している領域ではユーザの指９００（略平面）にて反射される。そして、フォトダイオード１４５は、当該反射された光を受光する。

また、指９００が接触していない領域においても、バックライト１７９から発せられた光の一部は、ユーザの指９００にて反射される。この場合においても、フォトダイオード１４５は、当該反射された光を受光する。ただし、当該領域においては液晶パネル１４０の表面に指９００が接触していないため、指９００が接触している領域よりも、フォトダイオード１４５の受光量は少なくなる。なお、バックライト１７９から発せられた光のうち、ユーザの指９００に到達しない光のほとんどについては、フォトダイオード１４５は受光できない。

ここで、バックライト１７９を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路１４４は、ユーザの指９００により反射した光の光量に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９の点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。

以上により、表示装置１０２は、指９００によって光が反射されることにより得られる像（以下、反射像とも称する）をスキャンすることができる。

なお、指９００以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器１００の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機ＥＬ（Electro-Luminescence）パネルなどの他のパネルを用いてもよい。

＜データについて＞
次に、センシングコマンドについて説明する。なお、表示装置１０２においては、画像処理エンジン１８０は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ（つまり、応答データ）を本体装置１０１に送り返す。

図７は、センシングコマンドの概略構成を示した図である。図７を参照して、センシングコマンドは、ヘッダのデータ領域ＤＡ０１と、タイミングを示すデータ領域ＤＡ０２と、データ種別を示すデータ領域ＤＡ０３と、読取方式を示すデータ領域ＤＡ０４と、画像階調を示すデータ領域ＤＡ０５と、解像度を示すデータ領域ＤＡ０６と、予備のデータ領域ＤＡ０７とを含む。

図８は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。

図８を参照して、タイミングを示すデータ領域に「００」が設定されたセンシングコマンドは、画像処理エンジン１８０に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン１８０が受信した後に、光センサ回路１４４を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「０１」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「１０」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。

データ種別を示すデータ領域に「００１」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「０１０」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「１００」が設定されたセンシングコマンドは、全体画像の送信を要求する。

ここで、「全体画像」とは、ｍ×ｎ個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン１８０により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。

なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル１４０の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。

読取方式を示すデータ領域に「００」が設定されたセンシングコマンドは、バックライト１７９を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「０１」が設定されたセンシングコマンドは、バックライト１７９を消灯してスキャンすることを要求する。なお、バックライト１７９を消灯してスキャンする構成については後述する（図１２）。さらに、読取方式を示すデータ領域に「１０」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト１７９を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。

画像階調を示すデータ領域に「００」が設定されたセンシングコマンドは、白黒の２値の画像データを要求する。また、画像階調を示すデータ領域に「０１」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「１０」が設定されたセンシングコマンドは、ＲＧＢのカラーの画像データを要求する。

解像度を示すデータ領域に「０」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「１」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。

また、センシングコマンドには、図７および図８に示したデータ以外に、スキャンを行う領域（光センサ回路１４４を駆動する画素の領域）の指定、スキャンを行うタイミング、バックライト１７９の点灯のタイミングなどが記述されている。

図９は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示装置１０２の画像処理エンジン１８０が本体装置１０１に対して送信するデータである。

図９を参照して、応答データは、ヘッダのデータ領域ＤＡ１１と、座標を示すデータ領域ＤＡ１２と、時刻を示すデータ領域ＤＡ１３と、画像を示すデータ領域ＤＡ１４とを含む。ここで、座標を示すデータ領域ＤＡ１２には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン１８０のタイマ１８２から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン１８０により処理がされた後の画像データ（つまり、スキャンデータ）が書き込まれる。

図１０は、指９００をスキャンすることにより得られた画像（つまり、スキャン画像）を示した図である。図１０を参照して、太実線で囲まれた領域Ｗ１の画像が全体画像であり、破線で囲まれた領域Ｐ１の画像が部分画像である。また、太線で示した十字の中心点Ｃ１が、中心座標となる。

本実施の形態では、矩形の領域であって、かつセンサ信号線ＳＳｊからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素（つまり、予め定められた階調または予め定められた輝度以上の画素）全てを含む領域を、部分画像の領域としている。

また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点（つまり図心）との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。

ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。

センシングコマンドのデータ種別を示すデータ領域に「００１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に上記中心座標の値を書き込む。この場合、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４には画像データを書き込まない。画像処理エンジン１８０は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「００１」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。

また、センシングコマンドのデータ種別を示すデータ領域に「０１０」が設定されている場合には、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１０」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。

なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指９００などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。

また、センシングコマンドのデータ種別を示すデータ領域に「０１１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。

また、センシングコマンドのデータ種別を示すデータ領域に「１００」が設定されている場合には、画像処理エンジン１８０は、図９に示した応答データの画像を示すデータ領域ＤＡ１４に、全体画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１００」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。

また、センシングコマンドのデータ種別を示すデータ領域に「１０１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４に全体画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１０１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。

＜変形例について＞
ところで、液晶パネル１４０の構成は、図３に示した構成に限定されるものではない。以下では、図３とは異なる態様の液晶パネルについて説明する。

図１１は、上記異なる態様である光センサ内蔵液晶パネル１４０Ａの回路図である。図１１を参照して、光センサ内蔵液晶パネル１４０Ａ（以下、液晶パネル１４０Ａと称する）は、１画素内に３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を含んでいる。このように液晶パネル１４０Ａが１画素内に３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を備える点において、液晶パネル１４０Ａは、１画素内に１つの光センサ回路を備える液晶パネル１４０と異なる。なお、光センサ回路１４４の構成と、３つの各光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）との構成は同じである。

また、１画素内における３つのフォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）は、それぞれ、カラーフィルタ１５３ｒ、カラーフィルタ１５３ｇ、カラーフィルタ１５３ｂに対向する位置に配されている。それゆえ、フォトダイオード１４５ｒは赤色の光を受光し、フォトダイオード１４５ｇは緑色の光を受光し、フォトダイオード１４５ｂは青色の光を受光する。

また、液晶パネル１４０は１画素内において１つの光センサ回路１４４しか含まないため、１画素内に配設されるＴＦＴ１４７用のデータ信号線は、センサ信号線ＳＳｊとセンサ信号線ＳＤｊとの２本であった。しかしながら、液晶パネル１４０Ａは１画素内において３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を含むため、１画素内に配設されるＴＦＴ（１４７ｒ，１４７ｇ，１４７ｂ）用のデータ信号線は６本となる。

具体的には、カラーフィルタ１５３ｒに対向する位置に配されたフォトダイオード１４５ｒのカソードに接続されたＴＦＴ１４７ｒに対応して、センサ信号線ＳＳＲｊとセンサ信号線ＳＤＲｊとが配設される。また、カラーフィルタ１５３ｇに対向する位置に配されたフォトダイオード１４５ｇのカソードに接続されたＴＦＴ１４７ｇに対応して、センサ信号線ＳＳＧｊとセンサ信号線ＳＤＧｊとが配設される。さらに、カラーフィルタ１５３ｂに対向する位置に配されたフォトダイオード１４５ｂのカソードに接続されたＴＦＴ１４７ｂに対応して、センサ信号線ＳＳＢｊとセンサ信号線ＳＤＢｊとが配設される。

このような液晶パネル１４０Ａにおいては、バックライト１７９から照射された白色光は、３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）を透過し、液晶パネル１４０Ａの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）を透過する。

この際、カラーフィルタ１５３ｒは赤色の波長の光を透過し、フォトダイオード１４５ｒは、当該赤色の波長の光を受光する。また、カラーフィルタ１５３ｇは緑色の波長の光を透過し、フォトダイオード１４５ｇは、当該緑色の波長の光を受光する。また、カラーフィルタ１５３ｂは青色の波長の光を透過し、フォトダイオード１４５ｂは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）によって３原色（Ｒ，Ｇ，Ｂ）に色分解され、各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）は、それぞれに対応した色の光を受光する。

スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）の受光量が各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）で異なることになる。このため、センサ信号線ＳＳＲｊとセンサ信号線ＳＳＧｊとセンサ信号線ＳＳＢｊとの出力電圧は互いに異なる。

それゆえ、各出力電圧に応じて、Ｒの階調とＧの階調とＢの階調とを画像処理エンジン１８０が決定することにより、画像処理エンジン１８０はＲＧＢのカラー画像を本体装置１０１へ送ることができる。

以上述べたように、電子機器１００が液晶パネル１４０Ａを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。

次に、図６を参照して説明したスキャンの方法（つまり、反射像をスキャンする方法）とは異なるスキャンの方法について、図１２を参照して説明する。

図１２は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図１２を参照して、外光の一部は、指９００によって遮られる。それゆえ、指９００と接触している液晶パネル１４０の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指９００の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。

ここで、バックライト１７９を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路１４４は、液晶パネル１４０の表面に対する指９００の位置に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９を点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。

以上により、表示装置１０２は、指９００によって外光が遮られることにより得られる像（以下、影像とも称する）をスキャンすることができる。

さらに、表示装置１０２を、バックライト１７９を点灯させてスキャンを行った後に、バックライト１７９を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置１０２を、バックライト１７９を消灯させてスキャンを行った後に、バックライト１７９を点灯させて再度スキャンを行う構成としてもよい。

この場合には、２つのスキャン方式を併用することになるため、２つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。

＜機能的構成＞
図１３を参照して、電子機器１００の機能的構成について説明する。図１３は、本実施の形態に係る電子機器１００の機能的構成をブロック図形式で示す図である。図１３を参照して、電子機器１００は、入力部３１０と、表示部３２０と、記憶部３４０と、制御部３５０とを備える。

入力部３１０は、外部からの指示を受け付けて、指示に応じた信号を出力する。本実施の形態では、光センサ内蔵液晶パネル１４０が、入力部３１０の機能を実現する。また、入力部３１０は、液晶パネル１４０上の物体を検知し、検知結果として出力する。本実施の形態では、入力部３１０は、スキャンデータ、つまり、物体画像を検知結果として出力する。なお、入力部３１０の機能の一部は、操作キーなどによって実現されてもよい。

表示部３２０は、電子機器１００内部の情報を外部に表示する。本実施の形態では、光センサ内蔵液晶パネル１４０が、表示部３２０としても機能する。

記憶部３４０は、種々の情報を格納する。記憶部３４０が格納する情報には、物体データ３４２と、表示データ３４４と、対応データ３４６とが含まれる。

物体データ３４２は、液晶パネル１４０上に置かれた物体に関するデータである。物体データ３４２は、物体の位置を示す位置データ３４２ａと、物体の形状の特徴を示す形状データ３４２ｂを含む。

表示データ３４４は、液晶パネル１４０が表示する表示画面の基礎となるデータである。本実施の形態では、表示画面には、表示オブジェクトが含まれる。表示オブジェクトとは、表示区画が設定されており、１つのまとまりとして処理される表示データである。表示オブジェクトは、スクロールなどによる移動時には、まとまって移動する。液晶パネル１４０の表示画面で、表示オブジェクト内のどの点に指示があっても、同一の指示としてみなされる。以下、表示オブジェクトを、単に、オブジェクトともよぶ。オブジェクトとしては、例えば、写真、フラッシュなどがある。表示データ３４４は、オブジェクトの内容とディスプレイにおけるオブジェクトの表示領域とを表わすオブジェクトデータを含む。

対応データ３４６は、オブジェクトと液晶パネル１４０上の物体との対応関係を表わす。対応データ３４６の詳細については後述する。

制御部３５０は、電子機器１００の各部の動作を制御する。制御部３５０は、表示制御部３５２と、入力処理部３５４と、対応登録部３５６と、対応判断部３５８とを含む。

表示制御部３５２は、表示部３２０を制御し、表示部３２０に、表示データ３４４に基づく画面を表示させる。また、表示制御部３５２は、入力部３１０が受け付けた指示に基づいて、表示画面をスクロールする。

入力処理部３５４は、入力部３１０が受け付けた指示を処理する。具体的には、入力処理部３５４は、液晶パネル１４０が出力する液晶パネル上のスキャン結果を取得し、スキャン結果の変化の有無を判断する。また、入力処理部３５４は、入力部３１０からの物体画像に基づいて、液晶パネル１４０上に置かれた物体の位置データ３４２ａを作成する。また、入力処理部３５４は、作成した位置データ３４２ａを、記憶部３４０に格納する。

対応登録部３５６は、入力処理部３５４が算出した位置データ３４２ａおよびオブジェクトの表示領域に基づいて、物体がオブジェクト上に配置されているかどうか判断する。さらに、対応登録部３５６は、オブジェクトとオブジェクト上に配置されていると判断した物体とを対応付けて、対応関係を記憶部３４０に格納する。

より詳しくは、本実施の形態では、対応登録部３５６は、入力部３１０からの物体画像に基づいて物体の形状データ３４２ｂを作成し、記憶部３４０に格納する。さらに、対応登録部３５６は、オブジェクトとオブジェクト上の物体の形状データ３４２ｂとを対応付ける対応データ３４６を作成し、記憶部３４０に格納する。

対応判断部３５８は、液晶パネル１４０上の物体がオブジェクトと対応付けられているかどうかを判断する。具体的には、対応判断部３５８は、入力部３１０からの物体画像に基づいて、液晶パネル１４０上の物体の形状データを作成する。対応判断部３５８は、液晶パネル１４０上の物体の形状データが、対応データ３４６に含まれる形状データ３４２ｂのいずれかと一致する場合、液晶パネル１４０上の物体が、オブジェクトと対応付けられていると判断する。

対応登録部３５６による対応付けおよび対応判断部３５８の判断結果は、表示制御部３５２により利用される。表示制御部３５２は、物体と対応付けられたオブジェクトの表示を、液晶パネル１４０上の物体と対応付けて制御する。具体的には、表示制御部３５２は、液晶パネル１４０を制御し、物体と対応付けられたオブジェクトを、位置データ３４２ａに対応する領域に表示する。なお、物体とオブジェクトとの対応付けに基づく表示制御の詳細については、後述する。

＜データ＞
以下、記憶部３４０に格納される各種データの詳細について説明する。

（表示データ３４４）
表示データ３４４の詳細について、図１４を参照して説明する。図１４を参照して、表示データ３４４は、２つのオブジェクトデータを含む。オブジェクトデータは、オブジェクト名（図中のＯｂｊｅｃｔＡ、ＯｂｊｅｃｔＢ）と、オブジェクトの表示領域を指定するデータ（図中のｐｏｓｉｔｉｏｎ（Ｘ１，Ｙ１）（Ｘ２，Ｙ２）など）とを含む。以下、オブジェクトの表示領域を、「オブジェクト領域」とよぶ。

ここでは、オブジェクトは矩形であるものとする。ｐｏｓｉｔｉｏｎ（Ｘ１，Ｙ１）（Ｘ２，Ｙ２）は、（Ｘ１，Ｙ１）および（Ｘ２，Ｙ２）を対向する対角の頂点とする矩形領域をオブジェクト領域として指定する。ただし、オブジェクト領域の指定方法は、これに限られない。例えば、オブジェクトの形状が固定されている場合、オブジェクト上の１点を指定することで、オブジェクト領域を指定することもできる。

（物体データ３４２）
物体データ３４２の詳細について、図１５を参照して説明する。図１５を参照して、物体データ３４２は、物体名と、位置データ３４２ａと、形状データ３４２ｂとを含む。

物体名は、形状データ３４２ｂに一意に対応する。ここでは、分かりやすさのため、物体名を「文鎮」「付箋１」「付箋２」などとしている。しかし、実際には、物体名は、各認識パターンを識別する情報であればよい。例えば、記憶部３４０への登録順に対応する数字あるいは文字列を物体名としてもよい。

位置データ３４２ａは、上述のとおり、液晶パネル１４０上の物体の位置を表わす。本実施の形態では、中心座標を位置データ３４２ａとして用いる。ただし、位置データ３４２ａは、これに限られるわけではない。なお、液晶パネル１４０上に置かれたあとに、液晶パネル１４０から離れた物体の位置データ３４２ａは、「なし」となる。図１５に示す例では、付箋（２）の位置データ３４２ａは、「なし」である。

形状データ３４２ｂは、上述のとおり、物体の画像的特徴を示す。本実施の形態では、対応登録部３５６は、部分画像から抽出した特徴を形状データ３４２ｂとして用いる。形状データ３４２ｂは、物体の形状を含む。

さらに、本実施の形態では、対応登録部３５６は、光センサ内蔵液晶パネル１４０の検出結果に基づいて形状データ３４２ｂを作成するので、対応登録部３５６は、物体表面上の文字や、物体の色などを形状データ３４２ｂとして記憶部３４０に格納することもできる。したがって、対応登録部３５６は、同じ形状だが異なる文字や記号が記されている複数の物体の各々について、物体データ３４２を作成することができる。ユーザは、例えば、複数の付箋に異なる文字を書き込み、各付箋を独立にオブジェクトと対応付けることができる。

（対応データ３４６）
対応データ３４６の詳細について、図１６を参照して説明する。図１６を参照して、対応データ３４６は、オブジェクト名と、オブジェクト領域と、物体名と、形状データ３４２ｂとを含む。

オブジェクト名およびオブジェクト領域は、それぞれ、物体がその上に配置されたオブジェクトのオブジェクト名およびオブジェクト領域である。対応登録部３５６は、表示データ３４４に基づいて、オブジェクト名およびオブジェクト領域を対応データ３４６に登録する。

物体名および形状データ３４２ｂは、それぞれ、オブジェクトの上に配置された物体の物体名および形状データ３４２ｂである。対応登録部３５６は、物体データ３４２に基づいて、物体名および形状データ３４２ｂを対応データ３４６に登録する。なお、対応登録部３５６は、物体名あるいは形状データ３４２ｂのいずれか一方の対応データ３４６への登録を省略してもよい。これらのうち一方のデータは、他方のデータおよび物体データ３４２から知ることができるためである。

＜動作（その１）；重し＞
本実施の形態に係る電子機器１００は、画面のスクロール時に、物体がその上に置かれたオブジェクトを移動しない。電子機器１００は、あたかも、オブジェクト上の物体がオブジェクトを固定したかのように、画面を変化させる。この処理を「重し処理」とよぶ。図１７〜図１９を参照して、重し処理に係る電子機器１００の動作について説明する。

図１７は、スクロール操作前の液晶パネル１４０の表示画面を示す図である。図１７を参照して、スクロール前の液晶パネル１４０は、オブジェクトＡ、オブジェクトＢ、オブジェクトＣを含む画面を表示する。オブジェクトＢの上には、付箋２０が置かれている。

ここでは、表示画面として、Ｗｅｂページを想定して説明を進める。各オブジェクトは、例えば、静止画像、動画などである。オブジェクトを除く領域には、テキストが表示されるものとする。ただし、表示画面は、Ｗｅｂページに限られるわけではなく、オブジェクトを含む画面であればよい。

表示制御部３５２は、スクロール指示を受け付けると、表示データ３４４を更新し、スクロールされた画面を液晶パネル１４０に表示させる。スクロール後の画面を図１８に示す。図１８は、スクロール操作後の液晶パネル１４０の表示画面を示す図である。

表示制御部３５２は、液晶パネル１４０が物体の下にあるオブジェクトをスクロール前の表示領域に表示し続けるように表示データ３４４を更新する。具体的には、表示制御部３５２は、全体をスクロールした画面データに、オブジェクトを重畳した画面データを作成する。したがって、オブジェクトＢの位置は、スクロールの前後で変化しない。ユーザは、オブジェクト上に物体を置くことで、スクロール後にも物体を視認し続けることができる。

また、表示制御部３５２は、液晶パネル１４０が、オブジェクトＢがスクロールするとした場合のオブジェクトＢの表示領域にオブジェクトＢを薄く表示するように表示データを更新する。図では、オブジェクトＢがスクロールするとした場合のオブジェクトＢの表示領域を破線で囲んで示す。この結果、スクロール後のオブジェクトの表示形態と、スクロール前のオブジェクトの表示形態とが異なるので、ユーザは、両者を区別できる。

なお、表示制御部３５２は、スクロール後のオブジェクトを薄く表示する以外の方法で、スクロール後のオブジェクトの表示形態と、スクロール前のオブジェクトの表示形態とが異なるように、表示データ３４４を更新してもよい。

あるいは、表示制御部３５２は、スクロール後のオブジェクトの表示領域の表示データを、オブジェクトとは無関係の表示データ（例えば、白塗りの画面など）にしてもよい。ただし、本実施の形態のように、表示形態を変えたオブジェクトを表示する方が、スクロール前にどのような画面が表示されていたかがユーザにとって分かりやすい。

図１９は、さらなるスクロール操作後の液晶パネル１４０の表示画面を示す図である。図１９に示す状態では、スクロールの結果、オブジェクトＢとオブジェクトＤの表示領域が重なる。この場合、表示制御部１４０は、先に物体が配置されているオブジェクトＢがオブジェクトＤの上に重なるように、表示データ３４４を更新する。したがって、液晶パネル１４０は、オブジェクトＢを表示し続ける。

このように、本実施の形態に係る電子機器１００によれば、ユーザは表示オブジェクト上に物体を置くだけで、表示オブジェクトがスクロールしないようにできる。つまり、ユーザは、簡易かつ直感的な操作で、表示オブジェクトの移動を制御できる。

（重し処理の流れ）
重し処理にあたり電子機器１００の制御部３５０が行なう処理の流れについて図２０を参照して説明する。図２０は、制御部３５０が行なう処理の流れをフローチャート形式で示す図である。

ステップＳ１０１において、制御部３５０に含まれる入力処理部３５４は、入力部３１０から液晶パネル１４０上のスキャン結果を取得する。液晶パネル１４０は、常にディスプレイ上をスキャニングしており、入力処理部３５４は、所定のタイミングで、例えば、定期的に、スキャン結果を取得するものとする。

ステップＳ１０２において、入力処理部３５４は、スキャン結果に変化があるかどうか判断する。スキャン結果に変化がない場合（ステップＳ１０２においてＮＯ）、入力部３５４は、ステップＳ１０１の処理に戻り、スキャニングを続ける。一方、スキャン結果に変化がある場合（ステップＳ１０２においてＹＥＳ）、入力処理部３５４は、ステップＳ１０３の処理に進む。

ステップＳ１０３において、入力処理部３５４は、液晶パネル１４０から取得した画像に基づいて、液晶パネル１４０上に物体があるかどうか判断する。例えば、入力処理部３５４は、出力電圧が予め定められた値以上となった光センサ回路が備えられた画素の個数が、所定の個数以上である場合、液晶パネル１４０上に物体があると判断する。物体があると判断した場合は、入力処理部３５４は、液晶パネル１４０から取得した画像に基づいて、液晶パネル１４０上の物体の位置データを算出するものとする。

液晶パネル１４０上に物体がない場合（ステップＳ１０３においてＮＯ）、スキャン結果に変化があり、かつ、液晶パネル１４０上に物体がないので、液晶パネル１４０上に置かれていた物体が液晶パネル１４０から「離れた」と判断できる。この場合、制御部３５０に含まれる表示制御部３５２は、ステップＳ１１１の処理を行なう。ステップＳ１１１の処理については、後述する。

液晶パネル１４０上に物体がある場合（ステップＳ１０３においてＹＥＳ）、スキャン結果に変化があり、かつ液晶パネル１４０上に物体があるので、液晶パネル１４０上に物体が「新たに置かれた」もしくは液晶パネル１４０の物体が「移動した」と判断される。この場合、ステップＳ１０４において、制御部３５０に含まれる対応登録部３５６は、置かれた物体がオブジェクト上にあるかどうか判断する。具体的には、対応登録部３５６は、置かれた物体の位置データ３４２ａ（すなわち、中心座標）が表示データ３４４中のオブジェクト領域に含まれる場合に、置かれた物体がオブジェクト上にあると判断する。

なお、位置データ３４２ａとして、所定値以下の値の信号を出力する画素からなる領域を用いてもよい。この場合、対応登録部３５６は、例えば、位置データ３４２ａとオブジェクト領域とが重なる部分を持つ場合に、置かれた物体がオブジェクト上にあると判断する。

対応登録部３５６が、物体はオブジェクト上にないと判断した場合（ステップＳ１０４においてＮＯ）、制御部３５０は、ステップＳ１０８と、ステップＳ１０９と、ステップＳ１１０（必要な場合のみ）との処理を実行する。ステップＳ１０８からステップＳ１１０の処理の詳細については、後述する。

対応登録部３５６が、物体はオブジェクト上にあると判断した場合（ステップＳ１０４においてＹＥＳ）、ステップＳ１０５において、制御部３５０に含まれる対応判断部３５８は、液晶パネル上に置かれた物体がオブジェクトに対応付けられているかどうか判断する。具体的には、対応判断部３５８は、置かれた物体の形状データ３４２ｂが、対応データ３４６中の形状データのいずれかに一致するかどうか調べる。置かれた物体の形状データ３４２ｂが、対応データ３４６中の形状データのいずれかに一致する場合、対応判断部３５８は、物体がオブジェクトに対応付けられていると判断する。置かれた物体の形状データ３４２ｂが、対応データ３４６中の形状データのいずれにも一致しない場合、対応判断部３５８は、物体がオブジェクトに対応付けられていないと判断する。

対応判断部３５８が、液晶パネル１４０上に置かれた物体がオブジェクトに対応付けられていないと判断した場合（ステップＳ１０５においてＮＯ）、ステップＳ１０６において、対応登録部３５６は、液晶パネル１４０上の物体とオブジェクトとを対応付ける対応データ３４６を作成する。そのあと、制御部３５０は、ステップＳ１０７の処理に進む。

なお、ここで、電子機器１００は、自動的に物体とオブジェクトとの対応付けを行なってもよいし、対応付けをするかどうかをユーザに尋ね、ユーザが対応付けを望む場合に対応付けを行なってもよい。また、電子機器１００は、自動的に物体とオブジェクトとの対応付けを行なうモードと、対応付けの要否をユーザに尋ねるモードとを備えていてもよい。この場合、ユーザが、電子機器１００がいずれのモードで動作するかを設定できてもよい。

対応判断部３５８が、液晶パネル１４０上に置かれた物体がオブジェクトに対応付けられていると判断した場合（ステップＳ１０５においてＹＥＳ）、制御部３５０は、ステップＳ１０６を省略し、ステップＳ１０７の処理に進む。物体とオブジェクトとはすでに対応付けられているためである。

ステップＳ１０７において、表示制御部３５２は、物体が置かれていると判断されているオブジェクトの絶対座標を固定する。ステップＳ１０７の処理の詳細については、後述する。

なお、物体が置かれたオブジェクトの絶対座標を固定する方法は、上記の方法に限られるわけではない。例えば、制御部３５０は、対応データを作成するのではなく、物体の形状によらず、物体が置かれたオブジェクトの絶対座標を固定してもよい。例えば、制御部３５０は、各オブジェクト上に物体があるかどうかを表わすデータを記憶部３４０に格納する。この場合、制御部３５０は、ステップＳ１０４においてＹＥＳ（物体はオブジェクト上にある）と判断した場合に、ステップＳ１０５およびステップＳ１０６を省略して、物体が置かれたオブジェクトの絶対座標を固定する。

ただし、制御部３５０は、対応データを作成することで、物体の形状とオブジェクトとを対応付けた他の表示制御も行なうことができるようになる。他の表示制御の例については、後述する。

図２０に示したステップＳ１０７において、表示制御部３５２が行なう処理について、図２１を参照して説明する。図２１は、オブジェクトの絶対座標の固定処理の際に表示制御部３５２が行なう処理の流れをフローチャート形式で示す図である。

ステップＳ２０１において、表示制御部３５２は、入力部３１０からスクロール指示を受け付けたかどうか判断する。

スクロール指示がある場合（ステップＳ２０１においてＹＥＳ）、ステップＳ２０３において、表示制御部３５２は、選択されたオブジェクトを固定して画面をスクロールする。

一方、スクロール指示がない場合（ステップＳ２０１においてＮＯ）、表示制御部３５２は、オブジェクトの絶対座標の固定処理を終了する。

ステップＳ２０３において表示制御部３５２が行なう処理の詳細を、図２２を参照して説明する。図２２は、選択されたオブジェクトを固定した画面スクロールの際に表示制御部３５２が行なう処理の流れをフローチャート形式で示す図である。

ステップＳ３０１において、表示制御部３５２は、選択されたオブジェクトの表示データを一時的に、表示データ３４４の格納領域以外の記憶領域に格納する。

ステップＳ３０３において、表示制御部３５２は、スクロール指示に基づいて、表示データ全体をスクロールする。スクロール指示は、スクロール量を含んでいるものとする。表示制御部３５２は、指示されたスクロール量だけ、表示データの座標をずらす。

ステップＳ３０５において、表示制御部３５２は、スクロール前のオブジェクトの表示領域の表示データを、スクロール前のオブジェクトの表示データで上書きする。

ステップＳ３０７において、表示制御部３５２は、スクロール後のオブジェクトの表示形態を変更する。例えば、表示制御部３５２は、スクロール後のオブジェクトが薄く表示されるように表示データを更新する。

＜動作（その２）；物体に追従したオブジェクト移動＞
本実施の形態に係る電子機器１００は、上記の動作に加え、オブジェクトと対応付けられた物体が、液晶パネル１４０上に置かれると、オブジェクトを物体の位置に対応する領域に移動させる。したがって、ユーザは、オブジェクトを直感的かつ簡易な操作で、移動させることができる。オブジェクトを移動させるにあたり、ユーザは、マウスなどの入力デバイスを操作する必要がない。

電子機器１００は、オブジェクトと対応付けられた物体が液晶パネル１４０上を移動する場合、オブジェクトを物体に追従させて移動する。この動作について、図２３〜２６を参照して説明する。

図２３は、文鎮１０が、液晶パネル１４０内のオブジェクトＢ上に置かれたときの液晶パネル１４０の表示画面を示す図である。図２３に示す状態では、オブジェクトＢと文鎮１０とは、対応登録部３５６により対応付けられている。

図２４は、ユーザが、文鎮１０を、液晶パネル１４０上の異なる位置に移動したときの液晶パネル１４０の表示画面を示す図である。図２４を参照して、オブジェクトＢは、新たな文鎮１０の位置に対応する領域に移動する。文鎮１０とオブジェクトＢとの間の相対的な位置関係は、移動前後で保たれる。また、移動前のオブジェクトＢは、表示形態を変えて表示される。

図２５は、ユーザが、文鎮１０を、液晶パネル１４０上のさらに異なる位置に移動したときの液晶パネル１４０の表示画面を示す図である。図２５を参照して、オブジェクトＢは、新たな文鎮１０の位置に対応する領域に移動する。オブジェクトＢが最初にあった領域には、表示形態が変更されたオブジェクトＢが表示される。

図２６は、図２５に示す状態で、ユーザが、文鎮１０を液晶パネル１４０から離したあとの液晶パネル１４０の表示画面を示す図である。図２６を参照して、文鎮１０が液晶パネル１４０から離れると、オブジェクトＢは、最初にオブジェクトＢが表示されていた領域に戻る。図２６では、文鎮１０が液晶パネル１４０から離れる前のオブジェクトＢおよび文鎮１０の位置を点線で示している。図２６における点線は、他の図と異なり、表示形態を変えたオブジェクトが表示されることを表わすわけではない。

以上のように、ユーザが、物体を液晶パネル１４０上で滑らせると、オブジェクトは物体に追従して移動する。ユーザは、ドラッグ＆ドロップなどの操作に比べて、簡易な操作で、オブジェクトを移動させることができる。

＜動作（その３）；遠隔移動＞
また、電子機器１００は、オブジェクトと対応付けられた物体が一旦液晶パネル１４０から離れた後、再度、液晶パネル１４０上に置かれた場合、オブジェクトを新たに物体が置かれた位置に対応する領域に移動する。この動作について、図２７〜３０を参照して説明する。

図２７は、付箋２０が、液晶パネル１４０内のオブジェクトＢ上に置かれたときの液晶パネル１４０の表示画面を示す図である。図２７に示す状態では、オブジェクトＢと付箋２０とは、対応登録部３５６により対応付けられている。

図２８は、ユーザが、付箋２０を液晶パネル１４０から離して、付箋２０を液晶パネル１４０上の異なる位置に貼り付けるまでの液晶パネル１４０の表示画面を示す図である。図２８を参照して、オブジェクトＢは、付箋２０が液晶パネル１４０に貼られるまでは、図２７に示した領域にとどまる。

図２９は、ユーザが、液晶パネル１４０から離した付箋２０を、再び、液晶パネル１４０に貼ったときの液晶パネル１４０の表示画面を示す図である。図２９を参照して、オブジェクトＢは、新たな付箋２０の位置に対応する領域に移動する。移動前のオブジェクトＢの表示領域には、表示形態が変更されたオブジェクトＢが表示される。

図３０は、図２９に示す状態で、ユーザが、付箋２０を液晶パネル１４０から離したあとの液晶パネル１４０の表示画面を示す図である。図３０を参照して、付箋２０が液晶パネル１４０から離れると、オブジェクトＢは、最初にあった領域に戻る。図３０では、図２６と同様、付箋２０が液晶パネル１４０から離れる前のオブジェクトＢおよび付箋２０の位置を点線で示している。

ユーザは、一度、オブジェクトの上に物体を置けば、その物体を再び液晶パネル１４０上に置くことで、オブジェクトの位置を移動することができる。電子機器１００は、物体の形状とオブジェクトとを対応付けるため、ユーザは、複数のオブジェクトにそれぞれ異なる物体を対応付けて、各オブジェクトを独立に移動することもできる。

＜処理の流れ＞
以上の各動作を実現するにあたって制御部３５０が行なう処理の流れについて、再び、図２０を参照して説明する。

対応登録部３５６が物体がオブジェクト上にないと判断した場合（ステップＳ１０４においてＮＯ）、対応判断部３５８は、ステップＳ１０８において、液晶パネル１４０上の物体に関係する対応データを検索する。

ステップＳ１０９において、対応判断部３５６は、ステップＳ１０８の検索結果に基づいて、物体に対応するオブジェクトが、液晶パネル１４０に表示されているかどうか判断する。

対応判断部３５８が、置かれた物体に対応しているオブジェクトが表示されていないと判断した場合（ステップＳ１０９においてＮＯ）、制御部３５０は、ステップＳ１０１からの処理を繰り返す。

対応判断部３５８が、置かれた物体に対応しているオブジェクトが表示されていると判断した場合（ステップＳ１０９においてＹＥＳ）、表示制御部３５２は、ステップＳ１１０において、物体位置にオブジェクトを表示する。ステップＳ１１０で行なわれる処理の詳細については、後述する。

以上のステップＳ１０８からステップＳ１１０の処理により、図２３から図２５、あるいは、図２７から図２９を参照して説明したオブジェクトの移動が実現される。

ステップＳ１０３においてＮＯの場合（液晶パネル１４０上に物体がない場合）、表示制御部３５２は、ステップＳ１１１において、ステップＳ１１０でオブジェクトが移動されている場合には、オブジェクトをオブジェクトが移動する前の表示領域に戻す。なお、スクロールによりオブジェクトが移動する前の表示領域が、液晶パネル１４０に表示されていない場合、表示制御部３５２は、液晶パネル１４０に、移動されたオブジェクトを表示しない。ステップＳ１１１の処理により、図２６あるいは図３０を参照して説明したオブジェクトの移動が実現される。

ステップＳ１１０において表示制御部３５２が行なう処理の詳細を、図３１を参照して説明する。図３１は、物体位置に対応する領域にオブジェクトを表示する際に表示制御部３５２が行なう処理の流れをフローチャート形式で示す図である。

ステップＳ５０１において、表示制御部３５２は、オブジェクトの表示データを、移動先の領域の新たな表示データにする。ここで、表示制御部３５２は、移動先の領域を、移動後の位置データ３４２ａと、移動前の位置データ３４２ａと、移動前のオブジェクト領域とに基づいて定める。具体的には、表示制御部３５２は、位置データ３４２ａとオブジェクト領域との相対的な位置関係が変わらないように、オブジェクトの移動先の領域を定める。

ステップＳ５０３において、表示制御部３５２は、移動前のオブジェクト領域を記憶部３４０に格納する。これは、ステップＳ４２１において、表示制御部３５２が、オブジェクトを元の位置に戻せるようにするためである。

ステップＳ５０５において、表示制御部３５２は、移動前の領域の表示データを更新する。具体的には、表示制御部３５２は、表示形態を変えたオブジェクトの表示データを、移動前の領域の新たな表示データとする。

図２０に示す処理の流れでは、電子機器１００は、スクロール動作と、物体位置にしたがうオブジェクトの移動のいずれも行なえる。しかし、電子機器１００は、スクロール動作を行なわず、物体によるオブジェクトの移動のみを行なってもよい。電子機器１００がスクロール動作を行なわなくてよい場合、制御部３５０は、ステップＳ１０７を省略することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本実施の形態に係る電子機器１００の外観を示す図である。 電子機器１００のハードウェア構成を表わすブロック図である。 液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路とを示した図である。 液晶パネル１４０とバックライト１７９との断面図である。 光センサ回路１４４を動作させる際のタイミングチャートを示した図である。 液晶パネル１４０とバックライト１７９との断面図であって、スキャンの際にフォトダイオード１４５がバックライト１７９からの光を受光する構成を示した図である。 センシングコマンドの概略構成を示した図である。 センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。 応答データの概略構成を示した図である。 スキャン画像を示した図である。 光センサ内蔵液晶パネル１４０Ａの回路図である。 スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。 電子機器１００の機能的構成をブロック図形式で示す図である。 表示データ３４４の一例を示す図である。 物体データ３４２の一例を示す図である。 対応データ３４６の一例を示す図である。 スクロール操作前の液晶パネル１４０の表示画面を示す図である。 スクロール操作後の液晶パネル１４０の表示画面を示す図である。 さらなるスクロール操作後の液晶パネル１４０の表示画面を示す図である。 制御部３５０が行なう処理の流れをフローチャート形式で示す図である。 オブジェクトの絶対座標の固定処理の際に表示制御部３５２が行なう処理の流れをフローチャート形式で示す図である。 選択されたオブジェクトを固定した画面スクロールの際に表示制御部３５２が行なう処理の流れをフローチャート形式で示す図である。 文鎮１０が、液晶パネル１４０内のオブジェクトＢ上に置かれたときの液晶パネル１４０の表示画面を示す図である。 ユーザが、文鎮１０を、液晶パネル１４０上の異なる位置に移動したときの液晶パネル１４０の表示画面を示す図である。 ユーザが、文鎮１０を、液晶パネル１４０上のさらに異なる位置に移動したときの液晶パネル１４０の表示画面を示す図である。 図２５に示す状態で、ユーザが、文鎮１０を液晶パネル１４０から離したあとの液晶パネル１４０の表示画面を示す図である。 付箋２０が、液晶パネル１４０内のオブジェクトＢ上に置かれたときの液晶パネル１４０の表示画面を示す図である。 ユーザが、付箋２０を液晶パネル１４０から離して、付箋２０を液晶パネル１４０上の異なる位置に貼り付けるまでの液晶パネル１４０の表示画面を示す図である。 ユーザが、液晶パネル１４０から離した付箋２０を、再び、液晶パネル１４０に貼ったときの液晶パネル１４０の表示画面を示す図である。 図２９に示す状態で、ユーザが、付箋２０を液晶パネル１４０から離したあとの液晶パネル１４０の表示画面を示す図である。 物体位置に対応する領域にオブジェクトを表示する際に表示制御部３５２が行なう処理の流れをフローチャート形式で示す図である。

符号の説明

１０ 文鎮、２０ 付箋、１００ 電子機器、１０１ 本体装置、１０２ 表示装置、１３０ ドライバ、１３１ 走査信号線駆動回路、１３２ データ信号線駆動回路、１３３ 光センサ駆動回路、１３４ スイッチ、１３５ アンプ、１４０ 光センサ内蔵液晶パネル、１４１ 画素回路、１４１ｂ サブピクセル回路、１４１ｇ サブピクセル回路、１４１ｒ サブピクセル回路、１４３ 電極対、１４３ａ 画素電極、１４３ｂ 対向電極、１４４ 光センサ回路、１４５ フォトダイオード、１４５ｂ フォトダイオード、１４５ｇ フォトダイオード、１４５ｒ フォトダイオード、１４６ コンデンサ、１５１Ａ アクティブマトリクス基板、１５１Ｂ 対向基板、１５２ 液晶層、１５３ｂ カラーフィルタ、１５３ｇ カラーフィルタ、１５３ｒ カラーフィルタ、１５７ データ信号線、１６１ 偏光フィルタ、１６２ ガラス基板、１６３ 遮光膜、１６４ 配向膜、１７３ メモリカードリーダライタ、１７４ 通信部、１７５ マイク、１７６ スピーカ、１７７ 操作キー、１７９ バックライト、１８０ 画像処理エンジン、１８１ ドライバ制御部、１８２ タイマ、１８３ 信号処理部、３１０ 入力部、３２０ 表示部、３４０ 記憶部、３４２ 物体データ、３４２ａ 物体位置データ、３４２ｂ 形状データ、３４４ 表示データ、３４６ 対応データ、３５０ 制御部、３５２ 表示制御部、３５４ 入力処理部、３５６ 対応登録部、３５８ 対応判断部、９００ 指。

Claims (17)

1. ディスプレイと、
   前記ディスプレイ上の物体を検知するセンサと、
   前記ディスプレイを制御し、表示オブジェクトを含む画面を前記ディスプレイに表示する表示制御手段と、
   前記センサの検知結果に基づいて、前記ディスプレイ上の前記物体の位置データを算出する位置算出手段と、
   前記位置算出手段により算出された前記物体の位置データを記憶する記憶手段と、
   前記表示オブジェクトと前記物体とを対応付けて前記記憶手段に格納する登録手段とを備え、
   前記表示制御手段は、
   前記物体に対応付けられた前記表示オブジェクトを、前記ディスプレイ上の前記物体の位置データに応じた領域に表示する対応表示手段と、
   前記ディスプレイ上で前記物体の位置をユーザが移動させたことに基づき、前記対応表示手段が、前記物体に対応付けられた前記表示オブジェクトを、前記ディスプレイ上の前記物体の移動後の位置データに応じた領域に表示させる場合に、移動後の領域に表示する前記表示オブジェクトに対応する移動後画像と、移動前に前記表示オブジェクトが表示されていた領域に表示する前記表示オブジェクトに対応する移動前画像とを異なる画像で、前記ディスプレイに同時に表示する、電子機器。
2. 前記センサが前記ディスプレイ上に検知した物体が、前記ディスプレイに表示されている表示オブジェクト上に置かれているか否かを該物体の位置データから判断する物体載置判断手段をさらに備え、
   前記記憶手段は、前記表示オブジェクト毎の、前記ディスプレイ上における前記表示オブジェクトの表示領域であるオブジェクト領域をさらに記憶する、請求項１に記載の電子機器。
3. 前記物体載置判断手段により前記物体が置かれていると判断された表示オブジェクトが、該物体と対応付けて前記登録手段により登録されている表示オブジェクトであるか否かを判断する登録判断手段をさらに備える、請求項２に記載の電子機器。
4. 前記表示制御手段は、前記対応表示手段により、前記センサが前記ディスプレイ上に検知した物体と対応付けて前記登録手段により登録されている表示オブジェクトを前記ディスプレイ上に表示させる際に、該表示オブジェクトが既に前記ディスプレイ上に表示されていた場合、該移動後の表示オブジェクトの表示画像と該移動前の表示オブジェクトの表示画像とを異ならせる、請求項１〜３のいずれか１項に記載の電子機器。
5. 請求項１に記載の前記異なる画像および請求項４に記載の前記異ならせる表示画像は、いずれも移動前と移動後とで画像の表示形態を異ならせた画像である、請求項１または４に記載の電子機器。
6. 前記センサが前記ディスプレイ上に検知した物体が前記物体載置判断手段により前記表示オブジェクト上に置かれていないと判断された場合に、前記センサが検知した物体に対応付けて前記登録手段により登録されている表示オブジェクトを検索する対応オブジェクト検索手段をさらに備える、請求項２〜５のいずれか１項に記載の電子機器。
7. 前記対応表示手段は、前記対応オブジェクト検索手段によって抽出された表示オブジェクトを前記物体の検知された位置に対応して前記ディスプレイ上に表示させる、請求項６に記載の電子機器。
8. 前記センサは、前記ディスプレイ上の前記物体の形状データを取得し、
   前記登録手段は、前記表示オブジェクトと前記表示オブジェクトに置かれた前記物体の前記形状データとを対応付けた対応データを作成し、前記対応データを前記記憶手段に格納し、
   前記登録判断手段は、前記記憶手段に格納された前記対応データおよび前記ディスプレイ上に置かれた前記物体の前記形状データに基づいて、前記ディスプレイ上に置かれた前記物体が前記表示オブジェクトに対応付けられているかどうかを判断し、
   前記表示制御手段は、前記ディスプレイ上に置かれた前記物体が前記表示オブジェクトに対応付けられていると判断された場合、前記ディスプレイに、前記物体の前記位置データに応じた領域に前記物体と対応付けられた前記表示オブジェクトを表示させる、請求項３から７のいずれか１項に記載の電子機器。
9. 前記表示制御手段は、前記ディスプレイ上に置かれた前記物体が前記表示オブジェクトに対応付けられていると判断された場合、前記物体が前記ディスプレイ上を移動すると、前記物体に対応する前記表示オブジェクトを前記物体に追従するように前記ディスプレイに表示させる、請求項８に記載の電子機器。
10. 前記表示制御手段は、前記表示オブジェクトに対応付けられている前記物体が前記ディスプレイ上に置かれると、前記物体に対応する前記表示オブジェクトの前記表示領域を前記物体の位置に応じた領域に移動する、請求項８または９に記載の電子機器。
11. 前記表示制御手段は、前記表示オブジェクトに対応付けられている前記物体が前記ディスプレイから離れると、前記ディスプレイに、前記物体に対応する前記表示オブジェクトを、前記物体が前記ディスプレイに置かれる前の前記オブジェクト領域に表示させる、請求項９または１０に記載の電子機器。
12. 前記表示制御手段は、前記物体が前記ディスプレイに置かれる前の前記オブジェクト領域が、前記ディスプレイの表示範囲外にある場合、前記表示オブジェクトに対応付けられている前記物体が前記ディスプレイから離れると、前記ディスプレイに、前記物体に対応する前記表示オブジェクトの表示を終了させる、請求項１１に記載の電子機器。
13. 前記表示制御手段は、前記表示オブジェクトに対応付けられている前記物体が前記ディスプレイ上に置かれている間、前記ディスプレイに、前記物体が前記ディスプレイ上に置かれる前の前記オブジェクト領域に、前記表示オブジェクトとは異なる画像を表示させる、請求項８から１２のいずれか１項に記載の電子機器。
14. 前記表示制御手段は、前記表示オブジェクトに対応付けられている前記物体が前記ディスプレイ上に置かれている間、前記ディスプレイに、前記物体が前記ディスプレイ上に置かれる前の前記オブジェクト領域に、前記物体に対応する前記表示オブジェクトを表示形態を変えて表示させる、請求項１３に記載の電子機器。
15. 前記ディスプレイは、液晶パネルであり、
    前記センサは、前記ディスプレイに内蔵されている、請求項１から１４のいずれか１項に記載の電子機器。
16. ディスプレイと、前記ディスプレイ上の物体を検知するセンサと、記憶手段とを備える電子機器を制御する情報処理方法であって、
    表示オブジェクトを含む画面を前記ディスプレイに表示するステップと、
    前記センサの検知結果に基づいて、前記ディスプレイ上の前記物体の位置データを算出するステップと、
    前記記憶手段に前記位置データを算出するステップにより算出された前記物体の位置データを記憶するステップと、
    前記表示オブジェクトと前記物体とを対応付けて前記記憶手段に格納するステップとを含み、
    前記表示するステップは、
    前記物体に対応付けられた前記表示オブジェクトを、前記ディスプレイ上の前記物体の位置データに応じた領域に表示する対応表示ステップと、
    前記ディスプレイ上で前記物体の位置をユーザが移動させたことに基づき、前記対応表示ステップが、前記物体に対応付けられた前記表示オブジェクトを、前記ディスプレイ上の前記物体の移動後の位置データに応じた領域に表示させる場合に、移動後の領域に表示する前記表示オブジェクトに対応する移動後画像と、移動前に前記表示オブジェクトが表示されていた領域に表示する前記表示オブジェクトに対応する移動前画像とを異なる画像で、前記ディスプレイに同時に表示するステップとを含む、情報処理方法。
17. ディスプレイと、前記ディスプレイ上の物体を検知するセンサと、記憶手段とを備える電子機器を制御する情報処理プログラムであって、
    表示オブジェクトを含む画面を前記ディスプレイに表示するステップと、
    前記センサの検知結果に基づいて、前記ディスプレイ上の前記物体の位置データを算出するステップと、
    前記記憶手段に前記位置データを算出するステップにより算出された前記物体の位置データを記憶するステップと、
    前記表示オブジェクトと前記物体とを対応付けて前記記憶手段に格納するステップとを前記電子機器に実行させ、
    前記表示するステップは、
    前記物体に対応付けられた前記表示オブジェクトを、前記ディスプレイ上の前記物体の位置データに応じた領域に表示する対応表示ステップと、
    前記ディスプレイ上で前記物体の位置をユーザが移動させたことに基づき、前記対応表示ステップが、前記物体に対応付けられた前記表示オブジェクトを、前記ディスプレイ上の前記物体の移動後の位置データに応じた領域に表示させる場合に、移動後の領域に表示する前記表示オブジェクトに対応する移動後画像と、移動前に前記表示オブジェクトが表示されていた領域に表示する前記表示オブジェクトに対応する移動前画像とを異なる画像で、前記ディスプレイに同時に表示するステップとを含む、情報処理プログラム。

Images