JP5977768B2 - 画像表示装置及びその操作方法 - Google Patents

Description

本発明は、タッチ操作可能な画像表示装置に関し、特に、ペンによるタッチ操作を容易にするユーザインターフェイスを備えた画像表示装置及びその操作方法に関する。

タッチパネルディスプレイを備えた画像表示装置が知られている。近年では、その大画面化が進展し、種々の用途に使用されている。例えば、会議又はプレゼンテーションで使用する電子黒板装置等として用いられている。

ユーザインターフェイスとしては、画面の周縁部に、ペン操作用のアイコンを配置することが行なわれている。例えば、画面の左又は右の辺に沿って縦方向に、描画に関する設定を行なうためのアイコン、又は所定の操作を選択するための複数のアイコンが配置される。ユーザは、ペンで各アイコンをタッチして、ペンによる描画時の条件（線の色及び太さ、又は消しゴム操作）の設定、又はモードの切換等の操作の選択を行なうことができる。このようなユーザインターフェイスは、ユーザによる操作により表示又は消去される。

一方、従来から、タッチパネルの操作性を改善する方法が種々提案されている。例えば、下記特許文献１には、入力ペン等の座標指示器を用いてディスプレイ上に操作メニュー等を展開し得るデジタイザにおける操作性を改善するための方法が開示されている。具体的には、ペンでタッチされた位置を中心として、同心円状の操作メニューを表示する技術が開示されている。

また、下記特許文献２には、ペンを用いた手書きジェスチャー操作が可能な文書作成編集装置において、ペン先位置近傍に編集メニューをポップアップ表示する技術が開示されている。具体的には、文書の所定範囲がペンで範囲指定されると、ポップアップメニューが表示され、ポップアップメニューがタッチされると該当する編集処理が実行されて、ポップアップメニューが消去される。このとき、ポップアップメニュー以外の領域がタッチされると編集処理がキャンセルされ、ポップアップメニューが消去される。

また、下記特許文献３は、１台のコンピュータを複数の者が使用する場合に、他人の作業環境を侵害しないようにすることができるペン操作の位置検出装置を開示している。
具体的には、複数のペンを使用して操作する場合に、ペン毎に符号を定めて、複数種類のペンを区別し、ペンの種類に応じて異なる制御（ユーザの区別、又はペンの色の区別）を行なう技術が開示されている。

特開平８−９５７３７号公報 特開平６−２８９９８４号公報 特開平２−２９２６１７号公報

上記のように、ペンによるタッチ操作のためのユーザインターフェイスが種々提案されているが、依然として改善の余地がある。特に、大画面の画像表示装置においては、通常、操作用のアイコンを、描画等の処理対象が表示されない、画面の周縁部に固定的に配置しているので、ユーザに十分な操作性を提供することができていない。

例えば、操作用のアイコンを表示する場合、画面の周縁部に表示したとしても、ペンで操作をしない場合にも常に表示されていれば、目障りであり、支障が生じることがある。また、ペンの描画色等を変更する度に、画面の周縁部に表示されたアイコンにタッチすることが必要であり、煩雑である。特に大画面の場合、画面の周縁部まで移動しないといけないので、ユーザに負担を強いる。また、ユーザインターフェイスの表示又は非表示をユーザが切換える必要があり、この点も煩雑である。

また、複数のペンを使用可能な画像表示装置を実現する場合、ペン毎に設定を行なうためのユーザインターフェイスが必要であり、全てのペンのユーザインターフェイスを同時に表示する場合には、画面上の専有面積が大きくなってしまう。１つのユーザインターフェイスを表示する場合には、ペンに応じてユーザインターフェイスを切換える操作が必要であり、煩雑である。

特許文献１〜３は何れも、大画面の画像表示装置におけるペンでの描画処理に関するものではなく、これらの問題を解決することはできない。

したがって、本発明は、ペンによるタッチ操作、特に描画に関する設定を容易に行なうことができるユーザインターフェイスを備えた画像表示装置及びその操作方法を提供することを目的とする。

本発明に係る第１の画像表示装置は、画像を表示する表示部と、表示部に重畳され、タッチペンによるタッチ操作を検出するタッチ検出部と、タッチ検出部により検出されたタッチ操作に割当てられた処理を実行する制御部と、ユーザがタッチペンを持っている状態を検出したタッチペンから送信される所定の第１情報を受信する受信部とを含む。表示部は、受信部が第１情報を受信したことを受けて、タッチペンによるタッチ操作に割当てられた処理に関する設定状態を表示する部分画像を表示する。

これにより、ユーザがタッチペンによりタッチ操作を行なう場合に、ユーザがタッチペンを手に持った時点で、ペン操作の設定状態を表示する部分画像が表示されるので、ユーザは、現在ペン操作にどのような処理が割当てられているかを容易に確認することができる。

好ましくは、受信部は、複数のタッチペンから第１情報を受信し、第１情報は、複数のタッチペンの各々に一意に付与された情報であり、表示部は、受信部により受信された複数の第１情報の各々に１対１に対応する複数の部分画像を表示する。

このように、複数のタッチペンを用いる場合に、各タッチペンが一意の第１情報（ＩＤ）を送信することにより、各タッチペンに対応する部分画像を表示することができ、各ユーザは使用中のタッチペンに関する設定情報を容易に確認することができる。

より好ましくは、表示部は、部分画像が、対応するタッチペンでタッチされたことを、タッチ検出部が検出したことを受けて、タッチされた部分画像に対応させて、タッチ操作に割当てられた処理に関する設定状態を変更するためのメニュー画像を表示し、タッチペンによるタッチ操作に割当てられた処理が描画処理であれば、タッチペンによるタッチ操作が開始されたことを受けて、メニュー画像を消去する。

このように、部分画像がタッチペンでタッチされると、ペン操作の設定を変更するためのメニューを表示することにより、ユーザは容易にペン操作の設定を変更することができる。タッチ操作中にメニューを消去することにより、ユーザは、メニューによって邪魔されることなく、容易にタッチ操作を行なうことができる。

さらに好ましくは、表示部は、制御部がタッチペンによるタッチ操作に割当てられた処理を実行した後、タッチ検出部がタッチペンによるタッチを検出しなくなったことを受けて、タッチが検出されなくなったタッチペンに対応する部分画像を、タッチ検出部が最後にタッチを検出した位置から所定範囲内の位置に移動させる。

これにより、ユーザは、１つのタッチ操作を終えた後、タッチ操作の設定変更を容易に行なうことができる。

好ましくは、表示部は、タッチ検出部が、表示されている部分画像以外の領域において、表示されている部分画像に対応するタッチペンによる、制御部により実行される処理が割当てられていない所定のタッチ操作を検出したことを受けて、表示されている部分画像を、所定のタッチ操作が検出された位置に移動させる。

これにより、ユーザは、手が届かない位置に表示されている部分画像を、自分の近くに移動させることができ、タッチ操作の設定変更を容易に行なうことができる。

より好ましくは、受信部は、タッチ操作中のタッチペンから送信される所定の第２情報を受信し、表示部は、受信部が第２情報を受信していない状態で、タッチ検出部が、制御部により実行される処理が割当てられていない所定のタッチ操作を検出したことを受けて、制御部が実行する処理に関する設定状態を表示する、タッチペンに対応する部分画像とは異なる部分画像を表示する。

このように、タッチペンによりタッチ操作がなされるときに、タッチペンが第２情報（スイッチオン情報）を送信することにより、ユーザの指によるタッチ操作に関しても、設定状態を表す部分画像を表示することができ、ユーザは、指によるタッチ操作にどのような処理が割当てられているかを容易に確認することができる。

本発明に係る第２の画像表示装置は、画像を表示する表示部と、表示部に重畳され、タッチ操作を検出するタッチ検出部と、タッチ検出部により検出されたタッチ操作に割当てられた処理を実行する制御部とを含む。表示部は、タッチ検出部が、制御部により実行される処理が割当てられていない所定のタッチ操作を検出したことを受けて、制御部が実行する処理に関する設定状態を表示する部分画像を表示する。

これにより、ユーザの指によるタッチ操作の設定状態を表す部分画像を表示することができ、ユーザは、指によるタッチ操作にどのような処理が割当てられているかを容易に確認することができる。

好ましくは、制御部により実行される処理が割当てられていない所定のタッチ操作は、長押しである。

本発明に係る画像表示装置の操作方法は、画像を表示するステップと、表示された画像に対する、タッチペンによるタッチ操作を検出するステップと、検出されたタッチ操作に割当てられた処理を実行するステップと、ユーザがタッチペンを持っている状態を検出したタッチペンから送信される所定の第１情報を受信するステップと、第１情報を受信したことを受けて、タッチペンによるタッチ操作に割当てられた処理に関する設定状態を表示する部分画像を表示するステップとを含む。

これにより、ユーザがタッチペンによりタッチ操作を行なう場合に、ユーザがタッチペンを手に持った時点で、ペン操作の設定状態を表示する部分画像が表示されるので、ユーザは、現在ペン操作にどのような処理が割当てられているかを容易に確認することができる。

本発明によれば、ユーザがタッチペンによりタッチ操作を行なう場合に、タッチペンを手に持った時点で、ペン操作の設定状態を表示する部分画像（インジケータ）が表示されるので、ユーザは、現在ペン操作の設定状態を容易に確認することができる。また、表示されるメニューにより、設定を容易に変更することができる。

また、ユーザが指で所定のタッチ操作（長押し）を行なった場合に、部分画像（インジケータ）を表示することにより、ユーザは、現在指によるタッチ操作の設定状態を容易に確認することができる。

本発明の第１の実施の形態に係る画像表示装置の構成の概略を示すブロック図である。 タッチ入力の検出方法の一例を示す図である。 図１の画像表示装置を操作するためのタッチペンの構成の概略を示すブロック図である。 図３のタッチペンを示す斜視図である。 図３に示したタッチペンにおいて実行されるプログラムの制御構造を示すフローチャートである。 図１に示した画像表示装置におけるタッチペン操作のユーザインターフェイスを実現するためのプログラムの制御構造を示すフローチャートである。 図６に示したフローチャート中のペンタッチ処理を示すフローチャートである。 図７に示したフローチャート中のペン描画処理を示すフローチャートである。 インジケータが表示された状態の画像表示装置の画面を示す図である。 インジケータの周りにメニューが表示された状態を示す図である。 描画中の画像表示装置の画面を示す図である。 描画後にタッチペンがタッチパネルから離された状態の画像表示装置の画面を示す図である。 本発明の第２の実施の形態に係る画像表示装置におけるタッチペン操作のユーザインターフェイスを実現するためのプログラムの制御構造を示すフローチャートである。 複数のタッチペンに対応する複数のインジケータが表示された状態の画像表示装置の画面を示す図である。 描画後にタッチペンがタッチパネルから離された状態の画像表示装置の画面を示す図である。 本発明の第３の実施の形態に係る画像表示装置におけるタッチペン操作のユーザインターフェイスを実現するためのプログラムの制御構造を示すフローチャートである。 図１６に示したフローチャート中の指タッチ処理を示すフローチャートである。 図１７に示したフローチャート中の指描画処理を示すフローチャートである。 指での長押しによってインジケータが表示された状態の画像表示装置の画面を示す図である。 指での描画後に指がタッチパネルから離された状態の画像表示装置の画面を示す図である。

以下の実施の形態では、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。

（第１の実施の形態）
図１を参照して、本発明の第１の実施の形態に係る画像表示装置１００は、演算処理部（以下、ＣＰＵと記す）１０２、読出専用メモリ（以下、ＲＯＭと記す）１０４、書換可能メモリ（以下、ＲＡＭと記す）１０６、記録部１０８、通信部１１０、タッチ検出部１１２、表示部１１４、表示制御部１１６、ビデオメモリ（以下、ＶＲＡＭと記す）１１８、タイマ１２０、及びバス１２２を備えている。ＣＰＵ１０２は、画像表示装置１００全体を制御する。

ＲＯＭ１０４は不揮発性の記憶装置であり、画像表示装置１００の動作を制御するために必要なプログラム及びデータを記憶している。ＲＡＭ１０６は、通電が遮断された場合にデータが消去される揮発性の記憶装置である。記録部１０８は、通電が遮断された場合にもデータを保持する不揮発性記憶装置であり、例えば、ハードディスクドライブ、又はフラッシュメモリ等である。記録部１０８は着脱可能に構成されていてもよい。ＣＰＵ１０２は、バス１２２を介してＲＯＭ１０４からプログラムをＲＡＭ１０６上に読出して、ＲＡＭ１０６の一部を作業領域としてプログラムを実行する。ＣＰＵ１０２は、ＲＯＭ１０４に格納されているプログラムにしたがって画像表示装置１００を構成する各部の制御を行なう。

バス１２２には、ＣＰＵ１０２、ＲＯＭ１０４、ＲＡＭ１０６、記録部１０８、タッチ検出部１１２、表示制御部１１６、ＶＲＡＭ１１８、及びタイマ１２０が接続されている。各部間のデータ（制御情報を含む）交換は、バス１２２を介して行なわれる。

表示部１１４は、画像を表示するための表示パネル（液晶パネル等）である。表示制御部１１６は、表示部１１４を駆動するための駆動部を備え、ＶＲＡＭ１１８に記憶された画像データを所定のタイミングで読出し、表示部１１４に画像として表示するための信号を生成して、表示部１１４に出力する。表示される画像データは、ＣＰＵ１０２が記録部１０８から読出して、ＶＲＡＭ１１８に伝送する。

タッチ検出部１１２は、例えばタッチパネルであり、ユーザによるタッチ操作を検出する。タッチ検出部１１２は、表示部１１４の表示画面に重畳して配置される。したがって、タッチ検出部１１２へのタッチは、タッチ位置に対応する、表示画面に表示された画像の点を指定する操作になる。以下、タッチ検出部１１２及び表示部１１４をタッチパネルディスプレイ１２４という。タッチ検出部１１２にタッチパネルを用いる場合のタッチ操作の検出について、図２を参照して後述する。

通信部１１０は、後述するタッチペン（以下、単にペンともいう）から無線で送信される情報を受信するための装置である。通信法式は、Ｗｉ−Ｆｉ、又はＢｌｕｅｔｏｏｔｈ（登録商標）等の公知の規格に準拠した通信方式であっても、独自規格の通信法式であってもよい。また、通信部１１０は、ネットワーク等の外部との接続を行なうためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｆｅｒｆａｃｅ Ｃａｒｄ）を備え、ネットワークに接続されたコンピュータ等との間で画像データを送受信してもよい。通信部１１０を介して外部から受信した画像データは、記録部１０８に記録される。また、ネットワークに接続されたプリンタ等の画像形成装置への印刷指示は、通信部１１０を介して行なわれる。

タイマ１２０は、計時処理を実行し、ＣＰＵ１０２からの要求を受けて、現在時刻を表す情報（以下、単に現在時刻ともいう）をＣＰＵ１０２に伝送する。また、タイマ１２０は、ＣＰＵ１０２からのリセット要求を受けた場合には、時刻情報をクリア（即ち、現在時刻をゼロに設定）した後、計時処理を再開する。

図１の画像表示装置１００は、構成要素が全て近接して配置され、１体に形成されている場合に限定されない。例えば、タッチ検出部１１２及び表示部１１４は一体として配置されているが、それ以外の構成要素はタッチ検出部１１２及び表示部１１４から離隔して配置されていてもよい。例えば、タッチ検出部１１２及び表示部１１４以外の構成要素が、所定のビデオ信号を出力可能な汎用コンピュータであってもよい。その場合、汎用コンピュータから出力されるビデオ信号はケーブル又は無線で表示部１１４に伝送し、タッチ検出部１１２からの出力信号はケーブル又は無線で汎用コンピュータに伝送すればよい。

なお、画像表示装置１００の各部には、外部から供給される商用電力から変換された所定の電圧で、電力が供給される。

図２は、赤外線遮断検出方式のタッチパネル（タッチ検出部１１２）を示す。タッチパネルは、長方形の書込面の隣接する２辺にそれぞれ一列に配置された発光ダイオード列（以下、ＬＥＤ列と記す）１３０、１３２と、それぞれのＬＥＤ列１３０、１３２に対向させて一列に配置された２つのフォトダイオード列（以下、ＰＤ列と記す）１４０、１４２とを備えている。ＬＥＤ列１３０、１３２の各ＬＥＤから赤外線を発光し、この赤外線を対向するＰＤ列１４０、１４２の各ＰＤが検出する。図２において、ＬＥＤ列１３０、１３２の各ＬＥＤから赤外線を上向き及び左向きの矢印で示す。

タッチパネルは、例えばマイクロコンピュータ（以下、マイコンという）（ＣＰＵ、メモリ、及び入出力回路等を含む素子）を備え、各ＬＥＤの発光を制御する。各ＰＤは、受光した光の強度に応じた電圧を出力する。ＰＤの出力電圧は、アンプによって増幅される。また、各ＰＤ列１４０、１４２の複数のＰＤからは同時に信号が出力されるので、出力信号は一旦バッファに保存された後、ＰＤの配列順序に応じたシリアル信号として出力され、マイコンに伝送される。ＰＤ列１４０から出力されるシリアル信号の順序は、Ｘ座標を表す。ＰＤ列１４２から出力されるシリアル信号の順序は、Ｙ座標を表す。

ユーザがタッチペン２００でタッチパネル上の１点にタッチすると、タッチペン２００のペン先によって赤外線が遮断される。したがって、遮断される前まで、その赤外線を受光していたＰＤの出力電圧は減少する。タッチされた位置（ＸＹ座標）に対応するＰＤからの信号部分が減少するので、マイコンは、受信した２つのシリアル信号の信号レベルが低下している部分を検出し、タッチされた位置座標を求める。マイコンは、決定した位置座標をＣＰＵ１０２に伝送する。このタッチ位置を検出する処理は、所定の検出周期で繰返されるので、同じ点が検出周期よりも長い時間タッチされていると、同じ座標データが繰返し出力される。どこにもタッチされていなければ、マイコンは位置座標を伝送しない。タッチペン２００の代りに、指でタッチ検出部１１２にタッチしても、同様にタッチされた位置を検出することができる。

上記したタッチされた位置の検出技術は公知であるので、これ以上の説明は繰返さない。また、タッチ検出部１１２には、赤外線遮断方式以外のタッチパネル（静電容量方式、表面弾性波方式、抵抗膜方式等）を用いてもよい。

図３を参照して、タッチペン２００は、ＣＰＵ２０２、ＲＯＭ２０４、ＲＡＭ２０６、送信部２０８、スイッチ２１０、加速度センサ２１２、タイマ２１４、及びバス２１６を備えている。ＣＰＵ１０２は、タッチペン２００全体を制御する。

ＲＯＭ２０４は不揮発性の記憶装置であり、タッチペン２００の動作を制御するために必要なプログラム及びデータ、並びにタッチペン２００のＩＤを記憶している。ＩＤは、タッチペン２００に一意に付与されたデータである。ＲＡＭ２０６は、通電が遮断された場合にデータが消去される揮発性の記憶装置である。ＣＰＵ２０２は、バス２１６を介してＲＯＭ２０４からプログラムをＲＡＭ２０６上に読出して、ＲＡＭ２０６の一部を作業領域としてプログラムを実行する。ＣＰＵ２０２は、ＲＯＭ２０４に格納されているプログラムにしたがってタッチペン２００を構成する各部の制御を行なう。

バス２１６には、ＣＰＵ２０２、ＲＯＭ２０４、ＲＡＭ２０６、送信部２０８、及びタイマ２１４が接続されている。各部間のデータ（制御情報を含む）交換は、バス２１６を介して行なわれる。

図４を参照して、スイッチ２１０は、タッチペン２００の先端付近に配置され、先端部２１８が押された場合に、一時的にオンするモーメンタリスイッチである。例えば、画像表示装置１００のタッチ検出部１１２に、タッチペン２００の先端部２１８が押し付けられるとスイッチ２１０がオンし、画像表示装置１００のタッチ検出部１１２から、タッチペン２００の先端部２１８が離されるとスイッチ２１０はオフする。スイッチ２１０がオンした場合、スイッチ２１０から所定の信号がＣＰＵ２０２に入力される。例えば、スイッチ２１０がオンになれば、スイッチ２１０からの出力信号はローレベルからハイレベルに変化する。これによって、ＣＰＵ２０２は、スイッチ２１０のオン又はオフを検知することができる。

加速度センサ２１２は、加速度を検出するためのセンサであり、タッチペン２００の内部に固定されている。したがって、加速度センサ２１２は、タッチペン２００が外力によりその位置が変位している状態を検出することができる。例えば、ユーザが、静止した状態のタッチペン２００を手に持ったときに、加速度センサ２１２は加速度を検知し、ハイレベルの信号を出力する。ユーザがタッチペン２００を置き、タッチペン２００が静止すれば、加速度センサ２１２からの信号はローレベルに戻る。これによって、ＣＰＵ２０２は、ユーザがタッチペン２００を持って使用しようとしている状態、又は使用している状態を検知することができる。

タイマ２１４は、計時処理を実行し、ＣＰＵ２０２からの要求を受けて、現在時刻をＣＰＵ２０２に伝送する。また、タイマ２１４は、ＣＰＵ２０２からのリセット要求を受けた場合には、時刻情報をクリアした後、計時処理を再開する。

送信部２０８は、画像表示装置１００に無線で情報を送信するための装置である。ＣＰＵ２０２は、送信部２０８を制御して、タッチペン２００に関する情報を送信する。送信される情報には、タッチペン２００のＩＤ、ＣＰＵ２０２が検出したスイッチ２１０のオンを表す情報、及び、加速度センサ２１２によって加速度が検出されたことを表す情報が含まれる。

なお、タッチペン２００は、各部への電力供給を行なうための電源（図示せず）を収容している。電源は、例えば電池である。

本実施の形態においては、画像表示装置１００は、タッチペン２００によるタッチ検出部１１２へのタッチ操作に応じて、表示部１１４に表示するユーザインターフェイスを変化させる。以下、この動作に関して説明する。

図５を参照して、タッチペン２００の動作、即ち、ユーザにより操作されるタッチペン２００の状態に関する情報を送信するためのプログラムについて説明する。本プログラムは、タッチペン２００に電力が供給された時点で起動され、電力が供給されている間、実行される。

ステップ４００において、ＣＰＵ２０２は、加速度センサ２１２により加速度が検出されているか否かを判定する。具体的には、ＣＰＵ２０２は、加速度センサ２１２から入力される信号のレベルがハイレベルである場合、加速度が検出されていると判定する。加速度が検出されていると判定された場合、制御はステップ４０２に移行する。そうでなければ、制御はステップ４１４に移行する。

ステップ４０２において、ＣＰＵ２０２は、タイマ２１４をリセットする。

ステップ４０４において、ＣＰＵ２０２は、送信部２０８からＩＤを送信する処理を停止中であるか否かを判定する。ＩＤの送信は後述するステップで開始されるので、最初にステップ４０４が実行された場合には、ＩＤの送信を停止中であると判定される。ＩＤの送信を停止中であると判定された場合、制御はステップ４０６に移行する。そうでなければ（ＩＤを送信中）、制御はステップ４０８に移行する。

ステップ４０６において、ＣＰＵ２０２は、ＲＯＭ２０４からＩＤを読出し、送信部２０８を制御して、画像表示装置１００へのＩＤの送信を開始する。送信部２０８は、ＣＰＵ２０２から送信の停止の指示を受けるまで、送信を継続する。

ステップ４０８において、ＣＰＵ２０２は、スイッチ２１０がオンされているか否かを判定する。具体的には、ＣＰＵ２０２は、スイッチ２１０から入力される信号のレベルがハイレベルである場合、スイッチ２１０がオンされていると判定する。スイッチ２１０がオンであると判定された場合、制御はステップ４１０に移行する。そうでなければ、即ち、スイッチ２１０から入力される信号のレベルがローレベル（スイッチ２１０がオフ）である場合、制御はステップ４１２に移行する。

ステップ４１０において、ＣＰＵ２０２は、送信部２０８を制御し、画像表示装置１００へのスイッチがオンされていることを表す情報（以下、スイッチオン情報ともいう）の送信を開始する。その後、制御は、ステップ４００に戻る。スイッチオン情報は、例えば“１”である。

ステップ４１２において、ＣＰＵ２０２は、送信部２０８を制御し、画像表示装置１００へのスイッチオン情報の送信を停止する。その後、制御は、ステップ４００に戻る。

ステップ４００で加速度が検出されていないと判定された場合、ステップ４１４において、ＣＰＵ２０２は、送信部２０８からＩＤを送信する処理を実行中であるか否かを判定する。ＩＤを送信中であると判定された場合、制御はステップ４１６に移行する。そうでなければ、制御はステップ４００に戻る。

ステップ４１６において、ＣＰＵ２０２は、ステップ４００と同様に、加速度センサ２１２により加速度が検出されているか否かを判定する。加速度が検出されていると判定された場合、制御はステップ４０８に移行する。そうでなければ、制御はステップ４１８に移行する。

ステップ４１８において、ＣＰＵ２０２は、タイマ２１４から現在のタイマの値（ステップ４０２でリセットされてからの現在時刻）を取得する。

ステップ４２０において、ＣＰＵ２０２は、加速度を検出しない状態のままタイムアップしたか否かを判定する。具体的には、ＣＰＵ２０２は、ステップ４１８で取得した値が所定の値Ｔ０よりも大きいか否かを判定する。所定の値Ｔ０は、例えばＲＯＭ２０４に予め記憶されている。ステップ４１８で取得した値が所定の値Ｔ０よりも大きい場合、タイムアップと判定され、制御はステップ４２２に移行する。そうでなければ、制御はステップ４１６に戻る。

ステップ４２２において、ＣＰＵ２０２は、送信部２０８を制御して、画像表示装置１００へのＩＤの送信を停止する。その後、制御はステップ４００に戻る。

以上により、タッチペン２００が静止している最初の状態では、ＩＤ信号は送信されない。ユーザがタッチペン２００を手に持つと、ＩＤの送信が開始される（ステップ４０６）。ＩＤの送信が開始された状態で、ユーザがタッチペン２００の先端部２１８で、画像表示装置１００のタッチ検出部１１２にタッチする操作を行なうと、スイッチオン情報が送信される（ステップ４１０）。ユーザが、画像表示装置１００のタッチ検出部１１２からタッチペン２００の先端部２１８を離すと、スイッチオン情報の送信が停止する（ステップ４１２）。

ユーザがタッチペン２００を置くと、加速度が検出されなくなるが、加速度が検出されないままでも、所定の期間Ｔ０はＩＤの送信が維持される。即ち、最後に加速度が検出され、タイマ２１４がリセットされた後、加速度が検出されないままで、所定の期間Ｔ０が経過すると（ステップ４１６〜ステップ４２０の繰返し）、ＩＤの送信が停止される（ステップ４２２）。

ここで、送信部２０８から送信されるＩＤ及びスイッチオン情報の送信は、個別に送信されてもよいが、所定の規則にしたがって構造化されたデータ（パケットデータ）として送信されてもよい。例えば、１つのパケット中に、ＩＤをセットする領域とスイッチオン情報をセットする領域とを設け、各領域を、固定サイズ及び固定位置に設定しておけばよい。例えば、ＩＤを８ビット、スイッチオン情報を１ビットとして、ＩＤ、スイッチ情報の順に連続する９ビットの領域を設けることができる。

図６〜図９を参照して、上記のように動作するタッチペン２００によるタッチ検出部１１２へのタッチ操作に応じて、表示部１１４に表示するユーザインターフェイスを変化させるための、画像表示装置１００において実行されるプログラムの制御構造に関して説明する。

ステップ５００において、ＣＰＵ１０２は、通信部１１０を介して、タッチペン２００のＩＤを受信したか否かを判定する。受信したと判定された場合、制御はステップ５０２に移行する。そうでなければ、制御はステップ５１６に移行する。

ステップ５０２において、ＣＰＵ１０２は、表示部１１４にインジケータを表示中であるか否かを判定する。インジケータは、後述するステップで表示されるので、最初にステップ５０２が実行されるときには、インジケータは表示されていない。表示中であると判定された場合、制御はステップ５０８に移行する。そうでなければ（インジケータは表示されていない場合）、制御はステップ５０４に移行する。

ステップ５０４において、ＣＰＵ１０２は、インジケータに関する情報（以下、インジケータ情報ともいう）を記録部１０８から読出し、ＲＡＭ１０６の所定領域に記憶する。記録部１０８には、予めインジケータ情報が記憶されている。

ステップ５０６において、ＣＰＵ１０２は、ステップ５０４で読出したインジケータ情報を用いて、表示部１１４にインジケータを表示する。例えば、インジケータ情報は、位置情報（位置座標）と、タッチペンによる操作に割当てられた設定の情報（以下、タッチペンの設定情報ともいう）と、インジケータの画像データとを含む。位置情報は、表示部１１４上にインジケータを表示する位置を決定するために使用される。タッチペンの設定情報は、タッチペンで操作を行なった場合に、指定される操作内容を決定するための情報であり、例えば、描画操作に関する線の色及び太さ等の情報である。

ＣＰＵ１０２は、インジケータ情報に含まれる位置情報から、インジケータの画像データを書込むＶＲＡＭ上の領域を決定し、決定された領域にインジケータの画像データを書込む。インジケータの画像データが書込まれた画面データは、表示制御部１１６により読出されて、画像として表示部１１４に表示される。例えば、図９に示すように、インジケータ３００が画像表示装置１００のタッチパネルディスプレイ１２４（表示部１１４）に表示される。

なお、インジケータは、タッチペン２００の設定状態が分かるように表示されることが好ましい。例えば、タッチペン２００によって描画される色を複数の色の中から選択可能である場合には、設定された色で、インジケータ内の図形が表示されるようにすることが好ましい。例えば、ペンの色のデフォルトが赤であれば、赤色の図形を含むインジケータが表示される。その場合、インジケータ情報は、設定可能な色に対応する複数のインジケータの画像データを含むようにしても、１つのグラフィックデータと複数の色情報とを含むようにしてもよい。

ステップ５０８において、ＣＰＵ１０２は、タッチパネルディスプレイ１２４がタッチされているか否かを判定する。タッチされていると判定された場合、ＣＰＵ１０２は、タッチされている位置の情報（位置座標）を、ＲＡＭ１０６の所定領域に記憶し、制御はステップ５１０に移行する。そうでなければ、制御はステップ５１４に移行する。ＲＡＭ１０６に記憶したこの位置情報は、再度ステップ５０８が実行されるまで保持される。

ステップ５１０において、ＣＰＵ１０２は、タッチペン２００のスイッチ２１０がオンしたことを検出したか否かを判定する。具体的には、ＣＰＵ１０２は、通信部１１０を介して、タッチペン２００からスイッチオン情報を受信したか否かを判定する。スイッチオン情報が受信された場合、スイッチオンが検出されたと判定され、制御はステップ５１２に移行する。そうでなければ、制御は５１４に移行する。

ステップ５１２において、ＣＰＵ１０２は、タッチペン２００を用いたタッチ操作に応じた処理を実行する。ステップ５１２の処理（ペンタッチ処理）は、図７に具体的に示されている。

図７のステップ５４０において、ＣＰＵ１０２は、ステップ５１０で検出されたタッチ位置が、表示部１１４に表示されているインジケータ３００の領域内であるか否かを判定する。

ステップ５４２において、ＣＰＵ１０２は、タッチペン２００がタッチパネルディスプレイ１２４（タッチ検出部１１２）から離された状態（以下、ペンアップ状態ともいう）であるか否かを判定する。ペンアップ状態になるまで、ステップ５４２が繰返される。なお、このことは、インジケータ３００に対する長押しには、何も処理が割当てられていないことを意味する。

ステップ５４４において、ＣＰＵ１０２は、インジケータ３００の近傍に、タッチペン２００に対する設定を行なうためのメニューを表示する。タッチパネルディスプレイ１２４に表示されているインジケータ３００の周りに、例えば、図１０に示すように、９つのアイコン３１０〜３２４から構成されるメニューを表示する。その後、制御は図６のステップ５１４に移行する。

図１０において、アイコン３１０〜３１４は、タッチペン２００を用いて描画する場合の色を設定するためのアイコンである。アイコン３１６は、タッチペン２００を消しゴムとして使用することを指定するためのアイコンであり、アイコン３１６がタッチされた後、タッチペン２００でタッチパネルディスプレイ１２４がタッチされると、タッチされた位置に描画された線が消去される。アイコン３１８は、表示部１１４に表示されている図形等のオブジェクトを選択するためのアイコンである。アイコン３２０は、１つ前に実行された処理を元に戻すことを指示するためのアイコンである。アイコン３２４は、アイコン３２０が選択されて、１つ前に取り消した処理を再度実行することを指示するためのアイコンである。アイコン３２２は、オブジェクトを操作（拡大、縮小、移動）するモード（以下、ビューモードともいう）を指定するためのアイコンである。

ステップ５１０で検出されたタッチ位置がインジケータ３００以外の領域であれば、ステップ５４６において、ＣＰＵ１０２は、メニューが表示中であるか否かを判定する。メニュー表示中であると判定された場合、制御はステップ５４８に移行する。そうでなければ、制御はステップ５５４に移行する。

ステップ５４８において、ＣＰＵ１０２は、タッチ位置がメニュー領域内であるか否かを判定する。具体的には、ＣＰＵ１０２は、タッチ位置が、図１０のアイコン３１０〜３２４の何れかのアイコン上であるか否かを判定する。メニュー領域がタッチされたと判定された場合、制御はステップ５５０に移行する。そうでなければ、制御はステップ５５４に移行する。

ステップ５５０において、ＣＰＵ１０２は、ステップ５４２と同様に、タッチペン２００がアップされたか否かを判定する。ペンアップ状態と判定された場合、制御はステップ５５２に移行する。そうでなければ、ステップ５５０が繰返される。

ステップ５５２において、ＣＰＵ１０２は、表示されているメニューを消去し、タッチペンの設定を、タッチされた位置に表示されていたアイコンに対応する設置に変更する。具体的には、ＲＡＭ１０６に記憶されているインジケータ情報に含まれるタッチペン２００の設定データを変更する。例えば、図１０のようにインジケータ３００の周りにメニューが表示されていた状態から、図９のようにインジケータ３００だけが表示された状態に戻る。その後、制御は図６のステップ５１４に移行する。

ステップ５４６でメニュー表示中でないと判定された場合、ステップ５５４において、ＣＰＵ１０２は、タッチペン２００を用いた描画処理を実行する。ステップ５５４の処理（ペン描画処理）は、図８に具体的に示されている。

図８のステップ６００において、ＣＰＵ１０２は、タイマ１２０をリセットする。この処理は、後述する長押しを判定するための基準時刻を設定する処理である。

ステップ６０２において、ＣＰＵ１０２は、タッチされている位置情報を取得する。ＣＰＵ１０２は、取得した位置情報をＲＡＭ１０６の所定領域に記憶する。後述するように、ステップ６０２は繰返し実行される可能性があり、少なくとも前回取得した位置情報を保持する。

ステップ６０４において、ＣＰＵ１０２は、ステップ６０２で取得した位置が、前回取得したタッチ位置から変化したか否かを判定する。変化したと判定された場合、制御はステップ６０６に移行する。そうでなければ、制御はステップ６１８に移行する。

ステップ６０６において、ＣＰＵ１０２は、表示部１１４の表示画面からメニューを消去する。メニューが表示されていなければ、表示画面は変わらない。

ステップ６０８において、ＣＰＵ１０２は、画像表示装置１００が描画モードに設定されているか否かを判定する。描画モードに設定されていると判定された場合、制御はステップ６１０に移行する、そうでなければ制御はステップ６１６に移行する。

描画モードは、タッチペン２００でタッチパネルディスプレイ１２４（タッチ検出部１１２）にタッチし、タッチ位置を変化させることに応じて、タッチ位置の軌跡に対応する線が表示部１１４に描画されるモードである。例えば、タッチペン２００に対して、アイコン３１０〜３１６に対応する設定がなされていれば、画像表示装置１００は描画モードに設定されている。画像表示装置１００には、描画モード以外に、上記したビューモード等がある。

ステップ６１０において、ＣＰＵ１０２は、タッチペン２００の設定にしたがって、描画処理を実行する。例えば、アイコン３１０〜３１４の何れかが選択された状態で、タッチ位置が移動した場合、対応する色の線が描画される。

このように、ステップ６０６〜６１０により、図１１のように、タッチペン２００による描画中には、メニューが消去され、インジケータ３００のみが表示される。なお、ステップ６１０で実行される描画処理には、線を描画する処理以外の処理も含まれる。例えば、アイコン３１６が選択された状態で、タッチ位置が変化すると、タッチされた位置に描画されていた線が消去される。

一方、描画モードでなければ、ステップ６１６において、ＣＰＵ１０２は、該当する処理を実行する。例えば、ビューモードにおいて、タッチペン２００のタッチ位置を移動させると、選択されているオブジェクトが移動する。その後、制御はステップ６２４に移行する。

ステップ６１２において、ＣＰＵ１０２は、タッチペン２００がアップされたか否かを判定する。ペンアップ状態と判定された場合、制御はステップ６１４に移行する。そうでなければ、制御はステップ６０２に戻る。

ステップ６１４において、ＣＰＵ１０２は、最後のタッチ位置の近くにインジケータ３００を移動させる。具体的には、ＣＰＵ１０２は、最後のタッチ位置情報をＲＡＭ１０６から読出し、表示中のインジケータ３００を一旦消去した後、最後のタッチ位置から所定範囲内の位置にインジケータ３００を再表示する（インジケータの移動）。例えば、図１１の状態でタッチペン２００の先端部２１８をタッチパネルディスプレイ１２４から離すと、図１２のように、インジケータ３００は描画された線の終端の近くに表示される（移動する）。図１２において、アップされたタッチペンを破線で示している。

このとき、新たに表示するインジケータを、描画された線の終端（最後のタッチ位置）に重ならないように表示することが好ましい。また、メニューが表示された場合に、メニューが描画された線の終端（最後のタッチ位置）に重ならないように、新たなインジケータを表示することも好ましい。したがって、好ましくは、インジケータを、描画された線の終端から、少なくともインジケータの大きさだけ離れた位置に表示する。より好ましくは、描画された線の終端から、少なくともメニュー全体（例えば、アイコン３１０〜アイコン３２４を包含する領域の大きさ）の大きさだけ離れた位置にインジケータを表示する。

なお、インジケータ及びメニューを表示する場合、描画されている線に対応するＶＲＡＭ１１８の上にそのまま上書きすると、元の画像データが損傷される。これを回避するには、予め、インジケータ及びメニューと重なる領域のＶＲＡＭ１１８上のデータを、一旦ＲＡＭ１０６の所定領域にコピーした後、インジケータ及び／又はメニューの画像データをＶＲＡＭ１１８に書込む。インジケータ及び／又はメニューを消去する場合には、ＲＡＭ１０６にコピーしたデータをＶＲＡＭ１１８上の元の位置に書込む。

ステップ６０４での判定の結果、タッチ位置が変化していなければ、ステップ６１８において、ＣＰＵ１０２は、最初にタッチされた位置（図６のステップ５１０でＲＡＭ１０６に記憶された位置情報に対応）での長押しであるか否を判定する。具体的には、ＣＰＵ１０２は、タイマ１２０から現在のタイマの値（ステップ６００でリセットされてからの現在時間）を取得し、所定の値Ｔ１よりも大きい（所定時間Ｔ１が経過した）か否かを判定する。所定時間Ｔ１は、予めＲＯＭ１０４に記憶されている。所定時間Ｔ１が経過したと判定された場合、さらに、ＣＰＵ１０２は、ステップ５１０でＲＡＭ１０６に記憶された位置情報と、現在のタッチ位置情報とが同じあるか否かを判定する。同じであると判定された場合、即ち、最初にタッチされた位置で長押しされていると判定された場合、制御はステップ６２０に移行する。そうでなければ、即ち、所定時間Ｔ１が経過していない場合、又は、最初にタッチされた位置と異なる位置で長押しされている場合には、制御はステップ６２４に移行する。これによって、ユーザが、タッチペン２００でタッチパネルディスプレイ１２４にタッチしたままタッチ位置を変化させて線を描画している途中で、タッチペン２００を止めた場合に、長押しと判定されて、後述するようにインジケータ３００が移動してしまうことを回避することができる（描画の途中で長押ししても画面は変化しない）。

ステップ６２０において、ＣＰＵ１０２は、長押しされた位置にインジケータ３００を移動させる。具体的には、ＣＰＵ１０２は、最後のタッチ位置情報をＲＡＭ１０６から読出し、表示されているインジケータ３００を一旦消去した後、最後のタッチ位置（長押しされた位置）にインジケータ３００を再表示する。

ステップ６２２において、ＣＰＵ１０２は、タッチペン２００がアップされたか否かを判定する。ペンアップ状態と判定された場合、ペン描画処理を終了する（制御は図６のステップ５１４に移行する）。そうでなければ、ステップ６２２が繰返される。

ステップ６２４において、ＣＰＵ１０２は、タッチペン２００がアップされたか否かを判定する。ペンアップ状態と判定された場合、ペン描画処理を終了する（制御は図６のステップ５１４に移行する）。そうでなければ、制御はステップ６０２に戻る。

これによって、最初にタッチされた位置でタッチされていれば、長押しと判定されるまで、タッチペン２００がアップされたか否かの判定を繰返し、長押しと判定される前にタッチペン２００がアップされると、ペン描画処理（ステップ５５４）から抜ける。また、上記したように、所定時間Ｔ１以上連続して押されていても、一旦タッチ位置を変化させた後（例えば、線を描画中）であれば、インジケータ３００を移動させるための長押しとは判定されない。

図６に戻り、ペンタッチ処理（ステップ５１２）の後、ステップ５１４において、ＣＰＵ１０２は、終了の指示を受けているか否かを判定する。終了の指示を受けたと判定された場合、ＣＰＵ１０２は本プログラムを終了する。例えば、終了ボタンが押された場合、本プログラムを終了する。そうでなければ処理はステップ５００に戻る。

一方、ステップ５００の判定結果がＮＯ（ＩＤを受信していない状態）であれば、ステップ５１６において、ＣＰＵ１０２は、表示部１１４にインジケータを表示中であるか否かを判定する。表示中であると判定された場合、制御はステップ５１８に移行する。そうでなければ（インジケータは表示されていない場合）、制御はステップ５００に戻る。

ステップ５１８において、ＣＰＵ１０２は、表示されているインジケータ３００を消去する。このとき、ＲＡＭ１０６に記憶されているインジケータ情報は、図７のステップ５５２で変更されていても、維持される。

以上により、ユーザが、タッチペン２００を手に持った場合、タッチペン２００からＩＤが送信され（図５のステップ４０６）、画像表示装置１００はＩＤを受信し（図６のステップ５００の判定結果がＹＥＳ）、インジケータ３００を表示する（ステップ５０６）。その後、ユーザがタッチペン２００でタッチパネルディスプレイ１２４にタッチすると（ステップ５１０の判定結果がＹＥＳ）、タッチ位置に応じて、画像表示装置１００の画面が変化する。

即ち、インジケータ３００の上でタッチされると（図７のステップ５４０の判定結果がＹＥＳ）、メニュー（アイコン３１０〜３２４）が表示される（ステップ５４４）。メニューが表示された状態で、何れかの項目（アイコン）がタッチされると（ステップ５４８の判定結果がＹＥＳ）、選択された項目に応じて、ＲＡＭ１０６上のインジケータ情報に含まれるタッチペン２００の設定情報が変更される（ステップ５５２）。

インジケータ及びメニュー以外の領域がタッチされた場合には、タッチされた後のタッチペン２００の操作に応じて、画像表示装置１００の画面が変化する。即ち、タッチされたままタッチ位置が変化すると、モードに応じた処理が実行される。例えば、描画モードであれば、タッチペン２００の設定に応じた色の線が描画され（図８のステップ６１０）、ビューモードであれば、例えば、選択されているオブジェクトが移動する（ステップ６１６）。描画中、インジケータ３００は表示されているが、メニューは消去され（ステップ６０６）、タッチペンがタッチパネルディスプレイ１２４から離されると、離された位置の近くにインジケータ３００が移動する（ステップ６１４）。なお、描画以外のモードの場合には、タッチペンがアップされても（ステップ６１６に続いて実行されるステップ６２４での判定結果がＹＥＳ）、インジケータ３００は移動しない。

タッチされた位置を変化させずに長押しされた場合（ステップ６１８の判定結果がＹＥＳ）、タッチされた位置にインジケータ３００が移動する（ステップ６２０）。

ユーザが、タッチペン２００でタッチパネルディスプレイ１２４にタッチしていなくても、タッチペン２００を手に持っていれば、加速度が検出されてＩＤが送信されるので、画像表示装置１００はＩＤを受信して、インジケータ３００の表示を維持し、上記の処理を実行する。ユーザが、タッチペン２００をどこか安定した場所に置くと、所定の時間（Ｔ０）の間はタッチペン２００からＩＤが送信されるが、所定の時間（Ｔ０）経過後は、ＩＤの送信は停止される（図５のステップ４２２）ので、インジケータ３００は消去される（図６のステップ５１８）。

一旦消去されたインジケータは、タッチペン２００からＩＤが送信されると、再度表示される。再表示されるインジケータは、本プログラムが実行されて最初にインジケータが表示される場合と同様に、デフォルト位置にデフォルトの設定で表示することも、消去される直前の位置に、消去される直前の設定で表示することもできる。消去される直前の状態で、インジケータを再表示するには、例えば、図６のステップ５１８において、インジケータを消去するときに、タッチペンの設定をＲＡＭ１０６の所定領域に記憶し、ステップ５０６で再表示するときに、ＲＡＭ１０６に記憶した設定を用いてインジケータを表示すればよい。

このように、画像表示装置１００は、ユーザがタッチペン２００を用いてタッチ操作を行なう場合に、容易に操作が可能なユーザインターフェイスを提供することができる。

図５〜図８に示したプログラムは、種々変更されて実行され得る。

上記では、タッチペン２００は、加速度センサ２１２を備え、加速度が検出されるとＩＤを送信する場合を説明したが、これに限定されない。ユーザがタッチペンを持っていることを検出できるセンサであればよく、タッチペンの表面に静電容量センサ等を設け、ユーザがセンサに触れている間、ＩＤ信号を送信するようにしてもよい。

また、タッチペンの側面又は後端部等に、別途、ユーザが操作可能なスイッチを備え、スイッチがＯＮされている間、ＩＤ信号を送信するようにしてもよい。このスイッチは、スイッチ２１０と同様にモーメンタリスイッチであっても、ＯＮ又はＯＦＦ状態にロックされるスイッチであってもよい。モーメンタリスイッチを用いる場合には、ユーザがタッチペンを持ってタッチ操作を行なう間、手によって自然にスイッチが押される位置にスイッチを配置することが好ましい。

また、上記ではＩＤを送信する場合を説明したが、これに限定されない。タッチペンが使用されようとしていることを表す所定のデータを送信すればよい。

メニューの表示方法は、図１０のようにインジケータの周りに表示する方法に限定されない。メニューは、インジケータの近くに表示されればよく、メニューの各項目（アイコン）をどのように配置するかは任意である。

また、メニューの各項目は、図１０に示したものに限定されない。タッチペンでのタッチ操作により画像表示装置１００に指示することができる項目であればよく、例えば、記録部１０８におけるファイル操作（ファイルのオープン、クローズ、又は保存等の操作）を指示するためのアイコン、又は、表示部１１４に表示されている画像の印刷を指示するためのアイコン等を表示してもよい。

上記では、タッチペンが加速度を検出しなくなった後、所定の時間Ｔ０の間、ＩＤを送信する場合を説明したが、これに限定されない。タッチペンが加速度を検出しなくなれば直ちにＩＤの送信を停止してもよい。その場合、画像表示装置１００は、ＩＤを受信しなくなった後、直ちにインジケータを消去する。また、直ちにインジケータを消去せずに、画像表示装置１００が、タイマ１２０を用いて、所定の時間が経過するまでインジケータの表示を維持するようにしてもよい。

上記では、ステップ５１８においてインジケータを消去する場合、ＲＡＭ１０６上のインジケータ情報を維持する場合を説明したが、ＲＡＭ１０６上のインジケータ情報を消去してもよい。その場合、ステップ５０６においてインジケータが表示される場合、常にデフォルト位置にデフォルト設定で表示される。

上記では、描画中はメニューが消去されるが、インジケータは表示されたままであるが、これに限定されない。描画中、インジケータをも消去してもよい。

上記では、描画後にタッチペンがアップされた位置の近くにインジケータを移動する場合を説明したが、これに限定されない。描画モード以外のモード（ビューモード等）においても、タッチペンによるタッチ操作が終わったときに、タッチペンがアップされた位置の近くにインジケータを移動させてもよい。

上記では、インジケータの表示中に、タッチペンで長押しした場合（図８のステップ６１８の判定結果がＹＥＳ）、タッチ位置にインジケータを移動させる場合を説明したが、インジケータを移動させる操作は長押しに限定されない。例えば、インジケータの表示中に、タッチペンでダブルタップした場合に、タッチ位置にインジケータを移動させてもよい。また、図８のステップ６２０でインジケータを移動させた後、タッチされたままタッチ位置が変化した場合、変位に応じてインジケータを移動させてもよい。

上記では、表示されているインジケータの上での長押しに対して、特別な処理は割当てられていない（図７のステップ５４２でペンアップを検出するまでの時間は考慮されない）が、インジケータの上で長押しされた後、タッチされたままタッチ位置が変化した場合、変位に応じてインジケータを移動させてもよい。

（第２の実施の形態）
第１の実施の形態においては、１つのタッチペンの状態に応じて画像表示装置の画面（ユーザインターフェイス）が変化するのに対して、第２の実施の形態においては、複数のタッチペンの各々の状態に応じて画像表示装置の画面が変化する。

本実施の形態に係る画像表示装置は、第１の実施の形態に係る画像表示装置１００（図１及び図２）と同様に構成されている。また、本実施の形態に係る複数のタッチペンの各々は、第１の実施の形態に係るタッチペン２００（図３及び図４）と同様に構成されている。但し、各タッチペンのＲＯＭに記憶されているＩＤは相互に異なる。以下においては、図１〜図４を参照する。

各タッチペン２００において実行されるプログラムは、図５と同様である。但し、ステップ４０６において、ＲＯＭ２０４から読出されるＩＤは、タッチペン毎に異なる。また、ステップ４１０でスイッチオン情報を送信する場合、ＩＤとスイッチオン情報とを１組として送信する。例えば、１つの送信パケットにＩＤとスイッチオン情報とを含める。

本実施の形態では、画像表示装置１００において、図１３に示すプログラムが実行される。ここでは、タッチペン２００（図２）を使用する場合、予め画像表示装置１００（図１）に各タッチペン２００に関する情報を、所定の操作により登録するとする。例えば、各タッチペン２００のＩＤを記録部１０８に記憶する。

図１３のフローチャートが、図６のフローチャートと異なる点は、新たにステップ７００〜７０６が追加され、ステップ５１６及びステップ５１８が、ステップ７０４の後に実行されるように配置されている点である。図１３及び図６において、同じ参照番号が付与されたステップにおける処理は、基本的に同じである。以下においては、図７及び図８を参照する。

ステップ５００において、ＣＰＵ１０２は、ＩＤを受信したか否かを判定する。ＣＰＵ１０２は、受信したＩＤをＲＡＭ１０６の所定領域に記憶する。ここでは、複数のタッチペンが各ＩＤを同時に送信することがあるので、受信し得るＩＤは１又は複数である。受信したと判定された場合、制御はステップ７００に移行する。そうでなければ、ステップ５００が繰返される。

ステップ７００において、ＣＰＵ１０２は、受信したＩＤのうち、１つのＩＤを選択する。以下、選択されたＩＤをＩＤｉと記す。選択されたＩＤｉに関して、第１の実施の形態で上記したステップ５０２〜５１２が実行される。

ステップ５０６においてインジケータを表示する場合、最初にインジケータが表示される場合には、インジケータはデフォルト位置にデフォルト設定で表示される。既に表示されているインジケータがあれば、重ならないように、表示位置を変更して新たなインジケータを表示することが好ましい。例えば、図１４のように、インジケータ３００が既に表示されていれば、インジケータ３００に重ならないように、新たなインジケータ３４０を表示する。しかし、後述するように、各インジケータを移動させることができるので、同じデフォルト位置に重ねて表示してもよい。

ステップ５１２のペンタッチ処理においては、選択されたＩＤｉに対応するタッチペン、インジケータ及びメニューのみを対象として、各処理が実行される。即ち、ＩＤｉに対応するインジケータ及びメニューの領域に、ＩＤｉに対応するタッチペンでタッチされたか否かを判定する。例えば、ＩＤｉ以外のＩＤに対応するインジケータ及びメニューが表示されており、それらの領域が、ＩＤｉに対応するタッチペンでタッチされたとしても、図７のステップ５４０及びステップ５４８ではそれぞれ、インジケータ及びメニュー以外の領域でのタッチと判定され、ステップ５５４のペン描画処理が実行される。

ステップ５５４のペン描画処理（図８参照）においても、ＩＤｉに対応するタッチペンの状態（スイッチ２１０のオン／オフ）のみを対象として、処理が実行される。図８のステップ６１４及びステップ６２０においては、ＩＤｉのインジケータのみを移動させ、それ以外のインジケータは移動させない。例えば、図１４のように、２つのインジケータ３００及び３４０が表示されている状態で、インジケータ３４０に対応するＩＤを有するタッチペンで描画した後（図８のステップ６１０）、タッチペンをアップすると（ステップ６１４）、図１５に示すようにインジケータ３４０が移動する。他のタッチペンに対応するインジケータ３００は元の位置に表示されたままである。

なお、ステップ６０６では、ＩＤｉに対応するインジケータのメニューのみを消去してもよいが、描画時に支障を生じないようにするためには、表示されている全てのインジケータのメニューを消去することが好ましい。

ステップ７０２において、ＣＰＵ１０２は、ステップ５００で受信した全てのＩＤに関して、ステップ５０２〜５１２が完了したか否かを判定する。完了したと判定された場合、制御はステップ７０４に移行する。そうでなければ、制御はステップ７００に戻り、ＣＰＵ１０２は、重複しないように、受信したＩＤを１つ選択する。その後、ステップ５０２〜５１２が実行される。

ステップ７０４において、ＣＰＵ１０２は、登録されているＩＤ（記録部１０８に記憶されているＩＤ）のうち、ステップ５００で受信しなかったＩＤを１つ選択する。

選択されたＩＤに関して、第１の実施の形態で上記したステップ５１６及び５１８が実行される。

ステップ５１８において、インジケータを消去する場合、ＲＡＭ１０６上のインジケータ情報は消去せずに、本プログラムが終了するまで維持する。したがって、一旦消去されたインジケータに対応するＩＤがステップ５００で受信された場合、ステップ５０６においては、受信したＩＤに対応するＲＡＭ１０６上のインジケータ情報（消去されたときのインジケータ情報）を用いてインジケータを表示する。

ステップ７０６において、ＣＰＵ１０２は、ステップ５００で受信しなかった全てのＩＤに関して、ステップ５１６及び５１８が完了したか否かを判定する。完了したと判定された場合、制御はステップ５１４に移行し、ＣＰＵ１０２は、終了の指示を受けているか否かを判定する。判定結果に応じて、本プログラムが終了されるか、又は、制御がステップ５００に戻る。そうでなければ（完了していない場合）、制御はステップ７０４に戻り、ＣＰＵ１０２は、重複しないように、受信しなかったＩＤを１つ選択する。その後、ステップ５１６及び５１８が実行される。

以上により、複数のタッチペンが使用される場合にも、画像表示装置１００は、各タッチペンを使用するユーザに対して、第１の実施の形態と同様に、操作が容易なユーザインターフェイスを提供することができる。

図１３に示したプログラムは、種々変更されて実行され得る。

上記では、記録部１０８に各タッチペンのＩＤが記憶されている場合を説明したが、ＩＤの代りにＩＤに一意に対応するデータを記憶しておいてもよい。また、受信したＩＤに関してのみ処理を実行する場合には、ＩＤを受信した順に通し番号を割当てて、そのＩＤを受信している間、割当てられた通し番号に対応させて、タッチ操作により変化するインジケータ情報を管理すればよい。

上記では、選択されたＩＤｉ毎に処理を実行するので、タイマ１２０は１つでよく、１つのタッチペンでタッチパネルディスプレイ１２４にタッチしているときに、別のタッチペンでタッチパネルディスプレイ１２４にタッチしても、後からタッチしたタッチペンの操作は有効にはならない。先にタッチしているタッチペンがアップすれば、後からタッチしたタッチペンの操作は有効になる。

複数のタッチペンによる同時タッチを有効にするには、複数のタイマを備え、各ＩＤに１つのタイマを割当てて、各ＩＤに関する処理をマルチタスクとして並行して実行すればよい。複数のタッチペンが同時にタッチされている状態でも、通常、各タッチペンが最初にタッチされたタイミングはそれぞれ異なるので、タッチペンのスイッチオンのタイミングとタッチ位置情報を取得したタイミングとの関係で、タッチペンとタッチ位置との対応を決定することができる。その後、複数のタッチペンでタッチしたまま、タッチペンを移動させた場合には、変位が小さいタッチ位置を同じタッチペンによるタッチ位置（軌跡）とすることで、タッチペンとそのタッチ位置との対応を維持することができる。

上記では、タッチペンがスイッチオン情報とＩＤとを同時に送信する場合を説明したが、これに限定されない。ユーザがタッチペンを手に持っている間、そのタッチペンのＩＤが送信されていれば、タッチペンは、スイッチオン情報の送信とＩＤの送信とを、別の処理として実行してもよい。例えば、スイッチオン情報とＩＤとを、それぞれ別のパケットで送信してもよい。画像表示装置１００は、スイッチのオンにより送信されるスイッチオン情報を受信したときに、その直前に受信したＩＤとスイッチオン情報とを対応させる。これによって、画像表示装置１００は、タッチパネルディスプレイにタッチしたタッチペン（ＩＤ）を特定することができ、その後のタッチ操作を、特定されたＩＤに関する操作であるとして、該当する処理を行なうことができる。

（第３の実施の形態）
第１の実施の形態においては、タッチペンの状態に応じて画像表示装置の画面（ユーザインターフェイス）が変化するが、第３の実施の形態においては、タッチペンの状態に加えて、指でのタッチ操作によっても画像表示装置の画面が変化する。

本実施の形態に係る画像表示装置及びタッチペンは、第１の実施の形態に係る画像表示装置１００（図１及び図２）及びタッチペン２００（図３及び図４）と同様に構成されている。以下においては、図１〜図４を参照する。

本実施の形態では、タッチペン２００において実行されるプログラムは、図５と同様である。画像表示装置１００においては、図１６〜図１８に示すプログラムが実行される。図１６〜図１８はそれぞれ図６〜図８に対応する。

図１６のフローチャートが、図６のフローチャートと異なる点は、新たにステップ８００〜ステップ８１８が追加されている点だけである。図１６及び図６において、同じ参照番号が付与されたステップにおける処理は、基本的に同じである。

図１６のステップ５００においてタッチペン２００のＩＤが受信された場合、第１の実施の形態と同様に、ステップ５０２〜５０６の処理が実行され、タッチペン２００に対応するインジケータが表示される。ステップ５００においてＩＤが受信されなかった場合、ステップ５１６及び５１８が実行され、タッチペン２００に対応するインジケータが表示されていれば、消去される。

ステップ５０８においてタッチパネルディスプレイ１２４へのタッチが検出されて、ステップ５１０が実行されたけれども、タッチペン２００のスイッチオン情報が受信されていなければ、ステップ８００において、ＣＰＵ１０２は、指による操作に関するインジケータ（以下、指インジケータともいう）が表示されているか否かを判定する。指インジケータの表示に関しては後述する。指インジケータが表示されていると判定された場合、制御はステップ８１４に移行する。そうでなければ、制御はステップ８０２に移行する。

ステップ８０２において、ＣＰＵ１０２は、タイマ１２０をリセットする。これは、後述する指による長押しを判定するための処理である。

ステップ８０４において、ＣＰＵ１０２は、タッチ位置が変化しないまま、所定時間が経過した（長押し）か否かを判定する。具体的には、ＣＰＵ１０２は、タイマ１２０から現在のタイマの値（ステップ８０２でリセットされてからの現在時刻）を取得し、その値が所定の値Ｔ１よりも大きい（所定時間Ｔ１が経過した）か否かを判定する。所定時間Ｔ１が経過したと判定された場合、制御はステップ８０８に移行する。そうでなければ、制御はステップ８０６に移行する。

ステップ８０６において、ＣＰＵ１０２は、タッチを検出しなくなった、又はタッチ位置が変位したか否かを判定する。タッチが検出されなくなったことは、指がタッチパネルディスプレイ１２４から離れたことを意味する。指が離れた又はタッチ位置が変化したと判定された場合、制御はステップ８１６に移行する。そうでなければ（指が離れず、且つタッチ位置が変化しない場合）、制御はステップ８０４に戻る。

ステップ８０８において、ＣＰＵ１０２は、ステップ５０４と同様に、記録部１０８に記憶されているデフォルトのインジケータ情報を読出し、ＲＡＭ１０６の所定領域に記憶する。このとき、ＲＡＭ１０６にタッチペン２００に対応するインジケータ情報が記憶されていれば、そのインジケータ情報が維持されるように記憶する。ＲＡＭ１０６上のタッチペン２００のインジケータ情報及び指のインジケータ情報（以下、指インジケータ情報ともいう）は、タッチ操作によって変化し得るので、別の情報として管理される。

ステップ８１０において、ＣＰＵ１０２は、ＲＡＭ１０６上の指インジケータ情報を用いて、表示部１１４に指インジケータを表示する。例えば、図１９に示すように、指３５０で長押しされている位置に指インジケータ３５２が表示される。

ステップ８１２において、ＣＰＵ１０２は、タイマ１２０をリセットする。これは、後述する指インジケータ３５２を消去するタイミングを決定するための基準を設定する処理である。その後、制御はステップ８１６に移行する。

このように、ステップ８０２〜８１０によって、指で長押しされた場合、指インジケータ３５２が表示される。

指インジケータ３５２が表示中であれば、ステップ８１４において、ＣＰＵ１０２は、指によるタッチ操作に応じた処理（メニューの表示、メニューの消去、及び描画処理等）を実行する。ステップ８１４の処理（指タッチ処理）は、図１７に具体的に示されている。図１７のフローチャートが、図７のフローチャートと異なる点は、図７のステップ５４２、ステップ５５０及びステップ５５４がそれぞれ、ステップ８４０、ステップ８４２及びステップ８４４に変更され、新たにステップ８４６が追加されている点だけである。図１７及び図７において、同じ参照番号が付与されたステップにおける処理は、基本的に同じである。

ステップ８１４の指タッチ処理においては、指に対応するインジケータ（指インジケータ）及びそのメニューのみを対象として、各処理が実行される。即ち、指インジケータ及びそのメニューの領域に、指でタッチされたか否かを判定する。例えば、タッチペンに対応するインジケータ及びメニューが表示されており、それらの領域が、タッチペンのスイッチオン信号を受信せずにタッチされたことが検出されたとしても、図１７のステップ５４０及びステップ５４８ではそれぞれ、指インジケータ及びそのメニュー以外の領域でのタッチと判定され、ステップ８４４の指描画処理が実行される。なお、ステップ８１４の指タッチ処理は、ステップ５１０での判定結果がＮＯの場合、即ちタッチペン２００のスイッチがオフである場合にのみ実行される。

ステップ８４０及びステップ８４２においては、ＣＰＵ１０２は、タッチを検出しなくなったか否かを判定する。タッチが検出されなくなったことは、指がタッチパネルディスプレイ１２４（タッチ検出部１１２）から離れたことを意味する。

ステップ８４４において、ＣＰＵ１０２は、指による描画処理を実行する。ステップ８４４の処理（指描画処理）は、図１８に具体的に示されている。図１８のフローチャートが、図８のフローチャートと異なる点は、図８のステップ６１２、ステップ６２２及びステップ６２４がそれぞれ、ステップ８６０、ステップ８６２及びステップ８６４に変更されている点だけである。図１８及び図８において、同じ参照番号が付与されたステップにおける処理は、基本的に同じである。

ステップ８４４の指描画処理においては、指によるタッチ状態のみを対象として、各処理（描画処理、長押しの検出、及びインジケータの移動等）が実行される。例えば、ステップ６１４及びステップ６２０においては、指インジケータのみを移動させ、タッチペンのインジケータが表示されていても、それは移動させない。例えば、図１９のように、２つのインジケータ３００及び３５２が表示されている状態で、指で描画した後（図１８のステップ６１０）、指をアップすると（図１８のステップ６１４）、図２０に示すように指インジケータ３５２のみが移動する。タッチペン２００に対応するインジケータ３００は元の位置に表示されたままである。

なお、ステップ６０６では、指インジケータのメニューのみを消去してもよいが、描画時に支障を生じないようにするためには、表示されている全てのインジケータのメニューを消去することが好ましい。

ステップ８６０〜ステップ８６４において、ＣＰＵ１０２は、ステップ８４０と同様に、指がタッチパネルディスプレイ１２４から離れた（指のアップ）ことを検出する。

図１７に戻り、ステップ８４６において、ＣＰＵ１０２は、タイマ１２０をリセットする。ステップ８４６は、ステップ８１２と同様に、指インジケータを消去するタイミングを決定するための基準を設定する処理である。その後制御は、図１６のステップ８１６に移行する。

ステップ８１６において、ＣＰＵ１０２は、指インジケータが表示された状態で、指によるタッチ操作がされなくなってから、所定時間が経過したか否かを判定する。具体的には、ＣＰＵ１０２は、タイマ１２０から現在のタイマの値（ステップ８１２又はステップ８４６でリセットされてからの現在時刻）を取得し、その値が所定値Ｔ３よりも大きい（所定時間Ｔ３が経過した）か否かを判定する。所定時間Ｔ３が経過したと判定された場合、制御はステップ８１８に移行する。そうでなければ、制御はステップ５１４に移行する。

ステップ８１８において、ＣＰＵ１０２は、指インジケータを消去する。このとき、ＲＡＭ１０６上の指インジケータ情報は、消去せずに維持する。

以上により、タッチペンが使用される場合だけでなく、指によるタッチ操作に対しても、画像表示装置１００は、第１の実施の形態と同様に、操作が容易なユーザインターフェイスを提供することができる。即ち、指で長押しされたことを検出し、指インジケータを表示することができる（図１６のステップ８０４〜ステップ８１０）。指インジケータが表示されている状態で、指によるタッチ操作が検出された場合、タッチされた位置に応じて、メニューを表示（図１７のステップ５４４）、インジケータ情報を変更（図１７のステップ５５２）、又は、描画処理（図１７のステップ８４４）が実行される。描画処理が終わり、指がアップされると、アップされた位置に指インジケータが移動する（図１８のステップ６１４）。また、指インジケータが表示されている状態で、指で長押しすると、長押しされた位置に指インジケータを移動する（図１８のステップ６２０）。

図１６〜図１８に示したプログラムは、種々変更されて実行され得る。

上記では、指で長押しした場合に、指インジケータを表示する場合を説明したが、指インジケータを表示する操作は長押しに限定されない。例えば、指でダブルタップした場合に、指インジケータを表示してもよい。

上記では、指でタッチした場合に指インジケータを表示する場合を説明したが、指に限定されない。画像表示装置１００が、そのＩＤを受信することができるタッチペン以外の物で長押しされた場合に、対応するインジケータが表示される。したがって、タッチペンであっても、画像表示装置１００がそのＩＤを受信できないタッチペン、又はＩＤを送信しないタッチペンであれば、指と同様に長押しにより、対応するインジケータが表示される。

上記では、ＩＤを送信する１つのタッチペンと、指とによってそれぞれのインジケータが表示される場合を説明したが、これに限定されない。複数のタッチペンを扱う第２の実施の形態において、指によるタッチにより指インジケータを表示するようにしてもよい。

画像表示装置１００は、大画面の表示装置に限定されない。本発明は、タブレット型の端末装置等、タッチによって描画及び画面操作を行なうことができる表示装置全般に適用することができる。

以上、実施の形態を説明することにより本発明を説明したが、上記した実施の形態は例示であって、本発明は上記した実施の形態に限定されるものではなく、種々変更して実施することができる。

１００ 画像表示装置
１０２ ＣＰＵ
１０４ ＲＯＭ
１０６ ＲＡＭ
１０８ 記録部
１１０ 通信部
１１２ タッチ検出部
１１４ 表示部
１１６ 表示制御部
１１８ ＶＲＡＭ
１２０ タイマ
１２２ バス
１２４ タッチパネルディスプレイ
２００ タッチペン
２０２ ＣＰＵ
２０４ ＲＯＭ
２０６ ＲＡＭ
２０８ 送信部
２１０ スイッチ
２１２ 加速度センサ
２１４ タイマ
２１６ バス
２１８ 先端部

Claims (11)

1. 画像を表示する表示手段と、
   前記表示手段に重畳され、タッチ操作を検出するタッチ検出手段と、
   前記タッチ検出手段により検出されたタッチ操作に割当てられた処理を実行する制御手段とを含み、
   前記表示手段は、
   前記表示手段の描画領域へのタッチ操作を前記タッチ検出手段が検出したことを受けて、タッチ操作に割当てられた処理に関する設定状態を表示する部分画像を表示し、
   前記部分画像へのタッチ操作を、前記タッチ検出手段が検出したことを受けて、タッチされた前記部分画像に対応させて、タッチ操作に割当てられた処理に関するメニュー画像を表示し、
   描画処理の開始を、前記タッチ検出手段が検出したことを受けて、前記メニュー画像を消去し、
   前記描画領域へのタッチ操作に割当てられた処理が前記描画処理であれば、前記部分画像は、前記描画処理により描画されるように設定されている設定色を含み、
   前記設定色を含む前記部分画像がタッチされたことを受けて表示されるメニュー画像は、前記設定色として選択され得る複数の色を含む、画像表示装置。
2. 自らの被把持状態を検出して被把持状態検出信号を送信するタッチペンと、
   前記タッチペンから送信される前記被把持状態検出信号を受信する受信手段とをさらに含む、請求項１に記載の画像表示装置。
3. 前記表示手段は、前記メニュー画像へのタッチ操作を、前記タッチ検出手段が検出したことを受けて、タッチされた前記メニュー画像に対応させて、タッチ操作に割当てられた処理を実行する、請求項１に記載の画像表示装置。
4. 前記表示手段は、前記タッチ検出手段がタッチ操作の終了を検出したことを受けて、前記部分画像の表示位置を変更する、請求項１に記載の画像表示装置。
5. 前記表示手段は、前記タッチ検出手段が、処理が割当てられていないタッチ操作を検出したことを受けて、前記部分画像の表示位置を変更する、請求項１に記載の画像表示装置。
6. 前記表示手段は、所定の時間タッチ操作がなかったことを、前記タッチ検出手段が検出したことを受けて、前記部分画像及び前記メニュー画像を消去する、請求項１に記載の画像表示装置。
7. 前記表示手段は、タッチペンが把持されていない状態を表す前記被把持状態検出信号を前記受信手段が受信してから、所定の時間が経過したことを受けて、前記部分画像及び前記メニュー画像を消去する、請求項２に記載の画像表示装置。
8. 前記表示手段は、処理が割当てられていないタッチ操作を、前記タッチ検出手段が検出したことを受けて、前記部分画像、又は、前記部分画像及び前記メニュー画像を表示する、請求項１に記載の画像表示装置。
9. 前記表示手段は、タッチペンが把持された状態を表す前記被把持状態検出信号を前記受信手段が受信したことを受けて、前記部分画像、又は、前記部分画像及び前記メニュー画像を表示する、請求項２に記載の画像表示装置。
10. 前記処理が割当てられていないタッチ操作は、長押しである、請求項５又は８に記載の画像表示装置。
11. 画像を表示するステップと、
    表示された前記画像に対するタッチ操作を検出するステップと、
    検出された前記タッチ操作に割当てられた処理を実行するステップと、
    描画領域へのタッチ操作を、前記検出するステップにより検出したことを受けて、タッチ操作に割当てられた処理に関する設定状態を表示する部分画像を表示するステップと、
    前記部分画像へのタッチ操作を、前記検出するステップにより検出したことを受けて、タッチされた前記部分画像に対応させて、タッチ操作に割当てられた処理に関するメニュー画像を表示するステップと、
    描画処理の開始を、前記検出するステップにより検出したことを受けて、前記メニュー画像を消去するステップとを含み、
    前記描画領域へのタッチ操作に割当てられた処理が前記描画処理であれば、前記部分画像は、前記描画処理により描画されるように設定されている設定色を含み、
    前記設定色を含む前記部分画像がタッチされたことを受けて表示されるメニュー画像は、前記設定色として選択され得る複数の色を含む、画像表示装置の操作方法。

Images