JP6145963B2 - プロジェクター、表示システム、及びプロジェクターの制御方法 - Google Patents

Description

本発明は、プロジェクター、表示システム、及びプロジェクターの制御方法に関する。

従来、タブレット型コンピューター等のコンピューターに使用される入力装置として、スタイラスによりディスプレイの表示面を操作する構成が知られている（例えば、特許文献１参照）。特許文献１の構成では、スタイラスによるタップ、ストローク、ホールド、ホールド・ドラッグ等の様々な操作を検出し、各操作に対応づけられたマウスなどのポインティングデバイスのジェスチャーをシミュレートする方法が開示されている。このように、スタイラスによって所定の操作が直接入力されるシンプルな構成の入力装置は、直感的な操作が可能であるという利点があり、このような入力装置を活用するため、例えば特許文献１の構成では、コンピューターがスタイラスのホールドを検出するとマウスの第２マウスボタンクリックをシミュレートする。これにより、スタイラスによる操作を、２以上のボタンを有するマウスの操作として処理できる。この場合、スタイラスのホールドに分類される操作が行われると、コンピューターが操作に対して目に見える形でフィードバックする処理を行うので、スタイラスを用いてマウスのような感覚で操作できる。

特開２００２−１８９５６７号公報

特許文献１記載の構成では、コンピューターがスタイラスの操作を分類し、ホールド操作に対してフィードバックを行う等の処理を行っているが、このような動作はスタイラスの使用を前提としたコンピューターの構成を必要とし、例えば、スタイラスの使用に適した専用のデバイスドライバープログラムや、上記のような位置入力操作に対応するオペレーティングシステムの機能が必要である。このため、上記従来の方法は、特定の構成を持たない一般的なコンピューターに適用できる方法ではなかった。
本発明は、上述した事情に鑑みてなされたものであり、一般的なコンピューターの入力に使用することが可能で、マウス等の一般的なポインティングデバイスによる操作と同様の操作感を得られる入力装置、プロジェクター、表示システム、及び、入力方法を提供することを目的とする。

上記課題を解決するため、本発明の入力装置は、入力操作を検出する操作検出手段と、前記操作検出手段によって前記入力操作を検出可能な操作エリアにおける前記入力操作の操作位置を検出する位置検出手段と、前記操作検出手段により第１の入力操作が検出されてから所定時間以内に第２の入力操作が検出されない場合に、第１の操作及び前記位置検出手段により検出された操作位置を通知し、さらに前記操作検出手段により前記第２の入力操作が検出される前に、前記第１の操作の解除を通知する操作通知手段と、を備えることを特徴とする。
本発明によれば、第１の入力操作が検出されてから第２の入力操作が検出されるまでの時間により、第１の操作と、第１の操作の解除を通知する。例えば、少なくとも２通りの操作状態を有する、比較的単純な入力デバイスを用いて、第１の入力操作を行ってから所定時間以内に第２の操作を行わないことで、第１の操作と操作位置を通知し、さらに第１の操作の解除を通知できる。つまり、１種類の操作を行うだけで、第１の操作と、この第１の操作の解除とを通知できる。また、例えば、上記の入力デバイスにより、第１の入力操作を行ってから所定時間以内に第２の操作を行えば、第１の操作の解除が通知されない。これにより、例えば、第１の操作の通知として、一般的なポインティングデバイスの操作信号を出力する構成とすれば、上記の単純な入力デバイスを、一般的なコンピューターの入力装置として使用できる。従って、単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスに近い操作性を実現できる。

また、本発明は、上記入力装置であって、前記操作通知手段は、前記操作検出手段により前記第１の入力操作が検出されてから前記所定時間以内に前記第２の入力操作が検出された場合に、前記第１の操作とは異なる第２の操作及び前記第２の操作の解除を通知するとともに、前記位置検出手段により検出された操作位置を通知することを特徴とする。
本発明によれば、第１の入力操作が検出されてから所定時間以内に第２の入力操作が検出されるか否かにより、第１の操作の解除、及び、第２の操作及び第２の操作の解除が切り替えて通知される。従って、単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスに近い操作性を実現できる。

また、上記課題を解決するため、本発明のプロジェクターは、光源が発した光を変調する光変調手段と、画像データに基づいて前記光変調手段に表示画像を形成する画像形成手段と、前記画像形成手段により形成された表示画像を投射する投射手段と、前記操作エリアを前記投射手段により投射される表示画像が示す範囲とする上記の入力装置と、を備えることを特徴とする。
本発明によれば、画像データに基づいて表示画像を投射するプロジェクターが、表示画像が示す範囲における第１の入力操作及び第２の入力操作に対応して、第１の操作及び第１の操作の解除を通知することができる。これにより、プロジェクターにより表示画像を投射した状態で、例えば操作子の数が少ない単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスを用いた場合と同様の操作性を実現でき、プロジェクターの利便性の向上を図ることができる。

また、上記課題を解決するため、本発明の表示システムは、指示体に入力される入力操作をプロジェクターが検出し、前記入力操作に対応する操作をコンピューターに通知し、前記操作を前記コンピューターが実行する表示システムであって、前記指示体は、操作子と、前記操作子から入力される入力操作を前記プロジェクターに指示する送信手段と、を有し、前記プロジェクターは、光源が発した光を変調する光変調手段と、画像データに基づいて前記光変調手段に表示画像を形成する画像形成手段と、前記画像形成手段により形成された表示画像を投射する投射手段と、前記指示体より通知される入力操作を検出する操作検出手段と、前記投射手段により投射される表示画像が示す操作エリアにおいて、前記操作検出手段によって検出された入力操作の操作位置を検出する位置検出手段と、前記操作検出手段により第１の入力操作が検出されてから所定時間以内に第２の入力操作が検出されない場合に、第１の操作及び前記位置検出手段により検出された操作位置を前記コンピューターに通知し、さらに前記操作検出手段により前記第２の入力操作が検出される前に前記第１の操作の解除を前記コンピューターに通知する操作通知手段と、を有し、前記コンピューターは、前記操作通知手段からの通知に基づき、前記第１の操作及び前記第１の操作の解除を実行する制御手段、を有することを特徴とする。
本発明によれば、画像データに基づいて表示画像を投射するプロジェクターが、表示画像が示す範囲における第１の入力操作及び第２の入力操作に対応して、第１の操作及び第１の操作の解除をコンピューターに通知することができ、コンピューターが第１の操作及び第１の操作の解除に対応した制御を実行できる。このため、プロジェクターにより表示画像を投射した状態で、例えば操作子の数が少ない単純な構成を有し、表示画像に対応した入力操作に適した指示体を用いて、より多機能なポインティングデバイスを用いた場合と同様にコンピューターを操作できる。これにより、プロジェクターの表示画像を利用して、コンピューターを快適に操作できる。また、指示体を用いることで、プロジェクターの表示画像を有効に利用して、コンピューターを操作できる。

また、本発明は、上記表示システムであって、前記操作通知手段は、前記操作検出手段により前記第１の入力操作が検出されてから前記所定時間以内に前記第２の入力操作が検出された場合に、前記第１の操作とは異なる第２の操作及び前記第２の操作の解除を前記コンピューターに通知するとともに、前記位置検出手段により検出された操作位置を通知し、前記制御手段は、前記操作通知手段からの通知に基づき、前記第２の操作及び前記第２の操作の解除を実行することを特徴とする。
本発明によれば、第１の入力操作が検出されてから所定時間以内に第２の入力操作が検出されるか否かにより、第１の操作の解除、及び、第２の操作及び第２の操作の解除が切り替えて通知される。従って、単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスを用いた場合と同様にコンピューターを操作できる。

また、本発明は、上記表示システムであって、前記操作通知手段は、前記第１の操作を通知してから所定の待機時間後に前記第１の操作の解除を通知することを特徴とする。
本発明によれば、第１の操作を行ってから所定時間以内に操作状態が変化しなければ、第１の操作の解除がコンピューターに通知される。このため、単純な構成を有する入力デバイスで１つの操作を行うだけで、第１の操作と、この第１の操作の解除とをコンピューターに通知でき、より一層の操作性の向上を図ることができる。

また、本発明は、上記表示システムであって、前記コンピューターは、２以上の操作子を備えたポインティングデバイスを備え、前記操作通知手段は、前記第１の操作を前記ポインティングデバイスが備える第１の操作子による操作として前記コンピューターに通知し、前記第２の操作を前記ポインティングデバイスが備える第２の操作子による操作として前記コンピューターに通知することを特徴とする。
本発明によれば、画像データに基づいて表示画像を投射するプロジェクターが入力デバイスの操作を検出して、コンピューターが備えるポインティングデバイスの２種類の操作として通知を行う。このため、表示画像が投射された状態で、単純な構成を有する入力デバイスを使用しながら、コンピューターが備えるポインティングデバイスと同様にコンピューターを操作できる。

また、上記課題を解決するため、本発明の入力方法は、第１の入力操作と第２の入力操作とを検出し、前記入力操作を検出可能な範囲である操作エリアにおける入力操作の操作位置を検出し、前記第１の入力操作が検出されてから所定時間以内に前記第２の入力操作が検出されない場合に、第１の操作と前記操作位置とを通知し、さらに前記第２の入力操作が検出される前に前記第１の操作の解除を通知する、ことを特徴とする。
本発明によれば、第１の入力操作を検出してから所定時間以内に第２の入力操作を検出するか否かにより、第１の操作の解除、及び、第２の操作及び第２の操作の解除を切り替えて通知する。従って、単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスに近い操作性を実現できる。

本発明によれば、単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスに近い操作性を実現できる。

第１の実施形態に係る表示システムの構成を示す図である。 表示システムの機能的構成を示すブロック図である。 ＰＣの機能的構成を示すブロック図である。 座標を検出及び変換する処理を示す説明図であり、（Ａ）は投射状態の例を示し、（Ｂ）は画像が変更された場合の例を示す。 プロジェクターの動作を示すフローチャートである。 ペン型指示器の操作とプロジェクターが出力する操作データとの対応を示すタイミングチャートである。 第２の実施形態におけるプロジェクターの動作を示すフローチャートである。

［第１の実施形態］
以下、図面を参照して本発明を適用した実施形態について説明する。
図１は、本発明の第１の実施形態に係るプロジェクター１１を用いた表示システム１０の構成を示す図である。
プロジェクター１１は、ＰＣ（パーソナルコンピューター）１３に画像信号ケーブル等により有線接続されている。プロジェクター１１は、ＰＣ１３から入力される画像に基づき、投射面（表示面）としてのスクリーンＳＣに表示画像を投射する。ここで、プロジェクター１１上で画像が投射される範囲を実投射領域１１Ｂ（表示可能領域）とする。スクリーンＳＣは、図１に示すような壁面に固定された平板に限らず、壁面自体をスクリーンＳＣとして使用することも可能である。

表示システム１０では、ユーザーが、ペン型の入力デバイスであるペン型指示器２（指示体）を手に持って、スクリーンＳＣの実投射領域１１Ｂにおける位置をプロジェクター１１に指示する位置指示操作を行うことができる。ペン型指示器２の先端にはスイッチ２１が配置され、ユーザーがペン型指示器２をスクリーンＳＣに押し付けるプレス操作を行うと、スイッチ２１が押圧されてオンになる。
プロジェクター１１は、後述するようにペン型指示器２の先端位置を検出する機能を有し、検出したペン型指示器２の位置の座標を示す座標データをＰＣ１３に出力する。また、プロジェクター１１は、ペン型指示器２のスイッチ２１がオンになったことを検出する機能を有し、後述するようにスイッチ２１のオン／オフに対応した動作を実行する。この構成により、プロジェクター１１は、ＰＣ１３に対する入力装置として機能する。また、プロジェクター１１は、ペン型指示器２とＰＣ１３とともに表示システム１０を構成する。また、プロジェクター１１はＵＳＢケーブル等によりＰＣ１３に接続され、ＰＣ１３に対して、ペン型指示器２によって指示された位置の座標データや、スイッチ２１のオン／オフに基づく操作データ等を送信する。本実施形態では、プロジェクター１１がペン型指示器２による操作やペン型指示器２の位置を検出可能な範囲を操作エリアとし、更に当該操作エリアは、プロジェクター１１が投射する実投射領域１１Ｂとする。尚、操作エリアは、プロジェクター１１が投写する実投射領域１１Ｂの外を検出可能範囲として含めてもよい。

図２は、表示システム１０の機能的構成を示すブロック図である。
プロジェクター１１は、ＰＣ１３から入力される画像データに基づいて表示用の画像処理を実行する画像処理ユニット１１０と、画像処理ユニット１１０の制御に従ってスクリーンＳＣに画像を投射する投射ユニット３（表示手段）と、スクリーンＳＣ上のペン型指示器２の指示位置を検出する位置検出ユニット１５０と、位置検出ユニット１５０が検出した指示位置の座標を、画像データにおける座標に変換する座標変換部１６０と、座標変換部１６０が変換した変換後の座標をＰＣ１３に出力する出力制御部１０１と、これらの各部を制御する制御部１０３と、を備えている。
制御部１０３は、図示しないＣＰＵ、不揮発性メモリー、ＲＡＭ等により構成され、記憶部１０５に記憶されている制御プログラム１０５Ａを読み出して実行し、プロジェクター１１の各部を制御する。また、制御部１０３は、キャリブレーション実行部１０３Ａ及び位置検出制御部１０３Ｂ（操作通知手段）として機能する。位置検出制御部１０３Ｂは、後述するキャリブレーションを実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンＳＣ上の領域における座標との対応関係（座標変換パラメーター）を求める。位置検出制御部１０３Ｂは、後述する位置検出ユニット１５０及び操作検出部１６５によって、ペン型指示器２により指示された指示位置と、スイッチ２１のオン／オフを検出する。記憶部１０５は、磁気的、光学的記録装置または半導体記憶素子により構成され、制御プログラム１０５Ａを含む各種プログラム、及び、各種設定値等のデータを記憶する。

制御部１０３には、プロジェクター１１の筐体（図示略）に配置された操作パネル４１が接続され、制御部１０３は、プロジェクター１１の動作状態等に応じて操作パネル４１のインジケーターランプの点灯制御を行う一方、操作パネル４１のスイッチの操作を検出する。また、プロジェクター１１は、ユーザーが使用するリモコン（図示略）がユーザーの操作に対応して送信する赤外線信号を受光するリモコン受光部４５を備えている。制御部１０３は、操作パネル４１またはリモコン受光部４５が出力する操作信号に基づいて、ユーザーによる操作の内容を判別し、プロジェクター１１を制御する。

投射ユニット３は、照明光学系３１、光変調装置３２（光変調手段）、及び、投射光学系３３から構成される投射部３０（投射手段）を備えている。照明光学系３１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）等からなる光源を備え、さらに、光源が発した光を光変調装置３２に導くリフレクターや補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置３２に至る経路上で低減させる調光素子等を備えていてもよい。
光変調装置３２は、画像処理ユニット１１０からの信号を受けて、照明光学系３１が発した光を変調する。本実施形態では、光変調装置３２が、ＲＧＢの三原色に対応した３枚の透過型液晶パネルを備えたものとする。この構成では、照明光学系３１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系３３に射出される。
投射光学系３３は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター等を備えている。
また、投射ユニット３は、投射部３０とともに、表示制御部１０７の制御に従って投射光学系３３が備える各モーターを駆動する投射光学系駆動部１２１、表示制御部１０７から出力される画像信号に基づいて光変調装置３２を駆動して描画を行う光変調装置駆動部１１９、及び、制御部１０３の制御に従って照明光学系３１が備える光源を駆動する光源駆動部１１７を備えている。

画像処理ユニット１１０は、ＰＣ１３に接続されるインターフェイスを備えた画像入力部１０４を有する。画像入力部１０４のインターフェイスには、例えば、デジタル映像信号が入力されるＤＶＩ（Digital Visual Interface）インターフェイス、ＵＳＢインターフェイス及びＬＡＮインターフェイスや、ＮＴＳＣ、ＰＡＬ及びＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等の汎用インターフェイスを用いることができる。また、画像入力部１０４は、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、ＶＧＡ端子等のアナログ映像端子によりＰＣ１３に接続される構成としてもよい。なお、画像入力部１０４は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。また、画像入力部１０４に、ＶＥＳＡ（Video Electronics Standards Association）が策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini DisplayPortコネクターと、DisplayPort規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、プロジェクター１１は、ＰＣ１３や、ＰＣ１３と同等の機能を有する携帯型デバイスが備えるDisplayPortに接続することができる。
また、画像処理ユニット１１０（画像形成手段）は、画像入力部１０４を介して入力された画像データを処理する表示制御部１０７、表示制御部１０７の制御に従って画像をフレームメモリー１１５に展開し、投射部３０が投射する画像を生成する画像処理部１１３を備えている。

表示制御部１０７は、制御部１０３の制御に従って、画像入力部１０４に入力された画像データのフォーマット（フレームレート、解像度、圧縮状態）の判別等を行い、光変調装置３２に表示画像を表示するために必要な処理を決定し、画像処理部１１３を制御して当該処理を実行する。画像処理部１１３は、表示制御部１０７の制御に従い、画像入力部１０４に入力された画像データをフレームメモリー１１５に展開し、インターレース／プログレッシブ変換、解像度変換等の各種変換処理を適宜実行し、フレームメモリー１１５に描画した表示画像を表示するための所定フォーマットの画像信号を生成して、表示制御部１０７に出力する。
画像処理部１１３は、表示制御部１０７の制御に従って、キーストーン補正、カラーモードに対応した色調補正、画像の拡大／縮小処理等の各種の画像処理を実行できる。表示制御部１０７は、画像処理部１１３により処理された画像信号を光変調装置駆動部１１９に出力し、光変調装置３２に表示させる。また、画像処理部１１３は、表示中の画像データの解像度、アスペクト比、光変調装置３２の液晶表示パネルにおける表示サイズ等の情報から、後述する画像位置情報を導出し、求めた画像位置情報を座標変換部１６０に出力する。

位置検出ユニット１５０（位置検出手段）は、スクリーンＳＣを撮影する撮像部１５３、撮像部１５３を制御する撮影制御部１５５、及び、撮像部１５３の撮影画像に基づいてペン型指示器２の指示位置を検出する位置検出処理部１５７を有する位置検出部１５１と、この位置検出部１５１が検出した指示位置の座標を算出する座標算出部１５９とを備えている。

撮像部１５３は、投射部３０が投射する画像を撮影するカメラを有し、スクリーンＳＣ上で投射部３０が画像を投射可能な最大範囲（後述する投射可能領域１１Ａに相当）が、撮像部１５３の画角に含まれる。撮像部１５３は、撮影制御部１５５の制御に従って撮影を実行し、撮影画像データを出力する。
撮影制御部１５５は、制御部１０３の制御に従って撮像部１５３を制御して撮影を実行させ、撮像部１５３が出力する撮影画像データを取得して、位置検出処理部１５７に出力する。撮像部１５３から出力される撮影画像データは、ＲＧＢやＹＵＶ等の形式で表されるものや輝度成分のみを表すものであっても良い。撮影制御部１５５は、撮像部１５３から出力される撮影画像データをそのまま位置検出処理部１５７へ出力してもよく、解像度の調整や所定のファイルフォーマット（ＪＰＥＧ、ＢＭＰなど）への変換等を行った上で位置検出処理部１５７へ出力しても良い。撮像部１５３が撮影時のズーム倍率、フォーカス、絞りの調整を行う機構を有する場合、撮影制御部１５５は、これらの機構を制御して予め設定された条件で撮影を実行させる。
なお、撮像部１５３は、可視光を撮像可能な構成に限らず、非可視光（赤外光など）を撮像可能な構成であっても良い。この場合、ペン型指示器２が非可視光を射出して、この非可視光を撮像部１５３が撮像する構成や、ペン型指示器２が非可視光を反射可能な反射部を備えており、制御部１０３の制御によってプロジェクター１１がスクリーンＳＣに向けて非可視光を投射し、ペン型指示器２の反射部によって反射された非可視光を撮像部１５３によって撮像する構成等を採用することができる。

位置検出処理部１５７は、撮影制御部１５５から入力される撮影画像データを解析して、この撮影画像データから、実投射領域１１Ｂの外部と実投射領域１１Ｂとの境界、及び、ペン型指示器２の画像を抽出し、ペン型指示器２による指示位置を特定する。ペン型指示器２の指示位置は、例えば、ペン型指示器２の先端の位置として求められる。位置検出処理部１５７が特定した指示位置は撮影画像データにおける位置であり、この特定された指示位置を、座標算出部１５９が、画像処理部１１３が描画したフレームメモリー１１５上の座標に変換する。フレームメモリー１１５に描画された画像上の座標と、撮影画像データ上の座標とは、プロジェクター１１とスクリーンＳＣとの距離、投射光学系３３におけるズーム率、プロジェクター１１の設置角度、撮像装置５とスクリーンＳＣとの距離等の様々な要素の影響を受ける。そこで、プロジェクター１１は、最初にキャリブレーションを実行して、画像処理部１１３が描画した画像上の座標とスクリーンＳＣ上における座標との対応関係（座標変換パラメーター）を求める。座標算出部１５９は、キャリブレーションで求められた座標変換パラメーターに基づいて、撮影画像データにおける座標をフレームメモリー１１５上の座標に変換する。座標算出部１５９が変換した座標は座標変換部１６０に出力される。

座標変換部１６０は、位置検出ユニット１５０が出力した座標を、ＰＣ１３から入力された画像における座標に変換する。座標変換部１６０は、画像処理部１１３がフレームメモリー１１５に展開した画像の解像度と、画像処理部１１３が画像を展開する際に行った解像度変換やズーム等の処理内容に関する情報とを含む各種の情報を取得し、取得した情報をもとに、位置検出処理部１５７が求めた座標を入力画像データにおける座標を示す座標データに変換する。座標変換部１６０が変換した座標データは、出力制御部１０１と、画像処理部１１３に出力可能であり、座標変換部１６０が座標データを出力する出力先は、位置検出制御部１０３Ｂの機能により制御される。
ＰＣ１３では、座標変換部１６０が出力した座標データを、マウス１８（図３）等のポインティングデバイスの操作に応じて入力されるデータと同様のデータとして処理できる。これは、座標変換部１６０によって、ＰＣ１３が出力した画像における座標を示すデータに変換されたためである。これにより、プロジェクター１１を含む表示システム１０は、マウス１８等によりＰＣ１３に直接入力される構成と同様に機能する。

プロジェクター１１は、ペン型指示器２のスイッチ２１の操作状態を検出する操作検出部１６５（操作検出手段）を備えている。図２に示すように、ペン型指示器２は、電源部２３と、この電源部２３の電力に基づき無線信号を送信する送信部２５とを備えている。送信部２５は、スイッチ２１がオンになると、スイッチ２１のオン状態を示すデータを、赤外線や無線電波を利用した無線信号として送信する。また、送信部２５は、特許請求の範囲における送信手段に相当する。操作検出部１６５は、送信部２５が赤外線や無線電波により送信した無線信号を受信して、スイッチ２１のオン／オフを検出する。操作検出部１６５の検出したスイッチ２１の操作状態は、出力制御部１０１とともに、出力制御部１０１を介して制御部１０３に入力される。制御部１０３は、位置検出制御部１０３Ｂの機能によって、操作検出部１６５の検出状態に基づいてスイッチ２１のオン／オフを判定し、図５を参照して後述するように、ＰＣ１３に操作データを出力する。

出力制御部１０１は、ＰＣ１３に接続されるインターフェイスとして、例えばＵＳＢインターフェイス、有線ＬＡＮインターフェイス、無線ＬＡＮインターフェイス、ＩＥＥＥ１３９４等の汎用インターフェイスを備え、制御部１０３の制御に従って、座標変換部１６０の変換処理後の座標データをＰＣ１３に出力する。この座標データは、マウス１８（図３）や、トラックボール、デジタイザー、ペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして、ＰＣ１３に入力される。また、出力制御部１０１は、位置検出制御部１０３Ｂにより生成された操作データを、ＰＣ１３に出力する。この操作データはマウス１８の第１マウスボタン（いわゆる右ボタン）１８１、第２マウスボタン（いわゆる左ボタン）１８２の操作時にマウス１８がＰＣ１３に出力するデータと同様のフォーマットを有するデータである。

図３は、ＰＣ１３の機能的構成を示すブロック図である。
この図３に示すように、ＰＣ１３は、制御プログラムを実行してＰＣ１３の各部を中枢的に制御するＣＰＵ１３１、ＣＰＵ１３１により実行される基本制御プログラムや当該プログラムに係るデータを記憶したＲＯＭ１３２、ＣＰＵ１３１が実行するプログラムやデータを一時的に記憶するＲＡＭ１３３、各種プログラムやデータを不揮発的に記憶する記憶部１３４、入力操作を検出して入力内容を示すデータや操作信号をＣＰＵ１３１に出力する入力部１３５、ＣＰＵ１３１による処理結果等を表示するための表示データを出力する表示部１３６、及び、外部の装置との間でデータ等を送受信する外部Ｉ／Ｆ１３７を備えており、これらの各部はバスにより相互に接続されている。

記憶部１３４は、ＣＰＵ１３１により実行されるＯＳ（オペレーティングシステム）、デバイスドライバープログラム、表示制御プログラム、及び、表示制御プログラムの実行時に出力される画像データ等を記憶している。ＣＰＵ１３１は、オペレーティングシステムを実行してＰＣ１３の基本的な機能を実現し、このオペレーティングシステムの一部を構成するデバイスドライバープログラムを実行して、後述する入力Ｉ／Ｆ１４１に接続されたキーボード１７及びマウス１８を含む入力デバイスからの入力を可能とする。また、ＣＰＵ１３１は、表示制御プログラムを実行し、モニター１４４により画像データを表示する機能を実行する。この機能の実行時にはモニター１４４とともにプロジェクター１１に画像が出力される。ここで、ＣＰＵ１３１は、特許請求の範囲における制御手段に相当する。

入力部１３５は、コネクターや電源供給回路を有する入力Ｉ／Ｆ１４１を有し、この入力Ｉ／Ｆ１４１には、キーボード１７、マウス１８等の入力デバイスが接続される。入力Ｉ／Ｆ１４１は、例えばＵＳＢインターフェイス等の入力デバイス用の汎用インターフェイスで構成される。入力Ｉ／Ｆ１４１には、キーボード１７からは操作されたキーに対応する操作信号が入力され、マウス１８からは、マウス１８を動かす操作に対応した相対座標データまたは絶対座標データと、マウス１８の第１マウスボタン１８１（第１の操作子）及び第２マウスボタン１８２（第２の操作子）の操作状態を示すデータが入力される。また、入力Ｉ／Ｆ１４１には、プロジェクター１１に繋がる通信ケーブルが接続され、プロジェクター１１から、ペン型指示器２による指示位置の座標データが入力される。プロジェクター１１からは、汎用のポインティングデバイスの操作に応じて入力される絶対座標データ、及び、スイッチ２１の操作状態に応じた操作データが入力される。これらのデータは、マウス１８や、トラックボール、デジタイザー、ペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして入力される。ＰＣ１３は、プロジェクター１１から入力される座標データを、様々なポインティングデバイスに対応した汎用のデバイスドライバープログラムによって処理することができ、例えば、この座標データに基づいてマウスカーソルやポインターを移動する等の動作を行える。

表示部１３６は、画像信号出力用のコネクター等を備えた画像出力Ｉ／Ｆ１４３を有し、この画像出力Ｉ／Ｆ１４３には、モニター１４４、及び、プロジェクター１１に繋がる画像信号ケーブル（図示略）が接続される。画像出力Ｉ／Ｆ１４３は、例えば、アナログ映像信号を出力するＶＧＡ端子、デジタル映像信号を出力するＤＶＩインターフェイス、ＵＳＢインターフェイス、ＬＡＮインターフェイス及びＬＡＮインターフェイス、ＮＴＳＣ、ＰＡＬ及び、ＳＥＣＡＭ等のコンポジット映像信号を出力するＳ映像端子、コンポジット映像信号を出力するＲＣＡ端子、コンポーネント映像信号を出力するＤ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等を複数備え、いずれかのコネクターにモニター１４４及びプロジェクター１１がそれぞれ接続される。また、画像出力Ｉ／Ｆ１４３は、ＶＥＳＡが策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini DisplayPortコネクターと、DisplayPort規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、ＰＣ１３は、プロジェクター１１やモニター１４４或いは他の機器に対し、DisplayPortを介してデジタル映像信号を出力できる。なお、画像出力Ｉ／Ｆ１４３は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。

ＣＰＵ１３１は、表示制御プログラムの実行中、入力部１３５からポインティングデバイスの操作に対応する座標データや操作データが入力された場合に、入力された座標に対応する位置に、ポインター１２（図１）を表示するための画像を生成する。そして、ＣＰＵ１３１は、再生中の画像データにポインター１２を重ねた画像データを生成し、この画像データを入力Ｉ／Ｆ１４１からプロジェクター１１に出力する。

図４は、座標を検出及び変換する処理を示す説明図であり、（Ａ）は投射状態の例を示し、（Ｂ）は画像が変更された場合の例を示す。
光変調装置３２が有する液晶表示パネル全体を使用して表示画像を投射した場合には、図４（Ａ）に２点鎖線で示す投射可能領域１１Ａに画像が結像する。プロジェクター１１がスクリーンＳＣの真正面に位置している場合を除き、投射可能領域１１Ａには図４（Ａ）に示すように台形歪みが発生するので、プロジェクター１１は表示制御部１０７の機能によりキーストーン補正を行う。キーストーン補正の実行後は、画像が投射される領域は、スクリーンＳＣ上に長方形でかつ最大のサイズとなるよう設定された実投射領域１１Ｂとなる。なお、実投射領域１１Ｂのサイズは光変調装置３２の液晶表示パネルの解像度と台形歪みの程度により決定されるが、最大サイズでなくてもよい。

キャリブレーション実行部１０３Ａは、キーストーン補正後の実投射領域１１Ｂにおいて上述したキャリブレーションを実行する。まず、キャリブレーション実行部１０３Ａが画像処理部１１３を制御して、所定のキャリブレーション用の画像をフレームメモリー１１５に描画させ、これによりキャリブレーション用の画像がスクリーンＳＣに投射される。次に、キャリブレーション用の画像がスクリーンＳＣに投射された状態で、キャリブレーション実行部１０３Ａの制御により位置検出ユニット１５０がスクリーンＳＣを撮影する。キャリブレーション用の画像は、例えば白色の背景にドットが配置された画像であり、予め記憶部１０５等に記憶された画像を用いてもよいし、キャリブレーションを実行する毎にキャリブレーション実行部１０３Ａが生成してもよい。

キャリブレーション実行部１０３Ａは、撮影画像データから、実投射領域１１Ｂの外部と実投射領域１１Ｂとの境界、及び、キャリブレーション用の画像に配置されたドットを検出して、撮影画像データにおける位置すなわち位置検出ユニット１５０の撮影範囲（画角）と、スクリーンＳＣの実投射領域１１Ｂ上の位置と、画像処理部１１３がフレームメモリー１１５に描画した画像上の位置との対応関係を特定する。この処理によって特定された対応関係に基づいて、キャリブレーション実行部１０３Ａは、座標算出部１５９が用いる座標変換パラメーターを求める。座標算出部１５９は、この座標変換パラメーターに基づいて、座標算出処理を行い、撮影画像データ上の座標を画像処理部１１３が描画した画像上の座標に変換する。そして、座標算出部１５９が変換した座標は、座標変換部１６０に出力され、座標変換部１６０によってＰＣ１３が出力した画像データ中の座標に変換される。この変換処理について説明する。

図４（Ａ）の例では、実投射領域１１Ｂの解像度が１２８０×８００ドットであり、ＰＣ１３から入力される画像データの解像度も１２８０×８００ドットであるものとし、１２８０×８００ドットの表示画像２０１が表示されているものとする。
位置検出処理部１５７は、図４（Ａ）に示すように実投射領域１１Ｂの左上隅を原点とし、右方向をＸ軸方向、下方向をＹ軸方向とするＸ−Ｙ直交座標系を仮想的に設定し、ペン型指示器２の指示位置の座標（Ｘ１ｎ，Ｙ１ｎ）を求める。また、表示画像２０１のＸ方向の端位置はＸ１ｍａｘ、Ｙ方向の端位置はＹ１ｍａｘとする。
ここで、例えばＰＣ１３から入力される画像データが、解像度１０２４×７６８ドットの表示画像２０２に切り替えられた場合を想定する。この場合、図４（Ｂ）に示すように１０６６×８００ドットの表示画像２０２が投射される。表示画像２０２は表示画像２０１より低解像度であるため、表示画像２０２が投射される領域は実投射領域１１Ｂよりも小さくなる。

このとき、スクリーンＳＣ上のペン型指示器２を動かさないまま、スクリーンＳＣの画像が表示画像２０１から表示画像２０２に切り替えられると、ペン型指示器２が静止していても指示位置と画像との相対位置が変化する。表示画像２０１と表示画像２０２では原点の位置とサイズが異なるためである。従って、座標算出部１５９が求めた座標（Ｘ１ｎ，Ｙ１ｎ）（図４（Ａ））と、表示画像２０２における指示位置の座標（Ｘ２ｎ，Ｙ２ｎ）（図４（Ｂ））とは一致しないから、例えば座標（Ｘ１ｎ，Ｙ１ｎ）の位置にポインター１２を表示すると、図４（Ｂ）に示すようにポインター１２がペン型指示器２の指示位置からずれてしまう。このずれは、表示画像２０１から表示画像２０２に切り換えた後でキャリブレーションを行えば解消するが、キャリブレーションの回数が増すため、煩雑であるし、キャリブレーションの実行中はユーザーを待たせてしまう。
そこで、プロジェクター１１は、座標算出部１５９が実投射領域１１Ｂにおける指示位置の座標を算出し、この座標を座標変換部１６０によって表示中の表示画像における指示位置の座標に変換することで、表示画像の解像度に関わらず正しい座標を出力する。

次に、座標変換部１６０が、画像処理部１１３から画像位置情報を取得する。この画像位置情報は、少なくとも、実投射領域１１Ｂにおける切り替え後の表示画像２０２の表示位置の座標、及び、表示画像２０２の表示サイズ（表示画像２０２の端位置の座標）を含んでいる。座標変換部１６０は、取得した画像位置情報に基づき、座標算出部１５９が求めた座標を、表示画像２０２の隅を原点とする座標に変換する。この変換を行うことで、表示画像のサイズが変わっても、キャリブレーションを行わずに、表示される画像における指示位置の座標を正確に求めることができる。

座標変換部１６０が変換に用いる画像位置情報は、表示画像の解像度や表示位置の影響を受けるので、例えば、表示解像度の変更、アスペクト比の変更、ズーム、画像の表示位置の変更（移動）、多画面表示処理等の投射状態が変化するような処理を実行した場合、及び、ＰＣ１３がプロジェクター１１に出力する画像データの解像度が変化した場合には、画像位置情報も変化する。キャリブレーション実行部１０３Ａは、画像位置情報が変化するような事象や処理が発生した場合には、画像位置情報を更新し、座標変換部１６０は、更新後の画像位置情報に基づいて座標を変換する。これにより、プロジェクター１１は、表示画像の最新の状態に合わせて変換された正しい指示位置の座標を出力できる。また、キャリブレーション実行部１０３Ａは、キーストーン補正を行った場合、プロジェクター１１の設置条件が変わった場合、光学条件が変わった場合等、必要に応じてキャリブレーションを行い、実投射領域１１Ｂにおける位置と入力画像データにおける位置との対応を特定するので、より正確に指示位置の座標を出力できる。

プロジェクター１１は、操作検出部１６５によってペン型指示器２の操作を検出し、スイッチ２１のオン／オフに応じて、ＰＣ１３がマウス１８（図３）と同様に汎用のデバイスドライバープログラムで処理可能な操作データを出力する。
マウス１８は、第１マウスボタン１８１と第２マウスボタン１８２の２つの操作子を備え、第１マウスボタン１８１が押されると第１マウスボタン１８１のプレス操作を示す操作データがＰＣ１３に入力され、第１マウスボタン１８１の押圧が解除されると第１マウスボタン１８１のリリース操作を示す操作データがＰＣ１３に入力される。第２マウスボタン１８２についても同様に、押圧操作／押圧操作解除により、プレス操作／リリース操作の操作データがＰＣ１３に入力される。
プロジェクター１１は、マウス１８からＰＣ１３に入力される第１マウスボタン１８１、第２マウスボタン１８２の操作データに相当する操作データを、ペン型指示器２の一つのスイッチ２１のオン／オフに応じて出力する。以下、この動作について詳細に説明する。

図５は、プロジェクター１１の動作を示すフローチャートである。
ペン型指示器２がスクリーンＳＣに押しつけられ（プレス）ペン型指示器２のスイッチ２１がオン（第１の入力操作）になったことが操作検出部１６５によって検出されると、位置検出制御部１０３Ｂは、図５の動作を開始する。なお、以下に説明する動作においては予め設定された値をいくつか使用するが、これらの値は事前にリモコン（図示略）や操作パネル４１の操作により入力され、或いは工場出荷時に入力されて、記憶部１０５に記憶されている。

位置検出制御部１０３Ｂは、内蔵するタイマー（図示略）のカウント値をリセットして（ステップＳＡ１１）、タイマーによる計測を開始する（ステップＳＡ１２）。位置検出制御部１０３Ｂは、ペン型指示器２がスクリーンＳＣから離されて（リリース）スイッチ２１がオフ（第２の入力操作）になったことを検出したか否かを判別する（ステップＳＡ１３）。スイッチ２１がオフになったことを検出した場合（ステップＳＡ１３；Ｙｅｓ）、位置検出制御部１０３Ｂは、ペン型指示器２の先端位置の座標を位置検出ユニット１５０によって検出し（ステップＳＡ１４）、検出された位置座標を座標変換部１６０によって変換する処理を行う（ステップＳＡ１５）。続いて、位置検出制御部１０３Ｂは、マウス１８の第２マウスボタン１８２（左ボタン）のプレス操作に相当する操作データを生成し、変換後の座標データとともにＰＣ１３に出力する（ステップＳＡ１６）。さらに、位置検出制御部１０３Ｂは、第２マウスボタン１８２のリリース操作を示す操作データを生成し、座標変換部１６０が変換した座標データとともにＰＣ１３に出力し（ステップＳＡ１７）、本処理を終了する。ここで、第２マウスボタン１８２（第２の操作子）によるプレス操作が、特許請求の範囲における第２の操作に相当し、第２マウスボタン１８２によるリリース操作が、特許請求の範囲における第２の操作の解除に相当する。
このステップＳＡ１１〜ＳＡ１７の動作により、ペン型指示器２を押しつけてから所定時間以内に離した場合、マウス１８の第２マウスボタン１８２を押圧して離す操作に相当する操作データ（即ち、左クリックに相当）がＰＣ１３に出力される。

一方、ペン型指示器２のリリースの操作（第２の入力操作）が検出されない場合（ステップＳＡ１３；Ｎｏ）、位置検出制御部１０３Ｂは、ペン型指示器２が移動距離に関する所定の閾値を超えて移動したか否かを判別する（ステップＳＡ２１）。ここで、位置検出制御部１０３Ｂは、位置検出ユニット１５０により所定時間周期で常にペン型指示器２の位置を検出し、検出された位置に基づいてペン型指示器２の移動距離を監視する。そして、スイッチ２１がオンになってから、すなわち図５の処理を開始してからの移動距離が、予め設定された閾値を超えた場合には、スイッチ２１がオンになった状態でペン型指示器２が移動したと判別する。ペン型指示器２が移動した場合（ステップＳＡ２１；Ｙｅｓ）、位置検出制御部１０３Ｂは、ペン型指示器２の先端位置の座標を位置検出ユニット１５０によって検出し（ステップＳＡ２２）、検出された座標を座標変換部１６０によって変換して（ステップＳＡ２３）、変換後の座標データと、第２マウスボタン１８２（左ボタン）のプレス操作を示す操作データとをＰＣ１３に出力する（ステップＳＡ２４）。

ここで、位置検出制御部１０３Ｂは、ペン型指示器２のリリースの操作（第２の入力操作）の検出有無を判別し（ステップＳＡ２５）、ペン型指示器２がリリースされない場合は（ステップＳＡ２５；Ｎｏ）、ステップＳＡ２２に戻って繰り返し座標データと操作データを出力する。第２マウスボタン１８２のプレス操作を示す操作データと座標データとが連続して出力された場合、ＰＣ１３は、マウス１８の第２マウスボタン１８２（左ボタン）を押圧したまま移動させる、いわゆるドラッグ操作として検出する。また、ペン型指示器２がリリースされたことを検出した場合は（ステップＳＡ２５；Ｙｅｓ）、第２マウスボタン１８２のリリース操作を示す操作データを生成し、変換後の座標データとともにＰＣ１３に出力し（ステップＳＡ１７）、本処理を終了する。
このステップＳＡ２１〜ＳＡ２５及びＳＡ１７の動作により、ペン型指示器２を押しつけてから移動する操作に対応して、マウス１８のドラッグ操作に相当する操作データがＰＣ１３に出力される。

さらに、移動距離に関する所定の閾値を超えたペン型指示器２の移動が検出されない場合（ステップＳＡ２１；Ｎｏ）、位置検出制御部１０３Ｂは、タイマーのカウント値が予め設定された時間の閾値を超えたか否かを判別する（ステップＳＡ３１）。ここで、タイマーのカウント値が閾値を超えていない場合（ステップＳＡ３１；Ｎｏ）、位置検出制御部１０３ＢはステップＳＡ１３に戻る。タイマーのカウント値が閾値を超えている場合（ステップＳＡ３１；Ｙｅｓ）、位置検出制御部１０３Ｂは、ペン型指示器２の指示位置の座標を検出し（ステップＳＡ３２）、検出された座標を座標変換部１６０によって変換する（ステップＳＡ３３）。そして、位置検出制御部１０３Ｂは、第１マウスボタン１８１（右ボタン）のプレス操作に相当する操作データを生成して、変換後の座標データとともにＰＣ１３に出力する（ステップＳＡ３４）。つまり、スイッチ２１がオンの状態が所定時間以上続くと、第１マウスボタン１８１のプレス操作としてＰＣ１３に通知される。ここで、第１マウスボタン１８１（第１の操作子）によるプレス操作が、特許請求の範囲における第１の操作に相当する。

その後、位置検出制御部１０３Ｂは、予め設定された時間（ディレイ時間）だけ待機し（ステップＳＡ３５）、第１マウスボタン１８１のリリース操作を示す操作データと変換後の指示位置の座標とをＰＣ１３に出力する（ステップＳＡ３６）。ここで、第１マウスボタン１８１（第１の操作子）によるリリース操作が、特許請求の範囲における第１の操作の解除に相当する。ステップＳＡ３６では、第２の入力操作が操作検出部１６５によって検出される前に（スイッチ２１がオフにならずに）第１マウスボタン１８１のリリースを示す操作データを出力するので、ペン型指示器２が押圧されている間に、ＰＣ１３が、第１マウスボタン１８１のプレス＆リリース（即ち、右クリックに相当）に対応する処理を実行する。例えば、コンテキストメニューを表示したり、ウィンドウシステムを採用するオペレーティングシステムにおいてペン型指示器２の指示位置に対応するウィンドウをアクティブ表示に切り替えたり、アイコンの表示状態を選択状態に切り換えたりする。このようにＰＣ１３の表示状態が変化すると、スクリーンＳＣに投射される画像も同様に変化するので、ユーザーは、ペン型指示器２の第１の入力操作を解除する（第２の入力操作を行う）前に、ペン型指示器２の操作が第１マウスボタン１８１の操作として通知されたことを、スクリーンＳＣ上の画像の変化によって知ることができる。

また、ステップＳＡ３５でディレイ時間だけ待機することにより、第１マウスボタン１８１のプレス操作を示す操作データとリリース操作を示す操作データとが短時間で連続して出力されないので、ＰＣ１３が実行するアプリケーションプログラムが確実に動作データを取得できる。また、位置検出制御部１０３Ｂは、ステップＳＡ３５のディレイ時間経過後にペン型指示器２の先端位置の座標を検出してから、ステップＳＡ３６でＰＣ１３に座標を出力してもよい。
その後、制御部１０３は、スイッチ２１がオフになるかペン型指示器２の先端の位置が位置検出ユニット１５０の検出範囲外（操作エリア外）に出るまでの間に、ＰＣ１３に対して操作データを出力しない処理（後処理）を行い（ステップＳＡ３７）、ペン型指示器２のリリース操作（第２の入力操作）が行われてスイッチ２１がオフになると（ステップＳＡ３８）、本処理を終了する。

図６は、ペン型指示器２の操作とプロジェクター１１が出力する操作データとの対応の一例を示すタイミングチャートである。図中、（Ａ）はペン型指示器２の操作状態すなわちスイッチ２１のオン／オフの状態を示し、（Ｂ）はプロジェクター１１が出力する第２マウスボタン１８２の操作データを示し、（Ｃ）はプロジェクター１１が出力する第１マウスボタン１８１の操作データを示す。
最初の例では、時刻Ｔ１にペン型指示器２の操作（第１の入力操作）が開始され、スイッチ２１がオンになり、時刻Ｔ２で操作の解除（第２の入力操作）が検出されてスイッチ２１がオフになる。この時刻Ｔ２が、右クリックを検出するタイマーの閾値が経過する時刻（時刻Ｔ３）より前である場合には、スイッチ２１がオフになったときに、図６（Ｂ）に示すように第２マウスボタン１８２のプレス操作（第２の操作）を示す操作データが出力される（図５のステップＳＡ１６に相当）。その後、所定時間経過後に、第２マウスボタン１８２のリリース操作（第２の操作の解除）を示す操作データが出力される（ステップＳＡ１７に相当）。

次に、時刻Ｔ４でペン型指示器２の操作（第１の入力操作）が開始されてスイッチ２１がオンになり、右クリックを検出するタイマーの閾値が経過する時刻Ｔ５になっても操作の解除（第２の入力操作）が検出されない場合には、第１マウスボタン１８１の操作が通知される。この動作では、（１）時刻Ｔ５で第１マウスボタン１８１のプレス操作（第１の操作）を示す操作データが出力され（ステップＳＡ３４に相当）、（２）ディレイ時間だけ待機し（ステップＳＡ３５に相当）、（３）第１マウスボタン１８１のリリース操作（第１の操作の解除）を示す操作データが時刻Ｔ６まで出力される（ステップＳＡ３６に相当）。さらに、ペン型指示器２の操作解除によりスイッチ２１がオフになるまで、（４）後処理が実行される（ステップＳＡ３７に相当）。この場合、時刻Ｔ７でスイッチ２１がオフになっても、操作データは出力されない。
このように、プロジェクター１１は、一つの操作子であるスイッチ２１のオン／オフ状態に基づいて、２つの操作子である第１マウスボタン１８１及び第２マウスボタン１８２の操作に対応する操作データを出力して、ＰＣ１３に操作を通知する。

以上説明したように、本発明を適用した実施形態に係るプロジェクター１１は、ペン型指示器２によって行われる入力操作を検出する操作検出部１６５と、操作検出部１６５によって入力操作を検出可能な操作エリアにおける入力操作の操作位置を検出する位置検出ユニット１５０と、操作検出部１６５により第１の入力操作が検出されてから所定時間以内に第２の入力操作が検出されない場合に、第１の操作及び位置検出ユニット１５０により検出された操作位置を通知し、さらに操作検出部１６５により第２の入力操作が検出される前に、第１の操作の解除を通知する位置検出制御部１０３Ｂと、を備え、第１の入力操作をしてから第２の入力操作を行うまでの時間により特定の操作を通知し、例えば、ペン型指示器２のスイッチ２１がオンになるプレス操作が行われてから、ペン型指示器２のスイッチ２１がオフになるリリース操作が行われるまでの時間により、第１マウスボタン１８１のプレス操作とリリース操作を示す操作データ、或いは、第２マウスボタン１８２のプレス操作とリリース操作を示す操作データをＰＣ１３に出力する。このように、ペン型指示器２によって１種類の操作を行うだけで、第１マウスボタン１８１のプレス操作とリリース操作を示す操作データを出力できる。これにより、比較的単純な操作しかできないペン型指示器２のような入力デバイスによって、例えば第１マウスボタン１８１や第２マウスボタン１８２のクリック操作に相当する特定の操作およびこの操作の解除を通知できるので、単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスに近い操作性を実現できる。

そして、本実施形態で例示したように、マウス１８のような一般的なポインティングデバイスの操作を示す操作信号或いは操作データを出力することで、ポインティングデバイスと同様の操作を行うことができ、また、ＰＣ１３のような一般的なコンピューターの入力装置として使用できる。
また、第１マウスボタン１８１の操作を示す操作データを出力した場合、スイッチ２１がオフになる前に第１マウスボタン１８１のリリース操作を示す操作データを出力するので、通知先の装置であるＰＣ１３が、第１マウスボタン１８１のリリースに対応した処理を行うことが可能となる。そして、実際にペン型指示器２のリリース操作が実行される前に、第１マウスボタン１８１のリリース操作に対応した処理が行われることで、ユーザーは、第１マウスボタン１８１の操作がＰＣ１３に通知されたことを知ることができる。
さらに、ペン型指示器２のリリース操作を所定時間以内に実行すれば第１マウスボタン１８１の操作データが出力されず、第２マウスボタン１８２の操作データが出力されるので、ペン型指示器２を用いて、複数の操作子を有するマウス１８のような操作性を実現できる。

そして、プロジェクター１１は、ＰＣ１３から入力される画像をスクリーンＳＣに表示する投射ユニット３を備え、位置検出ユニット１５０は、スクリーンＳＣに設定された操作エリアとしての実投射領域１１Ｂにおける操作位置を検出し、位置検出制御部１０３Ｂは、検出した操作位置の座標データをＰＣ１３に出力するので、比較的単純な操作しかできないペン型指示器２によって、スクリーンＳＣに表示された画像に基づく操作を行うことが可能となる。このため、ペン型指示器２を用いて、一般的なポインティングデバイスであるマウス１８等の操作と同様の操作性を実現できる。

［第２の実施形態］
図７は、本発明を適用した第２の実施形態におけるプロジェクター１１の動作を示すフローチャートである。この第２の実施形態では、図１〜図４を参照して説明したプロジェクター１１の別の動作例について説明する。表示システム１０の各部の構成は第１の実施形態と同様であり、同符号を付して図示及び説明を省略する。
図７の動作は、図５の動作に代えて実行される動作であり、操作検出部１６５がペン型指示器２のスイッチ２１がオンになったことを検出した場合に開始される。

位置検出制御部１０３Ｂは、内蔵するタイマーのカウント値をリセットして（ステップＳＢ１１）、ペン型指示器２の先端位置の座標を位置検出ユニット１５０によって検出し（ステップＳＢ１２）、検出された位置座標を座標変換部１６０によって変換し（ステップＳＢ１３）、第２マウスボタン１８２（左ボタン）のプレス操作を示す操作データと変換後の座標データとをＰＣ１３に出力する（ステップＳＢ１４）。

位置検出制御部１０３Ｂは、タイマーによる計測を開始し（ステップＳＢ１５）、操作検出部１６５によってペン型指示器２のリリース操作が検出されたか否かを判別する（ステップＳＢ１６）。ペン型指示器２のリリース操作が検出された場合（ステップＳＢ１６；Ｙｅｓ）、位置検出制御部１０３Ｂは、第２マウスボタン１８２のリリース操作を示す操作データと、変換後の座標データとをＰＣ１３に出力し（ステップＳＡ１７）、本処理を終了する。
また、ペン型指示器２のリリース操作が検出されない場合（ステップＳＢ１６；Ｎｏ）、位置検出制御部１０３Ｂは、図５のステップＳＡ２１〜ＳＡ２５、及びＳＡ３１〜ＳＡ３８と同様の動作を実行する。

この図７の動作では、プロジェクター１１は、ペン型指示器２のプレス操作が実行されると、ペン型指示器２のリリース操作が検出されたか否かの判別（図５のＳＡ１３）を実行することなしに、ステップＳＢ１２〜ＳＢ１４で第２マウスボタン１８２のプレス操作を示す操作データをＰＣ１３に出力するので、ＰＣ１３は、即座に第２マウスボタン１８２のプレス操作に対応して動作を開始できる。例えば、ＰＣ１３がポインティングデバイスの操作に応じて画像を描画するアプリケーションプログラムを実行する場合を想定すると、このようなアプリケーションプログラムは第２マウスボタン１８２のプレス操作を契機として描画を開始する。このため、プロジェクター１１が、ペン型指示器２のプレス操作に応答して第２マウスボタン１８２のプレス操作を示す操作データをＰＣ１３に出力することで、ペン型指示器２のプレス操作に対応して速やかに描画を開始させることができる。このように、ＰＣ１３で実行されるアプリケーションプログラムの仕様に合わせて、ペン型指示器２のプレス操作が実行された後、ペン型指示器２のリリース操作が検出されたか否かの判別なしにマウス１８の第２マウスボタン１８２のプレス操作を示す操作データを出力し、その後のペン型指示器２のリリース操作のタイミングに合わせて、適宜マウス１８の操作データを出力すれば、様々なアプリケーションプログラムを快適に操作できる。

なお、上記各実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではない。例えば、プロジェクター１１の位置検出ユニット１５０が有する撮像部１５３及び撮影制御部１５５の機能を、プロジェクター１１に外部接続されたデジタルカメラにより代替することも可能であり、この場合のデジタルカメラは、制御部１０３の制御に従って撮影を実行し、撮影画像データを位置検出処理部１５７に出力するものであればよい。また、スクリーンＳＣ上の位置を指示する指示体はペン型指示器２に限定されず、例えばユーザーの指を指示体として用い、その指示位置を検出する構成としてもよい。また、例えば、表示面としてのスクリーンＳＣ或いは他の表示方式における表示画面に、感圧式や静電容量式のタッチパネルを設け、このタッチパネルによって指示体としてのペン型指示器２やユーザーの指等の接触を検出する構成としてもよく、この場合、スイッチ２１を持たないペン型指示器２を用いてもよい。

さらに、プロジェクター１１とＰＣ１３との接続形態はケーブル等により有線接続される構成に限らず、無線ＬＡＮ等を用いた無線通信により接続してもよい。また、光変調装置３２は、ＲＧＢの各色に対応した３枚の透過型または反射型の液晶パネルを用いた構成に限定されず、例えば、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。ここで、表示部として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。

また、本発明は、液晶表示パネルに画像／動画像（映像）を表示する液晶モニターまたは液晶テレビ、或いは、ＰＤＰ（プラズマディスプレイパネル）に画像／動画像を表示するモニター装置またはテレビ受像機、ＯＬＥＤ（Organic light-emitting diode）、ＯＥＬ（Organic Electro-Luminescence）等と呼ばれる有機ＥＬ表示パネルに画像／動画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置など、各種の表示装置等にも適用可能である。この場合、液晶表示パネル、プラズマディスプレイパネル、有機ＥＬ表示パネルが表示手段に相当し、その表示画面が表示面に相当する。より詳細には、画像を表示可能な領域全体が上記各実施形態の実投射領域１１Ｂまたは投射可能領域１１Ａに相当する。

また、図２、図３に示したプロジェクター１１及びＰＣ１３の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記各実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１１及びＰＣ１３を含む表示システム１０の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、プロジェクター１１やＰＣ１３が実行するプログラムは、プロジェクター１１やＰＣ１３が通信ネットワークを介して接続された他の装置からダウンロードして実行しても良いし、可搬型の記録媒体に記録されたプログラムをプロジェクター１１、ＰＣ１３が読み取って実行する構成としても良い。

また、上記各実施形態において、第１の入力操作をペン型指示器２のプレス操作（スイッチ２１のオン）とし、第２の入力操作をペン型指示器２のリリース操作（スイッチ２１のオフ）とし異なる操作としたが、第１の入力操作及び第２の入力操作ともにペン型指示器２のプレス操作とするように同様の操作を繰り返すことを入力操作としてもよい。

２…ペン型指示器（指示体）、３…投射ユニット（表示手段）、１０…表示システム、１１…プロジェクター（入力装置、検出装置）、１１Ａ…投射可能領域、１１Ｂ…実投射領域、１３…ＰＣ、１８…マウス（ポインティングデバイス）、３０…投射部（投射手段）、３１…照明光学系（光源）、３２…光変調装置（光変調手段）、１０１…出力制御部、１０３…制御部、１０３Ａ…キャリブレーション実行部、１０３Ｂ…位置検出制御部（操作通知手段）、１０５Ａ…制御プログラム、１０７…表示制御部、１１０…画像処理ユニット（画像形成手段）、１５０…位置検出ユニット、１５１…位置検出部（位置検出手段）、１５３…撮像部、１５７…位置検出処理部、１５９…座標算出部、１６０…座標変換部（操作検出手段）、１６５…操作検出部、１８１…第１マウスボタン（第１の操作子）、１８２…第２マウスボタン（第２の操作子）、ＳＣ…スクリーン（投射面、表示面）。

Claims (7)

1. 光源が発した光を変調する光変調手段と、
   画像データに基づいて前記光変調手段に表示画像を形成する画像形成手段と、
   前記画像形成手段により形成された表示画像を投射する投射手段と、
   入力操作を検出する操作検出手段と、
   前記投射手段により投射される表示画像が示す操作エリアにおいて、前記操作検出手段によって検出された前記入力操作の操作位置を検出する位置検出手段と、
   前記操作検出手段により第１の入力操作が検出されると、第２の操作及び前記位置検出手段により検出された操作位置を通知し、
   前記操作検出手段により前記第１の入力操作が検出されてから所定時間以内に第２の入力操作が検出された場合に、前記第２の操作の解除を通知し、
   前記所定時間以内に前記第２の入力操作が検出されない場合に、前記第２の操作とは異なる第１の操作及び前記位置検出手段により検出された操作位置を通知し、さらに前記操作検出手段により前記第２の入力操作が検出される前に、前記第１の操作の解除を通知し、
   前記所定時間を経過する前であって、前記第２の入力操作が検出される前に、前記位置検出手段により検出される操作位置の移動距離が閾値よりも大きくなった場合に、前記第２の操作及び前記位置検出手段により検出される操作位置を、前記第２の入力操作が検出されるまで繰り返し通知する操作通知手段と、
   を備えることを特徴とするプロジェクター。
2. 請求項１に記載のプロジェクターであって、
   前記位置検出手段により検出される前記入力操作の前記操作エリアにおける操作位置を、前記画像データにおける座標に変換する変換手段を備え、
   前記操作通知手段は、前記位置検出手段により検出された操作位置を通知する場合に、前記操作位置として前記変換手段により変換された前記画像データにおける座標を通知することを特徴とするプロジェクター。
3. 請求項１または２に記載のプロジェクターと、コンピューターとを有し、指示体により入力される入力操作を前記プロジェクターが検出し、前記入力操作に対応する操作を前記コンピューターに通知し、前記操作を前記コンピューターが実行する表示システムであって、
   前記指示体は、
   操作子と、前記操作子から入力される入力操作を前記プロジェクターに指示する送信手段と、を有し、
   前記プロジェクターは、前記操作通知手段により前記コンピューターに対して前記第１の操作、前記第１の操作の解除、前記第２の操作又は前記第２の操作の解除と、前記位置検出手段により検出される操作位置とを通知し、
   前記コンピューターは、前記操作通知手段からの通知に基づき、前記第１の操作または前記第２の操作と、前記第１の操作または前記第２の操作の解除とを実行する制御手段を有することを特徴とする表示システム。
4. 請求項３に記載の表示システムであって、
   前記操作通知手段は、前記操作検出手段により前記第１の入力操作が検出されてから前記所定時間以内に前記第２の入力操作が検出された場合に、前記第２の操作及び前記第２の操作の解除を前記コンピューターに通知するとともに、前記位置検出手段により検出された操作位置を通知し、
   前記制御手段は、前記操作通知手段からの通知に基づき、前記第２の操作及び前記第２の操作の解除を実行することを特徴とする表示システム。
5. 請求項３または４に記載の表示システムであって、
   前記操作通知手段は、前記第１の操作を通知してから所定の待機時間後に前記第１の操作の解除を通知することを特徴とする表示システム。
6. 請求項４または５に記載の表示システムであって、
   前記コンピューターは、
   ２以上の操作子を備えたポインティングデバイスを備え、
   前記操作通知手段は、前記第１の操作を前記ポインティングデバイスが備える第１の操作子による操作として前記コンピューターに通知し、前記第２の操作を前記ポインティングデバイスが備える第２の操作子による操作として前記コンピューターに通知することを特徴とする表示システム。
7. 光源が発した光を変調する光変調手段と、画像データに基づいて前記光変調手段に表示画像を形成する画像形成手段と、前記画像形成手段により形成された表示画像を投射する投射手段と、を備えるプロジェクターの制御方法であって、
   前記投射手段により投射される表示画像が示す操作エリアにおいて、第１の入力操作と、前記第１の入力操作の前記操作エリアにおける操作位置とを検出するステップと、
   前記第１の入力操作が検出されると、第２の操作と、前記第１の入力操作の前記操作エリアにおける操作位置とを通知するステップと、
   前記第１の入力操作が検出された後、前記操作エリアにおける第２の入力操作を検出するステップと、
   前記第１の入力操作が検出されてから所定時間以内に前記第２の入力操作が検出された場合に、前記第２の操作の解除を通知するステップと、
   前記所定時間以内に前記第２の入力操作が検出されない場合に、前記第２の操作とは異なる第１の操作と、前記第１の入力操作の前記操作エリアにおける操作位置とを通知し、さらに前記第２の入力操作が検出される前に、前記第１の操作の解除を通知するステップと、
   前記所定時間を経過する前であって、前記第２の入力操作が検出される前に、前記第１の入力操作の前記操作エリアにおける操作位置の移動距離が閾値よりも大きくなった場合に、前記第２の操作と、前記第１の入力操作の前記操作エリアにおける操作位置とを、前記第２の入力操作が検出されるまで繰り返し通知するステップと、
   を有することを特徴とするプロジェクターの制御方法。

Images