JP6273671B2 - プロジェクター、表示システム、及びプロジェクターの制御方法 - Google Patents

Description

本発明は、プロジェクター、表示システム、及びプロジェクターの制御方法に関する。

従来、タブレット型コンピューター等のコンピューターに使用される入力装置として、スタイラスによりディスプレイの表示面を操作する構成が知られている（例えば、特許文献１参照）。特許文献１の構成では、スタイラスによるタップ、ストローク、ホールド、ホールド・ドラッグ等の様々な操作を検出し、各操作に対応づけられたマウスなどのポインティングデバイスのジェスチャーをシミュレートする方法が開示されている。このように、スタイラスによって所定の操作が直接入力される入力装置は、構成がシンプルなため、直感的な操作が可能である。このような入力装置を活用するため、例えば特許文献１の構成では、コンピューターがスタイラスのホールドを検出するとマウスの第２マウスボタンクリックをシミュレートする。これにより、スタイラスによる操作を、２以上のボタンを有するマウスの操作として処理できる。この場合、スタイラスのホールドに分類される操作が行われると、コンピューターが操作に対して目に見える形でフィードバックする処理を行うので、スタイラスを用いてマウスのような感覚で操作できる。

特開２００２−１８９５６７号公報

特許文献１記載の構成では、コンピューターがスタイラスの操作を分類し、ホールド操作に対してフィードバックを行う等の処理を行っている。しかしながら、このような動作はスタイラスの使用を前提としたコンピューターの構成を必要とする。例えば、スタイラスの使用に適した専用のデバイスドライバープログラムや、上記のような位置入力操作に対応するオペレーティングシステムの機能が必要である。このため、上記従来の方法は、特定の構成を持たない一般的なコンピューターに適用できる方法ではなかった。
本発明は、上述した事情に鑑みてなされたものであり、一般的なコンピューターの入力に使用することが可能で、マウス等の一般的なポインティングデバイスによる操作と同様の操作感を得られるプロジェクター、表示システム、及びプロジェクターの制御方法を提供することを目的とする。

上記課題を解決するため、本発明の入力装置は、入力操作を検出する操作検出手段と、前記操作検出手段によって前記入力操作を検出可能な操作エリアにおける前記入力操作の操作位置を検出する位置検出手段と、前記操作検出手段により第１の入力操作が検出されてから所定時間以内に第２の入力操作が検出されない場合に、第１の操作及び前記位置検出手段により検出された操作位置を通知する操作通知手段と、を備えることを特徴とする。
本発明によれば、第１の入力操作が検出されてから所定時間内に第２の入力操作が検出されない場合に第１の操作を通知する。例えば少なくとも２通りの操作状態を有する比較的単純な入力デバイスを用いて、一方の操作を行ってから所定時間以内に他方の操作を行わないと、一方の操作が通知される。このため、第２の入力操作を所定時間以内に行うかどうかにより、第１の操作を通知させるタイミングを調整できる。また、例えば、第１の操作を通知する動作として、一般的なポインティングデバイスの操作信号の出力を行えば、上記の入力デバイスをポインティングデバイスとして使用できる。従って、単純な構成の入力デバイスを用いて、より多機能なポインティングデバイスに近い操作性を実現できる。

上記入力装置において、前記操作通知手段は、前記第１の操作及び前記位置検出手段により検出された操作位置を通知した後に、前記第１の操作の解除を通知してもよい。
この場合、ユーザーが第１の入力操作を行うことで、この第１の操作を通知させ、さらに、この第１の操作の解除を通知させることができる。

また、上記入力装置において、前記操作通知手段は、前記第１の操作及び前記位置検出手段により検出された操作位置を通知した後、前記操作検出手段により前記第２の入力操作が検出される前に、前記第１の操作の解除を通知してもよい。
この場合、ユーザーが第１の入力操作を行うと、第２の入力操作を行う前に、第１の操作の通知と、この第１の操作の解除の通知とを実行させることができる。

また、上記入力装置において、前記操作通知手段は、前記第１の操作及び前記位置検出手段により検出された操作位置を通知してから所定時間が経過した後に、前記第１の操作の解除を通知してもよい。
この場合、第１の操作の通知が実行された後に所定時間を空けて、第１の操作の解除の通知が実行される。このため、操作の通知を受ける機器において第１の操作の通知と第１の操作の解除の通知とを確実に識別できる。

また、上記入力装置において、前記操作通知手段は、前記第１の操作及び前記位置検出手段により検出された操作位置を通知した後、前記操作検出手段により前記第２の入力操作が検出されるまでの間、通知を伴わない他の処理を実行することを特徴とする。
この場合、第１の操作を検知した後、第２の入力操作が行われるまでの間に通知を行うことなく他の処理を実行できる。このため、第１の操作の解除の通知等を行うまでの待機時間を利用して、他の処理を実行し、効率よく処理を進めることができる。また、他の処理を実行中に通知を受ける機器に影響を与えることがないという利点がある。

また、上記入力装置において、前記操作通知手段は、前記操作検出手段により前記第２の入力操作が検出された後に、前記第１の操作の解除を通知することを特徴とする。
この場合、第１の入力操作を検出した後に第２の入力操作が検出されると、第１の操作の解除を通知する。このため、ユーザーは、第１の入力操作の後に第２の入力操作を行うことで、任意のタイミングで第１の操作の解除を通知させることができる。

また、上記入力装置において、前記操作通知手段は、前記操作検出手段により前記第１の入力操作が検出されてから前記所定時間以内に前記第２の入力操作が検出された場合に、前記第１の操作とは異なる第２の操作を通知してもよい。
この場合、第１の入力操作が検出されてから所定時間以内に第２の入力操作が検出されると、第２の操作が通知される。このため、ユーザーは、第２の入力操作を行うタイミングを調整することにより、第１の操作とは異なる第２の操作を通知させることができる。従って、単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスに近い操作性を実現できる。

また、上記入力装置において、前記操作検出手段により前記第１の入力操作が検出された後、前記第２の入力操作が検出された場合に前記第１の操作の解除を通知する構成として、さらに、前記第１の入力操作が検出されてから前記所定時間以内に前記第２の入力操作が検出された場合に、前記第１の操作とは異なる第２の操作を通知する構成とすることもできる。
この場合、第１の入力操作と第２の入力操作が行われた場合に２通りの動作のいずれかが実行される。すなわち、第２の入力操作が検出されるタイミングにより、第１の操作の解除を通知する動作と、第２の操作を通知する動作とのいずれかが実行される。従って、ユーザーは、第２の入力操作を行うタイミングを調整することで、２通りの通知のうち、所望の通知を実行させることが可能となる。

また、上記入力装置において、前記操作通知手段は、前記第２の操作を通知した後に前記第２の操作の解除を通知してもよい。
この場合、第１の入力操作及び第２の入力操作に対応して、第１の操作を通知するとともに、第２の操作と、第２の操作の解除とを通知できる。このため、２種類の入力操作に対応して、第１の操作及び第２の操作を通知するとともに、各操作の解除を通知できる。

また、上記入力装置において、前記操作通知手段は、前記第２の操作を通知するとともに前記位置検出手段により検出された操作位置を通知してもよい。
この場合、第２の操作について操作位置を通知することができるので、第１の入力操作及び第２の入力操作に対応して、より多様な操作を実現できる。

また、上記入力装置において、光源が発した光を変調する光変調手段と、画像データに基づいて前記光変調手段により表示画像を形成する画像形成手段と、前記画像形成手段により形成された表示画像を投射する投射手段と、を備えたプロジェクターとして構成され、前記投射手段により投射される表示画像が示す範囲が前記操作エリアとされたことを特徴とする。
この場合、画像データに基づいて表示画像を投射するプロジェクターが、表示画像が示す範囲における第１の入力操作に対応して、第１の操作を通知する。これにより、プロジェクターにより表示画像を投射した状態で、例えば操作子の数が少ない単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスを用いた場合と同様の操作性を実現できる。従って、プロジェクターの利便性の向上を図ることができる。

また、上記課題を解決するため、本発明の表示システムは、指示体により入力される入力操作をプロジェクターが検出し、前記入力操作に対応する操作をコンピューターに通知し、前記操作を前記コンピューターが実行する表示システムであって、前記指示体は、操作子と、前記操作子から入力される入力操作を前記プロジェクターに指示する送信手段と、を有し、前記プロジェクターは、光源が発した光を変調する光変調手段と、画像データに基づいて前記光変調手段に表示画像を形成する画像形成手段と、前記画像形成手段により形成された表示画像を投射する投射手段と、前記指示体より通知される入力操作を検出する操作検出手段と、前記投射手段により投射される表示画像が示す操作エリアにおいて、前記操作検出手段によって検出された入力操作の操作位置を検出する位置検出手段と、前記操作検出手段により第１の入力操作が検出されてから所定時間以内に第２の入力操作が検出されない場合に、第１の操作及び前記位置検出手段により検出された操作位置を前記コンピューターに通知する操作通知手段と、を有し、前記コンピューターは、前記操作通知手段からの通知に基づき、前記第１の操作を実行する制御手段、を有することを特徴とする。
本発明によれば、画像データに基づいて表示画像を投射するプロジェクターが、表示画像が示す範囲における第１の入力操作と、所定時間以内の第２の入力操作の有無に基づき、第１の操作をコンピューターに通知する。コンピューターは、第１の操作に対応した制御を実行できる。このため、プロジェクターにより表示画像を投射した状態で、例えば操作子の数が少ない単純な構成を有し、表示画像に対応した入力操作に適した指示体を用いて、より多機能なポインティングデバイスを用いた場合と同様にコンピューターを操作できる。これにより、プロジェクターの表示画像を利用して、コンピューターを快適に操作できる。また、指示体を用いることで、プロジェクターの表示画像を有効に利用して、コンピューターを操作できる。

また、上記表示システムにおいて、前記操作通知手段は、前記操作検出手段により前記第１の入力操作が検出されてから前記所定時間以内に前記第２の入力操作が検出された場合に、前記第１の操作とは異なる第２の操作を前記コンピューターに通知し、前記制御手段は、前記操作通知手段からの通知に基づき、前記第２の操作を実行してもよい。
この場合、第１の入力操作が検出されてから所定時間以内に第２の入力操作が検出されると、第２の操作が通知される。このため、ユーザーは、第２の入力操作を行うタイミングを調整することにより、第１の操作とは異なる第２の操作を通知させることができる。従って、単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスを用いた場合と同様にコンピューターを操作できる。

また、上記表示システムにおいて、前記コンピューターは、２以上の操作子を備えたポインティングデバイスを備え、前記操作通知手段は、前記第１の操作を前記ポインティングデバイスが備える第１の操作子による操作として前記コンピューターに通知し、前記第２の操作を前記ポインティングデバイスが備える第２の操作子による操作として前記コンピューターに通知してもよい。
この場合、画像データに基づいて表示画像を投射するプロジェクターが入力デバイスの操作を検出して、コンピューターが備えるポインティングデバイスの２種類の操作として通知を行う。このため、表示画像が投射された状態で、単純な構成を有する入力デバイスを使用しながら、コンピューターが備えるポインティングデバイスと同様にコンピューターを操作できる。

また、上記課題を解決するため、本発明の入力方法は、第１の入力操作と第２の入力操作とを検出し、前記入力操作を検出可能な範囲である操作エリアにおける入力操作の操作位置を検出し、前記第１の入力操作が検出されてから所定時間以内に前記第２の入力操作が検出されない場合に、第１の操作と前記操作位置とを通知する、ことを特徴とする。
本発明によれば、第１の入力操作を検出してから所定時間以内に第２の入力操作を検出するか否かにより、第１の操作を通知する。従って、単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスに近い操作性を実現できる。

本発明によれば、単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスに近い操作性を実現できる。

第１の実施形態に係る表示システムの構成を示す図である。 表示システムの機能的構成を示すブロック図である。 ＰＣの機能的構成を示すブロック図である。 座標を検出及び変換する処理を示す説明図であり、（Ａ）は投射状態の例を示し、（Ｂ）は画像が変更された場合の例を示す。 プロジェクターの動作を示すフローチャートである。 ペン型指示器の操作とプロジェクターが出力する操作データとの対応を示すタイミングチャートである。 第２の実施形態におけるプロジェクターの動作を示すフローチャートである。

［第１の実施形態］
以下、図面を参照して本発明を適用した実施形態について説明する。
図１は、本発明の第１の実施形態に係るプロジェクター１１を用いた表示システム１０の構成を示す図である。
プロジェクター１１は、ＰＣ（パーソナルコンピューター）１３に画像信号ケーブル等により有線接続されている。プロジェクター１１は、ＰＣ１３から入力される画像に基づき、投射面（表示面）としてのスクリーンＳＣに表示画像を投射する。ここで、プロジェクター１１上で画像が投射される範囲を実投射領域１１Ｂ（表示可能領域）とする。スクリーンＳＣは、図１に示すような壁面に固定された平板に限らず、壁面自体をスクリーンＳＣとして使用することも可能である。

表示システム１０では、ユーザーが、ペン型の入力デバイスであるペン型指示器２（指示体）を手に持って、スクリーンＳＣの実投射領域１１Ｂにおける位置をプロジェクター１１に指示する位置指示操作を行うことができる。ペン型指示器２の先端にはスイッチ２１が配置され、ユーザーがペン型指示器２をスクリーンＳＣに押し付けるプレス操作を行うと、スイッチ２１が押圧されてオンになる。
プロジェクター１１は、後述するようにペン型指示器２の先端位置を検出する機能を有し、検出したペン型指示器２の位置の座標を示す座標データをＰＣ１３に出力する。また、プロジェクター１１は、ペン型指示器２のスイッチ２１がオンになったことを検出する機能を有し、後述するようにスイッチ２１のオン／オフに対応した動作を実行する。この構成により、プロジェクター１１は、ＰＣ１３に対する入力装置として機能する。また、プロジェクター１１は、ペン型指示器２とＰＣ１３とともに表示システム１０を構成する。また、プロジェクター１１はＵＳＢケーブル等によりＰＣ１３に接続され、ＰＣ１３に対して、ペン型指示器２によって指示された位置の座標データや、スイッチ２１のオン／オフに基づく操作データ等を送信する。本実施形態では、プロジェクター１１がペン型指示器２による操作やペン型指示器２の位置を検出可能な範囲を操作エリアとし、更に当該操作エリアは、プロジェクター１１が投射する実投射領域１１Ｂとする。尚、操作エリアは、プロジェクター１１が投写する実投射領域１１Ｂの外を検出可能範囲として含めてもよい。

図２は、表示システム１０の機能的構成を示すブロック図である。
プロジェクター１１は、画像処理ユニット１１０と、投射ユニット３（表示手段）と、位置検出ユニット１５０と、座標変換部１６０と、出力制御部１０１と、これらの各部を制御する制御部１０３と、を備えている。画像処理ユニット１１０は、ＰＣ１３から入力される画像データに基づいて表示用の画像処理を実行する。投射ユニット３は、画像処理ユニット１１０の制御に従ってスクリーンＳＣに画像を投射する。位置検出ユニット１５０は、スクリーンＳＣ上のペン型指示器２の指示位置を検出する。座標変換部１６０は、位置検出ユニット１５０が検出した指示位置の座標を、画像データにおける座標に変換する。出力制御部１０１は、座標変換部１６０が変換した変換後の座標をＰＣ１３に出力する。
制御部１０３は、図示しないＣＰＵ、不揮発性メモリー、ＲＡＭ等により構成される。制御部１０３は、記憶部１０５に記憶されている制御プログラム１０５Ａを読み出して実行し、プロジェクター１１の各部を制御する。制御部１０３は、キャリブレーション実行部１０３Ａ及び位置検出制御部１０３Ｂ（操作通知手段）として機能する。位置検出制御部１０３Ｂは、後述するキャリブレーションを実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンＳＣ上の領域における座標との対応関係（座標変換パラメーター）を求める。位置検出制御部１０３Ｂは、後述する位置検出ユニット１５０及び操作検出部１６５によって、ペン型指示器２により指示された指示位置と、スイッチ２１のオン／オフを検出する。記憶部１０５は、磁気的、光学的記録装置または半導体記憶素子により構成され、制御プログラム１０５Ａを含む各種プログラム、及び、各種設定値等のデータを記憶する。

制御部１０３には、プロジェクター１１の筐体（図示略）に配置された操作パネル４１が接続されている。制御部１０３は、プロジェクター１１の動作状態等に応じて操作パネル４１のインジケーターランプの点灯制御を行う一方、操作パネル４１のスイッチの操作を検出する。また、プロジェクター１１は、ユーザーが使用するリモコン（図示略）がユーザーの操作に対応して送信する赤外線信号を受光するリモコン受光部４５を備えている。制御部１０３は、操作パネル４１またはリモコン受光部４５が出力する操作信号に基づいて、ユーザーによる操作の内容を判別し、プロジェクター１１を制御する。

投射ユニット３は、照明光学系３１、光変調装置３２（光変調手段）、及び、投射光学系３３から構成される投射部３０（投射手段）を備えている。照明光学系３１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）等からなる光源を備えている。照明光学系３１は、さらに、光源が発した光を光変調装置３２に導くリフレクターや補助リフレクターを備えていてもよい。また、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置３２に至る経路上で低減させる調光素子等を備えていてもよい。
光変調装置３２は、画像処理ユニット１１０からの信号を受けて、照明光学系３１が発した光を変調する。本実施形態では、光変調装置３２が、ＲＧＢの三原色に対応した３枚の透過型液晶パネルを備えたものとする。この構成では、照明光学系３１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系３３に射出される。
投射光学系３３は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター等を備えている。
また、投射ユニット３は、投射光学系駆動部１２１、光変調装置駆動部１１９、及び、光源駆動部１１７を備えている。投射光学系駆動部１２１は、投射部３０とともに、表示制御部１０７の制御に従って投射光学系３３が備える各モーターを駆動する。光変調装置駆動部１１９は、表示制御部１０７から出力される画像信号に基づいて光変調装置３２を駆動して描画を行う。光源駆動部１１７は、制御部１０３の制御に従って照明光学系３１が備える光源を駆動する。

画像処理ユニット１１０は、ＰＣ１３に接続されるインターフェイスを備えた画像入力部１０４を有する。画像入力部１０４のインターフェイスには、例えば、各種の汎用インターフェイスを用いることができる。具体的な例としては、デジタル映像信号が入力されるＤＶＩ（Digital Visual Interface）インターフェイス、ＵＳＢインターフェイス及びＬＡＮインターフェイスが挙げられる。また、例えば、ＮＴＳＣ、ＰＡＬ及びＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等を用いることもできる。また、画像入力部１０４は、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、ＶＧＡ端子等のアナログ映像端子によりＰＣ１３に接続される構成としてもよい。なお、画像入力部１０４は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。また、画像入力部１０４に、ＶＥＳＡ（Video Electronics Standards Association）が策定したDisplayPortを備えた構成としてもよい。具体的には、DisplayPortコネクター或いはMini DisplayPortコネクターと、DisplayPort規格に準拠したインターフェイス回路とを備えてもよい。この場合、プロジェクター１１は、ＰＣ１３や、ＰＣ１３と同等の機能を有する携帯型デバイスが備えるDisplayPortに接続することができる。
また、画像処理ユニット１１０（画像形成手段）は、画像入力部１０４を介して入力された画像データを処理する表示制御部１０７を備えている。また、画像処理ユニット１１０は、表示制御部１０７の制御に従って画像をフレームメモリー１１５に展開し、投射部３０が投射する画像を生成する画像処理部１１３を備えている。

表示制御部１０７は、制御部１０３の制御に従って、画像入力部１０４に入力された画像データのフォーマット（フレームレート、解像度、圧縮状態）の判別等を行う。そして、表示制御部１０７は、光変調装置３２に表示画像を表示するために必要な処理を決定し、画像処理部１１３を制御して当該処理を実行する。画像処理部１１３は、表示制御部１０７の制御に従い、画像入力部１０４に入力された画像データをフレームメモリー１１５に展開する。画像処理部１１３は、展開した画像データに対しインターレース／プログレッシブ変換、解像度変換等の各種変換処理を適宜実行する。そして、処理後の画像データに基づき、フレームメモリー１１５に描画した表示画像を表示するための所定フォーマットの画像信号を生成して、表示制御部１０７に出力する。
画像処理部１１３は、表示制御部１０７の制御に従って、キーストーン補正、カラーモードに対応した色調補正、画像の拡大／縮小処理等の各種の画像処理を実行できる。表示制御部１０７は、画像処理部１１３により処理された画像信号を光変調装置駆動部１１９に出力し、光変調装置３２に表示させる。また、画像処理部１１３は、表示中の画像データの解像度、アスペクト比、光変調装置３２の液晶表示パネルにおける表示サイズ等の情報から、後述する画像位置情報を導出し、求めた画像位置情報を座標変換部１６０に出力する。

位置検出ユニット１５０（位置検出手段）は、スクリーンＳＣを撮影する撮像部１５３、及び、撮像部１５３を制御する撮影制御部１５５を備えている。また、位置検出ユニット１５０は、位置検出部１５１と座標算出部１５９とを備えている。位置検出部１５１は、撮像部１５３の撮影画像に基づいてペン型指示器２の指示位置を検出する。座標算出部１５９は、位置検出部１５１が検出した指示位置の座標を算出する。

撮像部１５３は、投射部３０が投射する画像を撮影するカメラを有し、スクリーンＳＣ上で投射部３０が画像を投射可能な最大範囲（後述する投射可能領域１１Ａに相当）が、撮像部１５３の画角に含まれる。撮像部１５３は、撮影制御部１５５の制御に従って撮影を実行し、撮影画像データを出力する。
撮影制御部１５５は、制御部１０３の制御に従って撮像部１５３を制御して撮影を実行させ、撮像部１５３が出力する撮影画像データを取得して、位置検出処理部１５７に出力する。撮像部１５３から出力される撮影画像データは、ＲＧＢやＹＵＶ等の形式で表されるものや輝度成分のみを表すものであっても良い。撮影制御部１５５は、撮像部１５３から出力される撮影画像データをそのまま位置検出処理部１５７へ出力してもよく、解像度の調整や所定のファイルフォーマット（ＪＰＥＧ、ＢＭＰなど）への変換等を行った上で位置検出処理部１５７へ出力しても良い。撮像部１５３が撮影時のズーム倍率、フォーカス、絞りの調整を行う機構を有する場合、撮影制御部１５５は、これらの機構を制御して予め設定された条件で撮影を実行させる。
なお、撮像部１５３は、可視光を撮像可能な構成に限らず、非可視光（赤外光など）を撮像可能な構成であっても良い。この場合、ペン型指示器２が非可視光を射出して、この非可視光を撮像部１５３が撮像する構成を採用できる。また、ペン型指示器２が非可視光を反射可能な反射部を備えていて、制御部１０３の制御によって、プロジェクター１１がスクリーンＳＣに向けて非可視光を投射し、ペン型指示器２の反射部で反射された非可視光を撮像部１５３が撮像する構成等を採用できる。

位置検出処理部１５７は、撮影制御部１５５から入力される撮影画像データを解析して、この撮影画像データから、実投射領域１１Ｂの外部と実投射領域１１Ｂとの境界、及び、ペン型指示器２の画像を抽出し、ペン型指示器２による指示位置を特定する。ペン型指示器２の指示位置は、例えば、ペン型指示器２の先端の位置として求められる。位置検出処理部１５７が特定した指示位置は撮影画像データにおける位置であり、この特定された指示位置を、座標算出部１５９が、画像処理部１１３が描画したフレームメモリー１１５上の座標に変換する。フレームメモリー１１５に描画された画像上の座標と、撮影画像データ上の座標とは、様々な要素の影響を受ける。この要素は、例えば、プロジェクター１１とスクリーンＳＣとの距離、投射光学系３３におけるズーム率、プロジェクター１１の設置角度、撮像装置５とスクリーンＳＣとの距離等である。プロジェクター１１は、最初にキャリブレーションを実行して、画像処理部１１３が描画した画像上の座標とスクリーンＳＣ上における座標との対応関係（座標変換パラメーター）を求める。座標算出部１５９は、キャリブレーションで求められた座標変換パラメーターに基づいて、撮影画像データにおける座標をフレームメモリー１１５上の座標に変換する。座標算出部１５９が変換した座標は座標変換部１６０に出力される。

座標変換部１６０は、位置検出ユニット１５０が出力した座標を、ＰＣ１３から入力された画像における座標に変換する。座標変換部１６０は、画像処理部１１３がフレームメモリー１１５に展開した画像の解像度と、画像処理部１１３が画像を展開する際に行った解像度変換やズーム等の処理内容に関する情報とを含む各種の情報を取得する。そして、座標変換部１６０は、取得した情報をもとに、位置検出処理部１５７が求めた座標を入力画像データにおける座標を示す座標データに変換する。座標変換部１６０が変換した座標データは、出力制御部１０１と、画像処理部１１３に出力可能である。座標変換部１６０が座標データを出力する出力先は、位置検出制御部１０３Ｂの機能により制御される。
ＰＣ１３では、座標変換部１６０が出力した座標データを、マウス１８（図３）等のポインティングデバイスの操作に応じて入力されるデータと同様のデータとして処理できる。これは、座標変換部１６０によって、ＰＣ１３が出力した画像における座標を示すデータに変換されたためである。これにより、プロジェクター１１を含む表示システム１０は、マウス１８等によりＰＣ１３に直接入力される構成と同様に機能する。

プロジェクター１１は、ペン型指示器２のスイッチ２１の操作状態を検出する操作検出部１６５（操作検出手段）を備えている。図２に示すように、ペン型指示器２は、電源部２３と、この電源部２３の電力に基づき無線信号を送信する送信部２５とを備えている。送信部２５は、スイッチ２１がオンになると、スイッチ２１のオン状態を示すデータを、赤外線や無線電波を利用した無線信号として送信する。また、送信部２５は、特許請求の範囲における送信手段に相当する。操作検出部１６５は、送信部２５が赤外線や無線電波により送信した無線信号を受信して、スイッチ２１のオン／オフを検出する。操作検出部１６５の検出したスイッチ２１の操作状態は、出力制御部１０１とともに、出力制御部１０１を介して制御部１０３に入力される。制御部１０３は、位置検出制御部１０３Ｂの機能によって、操作検出部１６５の検出状態に基づいてスイッチ２１のオン／オフを判定し、図５を参照して後述するように、ＰＣ１３に操作データを出力する。

出力制御部１０１は、ＰＣ１３に接続されるインターフェイスを備える。このインターフェイスは、例えばＵＳＢインターフェイス、有線ＬＡＮインターフェイス、無線ＬＡＮインターフェイス、ＩＥＥＥ１３９４等の汎用インターフェイスが挙げられる。出力制御部１０１は、制御部１０３の制御に従って、座標変換部１６０の変換処理後の座標データをＰＣ１３に出力する。この座標データは、マウス１８（図３）や、トラックボール、デジタイザー、ペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして、ＰＣ１３に入力される。また、出力制御部１０１は、位置検出制御部１０３Ｂにより生成された操作データを、ＰＣ１３に出力する。この操作データはマウス１８の第１マウスボタン（いわゆる右ボタン）１８１、第２マウスボタン（いわゆる左ボタン）１８２の操作時にマウス１８がＰＣ１３に出力するデータと同様のフォーマットを有するデータである。

図３は、ＰＣ１３の機能的構成を示すブロック図である。
図３に示すように、ＰＣ１３は、制御プログラムを実行してＰＣ１３の各部を中枢的に制御するＣＰＵ１３１を備えている。また、ＣＰＵ１３１により実行される基本制御プログラムや当該プログラムに係るデータを記憶したＲＯＭ１３２、及び、ＣＰＵ１３１が実行するプログラムやデータを一時的に記憶するＲＡＭ１３３を備えている。さらに、ＰＣ１３は、記憶部１３４、入力部１３５、表示部１３６、及び、外部Ｉ／Ｆ１３７を備えており、これらの各部はバスにより相互に接続されている。外部Ｉ／Ｆ１３７は、外部の装置との間でデータ等を送受信する。

記憶部１３４は、各種プログラムやデータを不揮発的に記憶する。具体的には、記憶部１３４は、ＣＰＵ１３１により実行されるＯＳ（オペレーティングシステム）、デバイスドライバープログラム、表示制御プログラム、及び、表示制御プログラムの実行時に出力される画像データ等を記憶している。ＣＰＵ１３１は、オペレーティングシステムを実行してＰＣ１３の基本的な機能を実現する。そして、このオペレーティングシステムの一部を構成するデバイスドライバープログラムを実行し、後述する入力Ｉ／Ｆ１４１に接続されたキーボード１７及びマウス１８を含む入力デバイスからの入力を可能とする。また、ＣＰＵ１３１は、表示制御プログラムを実行し、モニター１４４により画像データを表示する機能を実行する。この機能の実行時にはモニター１４４とともにプロジェクター１１に画像が出力される。ここで、ＣＰＵ１３１は、特許請求の範囲における制御手段に相当する。

入力部１３５は、入力操作を検出して入力内容を示すデータや操作信号をＣＰＵ１３１に出力する。入力部１３５は、コネクターや電源供給回路を有する入力Ｉ／Ｆ１４１を有し、この入力Ｉ／Ｆ１４１には、キーボード１７、マウス１８等の入力デバイスが接続される。入力Ｉ／Ｆ１４１は、例えばＵＳＢインターフェイス等の入力デバイス用の汎用インターフェイスで構成される。入力Ｉ／Ｆ１４１には、キーボード１７から操作されたキーに対応する操作信号が入力される。また、マウス１８からは、マウス１８を動かす操作に対応した相対座標データまたは絶対座標データと、マウス１８の第１マウスボタン１８１（第１の操作子）及び第２マウスボタン１８２（第２の操作子）の操作状態を示すデータが入力される。また、入力Ｉ／Ｆ１４１には、プロジェクター１１に繋がる通信ケーブルが接続され、プロジェクター１１から、ペン型指示器２による指示位置の座標データが入力される。プロジェクター１１からは、汎用のポインティングデバイスの操作に応じて入力される絶対座標データ、及び、スイッチ２１の操作状態に応じた操作データが入力される。これらのデータは、マウス１８や、トラックボール、デジタイザー、ペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして入力される。ＰＣ１３は、プロジェクター１１から入力される座標データを、様々なポインティングデバイスに対応した汎用のデバイスドライバープログラムによって処理できる。ＰＣ１３は、例えば、この座標データに基づいてマウスカーソルやポインターを移動する等の動作を行える。

表示部１３６は、ＣＰＵ１３１による処理結果等を表示するための表示データを出力する。表示部１３６は、画像信号出力用のコネクター等を備えた画像出力Ｉ／Ｆ１４３を有し、この画像出力Ｉ／Ｆ１４３には、モニター１４４、及び、プロジェクター１１に繋がる画像信号ケーブル（図示略）が接続される。画像出力Ｉ／Ｆ１４３は、例えば、アナログ映像信号を出力するＶＧＡ端子、デジタル映像信号を出力するＤＶＩインターフェイス、ＵＳＢインターフェイス、またはＬＡＮインターフェイス等を備えている。また、例えば、ＮＴＳＣ、ＰＡＬ及び、ＳＥＣＡＭ等のコンポジット映像信号を出力するＳ映像端子、コンポジット映像信号を出力するＲＣＡ端子、コンポーネント映像信号を出力するＤ端子等を備えてもよい。また、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等を備えてもよい。画像出力Ｉ／Ｆ１４３は複数のコネクターを備え、いずれかのコネクターにモニター１４４及びプロジェクター１１がそれぞれ接続される。また、画像出力Ｉ／Ｆ１４３は、ＶＥＳＡが策定したDisplayPortを備えた構成としてもよい。具体的にはDisplayPortコネクター或いはMini DisplayPortコネクターと、DisplayPort規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、ＰＣ１３は、プロジェクター１１やモニター１４４或いは他の機器に対し、DisplayPortを介してデジタル映像信号を出力できる。なお、画像出力Ｉ／Ｆ１４３は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。

ＣＰＵ１３１は、表示制御プログラムの実行中、入力部１３５からポインティングデバイスの操作に対応する座標データや操作データが入力された場合に、入力された座標に対応する位置に、ポインター１２（図１）を表示するための画像を生成する。そして、ＣＰＵ１３１は、再生中の画像データにポインター１２を重ねた画像データを生成し、この画像データを画像出力Ｉ／Ｆ１４３からプロジェクター１１に出力する。

図４は、座標を検出及び変換する処理を示す説明図であり、（Ａ）は投射状態の例を示し、（Ｂ）は画像が変更された場合の例を示す。
光変調装置３２が有する液晶表示パネル全体を使用して表示画像を投射した場合には、図４（Ａ）に２点鎖線で示す投射可能領域１１Ａに画像が結像する。プロジェクター１１がスクリーンＳＣの真正面に位置している場合を除き、投射可能領域１１Ａには図４（Ａ）に示すように台形歪みが発生するので、プロジェクター１１は表示制御部１０７の機能によりキーストーン補正を行う。キーストーン補正の実行後は、画像が投射される領域は、スクリーンＳＣ上に長方形でかつ最大のサイズとなるよう設定された実投射領域１１Ｂとなる。なお、実投射領域１１Ｂのサイズは光変調装置３２の液晶表示パネルの解像度と台形歪みの程度により決定されるが、最大サイズでなくてもよい。

キャリブレーション実行部１０３Ａは、キーストーン補正後の実投射領域１１Ｂにおいて上述したキャリブレーションを実行する。まず、キャリブレーション実行部１０３Ａが画像処理部１１３を制御して、所定のキャリブレーション用の画像をフレームメモリー１１５に描画させ、これによりキャリブレーション用の画像がスクリーンＳＣに投射される。次に、キャリブレーション用の画像がスクリーンＳＣに投射された状態で、キャリブレーション実行部１０３Ａの制御により位置検出ユニット１５０がスクリーンＳＣを撮影する。キャリブレーション用の画像は、例えば白色の背景にドットが配置された画像であり、予め記憶部１０５等に記憶された画像を用いてもよいし、キャリブレーションを実行する毎にキャリブレーション実行部１０３Ａが生成してもよい。

キャリブレーション実行部１０３Ａは、撮影画像データから、実投射領域１１Ｂの外部と実投射領域１１Ｂとの境界、及び、キャリブレーション用の画像に配置されたドットを検出して、撮影画像データにおける位置を特定する。すなわち、位置検出ユニット１５０の撮影範囲（画角）と、スクリーンＳＣの実投射領域１１Ｂ上の位置と、画像処理部１１３がフレームメモリー１１５に描画した画像上の位置との対応関係を特定する。この処理によって特定した対応関係に基づいて、キャリブレーション実行部１０３Ａは、座標算出部１５９が用いる座標変換パラメーターを求める。座標算出部１５９は、この座標変換パラメーターに基づいて、座標算出処理を行い、撮影画像データ上の座標を画像処理部１１３が描画した画像上の座標に変換する。そして、座標算出部１５９が変換した座標は、座標変換部１６０に出力され、座標変換部１６０によってＰＣ１３が出力した画像データ中の座標に変換される。この変換処理について説明する。

図４（Ａ）の例では、実投射領域１１Ｂの解像度が１２８０×８００ドットであり、ＰＣ１３から入力される画像データの解像度も１２８０×８００ドットであるものとし、１２８０×８００ドットの表示画像２０１が表示されているものとする。
位置検出処理部１５７は、図４（Ａ）に示すように実投射領域１１Ｂの左上隅を原点とし、右方向をＸ軸方向、下方向をＹ軸方向とするＸ−Ｙ直交座標系を仮想的に設定し、ペン型指示器２の指示位置の座標（Ｘ１ｎ，Ｙ１ｎ）を求める。また、表示画像２０１のＸ方向の端位置はＸ１ｍａｘ、Ｙ方向の端位置はＹ１ｍａｘとする。
ここで、例えばＰＣ１３から入力される画像データが、解像度１０２４×７６８ドットの表示画像２０２に切り替えられた場合を想定する。この場合、図４（Ｂ）に示すように１０６６×８００ドットの表示画像２０２が投射される。表示画像２０２は表示画像２０１より低解像度であるため、表示画像２０２が投射される領域は実投射領域１１Ｂよりも小さくなる。

このとき、スクリーンＳＣ上のペン型指示器２を動かさないまま、スクリーンＳＣの画像が表示画像２０１から表示画像２０２に切り替えられると、ペン型指示器２が静止していても指示位置と画像との相対位置が変化する。表示画像２０１と表示画像２０２では原点の位置とサイズが異なるためである。従って、座標算出部１５９が求めた座標（Ｘ１ｎ，Ｙ１ｎ）（図４（Ａ））と、表示画像２０２における指示位置の座標（Ｘ２ｎ，Ｙ２ｎ）（図４（Ｂ））とは一致しない。例えば座標（Ｘ１ｎ，Ｙ１ｎ）の位置にポインター１２を表示すると、図４（Ｂ）に示すようにポインター１２がペン型指示器２の指示位置からずれてしまう。このずれは、表示画像２０１から表示画像２０２に切り換えた後でキャリブレーションを行えば解消するが、キャリブレーションの回数が増すため、煩雑であるし、キャリブレーションの実行中はユーザーを待たせてしまう。
そこで、プロジェクター１１は、座標算出部１５９が実投射領域１１Ｂにおける指示位置の座標を算出し、この座標を座標変換部１６０によって表示中の表示画像における指示位置の座標に変換することで、表示画像の解像度に関わらず正しい座標を出力する。

次に、座標変換部１６０が、画像処理部１１３から画像位置情報を取得する。この画像位置情報は、少なくとも、実投射領域１１Ｂにおける切り替え後の表示画像２０２の表示位置の座標、及び、表示画像２０２の表示サイズ（表示画像２０２の端位置の座標）を含んでいる。座標変換部１６０は、取得した画像位置情報に基づき、座標算出部１５９が求めた座標を、表示画像２０２の隅を原点とする座標に変換する。この変換を行うことで、表示画像のサイズが変わっても、キャリブレーションを行わずに、表示される画像における指示位置の座標を正確に求めることができる。

座標変換部１６０が変換に用いる画像位置情報は、表示画像の解像度や表示位置の影響を受けるので、これらの条件の変更により画像位置情報も変化することがある。例えば、表示解像度の変更、アスペクト比の変更、ズーム、画像の表示位置の変更（移動）、多画面表示処理等の投射状態が変化するような処理を実行した場合、及び、ＰＣ１３がプロジェクター１１に出力する画像データの解像度が変化した場合である。キャリブレーション実行部１０３Ａは、画像位置情報が変化するような事象や処理が発生した場合には、画像位置情報を更新し、座標変換部１６０は、更新後の画像位置情報に基づいて座標を変換する。これにより、プロジェクター１１は、表示画像の最新の状態に合わせて変換された正しい指示位置の座標を出力できる。また、キャリブレーション実行部１０３Ａは、必要に応じてキャリブレーションを行い、実投射領域１１Ｂにおける位置と入力画像データにおける位置との対応を特定する。具体的には、キーストーン補正を行った場合、プロジェクター１１の設置条件が変わった場合、光学条件が変わった場合等にキャリブレーションを実行する。これにより、より正確に指示位置の座標を出力できる。

プロジェクター１１は、操作検出部１６５によってペン型指示器２の操作を検出し、スイッチ２１のオン／オフに応じて、ＰＣ１３がマウス１８（図３）と同様に汎用のデバイスドライバープログラムで処理可能な操作データを出力する。
マウス１８は、第１マウスボタン１８１と第２マウスボタン１８２の２つの操作子を備えている。第１マウスボタン１８１が押されると第１マウスボタン１８１のプレス操作を示す操作データがＰＣ１３に入力され、第１マウスボタン１８１の押圧が解除されると第１マウスボタン１８１のリリース操作を示す操作データがＰＣ１３に入力される。第２マウスボタン１８２についても同様に、押圧操作／押圧操作解除により、プレス操作／リリース操作の操作データがＰＣ１３に入力される。
プロジェクター１１は、マウス１８からＰＣ１３に入力される第１マウスボタン１８１、第２マウスボタン１８２の操作データに相当する操作データを、ペン型指示器２の一つのスイッチ２１のオン／オフに応じて出力する。以下、この動作について詳細に説明する。

図５は、プロジェクター１１の動作を示すフローチャートである。
本実施形態では、ペン型指示器２を用いた入力操作のうち、スイッチ２１をオンにする操作が本発明の「第１の入力操作」に対応し、スイッチ２１をオフにする操作が本発明の「第２の入力操作」に対応している。すなわち、ユーザーがペン型指示器２をスクリーンに押し付ける操作（プレス操作）を行ってスイッチ２１をオンにする操作を行うと、第１の入力操作として検出される。この状態で、ユーザーがペン型指示器２をスクリーンから離す操作を行ってスイッチ２１をオフにすると、第２の入力操作が検出される。
この第１及び第２の入力操作に対応して、プロジェクター１１がＰＣ１３に出力するデータは、本発明の「第１の操作」、「第１の操作の解除」、「第２の操作」、「第２の操作の解除」に相当する。第１の操作は、マウスの右ボタンである第１マウスボタン１８１（第１の操作子）のプレス操作である。第１の操作の解除は、第１マウスボタン１８１（第１の操作子）のリリース操作である。また、第２の操作は、マウスの左ボタンである第２マウスボタン１８２（第２の操作子）のプレス操作である。第２の操作の解除は、第２マウスボタン１８２のリリース操作である。例えば、プロジェクター１１がＰＣ１３に、第１マウスボタン１８１のリリースを示すデータを出力する動作は、第１の操作の解除を通知する動作に相当する。
なお、以下に説明する動作においては予め設定された値をいくつか使用するが、これらの値は事前にリモコン（図示略）や操作パネル４１の操作により入力され、或いは工場出荷時に入力されて、記憶部１０５に記憶されている。

プロジェクター１１が通常動作を実行中、位置検出制御部１０３Ｂは、ペン型指示器２がスクリーンＳＣに押しつけられる（プレス）操作を待機する（ステップＳＡ１１）。すなわち、ペン型指示器２のスイッチ２１がオンになっていない間は待機する（ステップＳＡ１１；Ｎｏ）。スイッチ２１がオンになったことが操作検出部１６５によって検出されると（ステップＳＡ１１；Ｙｅｓ）、位置検出制御部１０３Ｂは、ペン型指示器２の先端位置の座標を位置検出ユニット１５０によって検出する（ステップＳＡ１２）。

位置検出制御部１０３Ｂは、内蔵するタイマー（図示略）のカウント値をリセットして（ステップＳＡ１３）、タイマーによる計測を開始する（ステップＳＡ１４）。位置検出制御部１０３Ｂは、ペン型指示器２がスクリーンＳＣから離されて（リリース）スイッチ２１がオフになったことを検出したか否かを判別する（ステップＳＡ１５）。スイッチ２１がオフになったことを検出した場合（ステップＳＡ１５；Ｙｅｓ）、位置検出制御部１０３Ｂは、ステップＳＡ１２で検出された位置座標を座標変換部１６０によって変換する処理を行う（ステップＳＡ１６）。続いて、位置検出制御部１０３Ｂは、マウス１８の第２マウスボタン１８２（左ボタン）のプレス操作に相当する操作データを生成し、変換後の座標データとともにＰＣ１３に出力する（ステップＳＡ１７）。さらに、位置検出制御部１０３Ｂは、第２マウスボタン１８２のリリース操作を示す操作データを生成し、座標変換部１６０が変換した座標データとともにＰＣ１３に出力し（ステップＳＡ１８）、本処理を終了する。
このステップＳＡ１１〜ＳＡ１８の動作により、ペン型指示器２を押しつけてから所定時間以内に離した場合、マウス１８の第２マウスボタン１８２を押圧して離す操作を示す操作データ（即ち、左クリックに相当）がＰＣ１３に出力される。

一方、ペン型指示器２のリリースの操作（第２の入力操作）が検出されない場合（ステップＳＡ１５；Ｎｏ）、位置検出制御部１０３Ｂは、ペン型指示器２の先端位置の座標を位置検出ユニット１５０によって検出する（ステップＳＡ２１）。位置検出制御部１０３Ｂは、検出した位置座標とステップＳＡ１２で検出した座標とに基づいて、ペン型指示器２が移動距離に関する所定の閾値を超えて移動したか否かを判定する（ステップＳＡ２２）。つまり、スイッチ２１がオンになってから、すなわち図５の処理を開始してからの移動距離が、予め設定された閾値を超えた場合には、スイッチ２１がオンになった状態でペン型指示器２が移動したと判定する。
ペン型指示器２が移動したと判定した場合（ステップＳＡ２２；Ｙｅｓ）、位置検出制御部１０３Ｂは、ステップＳＡ２１で検出された座標を座標変換部１６０によって変換する（ステップＳＡ２３）。その後、座標データと、第２マウスボタン１８２（左ボタン）のプレス操作を示す操作データとをＰＣ１３に出力する（ステップＳＡ２４）。このステップＳＡ２４で、位置検出制御部１０３Ｂは、少なくとも２回のデータを出力する。最初に、ステップＳＡ１２で検出された初期の指示位置の座標を示す座標データと第２マウスボタン１８２のプレス操作を示す操作データとを出力する。その後、ステップＳＡ２１で検出された座標を示す座標データと第２マウスボタン１８２のプレス操作を示す操作データとを出力する。これら複数回のデータの出力により、ＰＣ１３は、ペン型指示器２の移動の前後における座標を取得できる。また、これら複数回のデータに基づき、ＰＣ１３は、移動中において第２マウスボタン１８２がプレスされたままの状態であることを識別できる。従って、ペン型指示器２を、スイッチ２１がオンのまま移動させる入力操作が行われた場合、ＰＣ１３は、マウス１８を用いたドラッグ操作を検出する。

ここで、位置検出制御部１０３Ｂは、ペン型指示器２のリリースの操作（第２の入力操作）が検出されたか否かを判定する（ステップＳＡ２５）。ペン型指示器２のリリースの操作が検出されない場合（ステップＳＡ２５；Ｎｏ）、ステップＳＡ２４に戻って繰り返し座標データと操作データを出力する。この場合、プロジェクター１１は、第２マウスボタン１８２のプレス操作を示す操作データと座標データとを繰り返して（連続して）出力する。なお、ステップＳＡ２５からステップＳＡ２４に戻ってステップＳＡ２４を複数回実行する場合には、位置検出制御部１０３ＢはステップＳＡ２４で、移動後の座標データと操作データとを出力する。すなわち、連続してステップＳＡ２４のデータの出力を行う場合には、２回目以後はステップＳＡ１２で検出した座標データの出力は行わない。また、ステップＳＡ２５からステップＳＡ２４に戻る過程において、位置検出制御部１０３Ｂがペン型指示器２の先端位置の座標を位置検出ユニット１５０によって検出し、ここで検出した座標データと操作データをステップＳＡ２４で出力してもよい。この場合、ステップＳＡ２２でペン型指示器２の指示位置が移動したと判定された後、さらに指示位置が移動しても、指示位置の移動に追従して座標データをＰＣ１３に出力できる。
一方、ペン型指示器２がリリースされたことを検出した場合（ステップＳＡ２５；Ｙｅｓ）、位置検出制御部１０３Ｂは、第２マウスボタン１８２のリリース操作を示す操作データを生成し、ステップＳＡ１８に移行する。ステップＳＡ１８で、第２マウスボタン１８２のプレス操作を示す操作データと変換後の座標データとをＰＣ１３に出力し、本処理を終了する。
このステップＳＡ２２〜ＳＡ２５及びＳＡ１８の動作により、ペン型指示器２を押しつけてから移動する操作に対応して、マウス１８のドラッグ操作に相当する操作データがＰＣ１３に出力される。

さらに、ペン型指示器２が所定の閾値を超えて移動していないと判定した場合（ステップＳＡ２２；Ｎｏ）、位置検出制御部１０３Ｂは、タイマーのカウント値が予め設定された時間の閾値を超えたか否かを判別する（ステップＳＡ３１）。ここで、タイマーのカウント値が閾値を超えていない場合（ステップＳＡ３１；Ｎｏ）、位置検出制御部１０３ＢはステップＳＡ１５に戻る。
タイマーのカウント値が閾値を超えた場合（ステップＳＡ３１；Ｙｅｓ）、位置検出制御部１０３Ｂは、ステップＳＡ２１で検出された座標を座標変換部１６０によって変換する（ステップＳＡ３２）。位置検出制御部１０３Ｂは、第１マウスボタン１８１（右ボタン）のプレス操作に相当する操作データを生成して、変換後の座標データとともにＰＣ１３に出力する（ステップＳＡ３３）。つまり、ペン型指示器２のスイッチ２１がオンの状態が所定時間以上続くと、第１マウスボタン１８１のプレス操作がＰＣ１３に通知される。

その後、位置検出制御部１０３Ｂは、予め設定された時間（ディレイ時間）だけ待機する（ステップＳＡ３４）。ステップＳＡ３４において、位置検出制御部１０３Ｂは、ステップＳＡ３３でＰＣ１３にデータを出力した後、ＰＣ１３に対して操作を示すデータを出力しない時間を確保する。ディレイ時間が経過した後、位置検出制御部１０３Ｂは、第１マウスボタン１８１のリリース操作を示す操作データと、ステップＳＡ３２で変換した座標データとをＰＣ１３に出力する（ステップＳＡ３５）。ステップＳＡ３５では、スイッチ２１のリリースが検出される前（第２の入力操作が検出される前）に、第１マウスボタン１８１のリリースを示す操作データを出力する。このため、ペン型指示器２が押圧されスイッチ２１がオンの状態で、ＰＣ１３は、第１マウスボタン１８１のプレス＆リリース（即ち、右クリックに相当）に対応する処理を実行する。例えば、コンテキストメニューを表示したり、ウィンドウシステムを採用するオペレーティングシステムにおいてペン型指示器２の指示位置に対応するウィンドウをアクティブ表示に切り替えたり、アイコンの表示状態を選択状態に切り換えたりする。このようにＰＣ１３の表示状態が変化すると、スクリーンＳＣに投射される画像も同様に変化する。従って、ユーザーは、ペン型指示器２のスイッチ２１をリリースする（第２の入力操作を行う）前に、ユーザーの入力操作が第１マウスボタン１８１のクリック操作として通知されたことを、スクリーンＳＣ上の画像の変化から知ることができる。

また、ステップＳＡ３４でディレイ時間を設けて待機することで、第１マウスボタン１８１のプレス操作を示す操作データとリリース操作を示す操作データとが短時間で連続してＰＣ１３に出力されることを、防止できる。言い換えれば、このため、第１マウスボタン１８１のプレス操作を示す操作データとリリース操作を示す操作データとが、時間をあけてＰＣ１３に入力される。これにより、ＰＣ１３が実行するアプリケーションプログラムにより、連続する操作データが確実に取得され、第１マウスボタン１８１のプレス操作とリリース操作とが確実に認識されるという利点がある。
なお、位置検出制御部１０３Ｂは、ステップＳＡ３４のディレイ時間が経過した後に、ペン型指示器２の先端位置の座標を検出して、検出した座標を変換してステップＳＡ３５でＰＣ１３に座標を出力してもよい。この場合、ペン型指示器２の先端が、ステップＳＡ２２の判定に用いた閾値を超えない範囲で移動していた場合に、この小さな移動をＰＣ１３に通知できる。

続いて、制御部１０３は、スイッチ２１がオフになるかペン型指示器２の先端の位置が位置検出ユニット１５０の検出範囲外（操作エリア外）に出るまでの間に、ＰＣ１３に対して操作データを出力しない処理（後処理）を行う（ステップＳＡ３６）。その後、ペン型指示器２のリリース操作（第２の入力操作）が行われてスイッチ２１がオフになると（ステップＳＡ３７）、本処理を終了する。
後処理として実行される処理は特に限定されない。例えば、制御部１０３は、上記の後処理を行っている間は、位置検出ユニット１５０によりペン型指示器２の移動を検出しても座標の変化を無視して、ＰＣ１３に対する座標の出力を行わないといった態様を含む。

図６は、ペン型指示器２の操作とプロジェクター１１が出力する操作データとの対応の一例を示すタイミングチャートである。図中、（Ａ）はペン型指示器２の操作状態すなわちスイッチ２１のオン／オフの状態を示し、（Ｂ）はプロジェクター１１が出力する第２マウスボタン１８２の操作データを示す。また、（Ｃ）はプロジェクター１１が出力する第１マウスボタン１８１の操作データを示し、（Ｄ）はプロジェクター１１が出力する第１マウスボタン１８１の操作データの別の例を示す。
まず、時刻Ｔ１にペン型指示器２の操作（第１の入力操作）が開始され、スイッチ２１がオンになり、時刻Ｔ２で操作の解除（第２の入力操作）が検出されてスイッチ２１がオフになる例を挙げる。スイッチ２１がオフになったことが検出されるタイミング（時刻Ｔ２）が、右クリックを検出するタイマーの閾値が経過する時刻（時刻Ｔ４）より前であれば、第２マウスボタン１８２のプレス操作を示す操作データが出力される（ステップＳＡ１７に相当）。この操作データは、スイッチ２１のオフが検出された時刻Ｔ２に出力される。この操作データの出力が完了するタイミング（時刻Ｔ３）は、伝送速度やデータフォーマット等により決定され、タイマーの閾値等の制約を受けない。第２マウスボタン１８２のプレス操作の操作データが出力された後、所定時間経過後に、第２マウスボタン１８２のリリース操作（第２の操作の解除）を示す操作データが出力される（ステップＳＡ１８に相当）。

次に、ペン型指示器２のスイッチ２１がオンになる操作が検出されてからタイマーの閾値を超えるまで、スイッチ２１のオフが検出されない例を挙げる。図６（Ａ）の時刻Ｔ５でスイッチ２１のオンが検出され、右クリックを検出するタイマーの閾値が経過する時刻Ｔ６までスイッチ２１のオフが検出されない場合、時刻Ｔ６より後に第１マウスボタン１８１のプレス操作が通知される。
この通知は、図６（Ｃ）に（１）〜（３）で示すように３段階の動作を含む。即ち、（１）時刻Ｔ６で第１マウスボタン１８１のプレス操作の操作データが出力され（ステップＳＡ３３）、（２）ディレイ時間だけ待機し（ステップＳＡ３４）、（３）第１マウスボタン１８１のリリース操作の操作データが出力される（ステップＳＡ３５）。操作データの出力が完了するタイミング（時刻Ｔ７）は、上記のように伝送速度等により決定される。
（１）〜（３）の通知の動作は、タイマーの閾値が経過した時刻Ｔ６より後に実行されればよく、時刻Ｔ６から開始しなくてもよい。例えば、図６（Ｄ）に示すように、時刻Ｔ６より遅い時刻（例えば、時刻Ｔ６´）から（１）〜（３）の通知の動作を開始してもよい。
さらに、制御部１０３は、スイッチ２１のオフが検出されるまでの間に、（４）後処理を実行する（ステップＳＡ３６に相当）。上述した（１）〜（３）の通知の動作を、後処理が終了した時刻Ｔ８よりも後に実行してもよい。
このように、プロジェクター１１は、一つの操作子であるスイッチ２１のオン／オフ状態に基づいて、２つの操作子である第１マウスボタン１８１及び第２マウスボタン１８２の操作及び操作の解除に対応する操作データを出力して、ＰＣ１３に操作を通知する。

以上説明したように、本発明を適用した実施形態に係るプロジェクター１１は、ペン型指示器２によって行われる入力操作を検出する操作検出部１６５と、操作検出部１６５によって入力操作を検出可能な操作エリアにおける入力操作の操作位置を検出する位置検出ユニット１５０と、操作検出部１６５により第１の入力操作が検出されてから所定時間以内に第２の入力操作が検出されない場合に、第１の操作及び位置検出ユニット１５０により検出された操作位置を通知する位置検出制御部１０３Ｂと、を備えている。プロジェクター１１は、第１の入力操作をしてから第２の入力操作を行うまでの時間により特定の操作を通知する。例えば、ペン型指示器２のスイッチ２１がオンになる操作（第１の入力操作）が検出されてから、ペン型指示器２のスイッチ２１がオフになる操作（第１の入力操作）が行われるまでの時間により、第１マウスボタン１８１のプレス操作とリリース操作を示す操作データ、或いは、第２マウスボタン１８２のプレス操作とリリース操作を示す操作データをＰＣ１３に出力する。より具体的な例としては、スイッチ２１をオンにする操作が検出されてから所定時間以内に、スイッチ２１をオフにする操作が検出されない場合、第１マウスボタン１８１のプレス操作（第１の操作）を示す操作データをＰＣ１３に出力する。
このように、ペン型指示器２によってスイッチ２１のオン／オフに係る１種類の操作を行うだけで、第１マウスボタン１８１のプレス操作とリリース操作を示す操作データを出力できる。これにより、比較的単純な操作しかできないペン型指示器２のような入力デバイスによって、例えば第１マウスボタン１８１や第２マウスボタン１８２のクリック操作に相当する特定の操作およびこの操作の解除を通知できるので、単純な構成を有する入力デバイスを用いて、より多機能なポインティングデバイスに近い操作性を実現できる。

そして、本実施形態で例示したように、マウス１８のような一般的なポインティングデバイスの操作を示す操作信号或いは操作データを出力することで、ポインティングデバイスと同様の操作を行うことができ、また、ＰＣ１３のような一般的なコンピューターの入力装置として使用できる。
また、第１マウスボタン１８１のプレス操作を示す操作データを出力した場合、スイッチ２１がオフになる操作が検出される前に第１マウスボタン１８１のリリース操作を示す操作データを出力してもよい。この場合、通知先の装置であるＰＣ１３が、第１マウスボタン１８１のリリースに対応した処理を行うことが可能となる。実際にペン型指示器２のスイッチ２１がオフにされる前に、第１マウスボタン１８１のリリース操作に対応した処理が行われることで、ユーザーは、第１マウスボタン１８１の操作がＰＣ１３に通知されたことを知ることができる。
さらに、ペン型指示器２のリリース操作を所定時間以内に実行すれば第１マウスボタン１８１の操作データが出力されず、第２マウスボタン１８２の操作データが出力されるので、ペン型指示器２を用いて、複数の操作子を有するマウス１８のような操作性を実現できる。
また、第１マウスボタン１８１のプレス操作の操作データを出力してから、所定時間が経過した後に、第１マウスボタン１８１のリリース操作の操作データを出力するようにしてもよい。

そして、プロジェクター１１は、ＰＣ１３から入力される画像をスクリーンＳＣに表示する投射ユニット３を備え、位置検出ユニット１５０は、スクリーンＳＣに設定された操作エリアとしての実投射領域１１Ｂにおける操作位置を検出し、位置検出制御部１０３Ｂは、検出した操作位置の座標データをＰＣ１３に出力するので、比較的単純な操作しかできないペン型指示器２によって、スクリーンＳＣに表示された画像に基づく操作を行うことが可能となる。このため、ペン型指示器２を用いて、一般的なポインティングデバイスであるマウス１８等の操作と同様の操作性を実現できる。

［第２の実施形態］
図７は、本発明を適用した第２の実施形態におけるプロジェクター１１の動作を示すフローチャートである。この第２の実施形態では、図１〜図４を参照して説明したプロジェクター１１の別の動作例について説明する。表示システム１０の各部の構成は第１の実施形態と同様であり、同符号を付して図示及び説明を省略する。
図７の動作は、図５の動作に代えて実行される動作である。位置検出制御部１０３Ｂは、図５と同様にペン型指示器２のスイッチ２１がオンになる操作を待機し（ステップＳＡ１１）、スイッチ２１がオンになったことが検出されると（ステップＳＡ１１；Ｙｅｓ）、指示位置の座標を位置検出ユニット１５０によって検出する（ステップＳＡ１２）。

位置検出制御部１０３Ｂは、内蔵するタイマーのカウント値をリセットする（ステップＳＡ１３）。ここで、位置検出制御部１０３Ｂは、ステップＳＡ１２で検出された位置座標を座標変換部１６０によって変換し（ステップＳＢ１１）、第２マウスボタン１８２のプレス操作を示す操作データと変換後の座標データとをＰＣ１３に出力する（ステップＳＢ１２）。

位置検出制御部１０３Ｂは、タイマーによる計測を開始し（ステップＳＡ１４）、操作検出部１６５によってペン型指示器２のリリース操作が検出されたか否かを判別する（ステップＳＡ１５）。ペン型指示器２のリリース操作が検出された場合（ステップＳＡ１５；Ｙｅｓ）、位置検出制御部１０３Ｂは、第２マウスボタン１８２のリリース操作を示す操作データと、変換後の座標データとをＰＣ１３に出力し（ステップＳＡ１８）、本処理を終了する。
また、ペン型指示器２のリリース操作が検出されない場合（ステップＳＡ１５；Ｎｏ）、位置検出制御部１０３Ｂは、図５のステップＳＡ２１〜ＳＡ２５、及びＳＡ３１〜ＳＡ３７と同様の動作を実行する。

この図７の動作では、プロジェクター１１は、ペン型指示器２のプレス操作が実行されると、ペン型指示器２のリリース操作が検出されたか否かの判別（図５のステップＳＡ１５）を実行することなしに、ステップＳＢ１１〜ＳＢ１２で第２マウスボタン１８２のプレス操作を示す操作データをＰＣ１３に出力する。このため、ＰＣ１３は、即座に第２マウスボタン１８２のプレス操作に対応して動作を開始できる。例えば、ＰＣ１３がポインティングデバイスの操作に応じて画像を描画するアプリケーションプログラムを実行する場合を想定すると、このようなアプリケーションプログラムは第２マウスボタン１８２のプレス操作を契機として描画を開始する。このため、プロジェクター１１が、ペン型指示器２のプレス操作に応答して第２マウスボタン１８２のプレス操作を示す操作データをＰＣ１３に出力することで、ペン型指示器２のプレス操作に対応して速やかに描画を開始させることができる。このように、ＰＣ１３で実行されるアプリケーションプログラムの仕様に合わせて、ペン型指示器２のプレス操作が実行された後、ペン型指示器２のリリース操作が検出されたか否かの判別なしに、第２マウスボタン１８２のプレス操作を示す操作データを出力できる。そして、その後のペン型指示器２のリリース操作のタイミングに合わせて、適宜マウス１８の操作データを出力すれば、様々なアプリケーションプログラムを快適に操作できる。

なお、上記各実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではない。例えば、プロジェクター１１の位置検出ユニット１５０が有する撮像部１５３及び撮影制御部１５５の機能を、プロジェクター１１に外部接続されたデジタルカメラにより代替することも可能である。このデジタルカメラは、制御部１０３の制御に従って撮影を実行し、撮影画像データを位置検出処理部１５７に出力するものであればよい。また、スクリーンＳＣ上の位置を指示する指示体はペン型指示器２に限定されず、例えばユーザーの指を指示体として用い、その指示位置を検出する構成としてもよい。また、例えば、表示面としてのスクリーンＳＣ或いは他の表示方式における表示画面に、感圧式や静電容量式のタッチパネルを設け、このタッチパネルによって指示体としてのペン型指示器２やユーザーの指等の接触を検出する構成としてもよい。この場合、スイッチ２１を持たないペン型指示器２を用いてもよい。

さらに、プロジェクター１１とＰＣ１３との接続形態はケーブル等により有線接続される構成に限らず、無線ＬＡＮ等を用いた無線通信により接続してもよい。また、光変調装置３２は、ＲＧＢの各色に対応した３枚の透過型または反射型の液晶パネルを用いた構成に限定されない。例えば、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。ここで、表示部として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。

また、本発明は、プロジェクター以外の各種の表示装置等にも適用可能である。例えば、液晶表示パネルに画像／動画像（映像）を表示する液晶モニターまたは液晶テレビやＰＤＰ（プラズマディスプレイパネル）に画像／動画像を表示するモニター装置またはテレビ受像機にも適用できる。また、ＯＬＥＤ（Organic light-emitting diode）、ＯＥＬ（Organic Electro-Luminescence）等と呼ばれる有機ＥＬ表示パネルに画像／動画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置等に適用できる。これらの場合、液晶表示パネル、プラズマディスプレイパネル、有機ＥＬ表示パネルが表示手段に相当し、その表示画面が表示面に相当する。より詳細には、画像を表示可能な領域全体が上記各実施形態の実投射領域１１Ｂまたは投射可能領域１１Ａに相当する。

また、図２、図３に示したプロジェクター１１及びＰＣ１３の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記各実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１１及びＰＣ１３を含む表示システム１０の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、プロジェクター１１やＰＣ１３が実行するプログラムは、プロジェクター１１やＰＣ１３が通信ネットワークを介して接続された他の装置からダウンロードして実行しても良い。また、可搬型の記録媒体に記録されたプログラムをプロジェクター１１、ＰＣ１３が読み取って実行する構成としても良い。

また、上記各実施形態においては、第１の入力操作をペン型指示器２のプレス操作（スイッチ２１のオン）とし、第２の入力操作をペン型指示器２のリリース操作（スイッチ２１のオフ）とし異なる操作とした。本発明はこれに限定されず、例えば、第１の入力操作及び第２の入力操作ともにペン型指示器２のプレス操作とするように同様の操作を繰り返すことを入力操作としてもよい。

２…ペン型指示器（指示体）、３…投射ユニット（表示手段）、１０…表示システム、１１…プロジェクター（入力装置、検出装置）、１１Ａ…投射可能領域、１１Ｂ…実投射領域、１３…ＰＣ、１８…マウス（ポインティングデバイス）、３０…投射部（投射手段）、３１…照明光学系（光源）、３２…光変調装置（光変調手段）、１０１…出力制御部、１０３…制御部、１０３Ａ…キャリブレーション実行部、１０３Ｂ…位置検出制御部（操作通知手段）、１０５Ａ…制御プログラム、１０７…表示制御部、１１０…画像処理ユニット（画像形成手段）、１５０…位置検出ユニット、１５１…位置検出部（位置検出手段）、１５３…撮像部、１５７…位置検出処理部、１５９…座標算出部、１６０…座標変換部（操作検出手段）、１６５…操作検出部、１８１…第１マウスボタン（第１の操作子）、１８２…第２マウスボタン（第２の操作子）、ＳＣ…スクリーン（投射面、表示面）。

Claims (5)

1. 光源が発した光を変調する光変調手段と、
   画像データに基づいて前記光変調手段に表示画像を形成する画像形成手段と、
   前記画像形成手段により形成された表示画像を投射する投射手段と、
   前記投射手段により投射される表示画像が示す操作エリア内の位置を指示する指示体を用いた入力操作を検出する操作検出手段と、
   前記操作エリアにおいて、前記操作検出手段により検出された前記入力操作の操作位置を検出する位置検出手段と、
   前記操作検出手段により前記指示体に備わる操作子をオンにする操作が前記入力操作として検出されると、ポインティングデバイスに備わる第２の操作子をプレスする操作及び前記位置検出手段により検出された操作位置を通知し、
   前記操作検出手段により前記操作子をオンにする操作が検出されてから所定時間以内に前記操作子をオフにする操作が前記入力操作として検出された場合に、前記第２の操作子をリリースする操作を通知し、
   前記操作検出手段により前記操作子をオンにする操作が検出されてから所定時間以内に前記操作子をオフにする操作が前記入力操作として検出されない場合に、前記ポインティングデバイスに備わる第１の操作子をプレスする操作及び前記位置検出手段により検出された操作位置を通知し、前記第１の操作子をプレスする操作及び前記操作位置を通知した後に、前記第１の操作子をリリースする操作を通知する操作通知手段と、
   を備えることを特徴とするプロジェクター。
2. 請求項１記載のプロジェクターであって、
   前記位置検出手段は、前記操作エリアにおいて、前記操作子をオンにする操作、前記操作子をオフにする操作、及び前記操作位置を撮影することを特徴とするプロジェクター。
3. 請求項２記載のプロジェクターであって、
   前記操作検出手段は、前記位置検出手段が撮影した前記操作位置の座標を前記表示画像における座標に変換することを特徴とするプロジェクター。
4. 指示体により入力される入力操作をプロジェクターが検出し、前記入力操作に対応する操作をコンピューターに通知し、前記操作を前記コンピューターが実行する表示システムであって、
   前記指示体は、
   操作子と、前記操作子から入力される入力操作を前記プロジェクターに指示する送信手段と、を有し、
   前記プロジェクターは、
   光源が発した光を変調する光変調手段と、
   画像データに基づいて前記光変調手段に表示画像を形成する画像形成手段と、
   前記画像形成手段により形成された表示画像を投射する投射手段と、
   前記指示体により通知される入力操作を検出する操作検出手段と、
   前記投射手段により投射される表示画像が示す操作エリアにおいて、前記操作検出手段によって検出された入力操作の操作位置を検出する位置検出手段と、
   前記操作検出手段により前記指示体に備わる操作子をオンにする操作が前記入力操作として検出されると、ポインティングデバイスに備わる第２の操作子をプレスする操作及び前記位置検出手段により検出された操作位置を前記コンピューターに通知し、
   前記操作検出手段により前記操作子をオンにする操作が検出されてから所定時間以内に前記操作子をオフにする操作が前記入力操作として検出された場合に、前記第２の操作子をリリースする操作を前記コンピューターに通知し、
   前記操作検出手段により前記操作子をオンにする操作が検出されてから所定時間以内に前記操作子をオフにする操作が前記入力操作として検出されない場合に、前記ポインティングデバイスに備わる第１の操作子をプレスする操作及び前記位置検出手段により検出された操作位置を前記コンピューターに通知し、前記第１の操作子をプレスする操作及び前記操作位置を通知した後に、前記第１の操作子をリリースする操作を前記コンピューターに通知する操作通知手段と、を有し、
   前記コンピューターは、
   前記操作通知手段からの通知に基づいて処理を実行する制御手段、を有することを特徴とする表示システム。
5. 光源が発した光を変調する光変調手段と、画像データに基づいて前記光変調手段に表示画像を形成する画像形成手段と、前記画像形成手段により形成された表示画像を投射する投射手段と、前記投射手段により投射される表示画像が示す操作エリア内の位置を指示する指示体を用いた入力操作を検出する操作検出手段と、前記操作エリアにおいて、前記操作検出手段により検出された前記入力操作の操作位置を検出する位置検出手段と、を備えるプロジェクターの制御方法であって、
   前記操作検出手段により前記指示体に備わる操作子をオンにする操作が前記入力操作として検出されると、ポインティングデバイスに備わる第２の操作子をプレスする操作及び前記位置検出手段により検出された操作位置を通知し、
   前記操作検出手段により前記操作子をオンにする操作が検出されてから所定時間以内に前記操作子をオフにする操作が前記入力操作として検出された場合に、前記第２の操作子をリリースする操作を通知し、
   前記操作検出手段により前記操作子をオンにする操作が検出されてから所定時間以内に前記操作子をオフにする操作が前記入力操作として検出されない場合に、前記ポインティングデバイスに備わる第１の操作子をプレスする操作及び前記位置検出手段により検出された操作位置を通知し、前記第１の操作子をプレスする操作及び操作位置を通知した後に、前記第１の操作子をリリースする操作を通知する、
   ことを特徴とするプロジェクターの制御方法。

Images