JP6286814B2 - 表示装置、表示制御方法、および、表示システム - Google Patents

Description

本発明は、画像を表示する表示装置、表示制御方法、および、表示システムに関する。

従来、プロジェクター等の表示装置を備えたシステムにおいて、電子ペン等のデバイスによりユーザーが位置入力操作を行った場合に、指示位置を検出して描画等を行うシステムが知られている（例えば、特許文献１参照）。特許文献１記載のシステムでは、表示装置が指示棒により指示された位置を検出し、この検出された指示位置に基づいて、表示装置に接続されたコンピューターが描画映像を生成する。表示装置は、コンピューターが生成した描画映像を表示する構成となっている。

特開２０１１−０２８６２９号公報

特許文献１記載のシステムのように、位置入力操作の指示位置に基づいて描画を行うシステムでは、ユーザーが操作してから画像を表示するまでの時間が長くなると、ユーザーに違和感を抱かせてしまい、操作感が低下することが懸念される。また、近年ではコンピューターと周辺機器とを無線通信により接続する方式が普及しているが、上記システムに無線通信を適用した場合、伝送遅延により、描画された画像を表示するまでの時間が、より長くなる可能性がある。このため、ユーザーが操作を行ってから短時間のうちに、描画された画像を表示できるようにする技術が望まれていた。
本発明は、上述した事情に鑑みてなされたものであり、ユーザーの操作による指示位置に基づいて描画を行って表示する構成において、操作が行われてから描画した画像を表示するまでの時間を短縮できる表示装置、表示制御方法、および、表示システムを提供することを目的とする。

上記課題を解決するため、本発明の表示装置は、画像出力装置から入力される画像データに基づいて画像を表示する表示装置であって、画像を表示する表示手段と、位置入力操作を検出して入力座標を求め、入力座標を前記画像出力装置に出力する入力検出手段と、前記入力検出手段が求めた入力座標をもとに画像を生成する描画処理を行う描画手段と、前記描画手段により生成された画像を、前記画像出力装置から入力された画像データに基づく画像に重畳して、前記表示手段により表示させる表示制御手段と、を備えることを特徴とする。
本発明によれば、位置入力操作によって入力された座標に基づき、表示装置に画像を入力する画像出力装置によって、入力座標に基づく画像の描画を行わせることができる。また、画像出力装置が描画した画像を含む画像データが入力される前に、表示装置が生成した画像を表示する。このため、位置入力操作を検出してから、画像出力装置が描画した画像が表示されるまでの間も、位置入力操作に対応して描画した画像を表示できる。このため、画像出力装置から表示装置に画像データが入力されるタイミングに遅延が生じた場合であっても、遅延なく画像を表示できる。

また、本発明は、上記表示装置において、前記表示制御手段は、所定の条件に基づいて、前記描画手段により生成された画像の重畳表示を停止することを特徴とする。
本発明によれば、例えば画像出力装置が入力座標をもとに描画した画像の画像データが入力された場合など、表示装置が生成した画像の重畳表示が必要なくなった場合等に、重畳表示を停止できる。これにより、画像出力装置からの入力画像の表示を妨げることなく、かつ、座標の入力に速やかに対応して描画した画像を表示できる。

また、本発明は、上記表示装置において、前記表示制御手段は、前記描画手段により生成された画像の重畳表示を開始してから所定時間経過後に、重畳表示を停止することを特徴とする。
本発明によれば、例えば画像出力装置が入力座標をもとに描画した画像の画像データが入力されるまでの間だけ、表示装置が生成した画像を重畳表示することができる。画像出力装置からの入力画像の表示を妨げることなく、かつ、座標の入力に速やかに対応して描画した画像を表示できる。

また、本発明は、上記表示装置において、前記表示制御手段は、前記画像出力装置から入力される画像データが、前記入力検出手段が求めた入力座標をもとに描画された画像を含む画像データである場合に、重畳表示を停止することを特徴とする。
本発明によれば、入力座標をもとに画像出力装置が描画した画像が、画像出力装置から入力される画像データに含まれている場合には重畳表示を停止する。このため、例えば画像出力装置が入力座標をもとに描画した画像が入力されるまでの間だけ、表示装置が生成した画像を重畳表示する。従って、必要な場合にのみ、画像出力装置が描画した画像が入力されるまで表示装置が描画した画像を表示するので、不要な動作による操作性の低下等を回避できる。また、同一の入力座標をもとに表示装置が描画した画像と画像出力装置が描画した画像とが、相違する場合であっても、違和感を生じることなく、画像の入力の遅延を補うことができる。

また、本発明は、上記表示装置において、前記表示手段は、光源と、前記光源が発した光を変調する変調手段と、前記変調手段により変調された光を投射面に投射する投射手段とを備え、前記入力検出手段は、前記投射面に対する位置入力操作を検出すること、を特徴とする。
本発明によれば、画像を投射する投射手段を備えた表示装置が、入力座標に対応して描画した画像を表示し、画像出力装置からの画像データの入力に遅延が生じた場合であっても、速やかに画像を表示できる。また、例えば同一の入力座標をもとに表示装置が描画した画像と画像出力装置が描画する画像とが相違する場合であっても、違和感を生じることがない。

また、上記課題を解決するため、本発明の表示制御方法は、画像出力装置から入力される画像データに基づいて画像を表示する表示装置によって、位置入力操作を検出して入力座標を求め、求めた入力座標を前記画像出力装置に出力し、求めた入力座標をもとに画像を生成する描画処理を行い、前記描画処理で生成した画像を、前記画像出力装置から入力された画像データに基づく画像に重畳して表示すること、を特徴とする。
本発明によれば、位置入力操作によって入力された座標に基づき、表示装置に画像を入力する画像出力装置によって、入力座標に基づく画像の描画を行わせることができる。また、画像出力装置が描画した画像を含む画像データが入力される前に、表示装置が生成した画像を表示する。このため、位置入力操作を検出してから、画像出力装置が描画した画像が表示されるまでの間も、位置入力操作に対応して描画した画像を表示できる。このため、画像出力装置から表示装置に画像データが入力されるタイミングに遅延が生じた場合であっても、遅延なく画像を表示できる。

また、上記課題を解決するため、本発明の表示システムは、画像データを出力する画像出力装置と、前記画像出力装置が出力した画像データに基づく画像を表示する表示装置を備えた表示システムであって、前記表示装置は、画像を表示する表示手段と、位置入力操作を検出して入力座標を求め、入力座標を前記画像出力装置に出力する入力検出手段と、前記入力検出手段により求めた入力座標をもとに画像を生成する描画処理を行う描画手段と、前記描画手段により生成された画像を、前記画像出力装置が出力した画像データに基づく画像に重畳して、前記表示手段により表示させる表示制御手段と、を備え、前記画像出力装置は、前記表示装置が出力した入力座標をもとに画像を生成し、生成した画像を含む画像データを前記表示装置に出力すること、を特徴とする。
本発明によれば、表示装置が検出した位置入力操作の入力座標をもとに画像出力装置が画像を描画し、この画像を表示装置が表示する構成において、画像出力装置が描画した画像を含む画像データが入力される前に、表示装置が生成した画像を表示する。このため、位置入力操作を検出してから、画像出力装置が描画した画像が表示されるまでの間も、位置入力操作に対応して描画した画像を表示できる。このため、画像出力装置から表示装置に画像データが入力されるタイミングに遅延が生じた場合であっても、遅延なく画像を表示できる。

また、本発明は、上記表示システムにおいて、前記画像出力装置は、前記入力座標をもとに画像を生成して画像データを出力する描画モードと、他の動作モードとを含む複数の動作モードを実行可能であり、前記表示装置が備える前記表示制御手段は、前記画像出力装置が描画モードを実行中である場合に、前記描画手段により生成された画像を重畳して表示させることを特徴とする。
本発明によれば、画像出力装置が描画モードを実行している場合のみ、表示装置が、画像出力装置と同じように入力座標をもとに画像を生成して表示する動作を行う。このため、表示装置が必要な場合にのみ描画を行うので、不要な動作による操作性の低下等を回避できる。

また、本発明は、上記表示システムにおいて、前記表示装置が備える前記描画手段は、前記画像出力装置が前記入力座標をもとに生成する画像の属性に合わせて描画を行うことを特徴とする。
本発明によれば、表示装置が生成した画像を重畳表示した場合に違和感を生じず、良好な表示品質を保つことができる。

本発明によれば、位置入力操作に対応して描画した画像を遅滞なく表示できる。

本発明の実施形態に係るプロジェクションシステムの構成を示す図である。 プロジェクションシステムを構成する各部の機能ブロック図である。 ＰＣの動作モードの例を示す説明図である。 プロジェクションシステムの動作を示すフローチャートであり、（Ａ）はＰＣの動作を示し、（Ｂ）はプロジェクターの動作を示す。

以下、図面を参照して本発明を適用した実施形態について説明する。
図１は、本発明を適用した実施形態に係るプロジェクションシステム１（表示システム）の構成を示す図である。プロジェクションシステム１は、スクリーンＳＣの上方に設置されたプロジェクター１０に、ＰＣ（パーソナルコンピューター）１００を接続して構成される。
プロジェクター１０（表示装置）は、ＰＣ１００（画像出力装置）から送信される画像データを受信して、この画像データに基づく画像を投射面としてのスクリーンＳＣに投射する。ＰＣ１００は、プロジェクター１０から独立した外部の装置であって、画像データをプロジェクター１０に送信する。プロジェクター１０は短焦点型であって、スクリーンＳＣの直上に設置され、斜め下方に向けて画像を投射する。

プロジェクター１０は、ＰＣ１００から送信された画像データに基づく画像を投射するだけでなく、プロジェクター１０内部に記憶している画像データに基づく画像、および、プロジェクター１０の内部において後述するように生成した画像を、スクリーンＳＣに投射する。
プロジェクター１０は、ＰＣ１００から受信した画像データが静止画像データであっても動画像（映像）データであっても投射できる。また、スクリーンＳＣは壁面に固定された平板に限らず、壁面自体をスクリーンＳＣとして使用することも可能である。

プロジェクションシステム１では、プロジェクター１０が画像を投射するスクリーンＳＣ上で、指示体７０を用いて操作を行うことが可能である。指示体７０は、例えばペン型のデバイスであり、ユーザーは軸部７１を手に持って、先端をスクリーンＳＣに押しつけるように使用する。指示体７０の先端には押圧操作を検出する操作スイッチ７２が設けられており、ユーザーが指示体７０の先端をスクリーンＳＣに押し付けた場合に、操作スイッチ７２がオンになる。ユーザーは、スクリーンＳＣ上の任意の位置で指示体７０の先端をスクリーンＳＣに押しつけることで、位置入力操作を行う。
プロジェクター１０は、後述するように、スクリーンＳＣ上における指示体７０の位置を検出する機能を有する。ユーザーが位置入力操作を行った場合に、指示体７０の先端がスクリーンＳＣに接した位置を、指示位置として検出する。

プロジェクションシステム１は、ユーザーが指示体７０により行った位置入力操作を受け付けて、この操作を投射画像に反映させる、インタラクティブホワイトボードシステムとして機能する。具体的には、プロジェクションシステム１は、ユーザーが指示体７０を用いて位置入力操作を行うと、この位置入力操作を検出して指示位置の座標を求める。プロジェクションシステム１は、算出した指示位置の座標に従って直線、曲線、多角形などの図絵を描画し、描画した図形をスクリーンＳＣに投射する。プロジェクションシステム１は、何らかの画像をスクリーンＳＣに投射した状態で、この投射画像に重なるように画像を描画することができ、何も画像を投射しない状態に移行してから画像の描画を開始することもできる。また、この機能により描画された画像は、画像データとして保存することが可能であり、描画された画像のみを画像データとして保存することも、描画時にスクリーンＳＣに投射されていた投射画像とともに一つの画像データとして保存することもできる。

プロジェクションシステム１では、プロジェクター１０が、指示体７０による位置入力操作を検出し、指示位置の座標を求める処理を行う。プロジェクター１０は指示位置の座標を含む操作データをＰＣ１００に送信し、ＰＣ１００は、プロジェクター１０から操作データを受信し、操作データに含まれる座標をもとに画像を生成する描画処理を実行し、生成した画像に基づき、表示用の画像データを生成する。表示用の画像データは、描画処理によって生成された画像自体を表す画像データであっても良く、描画処理によって生成された画像を他の画像に重畳して得られた画像データであっても良い。ＰＣ１００は、生成した表示用の画像データをプロジェクター１０に出力する。これにより、スクリーンＳＣには、指示体７０の操作に従って描画された画像が、例えば描画画像２１０、２１１のように投射される。

スクリーンＳＣには、ツールバー２０１が投射される。ツールバー２０１には、プロジェクター１０に各種の機能を実行させるための複数の機能ボタン２０４等が配置されている。指示体７０の操作により、いずれかの機能ボタン２０４に重なる位置が指示されると、プロジェクター１０は、該当する機能ボタン２０４に割り当てられた機能を実行する。ツールバー２０１は、ＰＣ１００が出力する画像データに基づく投射画像に含まれており、ＰＣ１００が、指示体７０による指示位置がツールバー２０１の各ボタンの表示位置に重なるか否かを判定し、重なる場合には該当するボタンの機能を実行する。

ツールバー２０１には、例えば、描画モード切換ボタン２０２と、ＰＣ操作モード切換ボタン２０３とが配置されている。描画モード切換ボタン２０２は、ＰＣ１００の動作モードを、指示体７０の操作により描画を行う動作モード（描画モード）に切り換えるボタンである。一方、ＰＣ操作モード切換ボタン２０３は、ＰＣ１００の動作モードを、指示体７０をＰＣ１００のポインティングデバイスとして使用する動作モード（ＰＣ操作モード）に切り換えるボタンである。
ＰＣ操作モードでは、指示体７０がマウスやデジタイザー等のポインティングデバイスとして機能する。例えば、指示体７０の操作によって、ＰＣ１００が記憶しているデータの選択、編集、削除、移動、コピー等のデータ操作や、ＰＣ１００が有するアプリケーションプログラムの実行指示等を行える。

図２は、プロジェクションシステム１を構成する各部の機能ブロック図である。
プロジェクター１０は、ＰＣ１００やビデオ再生装置、ＤＶＤ再生装置等の画像出力装置に接続されるＩ／Ｆ（インターフェース）部１１を備えている。Ｉ／Ｆ部１１は、例えば、有線または無線ＵＳＢインターフェース、有線または無線ＬＡＮインターフェース、アナログ映像信号が入力されるＶＧＡ端子、デジタル画像データが入力されるＤＶＩ（Digital Visual Interface）端子、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等を備えている。また、Ｉ／Ｆ部１１には、ＰＣ１００との間で無線通信を行う無線ＬＡＮインターフェース１２が接続されている。無線ＬＡＮインターフェース１２は、後述する無線ＬＡＮインターフェース１１２との間で、ＩＥＥＥ８０２．１１規格等に準拠したプロトコルを実行し、各種データを送受信する。これにより、プロジェクター１０とＰＣ１００とは、相互にデータを送受信可能に接続される。

プロジェクター１０は、大きく分けて光学的な画像の形成を行う投射部２０（表示手段）と、画像データを処理する画像処理系とからなる。投射部２０は、照明光学系２１、光変調装置２２、および投射光学系２３から構成されている。照明光学系２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、レーザー光源等からなる光源を備えている。また、照明光学系２１は、光源が発した光を光変調装置２２に導くリフレクターおよび補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置２２に至る経路上で低減させる調光素子等を備えたものであってもよい。
光変調装置２２（変調手段）は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。照明光学系２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。

投射光学系２３（投射手段）は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター、投射光をスクリーンＳＣに向けて反射する凹面鏡等を備えている。投射光学系２３は、光変調装置２２で変調された画像光のズーム調整およびフォーカス調整を行って、レンズ群を通った光を凹面鏡によりスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させる。投射部２０には、制御部３０の制御に従って投射光学系２３が備える各モーターを駆動する投射光学系駆動部１６、および、制御部３０の制御に従って照明光学系２１が備える光源を駆動する光源駆動部１４が接続されている。なお、投射光学系２３の具体的構成は上記の例に限定されず、例えば凹面鏡を含むミラーを用いない構成により、光変調装置２２で変調された光をレンズによってスクリーンＳＣに投射し、結像させることも可能である。

一方、画像処理系は、プロジェクター１０全体を統合的に制御する制御部３０を中心に構成され、制御部３０が実行する制御プログラム３６、および、制御部３０が処理するデータを記憶する記憶部３５、操作パネル１９およびリモコン受光部１８を介した操作を検出する操作検出部１７、Ｉ／Ｆ部１１を介して入力された入力画像を処理する画像処理部４０、画像処理部４０が処理した画像信号に基づいて光変調装置２２を駆動して描画を行う光変調装置駆動部１５を備えている。

操作検出部１７は、リモコン受光部１８および操作パネル１９に接続されている。
リモコン受光部１８は、プロジェクター１０のユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部１８によって受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作データを生成し、制御部３０に出力する。
操作パネル１９は、プロジェクター１０の外装筐体に設けられ、各種スイッチおよびインジケーターランプを有する。操作検出部１７は、制御部３０の制御に従い、プロジェクター１０の動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯或いは点滅させる。この操作パネル１９のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部１７から制御部３０に出力される。

制御部３０は、Ｉ／Ｆ部１１から入力された画像データを画像処理部４０に出力する。画像処理部４０は、入力された画像データをバッファリングする画像入力部４１と、この画像データに対し、インターレース／プログレッシブ変換、解像度変換、色変換等の各種変換処理を適宜実行し、予め設定されたフォーマットの画像データを生成する表示制御部４２と、表示制御部４２により処理された画像データに基づいてフレームメモリー４４にフレーム毎の画像を展開する描画処理部４３と、を備えている。画像処理部４０は、フレームメモリー４４に展開された画像データを光変調装置駆動部１５に出力する。
また、描画処理部４３は、ＰＣ１００から入力された画像データに基づく画像をフレームメモリー４４に描画し、この画像に重畳して、後述する描画制御部３３が生成した画像データに基づく画像を描画するオーバーレイ描画を実行する。

指示体７０は、軸部７１に設けられた送信窓（図示略）から赤外線信号を出力する送信回路（図示略）を備えている。この送信回路は、例えば赤外ＬＥＤ等の発光部、発光制御回路、および電源を備え、指示体７０の電源がオンになっている状態で、例えばＩｒＤＡ規格に準拠した方式により周期的に赤外線信号を送信する。また、送信回路は、操作スイッチ７２の操作状態（オン／オフ）の出力状態により赤外線信号を変調する。

プロジェクター１０は、指示体７０が送信する赤外線信号を受光して、指示体７０の位置、および、操作スイッチ７２の操作状態を検出する位置入力検出部５０を備えている。位置入力検出部５０は、指示体検出部５４および座標算出部５５を備え、操作検出手段として機能する。
指示体検出部５４は、例えば、投射光学系２３と同じ方向を向いて配置され、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲をカバーする画角を有する撮像手段（図示略）を備えている。この撮像手段は、赤外光を受光するＣＣＤやＣＭＯＳからなる受光素子、この受光素子の検出値を読み出して出力するインターフェース回路等を有する。指示体検出部５４は、撮像手段により撮影を実行し、撮影画像データに基づいて指示体７０の位置を検出する。また、指示体検出部５４は、受光した赤外線信号を復調することにより、操作スイッチ７２の操作状態を検出する。座標算出部５５は、指示体検出部５４が検出した指示体７０の位置に基づき、スクリーンＳＣ上に仮想的に設定された座標軸に対する操作スイッチ７２の位置座標を算出する。スクリーンＳＣには、例えば、スクリーンＳＣ上に投射部２０が投射画像を投射する領域（投射領域）を基準として座標軸が設定されている。このため、座標算出部５５により、投射領域における指示体７０の指示位置の座標が求められる。

制御部３０は、記憶部３５に記憶された制御プログラム３６を読み出して実行することにより、投射制御部３１、検出制御部３２（入力検出手段）、描画制御部３３（描画手段）およびオーバーレイ制御部３４（表示制御手段）の各部の機能を実現し、プロジェクター１０の各部を制御する。
投射制御部３１は、操作検出部１７から入力される操作データに基づいて、操作者が行った操作の内容を検出し、この操作に応じて画像処理部４０、光変調装置駆動部１５、投射光学系駆動部１６および光源駆動部１４を制御して、スクリーンＳＣに画像を投射させる。また、投射制御部３１は、投射光学系駆動部１６を制御して、投射光学系２３によるフォーカス調整、ズーム調整、絞り調整等を実行させる。

検出制御部３２は、位置入力検出部５０を制御して、指示体７０の指示位置の検出と、指示体７０が備える操作スイッチ７２の操作状態とを検出する。そして、検出制御部３２は、操作スイッチ７２がオンになったことを検出すると、その時点における指示体７０の座標を取得して、描画制御部３３に出力する。
描画制御部３３は、検出制御部３２が検出した指示体７０による操作に追従するように、描画画像２１０、２１１（図１）等を描画する。描画制御部３３は、検出制御部３２から操作スイッチ７２がオンになったときの指示体７０の位置座標が入力されると、この座標を頂点または端点とする図形等を描画して、描画画像の画像データを生成する。例えば、描画制御部３３は、検出制御部３２から前回入力された座標と、今回入力された座標とを結ぶ直線や曲線を描画して、この直線または曲線の画像データを生成する。

描画制御部３３は、ＰＣ１００が描画モードにおいて描画する図形の属性を取得し、取得した属性に従って描画を行う。すなわち、描画制御部３３は、ＰＣ１００から入力される画像データから、ＰＣ１００が描画した図形の形状、線の色、線の太さ等の属性を検出する。そして、描画制御部３３は、検出制御部３２が検出した座標に基づいて、ＰＣ１００が描画する図形と同じように見える図形を描画する。また、描画制御部３３は、ＰＣ１００との間で描画する図形の属性に関する制御データを送受信して、描画する図形の属性を決定してもよい。

オーバーレイ制御部３４は、描画制御部３３が描画した画像データを画像処理部４０に出力して、描画処理部４３により、ＰＣ１００から受信した画像データに基づく画像に重畳（オーバーレイ）描画させる。オーバーレイ制御部３４は、所定の条件が成立すると、画像処理部４０に対する画像データの出力を停止して、描画処理部４３によるオーバーレイ描画を停止させる。オーバーレイ描画を停止すると、描画処理部４３は、ＰＣ１００から入力された画像データに基づく画像のみをフレームメモリー４４に描画するので、スクリーンＳＣにはＰＣ１００が出力した画像データに基づく画像のみが投射される。

オーバーレイ制御部３４によるオーバーレイ描画の開始および停止の動作について説明する。オーバーレイ制御部３４は、検出制御部３２が指示体７０の指示位置の座標を検出し、描画制御部３３が画像データを生成すると、速やかに描画処理部４３によってオーバーレイ描画を開始させる。
その後、オーバーレイ制御部３４は、ＰＣ１００から入力される画像データにおいて、検出制御部３２が検出した座標に基づいて描画された画像が含まれているか否かを判定し、描画された画像が含まれていると判定した場合に、オーバーレイ描画を停止する。従って、操作スイッチ７２が座標を検出してから、この座標に基づいてＰＣ１００が描画した画像が入力されるまでの間、描画制御部３３が描画した画像がオーバーレイ描画されることになる。この判定は、ＰＣ１００から入力される画像データにおいて新たに描画された画像を検出することで行われる。例えば、オーバーレイ制御部３４は、操作スイッチ７２が新たに指示体７０の指示位置の座標を検出したときのＰＣ１００からの入力画像データと、その後に入力される画像データとの差分を求め、新たに描画された画像を検出する。また、オーバーレイ制御部３４は、ＰＣ１００から入力される画像データにおいて、検出制御部３２が検出した座標の近傍に図形等が含まれているかを判定してもよい。
また、操作スイッチ７２が座標を検出してから、この座標に基づいてＰＣ１００が描画した画像が入力されるまでの時間が予め判明している場合には、オーバーレイ制御部３４がオーバーレイ描画を開始してから停止するまでの時間を予め設定してもよい。この場合、オーバーレイ制御部３４は、オーバーレイ描画の開始から設定された時間が経過すると、オーバーレイ描画を停止する。

図３は、ＰＣ１００の動作モードの例を示す説明図である。
ＰＣ１００は、少なくとも、指示体７０の指示位置に基づいて描画を行う描画モードと、描画モード以外の動作モードを含む複数の動作モードを切り換えて実行可能である。図２に示すように、本実施形態では、描画モードの他に、指示体７０の指示位置の座標を、ポインティングデバイスによる入力座標として扱うＰＣ操作モードを有する。ＰＣ１００は、描画モード及びＰＣ操作モード以外の動作モードを実行可能であっても良い。
ＰＣ１００の動作モードの切り換えは、ＰＣ１００の入力デバイスによる操作や、ツールバー２０１（図１）の描画モード切換ボタン２０２やＰＣ操作モード切換ボタン２０３の操作に応じて行われる。
ＰＣ１００は、ＰＣ操作モードでは、プロジェクター１０に出力する画像データにポインティングデバイスの入力座標に対応するポインターを表示させる。このポインターは、例えば、パーソナルコンピューターで一般的に使用されるポインターであり、矢印の形状を有するものが挙げられる。

オーバーレイ制御部３４は、ＰＣ１００が指示体７０の指示位置の座標に基づいて描画を行う「描画モード」を実行している場合のみ、オーバーレイ描画を実行する。上述のように、ＰＣ１００は描画モードと、ＰＣ操作モードとを切り換えて実行できる。ＰＣ操作モードでは、ＰＣ１００は指示体７０の指示位置の座標に基づいて、ポインティングデバイスの操作が行われた場合と同様に、プロジェクター１０に出力する画像を変更するので、指示位置の座標に基づく描画は行わない。このため、オーバーレイ制御部３４は、ＰＣ１００が描画モードであるか否かを判定する機能を有し、描画モードである間にのみオーバーレイ描画を開始する。
オーバーレイ制御部３４は、ＰＣ１００が描画モードであるかＰＣ操作モードであるかを、例えばＰＣ１００から入力される画像データに含まれるポインターに基づき判定する。図２の例では、矢印型のポインターがＰＣ１００の入力画像データに含まれている場合はＰＣ１００がＰＣ操作モードで動作していると判定し、矢印型のポインターが含まれていない場合は、ＰＣ１００が描画モードで動作していると判定する。

ＰＣ１００は、ＰＣ１００の各部を中枢的に制御する制御部１０１を備えている。制御部１０１は、ＣＰＵ、ＣＰＵが実行する基本制御プログラム等を記憶したＲＯＭ、および、ＣＰＵが実行するプログラムやＣＰＵが処理するデータ等を一時的に格納するＲＡＭ等により実現される。また、ＰＣ１００は、キーボードおよびマウス等のポインティングデバイスを含む入力デバイスによる入力操作を検出する入力部１０６と、入力部１０６が検出した入力操作の内容や制御部１０１による処理結果等をモニター（表示部）１０８に表示させる表示制御部１０７と、プロジェクター１０等の外部の機器に接続される外部インターフェース１０９と、制御部１０１が実行する制御プログラム１１１を含む各種のプログラム、これらのプログラムにより処理されるデータ等を記憶する記憶部１１０とを備えている。また、外部インターフェース１０９には、無線ＬＡＮインターフェース１２と同様に構成された無線ＬＡＮインターフェース１１２が接続され、外部インターフェース１０９はＩ／Ｆ部１１との間で無線通信を実行可能となっている。

制御部１０１は、制御プログラム１１１を実行することにより、機器制御部１０２、画像選択部１０３、画像出力部１０４、および描画処理部１０５の機能を実現する。
機器制御部１０２は、ＰＣ操作モードにおいてプロジェクター１０を制御する処理、および、プロジェクター１０から送信されるデータを受信する処理等を実行する。また、機器制御部１０２は、ＰＣ１００の動作モードを制御する。機器制御部１０２は、入力部１０６が検出した操作で動作モードが指定された場合、及び、プロジェクター１０から入力される座標が、ツールバー２０１（図１）の描画モード切換ボタン２０２またはＰＣ操作モード切換ボタン２０３の操作であると判定した場合に、指定された動作モードを実行する。機器制御部１０２は、ＰＣ操作モードでは、プロジェクター１０から入力された座標を入力部１０６に接続されたポインティングデバイスによる入力座標として処理する。また、機器制御部１０２は、描画モードにおいては、プロジェクター１０から入力された座標を、描画処理部１０５に出力して、描画の動作を実行させる。
さらに、機器制御部１０２は、プロジェクター１０から送信される要求に応じて、描画処理部１０５が描画する図形の属性に関する制御データをプロジェクター１０に送信する。

画像選択部１０３は、プロジェクター１０に対して画像データを出力する場合に、入力部１０６が検出した操作に従って、出力する画像データを選択する。例えば、画像選択部１０３は、記憶部１１０に記憶している画像データ（図示略）の中からユーザーの操作により直接指定された画像データを選択することも、予め設定された順序で記憶部１１０内の画像データを選択することも可能である。
画像出力部１０４は、画像選択部１０３により選択された画像データをプロジェクター１０に出力する。また、画像出力部１０４は、選択された画像データの解像度やフレームレートをプロジェクター１０の仕様に合わせて変換する処理を行うものであってもよい。

描画処理部１０５は、ＰＣ１００が描画モードを実行している場合に、機器制御部１０２から指示体７０の指示位置の座標が入力された場合に、この座標に従って画像を生成または更新する描画処理を実行し、画像データを出力する。描画処理部１０５が出力した画像データは、画像出力部１０４によってプロジェクター１０に出力される。

図４は、プロジェクションシステム１の動作を示すフローチャートであり、（Ａ）はＰＣ１００の動作を示し、（Ｂ）はプロジェクター１０の動作を示す。この図４には、指示体７０の操作に対応する動作を特に示している。
プロジェクター１０とＰＣ１００とが接続された状態で、ＰＣ１００が画像データの出力を開始すると（ステップＳ１１）、プロジェクター１０の投射制御部３１は、ＰＣ１００から入力された画像データを取得して、この画像データに基づいてフレームメモリー４４に画像を描画し、投射部２０により投射する（ステップＳ２１）。また、プロジェクター１０の検出制御部３２は、指示体７０の位置検出および操作スイッチ７２の操作の検出を開始し（ステップＳ２２）、操作を検出するまで待機する（ステップＳ２３）。

検出制御部３２は、指示体７０による操作を検出すると（ステップＳ２３；Ｙｅｓ）、操作時の指示体７０の先端の位置を検出し、検出した位置の座標を求める（ステップＳ２４）。さらに、検出制御部３２は、求めた座標を含む操作データを生成して、ＰＣ１００に出力する（ステップＳ２５）。
ＰＣ１００の制御部１０１は、プロジェクター１０から送信された操作データを受信して取得し（ステップＳ１２）、ＰＣ１００が実行中の動作モードに応じて画像データを生成する（ステップＳ１３）。ＰＣ１００が描画モードを実行中である場合には、描画処理部１０５が、受信した操作データに含まれる入力座標に従って図形を描画し、描画した図形を含む画像データを生成する。また、ＰＣ１００がＰＣ操作モードを実行中である場合、制御部１０１は、受信した操作データに含まれる入力座標をポインティングデバイスの入力座標として、ファイルやフォルダーに対する処理として受け付ける。この場合、制御部１０１は、入力座標に基づいて、ＰＣ１００がモニター１０８に表示する操作画面の画像データを生成する。
機器制御部１０２は、生成された画像データを、無線ＬＡＮインターフェース１１２を介してプロジェクター１０に送信し（ステップＳ１４）、指示体７０による操作を終了するか否かを判定する（ステップＳ１５）。指示体７０の操作に対応した動作を継続する場合は（ステップＳ１５；Ｎｏ）、ステップＳ１２に戻って操作データを取得するまで待機する。また、指示体７０の操作の終了を指示する入力操作等があれば（ステップＳ１５；Ｙｅｓ）、本処理を終了する。

オーバーレイ制御部３４は、ＰＣ１００が実行中の動作モードが描画モードであるか否かを判定する（ステップＳ２６）。オーバーレイ制御部３４は、例えば、上述したようにＰＣ１００から入力される画像データに含まれるポインターを検出することによって、ＰＣ１００が実行中の動作モードが描画モードであるか否かを判定する。オーバーレイ制御部３４が、ＰＣ１００が描画モードでないと判定した場合（ステップＳ２６；Ｎｏ）、プロジェクター１０の動作はステップＳ２３に戻る。一方、オーバーレイ制御部３４が、ＰＣ１００の動作モードが描画モードであると判定した場合（ステップＳ２６；Ｙｅｓ）、描画制御部３３は、描画する図形等の属性を取得する（ステップＳ２７）。描画制御部３３は、取得した属性に合わせて図形等を描画して、オーバーレイ表示する画像を生成し（ステップＳ２８）、オーバーレイ制御部３４は、描画制御部３３が生成した画像を描画処理部４３によってオーバーレイ表示させる（ステップＳ２９）。

この図４に例示する動作では、オーバーレイ制御部３４は、オーバーレイ表示を開始してからの時間が所定時間に達するか、或いは、検出制御部３２が検出した座標に基づいて描画した画像データがＰＣ１００から入力されると、オーバーレイ表示を停止する。すなわち、オーバーレイ制御部３４は、オーバーレイ表示を開始してから所定時間が経過したか否かを判定し（ステップＳ３０）、所定時間が経過すると（ステップＳ３０；Ｙｅｓ）、後述するステップＳ３３に移行する。また、所定時間が経過していない場合は（ステップＳ３０；Ｎｏ）、検出制御部３２が検出した座標に基づいて描画した画像を含む画像データがＰＣ１００から入力されたか否かを判定する（ステップＳ３１）。ここで、該当する画像データが入力されていない場合（ステップＳ３１；Ｎｏ）、プロジェクター１０の動作はステップＳ２３に戻る。また、ＰＣ１００から、入力座標に基づいて描画した画像を含む画像データが入力された場合（ステップＳ３１；Ｙｅｓ）、オーバーレイ制御部３４は、新たに入力された画像データに基づく画像を投射して（ステップＳ３２）、ステップＳ３３に移行する。

ステップＳ３３で、オーバーレイ制御部３４は、描画処理部４３によるオーバーレイ表示を停止して、ＰＣ１００から入力された画像データに基づく画像のみを投射部２０により投射させる。その後、検出制御部３２は、指示体７０による操作の検出を終了するか否かを判定し（ステップＳ３４）、操作の検出を継続する場合は（ステップＳ３４；Ｎｏ）、ステップＳ２３に戻る。また、指示体７０の操作の終了を指示する入力操作等があれば（ステップＳ３４；Ｙｅｓ）、本処理を終了する。

以上のように、本発明を適用した実施形態に係るプロジェクションシステム１は、画像データを出力するＰＣ１００と、ＰＣ１００が出力した画像データに基づく画像を表示するプロジェクター１０を備え、プロジェクター１０は、位置入力操作を検出して入力座標を求め、入力座標をＰＣ１００に出力する検出制御部３２と、検出制御部３２により求めた入力座標をもとに画像を生成する描画処理を行う描画制御部３３と、描画制御部３３により生成された画像を、ＰＣ１００が出力した画像データに基づく画像に重畳して、投射部２０により投射させるオーバーレイ制御部３４と、を備え、ＰＣ１００は、プロジェクター１０が出力した入力座標をもとに画像を生成し、生成した画像を含む画像データをプロジェクター１０に出力する。
これにより、プロジェクター１０が検出した指示体７０による位置入力操作の入力座標をもとにＰＣ１００が画像を描画し、この画像をプロジェクター１０が表示する構成において、ＰＣ１００が描画した画像を含む画像データが入力される前に、プロジェクター１０が生成した画像を表示する。このため、プロジェクター１０が指示体７０による操作を検出してから、ＰＣ１００が描画した画像が表示されるまでの間も、指示体７０の操作に対応して描画した画像を表示できる。このため、ＰＣ１００からプロジェクター１０に画像データが入力されるタイミングに遅延が生じた場合であっても、遅延なく画像を表示できる。

また、オーバーレイ制御部３４は、所定の条件に基づいて、描画制御部３３により生成された画像の重畳表示を停止し、例えばＰＣ１００が入力座標をもとに描画した画像を含む画像データが入力された場合に、重畳表示を停止する。このように、プロジェクター１０が生成した画像をオーバーレイ表示する必要がなくなった場合等にはオーバーレイ表示を停止するので、ＰＣ１００からの入力画像の表示を妨げない。例えば、ＰＣ１００が描画する図形等と描画制御部３３が描画する図形等にわずかに相違があった場合、これらの図形をオーバーレイ表示すると図形の滲み等が見えてしまう。本実施形態のように、オーバーレイ表示の必要がなくなった場合に速やかにオーバーレイ表示を停止することで、投射画像の品質の低下を防止できる。
また、オーバーレイ制御部３４は、描画制御部３３により生成された画像の重畳表示を開始してから所定時間経過後に、重畳表示を停止してもよい。この場合も、ＰＣ１００が入力座標をもとに描画した画像を含む画像データが入力されるまでの間だけ、プロジェクター１０が生成した画像を重畳表示できる。また、オーバーレイ表示を開始してからの時間に基づいて、オーバーレイ表示を停止するタイミングを決定できるので、処理の効率化を図ることができる。

また、オーバーレイ制御部３４は、ＰＣ１００から入力される画像データが、検出制御部３２が求めた入力座標をもとに描画された画像を含む画像データである場合に、重畳表示を停止することを特徴とする。
本発明によれば、入力座標をもとにＰＣ１００が描画した画像が、ＰＣ１００から入力される画像データに含まれている場合には重畳表示を停止する。このため、例えばＰＣ１００が入力座標をもとに描画した画像が入力されるまでの間だけ、プロジェクター１０が生成した画像を重畳表示する。従って、必要な場合にのみ、ＰＣ１００が描画した画像が入力されるまでプロジェクター１０が描画した画像を表示するので、不要な動作による操作性の低下等を回避できる。また、同一の入力座標をもとにプロジェクター１０が描画した画像とＰＣ１００が描画した画像とが、相違する場合であっても、違和感を生じることなく、画像の入力の遅延を補うことができる。

また、本実施形態では、照明光学系２１と、照明光学系２１が発した光を変調する光変調装置２２と、光変調装置２２により変調された光をスクリーンＳＣに投射する投射光学系２３とを備えたプロジェクター１０に本発明を適用し、検出制御部３２は、スクリーンＳＣに対する位置入力操作を検出するので、指示体７０によりスクリーンＳＣに対して行われた操作に対応して、速やかに描画を行って、描画した図形等を投射できる。このため、図形を描画して投射する処理が、指示体７０の操作に対して迅速に追従するので、良好な操作感を実現し、操作性の向上を図ることができる。また、図形等を描画するＰＣ１００がプロジェクター１０から離れた場所に設置されていても、ＰＣ１００からプロジェクター１０に対する画像データの伝送遅延の大きさにかかわらず、指示体７０の操作に迅速に反応して描画を行える。このため、プロジェクター１０とＰＣ１００の設置位置に関して自由度が高く、スクリーンＳＣを含めた設置場所の確保が容易になるという利点がある。
また、ＰＣ１００が描画モードを含む複数の動作モードを実行可能であり、オーバーレイ制御部３４は、ＰＣ１００が描画モードを実行中である場合に、描画制御部３３により生成された画像を重畳して表示させるので、プロジェクター１０による描画が必要な場合にのみ、図形等を描画してオーバーレイ表示を行うことができる。
また、描画制御部３３は、ＰＣ１００が入力画像をもとに生成する画像の属性に合わせて描画を行うので、オーバーレイ表示を開始および停止した際に違和感を生じず、良好な表示品質を保つことができる。

なお、上述した実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態では、位置入力検出部５０が赤外光を受光することにより指示体７０の指示位置の座標を求める構成を例に挙げて説明したが、可視光を受光する撮像素子によって撮影した撮影画像データを処理して、指示位置の座標を求めてもよい。また、例えば、接触操作を検出する感圧式や静電容量方式のタッチパネルを配置し、このタッチパネルにおける操作位置の座標を求めてもよい。また、上記実施形態の構成において、指示体７０は、棒状のものやペン型のものに限定されない。さらに、例えばユーザーの指を指示体として用い、その指示位置をプロジェクター１０が検出する構成とすることも可能である。

また、上記実施形態では、光源が発した光を変調する光変調装置２２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。ここで、光変調装置として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。

さらに、本発明の表示装置は、スクリーンＳＣに画像を投射するプロジェクターに限定されず、液晶表示パネルに画像を表示する液晶モニターまたは液晶テレビ、或いは、ＰＤＰ（プラズマディスプレイパネル）に画像を表示するモニター装置またはテレビ受像機、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、ＯＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等と呼ばれる有機ＥＬ表示パネルに画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の画像表示装置に含まれる。この場合、液晶表示パネル、プラズマディスプレイパネル、有機ＥＬ表示パネルが表示手段に相当する。
また、図２に示したプロジェクションシステム１の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクションシステム１の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

１…プロジェクションシステム（表示システム）、１０…プロジェクター（表示装置）、２０…投射部（表示手段）、２１…照明光学系（光源）、２２…光変調装置（変調手段）、２３…投射光学系（投射手段）、３０…制御部、３１…投射制御部、３２…検出制御部（入力検出手段）、３３…描画制御部（描画手段）、３４…オーバーレイ制御部（表示制御手段）、３５…記憶部、４０…画像処理部、５０…位置入力検出部、５４…指示体検出部、５５…座標算出部、７０…指示体、１００…ＰＣ（画像出力装置）、１０１…制御部、１０２…機器制御部、１０３…画像選択部、１０４…画像出力部、１０５…描画処理部、１０８…モニター（表示部）、１１０…記憶部、１１１…制御プログラム、２０１…ツールバー、ＳＣ…スクリーン（投射面）。

Claims (6)

1. 入力座標をもとに画像を生成する画像出力装置から入力される画像データに基づいて画像を表示する表示装置であって、
   画像を表示する表示手段と、
   位置入力操作を検出して前記入力座標を求め、前記入力座標を前記画像出力装置に出力する入力検出手段と、
   前記画像出力装置が前記入力座標をもとに生成する前記画像の属性に合わせて、前記入力検出手段が求めた前記入力座標をもとに画像を生成する描画処理を行う描画手段と、
   前記画像出力装置から入力された画像データに基づく画像に、前記描画手段により生成された画像を重畳して、前記表示手段により表示させる表示制御手段と、
   を備え、
   前記表示制御手段は、前記描画手段により生成された画像の重畳表示を開始してから所定時間経過後に、重畳表示を停止することを特徴とする表示装置。
2. 前記表示制御手段は、前記画像出力装置から入力される画像データが、前記入力検出手段が求めた前記入力座標をもとに描画された画像を含む画像データである場合に、重畳表示を停止することを特徴とする請求項１記載の表示装置。
3. 前記表示手段は、光源と、前記光源が発した光を変調する変調手段と、前記変調手段により変調された光を投射面に投射する投射手段とを備え、
   前記入力検出手段は、前記投射面に対する位置入力操作を検出すること、
   を特徴とする請求項１または２のいずれかに記載の表示装置。
4. 入力座標をもとに画像を生成する画像出力装置から入力される画像データに基づいて画像を表示する表示装置によって、
   位置入力操作を検出して前記入力座標を求め、求めた前記入力座標を前記画像出力装置に出力し、
   前記画像出力装置が前記入力座標をもとに生成する前記画像の属性に合わせて、求めた前記入力座標をもとに画像を生成する描画処理を行い、
   前記画像出力装置から入力された画像データに基づく画像に、前記描画処理で生成した画像を重畳して表示し、
   前記描画処理により生成された画像の重畳表示を開始してから所定時間経過後に、重畳表示を停止すること、
   を特徴とする表示制御方法。
5. 入力座標をもとに画像を生成して画像データを出力する画像出力装置と、前記画像出力装置が出力した画像データに基づく画像を表示する表示装置を備えた表示システムであって、
   前記表示装置は、
   画像を表示する表示手段と、
   位置入力操作を検出して前記入力座標を求め、前記入力座標を前記画像出力装置に出力する入力検出手段と、
   前記入力検出手段により求めた前記入力座標をもとに画像を生成する描画処理を行う描画手段と、
   前記描画手段により生成された画像を、前記画像出力装置が出力した画像データに基づく画像に重畳して、前記表示手段により表示させる表示制御手段と、を備え、
   前記画像出力装置は、前記表示装置が出力した前記入力座標をもとに画像を生成し、生成した画像を含む画像データを前記表示装置に出力し、
   前記表示制御手段は、
   前記画像出力装置から入力された前記画像データに基づく画像に、前記描画手段により生成された画像を重畳して、前記表示手段により表示させ、
   前記描画手段により生成された画像の重畳表示を開始してから所定時間経過後に、重畳表示を停止し、
   前記描画手段は、前記画像出力装置が前記入力座標をもとに生成する画像の属性に合わせて描画を行うこと
   を特徴とする表示システム。
6. 前記画像出力装置は、前記入力座標をもとに画像を生成して画像データを出力する描画モードと、他の動作モードとを含む複数の動作モードを実行可能であり、
   前記表示装置が備える前記表示制御手段は、前記画像出力装置が描画モードを実行中である場合に、前記描画手段により生成された画像を重畳して表示させることを特徴とする請求項５記載の表示システム。

Images