JP6409517B2 - 表示装置、及び、表示装置の制御方法 - Google Patents

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、指示体による操作を検出して、検出した操作に対応した画像を表示する装置が提案されている（例えば、特許文献１参照）。特許文献１には、２種類の指示手段による操作が可能な装置が開示されている。

特開２０１４−１０２６２８号公報

また、従来、一旦、入力された操作を取り消したい場合に、入力された操作を無効にするアンドゥ操作というものがある。ところが、複数の指示体による操作が可能な表示装置において、アンドゥ操作が入力された場合に、常にアンドゥ操作の直前に入力された操作を取り消すことが、操作者の意図に沿っているとは限らない。その一方で、例えば、アンドゥ操作を行うごとに、どの操作を無効にするのかを指定する方法は手間がかかる。

本発明は上記事情に鑑みてなされたものであり、複数の指示体により操作を行う場合の操作性を向上させることが可能な表示装置、及び、表示装置の制御方法を提供することを目的とする。

上記目的を達成するために、本発明の表示装置は、第１の指示体による操作面に対する操作と、第２の指示体による前記操作面に対する操作とを検出する検出部と、操作を無効にする指示を受け付ける制御部と、を備え、前記制御部は、前記検出部が、前記第２の指示体による操作を検出し、その後、前記第１の指示体による操作を検出した後に、前記指示を受け付けた場合に、前記第２の指示体による前記操作を無効にすることを特徴とする。
本発明によれば、複数の指示体により操作を行う場合の操作性を向上させることが可能となる。

また、本発明は、上記表示装置において、前記制御部は、第１の処理と第２の処理とを切り替えて実行し、前記第１の処理は、前記検出部が、前記第２の指示体による操作を検出し、その後、前記第１の指示体による操作を検出した後に、前記指示を受け付けた場合に、前記第２の指示体による前記操作を無効にする処理であり、前記第２の処理は、前記検出部が、前記第２の指示体による操作を検出し、その後、前記第１の指示体による操作を検出した後に、前記指示を受け付けた場合に、前記第１の指示体による前記操作を無効にする処理であることを特徴とする。
本発明によれば、無効にする指示体の操作を選択することができる。

また、本発明は、上記表示装置において、前記検出部は、前記第１の指示体による操作を、前記第１の指示体を操作する操作者に対応付けて検出し、また、前記第２の指示体による操作を、前記第２の指示体を操作する操作者に対応付けて検出し、前記制御部は、前記検出部が、前記第２の指示体による第１の操作を検出し、その後、前記第１の指示体による操作を検出した後に、前記第２の指示体による第２の操作を検出し、前記第２の操作が前記指示を示す操作である場合に、前記第２の操作の操作者と前記第１の操作の操作者とが同一であると判定すると、前記第１の操作を無効にし、前記第２の操作の操作者と前記第１の操作の操作者とが同一ではないと判定すると、前記第１の操作を無効としないことを特徴とする。
本発明によれば、第２の操作の操作者と第１の操作の操作者とが同一であれば、第２の指示体による第１の操作を無効にすることができる。また、第２の指示体による第１の操作が他の操作者によって無効にされることを防止することができる。

また、本発明は、上記表示装置において、前記制御部は、前記検出部が前記第１の操作を検出してから予め設定された時間が経過するまでは、前記第２の操作の操作者と前記第１の操作の操作者とが同一である場合に、前記第１の操作を無効にし、前記予め設定された時間が経過した後に、前記検出部が検出した前記第２の指示体による第３の操作が、前記第１の操作を無効にする指示を示す操作である場合、前記第３の操作の操作者と前記第１の操作の操作者とが同一でなくても、前記第１の操作を無効にすることを特徴とする。
本発明によれば、予め設定された時間が経過するまでは、第１の操作が他の操作者によって無効にされることを防止することができる。また、予め設定された時間を経過した後は、第１の操作を行った操作者でなければ、第１の操作を無効にできない事態の発生を防止することができる。

また、本発明は、上記表示装置において、前記検出部が検出した前記第２の指示体による操作と、前記操作を行った操作者とを対応付けた操作履歴情報を記憶する記憶部を備え、前記制御部は、前記予め設定された時間が経過すると、前記操作履歴情報から、前記操作を行った操作者の情報を削除することを特徴とする。
本発明によれば、操作を行った操作者以外の操作者が、第２の指示体による操作を無効にする処理を、簡単な処理により実現することができる。

本発明の表示装置の制御方法は、第１の指示体による操作面に対する操作と、第２の指示体による前記操作面に対する操作とを検出するステップと、操作を無効にする指示を受け付けるステップと、を備え、前記第２の指示体による操作を検出し、その後、前記第１の指示体による操作を検出した後に、前記指示を受け付けた場合に、前記第２の指示体による前記操作を無効にすることを特徴とする。
本発明によれば、複数の指示体により操作を行う場合の操作性を向上させることが可能となる。

プロジェクターの外観及び使用状態を示す図。 プロジェクター及び第１の指示体の機能ブロック図。 操作履歴テーブルを示す図。 制御部の処理手順を示すフローチャート。 制御部の処理手順を示すフローチャート。 指示が行われた場合のプロジェクターの動作の説明図。

図１は、プロジェクター１００の設置状態を示す図である。
プロジェクター１００は、スクリーンＳＣ（操作面）の直上又は斜め上方に設置され、斜め下方のスクリーンＳＣに向けて画像を投射する。スクリーンＳＣは、壁面に固定され、又は床面に立設された平板又は幕である。本発明は、この例に限定されず、壁面をスクリーンＳＣとして使用することも可能である。この場合、スクリーンＳＣとして使用される壁面の上部にプロジェクター１００を取り付けるとよい。

プロジェクター１００は、ＰＣ（パーソナルコンピューター）、ビデオ再生装置、ＤＶＤ再生装置、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）再生装置等の画像供給装置に接続される。プロジェクター１００は、画像供給装置から供給されるアナログ画像信号又はデジタル画像データに基づいて、スクリーンＳＣに画像を投射する。また、プロジェクター１００は、内蔵する記憶部６０（図２）や外部接続される記憶媒体に記憶された画像データを読み出して、この画像データに基づきスクリーンＳＣに画像を表示してもよい。

プロジェクター１００は、スクリーンＳＣに対する操作者の操作を検出する。スクリーンＳＣに対する操作には、ペン型の第１の指示体７０、又は操作者の手指である第２の指示体８０が利用される。また、スクリーンＳＣに対する操作には、第１の指示体７０又は第２の指示体８０により、スクリーンＳＣ上の一定の位置を指定（指示）する操作や、スクリーンＳＣ上の異なる位置を連続して指示する操作が含まれる。スクリーンＳＣ上の一定の位置を指定（指示）する操作は、第１の指示体７０又は第２の指示体８０を、スクリーンＳＣ上の一定の位置に一定時間接触させる操作である。また、スクリーンＳＣ上の異なる位置を連続して指示する操作とは、第１の指示体７０又は第２の指示体８０をスクリーンＳＣに接触させながら動かして、文字や図形等を描く操作である。また、第２の指示体８０によるスクリーンＳＣに対する操作には、ジェスチャー（動き）が含まれる。ジェスチャーは、第２の指示体８０をスクリーンＳＣに接触させることなく、空中で記号や文字を描く操作や、ピンチアウト、ピンチインなどの操作が含まれる。

プロジェクター１００は、操作者が第１の指示体７０又は第２の指示体８０により行った操作を検出して、検出した操作をスクリーンＳＣの表示画像に反映させる。さらに、プロジェクター１００は、指示位置を検出することによりポインティングデバイスとして動作し、スクリーンＳＣ上の指示位置の座標を出力してもよい。また、この座標を用いて、プロジェクター１００に対してＧＵＩ（Graphical User Interface）操作を行うこともできる。

図２は、プロジェクター１００の構成を示す構成図である。
プロジェクター１００は、外部の装置に接続されるインターフェイスとして、Ｉ／Ｆ（インターフェイス）部１１及び画像Ｉ／Ｆ（インターフェイス）部１２を備える。Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は、有線接続用のコネクターを備え、このコネクターに対応するインターフェイス回路を備えていてもよい。また、Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は、無線通信インターフェイスを備えていてもよい。有線接続用のコネクター及びインターフェイス回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠したものが挙げられる。また、無線通信インターフェイスとしては無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠したものが挙げられる。画像Ｉ／Ｆ部１２には、ＨＤＭＩ（登録商標）インターフェイス等の画像データ用のインターフェイスを用いることもできる。画像Ｉ／Ｆ部１２は、音声データが入力されるインターフェイスを備えてもよい。

Ｉ／Ｆ部１１は、ＰＣ等の外部の装置との間で各種データを送受信するインターフェイスである。Ｉ／Ｆ部１１は、画像の投射に関するデータ、プロジェクター１００の動作を設定するデータ等を入出力する。後述する制御部３０は、Ｉ／Ｆ部１１を介して外部の装置とデータを送受信する機能を有する。
画像Ｉ／Ｆ部１２は、デジタル画像データが入力されるインターフェイスである。本実施形態のプロジェクター１００は、画像Ｉ／Ｆ部１２を介して入力されるデジタル画像データに基づき画像を投射する。なお、プロジェクター１００は、アナログ画像信号に基づき画像を投射する機能を備えていてもよく、この場合、画像Ｉ／Ｆ部１２は、アナログ画像用のインターフェイスと、アナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路とを備えてもよい。

プロジェクター１００は、光学的な画像の形成を行う投射部２０を備える。投射部２０は、光源部２１、光変調装置２２及び投射光学系２３を有する。光源部２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）又はレーザー光源等からなる光源を備える。また、光源部２１は、光源が発した光を光変調装置２２に導くリフレクター及び補助リフレクターを備えていてもよい。さらに、プロジェクター１００は、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、又は光源が発した光の光量を光変調装置２２に至る経路上で低減させる調光素子等を備えていてもよい。

光変調装置２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。光源部２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射される。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。

投射光学系２３は、光変調装置２２により変調された画像光をスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系２３は、スクリーンＳＣの表示画像の拡大・縮小及び焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。プロジェクター１００が短焦点型である場合、投射光学系２３に、画像光をスクリーンＳＣに向けて反射する凹面鏡を備えていてもよい。

投射部２０は、制御部３０の制御に従って光源部２１を点灯させる光源駆動部４５、及び制御部３０の制御に従って光変調装置２２を動作させる光変調装置駆動部４６に接続される。光源駆動部４５は、光源部２１の点灯、消灯の切り替えを行い、光源部２１の光量を調整する機能を有していてもよい。

プロジェクター１００は、投射部２０が投射する画像を処理する画像処理系を備える。この画像処理系は、プロジェクター１００を制御する制御部３０、記憶部６０、操作検出部１７、画像処理部４０、光源駆動部４５及び光変調装置駆動部４６を含む。また、画像処理部４０にはフレームメモリー４１が接続され、制御部３０には位置検出部５０が接続される。これらの各部を画像処理系に含めてもよい。

制御部３０は、所定の制御プログラム６１を実行することによりプロジェクター１００の各部を制御する。記憶部６０は、制御部３０が実行する制御プログラム６１、操作履歴テーブル６２、及び制御部３０が処理するデータを不揮発的に記憶する。操作履歴テーブル６２の詳細については後述する。

画像処理部４０は、制御部３０の制御に従って、画像Ｉ／Ｆ部１２を介して入力される画像データを処理し、光変調装置駆動部４６に画像信号を出力する。画像処理部４０が実行する処理は、３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理や、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部４０は、制御部３０により指定された処理を実行し、必要に応じて、制御部３０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
画像処理部４０は、フレームメモリー４１に接続されている。画像処理部４０は、画像入力Ｉ／Ｆ１２から入力される画像データをフレームメモリー４１に展開して、展開した画像データに対し上記の各種処理を実行する。画像処理部４０は、処理後の画像データをフレームメモリー４１から読み出して、この画像データに対応するＲ、Ｇ、Ｂの画像信号を生成し、光変調装置駆動部４６に出力する。
光変調装置駆動部４６は、光変調装置２２の液晶パネルに接続される。光変調装置駆動部４６は、画像処理部４０から入力される画像信号に基づいて液晶パネルを駆動し、各液晶パネルに画像を描画する。

操作検出部１７は、入力デバイスとして機能するリモコン受光部１８及び操作パネル１９に接続され、リモコン受光部１８及び操作パネル１９を介した操作を検出する。
リモコン受光部１８は、プロジェクター１００の操作者が使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作データを生成し、制御部３０に出力する。
操作パネル１９は、プロジェクター１００の外装筐体に設けられ、各種スイッチ及びインジケーターランプを有する。操作検出部１７は、制御部３０の制御に従い、プロジェクター１００の動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯及び消灯させる。この操作パネル１９のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部１７から制御部３０に出力される。

位置検出部５０は、第１の指示体７０及び第２の指示体８０の少なくともいずれかによる指示位置を検出する。位置検出部５０は、撮影部５１、送信部５２、撮影制御部５３、対象検出部５４及び座標算出部５５の各部を備える。

撮影部５１は、スクリーンＳＣとその周辺部とを含む範囲を撮影範囲として撮影した撮影画像を形成する。撮影部５１は、赤外光による撮影と、可視光による撮影とをそれぞれ実行できる。具体的には、赤外光を撮影する赤外用撮像素子、可視光を撮影する可視光用撮像素子、赤外用撮像素子のインターフェイス回路、及び可視光用撮像素子のインターフェイス回路を備えた構成とすることができる。また、１つの撮像素子により可視光と赤外光との撮影を行う構成であってもよい。また、例えば、撮影部５１に、撮像素子に入射する光の一部を遮るフィルターを設け、撮像素子に赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子の前に配置させてもよい。撮像素子には、ＣＣＤ、ＣＭＯＳのいずれを用いることも可能であり、また、他の素子を用いることもできる。

撮影部５１の赤外光による撮影時の撮影方向および撮影範囲（画角）は、投射光学系２３と同じ方向、又は略同じ方向を向き、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲をカバーする。同様に、撮影部５１の可視光による撮影時の撮影方向及び撮影範囲は、投射光学系２３と同じ方向、又は略同じ方向を向き、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲をカバーする。撮影部５１は、赤外光で撮影した撮影画像のデータ、及び可視光で撮影した撮影画像のデータをそれぞれ出力する。

撮影制御部５３は、制御部３０の制御に従って撮影部５１を制御し、撮影部５１に撮影を実行させる。撮影制御部５３は、撮影部５１の撮影画像のデータを取得して、対象検出部５４に出力する。撮影部５１が可視光で撮影した撮影画像のデータには、スクリーンＳＣ、スクリーンＳＣに表示された表示画像、及び撮影範囲内に存在する操作者が写る。また、撮影部５１が赤外光で撮影する撮影画像のデータには、第１の指示体７０が発する赤外光の像が写る。

送信部５２は、撮影制御部５３の制御に従って、第１の指示体７０に対して赤外線信号を送信する。送信部５２は、赤外ＬＥＤ等の光源を有し、この光源を撮影制御部５３の制御に従って点灯及び消灯させる。

対象検出部５４には、撮影制御部５３から撮影画像のデータが入力される。対象検出部５４は、入力される撮影画像のデータから、人物が写った人物領域を検出する。人物領域は、撮影画像において人物の像を含む領域である。対象検出部５４による人物領域の検出は、一般的に知られた方法を用いることができる。例えば、対象検出部５４は、入力された撮影画像のデータのエッジを検出して、人の形状にマッチする領域を人物領域として検出する。また、対象検出部５４は、色情報（輝度、色度等）が所定時間内に変化する領域を検出して、検出した領域のサイズが所定値以上のものや、検出した領域の経時的な移動範囲が所定範囲内のものを人物領域として検出してもよい。

また、対象検出部５４は、撮影画像のデータの人物領域から、操作者の手指の画像を検出して第２の指示体８０を検出する。対象検出部５４は、人物領域から、予め定めた手指の形状や特徴に近い領域を、第２の指示体８０の領域として検出する。対象検出部５４が検出する操作者の手指は、１本又は複数本の指、手全体、又は指を含む手の一部のいずれであってもよい。
また、対象検出部５４は、検出した第２の指示体８０の領域から手指の先端（指先）を特定し、特定した手指の先端の位置を指示位置として検出する。対象検出部５４は、第２の指示体８０の指示位置の座標を、撮影画像のデータにおける座標で算出する。
また、対象検出部５４は、検出した第２の指示体８０とスクリーンＳＣとの距離を検出する。対象検出部５４は、検出した手指の先端と、スクリーンＳＣとの距離を撮影画像のデータに基づいて判定する。例えば、対象検出部５４は、撮影画像のデータから指の画像と、指の影の画像とを検出して、検出した画像の間の距離に基づいて、手指の先端とスクリーンＳＣとの距離を求める。
また、対象検出部５４は、撮影画像のデータから複数の人物領域を検出した場合には、各人物領域について、第２の指示体８０の領域と、第２の指示体８０の指示位置の座標とを検出し、検出した第２の指示体８０とスクリーンＳＣとの距離を算出する。

対象検出部５４は、第１の指示体７０の指示位置の座標を検出する。対象検出部５４は、撮影部５１が赤外光により撮影した撮影画像のデータに写った赤外光の像を検出して、撮影画像のデータにおける、第１の指示体７０の指示位置の座標を検出する。撮影部５１の撮影画像のデータから第１の指示体７０を特定する方法の詳細については後述する。
また、対象検出部５４は、第１の指示体７０の先端部７１がスクリーンＳＣに接触しているか否かを判定して、先端部７１がスクリーンＳＣに接触しているか否かを示すタッチ情報を生成する。第１の指示体７０の先端部７１がスクリーンＳＣに接触しているか否かの判定方法についても後述する。
また、対象検出部５４は、複数の第１の指示体７０が使用される場合に、複数の第１の指示体７０が発する赤外光の像の各々の像を、異なる第１の指示体７０の像として区別する。対象検出部５４による複数の第１の指示体７０が発する赤外光の像の区別の方法については後述する。座標算出部５５は、第１の指示体７０のそれぞれが指示する指示位置の座標に、各第１の指示体７０を識別する識別情報を付与して制御部３０に出力する。

座標算出部５５は、指示位置の座標を、スクリーンＳＣの表示画像における指示位置の座標に変換する。対象検出部５４が検出する第１の指示体７０及び第２の指示体８０の指示位置の座標は、撮影画像のデータにおける座標である。座標算出部５５は、対象検出部５４が検出した指示位置の座標から、キャリブレーションの結果に基づいて、スクリーンＳＣの表示画像上に仮想的に設けられた座標軸における指示位置の座標を算出する。撮影画像のデータにおける座標は、プロジェクター１００とスクリーンＳＣとの距離、投射光学系２３におけるズーム率、プロジェクター１００の設置角度、撮影部５１とスクリーンＳＣとの距離等の様々な要素の影響を受ける。座標算出部５５は、事前に実施されるキャリブレーションの結果に基づき、撮影画像のデータにおける指示位置の座標から、スクリーンＳＣの表示画像における指示位置の座標を算出する。キャリブレーションでは、所定のパターン画像を投射部２０からスクリーンＳＣに投射して、表示されたパターン画像を撮影部５１で撮影する。撮影部５１の撮影したパターン画像に基づいて、撮影画像のデータにおける座標と、スクリーンＳＣの表示画像上の座標との対応関係（座標変換パラメーター）が導かれる。

座標算出部５５は、第２の指示体８０により指示された指示位置の座標と、指示体情報と、距離情報と、人物領域の範囲情報と、撮影画像のデータとを制御部３０に出力する。指示体情報は、指示位置の座標が第２の指示体８０により指示された座標であることを示す情報である。距離情報は、第２の指示体８０とスクリーンＳＣとの距離を示す情報である。人物領域の範囲情報は、対象検出部５４が指示位置の座標の算出に使用した範囲情報である。
また、座標算出部５５は、第１の指示体７０により指示された指示位置の座標と、指示体情報と、タッチ情報と、識別情報とを制御部３０に出力する。指示体情報は、指示位置の座標が第１の指示体７０により指示された座標であることを示す情報である。タッチ情報は、第１の指示体７０の先端部７１がスクリーンＳＣに接触しているか否かを示す情報である。識別情報は、第１の指示体７０が複数使用された場合に、各第１の指示体７０を識別する情報である。座標算出部５５は、第１の指示体７０が１つだけ使用される場合にも、指示位置の座標、指示体情報及びタッチ情報に識別情報を付加して、制御部３０に出力する。

第１の指示体７０は、制御部７３、送受信部７４、操作スイッチ７５及び電源部７６を備え、これらの各部は軸部７２（図１）に収容される。制御部７３は、送受信部７４及び操作スイッチ７５に接続され、操作スイッチ７５のオン／オフ状態を検出する。送受信部７４は、赤外ＬＥＤ等の光源と、赤外光を受光する受光素子とを備え、制御部７３の制御に従って光源を点灯及び消灯させるとともに、受光素子の受光状態を示す信号を制御部７３に出力する。
電源部７６は、電源として乾電池又は二次電池を有し、制御部７３、送受信部７４及び操作スイッチ７５の各部に電力を供給する。第１の指示体７０は、電源部７６からの電源供給をオン／オフする電源スイッチを備えていてもよい。

ここで、位置検出部５０と第１の指示体７０との相互の通信により、撮影部５１の撮影画像のデータから第１の指示体７０の指示位置を特定する方法について説明する。
制御部３０は、第１の指示体７０による操作を検出する場合に、撮影制御部５３を制御して、送信部５２から同期用の信号を送信させる。すなわち、撮影制御部５３は、制御部３０の制御に従って、送信部５２の光源を所定の周期で点灯させる。送信部５２が周期的に発する赤外光が、位置検出部５０と第１の指示体７０とを同期させる同期信号として機能する。
一方、制御部７３は、電源部７６から電源の供給が開始され、所定の初期化動作を行った後、プロジェクター１００の送信部５２が発する赤外光を、送受信部７４により受光する。送信部５２が周期的に発する赤外光を送受信部７４により受光すると、制御部７３は、この赤外光のタイミングに同期させて、予め設定された第１の指示体７０に固有の点灯パターンで送受信部７４の光源を点灯（発光）させる。また、制御部７３は、操作スイッチ７５の操作状態に応じて、送受信部７４の点灯パターンを切り替える。このため、プロジェクター１００の対象検出部５４は、複数の撮影画像のデータに基づいて、第１の指示体７０の操作状態、すなわち先端部７１がスクリーンＳＣに押しつけられているか否かを判定できる。
また、制御部７３は、電源部７６から電源が供給されている間、上記のパターンを繰り返し実行する。つまり、送信部５２は、第１の指示体７０に対し、同期用の赤外線信号を周期的に送信し、第１の指示体７０は、送信部５２が送信する赤外線信号に同期して、予め設定された赤外線信号を送信する。

撮影制御部５３は、撮影部５１による撮影タイミングを、第１の指示体７０が点灯するタイミングに合わせる制御を行う。この撮影タイミングは、撮影制御部５３が送信部５２を点灯させるタイミングに基づいて決定される。対象検出部５４は、撮影部５１の撮影画像のデータに第１の指示体７０の光の像が写っているか否かにより、第１の指示体７０が点灯するパターンを特定できる。対象検出部５４は、複数の撮影画像のデータに基づいて、第１の指示体７０の先端部７１がスクリーンＳＣに押しつけられているか否かを判定して、タッチ情報を生成する。
第１の指示体７０の点灯パターンは、第１の指示体７０の個体毎に固有のパターン、又は複数の第１の指示体７０に共通のパターンと個体毎に固有のパターンとを含むものとすることができる。この場合、対象検出部５４は、撮影画像のデータに複数の第１の指示体７０が発する赤外光の像が含まれる場合に、各々の像を、異なる第１の指示体７０の像として区別できる。

制御部３０は、記憶部６０に記憶された制御プログラム６１を読み出して実行することにより投射制御部３１、人物検出部３２、検出部３３、無効判定部３４、検出制御部３５の機能を実現し、プロジェクター１００の各部を制御する。

投射制御部３１は、操作検出部１７から入力される操作データに基づいて、操作者がリモコンを操作して行った操作内容を取得する。投射制御部３１は、操作者が行った操作に応じて画像処理部４０、光源駆動部４５及び光変調装置駆動部４６を制御し、スクリーンＳＣに画像を投射させる。
また、投射制御部３１は、画像処理部４０を制御して、上述した３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させる。また、投射制御部３１は、画像処理部４０の処理に合わせて光源駆動部４５を制御し、光源部２１の光量を制御する。

人物検出部３２は、位置検出部５０から入力される撮影画像のデータ及び人物領域の範囲情報に基づいて、撮影画像の人物領域から、予め定めた顔の形状や特徴に近い領域を顔領域として検出する。人物検出部３２は、検出した顔領域から特徴量を算出する。ここでは、特徴量とは、撮影画像に写る人物に固有の値である。人物検出部３２は、例えば、人物の顔領域の大きさ、人物の顔領域が撮影画像中に占める割合、目と眉の間隔、両目の間隔、目の縦方向の長さ及び横方向の幅等を、予め設定された条件で計測して数値化し、特徴量を求める。また、人物検出部３２は、鼻の縦方向の長さ及び横方向の幅、口の横方向の幅、目と鼻の間隔、鼻と口の間隔、眼鏡の有無等を、予め設定された条件で計測して数値化し、特徴量を求めてもよい。
また、人物検出部３２は、撮影画像の人物領域から顔領域を除いた領域を人体領域とし、この人体領域から特徴量を算出する。人物検出部３２は、人体領域から操作者の身体の部位、例えば、肩、手、足等を認識し、例えば、脚の長さ、腕の長さ、身長、体型等を、予め設定された条件で計測して数値化し、特徴量を求める。また、人物検出部３２は、撮影画像のデータの人物領域から服の色や、髪の色を検出して、特徴量としてもよい。

また、人物検出部３２は、撮影画像のデータと、撮影画像における人物領域の範囲情報とに基づいて、操作者の位置を示す位置情報を算出する。例えば、人物検出部３２は、撮影画像の水平方向における、人物領域の中心座標を算出し、算出した中心座標を操作者の水平方向における位置情報とする。
また、撮影画像のデータには、スクリーンＳＣと、撮影範囲内に存在する操作者とが写る。人物検出部３２は、撮影画像のデータから人物領域とスクリーンＳＣとを検出し、撮影画像の垂直方向における、人物領域の中心座標とスクリーンとの距離を算出する。人物検出部３２は、スクリーンＳＣから人物領域の中心座標までの距離を、操作者の垂直方向における位置情報とする。
また、人物検出部３２は、撮影画像に複数の人物が写っており、位置検出部５０から、複数の人物領域の範囲情報が入力された場合には、各人物領域について、操作者の位置を特定する。

図３に、操作履歴テーブル６２を示す。操作履歴テーブル６２には、操作履歴情報が登録される。操作履歴情報には、操作者ＩＤ、位置情報、人物領域の範囲、特徴量、操作情報、軌跡データ、日時情報等が含まれる。
操作者ＩＤは、操作者を識別するＩＤである。人物検出部３２は、撮影画像から新たな操作者（位置情報及び特徴量）を検出すると、検出した操作者に操作者ＩＤを付与して、位置情報、人物領域の範囲及び特徴量と共に操作履歴テーブル６２に登録する。新たな操作者とは、操作履歴テーブル６２に登録済みの操作者とは特徴量が異なる操作者である。操作情報、軌跡データ及び日時情報は、後述する検出部３３により生成され、検出部３３により操作履歴テーブル６２に登録される情報である。これらの情報の詳細については後述する。

人物検出部３２は、今回の撮影画像から検出した操作者の特徴量と、操作履歴テーブル６２に登録された各操作者の特徴量とを比較して、検出した操作者が既に検出済みの操作者であるか否かを判定する。
人物検出部３２は、今回の撮影画像から検出した操作者（以下、対象操作者という）の特徴量に一致する特徴量が操作履歴テーブル６２に登録されている場合、対象操作者は、既に検出済みの操作者であると判定する。この場合、人物検出部３２は、操作履歴テーブル６２から特徴量が一致する操作者の位置情報を読み出して、読み出した位置情報と、今回の撮影画像から検出した位置情報とを比較する。人物検出部３２は、対象操作者が前回の撮影画像から検出した位置から動いているか否かを判定する。位置情報に更新がある場合、人物検出部３２は、操作履歴テーブル６２の該当するセルに、今回の撮影画像から検出した位置情報及び人物領域の範囲情報を登録して更新する。
また、対象操作者の特徴量に一致する特徴量が操作履歴テーブル６２に登録されていない場合、人物検出部３２は、対象操作者が新たに検出された操作者であると判定する。
人物検出部３２は、対象操作者に新たなＩＤ番号（操作者ＩＤという）を付与し、位置情報、人物領域の範囲情報及び特徴量を操作履歴テーブル６２に登録する。

検出部３３は、メモリー（図示略）を備え、第１の指示体７０の操作面に対する操作、及び第２の指示体８０の操作面に対する操作を検出する。操作には、スクリーンＳＣ上の一定の位置を指定（指示）する操作や、スクリーンＳＣ上の異なる位置を連続して指示する操作、ジェスチャー操作等が含まれる。

無効判定部３４は、処理モードとして第１モードと第２モードとを備える。無効判定部３４は、第１モードに設定された場合、第１の処理を実行する。また、無効判定部３４は、第２モードに設定された場合、第２の処理を実行する。無効判定部３４は、第１モードと第２モードとを切り替えて実行する。すなわち、第１の処理と第２の処理とは同時には実行されない。無効判定部３４は、すでに入力された操作を無効にする指示（以下、無効指示という）が検出部３３により検出されると、処理モードに応じて無効にする操作を判定し、判定した操作を無効にする。
また、検出部３３は、例えば、第２の指示体８０としての操作者の手指を、左から右、又は右から左に１回又は複数回振るジェスチャーを検出した場合に、検出したジェスチャーを無効指示と判定する。なお、検出部３３は、例えば、スクリーンＳＣに、第１の指示体７０によりバツ印等の予め設定された記号を描画する操作を検出した場合にも、この操作を無効指示と判定してもよい。

無効判定部３４は、検出部３３により無効指示が検出されると、この無効指示を行った操作者の操作履歴情報を参照する。
無効判定部３４は、無効指示を行った操作者の操作履歴情報として、第２の指示体８０による操作（第１の操作）、第１の指示体７０による操作、無効指示を示す操作（第２の操作）の順に操作が検出されているか否かを判定する。無効判定部３４は、前述の順に、操作が検出されている場合、処理モードが第１モードであるか、第２モードであるかを判定し、処理モードが第１モードであるか第２モードであるかによって、次のように処理を変える。まず、無効判定部３４は、前述した順に操作が検出されている場合、第１モードであれば、第１の処理として、第２の指示体８０による操作を無効にする。次に、無効判定部３４は、前述した順に操作が検出されている場合、処理モードが第２モードであれば、第２の処理として第１の指示体７０による操作を無効にする。
また、無効判定部３４は、第２の指示体８０による操作と、第１の指示体７０による操作とが検出される間に、他の操作者による操作が検出されても、第１の処理では、第２の指示体８０による操作を無効にするようにしてもよい。また、無効判定部３４は、第２の処理では、第１の指示体７０による操作を無効にするようにしてもよい。また、第１の指示体７０による操作と、無効指示を示す操作とが検出される間に、他の操作者による操作が検出された場合も、無効判定部３４は、第１の処理では第２の指示体８０による操作を無効にしてもよい。また、無効判定部３４は、第２の処理では第１の指示体７０による操作を無効にするようにしてもよい。具体的には、操作履歴情報として、第２の指示体８０による操作（第１の操作）、第１の指示体７０による操作、無効指示を示す操作（第２の操作）の順に操作が検出されている場合に、制御部３０は、操作履歴情報から第２の操作の操作者と第１の操作の操作者が同一であると判定すると第１の操作を無効にし、第２の操作の操作者と第１の操作の操作者が同一ではないと判定すると第１の操作を無効とはしないようにしてもよい。

検出制御部３５は、位置検出部５０を制御して、第１の指示体７０及び第２の指示体８０による指示位置の検出を実行させる。
また、検出制御部３５は、無効判定部３４から入力されるコマンド等に基づいて、予め設定された処理を実行する。例えば、検出制御部３５は、無効判定部３４から入力される描画コマンドや、描画位置を指定する座標に基づいて、画像処理部４０により図形を描画させ、描画した図形を画像Ｉ／Ｆ部１２に入力される入力画像に重畳して投射させる処理を行う。また、検出制御部３５は、取得した座標をＩ／Ｆ部１１に接続されたＰＣ等の外部の装置に出力してもよい。この場合、検出制御部３５は、取得した座標を、Ｉ／Ｆ部１１に接続された外部の装置のオペレーティングシステムにおいて、座標入力デバイスの入力として認識されるデータフォーマットに変換して出力してもよい。例えば、Ｉ／Ｆ部１１にＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムで動作するＰＣが接続された場合、オペレーティングシステムにおいてＨＩＤ（Human Interface Device）の入力データとして処理されるデータを出力する。また、検出制御部３５は、座標のデータとともに、第１の指示体７０の指示位置であるか第２の指示体８０の指示位置であるかを識別するデータ、及び操作スイッチ７５の操作状態を示すデータを出力してもよい。

図４及び図５は、検出部３３及び無効判定部３４の処理手順を示すフローチャートである。
まず、検出部３３は、位置検出部５０及び人物検出部３２からデータセットを入力する（ステップＳ１）。データセットは、第１データセットと第２データセットとを含む。第１データセットは、位置検出部５０が検出した指示位置の座標が、第１の指示体７０の指示位置の座標である場合に、検出部３３に入力されるデータである。第１データセットには、指示位置の座標、指示体情報、タッチ情報及び識別情報が含まれる。また、第２データセットは、位置検出部５０が検出した指示位置の座標が、第２の指示体８０の指示位置の座標である場合に、検出部３３に入力されるデータである。第２データセットには、位置検出部５０から入力される指示位置の座標、指示体情報、距離情報及び人物領域の範囲情報と、人物検出部３２から入力される操作者の位置情報と、人物領域の範囲情報とが含まれる。検出部３３は、位置検出部５０から入力される人物領域の範囲情報と、人物検出部３２から入力される人物領域の範囲情報とに基づいて、指示位置の座標と、操作者の位置情報とを対応付ける。すなわち、検出部３３は、人物領域の範囲情報が同一の指示位置の座標と、操作者の位置情報とを対応付ける。

次に、検出部３３は、位置検出部５０から入力されたデータセットをメモリーに記憶させて、第１の指示体７０及び第２の指示体８０の少なくともいずれかによる指示位置の軌跡を示す軌跡データを作成する（ステップＳ２）。
検出部３３は、入力されたデータセットが第１データセットである場合、まず、タッチ情報により、第１の指示体７０がスクリーンＳＣに接触しているか否かを判定する。検出部３３は、タッチ情報により、第１の指示体７０がスクリーンＳＣに接触していないと判定する場合、今回入力された第１データセットを、無効なデータとしてメモリーには記憶させない。
次に、検出部３３は、第１データセットに含まれる識別情報を参照して、今回入力された第１データセットの識別情報と同一の識別情報を対応付けた指示位置の座標が、メモリーに既に記憶されているか否かを判定する。検出部３３は、同一の識別情報に対応付けられた指示位置の座標がメモリーに記憶されている場合、このメモリーに記憶された指示位置の座標に対応付けて、今回入力された第１データセットの指示位置の座標をメモリーに記憶させる。すなわち、検出部３３は、同一の第１の指示体７０により指示された指示位置の座標を、メモリーに対応付けて記憶させる。
また、検出部３３は、今回入力された第１データセットの識別情報と同一の識別情報を対応付けた指示位置の座標がメモリーに記憶されていない場合、今回入力された第１データセットの指示位置の座標を、他の指示位置の座標に対応付けることなく記憶させる。

また、検出部３３は、入力されたデータセットが第２データセットである場合、まず、第２データセットに含まれる距離情報を参照する。検出部３３は、距離情報に基づいて、今回入力された第２データセットが以下の２つのグループのうちのどのグループに属するかを判定する。第１グループは、スクリーンＳＣに接した第２の指示体８０により指示位置を指示されたグループである。第２グループは、第２の指示体８０がスクリーンＳＣには接しておらず、第２の指示体８０とスクリーンＳＣとの距離が予め設定された距離以内にあるグループである。

検出部３３は、今回入力された第２データセットに含まれる位置情報が示す操作者の位置と同一の位置、又は位置情報が示す操作者の位置から予め設定された距離以内にある位置情報に対応付けられた指示位置の座標が、メモリーに記憶されているかを判定する。すなわち、検出部３３は、操作者の位置情報に基づいて、今回入力された指示位置の座標を指示した操作者が過去に指示した指示位置の座標がメモリーに記憶されているか否かを判定する。なお、対象となる指示位置の座標は、第２の指示体８０により指示された指示位置の座標である。
検出部３３は、同一の操作者により入力された指示位置の座標がメモリーに記憶されていると判定すると、今回入力された第２データセットの指示位置の座標と、メモリーに記憶済みの指示位置の座標とが同一グループに属しているか否かを判定する。検出部３３は、同一のグループに属すると判定すると、記憶済みの指示位置の座標に対応付けて、今回入力された第２データセットの指示位置の座標をメモリーに記憶させる。また、検出部３３は、同一のグループには属さないと判定すると、今回入力された第２データセットの指示位置の座標を、メモリーに記憶済みの他の指示位置の座標に対応付けることなく記憶させる。すなわち、検出部３３は、同一の操作者により指示された指示位置の座標であっても、第２の指示体８０がスクリーンＳＣに接している場合の指示位置と、第２の指示体８０がスクリーンＳＣに接していない場合の指示位置とを区別してメモリーに記憶させる。

次に、検出部３３は、作成した指示位置の軌跡データに基づいて、第１の指示体７０及び第２の指示体８０の少なくともいずれかによる操作を検出する（ステップＳ３）。検出部３３が検出する第１の指示体７０、第２の指示体８０による操作には、例えば、指示位置に図形を描画したり文字や記号を配置したりする操作、指示位置の軌跡データに沿って図形を描画する操作、描画した図形や文字又は記号を消去する操作等が含まれる。検出部３３は、第１の指示体７０の指示位置の座標から作成された軌跡データを用いて、例えば、図形を描画する操作等を検出する。また、検出部３３は、第１グループに分類された指示位置の座標、すなわち、スクリーンＳＣに接する第２の指示体８０の指示位置の座標から作成された軌跡データを用いて、例えば、描画したり文字や記号を配置する操作等を検出する。

また、検出部３３が検出する第２の指示体８０による操作には、ジェスチャーが含まれる。ジェスチャーには、例えば、スクリーンＳＣの表示画像を拡大又は縮小させる操作や、一旦入力した操作を無効にする操作等が含まれる。検出部３３は、第２グループに分類された指示位置の座標、すなわち、スクリーンＳＣに接していない第２の指示体８０の指示位置の座標から作成された軌跡データを用いて、第２の指示体８０によるジェスチャーを検出する。
検出部３３は、第２の指示体８０の指示位置の軌跡データと、記憶部６０のジェスチャーパターン辞書に登録されたジェスチャーの動作パターンとを比較して、ジェスチャーを検出する。検出部３３は、第２の指示体８０の指示位置の軌跡データから、第２の指示体８０の動作特徴（例えば、動きベクトル）を抽出する。そして、検出部３３は、抽出した第２の指示体８０の動作特徴を、ジェスチャーパターン辞書に登録されているジェスチャーの動作パターンと比較してジェスチャーを検出する。

検出部３３は、第１の指示体７０及び第２の指示体８０による操作を検出できない場合（ステップＳ３／ＮＯ）、ステップＳ１の処理に戻る。また、検出部３３は、第１の指示体７０による操作を検出した場合（ステップＳ３／ＹＥＳ）、検出した操作の内容を示す操作情報と、操作の検出に使用した軌跡データとを操作履歴テーブル６２に登録する（ステップＳ４）。また、検出部３３は、第２の指示体８０による操作を検出した場合（ステップＳ３／ＹＥＳ）、検出した操作の内容を示す操作情報と、操作の検出に使用した軌跡データとを操作履歴テーブル６２に登録する（ステップＳ４）。この際、検出部３３は、操作履歴テーブル６２に登録された人物領域の範囲情報を参照して、操作情報及び軌跡データを対応付ける操作者ＩＤを判定する。例えば、検出部３３は、軌跡データの示す座標がどの人物領域に含まれるか、又はどの人物領域に最も近いかに基づいて、操作情報及び軌跡データを対応付ける操作者ＩＤを判定する。操作情報には、第１の指示体７０による操作であるのか、第２の指示体８０による操作であるのかを示す指示体情報も含まれる。また、検出部３３は、操作情報及び軌跡データを操作履歴テーブル６２に登録した日時を日時情報として操作履歴テーブル６２に登録する。
また、検出部３３は、第２の指示体８０の操作としてジェスチャーを検出した場合には、ジェスチャーの内容を示す操作情報と、軌跡データとを操作履歴テーブル６２に登録する。この際、検出部３３は、軌跡データの示す座標がどの人物領域に含まれるか、又はどの人物領域に最も近いかに基づいて、操作情報及び軌跡データを対応付ける操作者ＩＤを判定する。また、検出部３３は、操作情報及び軌跡データを登録した日時を日時情報として操作履歴テーブル６２に登録する。
また、検出部３３は、操作履歴テーブル６２に操作情報、軌跡データ及び日時情報が登録されてから予め設定された時間を経過すると、これらの情報に対応付けられた操作者に関する情報を操作履歴テーブル６２から削除する。操作者に関する情報には、操作者ＩＤ、位置情報、人物領域及び特徴量の情報が含まれる。

次に、検出部３３は、軌跡データに基づいて無効指示を検出したか否かを判定する（ステップＳ５）。検出した操作が無効判定ではない場合（ステップＳ５／ＮＯ）、検出部３３は、検出した操作に応じた処理の実行を指示するコマンドを検出制御部３５に出力する（ステップＳ１２）。また、検出部３３は、検出した操作が無効指示である場合（ステップＳ５／ＹＥＳ）、無効指示を検出した旨と、操作を検出した操作者の操作者ＩＤとを無効判定部３４に通知する。

無効判定部３４は、無効指示を検出した旨の通知を検出部３３から入力すると、操作履歴テーブル６２から、この通知と共に入力された操作者ＩＤの示す操作者の操作履歴情報を取得する（ステップＳ６）。無効判定部３４は、操作者ＩＤの示す操作者の操作履歴情報のうち、無効指示の１つ前に入力された操作履歴情報と、無効指示の２つ前に入力された操作履歴情報とを取得する。

次に、無効判定部３４は、取得した操作履歴情報に基づいて、無効条件が成立するか否かを判定する（ステップＳ７）。無効判定部３４は、第２の指示体８０による操作、第１の指示体７０による操作、無効指示の順に操作が検出され、これらの操作が同一の操作者により入力されている場合に、無効条件が成立していると判定する。無効判定部３４は、ステップＳ７の判定が肯定判定である場合（ステップＳ７／ＹＥＳ）、現在の処理モードが第１のモードであるか否かを判定する（ステップＳ８）。肯定判定の場合（ステップＳ８／ＹＥＳ）、無効判定部３４は、第２の指示体８０による操作を、無効にする操作に選択する（ステップＳ９）。第１のモードでは、ペン等の第１の指示体７０による操作と、操作者の手指である第２の指示体８０による操作では、第１の指示体７０による操作が正しい可能性が高いと判定して、第２の指示体８０による操作を、無効にする操作に選択する。例えば、第２の指示体８０である操作者の手指の動きが誤検出され、操作者が、第２の指示体８０による操作が入力されたことに気付かずに第１の指示体７０による操作を入力してしまった場合に、無効指示により第２の指示体８０の操作を無効にすることができる。また、操作者の手指の動きを誤検出してしまう場合とは、例えば、操作者が気付かないうちに手指をスクリーンＳＣに接触させてしまった場合や、他の操作者との会話中に行ったジェスチャーを、スクリーンＳＣに対する操作として誤検出してしまう場合である。

図６は、指示が行われた場合のプロジェクター１００の動作の説明図である。図６（Ａ）〜図６（Ｅ）は、指示が行われた場合のスクリーンＳＣの表示状態を示す。第１の指示体７０及び第２の指示体８０による操作と、無効指示とに応じて、プロジェクター１００は、スクリーンＳＣの表示状態を図６に示す矢印の通りに遷移させる。
図６に、スクリーンＳＣと、このスクリーンＳＣに描画された文字とを示す。図６（Ａ）には、「特許１２３４５」、「特許６７８９０」、「特許ＡＢＣＤＥ」の文字が、スクリーンＳＣに３行で描画された状態を示す。図６（Ｂ）には、図６（Ａ）に示す状態から、１行目の「特許１２３４５」の文字が削除された状態を示す。この「特許１２３４５」の文字は、第２の指示体８０による操作により誤って削除されたとする。例えば、他の操作者との会話中に行ったジェスチャーを、プロジェクター１００が、スクリーンＳＣに対する操作として誤検出してしまった場合である。図６（Ｃ）は、操作者が、第２の指示体８０による誤った操作に気付かずに、「特許ＡＢＣＤＥ」の文字の下に、「特許ＥＦＧＨＩＪ」の文字を入力し、「特許ＥＦＧＨＩＪ」の文字がスクリーンＳＣに描画された状態を示す。「特許ＥＦＧＨＩＪ」の文字を入力した後に、操作者が１行目に描画した「特許１２３４５」の文字を誤って削除してしまったことに気がつき、直前の操作を無効にするアンドゥ操作を行った場合、「特許ＥＦＧＨＩＪ」が消去されてしまう。図６（Ｄ）には、アンドゥ操作によってスクリーンＳＣの表示から「特許ＥＦＧＨＩＪ」が消去された状態を示す。

図６（Ｅ）には、図６（Ｃ）に示す、誤った操作に気付かずに特許「ＡＢＣＤＥ」の文字の下に、「特許ＥＦＧＨＩＪ」の文字を入力した後に、本実施形態の第１モードでの無効指示がプロジェクター１００に入力された場合のスクリーンＳＣの表示状態を示す。
無効判定部３４は、第２の指示体８０により「特許１２３４５」の文字を削除する操作が検出され、その後に、第１の指示体７０により「特許ＥＦＧＨＩＪ」の文字を入力する操作を検出した後に、無効指示を受け付けた場合、無効条件に該当すると判定する。この場合、無効判定部３４は、第２の指示体８０による操作である「特許１２３４５」の文字を削除する操作を無効にする対象に選択する。
また、ステップＳ８の判定が否定判定である場合（ステップＳ８／ＮＯ）、無効判定部３４は、処理モードが第２のモードであると判定し、第１の指示体７０による操作を、無効にする操作に選択する（ステップＳ１０）。無効判定部３４は、無効にする操作を選択すると、選択した操作を無効にするコマンドを出力する（ステップＳ１１）。例えば、無効にする操作が、スクリーンＳＣに描画された図形を消去する操作である場合、無効判定部３４は、消去された図形を描画する描画コマンドと、図形の描画位置を示す座標情報とを検出制御部３５に出力する。検出制御部３５は、無効判定部３４の指示に従い、画像処理部４０に図形の描画を指示する。画像処理部４０は、フレームメモリー４１に展開された画像データに指示された図形を重畳させる。また、無効にする操作が、スクリーンＳＣに図形を描画する操作である場合、無効判定部３４は、描画された図形を消去する消去コマンドと、消去する図形の位置を示す位置情報とを検出制御部３５に出力する。検出制御部３５は、無効判定部３４の指示に従い、画像処理部４０に図形の消去を指示する。画像処理部４０は、検出制御部３５の指示に従って、フレームメモリー４１に展開された画像データの該当の指示位置に重畳された図形を消去する。

また、ステップＳ７の判定が否定判定の場合（ステップＳ７／ＮＯ）、無効判定部３４は、検出した操作（第３の操作）がスクリーンＳＣに描画された図形、文字又は記号（以下、図形等という）を指定した無効指示であるか否かを判定する（ステップＳ１３）。例えば、スクリーンＳＣに描画された図形上に、バツ印等の予め設定された記号を描画する操作が検出された場合、無効判定部３４は、図形等を指定した無効指示であると判定する。図形等を指定した無効指示であると判定すると（ステップＳ１３／ＹＥＳ）、無効判定部３４は、操作履歴テーブル６２の軌跡データを参照する。無効判定部３４は、操作履歴テーブル６２の軌跡データを参照して、軌跡データに、消去指示により指定された図形等の描画位置が含まれる操作履歴情報を、対応する操作履歴情報として検出する（ステップＳ１５）。対応する操作履歴情報とは、すなわち、無効指示により無効にされる図形等を描画した操作の情報である。次に、無効判定部３４は、操作履歴テーブル６２を参照して、操作履歴情報に、操作者に関する情報が対応付けられているか否かを判定する（ステップＳ１６）。操作者に関する情報が対応付けられていない場合（ステップＳ１６／ＮＯ）、無効判定部３４は、指定された図形等を無効にするコマンドと、無効にする図形の位置を示す位置情報とを検出制御部３５に出力する（ステップＳ１７）。操作者に関する情報が対応付けられていない場合とは、例えば、操作履歴テーブル６２に操作情報、軌跡データ及び日時情報が登録されてから予め設定された時間を経過してしまい、これらの情報に対応付けられた操作者に関する情報が操作履歴テーブル６２から削除された場合等が含まれる。検出制御部３５は、無効判定部３４の指示に従い、画像処理部４０に図形等を無効にする指示を出す。画像処理部４０は、検出制御部３５の指示に従って、フレームメモリー４１に展開された画像データの該当の指示位置に重畳された図形等を消去する。
また、操作者に関する情報が対応付けられている場合（ステップＳ１６／ＹＥＳ）、無効判定部３４は、ステップＳ１５で操作履歴情報を検出した操作の操作者と、ステップＳ１３の無効指示の操作者とが同一の操作者であるか否かを判定する（ステップＳ１８）。同一の操作者ではない場合（ステップＳ１８／ＮＯ）、無効判定部３４は、無効指示を入力しない（ステップＳ１９）。すなわち、無効指示により指定された図形等は、スクリーンＳＣに表示された状態を維持する。また、操作者が同一である場合（ステップＳ１８／ＹＥＳ）、無効判定部３４は、図形等を無効にするコマンドと、消去する図形の位置を示す位置情報とを検出制御部３５に出力する（ステップＳ１７）。また、無効判定部３４は、ステップＳ１３の指示が、図形等を指定した無効指示ではない場合（ステップＳ１３／ＮＯ）、操作に応じた処理の実行を指示するコマンドを検出制御部３５に出力する（ステップＳ１４）。

なお、上述したステップＳ２において、検出部３３は、タッチ情報により第１の指示体７０がスクリーンＳＣに接していると判定した場合、入力された第１データセットに含まれる指示位置の座標を操作として検出してもよい。この場合、検出部３３は、指示位置の座標に、描画コマンドを付与して検出制御部３５に出力してもよい。検出制御部３５は、指示位置の座標に基づいて、画像処理部４０に、フレームメモリー４１に展開された画像データの該当の指示位置に文字や図形を描画させる。また、第２の指示体８０の指示位置の座標のうち、第１グループに属する指示位置の座標についても同様である。

以上説明したように、本実施形態のプロジェクター１００は、検出部３３と、無効判定部３４とを備える。検出部３３は、第１の指示体７０によるスクリーンＳＣに対する操作と、第２の指示体８０によるスクリーンＳＣに対する操作とを検出する。無効判定部３４は、操作を無効にする指示を受け付ける。無効判定部３４は、検出部３３が、第２の指示体８０による操作を検出し、その後、第１の指示体７０による操作を検出した後に、指示を受け付けた場合に、第２の指示体８０による操作を無効にする。従って、複数の指示体（第１の指示体７０及び第２の指示体８０）により操作を行う場合の操作性を向上させることができる。

また、無効判定部３４は、第１の処理と第２の処理とを切り替えて実行する。第１の処理は、検出部３３が、第２の指示体８０による操作を検出し、その後、第１の指示体７０による操作を検出した後に、指示を受け付けた場合に、第２の指示体８０による操作を無効にする処理である。また、第２の処理は、検出部３３が、第２の指示体８０による操作を検出し、その後、第１の指示体７０による操作を検出した後に、指示を受け付けた場合に、第１の指示体７０による操作を無効にする処理である。従って、無効にする指示体（第１の指示体７０及び第２の指示体８０）の操作を選択することができる。

また、検出部３３は、第１の指示体７０による操作を、第１の指示体７０を操作する操作者に対応付けて検出し、また、第２の指示体８０による操作を、第２の指示体８０を操作する操作者に対応付けて検出する。無効判定部３４は、検出部３３が、第２の指示体８０による第１の操作を検出し、その後、第１の指示体７０による操作を検出した後に、第２の指示体８０による第２の操作を検出し、第２の操作が指示を示す操作である場合に、第２の操作の操作者と第１の操作の操作者とが同一であると判定すると、第１の操作を無効にする。また、無効判定部３４は、第２の操作の操作者と第１の操作の操作者とが同一ではないと判定すると、第１の操作を無効としない。従って、第２の操作の操作者と第１の操作の操作者とが同一であれば、第２の指示体８０による第１の操作を無効にすることができる。また、第２の指示体８０による第１の操作が他の操作者によって無効にされることを防止することができる。

また、無効判定部３４は、検出部３３が第１の操作を検出してから予め設定された時間が経過するまでは、第２の操作の操作者と第１の操作の操作者とが同一である場合に、第１の操作を無効にする。無効判定部３４は、予め設定された時間が経過した後に、検出部３３が検出した第２の指示体８０による第３の操作が、第１の操作を無効にする指示を示す操作である場合、第３の操作の操作者と第１の操作の操作者とが同一でなくても、第１の操作を無効にする。従って、予め設定された時間が経過するまでは、第１の操作が他の操作者によって無効にされることを防止することができる。また、予め設定された時間を経過した後は、第１の操作を行った操作者でなければ、第１の操作を無効にできない事態の発生を防止することができる。

また、検出部３３が検出した第２の指示体８０による操作と、操作を行った操作者とを対応付けた操作履歴情報を記憶する記憶部６０を備え、制御部１４０は、予め設定された時間が経過すると、操作履歴情報から、前記操作を行った操作者の情報を削除する。従って、操作を行った操作者以外の操作者が、第２の指示体８０による操作を無効にする処理を、簡単な処理により実現することができる。

なお、上述した実施形態及び変形例は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、異なる態様として本発明を適用することも可能である。例えば、第１の指示体７０はペン型の指示体に限らず、第２の指示体８０は操作者の手指に限らない。例えば、第１の指示体７０として、レーザーポインターや指示棒等を用いてもよく、その形状やサイズは限定されない。
また、図３には、操作履歴情報を登録した操作履歴テーブル６２を示したが、操作履歴情報は、操作者ＩＤに、位置情報や、特徴量、操作情報、軌跡データ、日時情報が対応付けられている形式であればよい。

また、上記実施形態では、位置検出部５０は、撮影部５１によりスクリーンＳＣを撮影して第１の指示体７０及び第２の指示体８０の位置を特定するものとしたが、本発明はこれに限定されない。例えば、撮影部５１は、プロジェクター１００の本体に設けられ、投射光学系２３の投射方向を撮影するものに限定されない。撮影部５１をプロジェクター１００本体とは別体とした構成とし、撮影部５１がスクリーンＳＣの側方や正面から撮影を行うものとしてもよい。
また、上記実施形態では、フロントプロジェクション型のプロジェクター１００から画像が投射（表示）されるスクリーンＳＣに対して、ユーザーが第１の指示体７０及び第２の指示体８０による操作を行う態様について説明した。これ以外に、プロジェクター１００以外の表示装置が表示する表示画面に対して指示操作を行う態様であってもよい。プロジェクター１００以外の表示装置としては、リアプロジェクション（背面投射）型のプロジェクター、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイを用いることができる。また、表示装置としては、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ、ＳＥＤ（Surface-conduction Electron-emitter Display）等を用いることができる。

また、上記実施形態では、プロジェクター１００から第１の指示体７０に対し、送信部５２が発する赤外線信号を用いて第１の指示体７０に同期用の信号を送信する構成を説明したが、同期用の信号は赤外線信号に限定されない。例えば、電波通信や超音波無線通信により同期用の信号を送信する構成としてもよい。この構成は、電波通信や超音波無線通信により信号を送信する送信部５２をプロジェクター１００に設け、同様の受信部を第１の指示体７０に設けることで実現できる。

また、上述した実施形態では、第１の指示体７０の先端部７１がスクリーンＳＣに押しつけられているか否かを、送受信部７４の点灯パターンに基づいて判定する例を説明したが、本発明はこれに限定されない。例えば、第１の指示体７０の先端部７１がスクリーンＳＣに押しつけられているか否かを、第２の指示体８０と同様に、撮影画像のデータから第１の指示体７０の画像と、第１の指示体７０の影の画像とを検出することで、判定してもよい。

また、上記実施形態では、光源が発した光を変調する光変調装置２２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。また、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネル又はＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。

また、図２に示したプロジェクター１００の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１００の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

２０…投射部、２１…光源部、２２…光変調装置、２３…投射光学系、３０…制御部、３１…投射制御部、３２…人物検出部、３３…検出部、３４…無効判定部（制御部）、３５…検出制御部、４０…画像処理部、５０…位置検出部、５１…撮影部、５２…送信部、５３…撮影制御部、５４…対象検出部、５５…座標算出部、６０…記憶部、７０…第１の指示体、８０…第２の指示体、１００…プロジェクター（表示装置）、ＳＣ…スクリーン（操作面）。

Claims (6)

1. 第１の指示体による操作面に対する操作と、第２の指示体による前記操作面に対する操作とを検出する検出部と、
   操作を無効にする指示を受け付ける制御部と、を備え、
   前記制御部は、前記検出部が、前記第２の指示体による操作を検出し、その後、前記第１の指示体による操作を検出した後に、前記指示を受け付けた場合に、前記第２の指示体による前記操作を無効にすること、を特徴とする表示装置。
2. 前記制御部は、第１の処理と第２の処理とを切り替えて実行し、
   前記第１の処理は、前記検出部が、前記第２の指示体による操作を検出し、その後、前記第１の指示体による操作を検出した後に、前記指示を受け付けた場合に、前記第２の指示体による前記操作を無効にする処理であり、
   前記第２の処理は、前記検出部が、前記第２の指示体による操作を検出し、その後、前記第１の指示体による操作を検出した後に、前記指示を受け付けた場合に、前記第１の指示体による前記操作を無効にする処理であること、を特徴とする請求項１記載の表示装置。
3. 前記検出部は、前記第１の指示体による操作を、前記第１の指示体を操作する操作者に対応付けて検出し、また、前記第２の指示体による操作を、前記第２の指示体を操作する操作者に対応付けて検出し、
   前記制御部は、前記検出部が、前記第２の指示体による第１の操作を検出し、その後、前記第１の指示体による操作を検出した後に、前記第２の指示体による第２の操作を検出し、前記第２の操作が前記指示を示す操作である場合に、
   前記第２の操作の操作者と前記第１の操作の操作者とが同一であると判定すると、前記第１の操作を無効にし、
   前記第２の操作の操作者と前記第１の操作の操作者とが同一ではないと判定すると、前記第１の操作を無効としない、
   ことを特徴とする請求項１又は２記載の表示装置。
4. 前記制御部は、前記検出部が前記第１の操作を検出してから予め設定された時間が経過するまでは、前記第２の操作の操作者と前記第１の操作の操作者とが同一である場合に、前記第１の操作を無効にし、
   前記予め設定された時間が経過した後に、前記検出部が検出した前記第２の指示体による第３の操作が、前記第１の操作を無効にする指示を示す操作である場合、前記第３の操作の操作者と前記第１の操作の操作者とが同一でなくても、前記第１の操作を無効にすること、を特徴とする請求項３記載の表示装置。
5. 前記検出部が検出した前記第２の指示体による操作と、前記操作を行った操作者とを対応付けた操作履歴情報を記憶する記憶部を備え、
   前記制御部は、前記予め設定された時間が経過すると、前記操作履歴情報から、前記操作を行った操作者の情報を削除すること、を特徴とする請求項４記載の表示装置。
6. 第１の指示体による操作面に対する操作と、第２の指示体による前記操作面に対する操作とを検出するステップと、
   操作を無効にする指示を受け付けるステップと、を備え、
   前記第２の指示体による操作を検出し、その後、前記第１の指示体による操作を検出した後に、前記指示を受け付けた場合に、前記第２の指示体による前記操作を無効にすること、を特徴とする表示装置の制御方法。
   

Images