JP6439398B2 - プロジェクター、及び、プロジェクターの制御方法 - Google Patents

Description

本発明は、プロジェクター、及び、プロジェクターの制御方法に関する。

操作面に対する指示体の操作を検出して、検出した操作に対応する画像を表示させる装置が提案されている（例えば、特許文献１参照）。特許文献１は、２種類の指示手段による操作が可能なオブジェクト操作装置を開示している。特許文献１は、一方の指示手段による手書き入力中の場合と、手書き入力中以外の場合とで、他方の指示手段に異なる機能を対応付けている。例えば、表示部に表示中のオブジェクトを横切るように指を移動させるジェスチャーを行った場合、非手書き入力中は、ドラッグ操作と判断してオブジェクトを移動させる機能を実行し、手書き入力中は、分割操作と判断してオブジェクトを２つに分割する機能を実行している。

特開２０１４−１０２６２８号公報

特許文献１の開示は、ジェスチャーに対応付ける処理が事前に設定され、個々の操作者がジェスチャーに対応付ける処理を任意に変更することができなかった。このため、ジェスチャー操作で実行させることが可能な処理が限られ、操作性が制限されるという問題があった。

本発明は上記事情に鑑みてなされたものであり、ジェスチャー操作を活用して操作性を向上させることが可能なプロジェクター、及び、プロジェクターの制御方法を提供することを目的とする。

上記目的を達成するために、本発明のプロジェクターは、ジェスチャー操作を検出する検出部と、投射面を含む範囲を撮影した撮影画像を形成する撮影部と、前記撮影画像から前記ジェスチャー操作を行った操作者を特定する特定部と、特定された前記操作者の前記ジェスチャー操作に対応する処理を実行する制御部とを備えることを特徴とする。
本発明によれば、プロジェクターにおいて操作者に応じてジェスチャー操作の処理を実行できるので、操作性を向上させることができる。

また本発明は、上記プロジェクターにおいて、前記特定部は、前記撮影画像に基づいて前記操作者の位置を特定し、前記制御部は、前記ジェスチャー操作に対応付けられた処理を実行する位置を、前記操作者の位置に応じて変更することを特徴とする。
本発明によれば、操作者の位置に応じて処理を実行するので、操作者が移動する必要がなくなり、操作性をさらに向上させることができる。

また本発明は、上記プロジェクターにおいて、前記制御部は、前記投射面に投射させる投射画像に対する処理を指示する操作用画像の表示位置を、前記操作者の位置に応じて変更することを特徴とする。
本発明によれば、操作用画像を操作するために操作者が位置を移動する必要がなくなり、操作性をさらに向上させることができる。

また本発明は、上記プロジェクターにおいて、前記検出部は、指示体による操作を検出し、前記特定部は、前記指示体による操作を行った操作者を特定して、前記指示体による操作と、前記操作を行った操作者とを対応付けて記憶部に記憶させ、前記制御部は、前記指示体による操作を行った操作者が、前記指示体による操作に対するジェスチャー操作を行った場合に、前記ジェスチャー操作に対応する処理を実行することを特徴とする。
本発明によれば、例えば、指示体による操作が、他の操作者のジェスチャー操作によって無効にされないようにすることができる。

また、本発明は、上記プロジェクターにおいて、前記制御部は、前記指示体による操作に対するジェスチャー操作を行った操作者が、前記指示体による操作を行った前記操作者と同一ではないと判定した場合には、前記ジェスチャー操作に対応する処理を実行しないことを特徴とする。
本発明によれば、例えば、指示体による操作が、他の操作者のジェスチャー操作によって無効にされることをより確実に防ぐことができる。

また、本発明のプロジェクターの制御方法は、ジェスチャー操作を検出するステップと、投射面を含む範囲を撮影した撮影画像を形成するステップと、前記撮影画像から前記ジェスチャー操作を行った操作者を特定するステップと、特定された前記操作者の前記ジェスチャー操作に対応する処理を実行するステップとを有することを特徴とする。
本発明によれば、操作性を向上させることができる。

本発明によれば、操作性を向上させることができる。

プロジェクターの外観及び使用状態を示す図。 プロジェクター及び第１の指示体の機能ブロック図。 ジェスチャー管理テーブルを示す図。 操作履歴テーブルを示す図。 制御部の処理手順を示すフローチャート。 ジェスチャー操作の一例を示す図。 制御部の処理手順を示すフローチャート。

図１は、プロジェクター１００の設置状態を示す図である。
プロジェクター１００は、スクリーンＳＣ（操作面）の直上又は斜め上方に設置され、斜め下方のスクリーンＳＣに向けて画像を投射する。スクリーンＳＣは、壁面に固定され、又は床面に立設された平板又は幕である。本発明は、この例に限定されず、壁面をスクリーンＳＣとして使用することも可能である。この場合、スクリーンＳＣとして使用される壁面の上部にプロジェクター１００を取り付けるとよい。

プロジェクター１００は、ＰＣ（パーソナルコンピューター）、ビデオ再生装置、ＤＶＤ再生装置、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）再生装置等の画像供給装置に接続される。プロジェクター１００は、画像供給装置から供給されるアナログ画像信号又はデジタル画像データに基づいて、スクリーンＳＣに画像を投射する。また、プロジェクター１００は、内蔵する記憶部６０（図２）や外部接続される記憶媒体に記憶された画像データを読み出して、この画像データに基づきスクリーンＳＣに画像を表示してもよい。

プロジェクター１００は、スクリーンＳＣに対する操作者の操作を検出する。スクリーンＳＣに対する操作には、ペン型の第１の指示体（指示体）７０、又は操作者の手指である第２の指示体８０が利用される。また、スクリーンＳＣに対する操作には、第１の指示体７０又は第２の指示体８０により、スクリーンＳＣ上の一定の位置を指定（指示）する操作や、スクリーンＳＣ上の異なる位置を連続して指示する操作が含まれる。スクリーンＳＣ上の一定の位置を指定（指示）する操作は、第１の指示体７０又は第２の指示体８０を、スクリーンＳＣ上の一定の位置に一定時間接触させる操作である。また、スクリーンＳＣ上の異なる位置を連続して指示する操作とは、第１の指示体７０又は第２の指示体８０をスクリーンＳＣに接触させながら動かして、文字や図形等を描く操作である。また、第２の指示体８０によるスクリーンＳＣに対する操作には、ジェスチャーが含まれる。ジェスチャーは、第２の指示体８０をスクリーンＳＣに接触させることなく、空中で記号や文字を描く操作や、ピンチアウト、ピンチインなどの操作が含まれる。

プロジェクター１００は、操作者が第１の指示体７０又は第２の指示体８０により行った操作を検出して、検出した操作をスクリーンＳＣの表示画像に反映させる。さらに、プロジェクター１００は、指示位置を検出することによりポインティングデバイスとして動作し、スクリーンＳＣ上の指示位置の座標を出力してもよい。また、この座標を用いて、プロジェクター１００に対してＧＵＩ（Graphical User Interface）操作を行うこともできる。

図２は、プロジェクター１００の構成を示す構成図である。
プロジェクター１００は、外部の装置に接続されるインターフェイスとして、Ｉ／Ｆ（インターフェイス）部１１及び画像Ｉ／Ｆ（インターフェイス）部１２を備える。Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は、有線接続用のコネクターを備え、このコネクターに対応するインターフェイス回路を備えていてもよい。また、Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は、無線通信インターフェイスを備えていてもよい。有線接続用のコネクター及びインターフェイス回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠したものが挙げられる。また、無線通信インターフェイスとしては無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠したものが挙げられる。画像Ｉ／Ｆ部１２には、ＨＤＭＩ（登録商標）インターフェイス等の画像データ用のインターフェイスを用いることもできる。画像Ｉ／Ｆ部１２は、音声データが入力されるインターフェイスを備えてもよい。

Ｉ／Ｆ部１１は、ＰＣ等の外部の装置との間で各種データを送受信するインターフェイスである。Ｉ／Ｆ部１１は、画像の投射に関するデータ、プロジェクター１００の動作を設定するデータ等を入出力する。後述する制御部３０は、Ｉ／Ｆ部１１を介して外部の装置とデータを送受信する機能を有する。
画像Ｉ／Ｆ部１２は、デジタル画像データが入力されるインターフェイスである。本実施形態のプロジェクター１００は、画像Ｉ／Ｆ部１２を介して入力されるデジタル画像データに基づき画像を投射する。なお、プロジェクター１００は、アナログ画像信号に基づき画像を投射する機能を備えていてもよく、この場合、画像Ｉ／Ｆ部１２は、アナログ画像用のインターフェイスと、アナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路とを備えてもよい。

プロジェクター１００は、光学的な画像の形成を行う投射部２０を備える。投射部２０は、光源部２１、光変調装置２２及び投射光学系２３を有する。光源部２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）又はレーザー光源等からなる光源を備える。また、光源部２１は、光源が発した光を光変調装置２２に導くリフレクター及び補助リフレクターを備えていてもよい。さらに、プロジェクター１００は、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、又は光源が発した光の光量を光変調装置２２に至る経路上で低減させる調光素子等を備えていてもよい。

光変調装置２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。光源部２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射される。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。

投射光学系２３は、光変調装置２２により変調された画像光をスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系２３は、スクリーンＳＣの表示画像の拡大・縮小及び焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。プロジェクター１００が短焦点型である場合、投射光学系２３に、画像光をスクリーンＳＣに向けて反射する凹面鏡を備えていてもよい。

投射部２０は、制御部３０の制御に従って光源部２１を点灯させる光源駆動部４５、及び制御部３０の制御に従って光変調装置２２を動作させる光変調装置駆動部４６に接続される。光源駆動部４５は、光源部２１の点灯、消灯の切り替えを行い、光源部２１の光量を調整する機能を有していてもよい。

プロジェクター１００は、投射部２０が投射する画像を処理する画像処理系を備える。この画像処理系は、プロジェクター１００を制御する制御部３０、記憶部６０、操作検出部１７、画像処理部４０、光源駆動部４５及び光変調装置駆動部４６を含む。また、画像処理部４０にはフレームメモリー４１が接続され、制御部３０には位置検出部５０が接続される。これらの各部を画像処理系に含めてもよい。

制御部３０は、所定の制御プログラム６１を実行することによりプロジェクター１００の各部を制御する。記憶部６０は、制御部３０が実行する制御プログラム６１、操作履歴テーブル６２、ジェスチャー管理テーブル６３及び制御部３０が処理するデータを不揮発的に記憶する。操作履歴テーブル６２及びジェスチャー管理テーブル６３の詳細については後述する。

画像処理部４０は、制御部３０の制御に従って、画像Ｉ／Ｆ部１２を介して入力される画像データを処理し、光変調装置駆動部４６に画像信号を出力する。画像処理部４０が実行する処理は、３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理や、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部４０は、制御部３０により指定された処理を実行し、必要に応じて、制御部３０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
画像処理部４０は、フレームメモリー４１に接続されている。画像処理部４０は、画像入力Ｉ／Ｆ１２から入力される画像データをフレームメモリー４１に展開して、展開した画像データに対し上記の各種処理を実行する。画像処理部４０は、処理後の画像データをフレームメモリー４１から読み出して、この画像データに対応するＲ、Ｇ、Ｂの画像信号を生成し、光変調装置駆動部４６に出力する。
光変調装置駆動部４６は、光変調装置２２の液晶パネルに接続される。光変調装置駆動部４６は、画像処理部４０から入力される画像信号に基づいて液晶パネルを駆動し、各液晶パネルに画像を描画する。

操作検出部１７は、入力デバイスとして機能するリモコン受光部１８及び操作パネル１９に接続され、リモコン受光部１８及び操作パネル１９を介した操作を検出する。
リモコン受光部１８は、プロジェクター１００の操作者が使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作データを生成し、制御部３０に出力する。
操作パネル１９は、プロジェクター１００の外装筐体に設けられ、各種スイッチ及びインジケーターランプを有する。操作検出部１７は、制御部３０の制御に従い、プロジェクター１００の動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯及び消灯させる。この操作パネル１９のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部１７から制御部３０に出力される。

位置検出部５０は、第１の指示体７０及び第２の指示体８０の少なくとも一方による指示位置を検出する。位置検出部５０は、撮影部５１、送信部５２、撮影制御部５３、対象検出部５４及び座標算出部５５の各部を備える。

撮影部５１は、スクリーンＳＣとその周辺部とを含む範囲（投射面を含む範囲）を撮影範囲として撮影した撮影画像を形成する。
撮影部５１は、赤外光による撮影と、可視光による撮影とをそれぞれ実行できる。具体的には、赤外光を撮影する赤外用撮像素子、可視光を撮影する可視光用撮像素子、赤外用撮像素子のインターフェイス回路、及び可視光用撮像素子のインターフェイス回路を備えた構成とすることができる。また、１つの撮像素子により可視光と赤外光との撮影を行う構成であってもよい。また、例えば、撮影部５１に、撮像素子に入射する光の一部を遮るフィルターを設け、撮像素子に赤外光を受光させる場合に、主に赤外領域の光を透過するフィルターを撮像素子の前に配置させてもよい。撮像素子には、ＣＣＤ、ＣＭＯＳのいずれを用いることも可能であり、また、他の素子を用いることもできる。

撮影部５１の赤外光による撮影時の撮影方向および撮影範囲（画角）は、投射光学系２３と同じ方向、又は略同じ方向を向き、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲をカバーする。同様に、撮影部５１の可視光による撮影時の撮影方向及び撮影範囲は、投射光学系２３と同じ方向、又は略同じ方向を向き、投射光学系２３がスクリーンＳＣ上に画像を投射する範囲をカバーする。撮影部５１は、赤外光で撮影した撮影画像のデータ、及び可視光で撮影した撮影画像のデータをそれぞれ出力する。

撮影制御部５３は、制御部３０の制御に従って撮影部５１を制御し、撮影部５１に撮影を実行させる。撮影制御部５３は、撮影部５１の撮影画像のデータを取得して、対象検出部５４に出力する。撮影部５１が可視光により撮影した撮影画像には、スクリーンＳＣ、スクリーンＳＣに表示された表示画像、及び撮影範囲内に存在する操作者が写る。また、撮影部５１が赤外光により撮影した撮影画像には、第１の指示体７０が発する赤外光の像が写る。

送信部５２は、撮影制御部５３の制御に従って、第１の指示体７０に対して赤外線信号を送信する。送信部５２は、赤外ＬＥＤ等の光源を有し、この光源を撮影制御部５３の制御に従って点灯及び消灯させる。

対象検出部５４には、撮影制御部５３から撮影画像のデータが入力される。対象検出部５４は、入力される撮影画像のデータから、人物が写った人物領域を検出する。人物領域は、撮影画像において人物の像を含む領域である。対象検出部５４による人物領域の検出は、一般的に知られた方法を用いることができる。例えば、対象検出部５４は、入力された撮影画像のデータのエッジを検出して、人の形状にマッチする領域を人物領域として検出する。また、対象検出部５４は、色情報（輝度、色度等）が所定時間内に変化する領域を検出して、検出した領域のサイズが所定値以上のものや、検出した領域の経時的な移動範囲が所定範囲内のものを人物領域として検出してもよい。対象検出部５４は、撮影画像のデータと、撮影画像における人物領域の範囲を示す範囲情報とを制御部３０に出力する。

また、対象検出部５４は、撮影画像のデータの人物領域から、操作者の手指の画像を検出して第２の指示体８０を検出する。対象検出部５４は、人物領域から、予め定めた手指の形状や特徴に近い領域を、第２の指示体８０の領域として検出する。対象検出部５４が検出する操作者の手指は、１本又は複数本の指、手全体、又は指を含む手の一部のいずれであってもよい。
また、対象検出部５４は、検出した第２の指示体８０の領域から手指の先端（指先）を特定し、特定した手指の先端の位置を指示位置として検出する。対象検出部５４は、第２の指示体８０の指示位置の座標を、撮影画像のデータにおける座標で算出する。
また、対象検出部５４は、検出した第２の指示体８０とスクリーンＳＣとの距離を検出する。対象検出部５４は、検出した手指の先端と、スクリーンＳＣとの距離を撮影画像のデータに基づいて判定する。例えば、対象検出部５４は、撮影画像のデータから指の画像と、指の影の画像とを検出して、検出した画像の間の距離に基づいて、手指の先端とスクリーンＳＣとの距離を求める。
また、対象検出部５４は、撮影画像のデータから複数の人物領域を検出した場合には、各人物領域について、第２の指示体８０の領域と、第２の指示体８０の指示位置の座標とを検出し、検出した第２の指示体８０とスクリーンＳＣとの距離を算出する。

また、対象検出部５４は、第１の指示体７０の指示位置の座標を検出する。対象検出部５４は、撮影部５１が赤外光により撮影した撮影画像のデータに写った赤外光の像を検出して、撮影画像のデータにおける、第１の指示体７０の指示位置の座標を検出する。撮影部５１の撮影画像のデータから第１の指示体７０を特定する方法の詳細については後述する。
また、対象検出部５４は、第１の指示体７０の先端部７１がスクリーンＳＣに接触しているか否かを判定して、先端部７１がスクリーンＳＣに接触しているか否かを示すタッチ情報を生成する。第１の指示体７０の先端部７１がスクリーンＳＣに接触しているか否かの判定方法についても後述する。
また、対象検出部５４は、複数の第１の指示体７０が使用される場合に、複数の第１の指示体７０が発する赤外光の像の各々の像を、異なる第１の指示体７０の像として区別する。対象検出部５４による複数の第１の指示体７０が発する赤外光の像の区別の方法については後述する。座標算出部５５は、各第１の指示体７０の指示位置の座標に、各第１の指示体７０を識別する識別情報を付与して制御部３０に出力する。

座標算出部５５は、指示位置の座標を、スクリーンＳＣの表示画像における指示位置の座標に変換する。対象検出部５４が検出する第１の指示体７０及び第２の指示体８０の指示位置の座標は、撮影画像のデータにおける座標である。座標算出部５５は、対象検出部５４が検出した指示位置の座標から、キャリブレーションの結果に基づいて、スクリーンＳＣの表示画像上に仮想的に設けられた座標軸における指示位置の座標を算出する。撮影画像のデータにおける座標は、プロジェクター１００とスクリーンＳＣとの距離、投射光学系２３におけるズーム率、プロジェクター１００の設置角度、撮影部５１とスクリーンＳＣとの距離等の様々な要素の影響を受ける。座標算出部５５は、事前に実施されるキャリブレーションの結果に基づき、撮影画像のデータにおける指示位置の座標から、スクリーンＳＣの表示画像における指示位置の座標を算出する。キャリブレーションでは、所定のパターン画像を投射部２０からスクリーンＳＣに投射して、表示されたパターン画像を撮影部５１で撮影する。撮影部５１の撮影したパターン画像に基づいて、撮影画像のデータにおける座標と、スクリーンＳＣの表示画像上の座標との対応関係（座標変換パラメーター）が導かれる。

座標算出部５５は、第２の指示体８０により指示された指示位置の座標と、指示体情報と、距離情報と、人物領域の範囲情報とを制御部３０に出力する。指示体情報は、指示位置の座標が第２の指示体８０により指示された座標であることを示す情報である。距離情報は、第２の指示体８０とスクリーンＳＣとの距離を示す情報である。
また、座標算出部５５は、第１の指示体７０により指示された指示位置の座標と、指示体情報と、タッチ情報と、識別情報とを制御部３０に出力する。指示体情報は、指示位置の座標が第１の指示体７０により指示された座標であることを示す情報である。タッチ情報は、第１の指示体７０の先端部７１がスクリーンＳＣに接触しているか否かを示す情報である。識別情報は、第１の指示体７０が複数使用された場合に、各第１の指示体７０を識別する情報である。座標算出部５５は、第１の指示体７０が１つだけ使用される場合にも、指示位置の座標、指示体情報及びタッチ情報に識別情報を付加して、制御部３０に出力する。

第１の指示体７０は、制御部７３、送受信部７４、操作スイッチ７５及び電源部７６を備え、これらの各部は軸部７２（図１）に収容される。制御部７３は、送受信部７４及び操作スイッチ７５に接続され、操作スイッチ７５のオン／オフ状態を検出する。送受信部７４は、赤外ＬＥＤ等の光源と、赤外光を受光する受光素子とを備え、制御部７３の制御に従って光源を点灯及び消灯させるとともに、受光素子の受光状態を示す信号を制御部７３に出力する。
電源部７６は、電源として乾電池又は二次電池を有し、制御部７３、送受信部７４及び操作スイッチ７５の各部に電力を供給する。第１の指示体７０は、電源部７６からの電源供給をオン／オフする電源スイッチを備えていてもよい。

ここで、位置検出部５０と第１の指示体７０との相互の通信により、撮影部５１の撮影画像のデータから第１の指示体７０の指示位置を特定する方法について説明する。
制御部３０は、第１の指示体７０による操作を検出する場合に、撮影制御部５３を制御して、送信部５２から同期用の信号を送信させる。すなわち、撮影制御部５３は、制御部３０の制御に従って、送信部５２の光源を所定の周期で点灯させる。送信部５２が周期的に発する赤外光が、位置検出部５０と第１の指示体７０とを同期させる同期信号として機能する。
一方、制御部７３は、電源部７６から電源の供給が開始され、所定の初期化動作を行った後、プロジェクター１００の送信部５２が発する赤外光を、送受信部７４により受光する。送信部５２が周期的に発する赤外光を送受信部７４により受光すると、制御部７３は、この赤外光のタイミングに同期させて、予め設定された第１の指示体７０に固有の点灯パターンで送受信部７４の光源を点灯（発光）させる。また、制御部７３は、操作スイッチ７５の操作状態に応じて、送受信部７４の点灯パターンを切り替える。このため、プロジェクター１００の対象検出部５４は、複数の撮影画像のデータに基づいて、第１の指示体７０の操作状態、すなわち先端部７１がスクリーンＳＣに押しつけられているか否かを判定できる。
また、制御部７３は、電源部７６から電源が供給されている間、上記のパターンを繰り返し実行する。つまり、送信部５２は、第１の指示体７０に対し、同期用の赤外線信号を周期的に送信し、第１の指示体７０は、送信部５２が送信する赤外線信号に同期して、予め設定された赤外線信号を送信する。

撮影制御部５３は、撮影部５１による撮影タイミングを、第１の指示体７０が点灯するタイミングに合わせる制御を行う。この撮影タイミングは、撮影制御部５３が送信部５２を点灯させるタイミングに基づいて決定される。対象検出部５４は、撮影部５１の撮影画像のデータに第１の指示体７０の光の像が写っているか否かにより、第１の指示体７０が点灯するパターンを特定できる。対象検出部５４は、複数の撮影画像のデータに基づいて、第１の指示体７０の先端部７１がスクリーンＳＣに押しつけられているか否かを判定して、タッチ情報を生成する。
第１の指示体７０の点灯パターンは、第１の指示体７０の個体毎に固有のパターン、又は複数の第１の指示体７０に共通のパターンと個体毎に固有のパターンとを含むものとすることができる。この場合、対象検出部５４は、撮影画像のデータに複数の第１の指示体７０が発する赤外光の像が含まれる場合に、各々の像を、異なる第１の指示体７０の像として区別できる。

制御部３０は、記憶部６０に記憶された制御プログラム６１を読み出して実行することにより投射制御部３１、人物検出部３２、検出部３３、実行処理判定部３４、検出制御部３５の機能を実現し、プロジェクター１００の各部を制御する。

投射制御部３１は、操作検出部１７から入力される操作データに基づいて、操作者がリモコンを操作して行った操作内容を取得する。投射制御部３１は、操作者が行った操作に応じて画像処理部４０、光源駆動部４５及び光変調装置駆動部４６を制御し、スクリーンＳＣに画像を投射させる。
また、投射制御部３１は、画像処理部４０を制御して、上述した３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させる。また、投射制御部３１は、画像処理部４０の処理に合わせて光源駆動部４５を制御し、光源部２１の光量を制御する。

人物検出部（特定部）３２は、撮影画像のデータと、人物領域の範囲情報とが入力される。人物検出部３２は、撮影画像の人物領域から、予め定めた顔の形状や特徴に近い領域を顔領域として検出する。人物検出部３２は、検出した顔領域から特徴量を算出する。ここで、特徴量とは、撮影画像に写る人物に固有の値である。人物検出部３２は、例えば、人物の顔領域の大きさ、人物の顔領域が撮影画像中に占める割合、目と眉の間隔、両目の間隔、目の縦方向の長さ及び横方向の幅等を、予め設定された条件で計測して数値化し、特徴量を求める。また、人物検出部３２は、鼻の縦方向の長さ及び横方向の幅、口の横方向の幅、目と鼻の間隔、鼻と口の間隔、眼鏡の有無等を、予め設定された条件で計測して数値化し、特徴量を求めてもよい。
また、人物検出部３２は、撮影画像の人物領域から顔領域を除いた領域を人体領域とし、この人体領域から特徴量を算出する。人物検出部３２は、人体領域から操作者の身体の部位、例えば、肩、手、足等を認識し、例えば、脚の長さ、腕の長さ、身長、体型等を、予め設定された条件で計測して数値化し、特徴量を求める。また、人物検出部３２は、撮影画像のデータの人物領域から服の色や、髪の色を検出して、特徴量としてもよい。

また、人物検出部３２は、撮影画像の人物領域から特徴量を算出すると、検出した特徴量に基づいてジェスチャー管理テーブル６３を参照し、人物領域に写った人物を特定する。

図３に、ジェスチャー管理テーブル６３の構成を示す。ジェスチャー管理テーブル６３には、操作者を識別する操作者ＩＤと、操作者名と、特徴量と、各ジェスチャーに設定された処理の情報とが対応付けて登録されている。
操作者ＩＤは、操作者を識別する識別情報である。操作者名は、操作者ＩＤの示す操作者の氏名であり、操作者がリモコン又は操作パネル１９を操作してプロジェクター１００に入力する。
特徴量は、操作者ＩＤの示す操作者の特徴量である。この特徴量は、例えば、操作者の撮影画像から検出される特徴量である。プロジェクター１００は、動作モードとして学習モードを有している。プロジェクター１００の制御部３０は、学習モードに設定されると、例えば、スクリーンＳＣに人の形をしたシルエット画像を表示させて、スクリーンＳＣの前の、操作者の立ち位置を指定する。制御部３０は、撮影制御部５３を制御して、立ち位置に立った操作者を撮影し、操作者の撮影画像のデータから特徴量を算出する。制御部３０は、特徴量を算出すると、操作者ＩＤを新規に生成し、生成した操作者ＩＤに、操作者名及び特徴量を対応付けてジェスチャー管理テーブル６３に登録する。撮影画像のデータから特徴量を算出する方法は、上述した通りであるため説明を省略する。

また、各ジェスチャーに設定された処理の情報とは、ジェスチャー操作を識別するパターン番号と、パターン番号が示すジェスチャー操作が検出された場合に実行する処理とを対応付けた情報である。
ここで、ジェスチャー操作として使用されるジェスチャー（動き）の内容は、記憶部６０の記憶するジェスチャーパターン辞書に事前に登録したジェスチャーを使用してもよい。また、操作者が創作したジェスチャーをジェスチャーパターン辞書に登録してもよい。この場合、操作者が、撮影部５１の撮影範囲において、登録するジェスチャーの動きを実行し、撮影部５１が撮影を行い、制御部３０が撮影画像から操作者の動作について動作特徴（例えば、動きベクトル）を抽出する。そして、制御部３０が抽出した動作特徴を、記憶部６０が記憶するジェスチャーパターン辞書に登録する。
また、パターン番号が示すジェスチャー操作が検出された場合に実行する処理の設定は、操作者が、拡大、縮小、消去、分割等の事前に用意された処理の中から、リモコン又は操作パネル１９を操作して選択する。

人物検出部３２は、撮影画像から検出した特徴量と、ジェスチャー管理テーブル６３に登録された特徴量とを比較して、撮影画像に写った操作者を特定する。人物検出部３２は、操作者を特定すると、特定した操作者の操作者ＩＤをジェスチャー管理テーブル６３から取得する。人物検出部３２は、取得した操作者ＩＤに、人物検出部３２が算出した特徴量と、位置検出部５０から入力された人物領域の範囲情報とを対応付けて操作履歴テーブル６２に登録する。また、人物検出部３２は、特定した操作者の操作者ＩＤを実行処理判定部３４に通知する。

また、人物検出部３２は、撮影画像のデータと、撮影画像における人物領域の範囲情報とに基づいて、操作者の位置を示す位置情報を算出する。例えば、人物検出部３２は、撮影画像の水平方向における、人物領域の中心座標を算出し、算出した中心座標を操作者の水平方向における位置情報とする。
また、撮影画像のデータには、スクリーンＳＣと、撮影範囲内に存在する操作者とが写る。人物検出部３２は、撮影画像のデータから人物領域とスクリーンＳＣとを検出し、撮影画像の垂直方向における、人物領域の中心座標とスクリーンとの距離を算出する。人物検出部３２は、スクリーンＳＣから人物領域の中心座標までの距離を、操作者の垂直方向における位置情報とする。
また、人物検出部３２は、撮影画像に複数の人物が写っており、位置検出部５０から、複数の人物領域の範囲情報が入力された場合には、各人物領域について操作者の位置を特定して、位置情報を算出する。人物検出部３２は、算出した操作者の位置情報を、操作者ＩＤに対応付けて操作履歴テーブル６２に登録する。

図４に、操作履歴テーブル６２を示す。操作履歴テーブル６２には、操作履歴情報が登録される。操作履歴情報には、操作者ＩＤ、位置情報、人物領域の範囲、特徴量、操作情報、軌跡データ、日時情報等が含まれる。操作情報、軌跡データ及び日時情報は、後述する検出部３３により生成され、検出部３３により操作履歴テーブル６２に登録される情報である。これらの情報の詳細については後述する。

検出部３３は、メモリー（図示略）を備え、第１の指示体７０の操作面に対する操作、及び第２の指示体８０の操作面に対する操作を検出する。操作には、スクリーンＳＣ上の一定の位置を指定（指示）する操作や、スクリーンＳＣ上の異なる位置を連続して指示する操作、ジェスチャー操作等が含まれる。

実行処理判定部（制御部）３４は、人物検出部３２により特定された操作者の操作者ＩＤと、検出部３３により検出されたジェスチャー操作とに対応する処理を、ジェスチャー管理テーブル６３から取得する。実行処理判定部３４は、取得した処理の実行を指示するコマンドを検出制御部３５に出力する。

検出制御部３５は、位置検出部５０を制御して、第１の指示体７０及び第２の指示体８０の指示位置の検出を実行させる。
また、検出制御部３５は、実行処理判定部３４から入力されるコマンドや、座標等に基づいて、予め設定された処理を実行する。例えば、検出制御部３５は、実行処理判定部３４から入力される座標に基づいて、画像処理部４０により図形を描画させ、描画した図形を画像Ｉ／Ｆ部１２に入力される入力画像に重畳して投射させる処理を行う。また、検出制御部３５は、取得した座標をＩ／Ｆ部１１に接続されたＰＣ等の外部の装置に出力してもよい。この場合、検出制御部３５は、取得した座標を、Ｉ／Ｆ部１１に接続された外部の装置のオペレーティングシステムにおいて、座標入力デバイスの入力として認識されるデータフォーマットに変換して出力してもよい。例えば、Ｉ／Ｆ部１１にＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムで動作するＰＣが接続された場合、オペレーティングシステムにおいてＨＩＤ（Human Interface Device）の入力データとして処理されるデータを出力する。また、検出制御部３５は、座標のデータとともに、第１の指示体７０の操作位置であるか第２の指示体８０の操作位置であるかを識別するデータ、及び操作スイッチ７５の操作状態を示すデータを出力してもよい。

図５は、検出部３３及び実行処理判定部３４の第１の処理手順を示すフローチャートである。
まず、検出部３３は、位置検出部５０及び人物検出部３２からデータセットを入力する（ステップＳ１）。データセットは、第１データセットと第２データセットとを含む。第１データセットは、位置検出部５０が検出した指示位置の座標が、第１の指示体７０の指示位置の座標である場合に、検出部３３に入力されるデータである。第１データセットには、指示位置の座標、指示体情報、タッチ情報及び識別情報が含まれる。また、第２データセットは、位置検出部５０が検出した指示位置の座標が、第２の指示体８０の指示位置の座標である場合に、検出部３３に入力されるデータである。第２データセットには、位置検出部５０から入力される指示位置の座標、指示体情報、距離情報及び人物領域の範囲情報が含まれる。

次に、検出部３３は、位置検出部５０から入力されるデータセットをメモリーに記憶させて、指示体７０、８０による指示位置の軌跡を示す軌跡データを作成する（ステップＳ２）。
検出部３３は、入力されたデータセットが第１データセットである場合、まず、タッチ情報により、第１の指示体７０がスクリーンＳＣに接触しているか否かを判定する。検出部３３は、タッチ情報により、スクリーンＳＣに接触していないと判定される場合、今回入力された第１データセットを、無効なデータとしてメモリーには記憶させない。
次に、検出部３３は、第１データセットに含まれる識別情報を参照して、今回入力された第１データセットの識別情報と同一の識別情報を対応付けた指示位置の座標が、メモリーに既に記憶されているか否かを判定する。検出部３３は、識別情報が同一の指示位置の座標が、メモリーに記憶済みである場合、メモリーに記憶済みの指示位置の座標に対応付けて、今回入力された第１データセットの指示位置の座標を記憶させる。すなわち、検出部３３は、同一の第１の指示体７０による指示位置の座標を、対応付けてメモリーに記憶させる。
また、検出部３３は、今回入力された第１データセットの識別情報と同一の識別情報を対応付けた指示位置の座標がメモリーに記憶されていない場合、今回入力された第１データセットの指示位置の座標を、他の指示位置の座標に対応付けることなく記憶させる。

また、検出部３３は、入力されたデータセットが第２データセットである場合、まず、第２データセットに含まれる距離情報を参照する。
検出部３３は、スクリーンＳＣと第２の指示体８０との距離に基づいて、今回入力された第２データセットが、以下の２つのグループのうちのどちらのグループに属するかを判定する。第１グループは、スクリーンＳＣに接した第２の指示体８０により指示位置を指示されたグループである。第２グループは、第２の指示体８０がスクリーンＳＣには接しておらず、第２の指示体８０とスクリーンＳＣとの距離が予め設定された距離以内にあるグループである。

次に、検出部３３は、第２データセットに含まれる人物領域の範囲情報に基づいて操作履歴テーブル６２を参照し、対応する操作者ＩＤを取得する。すなわち、検出部３３は、第２データセットに含まれる指示位置の座標を指示した操作者を特定する。次に、検出部３３は、今回入力された第２データセットの操作者ＩＤと同一の操作者ＩＤに対応付けられた指示位置の座標がメモリーに記憶されているか否かを判定する。すなわち、検出部３３は、今回入力された指示位置の座標を指示した操作者が過去に指示した指示位置の座標が、メモリーに記憶されているか否かを判定する。
検出部３３は、同一の操作者により入力された指示位置の座標がメモリーに記憶されていると判定すると、今回入力された第２データセットの指示位置の座標と、メモリーに記憶済みの指示位置の座標とが同一グループに属しているか否かを判定する。検出部３３は、同一のグループに属すると判定すると、記憶済みの指示位置の座標に対応付けて、今回入力された第２データセットの指示位置の座標をメモリーに記憶させる。また、検出部３３は、同一のグループには属さないと判定すると、今回入力された第２データセットの指示位置の座標を、メモリーに記憶済みの他の指示位置の座標に対応付けることなく記憶させる。すなわち、検出部３３は、同一の操作者により指示された指示位置の座標であっても、第２の指示体８０がスクリーンＳＣに接している場合の指示位置と、第２の指示体８０がスクリーンＳＣに接していない場合の指示位置とを区別してメモリーに記憶させる。

次に、検出部３３は、作成した指示位置の軌跡データに基づいて、第１の指示体７０及び第２の指示体８０の少なくともいずれかによる操作を検出する（ステップＳ３）。検出部３３が検出する第１の指示体７０、第２の指示体８０による操作には、例えば、指示位置に図形を描画したり文字や記号を配置したりする操作、指示位置の軌跡データに沿って図形を描画する操作が含まれる。また、検出部３３が検出する第１の指示体７０、第２の指示体８０による操作には、描画した図形や配置した文字又は記号を消去する操作等が含まれる。検出部３３は、第１の指示体７０の指示位置の座標から作成された軌跡データから作成された軌跡データを用いて、例えば、図形を描画する操作等の操作を検出する。また、検出部３３は、第１グループに分類された指示位置の座標、すなわち、スクリーンＳＣに接する第２の指示体８０の指示位置の座標から作成された軌跡データを用いて、例えば、描画したり文字や記号を配置する操作等を検出する。

また、検出部３３が検出する第２の指示体８０による操作には、ジェスチャーが含まれる。ジェスチャーには、例えば、スクリーンＳＣの表示画像を拡大又は縮小させる操作や、一旦入力した操作を無効にする操作等が含まれる。検出部３３は、第２グループに分類された指示位置の座標、すなわち、スクリーンＳＣに接していない第２の指示体８０の指示位置の座標から作成された軌跡データを用いて、第２の指示体８０によるジェスチャーを検出する。
検出部３３は、第２の指示体８０の指示位置の軌跡データと、記憶部６０のジェスチャーパターン辞書に登録されたジェスチャーの動作パターンとを比較して、ジェスチャーを検出する。検出部３３は、第２の指示体８０の指示位置の軌跡データから、第２の指示体８０の動作特徴（例えば、動きベクトル）を抽出する。そして、検出部３３は、抽出した第２の指示体８０の動作特徴を、ジェスチャーパターン辞書に登録されているジェスチャーの動作パターンと比較してジェスチャーを検出する。

検出部３３は、第１の指示体７０及び第２の指示体８０の少なくとも一方の操作を検出した場合（ステップＳ３／ＹＥＳ）、検出した操作の内容を示す操作情報と、操作の検出に使用した軌跡データとを操作履歴テーブル６２に登録する（ステップＳ４）。操作情報には、第１の指示体７０による操作であるのか、第２の指示体８０による操作であるのかを示す指示体情報も含まれる。また、検出部３３は、第２の指示体８０の操作としてジェスチャー操作を検出した場合には、ジェスチャー操作のパターン番号を操作情報として操作履歴テーブル６２に登録する。また、検出部３３は、操作情報及び軌跡データを操作履歴テーブル６２に登録した日時を日時情報として操作履歴テーブル６２に登録する。
なお、検出部３３は、第１の指示体７０による操作を検出した場合、操作情報及び軌跡データを対応付ける操作者ＩＤを判定する。検出部３３は、操作履歴テーブル６２に登録された人物領域の範囲情報を参照して、操作情報及び軌跡データを対応付ける操作者ＩＤを判定する。例えば、検出部３３は、第１の指示体７０による操作を検出した軌跡データの示す座標がどの人物領域に含まれるか、又はどの人物領域に最も近いかに基づいて、操作情報及び軌跡データを対応付ける操作者ＩＤを判定する。

次に、検出部３３は、ジェスチャー操作を検出したか否かを判定する（ステップＳ５）。ジェスチャー操作を検出した場合（ステップＳ５／ＹＥＳ）、検出部３３は、検出したジェスチャー操作のパターン番号と、ジェスチャー操作を行った操作者ＩＤとを実行処理判定部３４に通知する。実行処理判定部３４は、検出部３３からジェスチャー操作のパターン番号と、操作者ＩＤとが通知されると、ジェスチャー管理テーブル６３を参照して、操作者ＩＤとパターン番号とに対応する処理を読み出す（ステップＳ７）。実行処理判定部３４は、ジェスチャー管理テーブル６３から対応する処理を読み出すと、読み出した処理を実行する位置を、操作履歴テーブル６２に登録された操作者の位置情報や、軌跡データに基づいて判定する。実行処理判定部３４は、処理の実行位置を判定すると、処理の実行位置を示す情報と、処理の実行を指示するコマンド等を検出制御部３５に出力する（ステップＳ８）。

例えば、ジェスチャー管理テーブル６３に、パターン番号１のジェスチャー操作として、図６（Ａ）に示す掌をスクリーンＳＣに向けて、掌を左右に振るジェスチャー操作が登録されているとする。また、操作者ＩＤ「００１」の操作者のパターン番号１のジェスチャー操作に対応する処理として、操作用画像８５（図６（Ｂ）参照）の表示位置を、操作者の掌の位置に移動させる処理が設定されているとする。操作用画像８５は、ＰＣ等の画像供給装置から供給される入力画像データに基づく画像に重畳してスクリーンＳＣに表示される画像である。操作用画像８５には、複数のボタンが配置されており、各ボタンにはプロジェクター１００が実行する機能が割り当てられている。プロジェクター１００は、第１の指示体７０によって操作用画像８５のボタンに重なる位置が指示されると、指示位置に重なるボタンに割り当てられた機能を実行する。

実行処理判定部３４は、検出部３３から、ジェスチャー操作のパターン番号として「１」が通知され、操作者ＩＤとして「００１」が通知された場合、ジェスチャー管理テーブル６３を参照して、操作者ＩＤとパターン番号とに対応する処理を読み出す。この場合、実行処理判定部３４は、ジェスチャー管理テーブル６３から、操作用画像８５の表示位置を変更する処理を読み出す。実行処理判定部３４は、ジェスチャー管理テーブル６３から、対応する処理を読み出すと、表示位置の変更を指示する指示コマンドと、操作用画像８５の表示位置を指定する座標とを検出制御部３５に出力する。実行処理判定部３４は、例えば、操作履歴テーブル６２に登録された軌跡データに基づいて、操作用画像８５の表示位置を指定する座標を算出する。検出制御部３５は、実行処理判定部３４の指示に従い、画像処理部４０に、操作用画像８５の表示位置の変更を指示する。画像処理部４０は、フレームメモリー４１に描画する操作用画像８５の位置を、実行処理判定部３４から指定された座標に対応する位置に表示させる。これにより、図６（Ｂ）に示すように、操作用画像８５が、操作者の手指の位置に表示される。

また、検出部３３の検出した操作が、ジェスチャー操作ではない場合（ステップＳ５／ＮＯ）、実行処理判定部３４は、検出部３３の検出した操作に応じた処理の実行を指示するコマンドを検出制御部３５に出力する（ステップＳ６）。例えば、検出部３３の検出した操作が表示画像を拡大させる指示である場合、実行処理判定部３４は、検出制御部３５に、表示画像を拡大させる指示コマンドと、表示画像の拡大率とを出力する。検出制御部３５は、実行処理判定部３４から入力される指示コマンドに従って、画像処理部４０に、表示画像の拡大を指示する。画像処理部４０は、フレームメモリー４１に展開された画像データを、検出制御部３５から指示された拡大率で拡大処理し、処理した画像データに基づく画像信号を光変調装置駆動部４６に出力する。

上述したように本実施形態のプロジェクター１００は、操作者と、この操作者が行ったジェスチャー操作とを特定して、操作者及びジェスチャー操作に対応付けられた処理を実行する。このため、プロジェクター１００において操作者に応じてジェスチャー操作の処理を実行できるので、操作性を向上させることができる。
また、ジェスチャー操作により、操作用画像８５の表示位置を、例えば、操作者の掌の位置等、操作者の近くに移動させることができる。従って、操作用画像８５が離れた位置に表示されている場合に、操作用画像８５の位置まで歩いて行く必要がなくなり、利便性を向上させることができる。

なお、上述したステップＳ２において、検出部３３は、タッチ情報により第１の指示体７０がスクリーンＳＣに接していると判定した場合に、入力された第１データセットに含まれる指示位置の座標に、描画コマンドを付与して検出制御部３５に出力してもよい。すなわち、検出部３３は、軌跡データを作成することなく、指示位置の座標に、描画コマンドを付与して検出制御部３５に出力する。検出制御部３５は、指示位置の座標に基づいて、画像処理部４０に、フレームメモリー４１に展開された画像データの該当の指示位置に文字や図形を描画させる。また、第２の指示体８０の指示位置の座標のうち、第１グループに属する指示位置の座標についても同様である。

図７は、検出部３３及び実行処理判定部３４の第２の処理手順を示すフローチャートである。なお、図７に示す処理手順のうち、ステップＳ６までの手順は、図５に示すフローチャートの説明において説明済みであるため省略する。
実行処理判定部３４は、ジェスチャー操作が検出され（ステップＳ５／ＹＥＳ）、検出されたジェスチャー操作のパターン番号の通知を受けると、検出されたジェスチャー操作が、入力された操作を無効にする指示であるか否かを判定する（ステップＳ１０）。ジェスチャー操作が操作を無効にする指示ではない場合（ステップＳ１０／ＮＯ）、実行処理判定部３４は、ジェスチャー操作に対応する処理の実行を指示するコマンドを検出制御部３５に出力する（ステップＳ１１）。

また、操作を無効にする指示である場合（ステップＳ１０／ＹＥＳ）、実行処理判定部３４は、操作履歴テーブル６２の日時情報を参照して、ジェスチャー操作の直前に検出された操作が、第１の指示体７０による操作であるか否かを判定する（ステップＳ１２）。直前に検出された操作が、第１の指示体７０による操作ではない場合（ステップＳ１２／ＮＯ）、実行処理判定部３４は、ジェスチャー操作を入力しない（ステップＳ１３）。すなわち、実行処理判定部３４は、ジェスチャー操作に応じた処理の実行を指示するコマンドを検出制御部３５には出力しない。

また、直前に検出された操作が、第１の指示体７０による操作である場合（ステップＳ１２／ＹＥＳ）、実行処理判定部３４は、直前に検出された操作の操作者と、ジェスチャー操作の操作者とが同一であるか否かを判定する（ステップＳ１４）。操作者が同一ではない場合（ステップＳ１４／ＮＯ）、実行処理判定部３４は、ジェスチャー操作を入力しない（ステップＳ１３）。すなわち、実行処理判定部３４は、ジェスチャー操作に応じた処理の実行を指示するコマンドを検出制御部３５には出力しない。つまり、操作者が同一ではない場合、実行処理判定部３４は、第１の指示体７０による操作を無効にするコマンドを検出制御部３５に出力しない。また、操作者が同一である場合（ステップＳ１４／ＹＥＳ）、実行処理判定部３４は、第１の指示体７０による操作を無効にするコマンドを検出制御部３５に出力する（ステップＳ１５）。
なお、この処理フローでは、ジェスチャー操作に対応する処理として、第１の指示体７０の操作を無効にする場合を例に説明したが、ジェスチャー操作に対応する処理は、これに限定されるものではない。例えば、第１の指示体７０による操作が、図形や文字を描画する指示である場合に、ジェスチャー操作に対応する処理として、この第１の指示体７０による操作により描画された図形や文字を拡大、縮小、回転する処理を行うこともできる。また、第１の指示体７０による操作が、画像供給装置から供給される画像データに基づいてスクリーンＳＣに表示画像を表示する処理である場合に、ジェスチャー操作に対応する処理として、表示画像の拡大や、縮小、焦点の調整等を行うこともできる。また、ジェスチャー操作に対応する処理として、表示画像を分割する処理を行うこともできる。

第２の処理手順では、実行処理判定部３４は、入力された第１の指示体７０による操作と、ジェスチャー操作の操作者とが同一である場合に、ジェスチャー操作に応じた処理を実行する。従って、他の操作者のジェスチャー操作によって無効にされないようにすることができる。

以上説明したように、本実施形態のプロジェクター１００は、検出部３３と、撮影部５１と、人物検出部３２と、実行処理判定部３４とを備える。検出部３３は、ジェスチャー操作を検出する。撮影部５１は、投射面を含む範囲を撮影した撮影画像を形成する。人物検出部３２は、撮影画像からジェスチャー操作を行った操作者を特定する。実行処理判定部３４は、特定された操作者のジェスチャー操作に対応する処理を実行する。従って、プロジェクター１００において操作者に応じてジェスチャー操作の処理を実行できるので、操作性を向上させることができる。

また、人物検出部３２は、撮影画像に基づいて操作者の位置を特定する。実行処理判定部３４は、ジェスチャー操作に対応付けられた処理を実行する位置を、操作者の位置に応じて変更する。従って、操作者の位置に応じて処理を実行するので、操作者が移動する必要がなくなり、操作性をさらに向上させることができる。

また、実行処理判定部３４は、スクリーンＳＣに投射させる投射画像に対する処理を指示する操作用画像８５の表示位置を、操作者の位置に応じて変更する。従って、操作用画像８５を操作するために操作者が位置を移動する必要がなくなり、操作性をさらに向上させることができる。

また、検出部３３は、第１の指示体７０による操作を検出する。人物検出部３２は、指示体による操作を行った操作者を特定して、第１の指示体７０による操作と、操作を行った操作者とを対応付けて記憶部６０に記憶させる。実行処理判定部３４は、第１の指示体７０による操作を行った操作者が、第１の指示体７０による操作に対するジェスチャー操作を行った場合に、ジェスチャー操作に対応する処理を実行する。従って、例えば、第１の指示体７０による操作が、他の操作者のジェスチャー操作によって無効にされないようにすることができる。

また、実行処理判定部３４は、第１の指示体７０による操作に対するジェスチャー操作を行った操作者が、第１の指示体７０による操作を行った操作者と同一ではないと判定した場合には、ジェスチャー操作に対応する処理を実行しないことを特徴とする。従って、例えば、指示体７０による操作が、他の操作者のジェスチャー操作によって無効にされることをより確実に防ぐことができる。

なお、上述した実施形態及び変形例は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、異なる態様として本発明を適用することも可能である。例えば、第１の指示体７０はペン型の指示体に限らず、第２の指示体８０は操作者の手指に限らない。例えば、第１の指示体７０として、レーザーポインターや指示棒等を用いてもよく、その形状やサイズは限定されない。
また、図３に、ジェスチャー管理テーブル６３を示したが、データの保存形式は、テーブル形式である必要はない。図４に示す操作履歴テーブル６２についてもテーブル形式でデータを保存しておく必要はない。例えば、操作履歴情報は、操作者ＩＤに、位置情報や、特徴量、操作情報、軌跡データ、日時情報が対応付けられている形式であればよい。

また、上記実施形態では、位置検出部５０は、撮影部５１によりスクリーンＳＣを撮影して第１の指示体７０及び第２の指示体８０の位置を特定するものとしたが、本発明はこれに限定されない。例えば、撮影部５１は、プロジェクター１００の本体に設けられ、投射光学系２３の投射方向を撮影するものに限定されない。撮影部５１をプロジェクター１００本体とは別体として位置検出装置を構成し、撮影部５１がスクリーンＳＣの側方や正面から撮影を行うものとしてもよい。さらに、複数の撮影部５１を配置し、これら複数の撮影部５１の撮影画像のデータに基づいて、位置検出部５０が第１の指示体７０及び第２の指示体８０の位置を検出してもよい。さらに、位置検出部５０と、制御部３０の機能を、プロジェクター１００とは独立した装置として実現することもできる。

また、上記実施形態では、プロジェクター１００から第１の指示体７０に対し、送信部５２が発する赤外線信号を用いて第１の指示体７０に同期用の信号を送信する構成を説明したが、同期用の信号は赤外線信号に限定されない。例えば、電波通信や超音波無線通信により同期用の信号を送信する構成としてもよい。この構成は、電波通信や超音波無線通信により信号を送信する送信部５２をプロジェクター１００に設け、同様の受信部を第１の指示体７０に設けることで実現できる。

また、上述した実施形態では、第１の指示体７０の先端部７１がスクリーンＳＣに押しつけられているか否かを、送受信部７４の点灯パターンに基づいて判定する例を説明したが、本発明はこれに限定されない。例えば、第１の指示体７０の先端部７１がスクリーンＳＣに押しつけられているか否かを、第２の指示体８０と同様に、撮影画像のデータから第１の指示体７０の画像と、第１の指示体７０の影の画像とを検出することで、判定してもよい。

また、上記実施形態では、光源が発した光を変調する光変調装置２２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。また、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調装置として１枚のみの液晶パネル又はＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。

また、図２に示したプロジェクター１００の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１００の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

２０…投射部、２１…光源部、２２…光変調装置、２３…投射光学系、３０…制御部、３１…投射制御部、３２…人物検出部（特定部）、３３…検出部、３４…実行処理判定部（制御部）、３５…検出制御部、４０…画像処理部、５０…位置検出部、５１…撮影部、５２…送信部、５３…撮影制御部、５４…対象検出部、５５…座標算出部、６０…記憶部、６２…操作履歴テーブル、６３…ジェスチャー管理テーブル、７０…第１の指示体（指示体）、８０…第２の指示体、８５…操作用画像、１００…プロジェクター、ＳＣ…スクリーン（操作面）。

Claims (5)

1. 投射面を含む範囲を撮影して撮影画像を形成する撮影部と、
   前記撮影画像に基づいて指示体が前記投射面に接触しているか否かを判定し、前記指示体が前記投射面に接触している場合の前記指示体の動きと、前記指示体が前記投射面に接触していない場合の前記指示体の動きとを操作として検出する検出部と、
   前記指示体による操作を行った操作者を前記撮影画像に基づいて特定する特定部と、
   操作者ごとに、前記指示体の動きと、当該動きが検出された場合に実行する処理とを対応付けて記憶した記憶部と、
   前記検出部が、前記投射面に接触した前記指示体の動きを検出した場合、前記検出部が検出した前記指示体の動きに対応した図形を前記投射面に描画させ、前記検出部が、前記投射面に接触していない前記指示体の動きを検出した場合、前記検出部が検出した前記指示体の動きと、前記特定部が特定した前記操作者に対応付けられた前記指示体の動きとが一致したときに、一致した前記指示体の動きに対応付けられた処理を実行する制御部と、
   を備えること、を特徴とするプロジェクター。
2. 前記特定部は、前記撮影画像に基づいて前記操作者の位置を特定し、
   前記制御部は、前記検出部が検出した前記指示体の動きに対応した処理を実行する位置を、前記操作者の位置に応じて変更すること、を特徴とする請求項１記載のプロジェクター。
3. 前記制御部は、前記検出部が検出した前記指示体の動きに対応付けられた処理が、前記投射面に投射された操作用画像の表示位置を変更する処理である場合に、前記指示体の動きに対応して前記操作用画像の表示位置を変更すること、を特徴とする請求項１又は２記載のプロジェクター。
4. 前記制御部は、動作モードが学習モードである場合、前記撮影画像に撮影された操作者を特定する特徴量を抽出し、抽出した前記特徴量と、前記検出部が検出した前記指示体の動きとを対応付けて前記記憶部に記憶させること、を特徴とする請求項１から３のいずれか１項に記載のプロジェクター。
5. 投射面を含む範囲を撮影部により撮影して撮影画像を形成するステップと、
   前記撮影画像に基づいて指示体が前記投射面に接触しているか否かを判定し、前記指示体が前記投射面に接触している場合の前記指示体の動きと、前記指示体が前記投射面に接触していない場合の前記指示体の動きとを操作として検出するステップと、
   前記指示体による操作を行った操作者を前記撮影画像に基づいて特定するステップと、
   前記投射面に接触した前記指示体の動きが操作として検出された場合、検出された前記指示体の動きに対応した図形を前記投射面に描画させるステップと、
   前記投射面に接触していない前記指示体の動きが操作として検出された場合、検出された前記指示体の動きと、特定された前記操作者に対応付けられた前記指示体の動きとが一致したときに、一致した前記指示体の動きに対応付けられた処理を実行するステップと、
   を有すること、を特徴とするプロジェクターの制御方法。

Images