JP6844159B2 - 表示装置、及び、表示装置の制御方法 - Google Patents

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、操作検出に用いる操作アイコンを表示させ、操作アイコンに対する操作を検出して、対応する処理を実行する表示装置が知られている（例えば、特許文献１参照）。
特許文献１は、プロジェクターの投影画像に、操作アイコンを表示させ、投影画像を含む領域を撮影したカメラの撮影画像により、操作アイコンへの操作が検出されると、操作アイコンが選択されたものと判定し、操作アイコンに対応付けて設定された処理が実行される。

特開２０１２−１０４０９６号公報

しかしながら、特許文献１に記載のプロジェクターは、投影画像の内部に操作アイコンを重畳して表示しているため、投影画像の表示状態（明るさや色調等）、即ち操作アイコンの背景の表示状態によっては、操作アイコンに対する操作の検出に影響を及ぼし、検出精度が低下する場合が生じ得る。
本発明は、表示される検出画像に対する操作を高精度で検出でき、検出画像に関連する処理などを分かりやすく表示できるようにすることを目的とする。

上記課題を解決するために、本発明は、表示面に画像を表示する表示部と、入力される画像信号に基づく入力画像と、操作検出に用いる複数の検出画像とを前記表示部により前記表示面に表示させる表示制御部と、前記表示面に表示される複数の前記検出画像を撮像する撮像部と、前記撮像部の撮像画像に基づき、複数の前記検出画像のそれぞれに対する操作を検出する検出部と、前記検出部が操作を検出した前記検出画像に対応する処理を実行する処理部と、を備え、前記表示制御部は、前記表示面において前記入力画像の外側に複数の前記検出画像を表示させ、複数の前記検出画像のそれぞれに対応する複数の識別画像を、前記検出画像に対応する位置に表示させる。
本発明によれば、表示面に表示される複数の検出画像を撮像した撮像画像に基づいて、複数の検出画像のそれぞれに対する操作が検出され、検出された操作に対応する処理が実行される。ここで、複数の検出画像は、入力画像の外側に表示される。このため、検出画像に対する入力画像の影響を抑制することが可能となり、検出画像に対する操作を高精度で検出できる。また、複数の検出画像のそれぞれに対応する複数の識別画像が、検出画像に対応する位置に表示される。このため、複数の検出画像の表示が、入力画像の表示に与える影響を低減し、検出画像に関連する処理などを分かりやすく表示できる。

また、本発明は、前記表示制御部は、前記表示部により、同一の外観を有する複数の前記検出画像を表示させる。
本発明によれば、複数の検出画像として同一の外観を有する画像が表示されるので、操作を検出するための条件を共通化して、処理負荷を軽減できる。

また、本発明は、前記表示制御部は、前記表示部により、予め設定された背景色に重ねて前記検出画像を表示させる。
本発明によれば、検出画像が、予め設定された背景色に重ねて表示されるため、検出画像の視認性を高め、入力画像の表示と、検出画像の表示との区別を明確にできる。

また、本発明は、前記検出部が操作を検出した前記検出画像が複数である場合に、操作が検出された前記検出画像に対応して前記処理部が実行する処理の少なくとも一部が実行されない。
本発明によれば、操作が検出された検出画像が複数である場合、処理の少なくとも一部が実行されないため、誤った操作の検出によって誤った処理が実行されるのを防止できる。

また、本発明は、前記表示面において前記表示部が画像を表示する表示領域のサイズを検出するサイズ検出部を備え、前記表示制御部は、前記サイズ検出部が検出する前記表示領域のサイズに基づき、前記表示領域における前記検出画像の表示位置、前記検出画像の表示サイズ、及び複数の前記検出画像の表示間隔の少なくともいずれかを変更する。
本発明によれば、検出される表示領域のサイズに基づいて、検出画像の表示位置、表示サイズ、及び複数の検出画像の間隔の少なくともいずれかが変更されるので、検出画像を表示領域に適した表示位置、表示サイズ、表示間隔で表示できる。

また、本発明は、前記表示制御部は、前記検出部が操作を検出した前記検出画像に対応する識別画像の表示態様を変化させる。
本発明によれば、操作が検出された検出画像に対応する識別画像の表示態様が変化するので、ユーザーは、操作が検出された検出画像を他の検出画像と区別して認識することができる。

また、本発明は、前記表示制御部は、前記識別画像を前記検出画像の前記入力画像側に表示させる。
本発明によれば、識別画像が検出画像の入力画像側に表示される。従って、表示面の外側にいるユーザーが検出画像を操作する際に、ユーザーの手が識別画像に重なることがなくなり、識別画像の視認性が低下せずに済む。

また、本発明は、前記処理部は、前記表示部が表示するいずれかの前記検出画像の操作に応じて、前記表示面における前記入力画像に対する複数の前記検出画像の相対的な表示位置を変更する処理を実行する。
本発明によれば、検出画像を操作することで、入力画像に対する複数の検出画像の相対的な表示位置を変更できる。

また、本発明は、外部の装置に接続するインターフェイス部を備え、前記表示制御部は、前記インターフェイス部に前記外部の装置が接続された場合には、前記外部の装置が実行する処理に対応する前記検出画像を表示し、前記インターフェイス部に前記外部の装置が接続されていない場合には、前記外部の装置が実行する処理に対応する前記検出画像を表示しない。
本発明によれば、インターフェイス部に外部の装置が接続された場合には、外部の装置が実行する処理に対応する検出画像が表示され、インターフェイス部に外部の装置が接続されていない場合には、外部の装置が実行する処理に対応する検出画像が表示面に表示されない。つまり、無効な検出画像が表示されなくなるため、ユーザーの利便性が向上する。

また、本発明は、外部の装置に接続するインターフェイス部を備え、前記表示部が表示するいずれかの前記検出画像の操作に応じて前記処理部が実行する処理が、前記インターフェイス部に前記外部の装置が接続される場合と、接続されていない場合とで異なる処理である。
本発明によれば、外部の装置がインターフェイス部に接続された場合と、接続されていない場合とで、異なる処理が実行される。このため、インターフェイス部に外部の装置が接続された場合には、例えば、外部の装置が実行する処理に応じた処理を表示装置に実行させることができる。また、インターフェイス部に外部の装置が接続されていない場合には、表示装置が単独で実行する処理を表示装置に実行させることができる。

上記課題を解決するため、本発明は、表示面に画像を表示する表示装置の制御方法であって、前記表示面に、入力される画像信号に基づく入力画像と、操作検出に用いる複数の検出画像とを表示するステップと、前記表示面に表示した複数の前記検出画像を撮像するステップと、複数の前記検出画像を撮像した撮像画像に基づき、複数の前記検出画像のそれぞれに対する操作を検出するステップと、操作を検出した前記検出画像に対応する処理を実行するステップと、を有し、前記表示面において前記入力画像の外側に複数の前記検出画像を表示し、複数の前記検出画像のそれぞれに対応する複数の識別画像を前記検出画像に対応する位置に表示する。
本発明によれば、表示面に表示される複数の検出画像を撮像した撮像画像に基づいて、複数の検出画像のそれぞれに対する操作が検出され、検出された操作に対応する処理が実行される。ここで、複数の検出画像は、入力画像の外側に表示される。このため、検出画像に対する入力画像の影響を抑制することが可能となり、表示される検出画像に対する操作を高精度で検出できる。また、複数の検出画像のそれぞれに対応する複数の識別画像が、検出画像に対応する位置に表示される。このため、複数の検出画像の表示が、入力画像の表示に与える影響を低減し、検出画像に関連する処理などを分かりやすく表示できる。

プロジェクターの構成図。 第１パターン画像を示す図。 第２パターン画像を示す図。 制御部の動作を示すフローチャート。 投射領域の左端に操作検出領域を表示させた表示画像を示す図。 投射領域の右端に操作検出領域を表示させた表示画像を示す図。 第３パターン画像を示す図。 操作検出マーカーに対する操作の方法を示す図。 撮像画像データ上の座標と輝度との関係を示すグラフ。 室内灯が点灯された場合と、消灯された場合の撮像画像データの輝度の変化を示すグラフ。

以下、添付図面を参照して本発明の実施形態について説明する。
図１は、プロジェクター２００の構成図である。
プロジェクター２００は、画像供給装置１００に接続され、画像供給装置１００から供給される画像信号に基づき、投射対象に画像を投射する。また、プロジェクター２００は、内蔵する記憶部２６０や外部接続される記憶媒体に記憶された画像データを読み出し、読み出した画像データに基づきスクリーンＳＣに画像を表示してもよい。

本実施形態では、スクリーンＳＣを投射対象とする。スクリーンＳＣは、本発明の「表示面」に相当する。スクリーンＳＣは平面又は幕で構成され、具体的形状は任意である。投射対象は、スクリーンＳＣのほかに、壁面、天井面、床面、ホワイトボードなどの一様な平面であってもよい。また、投射対象は、建物の外壁のように、平らでない面を投射対象にしてもよい。
また、プロジェクター２００の使用態様は、スクリーンＳＣに対して正面から画像光を投射するフロントプロジェクション型の投射方法、及び、透過型のスクリーンＳＣの背面に画像光を投射する背面投射型の投射方法のいずれでもよい。

画像供給装置１００には、例えばノート型ＰＣ(Personal Computer)、デスクトップ型ＰＣやタブレット端末、スマートフォン、ＰＤＡ（Personal Digital Assistant）等を用いることができる。また、画像供給装置１００として、ビデオ再生装置、ＤＶＤ（Digital Versatile Disk）プレーヤー、ブルーレイディスクプレーヤー、テレビチューナー装置、ＣＡＴＶ（Cable television）のセットトップボックス、ビデオゲーム機等を用いてもよい。画像供給装置１００は、画像信号を生成してプロジェクター２００に供給する。なお、画像供給装置１００がプロジェクター２００に内蔵された構成とすることも可能である。

プロジェクター２００は、外部の装置に接続されるインターフェイスとして、インターフェイス部（以下、Ｉ／Ｆ部と略記する）２５１及び画像インターフェイス部（以下、画像Ｉ／Ｆ部と略記する）２５３を備える。Ｉ／Ｆ部２５１及び画像Ｉ／Ｆ部２５３は、有線接続用のコネクターを備え、このコネクターに対応するインターフェイス回路を備える。また、Ｉ／Ｆ部２５１及び画像Ｉ／Ｆ部２５３は、無線通信インターフェイスを備えていてもよい。有線接続用のコネクター及びインターフェイス回路としては有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等に準拠したものが挙げられる。また、無線通信インターフェイスとしては無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）、Ｍｉｒａｃａｓｔ（登録商標）、ＷｉＤｉ（登録商標）、ＡｉｒＰｌａｙ（登録商標）、ＵＷＢ（Ultra Wide Band）等に準拠したものが挙げられる。また、画像Ｉ／Ｆ部２５３には、ＭＨＬ（登録商標）、ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ等の画像データ用のインターフェイスであってもよい。また、画像Ｉ／Ｆ部２５３は、コネクターとしてＶＧＡ端子等のアナログ画像信号を入力可能なコネクターを備え、コネクターを介して入力されるアナログ画像信号をデジタルデータに変換するＡ／Ｄ変換回路を備えてもよい。さらに、画像Ｉ／Ｆ部２５３は、音声データが入力されるインターフェイスを備えてもよい。

Ｉ／Ｆ部２５１は、画像供給装置１００との間で制御データ等の各種データを送受信するインターフェイスである。後述する制御部２７０は、Ｉ／Ｆ部２５１を介して外部の画像供給装置１００とデータを送受信する機能を有する。

画像Ｉ／Ｆ部２５３は、画像供給装置１００から送信される画像信号が入力されるインターフェイスである。画像Ｉ／Ｆ部２５３は、受信した画像信号を復調して画像データを抽出し、抽出した画像データを画像処理部２５５に出力する。画像データは、動画像データであってもよいし、静止画像データであってもよい。

図１には、Ｉ／Ｆ部２５１と、画像Ｉ／Ｆ部２５３とを同一の外部装置である画像供給装置１００に接続した場合を示すが、Ｉ／Ｆ部２５１と、画像Ｉ／Ｆ部２５３とを異なる外部装置に接続してもよい。例えば、画像Ｉ／Ｆ部２５３は、画像を供給する画像供給装置１００に接続し、Ｉ／Ｆ部２５１は、プロジェクター２００を制御するパーソナルコンピューター等の制御装置に接続してもよい。なお、Ｉ／Ｆ部２５１及び画像Ｉ／Ｆ部２５３をそれぞれ複数備えた構成としてもよい。また、複数の画像Ｉ／Ｆ部２５３を備える構成において、複数の画像供給装置１００から供給される複数の画像を、１つの画面内に同時に表示する態様としてもよい。

プロジェクター２００は、光学的な画像の形成を行い、スクリーンＳＣに画像を投射する表示部２１０を備える。
表示部２１０は、光源部２１１、光変調部２１２及び投射光学系２１３を備える。
光源部２１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）又はレーザー光源等からなる光源を備える。また、光源部２１１は、光源が発した光を光変調部２１２に導くリフレクター及び補助リフレクターを備えていてもよい。さらに、光源部２１１は、投射光の光学特性を高めるためのレンズ群、偏光板、又は光源が発した光の光量を光変調部２１２に至る経路上で低減させる調光素子等（いずれも図示略）を備えていてもよい。

光源部２１１は、光源駆動部２２１により駆動される。光源駆動部２２１は、内部バス２８０に接続され、同じく内部バス２８０に接続された制御部２７０の制御により光源部２１１の光源を点灯及び消灯させる。

光変調部２１２は、例えば、ＲＧＢの三原色に対応した３枚の液晶パネルを備える。光源部２１１が発する光はＲＧＢの３色の色光に分離され、それぞれ対応する液晶パネルに入射される。３枚の液晶パネルは、透過型の液晶パネルであり、透過する光を変調して画像光を生成する。各液晶パネルを通過して変調された画像光は、クロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２１３に射出される。

光変調部２１２は、光変調部駆動部２２２により駆動される。光変調部駆動部２２２は、内部バス２８０に接続される。
光変調部駆動部２２２には、画像合成部２５９からＲ，Ｇ，Ｂの各原色に対応する重畳画像データが入力される。重畳画像データの詳細については後述する。光変調部駆動部２２２は、入力された重畳画像データを液晶パネルの動作に適したデータ信号に変換する。光変調部駆動部２２２は、変換したデータ信号に基づいて、各液晶パネルの各画素に電圧を印加し、各液晶パネルに画像を描画する。

投射光学系２１３は、光変調部２１２により変調された画像光をスクリーンＳＣに投射して、スクリーンＳＣ上に結像させるレンズ群を備える。また、投射光学系２１３は、スクリーンＳＣに投射される画像を拡大又は縮小させるズーム機構や、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。

プロジェクター２００は、操作パネル２３１、リモコン受光部２３３及び入力処理部２３５を備える。操作パネル２３１及びリモコン受光部２３３は、内部バス２８０に接続された入力処理部２３５に接続される。
操作パネル２３１には、プロジェクター２００を操作するための各種操作キーが設けられる。操作パネル２３１には、例えば、プロジェクター２００の電源オン又は電源オフを指示するための電源キー、各種設定を行うためのメニューキー等が設けられる。入力処理部２３５は、操作キーが操作されると、操作されたキーに対応した操作信号を制御部２７０に出力する。

また、プロジェクター２００は、ユーザーが使用するリモコン５を有する。リモコン５は各種のボタンを備えており、これらのボタンの操作に対応して赤外線信号を送信する。
リモコン受光部２３３は、リモコン５から送信される赤外線信号を受光する。入力処理部２３５は、リモコン受光部２３３が受光した赤外線信号をデコードして、リモコン５における操作内容を示す操作信号を生成し、制御部２７０に出力する。

プロジェクター２００は、撮像部２４０を備える。撮像部２４０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子（図示省略）を備え、被写体としてのスクリーンＳＣを撮像する。撮像部２４０の撮影方向は、投射光学系２１３と同じ方向、又は略同じ方向であり、撮像部２４０の撮影範囲は、投射光学系２１３がスクリーンＳＣ上に画像を投射する範囲をカバーする。撮像部２４０は、可視光で撮影した撮像画像データを記憶部２６０に記憶する。

プロジェクター２００は、画像処理系を備える。この画像処理系は、プロジェクター２００の全体を統合的に制御する制御部２７０を中心に構成され、この他に、画像処理部２５５、フレームメモリー２５７、画像合成部２５９及び記憶部２６０を備える。制御部２７０、画像処理部２５５、画像合成部２５９及び記憶部２６０は、内部バス２８０によりデータ通信可能に相互に接続される。

画像処理部２５５は、画像Ｉ／Ｆ部２５３から入力される画像データをフレームメモリー２５７に展開して処理する。画像処理部２５５が行う処理には、例えば、解像度変換（スケーリング）処理又はリサイズ処理、歪み補正等の形状補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等が含まれる。画像処理部２５５は、制御部２７０により指定された処理を実行し、必要に応じて、制御部２７０から入力されるパラメーターを使用して処理を行う。また、画像処理部２５５は、上記のうち複数の処理を組み合わせて実行することも勿論可能である。画像処理部２５５は、処理が終了した画像データを画像合成部２５９に出力する。

画像合成部２５９は、画像処理部２５５から入力される画像データをフレームメモリー２５７に展開する。また、画像合成部２５９は、制御部２７０から描画データ（ＯＳＤデータ）が入力される場合には、制御部２７０の制御に従って、フレームメモリー２５７に展開された画像データに、入力される描画データを重畳する。描画データについては後述する。画像合成部２５９は、画像データに描画データが重畳されたデータをフレームメモリー２５７から読み出し、重畳画像データとして光変調部駆動部２２２に出力する。

記憶部２６０は、例えば、ハードディスク装置等の補助記憶装置である。記憶部２６０は、ＤＲＡＭ（Dynamic RAM）、大容量の情報の記憶が可能なフラッシュメモリー又はＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）等の光ディスクで代替されてもよい。記憶部２６０は、制御部２７０が実行する制御プログラムや各種データを記憶する。また、記憶部２６０は、撮像部２４０が撮像した撮像画像データの他、後述する第１パターン画像３１０及び第２パターン画像３２０の画像データを記憶する。

また、記憶部２６０は、キャリブレーションデータ２６１を記憶する。
キャリブレーションデータ２６１は、プロジェクター２００の出荷前に実行されるキャリブレーションによって得られるデータである。キャリブレーションデータ２６１は、投射した所定のパターン画像を撮像して得られる撮像画像データ上でのパターン画像の位置やサイズ等の情報（撮像位置情報）から、スクリーンＳＣ上での投射領域のサイズを導くためのデータであり、投射光学系２１３に含まれるズームレンズのズーム比と、プロジェクター２００からスクリーンＳＣまでの距離（設置距離）と、これらに応じて変化する撮像位置情報との関係を表す行列式である。キャリブレーションデータ２６１は、記憶部２６０に記憶される。なお、投射領域とは、プロジェクター２００が投射する画像の全体がスクリーンＳＣ上で占める領域を示す。

キャリブレーションでは、プロジェクター２００の投射条件（ズーム比及び設置距離）を変更しながら、予め用意された２つの画像をスクリーンＳＣに投射する。また、予め用意された２つの画像には、図２に示す第１パターン画像３１０と、図３に示す第２パターン画像３２０とが含まれる。なお、第１パターン画像３１０及び第２パターン画像３２０は、予め記憶部２６０に記憶されている態様に限定されず、制御プログラムに従って都度生成する態様としてもよい。

図２は、スクリーンＳＣ上の投射領域１０に投射された第１パターン画像３１０を示す。
第１パターン画像３１０は、矩形の画像であり、第１領域３１１と第２領域３１２とを有する。第１領域３１１は、第１パターン画像３１０の中心部分に配置される矩形の領域である。本実施形態では、第１領域３１１として、白色の画像を用いる。また、第２領域３１２は、第１領域３１１を取り囲むように第１領域３１１の周囲に配置される領域である。本実施形態では、第２領域３１２として、黒色の画像を用いる。なお、本実施形態では、第１領域３１１が矩形の領域である場合を示したが、第１領域３１１の形状は矩形に限定されない。また、本実施形態では、第１領域３１１を白色の画像とし、第２領域３１２を黒色の画像とした場合を示すが、第１領域３１１及び第２領域３１２の色は、これらの色に限定されない。後述するように第１パターン画像３１０を撮像した撮像画像データと、第２パターン画像３２０を撮像した撮像画像データとの差分を求めることによって、撮像画像データ上での第１領域３１１の位置及び範囲が認識できる画像であればよい。

図３に、スクリーンＳＣ上の投射領域１０に投射された第２パターン画像３２０の一例を示す。第２パターン画像３２０は、黒色の矩形の画像であり、第２パターン画像３２０の画像サイズ及び縦横比は、第１パターン画像３１０と同一である。

制御部２７０は、第１パターン画像３１０及び第２パターン画像３２０の撮像画像データを生成すると、第１パターン画像３１０の撮像画像データと、第２パターン画像３２０の撮像画像データとの差分を算出する。また、制御部２７０は、算出した差分をしきい値と比較することで第１領域３１１を特定する。さらに、制御部２７０は、特定した第１領域３１１の４隅の点である４頂点の座標を求める。４頂点の座標は、撮像座標系での座標である。撮像座標系は、撮像部２４０が備える撮像素子の座標系である。撮像素子は、複数の受光素子を水平方向及び垂直方向に２次元に配置した構造を有する。撮像座標系は、受光素子を識別する水平方向及び垂直方向の座標を表す。

制御部２７０は、複数の投射条件（複数のズーム比及び複数の設置距離）にて４頂点の座標が求められると、求めた４頂点の座標と、投射条件との関係を表す行列式を導き、これをキャリブレーションデータ２６１として記憶部２６０に記憶させる。

また、記憶部２６０は、処理登録テーブル２６２を記憶する。
処理登録テーブル２６２には、後述する操作検出マーカー３０５を識別するための情報（マーカー識別情報）と、操作検出マーカー３０５が選択された場合にプロジェクター２００が実行する処理を示す情報（処理情報）とを対応付けて記憶する。マーカー識別情報は、複数の操作検出マーカー３０５のそれぞれを識別するために、各操作検出マーカー３０５に個別に割り当てられた情報（例えば、番号）である。操作検出マーカー３０５は、描画データに基づいて表示される画像であり、本発明の「検出画像」に対応する。なお、処理登録テーブル２６２は、記憶部２６０に記憶させておく構成とする代わりに、制御プログラムによって生成するようにしてもよい。

制御部２７０は、ハードウェアとしてＣＰＵ、ＲＯＭ及びＲＡＭ（いずれも図示略）を備える。ＲＯＭは、フラッシュＲＯＭ等の不揮発性の記憶装置であり、制御プログラム及びデータを記憶する。ＲＡＭは、ＣＰＵのワークエリアを構成する。ＣＰＵは、ＲＯＭから読み出した制御プログラムをＲＡＭに展開し、展開された制御プログラムを実行してプロジェクター２００の各部を制御する。

制御部２７０は、機能ブロックとして、表示制御部２７１、操作検出部２７２及び処理実行制御部２７３を備える。これらの機能ブロックは、ＲＡＭに展開された制御プログラムを実行することで実現される。

表示制御部２７１は、プロジェクター２００の各部を制御して、スクリーンＳＣに投射画像を表示させる。
具体的には、表示制御部２７１は、画像処理部２５５に、画像Ｉ／Ｆ部２５３が受信した画像データを処理させる。この際、表示制御部２７１は、画像処理部２５５の処理に必要なパラメーターを記憶部２６０から読み出し、画像処理部２５５に出力してもよい。
また、表示制御部２７１は、画像合成部２５９を制御して、画像合成部２５９に、画像データと描画データとを合成する処理を実行させる。また、表示制御部２７１は、光変調部駆動部２２２を制御して光変調部２１２の液晶パネルに画像を描画させる。さらに、表示制御部２７１は、光源駆動部２２１を制御して光源部２１１の光源を点灯させ、光源の輝度を調整させる。これにより、光源が発光して光変調部２１２が変調する画像光が投射光学系２１３によりスクリーンＳＣに投射される。

操作検出部２７２は、撮像部２４０が撮像する撮像画像データに基づいて、操作検出マーカー３０５に対する操作を検出する。本実施形態の操作検出部２７２は、操作検出マーカー３０５に対する操作として、操作検出マーカー３０５を選択する操作（以下、選択操作という）を検出する。
処理実行制御部２７３は、操作検出部２７２が操作を検出した操作検出マーカー３０５に対応付けられた処理をプロジェクター２００に実行させる。
表示制御部２７１、操作検出部２７２及び処理実行制御部２７３の動作の詳細については図４を参照しながら説明する。表示制御部２７１は、本発明の「表示制御部、及びサイズ検出部」に相当し、操作検出部２７２は、本発明の「検出部」に相当する。また、処理実行制御部２７３は、本発明の「処理部」に相当する。

図４は、制御部２７０の動作を示すフローチャートである。
まず、表示制御部２７１は、リモコン５又は操作パネル２３１により操作検出マーカー３０５（図５参照）の表示要求を受け付けたか否かを判定する（ステップＳ１）。操作検出マーカー３０５は、ユーザーの操作を検出するための検出画像であり、画像供給装置１００から供給される画像データに基づく画像（以下、入力画像という）と共にスクリーンＳＣに投射される。

図５は、スクリーンＳＣの投射領域１０に投射される表示画像３００の一例を示す図である。
表示画像３００には、画像表示領域３０１と、操作検出領域３０２とが形成される。画像表示領域３０１は、投射領域１０の大部分を占める領域であり、入力画像が表示される領域である。操作検出領域３０２は、投射領域１０の端部に表示される領域である。すなわち、操作検出領域３０２は、画像表示領域３０１の外側に表示され、操作検出領域３０２に表示される操作検出マーカー３０５も画像表示領域３０１の外側に表示される。図５には、操作検出領域３０２を、投射領域１０の左端に表示した場合を示すが、操作検出領域３０２の表示位置は、左端に限定されない。例えば、操作検出領域３０２が、投射領域１０の右端に投射されるようにしてもよいし、投射領域１０の上側の端部や下側の端部に投射されるようにしてもよい。

操作検出領域３０２には、複数の操作検出マーカー３０５と、複数のアイコン３０７とが表示される。アイコン３０７は、描画データに基づいて表示される画像であり、本発明の「識別画像」に相当する。
複数の操作検出マーカー３０５及び複数のアイコン３０７は、予め設定された背景色に重ねて表示される。本実施形態では、背景色として黒色が用いられる。操作検出領域３０２内で複数の操作検出マーカー３０５及び複数のアイコン３０７が黒色の背景色に重ねて表示されることで、画像表示領域３０１と、操作検出領域３０２との区別を明確にできる。

操作検出領域３０２に表示される操作検出マーカー３０５の数は任意である。すなわち、１つであってもよいし、複数であってもよい。図５には、操作検出領域３０２に、操作検出マーカー３０５Ａ、３０５Ｂ、３０５Ｃ及び３０５Ｄの４つの操作検出マーカー３０５が縦に並んで表示される場合を示す。操作検出領域３０２に表示される操作検出マーカー３０５の数が増えるほど、プロジェクター２００に実行させる処理の数が増加する。
また、操作検出領域３０２に複数の操作検出マーカー３０５を表示する場合、操作検出マーカー３０５を表す画像として、同一の外観を有する画像が用いられる。本実施形態では、操作検出マーカー３０５の画像として、同一形状、同一サイズ、同一模様（色調）の画像を用いる。複数の操作検出マーカー３０５を表す画像に同一サイズ、同一形状、同一模様（色調）の画像を用いることで、操作検出マーカー３０５に対する操作を検出する場合に用いるしきい値を共通化し、操作検出マーカー３０５に対する操作の検出が容易になる。
図５には、操作検出マーカー３０５Ａ〜３０５Ｄを表す画像として、白色の円形の画像を用いた場合を示す。

また、操作検出領域３０２に表示される複数のアイコン３０７は、操作検出マーカー３０５に対応付けられた処理を示す図柄、絵柄、記号、文字などを表す画像である。図５には、複数のアイコン３０７として、アイコン３０７Ａ、３０７Ｂ、３０７Ｃ及び３０７Ｄの４つが表示される場合を示す。
複数のアイコン３０７は、複数の操作検出マーカー３０５に対応する位置にそれぞれ表示される。より詳細には、アイコン３０７は、アイコン３０７が表示する処理を割り当てられた操作検出マーカー３０５の近傍で、操作検出マーカー３０５に重ならない位置に配置される。図５に示す例では、操作検出マーカー３０５Ａの右側に、操作検出マーカー３０５Ａに割り当てられた処理を示すアイコン３０７Ａが表示される。同様に、操作検出マーカー３０５Ｂの右側にアイコン３０７Ｂが表示され、操作検出マーカー３０５Ｃの右側にアイコン３０７Ｃが表示され、操作検出マーカー３０５Ｄの右側にアイコン３０７Ｄが表示される。ここで、操作検出マーカー３０５の右側とは、画像表示領域３０１側（入力画像側）であり、表示画像３００における内側である。
複数の操作検出マーカー３０５Ａ〜３０５Ｄを表す画像の形状やサイズは共通であるため、ユーザーは、操作検出マーカー３０５の画像を見ただけでは、操作検出マーカー３０５Ａ〜３０５Ｄに対応付けられた処理を認識することができない。このため、複数の操作検出マーカー３０５のそれぞれの近くに、各操作検出マーカー３０５に対応付けられた処理を示す複数のアイコン３０７を表示して、操作検出マーカー３０５に対応付けられた処理が認識できるようにする。

本実施形態では、プロジェクター２００が操作検出マーカー３０５をスクリーンＳＣに表示し、表示された操作検出マーカー３０５を選択する操作を検出する。プロジェクター２００は、操作検出マーカー３０５がユーザーにより選択されると、選択された操作検出マーカー３０５に対応付けられた処理を実行する。
例えば、図５に示す操作検出マーカー３０５Ａには、操作検出マーカー３０５Ａの操作に応じて、投射領域１０における画像表示領域３０１に対する操作検出領域３０２の相対的な表示位置を変更する処理が割り当てられる。記憶部２６０が記憶する処理登録テーブル２６２には、操作検出マーカー３０５Ａを表すマーカー識別情報と、実行する処理の内容を示す情報（処理情報）として表示位置の変更とが対応付けて登録される。

操作検出部２７２は、操作検出マーカー３０５Ａが選択されたと判定する場合、選択された操作検出マーカー３０５Ａのマーカー識別情報に基づき処理登録テーブル２６２を参照し、このマーカー識別情報に対応付けられた処理情報を取得して、処理実行制御部２７３に出力する。処理実行制御部２７３は、入力された処理情報に従って、処理を実行する。詳細には、処理実行制御部２７３は、光変調部２１２の液晶パネル上において、画像表示領域３０１に対する操作検出領域３０２の相対的な位置を変更する。図６には、操作検出マーカー３０５Ａに対応付けられた処理を実行して、操作検出領域３０２の表示位置を、投射領域１０の左端から右端に変更した場合を示す。この場合、アイコン３０７は、操作検出マーカー３０５の左側（内側）に表示される。また、右向きの矢印だったアイコン３０７Ａの図柄は、左向きの矢印に変更される。なお、操作検出部２７２が処理登録テーブル２６２を参照して処理情報を取得し、この処理情報を処理実行制御部２７３に出力する代わりに、操作検出部２７２が処理実行制御部２７３にマーカー識別情報を出力し、処理実行制御部２７３が処理登録テーブル２６２を参照して処理情報を取得するようにしてもよい。

操作検出マーカー３０５に対応付けられる処理には、この他に、スクリーンＳＣへの画像の投射や音声の出力を停止させるＡＶ（Audio Visual）ミュートの実行／解除や、ページアップ、ページダウン等の処理が含まれる。ページアップ、ページダウンの処理とは、プロジェクター２００がスクリーンＳＣに投射する画像がプレゼンテーションソフトやワープロソフト、表計算ソフトによって生成されるドキュメントの画像である場合に、ドキュメントのページをダウン又はアップさせる処理である。なお、操作検出マーカー３０５に対応付けられる処理は、上記に限定されず、プロジェクター２００や画像供給装置１００が備える様々な機能を採用することができる。

表示制御部２７１は、ステップＳ１の判定が否定判定の場合（ステップＳ１／ＮＯ）、操作検出マーカー３０５を表示させる指示を受け付けるまで図４に示すフローチャートに従った処理の実行を待機し、他の処理を実行する。
また、表示制御部２７１は、ステップＳ１の判定が肯定判定の場合（ステップＳ１／ＹＥＳ）、投射条件を検出して投射領域１０のサイズを推定するため、スクリーンＳＣに第１パターン画像３１０を表示させる（ステップＳ２）。表示制御部２７１は、記憶部２６０から第１パターン画像３１０の画像データを読み出し、読み出した画像データを画像合成部２５９に出力し、表示部２１０により第１パターン画像３１０をスクリーンＳＣに表示させる。

第１パターン画像３１０がスクリーンＳＣに投射されると、表示制御部２７１は、撮像画像が適切な露出となるように露出制御（露出の調整）を行ったうえで、撮像部２４０にスクリーンＳＣ方向を撮像させ、撮像画像データを生成させる（ステップＳ３）。表示制御部２７１は、撮像部２４０により生成される撮像画像データを記憶部２６０に記憶させる。

次に、表示制御部２７１は、第２パターン画像３２０をスクリーンＳＣに表示させる（ステップＳ４）。第２パターン画像３２０がスクリーンＳＣに投射されると、表示制御部２７１は、第１パターン画像３１０を撮像したときと同じ露出で、撮像部２４０にスクリーンＳＣ方向を撮像させ、撮像画像データを生成させる（ステップＳ５）。表示制御部２７１は、撮像部２４０により生成される撮像画像データを記憶部２６０に記憶させる。

次に、表示制御部２７１は、第１パターン画像３１０の撮像画像データと、第２パターン画像３２０の撮像画像データとの差分を算出して第１領域３１１を抽出し、第１領域３１１の４隅の４頂点の座標を特定する（ステップＳ６）。ここで特定される４頂点の座標は、撮像座標系での座標である。
次に、表示制御部２７１は、特定した４頂点の座標と、キャリブレーションデータ２６１とを用いて、スクリーンＳＣ上での投射領域１０のサイズを求める。本実施形態では、表示制御部２７１は、まず、特定した４頂点の座標に、キャリブレーションデータ２６１（行列式）を用いた演算を行い、投射条件である設置距離やズーム比を特定する（ステップＳ７）。

次に、表示制御部２７１は、特定した設置距離やズーム比に基づき、投射領域１０のサイズ（以下、投射サイズ）を推定する（ステップＳ８）。例えば、所定の設置距離、所定のズーム比で、投射光学系２１３の光軸がスクリーンＳＣに垂直の場合の投射サイズ（基準投射サイズ）を記憶部２６０に予め記憶しておけば、投射光学系２１３の光軸がスクリーンＳＣに垂直の場合には、表示制御部２７１は、特定した設置距離やズーム比と基準投射サイズとを演算することによって投射サイズを算出することができる。また、記憶部２６０に、設置距離やズーム比に対応付けて、投射サイズの情報を記憶させておけば、表示制御部２７１は、特定した設置距離やズーム比に基づいて記憶部２６０を参照し、投射サイズを推定することもできる。なお、投射光学系２１３の光軸がスクリーンＳＣに垂直ではなく、それに起因して生じる台形歪みを補正する処理をしている場合には、補正処理を加味して投射サイズを算出すればよい。

投射サイズを推定すると、表示制御部２７１は、推定した投射サイズに基づいて、投射領域１０での操作検出マーカー３０５の表示位置や表示サイズ、及び複数の操作検出マーカー３０５の表示間隔を決定する（ステップＳ９）。ここで決定する操作検出マーカー３０５の表示位置や表示サイズ、及び表示間隔は、後述のステップＳ１３において操作検出マーカー３０５を表示させる予定の表示位置や表示サイズ、及び表示間隔である。ここで、表示位置とは、複数の操作検出マーカー３０５の全体の位置であり、表示サイズは、各操作検出マーカー３０５の大きさであり、表示間隔は、隣接する操作検出マーカー３０５の基準点（例えば、中心や重心等）間の距離である。例えば、記憶部２６０に、投射サイズに対応付けて操作検出マーカー３０５の表示位置や表示サイズ、及び表示間隔を設定した情報（設定情報）を記憶させておき、表示制御部２７１が、推定した投写サイズに対応する設定情報に基づいて、表示位置、表示サイズ、表示間隔を決定する。具体的には、投射サイズが大きい場合には、投射領域１０の上側に手が届かない可能性があるため、投射サイズが大きいサイズである場合ほど、操作検出マーカー３０５を全体的に投射領域１０の下側に表示させるような設定情報とすることができる。また、投射サイズが大きい場合ほど、操作検出マーカー３０５のサイズや間隔を小さくする設定情報とすることで、ユーザーにとって操作しやすい環境を実現することができる。なお、操作検出マーカー３０５等の表示位置、表示サイズ、表示間隔は、投射サイズが所定のしきい値以上か未満かに応じて２段階に切り替え可能な構成としてもよいし、投射サイズに応じて多段階（３段階以上）で変更可能な構成としてもよい。
表示制御部２７１は、投射サイズに対応した操作検出マーカー３０５の設定情報を記憶部２６０から取得すると、取得した設定情報に基づいて、第３パターン画像３３０を生成して、スクリーンＳＣに表示させる（ステップＳ１０）。

図７は、第３パターン画像３３０の一例を示す図である。
第３パターン画像３３０は、スクリーンＳＣに投射する操作検出マーカー３０５の位置を特定するための画像である。第３パターン画像３３０には、位置検出パターン３３１が表示される。第３パターン画像３３０において位置検出パターン３３１の表示位置、表示サイズ、及び表示間隔は、ステップＳ９において決定された操作検出マーカー３０５の表示位置、表示サイズ、及び表示間隔に等しい。位置検出パターン３３１を表す画像は、第３パターン画像３３０を撮像した撮像画像データにおいて、位置検出パターン３３１の画像が特定可能な画像であればよく、その色調や、形状、サイズは任意である。例えば、位置検出パターン３３１は、操作検出マーカー３０５と同様に白色の円形であり、その重心位置が特定しやすくなるように、中心（重心）から周辺に向けて徐々に暗くなる輝度分布を有する画像とすることができる。なお、位置検出パターン３３１の画像が検出し易いように、位置検出パターン３３１のサイズを、記憶部２６０から取得した操作検出マーカー３０５のサイズよりも大きなサイズとしてもよい。

第３パターン画像３３０をスクリーンＳＣに表示すると、表示制御部２７１は、撮像部２４０にスクリーンＳＣ方向を撮像させ、撮像画像データを生成させる（ステップＳ１１）。表示制御部２７１は、撮像部２４０が撮像した撮像画像データを記憶部２６０に記憶させる。
次に、表示制御部２７１は、記憶部２６０から撮像画像データを読み出し、撮像画像データから位置検出パターン３３１の画像を検出する（ステップＳ１２）。その後、表示制御部２７１は、検出した位置検出パターン３３１の重心位置を特定し、この位置を操作検出マーカー３０５に対する操作を検出する際の検出位置とする。なお、その後に表示される操作検出マーカー３０５は、その重心位置が位置検出パターン３３１の重心位置に一致するように表示される。

次に、表示制御部２７１は、決定した操作検出マーカー３０５の表示位置やサイズ等に基づいて、アイコン３０７を表示させる表示画像３００上の表示位置やサイズ等を決定する。また、表示制御部２７１は、決定した操作検出マーカー３０５やアイコン３０７の表示位置やサイズに基づき、操作検出領域３０２のサイズや表示位置、及び画像表示領域３０１のサイズや表示位置を決定する。表示制御部２７１は、決定した情報を画像合成部２５９に出力する。

画像合成部２５９は、表示制御部２７１から入力される情報に基づいて、画像処理部２５５から入力される画像データや、操作検出マーカー３０５やアイコン３０７の画像データである描画データをフレームメモリー２５７に展開する。
すなわち、画像合成部２５９は、表示制御部２７１により決定されたフレームメモリー２５７上の位置に、画像処理部２５５から入力される画像データを展開する。また、画像合成部２５９は、表示制御部２７１により決定されたフレームメモリー２５７上の位置に、操作検出マーカー３０５やアイコン３０７の描画データを展開する。
画像合成部２５９は、フレームメモリー２５７に、画像データや、操作検出マーカー３０５やアイコン３０７の描画データを展開すると、展開したデータを読み出して重畳画像データとして光変調部駆動部２２２に出力する。光変調部駆動部２２２が、重畳画像データに基づいてデータ信号を生成し、液晶パネルにデータ信号に基づく画像を描画することで、光源部２１１から射出される光が変調され、表示画像３００がスクリーンＳＣに表示される（ステップＳ１３）。

表示画像３００がスクリーンＳＣに投射されると、操作検出部２７２は、撮像部２４０が一定間隔で生成する撮像画像データに基づいて、操作検出マーカー３０５に対する操作を検出する（ステップＳ１４）。

図８には、表示画像３００に表示された操作検出マーカー３０５に対する操作の方法を示す図である。
ユーザーは、表示画像３００の操作検出領域３０２に表示される複数の操作検出マーカー３０５の中から１つの操作検出マーカー３０５を選択し、選択した操作検出マーカー３０５の位置にユーザーの手や指を重ねる。
操作検出部２７２は、撮像部２４０の撮像画像データに基づいて、操作検出マーカー３０５にユーザーの手や指が重ねられたか否かを判定する。操作検出部２７２は、操作検出マーカー３０５にユーザーの手や指が重ねられたと判定した場合、操作検出マーカー３０５に対する操作がされたと判定する。

操作検出部２７２は、撮像部２４０からの撮像画像データが更新されるごとに、操作検出マーカー３０５の検出位置（位置検出パターン３３１及び操作検出マーカー３０５の重心位置）及びその近辺の領域の画素の画素値を抽出する。操作検出部２７２は、複数の撮像画像データから抽出した画素の画素値を比較して、操作検出マーカー３０５に対する操作を検出する。以下では、操作検出マーカー３０５の検出位置及びその近辺の領域を抽出領域という。なお、抽出領域に含まれる画素の数は複数に限られず、検出位置の１画素のみであってもよい。

図９は、撮像画像データ上の座標と輝度との関係を示すグラフである。
図９に実線で示す曲線３１は、抽出領域の画素の輝度値を示す。また、図９に破線で示す曲線３２は、ユーザーの手が重ねられた場合の抽出領域の画素の輝度値を示す。曲線３１と曲線３２とを比較すると明らかなように、ユーザーの手が操作検出マーカー３０５に重ねられると、抽出領域の画素の輝度値が低下する。
操作検出部２７２は、前回の撮像画像データから抽出した抽出領域の画素の画素値と、今回の撮像画像データから抽出した抽出領域の画素の画素値とを比較して、操作検出マーカー３０５が操作されたか否かを判定する。
例えば、操作検出部２７２は、抽出領域の画素のうち、検出位置の画素を今回の撮像画像データと、前回の撮像画像データとでそれぞれに求める。操作検出部２７２は、検出位置の画素の輝度値を比較して、操作検出マーカー３０５が操作されたか否かを判定してもよい。また、操作検出部２７２は、抽出領域の画素の輝度値の総和、又は平均値を前回撮像画像データと、今回の撮像画像データとのそれぞれで求める。操作検出部２７２は、求めた輝度値の総和又は平均値を比較して、操作検出マーカー３０５が操作されたか否かを判定してもよい。

また、操作検出部２７２は、撮像部２４０が順次更新する撮像画像データの中から、異なるタイミングで撮像された撮像画像データを比較して、操作検出マーカー３０５に対する操作を検出する。このとき、最新の撮像画像データと、直前に撮像された撮像画像データとを比較すると、ユーザーが手をゆっくりと動かした場合などに、撮像画像データ間の画素値の変化が小さくなるため、操作検出マーカー３０５にユーザーの手が重ねられたか否かの判定精度が低下する場合がある。このため、操作検出部２７２は、最新の撮像画像データと、数フレーム（例えば、５フレーム）前の撮像画像データとを比較することで操作を検出するようにしてもよい。

図１０は、室内灯が点灯された場合と、消灯された場合の撮像画像データの輝度の変化を示すグラフである。
図１０に示す曲線３５〜３７は、輝度値を露出値で除算した値の時間変化を示す。より詳細には、曲線３５は、抽出領域の画素の画素値のうち、輝度が最大の画素の輝度値を、撮像部２４０の備える撮像素子の露出の明るさを示す露出値で除算した値の変化を示す。露出値は、露出、すなわち撮像素子に投影される露光量を数値で表したものであり、撮像部２４０の備えるレンズの絞り値（Ｆ値）とシャッター速度により決まる。輝度が最大の画素の輝度値を輝度値ｍａｘと表記し、輝度が最大の画素の輝度値ｍａｘを露出値で除算した値を、輝度値ｍａｘ／露出値と表記する。
また、曲線３６は、操作検出マーカー３０５の周辺の黒色部の画素の輝度値を露出値で除算した値の変化を示す。黒色部の画素の輝度値を輝度値ｍｉｎと表記し、黒色部の画素の輝度値ｍｉｎを露出値で除算した値を、輝度値ｍｉｎ／露出値と表記する。
また、図１０に示す曲線３７は、（輝度値ｍａｘ／露出値）と、（輝度値ｍｉｎ／露出値）との差分示す。

また、図１０に示す範囲「Ａ」には、プロジェクター２００が設置された室内の室内灯がオフされた場合の輝度値を露出値で除算した値の変化を示す。また、図１０に示す範囲「Ｂ」には、室内灯がオンされた場合の輝度値を露出値で除算した値の変化を示す。
図１０を参照すると明らかなように、室内灯がオン又はオフされた場合、曲線３５及び曲線３６の示す値は大きく変化する。しかし、（輝度値ｍａｘ／露出値）と、（輝度値ｍｉｎ／露出値）との差分を示す曲線３７の値は、撮像素子の露出が調整された後は、大きな変動を示さない。このため、操作検出マーカー３０５に対する操作が行われたか否かを判定する値として、（輝度値ｍａｘ／露出値）―（輝度値ｍｉｎ／露出値）を用いることで、室内灯のオン、オフなどによる環境光の影響を低減することができる。

また、曲線３５及び曲線３６の示す値は、室内灯がオン又はオフされた場合、値が大きく変化する。このため、（輝度値ｍａｘ／露出値）又は（輝度値ｍｉｎ／露出値）を予め設定されたしきい値と比較することで、室内灯等の環境光が変化したか否かを判定できる。
このため、表示制御部２７１は、（輝度値ｍａｘ／露出値）又は（輝度値ｍｉｎ／露出値）の値に基づいて、露出制御を実行すべきか否かを判定してもよい。表示制御部２７１は、撮像部２４０が露出制御を実行すべきであると判定する場合、露出制御を実行するとともに、アイコン３０７の表示を、操作を受け付けることができない状態であることを示す表示に変更する。表示制御部２７１は、例えば、アイコン３０７の表示を点滅させたり、初期状態及び操作検出時とは別の色で表示させたり、アイコン３０７の図柄等を変更したりすることにより、操作検出マーカー３０５に対する操作ができない旨を報知する。
また、撮像部２４０が露出制御を実行すべきであるか否かの判定方法は、以下の方法であってもよい。すなわち、表示制御部２７１は、撮像部２４０が一定の時間間隔で更新する撮像画像データに基づいて、複数の操作検出マーカー３０５が所定時間継続して変化し続けたと判定した場合、又は、少なくとも１つ以上の操作検出マーカー３０５の画素の輝度値が所定時間継続して飽和し続けたと判定した場合、又は、複数の操作検出マーカー３０５の所定範囲内の画素の最大輝度値が所定の輝度範囲から外れたと判定した場合に、撮像部２４０の露出制御を実行すべきであると判定し、露出制御を実行する。

操作検出部２７２は、操作検出マーカー３０５に対する操作が検出されない場合（ステップＳ１４／ＮＯ）、撮像部２４０が順次更新する撮像画像データを用いて操作検出マーカー３０５に対する操作を引き続き検出する。

また、操作検出部２７２は、操作検出マーカー３０５に対する操作が検出されたと判定する場合（ステップＳ１４／ＹＥＳ）、複数の操作検出マーカー３０５に対する操作を検出したか否かを判定する（ステップＳ１５）。操作検出部２７２は、複数の操作検出マーカー３０５に対する操作を検出した場合（ステップＳ１５／ＹＥＳ）、検出した操作を無効と判断し、複数の操作検出マーカー３０５に対応した処理の実行制御を処理実行制御部２７３に行わせない。これにより、誤った操作の検出によって誤った処理が実行されるのを防止できる。なお、誤った処理の実行をより確実に防止するためには、複数の操作検出マーカー３０５に対する操作を検出してから、複数の操作検出マーカー３０５に対する操作が全て通常状態（非検出）に戻るまで、操作の無効を継続することが好ましい。
また、操作検出部２７２は、複数の操作検出マーカー３０５に対する操作を検出した場合に（ステップＳ１５／ＹＥＳ）、一部の処理の実行を制限するようにしてもよい。例えば、複数の操作検出マーカー３０５に対する操作が検出された場合に、実行を許可する処理の情報を予め記憶部２６０に記憶させておく。操作検出部２７２は、操作が検出された複数の操作検出マーカー３０５が、記憶部２６０に記憶させた実行を許可された処理に対応付けられている場合には、処理の実行制御を処理実行制御部２７３に実施させる。

また、操作検出部２７２が、複数の操作検出マーカー３０５に対する操作を検出していないと判定する場合（ステップＳ１５／ＮＯ）、表示制御部２７１は、所定の期間（例えば、０．３秒後から１．５秒後までの間）、操作を検出した操作検出マーカー３０５に対応するアイコン３０７の表示態様を変更する（ステップＳ１６）。以下、操作を検出した操作検出マーカー３０５に対応するアイコン３０７を、対応アイコン３０７と表記する。例えば、表示制御部２７１は、対応アイコン３０７を所定の期間点滅させたり、対応アイコン３０７の色を、対応アイコン３０７以外のアイコン３０７の色とは異なる色に変更したり、対応アイコン３０７の図柄等を変更したりする。
次に、操作検出部２７２は、対応アイコン３０７の表示態様が変更される所定の期間の間に、操作を検出した操作検出マーカー３０５上に重ねられたユーザーの手又は指が、この操作検出マーカー３０５上から移動したか（離れたか）否かを判定する。操作検出部２７２は、この判定により操作を検出した操作検出マーカー３０５が選択されたか否かを判定する（ステップＳ１７）。操作検出部２７２は、操作検出マーカー３０５上にユーザーの手が重ねられたか否かを判定した場合と同様に、撮像部２４０の撮像画像データにより、ユーザーの手又は指が、この操作検出マーカー３０５上から移動したか否かを判定する。操作検出部２７２は、ユーザーの手又は指が操作検出マーカー３０５上から移動したと判定すると、操作を検出した操作検出マーカー３０５が選択されたと判定する（ステップＳ１７／ＹＥＳ）。また。操作検出部２７２は、ユーザーの手又は指が所定の期間の間に操作検出マーカー３０５上から移動しなかった場合、操作を検出した操作検出マーカー３０５が選択されなかったと判定する（ステップＳ１７／ＮＯ）。操作を検出した操作検出マーカー３０５が選択されなかった場合、操作検出部２７２は、表示制御部２７１により対応するアイコンの表示状態を初期状態に戻してステップＳ１４に戻り、撮像部２４０が順次更新する撮像画像データを用いて操作検出マーカー３０５に対する操作を引き続き検出する。

操作検出マーカー３０５が選択されたと判定した場合（ステップＳ１７／ＹＥＳ）、操作検出部２７２は、記憶部２６０に記憶されている処理登録テーブル２６２を参照し、選択された操作検出マーカー３０５に対応付けられた処理情報を取得する。そして、操作検出部２７２は、取得した処理情報を処理実行制御部２７３に出力する。

処理実行制御部２７３は、操作検出部２７２から処理情報が入力されると、プロジェクター２００の各部を制御して、選択された操作検出マーカー３０５に対応付けられた処理を実行する（ステップＳ１８）。

操作検出マーカー３０５に対応付けられた処理を処理実行制御部２７３が実行すると、表示制御部２７１は、スクリーンＳＣへの表示画像３００の表示が終了したか否かを判定する（ステップＳ１９）。否定判定の場合（ステップＳ１９／ＮＯ）、表示制御部２７１は、ステップＳ１４に戻り、操作検出部２７２によって再度、操作検出マーカー３０５に対する操作を検出する。また、肯定判定の場合（ステップＳ１９／ＹＥＳ）、表示制御部２７１は、この処理フローを終了させる。

上述のフローチャートでは、１つの操作検出マーカー３０５に、１つの処理を対応付けたが、１つの操作検出マーカー３０５に複数の処理を対応付けてもよい。例えば、操作検出部２７２は、予め設定された条件が成立する場合と、成立しない場合とで、操作検出マーカー３０５が選択された場合に実行する処理を切り替える。
例えば、処理登録テーブル２６２において、１つのマーカー識別情報に、Ｉ／Ｆ部２５１にＰＣ等の制御装置（画像供給装置１００）が接続された場合に実行する処理を示す処理情報と、Ｉ／Ｆ部２５１に制御装置が接続されていない場合に実行する処理を示す処理情報の両方を対応付け登録する。例えば、Ｉ／Ｆ部２５１に制御装置が接続されていない場合に実行する処理としては、ＡＶミュート、フリーズ、ソース切り替え等、プロジェクター２００が実行する処理が挙げられる。また、Ｉ／Ｆ部２５１に制御装置が接続された場合に実行する処理としては、ページアップ、ページダウン、全画面表示、全画面非表示等、制御装置が実行する処理が挙げられる。制御装置が実行する処理に対応する操作検出マーカー３０５が選択された場合には、処理実行制御部２７３は、当該処理を示す処理情報を制御装置に出力し、制御装置に当該処理を実行させる。

また、複数の操作検出マーカー３０５の一部をプロジェクター２００が実行する処理に対応付け、他の一部の操作検出マーカー３０５をＩ／Ｆ部２５１に接続された制御装置が実行する処理に対応付けるとともに、表示制御部２７１は、制御装置が接続された状態では、プロジェクター２００の処理に対応付けられた操作検出マーカー３０５と、制御装置の処理に対応付けられた操作検出マーカー３０５の双方を表示し、制御装置が接続されていない状態では、プロジェクター２００の処理に対応付けられた操作検出マーカー３０５のみを表示して、制御装置の処理に対応付けられた操作検出マーカー３０５を表示しないようにしてもよい。この場合には、有効な操作検出マーカー３０５のみが表示されることになるため、ユーザーにとって利便性が向上する。

また、Ｉ／Ｆ部２５１や画像Ｉ／Ｆ部２５３に接続されている制御装置や画像供給装置１００の種別を判別する判別部を制御部２７０内に設け、表示制御部２７１が、判別部の判別結果に基づいて、表示する操作検出マーカー３０５を変更して、接続されている制御装置や画像供給装置１００に適した処理を選択できるようにしてもよい。

以上説明したように、本発明の表示装置及び表示装置の制御方法を適用した実施形態は、表示部２１０、表示制御部２７１、操作検出部２７２、撮像部２４０、処理実行制御部２７３を備える。
表示部２１０は、スクリーンＳＣに画像を表示する。撮像部２４０は、スクリーンＳＣに表示される複数の操作検出マーカー３０５を撮像する。
表示制御部２７１は、入力される画像信号に基づく入力画像と、操作検出に用いる複数の操作検出マーカー３０５とを表示部２１０によりスクリーンＳＣに表示させる。
操作検出部２７２は、撮像部２４０の撮像画像に基づき、複数の操作検出マーカー３０５のそれぞれに対する操作を検出する。
処理実行制御部２７３は、操作検出部２７２が操作を検出した操作検出マーカー３０５に対応する処理を実行させる。
また、表示制御部２７１は、スクリーンＳＣにおいて入力画像の外側に複数の操作検出マーカー３０５を表示させる。従って、操作検出マーカー３０５によって入力画像の一部を隠してしまうことがなくなるとともに、操作検出マーカー３０５に対する操作を検出する際に、入力画像の表示状態の影響を受けずに高精度で検出することができる。例えば、操作検出マーカー３０５を、入力画像に重畳して配置する場合には、操作検出マーカー３０５に合わせて露出調整した際に、入力画像の画素が飽和して操作検出マーカー３０５への操作の検出に影響を及ぼす恐れがあるが、本実施形態では、操作検出マーカー３０５を入力画像の外側に配置しているため、その恐れがない。
また、複数の操作検出マーカー３０５のそれぞれに対応する複数のアイコン３０７が、操作検出マーカー３０５に対応する位置に表示される。このため操作検出マーカー３０５に関連する処理などを分かりやすく表示できる。

また、表示制御部２７１は、表示部２１０により、同一の外観を有する複数の操作検出マーカー３０５を表示させる。
従って、複数の操作検出マーカー３０５として同一の外観を有する画像が表示されるので、操作を検出するための条件を共通化して、処理負荷を軽減できる。

また、表示制御部２７１は、表示部２１０により、予め設定された背景色に重ねて操作検出マーカー３０５を表示させる。
従って、操作検出マーカー３０５が、予め設定された背景色に重ねて表示されるため、操作検出マーカー３０５の視認性を高め、入力画像の表示と、操作検出マーカー３０５の表示との区別を明確にできる。

また、操作検出部２７２が操作を検出した操作検出マーカー３０５が複数である場合に、操作が検出された操作検出マーカー３０５に対応して処理実行制御部２７３が実行さセル処理の少なくとも一部が実行されない。
従って、操作が検出された操作検出マーカー３０５が複数である場合、処理の少なくとも一部が実行されないため、誤った操作の検出によって誤った処理が実行されるのを防止できる。

また、表示制御部２７１は、スクリーンＳＣにおいて表示部２１０が画像を表示する投射領域１０のサイズを検出する。
表示制御部２７１は、検出した投射領域１０のサイズに基づき、投射領域１０における操作検出マーカー３０５の表示位置、操作検出マーカー３０５の表示サイズ、及び複数の操作検出マーカー３０５の表示間隔の少なくともいずれかを変更する。
従って、操作検出マーカー３０５を投射領域１０に適した表示位置、表示サイズ、表示間隔で表示できる。

また、表示制御部２７１は、操作検出部２７２が操作を検出した操作検出マーカー３０５に対応するアイコン３０７の表示態様を変化させる。従って、操作が検出された操作検出マーカー３０５を他の操作検出マーカー３０５と区別して表示できる。

また、処理実行制御部２７３は、表示部２１０が表示するいずれかの操作検出マーカー３０５の操作に応じて、スクリーンＳＣにおける入力画像に対する複数の操作検出マーカー３０５の相対的な表示位置を変更する処理を実行する。
従って、操作検出マーカー３０５の操作により、入力画像に対する複数の操作検出マーカー３０５の相対的な表示位置を変更できる。

また、プロジェクター２００は、外部の装置に接続するＩ／Ｆ部２５１を備える。
表示制御部２７１は、Ｉ／Ｆ部２５１に外部の装置が接続された場合には、外部の装置が実行する処理に対応する操作検出マーカー３０５を表示する。また、表示制御部２７１は、Ｉ／Ｆ部２５１に外部の装置が接続されていない場合には、外部の装置が実行する処理に対応する操作検出マーカー３０５を表示しない。
従って、操作検出領域３０２には、無効な操作検出マーカー３０５が表示されなくなるため、ユーザーの利便性が向上する。
また、プロジェクター２００は、表示部２１０が表示するいずれかの操作検出マーカー３０５の操作に応じて処理実行制御部２７３が実行させる処理が、Ｉ／Ｆ部２５１に外部の装置が接続される場合と、接続されていない場合とで異なる。
従って、Ｉ／Ｆ部２５１に外部の装置が接続された場合には、例えば、外部の装置が実行する処理に応じた処理をプロジェクター２００に実行させることができる。また、Ｉ／Ｆ部２５１に外部の装置が接続されていない場合には、プロジェクター２００が単独で実行する処理を実行させることができる。

また、表示制御部２７１は、操作検出マーカー３０５の内側（入力画像側）にアイコン３０７を表示させる。
従って、投射領域１０の外側にいるユーザーが操作検出マーカー３０５を操作する際に、ユーザーの手がアイコン３０７に重なることがなくなり、アイコン３０７の視認性が低下せずに済む。

上述した実施形態は、本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した実施形態では、ステップＳ１５にて複数の操作検出マーカー３０５に対する操作でないと判断された場合に、ステップＳ１６にてアイコン３０７の表示態様を変更するようにしているが、いずれか１つの操作検出マーカー３０５への操作が検出された時点でアイコン３０７の表示態様を変更し、その後、複数の操作検出マーカー３０５への操作が検出された場合に、アイコン３０７の表示態様の変更を元に戻すようにしてもよい。

また、上述した実施形態では、光源が発した光を変調する光変調部２１２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、３枚の反射型液晶パネルを用いた構成としてもよいし、１枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。光変調部として１枚のみの液晶パネル又はＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な光変調部２１２であれば問題なく採用できる。

また、図１に示したプロジェクター２００の各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター２００の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

また、図４に示すフローチャートの処理単位は、プロジェクター２００の制御部２７０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部２７０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

５…リモコン、１０…投射領域、１００…画像供給装置、２００…プロジェクター、２１０…表示部、２１１…光源部、２１２…光変調部、２１３…投射光学系、２２１…光源駆動部、２２２…光変調部駆動部、２３１…操作パネル、２３３…リモコン受光部、２３５…入力処理部、２４０…撮像部、２５１…Ｉ／Ｆ部、２５３…画像Ｉ／Ｆ部、２５５…画像処理部、２５７…フレームメモリー、２５９…画像合成部、２６０…記憶部、２６１…キャリブレーションデータ、２６２…処理登録テーブル、２７０…制御部、２７１…表示制御部（サイズ検出部）、２７２…操作検出部（検出部）、２７３…処理実行制御部（処理部）、２８０…内部バス、３０１…画像表示領域、３０２…操作検出領域、３０５、３０５Ａ、３０５Ｂ、３０５Ｃ、３０５Ｄ…操作検出マーカー（検出画像）、３０７、３０７Ａ、３０７Ｂ、３０７Ｃ、３０７Ｄ…アイコン、３１０…第１パターン画像、３１１…第１領域、３１２…第２領域、３２０…第２パターン画像、３３０…第３パターン画像、３３１…位置検出パターン、ＳＣ…スクリーン(表示面)。

Claims (10)

1. 表示面に画像を表示する表示部と、
   入力される画像信号に基づく入力画像と、操作検出に用いる複数の検出画像とを前記表示部により前記表示面に表示させる表示制御部と、
   前記表示面に表示される複数の前記検出画像を撮像する撮像部と、
   前記撮像部の撮像画像に基づき、複数の前記検出画像のそれぞれに対する操作を検出する検出部と、
   前記検出部が操作を検出した前記検出画像に対応する処理を実行する処理部と、を備え、
   前記表示制御部は、中心から周辺に向けて輝度分布を有する複数の位置検出画像を前記表示面に表示させ、前記撮像部の撮像画像から複数の前記位置検出画像の輝度分布を検出し、検出した複数の前記位置検出画像の前記輝度分布に基づいて複数の前記検出画像の表示位置を決定し、決定した表示位置に、複数の前記検出画像を表示させ、
   決定した複数の前記検出画像の表示位置は、前記表示面において前記入力画像の外側であり、
   複数の前記検出画像のそれぞれに対応する複数の識別画像を、前記検出画像に対応する位置に表示させる表示装置。
2. 前記表示制御部は、前記表示部により、予め設定された背景色に重ねて前記検出画像を表示させる請求項１記載の表示装置。
3. 前記検出部が操作を検出した前記検出画像が複数である場合に、操作が検出された前記検出画像に対応して前記処理部が実行する処理の少なくとも一部が実行されない請求項１又は２記載の表示装置。
4. 前記表示面において前記表示部が画像を表示する表示領域のサイズを検出するサイズ検出部を備え、
   前記表示制御部は、前記サイズ検出部が検出する前記表示領域のサイズに基づき、前記表示領域における前記検出画像の表示位置、前記検出画像の表示サイズ、及び複数の前記検出画像の表示間隔の少なくともいずれかを変更する請求項１から３のいずれか１項に記載の表示装置。
5. 前記表示制御部は、前記検出部が操作を検出した前記検出画像に対応する識別画像の表示態様を変化させる請求項１から４のいずれか１項に記載の表示装置。
6. 前記表示制御部は、前記識別画像を前記検出画像の前記入力画像側に表示させる請求項１から５のいずれか１項に記載の表示装置。
7. 前記処理部は、前記表示部が表示するいずれかの前記検出画像の操作に応じて、前記表示面における前記入力画像に対する複数の前記検出画像の相対的な表示位置を変更する処理を実行する請求項１から６のいずれか１項に記載の表示装置。
8. 外部の装置に接続するインターフェイス部を備え、
   前記表示制御部は、前記インターフェイス部に前記外部の装置が接続された場合には、前記外部の装置が実行する処理に対応する前記検出画像を表示し、前記インターフェイス部に前記外部の装置が接続されていない場合には、前記外部の装置が実行する処理に対応する前記検出画像を表示しない請求項１から７のいずれか１項に記載の表示装置。
9. 外部の装置に接続するインターフェイス部を備え、
   前記表示部が表示するいずれかの前記検出画像の操作に応じて前記処理部が実行する処理が、前記インターフェイス部に前記外部の装置が接続される場合と、接続されていない場合とで異なる処理である請求項１から８のいずれか１項に記載の表示装置。
10. 表示面に画像を表示する表示装置の制御方法であって、
    前記表示面に、入力される画像信号に基づく入力画像と、操作検出に用いる複数の検出画像とを表示するステップと、
    前記表示面に表示した複数の前記検出画像を撮像するステップと、
    複数の前記検出画像を撮像した撮像画像に基づき、複数の前記検出画像のそれぞれに対する操作を検出するステップと、
    操作を検出した前記検出画像に対応する処理を実行するステップと、を有し、
    前記表示するステップは、中心から周辺に向けて輝度分布を有する複数の位置検出画像を前記表示面に表示させ、前記撮像するステップにより撮像された撮像画像から複数の前記位置検出画像の輝度分布を検出し、検出した複数の前記位置検出画像の前記輝度分布に基づいて複数の前記検出画像の表示位置を決定し、決定した表示位置に、複数の前記検出画像を表示させ、
    決定した複数の前記検出画像の表示位置は、前記表示面において前記入力画像の外側であり、
    複数の前記検出画像のそれぞれに対応する複数の識別画像を、前記検出画像に対応する位置に表示させる表示装置の制御方法。
    

Images