JP6282758B2 - 投射型映像表示装置および映像表示方法 - Google Patents

Description

本発明は、投射型映像表示装置および映像表示方法に関し、特に、指や電子ペンなどによるユーザ操作の改善に有効な技術に関する。

映像を投射して表示する装置に関しては多くの技術が考案されている。例えば特許文献１には、目的として、「特殊な機器を用いることなく操作情報を検出する」操作検出装置とそのプログラムが記載されている。

また、その目的を達成する手段としては、「照明手段及び撮像手段と共に使用される操作検出装置であって、前記照明手段により照らされた状態で操作者を前記撮像手段に撮像させる手段と、前記撮像手段により得られる操作者の画像データをもとに、前記操作者の特定部位の領域を検出する手段と、前記検出された操作者の特定部位の領域から影の部分を抽出する手段と、前記抽出された影の部分の中から、エッジが直線を成す線分を複数検出し、検出された線分同士が鋭角に交わる点を検出し、この交点を前記操作者の特定部位の領域内における指差し位置として検出する手段とを具備することを特徴とする」ことがが記載されている。

特開２００８−５９２８３号公報

上述した特許文献１の技術では、ライトなどを照射することによって現れた指の影などに基づいて、指動作と位置とを検出している。よって、例えば外光などの周囲光の影響により、指の影の形状が乱れた場合には、指動作や位置などを検出することができ無くなってしまう恐れが生じる。

また、ユーザにおいては、外光などの影響によってユーザ操作が検出できない領域を把握することができない。そのため、ユーザ自身にて使用環境の改善ができないという問題がある。

本発明の目的は、外光などの影響によるユーザ操作の誤認識や不検出を改善することのできる技術を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

すなわち、代表的な投射型映像表示装置は、投射面に投射された操作オブジェクトの操作により制御可能な映像表示装置である。この投射型映像表示装置は、投射部と、撮像部と、操作可能領域特定部と、検出部と、を備える。

投射部は、表示映像を投射面上に投射する。撮像部は、投射面を撮像する。操作可能領域特定部は、撮像部が撮像した画像データに基づいて、投射面のうち、表示映像が投射される範囲において操作オブジェクトの操作を検出できる第１の領域および操作オブジェクトの操作を検出できない第２の領域をそれぞれ特定する検出部は、撮像部が撮像した画像データに基づいて、操作オブジェクトの操作を検出する。

そして、投射部は、操作可能領域特定部が特定した操作オブジェクトの操作を検出できる第１の領域を、第２の領域と区別して表示する表示映像を投射可能である。また、操作オブジェクトの操作を検出できる第１の領域の範囲内に表示されるように操作オブジェクトの表示位置を変更して表示する。

特に、投射部は、外部から入力された入力映像を投射部から投射して表示する場合に、操作可能領域特定部が特定した第１の領域に基づいて、表示映像中における入力映像の占める範囲を変更する。

さらに、操作可能領域特定部は、撮像部が撮影した投射面の画像データの輝度レベルに基づいて、操作オブジェクトの操作を検出できる第１の領域および操作オブジェクトの操作を検出できない第２の領域をそれぞれ特定する。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

ユーザの利便性を向上させることができる。

実施の形態１による操作検出装置における構成の一例を示す説明図である。 図１の操作検出装置における他の構成例を示した説明図である。 図１の操作検出装置の概観および該操作検出装置を操作するユーザの様子の一例を示す説明図である。 図１の操作検出装置が有する電子ペンの構成の一例を示した説明図である。 発明者が検討した画像の投射時に外部からの光が投射面に照射されている様子の一例を示した説明図である。 図１の操作検出装置による領域特定提示処理の一例を示すフローチャートである。 図６のフローチャートにおけるステップＳ１０１の処理の際に用いられる操作検出判定テーブルの構成の一例を示す説明図である。 図１の操作検出装置による指操作を検出できない領域の表示およびユーザへのガイドの一例を示す説明図である。 図１の操作検出装置による指操作を検出できない領域の表示およびユーザへのガイド表示の他の例を示す説明図である。 図１の操作検出装置による指操作を検出できない領域の表示、ユーザへのガイド表示、および操作メニューアイコン表示の一例を示す説明図である。 図１の操作検出装置による指操作を検出できない領域の表示、投射範囲の変更、操作メニューアイコン表示の一例を示す説明図である。 実施の形態３による操作検出装置の構成の一例を示す説明図である。 図１２の操作検出装置による処理の一例を示すフローチャートである。 図１２の操作検出装置による机上への映像投射時の映像表示の一例を示す説明図である。 実施の形態４による操作検出装置における構成の一例を示す説明図である。 実施の形態５による操作検出装置における構成の一例を示した説明図である。

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

以下、実施の形態を詳細に説明する。

（実施の形態１）
〈操作検出装置の構成例〉
図１は、本実施の形態１による操作検出装置１００における構成の一例を示す説明図である。

投射型映像表示装置である操作検出装置１００は、図１に示すように、座標検出装置１０１、操作対象装置１５０、および電子ペン４００を有する。座標検出装置１０１は、カメラ１０２、照明１０３，１０４、指接触位置検出部１０５、ペン接触位置検出部１０６、操作検出可能領域特定部１０７、通信部１０８、および制御部１０９から構成されている。

撮像部であるカメラ１０２は、イメージセンサ、レンズ、およびフィルタなどから構成されており、画像を撮像する。２つの照明１０３，１０４は、図示しない発光ダイオード、回路基盤、およびレンズなどからそれぞれ構成されている。

照明１０３，１０４は、カメラ１０２が撮像する領域を照射する。照明１０３、１０４は、常時点灯させる他に、例えば照明１０３と照明１０４とが交互に点灯するようにそれぞれ点滅させるようにしてもよい。

これに加えて、照明１０３と照明１０４との点灯が切り替わる際に、一時的に両者を消灯させてもよい。あるいは、照明１０３と照明１０４とを同じタイミングにて点滅させてもよい。

また、照明１０３，１０４の光は不可視であってもよく、例えば、カメラ１０２および照明１０３，１０４を、赤外カメラと赤外照明で構成して、赤外画像を撮像することで指の接触位置を検出する処理を行ってもよい。赤外カメラと赤外照明にて構成する場合には、赤外カメラの構成にフィルタを追加し、赤外領域でない光を一部あるいは全て遮蔽して撮像するようにしてもよい。

検出部となる指接触位置検出部１０５は、カメラ１０２が撮像した画像データから指の接触位置を検出する。同じく検出部となるペン接触位置検出部１０６は、カメラ１０２が撮像した画像データから電子ペン４００の接触位置を検出する。

これら指接触位置検出部１０５およびペン接触位置検出部１０６による検出処理は、指接触位置検出部１０５／ペン接触位置検出部１０６を構成する電子回路などがプログラム形式のソフトウェアに基づいて実行する。

これら指接触位置検出部１０５またはペン接触位置検出部１０６が検出した接触位置情報は、指や電子ペン４００による操作情報として制御部１５３にて処理される。

以降、本実施の形態では、「指」を検出する対象物の代表として記載する。指接触位置検出部１０５が接触位置を検出する対象物は、指以外に、指し棒などのペン状のものであってもよい。また、指接触位置検出部１０５とペン接触位置検出部１０６は、少なくともどちらか一方が本構成に含まれていればよく、どちらとも備わっている必要はない。

操作可能領域特定部となる操作検出可能領域特定部１０７は、カメラ１０２にて撮像した画像データから、指や電子ペン４００による操作情報を検出可能な領域を特定する。この操作情報が検出可能な領域が、第１の領域となる。

この領域の特定処理は、操作検出可能領域特定部１０７を構成する電子回路などがプログラム形式のソフトウェアに基づいて実行する。なお、領域の特定技術については、図６および図７を用いて後述する。

通信部１０８は、ネットワーク接続やＵＳＢ接続、超音波ユニット、赤外線通信装置などから構成され、操作対象装置１５０が有する通信部１５１と通信するインタフェースである。

この通信部１０８は、例えば検出結果データ１２０などの通信を行う。検出結果データ１２０は、座標検出装置１０１が通信部１０８を介して操作対象装置１５０に出力する情報である。具体的には、指の接触点座標、電子ペン４００の接触点座標、および指／ペン操作情報検出不可領域データなどである。

指／ペン操作情報検出不可領域データは、指／電子ペンによる操作情報を検出できない領域を表す情報、即ち、指／電子ペンによる操作が利用できない領域を示す位置情報（例えば座標データ）、指／ペンによる操作情報を検出できない場合の検出精度に関わる度合いを表す情報などが含まれる。操作が利用できない領域が、第２の領域となる。

制御部１０９は、カメラ１０２、照明１０３、照明１０４、指接触位置検出部１０５、ペン接触位置検出部１０６、操作検出可能領域特定部１０７、および通信部１０８を制御する。制御部１０９は、例えばＣＰＵ（Central Processing Unit）などからなり、該制御部１０９がプログラム形式のソフトウェアに基づいて制御を行う。

続いて、投射部である操作対象装置１５０は、通信部１５１、設定入力部１５２、制御部１５３、映像照射部１５４、表示部１５５、発光部１５６、および音出力部１５７から構成されている。

操作対象装置１５０は、例えばプロジェクタであり、座標検出装置１０１の通信部１０８から送信された検出結果データ１２０を受け取り、ユーザの指による描画情報の表示や、プロジェクタ本体の操作、設定、および制御などを行う。

通信部１５１は、通信部１０８と同様に、ネットワーク接続やＵＳＢ（Universal Serial Bus）接続、超音波ユニット、あるいは赤外線通信装置などで構成されており、座標検出装置１０１と通信するインタフェースである。設定入力部１５２は、ボタンおよびタッチパネルなどにて構成されており、ユーザの入力を受け付けるインタフェースである。

制御部１５３は、例えばＣＰＵなどからなり、通信部１５１、設定入力部１５２、映像照射部１５４、表示部１５５、発光部１５６、音出力部１５７、および電子ペン４００などを制御する。制御部１５３は、プログラム形式のソフトウェアに基づいて制御を実行する。

映像照射部１５４は、光源ランプ、液晶パネル、およびレンズなどによって構成されており、図３に示す投射面３０１に対して映像を照射する。投射面３０１に照射する映像は、例えば操作対象装置１５０に接続される図示しないパーソナルコンピュータなどから出力される。

ここで、映像照射部１５４より照射する光をある一定の波長よりも短い可視の領域の光とし、照明１０３，１０４より照射する光をある一定の波長よりも長い不可視の領域の光とすれば、ユーザは、映像照射部１５４より照射する光のみを視認できるようになる。照射する光の波長を制御するために、帯域通過フィルタなどを用いてもよい。

表示部１５５は、液晶ディスプレイおよびそれを駆動する電子回路などによって構成されており、文字や画像などの情報を表示する。発光部１５６は、発光素子およびそれを駆動する電子回路などからなり、点灯、点滅、消灯などの状態を作り出す。

音出力部１５７は、スピーカおよび該スピーカに出力する信号などを増幅する増幅回路などからなり、音声メッセージや効果音など様々な音を出力する。電子ペン４００は、発光素子およびそれを駆動する電子回路などからなる。

制御部１５３の具体的な処理としては、映像照射部１５４に対して、指による操作を検出できる領域とそうでない領域を区別できるように映像投射制御を行う。また、指による操作を検出できる領域とそうでない領域の２段階ではなく、検出精度の度合いに応じてｎ段階で区別できるように映像投射制御を行うようにしてもよい。ここで、ｎ＝２, ３・・・ｎである。

さらに、映像照射部１５４に対して、指による操作を検出できない領域を避けて、投射面３０１へメニューアイコンやユーザメッセージなどの表示を行うように映像投射制御を行う。さらに、映像照射部１５４に対して、指による操作を検出できない領域がなくなるように、投射面３０１へ投射する映像の大きさを調整する制御を行う。

なお、図１では、カメラ１０２、照明１０３，１０４、指接触位置検出部１０５、ペン接触位置検出部１０６、操作検出可能領域特定部１０７、通信部１０８、および制御部１０９の各機能ブロック部は独立しているが、必要に応じて、１または複数の構成要件で構成してもよい。

例えば、指接触位置検出部１０５、ペン接触位置検出部１０６、および操作検出可能領域特定部１０７は、１または複数の中央処理装置（ＣＰＵ）などにてその処理を行う構成としてもよい。

また、図１では、座標検出装置１０１がカメラ１０２、照明１０３，１０４、指接触位置検出部１０５、ペン接触位置検出部１０６、操作検出可能領域特定部１０７、通信部１０８、および制御部１０９の各機能ブロック部を全て有する構成としている。

同様に、操作対象装置１５０は、通信部１５１、設定入力部１５２、制御部１５３、映像照射部１５４、表示部１５５、発光部１５６、および音出力部１５７の各機能ブロック部を全て有する構成としている。

しかし、上記した構成は、例えば後述する図２に示すように、１または複数の構成要件を外部に構成し、ネットワーク接続あるいはＵＳＢ接続などによって結合する構成としてもよい。

〈操作検出装置の他の構成例〉
図２は、図１の操作検出装置１００における他の構成例を示した説明図である。

この場合、操作検出装置１００は、図２に示すように、カメラ１０２および照明１０３,１０４が、座標検出装置１０１とは独立して個別にそれぞれ設けられた構成となっている。

また、操作検出装置１００のさらに他の構成例としては、例えば座標検出装置１０１および操作対象装置１５０を１つの装置として構成するようにしてもよい。

〈操作検出装置の概観および操作例〉
図３は、図１の操作検出装置１００の概観および該操作検出装置１００を操作するユーザの様子の一例を示す説明図である。図３（ａ）は、ユーザ３００が指により操作を行う際の一例を示しており、図３（ｂ）は、ユーザ３００が電子ペン４００により操作を行う際の一例を示している。

図３では、カメラ１０２が投射面３０１の投射範囲３０２で示す範囲を含むように撮像している。投射面３０１は、例えば壁、スクリーン、あるいは机など任意の対象物を使用する。

図３（ａ）に示すように、ユーザ３００が投射面３０１上の投射範囲３０２に指で触れると、操作検出装置１００の指接触位置検出部１０５が指の接触位置を検出する。また、図３（ｂ）に示すように、ユーザ３００が投射面３０１上の投射範囲３０２に電子ペン４００で触れると、ペン接触位置検出部１０６がペンの接触位置を検出する。

また、指接触位置検出部１０５は、ユーザ３００が投射面３０１付近でジェスチャ操作を行った場合、カメラ１０２が撮像した画像データからユーザの手指の形状や動きを検出する機能があってもよい。

指接触位置検出部１０５が検出した情報は、検出結果データ１２０として通信部１０８を介して操作対象装置１５０に転送される。そして、制御部１５３は、検出結果データ１２０に応じて操作対象装置１５０の制御を行う。

これにより、操作面上にタッチセンサなどを設けることなく、操作面に対する電子ペンや指の接触位置を正しく検出することが可能となる。

〈電子ペンの構成例〉
図４は、図１の操作検出装置１００が有する電子ペン４００の構成の一例を示した説明図である。図４（ａ）は、電子ペン４００の外観の一例を示したものである。図４（ｂ）は、電子ペン４００の先端が接触していない場合の例を示しており、図４（ｃ）は、電子ペン４００の先端が接触している場合の例を示している。

電子ペン４００は、図４（ａ）に示すように、先端部に発光素子４０１が備えられており、該電子ペン４００のグリップ部分には、先端接触検出部４０２および発光制御部４０３が設けられている。先端接触検出部４０２は、例えば感圧センサおよび電子回路などからなり、電子ペン４００の先端が壁面などに接触しているか否かを判定する。

発光制御部４０３は、先端接触検出部４０２の判定結果に基づいて、図４（ｂ）に示すように、電子ペン４００の先端が接触していない場合に発光素子４０１が消灯するように制御する。

また、発光制御部４０３は、図４（ｃ）に示すように、電子ペン４００の先端が接触していると先端接触検出部４０２が判定した際に、発光素子４０１が点灯するように制御する。

あるいは、電子ペン４００の先端が接触している場合は、発光素子４０１が点灯し、接触していない場合は点滅するように制御するなど、接触時と非接触時で、発光素子４０１が異なる状態となるように制御を行ってもよい。さらには、接触時と非接触時で、発光素子４０１の点滅が異なる周波数となるように制御を行ってもよい。

また、カメラ１０２と発光素子４０１は、それぞれ赤外カメラと赤外照明によって構成し、赤外画像を撮像することで電子ペン４００の接触位置を検出する処理を行ってもよい。さらに、赤外カメラと赤外照明にて構成する場合には、赤外カメラの構成にフィルタを追加して、赤外領域でない光を一部あるいは全て遮蔽して撮像するようにしてもよい。

続いて、図１の操作検出装置１００が、指による操作情報を検出できない領域を特定して、ユーザに対してその領域を提示して、改善を促すためのガイドを表示する技術について説明する。

〈外光の照射の影響〉
図５は、本発明者が検討した画像の投射時に外部からの光が投射面に照射されている様子の一例を示した説明図である。

図５に示す外光７０１は、例えば蛍光灯、白熱灯の光、または太陽光などの外部からの光であり、照明１０３，１０４とは異なる光源である。このような外光７０１が投射面３０１に強く照射された場合、照明１０３，１０４によって形成される影７０３，７０４は、形状が崩れたり、薄くなって周囲との明暗の差が小さくなったりしてしまう。

このため、カメラ１０２によってその形状を正確に捉えられなくなる、あるいは指接触位置検出部１０５において指７０２の投射面３０１の接触位置が正確に検出できなくなるなどの現象が発生する。

そこで、図１の操作検出装置１００は、領域特定提示処理を実行する。この領域特定提示処理は、図５に示したように外光７０１などによって指７０２の投射面３０１の接触位置が正確に検出できなくなる領域、すなわち指による操作情報を検出できない領域を特定する。そして、特定した領域をユーザに対して提示して、改善を促すためのガイドを表示する。

これにより、指による操作情報を検出できない場合は、ユーザへ検出できない投射面上の場所を明示することが可能となり、操作性を向上させることができる。

〈領域特定提示処理の処理例〉
図６は、図１の操作検出装置１００による領域特定提示処理の一例を示すフローチャートである。

図６においては、ステップＳ１０１〜ステップＳ１０６の処理をそれぞれ１度ずつ実行する一巡のフローであるが、実際には、このフローが連続して繰り返される。よって、ステップＳ１０３またはステップＳ１０６の処理後は、再びステップＳ１０１の処理に戻るものとする。

図６に示すフローチャートは、ユーザが操作検出装置１００を使用開始する前や、操作検出装置１００を使用している最中など、該操作検出装置１００に電源が投入されている間、常時実行される。

そうすることで、ユーザが操作検出装置１００を使用している間、突然、外光の輝度が変化などの該操作検出装置１００の周囲環境が突然変わった場合においても効果を得ることが可能となる。

また、図６のフローチャートは、ユーザによる指操作機能を使用する場合にのみ実行するようにしてもよい。つまり、ユーザによる指操作機能が無効化されていて、映像を投射する目的のみで操作対象装置１５０を使用する場合は、図６の処理を実行しないようにする。これによって、操作検出装置１００のＣＰＵ、すなわち制御部１５３などの処理負荷や消費電力を低減することができる効果がある。

まず、操作検出可能領域特定部１０７は、カメラ１０２が投射面３０１を撮像した画像データに基づいて、指による操作を検出できるかどうかの判定処理を行う（ステップＳ１０１）。

判定処理の一例としては、輝度レベルを用いた判定技術が挙げられる。照明１０３、１０４のみが点灯していて外光７０１が全く照射されていない状況において、カメラ１０２が撮影する画像データの輝度を予めデータとして保持しておき、現在撮影している画像データの輝度が保持しているデータよりも一定値（第１の設定値）以上大きければ、外光７０１の量が多いと推定できる。その結果、指による操作情報を検出することができないため、指による操作を利用できないと判定できる。

あるいは、一時的に照明１０３，１０４を消灯して、すなわち外光７０１のみが照射されている状態で撮像し、その時の画像データの輝度がある一定値（第１の設定値）よりも大きければ、外光７０１の量が多く、指による操作を利用できないと判定することができる。本判定処理については、図７を用いて説明する。

続いて、制御部１５３は、ステップＳ１０１の処理の結果、すなわち検出結果データ１２０の指／ペン操作情報検出不可領域データに基づいて、指操作を利用できる状態であるかどうかの判定を行う（ステップＳ１０２）。ステップＳ１０２の処理にて、指操作を利用できる状態であると判定された場合には（Ｙｅｓ）、ステップＳ１０３の処理に遷移する。

ステップＳ１０２の処理にて指操作を利用できる状態であると判定された場合、制御部１５３は、映像照射部１５４を介してユーザが指による操作を利用できる旨の通知を投射範囲３０２に表示して（ステップＳ１０３）、処理を終了する。

なお、ステップＳ１０３の処理は、初回は実行しないようにしてもよい。つまり、装置使用中に指操作が一旦利用できなくなり、その後、指操作が利用できるようになった場合にのみ、ユーザにその旨を通知するようにしてもよい。

一方、ステップＳ１０２の処理にて指操作を利用できない状態であると判定された場合には（Ｎｏ）、ステップＳ１０４の処理に遷移する。この処理では、制御部１５３が映像照射部１５４を介して指操作を検出できない領域の表示を投射面３０１に行う（ステップＳ１０４）。指操作を検出できない領域の表示については、図８を用いて後述する。

続いて、制御部１５３は、指操作を検出できない領域に基づいて、操作オブジェクトの表示位置を決定する（ステップＳ１０５）。この表示位置の決定については、図９および図１０を用いて後述する。ここで、操作オブジェクトとは、投射面３０１に投影するユーザへのメッセージや操作メニューアイコンなどの表示を示す。

そして、制御部１５３は、映像照射部１５４を介してユーザに対して操作検出装置１００を設定している周囲環境の見直しを喚起するガイド表示を投射面３０１に行う（ステップＳ１０６）。なお、ガイド表示については、図８および図９を用いて後述する。

以上により、操作検出装置１００による領域特定提示処理が終了となる。ステップＳ１０６の処理の終了後、再びステップＳ１０１の処理に遷移して図６の処理を繰り返す。

なお、ステップＳ１０６の処理後、ユーザによって周囲環境の見直しを行うことなく処理を続行することが選択された場合には、ステップＳ１０１の処理に戻ることなく処理を終了する。

〈ステップＳ１０１の処理例および操作検出判定テーブルの構成例〉
続いて、図６のステップＳ１０１の処理について判定処理について追加説明する。

図７は、図６のフローチャートにおけるステップＳ１０１の処理の際に用いられる操作検出判定テーブル９００の構成の一例を示す説明図である。

操作検出可能領域特定部１０７は、図７に示す操作検出判定テーブル９００を用いて、指による操作を検出できるかどうかの判定を行う。この操作検出判定テーブル９００は、例えば操作検出可能領域特定部１０７が有する図示しない記憶部などに格納されている。

操作検出判定テーブル９００は、図７に示すように、インデックス番号９０１、指操作検出精度９０２、輝度レベル９０３、基準輝度差分９０４、および表示カラー９０５から構成されている。

インデックス番号９０１は、操作検出判定テーブル９００のインデックス番号を表す。指操作検出精度９０２は、指による操作の検出精度を表す指標である。この指数は、数値が大きいほど指による操作の検出精度が高くなることから、３が最も指操作を検出しやすく、０が最も検出しづらいことを表す。

図７に示した操作検出判定テーブル９００の例では、３が指による操作を検出できることを表しており、それ以外の値である２〜０は、指による操作を検出できないことを表している。

輝度レベル９０３は、指操作検出精度９０２に関連しており、カメラ１０２で撮像した画像データの輝度レベル値の範囲を示している。この輝度レベル値は、一例として０から２５５の２５６段階で表現されており、２５５が最も明く、０に近いほど暗いことを表す。

よって、２５５に近いほど外光の影響を受けていると判断し、指操作検出精度９０２は０に近づく。一方、０に近いほど外光の影響を受けていないと判断し、指操作検出精度９０２は３に近づく。

基準輝度差分９０４は、指操作検出精度９０２に関連しており、カメラ１０２で撮像した画像データの輝度レベル値と装置で保持する基準の輝度レベル値との差分をとった値の範囲を示している。装置で保持する基準の輝度レベル値は、外光の影響を受けていないときの値であるため、使用環境で撮像した画像データの輝度レベル値との比較で、外光の影響をどのぐらい受けているのかの推測に使用できる。

よって、基準輝度差分９０４の値が大きいほど外光の影響を受けていると判断し、指操作検出精度９０２は０に近づく。一方、本差分値が小さいほど外光の影響を受けていないと判断し、指操作検出精度９０２は３に近づく。

なお、指操作検出精度９０２は、輝度レベル９０３と基準輝度差分９０４のいずれか一方の条件を用いて決定してもよいし、輝度レベル９０３と基準輝度差分９０４の両方のＡＮＤ（論理積）条件、ＯＲ（論理和）条件、ＸＯＲ（排他的論理和）条件のいずれかを用いて決定してもよい。

表示カラー９０５は、指操作検出精度９０２に関連した、投射面３０１へ表示するための色を示す。図６のステップＳ１０５の処理における指による操作を検出できない領域に対して、言い換えれば、指操作検出精度９０２の値に応じて、表示カラー９０５で表す色を投射面３０１へ表示する。

なお、図７では、表示カラー９０５でそれぞれ表す色を、網掛け、ドット、およびハッチングにて示している。指操作検出精度９０２の値が３の場合には、例えば無色とする。また、表示カラー９０５は、異なる色とするのではなく、同色であってもよい。その場合には、濃淡によって表示カラーを表す。

なお、図７ではエントリ数＝４のテーブル例を記載しているが、それ以外のエントリ数を持つテーブルであってもよい。エントリ数≧２を満たすようにテーブルを設定すれば、指による操作を検出できるエリアとできないエリアを特定することができる。

よって、操作検出判定テーブル９００のエントリ数、即ちインデックス数≧２を満足すれば何でもよい。なお、本判定処理は、投射面３０１上の投射範囲３０２内の全画素に対して適用してもよいし、いくつかの一部の画素に対してのみ適用してもよい。更にはｍ＊ｎの纏まった画素に集合に対して、平均値などの演算を実施した後、本判定処理を適用してもよい。ここで、ｍ、ｎは、任意の整数値である。

〈指操作を検出できない領域の表示およびユーザへのガイド例〉
続いて、図６のフローチャートにおけるステップＳ１０３〜ステップＳ１０６の処理に関する投射面３０１への表示について、図８〜図１０を用いて以下説明する。

図８は、図１の操作検出装置１００による指操作を検出できない領域の表示およびユーザへのガイドの一例を示す説明図である。

図８（ａ）は、図６のステップＳ１０４の処理およびステップＳＳ１０６の処理において、指による操作を検出できない領域が特定された後、ユーザへの周囲環境の見直しをガイドするための投射面３０１への表示例を示している。

図８において、領域１０００は、指による操作を検出できない領域を表しており、図７の表示カラー９０５にて定義された色表現を用いて検出精度がユーザに分かるように表示する。領域１００１は、指による操作を検出できる領域を表しており、図７の表示カラー９０５で定義された色にて表示する。ガイド表示１００２は、ユーザへの使用環境の改善を促すための表示を表す。

領域１０００と領域１００１において、指による操作を検出できる領域と、そうでない領域とを色分けしてユーザへ提示する場合は、画素毎に色分けしてもよいし、ａ×ｂの纏まった画素の集合毎に色分けしてもよい。ａ、ｂは、任意の整数値である。

さらには、投射範囲３０２を予め定めた複数個に分割した領域毎に色分けしてもよい。ａ×ｂの纏まった画素の集合や、投射範囲３０２を複数個に分割した領域毎に色分けすることで、ユーザには通知する情報量を削減することができる。それにより、ユーザは現在の状態を認識しやすくなり、結果的にユーザ利便性を高めることができる。

図８（ｂ）は、図８（ａ）の状態から、ユーザが太陽光をカーテンで遮るなどの使用環境の見直しを行った結果、一定の改善が見受けられた場合における表示例を示している。

図８（ａ）に示す指による操作を検出できない領域１０００の一部が、操作を検出できる領域１００１に変化しており、さらに、操作を検出できない領域１０００の検出精度も改善していることを示している。

図８（ｃ）は、図８（ｂ）の状態から、ユーザがさらに使用環境の見直しを行った結果、より改善が見受けられ、指による操作を検出できない領域１０００が投射範囲３０２から完全になくなった場合の表示例を示している。

指による操作を検出できない領域１０００は、操作を検出できる領域１００１に全て変わり、ガイド表示１００２の表示は、投射範囲３０２の全領域で指による操作を検出できることを表す文面となっている。

〈ガイド表示の他の例〉
図９は、図１の操作検出装置１００による指操作を検出できない領域の表示およびユーザへのガイド表示の他の例を示す説明図である。

この図９は、図６のステップＳ１０５の処理およびステップＳ１０６の処理において、ユーザへのガイド表示１００２や、操作ボタン表示１１００の表示位置を、指による操作を検出できない領域に合わせて可変にする例を示している。

この場合、図９（ａ）、図９（ｂ）にそれぞれ示すように、ガイド表示１００２と操作ボタン表示１１００とは、指による操作を検出できない領域１０００を避け、指による操作を検出できる領域１００１内に入るように表示する。

これにより、指操作による操作ボタンの選択ができないことや、指による操作を検出できない領域を示すための表示とユーザメッセージ表示が重なることで表示が見えにくくなることを解消することができる。その結果、ユーザ利便性を向上させることができる。

なお、この際、ガイド表示１００２は、投射面３０１上のいずれの座標に表示してもよく、ユーザが指やジェスチャによって投射面３０１を操作する操作ボタン表示１１００のみを指による操作を検出できる領域１００１内に入るように表示するようにしてもよい。

〈操作メニューアイコンなどの表示例〉
図１０は、図１の操作検出装置１００による指操作を検出できない領域の表示、ユーザへのガイド表示、および操作メニューアイコン表示の一例を示す説明図である。

この図１０は、図６のステップＳ１０５の処理およびステップＳ１０６の処理において、操作メニューアイコン１２００の表示位置を、指による操作を検出できない領域に合わせて可変にする表示例を示したものである。

図１０（ａ）、図１０（ｂ）にてそれぞれ示す通り、操作メニューアイコン１２００は、指による操作を検出できない領域１０００を避け、指による操作を検出できる領域１００１内に入るように表示する。

これにより、指による操作メニューアイコン１２００の選択操作ができないことや、指による操作を検出できない領域を示す表示とメニューアイコンが重なって表示され、メニューアイコンの表示が見えづらくなることを解消してユーザの利便性を向上させることができる。

なお、指による操作を検出できない領域が広く、ユーザへのガイド表示１００２を表示する領域が不足する場合は、その場合のみガイド表示のフォントサイズを小さくして表示するようにしてもよい。

また、映像照射部１５４からアイコンを投射し、アイコンを用いてユーザへ通知するようにしてもよい。さらに、表示部１５５にガイド表示することでユーザへ通知してもよい。また、音出力部１５７から音声ガイドや効果音を出力することでユーザへ通知してもよい。

さらに、指による操作を検出できない領域が広く、操作メニューアイコン１２００を表示する領域が不足する場合についても、操作メニューアイコン１２００についても同様に、アイコンの表示サイズを小さくして表示してもよい。あるいは、表示するアイコンの種類を最低限の数に減らして表示してもよい。

このようにすることで、指による操作を検出できない領域が広すぎるため、ユーザへのガイド表示１００２を表示することができなどの問題を解消し、ユーザ利便性を向上することが可能になる。

以上により、ユーザは指による操作情報を検出できない領域を認識し、その領域の改善状況を確認しながら、操作対象装置の使用環境の見直しを実行することができる。それにより、操作検出装置１００を利用するユーザの利便性を向上させることができる。

（実施の形態２）
〈概要〉
本実施の形態２では、操作検出装置１００において、指による操作情報を検出できない領域が存在する場合や、指による操作情報を検出できない領域を投射面から消すことが困難な場合に、映像投射の投射範囲を調整して、指による操作情報を検出できない領域を投射面からなくす処理について説明する。この処理は、制御部１５３が検出結果データ１２０の指／ペン操作情報検出不可領域データに基づいて実行する。

〈操作メニューアイコンなどの表示例〉
図１１は、図１の操作検出装置１００による指操作を検出できない領域の表示、投射範囲の変更、操作メニューアイコン表示の一例を示す説明図である。

この図１１は、投射範囲を変更することによって、投射面から指による操作情報を検出できない領域をなくした場合の投射面の一例を示している。

例えば、図１１（ａ）に示すように、投射面上の投射範囲３０２内には、領域１０００のような指による操作情報を検出できない領域が存在することがある。そこで、図１１（ｂ）に示すように、領域１０００を避けるように投射範囲３０２を変更することにより、指による操作情報を検出できない領域を、投射範囲３０２の枠外にすることができる。

本処理は、指による操作情報を検出できない領域が存在することを検出したら、自動で実行してもよいし、図１１（ａ）に示すユーザメッセージ１３０１と、ユーザ選択ボタン１３０２を表示して、ユーザが投射範囲の変更を許可した場合のみ実行するようにしてもよい。

また、図１１（ａ）に示すユーザメッセージ１３０１、ユーザ選択ボタン１３０２、および操作メニューアイコン１２００は、指による操作情報を検出できない領域１０００に表示しないように表示座標を投射面の状態に応じて変えるようにしてもよい。

さらに、本処理はユーザによる指操作機能が有効になっている場合のみ実行するようにしてもよい。一方、指操作機能が無効化されていれば、指による操作情報を検出できない領域があったとしてもユーザの利便性には無関係であるため、ユーザが決定した任意の投射範囲で映像を投射しても問題は発生しない。

また、図１１（ａ）において、ユーザメッセージ１３０１は、投射面上のいずれの座標に表示してもよく、ユーザが指やジェスチャによって操作を行うユーザ選択ボタン１３０２と操作メニューアイコン１２００のみを、指による操作情報を検出できない領域１０００に表示しないように表示座標を投射面の状態に応じて変えるようにしてもよい。

さらに、図１１（ａ）において、変更後の投射サイズが分かるように投射サイズの外枠を投射することで、ユーザに変更後の投射サイズを予め明示しても良い。そうすることで、ユーザは投射サイズを変更するか否かを判断し易くなり利便性を向上することができる。また、その場合は、指による操作情報を検出できない領域１０００を表示しないようにしてもよい。

以上により、指による操作情報を検出できない領域が存在する場合や、指による操作情報を検出できない領域を投射範囲から消すことが困難な場合などにおいて、映像の投射範囲を調整して、指による操作情報を検出できない領域を投射範囲から取り除くことができるため、ユーザの利便性を向上させることができる。

（実施の形態３）
〈概要〉
本実施の形態３においては、操作検出装置１００において、指による操作情報を検出できない領域、あるいは設定した投射範囲が机や壁などの投射対象物に全て収まらない場合に、その領域を輝度レベル判定に基づいて同一の処理で検出して、それぞれの領域に応じた処理を実行する技術について説明する。

〈操作検出装置の構成例〉
図１２は、本実施の形態３による操作検出装置１００の構成の一例を示す説明図である。

図１２の操作検出装置１００が、前記実施形態１における図１の操作検出装置１００と異なるところは、映像照射可能領域特定部１６０１を新たに追加し、また、検出結果データ１２０として映像照射不可領域データを追加している点である。それ以外の構成については、図１と同様であるので、説明は省略する。

映像照射可能領域特定部１６０１は、カメラ１０２が投射面３０１を撮像した画像データに基づいて、机や壁などの投射対象物に対して映像を照射可能な領域を特定する。その特定技術については、図１３のフローチャートにて後述する。

また、検出結果データ１２０に追加された映像照射不可領域データは、映像照射可能領域特定部１６０１によって特定された映像照射できない領域を表すデータであり、例えば、映像照射できない領域を示す位置情報（たとえば座標データ）が含まれる。

〈照射可能な領域を特定する処理例〉
図１３は、図１２の操作検出装置１００による処理の一例を示すフローチャートである。図１３に示すステップＳ２０１〜ステップＳ２０４、およびステップＳ１０４〜ステップＳ１０６の処理は、それずれ一度ずつ実行する一巡のフローであるが、実際にはこの処理は連続して繰り返され、ステップＳ２０５、ステップＳ１０３、ステップＳ１０６の後は、ステップＳ２０１の処理に戻るものとする。

図１３におけるフローチャートは、ユーザが操作検出装置１００の使用を開始する前や、操作検出装置１００を使用している最中など、本装置に電源が投入されている間、常時実行される。そうすることで、ユーザが本装置を使用している間、周囲の使用環境が突然変わった場合、たとえば外光の輝度の変化などが発生しても、すぐに操作性を改善することができる。

また、図１３に示すフローチャートは、ユーザによる指操作機能を使用する場合にのみ実行するようにしてもよい。これにより、制御部１５３（ＣＰＵ）などの処理負荷や消費電力を低減することができる効果がある。

また、図１３におけるステップＳ１０３〜Ｓ１０６の処理は、図６のステップＳ１０３〜Ｓ１０６の処理と同様であることを示しており、これらの処理については説明を省略する。

まず、操作検出可能領域特定部１０７は、カメラ１０２が投射面３０１を撮像した画像データに基づいて、判定処理を行う（ステップＳ２０１）。このステップＳ２０１の判定処理は、指による操作を検出できるかどうかの判定、および設定された投射範囲が、机や壁などの投射対象物内に収まっているかどうかを判定する処理である。

この判定処理の一例としては、例えば図６のステップＳ１０１の処理の説明にて述べた輝度レベルを用いた方法が考えられる。また、指による操作を検出できるかどうかの判定処理については、図６のステップＳ１０１の処理で述べたものと同様である。

設定された投射範囲に対して机や壁などの投射対象物が広いかどうかの判定処理は、一例として、同じ輝度レベルを用いた方法が挙げられる。照明１０３，１０４のみが点灯していて外光７０１が全く照射されていない状況で、カメラ１０２が撮影する画像データの輝度を予めデータとして保持しておき、現在撮影している画像データの輝度が保持しているデータよりも一定値以上（第２の設定値）小さければ、投射対象物が存在しない領域、即ち使用不可領域と推定できる。その結果、その領域については、映像を投影できないと判定することができる。

あるいは、一時的に照明１０３，１０４を消灯して、すなわち外光７０１のみが照射されている状態にて撮像し、その時の画像データの輝度がある一定値（第２の設定値）よりも小さければ、投射対象物が存在せず、映像を投射できない使用不可領域と判定することができる。

図７に示したように、具体的な数値を挙げるとすれば、輝度レベル９０３が０〜４９の場合は、投射対象物が存在せずに映像を投射できないと判定できる。また、基準輝度差分９０４が−（マイナス）２０以下である場合も同様に投射対象物が存在せずに映像を投射できないと判定できる。さらには、輝度レベル９０３と基準輝度差分９０４の両方の指標から投射対象物が存在せずに映像を投射できないかどうかを判定してもよい。

続いて、制御部１５３は、使用不可領域があるか否かを判定する（ステップＳ２０２）。このステップＳ２０２の処理では、制御部１５３が、ステップＳ２０１の処理による処理結果によって、設定された投射範囲で映像を投射できるか否かを判定する。また、ステップＳ２０２の処理結果としては、例えば検出結果データ１２０の指／ペン操作情報検出不可領域データおよび映像照射不可領域データなどが用いられる。

そして、設定された投射範囲で映像を投射できないと判定した場合（Ｙｅｓ）、制御部１５３は、投射範囲３０２の全領域に対して投射対象物が存在するよう新たに決定された投射範囲に変更することを、ユーザが設定入力部１５２を介して許可したかどうかの判定を行う（ステップＳ２０３）。

ユーザが投射範囲の変更を許可した場合（Ｙｅｓ）、制御部１５３は、投射範囲３０２の全領域に対して投射対象物が存在するように、投射範囲を新たに決定して、投射範囲の変更を行い、映像照射部１５４を介して映像を照射する（ステップＳ２０５）。

一方、ステップＳ２０３の処理において、ユーザが投射範囲の変更を許可しなかった場合（Ｎｏ）、またはステップＳ２０２の処理にて設定された投射範囲で映像を投射できる判定した場合（Ｎｏ）、制御部１５３は、外光などの周囲光が原因で指による操作を検出できない領域が存在するか否かを判定する（ステップＳ２０４）。

ステップＳ２０４の処理において、制御部１５３が、外光などの周囲光が原因で指による操作を検出できない領域が存在すると判定した場合（Ｙｅｓ）、ステップＳ１０４の処理に遷移する。

一方、ステップＳ２０４の処理において、制御部１５３が、外光などの周囲光が原因で指による操作を検出できない領域は存在しないと判定した場合（Ｎｏ）には、ステップＳ１０３の処理に遷移する。以降のステップＳ１０３〜Ｓ１０６の処理については、図６で説明したものと同様の処理を行う。

〈机上への映像表示例〉
図１４は、図１２の操作検出装置１００による机上への映像投射時の映像表示の一例を示す説明図である。

図１４（ａ）は、図１３に示すステップ２０２およびステップＳ２０５の処理に相当し、操作検出装置１００から映像を机上投射した際に、投射範囲３０２の一部の領域が投射面３０１上にないため、領域１５０１が机上へ正しく投射できていない様子を示している。

その後、ユーザが投射サイズを変更するか否かを選択するユーザ選択ボタン１３０２を操作することで、新たな投射範囲の決定処理が実行される。図１４（ｂ）は、ユーザによりＹｅｓのユーザ選択ボタン１３０２が選択され、投射範囲３０２に投射範囲が調整された状態を示している。

そして、図１３の処理フローが最初から再び実行され、図１３のステップＳ２０４の処理が実行されると、図１４（ｃ）に示す通り、指による操作を検出できない領域１０００の提示およびユーザへ使用環境の見直しを促すガイド表示１００２が表示される。また、図１４（ｄ）は、図１４（ａ）の時点、即ち、投射範囲３０２を調整する前に、指による操作を検出できない領域１０００を投射範囲３０２上に表示した例を示している。

図１４（ｃ）と図１４（ｄ）とを比較すると分かるように、指による操作を検出できない領域１０００は、投射範囲３０２を調整することで変わっていることが分かる。

よって、映像投射範囲を小さくする場合、指による操作を検出できない領域１０００は小さくなる可能性がある。一方、映像投射範囲を大きくする場合、指による操作を検出できない領域１０００は大きくなる可能性がある。

よって、指による操作を検出できない領域と、机などの投射対象物が存在しない領域との両方を特定した場合、まず投射範囲の調整を行い、続いて指による操作を検出できない領域を表示して、ユーザへ使用環境改善のためのガイドを提示することで、ユーザへの不要な情報提示をなくすことができる。これにより、ユーザの利便性を高めることができる。

また、本実施の形態３においては、机などの投射対象物が存在しない領域を検出した場合を例示したが、それ以外にも映像投射を妨げる障害物を検出した場合に、投射範囲内から障害物がなくなるように投射範囲を調整するようにしてもよい。

障害物の検出は、例えば、予め障害物検出用の輝度レベル９０３のしきい値と、基準輝度差分９０４のしきい値とをそれぞれ設定しておくことで、設定されたしきい値と比較判定することが考えられる。そうすることで、投射対象物が存在しない場合と同様、ユーザ利便性を向上することができる。

以上により、同じ判定処理を用いて、指による操作情報を検出できない領域と、投射対象物が存在しないため画像を投射できない領域を同時に特定することができる。それにより、処理の実行時間を削減することができ、ユーザは装置に電源を入れてから装置が使用可能になるまでの時間を短縮することができる。また、装置使用中であっても装置の使用を中断する時間を短縮することができるため。ユーザ利便性を向上できる
（実施の形態４）
〈操作検出装置の構成例〉
図１５は、本実施の形態４による操作検出装置１００における構成の一例を示す説明図である。

図１５の操作検出装置１００が図１の操作検出装置１００と異なるところは、操作検出可能領域特定部１０７が座標検出装置１０１ではなく操作対象装置１５０に設けられた点および座標検出装置１０１にカメラ取得画像送出部１１０を新たに追加した点である。また、座標検出装置１０１と操作対象装置１５０との間で送受信される検出結果データ１２１にも相違がある。

カメラ取得画像送出部１１０は、制御部１０９によって制御される。このカメラ取得画像送出部１１０は、カメラ１０２が撮像したカメラ取得画像を検出結果データ１２１の一部として、通信部１０８を介して操作対象装置１５０へ送信する。

操作検出可能領域特定部１０７は、図１に示した座標検出装置１０１が有する操作検出可能領域特定部１０７と同様の処理を行うものであり、制御部１５３からの制御に基づいて、通信部１５１からカメラ取得画像を受信し、その画像データから指による操作情報を検出可能な領域を特定する。

以上のように構成した操作検出装置１００においても、上述した前記実施の形態１と同様の作用効果を奏することができる。

（実施の形態５）
前記実施の形態１の図１に示す操作検出装置１００では、電子ペンの接触点座標あるいは指の接触点座標を検出するために、１つのカメラと２つの照明とを用いた構成としたが、本実施の形態５においては、他の構成例について説明する。

〈操作検出装置の構成例〉
図１６は、本実施の形態５による操作検出装置１００における構成の一例を示した説明図である。

図１６に示す操作検出装置１００は、操作対象装置１５０、カメラ１０２、電磁波生成装置６００、および制御装置６０１から構成されている。なお、図１６の操作検出装置１００において、図１６（ａ）は検出する対象物が指であり、図１６（ｂ）は、検出する対象物が電子ペン４００である。

電磁波生成装置６００は、例えば、投射面３０１の上方などに取り付けられ、赤外線を含む波長領域の電磁波を照射する。電磁波は、投射面３０１と平行に、投射面３０１に沿うよう平面上に投射され、投射範囲３０２に接近した物体によって反射された電磁波をカメラ１０２にて撮像することにより、物体の位置を検出する。なお、照射する電磁波は、赤色光などの可視光であってもよい。

制御装置６０１は、カメラ１０２、操作対象装置１５０、電磁波生成装置６００の動作を制御する。また、操作対象装置１５０、カメラ１０２、電磁波生成装置６００、制御装置６０１の構成要素は、図１６に示す通り別体として構成してもよいし、全てまたは一部が統合された装置として図１６の構成要素に代わって置き換えられてもよい。

以上により、投射範囲３０２上でユーザの指を用いた操作を検出し、操作対象装置１５０から適切な情報を出力したり、操作対象装置１５０を操作・制御したりすることが可能になる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

例えば実施の形態１〜５において、図８〜図１１にて示した映像照射部１５４から投射するユーザメッセージ表示は、映像照射部１５４からアイコンを投射し、アイコンを用いてユーザへ通知するようにしてもよい。

あるいは、表示部１５５にメッセージ表示することでユーザへ通知してもよい。さらには、音出力部１５７から音声メッセージや効果音を出力することでユーザへ通知してもよい。上記何れの手段を用いたとしても、同様の効果を得ることができる。

なお、上記の実施の形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００ 操作検出装置
１０１ 座標検出装置
１０２ カメラ
１０３ 照明
１０４ 照明
１０５ 指接触位置検出部
１０６ ペン接触位置検出部
１０７ 操作検出可能領域特定部
１０８ 通信部
１０９ 制御部
１１０ カメラ取得画像送出部
１２０ 検出結果データ
１２１ 検出結果データ
１５０ 操作対象装置
１５１ 通信部
１５２ 設定入力部
１５３ 制御部
１５４ 映像照射部
１５５ 表示部
１５６ 発光部
１５７ 音出力部
３０１ 投射面
３０２ 投射範囲
４００ 電子ペン
４０１ 発光素子
４０２ 先端接触検出部
４０３ 発光制御部
６００ 電磁波生成装置
６０１ 制御装置
９００ 操作検出判定テーブル

Claims (13)

1. 投射面に投射された操作オブジェクトの操作により制御可能な投射型映像表示装置であって、
   表示映像を前記投射面上に投射する投射部と、
   前記投射面を撮像する撮像部と、
   前記撮像部が撮像した画像データに基づいて、前記投射面のうち、前記表示映像が投射される範囲において前記操作オブジェクトの操作を検出できる第１の領域および前記操作オブジェクトの操作を検出できない第２の領域をそれぞれ特定する操作可能領域特定部と、
   前記撮像部が撮像した画像データに基づいて、前記操作オブジェクトの操作を検出する検出部と、
   を備え、
   前記投射部は、前記操作可能領域特定部が特定した前記操作オブジェクトの操作を検出できる前記第１の領域を、前記第２の領域と区別して表示する表示映像を投射可能であり、前記操作オブジェクトの操作を検出できる前記第１の領域の範囲内に表示されるように前記操作オブジェクトの表示位置を変更して表示する、投射型映像表示装置。
2. 請求項１記載の投射型映像表示装置において、
   さらに、前記投射部は、外部から入力された入力映像を前記投射部から投射して表示する場合に、前記操作可能領域特定部が特定した前記第１の領域に基づいて、前記表示映像中における前記入力映像の占める範囲を変更する、投射型映像表示装置。
3. 請求項１記載の投射型映像表示装置において、
   前記操作可能領域特定部は、前記撮像部が撮影した前記投射面の画像データの輝度レベルに基づいて、前記操作オブジェクトの操作を検出できる前記第１の領域および前記操作オブジェクトの操作を検出できない前記第２の領域をそれぞれ特定する、投射型映像表示装置。
4. 請求項３記載の投射型映像表示装置において、
   さらに、前記操作可能領域特定部は、前記輝度レベルが第１の設定値よりも高い領域を、前記第１の領域と特定し、前記輝度レベルが第１の設定値よりも低い領域を、前記第２の領域として特定する、投射型映像表示装置。
5. 請求項４記載の投射型映像表示装置において、
   さらに、前記操作可能領域特定部は、前記操作オブジェクトの操作を検出できない前記第２の領域を、前記輝度レベルに応じてグループ分けし、
   前記投射部は、前記操作可能領域特定部がグループ分けした前記第２の領域がグループ毎に識別されるように前記表示映像中に表示する、投射型映像表示装置。
6. 請求項３記載の投射型映像表示装置において、
   さらに、前記操作可能領域特定部は、前記輝度レベルが第２の設定値よりも低い領域を前記投射面がない使用不可領域として検出し、
   前記投射部は、前記操作可能領域特定部の検出結果に基づいて、前記使用不可領域に映像が投影されないように投影範囲を設定する、投射型映像表示装置。
7. 請求項１記載の投射型映像表示装置において、
   前記検出部は、指または電子ペンの少なくともいずれかの接触位置を検出し、検出した前記接触位置に基づいて、前記操作オブジェクトの操作を検出する、投射型映像表示装置。
8. 表示映像を投射面上に投射する投射部と、前記投射面を撮像する撮像部と、操作オブジェクトの操作を検出できる第１の領域および前記操作オブジェクトの操作を検出できない第２の領域をそれぞれ特定する操作可能領域特定部と、前記操作オブジェクトの操作を検出する検出部と、を備え、前記投射面に投射された操作オブジェクトの操作により制御可能な投射型映像表示装置による映像表示方法であって、
   前記操作可能領域特定部が、前記撮像部が撮像した画像データに基づいて、前記投射面のうち、前記表示映像が投射される範囲において、前記検出部が前記操作オブジェクトの操作を検出できる前記第１の領域および前記検出部が前記操作オブジェクトの操作を検出できない前記第２の領域をそれぞれ特定するステップと、
   前記投射部が、前記操作可能領域特定部が特定した前記第１の領域を前記第２の領域と区別して表示するステップと、
   前記投射部が、前記操作可能領域特定部が特定した前記操作オブジェクトの操作を検出できる前記第１の領域の範囲内に表示されるように前記操作オブジェクトの表示位置を変更して表示するステップと、
   を有する、映像表示方法。
9. 請求項８記載の映像表示方法において、
   さらに、前記投射部が、外部から入力された入力映像を投射して表示する際に、前記操作可能領域特定部が特定した前記操作オブジェクトの操作を検出できる前記第１の領域の範囲内に前記入力映像が表示されるように映像投射範囲を変更して表示するステップを有する、映像表示方法。
10. 請求項８記載の映像表示方法において、
    前記領域を特定するステップは、前記撮像部が撮影した前記投射面の画像データの輝度レベルに基づいて、前記第１および前記第２の領域をそれぞれ特定する、映像表示方法。
11. 請求項１０記載の映像表示方法において、
    前記第１および前記第２の領域の特定は、前記輝度レベルが第１の設定値よりも高い領域を、前記第１の領域と特定し、前記輝度レベルが第１の設定値よりも低い領域を、前記第２の領域として特定する、映像表示方法。
12. 請求項１１記載の映像表示方法において、
    さらに、前記操作可能領域特定部が、特定した前記第２の領域を、前記輝度レベルに応じてグループ分けするステップと、
    前記投射部が、グループ分けした前記第２の領域がグループ毎に識別されるように前記表示映像中に表示するステップと、
    を有する、映像表示方法。
13. 請求項１０記載の映像表示方法において、
    さらに、前記操作可能領域特定部が、前記輝度レベルが第２の設定値よりも低い領域を前記投射面がない使用不可領域として検出するステップと、
    前記投射部が、前記操作可能領域特定部の検出結果に基づいて、前記使用不可領域に映像が投影されないように、前記表示映像の投影範囲を設定して表示するステップと、
    を有する、映像表示方法。