JPWO2015052765A1 - 投射型映像表示装置、操作検出装置及び投射型映像表示方法 - Google Patents

Abstract

操作面上にタッチセンサなどを設けることなく、操作面に対する電子ペンと指の接触位置を正しく検出する投射型映像表示装置を提供する。映像を含む光を投射し、前記光が投射された映像投射面と少なくとも一部が重なった操作面に前記映像を含む光とは異なる照明光を照射し、前記操作面を撮像する。先端が発光する第１の操作対象物が前記操作面に接する位置を検出するための第１の検出処理を行い、発光しない第２の操作対象物が前記操作面に接する位置を検出するための第２の検出処理を行い、前記第１の検出処理または前記第２の検出処理における検出結果に基づき前記表示する映像の少なくとも一部を変更する。

Description

本発明は、ユーザの操作を検出する投射型映像表示装置、操作検出装置及び投射型映像表示方法に関する。

特許文献１には、「特殊な機器を用いることなく操作情報を検出すること」（明細書の段落［０００６］参照）を目的とし、その目的を達成する手段として「照明手段及び撮像手段と共に使用される操作検出装置であって、前記照明手段により照らされた状態で操作者を前記撮像手段に撮像させる手段と、前記撮像手段により得られる操作者の画像データをもとに、前記操作者の特定部位の領域を検出する手段と、前記検出された操作者の特定部位の領域から影の部分を抽出する手段と、前記抽出された影の部分の中から、エッジが直線を成す線分を複数検出し、検出された線分同士が鋭角に交わる点を検出し、この交点を前記操作者の特定部位の領域内における指差し位置として検出する手段とを具備することを特徴とする」操作検出装置とそのプログラム（明細書の段落［０００７］参照）が記載されている。

また特許文献２には、「電子ペンと指とを対等に使い分けて並行して使用することができるように構成された電子ペンシステムを提供すること」（明細書の段落［０００８］参照）を課題とし、その解決手段として「電子ペンと、この電子ペン及び指によるタッチ操作が行われるタッチ面を備えたタッチパネル体と、前記タッチ面上で電子ペン及び指のタッチ位置を検出する位置検出装置と、前記タッチ面を表示画面として所要の画像を表示する表示装置と、前記位置検出装置から取得した位置検出情報に応じた画像を前記表示装置に表示させる制御装置と、を備えた電子ペンシステムであって、前記制御装置は、前記位置検出装置から位置検出情報を受信した際に、その位置検出情報が前記電子ペン及び指のいずれによるものかを判別する指示物判別手段と、前記電子ペンによるタッチ操作に応じて所定のペン入力処理を行なう第１の制御手段と、指のタッチ操作に応じて所定の指入力処理を行なう第２の制御手段と、を備え、前記第１の制御手段のペン入力処理と前記第２の制御手段の指入力処理とを並行して実行させる」電子ペンシステム（明細書の段落［０００９］参照）が記載されている。

特開２００８−５９２８３号公報 特開２０１１−１４３５５７号公報

特許文献１では、照明が当たったユーザの特定部位を撮像し、撮像された画像データをもとに指差し動作とその位置を検出する。しかしながら、ユーザが物体を把持して操作を行うことに関しては考慮されていないため、電子ペン等を用いて操作を行うことができない。

特許文献２では、タッチパネル体を用いて、タッチ面上に対する電子ペン及び指のタッチ位置を検出する。しかしながら、タッチ位置を検出する位置検出装置はタッチパネル体と一体化しており、操作面上にセンサがないとタッチ位置を検出することができない。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、本発明は映像を投射して表示する投射型映像表示装置であって、前記映像を投射する映像投射部と、該映像投射部が映像を投射する映像投射面と少なくとも一部が重なった操作面に前記映像投射部の投射光とは異なる照明光を照射する少なくとも一つ以上の照明部と、前記操作面を撮像する撮像部と、先端が発光する第１の操作対象物が前記操作面に接する位置を検出するための第１の検出処理を行う第１の検出部と、発光しない第２の操作対象物が前記操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行う第２の検出部と、前記投射型映像表示装置の動作を制御し、前記第１の検出部または前記第２の検出部における検出結果に基づき前記映像投射部が投射する映像の少なくとも一部を変更するよう制御する制御部とを有することを特徴特徴としている。

また本発明は、映像を投射して表示する投射型映像表示装置を操作するための操作を検出する操作検出装置であって、先端が発光する第１の操作対象物が操作面に接する位置を検出するための第１の検出処理を行う第１の検出部と、発光しない第２の操作対象物が操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行う第２の検出部とを有することを特徴とを特徴としている。

また本発明は、映像を投射して表示する投射型映像表示方法であって、前記映像を投射し、前記投射された投射映像の面と少なくとも一部が重なった操作面に、前記投射映像の投射光とは異なる照明光を照射し、前記操作面を撮像し、先端が発光する第１の操作対象物が前記操作面に接する位置を検出するための第１の検出処理を行い、発光しない第２の操作対象物が前記操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行い、前記第１の検出処理または前記第２の検出処理における検出結果に基づき前記投射映像の少なくとも一部を変更することを特徴とを特徴としている。

本発明によれば、操作面上にタッチセンサなどを設けることなく、操作面に対する電子ペンと指の接触位置を正しく検出することができ、ユーザの操作性を向上した投射型映像表示装置、操作検出装置及び投射型映像表示方法を提供できるという効果がある。

操作検出装置の構成の第一例を示すブロック図。 操作検出装置の構成の第二例を示すブロック図。 第二例の構成による操作検出装置の概観図。 操作検出装置の概観及び指で操作するユーザの状態の一例を示す図。 操作検出装置の概観及び指で操作するユーザの状態の一例を示す図。 操作検出装置の概観及び電子ペンで操作するユーザの状態の一例を示す図。 操作検出装置の概観及び電子ペンで操作するユーザの状態の一例を示す図。 電子ペンの構成の一例を示す図。 電子ペンの先端非接触時の状態の一例を示す図。 電子ペンの先端接触時の状態の一例を示す図。 電子ペンと壁面との接触点を検出する処理フローの一例を示す図。 図６ＡのＳ６０２の詳細の一例を示す図。 図６ＡのＳ６０２とＳ６０３の詳細の一例を示す図。 指と壁面とが非接触である場合の影の形状の一例を示す正面図。 指と壁面とが非接触である場合の影の形状の一例を示す上面図。 指と壁面とが接触した場合の影の形状の一例を示す正面図。 指と壁面とが接触した場合の影の形状の一例を示す上面図。 指と壁面との距離による影の形状の違いの一例を示す図。 特徴点と影の距離の関係の一例を示す図。 特徴点と影の距離の関係の一例を示す図。 特徴点と影の距離の関係の一例を示す図。 特徴点と影の距離の関係の一例を示す図。 指と壁面との接触点を検出する処理フローの一例を示す図。 図９ＡのＳ９０８の詳細の一例を示す図。 異なる操作位置による操作の状態の一例を示す図。 異なる操作対象による操作の状態の一例を示す図。 外部からの光が壁面に照射されている状態の一例を示す図。 指による操作の利用可否を通知する処理フローの一例を示す図 図１２Ａにおいて状態が頻繁に切り替わる場合の処理の一例を示す図。 指による操作が利用できないことをメッセージ表示する状態の一例を示す図。 指による操作が利用できないことをアイコン表示する状態の一例を示す図。 指による操作が利用できないことをメッセージ表示する状態の一例を示す図。 指による操作が利用できないことをランプ表示する状態の一例を示す図。 指による操作が利用できないことを音声で通知する状態の一例を示す図。 ユーザに対して提示する設定メニューの一例を示す図。 照明の点灯状態を切り替える処理フローの一例を示す図。 図１６Ａにおいて状態が頻繁に切り替わる場合の処理の一例を示す図。

以下、図面を用いて実施例を説明する。

実施例１では、１つのカメラと２つの照明とを用いることにより、例えばタッチセンサなどを設けることなく、電子ペンの接触点座標、及び指の接触点座標を検出する方法について説明する。

図１は、操作検出装置の構成の第一例を示すブロック図である。

図２は、操作検出装置の構成の第二例を示すブロック図である。

図３は、第二例の構成による操作検出装置の概観図である。

図１と図２において、１０１は座標検出装置であり、１０２はカメラ（以下、撮像部とも呼ぶ）、１０３及び１０４は照明、１０５は指接触位置検出部、１０６はペン接触位置検出部、１０７はペン/指利用可否判定部、１０８は通信部、１０９は制御部である。１５０は操作対象装置であり、１５１は通信部、１５２は設定入力部、１５３は制御部、１５４は映像投射部、１５５は表示部、１５６は発光部、１５７は音声出力部である。１２０は検出結果データ、１７０は電子ペンである。

なお、図１では１０２〜１０９、１５１〜１５７の各部は独立しているが、必要に応じて１または複数の構成要件で構成してもよい。例えば、１０５〜１０７は１または複数の中央処理装置（ＣＰＵ）でその処理を行うように構成してもよい。また、図１では１０２〜１０９の各部を全て座標検出装置１０１の内部に、１５１〜１５７の各部を全て操作対象装置１５０の内部に有しているが、図２及び図３に示すように、１または複数の構成要件を外部に有し、ネットワーク接続やユニバーサルシリアルバス（ＵＳＢ）接続によって結合しても良い。あるいは、座標検出装置１０１と操作対象装置１５０を結合し、全体で１つの装置となるように構成しても良い。

カメラ１０２は、イメージセンサ、レンズ、フィルタ等を有し、画像を撮像する。

照明１０３及び１０４は、発光ダイオード、回路基板、レンズ等を有し、カメラ１０２が撮像する領域を照射する。照明１０３、１０４は常時点灯させる他に、１０３と１０４が交互に点灯するようにそれぞれ点滅させても良いし、これに加えて１０３と１０４の点灯が切り替わる際に一時的に両者を消灯させても良い。あるいは、１０３と１０４を同じタイミングで点滅させても良い。照明の光は不可視であっても良く、例えばカメラ１０２、照明１０３、１０４を、赤外カメラと赤外照明で構成し、赤外画像を撮像することで、後述する指の接触位置を検出する処理を行っても良い。赤外カメラと赤外照明で構成する場合に、赤外カメラにフィルタを追加し、赤外領域でない光を一部あるいは全て遮蔽して撮像するようにしても良い。

指接触位置検出部１０５は、回路基板やソフトウェア等を有し、カメラ１０２で撮像した画像から指の接触位置を検出する。指の接触位置の検出方法については、図９を用いて後述する。

ペン接触位置検出部１０６は、回路基板やソフトウェア等を有し、カメラ１０２で撮像した画像から電子ペン１７０の接触位置を検出する。電子ペンの接触位置の検出方法については図６Ａ乃至図６Ｃを用いて後述する。

ペン/指利用可否判定部１０７は、回路基板やソフトウェア等を有し、カメラ１０２で撮像した画像から、指による操作の利用可否を判定する。判定方法については図１１を用いて後述する。

通信部１０８は、ネットワーク接続やＵＳＢ接続、超音波ユニット、赤外線通信装置等を有し、ディスプレイやプロジェクタ等、座標検出装置１０１の外部にある装置と通信できるインタフェースである。

制御部１０９は、回路基板やソフトウェア等を有し、カメラ１０２、照明１０３、照明１０４、指接触位置検出部１０５、ペン接触位置検出部１０６、ペン/指利用可否判定部１０７、通信部１０８を制御する。

検出結果データ１２０は、座標検出装置１０１が通信部１０８を介して操作対象装置１５０に出力するデータであり、指の接触点座標、ペンの接触点座標、ペン/指利用可否情報等が含まれる。操作対象装置１５０は例えばプロジェクタであり、検出結果データ１２０を受け、ユーザの指やペンによる操作に応じて映像表示を行う。

通信部１５１は、ネットワーク接続、ＵＳＢ接続、超音波ユニット、赤外線通信装置等を有し、操作対象装置１５０の外部にある装置と通信できるインタフェースである。

設定入力部１５２は、ボタン、タッチパネル等で構成され、ユーザの入力を受け付けるインタフェースである。

制御部１５３は、回路基板、ソフトウェア等を有し、通信部１５１、設定入力部１５２、映像投射部１５４、表示部１５５、発光部１５６、音声出力部１５７、電子ペン１７０を制御する。

映像投射部１５４は、光源ランプ、液晶パネル、レンズ等を有し、投射面に対して映像を投射する。ここで、映像投射部１５４より投射する光をある一定の波長よりも短い可視領域の光、照明１０３、１０４より照射する光をある一定の波長よりも長い不可視領域の光とすれば、ユーザは映像投射部１５４より投射する光のみを視認できるようになる。投射する光の波長を制御するために、帯域通過フィルタ等を用いても良い。

表示部１５５は、回路基板、液晶ディスプレイ等を有し、文字、画像等の情報を表示する。これは、映像投射部１５４が投射する映像を表示するための表示部ではなく、該映像情報とは別な情報を表示するための表示部である。

発光部１５６は、回路基板、発光素子等を有し、点灯、点滅、消灯等の状態を作り出す。

音声出力部１５７は、回路基板、増幅器、スピーカ等を有し、音声メッセージ、効果音等を出力する。

電子ペン１７０は、回路基板、発光素子等を有する。電子ペンの詳細については図５Ａ乃至図５Ｃを用いて後述する。

カメラ１０２が撮像する領域、即ち照明１０３、１０４が照明光を照射する領域とは、映像投射部１５４が投射する映像を、例えば指、電子ペン１７０を用いてユーザが操作するための操作面を意味する。該操作面におけるユーザの指示に応じて、映像投射部１５４が投射する映像は、少なくともその一部が変更され、或いは全体が別な映像に切り替えられる。操作面は、映像投射部１５４が投射する映像投射面と少なくもその一部が重なっており、ユーザは映像投射部１５４が投射する映像の一部を、例えば指、電子ペン１７０を用いて指すことにより、前記した指示を行う。

また、指接触位置検出部１０５、ペン接触位置検出部１０６、ペン/指利用可否判定部１０７は、後記するように、ユーザの操作を検出し、指、電子ペン１７０の利用可否を判定するための主要な構成要素である。これら三つの構成要素をまとめて操作検出判定部と呼ぶことができる。この操作検出判定部を有する装置、或いは指接触位置検出部１０５とペン接触位置検出部１０６を有する装置を、操作検出装置と呼ぶことができる。

図４Ａ乃至図４Ｄは、操作検出装置の概観及び操作するユーザ２００の状態の一例を示すものである。図４Ａと図４Ｂではユーザ２００が指で、図４Ｃと図４Ｄではユーザ２００が電子ペン１７０で、操作検出装置を操作している。

図５Ａは、電子ペン１７０の構成の一例を示す図である。

図５Ｂ及び図５Ｃは、電子ペンの先端非接触時及び先端接触時の状態の一例を示す図である。

図５Ａにおいて、１７０は電子ペンであり、１７１は発光素子、１７２は先端接触検出部、１７３は発光制御部である。先端接触検出部１７２は、回路基板、感圧センサ等を有し、電子ペン１７０の先端が壁面等に接触しているか否かを判定する。発光制御部１７３は、回路基板、ソフトウェア等を有し、先端接触検出部１７２の判定結果に基づいて、図５Ｂに示すように、電子ペン１７０の先端が接触していない場合は発光素子１７１が消灯するように制御し、図５Ｃに示すように、電子ペン１７０の先端が接触している場合は発光素子１７１が点灯するように制御する。あるいは、電子ペン１７０の先端が接触している場合は発光素子１７１が点灯し、接触していない場合は点滅するように制御する等、接触時と非接触時で、発光素子１７１が異なる状態となるように制御を行っても良い。あるいは、接触時と非接触時で、発光素子１７１の点滅が異なる周波数となるように制御を行っても良い。

ユーザは、前記操作面を電子ペン１７０または指を用いて操作する。このため以下では、電子ペン１７０に代表される先端が発光する操作部を第１の操作対象物、指に代表される発光しない操作部を第２の操作対象物と呼ぶことがある。

なお、カメラ１０２と発光素子１７１はそれぞれ赤外カメラと赤外照明で構成し、赤外画像を撮像することで後述するペンの接触位置を検出する処理を行っても良い。また、赤外カメラと赤外照明で構成する場合に、赤外カメラにフィルタを追加し、赤外領域でない光を一部あるいは全て遮蔽して撮像するようにしても良い。

次に、図６Ａ乃至図６Ｃでは、電子ペンと壁面との接触位置を検出する方法について説明する。

図６Ａ乃至図６Ｃは、ペン接触位置検出部１０６において、電子ペン１７０と壁面２０１との接触点を検出する処理の一例を示すものである。

図６Ａは、処理フローを示す。図６Ａに示す処理フローは、Ｓ６０１〜Ｓ６０４の処理をそれぞれ一度ずつ実行する一巡のフローであるが、実際にはこのフローは連続して繰り返され、Ｓ６０３、Ｓ６０４の後はＳ６０１に戻るものとする。

まず、Ｓ６０１では、カメラ１０２によって撮影される画像において、ペン接触位置検出部１０６において明るく発光する領域が検出されているか否かを判断する。検出されている場合はＳ６０２に進み、検出されていない場合は図６Ａに示す一連のフローを終了する。

Ｓ６０２では、発光領域が所定の条件を満たすか否かを判定する。Ｓ６０２における各種条件は、発光領域が電子ペン１７０の発光に起因する場合は満たされるように、それ以外のものに起因する場合は満たされないように設定されている。

図６Ｂは、図６ＡのＳ６０２の詳細の一例を示す図である。

図６Ｃは、図６ＡのＳ６０２とＳ６０３の詳細の一例を示す図である。

図６Ｂに示すように面積、周囲長、縦方向の最大長、横方向の最大長、縦横比等の特徴が上限値と下限値の間に収まるか確認し、例えば図６Ｃに示す発光領域６５１は条件を満たす、発光領域６５２は条件を満たさないと判定する。判定の結果、条件を満たす場合はＳ６０３に進み、条件を満たさない場合はＳ６０４に進む。

Ｓ６０３では、図６Ｃに示すように、発光領域６５１の重心６５０をペン先の接触点として検出する。あるいは、発光領域６５１の周上の点群の重心位置をペン先の接触点として検出しても良い。Ｓ６０３の処理が終わると、図６Ａに示す一連のフローを終了する。

Ｓ６０４では、発光領域はペンによるものではないと判定する。Ｓ６０４の処理が終わると、図６Ａに示す一連のフローを終了する。

ここでＳ６０２のステップの動作を補足する。座標検出装置１０１において電子ペン１７０のみの接触位置を検出するのであれば照明１０３、１０４は必要ないが、本実施例では指の接触位置も合わせて検出するために照明を利用している。その結果、金属等の光の反射率が高い物体に照明光が照射された場合に、図６Ｃの６５２に示すような明るく発光する領域が、カメラ１０２によって撮像されることになる。Ｓ６０２は、発光体が電子ペン１７０の発光素子１７１のみであれば省略可能な処理であるが、上記のようにペン先以外のものが明るく発光した場合に、ペンの接触位置を誤って検出することを防ぐため、各種条件が満たされるかを確認するための処理である。即ち、Ｓ６０２は誤った検出を避けるうえで有効に作用する。

なお、ペン接触位置検出部１０６における処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いても良い。

図７Ａ乃至図７Ｄは、指４００と壁面２０１との接触有無による影の形状の違いの一例を示す図である。

図７Ａに示すように、指４００が壁面２０１に接触していない場合は、指４００の両側にそれぞれ、照明１０４によって投影される影４０１と、照明１０３によって投影される影４０２とができ、影４０１と影４０２はそれぞれが離れた状態となる。図７Ｂは、図７Ａに示すような影ができる原理を説明している。指の先端の方向から見た場合、照明１０４が照射する光が指４００で遮断され、壁面２０１上に影４０１ができる。また、照明１０３が照射する光が指４００で遮断され、壁面２０１上に影４０２ができる。したがって、カメラ１０１が撮像する画像において、影４０１と影４０２はそれぞれが離れた状態となる。

一方、図７Ｃに示すように、指４００の指先が壁面２０１に接触している場合は、影４０１と影４０２は、指４００の指先の位置で接近した状態となる。図７Ｄは、図７Ｃに示すような影ができる原理を説明している。指の先端の方向から見た場合、照明１０４が照射する光が指４００で遮断され、壁面２０１上に影４０１ができる。また、照明１０３が照射する光が指４００で遮断され、壁面２０１上に影４０２ができる。したがって、カメラ１０２が撮像する画像において、影４０１と影４０２は指先の位置で接近した状態となる。

次に、図８Ａ乃至図９Ｂでは、指と壁面との接触位置を検出する方法について説明する。

図８Ａ乃至図８Ｅは、指４００と壁面２０１との距離による影の形状の違いの一例を示す図である。

図８Ａは、指４００と壁面２０１との距離によって影の形状が変化する状態を示しているが、指４００と壁面２０１との距離が最も近い場合では、影４０１と影４０２は指先の位置で接近した状態となる。指４００と壁面２０１が離れると、影４０１と影４０２との距離は次第に大きくなる。指４００と壁面２０１との距離が最も遠い場合では、影４０１と影４０２はそれぞれが離れた状態となる。このように、影４０１と影４０２との距離は、指４００が壁面２０１から離れるにしたがって、大きくなる。

図８Ｂ乃至図８Ｅは、影４０１と影４０２との距離を、２つの特徴点間の距離に置き換えて定義する方法を説明している。例えば図８Ｂに示すように各影の先端にそれぞれ特徴点４０３と４０４を設定し、特徴点間の距離ｄを、影４０１と影４０２との距離と定義することができる。あるいは、図８Ｃに示すように各影の指に相当する部分の外側にそれぞれ特徴点４０３と４０４を設定し、特徴点間の距離ｄを、影４０１と影４０２との距離と定義することができる。あるいは、図８Ｄに示すように各影の最も外側に位置する部分にそれぞれ特徴点４０３と４０４を設定し、特徴点間の距離ｄを、影４０１と影４０２との距離と定義することができる。あるいは、図８Ｅに示すように各影の手首に相当する部分の外側にそれぞれ特徴点４０３と４０４を設定し、特徴点間の距離ｄを、影４０１と影４０２との距離と定義することができる。

図９Ａ及び図９Ｂは、指接触位置検出部１０５において、指４００と壁面２０１との接触点を検出する処理の一例を示す図である。

図９Ａは、処理フローを示す。図９Ａに示すのはＳ９０１〜Ｓ９０８の処理をそれぞれ一度ずつ実行する一巡のフローであるが、実際にはこのフローは連続して繰り返され、Ｓ９０６、Ｓ９０８の後はＳ９０１に戻るものとする。まず、Ｓ９０１では、カメラ１０２によって撮影される画像において、指や手に関する２つの影が検出されているか否かを判断する。検出されている場合はＳ９０２に進み、検出されていない場合は図９Ａに示す一連のフローを終了する。

Ｓ９０２では、指や手に関する２つの影において、それぞれ特徴点４０３と特徴点４０４を検出する。Ｓ９０２の処理が終わると、Ｓ９０３に進む。

Ｓ９０３では、特徴点４０３と特徴点４０４との距離ｄを測定する。Ｓ９０３の処理が終わると、Ｓ９０４に進む。

Ｓ９０４では、特徴点４０３と特徴点４０４との距離ｄが所定の値より小さいか否かを判定する。所定の値よりも小さい場合はＳ９０５に進み、所定の値以上である場合はＳ９０６に進む。

Ｓ９０５では、指４００が壁面２０１に接触していると判定する。Ｓ９０５の処理が終わると、Ｓ９０７に進む。

Ｓ９０６では、指４００が壁面２０１に接触していないと判定する。Ｓ９０６の処理が終わると、図９Ａに示す一連のフローを終了する。

Ｓ９０７では、図９Ｂに示すように、指や手に関する２つの影において、それぞれ先端９４１と先端９４２を検出する。Ｓ６０７の処理が終わると、Ｓ９０８に進む。

図９Ｂは、図９ＡのＳ９０８の詳細の一例を示す図である。

Ｓ９０８では、図９Ｂに示すように、先端９４１と先端９４２の中点９５０を指４００と壁面２０１との接触点として検出する。Ｓ９０８の処理が終わると、図９Ａに示す一連のフローを終了する。

なお、指接触位置検出部１０５における処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いても良い。

図９Ａ及び図９Ｂに示す処理手順で指の接触点検出を行うと、例えば手のひらの一部、折り曲げた指の関節等、指の先端以外の部分が意図せずに壁面２０１に接触した場合、あるいは電子ペン１７０を握る手の一部が壁面２０１に接触した場合には接触点は検出されない。このように、指の先端以外の部位が壁面２０１に接触した場合には、それをユーザの意図しない接触と判断して、接触点の検出を回避する効果が本実施例により得られる。

ユーザが指した位置を判断するための、先の図６ＡのＳ６０２乃至Ｓ６０４における電子ペン１７０を使用する際の方法と、図９ＡのＳ９０４乃至Ｓ９０８における指を使用する際の方法とを比較すれば明らかなように、双方の方法は全く異なっている。したがって図１に示したように、座標検出装置１０１が指接触位置検出部１０５とペン接触位置検出部との双方を有することは、本実施形態の一つの特徴となっている。

図１０Ａ及び図１０Ｂは、異なる操作位置及び操作対象による操作の状態の一例を示す図である。

図１０Ａは、ユーザの操作位置による影の形状の違いを示す。ユーザ２００の操作位置が壁面２０１の中心からずれたり、照明１０３と１０４の間から外れたりした場合でも、カメラ１０２と照明１０３、照明１０４の位置関係は変わらない。そのため、カメラ１０２の撮像画像においては、図中に示すように指４００が中央にあり、その両側に影４０１、４０２ができる状態が保たれる。したがって、ユーザの操作位置が壁面２０１の中心からずれた場合においても、影４０１、４０２の検出が可能であり、図７Ａ乃至図９Ｂで説明した検出方法や制御方法を同様にすべて適用することができる。

図１０Ｂは、異なる２つの操作対象である指４００と電子ペン１７１によって操作する状態を示す。座標検出装置１０１において指接触位置検出部１０５とペン接触位置検出部１０６は互いに独立しており、両者を並行して動作させれば、指とペンの接触位置を同時に検出することも可能となる。また、電子ペンの接触点座標と指の接触点座標は区別して検出されるため、電子ペンが接触した場合と、指が接触した場合とで、異なる操作や表示状態を実現することも可能となる。

上述したように、本実施例では１つのカメラと２つの照明とを用いて、電子ペンの接触点座標、及び指の接触点座標を検出し、検出結果データとして操作対象装置に出力する。本実施例によれば、操作面上にタッチセンサ等を設けることなく、操作面に対する電子ペンや指の接触位置を正しく検出することができる。これにより、操作対象装置に対するユーザの操作性を向上できるという効果がある。

実施例２では、操作検出装置において指の接触点検出ができない場合に、ユーザに対してその状況を通知する方法について説明する。

図１１は、外部からの光が壁面に照射されている状態の一例を示す図である。

１１０１は蛍光灯、白熱灯の光、太陽光等の外部からの光（外光）であり、前記した照明１０３、１０４とは異なる光源である。このような外光１１０１が壁面２０１に強く照射されると、影４０１、４０２は形状が崩れ、あるいは薄くなって周囲との明暗の差が小さくなるなどする。これにより、カメラ１０２によってその形状を正確に捉えられなくなる、あるいは指接触位置検出部１０６において指４００と壁面２０１の接触位置を正確に検出できなくなる等の現象が発生する。一方、電子ペン１７０については発光素子１７１が自発光するため外光１１０１の影響を受けにくく、外光が照射されている環境下でも、ペン接触位置検出部１０７において電子ペン１７０と壁面２０１の接触位置を正確に検出することができる。

このように電子ペン１７０による操作のみが利用可能で、指４００による操作が利用できない状況では、ユーザがその状況を把握できるように通知することで、操作対象装置の操作性が向上する。通知方法の詳細については、図１２Ａ及び図１２Ｂを用いて後述する。また、同様な状況で照明１０３、１０４の点灯状態を電子ペン１７０の操作に特化して制御することで、外光１１０１が照射されている環境下において、電子ペン１７０の接触位置をより安定して検出することができる。点灯状態の制御方法の詳細については、図１６Ａ及び図１６Ｂを用いて後述する。

指による操作が利用可能な状態か否かについては、ペン/指利用可否判定部１０７において判定する。例えば照明１０３、１０４のみが点灯していて外光１１０１が全く照射されていない状況で、カメラ１０２が撮影する画像の輝度を予めデータとして保持する。その後、現在撮影している画像の輝度が保持しているデータよりも一定値以上大きければ、外光１１０１の量が多いと推定できる。その結果、指による操作が利用できないと判定できる。あるいは、一時的に照明１０３、１０４を消灯して、すなわち外光１１０１のみが照射されている状態で撮像し、その時の画像の輝度がある一定値よりも大きければ、外光１１０１の量が多く、指による操作が利用できないと判定できる。判定結果は、検出結果データ１２０のペン/指利用可否情報に反映され、通信部１０８から操作対象装置１５０に対して出力される。

図１２Ａ及び図１２Ｂは、指による操作の利用可否を通知する処理の一例を示す図である。

図１２Ａは、処理フローを示す。図１２Ａに示す処理フローは、Ｓ１２０１〜Ｓ１２０７の処理をそれぞれ一度ずつ実行する一巡のフローであるが、実際にはこのフローは連続して繰り返され、Ｓ１２０４、Ｓ１２０５、Ｓ１２０６、Ｓ１２０７の後はＳ１２０１に戻るものとする。まず、Ｓ１２０１では、ペン/指利用可否判定部１０７において指操作を利用できる状態か否かを、例えば前記した方法を用いて判断する。利用できる場合はＳ１２０２に進み、利用できない場合はＳ１２０３に進む。

Ｓ１２０２では、前回から指操作の利用可否状態に変化があるか否かを判断する。即ち、Ｓ１２０１で判断した結果に対して、今現在の判断の結果に変化が有るか否かを判断する。変化がある場合、すなわち指操作を利用できる状態から利用できない状態に切り替わった場合はＳ１２０４に進む。変化がない場合、すなわち今現在も指操作が利用できる状態である場合はＳ１２０６に進む。

Ｓ１２０３では、前回から指操作の利用可否状態に変化があるか否かを判断する。即ち、Ｓ１２０１で判断した結果に対して、今現在の判断の結果に変化が有るか否かを判断する。変化がある場合、すなわち指操作を利用できない状態から利用できる状態に切り替わった場合はＳ１２０５に進む。変化がない場合、すなわち今現在も指操作が利用できない状態である場合はＳ１２０７に進む。

Ｓ１２０４では、指操作を利用できない旨の通知を開始し、この処理が終わると図１２Ａに示す一連のフローを終了する。

Ｓ１２０５では、指操作を利用できる旨の通知を開始し、この処理が終わると図１２Ａに示す一連のフローを終了する。

Ｓ１２０６では、指操作を利用できる旨の通知を継続する。ただし、この処理を省略し、利用可否状態に変化がない場合は、ユーザに対して同じ通知を継続しないようにしても良い。Ｓ１２０６の処理が終わると、図１２Ａに示す一連のフローを終了する。

Ｓ１２０７では、指操作を利用できない旨の通知を継続する。ただし、この処理を省略し、利用可否状態に変化がない場合は、ユーザに対して同じ通知を継続しないようにしても良い。Ｓ１２０７の処理が終わると、図１２Ａに示す一連のフローを終了する。

なお、Ｓ１２０１おいて指操作を利用できない状態であると判定した場合、指接触位置検出部１０５において、指の接触位置を検出する処理を中断しても良い。これにより、指接触位置検出部１０５における処理負荷が下がり、その分の処理能力をペン接触位置検出部１０６に費やすことで、ペンの接触位置を検出する処理速度を向上させる効果が得られる。あるいは、通信部１０８において、指の接触点座標を出力しないように制御しても良い。これにより、影４０１、４０２の形状が崩れた状態で検出した精度の低い指の接触点座標を、操作対象装置１５０に対して出力することを防ぐ効果が得られる。

図１２Ａに示す処理フローに従って処理を行うと、指による操作の利用可否状態が頻繁に切り替わる場合にもその都度通知が行われる。しかし、頻繁に通知を行うとユーザを煩わせる可能性がある。これを軽減するために図１２Ｂに示すように、指操作を利用できない状態から利用できる状態に切り替わった後は、利用できる状態がある一定時間以上経過してから通知を行うようにしても良い。

図１２Ｂは、図１２Ａにおいて状態が頻繁に切り替わる場合の処理の一例を示す図である。図１２Ｂでは、時刻ｔ＝Ｔ１、Ｔ３、Ｔ５、Ｔ８において指操作を利用できる状態からできない状態に、ｔ＝Ｔ２、Ｔ４、Ｔ６において指操作を利用できない状態からできる状態に切り替わっている。この場合、状態が切り替わる度に通知を行うのではなく、例えば以下のように処理する。

ｔ＝Ｔ２、Ｔ４、Ｔ６では指操作を利用できる状態になってから一定時間以上経過しておらず、短時間で再び利用できない状態に切り替わる可能性があるため、通知を行わない。前記一定時間とは、図中のｔ＝Ｔ７とｔ＝Ｔ６の間の時間とする。ｔ＝Ｔ７では、ｔ＝Ｔ６において指操作を利用できる状態に切り替わってから一定時間以上経過したことが確認できるため、指操作を利用できる旨の通知を開始する。ｔ＝Ｔ１、Ｔ８では、指操作を利用できない状態に切り替わると同時に、指操作を利用できない旨の通知を開始する。ｔ＝Ｔ３、Ｔ５では、ｔ＝Ｔ１において指操作を利用できない旨の通知を行った後、一度も利用できる旨の通知が行われないまま、再び利用できない状態に切り替わっているため、通知を行わない。

図１３Ａ及び図１３Ｂは、指による操作が利用できないことを、投射映像を用いて通知する状態の一例を示す図である。即ち、ここでは映像投射部１５４が投射する光は、前記通知をするためのメッセージ情報を含んでいる。もちろん、指による操作ができる状態であることを示す第１の表示状態と、指による操作ができない状態であることを示す第２の表示状態との双方が含まれていて良い。

指操作を利用できる状況か否かは、例えば図１３Ａにおいて１３０１、１３０２に示すように、映像投射部１５４より壁面２０１にメッセージを投射して通知する。あるいは図１３Ｂにおいて１３０３、１３０４に示すように、アイコンを投射して通知する。

図１４Ａ乃至図１４Ｃは、指による操作が利用できないことを、投射映像以外の手段によって通知する状態の一例を示す図である。

指操作を利用できる状況か否かは、例えば図１４Ａに示すように、表示部１５５にメッセージを表示して通知する。あるいは図１４Ｂに示すように、発光部１５６においてエラーランプの点灯と消灯を切り替えて通知する。あるいは図１４Ｃに示すように、音声出力部１５７より音声メッセージや効果音を出力して通知する。

あるいは上記以外の方法として、制御部１５３より電子ペン１７０を制御し、指による操作が利用できる時とできない時とで発光素子１７１を異なる色で発光させる等、ペンの状態の変化によって利用可否状態を通知するようにしても良い。

図１５は、ユーザに対して提示する設定メニューの一例を示す図である。

設定メニューは、指操作を利用できない場合の通知に関して、ユーザが設定を行うためのインタフェースである。設定メニューは設定入力部１５２によって起動され、映像投射部１５４によって壁面２０１に投射、あるいは表示部１５５に表示される。設定メニューのインタフェースを設けることは、指操作を利用できない場合の通知を、ユーザの嗜好に応じて設定できる効果をもたらす。

設定メニューでは、ユーザは指操作が利用できない場合の通知を行うか否かを選択できる。また、通知を行うことを選択した場合、メッセージ表示、アイコン表示、音声による表示、エラーランプによる表示をはじめとする、どのような手段によって通知を行うかを選択できる。

図１２Ａ乃至図１５では、操作検出装置において電子ペン１７０の接触点が検出可能で、指の接触点が検出不能な場合について説明を行ったが、例えば電子ペン１７０の電池の残量が減った場合等は、逆に電子ペンの接触点が検出不能で、指の接触点が検出可能となる。このような場合についても、電子ペンによる操作を利用できない旨を同様に通知するようにしても良い。電子ペン１７０の電池の残量が減ったことは、例えばペン/指利用可否判定部１０７において、発光領域６５１の輝度の低下、面積の減少等により検出することができる。

したがって図１に示したように、座標検出装置１０１が指接触位置検出部１０５とペン接触位置検出部のほかにペン／指利用可否判定部１０７を有することは、本実施形態の一つの特徴となっている。

上述したように、本実施例では外部からの光（外光）が照射されている環境において、カメラで撮影した画像に基づいて指操作を利用可能な状態か否かを判断する。指操作を利用できない状態と判断した場合には、ユーザに対して通知を行う。これにより、ユーザは操作対象装置の状態を把握することができ、操作対象装置に対するユーザの操作性を向上できるという効果がある。

実施例３では、操作検出装置において指の接触点検出ができない場合に、照明の点灯状態を変更する方法について説明する。

図１１で説明したように、蛍光灯、白熱灯の光、太陽光等の外部からの光（外光）１１０１が壁面２０１に強く照射されると、電子ペン１７０による操作のみが利用可能で、指４００による操作が利用できない状態が発生する。このように外光が照射されている環境下において、照明１０３、１０４の点灯状態を電子ペン１７０の操作に特化して制御すると、電子ペン１７０の接触位置を、より安定して検出することができる。電子ペン１７０の操作に特化した点灯状態とは、例えば照明１０３、１０４を消灯、あるいは減灯させた状態である。照明１０３、１０４が照射する光量がなくなる、あるいは減ると、電子ペン１７０が壁面２０１に接触した場合に発光素子１７１と周囲との明暗の差が大きくなり、ペン接触位置検出部１０６において、発光領域６５１を、より正確に検出することができる。その結果、電子ペン１７０の接触位置を、より安定して検出することができる。

図１６Ａ及び図１６Ｂは、指による操作の利用可否に応じて、照明の点灯状態を切り替える処理の一例を示すものである。

図１６Ａは、処理フローを示す。図１６Ａに示す処理フローは、Ｓ１６０１〜Ｓ１６０７の処理をそれぞれ一度ずつ実行する一巡のフローであるが、実際にはこのフローは連続して繰り返され、Ｓ１６０４、Ｓ１６０５、Ｓ１６０６、Ｓ１６０７の後はＳ１６０１に戻るものとする。まず、Ｓ１６０１では、ペン/指利用可否判定部１０７において指操作を利用できる状態か否かを判断する。利用できる場合はＳ１６０２に進み、利用できない場合はＳ１６０３に進む。

Ｓ１６０２では、前回から指操作の利用可否状態に変化があるか否かを判断する。即ち、Ｓ１６０１で判断した結果に対して、今現在の判断の結果に変化が有るか否かを判断する。変化がある場合、すなわち指操作を利用できる状態から利用できない状態に切り替わった場合はＳ１６０４に進む。変化がない場合、すなわち今現在も指操作が利用できる状態のままである場合はＳ１６０６に進む。

Ｓ１６０３では、前回から指操作の利用可否状態に変化があるか否かを判断する。即ち、Ｓ１６０１で判断した結果に対して、今現在の判断の結果に変化が有るか否かを判断する。変化がある場合、すなわち指操作を利用できない状態から利用できる状態に切り替わった場合はＳ１６０５に進む。変化がない場合、すなわち今現在も指操作が利用できない状態のままである場合はＳ１６０７に進む。

Ｓ１６０４では、ペン操作に特化した点灯状態に切り替え、即ち照明１０３、１０４を消灯または減灯し、この処理が終わると図１６Ａに示す一連のフローを終了する。

Ｓ１６０５では、ペン操作に特化した点灯状態を解除し、即ち照明１０３、１０４を通常の明るさに戻し、この処理が終わると図１６Ａに示す一連のフローを終了する。

Ｓ１６０６では、ペン操作に特化した点灯状態の解除を継続し、この処理が終わると、図１６Ａに示す一連のフローを終了する。

Ｓ１６０７では、ペン操作に特化した点灯状態を継続し、この処理が終わると、図１６Ａに示す一連のフローを終了する。

図１６Ａに示す処理フローに従って処理を行うと、指による操作の利用可否状態が頻繁に切り替わる場合にも、その都度照明の点灯状態が切り替わる。図１２Ｂで、指操作を利用できない状態から利用できる状態に切り替わった後は、利用できる状態がある一定時間以上経過してから通知を行うようにしたのと同様に、照明の点灯状態についても、指操作を利用できる状態がある一定時間以上経過してから切り替えるようにしても良い。

図１６Ｂは、図１６Ａにおいて状態が頻繁に切り替わる場合の処理の一例を示す図である。図１６Ｂでは、図１２Ｂで示したタイミングと同様のタイミングで指の利用可否状態が切り替わっている。この場合、照明の点灯状態の切り替えは、例えば以下のように処理する。

ｔ＝Ｔ２、Ｔ４、Ｔ６では指操作を利用できる状態になってから一定時間以上経過しておらず、短時間で再び利用できない状態に切り替わる可能性があるため、点灯状態の切り替えを行わない。前記一定時間とは、図中のｔ＝Ｔ７とｔ＝Ｔ６の間の時間とする。ｔ＝Ｔ７では、ｔ＝Ｔ６において指操作を利用できる状態に切り替わってから一定時間以上経過したことが確認できるため、ペン操作に特化した点灯状態を解除する。ｔ＝Ｔ１、Ｔ８では、指操作を利用できない状態に切り替わると同時にペン操作に特化した点灯状態に切り替える。ｔ＝Ｔ３、Ｔ５では、ｔ＝Ｔ１においてペン操作に特化した点灯状態に切り替えた後、一度も点灯状態を変更しないまま再び指操作を利用できない状態に切り替わるため、点灯状態の切り替えを行わない。

図１６Ａ及び図１６Ｂでは、照明１０２、１０３の点灯状態を制御することで安定した電子ペンの接触点検出を実現しているが、その方法の代わりに、あるいはその方法と並行して制御部１５３より電子ペン１７０を制御しても良い。例えば、指操作を利用できない状態の時は、発光素子１７１の発光強度を強めれば、電子ペン１７０が壁面２０１に接触した場合に発光素子１７１と周囲との明暗の差が大きくなり、電子ペン１７０の接触位置を安定して検出できるようになる。逆に、指操作を利用できる状態の時は、発光素子１７１の発光強度を強めることを解除すれば、電子ペン１７０において消費する電力を抑えることができる。

したがって図１に示したように、座標検出装置１０１が指接触位置検出部１０５とペン接触位置検出部のほかにペン／指利用可否判定部１０７を有することは、本実施形態の一つの特徴となっている。

上述したように、本実施例では外部からの光（外光）が照射されている環境において、カメラで撮影した画像に基づいて指操作を利用可能な状態か否かを判断する。指操作を利用できない状態と判断した場合には、照明を電子ペンの操作に特化した状態、すなわち消灯や減灯の状態に切り替える。これにより、外光が照射されている環境においても、安定した電子ペンの接触位置検出が可能となる。また、このように照明を消灯あるいは減灯させることにより、消費電力を抑える効果も得られる。

なお、上述した実施形態は本発明の説明のための一例であり、本発明の範囲を実施形態にのみ限定する趣旨はない。各実施形態に対して多様な変更を加えた実施形態を考えることができるが、いずれも本発明の範疇にある。

１０１：座標検出装置、１０２：カメラ、１０３：照明、１０４：照明、１０５：指接触位置検出部、１０６：ペン接触位置検出部、１０７：ペン/指利用可否判定部、１０８：通信部、１０９：制御部、１２０：検出結果データ、１５０：操作対象装置、１５１：通信部、１５２：設定入力部、１５３：制御部、１５４：映像投射部、１５５：表示部、１５６：発光部、１５７：音声出力部、１７０：電子ペン、１７１：発光素子、１７２：先端接触検出部、１７３：発光制御部、２００：ユーザ、２０１：壁面、２０２：撮像範囲、４００：指、４０１，４０２：影、４０３，４０４：特徴点、６５０：ペン先の接触点、６５１，６５２：発光領域、９４１，９４２：影の先端、９５０：指の接触点、１１０１：外光、１３０１，１３０２：メッセージ、１３０３，１３０４：アイコン。

また本発明は、映像を投射して表示する投射型映像表示方法であって、前記映像を投射し、前記投射された投射映像の面と少なくとも一部が重なった操作面に、前記投射映像の投射光とは異なる照明光を照射し、前記操作面を撮像し、先端が発光する第１の操作対象物が前記操作面に接する位置を検出するための第１の検出処理を行い、発光しない第２の操作対象物が前記操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行い、前記第１の検出処理または前記第２の検出処理における検出結果に基づき前記投射映像の少なくとも一部を変更することを特徴としている。

Ｓ９０７では、図９Ｂに示すように、指や手に関する２つの影において、それぞれ先端９４１と先端９４２を検出する。Ｓ９０７の処理が終わると、Ｓ９０８に進む。

ユーザが指した位置を判断するための、先の図６ＡのＳ６０２乃至Ｓ６０４における電子ペン１７０を使用する際の方法と、図９ＡのＳ９０４乃至Ｓ９０８における指を使用する際の方法とを比較すれば明らかなように、双方の方法は全く異なっている。したがって図１に示したように、座標検出装置１０１が指接触位置検出部１０５とペン接触位置検出部１０６との双方を有することは、本実施形態の一つの特徴となっている。

１１０１は蛍光灯、白熱灯の光、太陽光等の外部からの光（外光）であり、前記した照明１０３、１０４とは異なる光源である。このような外光１１０１が壁面２０１に強く照射されると、影４０１、４０２は形状が崩れ、あるいは薄くなって周囲との明暗の差が小さくなるなどする。これにより、カメラ１０２によってその形状を正確に捉えられなくなる、あるいは指接触位置検出部１０５において指４００と壁面２０１の接触位置を正確に検出できなくなる等の現象が発生する。一方、電子ペン１７０については発光素子１７１が自発光するため外光１１０１の影響を受けにくく、外光が照射されている環境下でも、ペン接触位置検出部１０６において電子ペン１７０と壁面２０１の接触位置を正確に検出することができる。

したがって図１に示したように、座標検出装置１０１が指接触位置検出部１０５とペン接触位置検出部１０６のほかにペン／指利用可否判定部１０７を有することは、本実施形態の一つの特徴となっている。

Claims (15)

1. 映像を投射して表示する投射型映像表示装置であって、
   前記映像を投射する映像投射部と、
   該映像投射部が映像を投射する映像投射面と少なくとも一部が重なった操作面に前記映像投射部の投射光とは異なる照明光を照射する少なくとも一つ以上の照明部と、
   前記操作面を撮像する撮像部と、
   先端が発光する第１の操作対象物が前記操作面に接する位置を検出するための第１の検出処理を行う第１の検出部と、
   発光しない第２の操作対象物が前記操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行う第２の検出部と、
   前記投射型映像表示装置の動作を制御し、前記第１の検出部または前記第２の検出部における検出結果に基づき前記映像投射部が投射する映像の少なくとも一部を変更するよう制御する制御部と
   を有することを特徴とする投射型映像表示装置。
2. 請求項１に記載の投射型映像表示装置において、
   前記映像投射部による投射映像の表示状態は、
   前記投射映像中に前記第１の検出処理と前記第２の検出処理との双方の検出処理が機能する状態であることを示すための表示を行う第１の表示状態と、
   前記投射映像中に前記第１の検出処理は機能するが前記第２の検出処理は機能しない状態であることを示すための表示を行う第２の表示状態と
   を有することを特徴とする投射型映像表示装置。
3. 請求項１に記載の投射型映像表示装置において、
   前記制御部は、
   前記第１の検出部と前記第２の検出部との双方が前記検出を行える状態からいずれか一方が前記検出を行えない状態に変わった場合、或いは、前記第１の検出部と前記第２の検出部のいずれか一方が前記検出を行えない状態から双方が前記検出を行える状態に変わった場合には、
   状態が変わったことを通知するように制御する
   ことを特徴とする投射型映像表示装置。
4. 請求項３に記載の投射型映像表示装置において、
   前記制御部は、
   前記映像投射部が投射する投射映像を用いて状態が変わったことを通知するように制御する
   ことを特徴とする投射型映像表示装置。
5. 請求項３に記載の投射型映像表示装置において、
   該投射型映像表示装置は映像表示部を備え、
   前記制御部は、
   前記映像表示部に表示する映像を用いて状態が変わったことを通知するように制御する
   ことを特徴とする投射型映像表示装置。
6. 請求項３に記載の投射型映像表示装置において、
   該投射型映像表示装置は音声出力部を備え、
   前記制御部は、
   前記音声出力部から出力する音声を用いて状態が変わったことを通知するように制御する
   ことを特徴とする投射型映像表示装置。
7. 請求項３に記載の投射型映像表示装置において、
   該投射型映像表示装置は発光部を備え、
   前記制御部は、
   前記発光部が発光する光を用いて状態が変わったことを通知するように制御する
   ことを特徴とする投射型映像表示装置。
8. 請求項３に記載の投射型映像表示装置において、
   前記制御部は、
   前記第１の操作対象物が発光する光を用いて状態が変わったことを通知するように制御する
   ことを特徴とする投射型映像表示装置。
9. 請求項１に記載の投射型映像表示装置において、
   前記制御部は、
   前記第１の検出部と前記第２の検出部とのいずれか一方が前記検出を行えない場合には、前記検出を行えない検出部の動作を停止するように制御する
   ことを特徴とする投射型映像表示装置。
10. 請求項１に記載の投射型映像表示装置において、
    前記制御部は、
    前記第１の検出部において検出した光の特徴が前記第１の操作対象物が発光した光の特徴とは異なる場合には、前記第１の検出部において検出した光に基づく制御を停止するように制御する
    ことを特徴とする投射型映像表示装置。
11. 請求項１に記載の投射型映像表示装置において、
    前記制御部は、
    前記第１の検出部と前記第２の検出部との双方が前記検出を行える状態であるか、いずれか一方が前記検出を行えない状態であるかに応じて、前記照明部の発光量、発光時間、発光周波数、発光パターンのうちの少なくとも１つを異ならせるように制御する
    ことを特徴とする投射型映像表示装置。
12. 映像を投射して表示する投射型映像表示装置を操作するための操作を検出する操作検出装置であって、
    先端が発光する第１の操作対象物が操作面に接する位置を検出するための第１の検出処理を行う第１の検出部と、
    発光しない第２の操作対象物が操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行う第２の検出部と
    を有することを特徴とする操作検出装置。
13. 請求項１２に記載の操作検出装置において、
    前記第１の検出処理と前記第２の検出処理とが機能する状態であるか否かを判定する利用可否判定部
    を有することを特徴とする操作検出装置。
14. 映像を投射して表示する投射型映像表示方法であって、
    前記映像を投射し、
    前記投射された投射映像の面と少なくとも一部が重なった操作面に、前記投射映像の投射光とは異なる照明光を照射し、
    前記操作面を撮像し、
    先端が発光する第１の操作対象物が前記操作面に接する位置を検出するための第１の検出処理を行い、
    発光しない第２の操作対象物が前記操作面に接する位置を検出するための前記第１の検出処理とは異なる第２の検出処理を行い、
    前記第１の検出処理または前記第２の検出処理における検出結果に基づき前記投射映像の少なくとも一部を変更する
    ことを特徴とする投射型映像表示方法。
15. 請求項１４に記載の投射型映像表示方法において、
    前記投射映像の表示状態は、
    前記投射映像中に前記第１の検出処理と前記第２の検出処理との双方の検出処理が機能する状態であることを示すための表示を行う第１の表示状態と、
    前記投射映像中に前記第１の検出処理は機能するが前記第２の検出処理は機能しない状態であることを示すための表示を行う第２の表示状態と
    を有することを特徴とする投射型映像表示方法。

Images