JP6049334B2 - 検出装置、検出方法及びプログラム - Google Patents

Description

本発明は、タッチされた位置やタッチダウン等を検出する技術に関するものである。

従来、プロジェクタによって投影される画像に対してタッチ入力を行う場合、投影対象となるスクリーン上に何らかのデバイスを設置することによりタッチ入力を可能としていた。特許文献１及び２には、赤外線を投光する手段と赤外線を受光する手段とをスクリーン上に設け、これらの手段を用いて指等がそれを遮ることを検知して座標入力及びタッチ判定を行う技術が開示されている。一方、特許文献３乃至５には、プロジェクタによって投影される画像に対して、スクリーン上にデバイスを設置せずに指示入力が可能な技術が開示されている。但し、特許文献３乃至５に開示される技術では、専用の指示具を必要としており、当該指示具が光や超音波を発し、これを投影部の近傍、又は、スクリーンから離れた部分で検知することにより、座標入力及びタッチ判定等が行われる。

ところで、プロジェクタという表示装置は、液晶表示装置等のフラットパネル型表示装置と比較して、どこにでも投影できるというメリットがある。この「どこにでも投影できる」という特徴と、上述した「スクリーン上に何らかの装置を設置する必要がある」という特徴とは、相反するものであり、便利さを阻害している。同様に、「どこにでも投影できる」という特徴と、上述した「専用の指示具が必要である」という特徴とは、相反するものであり、これも便利さを阻害している。特許文献６には、これらを両立するために、手や指の影をプロジェクタ側に設置されたカメラで検出することにより、タッチ入力する技術が開示されている。特許文献６に開示される技術は、投影された画像上における所定の位置をユーザが手によってタッチしようとする場合、タッチ位置の検出とタッチダウンの判別とを行うものである。

特開２００４−２７２３５３号公報 特開２００１−４３０２１号公報 特開２００１−２３６１７９号公報 特開２００４−２６５１８５号公報 特開２０００−８１９５０号公報

しかしながら、特許文献６に開示される技術において、タッチ位置の検出及びタッチダウンの判別は、投影光によって照らされる手の実像と、投影光によって生成される手の影像との関係に基づいて行われる。この方法では、投影された画像に黒い領域がある場合、その領域においては有効な光線が得られず、影像及び実像を十分に取得することができず、タッチ位置及びタッチダウンを正確に検出することができない。

そこで、本発明の目的は、影像を確実に取得し、タッチに係る検出を正確に行うことにある。

本発明の検出装置は、不可視光をスクリーンに対して投光する投光手段と、前記スクリーンを撮像する撮像手段であって、前記投光手段により投光される不可視光の波長成分に感度を有する撮像手段と、前記投光手段により前記スクリーンに不可視光が投光されていない状態であって、且つ、前記撮像手段と前記スクリーンとの間に前記スクリーンに対する操作を行う物体が存在しない状態における前記撮像手段による撮像により得られた画像データと、前記投光手段により前記スクリーンに不可視光が投光されている状態であって、且つ、前記撮像手段と前記スクリーンとの間に前記スクリーンに対する操作を行う物体が存在しない状態における前記撮像手段による撮像により得られた画像データとの差分をとることにより、ファレンス画像データを生成するリファレンス画像データ生成手段と、前記投光手段により前記スクリーンに不可視光が投光されている状態であって、且つ、前記撮像手段と前記スクリーンとの間に前記スクリーンに対する操作を行う物体が存在する状態における前記撮像手段による撮像により得られた画像データと、前記投光手段により前記スクリーンに不可視光が投光されていない状態であって、且つ、前記撮像手段と前記スクリーンとの間に前記スクリーンに対する操作を行う物体が存在する状態における前記撮像手段による撮像により得られた画像データとの差分をとることにより、影画像データを生成する影画像データ生成手段と、前記リファレンス画像データ生成手段により生成されたリファレンス画像データと前記影画像データ生成手段により生成された影画像データとを用いて、前記スクリーンに対する操作の検出を行う検出手段とを有することを特徴とする。

本発明によれば、影像を確実に取得し、タッチに係る検出を正確に行うことが可能となる。

本発明の第１の実施形態に係る画像投影システムの構成を示す図である。 本発明の実施形態に係る画像投影システムをスクリーン側の正面から見た場合の外観構成を示す図である。 プロジェクタの内部構成を示す図である。 撮像装置によって撮像される画像データの例を示す図である。 本発明の第１の実施形態に係る画像投影システムの処理を示すフローチャートである。 投光パターンと指示方向との関係を示す図である。 元画像データ（影画像データ）⇒規格化影画像データ⇒影領域画像データ⇒ＯＲ影領域画像データの流れの意味について説明するための図である。 第２の画像処理部におけるＯＲ影領域画像データから指示座標データ及びタッチ判定データを算出する処理に係る構成を示す図である。 図８に示した各構成において生成される画像データを示す図である。 領域拡張フィルタ及び領域縮小フィルタについて説明するための図である。 指画像データからＰ１、Ｐ２を算出する処理を説明するための図である。 本発明の第２の実施形態に係る画像投影システムの構成を示す図である。 本発明の第３の実施形態に係る画像投影システムの構成を示す図である。 本発明の第４の実施形態に係る画像投影システムの構成を示す図である。 本発明の第４の実施形態に係る画像投影システムの処理を示すフローチャートである。 本発明の第５の実施形態に係る画像投影システムの構成を示す図である。 本発明の第６の実施形態に係る画像投影システムの構成を示す図である。 本発明の第７の実施形態に係る画像投影システムの構成を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。なお、以下の実施形態において示す構成は、飽くまでも本発明の一例に過ぎず、本発明は、以下の実施形態に限定されるものではない。

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像投影システムの構成を示す図である。図１に示すように、本実施形態に係る画像投影システムは、撮像装置１、投光装置２〜５及びプロジェクタ６を備える。撮像装置１及び投光装置２〜５は、プロジェクタ６の画像投影部７の近傍に設置される。なお、本実施形態に係る画像投影システムは、タッチ検出装置の例である。

スクリーン８は、プロジェクタ６の画像投影部７から画像が投影される対象であり、且つ、タッチ入力の対象エリアである。撮像装置１の撮影範囲及び投光装置２〜５の照明範囲には、スクリーン８の一部又は全てが含まれる。投光装置２〜５は、可視光の波長成分を含まない光を投光する。ここでは、投光装置２〜５は赤外線を投光することを想定しているが、これに限定されず、非可視光であればよい。

撮像装置１は、少なくとも投光装置２〜５から投光される赤外線の一部又は全ての波長帯域に感度があるものである。本発明においては、撮像装置１の波長特性が可視領域を含むか含まないかを限定しない。可視領域を含まない場合、外乱光に対してより堅牢になる。一方、可視領域を含む場合、画像投影部７から投影される画像をとらえることができるため、投影される画像とタッチ入力との間においてより緊密な連携ができるようになる。

図１のスクリーン８の部分に描かれている手の影像９、１０は、非可視光に基づくものであり、実際に人間に見えるものではなく、撮像装置１によって観測される像である。即ち、投光装置２〜５から投光される非可視光、及び、その非可視光によって生ずる全ての影は、プロジェクタ６によってスクリーン８上に投影される画像の表示を一切妨害しないものである。

図２は、本実施形態に係る画像投影システムをスクリーン側の正面から見た場合の外観構成を示す図である。図２に示すように、本実施形態に係る画像投影システムは、例えば天井からつり下げられて設置されるものであり、支持部材１３によって撮像装置１と投光装置２〜５とが互いに固定される。そして、支持部材１３は、天井固定部材１２によってプロジェクタ６とともに天井に固定される。

図３は、プロジェクタ６の内部構成を示す図である。図３に示すように、プロジェクタ６は、制御部６１、画像データ格納部６２、第１の画像処理部６３、第２の画像処理部６４、指示座標データ・タッチ判別データ格納部６５、座標・タッチ状態送信部６６及び投光駆動制御回路６７が制御バスを介して接続される。制御部６１は、制御バスに接続される各構成を制御する。第１〜第４の投光装置２〜５は、投光駆動制御回路６７によって制御され、駆動される。

撮像装置１により撮像された画像データは、画像データ格納部６２に一旦格納された後、第１の画像処理部６３に出力され、さらに第２の画像処理部６４に出力される。なお、画像データは、画像データバスを介してやりとりされる。第２の画像処理部６４は、第１の画像処理部６３を介して入力した画像データに基づいて、指示座標データ及びタッチ判別データを算出する。算出された指示座標データ及びタッチ判別データは、指示座標データ・タッチ判別データ格納部６５に一旦格納され、座標・タッチ状態送信部６６によって送信される。指示座標データ及びタッチ判別データの送信先は、ＰＣ、スマート端末又はプロジェクタ６そのものであり、無線又は有線で送信される。なお、後述する図５に示すフローチャートの処理は、制御部６１が不図示の記録媒体から必要なプログラムやデータを読み出して実行することにより実現する処理である。

図４は、撮像装置１によって撮像される画像データの例を示す図である。なお、図４に示す影像９、１０は、非可視光に基づいて撮像装置１により撮像されたものであり、人間には見えないものである。

先ず、ユーザがスクリーン８上に手を差し出すと、図４（Ａ）に示す画像データが撮像装置１により撮像される。第２の画像処理部６４は、図４（Ａ）に示す画像データを解析し、二つの手の先端の位置としてＰ１及びＰ２を検出し、例えばその中点Ｐ０を指示座標として算出するとともに、Ｐ１とＰ２との距離ｄを算出する。ユーザが手をスクリーン８に近づけると、二つの手の影像が近付き、Ｐ１とＰ２との距離ｄが短くなっていく。そして、図４（Ｂ）に示すように、距離ｄが第１の閾値以下になった時点で、第２の画像処理部６４は、「座標入力あり」として座標値Ｐ０を出力する。さらに二つの影像が近付き、図４（Ｃ）又は図４（Ｄ）に示すように、距離ｄが第２の閾値以下になった時点で、第２の画像処理部６４は、「タッチダウンあり」と判定する。図４（Ｃ）に示す例は、第２の閾値が比較的大きい値を示す場合であり、この場合、手が或る程度スクリーン８に近付いた時点で「タッチダウンあり」の判定がなされる。一方、図４（Ｄ）に示す例は、第２の閾値がほぼゼロに近い値を示す場合であり、この場合、手がスクリーン８にほぼ接触した時点で「タッチダウンあり」の判定がなされる。

図４（Ｃ）に示すような設定は、スクリーン面になるべく触れたくないようなケースに用いられる。例えば、手術等の外科的な処置を行いつつ操作するような場合には無菌状態が必要なため、このような設定が行われる。一方、図４（Ｄ）に示すような設定は、スクリーン８に対して実際に操作しているという、物理的イメージを活かしたいとき等に用いられる。

図５は、本実施形態に係る画像投影システムの処理を示すフローチャートである。図５において、ステップＳ１０１〜Ｓ１０３は、リファレンス画像データを取得するための処理である。この処理部分は、手による操作がないことを条件に実行される。ステップＳ１０４以降の処理は、手による操作が行われている状態で実行される通常サンプリングの処理部分であり、終了までループで繰り返される。

ステップＳ１０１において、撮像装置１は、第１〜第４の投光装置２〜５によって投光されていない状態で、撮影処理を実行する。ステップＳ１０２において、撮像装置１は、手による指示入力が行われていない状態であって、且つ、第１〜第４の投光装置２〜５により投光された状態で撮影処理を実行する。ここでは、第１〜第４の投光パターンで投光された状態で撮影処理が実行される。ステップＳ１０３において、第１の画像処理部６３は、ステップＳ１０１で撮影された画像データと、ステップＳ１０２で撮影された、第１〜第４の投光パターンに対応する各画像データとの差分をとることにより、４つのリファレンス画像データを生成する。なお、本処理は、リファレンス画像データ生成手段の処理例である。

ステップＳ１０４において、撮像装置１は、第１〜第４の投光装置２〜５によって投光されていない状態で、撮影処理を実行する。ステップＳ１０５において、撮像装置１は、手による指示入力が行われている状態であって、且つ、第１〜第４の投光装置２〜５により投光された状態で撮影処理を実行する。ここでは、第１〜第４の投光パターンで投光された状態で撮影処理が実行される。

ステップＳ１０６において、第１の画像処理部６３は、ステップＳ１０４において撮影された画像データと、ステップＳ１０５で撮影された第１〜第４の投光パターンに対応する各画像データとの差分をとることにより、４つの影画像データを生成する。なお、本処理は、影画像データ生成手段の処理例である。ステップＳ１０７において、第１の画像処理部６３は、ステップＳ１０６により生成された４つの影画像データから、一組（２つ）の影画像データを選択する。ステップＳ１０８において、第２の画像処理部６４は、後述する画像処理を実行する。

ステップＳ１０９において、第２の画像処理部６４は、画像処理の結果に基づいて、指示座標データとタッチ判別データとを算出する。ステップＳ１１０において、制御部６１は、ステップＳ１０９において算出された指示座標データとタッチ判別データとの適正評価を行う。ステップＳ１１１において、制御部６１は、ステップＳ１１０の適正評価の結果、指示座標データとタッチ判別データとが適正であるか否かを判定する。指示座標データとタッチ判別データとが適正である場合、処理はステップＳ１１２に移行する。一方、指示座標データとタッチ判別データとが適正でない場合、処理はステップＳ１０４に戻る。ステップＳ１１２において、座標・タッチ状態送信部６６は、指示座標データとタッチ判別データとをＰＣ等に対して送信する。制御部６１は、ユーザから処理を終了させる指示を受け付けたか否かを判定する。処理を終了させる指示を受け付けた場合、処理は終了する。一方、処理を終了させる指示を受け付けていない場合、処理はステップＳ１０４に戻る。

次に、ステップＳ１０６における一組の画像データの選択処理について詳細に説明する。本実施形態においては、第１〜第４の投光パターンに対応する複数の影画像データを生成し、そのうちから、影像がユーザの手や腕に遮られない最適な一組の影画像データを選択する。

ここで、第１〜第４の投光パターンは、図６のｐ０１〜ｐ０４に示すとおりである。例えば、ｐ１０に示すような方向に手による指示入力が行われた場合、投光パターン毎の影画像データは、ｐ１１〜ｐ１４に示すようになる。ｐ１２及びｐ１３は、影像の特に指の部分が手の実像に遮られて見えない状態の影画像データである。これに対して、ｐ１１及びｐ１４は、影像の特に指の部分が十分見える状態の影画像データである。このような場合、ｐ１１及びｐ１４を選択するようにする。以下、ｐ２０、ｐ３０及びｐ４０に示すような方向に手による指示入力が行われた場合も、同じように、影像の特に指の部分が十分見える状態（丸印の合格パターン）の影画像データを採用するようにする。

ステップＳ１０１において、第１〜第４の投光装置２〜５によって投光されていない状態で撮影された非投光画像データをＲ０とする。また、ステップＳ１０２において、手による指示入力が行われていない状態であって、且つ、第１〜第４の投光パターンで第１〜第４の投光装置２〜５により投光された状態で撮影された画像データをＲ１〜Ｒ４とする。ステップＳ１０３において、画像データＲ１〜Ｒ４から非投光画像データＲ０が差し引かれることにより、外乱光を除去したリファレンス画像データＲｅｆ１〜Ｒｅｆ４が生成される。この処理を式で表すと、次の式１−１〜式１−４のようになる。
Ｒｅｆ１＝Ｒ１−Ｒ０・・・式１−１
Ｒｅｆ２＝Ｒ２−Ｒ０・・・式１−２
Ｒｅｆ３＝Ｒ３−Ｒ０・・・式１−３
Ｒｅｆ４＝Ｒ４−Ｒ０・・・式１−４

ステップＳ１０４において、第１〜第４の投光装置２〜５によって投光されていない状態で撮影された非投光画像データをＡ０とする。また、ステップＳ１０５において、手による指示入力が行われている状態であって、且つ、第１〜第４の投光パターンで第１〜第４の投光部２〜５により投光された状態で撮影された画像データをＡ１〜Ａ４とする。ステップＳ１０６において、画像データＡ１〜Ａ４から非投光画像データＡ０が差し引かれることにより、外乱光を除去した通常サンプルにおける影画像データＫ１〜Ｋ４が生成される。この処理を式で表すと、次の式２−１〜式２−４のようになる。
Ｋ１＝Ａ１−Ａ０・・・式２−１
Ｋ２＝Ａ２−Ａ０・・・式２−２
Ｋ３＝Ａ３−Ａ０・・・式２−３
Ｋ４＝Ａ４−Ａ０・・・式２−４

ステップＳ１０６において、一組（２つの）の影画像データが選択されるが、ここでは、影画像データＫ１、Ｋ２が選択されたとして、ステップＳ１０７以降の処理は、添え字１、２のみの画像データに対してのみ実行される。なお、一組の影画像データの選択は、ステップＳ１０５において画像データＡ１〜Ａ４を取得した段階で行ってもよい。

次に、ステップＳ１０８の画像処理について詳細に説明する。ステップＳ１０８では、先ず、第２の画像処理部６４は、ステップＳ１０７で選択された一組の影画像データを、ステップＳ１０３で生成されたリファレンス画像データで規格化する。実際には、影がある状態を正の方向のデータとして扱う方が便利なので、反転して規格化して「規格化影画像データ」ＫＮ１、ＫＮ２が生成される。この処理を式で表すと、次の式３−１〜式３−２のようになる。
ＫＮ１＝（Ｒｅｆ１−Ｋ１）／Ｒｅｆ１・・・式３−１
ＫＮ２＝（Ｒｅｆ２−Ｋ２）／Ｒｅｆ２・・・式３−２

次に、第２の画像処理部６４は、各規格化影画像データＫＮ１、ＫＮ２を２値化する処理を行う。規格化影画像データＫＮ１、ＫＮ２を２値化することにより、位置情報のみでレベル情報のない影領域画像データＫＢ１、ＫＢ２が生成される。この処理を式で表すと、次の式４−１〜式４−２のようになる。なお、本処理は、影領域画像データ生成手段の処理例である。
ＫＢ１＝Ｓｌｉｃｅ（ＫＮ１）・・・式４−１
ＫＢ２＝Ｓｌｉｃｅ（ＫＮ２）・・・式４−２
ここで、関数Ｓｌｉｃｅ（）は、画素毎に入力画像データが所定の閾値を超えていれば１を返し、超えていなければ０を返す関数である。

次に、第２の画像処理部６４は、２つの影領域画像データのＯＲをとって、ＯＲ影領域画像データを生成する。この処理を式で表すと、次の式５のようになる。なお、本処理は、ＯＲ影領域画像データ生成手段の処理例である。
ＫＧ＝ＫＢ１∨ＫＢ２・・・式５

ここで、図７を用いて、元画像データ（影画像データ）⇒規格化影画像データ⇒影領域画像データ⇒ＯＲ影領域画像データの流れの意味について説明する。図７では、直感的にわかるように、各画像データを反転して影が黒く表示されるように示している。

図７（Ａ）は、元画像データである。これをリファレンス画像データで規格化（詳しくは、規格化反転した）画像データが規格化影画像データである。夫々の画像データには、投光による明白に影である部分と、手の反射による曖昧な部分とが存在している。図７（Ａ）及び図７（Ｂ）においてこれを表現するためにテクスチャを用いている。図７（Ｃ）では、これを２値化するため、曖昧な部分は場所によって白、黒のまだらとなる。この曖昧な部分は、図７（Ａ）及び図７（Ｂ）に示すように、投光の方向によって暗い傾向のある場所が異なり、どちらかといえば明白に影である部分に近い側が暗くなる傾向にある。従って、図７（Ｃ）の２値化画像データを見ると、白い部分は、投光により明白に影である部分と反対方向に多く出る傾向がある。図７（Ｄ）は、図７（Ｃ）の２つの像のＯＲをとったものである（あくまでも、図７の表示は反転されている）。このようにＯＲをとると、図７（Ｃ）における白の部分の位置が夫々異なることが効果的となり、図７（Ｄ）では、白の部分が少なくなる。図７（Ｄ）のＯＲ影領域画像データは、主として指の方向、即ち、前方の部分は確実に明白な黒の状態となる、また、後方の一部まだらな部分も、黒い領域で完全に囲まれるということが分かる。本実施形態は、この特徴を有効活用して、このＯＲ影領域画像データから二つの指の位置を検出するものである。

次に、第２の画像処理部６４は、ＯＲ影領域画像データを基にさらに画像処理を行い、指示座標データとタッチ判定データとを算出するために、２つの点Ｐ１、Ｐ２を算出する。図８は、第２の画像処理部６４におけるＯＲ影領域画像データから指示座標データ及びタッチ判定データを算出する処理に係る構成を示す図である。図９は、図８に示した各構成において生成される画像データを示す図である。図８においても、図７と同様に、直感的にわかるように、各画像データを反転して影が黒く表現されるようにして示している。図８において、第２の画像処理部６４の入力画像データはＯＲ影領域画像データＫＧである。

図８に示すように、第２の画像処理部６４は、孤立領域除去フィルタ６４１、凹形状除去フィルタ６４２、凸形状除去フィルタ６４３、凸形状除去フィルタ６４４及び指抽出論理フィルタ６４５を備える。

孤立領域除去フィルタ６４１は、入力画像データ（ＯＲ影領域画像データ）ＫＧの図７で説明した曖昧な部分に基づく孤立領域を除去し、画像データＫＧ１を出力する。凹形状除去フィルタ６４２は、画像データＫＧ１におけるシャープに凹んだ部分を埋めて滑らかにした画像データＫＧ２を出力する。凸形状除去フィルタ（１）６４３は、画像データＫＧ２のシャープにとがった部分を取り除き滑らかにした画像データＫＧ３を出力する。凸形状除去フィルタ（２）６４４は、画像データＫＧ３の指に相当する程度の空間周波数の飛び出し部分を除去した画像データＫＧ４を出力する。指抽出論理フィルタ６４５は、指の付いた画像データＫＧ３から指の取り除かれた画像データＫＧ４を除くことにより指の部分を抽出した指画像データＫＧ５を出力する。なお、指抽出論理フィルタ６４５の論理式は、次の式６である。
ＫＧ５＝（ＫＧ３）Λ（ＫＧ４）・・・式６

孤立領域除去フィルタ６４１、凹形状除去フィルタ６４２及び凸形状除去フィルタ（１）６４３は、指形状を検出する上でのノイズを除去する役割を担っている。凸形状除去フィルタ（２）６４４は、指部分を一旦削除することにより、指抽出論理フィルタ６４５に入力する画像データＫＧ４を出力する役割を担っている。凹形状除去フィルタ６４２、凸形状除去フィルタ（１）６４３及び凸形状除去フィルタ（２）６４４はいずれも、領域拡張フィルタと領域縮小フィルタとの組み合わせで構成される領域拡縮フィルタである。

次に、図１０を参照しながら、上述した領域拡張フィルタ及び領域縮小フィルタについて説明する。領域拡張フィルタは、所定のタップ数の参照範囲を定義し、その範囲に元の領域（図１０内の斜線で表示）が一画素でも含まれている場合に、その参照範囲の全画素を元の領域と同じ輝度とする。上記処理は、参照範囲を画面全体又は所定の領域内を画素単位のステップでスキャンして順番に処理される。領域縮小フィルタは、所定のタップ数の参照範囲を定義し、その範囲に元の領域（図１０内の斜線で表示）の外側の領域が一画素でも含まれている場合にその参照範囲の全画素を該外側の領域と同じ輝度とする。参照領域は、画面全体又は所定の領域内を画素単位のステップでスキャンして順番に処理される。領域拡張フィルタを先にかけて、その次に同一タップ数の領域縮小フィルタを掛けると、領域の凹み部分を埋めることが可能である。タップ数が大きければ大きい凹みに対して、タップ数が小さければ細かい凹みに対してそれを埋める効果がある。一方、領域縮小フィルタを先にかけて、その次に同一タップ数の領域拡張フィルタを掛けると、領域の凸部分を削除することが可能である。タップ数が大きければ大きい凸に対して、タップ数が小さければ細かい凸に対してそれを削除することができる。

本実施形態では、凹形状除去フィルタ６４２における、領域拡張フィルタ（１）６４２１と領域縮小フィルタ（１）６４２２とは、同一タップ数でＴｐ１＝１０としている。凸形状除去フィルタ（１）６４３における、領域縮小フィルタ（２）６４３１と領域拡張フィルタ（２）６４３２とも同一タップ数でＴｐ２＝１０としている。ここで、Ｙｐ１とＴｐ２とを必ずしも同じ値にする必要はない。

凸形状除去フィルタ（２）６４４においては、指抽出論理フィルタ６４５でマスクするときにノイズを残さないため、画像データＫＧ４を若干大きくする必要がある。このため、領域縮小フィルタ（３）６４４１のタップ数をＴＰ３＿１＝４０、領域拡張フィルタ（３）６４４２のタップ数Ｔｐ３＿２＝５０とする。

Ｔｐ１、Ｔｐ２、Ｔｐ３＿１、Ｔｐ３＿２は、取り扱う影の大きさ、取得された画像データの画素分解能等でアプリケーション毎に最適化することにより、安定した指検出を行うことが可能である。また、演算時間及び実装コストよりも性能を重視する場合、凸形状除去フィルタ及び凹形状除去フィルタは、一段ではなく何段か重ねてもよい。また、タップ数を適切に選ぶことにより、より優れた画像処理を実現することができる。

図１１に示すように、第２の画像処理部６４は、指画像データＫＧ５からＰ１、Ｐ２を算出する。Ｐ１、Ｐ２は、例えば夫々の指像（突起物）における両端点が算出され、そのなかで画像データＫＧ４の重心から離れた方を選択する等して算出される。ｄは、Ｐ１とＰ２との距離である。ここで、ｄ１を座標入力の有無を判定するための第１の閾値とし、ｄ２をタッチダウンの有無を判定するための第２の閾値とする。
ｄ１＜ｄである場合、図３の座標・タッチ状態送信部６６は何も送信しない。
ｄ２＜ｄ≦ｄ１である場合、座標・タッチ状態送信部６６は、「タッチダウンなし」のタッチ判定データとともに座標値Ｐ０を示す指示座標データを送信する。
ｄ≦ｄ２である場合、座標・タッチ状態送信部６６は、「タッチダウンあり」のタッチ判定データとともに座標値Ｐ０を示す指示座標データを送信する。

次に、本発明の第２の実施形態について説明する。図１２は、第２の実施形態に係る画像投影システムの構成を示す図である。図１２に示すように、第２の実施形態に係る画像投影システムは、第１の実施形態に係る画像投影システムの第１〜第４の投光装置２〜５とは異なる位置に、第１〜第４の投光装置１４〜１７を配置したものであり、それ以外は、第１の実施形態に係る画像投影システムと同様の構成である。このような第１〜第４の投光装置１４〜１７の配置とすることにより、図６に示す第１の実施形態とは異なる態様の影画像データから、適切な影画像データを選択することができる。

次に、本発明の第３の実施形態について説明する。図１３は、第３の実施形態に係る画像投影システムの構成を示す図である。図１３に示すように、第３の実施形態に係る画像投影システムは、第１の実施形態に係る画像投影システムよりも多く投光装置を配置するとともに、第１の実施形態に係る画像投影システムより左右方向における投光装置の配置幅を広くしたものであり、それ以外は、第１の実施形態に係る画像投影システムと同様の構成である。従って、図６に示す第１の実施形態とは異なる態様であって、且つ、第１の実施形態より候補数の多い影画像データから適切な影画像データを選択することができる。即ち、第３の実施形態では、第１の実施形態より多彩な影画像データから、適切な影画像データを選択することが可能となる。

次に、本発明の第４の実施形態について説明する。図１４は、第４の実施形態に係る画像投影システムの構成を示す図である。図１４に示すように、第４の実施形態に係る画像投影システムは、撮像装置２８、２９を複数備えており、それ以外は、第１の実施形態に係る画像投影システムと同様の構成である。本実施形態においては、撮像装置２８、２９と投光装置２４〜２７とが概ねプロジェクタ６の画像投影部７の近傍に配置される必要があるが、投光装置２４〜２７同士、又は、投光装置２４〜２７と撮像装置２８、２９とが一定の距離だけ離れる必要がある。これは、図６に示すように、適切な影画像データの選択対象となる影画像データ群に十分特徴を持たせるためである。特に、投光装置２４〜２７と撮像装置２８、２９との距離に関しては、第１〜第３の実施形態の構成における指示部材では不十分な場合、又は、十分距離のとれる指示部材では大きすぎて見苦しい、或いは邪魔になるような場合に、本実施形態は好適である。

本実施形態においては、例えば図６のｐ０１のような投光パターンにおいては、撮像装置２９を選択し、同様に図６のｐ０２のような投光パターンにおいては、撮像装置２８を選択する。これにより、支持部材６２は上下寸法が第１の実施形態の支持部材１３の半分で済み、装置としてスリムなものとなる。また、４つの投光部の中央に撮像装置を設置する必要がないので、支持部材６２は第１の実施形態の支持部材１３のように中央に橋渡し部分を作る必要がなく、プロジェクタ６とともに設置する場合に、配置の自由度が大きくなる。

図１５は、第４の実施形態に係る画像投影システムの処理を示すフローチャートである。なお、図１５のステップＳ２０８〜Ｓ２１３は、図５のステップＳ１０８〜Ｓ１１３と同様の処理であるため、説明を省略する。

ステップＳ２０１において、撮像装置２８及び撮像装置２９は、第１〜第４の投光装置２〜５によって投光されていない状態で撮影処理を実行する。ステップＳ２０２において、撮像装置２８及び撮像装置２９は、手による指示入力が行われていない状態であって、且つ、第１〜第４の投光パターンで第１〜第４の投光装置２〜５により投光された状態で撮影処理を実行する。ステップＳ１０３において、第１の画像処理部６３は、ステップＳ２０１で撮影された画像データと、ステップＳ２０２で撮影された、第１〜第４の投光パターンに対応する各画像データとの差分をとることにより、８つのリファレンス画像データを生成する。

ステップＳ２０４において、撮像装置２８及び撮像装置２９は、第１〜第４の投光装置２〜５によって投光されていない状態で撮影処理を実行する。ステップＳ２０５において、撮像装置２８及び撮像装置２９は、手による指示入力が行われている状態であって、且つ、第１〜第４の投光パターンで第１〜第４の投光装置２〜５により投光された状態で撮影処理を実行する。ステップＳ２０６において、第１の画像処理部６３は、ステップＳ２０４で撮影された画像データと、ステップＳ２０５で撮影された第１〜第４の投光パターンに対応する各画像データとの差分をとることにより、８つの影画像データを生成する。ステップＳ２０７において、第１の画像処理部６３は、ステップＳ２０６により生成された８つの影画像データから、一組（２つ）の影画像データを選択する。以降、図５のステップＳ１０８〜Ｓ１１３と同様のステップＳ２０８〜Ｓ２１３が実行される。

次に、本発明の第５の実施形態について説明する。図１６は、第５の実施形態に係る画像投影システムの構成を示す図である。図１６に示すように、第５の実施形態に係る画像投影システムは、第４の実施形態に係る画像投影システムから投光装置の位置を変えたものであり、それ以外は、第１の実施形態に係る画像投影システムと同様の構成である。３０〜３３に示すような位置に投光装置を配置することにより、第４の実施形態とは異なる態様の影画像データから、適切な影画像データを選択することができる。

次に、本発明の第６の実施形態について説明する。図１７は、第６の実施形態に係る画像投影システムの構成を示す図である。図１７に示すように、第６の実施形態に係る画像投影システムは、第４の実施形態に係る画像投影システムよりも多く投光装置を配置するとともに、第４の実施形態に係る画像投影システムより左右方向における投光装置の配置幅を広くしたものであり、それ以外は、第１の実施形態に係る画像投影システムと同様の構成である。従って、第６の実施形態に係る画像投影システムによれば、第４の実施形態とは異なる態様であって、且つ、第４の実施形態より候補数の多い影画像データから適切な影画像データを選択することができる。即ち、第６の実施形態では、第４の実施形態より多彩な影画像データから、適切な影画像データを選択することが可能となる。

次に、本発明の第７の実施形態について説明する。図１８は、第７の実施形態に係る画像投影システムの構成を示す図である。図１８に示すように、第７の実施形態に係る画像投影システムは、テーブル４２上に画像を投影するタイプであるが、それ以外は、第１の実施形態に係る画像投影システムと同様の構成である。第７の実施形態に係る画像投影システムは、テーブル４２上に画像を投影しつつ、その画像のメニューに対してタッチ入力ができるものであり、例えば画像中のオブジェクト４３をタッチ操作で動かすことができる。本実施形態では、撮像装置１及び投影装置２〜５が設置された支持部材４０とプロジェクタ６とをスタンド４１に取り付けるだけで、テーブル４２には特にデバイスを設置することなくタッチ入力が可能となる。

上述した実施形態においては、外乱光がある状態においても確実に影像を取得することができ、正確にタッチされた位置及びタッチダウンの有無を検出することが可能となる。また、上述した実施形態は、複数の投光装置によってスクリーンを投光した状態で撮影された画像データに基づいて、タッチされた位置及びタッチダウンの有無を検出しているため、手や腕の位置や指示がいかなる方向であっても正確な検出が可能となる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１：撮像装置、２〜５：投光装置、６：プロジェクタ、７：画像投影部、８：スクリーン、９〜１０：影像、１１：手、６１：制御部、６２：画像データ格納部、６３：第１の画像処理部、６４：第２の画像処理部、６５：指示座標データ・タッチ判別データ格納部、６６：座標・タッチ状態送信部、６７：投光駆動制御回路

Claims (12)

1. 不可視光をスクリーンに対して投光する投光手段と、
   前記スクリーンを撮像する撮像手段であって、前記投光手段により投光される不可視光の波長成分に感度を有する撮像手段と、
   前記投光手段により前記スクリーンに不可視光が投光されていない状態であって、且つ、前記撮像手段と前記スクリーンとの間に前記スクリーンに対する操作を行う物体が存在しない状態における前記撮像手段による撮像により得られた画像データと、前記投光手段により前記スクリーンに不可視光が投光されている状態であって、且つ、前記撮像手段と前記スクリーンとの間に前記スクリーンに対する操作を行う物体が存在しない状態における前記撮像手段による撮像により得られた画像データとの差分をとることにより、ファレンス画像データを生成するリファレンス画像データ生成手段と、
   前記投光手段により前記スクリーンに不可視光が投光されている状態であって、且つ、前記撮像手段と前記スクリーンとの間に前記スクリーンに対する操作を行う物体が存在する状態における前記撮像手段による撮像により得られた画像データと、前記投光手段により前記スクリーンに不可視光が投光されていない状態であって、且つ、前記撮像手段と前記スクリーンとの間に前記スクリーンに対する操作を行う物体が存在する状態における前記撮像手段による撮像により得られた画像データとの差分をとることにより、影画像データを生成する影画像データ生成手段と、
   前記リファレンス画像データ生成手段により生成されたリファレンス画像データと前記影画像データ生成手段により生成された影画像データとを用いて、前記スクリーンに対する操作の検出を行う検出手段とを有することを特徴とする検出装置。
2. 前記検出手段は、位置が異なる複数の投光手段により前記スクリーンに不可視光が投光されている状態における前記撮像手段による撮像に基づいて得られた画像データを用いて、前記スクリーンに対する操作の検出を行うことを特徴とする請求項１に記載の検出装置。
3. 前記検出手段は、位置が異なる複数の撮像手段夫々による撮像に基づいて得られた複数の画像データを用いて、前記スクリーンに対する操作の検出を行うことを特徴とする請求項１又は２に記載の検出装置。
4. 前記影画像データと前記リファレンス画像データとを用いて生成される規格化影画像データを２値化することにより、２値化画像データを生成する２値化画像データ生成手段を更に有し、
   前記検出手段は、前記２値化画像データを用いて前記スクリーンに対する操作の検出を行うことを特徴とする請求項１乃至３の何れか１項に記載の検出装置。
5. 複数の前記２値化画像データのＯＲをとることにより、ＯＲ影領域画像データを生成するＯＲ影領域画像データ生成手段を更に有し、
   前記検出手段は、前記ＯＲ影領域画像データに基づいて、前記スクリーンに対する操作の検出を行うことを特徴とする請求項４に記載の検出装置。
6. 前記ＯＲ影領域画像データから二つの突起した形状の端点間の距離を算出する算出手段を更に有し、
   前記検出手段は、前記算出手段により算出された距離に基づいて、前記スクリーンに対する操作の検出を行うことを特徴とする請求項５に記載の検出装置。
7. 前記投光手段は、不可視光を前記スクリーンに対して複数の投光パターンで投光し、
   前記検出手段は、前記投光手段により不可視光が前記複数の投光パターンで投光されている状態それぞれにおける前記撮像手段による撮像に基づいて前記影画像データ生成手段により生成された複数の影画像データから選択された影画像データを用いて、前記スクリーンに対する操作の検出を行うことを特徴とする請求項１乃至６の何れか１項に記載の検出装置。
8. 前記検出手段は、前記スクリーンに対する操作として、前記スクリーン上の指示位置、及び、前記スクリーンに対するタッチ操作のうちの少なくとも何れか一方を検出することを特徴とする請求項１乃至７の何れか１項に記載の検出装置。
9. 不可視光をスクリーンに対して投光する投光ステップと、
   前記投光ステップにより投光される不可視光の波長成分に感度を有する撮像手段によって前記スクリーンを撮像する撮像ステップと、
   前記投光ステップにより前記スクリーンに不可視光が投光されていない状態であって、且つ、前記撮像手段と前記スクリーンとの間に前記スクリーンに対する操作を行う物体が存在しない状態における前記撮像ステップによる撮像により得られた画像データと、前記投光ステップにより前記スクリーンに不可視光が投光されている状態であって、且つ、前記撮像手段と前記スクリーンとの間に前記スクリーンに対する操作を行う物体が存在しない状態における前記撮像ステップによる撮像により得られた画像データとの差分を取ることにより、リファレンス画像データを生成するリファレンス画像データ生成ステップと、
   前記投光ステップにより前記スクリーンに不可視光が投光されている状態であって、且つ、前記撮像手段と前記スクリーンとの間に前記スクリーンに対する操作を行う物体が存在する状態における前記撮像ステップによる撮像により得られた画像データと、前記投光ステップにより前記スクリーンに不可視光が投光されていない状態であって、且つ、前記撮像手段と前記スクリーンとの間に前記スクリーンに対する操作を行う物体が存在する状態における前記撮像ステップによる撮像により得られた画像データとの差分をとることにより、影画像データを生成する影画像データ生成ステップと、
   前記リファレンス画像データ生成ステップにより生成されたリファレンス画像データと前記影画像データ生成ステップにより生成された影画像データとを用いて、前記スクリーンに対する操作の検出を行う検出ステップとを有することを特徴とする検出方法。
10. 前記検出ステップは、前記投光ステップにおいて位置が異なる複数の投光手段により前記スクリーンに不可視光が投光されている状態における前記撮像ステップによる撮像に基づいて得られた画像データを用いて、前記スクリーンに対する操作の検出を行うことを特徴とする請求項９に記載の検出方法。
11. 前記検出ステップは、前記撮像ステップにおける位置が異なる複数の撮像手段夫々による撮像に基づいて得られた複数の画像データを用いて、前記スクリーンに対する操作の検出を行うことを特徴とする請求項９又は１０に記載の検出方法。
12. コンピュータを請求項１乃至８の何れか１項に記載の検出装置として動作させるためのプログラム。

Images