JP6280005B2 - 情報処理装置、画像投影装置および情報処理方法 - Google Patents

Description

本発明の実施形態は、情報処理装置、画像投影装置および情報処理方法に関する。

近年、プロジェクタとカメラやデプスセンサを組み合わせることにより、壁や机上面などの投影面に投影した映像（投影像）に対する操作を可能とする技術が開発されている。例えば、投影面のうち、投影像を含む範囲を撮影するカメラを備え、投影像の外側の領域に操作を検出するための検出領域を設ける技術が既に知られている。

特開２０１０−１６０４０３号公報

しかしながら、従来においては、投影像の内側および外側の両方に検出領域を設ける構成は提案されていない。すなわち、従来においては、ユーザに対して、様々なバリエーションの操作系を提供することはできず、ユーザの利便性が低いという問題があった。

実施形態の情報処理装置は、検出部と制御部とを備える。検出部は、入力画像の情報を含む光が投影される投影面に対する指示物体による指示位置を検出する。制御部は、指示位置が、投影面のうち、入力画像の情報を含む光が投影面に投影されることで形成される投影像の少なくとも一部を含む領域を示す第１領域に属する場合は、指示位置に基づく第１領域上の操作に応じた第１処理を実行するための制御を行う。制御部は、指示位置が、投影面のうち、第１領域に比べて投影像を含む量が少ない領域を示す第２領域に属する場合は、指示位置に基づく第２領域上の操作に応じた第２処理を実行するための制御を行う。第１処理は、入力画像とは異なる画像の投影像を表示する処理であり、第２処理は、投影像の明るさを変化させる処理である。

第１実施形態の画像投影装置の構成の一例を示す図。 第１実施形態の画像投影装置による投影の様子を示す図。 第１実施形態の内側領域および外側領域を表す模式図。 第１実施形態の内外判定の境界を調整する方法を説明するための図。 第１実施形態の操作領域のバリエーションの例を示す図。 第１実施形態の第１処理決定部が判定する操作の一例を示す図。 第１実施形態の第２処理決定部が判定する操作の一例を示す図。 第１実施形態の画像投影装置のハードウェア構成の一例を示す図。 第１実施形態の変形例の画像投影装置の構成の一例を示す図。 第２実施形態の画像投影装置の構成の一例を示す図。 第２実施形態の第２処理決定部が判定する操作の一例を示す図。 第２実施形態の投影像の内外判定の境界が変化する場合を示す図。 第２実施形態の投影像の内外判定の境界が変化する場合を示す図。 第３実施形態の画像投影装置の構成の一例を示す図。 第３実施形態の効果を説明するための図。

以下、添付図面を参照しながら、実施形態に係る情報処理装置、画像投影装置および情報処理方法の実施形態を詳細に説明する。

（第１実施形態）
図１は、本実施形態の画像投影装置１の構成の一例を示す図である。図１に示すように、画像投影装置１は、取得部１００と、情報処理装置２００と、制御装置３００と、投影部４００とを備える。図２は、画像投影装置１が、入力画像の情報を含む光を投影する対象となる物体（以下、「投影面」と称する）に対して、入力画像の情報を含む光を投影している様子を示す図である。ここでは、投影面は、壁や机のような平面であることを前提として説明するが、これに限らず、例えば投影面は、凹凸を含む面であってもよい。すなわち、投影面は平面に限られるものではなく、例えば曲面であってもよいし、凹凸を含む面であってもよい。また、例えば投影面は複数のオブジェクトからなる領域であってもよい。以下の説明では、投影面のうち、入力画像の情報を含む光が投影され得る最大範囲の領域を「投影領域」と称し、入力画像の情報を含む光が投影面に投影されることで形成される像を「投影像」と称する場合がある。

図１に戻って説明を続ける。取得部１００は、投影面に対する１以上の指示物体による指示位置を検出するのに必要な情報を取得する。指示物体は、例えばユーザの手（指）であってもよいし、指示棒などのデバイスであってもよい。指示物体の数は１つであってもよいし、複数であってもよい。この例では、取得部１００は、対象物との距離情報を二次元的に取得することが可能な距離画像センサで構成されるが、これに限られるものではない。取得部１００は、指示物体による指示位置を検出するのに必要な情報を取得できるものであればよく、例えば通常の可視光カメラなどで構成されてもよい。

通常の可視光カメラが撮像対象の色情報を二次元的に配列した情報を画像として取得するように、距離画像センサは、撮像対象の距離情報を二次元的に配列した情報を距離画像として取得する。距離画像の取得方法としては、赤外線パターン照射方式（赤外線のパターンを照射し、赤外線カメラでパターンを検出し、三角測量により距離を測定する方式）、Ｔｉｍｅ−ｏｆ―Ｆｌｉｇｈｔ方式（対象物に投光し、光の往復に要した時間を計測することで距離を測定する方式）などがあるが、これらに限らず、その他の方法で距離画像を取得するセンサでも良い。以下の説明では、取得部（距離画像センサ）１００が取得する距離情報をｄ（ｘ，ｙ）と表す。ここで、ｘは、取得した距離画像の横方向の座標を表し、ｙは、取得した距離画像の縦方向の座標を表す。また、図２に示すように、投影面のうち、取得部（距離画像センサ）１００の撮像範囲は、投影領域を少なくとも含む範囲に設定される。

次に、図１に示す情報処理装置２００について説明する。図１に示すように、情報処理装置２００は、検出部２１０と、判定部２２０と、制御部２３０とを備える。

検出部２１０は、投影面に対する指示物体による指示位置を検出する。本実施形態では、検出部２１０は、取得部１００により取得された距離画像を用いて指示位置を検出する。より具体的には、検出部２１０は、距離画像を用いて、投影面に近接（タッチを含む）している指示物体の位置（指示物体による指示位置に相当、以下、「タッチ座標」と称する場合がある）を検出する。例えば投影面に近接している指示物体の場所は、以下の式１により判別できる。検出部２１０は、距離画像を用いて、投影面との距離が閾値以下である指示物体の位置を、タッチ座標として検出していると考えることができる。

上記式１において、Ｄ_０（ｘ，ｙ）は取得部（距離画像センサ）１００と投影面との距離である。また、Ｄ_{ｍａｒｇｉｎ１}（ｘ，ｙ）、Ｄ_{ｍａｒｇｉｎ２}（ｘ，ｙ）は、検出用（判定用）のパラメータである。この例では、距離画像のうちＮｅａｒ（ｘ，ｙ）＝１と判定された画素の位置には、投影面に近接した物体が存在していることを意味する。例えば指やペンなどのある程度の太さ（幅）を有する指示物体が投影面に近接した場合、Ｎｅａｒ（ｘ，ｙ）＝１となる画素は連結した領域として検出される。この場合、連結領域の個数をタッチ点数、それぞれの連結領域の代表点をタッチ座標とする。代表点としては、連結領域の重心などを用いることができる。以下、検出部２１０により検出された、取得部１００の座標系（距離画像の座標系）におけるタッチ座標をｘ_ｄ ^（ｎ）＝（ｘ_ｄ，ｙ_ｄ）^（ｎ）と表す。ここで、ｎは、タッチ座標が複数検出された場合に割り振られる番号である。

次に、判定部２２０について説明する。判定部２２０は、検出部２１０により検出されたタッチ座標が、投影面のうち投影像の少なくとも一部を含む領域を示す第１領域に属するのか、投影面のうち第１領域に比べて投影像を含む量が少ない領域を示す第２領域に属するのかを判定する。ここでは、第１領域は、投影像の内側の領域であり、第２領域は、投影面のうち投影像の外側の領域であるが、これに限られるものではない。以下の説明では、投影像の内側の領域を「内側領域」、投影像の外側の領域を「外側領域」と称する場合がある。図３は、内側領域および外側領域を表す模式図である。

本実施形態では、判定部２２０は、検出部２１０により検出されたタッチ座標が内側領域に存在する場合は、そのタッチ座標は内側領域に属すると判定する。また、タッチ座標が外側領域に存在する場合は、そのタッチ座標は外側領域に属すると判定する。タッチ座標が内側領域に存在するのか外側領域に存在するのかを判定するための方法としては、タッチ座標が、取得部１００の座標系において、投影像に対応する範囲として予め定められた範囲内であるか否かの条件判定を行うことが考えられる。この範囲は予め定めておいてもよいし、動的に決定してもよい。例えば投影像の領域は、投影像の外側の周辺領域よりも明るいことを利用し、明暗の２値化を行って範囲を決定することもできる。

また、取得部１００の座標系を投影像の座標系（入力画像の座標系）に変換して判定を行ってもよい。ここでは、取得部１００の座標系における座標をｘ_ｄ＝（ｘ_ｄ，ｙ_ｄ）と表し、投影像の座標系における座標をｘ_ｐ＝（ｘ_ｐ，ｙ_ｐ）と表す。このとき、座標ｘ_ｐ＝（ｘ_ｐ，ｙ_ｐ）が内側領域に属するのか外側領域に属するのかは、以下の式２を用いて判定することができる。

上記式２において、Ｗ_ｐは入力画像の横方向の画素数を表し、Ｈ_ｐは入力画像の縦方向の画素数を表す。Ｒ_{ｉｎｓｉｄｅ}、Ｒ_{ｏｕｔｓｉｄｅ}は、それぞれどの領域に属するかを管理するための値を表す。例えばＲ_{ｉｎｓｉｄｅ}＝０、Ｒ_{ｏｕｔｓｉｄｅ}＝１は、外側領域に属することを表し、Ｒ_{ｉｎｓｉｄｅ}＝１、Ｒ_{ｏｕｔｓｉｄｅ}＝０は、内側領域に属することを表すといったように、どの領域に属するかを管理するための値を予め設定しておく。

また、内外判定の境界を調整することもできる。例えば図４に示すように、内側領域として判定する領域を投影像の外側に広げてもよい。このようにすることで、例えば投影像の周縁部に表示されたアイコンを操作する必要がある場合などに有効である。内外判定の境界を調整する場合の判定条件は、例えば以下の式３で表すことができる。

上記式３において、ｂ_ｘ，ｂ_ｙは、内外判定用の調整パラメータである。例えばｂ_ｘおよびｂ_ｙのそれぞれを０に設定すれば、内外判定の境界は投影像の境界と等しくなる。また、ｂ_ｘおよびｂ_ｙのそれぞれの設定値を変更すれば、内外判定の境界を投影像の外側方向に広げることもできるし、投影像の内側方向に縮小することもできる。例えばｂ_ｘ＝ｂ_ｙ＝−１０とすれば、内側領域として判定される領域を投影像の外側に１０ピクセル分だけ広げることができる。

また、この例では、投影像の内側と外側の２か所の領域を定義したが、これに限らず、例えば図５に示すように、内側領域、内側領域の上側に存在する外側領域、内側領域の下側に存在する外側領域、内側領域の左側に存在する外側領域、内側領域の右側に存在する外側領域といったように、５つの領域を定義する形態であってもよい。この場合、上記式３のような条件式を領域の数だけ定義し、Ｒｅｇｉｏｎ（ｘ_ｐ，ｙ_ｐ）の取り得る値を多値にすればよい。要するに、投影面のうち投影像の少なくとも一部を含む第１領域と、投影面のうち第１領域に比べて投影像を含む量が少ない第２領域とを少なくとも定義する形態であればよい。

ここで、取得部１００の座標系を投影像の座標系に変換する方法の一例を示す。以下の例では、射影モデルを利用して座標変換を行う。射影モデルとは、実空間の３次元座標を画像空間の２次元座標に変換するモデルであり、カメラ（可視光カメラ、赤外線カメラ等）や距離画像センサ（デプスセンサ等）、プロジェクタに適用することができる。この例では、投影部（プロジェクタ）４００の射影モデルを以下の式４のように定義する。

同様に、取得部１００の射影モデルを以下の式５のように定義する。

上記式４および式５において、実空間の３次元座標（Ｘ，Ｙ，Ｚ）は、Ｘ＝Ｘ_１／Ｘ_４，Ｙ＝Ｘ_２／Ｘ_４，Ｚ＝Ｘ_３／Ｘ_４の形で導出される。また、画像座標の２次元座標（ｘ，ｙ）は、ｘ＝ｘ_１／ｘ_３，ｙ＝ｘ_２／ｘ_３の形で導出される。また、係数λは定数倍の不定性を表す。Ａは、焦点距離や解像度などの情報から決定される内部パラメータ行列である。Ｒ，Ｔは、カメラやプロジェクタの姿勢により決定される外部パラメータ行列である。Ａ，Ｒ，Ｔはキャリブレーションにより予め求めておくことができる。Ａ，Ｒ，Ｔはそれぞれベクトルを示す。ここで、取得部１００の位置を世界座標系の原点とすると、Ｒ_ｄ＝Ｉ、Ｔ_ｄ＝０とおくことができ、以下の式６を得ることができる。

そして、変換した世界座標を投影部４００の射影モデルに代入して、以下の式７を得ることができる。

以上より、上記式７の右辺に、検出部２１０が検出した、取得部１００の座標系で表されるタッチ座標ｘ_ｄ ^（ｎ）＝（ｘ_ｄ，ｙ_ｄ）^（ｎ）を代入することで、投影像の座標ｘ_ｐ ^（ｎ）＝（ｘ_ｐ，ｙ_ｐ）^（ｎ）に変換することができる。検出部２１０による検出に用いられた座標系とは異なるものの、この変換後のタッチ座標ｘ_ｐ ^（ｎ）＝（ｘ_ｐ，ｙ_ｐ）^（ｎ）も、指示物体による指示位置を表していることに変わりはない。

なお、座標変換の方法は以上の方法に限られるものではなく、その他の公知の方法を用いてもよい。例えば２次元射影変換（ホモグラフィー変換）により座標変換を行ってもよいし、座標変換テーブルをあらかじめ計算し、それを保持しておいてもよい。

判定部２２０は、検出部２１０により検出された１以上のタッチ座標ごとに、当該タッチ座標と、当該タッチ座標が内側領域に属するのか外側領域に属するのかを示す領域情報とを紐付けた情報（以下の説明では「判定情報」と称する場合がある）を、制御部２３０へ供給する。なお、判定情報に含まれるタッチ座標の座標系は、取得部１００の座標系であってもよいし、内外判定の際に変換した投影像の座標系であってもよい。

次に、制御部２３０について説明する。本実施形態では、制御部２３０は、タッチ座標が内側領域に属する場合は、そのタッチ座標に基づく内側領域上の操作に応じた第１処理を実行するための制御を行い、タッチ位置が外側領域に属する場合は、そのタッチ座標に基づく外側領域上の操作に応じた第２処理を実行するための制御を行う。より具体的には以下のとおりである。

図２に示すように、制御部２３０は、通知先切替部２３１と、第１処理決定部２３２と、第２処理決定部２３３とを備える。通知先切替部２３１は、判定部２２０から受信した判定情報に含まれる領域情報に応じて、当該判定情報に含まれるタッチ座標を少なくとも含む情報の通知先を、第１処理決定部２３２および第２処理決定部２３３のうちの何れかに切り替える。より具体的には、通知先切替部２３１は、判定情報に含まれる領域情報が、タッチ座標が内側領域に属することを示す場合は、その判定情報に含まれるタッチ座標を少なくとも含む情報を、第１処理決定部２３２へ通知する。なお、通知先切替部２３１は、判定部２２０から受信した判定情報をそのまま第１処理決定部２３２へ通知する形態であってもよい。一方、通知先切替部２３１は、判定情報に含まれる領域情報が、タッチ座標が外側領域に属することを示す場合は、その判定情報に含まれるタッチ座標を少なくとも含む情報を、第２処理決定部２３３へ通知する。上記と同様に、通知先切替部２３１は、判定部２２０から受信した判定情報をそのまま第２処理決定部２３３へ通知する形態であってもよい。

次に、第１処理決定部２３２について説明する。第１処理決定部２３２は、通知先切替部２３１から順次に供給(通知)されるタッチ座標（内側領域に属するタッチ座標）に基づいて、指示物体による操作（内側領域上の操作）を判定し、その判定した操作に応じた第１処理を決定する。例えば第１処理決定部２３２は、通知先切替部２３１から順次に供給されるタッチ座標に基づいて、図６の（ａ）に示すような、投影面に対して指示物体（この例ではユーザの指）を近接させた後に離すタップ操作を判定することもできるし、図６の（ｂ）に示すような、投影面に指示物体を近接させた状態で当該指示物体を移動させるドラッグ操作を判定することもできるし、図６の（ｃ）に示すような、２以上の指示物体の各々を投影面に近接させた状態で当該２以上の指示物体の間隔を広げるピンチ操作（ピンチアウト操作）を判定することもできる。このような操作を判定する方法としては公知の様々な技術を利用することができる。そして、第１処理決定部２３２は、判定した操作に応じた第１処理を決定する。第１処理の決定方法は任意であり、例えば第１処理決定部２３２は、複数種類の操作と複数種類の第１処理とが１対１に対応するテーブル情報を参照して、判定した操作に対応する第１処理を、実行すべき第１処理として決定することもできる。ただし、判定した操作に応じた第１処理の決定方法はこれに限られるものではない。

この例では、第１処理は、入力画像の画像情報の少なくとも一部を変更する処理であるが、これに限られるものではない。この例では、例えばタップ操作に対応する第１処理としては、入力画像上の当該タップ操作が行われる位置に配置されたアイコンに対応する画像（タップ操作が行われる前の入力画像とは異なる画像）を次の入力画像として生成（あるいは外部装置や内部メモリから取得）する処理を採用することができるが、これに限られるものではない。

以上のようにして第１処理を決定した後、第１処理決定部２３２は、制御装置３００に対して、決定した第１処理の実行を指示する。この例では、以上に説明した第１処理決定部２３２による制御が、「タッチ座標に基づく内側領域上の操作に応じた第１処理を実行するための制御」に相当する。また、この例では、制御装置３００は、第１処理を実行する第１処理部（不図示）を有している。制御装置３００は、第１処理決定部２３２からの指示に従って第１処理を実行し、第１処理の結果に基づいて、入力画像の情報を含む光を投影面に投影する投影部４００を制御する。例えば第１処理として、入力画像上のタップ操作が行われた位置に配置されたアイコンに対応する画像を次の入力画像として生成する処理を実行する場合、制御装置３００は、当該第１処理により得た画像を投影面に投影するように投影部４００を制御することもできる。

なお、この例では、第１処理を実行する第１処理部は制御装置３００に搭載されているが、これに限らず、例えば第１処理部が制御部２３０内に設けられる形態であってもよい。例えば、制御部２３０内の第１処理部は、第１処理の結果（例えば第１処理より得られた画像等）を制御装置３００へ渡し、制御装置３００は、その渡された第１処理の結果に基づいて、投影部４００を制御する形態であってもよい。

次に、第２処理決定部２３３について説明する。第２処理決定部２３３は、通知先切替部２３１から順次に供給されるタッチ座標（外側領域に属するタッチ座標）に基づいて、指示物体による操作（外側領域上の操作）を判定し、その判定した操作に応じた第２処理を決定する。例えば第２処理決定部２３３は、通知先切替部２３１から順次に供給されるタッチ座標に基づいて、図７に示すような、投影像の外側をドラッグする操作を検出することもできる。そして、第２処理決定部２３３は、判定した操作に応じた第２処理を決定する。第２処理の決定方法は任意であり、例えば第２処理決定部２３３は、複数種類の操作と複数種類の第２処理とが１対１に対応するテーブル情報を参照して、判定した操作に対応する第２処理を、実行すべき第２処理として決定することもできる。ただし、判定した操作に応じた第２処理の決定方法はこれに限られるものではない。

第２処理は第１処理とは異なる処理であり、この例では、第２処理は、入力画像の画像情報は変更せずに投影像の見え方を変化させるための処理であるが、これに限られるものではない。図７の例では、ドラッグ操作に対応する第２処理としては、投影像の明るさを変化させる処理が採用されている。この第２処理は、ドラッグした距離や向きを、投影像の明るさを増減させるための制御量に変換する処理となる。

以上のようにして第２処理を決定した後、第２処理決定部２３３は、制御装置３００に対して、決定した第２処理の実行を指示する。この例では、以上に説明した第２処理決定部２３３による制御が、「タッチ座標に基づく外側領域上の操作に応じた第２処理を実行するための制御」に相当する。また、この例では、制御装置３００は、第２処理を実行する第２処理部（不図示）を有している。制御装置３００は、第２処理決定部２３３からの指示に従って第２処理を実行し、それに応じて、投影部４００を制御する。例えば第２処理として、投影像の外側をドラッグした距離や向きを、投影像の明るさを増減させるための制御量に変換する処理を実行する場合、制御装置３００は、当該第２処理により得た制御量に応じた明るさとなるように投影部４００を制御することもできる。

なお、この例では、第２処理を実行する第２処理部は制御装置３００内に設けられているが、これに限らず、例えば第２処理部が制御部２３０内に設けられる形態であってもよい。例えば、制御部２３０内の第２処理部は、第２処理の結果（例えば投影像の明るさを増減させるための制御量）を制御装置３００へ渡し、制御装置３００は、その渡された第２処理の結果に基づいて、投影部４００を制御する形態であってもよい。また、例えば制御部２３０内の第２処理部は、第２処理の結果を投影部４００へ渡す形態であってもよい。この場合、投影部４００は、その渡された第２処理の結果に基づいて、投影像の明るさを制御することもできる。

図８は、本実施形態の画像投影装置１のハードウェア構成の一例を示す図である。図８に示すように、情報処理装置２００は、情報処理装置２００の動作を統括的に制御するプロセッサ２０１と、ＲＯＭやＲＡＭ等の記憶装置２０２と、他の機器（距離画像センサ１００、制御装置３００、および、投影部４００等）と接続するためのＩ／Ｆ２０３とを備える。上述した情報処理装置２００の各部の機能（検出部２１０、判定部２２０、制御部２３０（通知先切替部２３１、第１処理決定部２３２、第２処理決定部２３３））は、プロセッサ２０１が記憶装置２０２に格納されたプログラムを実行することにより実現することができるが、これに限らず、例えば情報処理装置２００の各部の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）により実現される形態であってもよい。

また、図８に示すように、制御装置３００は、制御装置３００の動作を統括的に制御するプロセッサ３０１と、ＲＯＭやＲＡＭ等の記憶装置３０２と、キーボードやマウス等の入力デバイス３０３と、各種の情報を表示するディスプレイ装置３０４と、他の機器（情報処理装置２００、プロジェクタ４００等）と接続するためのＩ／Ｆ３０５とを備える。制御装置３００が有する各種の機能は、プロセッサ３０１が記憶装置３０２に格納されたプログラムを実行することにより実現することができるが、これに限らず、例えば制御装置３００が有する各種の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）により実現される形態であってもよい。

また、図８に示すように、投影部４００は、投影部４００の動作を統括的に制御するプロセッサ４０１と、ＲＯＭやＲＡＭ等の記憶装置４０２と、投影ユニット４０３と、他の機器（情報処理装置２００、制御装置３００等）と接続するためのＩ／Ｆ４０４とを備える。図８の例では、投影ユニット４０３は、光源４０５と、Ｉｍａｇｅｒ４０６と、レンズユニット４０７とを含む。Ｉｍａｇｅｒ４０６には、光源４０５から射出された光が供給される。Ｉｍａｇｅｒ４０６は、光源４０５から供給された光を、入力画像の情報を含む光に変換して、レンズユニット４０７へ出力する機能を有する。Ｉｍａｇｅｒ４０６は、例えば液晶パネル等で構成される。レンズユニット４０７は、Ｉｍａｇｅｒ４０６から出力された光を投影面へ向けて投影する。レンズユニット４０７は、例えば複数のレンズ、プリズム、ミラー等の光学素子によって構成される。投影部４００が有する各種の機能は、プロセッサ４０１が記憶装置４０２に格納されたプログラムを実行することにより実現することができるが、これに限らず、例えば投影部４００が有する各種の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）により実現される形態であってもよい。

上述の情報処理装置２００、制御装置３００および投影部４００の各々で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の情報処理装置２００、制御装置３００および投影部４００の各々で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するように構成してもよい。

また、例えば、距離画像センサ１００、情報処理装置２００、制御装置３００および投影部４００が一体の装置として構成されてもよい。また、例えば情報処理装置２００の各部の機能が、投影部４００に搭載される形態であってもよい。つまり、情報処理装置２００と投影部４００とが一体の装置として構成されてもよい。例えば投影部４００のプロセッサ４０１が記憶装置４０２に格納されたプログラムを実行することにより、上述した情報処理装置２００の各部の機能が実現される形態であってもよい。また、例えば情報処理装置２００の各部の機能が制御装置３００に搭載される形態であってもよい。つまり、情報処理装置２００と制御装置３００とが一体の装置として構成されてもよい。例えば投影部４００のプロセッサ４０１が記憶装置４０２に格納されたプログラムを実行することにより、上述した情報処理装置２００の各部の機能が実現される形態であってもよい。

以上に説明したように、本実施形態では、タッチ座標が内側領域に属する場合は、そのタッチ座標に基づく内側領域上の操作に応じた第１処理を実行するための制御を行い、タッチ座標が外側領域に属する場合は、そのタッチ座標に基づく外側領域上の操作に応じた第２処理を実行するための制御を行う。すなわち、同一の操作であっても、内側領域で当該操作が行われた場合に実行される処理（第１処理）と、外側領域で当該操作が行われた場合に実行される処理（第２処理）とが異なるので、操作者（ユーザ）に対して、投影像の内側および外側のそれぞれの領域を、異なる処理の実行を指示するための操作領域として提供することができる。したがって、本実施形態によれば、従来に比べて、ユーザに対して多彩な操作系を提供することができるので、ユーザの利便性を向上させることができるという有利な効果を達成できる。

（第１実施形態の変形例１）
例えば図９に示すように、制御装置３００が、上述の第１処理決定部２３２および第２処理決定部２３３を有する形態であってもよい。この形態では、制御部２３０は、タッチ座標が内側領域に属する場合は、そのタッチ座標を少なくとも含む情報を、制御装置３００内の第１処理決定部２３２へ通知する制御を行う。より具体的には、制御部２３０は、判定部２２０から受信した判定情報に含まれる領域情報が、タッチ座標が内側領域に属することを示す場合は、その判定情報に含まれるタッチ座標を少なくとも含む情報を、第１処理決定部２３２へ通知する制御を行う。例えば制御部２３０は、判定部２２０から受信した判定情報をそのまま第１処理決定部２３２へ通知する制御を行ってもよい。この例では、制御部２３０による、タッチ座標を少なくとも含む情報を第１処理決定部２３２へ通知する制御が、「タッチ座標に基づく内側領域上の操作に応じた第１処理を実行するための制御」に相当する。

また、制御部２３０は、タッチ座標が外側領域に属する場合は、そのタッチ座標を少なくとも含む情報を、制御装置３００内の第２処理決定部２３３へ通知する制御を行う。より具体的には、制御部２３０は、判定部２２０から受信した判定情報に含まれる領域情報が、タッチ座標が外側領域に属することを示す場合は、その判定情報に含まれるタッチ座標を少なくとも含む情報を、第２処理決定部２３３へ通知する制御を行う。例えば制御部２３０は、判定部２２０から受信した判定情報をそのまま第３処理決定部２３３へ通知する制御を行ってもよい。この例では、制御部２３０による、タッチ座標を少なくとも含む情報を第２処理決定部２３３へ通知する制御が、「タッチ座標に基づく外側領域上の操作に応じた第２処理を実行するための制御」に相当する。

なお、図９の例に限らず、例えば第１処理決定部２３２および第２処理決定部２３３のうちの一方のみが制御装置３００に設けられ、他方は上述の第１実施形態と同様に制御部２３０内に設けられる形態であってもよい。

（第１実施形態の変形例２）
例えば制御部２３０は、内側領域に属するタッチ座標と、外側領域に属するタッチ座標とが両方存在する場合、内側領域に属するタッチ座標を棄却することもできるし、外側領域に属するタッチ座標を棄却することもできる。例えば制御部２３０は、判定部２２０から、タッチ座標が内側領域に属することを示す領域情報を含む判定情報と、タッチ座標が外側領域に属することを示す領域情報を含む判定情報とを同時に受信した場合、予め定められた条件に従って、何れか一方の判定情報を棄却することができる。例えば上記条件として、内側領域に属するタッチ座標と、外側領域に属するタッチ座標とが両方存在する場合は、内側領域に属するタッチ座標を棄却することが定められていれば、制御部２３０は、判定部２２０から同時に受信した判定情報のうち、タッチ座標が内側領域に属することを示す領域情報を含む判定情報を棄却する。一方、上記条件として、内側領域に属するタッチ座標と、外側領域に属するタッチ座標とが両方存在する場合は、外側領域に属するタッチ座標を棄却することが定められていれば、制御部２３０は、判定部２２０から同時に受信した判定情報のうち、タッチ座標が外側領域に属することを示す領域情報を含む判定情報を棄却する。

また、例えば制御部２３０は、内側領域に属するタッチ座標と、外側領域に属するタッチ座標とが両方存在する場合、内側領域および外側領域の両方に跨る操作に応じた第３処理を実行するための制御を行うこともできる。この場合、例えば制御部２３０は、内側領域および外側領域の各々に属する１以上のタッチ座標に基づいて操作を判定し、その判定した操作に応じた第３処理を決定する第３処理決定部を備える形態であってもよい。この形態においては、通知先切替部２３１は、判定部２２０から、タッチ座標が内側領域に属することを示す領域情報を含む判定情報と、タッチ座標が外側領域に属することを示す領域情報を含む判定情報とを同時に受信した場合、その同時に受信した２以上の判定情報の各々に含まれるタッチ座標を少なくとも含む情報を、第３処理決定部に通知することもできる。例えば通知先切替部２３１は、その同時に受信した２以上の判定情報をそのまま第３処理決定部に通知してもよい。

（第２実施形態）
次に、第２実施形態について説明する。本実施形態では、上述の第２処理は、投影像の形状を変更する処理を含む。投影像の形状を変更する処理の一例としては、投影像を拡大／縮小する処理、投影像を回転する処理、投影像を移動する処理などが挙げられる。そして、第２実施形態では、判定部２２０は、投影像の形状の変更に伴い、検出部２１０により検出されたタッチ座標が、内側領域に属するのか外側領域に属するのかを判定するための条件を変更する。以下、具体的な内容を説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。

図１０は、本実施形態の画像投影装置１の構成の一例を示す図である。第１実施形態でも説明したように、第２処理決定部２３３は、通知先切替部２３１から順次に供給されるタッチ座標（外側領域に属するタッチ座標）に基づいて、指示物体による操作を判定し、その判定した操作に応じた第２処理を決定する。この例では、第２処理決定部２３３は、図１１の（ａ）に示すようなピンチ操作に対応する第２処理として、２つのタッチ座標の間隔の増減を投影像の拡大率に変換する処理（投影像を拡大／縮小する処理）を決定する。また、第２処理決定部２３３は、図１１の（ｂ）に示すようなドラッグ操作に対応する第２処理として、タッチ座標の移動距離を投影像の回転角の増減量に変換する処理（投影像を回転する処理）を決定する。そして、第２処理決定部２３３は、判定部２２０に対して、投影像の形状の変更内容を特定可能な情報を通知する。この通知を受けた判定部２２０は、投影像の形状の変更に伴い、内外判定の条件を変更（更新）する。

例えば図１２に示すように、投影像を縮小した場合は、投影像の内外判定の境界も変化する。そのため、図１１の（ａ）に示すようなピンチ操作に対応する拡大／縮小の場合は、内外判定の範囲を、同様に拡大／縮小すればよい。また、例えば図１３に示すように、投影像を回転した場合も、投影像の内外判定の境界は変化する。そのため、図１１の（ｂ）に示すようなドラッグ操作に対応する回転の場合は、内外判定の範囲を、同様に回転すればよい。

また、この例では、第２処理を実行する第２処理部（例えば制御装置３００）は、第２処理として、投影像の形状を変更する処理を実行する場合、入力画像の形状を変更する（入力画像の画像情報は変更しない）制御を行うことで、投影像の形状を変更しているが、これに限られるものではない。例えば投影部４００のレンズユニット４０７が画角を変化させることが可能なズームレンズで構成されており、第２処理として、投影像を拡大／縮小する処理を実行する場合、第２処理部は、所望の拡大率が得られるようにレンズユニット４０７（ズームレンズ）を制御することもできる。

また、形状が変更された後の投影像が、任意の内部パラメータ（焦点距離や解像度などの情報から決定される内部パラメータ行列）および外部パラメータ（カメラやプロジェクタの姿勢により決定される外部パラメータ行列）を持つ仮想的な投影部（仮想プロジェクタ）からの投影像であると考え、前述の射影モデルを利用した座標変換により内外判定を行うと、計算が容易になる。例えば、縦方向および横方向のそれぞれの大きさ（サイズ）が半分になるように変形された投影像は、縦方向および横方向のそれぞれの画角が半分の仮想プロジェクタからの投影像であると考えることができる。同様に、４５°回転した投影像は、４５°回転した仮想プロジェクタからの投影像であると考えることができる。仮想プロジェクタの内部パラメータをＡ_ｐ’、外部パラメータをＲ_ｐ’およびＴ_ｐ’と表す。Ａ_ｐ’、Ｒ_ｐ’、Ｔ_ｐ’は、それぞれベクトルを示す。形状が変更された後の投影像への座標変換は以下の式８で表すことができる。

以上より、形状が変更された後の投影像の内外は以下の式９で判定できる。

（第３実施形態）
次に、第３実施形態について説明する。本実施形態では、判定部２２０は、過去のタッチ座標と、現在のタッチ座標との連続性に基づいて、現在のタッチ座標が内側領域に属するのか外側領域に属するのかを判定する。以下、具体的な内容を説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。

図１４は、本実施形態の画像投影装置１の構成の一例を示す図である。図１４に示すように、判定部２２０は、領域判定部２２１と、記憶部２２２とを備える。記憶部２２２は、過去のタッチ座標を記憶する。より具体的には、記憶部２２２は、過去の判定情報（タッチ座標と、当該タッチ座標が内側領域に属するのか外側領域に属するのかを示す領域情報とが紐付けられた情報）ごとに、時間情報（例えば検出部２１０からタッチ座標を受信した時刻を示す情報）を対応付けて記憶する。

領域判定部２２１は、記憶部２２２に記憶された過去のタッチ座標と、現在のタッチ座標（検出部２１０により検出された最新のタッチ座標）との連続性に基づいて、現在のタッチ座標が内側領域に属するのか外側領域に属するのかを判定する。より具体的には、領域判定部２２１は、現在のタッチ座標が検出された時点（最新のタッチ座標を検出部２１０から受信した時点）よりも所定時間だけ前に検出された過去のタッチ座標と、現在のタッチ座標との距離が閾値以下であれば、当該過去のタッチ座標と、現在のタッチ座標とは連続すると判定する。本実施形態では、領域判定部２２１は、検出部２１０から最新のタッチ座標を受信した場合、記憶部２２２を参照して、最新のタッチ座標を検出部２２０から受信した時点よりも所定時間だけ前の１以上の判定情報を特定する。そして、その特定した１以上の判定情報の中に、最新のタッチ座標との距離が閾値以下であるタッチ座標を含む判定情報が存在する場合は、その判定情報に含まれるタッチ座標（過去のタッチ座標）と、最新のタッチ座標（現在のタッチ座標）とは連続すると判定する。

領域判定部２２１は、過去のタッチ座標と、現在のタッチ座標とが連続すると判定した場合において、当該過去のタッチ座標が内側領域に属する場合は、現在のタッチ座標が外側領域に存在していても、現在のタッチ座標は内側領域に属すると判定し、現在のタッチ座標と、現在のタッチ座標が内側領域に属することを示す領域情報とを紐付けた判定情報を、記憶部２２２に格納するとともに制御部２３０へ供給する。これにより、例えば図１５に示すように、内側領域でのドラッグ操作に応じた第１処理（例えばアイコンを移動する処理）の実行中に、ドラッグ操作を行うユーザの手（指示物体）が外側領域に侵入しても、そのタッチ座標は内側領域に属すると判定されるので、ドラッグ操作を行うユーザの手が外側領域に侵入した途端に、外側領域でのドラッグ操作に応じた第２処理（例えば投影像を回転する処理）に切り替わることはなく、内側領域でのドラッグ操作に応じた第１処理を継続することができる。したがって、ユーザにとって予期せぬ動作が起こることを防止できる。

同様に、領域判定部２２１は、過去のタッチ座標と、現在のタッチ座標とが連続すると判定した場合において、当該過去のタッチ座標が外側領域に属する場合は、現在のタッチ座標が内側領域に存在していても、現在のタッチ座標は外側領域に属すると判定し、現在のタッチ座標と、現在のタッチ座標が外側領域に属することを示す領域情報とを紐付けた判定情報を、記憶部２２２に格納するとともに制御部２３０へ供給する。

また、この例では、記憶部２２２は、予め定められた期間にわたって、検出部２１０からタッチ座標を受信しない場合（つまり、予め定められた期間にわたってタッチ座標が検出されない場合）は、記憶部２２２に記憶している過去の判定情報を消去する。これにより、新たに検出されたタッチ座標に関しては、過去の判定情報を考慮することなく、内外判定が行われる。

以上、本発明の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

なお、以上の各実施形態および各変形例は、任意に組み合わせることが可能である。

１ 画像投影装置
１００ 取得部
２００ 情報処理装置
２１０ 検出部
２２０ 判定部
２３０ 制御部
２３１ 通知先切替部
２３２ 第１処理決定部
２３３ 第２処理決定部
３００ 制御装置
４００ 投影部

Claims (19)

1. 入力画像の情報を含む光が投影される投影面に対する指示物体による指示位置を検出する検出部と、
   前記指示位置が、前記投影面のうち、前記入力画像の情報を含む光が前記投影面に投影されることで形成される投影像の少なくとも一部を含む領域を示す第１領域に属する場合は、前記指示位置に基づく前記第１領域上の操作に応じた第１処理を実行するための制御を行い、前記指示位置が、前記投影面のうち、前記第１領域に比べて前記投影像を含む量が少ない領域を示す第２領域に属する場合は、前記指示位置に基づく前記第２領域上の操作に応じた第２処理を実行するための制御を行う制御部と、を備え、
   前記第１処理は、前記入力画像とは異なる画像の投影像を表示する処理であり、
   前記第２処理は、前記投影像の明るさを変化させる処理である、
   情報処理装置。
2. 前記第１領域は、前記投影像の内側の領域であり、
   前記第２領域は、前記投影面のうち前記投影像の外側の領域である、
   請求項１に記載の情報処理装置。
3. 前記制御部は、前記第１領域に属する前記指示位置に基づいて操作を判定し、その判定した操作に応じた前記第１処理を決定する第１処理決定部を備える、
   請求項１または２に記載の情報処理装置。
4. 前記第１処理決定部は、前記第１処理を実行する第１処理部に対して、決定した前記第１処理の実行を指示する、
   請求項３に記載の情報処理装置。
5. 前記制御部は、前記第２領域に属する前記指示位置に基づいて操作を判定し、その判定した操作に応じた前記第２処理を決定する第２処理決定部を備える、
   請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記第２処理決定部は、前記第２処理を実行する第２処理部に対して、決定した前記第２処理の実行を指示する、
   請求項５に記載の情報処理装置。
7. 前記制御部は、前記指示位置が前記第１領域に属する場合は、前記指示位置を少なくとも含む情報を、第１処理決定部へ通知する制御を行い、
   前記第１処理決定部は、前記第１領域に属する前記指示位置に基づいて操作を判定し、その判定した操作に応じた前記第１処理を決定する、
   請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記制御部は、前記指示位置が前記第２領域に属する場合は、前記指示位置を少なくとも含む情報を、第２処理決定部へ通知する制御を行い、
   前記第２処理決定部は、前記第２領域に属する前記指示位置に基づいて操作を判定し、その判定した操作に応じた前記第２処理を決定する、
   請求項１乃至６の何れか１項に記載の情報処理装置。
9. 前記制御部は、前記第１領域に属する前記指示位置と、前記第２領域に属する前記指示位置とが両方存在する場合、前記第１領域に属する前記指示位置を棄却する、
   請求項１に記載の情報処理装置。
10. 前記制御部は、前記第１領域に属する前記指示位置と、前記第２領域に属する前記指示位置とが両方存在する場合、前記第２領域に属する前記指示位置を棄却する、
    請求項１に記載の情報処理装置。
11. 前記制御部は、前記第１領域に属する前記指示位置と、前記第２領域に属する前記指示位置とが両方存在する場合、前記第１領域および前記第２領域の両方に跨る操作に応じた第３処理を実行するための制御を行う、
    請求項１に記載の情報処理装置。
12. 前記第２処理は、前記投影像の形状を変更する処理を含む、
    請求項１に記載の情報処理装置。
13. 前記指示位置が前記第１領域に属するのか前記第２領域に属するのかを判定する判定部をさらに備え、
    前記判定部は、前記投影像の形状の変更に伴い、前記指示位置が、前記第１領域に属するのか前記第２領域に属するのかを判定するための条件を変更する、
    請求項１２に記載の情報処理装置。
14. 前記指示位置が前記第１領域に属するのか前記第２領域に属するのかを判定する判定部をさらに備え、
    前記判定部は、過去の前記指示位置と、現在の前記指示位置との連続性に基づいて、現在の前記指示位置が前記第１領域に属するのか前記第２領域に属するのかを判定する、
    請求項１に記載の情報処理装置。
15. 前記判定部は、現在の前記指示位置が検出された時点よりも所定時間だけ前に検出された過去の前記指示位置と、現在の前記指示位置との距離が閾値以下であれば、当該過去の前記指示位置と、現在の前記指示位置とは連続すると判定する、
    請求項１４に記載の情報処理装置。
16. 前記判定部は、過去の前記指示位置と、現在の前記指示位置とが連続すると判定した場合において、当該過去の前記指示位置が前記第１領域に属する場合は、現在の前記指示位置が前記第２領域に存在していても、現在の前記指示位置は前記第１領域に属すると判定する、
    請求項１５に記載の情報処理装置。
17. 前記判定部は、過去の前記指示位置と、現在の前記指示位置とが連続すると判定した場合において、当該過去の前記指示位置が前記第２領域に属する場合は、現在の前記指示位置が前記第１領域に存在していても、現在の前記指示位置は前記第２領域に属すると判定する、
    請求項１５に記載の情報処理装置。
18. 請求項１乃至１７に記載の情報処理装置と、前記入力画像の情報を含む光を前記投影面に投影する投影部とを備える、
    画像投影装置。
19. 入力画像の情報を含む光が投影される投影面に対する指示物体による指示位置を検出する検出ステップと、
    前記指示位置が、前記投影面のうち、前記入力画像の情報を含む光が前記投影面に投影されることで形成される投影像の少なくとも一部を含む領域を示す第１領域に属する場合は、前記指示位置に基づく前記第１領域上の操作に応じた第１処理を実行するための制御を行い、前記指示位置が、前記投影面のうち、前記第１領域に比べて前記投影像を含む量が少ない領域を示す第２領域に属する場合は、前記指示位置に基づく前記第２領域上の操作に応じた第２処理を実行するための制御を行う制御ステップと、を含み、
    前記第１処理は、前記入力画像とは異なる画像の投影像を表示する処理であり、
    前記第２処理は、前記投影像の明るさを変化させる処理である、
    情報処理方法。

Images