JP6314177B2 - 投射型映像表示装置 - Google Patents

Description

本発明は，画像を投射する投射型映像表示装置に関するものである。

投射型表示装置が机のような水平面に映像を投射する際に，表示向きをユーザにとって見やすい向きに制御する技術が考案されている。

特許文献１では，投射物上方に設置される投射型表示装置が撮像部を備えて，操作者の動きを撮影するユーザーインターフェース画像を入手し，その動き検出の結果によって表示画面を制御する技術について述べている。

また，特許文献２では投射物上方に設置される表示装置が，ユーザの位置や動作，投射物の形状を認識し，それに応じて表示位置や表示向き等を制御する方法について述べている。

特開２００９−６４１０９号公報 特開２０１３−７６９２４号公報

特許文献１および２の技術は投射物上方に設置された表示装置から，机のような移動が容易な投射物に映像を表示することを意図しており，投射物の移動に応じて表示装置の移動を要するなど，使い勝手に課題がある。

また，ユーザの位置や動作等を認識するためには，上方に設置した表示装置の撮像部からでは，動作認識を行うための撮影すべきポイントが遠い，撮影すべきポイントがユーザの体の一部に遮蔽され撮影が困難になる，などにより認識の精度に課題がある。

また，ユーザの位置や動作等を認識したうえで，これを利用して如何に表示装置の使い勝手をよくするかについては、さらに工夫の余地があると考えられる。

前記した課題を解決するため、本発明は投射型映像表示装置であって、映像を投射する映像投射部と、前記映像投射部が投射する映像投射面と少なくとも一部が重なる面に前記投射映像とは異なる照明光を照射する少なくとも１つの照明部と、前記照明光の反射光により撮像を行う撮像部と、前記撮像部が撮像した画像に基づいて操作者の指が前記映像投射面に接する少なくとも位置を検出する検出部と、前記検出部による検出結果に基づいて前記映像投射部が投射する映像の含む少なくとも一つの部分映像を変更するよう制御する表示制御部とを有することを特徴としている。

また、前記投射型映像表示装置は、前記映像投射面での面上に設置されて前記映像を投射することを特徴としている。

本発明によれば、使い勝手のよい投射型映像表示装置を提供することができ、装置の普及に寄与することができるという効果がある。

机上に設置した投射型表示装置で机上に映像を投射する例を示す図。 ジェスチャ入力で表示画面を制御する操作検出機能付投射型表示装置の構成の一例を示す図。 操作検出機能付投射型表示装置の表示画面に対してユーザが操作を行う状態の一例を示す図。 ２つの照明で生じるユーザの指の影の形状を示す図。 ２つの照明で生じるユーザの指の影の形状を示す図。 ユーザの操作位置による影の形状を示す図。 指と操作面の間隙と影の形状との関係を示す図。 特徴点による接近度の判定を説明する図。 特徴点による接触点の決定を説明する図。 特徴点を他の位置に設定した場合を示す図。 複数の指で操作する場合の影の形状を示す図。 輪郭線による指さし方向の決定を説明する図。 輪郭線による指さし方向の決定を説明する図。 輪郭線による指さし方向の決定を説明する図。 操作検出方法の処理フローを示す図。 操作検出方法の処理フローを示す図。 指の接近度に応じた制御の一例を示す図。 指さし方向に応じた制御の一例を示す図。 指さし方向に応じた制御の一例を示す図。 指さし方向に応じた制御の一例を示す図。 長方形の机に近接してユーザが存在することを示す図。 ユーザ位置と長方形机の縁の形状から決定した表示方向を示す図。 円状の机に近接してユーザが存在することを示す図。 ユーザ位置と円形机の縁の形状から決定した表示方向を示す図。 長方形机に近接する複数の人を検出して表示位置と表示方向を決定する一例を示す図。 円形机に近接する複数の人を検出して表示位置と表示方向を決定する一例を示す図。 指操作による平行移動の一例を示す図。 指操作による平行移動の一例を示す図。 指操作による回転移動の一例を示す図。 指操作による回転移動の一例を示す図。 指操作による表示画面数を増加させる操作の一例を示す図。 指操作による表示画面数を増加させる操作の一例を示す図。 指操作による表示画面を拡大させる操作の一例を示す図。 指操作による表示画面を拡大させる操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 複数指操作の一例を示す図。 可視外光が異常に遮断された時の動作の一例を示すフローチャート図。 操作ガイド表示の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。 メニューまたは詳細情報表示操作の一例を示す図。

以下、本発明の実施形態について図面を用いて説明する。

図１は，机上に設置した投射型表示装置２０１で，異なる方向を見る複数のユーザに対して回転角度の異なる２つの映像２０２，２０３を机上に投射する例を示している。なお、以下の説明で「机」への映像投射を例として説明しているが、当該「机」は、映像投射面の一例である。よって、本実施例は、その他の映像投射面（その他の構造物の面や床でもよい）を対象としてもよい。投射型表示装置２０１を机上に設置することにより，机を移動した際の投射型表示装置２０１の位置の調整を基本的には不要としている。

図１においては，投射型表示装置２０５が画像を光学的に投射できる最大の範囲２１０を破線で示している。最大投射範囲２１０は、以下の図面でも示されることがある。最大投射範囲２１０の中に投射型表示装置２０５は，一例として二つの表示画面２０２と２０３を投射している。表示画面２０２と２０３は、後記するＯＳＤ（オンスクリーンディスプレイ）の画面に相当する。即ち、表示画面２０２，２０３に表示される画像は最大投射範囲２１０の中の部分画像である。

例えば、机の周囲にいる人に対して，装置の設計図を最大投射範囲２１０の全体に表示し，表示画面２０２，２０３に設計図の解説資料を表示するような使い方が考えられる。

図２に，このようなケースにおいて，ユーザがジェスチャ入力で表示画面を制御する操作検出機能付投射型表示装置２０５の構成図の一例を示す。操作検出機能付投射型表示装置２０５は，カメラ１００，２つの照明１０１と１０２，影領域抽出部１０４，特徴点検出部１０５，接近度検出部１０６，接触点検出部１０７，輪郭検出部１０８，方向検出部１０９，制御部１１０，表示制御部１１１，駆動回路部１１２，入力端子部１１３，入力信号処理部１１４，投射部１１５を含む。制御部１１０は，各検出部で検出した操作面に対する指の接近度，接触点座標，指さし方向などの操作状態の検出結果データを生成する。

また表示制御部１１１は，検出結果に基づき操作モード，ポインタ表示位置，ポインタ表示方向などの表示制御データを生成し，入力端子１１３および入力信号処理部１１４を経由する映像信号に対して，表示制御データに基づいた処理を行う。処理された映像信号は駆動回路部１１２で投射に必要な処理がなされ，投射部１１５から投射物に対して投射される。なお、図２にはバッファやメモリ等の記載は省略しているが、必要なバッファやメモリ等は適宜搭載すればよい。

図３は，操作検出機能付投射型表示装置２０５の表示画面２０３に対してユーザ３が操作を行う状態の一例を示す図である。ユーザ３は操作部である指３０を，投射物２０４の表示画面２０３に接近させ，またある位置に接触させることで所望の操作を行う。即ち、例えば机面である投射物２０４の内，表示画面２０３はユーザ３が投射型表示装置２０５に対して操作を行うための操作面でもある。ユーザ３による操作については，後に詳しく述べる。

操作検出機能付投射型表示装置２０５は，２つの照明１０１と１０２，カメラ１００を備える。２つの照明１０１と１０２はユーザ３の指３０を照射し，カメラ１００は指３０とその近傍を撮像する。指３０が投射物２０４に接近または接触すると指３０の影の形状が変化することから，投射型表示装置２０５はカメラ１００の画像を解析し，指の接近度，接触点，指さし方向を検出する。

なお，操作検出機能付投射型表示装置２０５を机上に設置することにより，照明１０１と１０２が指３０を照射する際に，光が遮蔽される機会を低減することができる。

次に，図２に示した操作検出機能付投射型表示装置２０５の各部の動作の一例を説明する。カメラ１００は，イメージセンサ，レンズなどで構成され，ユーザ３の操作部である指３０を含む画像を撮像する。２つの照明１０１と１０２は，発光ダイオード，回路基板，レンズなどで構成され，投射物２０４およびユーザ３の指３０に照明光を照射して，カメラ１００で撮像する画像内に指３０の影を投影する。

なお，照明１０１と１０２は赤外光照明とし，カメラ１００は赤外光カメラで構成しても良い。これにより，カメラ１００で撮像する赤外光画像を，操作検出機能付投射型表示装置２０５から投写される映像信号の映像である可視光映像から分離して取得することができる。なお、照明光・撮像光は、投射型表示装置２０５の投写映像と分離できる可視光外光線であればよいので、赤外光でなく、紫外光を用いてもよい。

影領域抽出部１０４は，カメラ１００で得られた画像から影領域を抽出し影画像を生成する。例えば，操作検出時の撮像画像から予め撮像した投射物２０４の背景画像を減算して差分画像を生成し，差分画像の輝度を所定の閾値Ｌｔｈで二値化して，閾値以下の領域を影領域とすれば良い。さらに，抽出した影に対して互いに連結していない影の領域をそれぞれ別の影として区別する，いわゆるラベリング処理を行う。ラべリング処理により，抽出した複数の影についてどの指に対応するか，すなわち１本の指に対応する対となる２つの影を識別することができる。

特徴点検出部１０５は，影領域抽出部１０４で抽出した影画像内の特定の位置（以下，特徴点と呼ぶ）を検出する。例えば特徴点として，影画像内の先端位置（指先位置に対応）を検出する。特徴点検出のためには種々の手法が用いられるが，先端位置の場合はその影画像を構成する画素の座標データから検出可能であり，あるいは特徴点の持つ特有の形状に一致する部分を画像認識などにより検出することでも可能である。特徴点は１つの影から１箇所検出されるので，１本の指（２つの影）に対しては２か所検出される。

接近度検出部１０６は，特徴点検出部１０５で検出した２つの特徴点間の距離ｄを測定し，距離ｄに基づいて指と操作面との間隙ｓ（接近度Ａ）を検出する。これにより，指が操作面に接触しているか，接触していないかを判定する。

接触点検出部１０７は，接近度検出部１０６により指が操作面に接触していると判定した場合，その特徴点の位置に基づいて，操作面に対する指の接触点を検出し，その座標を算出する。

輪郭検出部１０８は，影領域抽出部１０４で抽出した影画像から影領域の輪郭を抽出する。例えば，影画像内を一定の方向に走査して輪郭追跡の開始画素を決定し，開始画素の近傍画素を反時計回りで追跡することで輪郭が得られる。

方向検出部１０９は，輪郭検出部１０８で検出した輪郭線からほぼ直線状の線分を抽出する。そして，抽出した輪郭線の方向に基づいて，操作面上の指の指さし方向を検出する。

なお，上記した各検出部の処理は，上記手法に限らず，他の画像処理のアルゴリズムを用いても良い。また，上記した各検出部は，回路基板によるハードウェアだけでなく，ソフトウェアで構成することもできる。

制御部１１０は，装置全体の動作を制御し，各検出部で検出した操作面に対する指の接近度，接触点座標，指さし方向などの検出結果データを生成する。

表示制御部１１１は，制御部１１０で生成した指の接近度，接触点座標，指さし方向などの検出結果データに基づいて，操作モード，ポインタ位置，ポインタ方向などの表示制御データを生成し，入力端子１１３および入力信号処理部１１４を経由する映像信号に対して，表示制御データに基づいた処理を行う。

駆動回路部１１２は，処理された映像信号を表示映像として投射するための処理を行う。表示画像は投射部１１５から投射物に対して投射される。

ここまでの各部は一つの操作検出機能付投射型表示装置２０５に装備されている例として説明したが，これらの一部が別ユニットとして構成され，伝送線で接続される構成であっても構わない。

図４Ａと図４Ｂは，２つの照明で生じるユーザの指の影の形状を示す図である。図４Ａは指３０と投射物２０４が接触していない状態，図４Ｂは接触している状態である。

図４Ａに示すように指３０が投射物２０４に接触していない状態（間隙ｓ）では，２つの照明１０１，１０２からの光は指３０で遮断され，それぞれ影４０１，４０２（斜線で示す）が形成される。カメラ画像では，２つの影４０１，４０２は指３０の両側に互いに離れて存在する。

一方、図４Ｂに示すように指３０の指先が投射物２０４に接触している状態（間隙ｓ＝０）では，２つの影４０１，４０２は，指３０の指先の位置で接近して存在する。なお，影４０１，４０２の一部領域は指３０の陰に隠れているが，この隠れた部分は影領域には含めない。本実施例では，指３０が投射物２０４に接近すると影４０１と影４０２と間隔（特に特徴点間の距離）が接近する性質を利用して，指３０と操作面２０４との接触を判定する。

図５は，ユーザの操作位置による影の形状の影響を示す図である。ここでは，ユーザの操作位置が投射物２０４の中央から左側にずれた場合（ユーザ位置３）と，右側にずれた場合（ユーザ位置３’）のカメラ画像を比較している。このときカメラ１００から見たユーザの操作位置は変化するが，それらのカメラ画像では，指３０（３０’）に対する影４０１（４０１’），４０２（４０２’）の位置関係は変わらない。すなわち，ユーザ操作位置に関係なく，常に指３０（３０’）の両側に影４０１（４０１’）と４０２（４０２’）が存在する。これは，カメラ１００と照明１０１，１０２の位置関係により一義的に決定されるからである。従って，ユーザが投射物２０４に対してどの位置で操作しても２つの影４０１，４０２の検出が可能であり，本実施例の操作検出方法が有効に適用できる。

図６は，指と操作面の間隙と影の形状との関係を示す図である。指３０の両側に形成される２つの影４０１，４０２の間隔は，指３０と投射物２０４との間隙ｓによって変化する。２つの影４０１，４０２の間隔を定義するために，それぞれの影４０１，４０２の内部に特徴点６０１，６０２（×印で示す）を設定し，特徴点間の距離ｄを測定する。ここでは影の先端位置（指先位置）に特徴点を設定している。指３０と投射物２０４の間隙ｓが大きい場合には，２つの影４０１，４０２の間隔は大きく，２つの特徴点６０１，６０２の距離ｄも大きい。指３０が投射物２０４に接近するに従い，特徴点６０１，６０２の距離ｄは小さくなり，指３０が投射物２０４に接触すると（間隙ｓ＝０），特徴点６０１，６０２の距離ｄは最小値となる。

図７は，接近度検出部１０６における接近度の判定を説明する図である。ここでは，特徴点間の距離ｄに基づき指の接近度Ａの判定を行う。指の接近度Ａを判定するために，特徴点間の距離ｄに対する４個の閾値ｄ１，ｄ２，ｄ３，ｄ４（ただし，ｄ１＜ｄ２＜ｄ３＜ｄ４）を定める。これにより接近度Ａを５段階（レベル１〜５）に分類し，レベル値が大きいほど，指３０と投射物２０４との間隙ｓが小さいものとする。まず，指３０が投射物２０４に接触した状態（間隙ｓ＝０）を識別するための閾値ｄ１を定め，距離ｄ＜ｄ１の場合には，接近度Ａは最大レベル５（接触状態）であると判定する。それ以外の非接触状態については，閾値ｄ２〜ｄ４を用いて接近度Ａを４段階（レベル４〜１）に分類する。このうちｄ＞ｄ４の場合は，接近度Ａは最小レベル１であると判定する。この例では４個の閾値により接近度を５段階に分類したが，接近度の分類数はこれに限らず，制御内容に合わせて適宜設定すれば良い。

図８は，接触点検出部１０７における接触点の決定を説明する図である。指３０が投射物２０４に接触した状態での影４０１，４０２の形状を示し，ここでは特徴点６０１，６０２を，それぞれの影４０１，４０２の先端位置に設定している。この場合は，２つの特徴点６０１，６０２は接触点である指先位置に近いことから，２つの特徴点６０１，６０２の中点Ｐを指３０と投射物２０４との接触点と見なし，その座標を算出することができる。

上記の例では，特徴点６０１，６０２を，それぞれの影４０１，４０２の先端位置に設定しているが，この方法によれば特徴点の設定が容易であり，また，接触点Ｐの位置もその近傍に存在するので容易に決定できる。

図９は，特徴点を他の位置に設定した場合を示す図である。図８では特徴点６０１，６０２を影４０１，４０２の先端位置に設定したのに対し，図９では各影の長手方向中間位置に特徴点６０１’，６０２’を設定している。この場合にも，影４０１，４０２の間隔の変化に伴い特徴点６０１’，６０２’間の距離ｄ’が変化するので，指３０と投射物２０４の接近度Ａの判定を行うことができる。なお，この場合の接触点Ｐ’は特徴点６０１’，６０２’の位置から長手方向にずれることになるので，特徴点６０１’，６０２’から予想される接触点Ｐ’までの距離（補正量）を予め求めておき，これで補正することで接触点Ｐ’を求めることが可能である。同様にして，特徴点を影４０１，４０２内のこれ以外の位置に設定することもできる。

図１０は，複数の指で操作する場合の影の形状を示す図である。手を開いた状態で複数の指３１，３２・・・を操作面に接触させた際に，各指に対し，左側の影４１１，４２１・・・と，右側の影４１２，４２２・・・が形成される。そして，各影に対して特徴点を設定する。ここでは，影４１１，４１２に対する特徴点６１１，６１２と，影４２１，４２２に対する特徴点６２１，６２２を示す。対応する特徴点６１１，６１２，あるいは特徴点６２１，６２２間の距離ｄを測定することで，それぞれの指３１，３２の接近度や接触点を求めることができる。これより本実施例によれば，手を開いた状態でも複数の指についての接触を独立して検出できるので，マルチタッチ操作に適用可能となる。

図１１Ａ〜図１１Ｃは，方向検出部１０９における指さし方向の決定を説明する図である。指３０の方向（指さし方向）を傾けたときの影４０１，４０２の形状を示し，指さし方向の変化に伴って影４０１，４０２の向きも変化する。指さし方向を検出するために，まず輪郭検出部１０８にて影４０１，４０２に対する輪郭線５０１，５０２を検出する。なお，輪郭線の検出では，指先などの曲線部分を除去して，略直線状の線分からなる輪郭線を検出する。その後，方向検出部１０９は次の方法で指さし方向を決定する。

図１１Ａでは，影４０１，４０２に対する内側の輪郭線５０１，５０２を使用する。そして，内側の輪郭線５０１，５０２の傾き方向７０１，７０２のいずれかを指さし方向として決定する。

図１１Ｂでは，影４０１，４０２に対する外側の輪郭線５０１’，５０２’を使用する。そして，外側の輪郭線５０１’，５０２’の傾き方向７０１’，７０２’のいずれかを指さし方向として決定する。

図１１Ｃでは，影４０１，４０２に対する内側の輪郭線５０１，５０２を使用する。そして，内側の輪郭線５０１，５０２の中線の傾き方向７０３を指さし方向として決定する。この場合には２つの輪郭線５０１，５０２の平均方向から求めるので，より精度が高くなる。なお，外側の輪郭線５０１’，５０２’の中線方向を指さし方向としても良い。

図１２Ａと図１２Ｂは，実施例１における操作検出方法の処理フローを示す図である。図１２Ａは接近度と接触点の検出，図１２Ｂは指さし方向の検出のフローである。

まず，図１１Ａの接近度と接触点の検出方法から説明する。

Ｓ１００１では，影領域抽出部１０４は，カメラ１００で撮像した画像から背景を減算して差分画像を求め，輝度が閾値Ｌｔｈ以下の部分を影領域として抽出する。その際，抽出した影に対して互いに連結していない影の領域をそれぞれ別の影として区別する，いわゆるラベリング処理を行う。

Ｓ１００２では，特徴点検出部１０５は，ラベリング処理した各影に対して特徴点を検出する。例えば図６のように，各影４０１，４０２の先端位置を特徴点６０１，６０２として検出する。

Ｓ１００３では，検出した２つの特徴点６０１，６０２間の距離ｄを測定する。

Ｓ１００４では，接近度検出部１０６は，距離ｄに基づいて指３０と投射物２０４の接近度Ａを判定する。判定では，例えば図７を用いて距離ｄを閾値ｄ１〜ｄ４と比較し，接近度Ａをレベル１〜５に分類する。そしてｄ＜ｄ１の場合は，接近度Ａ＝５（接触状態）と判定する。

Ｓ１００５では，判定した接近度Ａは接触時のレベル（＝５）か否かを判定する。判定結果が接近度Ａ＝５であればＳ１００６へ進み，それ以外（非接触状態）の場合は終了する。

Ｓ１００６では，接触点検出部１０７は，指３０と投射物２０４の接触点を検出する。例えば図８のように，２つの特徴点６０１，６０２の中点Ｐを接触点とし，その座標を算出する。特徴点の設定方法が上記（先端位置）と異なる場合は，その設定方法に応じて接触点位置を補正すれば良い。

なお，操作状態においては以上の処理フローを繰り返して実行し，操作状態の変化に追従した操作検出を行うものとする。

次に，図１２Ｂの指さし方向の検出方法を説明する。

Ｓ１０１１では，影領域抽出部１０４は，カメラ１００で撮像した画像から背景を減算して差分画像を求め，輝度が閾値Ｌｔｈ以下の部分を影領域として抽出する。これは前記Ｓ１００１と同様である。

Ｓ１０１２では，輪郭検出部１０８は，ラベリング処理した各影に対して輪郭線（略直線部）を検出する。例えば図１１Ｃのように，影４０１，４０２の内側の輪郭線５０１，５０２を検出する。その際，これらの輪郭線のうち指先などの曲線部分を除去して，略直線状の線分を検出する。

Ｓ１０１３では，方向検出部１０９は，各輪郭線５０１，５０２の中線の傾き方向７０３を指さし方向と判定する。なお，指さし方向の判定は，図１１Ａ或いは図１１Ｂに示す方法でも良い。

なお，操作状態においては以上の処理フローを繰り返して実行し，操作状態の変化に追従した操作検出を行うものとする。

また，図１２Ａの接近度と接触点の検出処理と図１２Ｂの指さし方向検出処理は，並行して行うことができる。

図１３は，表示制御部１２１における指の接近度に応じた制御の一例を示す図である。

指３０と投射物２０４との接近度Ａに応じて，操作モードとポインタ表示の切り替えを示している。

操作モードに関しては，接近度Ａが最も高いレベル５（接触状態）では接触操作モードとする。それ以外の非接触状態で接近度Ａが比較的高いレベル４，３では空中操作モードに，接近度Ａが比較的低いレベル２，１では操作オフモードに切り替える。このような制御により，ユーザ３は指３０を投射物２０４に接触させた状態に加え，投射物２０４から浮かせた状態においても操作対象装置の操作が可能となる。また，指３０が投射物２０４から一定距離以上離れている場合には，操作オフモードに切り替わり，ユーザの意図しない操作を防ぐことができる。

またポインタ表示に関しては，接近度Ａが比較的高いレベル５，４ではポインタを表示し，接近度Ａが比較的低い３，２，１ではポインタを表示しないように切り替える。このような制御により，ユーザ３は指３０が投射物２０４に接触する前の段階でポインタを確認することができ，接触時のポインタの位置を合わせ易くなる。以上の制御により，操作対象装置への操作性が向上する。

図１４Ａ〜図１４Ｃは，表示制御部１２１における指さし方向に応じた制御の一例を示す図である。

図１４Ａは，指さし方向７００に応じてポインタ８００の表示位置を補正する場合である。ポインタ８００を表示する際，接触点検出部１０７において検出した接触点Ｐと全く同じ位置に表示すると，ポインタ８００が指３０に隠れてユーザ３から見えにくくなる。そこで，方向検出部１０９で検出した指さし方向７００に沿ってポインタ８００を指先前方に所定量だけずらして表示する。これによりポインタ８００はユーザ３から見やすくなる。

また，上記に加えて，指３０の接近度Ａに応じてポインタ８００の表示位置のずらし量（補正量）を変更しても良い。例えば接近度Ａが低いときには補正量を大きくし，接近度Ａが高いときには補正量を小さくする。これにより，ユーザ３の指３０が投射物２０４に近づくに従ってポインタ８００の位置が指先に近づき，ユーザ３はポインタ８００の表示位置を目安にすることで精度の良い操作ができるようになる。

図１４Ｂは，指さし方向７００に応じてポインタ８００の表示方向を補正する場合である。矢印形状のポインタ８００を表示する際，例えば図１４Ａのように指さし方向７００と無関係に常に一定の方向に表示すると，ポインタ８００の表示方向が指さし方向７００と一致せずユーザ３に対し違和感を与えることがある。そこで，方向検出部１０９において検出した指さし方向７００にポインタ８００の表示方向を合わせて表示する。これにより指さし方向７００との不一致がなくなり，ユーザ３に対する違和感を解消できる。

図１４Ｃは，指さし方向７００に応じて接触点の位置を補正する場合である。接触点検出部１０７において検出される接触点Ｐは特徴点の位置から決定されるので，実際に投射物２０４と接触する位置からずれることがある。例えば，特徴点を影の先端位置とする場合，実際の接触位置（指の腹の部分となることが多い）よりも指の先端側（爪先）の位置にずれてしまう。そこで，方向検出部１０９において検出した指さし方向７００に沿って，指の付け根側に接触点位置を所定量だけ補正する（Ｐ→Ｐ”）。これにより，指３０と投射物２０４の接触点をより正確に取得することができる。

以上が，操作検出機能付投射型表示装置２０５における指さし検出等によるユーザ３の操作内容の検出方法である。以上説明した方式による指さしジェスチャによる接触点および指さし方向の検出方式では、指を含む細長い物体があれば操作が可能である。これは、ペン先から所定の光を発光して認識処理を行う発光ペン方式に比べて、専用の発光ペン等を確保しておく必要がない点で大幅に使い勝手がよい。

続いて，ユーザ３がこれまで説明したような指さし等の操作によって実現する画面操作について説明する。

操作前の表示画面数，表示の向き，表示の位置，表示の大きさ等は以下に示す例などの方法で決定される。

例えば，操作検出機能付投射型表示装置２０５にディフォルトで設定された表示画面の設定でも良い。

また，ユーザが条件設定して表示画面数，表示の向き，表示の大きさ等を手動決定しても良い。

また，前述の指さし検出等により，指や腕が差し出される方向を推定して人の存在する位置を特定し，或いは差し出される指や腕の数からユーザの人数を特定するなどにより，視認しやすい表示向きや表示画面数を設定するようにしても良い。

また，ユーザの人数や位置，投射物の形状等を認識し，それに応じて表示画面数，表示位置，表示向き，表示の大きさ等を決定しても良い。このようなユーザの人数や位置，投射物の形状等の認識において，机上に設置される投射型表示装置は，認識物との距離が近いことや，認識物との間を障害物によって遮蔽される頻度が少ないことなどから，有利である。

図１５〜１８に投射物の形状等を認識して，表示画面の表示向きを決定する方法の例を示す。図１５および１６は長方形状の机に投射する場合の例である。図１５のようにユーザ３が長方形状の机である投射物２０４付近にいることが操作検出機能付投射型表示装置２０５のカメラ１００で撮影され，認識される。さらにユーザ３と机の縁との最接近部３０２の机の縁の位置が認識される。この３０２の位置の縁の方向と表示映像の底辺が平行，かつ３０２の位置が下側となる向き，すなわち図１６の表示映像２０２のように表示される向きに表示方向を決定する。

図１７および１８は円形の机に投射する場合の例である。図１７のようにユーザ３が円形の机である投射物２０４付近にいることが操作検出機能付投射型表示装置２０５のカメラ１００で撮影され，認識される。さらにユーザ３と机の縁との最接近部３０３の机の縁の位置が認識される。この３０３の位置の縁の方向と表示映像の底辺が平行，かつ３０３の位置が下側となる向き，すなわち図１８の表示映像２０２のように表示される向きに表示方向を決定する。

なお，この図１５〜１８の説明で，ユーザ３の位置や，投射物の形状の撮影をカメラ１００で行う例を示したが，カメラ１００は基本的に指さし検出等によるユーザ３の操作を撮影するためのものであるので，ユーザ３の位置や，投射物の形状を撮影するための別のカメラを備えてもよい。

図３に示したように複数の映像を表示する場合には，複数の人の位置に対して同様の作業を行い，それぞれ表示する向きを決定するようにすればよい。図１９と２０に複数の表示映像を表示する場合の例を示す。いずれも複数の人とその位置を検出し，その位置から最も接近した机の縁の位置と形状から表示位置と表示方向を決定している。

このようにユーザ３に最も近い机の縁の形状から自動的に表示方向を決めることが可能となる。

これらの方法により決定された表示画面を，ユーザ３のジェスチャによる画面操作で動作させる場合の例を図２１Ａ〜図２４Ｂに示す。各図に示された指先は，投射物２０４に接触しているものとする。例えば図２１Ａが操作前，図２１Ｂが操作後の状態を示す。図２２Ａ〜図２４Ｂも同様である。

図２１Ａ以下の図面の多くにおいては図１と同様に，投射型表示装置２０５が画像を光学的に投射できる最大の範囲２１０を破線で示している。前記したように，表示画面２０２と２０３はＯＳＤのように最大投射範囲２１０の表示範囲内に表示される。即ち、表示画面２０２，２０３は投射可能範囲２１０における部分画像である。

図２１Ａと図２１Ｂは平行移動の例である。図２１Ａで表示画面２０３に接触させた指を，向きを変えずに上下方向，左右方向，ななめ方向いずれかに移動させる。すると，図２１Ｂのように表示画面のうち指が接触している表示画面のみが指の動きと同じだけ移動する。これによりユーザが望む位置に表示画面の一つを移動させることが可能になる。

図２２Ａと図２２Ｂは回転移動の例である。図２２Ａで表示画面２０３に接触させた指を回転させる。すると，図２２Ｂのように表示画面のうち指が接触している表示画面のみが指の動きに合わせて表示向きを回転させる。これによりユーザの所望の向きに表示画面の一つを回転させることが可能になる。

本実施例の構成では、指さし方向を検出することができる。よって、図２２Ｂで示すように、接触点の位置自体は変化させずに、指の方向を回転させた場合でも表示画面の回転操作を実現できる。これは、タブレット端末等のタッチセンサでは実現が困難な回転操作であり、本実施例の構成によって初めて実現が可能となる。

また、表示画面の回転操作の際に、投射型表示装置２０５の光学的な投射可能範囲の形状と、回転対象となる表示画面の位置、形状の関係から、回転前の表示画面の大きさのまま回転することができない場合がある。この場合には、回転動作の最中に並行して表示画面の縮小処理を行えばよい。一方の方向に回転する際に表示画面の縮小処理が必要な場合、途中まで回転させて表示画面を縮小した後、逆方向に回転してもとの角度に戻す際には、拡大処理を行ってもとの大きさに戻してもよい。

図２３Ａと図２３Ｂは表示画面数を増加させる操作の例である。図２３Ａで表示画面２００の外側に接触させた指を，対辺の外側に向かって動かすことで表示画面を半分に切るような動きをする。すると，図２３Ｂのように表示画面は半分に切られたところから細胞分裂のように、表示画面２００で表示されていた内容と同じ内容を表示する画面を２つ作成する（表示画面２０２、２０３）。これによりユーザの所望するように表示画面数を増やすことが可能になる。

図２４Ａと図２４Ｂは表示画面を拡大させる操作の例である。図２４Ａで表示画面２０２に接触させた２本の指を，長方形の向かい合う頂点上に置いたかのように位置させ，図２４Ｂでその向かい合う頂点同士を結ぶ対角線を押し広げるように２本の指間の距離を広げる。すると，操作された表示画面２０２のみが押し広げた分だけ画面を拡大させる。逆方向に動かせば，画面を縮小してこれまで表示画面２０２の外に外れていた領域を表示させるような操作も可能である。これによりユーザの所望するように表示画面の拡大縮小が可能になる。

次に、複数の指を用いた表示画面操作の例を、図２５Ａから図２８Ｂを用いて説明する。

図２５Ａと図２５Ｂは、２本の指の操作により、表示画面２０３を回転させる例である。図２５Ａに示すように、２本の指の両方が、表示画面２０３内で机に接触している場合に、図２５Ｂに示すように２本の指の接触点を結ぶ直線の傾きが変わるように２本の指が動いたことを検出すると、操作検出機能付投射型表示装置２０５は、当該傾きの変化に対応するように表示画面２０３の表示角度を変更する。これにより、表示画面の回転処理が可能となる。

これに対し、図２６Ａに示すように２本の指の両方が机に接している場合であっても、２本の指の接触点の両方がひとつの表示画面内にない場合（例えば、一方の指の接触点のみが表示画面２０３内にあり、他方の指の接触点は表示画面２０３外にある場合など）は、図２６Ｂに示すように２本の指の接触点を結ぶ直線の傾きが変わるように２本の指が動いたとしても、表示画面２０３の表示角度の変更を行わないようにしてもよい。

カメラ１００で検出された複数の指のうち、机に接触した時間差が所定の時間内である２本の指を、図２５Ａ〜図２６Ｂで説明した処理で対象とする指の組み合わせとして、制御部１１０が判断しても良い。例えば、カメラ１００で検出された複数の指のうち、机に接触した時間差が１秒以内である２本の指を制御部１１０が検出し、当該２本の指の組み合わせを図２５Ａ〜図２６Ｂで説明した処理で対象とする指の組み合わせであると判断すればよい。

なお、上述のこれら２本の指の接触位置と、表示画面２０３の範囲についての判断処理で用いる、これら２本の指の接触位置はこれら２本の指が空中から机に接触した最初の位置を用いればよい。これらの指が机の上を接触しながら表示画面２０３の外から内に移動してきた場合などは、表示画面の回転処理を開始しなくてもよい。このように、回転処理を開始するか否かの判断を、２本の指が空中から机に接触した最初の位置のみで判断することにより、処理を簡素化することができ、制御部１１０の処理効率が向上するという効果がある。また、上述の判断処理によれば、複数の表示画面のうち、回転処理操作の対象となる表示画面を明確に特定することができる。

次に、図２７Ａと図２７Ｂは、２本の指の操作により、表示画面２０２を拡大する例である。図２７Ａに示すように、２本の指の両方が、表示画面２０２内で机に接触している場合に、図２７Ｂに示すように２本の指の接触点を結ぶ直線の距離が長くなるように２本の指が動いたことを検出すると、操作検出機能付投射型表示装置２０５は、当該長さの変化に対応するように表示画面２０２の表示サイズを変更する。これにより、表示画面の拡大処理が可能となる。なお、２本の指の接触点を結ぶ直線の距離が短くなる場合には、表示画面の縮小処理を行う。

これに対し、図２８Ａに示すように２本の指の両方が机に接している場合であっても、２本の指の接触点の片方がひとつの表示画面内にない場合（例えば、一方の指の接触点のみが表示画面２０２内にあり、他方の指の接触点は表示画面２０２外にある場合など）は、図２８Ｂに示すように２本の指の接触点を結ぶ直線の長さが変わるように２本の指が動いたとしても、表示画面２０２のサイズの変更を行わないようにしてもよい。

図２５Ａ〜図２６Ｂの例と同様に、カメラ１００で検出された複数の指のうち、机に接触した時間差が所定の時間内である２本の指を、図２７Ａ〜図２８Ｂで説明した処理で対象とする指の組み合わせとして、制御部１１０が判断しても良い。例えば、カメラ１００で検出された複数の指のうち、机に接触した時間差が１秒以内である２本の指を制御部１１０が検出し、当該２本の指の組み合わせを図２７Ａ〜図２８Ｂで説明した処理で対象とする２本の指の組み合わせであると判断すればよい。

なお、上述のこれら２本の指の接触位置と、表示画面２０２の範囲についての判断処理で用いる、これら２本の指の接触位置はこれら２本の指が空中から机に接触した最初の位置を用いればよい。これらの指が机の上を接触しながら表示画面２０２の外から内に移動してきた場合などは、表示画面のサイズ変更処理を開始しなくてもよい。このように、サイズ変更処理を開始するか否かの判断を、２本の指が空中から机に接触した最初の位置のみで判断することにより、処理を簡素化することができ、制御部１１０の処理効率が向上するという効果がある。また、上述の判断処理によれば、複数の表示画面のうち、サイズ変更処理操作の対象となる表示画面を明確に特定することができる。

以上図２５Ａから図２８Ｂを用いて説明した、複数の指を用いた表示画面操作によれば、回転処理やサイズ変更処理の対象となる表示画面を明確に特定することができる。また、制御部の処理を効率化することが可能である。

以上説明したように，机上に設置可能な操作検出機能付投射型表示装置により，指さし検出等による操作を精度よく行うことができる。

次に、本発明の実施例２について説明する。

図２に示した操作検出機能付投射型表示装置には照明１０１，１０２が備えられ，異なる２方向からの照明光の影を検出する方法について実施例１で示した。この照明光として可視光を採用すると，指さし操作によって生じる影が表示画面上に映ってしまい，表示画面を見にくくする可能性がある。そこで，照明光としては赤外光などの可視外光の照明を用い，カメラ１００には赤外カメラなど対応するカメラを用いるのが好ましい。

このように赤外光などの可視外光を用いる場合の注意点として，可視外光が目に見えないために，照明１０１，１０２の前に障害物を置くなどして照明光を遮る場合に，指さし検出等が行えず，さらにそれにユーザが気づかないという問題がある。

このような問題を回避するために，指さし検出を妨げるような状況をカメラ１００が検出した場合に，ユーザに対して警告する機能を備えることで解決できる。

図２９にこの機能を作動させる場合のフローチャートを示す。

Ｓ２００１で上記のような状況が発生したとする。Ｓ２００２でカメラ１００がこの状況を撮影する。Ｓ２００３で制御部１１０はカメラが撮像した画像から指さしの検出ができないと判断して，表示制御部１１１に通知する。

検知の基準としては，指等の予め設定された検出物以外のオブジェクトが長時間映っている，広範囲に渡って可視外光が遮られている，長時間不動のオブジェクトが映っている，などが例として挙げられる。

Ｓ２００４で表示制御部１１１は「指さし検出異常。カメラおよび照明部と表示画面間に異物がないか確認ください。」などの警告の字幕を表示画面に挿入した映像を作成し，Ｓ２００５で作成した映像を表示する。カメラ１００が可視外光の遮断物が除去された状況を撮影するまで、この表示は継続される。

Ｓ２００６で制御部１１０は可視外光の遮断物が除去されたか否かをカメラ１００が撮影した画像から判定する。光の遮断物が除去されれば、Ｓ２００７で制御部１１０は表示制御部１１１に指さしの検出機能が復帰したことを通知する。

Ｓ２００８で表示制御部１１１は警告字幕を削除した通常の表示画面を作成して，Ｓ２００９で通常の表示画面に戻る。以上が一連の動作の例である。

ここまでの説明では警告字幕を表示画面に挿入することにより，ユーザに指さし検出等を妨げるような可視外光の遮断という異常を通知する方法について説明したが，音声による警告や，予め備えた警告ランプの点灯など，他の手段による警告でもかまわない。

以上説明したように，指さし検出等を妨げるような状況を検出する機能を備え，ユーザに対して警告する機能を備えることで，ユーザの気づかないうちに指さし検出等の機能が中断することを防止することができる。

次に、本発明の実施例３について説明する。

本発明の実施例１で説明した投射型表示装置では、既に説明したとおり、鑑賞者のジェスチャ操作（指さし操作）により、様々な画面操作が可能となる。しかしながら、本実施例の投射型表示装置において入力可能な操作は、指タッチ検出型タブレットなどでは不可能な操作もあり、ユーザが不慣れな場合もある。そこで、本発明の実施例３にかかる投射型表示装置では、実施例１または実施例２の投射型表示装置の構成及び機能に加え、操作ガイド表示機能を搭載する。

図３０に、本実施例における操作ガイド表示の一例を示す。図３０では、投射型表示装置２０５が、机上に投影した表示画面３０００に一つの表示コンテンツを表示している。表示コンテンツにおける上下左右の方向は図に示すとおりである。投射型表示装置２０５のガイド表示の一例は、図３０に示すとおり、この表示コンテンツに対して、複数の操作ガイド表示３００１、３００２、３００３をそれぞれ異なる角度で表示する。当該操作ガイド表示の一例は、いわゆるＯＳＤ（オンスクリーンディスプレイ）であり、投射型表示装置２０５内部の図示しない記憶部に記憶しているデータに基づいて、制御部１１０の制御により、表示制御部１１１が入力信号に重畳して表示する。

図３０では、表示コンテンツの上下左右方向と同じ方向で表示する操作ガイド３００１のみならず、異なる方向で表示する操作ガイド表示３００２、３００３を表示する。これにより、机の周りに立っているユーザのうち、表示コンテンツを正面から鑑賞している鑑賞者のみならず、表示コンテンツを正面以外の角度から鑑賞している鑑賞者にも操作の仕方を伝えることができる。

特に、図３０に示すように、矩形の表示画面３０００の辺Ａ〜Ｄのうち、一つの辺Ａ側に投射型表示装置２０５が設置されている状況では、当該辺Ａ側にジェスチャ操作可能な鑑賞者が存在する可能性は低い。ここで、投射型表示装置２０５が設置されている辺Ａ側以外の、他の３つの辺Ｂ、Ｃ、Ｄ側に鑑賞者がおり、そのうち一つの辺（例えば辺Ｃ）の位置から鑑賞しやすい方向に表示コンテンツが表示されている場合に、当該表示コンテンツの上下左右と同じ方向の操作ガイド３００１だけを表示すると、残りの２辺（例えば辺Ｂ、Ｄ）側に存在する鑑賞者は、操作の仕方がわからず、わざわざ辺Ｃの位置まで移動せざるを得ない。

これに対し、本実施例の投射型表示装置２０５では、それぞれ異なる角度で複数の操作ガイド表示を表示可能であるので、図３０に示すように、３つの辺Ｂ、Ｃ、Ｄのそれぞれの辺の方向が、複数の操作ガイド表示３００１、３００２、３００３の左右方向に対応するように表示すればよい。このように表示すれば、例えば、投射型表示装置２０５が設置されている一つの辺Ａの方向以外の、他の３つの辺Ｂ、Ｃ、Ｄ側に存在する鑑賞者のいずれもが、操作の仕方を理解しやすくなる。

なお、操作ガイド表示は、操作ジェスチャを図示した図でもよく、操作ジェスチャを図示した図とその説明テキストでもよく、操作ジェスチャを説明したテキストでもよく、操作ジェスチャを示すアニメーションでもよい。またはこれらの組み合わせでもよい。

また、操作ガイド表示のタイミングは、図示しないリモコンボタンの操作入力のタイミングで行ってもよい。または、表示画面の片隅にクエスチョンマークを小さく表示しておき、当該クエスチョンマークに対する鑑賞者の指タッチかジェスチャ操作を検出したタイミングで、図３０に示すような操作ガイド表示を行ってもよい。

以上説明した本実施例の操作ガイド表示によれば、鑑賞者にとって使い勝手の良い操作ガイド表示が可能となる。

次に、本発明の実施例４について説明する。

本発明の実施例１で説明した投射型表示装置では、既に説明したとおり、ユーザのジェスチャ操作（指さし操作）により、様々な画面操作が可能となる。本実施例では、実施例１、２、３の投射型表示装置の構成及び機能に加え、以下に、表示映像についての詳細情報やメニュー画面表示機能を搭載する例を説明する。

図３１Ａ〜図３１Ｄは、投射型表示装置２０５が机２０４上に一つの表示画面２００を表示している場合に、表示映像の詳細情報やメニュー画面表示を行う際の動作を示す。

表示映像の詳細情報やメニュー画面表示を行う際に認識するジェスチャの例として、図３１Ａに示すような、指さし方向の異なる２本の指が接触している状態にあるジェスチャを用いてもよい。ここで、２つの接触点は完全に接触している必要は無く、設計上設定する所定の距離以下であることを条件としてもよい。また、表示映像の詳細情報やメニュー画面表示を行う際に認識するジェスチャの別の例として、図３１Ｂに示すような、３本の指が表示面に接触している状態にあるジェスチャを用いてもよい。

なお、図３１Ａと図３１Ｂに示したジェスチャは一例であり、他の操作と区別可能なジェスチャであれば、他のジェスチャであってもかまわない。

本実施例では、図３１Ａまたは図３１Ｂに示したジェスチャを検出した場合に、投射型表示装置２０５の制御部１１０は、詳細情報表示操作と判別し、図３１Ｃに示すように詳細情報３１０１を表示する。

また、別の例としては、図３１Ａまたは図３１Ｂに示したジェスチャを検出した場合に、投射型表示装置２０５の制御部１１０は、メニュー画面表示操作と判別し、図３１Ｄに示すようにメニュー画面３１０２を表示する。

また、別の例としては、図３１Ａまたは図３１Ｂに示したジェスチャを検出した場合に、投射型表示装置２０５の制御部１１０は、詳細情報表示とメニュー画面表示を両方行う操作と判別し、図３１Ｃに示す詳細情報３１０１の表示と図３１Ｄに示すメニュー画面３１０２の表示をともに行っても良い。

なお、図３１Ｃに示す詳細情報３１０１の表示と図３１Ｄに示すメニュー画面３１０２の表示の位置は、表示画面２００の中または近傍の所定の位置に表示すればよい。また、別の例としては、図３１Ａに示すジェスチャの指の接触点や図３１Ｂに示したジェスチャを検出した位置（３本の指の中央の指の位置）に応じた位置に、詳細情報３１０１またはメニュー画面３１０２を表示してもよい。

なお、詳細情報３１０１の例としては、表示されている映像の性質（入力時の解像度、フレームレート、インターレース、プログレッシブ等）でもよく、入力映像にタイトル情報等の付帯情報が含まれている場合は、この情報でもよい。また、入力端子を複数有し、異なる入力ソースから映像を入力可能な投射型表示装置の場合は、これらの入力ソースを識別する情報でもよい。

なお、メニュー画面３１０２で示されるメニュー項目の例としては、メニューで用いる言語切り替えメニューや、表示映像の明るさ、コントラスト等の画質調整メニュー、台形補正処理メニューなどを表示してもよい。また、入力端子を複数有し、異なる入力ソースから映像を入力可能な投射型表示装置の場合は、入力ソースの切り替えを行うためのメニュー項目を表示してもよい。

次に、図３２Ａと図３２Ｂを用いて、図２３Ａと図２３Ｂで説明した表示画面数の増加操作を行った後に、表示画面ごとに個別詳細情報表示または個別メニュー画面表示を行う場合の例を説明する。

図３２Ａと図３２Ｂは、図２３Ａと図２３Ｂと同様の表示画面数の増加操作のジェスチャとその表示例であり、既に実施例１で説明済みであるので説明を省略する。図３２Ｃは、表示画面数の増加操作により生成された複数の表示画面２０２、２０３のうち、表示画面２０２内に指の接触点が含まれる位置で図３１Ａに示したジェスチャが検出された例を示している。この場合、投射型表示装置２０５の制御部１１０は、図３２Ｄに示すように、表示画面２０２近傍（または画面内でもよい。）に、表示画面２０２についての個別詳細情報表示または個別メニュー画面表示、またはこれらを組み合わせた表示を行う。

この場合、図３２Ｄに示す個別メニュー画面は、表示画面２０２についての個別のメニュー項目を表示する。例えば、表示画面２０２の表示映像についての画質調整メニュー（表示画面２０３の表示映像についての画質調整を行うものではない）を表示しても良い。また、入力端子を複数有し、異なる入力ソースから映像を入力可能な投射型表示装置の場合は、表示画面２０２に表示される表示映像の入力ソースの切り替え（表示画面２０３の表示映像についての入力ソースの切り替えを行うものではない）を行うためのメニュー項目を表示してもよい。また、複数の表示画面の一つである表示画面２０２についてだけ、台形補正を行うことは不自然であるので、当該表示画面２０２についての個別メニュー表示では、台形補正のメニュー項目を表示しないか、表示しても操作できないような態様としてもよい。

同様に、図３２Ｄに示す個別詳細情報は、表示画面２０２についての個別の詳細情報を表示する。表示画面２０２に示されている映像の性質、タイトル情報等、入力ソースを識別する情報等を表示すればよい。入力端子を複数有し、異なる入力ソースから映像を入力可能な投射型表示装置の場合は、図３２Ｄに示す表示画面２０２についてのメニュー画面から入力ソースの切り替えを行うことが可能である。このとき、表示画面２０２と表示画面２０３で表示される映像の性質、タイトル情報、入力ソース等は異なることとなるので、それぞれの表示画面の詳細情報が個別に確認できることは鑑賞者にとって有益である。

なお、図３２Ａ〜図３２Ｄでは、個別詳細情報表示または個別メニュー画面表示のためのジェスチャとして、図３１Ａのジェスチャの例を用いたが、図３１Ｂのジェスチャを用いてもよい。

次に、図３３Ａ〜図３３Ｄを用いて、図２２Ａ、図２２Ｂ、図２５Ａ、図２５Ｂで説明した表示画面の回転操作を行った後に、表示画面ごとの個別詳細情報表示または個別メニュー画面表示を行う場合の例を説明する。

図３３Ａと図３３Ｂは、図２２Ａ及び図２２Ｂと同様の表示画面の回転操作のジェスチャとその表示例であり、既に実施例１で説明済みであるので説明を省略する。図３３Ｃは、複数の表示画面２０２、２０３のうち、一方の表示画面２０３が、表示画面の回転操作により回転された状態で、表示画面２０３内に指の接触点が含まれる位置で図３１Ｂに示したジェスチャが検出された例を示している。この場合、投射型表示装置２０５の制御部１１０は、図３３Ｄに示すように、表示画面２０３の近傍（または画面内でもよい。）に、表示画面２０３についての個別詳細情報表示または個別メニュー画面表示、またはこれらを組み合わせた表示を行い、この際、表示画面２０３の表示角度に対応する角度で、これらの個別詳細情報表示または個別メニュー画面表示を行う。表示画面２０３についての個別詳細情報表示または個別メニュー画面表示の内容については、図３２Ａ〜図３２Ｄにおける表示画面２０２についての説明と同様であるので、再度の説明は省略する。

回転された表示画面については、当該表示画面を鑑賞しやすい位置にいる鑑賞者がジェスチャ操作して個別詳細情報表示または個別メニュー画面表示を表示する可能性が高い。よって、図３３Ｄに示すように、個別詳細情報表示または個別メニュー画面表示を表示画面の角度に対応する角度で表示することにより、鑑賞者が鑑賞している画面を操作しやすくなるという利点がある。

なお、図３３Ａ〜図３３Ｄでは、個別詳細情報表示または個別メニュー画面表示のためのジェスチャとして、図３１Ｂのジェスチャの例を用いたが、図３１Ａのジェスチャを用いてもよい。

次に、図３４Ａ〜図３４Ｄを用いて、複数の表示画面を表示している場合に、画面毎の個別メニューではなく、全表示画面を対象とする全体メニューを表示する例について説明する。図３４Ａ〜図３４Ｄの例では、全体メニューを表示するためのジェスチャとして、図３２Ａ〜図３２Ｄや図３３Ａ〜図３３Ｄと同様に図３１Ａまたは図３１Ｂと同様のジェスチャを用いるが、ジェスチャの検出位置が、図３２Ａ〜図３２Ｄや図３３Ａ〜図３３Ｄと異なる。例えば、図３１Ａのジェスチャの指の接触点が、複数の表示画面外で検出された場合に、全体メニュー表示開始のジェスチャと判別する。同様に、図３１Ｂと同様のジェスチャにおける３本の指が複数の表示画面外で検出された場合に、全体メニュー表示開始のジェスチャと判別する。以下、図を用いて具体的に説明する。

図３４Ａの例では、投射型表示装置２０５が机２０４の上に、表示画面２０２および表示画面２０３を表示している。ここで、図３１Ａのジェスチャが検出されており、指の接触点が、表示画面２０２でも表示画面２０３でもない位置に検出されている。この場合、投射型表示装置２０５の制御部１１０は、表示制御部１１１を制御し、図３４Ｂに示すように、全体メニュー３４０１を表示する。また、画面全体に関する詳細情報である全体詳細情報３４０２を表示しても良い。

ここで、全体メニュー３４０１のメニュー項目は、すべての表示画面の表示映像についての画質調整を同時に行う全体画質調整のメニューを表示してもよい。また、全体メニューで用いる言語を切り替えるための言語切り替えメニュー項目を表示してもよい。また、個別の画面での個別メニュー表示では使用できなかった台形補正のメニュー項目について、全体メニュー３４０１では使用できるようにしてもよい。

また、全体詳細情報３４０２の例としては、表示画面の数などでもよい。また、入力端子を複数有し、異なる入力ソースから映像を入力可能な投射型表示装置の場合は、複数の表示画面と入力ソースの一覧表を表示してもよい。

なお、図３４Ａの例では、図３１Ａのジェスチャに替えて図３１Ｂのジェスチャを用いても良い。

次に、図３４Ｃの例では、投射型表示装置２０５が机２０４の上に、表示画面２０２および表示画面２０３を表示しているが、表示画面２０３は回転処理により表示画面２０２と異なる角度で表示されている。ここで、図３１Ａのジェスチャが検出されており、指の接触点が、いずれも表示画面２０２でも表示画面２０３でもない位置に検出されている。この場合、投射型表示装置２０５の制御部１１０は、表示制御部１１１を制御し、図３４Ｄに示すように、全体メニュー３４０１を表示する。また図３４Ｄの表示例のように、このとき、複数の表示画面のそれぞれについて個別詳細情報３４０３、３４０４を表示してもよい。

ここで、図３３Ｄの例では、個別詳細情報を表示する際には、個別の表示画面の表示角度に対応する角度で表示していた。これに対し、図３４Ｄのように、全体メニュー３４０１を表示している場合は、全体メニュー３４０１の操作者が見やすいように、個別の表示画面２０３の表示角度とは関係なく、全体メニュー３４０１の表示角度と同じ角度で表示したほうが好適である。

以上の説明において、図３４Ｂの例では全体メニュー表示とともに全体詳細表示を行い、図３４Ｄの例では全体メニュー表示とともに個別詳細情報表示を行っているが、これはいずれの表示であってもよい。また、全体メニューだけ表示してもよい。さらに、全体メニュー表示と全体詳細表示と個別詳細情報表示をすべて表示してもよい。

なお、本実施例で説明したメニュー画面（個別メニュー画面、全体メニュー画面）においては、各実施例で説明した各ジェスチャ認識機能のＯＮ／ＯＦＦを設定するメニュー項目を設けても良い。例えば、すべてのジェスチャ認識機能をＯＦＦにしてもよい。この場合は、リモコンや本体のボタン操作に応じた操作信号に基づいて投射型表示装置２０５が操作される。また、図２１Ａに示す一本指移動ジェスチャの認識処理や図２１Ｂに示す一本指回転ジェスチャの認識処理などを個別にＯＦＦできるようにしてもよい。差し棒などで説明する際に誤認識する可能性がある場合などに有効である。

また、回転動作について、図２１Ｂに示す一本指回転ジェスチャと図２５Ａと図２５Ｂに示す２本指回転ジェスチャのどちらを認識するかを選択するメニュー項目を表示してもよい。このように、場合によっては、投射型表示装置２０５が認識するジェスチャ毎に個別にＯＮ／ＯＦＦを設定することにメリットがある場合がある。このような場合には、例えば、図２１Ａ以降で説明したすべてのジェスチャについて、メニュー画面からそれぞれＯＮ／ＯＦＦを設定可能なように構成すればよい。個別メニュー画面の場合は、対応する表示画面についてのみ、これらのジェスチャのＯＮ／ＯＦＦ設定を適用すればよい。

以上説明した本実施例の詳細情報表示やメニュー表示によれば、鑑賞者にとって使い勝手の良い詳細情報表示やメニュー表示が可能となる。

１００：カメラ、１０１，１０２：照明、１０４：影領域抽出部、１０５：特徴点検出部、１０６：接近度検出部、１０７：接触点検出部、１０８：輪郭検出部、１０９：方向検出部、１１０：制御部、１１１：表示制御部、１１２：駆動回路部、１１３：入力端子、１１４：入力信号処理部、１１５：投射部、２０１：投射型表示装置、２０２，２０３：表示画面、２０４：投射物、２０５：操作検出機能付投射型表示装置、３：ユーザ、３０，３１，３２：指、４０１，４０２，４０３，４０４，４０５：影、５０１，５０２：輪郭線、６０１，６０２：特徴点：７００，７０１，７０２，７０３：指さし方向、８００：ポインタ、Ｐ：接触点。

Claims (11)

1. 映像を投射する映像投射部と、
   前記映像投射部が投射する映像投射面と少なくとも一部が重なる面に、前記映像投射部により投射される前記映像とは異なる照明光を照射する少なくとも１つの照明部と、
   前記照明光の反射光により撮像を行う撮像部と、
   前記撮像部が撮像した画像に基づいて操作者の指が前記映像投射面に接する少なくとも位置を検出する検出部と、
   前記検出部による検出結果に基づいて前記映像投射部が投射する映像に含まれる少なくとも一つの部分映像表示領域を変更するよう制御する表示制御部を有し、
   前記表示制御部による制御状態には、
   前記検出部が、前記映像投射面に表示される部分映像領域の外側の位置を始点として、前記操作者の指が前記映像投射面に接しながら該部分映像表示領域に進入して横断することを検出した場合に、該部分映像表示領域を前記指の横断動作に基づいて分割して、新たに複数の部分映像表示領域を生成する第１の制御状態と、
   前記検出部が、前記映像投射面に表示される部分映像領域の内側の位置を始点として、前記操作者の指が前記映像投射面に接しながら移動することを検出した場合に、該部分映像表示領域を前記指の移動に基づいて移動する第２の制御状態がある、
   ことを特徴とする投射型映像表示装置。
2. 請求項１に記載の投射型映像表示装置であって、
   前記映像投射部が映像を投射する映像投射面と少なくとも一部が重なる面に、前記映像投射部により投射される投射映像とは異なる照明光を互いに異なる位置から照射する２つの照明部を有することを特徴とする投射型映像表示装置。
3. 請求項１または請求項２に記載の投射型映像表示装置であって、
   前記映像投射部は、前記投射型映像表示装置が前記映像投射面と同じ面上に設置された状態で前記映像投射面に映像を投射可能であることを特徴とする投射型映像表示装置。
4. 映像を投射する映像投射部と、
   前記映像投射部が投射する映像投射面と少なくとも一部が重なる面に、前記映像投射部により投射される前記映像とは異なる照明光を照射する少なくとも１つの照明部と、
   前記照明光の反射光により撮像を行う撮像部と、
   前記撮像部が撮像した画像に基づいて操作者の指が前記映像投射面に接する少なくとも位置を検出する検出部と、
   前記検出部による検出結果に基づいて前記映像投射部が投射する映像に含まれる少なくとも一つの部分映像表示領域を変更するよう制御する表示制御部を有し、
   前記表示制御部による制御状態には、
   前記検出部が、前記映像投射面に表示される部分映像領域の外側の位置を始点として、前記操作者の指が前記映像投射面に接しながら該部分映像表示領域に進入して横断することを検出した場合に、該部分映像表示領域を前記指の横断動作に基づいて分割して、新たに複数の部分映像表示領域を生成する第１の制御状態と、
   前記検出部が、前記映像投射面に表示される部分映像領域の内側の位置を始点として、前記操作者の指が前記映像投射面に接しながら移動することを検出した場合に、該部分映像表示領域を前記指の移動に基づいて移動する第２の制御状態と、
   前記検出部が、前記映像投射面に表示される部分映像表示領域の内側の位置において前記操作者の指が前記映像投射面に接しており、前記映像投射面に接する前記操作者の指の方向が回転することを検出した場合に、前記指の回転動作に基づいて該部分映像表示領域を回転する第３の制御状態がある、
   ことを特徴とする投射型映像表示装置。
5. 請求項４に記載の投射型映像表示装置であって、
   前記映像投射部が映像を投射する映像投射面と少なくとも一部が重なる面に、前記映像投射部により投射される投射映像とは異なる照明光を互いに異なる位置から照射する２つの照明部を有することを特徴とする投射型映像表示装置。
6. 請求項４または請求項５に記載の投射型映像表示装置であって、
   前記映像投射部は、前記投射型映像表示装置が前記映像投射面と同じ面上に設置された状態で前記映像投射面に映像を投射可能であることを特徴とする投射型映像表示装置。
7. 映像を投射する映像投射部と、
   前記映像投射部が投射する映像投射面と少なくとも一部が重なる面に、前記映像投射部により投射される前記映像とは異なる照明光を照射する少なくとも１つの照明部と、
   前記照明光の反射光により撮像を行う撮像部と、
   前記撮像部が撮像した画像に基づいて操作者の指が前記映像投射面に接する少なくとも位置を検出する検出部と、
   前記検出部による検出結果に基づいて前記映像投射部が投射する映像に含まれる少なくとも一つの部分映像表示領域を変更するよう制御する表示制御部を有し、
   前記表示制御部による制御状態には、
   前記検出部が、前記映像投射面に表示される部分映像領域の外側の位置を始点として、前記操作者の指が前記映像投射面に接しながら該部分映像表示領域に進入して横断することを検出した場合に、該部分映像表示領域を前記指の横断動作に基づいて分割して、新たに複数の部分映像表示領域を生成する第１の制御状態と、
   前記検出部が、前記映像投射面に表示される部分映像領域の内側の位置を始点として、前記操作者の指が前記映像投射面に接しながら移動することを検出した場合に、該部分映像表示領域を前記指の移動に基づいて移動する第２の制御状態と、
   前記検出部が、前記映像投射面に表示される部分映像表示領域の内側の位置において前記操作者の二本の指の前記映像投射面に接する位置間隔が拡大または縮小したことを検出した場合に、前記二本の指の位置間隔の拡大または縮小に基づいて該部分映像表示領域を拡大または縮小する第３の制御状態がある、
   ことを特徴とする投射型映像表示装置。
8. 請求項７に記載の投射型映像表示装置であって、
   前記映像投射部が映像を投射する映像投射面と少なくとも一部が重なる面に、前記映像投射部により投射される投射映像とは異なる照明光を互いに異なる位置から照射する２つの照明部を有することを特徴とする投射型映像表示装置。
9. 請求項７または請求項８に記載の投射型映像表示装置であって、
   前記映像投射部は、前記投射型映像表示装置が前記映像投射面と同じ面上に設置された状態で前記映像投射面に映像を投射可能であることを特徴とする投射型映像表示装置。
10. 映像を投射する映像投射部と、
    前記映像投射部が投射する映像投射面と少なくとも一部が重なる面に、前記映像投射部により投射される投射映像とは異なる照明光を互いに異なる位置から照射する２つの照明部と、
    前記照明光の反射光により撮像を行う撮像部と、
    前記撮像部が撮像した画像に基づいて操作者の指が前記映像投射面に接する少なくとも位置を検出する検出部と、
    前記検出部による検出結果に基づいて前記映像投射部が投射する映像に含まれる少なくとも一つの部分映像表示領域を変更するよう制御する表示制御部を有し、
    前記表示制御部は、
    前記検出部が、前記映像投射面に表示される部分映像領域の外側の位置を始点として、前記操作者の指が前記映像投射面に接しながら該部分映像表示領域に進入して横断することを検出した場合に、該部分映像表示領域を前記指の横断動作に基づいて分割する制御を行う
    ことを特徴とする投射型映像表示装置。
11. 投射型映像表示装置であって、
    映像を投射する映像投射部と、
    前記映像投射部が投射する映像投射面と少なくとも一部が重なる面に、前記映像投射部により投射される投射映像とは異なる照明光を照射する少なくとも１つの照明部と、
    前記照明光の反射光により撮像を行う撮像部と、
    前記撮像部が撮像した画像に基づいて操作者の指が前記映像投射面に接する少なくとも位置を検出する検出部と、
    前記検出部による検出結果に基づいて前記映像投射部が投射する映像に含まれる少なくとも一つの部分映像表示領域を変更するよう制御する表示制御部を有し、
    前記表示制御部は、前記検出部が、前記映像投射面に表示される部分映像領域の外側の位置を始点として、前記操作者の指が前記映像投射面に接しながら該部分映像表示領域に進入して横断することを検出した場合に、前記表示制御部は、前記部分映像表示領域を前記指の横断動作に基づいて分割する制御を行うものであり、
    前記映像投射部は、前記投射型映像表示装置が前記映像投射面と同じ面上に設置された状態で前記映像投射面に映像を投射可能であることを特徴とする投射型映像表示装置。

Images