WO2015193995A1 - 投写型映像表示装置、映像表示方法及び操作検出装置 - Google Patents

Abstract

　本発明は、操作するユーザを識別するとともに、ユーザに応じて処理内容を切り替えることが可能な投写型映像表示装置を提供する。投写型映像表示装置は、投写面の映像投写領域を撮像する撮像部１０２と、撮像部により撮像した画像に基づいて、映像表示に対するユーザの操作内容を検出する操作検出部１０５と、撮像部により撮像した画像に基づいて、操作を行ったユーザを識別するユーザ識別部１０７と、ユーザの操作内容とユーザの識別結果に応じて、投写面に表示する映像の処理を行う映像処理部１５４と、映像処理部にて処理した映像を投写面に投写する映像投写部１５３と、を備える。

Description

投写型映像表示装置、映像表示方法及び操作検出装置

　本発明は、ユーザの操作を検出しこれに応じて映像表示を行う投写型映像表示装置と映像表示方法、及びこれに用いる操作検出装置に関する。

　投写型映像表示装置（プロジェクタ）の投写面上でのユーザ操作入力として、タッチセンサ等の特殊なデバイスを用いることなく、ユーザの操作部（指）を撮影して操作内容を検出する技術が提案されている。

　特許文献１には、照明手段により照らされた状態で操作者を撮像手段に撮像させる手段と、前記撮像手段により得られる操作者の画像データをもとに、前記操作者の特定部位の領域を検出する手段と、前記検出された操作者の特定部位の領域から影の部分を抽出する手段と、前記抽出された影の部分の中から、エッジが直線を成す線分を複数検出し、検出された線分同士が鋭角に交わる点を検出し、この交点を前記操作者の特定部位の領域内における指差し位置として検出する手段と、を具備する操作検出装置が記載されている。

　また、特許文献２には、スクリーンに映像を投写する投写部と、少なくとも前記スクリーンに投写された映像を含む領域を撮像するための撮像部と、前記撮像部により撮像された画像から、前記スクリーン上方を移動する所定物体の実像を検出する実像検出部と、前記撮像部により撮像された画像から、前記投写部からの投写光により生じる前記所定物体の影を検出する影検出部と、前記所定物体の実像と影の対応点間の距離が所定のしきい値以下である場合、前記所定物体が前記スクリーンに接触していると判定する接触判定部と、前記接触判定部により接触していると判定されたとき、前記所定物体の座標を前記映像に対するポインティング位置として出力する座標決定部と、を備える投写型映像表示装置が記載されている。

特開２００８－５９２８３号公報 特開２０１１－１８０７１２号公報

　従来の投写型映像表示装置において、ユーザの操作を撮影画像により検出して映像表示を制御することができるが、複数のユーザが操作する場合、どのユーザが操作しても同様の処理を行うものとなる。よって、複数のユーザが同時に異なる操作を行う場合、複数の処理が競合して各ユーザに対する正常な処理が困難となることがある。あるいは、複数のユーザが入れ替わって操作する場合にも、ユーザごとに異なる処理を頻繁に行うと安定な処理が困難となることがある。

　特許文献１では、操作者の画像データから影の部分を抽出し、影の線分が鋭角に交わる点を指差し位置として検出している。さらに、線分同士が成す鋭角の二等分線を求め、この二等分線が操作者の特定部位の輪郭と交わる位置を検出し、検出された位置に基づいて指差し動作が操作者により行われたか操作者以外により行われたかを判定している。しかしながら、操作者が誰であるかを検出し、操作者に応じて処理内容を切り替えることは考慮されていない。すなわち、複数の操作者が同時に、あるいは入れ替わって操作する場合、操作者を区別して映像表示の処理を行うことはできない。

　特許文献２では、所定物体（指）の実像と影の対応点間の距離が所定のしきい値以下である場合、所定物体がスクリーンに接触していると判定している。この場合にも、操作者が誰であるかを検出し、操作者に応じて処理内容を切り替えることは考慮されていない。

　本発明の目的は、操作するユーザを識別するとともに、ユーザに応じて処理内容を切り替えることが可能な投写型映像表示装置と映像表示方法、及びこれに用いる操作検出装置を提供することである。

　本発明は上記課題を解決するために、複数の手段を含んでいる。その一例を挙げるならば、投写面に映像を投写して表示する投写型映像表示装置において、投写面の映像投写領域を撮像する撮像部と、撮像部により撮像した画像に基づいて、映像表示に対するユーザの操作内容を検出する操作検出部と、撮像部により撮像した画像に基づいて、操作を行ったユーザを識別するユーザ識別部と、ユーザの操作内容とユーザの識別結果に応じて、投写面に表示する映像の処理を行う映像処理部と、映像処理部にて処理した映像を投写面に投写する映像投写部と、を備える。

　あるいは、投写面に映像を投写して表示する映像表示方法において、投写面の映像投写領域を撮像する撮像ステップと、撮像ステップにより撮像した画像に基づいて、映像表示に対するユーザの操作内容を検出する操作検出ステップと、撮像ステップにより撮像した画像に基づいて、操作を行ったユーザを識別するユーザ識別ステップと、ユーザの操作内容とユーザの識別結果に応じて、投写面に表示する映像の処理を行う映像処理ステップと、を備える。

　本発明によれば、操作するユーザを識別するとともに、ユーザに応じて処理内容を切り替えることにより、複数のユーザが同時に、あるいは入れ替わって操作した場合にも、投写型映像表示装置の処理が安定しユーザの使い勝手が向上する。

投写型映像表示装置の構成を示すブロック図（実施例１）。 投写型映像表示装置の外観及びユーザの操作状態を示す図。 指と操作面の接触／非接触による影の形状の違いを示す図。 指と操作面との距離と影の形状の関係を示す図。 操作検出部１０５における指と操作面の接触点を検出する処理を示す図。 ユーザ管理部１０６におけるユーザ登録処理を示す図。 ユーザの手の特徴を表すパラメータの例を示す図。 手動によるユーザ登録処理フローを示す図。 ユーザ識別部１０９におけるユーザ識別処理フローを示す図。 異なるユーザに対して異なる映像を投写する例を示す図。 異なるユーザに対して異なる表示形式で映像を表示する例を示す図。 異なるユーザに対して異なるメニューを表示する例を示す図。 異なるユーザに対して異なる表示処理を行う例を示す図。 ユーザの属性に応じて操作を制限する例を示す図。 ユーザの属性に応じて操作を制限する他の例を示す図。 ユーザ管理部１０６が管理するユーザデータの例を示す図（実施例２）。 手動によるユーザ登録処理フローを示す図。 ユーザ管理部１０６が管理するユーザデータの例を示す図（実施例３）。 ペンと操作面との接触点を検出する処理を説明する図（実施例４）。 ユーザ管理部１０６が管理するユーザデータの例を示す図。

　以下、本発明の実施例を図面を用いて説明する。

　実施例１では、カメラでユーザの手を撮像し、操作するユーザを識別しながらユーザの操作を検出する方法について説明する。そのため、予め各ユーザの手の特徴を取得しておき、各ユーザに対するユーザＩＤと属性を付与し、各ユーザのユーザＩＤと属性に応じて操作に従った映像表示の処理を行う。ここにユーザＩＤとはユーザを識別するための情報で、属性とはユーザを操作権限に応じて分類し、操作権限に応じて付与する情報である。

　図１は、実施例１における投写型映像表示装置（以下、映像表示装置ともいう）の構成を示すブロック図である。検出機能部１０１はユーザの操作を検出する機能部で、カメラ（撮像部）１０２、２つの照明１０３，１０４、操作検出部１０５、ユーザ管理部１０６、ユーザ識別部１０７、通信部１０８、制御部１０９を含む。表示機能部１５１はユーザの操作に応じて映像表示を行う機能部で、通信部１５２、映像投写部１５３、制御部１５４を含む。検出機能部１０１から表示機能部１５１へは、検出結果データ１２１を転送する。

　まず、検出機能部１０１の各構成要素を説明する。
  カメラ１０２は、イメージセンサ、レンズ、フィルタ等を有し、ユーザの操作部（手や指）を含む画像を撮影する。照明１０３及び１０４は、発光ダイオード、回路基板、レンズ等を有し、カメラ１０２が撮影する領域を照射する。照明１０３、１０４は常時点灯させてもよいが、照明１０３と１０４を交互に点灯させてもよい。さらに、照明１０３と１０４の点灯が切り替わる際に一時的に両者を消灯させる、あるいは、照明１０３と１０４を同じタイミングで点滅させてもよい。照明光は不可視光であっても良く、例えばカメラ１０２、照明１０３、１０４を、赤外カメラと赤外照明で構成し、撮影した赤外画像から操作検出の処理を行ってもよい。その場合には、赤外カメラにフィルタを追加し、赤外領域でない光を一部あるいは全て遮蔽して撮影するとよい。すなわち、照明１０３、１０４からの照明光の波長領域を、表示機能部１５１（映像投写部１５３）にて投写する光の波長領域と分離することで、ユーザは照明光を視認することなく投写映像を視聴できる。

　操作検出部１０５は、回路基板やソフトウェア等を有し、カメラ１０２で撮影した操作物の画像から操作内容を検出する。操作物として、ユーザの指や手、あるいは操作用ペンが可能である。また、カメラ１０２で撮影した画像からユーザの特徴手の画像を抽出し、ユーザの識別に用いる。本実施例では、ユーザの特徴としてユーザの手の画像を使用する。

　ユーザ管理部１０６は、回路基板やソフトウェア等を有し、各ユーザの手の特徴をユーザデータとしてデータベースに登録する。さらに、各ユーザに対しユーザＩＤとユーザの操作権限を示す属性を付与して管理する。

　ユーザ識別部１０７は、回路基板やソフトウェア等を有し、カメラ１０２で撮影した手の画像とユーザ管理部１０７のデータベースに登録されているユーザデータを照合し、操作を行っているユーザのユーザＩＤと属性を識別する。
  上記した操作検出部１０５、ユーザ管理部１０６、ユーザ識別部１０７は、ユーザの操作を検出するとともに操作するユーザを識別する部分で、ユーザ別操作検出部１１０と呼ぶ。

　通信部１０８は、ネットワーク接続やＵＳＢ接続、超音波ユニット、赤外線通信装置等を有し、ディスプレイやプロジェクタ等、検出機能部１０１の外部にある装置と通信できるインタフェースである。

　制御部１０９は、回路基板やソフトウェア等を有し、カメラ１０２、照明１０３、１０４、操作検出部１０５、ユーザ管理部１０６、ユーザ識別部１０７、通信部１０８を制御する。

　検出結果データ１２１は、検出機能部１０１が通信部１０８を介して表示機能部１２１に出力するデータであり、検出した操作内容、操作したユーザのユーザＩＤ、ユーザの属性等の情報が含まれる。

　次に、表示機能部１５１の各構成要素を説明する。表示機能部１５１は、検出結果データ１２１を受け、ユーザの指やペンによる操作に応じて映像表示を行う。

　通信部１５２は、ネットワーク接続やＵＳＢ接続、超音波ユニット、赤外線通信装置等を有し、ディスプレイやプロジェクタ等、表示機能部１５１の外部にある構成要素と通信できるインタフェースである。

　映像投写部１５３は、光源ランプ、液晶パネル、レンズ等を有し、投写面に映像を投写し表示させる。ここで、映像投写部１５３より投写する光の波長領域を、検出機能部１０１の照明１０３、１０４からの照明光（赤外光）の波長と重ならないようにすれば、カメラ（赤外カメラ）１０２で撮影するユーザの操作画像に影響を与えることはない。そのために、投写光の波長を制御する帯域通過フィルタ等を用いてもよい。

　制御部（映像処理部）１５４は、回路基板やソフトウェア等を有し、通信部１５２、映像投写部１５３を制御する。特に、検出機能部１０１から送られる検出結果データ１２１に応じて、映像投写部１５３から投写する映像の処理を行う。すなわち、ユーザの操作内容だけでなく、操作したユーザのユーザＩＤやユーザの属性に応じて、操作を受け付けるか否か、表示する映像の種類や表示形式などを決定する。

　図１に示す映像表示装置は、検出機能部１０１と表示機能部１５１を含む構成としたが、検出機能部１０１を独立させで操作検出装置としてもよい。各要素１０２～１０９、１５２～１５４は独立しているが、必要に応じて１または複数の構成要件で構成してもよい。例えば、要素１０５～１０７は１または複数の中央処理装置（ＣＰＵ）でその処理を行うように構成してもよい。また、要素１０２～１０９を全て検出機能部１０１の内部に、要素１５２～１５４を全て表示機能部１５１の内部に有しているが、１または複数の構成要素を外部に有し、ネットワーク接続やユニバーサルシリアルバス（ＵＳＢ）接続によって結合してもよい。例えば、要素１０２～１０４を検出機能部１０１の外部に構成してもよい。

　図２は、投写型映像表示装置の外観及びユーザの操作状態を示す図である。（ａ）は操作状態の正面図、（ｂ）は操作状態の側面図である。映像投写部１５３が投写面に投写する映像を、ユーザ２５１は指２５２を用いて操作する。操作面２０１は、映像投写部１５３が投写する映像投写面と少なくもその一部が重なっており、ユーザは投写された映像の一部に、例えば指を接近させ、またある位置に接触することにより、所望の操作指示を行う。カメラ１０２は操作面２０１の領域を撮像し、また撮像のために照明１０３、１０４から照明光を照射する。ユーザの操作指示に応じて、映像投写部１５３が投写する映像は制御され、映像の表示形式が変更されたり、他の映像に切り替えられたりする。

　図２ではユーザは指で操作を行っているが、指の代わりに操作用ペンや差し棒等の操作具を使って操作を行ってもよい。あるいは指のみでなく、手全体で操作を行ってもよい。また、図２ではユーザが１人の場合を示しているが、複数のユーザが同時に、あるいは入れ替わって操作を行うことも可能である。

　図３は、指と操作面の接触／非接触による影の形状の違いを示す図である。（ａ）と（ｂ）は、指４００が操作面２０１に接触していない場合の正面図と上面図を、（ｃ）と（ｄ）は、指４００の指先が操作面２０１に接触している場合の正面図と上面図を示す。

　（ａ）に示すように非接触の場合は、指４００の両側にそれぞれ、照明１０４によって投影される影４０１と、照明１０３によって投影される影４０２とができ、影４０１と影４０２はそれぞれが離れた状態となる。（ｂ）は、（ａ）に示すような影ができる原理を説明している。指４００の先端の方向から見た場合、照明１０４が照射する光が指４００で遮断され、操作面２０１上に影４０１ができる。また、照明１０３が照射する光が指４００で遮断され、操作面２０１上に影４０２ができる。指４００が操作面２０１から離れているので、カメラ１０１が撮影する画像では、影４０１と影４０２は互いに離れた状態となる。

　次に、（ｃ）に示すように接触している場合は、影４０１と影４０２は接近した状態となる。（ｄ）は、（ｃ）に示すような影ができる原理を説明している。指４００の先端の方向から見た場合、照明１０４が照射する光により影４０１ができ、照明１０３が照射する光により影４０２ができる。指４００は操作面２０１に接触しているので、カメラ１０２が撮影する画像では、影４０１と影４０２は接近した状態となる。

　図４は、指と操作面との距離と影の形状の関係を示す図である。
  （ａ）は、指４００と操作面２０１との距離によって影の形状が変化する様子を示す。指４００と操作面２０１との距離が最も小さい場合（接触時）には、影４０１と影４０２は最も接近した状態となる。指４００と操作面２０１が離れると、影４０１と影４０２との距離は次第に大きくなり、影４０１と影４０２との距離は指４００と操作面２０１との距離に依存する。よって、影４０１と影４０２との距離を測定することで、指４００と操作面２０１の距離や接触／非接触を判定できる。

　（ｂ）～（ｅ）は、影４０１と影４０２との距離を、影のどの位置（特徴点と呼ぶ）で測定するかを示している。（ｂ）では、影の先端（指先）に特徴点４０３と４０４を設定し、影４０１と影４０２との距離を特徴点４０３と４０４間の距離ｄで定義する。（ｃ）では、影の指に相当する部分の外側に特徴点４０３と４０４を設定し、特徴点間の距離ｄで影４０１と影４０２との距離を定義する。あるいは（ｄ）のように、影の最も外側に位置する部分に特徴点４０３と４０４を設定する方法や、（ｅ）のように、影の手首に相当する部分の外側に特徴点４０３と４０４を設定する方法でもよい。

　次に、ユーザ別操作検出部１１０内の、操作検出部１０５、ユーザ管理部１０６及びユーザ識別部１０７の処理について詳しく説明する。

　図５は、操作検出部１０５における指と操作面の接触点を検出する処理を示す図である。（ａ）は処理フローを示し、（ｂ）はＳ５０７とＳ５０８の工程を説明する図である。

　Ｓ５０１では、カメラ１０２によって撮影される画像において、指４００に関する２つの影が検出されているか否かを判定する。検出したらＳ５０２へ進む。
  Ｓ５０２では、指に関する２つの影４０１，４０２において、それぞれ特徴点４０３と特徴点４０４を検出する（図４参照）。
  Ｓ５０３では、特徴点４０３と特徴点４０４との距離ｄを測定する。

　Ｓ５０４では、特徴点４０３と特徴点４０４との距離ｄが所定の値より小さいか否かを判定する。所定の値よりも小さい場合はＳ５０５に進み、所定の値以上である場合はＳ５０６に進む。
  Ｓ５０５では、指４００が操作面２０１に接触していると判定し、Ｓ５０７に進む。
  Ｓ５０６では、指４００が操作面２０１に接触していないと判定し、フローを終了する。

　Ｓ５０７では、図５（ｂ）に示すように、指に関する２つの影４０１，４０２において、それぞれ先端５４１と先端５４２を検出する。
  Ｓ５０８では、図５（ｂ）に示すように、先端５４１と先端５４２の中点５５１を指４００と操作面２０１との接触点として検出する。そして、接触点５５１の位置（座標）を読み取り、処理を終了する。

　なお、上記フローが一巡して終了しても、ユーザが操作継続中であれば次の接触点を検出するために、Ｓ５０１に戻り上記フローを繰り返して行う。
  また、操作検出部１０５における処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いてもよい。

　図６は、ユーザ管理部１０６におけるユーザ登録処理を示す図である。ユーザ登録処理とは、操作面２０１を操作するユーザに関連した情報（ユーザデータ）をデータベースに登録する処理であり、（ａ）は処理フローを、（ｂ）は登録するユーザデータの内容を示す。ここに示すユーザ登録処理は、データベースに登録のないユーザが検出されたことをトリガとして、ユーザ管理部１０６により自動的に開始される場合である。

　Ｓ６０１では、カメラ１０２により各ユーザの手の画像を撮影し、手に関する特徴を抽出する。手に関する特徴としては手の大きさ、形状、色等が挙げられ、詳細は図７で説明する。図２に示したように、ユーザ２５１が操作面２０１を操作する場合にはユーザの手が必ずカメラ１０２の撮影範囲内に存在することになり、撮影した画像からユーザの手の特徴を抽出することができる。すなわち、カメラ１０２の撮影画像は、ユーザの操作検出とユーザの手の特徴の取得の両方に用いることができる。

　Ｓ６０２では、抽出したユーザの手の特徴をデータベースに登録する。図６（ｂ）に示すように、ユーザデータとして、各ユーザＡ～Ｃの手に関する特徴６００ａ～６００ｃが登録される。ここでは各ユーザの手の画像（輪郭）を記載しているが、後述するように手の特徴を数値化あるいは文書化したものでもよい。登録されたユーザ特徴は、後述するユーザ識別処理において利用される。

　Ｓ６０３では、ユーザに対して識別情報（ユーザＩＤ）を付与する。ここで付与するユーザＩＤは、複数のユーザが存在する場合において、ユーザを個々に識別するためのユーザ名やユーザ番号であり、重複しないことが好ましい。付与したユーザＩＤは、Ｓ６０２で登録したユーザ特徴と関連づけてデータベースに登録する。ユーザＩＤを自動的に付与する場合は、例えば「ユーザＡ」、「ユーザＢ」・・・のように、順に機械的に付与すればよい。

　Ｓ６０４では、ユーザに対して属性を付与する。属性とは、ユーザを共通する性質により分類するための情報であり、ここでは操作権限に対応してユーザを分類する。例えば、すべての操作が許可されるユーザには「特別」、一部の操作が制限されるユーザには「一般」の属性を付与する。以下では、「特別」の属性が付与されたユーザを「特別ユーザ」、「一般」の属性が付与されたユーザを「一般ユーザ」と呼ぶ。付与した属性は、Ｓ６０２で登録したユーザ特徴、あるいはＳ６０３で登録したユーザＩＤと関連付けてデータベースに登録する。ユーザを属性で分類する必要がない場合には、Ｓ６０４は省略してもよい。

　属性の付与に関しては、ユーザの使用状況に応じて自動的に設定することができる。例えば、最初に属性の付与を受けるユーザは特別ユーザ、２番目以降に属性の付与を受けるユーザは一般ユーザとする。または、使用頻度がある一定値以上のユーザは特別ユーザ、それ以外のユーザは一般ユーザとする。あるいは、学校等での用途を考慮し、手の大きさがある一定値以上のユーザ（教師）は特別ユーザ、それ以外のユーザ（生徒）は一般ユーザとしてもよい。あるいは、すべてのユーザを一律に一般ユーザに仮設定した後、手動により一部のユーザについて特別ユーザに変更してもよい。
  以上の処理によって、図６（ｂ）に示すようなユーザデータを有するデータベースが作成される。ユーザデータは、各ユーザのユーザ特徴、ユーザＩＤ及び属性で構成される。

　図７は、ユーザの手の特徴を表すパラメータの例を示す図である。（ａ）は手の大きさ、（ｂ）は指の長さ、（ｃ）は指の太さをパラメータとしている。（ｄ）は手の形状を多角形近似したもので、手の特徴点を複数定めそれらを結んでいる。（ｅ）は指の形状を多角形近似したもので、指の特徴点を複数定め、それらを結んでいる。（ｆ）は血管パターンである。血液は赤外光の吸収率が高いことから、特に照明１０３、１０４から赤外光を照射すると、カメラ１０２で撮影した画像から鮮明な血管パターンを取得することができる。これ以外のパラメータとして、手の色、手のしわのパターン、手の輝度分布、爪の形状等も手の特徴として利用できる。

　データベースに登録するユーザデータの形式は、手の画像データでもよいが、上記パラメータを数値化あるいは文書化したものが使いやすい。例えば、（ｄ）の手の形状については、多角形の頂点の座標を登録すればよい。また、データベースに登録するのは、上記パラメータのうちの１つであってもよいし、これらの中から複数のパラメータを組み合わせてもよい。

　図８は、手動によるユーザ登録処理フローを示す図である。この場合、ユーザがユーザ登録モードを起動したことをトリガとして、ユーザ管理部１０６によりユーザ登録処理が開始される。また、以下の処理フロー中のＳ８０２～Ｓ８０９では、操作面２０１に表示される画面例を示す。ユーザが手動により登録処理を行う際にも、操作検出部１０５はユーザの指の接触点を検出して、操作内容を判定する。

　Ｓ８０１では、ユーザはユーザ登録モードを起動する。
  Ｓ８０２では、ユーザ登録を開始する旨を通知する。

　Ｓ８０３では、ターゲットを表示し、ユーザの右手を所定の位置に誘導する。ユーザは所定の位置に右手を移動させると、その様子をカメラ１０２で撮影する。ユーザ管理部１０６は、撮影した画像からユーザの右手の特徴を抽出する。
  Ｓ８０４では、抽出したユーザの右手の特徴をデータベースに登録し（図６のＳ６０２に相当）、右手の登録が完了した旨を通知する。

　Ｓ８０５では、ターゲットを表示し、ユーザの左手を所定の位置に誘導する。ユーザは所定の位置に左手を移動させると、その様子をカメラ１０２で撮影する。ユーザ管理部１０６は、撮影した画像からユーザの左手の特徴を抽出する。
  Ｓ８０６では、抽出したユーザの左手の特徴をデータベースに登録し（図６のＳ６０２に相当）、左手の登録が完了した旨を通知する。

　Ｓ８０７では、ユーザに対して、ユーザ名の入力を求める。ここで入力されたユーザ名は、ユーザＩＤとしてデータベースに登録する（図６のＳ６０３に相当）。
  Ｓ８０８では、ユーザに対して、ユーザの分類の選択を求める。ここで選択されたユーザの分類は、該ユーザの属性としてデータベースに登録する（図６のＳ６０４に相当）。ユーザに属性を付与する必要がない場合には、Ｓ８０８を省略してもよい。
  Ｓ８０９では、ユーザ登録が完了した旨を通知する。通知が完了したら、ユーザ登録処理フローを終了する。

　なお、上記フローが一巡して終了しても、他のユーザ登録を継続して行う場合は、Ｓ８０１に戻り上記フローを繰り返して行う。また、データベースに登録済みのユーザが再度ユーザ登録を試みた場合に、ユーザデータの重複を避けるために、途中でフローを抜けるルートを設けてもよい。また、ユーザの片手のみの特徴を登録する場合には、Ｓ８０３～Ｓ８０４、Ｓ８０５～Ｓ８０６のいずれかを実行すればよい。

　図６で説明した自動によるユーザ登録処理では、登録処理のためのユーザの操作が不要であり、ユーザの負担がない。一方、図８で説明した手動によるユーザ登録処理では、ユーザの手を所定の位置に誘導して撮像し、ユーザ名の入力やユーザ種別の選択をユーザ自身が行うので、詳細で信頼性の高いユーザデータを取得できる。ユーザ登録処理を手動、自動のいずれで行うかは、映像表示装置を利用する環境や、ユーザの好みに応じて適宜選択すればよい。

　図９は、ユーザ識別部１０９におけるユーザ識別処理フローを示す図である。
  Ｓ９０１では、カメラ１０２で撮影した画像内に、操作面２０１を操作するユーザを検出したか否かを判定する。ユーザを検出した場合にはＳ９０２に進む。

　Ｓ９０２では、Ｓ９０１において検出したユーザの画像に基づいて、ユーザの手の特徴を抽出する。そして、ユーザ管理部１０６のデータベースと照合する。照合に際しては、抽出したユーザの特徴を、データベースに登録されているユーザデータと比較する。
  Ｓ９０３では、照合の結果、検出したユーザの特徴と一致するユーザデータ（ユーザ特徴）がデータベースにあるか否かを判定する。一致するユーザデータがある場合はＳ９０４に進み、ない場合はＳ９０６に進む。

　Ｓ９０４では、一致したユーザデータのユーザＩＤを参照し、検出したユーザのユーザＩＤを識別する。例えば、検出したユーザの特徴が図６（ｂ）のユーザ特徴６００ａと一致すれば、そのユーザＩＤは「ユーザＡ」であることが分かる。
  Ｓ９０５では、一致したユーザデータの属性を参照し、検出したユーザの属性を識別する。例えば、検出したユーザの特徴が図６（ｂ）のユーザ特徴６００ａと一致すれば、そのユーザの属性は「特別」であることが分かる。ユーザに対して属性が付与されていない場合（Ｓ６０４が行われていない場合等）には、Ｓ９０５を省略してもよい。識別が完了したら識別処理フローを終了する。

　Ｓ９０６では、検出したユーザは未登録ユーザであると判定する。
  Ｓ９０７では、検出したユーザについてユーザ登録を行うか否かを判定する。この場合、ユーザに指示を仰ぐようにしてもよい。ユーザ登録を行う場合はＳ９０８へ進み、行わない場合は識別処理フローを終了する。

　Ｓ９０８では、前記したユーザ登録処理（図６のＳ６０１～Ｓ６０４）により、検出したユーザの登録を行う。あるいは、手動によるユーザ登録処理（図８のＳ８０２～８０９）を行ってもよい。

　上記したユーザ識別処理により、操作したユーザが登録されているか否か、登録されている場合は、そのユーザＩＤと属性を知ることができる。ユーザＩＤや属性が分かれば、ユーザＩＤや属性ごとに別途定められているルールに従って映像表示の制御を行う。

　次に、操作するユーザを識別し、ユーザＩＤやユーザの属性に応じて映像表示を制御するいくつかの事例について説明する。

　図１０は、異なるユーザに対して異なる映像を投写する例を示す図である。ここでは３人のユーザを識別し、映像投写部１５１は、ユーザＡ，Ｂの手に重ねるように異なる映像（映像パターン）１０００ａ，１０００ｂを投写している。投写する映像パターンは、ユーザＩＤごとに、あるいは属性ごとに予め定められた固有の形状や色を有する。映像の代わりに文字列を投写してもよい。また、特定のユーザ（例えば未登録ユーザ）に対しては映像を投写しないようにしてもよい。

　このようにユーザＩＤや属性に応じて予め決められた映像を投写することで、各ユーザは、自分のユーザデータ（ユーザ特徴やユーザＩＤや属性）がデータベースに正しく登録されているかどうかを確認することができる。

　図１１は、異なるユーザに対して異なる表示形式で映像を表示する例を示す図である。ここでは、ユーザＡ～Ｃが行った描画の操作に対して、その描画の軌跡（操作履歴）１１００ａ～１１００ｃを表示している。表示する軌跡は、ユーザＩＤや属性ごとに、線の太さや色、種類などの表示形式が異なるようにする。各ユーザＡ～Ｃに割り当てる表示形式は、映像表示装置側で自動的に設定する。

　このようにユーザＩＤや属性に応じて異なる形式で描画軌跡を表示することで、複数のユーザによる描画が混在しても、どのユーザによるものかを簡単に識別することができる。

　図１２は、異なるユーザに対して異なるメニューを表示する例を示す図である。ここで表示するメニューは、ユーザの操作を補助するためのツールであり、表示形式の選択枝などが相当する。操作面２０１には、操作を行っているユーザＡ～Ｃに対してそれぞれ異なるメニュー１２００ａ～１２００ｃを表示している。これらのメニュー１２００には、例えば、描画軌跡を表示する線の太さや色、種類を変えるためのインタフェースや、一度表示させた線を消去するためのインタフェース等が含まれる。表示するメニュー１２００ａ～１２００ｃは、ユーザＩＤごとに、あるいは属性ごとに項目や配置が異なるようにする。よって、ユーザごとに許可されている操作の種類が異なる場合には、それぞれのユーザに許可されている操作項目のみをメニューに表示する。あるいは、メニューの項目や配置をユーザの好みに応じて設定できるようにしてもよい。操作面２０１内のメニューの表示位置は、ユーザの移動に追従させ、常にユーザの近くに表示するのがよい。

　このようにユーザＩＤや属性に応じて異なるメニューを表示することで、複数のユーザによる描画がどのユーザによるものかを識別できるだけでなく、ユーザが描画途中で表示形式を変更することも容易になる。

　図１３は、異なるユーザに対して異なる表示処理を行う例を示す図である。ここでは、ユーザが一旦記述したものを消去する処理を取り上げる。

　（ａ）は、ユーザＡとユーザＢがそれぞれ文字１３００ａ、１３００ｂの記述を行った状態である。（ｂ）は、（ａ）の記述の後、ユーザＡが消去１３０１の操作を行った場合の処理を示し、ユーザＡによる記述１３００ａのみが消去され、ユーザＢによる記述１３００ｂは消去されずに残っている。一方（ｃ）は、（ａ）の記述の後、ユーザＢが消去１３０１の操作を行った場合の処理を示し、ユーザＢによる記述１３００ｂのみが消去され、ユーザＡによる記述１３００ａは消去されずに残っている。すなわち、各ユーザの行った操作（消去処理）はそのユーザの行った操作履歴（記述物）に対してのみ適用される。

　各ユーザの操作履歴をそのユーザＩＤと関連づけて管理することで、図１３で示したような処理が可能となる。その結果、複数のユーザが同時に操作しても各ユーザの操作が競合することがなく、他のユーザが行った操作履歴に影響を与えることはない。

　図１４は、ユーザの属性に応じて操作を制限する例を示す図である。ここでは機密性の高い処理Ｘ１４００に制限を加える例を示す。

　（ａ）では、特別ユーザ（属性＝特別）が、処理Ｘ１４００を実行するための操作を行っている。その結果、処理Ｘが正常に受け付けられ、（ｂ）ではその旨のメッセージ１４０１を表示している。

　（ｃ）では、一般ユーザ（属性＝一般）が、処理Ｘ１４００を実行するための操作を行っている。しかし、処理Ｘを行えるのは特別ユーザのみに制限され、処理Ｘは受け付けられない。このとき、一般ユーザに対して処理Ｘを実行できないことを通知するために、（ｄ）のように「一般ユーザは処理Ｘを実行することができません」等のメッセージ１４０２を表示するとよい。

　各属性に対してどの種類の操作を許可するかは予め設定しておく。その結果、例えば機密性や難度が高い処理は特別ユーザに限定することで、機密漏えいなどの事故を防止できる。

　図１５は、ユーザの属性に応じて操作を制限する他の例を示す図である。この例では、複数のユーザが同時に描画の操作を行っているが、特別ユーザのみの描画操作が受け付けられ、一般ユーザの描画操作が受け付けられない状態を示す。このとき、一般ユーザに対して処理を実行できないことを通知するために、例えば「特別ユーザの操作のみを受け付けています」等のメッセージ１５００を表示するとよい。

　このようにユーザの属性に応じて操作権限を与える（あるいは操作の優先順位を設定する）ことは、多数のユーザが同時に操作を行う場合に、複数操作により処理が混乱することを防止できる。例えば学校等で教師と多数の生徒が同時に操作するとき、教師の操作を優先して実行する場合に有効となる。

　なお、図１０～図１５において、ユーザ登録が済んでいない未登録のユーザが操作を行っている場合であっても、ユーザの特徴に基づいて暫定的にユーザＩＤや属性を付与し、登録済のユーザと同じように扱ってもよい。

　上述したように実施例１では、カメラ１０２でユーザの手を撮影し、操作検出部１０５においてユーザの操作を検出する。一方、ユーザ管理部１０６においてユーザごとに手の特徴とユーザＩＤ及び属性を管理し、ユーザ識別部１０７において操作するユーザの手の特徴からユーザＩＤ及び属性を識別する。

　その結果、ユーザＩＤや属性に応じて処理内容を切り替えることが可能となり、複数のユーザが同時に、あるいは入れ替わって操作した場合にも制御が混乱することなく安定して使い勝手の良い投射型映像表示装置を提供できる。

　実施例２では、ユーザ識別のためカメラでユーザの手及び顔を撮影する。そして、手及び顔の特徴に基づいて各ユーザを識別し、映像表示の制御を行うものである。

　実施例２において、投写型映像表示装置の構成は実施例１（図１）と同様である。実施例１ではカメラ１０２でユーザの手を撮影していたのに対し、実施例２ではユーザの手及び顔を撮影する。１台のカメラで手と顔の両方を撮影することが難しい場合は、カメラを複数台用意し、そのうちの１台で手を、他の１台で顔を撮影するようにしてもよい。あるいはカメラの数は１台とし、広角レンズや魚眼レンズをカメラに取り付けて撮影範囲を拡張することで、手と顔の両方を撮影できるようにしてもよい。

　ユーザ別操作検出部１１０において、操作検出部１０５はユーザの操作を検出するとともに、ユーザの識別用に、カメラ１０２で撮影した画像からユーザの手と顔の画像を抽出する。ユーザ管理部１０６は、各ユーザの手と顔の特徴をユーザデータとしてデータベースに登録する。ユーザ識別部１０７は、カメラ１０２で撮影した手と顔の画像をデータベースに登録されているユーザデータと照合し、操作を行っているユーザを識別する。

　操作検出部１０５における指と操作面との接触点を検出する処理は実施例１（図５）と同様である。ユーザ管理部１０６におけるユーザ登録処理は、実施例１（図６）と同様に行うが、Ｓ６０１、Ｓ６０２では、ユーザ特徴としてユーザの手及び顔の特徴を取り上げる。

　図１６は、ユーザ管理部１０６が管理するユーザデータの例を示す図である。実施例２では、カメラ１０２で撮影したユーザＡ～Ｃの手及び顔の画像に基づいて、ユーザの手に関する特徴６００ａ～６００ｃ、及び顔に関する特徴１６００ａ～１６００ｃを抽出して、データベースに登録する。ユーザの手の特徴を表すパラメータは、実施例１（図７）で説明した通りである。これに追加する顔の特徴１６００ａ～１６００ｃを表すパラメータとしては、顔のパーツの相対位置や大きさ、顔の輪郭、顔の色、目、鼻、口、あごの形状等が挙げられる。

　データベースに登録したユーザの手及び顔に関する特徴は、ユーザ識別処理において利用する。ユーザ登録処理は手動、自動のいずれでも可能であるが、映像表示装置を利用する環境や、ユーザの好みに応じていずれかを選択できるようにしてもよい。

　図２に示す映像表示装置の操作形態から分かるように、ユーザ２５１が操作面２０１を操作する場合には、ユーザの手は必ずカメラ１０２の撮影範囲内に存在する。しかし、ユーザの顔に関しては、ユーザの立ち位置やカメラが向けられている方向によっては、必ずしもカメラ１０２の撮影範囲内に存在するとは限らない。よって、ユーザの顔の特徴を登録するときは、ユーザの顔が撮影範囲内に入るのを待ってから登録処理をしなければならない。このような場合には、ユーザの顔の登録は手動で行うのがよい。

　図１７は、手動によるユーザ登録処理フローを示す図である。手動によるユーザ登録処理は、ユーザがユーザ登録モードを起動したことをトリガとして開始される。

　手動によるユーザ登録の処理では、実施例１（図８）で説明したＳ８０１～８０９の手の登録処理にＳ１７０１～１７０３の顔の登録処理を追加する。追加する位置は、例えばＳ８０２とＳ８０３の間とする。なお、ユーザの手の登録処理は片手だけでもよい。Ｓ１７０１～Ｓ１７０３では操作面２０１に表示される画面を表しており、ユーザは投写画面に従ってユーザ登録処理のための操作を行う。

　Ｓ１７０１では、ユーザに対してカメラを見るように通知する。
  Ｓ１７０２では、カメラ１０２で撮影中のカメラ映像１７１１を表示し、ユーザの顔を所定の位置に誘導する。ユーザが所定の位置に顔を移動させると、カメラ１０２はユーザの顔を撮影する。
  Ｓ１７０３では、顔の登録が完了した旨を通知する。

　その後Ｓ８０３～Ｓ８０６でユーザの手の特徴を登録し、Ｓ８０７とＳ８０８で、ユーザの手と顔の特徴にユーザＩＤと属性を付与することで、ユーザ登録を完了する。

　ユーザ識別部１０７におけるユーザ識別処理は、実施例１（図９）と同様である。ただしＳ９０２（ユーザ特徴の照合）では、検出したユーザの手の特徴と顔の特徴を組み合わせて、データベースに登録されている手と顔の特徴を比較する。照合に際して手と顔の両方の特徴を利用することで照合ミスの確率が減り、識別処理の信頼性をより高める効果がある。

　なお、図２に示す映像表示装置の操作形態では、操作中のユーザの顔に関しては必ずしもカメラ１０２の撮影範囲内に存在するとは限らない。ユーザの顔を撮影できない場合は手の特徴のみを用いて照合を行い、ユーザの顔を撮影できる場合は手の特徴と顔の特徴の両方を用いて照合を行うようにしてもよい。

　実施例２においても、実施例１の図１０～１５に示したユーザ識別による各種処理を同様に実現することは言うまでもない。

　実施例２においても、複数のユーザが同時に、あるいは入れ替わって使用した場合にも制御が混乱することなく安定して使い勝手の良い映像表示装置を提供できる。特に実施例２では、ユーザの手の特徴と顔の特徴を組み合わせて用いるので、ユーザの識別精度が向上し装置の信頼性をより高めることができる。

　実施例３では、ユーザ識別のためカメラでユーザの手及びユーザが装着するウェアラブル端末を撮影する。そして、手及びウェアラブル端末の特徴に基づいて各ユーザを識別し、映像表示の制御を行うものである。

　ここでウェアラブル端末とは、ユーザの指や手首、頭部等、身体に装着できる端末であり、例えば指輪、腕時計、メガネなどの一般の装着具、あるいは外形だけがそれらの装着具の形状を有するものでもよい。さらに、ウェアラブル端末が通信機能を有するものでもよい。また、ユーザが装着するウェアラブル端末は各ユーザが自分で所有するものでもよいし、映像表示装置の操作のために各ユーザに割り当てられたものでもよい。

　実施例３において、投写型映像表示装置の構成は実施例１（図１）と同様である。実施例３ではカメラ１０２でユーザの手及びウェアラブル端末を撮影する。１台のカメラで手とウェアラブル端末の両方を撮影することが難しい場合には、カメラを複数台用意し、そのうちの１台で手を、他の１台でウェアラブル端末を撮影するようにしてもよい。あるいはカメラの数は１台とし、広角レンズや魚眼レンズをカメラに取り付けて撮影範囲を拡張することで、手とウェアラブル端末の両方を撮影できるようにしてもよい。

　ユーザ別操作検出部１１０において、操作検出部１０５はユーザの操作を検出するとともに、ユーザの識別用に、カメラ１０２で撮影した画像からユーザの手とウェアラブル端末の画像を抽出する。ユーザ管理部１０６は、各ユーザの手とウェアラブル端末の特徴をユーザデータとしてデータベースに登録する。ユーザ識別部１０７は、カメラ１０２で撮影した手とウェアラブル端末の画像をデータベースに登録されているユーザデータと照合し、操作を行っているユーザを識別する。

　操作検出部１０５における指と操作面との接触点を検出する処理は実施例１（図５）と同様である。ユーザ管理部１０６におけるユーザ登録処理は、実施例１（図６）と同様に行うが、Ｓ６０１、Ｓ６０２では、ユーザ特徴としてユーザの手及びウェアラブル端末の特徴を登録する。

　図１８は、ユーザ管理部１０６が管理するユーザデータの例を示す図である。実施例３では、カメラ１０２で撮影したユーザＡ～Ｃの手及びウェアラブル端末（ここでは腕時計）の画像に基づいて、ユーザの手に関する特徴６００ａ～６００ｃ、及びウェアラブル端末に関する特徴１８００ａ～１８００ｃを抽出して、データベースに登録する。ユーザの手の特徴を表すパラメータは、実施例１（図７）で説明した通りである。これに追加するウェアラブル端末の特徴１８００ａ～１８００ｃを表すパラメータとしては、端末（腕時計）の大きさ、形状、色等が挙げられる。

　データベースに登録したユーザの手及び顔に関する特徴は、ユーザ識別処理において利用する。ユーザ登録処理は手動、自動のいずれでも可能であるが、映像表示装置を利用する環境や、ユーザの好みに応じていずれかを選択できるようにしてもよい。以下、手動によるユーザ登録処理について説明する。

　手動によるユーザ登録の処理は、ウェアラブル端末が手に装着するものである場合、実施例１（図８）の処理と同様である。ユーザは、それぞれ各自の右手あるいは左手にウェアラブル端末を装着していると想定する。右手に装着している場合はＳ８０３において、左手に装着している場合はＳ８０５において、ユーザの手を撮影するとともにウェアラブル端末も撮影し、手の特徴及びウェアラブル端末の特徴を抽出してユーザ特徴としてデータベースに登録する。

　なお、ウェアラブル端末が顔に装着するもの（例えばメガネ）である場合、実施例２（図１７）の処理を適用すればよい。すなわち、Ｓ１７０２においてユーザの顔を撮影し、その画像の中からウェアラブル端末（メガネ）の部分を抽出すればよい。

　ユーザ識別部１０７におけるユーザ識別処理は、実施例１（図９）と同様である。ただしＳ９０２（ユーザ特徴の照合）では、検出したユーザの手の特徴とウェアラブル端末の特徴を組み合わせて、データベースに登録されている手とウェアラブル端末の特徴を比較する。照合に際して手とウェアラブル端末の両方の特徴を利用することで照合ミスの確率が減り、識別処理の信頼性をより高める効果がある。

　なお、ユーザがウェアラブル端末を装着していない手で操作を行っている場合など、カメラでウェアラブル端末を撮影できない場合は手の特徴のみを用いて照合を行い、ウェアラブル端末を撮影できる場合は手の特徴とウェアラブル端末の特徴の両方を用いて照合を行うようにしてもよい。

　本実施例では、形状や色などに特徴のあるウェアラブル端末を使用して照合するので、手や顔を使用する場合に比べてユーザの識別機能が向上する。

　さらに、ウェアラブル端末が通信機能を有する場合は、通信機能を利用してユーザを識別できる。その場合のユーザ登録処理では、予め検出機能部１０１は通信部１０８を介してウェアラブル端末と通信し、各ウェアラブル端末から当該端末を識別可能な端末ＩＤ情報を取得する。ユーザ管理部１０６は、取得した端末ＩＤ情報をユーザＩＤとともにデータベースに登録しておく（図１８参照）。ユーザ識別部１０７は、カメラ画像から抽出したユーザが装着するウェアラブル端末の特徴だけでなく、検出機能部１０１がウェアラブル端末と通信して取得した端末ＩＤ情報をもとに、データベースに登録してあるユーザデータ（ウェアラブル端末の特徴と端末ＩＤ情報）と照合してユーザを識別する。端末ＩＤ情報を用いることで、ユーザ識別の精度がさらに向上する。

　実施例３においても、実施例１の図１０～１５に示したユーザ識別による各種処理を同様に実現することは言うまでもない。

　実施例３においても、複数のユーザが同時に、あるいは入れ替わって使用した場合にも制御が混乱することなく安定して使い勝手の良い映像表示装置を提供できる。特に実施例３では、ユーザの手の特徴と装着するウェアラブル端末の特徴を組み合わせて用いるので、ユーザの識別精度が向上し装置の信頼性をより高めることができる。

　実施例４では、ユーザが操作のため操作用ペンを使用する場合のユーザ識別について説明する。カメラでユーザの手を撮影して手の特徴を取得するだけでなく、その手がペンを把持しているか否かに基づいて各ユーザを識別し、映像表示の制御を行うものである。ここで操作用のペンの構造は特に限定しないが、後述するように接触時に発光するものでもよい。また、使用するペンはユーザごとに区別する必要はない。

　実施例４において、投写型映像表示装置の構成は実施例１（図１）と同様である。実施例４では、カメラ１０２でユーザの手を撮影し、ユーザの手がペンを把持している場合にはそのペンも併せて撮影する。

　ユーザ別操作検出部１１０において、操作検出部１０５はユーザの操作を検出するとともに、ユーザの識別用に、カメラ１０２で撮影した画像からユーザの手とペンの画像を抽出する。ユーザ管理部１０６は、各ユーザの手の特徴とペンの有無をユーザデータとしてデータベースに登録する。ユーザ識別部１０７は、カメラ１０２で撮影した手とペンの画像をデータベースに登録されているユーザデータと照合し、操作を行っているユーザを識別する。

　操作検出部１０５では、ペンと操作面との接触点を検出する処理を行う。なお、ペンを把持しないユーザが指で操作面と接触する場合は実施例１（図５）と同様である。

　図１９は、ペンと操作面との接触点を検出する処理を説明する図である。使用するペンは、接面時に先端が発光しないタイプ（非発光ペン）と、接面時に発光するタイプ（発光ペン、または電子ペン）に分けて説明する。

　（ａ）は、接面時に先端が発光しないペン１９５１をカメラ１０２で撮影した様子を示す。図３～４で説明した指４００の影の場合と同様に、ユーザがペン１９５１を把持しているとペン１９５１の両側に、照明１０４による影１９０１と、照明１０３による影１９０２が生じる。２つの影１９０１，１９０２の距離は、ペン１９５１が操作面２０１に近づくにしたがって小さくなる。ここで各影の先端にそれぞれ特徴点１９０３，１９０４を設定し、特徴点間の距離ｄで影１９０１，１９０２の距離を定義する。特徴点間の距離ｄが所定の値より小さい場合に、ペン１９５１の先端が操作面２０１に接していると判定する。このとき、特徴点１９０３，１９０４の中点１９０５をペン１９５１と操作面２０１との接触点として検出する。

　（ｂ）は、接面時に先端が発光する発光ペン１９５２をカメラ１０２で撮影した様子を示す。発光ペン１９５２は感圧センサ、発光素子、回路基板等で構成され、感圧センサにより先端が面に接触しているか否かを検出する。発光ペン１９５２の先端が接触している場合は発光素子が点灯し、接触していない場合は発光素子が消灯する。ユーザの操作により発光ペン１９５２が発光するときは、先端に発光領域１９０６が形成される。このとき、発光領域１９０６の中心位置を発光ペン１９５２と操作面２０１との接触点１９０７として検出する。
  なお、操作検出部１０５における処理は、同様の結果を得るための他の画像処理のアルゴリズムを用いてもよい。

　ユーザ管理部１０６におけるユーザ登録処理は、Ｓ６０４を除いて実施例１（図６）と同様に行うが、Ｓ６０４の属性付与では、ペンの有無に基づいて設定する場合を説明する。

　図２０は、ユーザ管理部１０６が管理するユーザデータの例を示す図である。実施例１では、各ユーザに対して「特別」または「一般」等の属性を固定して付与した。これに対し実施例４では、各ユーザに対する属性を固定せず、状況に応じて属性を決定するようにした。そのための属性決定ルールとして、ここでは、ユーザがペンを把持している場合には「特別ユーザ」とし、ペンを把持していない場合には「一般ユーザ」として扱うことにする。

　ユーザ登録処理は手動、自動のいずれでも可能であるが、映像表示装置を利用する環境や、ユーザの好みに応じていずれかを選択できるようにしてもよい。なお、手動によるユーザ登録の処理では、実施例１（図８）における属性決定処理（Ｓ８０８）はユーザが選択するものではなく、ユーザ画像からペンの有無に基づいて自動的に決定される。

　ユーザ識別部１０７におけるユーザ識別処理は、実施例１（図９）と同様である。ただしＳ９０５（属性の識別）では、図２０のユーザデータに登録されているユーザの属性決定ルールに従って属性を識別する。すなわち、ペンを把持している場合には特別ユーザ、ペンを把持していない場合には一般ユーザであると識別する。

　本実施例では、ユーザの手の特徴からユーザを識別し、ユーザがペンを把持しているか否かで属性を識別するようにした。そして、ペンを把持しているユーザは特別ユーザとして扱われるので、ペンを把持していない一般ユーザよりも操作優先度が高い。よって、複数のユーザの間でペンの使用者を変更することで、操作優先する特別ユーザを容易に変更することができる。

　実施例４においても、実施例１の図１０～１５に示したユーザ識別による各種処理を同様に実現することは言うまでもない。

　実施例４においても、複数のユーザが同時に、あるいは入れ替わって使用した場合にも制御が混乱することなく安定して使い勝手の良い映像表示装置を提供できる。特に実施例４では、ユーザがペンを用いて操作することで、操作を優先するユーザの設定を容易に変更でき、使い勝手がさらに向上する。

　１０１：機能検出部（操作検出装置）、
　１０２：カメラ（撮像部）、
　１０３，１０４：照明、
　１０５：操作検出部、
　１０６：ユーザ管理部、
　１０７：ユーザ識別部、
　１０８：通信部、
　１０９：制御部、
　１１０：ユーザ別操作検出部、
　１２１：検出結果データ、
　１５１：表示機能部、
　１５２：通信部、
　１５３：映像投写部、
　１５４：制御部（映像処理部）、
　２０１：操作面、
　２５１：ユーザ、
　２５２，４００：指、
　４０１，４０２：影、
　４０３，４０４：特徴点、
　５５１：接触点、
　６００，１６００：ユーザ特徴、
　１８００：ウェアラブル端末、
　１９５１，１９５２：操作用ペン。

Claims (13)

1. 　投写面に映像を投写して表示する投写型映像表示装置において、
   　前記投写面の映像投写領域を撮像する撮像部と、
   　前記撮像部により撮像した画像に基づいて、映像表示に対するユーザの操作内容を検出する操作検出部と、
   　前記撮像部により撮像した画像に基づいて、前記操作を行ったユーザを識別するユーザ識別部と、
   　前記ユーザの操作内容と前記ユーザの識別結果に応じて、前記投写面に表示する映像の処理を行う映像処理部と、
   　前記映像処理部にて処理した映像を前記投写面に投写する映像投写部と、
   　を備えることを特徴とする投写型映像表示装置。
2. 　請求項１に記載の投写型映像表示装置であって、
   　前記操作を行うユーザ毎に、予めユーザの手、顔、及び装着物の少なくとも１つの画像の特徴をユーザデータとして登録するユーザ管理部を備え、
   　前記ユーザ識別部では、前記撮像部にて撮像したユーザの画像と、前記ユーザ管理部に登録されたユーザデータを照合して、前記操作を行ったユーザを識別することを特徴とする投写型映像表示装置。
3. 　請求項２に記載の投写型映像表示装置であって、
   　前記ユーザ管理部では、前記操作を行うユーザを操作権限で分類し、該操作権限に応じた属性をユーザごとに付与して前記ユーザデータに登録し、
   　前記映像処理部では、前記操作を行ったユーザと該ユーザに付与された属性に応じて、前記投写面に表示する映像の処理を行うことを特徴とする投写型映像表示装置。
4. 　投写面に映像を投写して表示する映像表示方法において、
   　前記投写面の映像投写領域を撮像する撮像ステップと、
   　前記撮像ステップにより撮像した画像に基づいて、映像表示に対するユーザの操作内容を検出する操作検出ステップと、
   　前記撮像ステップにより撮像した画像に基づいて、前記操作を行ったユーザを識別するユーザ識別ステップと、
   　前記ユーザの操作内容と前記ユーザの識別結果に応じて、前記投写面に表示する映像の処理を行う映像処理ステップと、
   　を備えることを特徴とする映像表示方法。
5. 　請求項４に記載の映像表示方法であって、
   　前記操作を行うユーザ毎に、予めユーザの手、顔、及び装着物の少なくとも１つの画像の特徴をユーザデータとして登録するユーザ登録ステップを備え、
   　前記ユーザ識別ステップでは、前記撮像ステップにて撮像したユーザの画像と、前記ユーザ登録ステップにて登録したユーザデータを照合して、前記操作を行ったユーザを識別することを特徴とする映像表示方法。
6. 　請求項４または５に記載の映像表示方法であって、
   　前記操作を行うユーザを操作権限で分類し、該操作権限に応じた属性を付与する属性付与ステップを備え、
   　前記映像処理ステップでは、前記操作を行ったユーザと該ユーザに付与された属性に応じて、前記投写面に表示する映像の処理を行うことを特徴とする映像表示方法。
7. 　請求項４または５に記載の映像表示方法であって、
   　前記映像処理ステップにて、前記操作を行ったユーザの操作物を投写面として、予め定められた該ユーザに固有の映像パターンを表示する処理を行うことを特徴とする映像表示方法。
8. 　請求項５に記載の映像表示方法であって、
   　前記ユーザが通信可能な端末を装着している場合には、
   　前記ユーザ登録ステップにて、予め前記端末の端末ＩＤを前記ユーザのユーザデータとして登録し、
   　前記ユーザ識別ステップでは、前記操作を行うユーザの端末と通信して該端末の端末ＩＤを取得し、前記登録したユーザデータの端末ＩＤと照合することで前記操作を行ったユーザを識別することを特徴とする映像表示方法。
9. 　請求項６に記載の映像表示方法であって、
   　前記操作検出ステップにて、前記操作を行うユーザが操作用ペンを把持していることを検出した場合には、
   　前記属性付与ステップでは、操作用ペンを把持しているユーザに対し操作用ペンを把持していないユーザよりも高い操作権限の属性を付与することを特徴とする映像表示方法。
10. 　映像の投写面に対するユーザの操作を検出する操作検出装置において、
    　前記投写面の映像投写領域を撮像する撮像部と、
    　前記撮像部により撮像した画像に基づいて、ユーザの操作内容を検出する操作検出部と、
    　前記撮像部により撮像した画像に基づいて、前記操作を行ったユーザを識別するユーザ識別部と、
    　前記検出したユーザの操作内容とともに、前記操作を行ったユーザの識別結果を出力する出力部と、
    　を備えることを特徴とする操作検出装置。
11. 　請求項１０に記載の操作検出装置であって、
    　前記操作を行うユーザ毎に、予めユーザの手、顔、及び装着物の少なくとも１つの画像の特徴をユーザデータとして登録するユーザ管理部を備え、
    　前記ユーザ識別部では、前記撮像部にて撮像したユーザの画像と、前記ユーザ管理部に登録されたユーザデータを照合して、前記操作を行ったユーザを識別することを特徴とする操作検出装置。
12. 　請求項１１に記載の操作検出装置であって、
    　前記ユーザ管理部では、前記操作を行うユーザを操作権限で分類し、該操作権限に応じた属性をユーザごとに付与して前記ユーザデータに登録し、
    　前記ユーザデータを参照し、前記出力部から、前記操作を行ったユーザの識別結果とともに該ユーザの属性情報を出力することを特徴とする操作検出装置。
13. 　請求項１２に記載の操作検出装置であって、
    　前記操作検出部にて、前記操作を行うユーザが操作用ペンを把持していることを検出した場合には、
    　前記ユーザ管理部では、操作用ペンを把持しているユーザに対し操作用ペンを把持していないユーザよりも高い操作権限の属性を付与することを特徴とする操作検出装置。

Images