JP6393341B2 - 投射型映像表示装置 - Google Patents

Description

本発明は、画像を投射する投射型映像表示技術に関するものである。

映像を投射して表示する装置に関しては多くの技術が考案されている。

特許文献１は、「安価且つ高速に手指の状態を検出することが可能な手指ジェスチャ検出装置を提供する、ことを課題とし、手指ジェスチャ検出装置は、複数の光源と、１つのカメラと、画像認識部とからなる。複数の光源は、検出面に入力される手指に対して複数の位置から光を照射し、複数の照射光にそれぞれ対応する手指の複数の影の像を検出面上に形成するものである。１つのカメラは、検出面に対して垂直方向に離れた位置に配置され、複数の光源により形成される複数の影の像及び手指の像を撮像するものである。画像認識部は、１つのカメラにより撮像される複数の影の像及び手指の像を認識し、影の像及び手指の像の状態により検出面に入力される手指の状態を検出する」技術を開示している（要約抜粋）。

また、特許文献２は、「使用者の操作に用いる手指を簡便に判断する情報表示装置を提供する、ことを課題とし、使用者の手の動きに応じて表示装置の表示内容を制御する表示制御装置であって、使用者の身体の空間上の位置を検出する検出センサからの検出結果に基づいて、使用者の顔の向きに使用者の手が位置したことを認識したことに応じて、当該使用者の手を操作用の手として特定する特定部と、前記操作用の手の動きを認識して、表示装置の表示内容に対する操作指示を取得する指示取得部と、操作指示に応じて表示装置の表示内容を制御する表示制御部と、を備える表示制御装置を提供する」技術を開示している（要約抜粋）。

また、特許文献３は、「同時に検出された複数箇所へのタッチ操作が一人の操作者によるマルチタッチ操作であるか複数人の操作者による個別のシングルタッチ操作であるかを的確に判定可能な操作表示装置を提供する、ことを課題とし、表示面上への複数のタッチ操作が同時に検出された場合に、指形状検出部によって検出された各タッチ操作に係る指の形状（たとえば、接触部分の面積や形状の類似性、指先の方向の一致・不一致など）から複数のタッチ操作が一人の操作者による操作か、複数の操作者による操作かを判定し、その判定結果に応じて表示部の表示内容を変更する」技術を開示している（要約抜粋）。

また、特許文献４は、「ユーザの手等の被写体の移動に基づくコマンドと、移動以外の被写体のジェスチャに基づくコマンドを区別して入力できるようにする、ことを課題とし、入力ユーザーインターフェイス装置は、被写体像を含む画像を撮像する電子カメラと、電子カメラによって撮像された前記画像の中の前記被写体像の形状を検出する形状検出装置と、電子カメラによって撮像された前記画像の中の前記被写体像のジェスチャを検出するジェスチャ検出装置、形状検出装置によって検出された前記形状及びジェスチャ検出装置によって検出された前記ジェスチャからコマンドを決定する制御部と、を備える」技術を開示している（要約抜粋）。

特開２０１２−６８６９０号公報 特開２０１３−２３９０８９号公報 欧州特許出願公開第２６８５３６８号明細書 米国特許出願公開第２０１３／０２４９７９０号明細書

特許文献１の技術は、検出面に対して垂直方向にカメラを設置するため、投射面の設置の汎用性が低い。

また、特許文献２の技術は、操作者の眼前でのみ手指による操作が可能であり、操作範囲が狭い。

また、特許文献３の技術は、操作者の位置や操作の方向等を、接触部分の面積、形状から識別しているため、ある操作者の毎回の操作が定型的に実行される保証が無い、あるいは異なる操作者の操作形状が類似してしまう可能性がある、などにより認識の精度について更なる改善の余地がある。

また、特許文献４の技術は、ポインタの位置移動操作の情報のみをコンピュータに送信しており、手指操作の使用用途は限られているという課題がある。また、いずれの技術においても、ユーザの手指の形状や動作等を認識したうえで、これを利用して如何に装置の使い勝手をよくするかについては、さらに工夫の余地があると考えられる。

本発明は上記事情に鑑みてなされたものであり、投射型映像表示装置の操作性をより向上させる技術を提供することを目的とする。

上記課題を解決するため、本発明は、表示映像を投射面上に投射する投射部及び前記投射面を撮像して撮像画像を出力する撮像部を備えた投射型映像表示装置を、ポインタ操作入力及びキー入力による入力操作を受け付ける外部の情報処理装置に接続し、前記撮像画像に基づいて、前記情報処理装置に対する入力操作のための動作を行う操作オブジェクトの移動、及び前記操作オブジェクトの移動とは異なる前記操作オブジェクトの状態を表す属性を検出し、前記操作オブジェクトの移動に基づいて、前記外部の情報処理装置に対して前記ポインタ操作入力を行うための第１の制御情報を生成するとともに、前記検出部が検出した操作オブジェクトの前記属性に基づいて、前記外部の情報処理装置に対して前記所定のキー入力を行うための第２の制御情報を生成し、前記第１の制御情報及び前記第２の制御情報を前記外部の情報処理装置に送信し、前記第１の制御情報及び前記第２の制御情報に基づいて生成された操作ポインタ及び前記操作モードを示すマークの少なくとも一つを示す映像を前記投射面に投射することを特徴とする。

本発明によれば、投射型映像表示装置の操作性をより向上させることができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

机上に設置した投射型映像表示装置で、映像を机の天面に投射した状態を示す図。 投射型映像表示装置１を壁面に据え付けた例とユーザ６の操作を行う状態の一例を示す図であって、（ａ）は正面図、（ｂ）は側面図を示す。 投射型映像表示装置１のハードウェア構成を示すブロック図。 投射型映像表示装置１の内部構成を示すブロック図。 ユーザの影画像の形状の一例を示す図であって、（ａ）は投射面にユーザの指が接触していないときの影画像を示し、（ｂ）は投射面にユーザの指が接触しているときの影画像を示す。 ユーザの操作位置による影の形状の影響を示す図。 指と操作面の間隙と影の形状との関係を示す図。 特徴点による接近度の判定を説明する図。 特徴点による接触点の決定を説明する図。 特徴点を他の位置に設定した場合を示す図。 複数の指で操作する場合の影の形状を示す図。 図１２は指さし方向を算出する処理であって、（ａ）は影画像の内側輪郭線を使用した例、（ｂ）は影画像の外側輪郭線を使用した例、（ｃ）は、輪郭線の中線の使用した例である。 第一実施形態における操作検出方法の処理の流れを示すフローチャートであって、（ａ）は接近度と接触点の検出処理を示し、（ｂ）は指さし方向の検出処理を示す。 指の接近度に応じた制御の一例を示す図。 表示制御部１１１における指さし方向に応じた制御の一例を示す図であって、（ａ）はポインタ表示位置の補正、（ｂ）はポインタ表示方向の補正、（ｃ）は接触点の補正を示す。 ２点同時の接触操作に応じた制御の一例を示す図。 ２点同時操作結果の判別方法の処理の流れを示すフローチャート。 ３次元ＣＡＤデータ図面閲覧時の操作方法の一例を示す図。 投射型映像表示装置から映像出力装置への操作指示情報の伝送方法の処理フローを示す図。 手指の形状と操作指示情報との対応を設定する操作情報登録画面であって、（ａ）は選択肢を用いて手指の形状を選択する画面例、（ｂ）は手指形状を示すイラストを用いた画面例である。 左右の手によるタッチ操作の模式図であって、（ａ）はユーザが手の甲を自分自身の側に向けた状態で人差し指を突き出した右手による操作を示し、（ｂ）は掌を自分自身の側に向けた状態で人差し指を突き出した左手による操作を示す。 取得される血脈形状の模式図を示し、（ａ）は手の甲を正面に向けた右手を示し、（ｂ）は掌を正面に向けた左手を示す。 ユーザ操作の手指形状を正面および側面から表現した模式図と、その操作に対する投射型映像表示装置１の応答出力とを関連付けて示した図。 拳部分の接触の有無の判断処理を示す図であって、（ａ）は手指の非接触時の影を示し、（ｂ）は拳のみが接触したときの影の状態を示し、（ｃ）は指接触時（通常のタッチ操作）の影を示す。 接触させる指の本数が異なるジェスチャ動作と太さが異なるペンとを関連付けた図であって、（ａ）は通常の接触操作を示し、（ｂ）は二本指での接触操作を示す。 指圧が異なるジェスチャ動作と太さが異なるペンとを関連付けた図であって、（ａ）は通常の接触操作を示し、（ｂ）はより強い（手先の接触面積を広くした）接触操作を示す。 指圧が異なるジェスチャ動作の影形状を示す図であって、（ａ）は非接触時の影、（ｂ）は通常接触時の影、（ｃ）は指圧が強いときの影を示す。 表示画面外からの操作方法の一例を示す図。 操作検出機能付投射型映像表示装置の設定メニュー表示の一例を示す図。

以下、本発明の実施形態について図面を用いて説明する。全図を通じて同一の構成には同一の符号を付して重複説明を省略する。

＜第一実施形態＞
第一実施形態は、ユーザがジェスチャ入力で表示画面を制御する投射型映像表示装置である。まず、図１及び図２を参照して、本実施形態に係る投射型映像表示装置の設置例について説明する。図１は、机上に設置した投射型映像表示装置１で、映像を机の天面に投射した状態を示す図である。図２は、投射型映像表示装置１を壁面に据え付けた例とユーザ６の操作を行う状態の一例を示す図であって、（ａ）は正面図、（ｂ）は側面図を示す。

図１に示すように、投射型映像表示装置１を机上に設置すると、机を移動した際の投射型映像表示装置の位置の調整が基本的には不要となる。表示画面２０は投射型映像表示装置１の机上の天面（投射面に相当する）３に投射された最大投射範囲２内の部分画像である。ユーザ６は操作オブジェクトとしての指３０を投射面３に接近させ、またある位置に接触させることで所望の操作を行う。ユーザ６は例えば表示内容に対して例えば独自の文字列を記載したり、表示内容の重要な点をマークするなどの操作を実行するために、投射面３上で接近・接触操作を実行する。ユーザ６による操作、およびその検出方法については後述する。

投射型映像表示装置１は、その前面にカメラ１００、右照明部１０１、左照明部１０２、及び画像を映像投射面に投射する投射部１１５を備える。右照明部１０１、左照明部１０２は、可視光又は非可視光（例えば赤外線）をユーザの手、ポインタ等の操作オブジェクトに照射する。カメラ１００は、右照明部１０１、左照明部１０２の照射光がユーザの手、ポインタ等の操作オブジェクトを照らして映像投射面に形成する影を撮像し、影画像を出力する。従って、カメラ１００は撮像部に相当する。右照明部１０１、左照明部１０２が交互に投光し、カメラ１００がその都度影画像を出力することにより、操作オブジェクト本体に向かって操作オブジェクトの右側に形成される影を撮像した右画像、左側に形成される左画像が交互に出力される。または、右照明部１０１及び左照明部１０２を同時に照明した状態で、カメラ１００が投射面を撮像し、操作オブジェクトの左右に形成される影が撮像された影画像を出力してもよい。

これらの影画像は、操作オブジェクトの映像投射面への接近度、接触点、指さし方向を検出するが、詳細は後述する。なお、投射型映像表示装置１を机上に設置することにより、右照明部１０１、左照明部１０２が操作オブジェクトを照射する際に、投射部１１５から投光される光が遮蔽される機会を低減することができる。

投射型映像表示装置１が、投射部１１５から画像（動画像、静止画像を含む）を光学的に投射できる最大の範囲（以下「最大投射範囲）という）２は、図１において破線内の領域である。投射型映像表示装置１が、最大投射範囲２の中において実際に映像を投射する領域（以下「表示画面」という）は、表示画面２０である。表示画面２０は、後記するＯＳＤ（オンスクリーンディスプレイ）の画面に相当する。即ち、表示画面２０に表示される画像は最大投射範囲２の中の部分画像である。

例えば、机の周囲にいる人に対して、装置の設計図を最大投射範囲２の全体に表示し、表示画面２０に設計図の解説資料を表示するような使い方が考えられる。

投射型映像表示装置１は、映像出力装置４（外部の情報処理装置に相当する）に映像伝送用ケーブル５で通信接続されており、表示画面２０のデータは映像出力装置４から伝送される。映像出力装置４は一般的なパーソナルコンピュータやタブレット型端末、ビデオカメラでも良く、変形例として、投射型映像表示装置内にデータ処理部を有して、可搬型の記憶装置を投射型映像表示装置１に接続して、記憶装置内のデータを投射するといった使用例もある。

投射型映像表示装置１の他例として、図２（ａ）、（ｂ）に示すように、投射型映像表示装置１を壁面に固定し、投射面３が机の天面のような水平面ではなく、建物の壁面などの垂直面を投射面としてもよい。この場合、ユーザ６は投射面３に正対する。

図３及び図４を参照して投射型映像表示装置１の構成について説明する。図３は、投射型映像表示装置１のハードウェア構成を示すブロック図である。図４は、第一実施形態に係る投射型映像表示装置１の内部構成を示すブロック図である。

図３に示すように、投射型映像表示装置１は、本体部１０、カメラ１００、右照明部１０１、左照明部１０２、投射部１１５を備える。本体部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４、Ｉ／Ｆ１５、及びバス１８含む。そして、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ＨＤＤ１４、及びＩ／Ｆ１５がバス１８を介して互いに接続されて構成される。

本体部１０は、Ｉ／Ｆ１５を介してカメラ１００、右照明部１０１、左照明部１０２、及び投射部１１５に接続されて、投射型映像表示装置１が構成される。また投射型映像表示装置１は、Ｉ／Ｆ１５に映像出力装置４が接続される。そして映像出力装置４から出力された映像信号が、映像伝送用ケーブル５、Ｉ／Ｆ１５を介してＲＡＭ１２にロードされ、投射部１１５から表示画面２０に対して投射される。

図４を参照して投射型映像表示装置１の機能構成について説明する。投射型映像表示装置１は、カメラ１００、右照明部１０１、左照明部１０２、影領域抽出部１０４、特徴点検出部１０５、接近度検出部１０６、接触点検出部１０７、輪郭検出部１０８、方向検出部１０９、制御部１１０、表示制御部１１１、駆動回路部１１２、入力端子部１１３、入力信号処理部１１４、投射部１１５、操作信号入出力部１１６、及びデータバス１１７を含む。影領域抽出部１０４、特徴点検出部１０５、接近度検出部１０６、接触点検出部１０７、輪郭検出部１０８、方向検出部１０９、制御部１１０、表示制御部１１１は、各機能を実現するプログラムが、ＲＡＭ１２にロードされ、ＣＰＵ１１がそれらのプログラムを実行することにより形成される。

上記構成の内、影領域抽出部１０４、特徴点検出部１０５、接近度検出部１０６、接触点検出部１０７、輪郭検出部１０８、及び方向検出部１０９は、これらが連携して動作することにより、カメラ１００の撮像画像に基づいて、映像出力装置４に対する入力操作のための動作を行う操作オブジェクトの状態を検出する。従って、上記影領域抽出部１０４、特徴点検出部１０５、接近度検出部１０６、接触点検出部１０７、輪郭検出部１０８、及び方向検出部１０９を総称して検出部と称する。

制御部１１０は、検出部が検出した操作オブジェクトの状態（移動及び属性を含む）に基づいて入力操作の内容を示す操作指示情報を生成する操作指示情報生成部に相当する。

また、入力端子部１１３及び操作信号入出力部１１６は映像出力装置に通信接続をする通信部に相当する。

カメラ１００は、イメージセンサ、レンズを含んで構成され、操作オブジェクトとしてのユーザ６の指３０を含む左画像、右画像を撮像する。

右照明部１０１、左照明部１０２は、発光ダイオード、回路基板、レンズを含んで構成され、投射面３およびユーザ６の指３０に照明光を照射して、カメラ１００で撮像する画像内に指３０の影を投影する。

なお、右照明部１０１、左照明部１０２は赤外光照明、カメラ１００は赤外光カメラを用いてもよい。これにより、カメラ１００で撮像する赤外光画像を、投射型映像表示装置１から投写される映像信号の映像である可視光映像から分離して取得することができる。なお、照明光・撮像光は、投射型映像表示装置１の投写映像と分離できる可視光外光線であればよいので、赤外光でなく、紫外光を用いてもよい。

影領域抽出部１０４は、カメラ１００で得られた右画像及び左画像のそれぞれから影領域を抽出し影画像を生成する。例えば、右画像及び左画像のそれぞれから予め撮像した投射面３の背景画像を減算して差分画像を生成し、差分画像の輝度を所定の閾値Ｌｔｈで二値化して、閾値以下の領域を影領域とすれば良い。さらに、抽出した影に対して互いに連結していない影の領域をそれぞれ別の影として区別する、いわゆるラベリング処理を行う。ラベリング処理により、抽出した複数の影についてどの指に対応するか、すなわち１本の指に対応する対となる２つの影を識別することができる。

特徴点検出部１０５は、影領域抽出部１０４で抽出した影画像内の特定の位置（以下、特徴点と呼ぶ）を検出する。例えば特徴点として、影画像内の先端位置（指先位置に対応）を検出する。特徴点検出のためには種々の手法が用いられるが、先端位置の場合はその影画像を構成する画素の座標データから検出可能であり、あるいは特徴点の持つ特有の形状に一致する部分を画像認識などにより検出することでも可能である。特徴点は１つの影から１箇所検出されるので、１本の指（２つの影）に対しては２か所検出される。

接近度検出部１０６は、特徴点検出部１０５で検出した２つの特徴点間の距離ｄ（図８参照）を測定し、距離ｄに基づいて指と操作面との間隙ｓ（接近度Ａ）を検出する。これにより、指が操作面に接触しているか、接触していないかを判定する。

接触点検出部１０７は、接近度検出部１０６により指が操作面に接触していると判定した場合、その特徴点の位置に基づいて、操作面に対する指の接触点を検出し、その座標を算出する。

輪郭検出部１０８は、影領域抽出部１０４で抽出した影画像から影領域の輪郭を抽出する。例えば、影画像内を一定の方向に走査して輪郭追跡の開始画素を決定し、開始画素の近傍画素を反時計回りで追跡することで輪郭が得られる。

方向検出部１０９は、輪郭検出部１０８で検出した輪郭線からほぼ直線状の線分を抽出する。そして、抽出した輪郭線の方向に基づいて、操作面上の指の指さし方向を検出する。

なお、上記した各検出部の処理は、上記手法に限らず、他の画像処理のアルゴリズムを用いても良い。また、上記した各検出部は、回路基板によるハードウェアだけでなく、ソフトウェアで構成することもできる。

制御部１１０は、投射型映像表示装置１全体の動作を制御し、データバス１１７を介して各部間のデータ送受信を適宜制御し、各検出部で検出した操作面に対する指の接近度、接触点座標、指さし方向などの検出結果データを生成する。

表示制御部１１１は、制御部１１０で生成した指の接近度、接触点座標、指さし方向などの検出結果データに基づいて、操作モード、ポインタ位置、ポインタ方向などの表示制御データを生成し、入力端子部１１３および入力信号処理部１１４を経由する映像信号に対して、表示制御データに基づいた処理を行う。

駆動回路部１１２は、処理された映像信号を表示映像として投射するための処理を行う。表示画像は投射部１１５から投射面に対して投射される。

ここまでの各部は一つの投射型映像表示装置１に装備されている例として説明したが、これらの一部が別ユニットとして構成され、伝送線で接続される構成であっても構わない。

入力端子部１１３は外部の映像出力装置４から映像信号の入力を受付け、入力信号処理部１１４へデータを伝送する。映像出力装置４との接続は、映像伝送が可能であればよく、例えばＶＧＡ端子やＤＶＩ端子、ネットワークケーブルなどで良い。本実施形態では１つの映像出力装置との接続を示すが、複数の端子を備えて、複数の映像出力装置と結線されても良い。

操作信号入出力部１１６は、外部の映像出力装置４と接続され、ユーザ６のジェスチャ操作から生成される接触点座標等のデータを映像出力装置４へ送信する。このデータのうち、ユーザ６の指３０（操作オブジェクト）の移動に基づいて映像出力装置４におけるポインタ操作入力を行うためのデータを第１の制御情報という。第１の制御情報には、例えば操作オブジェクトが投射面に接触又は非接触状態であるかを示す情報、移動方向を示す情報、接触している場合にはその接触点の座標情報が含まれる。

またユーザ６の指３０（操作オブジェクト）の属性に基づいて、映像出力装置４における所定のキー入力を行うためのデータを第２の制御情報という。第２の制御情報には、例えば、ユーザの右手左手の区別や、各指の種類、掌又は手の甲側がカメラ１００に対応しているかを示す情報が含まれる。

映像出力装置４がいわゆるパーソナルコンピュータのように画像処理を実行できる装置であれば、上記カメラ１００からの撮像画像に基づいて第１の制御情報又は第２の制御情報を生成する一連の処理を実行する構成を、投射型映像表示装置ではなく映像出力装置４に備えてもよい。この時の撮像画像及び第１の制御情報、第２の制御情報のデータフォーマットは映像出力装置４に規定した形式でも良いし、映像出力装置４内に通信方式に対応したソフトウェアをインストールしておくなどして、予め規定した独自の形式でも良い。

データバス１１７は各種データを伝送する結線である。もちろんこの例に限らず、特定の各部間を直接結線するなど適宜変更が可能である。

図５を参照して、ユーザの指を用いて投射型映像表示装置１に対する操作を行う例について説明する。図５は、ユーザの影画像の形状の一例を示す図であって、（ａ）は投射面にユーザの指が接触していないときの影画像を示し、（ｂ）は投射面にユーザの指が接触しているときの影画像を示す。

図５（ａ）に示すように、指３０が投射面３に接触していない状態（間隙ｓ）では、右照明部１０１、左照明部１０２からの光は指３０で遮断され、それぞれ影領域４０１、４０２（斜線で示す）が形成される。カメラ画像では、２つの影領域４０１、４０２は指３０の両側に互いに離れて存在する。

一方、図５の（ｂ）に示すように指３０の指先が投射面３に接触している状態（間隙ｓ＝０）では、２つの影領域４０１、４０２は、指３０の指先の位置で接近して存在する。なお、影領域４０１、４０２の一部領域は指３０の陰に隠れているが、この隠れた部分は影領域には含めない。本実施形態では、指３０が投射面３に接近すると影領域４０１と影領域４０２と間隔（特に特徴点間の距離）が接近する性質を利用して、指３０と操作面（投射面３）との接触を判定する。

図６は、ユーザの操作位置による影の形状の影響を示す図である。ここでは、ユーザの操作位置が投射面３の中央から左側にずれた場合（ユーザの指３０の位置３０ｐ）と、右側にずれた場合（ユーザの指３０の位置３０ｐ’）のカメラ画像を比較している。このときカメラ１００から見たユーザの操作位置は変化するが、それらのカメラ画像では、指３０（３０’）に対する影領域４０１（４０１’）、４０２（４０２’）の位置関係は変わらない。すなわち、ユーザ操作位置に関係なく、常に指３０（３０’）の両側に影領域４０１（４０１’）と４０２（４０２’）が存在する。これは、カメラ１００と右照明部１０１及び左照明部１０２の位置関係により一義的に決定されるからである。従って、ユーザが投射面３に対してどの位置で操作しても２つの影領域４０１、４０２の検出が可能であり、本実施形態の操作検出方法が有効に適用できる。

図７は、指と操作面の間隙と影の形状との関係を示す図である。指３０の両側に形成される２つの影領域４０１、４０２の間隔は、指３０と投射面３との間隙ｓ（図６参照）によって変化する。２つの影領域４０１、４０２の間隔を定義するために、それぞれの影領域４０１、４０２の内部に特徴点６０１、６０２（×印で示す）を設定し、特徴点間の距離ｄを測定する。ここでは影の先端位置（指先位置）に特徴点を設定している。指３０と投射面３の間隙ｓが大きい場合には、２つの影領域４０１、４０２の間隔は大きく、２つの特徴点６０１、６０２の距離ｄも大きい。指３０が投射面３に接近するに従い、特徴点６０１、６０２の距離ｄは小さくなり、指３０が投射面３に接触すると（間隙ｓ＝０）、特徴点６０１、６０２の距離ｄは最小値となる。

図８は、接近度検出部１０６における特徴点による接近度の判定を説明する図である。ここでは、接近度検出部１０６は特徴点間の距離ｄに基づき指の接近度Ａの判定を行う。指の接近度Ａを判定するために、予め特徴点間の距離ｄに対する４個の閾値ｄ１、ｄ２、ｄ３、ｄ４（ただし、ｄ１＜ｄ２＜ｄ３＜ｄ４）を定めた情報（関数でもよい）をＲＯＭ１３やＨＤＤ１４に記憶しておく。接近度検出部１０６は特徴点間の距離ｄと、上記情報とを参照して接近度を決定する。これにより接近度Ａを５段階（レベル１〜５）に分類し、レベル値が大きいほど、指３０と投射面３との間隙ｓが小さいものとする。まず、指３０が投射面３に接触した状態（間隙ｓ＝０）を識別するための閾値ｄ１を定め、距離ｄ＜ｄ１の場合には、接近度Ａは最大レベル５（接触状態）であると判定する。それ以外の非接触状態については、閾値ｄ２〜ｄ４を用いて接近度Ａを４段階（レベル４〜１）に分類する。このうちｄ＞ｄ４の場合は、接近度Ａは最小レベル１であると判定する。この例では４個の閾値により接近度を５段階に分類したが、接近度の分類数はこれに限らず、制御内容に合わせて適宜設定すれば良い。また、図８では、特徴点間の距離ｄと指の接近度Ａとはステップ状に関連付けたが、リニアでもよい。

図９は、接触点検出部１０７における接触点の決定を説明する図である。指３０が投射面３に接触した状態での影領域４０１、４０２の形状を示し、ここでは特徴点６０１、６０２を、それぞれの影領域４０１、４０２の先端位置に設定している。この場合は、２つの特徴点６０１、６０２は接触点である指先位置に近いことから、２つの特徴点６０１、６０２の中点Ｐを指３０と投射面３との接触点と見なし、その座標を算出することができる。

上記の例では、特徴点６０１、６０２を、それぞれの影領域４０１、４０２の先端位置に設定しているが、この方法によれば特徴点の設定が容易であり、また、接触点Ｐの位置もその近傍に存在するので容易に決定できる。

図１０は、特徴点を他の位置に設定した場合を示す図である。図１０では特徴点６０１、６０２を影領域４０１、４０２の先端位置に設定したのに対し、図１１では各影の長手方向中間位置に特徴点６０１’、６０２’を設定している。この場合にも、影領域４０１、４０２の間隔の変化に伴い特徴点６０１’、６０２’間の距離ｄ’が変化するので、指３０と投射面３の接近度Ａの判定を行うことができる。なお、この場合の接触点Ｐ’は特徴点６０１’、６０２’の位置から長手方向にずれることになるので、特徴点６０１’、６０２’から予想される接触点Ｐ’までの距離（補正量）を予め求めておき、これで補正することで接触点Ｐ’を求めることが可能である。同様にして、特徴点を影領域４０１、４０２内のこれ以外の位置に設定することもできる。また、複数の特徴点情報を組み合わせて用いても良い。

図１１は、複数の指で操作する場合の影の形状を示す図である。手を開いた状態で複数の指３１、３２・・・を操作面に接触させた際に、各指に対し、左側の影４１１、４２１・・・と、右側の影４１２、４２２・・・が形成される。そして、各影に対して特徴点を設定する。ここでは、影４１１、４１２に対する特徴点６１１、６１２と、影４２１、４２２に対する特徴点６２１、６２２を示す。対応する特徴点６１１、６１２、あるいは特徴点６２１、６２２間の距離ｄを測定することで、それぞれの指３１、３２の接近度や接触点を求めることができる。これより本実施形態によれば、手を開いた状態でも複数の指についての接触を独立して検出できるので、マルチタッチ操作に適用可能となる。特徴点の更なる他例として、例えば各指の関節（突出部として撮像される）、関節のくびれ（凹部として撮像される）がある。

次に図１２を参照して、操作オブジェクトとしての指が指し示す方向（以下「指さし方向」という）を算出する処理について説明する。図１２は指さし方向を算出する処理であって、（ａ）は影画像の内側輪郭線を使用した例、（ｂ）は影画像の外側輪郭線を使用した例、（ｃ）は、輪郭線の中線の使用した例である。

指３０の方向（指さし方向）を傾けたときの影領域４０１、４０２の形状を示し、指さし方向の変化に伴って影領域４０１、４０２の向きも変化する。指さし方向を検出するために、まず輪郭検出部１０８にて影領域４０１、４０２に対する輪郭線５０１、５０２を検出する。なお、輪郭線の検出では、指先などの曲線部分を除去して、略直線状の線分からなる輪郭線を検出する。その後、方向検出部１０９は次の方法で指さし方向を決定する。

図１２（ａ）では、方向検出部１０９は、影領域４０１、４０２に対する内側の輪郭線５０１、５０２を使用する。そして、方向検出部１０９は内側の輪郭線５０１、５０２の傾き方向７０１、７０２のいずれかを指さし方向として決定する。

図１２（ｂ）では、方向検出部１０９は、影領域４０１、４０２に対する外側の輪郭線５０１’、５０２’を使用する。そして、方向検出部１０９は外側の輪郭線５０１’、５０２’の傾き方向７０１’、７０２’のいずれかを指さし方向として決定する。

図１２（ｃ）では、方向検出部１０９は、影領域４０１、４０２に対する内側の輪郭線５０１、５０２を使用する。そして、方向検出部１０９は、内側の輪郭線５０１、５０２の中線の傾き方向７０３を指さし方向として決定する。この場合には２つの輪郭線５０１、５０２の平均方向から求めるので、より精度が高くなる。なお、外側の輪郭線５０１’、５０２’の中線方向を指さし方向としても良い。

図１３を参照して第一実施形態における操作検出方法について説明する。図１３は、第一実施形態における操作検出方法の処理の流れを示すフローチャートであって、（ａ）は接近度と接触点の検出処理を示し、（ｂ）は指さし方向の検出処理を示す。

まず、図１３（ａ）の各ステップ順に沿って、接近度と接触点の検出方法から説明する。

Ｓ１００１では、影領域抽出部１０４は、カメラ１００で撮像した画像から背景を減算して差分画像を求め、輝度が閾値Ｌｔｈ以下の部分を影領域として抽出する（Ｓ１００１）。その際、抽出した影に対して互いに連結していない影の領域をそれぞれ別の影として区別する、いわゆるラベリング処理を行う。

Ｓ１００２では、特徴点検出部１０５は、ラベリング処理した各影に対して特徴点を検出する（Ｓ１００２）。例えば図９のように、各影領域４０１、４０２の先端位置を特徴点６０１、６０２として検出する。

Ｓ１００３では、接近度検出部１０６が検出した２つの特徴点６０１、６０２間の距離ｄを測定する（Ｓ１００３）。

Ｓ１００４では、接近度検出部１０６は、距離ｄに基づいて指３０と投射面３の接近度Ａを判定する（Ｓ１００４）。判定では、例えば図８を用いて距離ｄを閾値ｄ１〜ｄ４と比較し、接近度Ａをレベル１〜５に分類する。そしてｄ＜ｄ１の場合は、接近度Ａ＝５（接触状態）と判定する。

Ｓ１００５では、接近度検出部１０６は、判定した接近度Ａは接触時のレベル（＝５）か否かを判定する（Ｓ１００５）。判定結果が接近度Ａ＝５であれば（Ｓ１００５／Ｙｅｓ）、接近度検出部１０６は、判定した接近度を示す情報（以下「接近度情報」）を接触点検出部１０７に出力してＳ１００６へ進み、それ以外（非接触状態）の場合は終了する（Ｓ１００５／Ｎｏ）。

Ｓ１００６では、接触点検出部１０７は、指３０と投射面３の接触点を検出する（Ｓ１００６）。例えば図９に示すように、２つの特徴点６０１、６０２の中点Ｐを接触点とし、その座標を算出する。特徴点の設定方法が上記（先端位置）と異なる場合は、その設定方法に応じて接触点位置を補正すれば良い。検出された接近度及び接触点を示す操作オブジェクト情報は、表示制御部１１１へ出力される。

なお、操作状態においては以上の処理フローを繰り返して実行し、操作状態の変化に追従した操作検出を行うものとする。

まず、図１３（ｂ）の各ステップ順に沿って、指さし方向の検出方法を説明する。

Ｓ１０１１では、影領域抽出部１０４は、カメラ１００で撮像した画像から背景を減算して差分画像を求め、輝度が閾値Ｌｔｈ以下の部分を影領域として抽出する（Ｓ１０１１）。これは前記Ｓ１００１と同様である。

Ｓ１０１２では、輪郭検出部１０８は、ラベリング処理した各影領域に対して輪郭線（略直線部）を検出する（Ｓ１０１２）。例えば図１２（ｃ）のように、影領域４０１、４０２の内側の輪郭線５０１、５０２を検出する。その際、これらの輪郭線のうち指先などの曲線部分を除去して、略直線状の線分を検出する。

Ｓ１０１３では、方向検出部１０９は、各輪郭線５０１、５０２の中線の傾き方向７０３を指さし方向と判定する。なお、指さし方向の判定は、図１２（ａ）或いは図１２（ｂ）に示す方法でも良い。

なお、操作状態においては以上の処理フローを繰り返して実行し、操作状態の変化に追従した操作検出を行うものとする。

また、図１３（ａ）の接近度と接触点の検出処理と図１３（ｂ）の指さし方向検出処理は、並行して行うことができる。

図１４は、表示制御部１１１における指の接近度に応じた制御の一例を示す図である。投射型映像表示装置１のＲＯＭ１３又はＨＤＤ１４に予め接近度と操作モードの切替、及びポインタ表示切替を関連付けた表示制御情報を格納しておき、表示制御部１１１が操作オブジェクト情報を取得して表示制御情報を参照して、操作オブジェクト情報操作モードの切替及びポインタ表示の切替を行う。

図１４では、指３０と投射面３との接近度Ａに応じて、操作モードとポインタ表示の切り替えを示している。操作モードに関しては、接近度Ａが最も高いレベル５（接触状態）では接触操作モードとする。それ以外の非接触状態で接近度Ａが比較的高いレベル４、３では空中操作モードに、接近度Ａが比較的低いレベル２、１では操作オフモードに切り替える。このような制御により、ユーザ６は指３０を投射面３に接触させた状態に加え、投射面３から浮かせた状態においても操作対象装置の操作が可能となる。また、指３０が投射面３から一定距離以上離れている場合には、操作オフモードに切り替わり、ユーザの意図しない操作を防ぐことができる。

またポインタ表示に関しては、接近度Ａが比較的高いレベル５、４ではポインタを表示し、接近度Ａが比較的低い３、２、１ではポインタを表示しないように切り替える。このような制御により、ユーザ６は指３０が投射面３に接触する前の段階でポインタを確認することができ、接触時のポインタの位置を合わせ易くなる。以上の制御により、操作対象装置への操作性が向上する。

図１５は、表示制御部１１１における指さし方向に応じた制御の一例を示す図であって、（ａ）はポインタ表示位置の補正、（ｂ）はポインタ表示方向の補正、（ｃ）は接触点の補正を示す。

図１５（ａ）は、指さし方向７００に応じてポインタ８００の表示位置を補正する処理を示す。ポインタ８００を表示する際、接触点検出部１０７において検出した接触点Ｐと全く同じ位置に表示すると、ポインタ８００が指３０に隠れてユーザ６から見えにくくなる。そこで、方向検出部１０９で検出した指さし方向７００に沿ってポインタ８００を指先前方に所定量だけずらした位置Ｐ’に表示する。これによりポインタ８００はユーザ６から見やすくなる。

また、上記に加えて、指３０の接近度Ａに応じてポインタ８００の表示位置のずらし量（補正量）を変更しても良い。例えば接近度Ａが低いときには補正量を大きくし、接近度Ａが高いときには補正量を小さくする。これにより、ユーザ６の指３０が投射面３に近づくに従ってポインタ８００の位置が指先に近づき、ユーザ６はポインタ８００の表示位置を目安にすることで精度の良い操作ができるようになる。

図１５（ｂ）は、指さし方向７００に応じてポインタ８００の表示方向を補正する場合である。矢印形状のポインタ８００を表示する際、例えば図１５（ａ）のように指さし方向７００と無関係に常に一定の方向に表示すると、ポインタ８００の表示方向が指さし方向７００と一致せずユーザ６に対し違和感を与えることがある。そこで、方向検出部１０９が検出した指さし方向７００にポインタ８００の表示方向を合わせて表示する。これにより指さし方向７００との不一致がなくなり、ユーザ６に対する違和感を解消できる。

図１５（ｃ）は、指さし方向７００に応じて接触点の位置を補正する場合である。接触点検出部１０７が検出した接触点Ｐは特徴点の位置から決定されるので、実際に投射面３と接触する位置からずれることがある。例えば、特徴点を影の先端位置とする場合、実際の接触位置（指の腹の部分となることが多い）よりも指の先端側（爪先）の位置にずれてしまう。そこで、方向検出部１０９が検出した指さし方向７００に沿って、指の付け根側に接触点位置を所定量だけ補正する（Ｐ→Ｐ”）。これにより、指３０と投射面３の接触点をより正確に取得することができる。

以上が、投射型映像表示装置１における指さし検出等によるユーザ６の操作内容の検出方法である。以上説明した方式による指さしジェスチャによる接触点および指さし方向の検出方式では、指を含む細長い物体があれば操作が可能である。これは、ペン先から所定の光を発光して認識処理を行う発光ペン方式に比べて、専用の発光ペン等を確保しておく必要がない点で大幅に使い勝手がよい。

なお、本実施形態においては、簡便のため２つの照明を用いた構成で説明を行ったが、照明の数はこれに限らず、３つ以上設置しても良く、例えば、そのうちの２つ以上の照明から生成される影画像を選択的に用いるようにしても良い。

また、本実施形態においては、ユーザ６の手指のうち一本だけが突出している状態において説明を行ったが、例えば、複数の手指が突出された状態で空中操作モードに該当する接近度であった場合にはいずれの手指に対してもポインタの表示は行わないようにしても良く、すべての手指に対してポインタの表示を行うようにしても良い。

続いて、ユーザ６がこれまで説明したような指さし等の操作によって実現する画面操作について説明する。画面操作は、例えば以下の５つの操作がある

（１）指示操作：指さし点付近にポインタ、もしくは注意を引きつける目印を表示する。
（２）記入操作：指の接触点をペン先端に見立て、そのまま投射面３上をなぞることで文字や絵などを描画する。表示制御部１１１によって投射画面上に表示するのみでも良いし、外部の映像出力装置４に座標情報を都度転送することで、映像出力装置４にて表示画面を更新するのでも良い。
（３）削除操作：記入した内容を削除する。消しゴムで消すように接触点付近を消す場合や、すべての記入内容を一括して消す場合、あるいは操作単位で元に戻す消し方等がある。
（４）表示画面操作：表示している内容の見え方を変更する。例えば表示画面２０の向きや大きさを変更する、
（５）表示内容操作：操作内容を外部の映像出力装置４に送信して、表示画面２０の画面形状はそのままに表示内容を変更する、例えば、スライドを切り替えたり、一部を回転したり、大きさを変更したり、する。

以上のように、実行可能な操作が複数種類ある場合には、ユーザの操作に対して即時に応答を示すことは使い勝手を向上するために重要である。そこで、図１７を参照して、ユーザ操作例について説明する。図１６は、２点同時の接触操作に応じた制御の一例を示す図である。

（ズーム操作モード）
制御部１１０がユーザ６の左右の手指による同時接触を検出するとズーム操作に移行する。表示制御部１１１は、接触操作が行われた座標に接触操作を受容した旨を示すマーク８０１を表示して検出結果を提示し、かつ、二点を結んだ直線Ｌと平行に矢印形状のマーク８０２を表示して、表示画面２０の拡大・縮小操作が可能なこと（ズーム操作モードになったこと）を示す。以降、ユーザ６が少なくともいずれかの接触を解除するまで、表示制御部１１１は接触点の検出結果から随時この二点を結ぶ直線Ｌ方向に沿って、表示画面２０のサイズを制御する。

なお、上記「同時操作」の「同時」とは、制御部１１０が周期的に実施する接触点の検出処理において、１回の検出処理で複数の接触を検知した場合を同時と判断してもよいし、複数回の検出処理で複数の接触が検知された場合に、各接触の検出時刻間の時間差が所定の時間内である操作を同時操作と判断してもよい。例えば、制御部１１０は、カメラ１００で検出された複数の指のうち、投射面３に接触した時間差が１秒以内である指を検出し、当該の指の組み合わせを、応答処理で対象とする指の組み合わせであると判断すればよい。以下、他の操作モードの説明においても、同時操作は同意である。

同一人物による両手の接触操作でも、左右の手指の接触のタイミングが同時ではない場合は、例えば、制御部１１０は先に実施された接触操作では接触座標に受容した旨のマーク８０１を提示し、かつ、近傍に筆記具のマーク８０４を表示することでユーザ６に記入操作を促し、遅れて実行された接触操作は、制御部１１０で記入操作モード時のタッチ操作を無効と認識し、接触を受容した旨のマークは表示せずに、対応可能な操作がないことを示す、あるいは、接触操作が無効となった事を接触点にマークを表示したり、近傍にメッセージを表示する。もしくは、制御部１１０は両方を記入操作であると判別して、表示制御部１１１が接触点の座標に受容した旨のマーク８０１を提示し、かつ、近傍に筆記具のマーク８０４を表示する（記入操作モードになった）ことでユーザ６に記入操作を促す。以降、ユーザ６の投射面上での接触点の軌跡に従って線を描画するのでも良い。

（回転操作モード）
また、制御部１１０が、ユーザ６が一方の手の異なる指での接触操作を同時に検出すると、回転操作モードに移行する。表示制御部１１１は、接触操作が行われた座標に接触操作を受容した旨を示すマーク８０１を表示して検出結果を提示し、かつ、近傍に回転形状の矢印マーク８０３を表示して、表示画面２０の回転操作が可能なこと（回転操作モードになったこと）を示す。以降、ユーザ６が少なくともいずれかの接触を解除するまで、表示制御部１１１は接触点の検出結果から随時この二点を結ぶ線分の変化量に応じて、表示画面２０の向きを変更するよう制御する。

２点の操作が同時に行われなかった場合は、例えば、先に実施された接触操作では接触座標に受容した旨のマーク８０１を提示し、かつ、近傍に筆記具のマーク８０４を表示することでユーザ６に記入操作を促し、遅れて実行されたタッチ操作は、制御部１１０で記入操作モード時のタッチ操作を無効と認識し、接触を受容した旨のマークは表示せずに、対応可能な操作がないことを示すのでも良い。

（記入操作モード）
制御部１１０が異なるユーザが同時に接触操作を実行したことを検出すると、表示制御部１１１は、接触操作が行われた座標に接触操作を受容した旨を示すマーク８０１を表示して検出結果を提示し、かつ、それぞれの近傍に筆記具のマーク８０４を表示することでユーザに記入操作を促す。以降、各ユーザが接触点を離すまで、その軌跡に応じた線分の描画を実行するよう制御する。

同一のユーザの手、又は異なるユーザの手の判別は、例えば、影領域抽出部１０４が影画像の内から手が撮像された領域を抽出し、特徴点検出部１０５が手の形状、大きさの違いによりユーザの同一性について判別してもよい。また、特徴点検出部１０５が、抽出した手領域の輝度値（色）を基にユーザの同一性を判別してもよい。例えば複数の手領域の其々についての輝度値の平均値の差を求め、それが予め定められた閾値（同一ユーザの左右の手の輝度値の差として許容できる値）以内に収まっていれば、同一ユーザと判定してもよい。

次に、図１７を参照して、図１６に示す二点の接触操作により実行される各操作モード（応答）の種別を判別する処理について説明する。図１７は、２点同時操作結果の判別方法の処理の流れを示すフローチャートである。

Ｓ２００１では、影領域抽出部１０４が、Ｓ１００１と同じく影領域を抽出すると同時に、その領域に挟まれる手領域も抽出してＳ２００２へ進む（Ｓ２００１）。

Ｓ２００２では、特徴点検出部１０５がＳ１００２〜Ｓ１００３と同じく特徴点を検出するが、この時、Ｓ２００１で得られた手領域のデータを解析して、特徴点がいずれの手指による操作を示すかを検出し、その検出結果を示す手指情報を合わせて生成し（Ｓ２００２）、Ｓ２００３へ進む。例えば複数の手が検出されている場合、後述する左右の手の違いの検知を行い、手指の長さや特徴点間の距離ｄを考慮して、いずれの手が同一人物のものであるかを類推する処理をも含む。

Ｓ２００３では、制御部１１０がＳ２００２で生成された手指情報を基に接触点の指が同一の手の指であるか否かを判断する（Ｓ２００３）。同一の手に属する場合（Ｓ２００３／Ｙｅｓ）Ｓ２００４へ進み、異なる手に属する場合（Ｓ２００３／Ｎｏ）Ｓ２００５へ進む。

Ｓ２００４では、回転操作モードに表示される回転矢印マーク８０３の表示（図１６参照）を実施して処理を終了する。

Ｓ２００５では、制御部１１０がＳ２００２の手指情報を参照し、同一人物の異なる手指での二点の接触動作であれば（Ｓ２００５／Ｙｅｓ）、Ｓ２００６へ進む。異なる人物の手による二点の接触動作であれば（Ｓ２００５／Ｎｏ）、Ｓ２００７へ進む。

Ｓ２００６では、表示制御部１１１がズーム操作モードで表示される矢印マーク８０２（図１６参照）の表示する（Ｓ２００６）。

同様に、Ｓ２００７では、表示制御部１１１が記入操作モードで表示される筆記具のマーク８０４を表示する（Ｓ２００７）。

以後、ステップＳ２００１へ戻り、投射型映像表示装置１は処理を繰り返す。投射型映像表示装置１は、ステップＳ２００１からステップＳ２００７までの処理を実時間（ユーザが表示の変化を知覚・認識するために十分短い時間）で繰り返す。そして、どのステップの途中であっても、主電源がＯＦＦ又は操作オブジェクト機能の中断信号が投射型映像表示装置１に入力されると、処理を終了する。

本実施形態によれば、投射型映像表示装置１が、複数点の接触操作を的確に判断して、応答を実施することで、ユーザ操作に対するフィードバックを即時的に行うことが可能であり、使い勝手を向上する効果が得られる。

上記では、２点の接触操作が同時に発生した場合について述べたが、３点以上の処理においても同様の処理を行えばよい。すなわち、複数の手がカメラ１００の撮像画像内にある場合にはいずれの手が同一人物のものか、を総当たりで検知・比較し、かつ、各手指の特徴点がいずれの手に属するのか、を影領域、手領域のデータを解析することにより、制御部１１０、表示制御部１１１が同一人物、もしくは別人物のいずれの手指がどこの座標において接触操作を行ったかを把握可能である。これに基づいてＳ２００３以降のように操作の分類処理、分類に基づく表示制御を行えばよい。

＜第二実施形態＞
投射型映像表示装置１の使用方法として、例えば、映像出力装置４上で三次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｅｓｉｇｎ ｓｙｓｔｅｍ）で設計された設計図面データを表示し、その画面を投射型映像表示装置１で投射表示する使い方がある。その場合、仮想３次元空間内でオブジェクト（表示対象）及びカメラ（ユーザの視点）の両方が操作対象であるので、多彩な機能が必要とされる。

そこで、第二実施形態は、投射型映像表示装置１が、操作オブジェクト（ユーザの手の指、専用ペンを含む）の動きを検出して、投射表示した図面に対する記入操作、それを取り消す消去操作、及びオブジェクトやカメラを操作してオブジェクトを様々な方向から確認するビュー操作を実施する実施形態である。

なお、本実施形態では、三次元ＣＡＤに本発明を適用した実施形態について説明したが、本発明は三次元ＣＡＤの操作例に限らない。例えば映像出力装置４として汎用ＰＣを用い、多機能なアプリケーションの操作を実行する場合、多くはマウス操作のみで全ての機能を実行することは不可能である。そこで、例えばキーボード上の機能キー（ＣｔｒｌやＳｈｉｆｔ）を組み合わせたり、アプリケーションのＧＵＩ上に用意される機能切り替えボタンを押下することで操作モードを切り替えるなどして、所定の操作を実行する。

以下図１８及び図１９を参照して第二実施形態について説明する。図１８は、３次元ＣＡＤデータ図面閲覧時の操作方法の一例を示す図である。図１９は、投射型映像表示装置１から映像出力装置４への操作指示情報の伝送方法の処理フローを示す図である。

図１８では、図７〜図１６にて説明した要領にてカメラ１００で取得した画像を解析することで複数点の接触の有無及び手指の操作（動き）による操作を、ＰＣ操作で置換する一例を示す。

図１８の列Ａは、実行可能な機能が並べて示されている。これらの機能の内、「書き込み」、「削除」は投射型映像表示装置１内で処理を行い文字や図形を画面上に表示する機能である。また、「ポインタ操作」（ポインタをＸ、Ｙ方向に移動する操作）は映像出力装置４上のポインタ操作を行う機能である。「オブジェクト制御」（ビュー操作に相当する）は三次元ＣＡＤにて表示対象を操作する機能である。なお、上述したように三次元ＣＡＤではカメラを制御する機能もあるが、多くのアプリケーションソフトウェアでは、オブジェクト制御の操作と類似の割り当てを行い、どちらを操作するかを切り替えている。

汎用ＰＣの入力デバイスとしてマウスとキーボードがある場合に、上記列Ａの各機能を実行する際のユーザ動作の一例を列Ｂに示す。列Ａの「ポインタ操作」は、「マウス操作」だけ（マウスの移動操作のみを意味する）に対応する。

「オブジェクト制御」の内「平行移動（Ｘ、Ｙ）」は、マウスを平行移動する方向に沿ってドラッグする操作に相当する。「回転（Ｘ、Ｙ）」（Ｘ、Ｙ軸周りの回転操作）は、Ｃｔｒｌキーを押しながらマウスをドラッグする操作に相当する。「回転（Ｚ）」（Ｚ軸周りの回転操作）は、Ｃｔｒｌキーを押しながらマウスを左右にドラッグする操作に相当する。「拡大／縮小（＝平行移動Ｚ）」は、Ａｌｔキーを押しながらのマウス操作に対応する。

図１８の列Ｃは、列Ｂに規定したＰＣでの操作に対応するジェスチャ操作を示す。ジェスチャ操作には、ユーザの指が投射面３に接触しているか否かに応じて、接触操作モードと空中操作モードとの２種類があり（図１５参照）、基本的なインタラクティブ機能であるポインタ操作を右手の任意の一本指での空中操作および接触操作に割り当てる。こうして他のアプリケーション使用時の基本操作と共通に割り当てることでユーザの使い勝手を向上する効果がある。

例えば、「オブジェクト制御」の「平行移動（Ｘ，Ｙ）」には、右手複数本の指を空中操作モードにして上下左右に移動させるジェスチャ操作を割り当てる。また、「オブジェクト制御」の「回転（Ｘ，Ｙ）」には、左手中指で接触操作を行いながら、右手複数本の指を空中操作モードにして移動させるジェスチャ操作を割り当てる。「オブジェクト制御」の「回転（Ｚ）」には、左手中指、人差し指で接触操作を行いながら、右手複数本の指を空中操作モードにして移動するジェスチャ操作を割り当てる。すなわち、右手複数本の指を空中操作にしたことを、マウスの右クリックに、左手人差し指の接触操作をＡｌｔキー押下に、左手中指の接触操作をＣｔｒｌキー押下に、それぞれ割り当てている。「オブジェクト制御」の「拡大／縮小（＝平行移動Ｚ）」には、左手人差し指で接触操作を行いながら、右手複数本の指を空中操作モードにして移動させるジェスチャ操作を割り当てる。

この動作を実現するため、インタラクティブ機能のように表示画面２０に対する操作を実行する場合、制御部１１０が手指形状から操作内容を判断し、表示制御部１１１が内容に応じて表示画面を制御する。一方でビュー制御を実行する場合、制御部１１０が手指形状から操作指示情報を生成し、その内容を外部の映像出力装置４に通知する必要がある。図１９にこの時の処理フローを示す。

図１９の処理フローは連続的に繰り返され、各指の投射面３への接触の有無や接触点の座標の変化などが実時間（ユーザが表示の変化を知覚・認識するために十分短い時間）で取得・変更されるよう制御する。

Ｓ３００１では、カメラ１００がユーザ６のジェスチャ操作を含む画像データを取得し、Ｓ３００２へ遷移する（Ｓ３００１）。

Ｓ３００２では、例えば図１３、図１７で説明した手順によって画像データから指先の投射面３への接触操作点あるいは空中操作点（両者を一括して操作点とする）を検知してＳ３００３へ遷移する（Ｓ３００２）。ただし、複数の操作点がある場合には、操作点毎の座標情報が取得され、メモリに記録される。また、手指の形状から各操作点毎に左右いずれの手のいずれの指による操作であるかを判別し、併せてメモリに記録する。

左右の手のいずれかを判断するには、例えば、図１１に示したように手を開いた状態で撮影された画像から各特徴点の位置によって親指の位置が類推できるので、これを頼りに左右の判別が可能である。あるいは、別の例として、予め不揮発性メモリ内にいくつかの手形状かつ、もしくは影の画像データを記録しておき、撮影された画像内の手や影の形状との類似度によって判別するのでも良い。

Ｓ３００３では、接触操作点、空中操作点の有無による処理分岐を行う。制御部１１０が、一点ないし複数の操作点があると判断した場合（Ｓ３００３／Ｙｅｓ）、Ｓ３００４に遷移する。制御部１１０が、操作点は無いと判断した場合（Ｓ３００３／Ｎｏ）、ステップＳ３００１へ戻り処理を繰り返す。

Ｓ３００４では、制御部１１０が接触操作、空中操作の情報を前回処理時の情報と比較し、接触点情報を操作指示情報に変換する（Ｓ３００４）。このとき、接触点情報には、接触点の有無、及び接触点がある場合には接触点の座標を示す座標情報が含まれているものとする。そして、例えば前回処理時は接触・空中操作点が何も無い状態で、今回Ｓ３００２で右手の人差し指の空中操作が検知された場合には、制御部１１０は、図１９に示した例によれば、マウス左ボタン押下の操作指示情報を生成する。

また例えば、前回は右手の人差し指の空中操作点が検知された状態から、右手の空中操作の指が０本になったり、空中操作から接触操作になれば、マウス左ボタンの押下の操作指示情報を削除する。

同様に左手の接触操作が検知されれば、Ｓ３００２で識別されたその指に応じて、Ａｌｔキー押下操作、Ｃｔｒｌキー押下の操作指示情報を生成する。一方で生成に必要な変化が無い場合には操作指示情報を生成しない。どのような変化があった場合に、いずれの操作指示情報を生成するかという情報はあらかじめメモリ上に用意しておき、これを参照することで上述した判定を行う。制御部１１０は操作の状態をメモリに記録して、次にＳ３００５へ進む。

Ｓ３００５では、制御部１１０がＳ３００４で得られた操作指示情報及び座標情報を外部の映像出力装置４へ所定の通信形式に従って送信して処理を終了する。操作指示情報が複数取得されれば連続的に送信する。所定の通信形式とはＰＣに接続されたマウスおよびキーボードの操作指示情報伝送に準じる形式で良いが、両者が解釈可能な独自のフォーマットでも良い。

この後、映像出力装置４では、所定のマウス操作、キー操作が行われる場合と同様に、受信した操作指示情報に応じて表示内容が変更される。

本実施形態によれば、右手による空中操作をマウス操作に割り当て、左手による接触操作をキー入力操作に割り当てることにより、ユーザ６は直観的に、かつ、簡単に投射面３上で表示内容に対する操作が実現でき、使い勝手が向上する効果が得られる。

なお、本実施形態においては、空中操作を実施しやすくするために、図１４に示した接近度Ａの高さ（レベル）について、レベル３と判定する高さを通常より大きくしたり、レベル毎の検知の幅を広くしたりするなどしても良い。

また、図１８で示した手指による操作とＰＣでの操作に対する投射装置による操作方法の対応付けは上記実施説明と異なる割り当てによる実施も可能である。例えば、書き込み操作は人差し指での接触操作に限定して、Ｃｔｒｌキー、Ａｌｔキー押下を右手の親指、中指の接触操作に割り当てれば、右手による操作のみで記載した一連の機能が実現可能である。また例えば、専用の操作用具（発光ペン）がある場合には書き込み、削除の機能は操作用具で行い、ポインタ操作とオブジェクト及びカメラの制御に手指の操作を割り当てるようにしても良い。

また、操作の割り当て方法をユーザによって設定可能としても良い。図２０を参照して、手指の形状と操作指示情報との対応を設定する例について説明する。ここで図２０は、手指の形状と操作指示情報との対応を設定する操作指示情報登録画面であって、（ａ）は選択肢を用いて手指の形状を選択する画面例、（ｂ）は手指形状を示すイラストを用いた画面例である。図２０の設定画面は、投射型映像表示装置１の本体に備わる操作キー（図２には未記載）や付属のリモートコントローラ（同じく図２には未記載）を使用して呼び出すと、投射面３上、もしくは表示画面２０の一部、あるいは全面に設定メニューを表示し、これを操作することで投射面の輝度や色合い、表示位置、設置方法、外部の映像出力装置４との通信方法など、各種設定を行うものである。図２０の符号９０１（点線で囲った範囲）に示す項目は設定項目の大分類の一覧である。例えばユーザ６が操作キーの上下ボタンを適宜押下して「操作情報」を選択すると、各操作指示情報に対して所望の手指形状を登録する画面が表示される。

図２０（ａ）の操作情報登録画面は、Ｃｔｒｌキーに割り当てる手指形状を更新しようとしている状態を示している。選択肢はあらかじめ投射型映像表示装置１内のメモリに用意しておいたものから選択するようにし、ユーザ６は操作キーの上下ボタンで所望の手指形状を選択する。他の操作指示情報についても同様に設定を行い、すべての操作指示情報に対して選択を完了したら左キーを押して決定する。最下段の初期化を選択すると、あらかじめ不揮発性のメモリに記録されている初期の手指形状の割り当てに戻すことが可能である。手指形状の選択の際には、他の操作指示情報として登録済みの形状は登録させないようにしたり、手指形状を登録しない選択肢を設けるなどしても良く、全ての操作指示情報に対する設定が完了し登録する際に、同一形状を選択した重複がある場合にエラー通知するようにしても良い。

図２０（ｂ）は操作情報登録画面の別の一例であり、選択肢を用意する代わりに、登録したい手指形状（ジェスチャ操作）をユーザ６が実際に行うことで登録する例を示す。ユーザ６は登録したい姿勢を維持し、投射型映像表示装置１は図１２（ａ）と同様にして各手指の空中操作、接触操作を検知し、所定の時間一定の形状を維持したことを認識したら、その形状を選択されている操作指示情報として用いるように内部のメモリ上の情報を更新する。この時、９０２で示した表示領域には、ユーザ６が操作していない状態であれば、登録済みの手指形状を表示し、ユーザ６の何らかの操作を検出した場合には、制御部１１０がどのような手指形状として認識しているのかを随時表示する。こうすることで、ユーザ６に間違いなく手指形状を設定することを可能にする。表示例ではユーザ６が左手の人差し指の接触操作が登録されていることを示している。設定時に、指定された手指形状で使用したいずれかの指の同一の操作が既に他の操作指示情報に対して設定済みであることをユーザ６に通知するようにしたり、手指形状を登録しない（図２０（ｂ）にて操作キーの右ボタンを押下）ようにしても良いし、登録時に、各操作の間で実現不可能な操作が生じる場合には、ユーザ６に通知するようにしても良い。例えばＣｔｒｌキー押下に右手の中指の空中操作を、左クリックに右手の中指の接触操作を、割り当てるとＣｔｒｌキーを押しながらポインタ移動といったユースケースを充足できないためである。

図２０（ａ）、（ｂ）いずれの例でも、決定・登録した以降は、登録された手指形状によって、外部の映像出力装置４（汎用ＰＣ）の操作を代替可能となる。

＜第三実施形態＞
投射型映像表示装置１の使用方法として、図２のように壁面に投射する利用シーンとしては、多人数を相手にプレゼンテーションを行う例が考えられる。この時、投射型映像表示装置１を使用するユーザ６は投射面３に指さし操作を行うこともあるし、表示内容に追加の記入を行う書き込み操作を行うこともある。その際、例えば、指さし操作は空中操作モードでポインタ表示し、書き込みは接触操作モードで行うといった操作の区別をしたとして、ユーザ６の視線は聴衆側に向きつつ背面にある表示面に対して操作を行う場面があるため、空中操作をするつもりで誤った接触操作を行ってしまわないようにしたい。

第三実施形態は、上記事情に鑑みてなされたものであり、ユーザが意図しない接触操作による操作指示を防ぐ実施形態である。以下、図２１乃至図２４を参照して第三実施形態について説明する。

図２１は左右の手によるタッチ操作の模式図であって、（ａ）はユーザが手の甲を自分自身の側に向けた状態で人差し指を突き出した右手による操作を示し、（ｂ）は掌を自分自身の側に向けた状態で人差し指を突き出した左手による操作を示す。

図２１（ａ）及び（ｂ）に示す操作では、手の影形状の特徴点が極めて類似している。よって、手の甲と掌との向き（正面、背面の区別）を誤認識すると、どの指で操作しているかの認識を誤り、ジェスチャ動作による操作指示情報の入力が誤って実行される。そこで、以下では手の違いを検出する処理の例を説明する。甲を正面に向けた左手と、掌を正面に向けた右手の判別も同様に考えられる。

特徴点検出部１０５が影領域４０１、４０２の形状から、影に挟まれた手形状部分の輝度分布を計算する。手の甲の輝度分布がほぼ一様であるのに対して、掌の輝度分布は指の影や爪の影響により輝度分布がばらつく。これによって左右のいずれかを判断することが可能である。あるいは、手指の爪部分を画像から検出し、その有無および位置座標により判別しても良い。またあるいは、右照明部１０１及び左照明部１０２が近赤外光を照射している場合、手指の血脈がカメラ１００にて撮像可能であるため、あらかじめ手の甲と掌の血脈画像を保持しておき、それと撮像された手形状部分の血脈形状との類似度から判別しても良い。

血脈形状について図２２を参照して説明する。図２２は、取得される血脈形状の模式図を示し、（ａ）は手の甲を正面に向けた右手を示し、（ｂ）は掌を正面に向けた左手を示す。撮像された画像に（ａ）に示すように手首から指先まで通貫する血脈があれば甲側と判定しても良いし、血脈の樹状形状が（ａ）（ｂ）いずれにより近いかによって判定しても良い。

人差し指以外の指を突き出した形状、あるいは複数本の指を突き出した形状の場合も、上記と同様の判別を行えば良いが、例えば親指を突き出した形状であれば、親指の特徴点が取得可能であり、その位置によっても左右の手の判断が可能である。

以上のいずれかの方法でも複数組み合わせて判断しても良い。また、例えばユーザ６が手袋を装着しているなどで判断ができない場合、手形状を判別せず、判別ができない旨のメッセージを画面上に表示するなどしても良い。

図２３は、ユーザ操作の手指形状を正面および側面から表現した模式図と、その操作に対する投射型映像表示装置１の応答出力とを関連付けて示した図である。操作１は、通常の接触操作で書き込み処理を実施する場合を示す。このとき、表示制御部１１１では指先の接触点付近に受容した旨を示すマーク８０１、および書き込み処理が実行可能である事を示すための筆記具マーク８０４を表示し、ユーザ６に書込み操作と判断したことを通知する。

操作２は、指先だけでなく拳部分まで接触している場合である。このとき、接触点検出部１０７が接触点の検出を行った後、制御部１１０で指先の接触を無効と判定する。その結果、表示制御部１１１では指先の接触点付近に受容した旨を示すマークを表示せず、空中操作時に表示するポインタを継続表示する。

操作３は、指先が接触せず、拳部分のみ接触する場合である。この場合は指先の影形状から通常の空中操作モードであると判断できるため、表示制御部１１１では、ポインタを表示するよう制御する。

操作４は、手の表裏の向きが逆の形状で接触した場合である。図２２及び図２３を使用した説明で示した方法によれば手の表裏を検出が可能である。そこで、掌が正面を向いている状態（すなわち、手の甲が投射面３に対向している状態）が検出された場合には、制御部１１０では指先の接触を無効と判定し、表示制御部１１１は指先の接触点付近に受容した旨を示すマークを表示しない。又は表示制御部１１１は、空中操作時に表示するポインタを継続表示してもよい。

なお、操作２で示した手形状は、投射型映像表示装置１を机上において使用する際（図１参照）には、指先の接触を受容し、書き込み操作を実行したほうがユーザにとって望ましいとも考えられる。そのため、例えば投射型映像表示装置１にジャイロセンサーを搭載して投射部１１５の投射方向を検知した検知結果情報、又はユーザが設定メニュー画面（不図示）から投射方向を設定した情報を基に、制御部１１０が投射方向を判断し、投射面が水平面の場合は操作２で書込み操作を有効に、垂直面（または水平面に対して所定角度以上の傾斜角度を有する傾斜面）であれば書込み操作を無効にしてもよい。このように、投射型映像表示装置１の設置方法を加味した判断に基づいて接触操作モードの有効、無効の判断を行ってもよい。

本実施形態によれば、投射型映像表示装置１が不用意な接触を検出して誤ったジェスチャ操作によって書込み処理が行われないようにすることができ、使い勝手を向上する効果が得られる。

以上の実施形態における拳部分の接触の判断は基本的には撮影された映像の座標および影形状から行う。図２４を参照して、拳部分の接触の有無の判断処理について説明する。図２４は、拳部分の接触の有無の判断処理を示す図であって、（ａ）は手指の非接触時の影を示し、（ｂ）は拳のみが接触したときの影の状態を示し、（ｃ）は指接触時（通常のタッチ操作）の影を示す。

接触点検出部１０７は、影部分と拳部分との面積比率から拳部分の接触有無について判定をする。接触点検出部１０７は、図２４の手指の影領域４００から指の前後動作によって変化する部位を排除した領域４０３（図中の縦線のパターンで塗りつぶして表記した部分）と、影領域４０１、４０２の同様に指の前後動作によって変化する部位を排除した領域４０４、４０５（図中の横線のパターンで塗りつぶして表記した部分）との面積比によって拳部分の接触の有無を判定する。すなわち、接触点検出部１０７は、４０３の面積÷４０４と４０５の面積合計、が規定された閾値を上回る場合（図２４（ｂ）参照）に拳部分が接触していると判定する。また、接触点検出部１０７は、指先の影が２点検出でき、かつ上記閾値以下であれば指先及び拳が非接触であると判定する（図２４（ａ）参照）。

閾値の設定は任意の値で構わないが、例えばユーザ６が図２４（ｃ）に示した通常の接触動作を行った際の影形状を測定し、この時の上記面積比を用いるなどしても良い。拳部分の面積について個人差があることを踏まえ、事前に接触操作を登録する処理があっても良い。また、ユーザ６が投射面３上でジェスチャ操作を行う場所によっても手形状、影形状が異なるため、カメラ１００、右照明部１０１、左照明部１０２の位置関係から閾値を補正するのでも良い。

側面からの手指形状を取得可能とするために、投射面３の左右水平方向位置、かつカメラ１００と垂直方向にもう一つカメラを設置して画像を取得し、これを基に判断してもよい。こうすると、例えば図２４にて示したユーザ操作時に側面の形状を直接計測できるため、より正確にユーザ操作を検知可能となる。

＜第四実施形態＞
ユーザが投射面３に対して書き込みを行う場合に、ペンの種類や質を簡単に変更可能であれば、表現力が向上し利便性が増す。

第四実施形態は、上記事情に鑑みてなされたものであり、ペンの種類や質をジェスチャ動作から指定する実施形態である。以下、図２５乃至図２７を参照して第四実施形態について説明する。図２５は、接触させる指の本数が異なるジェスチャ動作と太さが異なるペンとを関連付けた図であって、（ａ）は通常の接触操作を示し、（ｂ）は二本指での接触操作を示す。図２６は、指圧が異なるジェスチャ動作と太さが異なるペンとを関連付けた図であって、（ａ）は通常の接触操作を示し、（ｂ）はより強い（手先の接触面積を広くした）接触操作を示す。図２７は、指圧が異なるジェスチャ動作の影形状を示す図であって、（ａ）は非接触時の影、（ｂ）は通常接触時の影、（ｃ）は指圧が強いときの影を示す。

図２５の操作１は、人差し指１本で接触操作を行った、所謂通常の接触操作を示す。

これに対し、図２５の操作２は、ユーザ６が人差し指と中指の二本の指を束ねた形状で接触操作を行った場合を示している。この場合、例えば、接触点検出部１０７が、図１７のＳ２００１およびＳ２００２と同様にして同時に二点の接触点を検出した後、制御部１１０は二点の接触点が同一の手に属するという情報と、二点の接触点座標の距離がある閾値より小さいことから、この二点は一つの接触操作と判定し、太さが通常接触操作時より太いペンによる書き込み操作として応答する。

表示制御部１１１は、応答のマーク８０１を中指先端として検知した基準座標に、また筆記具のマーク８０４をその近傍に表示しても良い。また、基準座標は、人差し指および中指それぞれの先端の中点でもよい。

この後、ユーザ６が二本の指の投射面３への接触を維持したまま指を動かしている間、その軌跡に沿って表示制御部１１１は表示画面上に線分を描画する。

なお、本例では人差し指と中指による接触を例に挙げたが、他の二本の指の組み合わせで同様の処理としても良いし、三本以上の指の接触操作の組み合わせに対して同様に異なる意味合いを持たせて応答するのでも良い。例えば人差し指、中指、薬指の三本を揃えて接触操作を行った場合に、さらに太字のペンとして書き込み操作を行ったり、消しゴムのアイコンを表示して消去操作（それまでに書き込んだペン操作による表示を消す）を行ったりしてもよい。

図２６は、一本指の操作の指圧の違いによりユーザ６への応答を変更する例を示す。図２６の操作１は、通常の接触操作による書き込み操作を示す。この状態から、ユーザ６が強く指を押し込むと、ユーザの手指は操作２に示す操作形状になる。制御部１１０がカメラ１００の撮影した画像から指が押し込まれた、すなわち、指圧が高くなったこと判定すると、表示制御部１１１が太字のペン操作に切り替える。

図２７には図２６で示した指圧の強さを影形状から認識する際の処理を示す。図２７（ｂ）が通常の接触操作（図２６の操作１に相当）時の影形状であり、さらに指圧を強くすると、影形状の輪郭線が直線から内側に反り返る形状に変化する。制御部１１０は、影形状の反り返り具合がある閾値以上の角度となった場合（図２７（ｃ）参照）に指圧の強さが強くなったと判定し、表示制御部１１１が操作２に示した応答を実現すればよい。なお、図２７（ａ）は、手指が投射面３に非接触な状態の影形状を示すものであり、接触点検出部１０７が二つの指先の影を検出すると、制御部１１０が非接触であると判定する。

側面からの手指形状を取得可能とするために、投射面３の左右水平方向位置、かつカメラ１００と垂直方向にもう一つカメラを設置して画像を取得し、これを基に判断してもよい。これにより、例えば図２７にて示したユーザ操作時の側面の形状を直接計測できるため、より正確にユーザ操作を検知可能となる。

なお、本実施形態では出力態様を２段階の状態で説明したが、指圧具合で生じる変化を連続量でとらえるようにして、ペンの太さを多段階で切り替えるように制御しても良い。

また、指圧の具合による判断に代えて、投射面３に対して操作する際の指の進入角度の差を用いても良い。すなわち、例えば、より垂直に近く接触操作を行った場合、撮影された影形状を捉えると影領域４０１および影領域４０２の２直線の交点での角度が大きくなり、逆に拳部分を寝かせた（投射面３に近づけた）状態で接触操作を行った場合、影領域４０１および影領域４０２の２直線の交点の角度は小さくなる。これを所定の値を閾値としてある角度より小さければ図２６の操作２と同様に応答する。この例においてもカメラ１００と垂直方向にもう一つカメラを設置して画像を取得して、画像データより判断すれば、より正確にユーザ操作を検知可能である。

以上の実施形態によって、ユーザは簡便な方法によって書き込み操作の種別を変更することが可能であり、装置の使い勝手が向上する効果が得られる。

＜第五実施形態＞
第五実施形態は、外部の映像出力装置４として、例えばタブレット型端末などの、タッチパネルを有しており表示画面外の額縁部分を利用したタッチ操作（表示画面外から画面内へスライドさせるスワイプイン、表示画面内から画面外へスライドさせるスワイプアウト）が可能な機器である場合に、これを投射型映像表示装置１と接続して使用する際の手指による制御方法の一例を示す。以下、図２８及び図２９を参照して第五実施形態について説明する。図２８は、投射面３上で表示画面２０外からの手指操作の実行例を示す図である。図２９は、スワイプイン操作にジェスチャ動作を割り当てるための設定画面を示す図である。

図２８に示すように、ユーザ６は投射型映像表示装置１の操作検出可能な領域、かつ、映像表示していない領域、すなわち、表示画面２０の外、かつ最大投射範囲２の内側から接触操作を開始し、接触の状態を維持したまま表示画面２０の領域内に手指を移動させる。制御部１１０は表示画面の座標情報とカメラ１００で取得される複数の連続した画像情報から得られる接触点の情報とを用いることで、表示画面２０の領域外から領域内への操作を検出可能である。

この時、第二実施形態と同様に、表示画面２０の領域外から領域内に向けて行った手指操作に対応する操作指示情報を生成し、投射型映像表示装置１から映像出力装置４に操作指示情報を送信する。

これにより、タッチパネル操作時と同等の機能を同等の操作感によって提供可能であり、ユーザの使い勝手を損なわずに済み、かつ、直観的に操作可能である効果が得られる。

ただし、表示画面のサイズが大きくなったり、投射面の位置とユーザ６の位置取りによってはユーザ６が接触操作を行えない領域が発生したりする。そのため、第二実施形態と同様にスワイプ操作についても、任意の手指形状への割り当てを設定してもよい。

そこで、例えば図２９に示す設定画面では、上下左右４方向のスワイプイン操作に対して、ユーザの立ち位置を考慮して右方向からの表示画面外からの操作を割り当てたり、左手での複数の指による接触操作を割り当てたりしている。

本実施形態によれば、表示画面２０外でジェスチャ動作を行っても、それが最大投射範囲内であれば、スワイプイン操作を実行することができ、ユーザの使い勝手を向上させることができる。

なお、映像出力装置４でスワイプアウト操作（表示画面内から表示画面外の額縁部分への操作）が可能であれば、同様に対応する操作指示情報を映像出力装置４に送付したり、任意の手指形状を設定可能にしてもよい。また、映像出力装置４がスワイプ機能対応した機器かどうかを判別することで、この機能の設定メニューの表示／非表示を変更するようにしても良い。

上記各実施形態は、本発明を限定するものではなく、本発明の趣旨を逸脱しない範囲で様々な変更態様があり、これらも本発明の技術的範囲に属する。

１：投射型映像表示装置、２：最大投射範囲、３：投射面、４：映像出力装置、５：映像伝送用ケーブル、２０：表示画面、１００：カメラ、１０１：右照明部、１０２：左照明部、１１５：投射部

Claims (8)

1. ポインタ操作入力及びキー入力による入力操作を受け付ける外部の情報処理装置に接続される投射型映像表示装置において、
   表示映像を投射面上に投射する投射部と、
   前記投射面を撮像して撮像画像を出力する撮像部と、
   前記撮像画像に基づいて、前記情報処理装置に対する入力操作のための動作を行う操作オブジェクトの状態を検出する検出部と、
   前記検出部が検出した操作オブジェクトの状態に基づいて前記入力操作の内容を示す操作指示情報を生成する操作指示情報生成部と、
   前記外部の情報処理装置に通信接続するための通信部と、を備え、
   前記検出部は、前記操作オブジェクトの移動、及び前記操作オブジェクトの移動とは異なる前記操作オブジェクトの状態を表す属性を検出し、
   前記操作指示情報生成部は、前記検出部が検出した前記操作オブジェクトの移動に基づいて、前記外部の情報処理装置に対して前記ポインタ操作入力を行うための第１の制御情報を生成するとともに、前記検出部が検出した操作オブジェクトの前記属性に基づいて、前記外部の情報処理装置に対して所定のキー入力を行うための第２の制御情報を生成し、
   前記通信部は、前記第１の制御情報及び前記第２の制御情報を前記外部の情報処理装置に送信する、
   ことを特徴とする投射型映像表示装置。
2. 請求項１に記載の投射型映像表示装置であって、
   前記操作オブジェクトの属性を前記キー入力に割り当てるための設定画面を、前記投射部に投射させる制御部を更に備える、
   ことを特徴とする投射型映像表示装置。
3. 請求項１に記載の投射型映像表示装置であって、
   前記操作オブジェクトはユーザの手指であって、
   前記操作オブジェクトの属性に、前記ユーザのいずれの手指による操作かを示す情報を含む、
   ことを特徴とする投射型映像表示装置。
4. 請求項１に記載の投射型映像表示装置であって、
   前記操作オブジェクトはユーザの手指であって、
   前記操作オブジェクトの属性に、前記ユーザの手指の掌側、又は手の甲側のどちらの面が前記撮像部に対向しているかを示す情報を含む、
   ことを特徴とする投射型映像表示装置。
5. 請求項１に記載の投射型映像表示装置であって、
   前記操作オブジェクトはユーザの手指であって、
   前記操作オブジェクトの属性に、前記ユーザの手指のうち、何本の指による同時操作であるか、又は前記投射面に前記ユーザの手指が接触している際の指圧の強弱を判定するための情報を含む、
   ことを特徴とする投射型映像表示装置。
6. 請求項１に記載の投射型映像表示装置であって、
   前記ポインタ操作入力及びキー入力による入力操作は、前記ポインタ操作入力を行う際の操作ポインタの表示モード、文字を記入する書き込みモード、文字を消去する消去モード、前記表示映像に含まれる部分領域を回転表示する回転操作モード、前記部分領域を拡大又は縮小表示する拡大縮小モードのうちの少なくとも一つの操作モードに設定するための操作である、
   ことを特徴とする投射型映像表示装置。
7. 請求項６に記載の投射型映像表示装置であって、
   前記通信部は、前記外部の情報処理装置が前記第１の制御情報及び前記第２の制御情報に基づいて生成した前記操作ポインタ及び前記操作モードを示すマークの少なくとも一つを含む映像信号を受信し、
   前記投射部は、前記映像信号に基づく表示映像を投射する、
   ことを特徴とする投射型映像表示装置。
8. 請求項６に記載の投射型映像表示装置であって、
   前記外部の情報処理装置から入力された映像に重畳する映像を生成する表示制御部を更に備え、
   前記表示制御部は、前記第１の制御情報及び前記第２の制御情報に基づき前記操作ポインタ及び前記操作モードを示すマークの少なくとも一つを生成して、前記外部の情報処理装置から入力された映像に重畳し、
   前記投射部は、前記操作ポインタ及び前記操作モードを示すマークが重畳された表示映像を投射する、
   ことを特徴とする投射型映像表示装置。