WO2016132480A1 - 映像表示装置及び映像表示方法 - Google Patents

Abstract

　投射型映像表示装置１００は、情報処理装置１５０から提供される映像を投射面に表示する映像投射部１２３と、投射面上でのユーザの手振り操作を撮像するカメラ１０２と、カメラの撮像画像に基づいてユーザの手振り操作を検出する操作検出部１０５と、情報処理装置に対する制御信号を生成し表示する映像を制御する制御部１２５と、を備える。情報処理装置１５０が該装置の機能によりロック画面状態等となった場合、制御部１２５は、その後の操作検出部１０５で検出されたユーザの手振り操作に基づいて、情報処理装置がロック画面状態等から通常画面状態へ復帰するための制御信号を生成し、信号入出力部１２４から情報処理装置１５０に送信する。

Description

映像表示装置及び映像表示方法

　本発明は、ユーザの操作を撮像画像から検出して映像表示を制御する映像表示装置及び映像表示方法に関する。

　投射型映像表示装置（プロジェクタ）の投射面上でのユーザ操作入力として、タッチセンサ等の特殊なデバイスを用いることなく、ユーザの操作部（指、手）を撮像してその画像から操作位置を検出する技術が提案されている。特許文献１には、照明された状態で撮像手段により得られる操作者の画像データをもとに、操作者の特定部位の領域から影の部分を抽出し、抽出された影の形状を解析することで操作位置を検出する操作検出装置が記載されている。

　また、ＰＣから送信された映像をプロジェクタにて投射するシステムにおいて、ＰＣ側でスクリーンセーバーが起動すると、プロジェクタの投写映像もスクリーンセーバー画像が表示されることになり、ユーザに不快感を与えることになる。これに関し特許文献２には、プロジェクタは予めＰＣへ、スクリーンセーバーの起動を禁止または許可する制御情報を送信しておき、ＰＣでは、スクリーンセーバーの起動イベントが発生した場合、予め受信した制御情報に従って、スクリーンセーバーの起動の制御を行うことが記載されている。

特開２００８－５９２８３号公報 特開２００８－７７３０１号公報

　ＰＣなどの外部装置からの映像を表示する映像表示装置において、ＰＣの動作状態により、提供される映像画面が、スクリーンセーバー画面あるいは映像出力ＯＦＦ画面等のロック状態に遷移する場合がある。このような場合、画面を通常状態に即時に復帰させる必要がある。また、映像表示装置の操作者（ユーザ）が複数人存在する場合には、復帰動作を行う上で、操作者の権限を異ならせて付与したい場合がある。

　特許文献１では、撮像手段により得られる操作者の画像データから指差し位置を検出し、指の位置によって本人による指差し動作なのか、他人による指差し動作なのかを判定している。しかしながら、複数の操作者が入れ替わって投射面で指し示す場合に関しては何ら考慮されていない。また特許文献１では、投射する映像が、スクリーンセーバー画面あるいは映像出力ＯＦＦ画面に遷移する場合については考慮されていない。

　特許文献２では、プロジェクタはＰＣへ、スクリーンセーバーの動作に関する制御情報を送信しているが、予めスクリーンセーバーの起動を禁止するか、または許可するかの初期設定情報を送っているだけである。よって、ＰＣ側でスクリーンセーバーが一旦起動した状態からの復帰処理、またその際に必要とされるアカウント再ログインの一連の処理については考慮されていない。

　本発明は上記の課題を鑑み、複数のユーザにより使用される映像表示装置において、外部装置から提供される画面がロック状態に遷移した場合、画面を簡単に通常状態に復帰させる映像表示装置及び映像表示方法を提供することを目的とする。

　本発明は、情報処理装置と接続して映像を表示する映像表示装置において、情報処理装置から提供される映像を表示面に表示する映像表示部と、表示面上でのユーザの手振り操作を撮像するカメラと、カメラの撮像画像に基づいてユーザの手振り操作を検出する操作検出部と、情報処理装置との間で信号の入出力を行う信号入出力部と、情報処理装置に対する制御信号を生成し表示する映像を制御する制御部と、を備え、情報処理装置が該装置の機能により、ロック画面状態、スクリーンセーバー画面状態、または映像出力ＯＦＦ状態となった場合、制御部は、その後の操作検出部で検出されたユーザの手振り操作に基づいて、情報処理装置が、ロック画面状態、スクリーンセーバー画面状態、または映像出力ＯＦＦ状態から通常画面状態へ復帰するための制御信号を生成し、信号入出力部から情報処理装置に送信する。

　また本発明は、情報処理装置と接続して映像を表示する映像表示方法において、情報処理装置から提供される映像を表示面に表示するステップと、情報処理装置の機能により、映像の表示画面がロック画面状態、スクリーンセーバー画面状態、または映像出力ＯＦＦ状態となった場合、情報処理装置を通常画面状態へ復帰させる方法として、表示面上でのユーザの手振り操作を撮像するステップと、撮像した画像に基づいてユーザの手振り操作を検出するステップと、検出されたユーザの手振り操作に基づいて、情報処理装置が通常画面状態へ復帰するための制御信号を生成するステップと、情報処理装置に前記制御信号を送信するステップと、を備える。

　本発明によれば、複数のユーザが入れ替わって使用する場合でも、ユーザ個人の情報を入力することなく、手振り操作のみで外部装置をロック画面状態等から通常画面へ復帰させることのできる、安全で使い勝手の良い映像表示装置及び映像表示方法を提供できる。

実施例１における投射型映像表示装置の構成を示す図。 ロック解除のための処理を示すフローチャート。 セキュリティロック状態解除のための処理を示すフローチャート。 属性に基づいたロック解除処理を示すフローチャート ユーザの手振り操作を検出する処理を示すフローチャート。 手振りパターン登録処理を示す図。 手動による手振りパターン登録処理を示すフローチャート。 手振りパターン照合処理を示すフローチャート。 手振り特徴として用いる指サインの例を示す図。 手振り特徴として用いる手振りモーションの例を示す図。 手振り特徴として用いる手の形状・サイズの例を示す図。 手振り特徴として両手の指サインを組み合わせた例を示す図。 実施例２における手振りパターン登録処理を示す図。 手動による手振りパターン登録処理を示すフローチャート。

　以下、本発明の実施例を図面を用いて説明する。以下の実施例では、映像を投射面（スクリーン等）に投射して表示する投射型映像表示装置（プロジェクタ）について説明するが、本発明はこれに限定せず、大画面表示等の任意の映像表示装置に適用できるものである。

　実施例１では、カメラによりユーザの操作を検出し、ユーザの手振り操作に応じて、映像を提供する外部装置の画面をスクリーンセーバー画面あるいは映像出力ＯＦＦ画面（ブランク画面）などのロック画面から通常状態に復帰させるものである。そのため投射型映像表示装置は、予め各ユーザ固有の手振り操作の特徴を取得し、識別情報と属性情報を付与してデータベースに登録しておく。そして、ユーザの操作をカメラで撮影しその手振り操作を検出し、データベースに登録した各ユーザの手振り特徴と照合し、識別情報及び属性情報に応じて外部装置に対して制御を行う。ここに識別情報とは、外部装置を制御するためのアカウントであり、属性情報とは、当該アカウントをその操作権限により分類した情報である。

　図１は、実施例１における投射型映像表示装置の構成を示す図である。投射型映像表示装置（プロジェクタ）１００は、検出機能部１０１と表示機能部１２１を備え、外部に接続された情報処理装置（以下、外部装置とも呼ぶ）１５０から提供される映像を投射面に投射して表示する。

　検出機能部１０１は、カメラ１０２、照明１０３ａ，１０３ｂ、手振りパターン操作検出判定部１０４、通信部１０８、制御部１０９を有する。手振りパターン操作検出判定部１０４は、操作検出部１０５、手振りパターン管理部１０６、手振りパターン照合部１０７を含む。また表示機能部１２１は、通信部１２２、映像投射部１２３、信号入出力部１２４、制御部１２５を有する。検出機能部１０１は表示機能部１２１へ検出結果データ１１０を送信する。

　表示機能部１２１の信号入出力部１２４には、映像データを提供する外部の情報処理装置１５０（以下、外部装置とも呼ぶ）を接続する。情報処理装置１５０は例えばＰＣであり、複数台接続可能である（ここでは３台１５０ａ～１５０ｃ接続した場合を示す）。情報処理装置１５０との間では、符号１６０で示す映像信号や制御信号を送受信する。

　なお、上記の構成は一例であり、一部の構成要素を中央処理装置（ＣＰＵ）で処理を行ってもよい。また、一部の構成要素を外部に有し、ネットワーク接続やユニバーサルシリアルバス（ＵＳＢ）接続によって結合してもよい。また、検出機能部１０１と表示機能部１２１を結合し、それら全体で１つの装置となるように構成してもよい。

　以下、各部の構成と動作について説明する。
  検出機能部１０１において、カメラ１０２は、イメージセンサ、レンズ、フィルタ等を有し、ユーザの操作領域を撮像する。一対の照明１０３ａ，ｂは、発光ダイオード、回路基板、レンズ等を有し、カメラ１０２が撮像する領域を両側から照射する。

　操作検出部１０５は、回路基板やソフトウェア等を有し、カメラ１０２で撮像した画像からユーザの手・指による手振り操作を検出する。ユーザの手振り操作の検出処理については、図３を用いて後述する。

　手振りパターン管理部１０６は、回路基板やソフトウェア等を有し、予めユーザの手振りの特徴を手振りパターン情報としてデータベースに登録し、手振りパターン情報の新規追加、変更、削除等の要求に応じてデータベースの手振りパターン情報を更新する。

　手振りパターン照合部１０７は、回路基板やソフトウェア等を有し、操作検出部１０５で検出したユーザの手振り操作を、手振りパターン管理部１０６のデータベースに登録されている手振りパターン情報と照合し、ユーザ操作を識別する。

　通信部１０８は、ネットワーク接続やＵＳＢ接続、赤外線通信装置等を有し、表示機能部１２１と通信するインタフェースである。制御部１０９は、回路基板やソフトウェア等を有し、カメラ１０２、照明１０３ａ，ｂ、手振りパターン操作検出判定部１０４、通信部１０８を制御する。

　表示機能部１２１において、通信部１２２は、ネットワーク接続やＵＳＢ接続、赤外線通信装置等を有し、検出機能部１０１と通信するインタフェースである。映像投射部１２３は、光源ランプ、液晶パネル、レンズ等を有し、投射面に対して情報処理装置１５０から提供された映像を投射する。なお、投射型以外の映像表示装置においては、映像投射部１２３は映像表示部に相当し、投射面は表示面と読み替えればよい。

　信号入出力部１２４は、外部の情報処理装置１５０から投射する映像データを入力するとともに、情報処理装置１５０に対する動作を制御する制御信号を出力する。制御部１２５は、回路基板やソフトウェア等を有し、通信部１２２、映像投射部１２３、信号入出力部１２４を制御する。

　検出機能部１０１から表示機能部１２１に出力する検出結果データ１１０は、検出したユーザ操作の特徴とその識別情報や属性等の情報が含まれる。表示機能部１２１は、入力した検出結果データ１１０に従い、映像投射部１２３の映像表示を制御するとともに、外部の情報処理装置１５０に対する制御（ロック画面から通常画面への復帰制御など）を行う。

　ここで、投射型映像表示装置（プロジェクタ）１００を情報処理装置（外部装置）１５０と接続して使用する場合には、次のような使用形態が可能である。「マウス操作モード」は、プロジェクタ１００側で検知されるユーザ操作を、外部装置１５０の入力デバイス（パソコンのマウス）と同等の入力機能とみなして制御するモードである。「描画モード」は、プロジェクタ１００側で検知されるユーザ操作によって、表示画面上へ情報の重畳処理を行う制御するモードである（このモードでは、「マウス操作モード」のような入力デバイス機能としての制御は行われない）。「プロジェクタ内機能操作モード」は、プロジェクタ１００側で検知されるユーザ操作を、プロジェクタ１００自体の機能についてのＧＵＩまたはアプリケーションの操作として認識するモードである。

　外部装置１５０は、自身の有する機能によりスクリーンセーバー画面状態、または映像出力ＯＦＦ画面状態などのロック画面状態に遷移することがある。そのような場合、本実施例のプロジェクタ１００は、プロジェクタ１００側でユーザ操作を検知すると、外部装置１５０に対し、ロック画面状態から通常画面状態に復帰するための制御信号を送信する。以下、ロック画面状態から通常画面状態に復帰させるためのいくつかの形態について説明する。

　図２Ａは、ロック解除のための処理を示すフローチャートである。以下に示す処理フローは、例えばプロジェクタ１００において、表示機能部１２１の制御部１２５が、検出機能部１０１によってユーザの手振り操作を検出した検出結果データ１１０を受信した時に実行する。

　Ｓ２０１では、外部装置１５０が、スクリーンセーバー画面状態または映像出力ＯＦＦ状態などのロック画面状態になっているかどうかを判定する。これは、外部装置１５０から提供される映像信号の状態から判定できる。ロック画面状態になっている場合はＳ２０２へ進み、ロック画面状態になっていない場合は一連のフローを終了する。

　Ｓ２０２では、ロック解除のトリガーとなる信号を、接続先である外部装置１５０に向けて送信する。ロック解除のトリガー信号については、プロジェクタ１００が上述の「マウス操作モード」で動作している場合は、そのままマウス入力用信号を送信すればよい。またこの場合、キーカーソルの移動信号やその他の副作用の少ない信号を送信してもよい。ただし、プロジェクタ１００が上述の「マウス操作モード」以外の「描画モード」や「プロジェクタ内機能操作モード」で動作している場合は、通常はマウス入力用信号は送信されない。そこでＳ２０２の処理では、例えば、疑似的に微小な移動分のマウス入力用信号やキーカーソルの移動信号を送信する。

　このとき、送信されるマウス入力用信号やキーカーソルの移動信号は、外部装置１５０側のカーソル等のポインティング位置に微小な影響を及ぼす可能性がある。これを避けるため、当該微小変位のマウス入力用信号やキーカーソルの移動信号と、それと逆向きで同微小変位のマウス入力用信号やキーカーソルの移動信号とを組み合わせて送信すればよい。すると、結果的に外部装置１５０側のカーソル等のポインティング位置は、上記ロック解除トリガー信号の受信前と同じ位置に保たれる。また、この場合もロック解除トリガー信号として、その他の副作用の少ない信号を送信してもよい。

　Ｓ２０３では、外部装置１５０は、上記したロック解除トリガー信号、すなわちマウス入力用信号やキーカーソルの移動信号を受信すると、提供する映像画面を、スクリーンセーバー画面状態または映像出力ＯＦＦ状態などのロック状態から通常状態に復帰させる。そして外部装置１５０は画面復帰の結果を示すレスポンス信号を送信し、プロジェクタ１００は信号入出力部１２４を介してレスポンス信号を受信する。レスポンス信号の内容は制御部１２５にて解釈する。
  これでプロジェクタ１００にて表示する映像画面は、通常画面状態となり、一連の処理フローを終了する。なお、Ｓ２０３におけるレスポンス信号の送受信処理は省略してもよい。

　次に、上述のロック画面状態として、スクリーンセーバー画面状態または映像出力ＯＦＦ状態に加えて、パスワード入力等の再ログイン等を要求する「セキュリティロック画面状態」の場合がある。以下、その場合の処理を説明する。

　図２Ｂは、セキュリティロック状態解除のための処理を示すフローチャートである。この例では、所定のアカウントの権限に基づいて、外部装置をセキュリティロック画面状態から復帰させる場合を含む処理フローを示している。

　Ｓ２１１～Ｓ２１３は、図２ＡのＳ２０１～Ｓ２０３に対応している。すなわちＳ２１３までの処理で、再ログインを不要とするロック画面状態は通常画面に復帰させることができるが、パスワード入力等の再ログインが必要なセキュリティロック画面状態からは復帰できない。再ログインが必要な場合は、Ｓ２１３にて外部装置１５０はプロジェクタ１００に対し再ログインを要求するレスポンス信号を送信する。

　Ｓ２１４では、プロジェクタ１００の制御部１２５は、Ｓ２１３で受信したレスポンス信号を解釈し、再ログインを要求されているか否かを判定する。再ログインを要求されている場合はＳ２１５に進む。再ログインを要求されていない場合はＳ２１８に進み、そのまま通常使用可能と判定し一連のフローを終了する。

　Ｓ２１５では、検出機能部１０１の操作検出部１０５により、ユーザ操作の検出と手振り特徴の認識を行う。またＳ２１６では、手振りパターン照合部１０７により、データベースと照合し認識した手振り特徴に付与されたアカウントを確認する。その確認結果は、検出結果データ１１０として表示機能部１２１へ送られる。

　Ｓ２１７では、検出結果データ１１０を受けた制御部１２５は、手振りパターンに付与されたアカウントに基づいて、該当する再ログイン用データを信号入出力部１２４を介して外部装置１５０へ送信する。ここで、アカウントに基づいた再ログイン用データとしては、例えば、「アカウント＋パスワード」のパッケージを送る方式や、さらなる変換テーブルのデータベースを仲介させる方式でもよい。再ログイン用データを受信した外部装置１５０は、セキュリティロック画面状態を解除し、通常画面状態に復帰する。これでプロジェクタ１００側の表示画面は通常画面状態に復帰し、一連の処理フローを終了する。

　以下、Ｓ２１５での手振りパターンの認識、Ｓ２１６での手振りパターンのデータベースとの照合、及びアカウントとの紐付けの確認などについて、詳細に説明する。

　図３は、操作検出部１０５におけるユーザの手振り操作を検出する処理を示すフローチャートである。ここでは、投射面上でのユーザの手・指の影の形状から手振り操作を検出する例を説明する。

　Ｓ３０１では、カメラ１０２によって撮影される画像において、手や指の影が検出されているか否かを判断する。この場合、２つの照明１０３ａ，ｂにより２つの影が発生する。検出されている場合はＳ３０２に進み、検出されていない場合は一連のフローを終了する。

　Ｓ３０２では、指や手に関する２つの影領域において、それぞれの特徴点（例えば指の中央などの代表点）を検出する。Ｓ３０３では、２つの特徴点間の距離ｄを測定する。Ｓ３０４では、特徴点間の距離ｄが所定の値より小さいか否かを判定する。所定の値よりも小さい場合はＳ３０５に進み、所定の値以上である場合はＳ３０８に進む。

　Ｓ３０５では、手・指が投射面に十分に接近していると判定する。これは、手・指が投射面に接近すると、２つの影領域が接近するからである。Ｓ３０６では、２つの影領域においてそれぞれの先端部を検出する。Ｓ３０７では、検出された先端部の集合を手や指の形状（手振り形状）として検出し、またその位置を知ることができる。

　Ｓ３０８では、手・指が投射面に十分に接近しておらず、手振り検出に適さないと判定する。

　上記のフローにより投射面近くでのユーザの手振りを検出することができる。なお、上記のフローは繰り返して実行し、ユーザの手振りを常時検出するものとする。なお、操作検出部１０５における処理は図３の方法に限定するものではなく、他の画像処理のアルゴリズムを用いてもよい。

　図４は、手振りパターン管理部１０６における手振りパターン登録処理を示す図である。手振りパターン登録処理とは、投射面上行われる手振り操作に関連した情報を、データベースに登録する処理であり、（ａ）は登録処理フローを、（ｂ）は登録したデータベースの例を示す。ここでは、自動的に登録する場合を説明する。

　（ａ）の手振りパターン自動登録処理は、データベースに登録のない手振り操作が検出されたことをトリガーとして開始する。すなわち、自動による手振りパターン登録処理であり、ユーザは登録のための操作を意識的に行う必要がない。

　Ｓ４００では、カメラ１０２で撮像したユーザの手の画像に基づいて、ユーザの手振りに関する特徴を抽出する。ユーザが投射面上で操作する場合には、ユーザの手が必ずカメラ１０２の撮像範囲内に存在することになり、撮影した画像からユーザの手振りの特徴を取得することができる。手振りに関する特徴としては、手の見かけの大きさ、見かけの形状、角度の違いによる色等が挙げられ、具体的な例は後述する。

　Ｓ４０１では、Ｓ４００で抽出したユーザの手振りに関する特徴を、手振りパターンとして後述するデータベースに登録する。

　Ｓ４０２では、登録した手振り特徴に対して識別情報を付与する。識別情報とは、複数のユーザが存在する環境において、手振りパターンを介してユーザ毎のアカウントを識別するためのアカウント名やアカウント番号であり、一意であることが好ましい。付与した識別情報は、Ｓ４０１で登録した手振り特徴と関連付けて、データベースに登録する。

　Ｓ４０３では、手振りパターンに対して属性を付与する。属性とは、ある共通した性質をもったアカウントを分類するための情報であり、操作権限（操作の許可範囲）に応じて設定する。例えば、全ての操作が許可されるアカウントには「特別」、一部の操作が制限されるアカウントには「一般」の属性を付与する。以下では、「特別」の属性が付与されたアカウントを「特別アカウント」、「一般」の属性が付与されたアカウントを「一般アカウント」と呼ぶ。付与した属性は、Ｓ４０１で登録した手振り特徴と関連付けて、データベースに登録する。なお、アカウントを分類して属性を付与する必要がない場合には、Ｓ４０３を省略してもよい。

　属性の付与に際しては、使用状況に応じて適宜ルールを定めればよい。例えば、最初に属性を付与するアカウントは特別アカウント、２番目以降に属性を付与するアカウントは一般アカウントとしてもよい。また、使用頻度がある一定値以上のアカウントは特別アカウント、それ以外のアカウントは一般アカウントとしてもよい。あるいは、手振りがある一定の形を示したアカウントは特別アカウント、それ以外のアカウントは一般アカウントとしてもよい。

　（ｂ）は、手振りパターンを登録したデータベースの例を示す。データベースは、手振り特徴、識別情報、及び属性の項目で構成され、これら３項目を手振りパターンデータと呼ぶ。ここでは、３通りの手振り特徴（手の角度を変えている）Ａ，Ｂ，Ｃに対して、それぞれの識別情報であるアカウントＡ，Ｂ，Ｃを付与している。また、属性として、アカウントＡには「特別」、アカウントＢ，Ｃには「一般」を付与している。

　ここで手振りパターンデータ（手振り特徴、及びそれに割り当てた識別情報と属性）は、ユーザ個人に対応させて登録することで、ユーザを識別して操作権限を与えることが可能である。すなわち、外部装置をロック画面状態から復帰させる処理は、ユーザ毎の属性情報に従い実行させるようにする。例えば、外部装置のセキュリティロック解除の権限を有するユーザが制限される場合には、登録されたユーザのうち、属性が「特別」のユーザのみが解除可能となる。一方、スクリーンセーバー画面状態、または映像出力ＯＦＦ状態の場合は、属性に関わらず「特別」「一般」とも解除を可能とする。

　図２Ｃは、属性に基づいたロック解除処理を示すフローチャートである。このうち、Ｓ２２１～Ｓ２２６、およびＳ２２８、Ｓ２２９については図２Ｂの内容と同一なので説明を省略する。

　Ｓ２２７では、制御部１０９は、データベースを参照しＳ２２６で確認したアカウントの属性情報を判定する。「特別」であればＳ２２８へ進み、該当する再ログイン用データを外部装置１５０へ送信する。属性情報が「特別」でなければ一連の処理フローを終了する。

　この処理によれば、外部装置の操作権限に連携して設定されたユーザの属性情報に応じて、ロック画面状態を解除することが可能となる。つまり、所定の属性を持ったユーザのみにロック画面の解除操作を許可し、それ以外のユーザには解除操作を禁止させることができる。

　図５は、手動による手振りパターン登録処理を示すフローチャートである。例えば登録済みの手振りパターン情報を変更したい場合には、手動により登録する。手動登録は、ユーザが「手振りパターン登録モード」を起動させて行う。

　Ｓ５０１では、ユーザは手振りパターン登録モードを起動する。これに続くＳ５０２～Ｓ５０９は、投射面に投射される映像を表しており、ユーザは投射映像に従って手振り登録処理のための操作を行う。

　Ｓ５０２では、手振りパターン登録を開始する旨を通知する。Ｓ５０３では、ターゲット（照準枠）を表示し、ユーザの片方の手を所定の位置に誘導する。ユーザは所定の位置に片手を移動させ手振り操作を行い、それをカメラ１０２で撮像する。

　Ｓ５０４では、撮像画像から手振り特徴を取得し、手振りパターンとしてデータベースに登録する（図４のＳ４０１に相当）。そして、登録が完了した旨を通知する。

　Ｓ５０５では、登録確認のため、再度ターゲットを表示し、ユーザの片方の手を所定の位置に誘導する。ユーザは所定の位置に片手を移動させ、再度同じ手振り操作を行いカメラ１０２で撮像する。

　Ｓ５０６では、２回の手振り特徴を比較し、これらが一致していることを確認し、手振りパターンの登録・確認が完了した旨を通知する。なお、登録確認作業をユーザが要求しない場合は、Ｓ５０５，Ｓ５０６を省略できる。

　Ｓ５０７では、当該手振り特徴に対するアカウント名の入力を求める。入力されたアカウント名は、識別情報としてデータベースの登録する（図４のＳ４０２に相当）。

　Ｓ５０８では、入力したアカウントに対して分類（特別／一般）の選択を求める。ここで選択された分類は、該アカウントの属性としてデータベースに登録する（図４のＳ４０３に相当）。アカウントに属性を付与する必要がない場合には、Ｓ５０８を省略してもよい。

　Ｓ５０９では、アカウント・属性の紐付けがなされた手振りパターン登録が完了した旨を通知する。これで一連の処理フローを終了する。

　上記フローにおいて、登録しようとする手振りパターンが既にデータベースに登録済みである場合には、手振りパターンデータの重複登録を避けるために、途中でフローを抜けるルートを設けてもよい。

　図４で説明した自動による登録処理では、手振りパターン登録処理のためのユーザの操作を省略でき、ユーザの使い勝手が向上する。一方、図５で説明した手動による登録処理では、ユーザの手を所定の位置に誘導したり、ユーザにアカウント名の入力やアカウント属性の選択を求めたりすることで、信頼性の高いデータベースを作成できる。なお、手振りパターン登録処理を手動、自動のいずれで行うかは、装置の使用環境やユーザの嗜好に応じて、ユーザが適宜選択できるようにしてもよい。

　図６は、手振りパターン照合部１０７における手振りパターン照合処理を示すフローチャートである。

　Ｓ６０１では、操作検出部１０５は、カメラ１０２でユーザ操作を検出し、撮像画像から手振り特徴を抽出する。Ｓ６０２では、検出したユーザの手振り特徴を、手振りパターン管理部１０６が作成しているデータベースと照合する。照合に際しては、検出したユーザの手振り特徴を、データベースに登録されている手振りパターン（手振り特徴）と比較する。

　Ｓ６０３では、照合の結果、検出した手振り特徴と一致する手振りパターンが、データベースにあるか否かを判定する。一致する手振りパターンがある場合はＳ６０４に進み、一致する手振りパターンがない場合はＳ６０６に進む。

　Ｓ６０４では、データベースを参照し、一致すると判定した手振りパターンの識別情報、すなわち紐付けされたアカウントを認識する。Ｓ６０５では、データベースを参照し、一致すると判定した手振りパターンの属性、すなわちアカウントに付与された属性を認識する。これで照合処理を終了し、その後、認識したアカウントと属性に従い、外部装置に対して制御を行う。なお、当該アカウントに属性が付与されていない場合は、Ｓ６０５の工程を省略してもよい。

　Ｓ６０６では、検出した手振り操作を新たな手振りパターンとして登録を行う。手振りパターンの登録処理は、図４に示した自動登録、あるいは図５に示した手動登録のいずれでもよい。なお、Ｓ６０６において新規に登録せずに、検出した手振り操作は未登録操作であると判定し、ローカルアカウントとして扱ってもよい。

　以下、手振りパターンに登録可能な手振り特徴についていくつかの具体例を説明する。
  図７は、手振り特徴として用いる指サインの例を示す図である。（ａ）は“Ｇｏｏｄ　Ｊｏｂ”、（ｂ）は“Ｏ．Ｋ．”、（ｃ）は“Ｌｉｂｅｒｔｙ”、（ｄ）は“Ｎｕｍｂｅｒ　４”、（ｅ）は“Ｔｅｌｅｐｈｏｎｅ”、（ｆ）は“Ｆｏｘ”を示すサインであり、これらの形状より手振りを区別することができる。

　データベースに登録するのは、指サインの特徴要素のうちの１つであってもよいし、これらの中から複数を組み合わせた指サイン遷移でもよい。また、データベースに登録する指サインの特徴は、上記を数値化あるいは文書化したものでもよい。例えば、指サインの形状については、概略形状の頂点の座標データを特徴として登録すればよい。

　図８は、手振り特徴として用いる手振りモーションの例を示す図である。ここではユーザの手の移動方向で区別するもので、（ａ）は“Ｌｅｆｔ”、（ｂ）は“Ｒｉｇｈｔ”、（ｃ）は“Ｄｏｗｎ”、（ｄ）は“Ｕｐ”の方向を示す。この場合も、複数のモーションを組み合わせてもよい。また、登録する手振りモーションの特徴は、上記を数値化あるいは文書化したものでもよい。例えば、手振りモーションについて、動きベクトル座標データを特徴として登録すればよい。

　図９は、手振り特徴として用いる手の形状・サイズの例を示す図である。（ａ）は手の形状、（ｂ）は手の大きさ、（ｃ）は指の形状、（ｄ）は指の長さを特徴としている。手や指の形状では、特徴点を複数定め、それらを結んで手や指の概略形状を取得する。また、手の色、手のしわのパターン、手の輝度分布、爪の形状等も、手振りの特徴を表すものとして捉えることができる。手の形状やサイズは個人ごとに異なる場合が多いので、ユーザを区別するうえで有効である。

　さらに図１０では、手振り特徴として両手の指サインを組み合わせた例を示す図である。すなわち、左手の指サインと右手の指サインとを組み合わせ、両手の指の角度を同様に変えている。両手の手振りを用いることで、片手の場合よりも手振り検出の精度を向上させることができる。変形例として、片手または両手を用いて連続する２回、あるいはそれ以上の手振りを組み合わせてもよい。

　以上図７～図１０で説明した各手振り特徴は、単独で使用するだけでなく、組み合わせて使用することも可能であり、これにより検出精度がより向上するのは言うまでもない。

　上述したように、本実施例では、カメラ１０２でユーザの手振り操作を撮像し、操作検出部１０５でユーザの手振り操作を検出し、検出された手振り操作に基づいて、制御部１２５は、外部の情報処理装置１５０をロック画面状態等から通常画面状態へ復帰するための制御信号を生成し、情報処理装置１５０に送信する。その際、手振りパターン管理部１０６において、予め各ユーザの手振り特徴に対して識別情報（アカウント）及び属性（操作権限）を付与してデータベースに登録しておく。手振りパターン照合部１０７は、検出したユーザの手振り操作をデータベースと照合して、付与されている識別情報及び属性を認識し、制御部１２５は、認識した識別情報と属性に応じて制御信号を生成する。

　その結果、複数のユーザが入れ替わって使用する場合でも、ユーザ個人の情報を入力することなく、手振り操作のみで情報処理装置１５０をロック画面状態等から通常画面へ復帰させることのできる安全で使い勝手の良い投射型映像表示装置を提供できる。

　実施例２では、ユーザの手振り操作だけでなくユーザの顔情報を利用して、投射型映像表示装置の制御を行うようにした。これにより、ユーザを精度良く識別しその権限に応じた制御が可能となる。

　実施例２における投射型映像表示装置の構成は、実施例１（図１）と同様である。実施例１ではカメラ１０２でユーザの手振り操作を撮影したのに対し、実施例２ではユーザの手振りとともにユーザの顔を撮影する。１台のカメラで手と顔の両方を撮影することが難しい場合は、カメラを複数台用意し、そのうちの１台で手を、別の１台で顔を撮影するようにしてもよい。あるいはカメラの数は１台とし、広角レンズや魚眼レンズをカメラに取り付けて撮影範囲を拡張することで、手と顔の両方を撮影できるようにしてもよい。

　操作検出部１０５は、予めユーザの手振り操作と顔を検出し、手振りパターン管理部１０６において、ユーザの顔情報を含めて手振りパターンとしてデータベースに登録しておく。その後ユーザが操作を行うと、ユーザの手振り操作と顔を検出し、手振りパターン照合部１０はデータベースを参照して手振り特徴と顔情報を照合し、登録されている識別情報及び属性を認識する。

　図１１は、実施例２における手振りパターン管理部１０６による手振りパターン登録処理を示す図である。（ａ）は登録処理フローを、（ｂ）は登録したデータベース示す。ここでは、自動的に登録する場合を説明する。

　（ａ）の手振りパターン自動登録処理において、Ｓ７００では、カメラ１０２で撮像した画像からユーザの手振りの特徴、及びユーザの顔の特徴を抽出する。顔の特徴としては、顔のパーツの相対位置や大きさ、顔の輪郭形状等のデータが挙げられる。Ｓ７０１では、Ｓ７００で抽出したユーザの手振りと顔に関する特徴を、手振りパターンとしてデータベースに登録する。

　Ｓ７０２では、登録した手振りパターンに対して識別情報を付与し、データベースに登録する。識別情報は、実施例１と同様に、手振り特徴に対応させたアカウント名やアカウント番号である。Ｓ７０３では、識別情報に対して属性を付与する。属性は、実施例１と同様に、アカウントを分類するための情報であり、操作権限（許可される操作の範囲）に応じて「特別」や「一般」などで分類する。

　（ｂ）は、手振りパターンを登録したデータベースの例を示す。データベースには、各手振り特徴の他に、ユーザの顔情報を追加して登録している。登録する顔情報は、顔の画像そのものでもよいが、顔のパーツの相対位置や大きさ、顔の輪郭、顔の色、目、鼻、口、あごの形状などのデータでもよい。この場合、各手振り特徴にはユーザ顔情報が紐付けられて登録するので、手振りパターンの識別精度が向上する。

　ユーザが投射面上で操作する場合には、ユーザの手は必ずカメラ１０２の撮像範囲内に存在する。しかし、ユーザの顔に関しては、ユーザの立ち位置やカメラが向けられている方向によっては、必ずしもカメラ１０２の撮像範囲内に存在するとは限らない。そこで、ユーザの顔を自動撮影できない場合には、次に述べる手動によりユーザの顔の特徴を登録する。

　図１２は、手動による手振りパターン登録処理を示すフローチャートである。この場合、ユーザが「手振りパターン登録モード」を起動したことをトリガーとして、手振りパターン登録処理が開始される。この場合の処理フローは、実施例１の図５で説明した処理フロー（Ｓ５０１～Ｓ５０９）にＳ８０１～８０３の工程を追加すればよく、例えばＳ５０２とＳ５０３の間に挿入する。ここでは追加するＳ８０１～Ｓ８０３の工程のみを示すが、投射面に投射される映像を表しており、ユーザは投射映像に従って、手振りパターン登録処理のための操作を行う。

　Ｓ８０１では、ユーザに対してカメラを見るように通知する。Ｓ８０２では、カメラ１０２で撮像中のカメラ映像８１０を表示し、ユーザの顔を所定の位置に誘導する。ユーザは所定の位置に顔を移動させ、ユーザの顔をカメラ１０２で撮像する。

　Ｓ８０３では、撮像した顔画像から顔の特徴を抽出し、データベースに登録する。そして、顔の登録が完了した旨を通知する。その後、手振り特徴の登録と識別情報（アカウント）・属性の付与を行い、手振りパターンの自動登録が完了する。手振りパターン登録処理を手動、自動のいずれで行うかは、装置の使用環境やユーザの嗜好に応じて、ユーザが適宜選択できるようにしてもよい。

　手振りパターン照合部１０７における手振りパターン照合処理は、実施例１の図６と同様である。ただし、Ｓ６０２のデータベースとの照合においては、検出したユーザの手振り操作と、検出したユーザの顔の特徴の両方について、データベースの登録データと比較する。このように、手振り特徴のみならず、顔の特徴も併せて照合することで、照合ミスの確率が減り、識別処理の信頼性をより高める効果が得られる。

　なお、操作中のユーザの顔に関しては、必ずしもカメラ１０２の撮像範囲内に存在するとは限らない。よって、ユーザの顔を撮像できない場合は、手振り特徴のみについて照合するようにしてもよい。

　実施例２においては、実施例１におけるユーザの手振り操作だけでなく、ユーザの顔情報を識別して投射型映像表示装置の制御を行うようにした。これにより、複数のユーザが入れ替わって使用する場合でもユーザ個人を精度良く識別できるので、より制御精度が高い投射型映像表示装置を提供できる。

　以上述べた各実施例では、映像を投射面に投射して表示する投射型映像表示装置について説明したが、本発明はこれに限定せず、大画面表示等の任意の映像表示装置に適用できる。

　１００：投射型映像表示装置（プロジェクタ）、
　１０１：検出機能部、
　１０２：カメラ、
　１０３ａ，ｂ：照明、
　１０４：手振りパターン操作検出判定部、
　１０５：操作検出部、
　１０６：手振りパターン管理部、
　１０７：手振りパターン照合部、
　１０８：通信部、
　１０９：制御部、
　１１０：検出結果データ
　１２１：表示機能部、
　１２２：通信部、
　１２３：映像投射部、
　１２４：信号入出力部、
　１２５：制御部、
　１５０ａ，ｂ，ｃ：情報処理装置（外部装置）、
　１６０：映像信号・制御信号。

Claims (12)

1. 　情報処理装置と接続して映像を表示する映像表示装置において、
   　前記情報処理装置から提供される映像を表示面に表示する映像表示部と、
   　前記表示面上でのユーザの手振り操作を撮像するカメラと、
   　前記カメラの撮像画像に基づいてユーザの手振り操作を検出する操作検出部と、
   　前記情報処理装置との間で信号の入出力を行う信号入出力部と、
   　前記情報処理装置に対する制御信号を生成し表示する映像を制御する制御部と、を備え、
   　前記情報処理装置が該装置の機能により、ロック画面状態、スクリーンセーバー画面状態、または映像出力ＯＦＦ状態となった場合、
   　前記制御部は、その後の前記操作検出部で検出されたユーザの手振り操作に基づいて、前記情報処理装置が、前記ロック画面状態、前記スクリーンセーバー画面状態、または前記映像出力ＯＦＦ状態から通常画面状態へ復帰するための制御信号を生成し、前記信号入出力部から前記情報処理装置に送信することを特徴とする映像表示装置。
2. 　請求項１に記載の映像表示装置であって、
   　前記情報処理装置の前記ロック画面状態がセキュリティロック画面状態であり、該ロック画面状態を解除するために再ログインデータの入力を必要とする場合、
   　前記制御部は、前記操作検出部で検出されたユーザの手振り操作が前記再ログインデータと関連付けられた手振り操作であるとき、前記信号入出力部から前記情報処理装置に前記セキュリティロック画面状態を解除するための前記再ログインデータを送信することを特徴とする映像表示装置。
3. 　請求項１または２に記載の映像表示装置であって、
   　予め前記ユーザの行う手振り操作について、操作時の手振りの特徴とそれに紐付けして前記情報処理装置に対するアカウントを示す識別情報を、手振りパターンとしてデータベースに登録する手振りパターン管理部と、
   　前記操作検出部で検出されたユーザの手振り操作を、前記データベースに登録されている手振りパターンと照合する手振りパターン照合部と、を備え、
   　前記手振りパターン照合部による照合の結果、ユーザの手振り操作の特徴が一致するとき、前記制御部は前記登録されている識別情報に応じて、前記情報処理装置に通常画面状態へ復帰するための制御信号を送信することを特徴とする映像表示装置。
4. 　請求項３に記載の映像表示装置であって、
   　前記手振りパターン管理部は、前記識別情報をさらに分類し、前記ユーザの手振り操作による操作権限を示す属性情報を付与して前記データベースに登録し、
   　前記制御部は、前記データベースに登録された前記属性情報を参照し、操作権限の範囲において、前記情報処理装置に通常画面状態へ復帰するための制御信号を送信することを特徴とする映像表示装置。
5. 　請求項３または４に記載の映像表示装置であって、
   　前記カメラは前記ユーザの手振り操作とともに該ユーザの顔を撮像し、
   　前記操作検出部は、前記撮像した画像からユーザの手振り操作と該ユーザの顔の特徴を検出し、
   　前記手振りパターン管理部は、予め前記ユーザ操作時の手振りの特徴とともに該ユーザの顔の特徴を前記手振りパターンとして前記データベースに登録しておき、
   　前記手振りパターン照合部は、前記操作検出部で検出されたユーザの手振り操作と該ユーザの顔の特徴を、前記データベースに登録されている手振りパターンと照合し、
   　前記手振りパターン照合部による照合の結果、ユーザの手振り操作の特徴及びユーザの顔の特徴が一致するとき、前記制御部は前記情報処理装置に通常画面状態へ復帰するための制御信号を送信することを特徴とする映像表示装置。
6. 　請求項３または５に記載の映像表示装置であって、
   　前記手振りパターン管理部が、前記ユーザの操作時の手振りの特徴、または前記ユーザの顔の特徴を前記データベースに登録するとき、
   　前記映像表示部は前記表示面に、前記ユーザの手またはユーザの顔を所定の位置に誘導するための映像を表示し、前記カメラで前記ユーザの手または顔を撮像することを特徴とする映像表示装置。
7. 　請求項１または２に記載の映像表示装置であって、
   　前記情報処理装置に対する使用形態が、前記操作検出部で検出したユーザの手振り操作を前記情報処理装置の入力デバイスと同等の入力機能とみなして制御する制御モード以外の場合には、
   　前記制御部は前記制御信号として、疑似的に微小な移動分のマウス入力用信号やキーカーソルの移動信号を前記情報処理装置に送信することを特徴とする映像表示装置。
8. 　情報処理装置と接続して映像を表示する映像表示方法において、
   　前記情報処理装置から提供される映像を表示面に表示するステップと、
   　前記情報処理装置の機能により、映像の表示画面がロック画面状態、スクリーンセーバー画面状態、または映像出力ＯＦＦ状態となった場合、前記情報処理装置を通常画面状態へ復帰させる方法として、
   　前記表示面上でのユーザの手振り操作を撮像するステップと、
   　前記撮像した画像に基づいてユーザの手振り操作を検出するステップと、
   　検出されたユーザの手振り操作に基づいて、前記情報処理装置が通常画面状態へ復帰するための制御信号を生成するステップと、
   　前記情報処理装置に前記制御信号を送信するステップと、
   を備えることを特徴とする映像表示方法。
9. 　請求項８に記載の映像表示方法であって、
   　前記情報処理装置の前記ロック画面状態がセキュリティロック画面状態であり、該ロック画面状態を解除するために再ログインデータの入力を必要とする場合、
   　前記検出されたユーザの手振り操作が前記再ログインデータと関連付けられた手振り操作であるとき、前記情報処理装置に前記セキュリティロック画面状態を解除するための前記再ログインデータを送信することを特徴とする映像表示方法。
10. 　請求項８または９に記載の映像表示方法であって、
    　予め前記ユーザの行う手振り操作について、操作時の手振りの特徴とそれに紐付けして前記情報処理装置に対するアカウントを示す識別情報を、手振りパターンとしてデータベースに登録するステップと、
    　前記検出されたユーザの手振り操作を、前記データベースに登録されている手振りパターンと照合するステップと、を備え、
    　前記照合の結果、ユーザの手振り操作の特徴が一致するとき、前記データベースに登録されている識別情報に応じて、前記情報処理装置に通常画面状態へ復帰するための制御信号を送信することを特徴とする映像表示方法。
11. 　請求項１０に記載の映像表示方法であって、
    　前記データベースに登録する前記識別情報をさらに分類し、前記ユーザの操作による操作権限を示す属性情報を付与して登録し、
    　前記データベースに登録された前記属性情報を参照し、操作権限の範囲において、前記情報処理装置に通常画面状態へ復帰するための制御信号を送信することを特徴とする映像表示方法。
12. 　請求項１０または１１に記載の映像表示方法であって、
    　前記登録ステップでは、予め前記ユーザ操作時の手振りの特徴とともに該ユーザの顔の特徴を前記手振りパターンとして前記データベースに登録しておき、
    　前記撮像ステップでは前記ユーザの手振り操作とともに該ユーザの顔を撮像し、
    　前記撮像した画像からユーザの手振り操作と該ユーザの顔の特徴を検出し、
    　前記照合ステップでは、前記検出されたユーザの手振り操作と該ユーザの顔の特徴を、前記データベースに登録されている手振りパターンと照合し、
    　前記照合の結果、ユーザの手振り操作の特徴及びユーザの顔の特徴が一致するとき、前記情報処理装置に通常画面状態へ復帰するための制御信号を送信することを特徴とする映像表示方法。

Images