JP6264370B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

従来、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの情報処理装置に対するユーザの直感的な操作を可能とすることを目的として、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に関する研究が行われている。通常、ＧＵＩでは、ユーザは例えばポインティングデバイスを用いて表示画面上でポインタを移動させ、表示画面におけるアイコンやボタンなどのオブジェクトを選択することにより、選択したオブジェクトに対応する処理をコンピュータに実行させることができる。

また、キーボードやマウス等の入力装置を用いずに、ユーザが表示画面を操作するための技術も提案されている。例えば、特許文献１では、操作者の両手によるジェスチャ操作を認識することにより、表示画面に対する操作者の操作内容を判定する技術が開示されている。

特開２０１２−０６８８５４号公報

しかしながら、上記の技術では、表示画面の操作時における操作者の身体的な負荷が大きい。例えば、上記の技術では、実空間において最初に設定された仮想の操作面の位置だけでしか操作者はジェスチャ操作を行うことができず、また、仮想の操作面の位置を移動させることができない。このため、ジェスチャ操作のための腕の位置や角度が制約されることになり、操作者が長時間操作を行った場合には、例えば腕が疲れるなど身体的な負荷が大きい。

そこで、本開示では、表示画面の操作時において操作者の身体的な負荷を軽減させることが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。

上記課題を解決するために、本開示のある観点によれば、測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識する手形状認識部と、前記操作者の手形状が所定の形状である場合に、表示画面における操作オブジェクトの表示位置を前記操作者の手の位置の変化に応じて移動させる表示制御部と、を備える、情報処理装置が提供される。

また、上記課題を解決するために、本開示の別の観点によれば、測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識することと、前記操作者の手形状が所定の形状である場合に、表示画面における操作オブジェクトの表示位置を前記操作者の手の位置の変化に応じて移動させることと、を備える、情報処理方法が提供される。

また、上記課題を解決するために、本開示の別の観点によれば、コンピュータを、測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識する手形状認識部と、前記操作者の手形状が所定の形状である場合に、表示画面における操作オブジェクトの表示位置を前記操作者の手の位置の変化に応じて移動させる表示制御部、として機能させるための、プログラムが提供される。

以上説明したように本開示によれば、表示画面の操作時において操作者の身体的な負荷を軽減させることができる。

本開示の第１の実施形態によるＵＩパネルを操作する人物を示した外観図である。 同実施形態による表示画面の表示例を示した説明図である。 同実施形態によるＨＭＤのハードウェア構成を示した説明図である。 同実施形態によるＨＭＤの構成を示した機能ブロック図である。 同実施形態によるＵＩパネルを持つ手形状の例を示した第１の説明図である。 同実施形態によるＵＩパネルを持つ手形状の例を示した第２の説明図である。 同実施形態によるＵＩパネルを表示させる動作の例を示した説明図である。 同実施形態による指差しの手形状の例を示した説明図である。 同実施形態による動作の一部を示したフローチャートである。 同実施形態による動作の一部を示したフローチャートである。 同実施形態によるＵＩパネルの表示・非表示処理を詳細に示した第１のフローチャートである。 同実施形態によるＵＩパネルの表示・非表示処理を詳細に示した第２のフローチャートである。 同実施形態によるＵＩパネルの移動処理を詳細に示したフローチャートである。 本開示の第２の実施形態によるＵＩパネルおよびフォーカス枠の表示例を示した説明図である。 同実施形態によるＵＩパネルを操作する人物を示した外観図である。 同実施形態によるＵＩパネルの操作例を示した説明図である。 同実施形態による動作の一部を示したフローチャートである。 同実施形態による動作の一部を示したフローチャートである。 本開示の第３の実施形態によるＵＩパネルを操作する人物を示した外観図である。 同実施形態による映像装置の構成を示した機能ブロック図である。 同実施形態による表示画面の表示例を示した第１の説明図である。 同実施形態による表示画面の表示例を示した第２の説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。本開示は、一例として「１．第１の実施形態の詳細な説明」から「３．第３の実施形態の詳細な説明」において詳細に説明するように、多様な形態で実施され得る。また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．第１の実施形態の詳細な説明
２．第２の実施形態の詳細な説明
３．第３の実施形態の詳細な説明
４．変形例

なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてＵＩパネル３０ａおよびＵＩパネル３０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、ＵＩパネル３０ａおよびＵＩパネル３０ｂを特に区別する必要が無い場合には、単にＵＩパネル３０と称する。

‐背景‐
従来、操作者のジェスチャにより機器を操作するアイディアが考えられてきたが、以下の点が課題であった。第１に、従来のアイディアでは、ジェスチャにより機器を操作する場合に物理的なフィードバックが無いので、操作している感覚が操作者に生じない。第２に、従来のアイディアでは、操作者は腕を前方に持ち上げてジェスチャを行う必要があるので、操作者が長時間操作を行う場合には、例えば肩、腕、ひじなどに強い疲労感が生じるなど身体的な苦痛が生じる。第３に、従来のアイディアでは、実空間に配置された仮想のアイコンを２次元ディスプレイ上に表示した場合に、操作者がアイコンを正しく選択することは困難である。

そこで、上記事情を一着眼点にして本実施形態によるＨＭＤ１０および映像装置４０を創作するに至った。本実施形態によるＨＭＤ１０および映像装置４０は、操作者が操作オブジェクトを操作しやすい位置に移動させることを可能にするので、表示画面の操作時において操作者の身体的な負荷を軽減させることができる。

＜１．第１の実施形態の詳細な説明＞
［１−１．基本構成］
最初に、第１の実施形態によるＨＭＤ１０（情報処理装置）の基本構成について、図１を参照して説明する。図１に示したように、ＨＭＤ１０は、例えば図２に示したような表示画面２０を操作者２に見せるための表示装置である。このＨＭＤ１０は、操作者２の頭部に装着されるヘッドマウントディスプレイであってもよいし、例えばシースルー型のディスプレイを備えたメガネ型コンピュータであってもよい。また、ＨＭＤ１０は、撮影された静止画、動画、またはコンピュータグラフィックスにより描画された２次元オブジェクトや３次元オブジェクトなどを表示画面２０に表示することができる。

図２は、ＨＭＤ１０により表示される表示画面２０の例を示した説明図である。図２に示したように、表示画面２０は、例えばＵＩパネル３０ａ（操作面）などの操作オブジェクトを含む。なお、ＨＭＤ１０は、操作オブジェクトを３次元オブジェクトとして表現することも可能である。例えば、操作者２が操作オブジェクトを表示画面２０の奥行方向へ移動させる操作を行った場合には、ＨＭＤ１０は、表示画面２０において操作オブジェクトを縮小して表示することが可能である。また、ＨＭＤ１０は、ＵＩパネル３０を例えばビルボードのように、操作者２の姿勢が変化しても常に操作者２の眼に相対する向きに表示することが可能である。

また、図２に示したように、ＵＩパネル３０ａは、例えば各種アプリケーションを起動するためのアイコン３００を含む。なお、ＵＩパネル３０ａは、ボタン、画像、テキストなどをさらに含んでもよい。

また、ＨＭＤ１０は、後述する撮像部１２０またはセンサ部１２２により取得される情報に基づいて操作者２の手形状および手の位置を認識することにより、表示画面２０におけるＵＩパネル３０の表示位置を変化させることが可能である。また、ＨＭＤ１０は、操作者２の手の動作を認識することにより、操作者２によるアイコン３００、ボタン、画像、テキストなどの選択操作を認識することができ、そして、例えば選択されたアイコン３００に対応するアプリケーションの起動など、選択操作に対応する所定の処理を実行することが可能である。

なお、図１では、操作者２は立った状態でＵＩパネル３０を操作する例を記載しているが、かかる例に限定されず、操作者２は例えば椅子に座った状態でＵＩパネル３０を操作することも可能である。

‐ハードウェア構成‐
また、ＨＭＤ１０は、例えば図３に示すようなハードウェア構成を有する。図３に示したように、ＨＭＤ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５４、内部バス１５６、インターフェース１５８、入力装置１６０、出力装置１６２、ストレージ装置１６４、および通信装置１６６を備える。

ＣＰＵ１５０は、例えば、後述する制御部１００、手形状認識部１０２、動作認識部１０４、表示制御部１０６、および判断部１０８の一例として構成される。このＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってＨＭＤ１０内の動作全般を制御する。このＣＰＵ１５０は、マイクロプロセッサであってもよい。

ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータ等を記憶する。また、ＲＡＭ１５４は、ＣＰＵ１５０の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４は、ＣＰＵバスなどから構成される内部バス１５６により相互に接続されている。

インターフェース１５８は、入力装置１６０、出力装置１６２、ストレージ装置１６４、および通信装置１６６を、内部バス１５６と接続する。例えば入力装置１６０は、このインターフェース１５８および内部バス１５６を介して、ＣＰＵ１５０などとの間でデータをやり取りする。

入力装置１６０は、センサ部１２２により取得された深度情報またはカメラにより撮像された撮像画像の入力を受け付ける。また、入力装置１６０により入力が受け付けられた深度情報および撮像画像は、ＣＰＵ１５０に出力される。

出力装置１６２は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置１６２は、スピーカーなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。

ストレージ装置１６４は、例えば、後述する記憶部１１０の一例として構成されたデータ格納用の装置である。ストレージ装置１６４は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置１６４は、ＣＰＵ１５０が実行するプログラムや各種データを格納する。

通信装置１６６は、例えばインターネットなどの通信網に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６６は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。

［１−２．構成］
（１−２−１．ＨＭＤ１０の構成）
以上、第１の実施形態によるＨＭＤ１０の基本構成について説明した。続いて、第１の実施形態による構成について詳細に説明する。図４は、第１の実施形態によるＨＭＤ１０の構成を示した機能ブロック図である。図４に示したように、ＨＭＤ１０は、制御部１００、記憶部１１０、および出力部１１２を有する。また、制御部１００は、手形状認識部１０２、動作認識部１０４、表示制御部１０６、および判断部１０８を有する。

制御部１００は、ＨＭＤ１０に内蔵されるＣＰＵ１５０、ＲＡＭ１５４などのハードウェアを用いて、ＨＭＤ１０の動作を全般的に制御する機能を有する。例えば、制御部１００は、記憶部１１０、および出力部１１２の動作を制御する。

手形状認識部１０２は、例えば後述する撮像部１２０により撮像された操作者２の手の画像、または後述するセンサ部１２２により測定された操作者２の手の深度情報などに基づいて、操作者２の手形状を認識する。

より具体的には、手形状認識部１０２は、撮像された操作者２の手の画像に対して画像のパターンマッチングを行うことにより、操作者２の手形状を認識することが可能である。例えば、事前に、ある画像処理装置により、例えば図５に示した形状などの所定の形状にされた複数人の手の撮影画像データを用いて、Ｈａａｒ−ｌｉｋｅ特徴量などの特徴量が抽出され、機械学習が行われることにより、パターンマッチング用の辞書データが作成されることが可能である。そして、手形状認識部１０２は、撮像部１２０により撮像された操作者２の画像に対して、操作者２の手までの距離と操作者２の手に関する特徴量とを算出し、算出結果と上記の辞書データとを比較することにより、操作者２の手形状が所定の手形状と同じであるか否かを判定することが可能である。なお、上記の画像処理装置は、ＨＭＤ１０であってもよいし、異なる装置であってもよい。

あるいは、手形状認識部１０２は、センサ部１２２により測定された操作者２の手の深度情報に基づいて、例えば指のボーン推定により操作者２の手の各指の位置を算出し、そして、算出された各指の位置関係から操作者２の手形状を認識することも可能である。

例えば、手形状認識部１０２は、操作者２の第１の手の手形状が、図５および図６に示したような、ＵＩパネル３０を持つ手形状４ａであるか否かを認識する。また、手形状認識部１０２は、操作者２の第２の手の手形状が、図８に示したような、指差しの形状６ａであるか否かを認識する。なお、後述するように、第１の手は、ＵＩパネル３０の表示位置を移動させるための手であり、第２の手は、ＵＩパネル３０に対する操作を行うための手である。

なお、本明細書では以後、第１の手は左手、第２の手は右手として説明を行う。但し、かかる例に限定されず、第１の手は右手であり、第２の手は左手であってもよい。この変形例による効果として、操作者２の利き手が左右のいずれであっても操作の容易さが変化しないことが挙げられる。

詳細については後述するが、操作者２により左手の手形状がＵＩパネル３０を持つ手形状４ａにされた場合には、ＨＭＤ１０は、図６に示したように、実空間において例えば左手の親指と人差し指との間の位置にＵＩパネル３０を配置することが可能である。このため、仮に操作者２が左手を移動させた場合であっても、操作者２は、移動後のＵＩパネル３０の実空間における位置を容易に認識することができる。

また、操作者２により右手の手形状が指差しの形状６ａにされた場合には、ＨＭＤ１０は、実空間において例えば右手の人差し指の先端の位置に対応するＵＩパネル３０における位置を操作者２による選択位置として認識することが可能である。この効果として、操作者２は、実空間における左手の位置、つまりＵＩパネル３０が配置される位置と、右手の指の位置との位置関係を知覚できるので、操作者２は、ＵＩパネル３０において希望する位置を正しく選択することができることが挙げられる。

手形状認識部１０２は、上述した機能に加えて、操作者２による、例えばタッチパネルにおいて採用されている操作に類似した操作を認識することも可能である。例えば、手形状認識部１０２は、操作者２の右手の指の位置が左手の位置よりも後方にあり、かつ、右手を上下左右方向へ移動させる動作を認識した場合には、右手の指の位置に対応する表示位置においてホバー操作がなされたことを認識してもよい。また、手形状認識部１０２は、右手の指の位置が左手の位置よりも前方にあることを認識した場合には、右手の指の位置に対応する表示位置においてタップなどの決定操作がなされたことを認識してもよい。また、手形状認識部１０２は、右手の指の位置が左手の位置よりも前方にあり、かつ、右手を上下左右方向へ移動させる動作を認識した場合には、右手の指の位置に対応する表示位置においてドラッグ操作がなされたことを認識してもよい。

また、手形状認識部１０２は、操作者２により左右の手形状が逆にされたことを認識することも可能である。この効果として、操作者２が操作の途中で片手または両手に疲労感を感じた場合には、操作者２は左右の手形状を入れ替えることにより疲労感を和らげることが可能になることが挙げられる。

動作認識部１０４は、例えば撮像部１２０により撮影された画像、またはセンサ部１２２により測定された深度情報などの測定情報、および後述する記憶部１１０に予め記憶されている手形状の学習データなどに基づいて、操作者２による手の動作を認識する。より具体的には、動作認識部１０４は、操作者２による手を順回転させる動作（以下、第１の方向へ手を回転させる動作とも称する）を認識する。例えば、動作認識部１０４は、操作者２の左手の手形状が図７に示したような手を握った手形状４ｂである場合に、記憶部１１０に記憶されている手形状４ｂの回転量ごとの学習データに基づいて左手の回転角を計算することにより、手を順回転させる動作を認識する。また、動作認識部１０４は、操作者２による手を逆回転させる動作（以下、第２の方向へ手を回転させる動作とも称する）を認識する。ここで、第１の方向は、例えば図７に示したように、親指が下を向いた状態から親指が上を向いた状態へ左手を回転させる方向であってもよい。また、第２の方向は第１の方向とは逆の方向である。

表示制御部１０６は、操作者２の手形状が所定の形状である場合に、表示画面２０におけるＵＩパネル３０の表示位置を操作者２の手の位置の変化に応じて移動させる。例えば、左手の手形状が所定の形状である状態で操作者２が左手を上方へ移動させる場合には、表示制御部１０６は、ＵＩパネル３０を表示画面２０の上方向へ移動させることも可能である。また、左手の手形状が所定の形状である状態で操作者２が左手を前方へ移動させる場合には、表示制御部１０６は、ＵＩパネル３０を表示画面２０の奥行方向へ移動させるように縮小して表示することも可能である。また、左手の手形状が所定の形状である状態で操作者２が左手を後方、つまり操作者２に近づける方向へ移動させる場合には、表示制御部１０６は、ＵＩパネル３０を拡大して表示することも可能である。ここで、所定の形状は、例えばＵＩパネル３０を持つ手形状４ａに設定されてもよいし、他の形状に設定されてもよい。

また、表示制御部１０６は、動作認識部１０４による操作者２の手の動作の認識結果に基づいて、表示画面２０においてＵＩパネル３０の表示と非表示とを切り替える。例えば、動作認識部１０４により操作者２による手を順回転させる動作が認識された場合には、表示制御部１０６は、操作者２の回転後の手の位置に対応する表示画面２０における位置にＵＩパネル３０を表示させることも可能である。また、表示画面２０にＵＩパネル３０が表示されている間に、動作認識部１０４により操作者２による手を逆回転させる動作が認識された場合には、表示制御部１０６は、ＵＩパネル３０を非表示にすることも可能である。

ここで、上述した表示制御部１０６によるＵＩパネル３０の移動の内容に関して、より詳細に説明する。表示制御部１０６は、左手と右手との位置関係に応じて、左手の位置の変化量に対する表示画面２０におけるＵＩパネル３０の移動量の割合を変化させることも可能である。より具体的には、表示制御部１０６は、左手が右手よりも前方にある場合には、操作者２の前後方向における左手と右手との間の距離が小さいほど、左手の位置の変化量に対する表示画面２０におけるＵＩパネル３０の移動量の割合を小さくさせることも可能である。例えば、初期状態では、左手の位置の変化量に対する表示画面２０におけるＵＩパネル３０の移動量の割合が５０％に設定されている場合に、左手と右手との間の距離が小さくなるにつれて、ＵＩパネル３０の移動量の割合を５０％→４０％→３０％のように徐々に減少させてもよい。また、左手と右手との間の距離が所定の距離よりも小さくなった場合には、ＵＩパネル３０の移動量の割合を０％に設定する、つまりＵＩパネル３０の表示位置を固定してもよい。

この効果としては、操作者２が例えば図２に示したアイコン３００を右手で選択しようとする場合に、操作者２の意思に反して左手が少し動いてしまっても、ＵＩパネル３０の位置がずれてしまうことを抑制できるので、操作者２がアイコン３００をより正確に選択することができるという利点がある。

なお、ＨＭＤ１０は、手の位置の変化量に対するＵＩパネル３０の移動量の割合を、左手と右手とで異なるように予め設定しておくことも可能である。例えば、ＨＭＤ１０は、手の位置の変化量に対するＵＩパネル３０の移動量の割合を、右手、つまりＵＩパネル３０に対して選択を行う手の方が、左手、つまりＵＩパネル３０を持つ手よりも小さく設定してもよい。この効果としては、操作者２がアイコン３００を選択しようとする場合に、右手をあまり移動させずに、より容易にアイコン３００を選択することが可能になるという利点がある。

また、表示制御部１０６は、手形状認識部１０２により操作者２の手形状が所定の形状であることが認識されない場合には、ＵＩパネル３０を表示画面２０に表示させないことも可能である。また、表示制御部１０６は、撮像部１２０により撮像される例えば操作者２の腕や体の一部などを表示画面２０に重畳して表示させることも可能である。

判断部１０８は、手形状認識部１０２により操作者２の右手の手形状が例えば指差しの形状であることが認識された場合には、右手の指の位置に基づいて操作者２の操作内容を判断することが可能である。例えば、判断部１０８は、手形状認識部１０２により右手の指の位置が左手の位置よりも前方にあることが認識された場合には、右手の指の位置に対応するＵＩパネル３０における位置が操作者２により選択されたことを判断してもよい。

記憶部１１０は、例えば予め設定された、左右それぞれの手の位置の変化量に対するＵＩパネル３０の移動量の割合の値などの各種の情報や、表示画面２０の映像情報などを記憶する。

出力部１１２は、例えば表示制御部１０６の指示により表示画面２０を表示する。

なお、第１の実施形態によれば、ＨＭＤ１０に内蔵されるＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述したＨＭＤ１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

（１−２−２．撮像部１２０）
撮像部１２０は、外部の映像を、レンズを通して例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子に結像させ、静止画像又は動画像を撮影する機能を有する。また、撮像部１２０は、撮影した画像をＨＭＤ１０に送信する。なお、撮像部１２０は、例えば図１に示したセンサ部１２２のように、操作者２の顔の上部に位置するようにＨＭＤ１０に設置されることが可能である。

（１−２−３．センサ部１２２）
センサ部１２２は、例えば深度センサにより操作者２の手などの外部の物体の深度情報を測定する。また、センサ部１２２は、測定した情報をＨＭＤ１０に送信する。なお、センサ部１２２は、例えば図１に示したように、操作者２の顔の上部に位置するようにＨＭＤ１０に設置されることが可能である。

なお、第１の実施形態による構成は、上述した構成に限定されない。例えば、ＨＭＤ１０は、撮像部１２０、またはセンサ部１２２のいずれか一つ以上を内部に備えてもよい。また、撮像部１２０またはセンサ部１２２のいずれか一つは設置されなくてもよい。

［１−３．動作］
（１−３−１．全体的な動作）
以上、第１の実施形態による構成について説明した。続いて、第１の実施形態による動作について説明する。図９は、第１の実施形態による動作の一部を示すフローチャートである。

図９に示したように、まず、撮像部１２０は、操作者２の手の画像を撮影し、そして撮影された画像をＨＭＤ１０へ送信する。また、センサ部１２２は、操作者２の手までの深度情報を測定し、そして測定された深度情報をＨＭＤ１０へ送信する（Ｓ１０１）。

続いて、手形状認識部１０２は、撮像部１２０により撮影された画像またはセンサ部１２２により測定された深度情報に基づいて操作者２の左手の手形状を認識する（Ｓ１０２）。

続いて、ＨＭＤ１０は、後述する「ＵＩパネル表示・非表示処理」を行う（Ｓ１０３）。

次に、図１０を参照して、Ｓ１０３より後の動作について説明する。図１０に示したように、Ｓ１０３の後、表示制御部１０６は、表示画面２０にＵＩパネル３０が表示中であるか否かを確認する（Ｓ１０４）。ＵＩパネル３０が表示されていない場合には（Ｓ１０４：Ｎｏ）、ＨＭＤ１０は現在の動作を維持する。

一方、ＵＩパネル３０が表示中である場合には（Ｓ１０４：Ｙｅｓ）、ＨＭＤ１０は、操作者２によるポインティング動作を検出する（Ｓ１０５）。より具体的には、手形状認識部１０２は、操作者２の右手の手形状が例えば指差しの形状であるか否かを認識することにより、操作者２によりポインティング動作がなされたか否かを判断する。

操作者２によるポインティング動作が検出されない場合には（Ｓ１０５：Ｎｏ）、ＨＭＤ１０は現在の動作を維持する。一方、操作者２によるポインティング動作が検出された場合には（Ｓ１０５：Ｙｅｓ）、ＨＭＤ１０は、ＵＩパネル３０の手ブレフィルタの乗数を増加させる（Ｓ１０６）。より具体的には、表示制御部１０６は、操作者２の左手の位置の変化量に対する表示画面２０におけるＵＩパネル３０の移動量の割合を減少させる。

続いて、手形状認識部１０２は、操作者２の右手の指の位置が左手の位置よりも前方にあるか否かを認識する（Ｓ１０７）。右手の指の位置が左手の位置よりも後方にある場合には（Ｓ１０７：Ｎｏ）、ＨＭＤ１０は現在の動作を維持する。

一方、右手の指の位置が左手の位置よりも前方にある場合には（Ｓ１０７：Ｙｅｓ）、ＨＭＤ１０は、ポインティング動作の選択位置を検出する（Ｓ１０８）。より具体的には、判断部１０８は、右手の指の位置に対応するＵＩパネル３０における位置が操作者２により選択されたことを判断する。

そして、例えばポインティング動作の選択位置がアイコン３００の表示位置である場合には、ＨＭＤ１０は、選択されたアイコン３００に対応するアプリケーションを起動することが可能である。

（１−３−２．ＵＩパネル表示・非表示処理の第１の動作例）
次に、Ｓ１０３におけるＵＩパネル表示・非表示処理の詳細について説明する。最初に、図１１を参照して、ＵＩパネル表示・非表示処理の第１の動作例について説明する。

図１１に示したように、まず、手形状認識部１０２は、操作者２の左手の手形状が、ＵＩパネル３０を持つ手形状であるか否かを認識する（Ｓ２０１）。左手の手形状がＵＩパネル３０を持つ手形状である場合には（Ｓ２０１：Ｙｅｓ）、表示制御部１０６は、操作者２の左手の位置に対応する表示画面２０における位置にＵＩパネル３０を表示する（Ｓ２０２）。一方、左手の手形状がＵＩパネル３０を持つ手形状ではない場合には（Ｓ２０１：Ｎｏ）、表示制御部１０６は、表示画面２０においてＵＩパネル３０を非表示にする（Ｓ２０３）。

この第１の動作例によれば、操作者２が左手の手形状をＵＩパネル３０を持つ手形状にするだけでＵＩパネル３０を表示させることができるので、ＵＩパネル３０を容易に表示させることができ、かつ、ＵＩパネル３０の表示位置を容易に移動させることができる。

（１−３−３．ＵＩパネル表示・非表示処理の第２の動作例）
次に、図１２を参照して、ＵＩパネル表示・非表示処理の第２の動作例について説明する。図１２に示したように、まず、表示制御部１０６は、表示画面２０にＵＩパネル３０が表示中であるか否かを確認する（Ｓ３０１）。

ＵＩパネル３０が表示中である場合には（Ｓ３０１：Ｙｅｓ）、動作認識部１０４は、操作者２による手を逆回転させる動作、つまり手を第２の方向へ回転させる動作がなされたか否かを確認する（Ｓ３０２）。操作者２による手を逆回転させる動作が認識された場合には（Ｓ３０２：Ｙｅｓ）、表示制御部１０６は、表示画面２０においてＵＩパネル３０を非表示にする（Ｓ３０３）。

一方、操作者２による手を逆回転させる動作が認識されない場合には（Ｓ３０２：Ｎｏ）、手形状認識部１０２は、操作者２の左手の手形状が、ＵＩパネル３０を持つ手形状であるか否かを認識する（Ｓ３０２）。左手の手形状がＵＩパネル３０を持つ手形状である場合には（Ｓ３０４：Ｙｅｓ）、ＨＭＤ１０は、後述する「ＵＩパネル移動処理」を行う（Ｓ３０５）。一方、左手の手形状がＵＩパネル３０を持つ手形状ではない場合には（Ｓ３０４：Ｎｏ）、ＨＭＤ１０は、ＵＩパネル表示・非表示処理を終了する。

ここで、図１３をさらに参照して、Ｓ３０５におけるＵＩパネル移動処理の詳細について説明する。図１３に示したように、まず、表示制御部１０６は、操作者２の左手の位置に対応する表示画面２０における位置にＵＩパネル３０が表示されているか否かを確認する（Ｓ３５１）。そして、左手の位置に対応する表示画面２０における位置にＵＩパネル３０が表示されていない場合には（Ｓ３５１：Ｎｏ）、表示制御部１０６は、左手の位置に対応する表示画面２０における位置にＵＩパネル３０を移動させる（Ｓ３５２）。

ここで、図１２を再び参照して、第２の動作例について説明を続ける。Ｓ３０１において、ＵＩパネル３０を表示していない場合には（Ｓ３０１：Ｎｏ）、動作認識部１０４は、操作者２により手を順回転させる動作、つまり手を第１の方向へ回転させる動作がなされたか否かを確認する（Ｓ３０６）。操作者２による手を順回転させる動作が認識された場合には（Ｓ３０６：Ｙｅｓ）、表示制御部１０６は、操作者２の回転後の手の位置に対応する表示画面２０における位置にＵＩパネル３０を表示させる（Ｓ３０７）。一方、操作者２による手を順回転させる動作が認識されない場合には（Ｓ３０６：Ｎｏ）、ＨＭＤ１０は、ＵＩパネル表示・非表示処理を終了する。

この第２の動作例によれば、ＵＩパネル３０が表示中である場合には、操作者２が手を逆回転させる動作のような所定の動作を行わない限り、ＨＭＤ１０はＵＩパネル３０を表示し続ける。このため、操作者２は、左手の手形状を変化させたり、左手を引込めてもＵＩパネル３０を表示し続けることが可能になるので、操作者２はより楽な姿勢でＵＩパネル３０を操作することができるという利点がある。また、操作者２は、ＵＩパネル３０が表示された後において、左手の手形状を例えば指差しの形状６ａに変化することにより、左手だけで、つまり片手だけでＵＩパネル３０に対する操作を行うことも可能になる。

（１−３−４．変形例）
以上、第１の実施形態による動作について説明したが、上述した動作に限定されない。例えば、Ｓ１０３において、ＨＭＤ１０は、ＵＩパネル３０の種類や表示内容によって図１１に示した第１の動作例と、図１２に示した第２の動作例とのいずれを採用するかを判断することも可能である。より具体的には、表示制御部１０６は、ＵＩパネル３０に含まれる情報量が少ない場合や、検索ウィンドウのような、一時的に表示させることを前提とする操作オブジェクトに関しては、第１の動作例を採用してもよい。この理由は、第１の動作例の方が処理が軽く、かつ、操作がより容易であるためである。また、表示制御部１０６は、ＵＩパネル３０に含まれる情報量が多い場合や、目的地までのルート案内表示のような、長時間表示させておくことが望ましい操作オブジェクトに関しては、第２の動作例を採用してもよい。この理由は、第２の動作例では、操作者２が所定の動作を行わない限り、操作オブジェクトを継続して表示させることが可能であるためである。

［１−４．効果］
以上、例えば図４、図９〜図１３等を参照して説明したように、第１の実施形態によるＨＭＤ１０は、測定された操作者２の手に関する情報に基づいて操作者２の手形状を認識し、そして、操作者２の左手の手形状が所定の形状である場合には、表示画面２０におけるＵＩパネル３０の表示位置を操作者２の左手の位置の変化に応じて移動させる。このため、操作者２は左手を移動させることによりＵＩパネル３０の位置を操作しやすい位置に変更することができるので、ＨＭＤ１０は操作者２の身体的な負荷を軽減させることができる。例えば、操作者２は右手のポインティング操作が楽な位置にＵＩパネル３０を配置することができるので、長時間操作をしても身体的な苦痛がほとんど生じない。

また、例えば図１２〜図１３等を参照して説明したように、ＨＭＤ１０は、操作者２の手を順回転させる動作が認識された場合には、操作者２の回転後の手の位置に対応する表示画面２０における位置にＵＩパネル３０を表示させることも可能である。そして、ＨＭＤ１０は、操作オブジェクトが表示されている間に、操作者２の手を逆回転させる動作が認識された場合には、表示画面２０においてＵＩパネル３０を非表示にすることも可能である。このため、ＵＩパネル３０が表示中である場合には、操作者２は、左手の手形状を変化させたり、左手を引込めてもＵＩパネル３０を表示し続けることができるので、操作者２はより楽な姿勢でＵＩパネル３０を操作することができる。

また、ＨＭＤ１０は、手の位置の変化量に対するＵＩパネル３０の移動量の割合を、右手の方が左手よりも小さく設定することも可能である。このため、操作者２はアイコン３００を選択しようとする場合に、右手を大きく移動させずに、所望のアイコン３００を選択することができる。

また、ＨＭＤ１０は、左手が右手よりも前方にある場合には、操作者２の前後方向における左手と右手との間の距離が小さいほど、左手の位置の変化量に対するＵＩパネル３０の移動量の割合を小さくさせることも可能である。このため、操作者２はアイコン３００を選択するためにポインティング動作を行う場合に、操作者２の意思に反して左手が動いてしまっても、ＨＭＤ１０はＵＩパネル３０の位置がずれてしまうことを抑制できる。従って、操作者２は、アイコン３００をより容易に、かつ正しく選択することができる。

また、ＨＭＤ１０は、撮像部１２０により撮像される例えば操作者２の腕や体の一部などを表示画面２０に重畳して表示させることも可能である。このため、操作者２は自分が操作していることを容易に認識することができるので、操作者２は直感的に操作することができる。

＜２．第２の実施形態の詳細な説明＞
以上、第１の実施形態について説明した。上述したように、第１の実施形態では、操作者２は、両手を用いてＵＩパネル３０を操作する。次に説明するように、第２の実施形態によれば、操作者２は、片手だけを用いてＵＩパネル３０を操作することができる。

［２−１．構成］
第２の実施形態によるＨＭＤ１０は、図４に示した第１の実施形態によるＨＭＤ１０と同様の構成要素を有する。従って、ここでは、第１の実施形態との相違点を中心として説明を行う。

第２の実施形態による表示制御部１０６は、操作者２の視点の位置に応じた表示画面２０における位置にフォーカス枠３６を表示させる。例えば、図１４に示したように、表示制御部１０６は、ＵＩパネル３０ｂとフォーカス枠３６とを別々に表示し、そして、ＵＩパネル３０ｂより前面に位置するようにフォーカス枠３６を表示させることが可能である。また、図１５に示したように、表示制御部１０６は、実空間において操作者の眼の高さと同程度の高さで、かつ操作者の眼の正面に位置するように、フォーカス枠３６を配置することも可能である。

フォーカス枠３６は、例えば表示画面２０に表示されたアイコン、ボタン、画像、テキストなどを選択するために利用されるオブジェクトである。ここで、図１６を参照して、第２の実施形態によるＵＩパネル３０の操作方法の例について説明する。操作者２は、左手の位置を上下左右に移動させることにより、表示画面２０におけるＵＩパネル３０の表示位置を移動させることができる。一方、フォーカス枠３６は、原則として表示画面２０において位置が固定される。このため、図１６に示したように、例えば操作者２がアイコン３００ｃを選択することを希望する場合には、操作者２は、アイコン３００ｃがフォーカス枠３６の中に入るように図１６における右下の方向へＵＩパネル３０ｂを移動させることにより、アイコン３００ｃを選択することができる。

また、第２の実施形態による判断部１０８は、ＵＩパネル３０の表示位置が移動された場合には、移動後のＵＩパネル３０においてフォーカス枠３６に対応する領域が操作者２により選択されたことを判断する。例えば図１６に示した例では、アイコン３００ｃがフォーカス枠３６の中に入るようにＵＩパネル３０が移動された後において、判断部１０８は、アイコン３００ｃが操作者２により選択されたことを判断する。

［２−２．動作］
以上、第２の実施形態による構成について説明した。続いて、第２の実施形態による動作について説明する。図１７は、第２の実施形態による動作の一部を示すフローチャートである。

図１７に示したように、まず、制御部１００は、ＵＩパネル３０の表示操作が操作者２により行われたか否かを判断する（Ｓ４０１）。例えば、図１２におけるＳ３０６のように、動作認識部１０４が、操作者２により左手を順回転させる動作がなされたか否かを認識することにより、ＵＩパネル３０の表示操作が操作者２により行われたか否かを判断してもよい。また、図１１におけるＳ２０１のように、手形状認識部１０２が、操作者２の左手の手形状がＵＩパネル３０を持つ手形状であるか否かを認識することにより、ＵＩパネル３０の表示操作が操作者２により行われたか否かを判断してもよい。

ＵＩパネル３０の表示操作が行われたことが判断された場合には（Ｓ４０１：Ｙｅｓ）、表示制御部１０６は、操作者２の視点の位置に応じた表示画面２０における位置にフォーカス枠３６を表示させる（Ｓ４０２）。

続いて、表示制御部１０６は、表示画面２０においてＵＩパネル３０を表示させる（Ｓ４０３）。なお、Ｓ４０１において動作認識部１０４により操作者２の左手を順回転させる動作が認識された場合には、表示制御部１０６は、操作者２の回転後の左手の位置に対応する表示画面２０における位置にＵＩパネル３０を表示させてもよい。

続いて、表示制御部１０６は、表示画面２０におけるフォーカス枠３６の表示位置を固定する（Ｓ４０４）。

次に、図１８を参照して、Ｓ４０４より後の動作について説明する。図１８に示したように、Ｓ４０４の後、制御部１００は、ＵＩパネル３０を消去させる操作が操作者２により行われたか否かを判断する（Ｓ４０５）。例えば、図１２におけるＳ３０２のように、動作認識部１０４が、操作者２により左手を逆回転させる動作がなされたか否かを認識することにより、ＵＩパネル３０を消去させる操作が操作者２により行われたか否かを判断してもよい。また、図１１におけるＳ２０１のように、手形状認識部１０２が、操作者２の左手の手形状がＵＩパネル３０を持つ手形状ではないことを認識することにより、ＵＩパネル３０を消去させる操作が操作者２により行われたことを判断してもよい。

ＵＩパネル３０を消去させる操作が行われたことが判断された場合には（Ｓ４０５：Ｙｅｓ）、ＨＭＤ１０は、後述するＳ４０９の動作を行う。一方、ＵＩパネル３０を消去させる操作が行われていないことが判断された場合には（Ｓ４０５：Ｎｏ）、手形状認識部１０２は、操作者２の左手の手形状がＵＩパネル３０を持つ手形状であり、かつ、左手の位置が移動されたか否かを認識する（Ｓ４０６）。左手の手形状がＵＩパネル３０を持つ手形状ではない場合、または、左手の位置が移動されていない場合には（Ｓ４０６：Ｎｏ）、ＨＭＤ１０は、再びＳ４０５の動作を行う。一方、左手の手形状がＵＩパネル３０を持つ手形状であり、かつ、左手の位置が移動された場合には（Ｓ４０６：Ｙｅｓ）、ＨＭＤ１０は、表示画面２０においてＵＩパネル３０の表示位置を移動させる（Ｓ４０７）。

続いて、判断部１０８は、ＵＩパネル３０においてフォーカス枠３６に対応する領域が操作者２により選択されたか否かを判断する（Ｓ４０８）。例えば、判断部１０８は、アイコン３００、ボタンなどがフォーカス枠３６の中に入った状態で所定の時間が経過したか否かを判断することにより、フォーカス枠３６による領域選択が操作者２によりなされたか否かを判断してもよい。

フォーカス枠３６による領域選択がなされていないことが判断された場合には（Ｓ４０８：Ｎｏ）、ＨＭＤ１０は、再びＳ４０５の動作を行う。一方、フォーカス枠３６による領域選択がなされたことが判断された場合には（Ｓ４０８：Ｙｅｓ）、制御部１００は、例えば選択されたアイコン３００に対応するアプリケーションを起動するなど、所定の処理を実行する。そして、表示制御部１０６は、表示画面２０においてＵＩパネル３０を消去する（Ｓ４０９）。

その後、表示制御部１０６は、表示画面２０においてフォーカス枠３６を消去する（Ｓ４１０）。

‐変形例‐
なお、第２の実施形態による動作は、上述した動作に限定されない。例えば、表示制御部１０６は、操作者２によるＵＩパネル３０の表示操作とは無関係にフォーカス枠３６を表示画面２０に表示させてもよい。例えば、表示制御部１０６は、フォーカス枠３６を常に表示させてもよいし、操作者２により所定の動作がなされた場合にフォーカス枠３６を表示させてもよい。

また、Ｓ４０８の後において、手形状認識部１０２または動作認識部１０４により操作者２の所定の動作が認識された場合には、判断部１０８は、Ｓ４０８における領域選択が操作者２により取り消されたことを判断してもよい。例えば、動作認識部１０４により操作者２による左手を逆回転させる動作が認識された場合や、手形状認識部１０２により操作者２の左手の手形状がＵＩパネル３０を持つ手形状ではないことが認識された場合などに、判断部１０８は、操作者２により領域選択が取り消されたことを判断してもよい。

また、Ｓ４０８の後において、ＨＭＤ１０は、Ｓ４０９以降の動作を行う代わりに、再びＳ４０５の動作を繰り返してもよい。また、Ｓ４０９の後において、ＨＭＤ１０は、Ｓ４１０の動作を行う代わりに、再びＳ４０１の動作を繰り返してもよい。

［２−３．効果］
以上、例えば図１７〜図１８等を参照して説明したように、第２の実施形態によるＨＭＤ１０は、操作者２の視点の位置に応じた表示画面２０における位置にフォーカス枠３６を表示させ、そして、ＵＩパネル３０の表示位置が移動された場合には、移動後のＵＩパネル３０においてフォーカス枠３６に対応する領域が操作者２により選択されたことを判断する。このため、操作者２は、ＵＩパネル３０において選択を希望する領域がフォーカス枠３６の中に入るように、左手の位置を移動させてＵＩパネル３０を移動させた場合には、希望する領域の選択をすることができる。従って、操作者２は、片手だけでＵＩパネル３０を操作することができ、かつ容易に操作することができる。

＜３．第３の実施形態の詳細な説明＞
以上、第２の実施形態について説明した。上述したように、第１の実施形態および第２の実施形態では、ＨＭＤ１０が、表示画面２０およびＵＩパネル３０の表示を行う。次に説明するように、第３の実施形態によれば、例えばテレビ受像機のような映像装置４０が、表示画面２０およびＵＩパネル３０の表示を行う。

［３−１．基本構成］
まず、第３の実施形態による映像装置４０（情報処理装置）の基本構成について図１９を参照して説明する。映像装置４０は、例えば図２に示したような表示画面２０を表示するための装置である。なお、映像装置４０は、例えば液晶ディスプレイ装置、ＯＬＥＤ装置、プラズマディスプレイ装置などであってもよい。また、映像装置４０により表示される表示画面２０は、第１の実施形態によるＨＭＤ１０により表示される表示画面２０と同じであってもよいし、異なる画面であってもよい。

図１９に示したように、操作者２は、基本的には映像装置４０の正面に位置して、映像装置４０のディスプレイを見ながら、例えばＵＩパネル３０などの操作オブジェクトを操作することが可能である。映像装置４０は、ＨＭＤ１０と同様に、後述する撮像部４２０またはセンサ部４２２により取得される情報に基づいて操作者２の手形状および手の位置を認識することにより、表示画面２０におけるＵＩパネル３０の表示位置を変化させることが可能である。また、映像装置４０は、操作者２の手の動作を認識することにより、操作者２によるアイコン３００、ボタン、画像、テキストなどの選択操作を認識し、そして、例えば選択されたアイコン３００に対応するアプリケーションの起動など、選択操作に対応する所定の処理を実行することが可能である。

なお、図１９では、操作者２は立った状態でＵＩパネル３０を操作する例を記載しているが、かかる例に限定されず、操作者２は例えば椅子に座った状態でＵＩパネル３０を操作することも可能である。また、映像装置４０のハードウェア構成は、図３に示した第１の実施形態によるＨＭＤ１０のハードウェア構成と同様であってもよい。

［３−２．構成］
（３−２−１．映像装置４０）
以上、第３の実施形態による映像装置４０の基本構成について説明した。続いて、第３の実施形態による構成について詳細に説明する。図２０は、第３の実施形態による映像装置４０の構成を示した機能ブロック図である。図２０に示したように、映像装置４０は、制御部４００、記憶部４１０、および出力部４１２を有する。また、制御部４００は、手形状認識部４０２、動作認識部４０４、表示制御部４０６、および判断部４０８を有する。なお、各構成要素の機能はそれぞれ、第１の実施形態によるＨＭＤ１０における各構成要素と概略同様である。従って、ここでは、第１の実施形態との相違点を中心として説明を行う。

第３の実施形態では、図１９に示したように、操作者２は、映像装置４０から一定の距離を離れてＵＩパネル３０の操作を行う。このため、操作者２の手が操作者２の視点とＵＩパネル３０とを結ぶ延長線上にある場合には、例えば図２１に示したように、ＵＩパネル３０において操作者２の手によって遮蔽され、操作者２が見えなくなる領域が生じうる。

このため、表示制御部４０６は、映像装置４０のディスプレイと操作者２の眼との間の空間に操作者２の手が位置する場合には、例えば図２２におけるＵＩパネル３０ａのように、操作者２から見て表示画面２０における操作者２の手により遮られる領域とは異なる領域にＵＩパネル３０を表示させることが可能である。例えば、表示制御部４０６は、センサ部４２２により測定される、映像装置４０に対する操作者２の顔および手の相対的な位置情報に基づいて、操作者２から見て表示画面２０において操作者２の手により遮られる領域を算出してもよい。そして、表示制御部４０６は、算出された領域とは異なる領域にＵＩパネル３０を表示させてもよい。

なお、上記のように、表示画面２０においてＵＩパネル３０がずらして表示されると、操作者２はＵＩパネル３０を操作しづらくなる可能性がある。このため、表示制御部４０６は、例えば図２２における左手の画像３２および右手の画像３４のように、操作者２の手の位置に対応する表示画面２０における位置に仮想の手の画像を重畳して表示させることも可能である。一般的に、人間が外界から受け取る情報の約８割が視覚情報であると言われており、人間は主に視覚情報に基づいて行動する傾向がある。従って、操作者２は、仮に図２２のようにＵＩパネル３０が表示されたとしても、手の画像を見ながらＵＩパネル３０を操作することにより、操作性が低下することなく、正確にＵＩパネル３０を操作することができる。

なお、図２２では、左手の画像３２および右手の画像３４として例えばコンピュータグラフィックスによる仮想の手の画像が表示される例を示しているが、かかる例に限定されず、例えば撮像部４２０により撮影される操作者２の手や上半身などの撮影画像が表示画面２０に重畳表示されてもよい。また、左手の画像３２と右手の画像３４の両方が表示される代わりに、例えば左手の画像３２だけなど、いずれか一方の画像だけが表示されてもよい。

（３−２−２．撮像部４２０、センサ部４２２）
撮像部４２０およびセンサ部４２２の機能はそれぞれ、第１の実施形態による撮像部１２０およびセンサ部１２２と概略同様である。なお、撮像部４２０およびセンサ部４２２は、例えば図１９に示したセンサ部４２２のように、ディスプレイの水平方向の中央の上部に位置するように映像装置４０に設置されることが可能である。

なお、第３の実施形態による構成は、上述した構成に限定されない。例えば、映像装置４０は、撮像部１２０、またはセンサ部１２２のいずれか一つ以上を内部に備えてもよい。また、撮像部４２０またはセンサ部４２２のいずれか一つは設置されなくてもよい。

［３−３．動作］
以上、第３の実施形態による構成について説明した。続いて、第３の実施形態による動作について説明する。第３の実施形態による映像装置４０は、例えば図９〜図１３に示した第１の実施形態による動作、あるいは図１７〜図１８に示した第２の実施形態による動作と概略同様の動作を行うことが可能である。従って、ここでは説明を省略する。

［３−４．効果］
以上説明したように、第３の実施形態による映像装置４０は、測定された操作者２の手に関する情報に基づいて操作者２の手形状を認識し、そして、操作者２の左手の手形状が所定の形状である場合には、表示画面２０におけるＵＩパネル３０の表示位置を操作者２の左手の位置の変化に応じて移動させる。このため、第１の実施形態または第２の実施形態と同様に、操作者２は左手を移動させることによりＵＩパネル３０の位置を操作しやすい位置に変更することが可能になるので、映像装置４０は操作者２の身体的な負荷を軽減させることができる。

また、映像装置４０は、ディスプレイと操作者２の眼との間の空間に操作者２の手が位置する場合には、操作者２から見て表示画面２０における操作者２の手により遮られる領域とは異なる領域にＵＩパネル３０を表示させる。このため、映像装置４０は、操作者２の視界において操作者２の手によりＵＩパネル３０の一部が隠れてしまうことを防止できるので、操作者２はディスプレイと相対するように位置しても視認性が低下することなくＵＩパネル３０を操作することができる。

また、映像装置４０は、例えばテレビ受像機やＰＣ用ディスプレイのような表示装置であるので、操作者２は、映像装置４０に表示される表示画面２０を例えば家族や友人など他の人物と一緒に見ながらＵＩパネル３０を操作することができる。さらに、操作者２は、ＵＩパネル３０の操作を他の人物に交代させることも可能であり、ＵＩパネル３０の操作を複数の人物の間で共有して楽しむことができる。

＜４．変形例＞
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、ＨＭＤ１０または映像装置４０は、表示画面２０またはＵＩパネル３０に関して、視差を考慮した異なる画像を操作者２の左眼と右眼に見せることも可能である。より具体的には、ＨＭＤ１０は、左眼用と右眼用の２つのディスプレイを有し、左眼用画像と右眼用画像とを操作者２に見せることが可能である。また、映像装置４０は、３Ｄ表示用のディスプレイ装置であってもよい。また、操作者２は専用のメガネを装着して、映像装置４０に表示される表示画面２０を見ることにより、左眼と右眼で異なる画像を見ることも可能である。この変形例によれば、操作者２は、表示画面２０またはＵＩパネル３０をより立体的に知覚することができるので、より直感的にＵＩパネル３０を操作することが可能になる。

また、ＨＭＤ１０または映像装置４０は、ＵＩパネル３０上の所定のボタンの選択操作などにより、表示画面２０またはＵＩパネル３０の大きさを操作者２に変更させることも可能である。この変形例によれば、操作者２は、例えば身長や操作環境の広さなどに応じて、表示画面２０またはＵＩパネル３０を操作しやすい大きさで表示させることができるので、利便性が向上する。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識する手形状認識部と、
前記操作者の手形状が所定の形状である場合に、表示画面における操作オブジェクトの表示位置を前記操作者の手の位置の変化に応じて移動させる表示制御部と、
を備える、情報処理装置。
（２）
前記所定の形状は、前記操作オブジェクトを持つ形状である、前記（１）に記載の情報処理装置。
（３）
前記操作オブジェクトは、前記表示画面を操作者が操作するための操作面である、前記（１）または（２）に記載の情報処理装置。
（４）
前記情報処理装置は、前記操作者による手の動作を認識する動作認識部をさらに備え、
前記表示制御部は、前記動作認識部による前記操作者の手の動作の認識結果に基づいて、前記表示画面において前記操作オブジェクトの表示と非表示とを切り替える、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記手の動作は、手を回転させる動作であり、
前記表示制御部は、前記動作認識部により前記操作者の手を第１の方向へ回転させる動作が認識された場合には、前記操作者の回転後の手の位置に対応する前記表示画面における位置に前記操作オブジェクトを表示させる、前記（４）に記載の情報処理装置。
（６）
前記表示制御部は、前記表示画面に前記操作オブジェクトが表示されている間に、前記動作認識部により前記第１の方向の逆方向である第２の方向へ前記操作者の手を回転させる動作が認識された場合には、前記表示画面において前記操作オブジェクトを非表示にする、前記（５）に記載の情報処理装置。
（７）
前記手を回転させる動作は、一方の手を握った状態で前記一方の手を回転させる動作である、前記（４）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記表示制御部は、前記操作者の第１の手の手形状が前記所定の形状である場合に、前記操作オブジェクトの表示位置を前記第１の手の位置の変化に応じて移動させ、
前記情報処理装置は、前記手形状認識部により前記操作者の第２の手の手形状が指差しの形状であることが認識された場合に、前記第２の手の指の位置に基づいて前記操作者の操作内容を判断する判断部をさらに備える、前記（４）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記判断部は、前記第２の手の指の位置が前記第１の手の位置よりも前方にあることが認識された場合には、前記第２の手の指の位置に対応する前記操作オブジェクトにおける位置が前記操作者により選択されたことを判断する、前記（８）に記載の情報処理装置。
（１０）
手の位置の変化量に対する前記表示画面における前記操作オブジェクトの移動量の割合は、前記第１の手と前記第２の手とで異なる、前記（９）に記載の情報処理装置。
（１１）
前記表示制御部は、前記第１の手と前記第２の手との位置関係に応じて、前記第１の手の位置の変化量に対する前記表示画面における前記操作オブジェクトの移動量の割合を変化させる、前記（９）または（１０）に記載の情報処理装置。
（１２）
前記表示制御部は、前記第１の手が前記第２の手よりも前方にある場合には、前記操作者の前後方向における前記第１の手と前記第２の手との間の距離が小さいほど、前記第１の手の位置の変化量に対する前記表示画面における前記操作オブジェクトの移動量の割合を小さくさせる、前記（１１）に記載の情報処理装置。
（１３）
前記表示制御部は、前記手形状認識部により前記操作者の手形状が前記所定の形状であることが認識されない場合には、前記操作オブジェクトを前記表示画面に表示させない、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（１４）
前記表示制御部は、前記表示画面を表示するディスプレイと前記操作者の眼との間の空間に前記操作者の手が位置する場合には、前記操作者から見て前記表示画面における前記操作者の手により遮られる領域とは異なる領域に前記操作オブジェクトを表示させる、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記表示制御部は、前記操作者の視点の位置に応じた前記表示画面における位置にフォーカス枠を表示させ、
前記情報処理装置は、前記操作面の表示位置が移動された場合に、移動後の前記操作面における前記フォーカス枠に対応する領域が前記操作者により選択されたことを判断する判断部をさらに備える、前記（３）に記載の情報処理装置。
（１６）
前記表示制御部は、前記操作者の手の位置に対応する前記表示画面における位置に手の画像を表示させる、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記操作者の手に関する情報は、前記表示画面を表示するディスプレイから前記操作者の手までの距離に応じた値、または前記操作者の手の画像である、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識することと、
前記操作者の手形状が所定の形状である場合に、表示画面における操作オブジェクトの表示位置を前記操作者の手の位置の変化に応じて移動させることと、
を備える、情報処理方法。
（１９）
コンピュータを、
測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識する手形状認識部と、
前記操作者の手形状が所定の形状である場合に、表示画面における操作オブジェクトの表示位置を前記操作者の手の位置の変化に応じて移動させる表示制御部、
として機能させるための、プログラム。

１０ ＨＭＤ
４０ 映像装置
１００ 制御部
１０２ 手形状認識部
１０４ 動作認識部
１０６ 表示制御部
１０８ 判断部
１１０ 記憶部
１１２ 出力部
１２０ 撮像部
１２２ センサ部
１５０ ＣＰＵ
１５２ ＲＯＭ
１５４ ＲＡＭ
１５６ 内部バス
１５８ インターフェース
１６０ 入力装置
１６２ 出力装置
１６４ ストレージ装置
１６６ 通信装置
４００ 制御部
４０２ 手形状認識部
４０４ 動作認識部
４０６ 表示制御部
４０８ 判断部
４１０ 記憶部
４１２ 出力部
４２０ 撮像部
４２２ センサ部

Claims (20)

1. 測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識する手形状認識部と、
   前記操作者による手の動作を認識する動作認識部と、
   前記操作者の手の動作の認識結果に基づいて所定の動作が認識された場合に、表示画面に表示された操作オブジェクトを消去し、
   前記所定の動作が認識されておらず、かつ、前記操作者の手形状が所定の形状である場合に、前記表示画面における前記操作オブジェクトの表示位置を前記操作者の手の位置の変化に応じて移動させる表示制御部と、
   を備える、情報処理装置。
2. 前記所定の形状は、前記操作オブジェクトを持つ形状である、請求項１に記載の情報処理装置。
3. 前記操作オブジェクトは、前記表示画面を操作者が操作するための複数のアイコンを含む操作面である、請求項１または２に記載の情報処理装置。
4. 前記複数のアイコンは、それぞれ異なるアプリケーションを起動するためのアイコンである、請求項３に記載の情報処理装置。
5. 前記所定の動作は、手を回転させる動作であり、
   前記表示制御部は、前記動作認識部により前記操作者の手を第１の方向へ回転させる動作が認識された場合には、前記操作者の回転後の手の位置に対応する前記表示画面における位置に前記操作オブジェクトを表示させる、請求項１〜４のいずれか一項に記載の情報処理装置。
6. 前記表示制御部は、前記表示画面に前記操作オブジェクトが表示されている間に、前記動作認識部により前記第１の方向の逆方向である第２の方向へ前記操作者の手を回転させる動作が認識された場合には、前記表示画面において前記操作オブジェクトを非表示にする、請求項５に記載の情報処理装置。
7. 前記手を回転させる動作は、一方の手を握った状態で前記一方の手を回転させる動作である、請求項５または６に記載の情報処理装置。
8. 測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識する手形状認識部と、
   前記操作者の第１の手の手形状が所定の形状である場合に、表示画面における操作オブジェクトの表示位置を前記第１の手の位置の変化に応じて移動させる表示制御部と、
   前記操作者による手の動作を認識する動作認識部と、
   前記手形状認識部により前記操作者の第２の手の手形状が指差しの形状であることが認識された場合に、前記第２の手の指の位置に基づいて前記操作者の操作内容を判断する判断部と、
   を備え、
   前記表示制御部は、前記動作認識部による前記操作者の手の動作の認識結果に基づいて、前記表示画面において前記操作オブジェクトの表示と非表示とを切り替える、情報処理装置。
9. 前記判断部は、前記第２の手の指の位置が前記第１の手の位置よりも前方にあることが認識された場合には、前記第２の手の指の位置に対応する前記操作オブジェクトにおける位置が前記操作者により選択されたことを判断する、請求項８に記載の情報処理装置。
10. 手の位置の変化量に対する前記表示画面における前記操作オブジェクトの移動量の割合は、前記第１の手と前記第２の手とで異なる、請求項９に記載の情報処理装置。
11. 前記表示制御部は、前記第１の手と前記第２の手との位置関係に応じて、前記第１の手の位置の変化量に対する前記表示画面における前記操作オブジェクトの移動量の割合を変化させる、請求項９または１０に記載の情報処理装置。
12. 前記表示制御部は、前記第１の手が前記第２の手よりも前方にある場合には、前記操作者の前後方向における前記第１の手と前記第２の手との間の距離が小さいほど、前記第１の手の位置の変化量に対する前記表示画面における前記操作オブジェクトの移動量の割合を小さくさせる、請求項１１に記載の情報処理装置。
13. 前記操作者による手の動作は、前記所定の動作である第１の動作と、第２の動作とを含み、
    前記操作者の手の動作の認識結果に基づいて前記第１の動作が認識された場合には、前記表示制御部は、前記表示画面に表示された前記操作オブジェクトを消去し、
    前記操作者の手の動作の認識結果に基づいて前記第２の動作が認識され、かつ、前記操作オブジェクトが前記表示画面に表示されていない場合には、前記表示制御部は、前記操作オブジェクトを前記表示画面に表示させる、請求項１〜３のいずれか一項に記載の情報処理装置。
14. 前記表示制御部は、前記表示画面を表示するディスプレイと前記操作者の眼との間の空間に前記操作者の手が位置する場合には、前記操作者から見て前記表示画面における前記操作者の手により遮られる領域とは異なる領域に前記操作オブジェクトを表示させる、請求項１〜１３のいずれか一項に記載の情報処理装置。
15. 前記表示制御部は、前記操作者の視点の位置に応じた前記表示画面における位置にフォーカス枠を表示させ、
    前記情報処理装置は、前記操作面の表示位置が移動された場合に、移動後の前記操作面における前記フォーカス枠に対応する領域が前記操作者により選択されたことを判断する判断部をさらに備える、請求項３に記載の情報処理装置。
16. 前記表示制御部は、前記操作者の手の位置に対応する前記表示画面における位置に手の画像を表示させる、請求項１〜１５のいずれか一項に記載の情報処理装置。
17. 前記操作者の手に関する情報は、前記表示画面を表示するディスプレイから前記操作者の手までの距離に応じた値、または前記操作者の手の画像である、請求項１〜１６のいずれか一項に記載の情報処理装置。
18. 測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識することと、
    前記操作者による手の動作を認識することと、
    前記操作者の手の動作の認識結果に基づいて所定の動作が認識された場合に、表示画面に表示された操作オブジェクトを消去することと、
    前記所定の動作が認識されておらず、かつ、前記操作者の手形状が所定の形状である場合に、前記表示画面における前記操作オブジェクトの表示位置を前記操作者の手の位置の変化に応じて移動させることと、
    を含む、情報処理方法。
19. コンピュータを、
    測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識する手形状認識部と、
    前記操作者による手の動作を認識する動作認識部と、
    前記操作者の手の動作の認識結果に基づいて所定の動作が認識された場合に、表示画面に表示された操作オブジェクトを消去し、
    前記所定の動作が認識されておらず、かつ、前記操作者の手形状が所定の形状である場合に、前記表示画面における前記操作オブジェクトの表示位置を前記操作者の手の位置の変化に応じて移動させる表示制御部、
    として機能させるための、プログラム。
20. 測定された操作者の手に関する情報に基づいて前記操作者の手形状を認識する手形状認識部と、
    前記操作者の第１の手の手形状が所定の形状である場合に、表示画面における操作オブジェクトの表示位置を前記第１の手の位置の変化に応じて移動させる表示制御部と、
    前記手形状認識部により前記操作者の第２の手の手形状が指差しの形状であることが認識された場合に、前記第２の手の指の位置に基づいて前記操作者の操作内容を判断する判断部と、
    を備える、情報処理装置。

Images