WO2022064881A1

WO2022064881A1 - 情報処理装置、情報処理方法およびプログラム

Info

Publication number: WO2022064881A1
Application number: PCT/JP2021/029392
Authority: WO
Inventors: 友久田中
Original assignee: ソニーグループ株式会社
Priority date: 2020-09-28
Filing date: 2021-08-06
Publication date: 2022-03-31
Also published as: EP4220355A1; EP4220355A4; US20230290092A1; JPWO2022064881A1

Abstract

【課題】認識対象の認識精度の低下を抑制することが可能な技術が提供されることが望まれる。【解決手段】ユーザの身体の第１の部位を撮像範囲に含んだ撮像画像に基づいて認識された第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第１の部位および前記第２の部位の少なくともいずれか一方の姿勢の変更を促す通知情報が前記ユーザに提示されるように提示部を制御する提示制御部を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法およびプログラム

　本開示は、情報処理装置、情報処理方法およびプログラムに関する。

　近年、実空間に存在する所定の認識対象を認識し、認識結果に応じた処理を実行する各種の技術が知られている。例えば、認識対象の例としての入力装置の認識結果に基づいて、ユーザの頭部に装着されているディスプレイに提示される仮想的なオブジェクトを制御する技術が開示されている（例えば、特許文献１参照）。

特開２０１９－４６２９１号公報

　しかしながら、認識対象が他の対象に遮蔽されてしまう状況が起こり得る。かかる状況においては、認識対象の認識精度が低下してしまうことが想定され得る。そこで、認識対象の認識精度の低下を抑制することが可能な技術が提供されることが望まれる。

　本開示のある観点によれば、ユーザの身体の第１の部位を撮像範囲に含んだ撮像画像に基づいて認識された第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第１の部位および前記第２の部位の少なくともいずれか一方の姿勢の変更を促す通知情報が前記ユーザに提示されるように提示部を制御する提示制御部を備える、情報処理装置が提供される。

　また、本開示の別の観点によれば、ユーザの身体の第１の部位を撮像範囲に含んだ撮像画像に基づいて認識された第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第１の部位および前記第２の部位の少なくともいずれか一方の姿勢の変更を促す通知情報が前記ユーザに提示されるように、プロセッサが提示部を制御する、情報処理方法が提供される。

　また、本開示の別の観点によれば、コンピュータを、ユーザの身体の第１の部位を撮像範囲に含んだ撮像画像に基づいて認識された第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第１の部位および前記第２の部位の少なくともいずれか一方の姿勢の変更を促す通知情報が前記ユーザに提示されるように提示部を制御する提示制御部を備える、情報処理装置として機能させるプログラムが提供される。

本開示の一実施形態に係る情報処理システムの略的な構成の一例について説明するための説明図である。ＡＲ技術を応用してユーザの操作入力に対して各種コンテンツを提示する場合の一例を示す図である。入出力装置の概略的な構成の一例について説明するための説明図である。ウェアラブルデバイスの概略的な構成の一例について説明するための説明図である。情報処理システムの機能構成の一例を示したブロック図である。デプス画像の例を示す図である。手指関節位置の例を示す図である。認識された各手指関節位置がデプス画像に再投影された画像の一例を示す図である。認識された各手指関節位置がデプス画像に再投影された画像の他の例を示す図である。本開示の実施形態に係る基本的な制御の例について説明するためのフローチャートである。ユーザ操作の例を説明するための図である。手を開くことをユーザに促すガイドＵＩの第１の例を説明するための図である。手を開くことをユーザに促すガイドＵＩの第１の例の変形例を説明するための図である。手を開くことをユーザに促すガイドＵＩの第１の例の変形例を説明するための図である。手を開くことをユーザに促すガイドＵＩの第２の例を説明するための図である。手を開くことをユーザに促すガイドＵＩの第３の例を説明するための図である。ボタンの属性を変更する例を示す図である。本開示の一実施形態に係る情報処理システムを構成する各種の情報処理装置のハードウェア構成の一例を示す図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

　なお、説明は以下の順序で行うものとする。
　１．システム構成
　２．入出力装置の構成
　３．ウェアラブルデバイスの構成
　４．システムの機能構成
　５．手指関節認識の信頼度
　６．特筆すべき特徴
　　６．１．基本的な制御
　　６．２．手指関節位置の統合とオクルージョン検知の例
　　６．３．ガイドＵＩの具体例
　　６．４．各種の変形例
　７．ハードウェア構成例
　８．まとめ

　＜１．システム構成＞
　まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図１は、本開示の一実施形態に係る情報処理システムの略的な構成の一例について説明するための説明図であり、所謂ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を応用してユーザに対して各種コンテンツを提示する場合の一例を示している。

　図１において、参照符号ｍ１１１は、実空間上に位置する物体（例えば、実オブジェクト）を模式的に示している。また、参照符号ｖ１３１およびｖ１３３は、実空間上に重畳するように提示される仮想的なコンテンツ（例えば、仮想オブジェクト）を模式的に示している。即ち、本実施形態に係る情報処理システム１は、例えば、ＡＲ技術に基づき、実オブジェクトｍ１１１などの実空間上の物体に対して、仮想オブジェクトを重畳してユーザに提示する。なお、図１では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方を合わせて提示している。

　図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。情報処理装置１０と入出力装置２０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とを接続ネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、Ｗｉ－Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などにより構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。

　入出力装置２０は、各種入力情報の取得や、当該入出力装置２０を保持するユーザに対して各種出力情報の提示を行うための構成である。また、入出力装置２０による出力情報の提示は、情報処理装置１０により、当該入出力装置２０により取得された入力情報に基づき制御される。例えば、入出力装置２０は、実オブジェクトｍ１１１を認識するための情報（例えば、撮像された実空間の画像）を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、実空間上における実オブジェクトｍ１１１の位置を認識し、当該認識結果に基づき、入出力装置２０に仮想オブジェクトｖ１３１およびｖ１３３を提示させる。このような制御により、入出力装置２０は、所謂ＡＲ技術に基づき、実オブジェクトｍ１１１に対して仮想オブジェクトｖ１３１およびｖ１３３が重畳するように、当該仮想オブジェクトｖ１３１およびｖ１３３をユーザに提示することが可能となる。

　また、入出力装置２０は、例えば、ユーザが頭部の少なくとも一部に装着して使用する所謂頭部装着型デバイスとして構成されており、当該ユーザの視線を検出可能に構成されていてもよい。このような構成に基づき、情報処理装置１０は、例えば、入出力装置２０によるユーザの視線の検出結果に基づき、当該ユーザが所望の対象（例えば、実オブジェクトｍ１１１や、仮想オブジェクトｖ１３１およびｖ１３３など）を注視していることを認識した場合に、当該対象を操作対象として特定してもよい。また、情報処理装置１０は、入出力装置２０に対する所定の操作をトリガとして、ユーザの視線が向けられている対象を操作対象として特定してもよい。以上のようにして、情報処理装置１０は、操作対象を特定し、当該操作対象に関連付けられた処理を実行することで、入出力装置２０を介して各種サービスをユーザに提供してもよい。

　情報処理装置１０は、入出力装置２０により取得された入力情報に基づき、ユーザの腕、手のひら、手指関節の位置姿勢の動き（例えば、位置や向きの変化、ジェスチャなど）をユーザの操作入力として認識し、当該操作入力の認識結果に応じて各種処理を実行する。具体的な一例として、入出力装置２０は、ユーザの腕、手のひら、手指関節を認識するための情報（例えば、撮像された手の画像）を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、腕、手のひら、手指関節の位置姿勢を推定し、その動き（例えば、ジェスチャ）を認識し、当該動きの認識結果に応じて、ユーザからの指示（即ち、ユーザの操作入力）を認識する。そして、情報処理装置１０は、ユーザの操作入力の認識結果に応じて、例えば、ユーザに提示する仮想オブジェクトの表示（例えば、仮想オブジェクトの表示位置や姿勢）を制御してもよい。なお、本開示において「ユーザの操作入力」とは、前述の通り、ユーザからの指示に対応する入力、即ち、ユーザの意図を反映した入力として見做されてよい。以下、「ユーザの操作入力」を、単に「ユーザ入力」と称する場合がある。

　また、情報処理装置１０は、入出力装置２０により取得された入力情報に基づき、ユーザの身体の手以外の少なくとも一部の部位の動き（例えば、位置や向きの変化、ジェスチャなど）をユーザの操作入力として認識し、当該操作入力の認識結果に応じて各種処理を実行してもよい。

　次に、図２を参照して、ユーザが手のひら（または手の甲）に装着するウェアラブルデバイス３０と、情報処理装置１０と、入出力装置２０によりユーザの手のひらの位置と姿勢を取得する、概略的な構成の一例について説明する。図２は、所謂ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を応用してユーザの手の動き、即ち、ユーザの操作入力に対して各種コンテンツを提示する場合の一例を示している。

　図２に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０と、ウェアラブルデバイス３０を含む。情報処理装置１０と入出力装置２０とウェアラブルデバイス３０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とウェアラブルデバイス３０とを接続するネットワークの種類は特に限定されない。

　入出力装置２０は、手のひら装着型のウェアラブルデバイス３０の位置と姿勢を、（一例として比較的低い精度で）検出するための情報を入力情報として取得し、取得した入力情報を情報処理装置１０に出力する。以下では、かかる入力情報として、ウェアラブルデバイス３０のＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）の出力する加速度情報および角速度情報が用いられる場合を主に想定する。しかし、かかる入力情報は、ＩＭＵの出力する情報に限定されない。例えば、かかる入力情報は、後にも説明するように磁気センサの出力する情報であってもよい。

　さらに、ウェアラブルデバイス３０は、規定のパターンで配置された光学マーカー（例えば、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）発光のアクティブマーカー、再帰性反射材のパッシブマーカーなど）を含む。なお、図２に示されたウェアラブルデバイス３０は簡易的に示されているため、光学マーカーが図示されていないが、光学マーカーについては、図４を参照しながら後に詳細に説明する。入出力装置２０は、光学マーカーを撮像した画像を取得する。情報処理装置１０は、入出力装置２０により取得された光学マーカーの撮像画像の入力情報に基づき、ウェアラブルデバイス３０の位置と姿勢を（一例として比較的高い精度で）取得する。

　これらの構成により、入出力装置２０とウェアラブルデバイス３０との距離が一定範囲（例えば、１ｍ）にあれば、ウェアラブルデバイス３０の位置と姿勢を（一例として比較的低い精度で）得ることができとともに、入出力装置２０に備わる認識用カメラの画角（ＦｏＶ：Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ）に、ウェアラブルデバイス３０の光学マーカーが少なくても一定数以上写っている場合に限って、ウェアラブルデバイス３０の位置と姿勢を（一例として比較的高い精度で）得ることができる。

　なお、図１および図２では、入出力装置２０と情報処理装置１０とが互いに異なる装置として示されているが、入出力装置２０と情報処理装置１０とは一体的に構成されていてもよい。また、入出力装置２０および情報処理装置１０の構成および処理の詳細については別途後述する。

　以上、図１および図２を参照して、本開示の一実施形態に係る情報処理システム１の概略的な構成の一例について説明した。

　＜２．入出力装置の構成＞
　続いて、図３を参照して、図１および図２に示した本実施形態に係る入出力装置２０の概略的な構成の一例について説明する。図３は、本実施形態に係る入出力装置２０の概略的な構成の一例について説明するための説明図である。

　前述したように、本実施形態に係る入出力装置２０は、ユーザが頭部の少なくとも一部に装着して使用する所謂頭部装着型デバイスとして構成されており、レンズ２９３ａおよび２９３ｂのうち少なくともいずれかが透過型のディスプレイ（表示部２１１）として構成されている。また、入出力装置２０は、撮像部２０１ａおよび２０１ｂと、操作部２０７と、メガネのフレームに相当する保持部２９１とを備える。また、入出力装置２０は、撮像部２０３ａおよび２０３ｂを備えてもよい。なお、以降では、入出力装置２０が、撮像部２０３ａおよび２０３ｂを備えているものとして各種説明を行う。保持部２９１は、入出力装置２０がユーザの頭部に装着されたときに、表示部２１１と、撮像部２０１ａおよび２０１ｂと、撮像部２０３ａおよび２０３ｂと、操作部２０７とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。また、図３には図示していないが、入出力装置２０は、ユーザの音声を集音するための集音部を備えていてもよい。

　ここで、入出力装置２０のより具体的な構成について説明する。例えば、図３に示す例では、レンズ２９３ａが、右眼側のレンズに相当し、レンズ２９３ｂが、左眼側のレンズに相当する。即ち、保持部２９１は、入出力装置２０が装着された場合に、表示部２１１（換言すると、レンズ２９３ａおよび２９３ｂ）がユーザの眼前に位置するように、当該表示部２１１を保持する。

　撮像部２０１ａおよび２０１ｂは、所謂ステレオカメラとして構成されており、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１によりそれぞれ保持される。このとき、撮像部２０１ａが、ユーザの右眼の近傍に保持され、撮像部２０１ｂが、当該ユーザの左眼の近傍に保持される。このような構成に基づき、撮像部２０１ａおよび２０１ｂは、入出力装置２０の前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置から撮像する。これにより、入出力装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、撮像部２０１ａおよび２０１ｂそれぞれにより撮像された画像間の視差に基づき、当該入出力装置２０（ひいては、ユーザの視点の位置）から、当該被写体までの距離を算出することが可能となる。

　なお、入出力装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）、Ｓｔｒｕｃｔｕｒｅｄ　Ｌｉｇｈｔなどの方式に基づき、入出力装置２０と被写体との間の距離が測定されてもよい。

　ここで、ＴＯＦとは、被写体に対して赤外線などの光を投光し、投光した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（所謂距離画像）を得る方式である。

　また、Ｓｔｒｕｃｔｕｒｅｄ　Ｌｉｇｈｔは、被写体に対して赤外線などの光によりパターンを照射し、それを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。

　また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。

　なお、このとき各種センサによりカメラの移動距離および移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラなど）を変更してもよい。

　また、撮像部２０３ａおよび２０３ｂは、入出力装置２０がユーザの頭部に装着されたときに、それぞれの撮像範囲内に当該ユーザの眼球が位置するように、保持部２９１によりそれぞれ保持される。具体的な一例として、撮像部２０３ａは、撮像範囲内にユーザの右眼が位置するように保持される。このような構成に基づき、撮像部２０３ａにより撮像された右眼の眼球の画像と、当該撮像部２０３ａと当該右眼との間の位置関係と、に基づき、当該右眼の視線が向いている方向を認識することが可能となる。同様に、撮像部２０３ｂは、撮像範囲内に当該ユーザの左眼が位置するように保持される。即ち、撮像部２０３ｂにより撮像された左眼の眼球の画像と、当該撮像部２０３ｂと当該左眼との間の位置関係と、に基づき、当該左眼の視線が向いている方向を認識することが可能となる。なお、図３に示す例では、入出力装置２０が撮像部２０３ａおよび２０３ｂの双方を含む構成について示しているが、撮像部２０３ａおよび２０３ｂのうちいずれかのみが設けられていてもよい。

　また、手位置検出用のＩＲ（Ｉｎｆｒａｒｅｄ）光源２０１ｃ、ＩＲ撮像部２０１ｄは、ウェアラブルデバイス３０の（入出力装置２０からみた）位置と姿勢を得るためのものである。ＩＲ光源２０１ｃから照射された（一例として９４０ｎｍの）赤外光は、ウェアラブルデバイス３０の再帰性反射材の光学マーカー（図４）に反射して、ＩＲ撮像部２０１ｄで撮像される（あるいは、ＩＲ光源２０１ｃが無く、光学マーカー３２０（図４）が（一例として９４０ｎｍ波長の）ＩＲ　ＬＥＤであり自発光する構成でもよい）。ＩＲ撮像部２０１ｄは、（一例として９４０ｎｍ帯を中心とする）赤外光だけを通すバンドパスフィルターを備えており、光学マーカー３２０（図４）の輝点だけが撮像される。輝点の画像より、入出力装置２０からの相対的なウェアラブルデバイス３０の位置と姿勢を（一例として比較的高い精度で）得ることが可能である。

　操作部２０７は、入出力装置２０に対するユーザからの操作を受け付けるための構成である。操作部２０７は、例えば、タッチパネルやボタンなどのような入力デバイスにより構成されていてもよい。操作部２０７は、保持部２９１により、入出力装置２０の所定の位置に保持されている。例えば、図３に示す例では、操作部２０７は、メガネのテンプルに相当する位置に保持されている。

　また、本実施形態に係る入出力装置２０には、例えば、加速度センサやジャイロセンサ（角速度センサ）などを含む慣性計測部２２０（図５）（ＩＭＵ）が設けられる（図示しない）。入出力装置２０は、ＩＭＵの出力する加速度情報と角速度情報を取得可能である。そして、かかる加速度情報と角速度情報に基づいて、当該入出力装置２０を装着したユーザの頭部の動き（換言すると、入出力装置２０自体の動き）が検出され得る。具体的な一例として、情報処理装置１０は、入出力装置２０のＩＭＵが出力する加速度情報と角速度情報を取得し、慣性航法によって入出力装置２０の位置および姿勢を算出し、その際発生するドリフト誤差を回帰モデルによって補正することで、入出力装置２０の位置情報および姿勢情報を推定し、当該ユーザの頭部の位置および姿勢を取得することが可能である。

　以上のような構成に基づき、本実施形態に係る入出力装置２０は、ユーザの頭部の動きに応じた、実空間上における自身の位置や姿勢の変化を認識することが可能となる。また、このとき入出力装置２０は、所謂ＡＲ技術に基づき、実空間に位置する実オブジェクトに対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳するように、表示部２１１に当該コンテンツを提示することも可能となる。また、このとき入出力装置２０は、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　Ａｎｄ　Ｍａｐｐｉｎｇ）と称される技術などに基づき、実空間上における自身の位置および姿勢（即ち、自己位置）を推定してもよく、当該推定結果を仮想オブジェクトの提示に利用してもよい。

　ここで、参考として、ＳＬＡＭの概要について説明する。ＳＬＡＭとは、カメラなどの撮像部、各種センサ、エンコーダなどを利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ　ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置および姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部（ひいては、入出力装置２０）の位置および姿勢の推定とが行われる。なお、撮像部の位置および姿勢については、例えば、入出力装置２０に加速度センサや角速度センサなどの各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置および姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサなどの各種センサの検知結果に基づく方法のみには限定されない。

　また、入出力装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ：Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）の一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、および網膜投射型ＨＭＤが挙げられる。

　シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部などからなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視認している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置および姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。例えば、図３に示した入出力装置２０は、シースルー型ＨＭＤの一例に相当する。

　ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイなどの表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。また、このときビデオシースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該ビデオシースルー型ＨＭＤの位置および姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。

　網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視認することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視認している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。

　また、前述では、ＡＲ技術を適用することを前提として、本実施形態に係る入出力装置２０の構成の一例について説明したが、必ずしも、当該入出力装置２０の構成を限定するものではない。例えば、ＶＲ技術を適用することを想定した場合には、本実施形態に係る入出力装置２０は、没入型ＨＭＤと呼ばれるＨＭＤとして構成されていてもよい。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイなどの表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視認しているユーザに対して没入感を与えることが可能となる。

　以上、図３を参照して、本開示の一実施形態に係る入出力装置２０の概略的な構成の一例について説明した。

　＜３．ウェアラブルデバイスの構成＞
　続いて、図４を参照して、図１および図２に示した本実施形態に係るウェアラブルデバイス３０の概略的な構成の一例について説明する。図４は、本実施形態に係るウェアラブルデバイス３０の概略的な構成の一例について説明するための説明図である。

　前述したように、本実施形態に係るウェアラブルデバイス３０は、ユーザが手のひらに装着して使用する所謂装着型デバイスとして構成されている。例えば、図４に示す例では、ウェアラブルデバイス３０は、所謂パームベスト型のデバイスとして構成されている。また、ウェアラブルデバイス３０は、撮像部（手のひら側）３０１および撮像部（手の甲側）３０２を備えており、撮像部（手のひら側）３０１は、ウェアラブルデバイス３０が装着された手の指（手指）を手のひら側から撮像できるように手のひら側に配置され、撮像部（手の甲側）３０２は、ウェアラブルデバイス３０が装着された手の指（手指）を手の甲側から撮像できるように手の甲側に配置されている。

　なお、撮像部（手のひら側）３０１および撮像部（手の甲側）３０２それぞれは、ＴＯＦセンサとして構成されており、ＴＯＦセンサによって得られるデプス画像によって深度（手指までの距離）を得ることが可能である。しかし、撮像部（手のひら側）３０１および撮像部（手の甲側）３０２それぞれのセンサの種類は、ＴＯＦセンサに限定されず、深度を得ることが可能な他のセンサであってもよい。あるいは、撮像部（手のひら側）３０１および撮像部（手の甲側）３０２の一方または双方は、ＩＲセンサなどの２Ｄセンサであってもよい。

　また、ウェアラブルデバイス３０は、表面が再帰性反射材である複数の光学マーカー３２０と、慣性計測部３０３（図５）と、振動提示部３１１とを備える。図４を参照すると、手指Ｆ１が示されている。また、手指Ｆ１の（撮像部２０１からみた）相対的な位置と姿勢が位置姿勢Ｒ１として示されている。ここで、（撮像部２０１からみた）相対的な位置は、撮像部２０１を基準としたカメラ座標系における座標によって表され得る。なお、基準とされる撮像部２０１は特に限定されない（例えば、撮像部２０１ａが基準であってもよい）。

　また、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置と姿勢が位置姿勢Ｒ２として示されている。さらに、撮像部（手のひら側）３０１の（ウェアラブルデバイス３０からみた）相対的な位置と姿勢が位置姿勢Ｒ３として示されている。また、手指Ｆ１の（撮像部（手のひら側）３０１からみた）相対的な位置と姿勢が位置姿勢Ｒ４として示されている。さらに、撮像部（手の甲側）３０２の（ウェアラブルデバイス３０からみた）相対的な位置と姿勢が位置姿勢Ｒ５として示されている。また、手指Ｆ１の（撮像部（手の甲側）３０２からみた）相対的な位置と姿勢が位置姿勢Ｒ６として示されている。

　なお、図４には、中指に相当する手指Ｆ１が手指の一例として示されている。しかし、後にも説明するように、本実施形態では、中指以外の手指（即ち、親指、人差し指、薬指および小指）も、中指に相当する手指Ｆ１と同様に手指として扱われ得る。

　光学マーカー３２０は、入出力装置２０のＩＲ光源２０１ｃの照射光を反射する。その反射光をＩＲ撮像部２０１ｄで撮像し、得られた映像の輝点からウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置と姿勢を（一例として比較的高い精度で）得る。なお、光学マーカー３２０は、再帰性反射材を用いたパッシブマーカーに限らず、ＩＲ　ＬＥＤを用いたアクティブマーカーでもよい。光学マーカー３２０がアクティブマーカーである場合には、入出力装置２０のＩＲ光源２０１ｃは不要である。

　慣性計測部３０３（図５）は、例えば、ＩＭＵによって構成されており、入出力装置２０が備えるＩＭＵと同様に、ＩＭＵの出力する加速度情報と角速度情報を取得し得る。かかる加速度情報と角速度情報に基づき、当該ウェアラブルデバイス３０を装着したユーザの手の動き（換言すると、ウェアラブルデバイス３０自体の動き）が検出され得る。具体的な一例として、情報処理装置１０は、ウェアラブルデバイス３０のＩＭＵセンサが出力する加速度情報と角速度情報を取得し、慣性航法によってウェアラブルデバイス３０の位置および姿勢を算出し、その際発生するドリフト誤差を回帰モデルによって補正することで、ウェアラブルデバイス３０の位置情報および姿勢情報を推定し、当該ユーザの手の位置及び姿勢を取得することが可能である。

　振動提示部３１１は、振動を発生させる振動アクチュエータの駆動により、ユーザの手に触覚感覚の提示を行う。振動アクチュエータとして、具体的にはボイスコイルモータやＬＲＡ（Ｌｉｎｅａｒ　Ｒｅｓｏｎａｎｔ　Ａｃｔｕａｔｏｒ）などの並進型のアクチュエータや、偏心モータのような回転型のアクチュエータが用いられるが、並進型のアクチュエータを用いることで、広い周波数範囲での駆動が可能となり、高い振動の表現力が得られる。並進型のアクチュエータを用いる場合には、振動アクチュエータはオーディオ信号に近い、時間変化するアナログ波形の電圧を印加することで駆動される。振動アクチュエータは、提示したい振動強度や提示部位に合わせて、複数箇所に設置することが考えられる。また、振動を提示したい部位（手のひらなど）に直接、振動アクチュエータを配置する方法とは別に、例えば、手のひら上の振動アクチュエータを配置して、周波数ごとの振動伝播特性や手の触覚の感度の違いを踏まえて、手のひら型に触覚感覚を提示させる、といった方法も考えられる。

　＜４．システムの機能構成＞
　続いて、図５を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明する。図５は、本実施形態に係る情報処理システム１の機能構成の一例を示したブロック図である。以降では、図１を参照して説明したように、情報処理システム１が情報処理装置１０と入出力装置２０とウェアラブルデバイス３０とを含むものとして、当該情報処理装置１０、入出力装置２０及びウェアラブルデバイス３０それぞれの構成についてより詳しく説明する。なお、図５に示すように、情報処理システム１は、記憶部１９０を含んでもよい。

　まず、入出力装置２０の構成について説明する。図５に示すように、入出力装置２０は、撮像部２０１ａ、２０１ｂ及び２０１ｄと、出力部２１０（提示部）と、慣性計測部２２０（ＩＭＵ）とを含む。出力部２１０は、表示部２１１を含む。また、出力部２１０は、音響出力部２１３を含んでもよい。撮像部２０１ａ、２０１ｂ及び２０１ｄは、図２を参照して説明した撮像部２０１ａ、２０１ｂ及び２０１ｄに相当する。なお、撮像部２０１ａ、２０１ｂ及び２０１ｄを特に区別しない場合には、単に「撮像部２０１」と称する場合がある。また、表示部２１１は、図２を参照して説明した表示部２１１に相当する。また、音響出力部２１３は、スピーカ等のような音響デバイスから成り、出力対象となる情報に応じた音声や音響を出力する。その他、図５には示していないが、前述したように、入出力装置２０は、操作部２０７、撮像部２０３ａ、２０３ｂ、保持部２９１なども備える。

　次に、ウェアラブルデバイス３０の構成について説明する。図５に示すように、ウェアラブルデバイス３０は、撮像部（手のひら側）３０１と、撮像部（手の甲側）３０２と、慣性計測部３０３（ＩＭＵ）と、出力部３１０とを含む。出力部３１０は、振動提示部３１１を含む。振動提示部３１１は、振動アクチュエータから成り、出力対象となる情報に応じた振動を提示する。その他、図５には示していないが、前述したように、ウェアラブルデバイス３０は、光学マーカー３２０なども備える。

　次いで、情報処理装置１０の構成について説明する。図５に示すように、情報処理装置１０は、ステレオデプス計算部１０１と、手指関節認識部１０３と、手指関節認識部１１５と、手指関節認識部１１７と、手指関節認識統合部１１９とを含む。また、情報処理装置１０は、ウェアラブルデバイス位置姿勢推定部１０９と、慣性積分計算部１１１と、慣性積分計算部１２１と、ウェアラブルデバイス位置姿勢統合部１１３とを含む。また、情報処理装置１０は、処理実行部１０５と、出力制御部１０７（提示制御部）とを含む。

　ステレオデプス計算部１０１は、撮像部２０１ａおよび２０１ｂそれぞれから出力される画像（撮像結果）を取得し、取得した画像に基づいて、撮像部２０１ａおよび２０１ｂの画角のデプス画像を生成する。そして、ステレオデプス計算部１０１は、撮像部２０１ａおよび２０１ｂの画角のデプス画像を手指関節認識部１０３に出力する。

　手指関節認識部１０３は、ステレオデプス計算部１０１によって生成されたデプス画像をステレオデプス計算部１０１から取得し、取得したデプス画像に基づいて、複数の手指関節それぞれの位置を認識する。各手指関節位置の認識の詳細については後述する。そして、手指関節認識部１０３は、認識した各手指関節位置の（撮像部２０１からみた）相対的な位置を位置姿勢として手指関節認識統合部１１９に出力するとともに、各手指関節位置の認識結果の信頼度（後述）を手指関節認識統合部１１９に出力する。また、手指関節認識部１０３は、デプス画像から位置の認識（または推定）に失敗した手指関節があった場合には、認識に失敗した手指関節（認識結果）として推定不能を示す結果を出力する。

　手指関節認識部１１５は、撮像部（手のひら側）３０１から出力される画像（撮像結果）を取得し、取得した画像に基づいて、各手指関節位置を認識する。そして、手指関節認識部１１５は、認識した各手指関節の（撮像部（手のひら側）３０１からみた）相対的な位置を位置姿勢Ｒ４（図４）として手指関節認識統合部１１９に出力するとともに、各手指関節位置の認識結果の信頼度（後述）を手指関節認識統合部１１９に出力する。

　同様に、手指関節認識部１１７は、撮像部（手の甲側）３０２から出力される画像（撮像結果）を取得し、取得した画像に基づいて、各手指関節位置を認識する。そして、手指関節認識部１１７は、認識した各手指関節の（撮像部（手の甲側）３０２からみた）相対的な位置を位置姿勢Ｒ６（図４）として手指関節認識統合部１１９に出力するとともに、各手指関節位置の認識結果の信頼度（後述）を手指関節認識統合部１１９に出力する。

　ここで、各手指関節の（ウェアラブルデバイス３０からみた）相対的な位置は、ウェアラブルデバイス３０を基準とする座標系における座標によって表される。なお、ウェアラブルデバイス３０を基準とする座標系は特に限定されない（例えば、ウェアラブルデバイス３０を基準とする座標系は、撮像部３０１のカメラ座標系であってもよい）。また、手指関節認識部１１５および手指関節認識部１１７それぞれは、画像から位置の認識（または推定）に失敗した手指関節があった場合には、認識に失敗した手指関節（認識結果）として推定不能を示す結果を出力する。

　ウェアラブルデバイス位置姿勢推定部１０９は、ＩＲ撮像部２０１ｄから出力される画像（撮像結果）を取得する。かかる画像には、ウェアラブルデバイス３０が備える光学マーカー３２０の反射光である複数の輝点が写っている。したがって、ウェアラブルデバイス位置姿勢推定部１０９は、複数の輝点の位置関係に基づいて、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置と姿勢を位置姿勢として推定し得る。ウェアラブルデバイス位置姿勢推定部１０９は、認識したウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢（以下、「位置姿勢Ｐ１」とも示す。）をウェアラブルデバイス位置姿勢統合部１１３に出力する。

　ここで、ウェアラブルデバイス位置姿勢推定部１０９によって認識されるウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢Ｐ１は、撮像部２０１を基準としたカメラ座標系によって表される。既に説明したように、基準とされる撮像部２０１は特に限定されない。

　なお、ＩＲ撮像部２０１ｄの画角にウェアラブルデバイス３０の光学マーカー３２０の全部が入るとは限らない（即ち、ＩＲ撮像部２０１ｄの画角に、光学マーカー３２０が全く入らない場合または光学マーカー３２０の一部しか含まれない場合があり得る）。あるいは、ＩＲ撮像部２０１ｄの画角にウェアラブルデバイス３０の光学マーカー３２０の全部が入っていても、オクルージョンなどが原因となって光学マーカー３２０の全部の反射光がＩＲ撮像部２０１ｄによって撮像されるとは限らない（即ち、ＩＲ撮像部２０１ｄによって、光学マーカー３２０の反射光が全く撮像されない場合または光学マーカー３２０の一部しか撮像されない場合があり得る）。全光学マーカー３２０の内、一定個数（例えば５個）未満のマーカーしか撮像されなかった場合には、ウェアラブルデバイス位置姿勢推定部１０９は、推定不能を示す結果を出力する。

　慣性積分計算部１１１は、ウェアラブルデバイス３０の慣性計測部３０３（ＩＭＵ）から加速度情報および角速度情報を取得し、取得した加速度情報および角速度情報に基づいてウェアラブルデバイス３０の位置と姿勢（以下、「位置姿勢Ｐ２」とも示す。）を（一例として比較的低い精度で）推定する。かかる位置姿勢Ｐ２は、グローバル座標系で表される。例えば、慣性積分計算部１１１は、慣性航法によってウェアラブルデバイス３０の位置および姿勢を算出し、その際発生するドリフト誤差を回帰モデルによって補正することで、ウェアラブルデバイス３０の位置情報および姿勢情報を推定することが可能である。慣性積分計算部１１１は、グローバル座標系で表されるウェアラブルデバイス３０の位置姿勢Ｐ２を、ウェアラブルデバイス位置姿勢統合部１１３に出力する。

　同様に、慣性積分計算部１２１は、入出力装置２０の慣性計測部２２０（ＩＭＵ）から加速度情報および角速度情報を取得し、取得した加速度情報および角速度情報に基づいて入出力装置２０の位置と姿勢（以下、「位置姿勢Ｐ３」とも示す。）を推定する。かかる位置姿勢Ｐ３は、グローバル座標系で表される。例えば、慣性積分計算部１２１は、慣性航法によって入出力装置２０の位置および姿勢を算出し、その際発生するドリフト誤差を回帰モデルによって補正することで、入出力装置２０の位置情報および姿勢情報を推定することが可能である。慣性積分計算部１２１は、グローバル座標系で表される入出力装置２０の位置姿勢Ｐ３を、ウェアラブルデバイス位置姿勢統合部１１３に出力する。

　ウェアラブルデバイス位置姿勢統合部１１３は、ウェアラブルデバイス位置姿勢推定部１０９が出力するウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢Ｐ１を取得する。かかる位置姿勢Ｐ１は、撮像部２０１（例えば、撮像部２０１ａ）を基準としたカメラ座標系によって表される。さらに、ウェアラブルデバイス位置姿勢統合部１１３は、慣性積分計算部１１１が出力したウェアラブルデバイス３０の慣性計測部３０３の位置姿勢Ｐ２と、慣性積分計算部１２１が出力した入出力装置２０の慣性計測部２２０の位置姿勢Ｐ３とを取得する。かかる位置姿勢Ｐ２、Ｐ３は、それぞれグローバル座標系で表される。

　ウェアラブルデバイス位置姿勢統合部１１３は、入出力装置２０の位置姿勢Ｐ３からみたウェアラブルデバイス３０の位置姿勢Ｐ２の相対的な位置姿勢を算出し、事前にＩＭＵ－カメラキャリブレーション等によって求められているＩＭＵとカメラとの位置関係を使って、撮像部２０１を基準とする座標系（例えば、撮像部２０１ａのカメラ座標系）で表されるウェアラブルデバイス３０の位置姿勢（以下、「位置姿勢Ｐ４」とも示す。）を算出する。ウェアラブルデバイス位置姿勢統合部１１３は、位置姿勢Ｐ１と位置姿勢Ｐ４とを統合し、統合後の位置姿勢Ｒ２（図４）を手指関節認識統合部１１９に出力する。統合後の位置姿勢Ｒ２は、撮像部２０１を基準とする座標系（例えば、撮像部２０１ａのカメラ座標系）で表される。

　ここで、位置姿勢の統合はどのように行われてもよい。例えば、ウェアラブルデバイス位置姿勢統合部１１３は、ウェアラブルデバイス位置姿勢推定部１０９によって推定された位置姿勢Ｐ１が利用可能であれば（推定不能を示す場合でなければ）、当該位置姿勢Ｐ１を手指関節認識統合部１１９に出力する。一方、ウェアラブルデバイス位置姿勢統合部１１３は、ウェアラブルデバイス位置姿勢推定部１０９から推定不能が出力された場合には、位置姿勢Ｐ４を手指関節認識統合部１１９に出力する。

　なお、ここでは、ウェアラブルデバイス位置姿勢統合部１１３が、入出力装置２０のＩＲ撮像部２０１ｄによる光学マーカーの撮像結果に基づくウェアラブルデバイス３０の位置姿勢と、（入出力装置２０およびウェアラブルデバイス３０それぞれの）ＩＭＵから出力される情報に基づくウェアラブルデバイス３０の位置姿勢とを統合する場合を主に想定した。しかし、ウェアラブルデバイス位置姿勢統合部１１３から手指関節認識統合部１１９に出力されるウェアラブルデバイス３０の位置姿勢は、かかる例に限定されない。

　例えば、ウェアラブルデバイス位置姿勢統合部１１３は、光学マーカーの撮像結果に基づくウェアラブルデバイス３０の位置姿勢、ＩＭＵから出力される情報に基づくウェアラブルデバイス３０の位置姿勢、磁気トラッキングに基づくウェアラブルデバイス３０の位置姿勢、および、超音波センシングに基づくウェアラブルデバイス３０の位置姿勢のうち、少なくともいずれか二つの統合結果またはいずれか一つを手指関節認識統合部１１９に出力してもよい。

　手指関節認識統合部１１９は、ウェアラブルデバイス位置姿勢統合部１１３が出力したウェアラブルデバイス３０の位置姿勢Ｒ２（図４）を用いて、手指関節認識部１１５および手指関節認識部１１７それぞれが出力した各手指関節位置（図４には、各手指関節位置の例として、位置姿勢Ｒ４および位置姿勢Ｒ６が示されている。）を、撮像部２０１を基準とする座標系（例えば、撮像部２０１ａのカメラ座標系）で表し直す。

　図４に示した例で説明すると、手指関節認識統合部１１９は、位置姿勢Ｒ２と、撮像部（手のひら側）３０１の（ウェアラブルデバイス３０からみた）相対的な位置姿勢Ｒ３と、手指関節認識部１１５が出力した各手指関節位置（位置姿勢Ｒ４）とを足し合わせることによって、各手指関節位置（位置姿勢Ｒ４）を、撮像部２０１を基準とする座標系に表し直すことが可能である。

　なお、図４に示されるように、撮像部（手のひら側）３０１はコントローラ部３１に設けられていて、ユーザによるウェアラブルデバイス３０の装着状態に応じて、（コントローラ部３１が変形しないため）位置姿勢Ｒ３は変化しない。そこで、位置姿勢Ｒ３はユーザによるウェアラブルデバイス３０の装着前にあらかじめ設定され得る。

　同様に、手指関節認識統合部１１９は、位置姿勢Ｒ２と、撮像部（手の甲側）３０２の（ウェアラブルデバイス３０からみた）相対的な位置姿勢Ｒ５と、手指関節認識部１１７が出力した各手指関節位置（位置姿勢Ｒ６）とを足し合わせることによって、各手指関節位置（位置姿勢Ｒ６）を、撮像部２０１を基準とする座標系に表し直すことが可能である。なお、図４に示されるように、撮像部（手の甲側）３０２がコントローラ部３１に設けられている場合には、ユーザによるウェアラブルデバイス３０の装着状態に応じて、（コントローラ部３１が変形しないため）位置姿勢Ｒ５は変化しない。そこで、位置姿勢Ｒ５はユーザによるウェアラブルデバイス３０の装着前にあらかじめ設定され得る。

　ここで、撮像部（手のひら側）３０１または撮像部（手の甲側）３０２がウェアラブルデバイス３０に固定される例に限定されない。例えば、ユーザによるウェアラブルデバイス３０の装着状態に応じてバンド部３２などが変形し、位置姿勢Ｒ３またはＲ５は変化してもよい。その場合、撮像部（手のひら側）３０１、撮像部（手の甲側）３０２にＳＬＡＭを用いてそれぞれ自己位置を推定し、リアルタイムで位置姿勢Ｒ３またはＲ５を算出してもよい。そして、手指関節認識統合部１１９は、撮像部２０１を基準とする座標系（例えば、撮像部２０１ａのカメラ座標系）で表し直された、手指関節認識部１１５および手指関節認識部１１７それぞれが出力した各手指関節位置と、手指関節認識部１０３が出力した各手指関節位置とを、それらの信頼度（後述）を用いて統合する。手指関節認識統合部１１９は、統合後の各手指関節位置を最終的な手指関節位置の推定結果として（ユーザ入力の認識結果として）、処理実行部１０５に出力する。

　処理実行部１０５は、情報処理装置１０（ひいては、情報処理システム１）が提供する各種機能（例えば、アプリケーション）を実行するための構成である。例えば、処理実行部１０５は、手指関節認識統合部１１９から出力される各手指関節位置（ユーザ入力の認識結果）に応じて、対応するアプリケーションを所定の記憶部（例えば、後述する記憶部１９０）から抽出し、抽出したアプリケーションを実行してもよい。あるいは、処理実行部１０５は、実行中のアプリケーションの動作を、手指関節認識統合部１１９から出力される各手指関節位置に応じて制御してもよい。例えば、処理実行部１０５は、各手指関節位置に応じて、実行中のアプリケーションの以降の動作を切り替えてもよい。あるいは、処理実行部１０５は、各種アプリケーションの実行結果を示す情報を出力制御部１０７に出力してもよい。

　出力制御部１０７は、出力対象となる各種情報を出力部２１０および出力部３１０に出力されることで、当該情報をユーザに提示する。例えば、出力制御部１０７は、出力対象となる表示情報を表示部２１１に表示させることで、当該表示情報をユーザに提示してもよい。一例として、出力制御部１０７は、手指関節認識統合部１１９から出力される各手指関節位置（即ち、手指の認識結果）に基づいて、ユーザによって操作可能な仮想オブジェクトが表示されるように表示部２１１を制御してもよい。あるいは、出力制御部１０７は、出力対象となる情報に応じた音響を音響出力部２１３に出力させることで、当該情報をユーザに提示してもよい。あるいは、出力制御部１０７は、出力対象となる情報に応じた振動を振動提示部３１１に出力させることで、当該情報をユーザに提示してもよい。

　例えば、出力制御部１０７は、各種アプリケーションの実行結果を示す情報を処理実行部１０５から取得し、取得した当該情報に応じた出力情報を、出力部２１０を介してユーザに提示してもよい。また、出力制御部１０７は、所望のアプリケーションの実行結果を示す表示情報を表示部２１１に表示させてもよい。また、出力制御部１０７は、所望のアプリケーションの実行結果に応じた出力情報を、音響（音声を含む。）として音響出力部２１３に出力させてもよい。また、出力制御部１０７は、所望のアプリケーションの実行結果に応じた出力情報を、振動として振動提示部３１１に出力させてもよい。

　記憶部１９０は、各種データ（各種データには、コンピュータを情報処理装置１０として機能せるためのプログラムが含まれてもよい。）を一時的または恒常的に記憶するための記憶領域（記録媒体）である。例えば、記憶部１９０には、情報処理装置１０が各種機能を実行するためのデータが記憶されていてもよい。より具体的な一例として、記憶部１９０には、各種アプリケーションを実行するためのデータ（例えば、ライブラリ）および各種設定などを管理するための管理データなどが記憶されていてもよい。

　なお、図５に示した情報処理システム１の機能構成は、あくまで一例であり、前述した各構成の処理を実現することが可能であれば、情報処理システム１の機能構成は必ずしも図５に示す例に限定されない。具体的な一例として、入出力装置２０と情報処理装置１０とが一体的に構成されていてもよい。また、他の一例として、記憶部１９０が、情報処理装置１０に含まれていてもよいし、当該情報処理装置１０の外部の記録媒体（例えば、当該情報処理装置１０に対して外付けされる記録媒体）として構成されていてもよい。また、他の一例として、情報処理装置１０の各構成のうち、一部の構成が情報処理装置１０の外部（例えば、サーバ等）に設けられていてもよい。

　以上、図５を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明した。

　＜５．手指関節認識の信頼度＞
　続いて、図６～図９を参照して、本開示の一実施形態に係る信頼度の算出手法の例について説明する。なお、前述したように、信頼度は、手指関節認識部１０３、手指関節認識部１１５および手指関節認識部１１７それぞれによって、デプス画像に基づいて認識される各手指関節位置がどの程度信頼し得るかを示す情報であり、各手指認識位置に対応する値として算出される。信頼度の算出手法は、手指関節認識部１０３と手指関節認識部１１５と手指関節認識部１１７とにおいて（異なってもよいが）同様であってよい。

　図６は、デプス画像の例を示す図である。図６を参照すると、一例としてデプス画像Ｇ１が示されている。デプス画像Ｇ１には、ウェアラブルデバイス３０が装着されたユーザの手が写っている。デプス画像Ｇ１のうち、色の黒さが強い位置ほど、深度が低い（即ち、カメラに近い）位置であることを表している。逆に、色の白さが強い位置ほど、深度が高い（即ち、カメラから遠い）位置であることを表している。

　図７は、手指関節位置の例を示す図である。図７を参照すると、（例えば、図６に示したデプス画像Ｇ１のような）デプス画像に基づいて認識される各手指関節位置の例が三次元的に表されている。図７に示した例では、手のひらの中心位置が二重丸で示され、親指の各関節位置が丸で示され、人差し指の各関節位置が三角形で示され、中指の各関節位置がひし形で示され、薬指の各関節位置が五角形で示され、小指の各関節位置が六角形で示されている。各形状内の数字は、「１」が指先を示し、「２」が第一関節中心を示し、「３」が第二関節中心を示し、「４」が第三関節中心（親指を除く）を示す。各手指関節位置の座標は、カメラ座標系で表される。

　図８は、認識された各手指関節位置がデプス画像に再投影された画像の一例を示す図である。図８を参照すると、（例えば、図７に示した各関節位置のように）認識された各手指関節位置が（例えば、図６に示したデプス画像Ｇ１のような）デプス画像に再投影されて得られる再投影画像Ｇ２が示されている。なお、カメラは、事前にカメラキャリブレーションを実施して、内部パラメータと歪み係数を求めてあるため、これらを用いて、カメラ座標系から画像座標系への変換が行われ得る。

　カメラ座標系は、カメラ前方（カメラの奥行き方向）をｚ方向とする。ここで、認識された各手指関節位置がデプス画像に再投影された位置のピクセル値は、カメラからの距離を表し、その距離をＶ（ｋ）とする。一方、認識された各手指関節位置のｚ座標をＺ（ｋ）とする。このとき、その差の絶対値であるΔ（ｋ）＝｜Ｖ（ｋ）－Ｚ（ｋ）｜を、その手指関節位置の奥行き方向の誤差とする。なお、Δ（ｋ）は、手指関節位置ごとの奥行き方向の誤差の例に該当し得る。

　そして、全手指関節位置の奥行き方向の誤差のＲＭＳ（Ｒｏｏｔ　Ｍｅａｎ　Ｓｑｕａｒｅ、二乗平均平方根）はＤとして下記の式（１）のように算出され得る。なお、式（１）中において、ｎは、手指関節の数を示している。

　そして、式（１）のように算出されたＤを用いて、手指関節の信頼度が１／（１＋Ｄ）として算出され得る。即ち、Ｄが０のとき、信頼度は最大値１をとり、各関節の奥行き方向の誤差が増えると、信頼度は０に近づいていく。なお、１／（１＋Ｄ）は、手指関節位置の信頼度の一例に過ぎない。したがって、手指関節位置の信頼度の算出の手法は、かかる例に限定されない。例えば、手指関節位置の信頼度は、手指関節位置の奥行き方向の誤差が大きいほど、小さくなるように算出されればよい。

　図９は、認識された各手指関節位置がデプス画像に再投影された画像の他の例を示す図である。図９を参照すると、図８に示した例と同様に、認識された各手指関節位置がデプス画像に再投影されて得られる再投影画像Ｇ３が示されている。再投影画像Ｇ３では、人差し指が伸ばされ、それ以外の指が握るように曲げられている。人差し指（図９に示された破線を輪郭線とする指）は、ほとんど親指に隠れてしまっており、デプス画像にはほとんど写っていない。したがって、人差し指の各関節位置は、親指の奥側であると認識される。

　一方、認識された人差し指の各関節位置がデプス画像に再投影された位置のｚ座標は、カメラから親指の表面までの距離になってしまうため、認識された人差し指の各関節位置までのカメラからの距離（カメラから親指の向こう側にある人差し指までの距離）よりも短い値となってしまう。そのため、認識された人差し指の各関節位置のｚ座標と、認識された人差し指の各関節位置がデプス画像に再投影された位置のｚ座標（ピクセル値）との差は大きくなってしまい、信頼度は小さくなってしまう。

　以上、図６～図９を参照して、本開示の一実施形態に係る信頼度の算出手法の例について説明した。

　＜６．特筆すべき特徴＞
　続いて、本開示の一実施形態の特筆すべき特徴について説明する。前述したように、本開示の一実施形態に係る情報処理装置１０においては、各手指関節位置が認識される。例えば、各手指関節位置の認識結果は、指先の位置を検出するために用いられ得る。しかし、身体のある部位が他の部位によって遮蔽されてしまう現象（以下、「セルフオクルージョン」とも言う。）が起こり得る。セルフオクルージョンが起きてしまっている状況では、セルフオクルージョンによって遮蔽されてしまっている手指関節位置の認識精度が低下してしまうことが想定され得る。

　一例として、たとえ各手指関節が撮像範囲に収まったとしても、セルフオクルージョンによってある手指関節が遮蔽されてしまっている場合には、手指関節位置としてあり得る位置の中から最も確からしい位置が手指関節位置として認識される。例えば、人差し指が完全に他の指によって遮蔽されてしまっている場合、人差し指が曲がっているのか、伸びているのかは不明である。そのため、同じような状況であっても、人差し指が曲がっているものとして人差し指の関節位置が認識される場合もあれば、人差し指が伸びているものとして人差し指の関節位置が認識される場合もあるため、手指関節位置の認識精度が向上しない。

　そこで、以下の説明では、手指関節位置の認識精度の低下を抑制することが可能な技術について主に提案する。なお、以下の説明では、ユーザの身体のうち、認識対象の例としてある手指の関節が、他の手指によって遮蔽されてしまう場合を主に想定する。特に、手のひら側に設けられる撮像部３０１の撮像範囲では、ある手指の関節位置が、他の手指によって遮蔽されてしまう状況が起こりやすい。しかし、ユーザの身体のセルフオクルージョンが起こる部位は限定されない。すなわち、遮蔽する側の部位（第１の部位）および遮蔽される側の部位（第２の部位）は限定されない。例えば、認識対象としての手指関節が、ユーザの身体の手指以外の部位（例えば、ユーザの手のひら、腕など）によって遮蔽される場合にも、本開示の実施形態は適用され得る。

　（６．１．基本的な制御）
　図１０は、本開示の実施形態に係る基本的な制御の例について説明するためのフローチャートである。上記したように、処理実行部１０５は、手指関節認識統合部１１９から出力される手指関節位置に基づいて、ユーザによって入力される操作を認識し、認識した操作に応じた処理を行う。まず、処理実行部１０５は、動作モードを通常操作モード（以下、「通常操作モードＭ１」とも言う。）に設定する。処理実行部１０５は、動作モードを通常操作モードＭ１に設定すると、ユーザによって入力される操作（以下、「ユーザ操作」とも言う。）の受け付けを許容する状態に遷移する（Ｓ１１）。

　ここで、処理実行部１０５は、ある手指関節が他の手指によって遮蔽されるセルフオクルージョンの発生を検知しない間は（Ｓ１２において「ＮＯ」）、Ｓ１２が再度実行される。一方、処理実行部１０５は、ある手指関節が他の手指によって遮蔽されるセルフオクルージョンの発生を検知した場合には（Ｓ１２において「ＹＥＳ」）、動作モードを操作ガイドモード（以下、「操作ガイドモードＭ２」とも言う。）に設定する。

　一例として、処理実行部１０５は、手指関節位置とともに手指関節認識統合部１１９から出力される当該手指関節位置の信頼度が規定の閾値（第１の信頼度）を下回るか否かに応じて、セルフオクルージョンが発生したか否かを判定してもよい。処理実行部１０５は、動作モードを操作ガイドモードＭ２に設定すると、ユーザ操作の受け付けを禁止する状態に遷移する（Ｓ１３）。これによって、セルフオクルージョンが発生したまま操作に応じた処理が実行されてしまうことにより生じる誤操作の可能性が低減される。

　そして、出力制御部１０７は、手指の姿勢変更を促す通知情報（以下、「ガイドＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）」とも言う。）が提示されるように、入出力装置２０の出力部２１０を制御する（Ｓ１４）。ここで、手指の姿勢変更を促すガイドＵＩは、遮蔽される手指関節を有する手指および当該手指関節を遮蔽する手指の少なくともいずれか一方の姿勢の変更を促す情報であればよい。これによって、ユーザは、少なくともいずれか一方の手指の姿勢を変更してセルフオクルージョンを解消しようとするため、手指関節位置の認識精度の低下が抑制されることが期待される。以下では、手指の姿勢変更を促すガイドＵＩを、「手を開くことをユーザに促すガイドＵＩ」とも言う。

　処理実行部１０５は、手指関節が他の手指によって遮蔽されるセルフオクルージョンの解消を検知しない間は（Ｓ１５において「ＮＯ」）、Ｓ１５が再度実行される。一方、手指関節が他の手指によって遮蔽されるセルフオクルージョンの解消を検知した場合には（Ｓ１５において「ＹＥＳ」）、Ｓ１１に戻って、動作モードを通常操作モードＭ１に再度設定する。処理実行部１０５は、動作モードを通常操作モードＭ１に再度設定すると、ユーザ操作の受け付けを許容する状態に再度遷移する。

　一例として、処理実行部１０５は、手指関節位置とともに手指関節認識統合部１１９から出力される当該手指関節位置の信頼度が規定の閾値（第２の信頼度）を上回るか否かに応じて、セルフオクルージョンが解消したか否かを判定してもよい。なお、セルフオクルージョンが解消したか否かを判定するための閾値（第２の信頼度）は、セルフオクルージョンが発生したか否かを判定するための閾値（第１の信頼度）と同じ値であってもよいし、異なる値であってもよい。

　さらに、本開示の実施形態では、処理実行部１０５は、手指関節認識統合部１１９による統合後の各手指関節位置とそれらの信頼度とを用いて、セルフオクルージョンが発生したか否かを判定する場合を主に想定する。しかし、処理実行部１０５は、手指関節認識部１１５、手指関節認識部１１７および手指関節認識部１０３の少なくともいずれか一つが出力した各手指関節位置とそれらの信頼度とを用いて、セルフオクルージョンが発生したか否かを判定してもよい。

　同様に、処理実行部１０５は、手指関節認識部１１５、手指関節認識部１１７および手指関節認識部１０３の少なくともいずれか一つが出力した各手指関節位置とそれらの信頼度とを用いてセルフオクルージョンが解消したか否かを判定してもよい。

　以上、本開示の実施形態に係る基本的な制御の例について説明した。

　（６．２．手指関節位置の統合とオクルージョン検知の例）
　続いて、図１～図５を参照しながら、手指関節認識統合部１１９による手指関節位置の統合の例と、処理実行部１０５によるセルフオクルージョン検知の例について説明する。

　上記したように、手指関節認識統合部１１９は、ウェアラブルデバイス位置姿勢統合部１１３が出力したウェアラブルデバイス３０の位置姿勢Ｒ２（図４）と、撮像部（手のひら側）３０１の（ウェアラブルデバイス３０からみた）相対的な位置姿勢Ｒ３と、手指関節認識部１１５が出力した各手指関節位置（位置姿勢Ｒ４）とを足し合わせる。これによって、手指関節認識統合部１１９は、各手指関節位置（位置姿勢Ｒ４）を、撮像部２０１を基準とする座標系に表し直す。このようにして撮像部２０１を基準とする座標系に表し直された後の手指関節ごとの位置情報をＱ１（ｋ）とする。ただし、ｋは手指関節の番号（ｋ＝０，１，…）を示す。

　それに加えて、手指関節認識統合部１１９は、各手指関節位置の信頼度Ｃ１（ｋ）を手指関節認識部１１５から得る。

　手指関節認識統合部１１９は、ウェアラブルデバイス位置姿勢統合部１１３が出力したウェアラブルデバイス３０の位置姿勢Ｒ２（図４）と、撮像部（手の甲側）３０２の（ウェアラブルデバイス３０からみた）相対的な位置姿勢Ｒ５と、手指関節認識部１１７が出力した各手指関節位置（位置姿勢Ｒ６）とを足し合わせる。これによって、手指関節認識統合部１１９は、各手指関節位置（位置姿勢Ｒ６）を、撮像部２０１を基準とする座標系に表し直す。このようにして撮像部２０１を基準とする座標系に表し直された後の手指関節ごとの位置情報をＱ２（ｋ）とする。

　それに加えて、手指関節認識統合部１１９は、各手指関節位置の信頼度Ｃ２（ｋ）を手指関節認識部１１７から得る。

　手指関節認識統合部１１９は、ユーザの頭部に装着される入出力装置２０の撮像部２０１ａおよび２０１ｂそれぞれから出力される画像に基づいて手指関節認識部１０３によって認識された手指関節ごとの位置情報Ｑ３（ｋ）を得る。さらに、手指関節認識統合部１１９は、各手指関節位置の信頼度Ｃ３（ｋ）を手指関節認識部１０３から得る。

　一例として、手指関節認識統合部１１９は、Ｑ（ｋ）（ｋ＝０，１，…）を手指関節ごとに以下のようにして求める。すなわち、手指関節認識統合部１１９は、
　信頼度Ｃ１（ｋ）＞閾値Ｔ１の場合、Ｑ（ｋ）＝Ｑ１（ｋ）とし、
　それ以外の場合かつ信頼度Ｃ２（ｋ）＞閾値Ｔ２の場合、Ｑ（ｋ）＝Ｑ２（ｋ）とし、
　それ以外の場合かつ信頼度Ｃ３（ｋ）が閾値Ｔ３の場合、Ｑ（ｋ）＝Ｑ３（ｋ）とし、
　それ以外の場合、Ｑ（ｋ）＝不明とする。

　このようにして手指関節認識統合部１１９によって求められたＱ（ｋ）は、処理実行部１０５に出力される。処理実行部１０５において、初期の動作モードは通常操作モードＭ１に設定されている。

　処理実行部１０５は、動作モードが通常操作モードＭ１である場合、かつ、Ｑ（ｋ）のいずれもが「不明」でない場合、（セルフオクルージョンが発生していないとして）動作モードとして通常操作モードＭ１を継続させる。一方、処理実行部１０５は、動作モードが通常操作モードＭ１である場合、かつ、Ｑ（ｋ）の少なくともいずれか一つが「不明」である場合、（セルフオクルージョンが発生したとして）動作モードを操作ガイドモードＭ２に切り替える。

　処理実行部１０５は、動作モードが操作ガイドモードＭ２である場合、かつ、Ｑ（ｋ）の少なくともいずれか一つが「不明」である場合、（セルフオクルージョンが解消していないとして）動作モードとして操作ガイドモードＭ２を継続させる。一方、処理実行部１０５は、動作モードが操作ガイドモードＭ２である場合、かつ、Ｑ（ｋ）のいずれもが「不明」でない場合、（セルフオクルージョンが解消したとして）動作モードを通常操作モードＭ１に切り替える。

　処理実行部１０５は、動作モードが通常操作モードＭ１である場合には、ユーザ操作の受け付けを許容する。一方、処理実行部１０５は、動作モードが操作ガイドモードＭ２である場合には、ユーザ操作の受け付けを禁止するとともに、手を開くことをユーザに促すガイドＵＩを提示するための制御情報を出力制御部１０７に出力する。出力制御部１０７は、制御信号に従って、手を開くことをユーザに促すガイドＵＩが提示されるように入出力装置２０の出力部２１０を制御する。

　以上に説明したように、手指関節認識統合部１１９によって手指関節位置が統合されれば、撮像部（手のひら側）３０１から出力される画像に基づいて手指関節認識部１１５によって手指関節位置が認識される。そして、撮像部（手のひら側）３０１から出力される画像に基づいてセルフオクルージョンの発生が検知された場合には、撮像部（手の甲側）３０２から出力される画像に基づいて手指関節認識部１１７によって手指関節位置が認識される。さらに、撮像部（手の甲側）３０２から出力される画像に基づいてセルフオクルージョンの発生が検知された場合には、頭部に装着されている入出力装置２０の撮像部２０１ａおよび２０１ｂの画角のデプス画像に基づいて手指関節認識部１０３によって手指関節位置が認識される。

　そして、このようにして手指関節認識統合部１１９によって手指関節位置が統合されたとしても、セルフオクルージョンが発生して、少なくとも一つの手指関節位置が検出されなかった場合には、ユーザ操作の受け付けを禁止する状態に遷移され、セルフオクルージョンが発生しにくい手指の姿勢をとらせるための指示がユーザに提示され得る。一方、セルフオクルージョンが解消して、全部の手指関節位置が検出された場合には、ユーザ操作の受け付けを許容する状態に復帰される。

　以上、本開示の実施形態に係る手指関節認識統合部１１９による手指関節位置の統合の例と、処理実行部１０５によるセルフオクルージョン検知の例について説明した。

　（６．３．ガイドＵＩの具体例）
　続いて、図１１～図１６を参照しながら、手を開くことをユーザに促すガイドＵＩについて説明する。

　図１１は、ユーザ操作の例を説明するための図である。図１１を参照すると、ウェアラブルデバイス３０が装着されたユーザが示されている。また、ユーザによって操作可能なオブジェクトの例として、ボタンＢ１０が存在している。ボタンＢ１０は、入出力装置２０の表示部２１１によって表示されるように出力制御部１０７によって制御される仮想オブジェクトの一例である。なお、ユーザによって操作可能なオブジェクトは、ボタンＢ１０以外の仮想オブジェクト（例えば、所定の位置を決めるためのスライダのサムなど）であってもよいし、実オブジェクトであってもよい。

　以下では、ユーザ操作が、ボタンＢ１０を押す操作である場合を主に想定する。しかし、ユーザ操作は、オブジェクトに対する他の操作であってもよい。例えば、ユーザ操作は、スライダのサムを移動させる操作であってもよい。

　図１１に示された例では、ボタンＢ１０の形状が矩形である。しかし、ボタンＢ１０の形状は限定されない。ここでは、ボタンＢ１０の面（矩形領域）に対して垂直な方向にボタンＢ１０を押すユーザ操作に基づいてボタンＢ１０が移動し、移動したボタンＢ１０が矩形領域ｖ１２に達した場合に、処理実行部１０５によって、ボタンＢ１０に関連付けられた動作が実行される場合を想定する。

　なお、ここでは、ボタンＢ１０を押すユーザ操作が人差し指の指先によって行われる場合を想定する。このとき、人差し指の指先が他の手指（例えば、親指、中指、薬指または小指）、手のひら、または、腕によって遮蔽されるセルフオクルージョンが発生する可能性がある。しかし、人差し指の指先以外の部位によってボタンＢ１０を押すユーザ操作が行われてもよい。

　一例として、ボタンＢ１０を押すユーザ操作は、以下のようにして行われる。まず、ボタンＢ１０の面（矩形領域）を含む仮想的な平面を想定する。そして、手指関節認識統合部１１９によって得られた人差し指の指先位置の仮想的な平面への射影位置が、ボタンＢ１０の面（矩形領域）に含まれている状態、かつ、人差し指の指先位置とその仮想的な平面との距離が規定の閾値以内である状態を初期状態とする。

　例えば、出力制御部１０７は、人差し指の指先位置の仮想的な平面への射影位置がボタンＢ１０の面（矩形領域）に含まれたときに、所定のフィードバック（例えば、ボタンＢ１０の色またはテクスチャを変更するなどの視覚的なフィードバック、規定のサウンドを再生するなどの聴覚フィードバック、振動提示による触覚フィードバックなど）をユーザに与えてもよい。

　そして、初期状態を基準として、人差し指の指先位置の仮想的な平面への射影位置がボタンＢ１０の面（矩形領域）に含まれるという「第１の条件」、および、人差し指の指先位置が規定の速度を超えないという「第２の条件」を共に満たしながら、人差し指の指先位置が矢印の方向（ボタンＢ１０から矩形領域ｖ１２へ向かう方向）に対して規定の距離移動した状態（例えば、人差し指の指先位置と仮想的な平面との距離が矢印の方向に対して規定の値になった状態）を終了状態とする。

　なお、人差し指の指先位置の移動量に応じて、ボタンＢ１０の表示態様（例えば、色など）が変化してもよい。また、「第２の条件」は、ユーザが手を伸ばしたときに誤ってボタンＢ１０に触れてしまった場合に、ボタンＢ１０が移動されてしまうことを防止するために設けられた条件である。したがって、ユーザによる誤操作の可能性を考慮する必要がなければ、「第２の条件」は考慮されなくてもよい。

　終了状態に達すると、ユーザがボタンＢ１０を押す操作は完了し、処理実行部１０５は、そのボタンＢ１０に関連付けられた動作を実行する。一方、終了状態に至る前に、第１の条件および第２の条件の少なくともいずれか一方が満たされなくなった場合には、処理実行部１０５は、ユーザによるボタンＢ１０を押す操作をキャンセルする（すなわち、ボタンＢ１０の位置を元の位置に戻す）。また、処理実行部１０５は、終了状態に至る前または操作がキャンセルされる前に、人差し指の指先位置の信頼度が既定の閾値を下回った場合、ボタンＢ１０を押す操作の受け付けを禁止する状態に遷移し、出力制御部１０７は、手を開くことをユーザに促すガイドＵＩを表示するように表示部２１１を制御する。

（第１の例）
　図１２は、手を開くことをユーザに促すガイドＵＩの第１の例を説明するための図である。図１２を参照すると、矩形領域ｖ３０が示されている。矩形領域ｖ３０は、初期状態におけるボタンＢ１０の位置を示している。出力制御部１０７は、人差し指の指先位置の信頼度が既定の閾値を下回った場合、ボタンＢ１０を押す操作の受け付け禁止とともに、ボタンＢ１０の表示を停止するのが望ましい。これによって、ユーザが引き続きボタンＢ１０を押そうとして手を閉じ続ける可能性が低減される。そして、出力制御部１０７は、ガイドＵＩの例として、仮想オブジェクトｖ２１～ｖ２５（第１の仮想オブジェクト）を表示するように表示部２１１を制御する。

　仮想オブジェクトｖ２１～ｖ２５は、所定の基準位置の例としての矩形領域ｖ３０の位置から離れた領域を含んでいる。これによって、仮想オブジェクトｖ２１～ｖ２５を見るユーザに対して、手を開くことを促すことが可能である。特に、図１２に示された例は、矩形領域ｖ３０から離れた５つの領域それぞれに別々の仮想オブジェクトｖ２１～ｖ２５が表示される例である。なお、仮想オブジェクトｖ２１～ｖ２５は、それぞれ親指、人差し指、中指、薬指および小指によって同時に触れられる位置に表示されるのが望ましい。これによって、ユーザが、仮想オブジェクトｖ２１～ｖ２５に対して、それぞれ親指、人差し指、中指、薬指および小指を同時に触れようとすることで、ユーザの手が開くことが期待される。仮想オブジェクトｖ２１～ｖ２５それぞれの形状は、矩形に限定されない。

　仮想オブジェクトの数は５つでなくてもよい。例えば、仮想オブジェクトの数は、５以外の複数（例えば、２つ、３つ、または、４つ）であってもよいし、後に説明するように１つであってもよい。しかし、人差し指の指先位置は、人差し指に隣接する手指（すなわち、親指および中指）によって遮蔽される可能性が高いため、遮蔽する側の手指である親指および中指それぞれの指先と、遮蔽される側である人差し指の指先とによって同時に触れられる位置に、仮想オブジェクトが優先的に表示されるのが望ましい。

　処理実行部１０５は、仮想オブジェクトｖ２１～ｖ２５の少なくとも一部に対して、手指が触れたか否かを検出してもよい。出力制御部１０７は、仮想オブジェクトｖ２１～ｖ２５の少なくとも一部に対して、手指が触れたことが検出された場合に、所定のフィードバック（例えば、手指が触れた仮想オブジェクトの色またはテクスチャを変更するなどの視覚的なフィードバック、規定のサウンドを再生するなどの聴覚フィードバック、振動提示による触覚フィードバックなど）をユーザに与えてもよい。

　そして、処理実行部１０５は、人差し指の指先位置の信頼度が既定の閾値を上回った場合、ボタンＢ１０を押す操作の受け付けを許容する状態に遷移し、出力制御部１０７は、ガイドＵＩの表示を停止するとともに、ボタンＢ１０の表示を再開するように表示部２１１を制御する。これによって、ユーザは、ボタンＢ１０を押す操作を再開することが可能となる。

　なお、ボタンＢ１０が再度表示される位置は、特に限定されない。一例として、ボタンＢ１０が再度表示される位置は、ユーザ操作の受け付けを禁止し始めた時点におけるボタンＢ１０の位置であってもよい。しかし、ボタンＢ１０などのように、終了状態に至るまで処理実行部１０５による処理が実行されないオブジェクトが操作される場合、オブジェクトが再度表示される位置は、オブジェクトの初期位置であるのが望ましいと考えられる。

　一方、ユーザによって操作されるオブジェクトがスライダのサムなどのように、オブジェクトの位置に応じて処理実行部１０５によって実行される処理が変化する場合も想定される。かかる場合には、ユーザは既に入力した操作の続きから操作を入力したいと考えることが想定されるため、オブジェクトが再度表示される位置は、ユーザ操作の受け付けを禁止し始めた時点におけるオブジェクトの位置であるのが望ましいと考えられる。

（第１の例の変形例）
　図１３および図１４は、手を開くことをユーザに促すガイドＵＩの第１の例の変形例を説明するための図である。図１３を参照すると、変形例においても、図１２に示された例と同様に、ガイドＵＩの例として、仮想オブジェクトｖ２１～ｖ２５が表示されている。上記したように、仮想オブジェクトｖ２１～ｖ２５は、親指、人差し指、中指、薬指および小指が同時に触れられることを想定された仮想オブジェクトである。ここで、人差し指の指先位置を遮蔽し得る手指（すなわち、親指、中指、薬指および小指）の指先の現在位置がユーザに提示されれば、ユーザが手指の姿勢を変更しやすくなることが考えられる。

　そこで、変形例において、出力制御部１０７は、人差し指の指先位置を遮蔽し得るこれらの手指（すなわち、親指、中指、薬指および小指）の指先位置に応じた仮想オブジェクトｖ４１、ｖ４３～ｖ４５（第２の仮想オブジェクト）が提示されるように表示部２１１を制御する。例えば、図１３に示されるように、仮想オブジェクトｖ４１、ｖ４３～ｖ４５の表示位置は、手指（親指、中指、薬指および小指）の指先位置の矩形領域ｖ３０を含む仮想的な平面への射影位置であってもよい。また、仮想オブジェクトｖ４１、ｖ４３～ｖ４５の形状は、円に限定されない。なお、人差し指の指先位置は不明であるため、人差し指の指先位置に応じた仮想オブジェクトは表示されなくてよい。

　手指の指先位置に応じた仮想オブジェクトの数は４つでなくてもよい。例えば、手指の指先位置に応じた仮想オブジェクトの数は、４以外の複数（例えば、２つまたは３つ）であってもよいし、１つであってもよい。しかし、人差し指の指先位置は、人差し指に隣接する手指（すなわち、親指および中指）によって遮蔽される可能性が高いため、親指および中指それぞれの指先に応じた仮想オブジェクトが優先的に表示されるのが望ましい。あるいは、人差し指の指先を実際に遮蔽している手指の指先に応じた仮想オブジェクトが表示されてもよい。

　さらに、各手指を移動させるべき方向をユーザに指示したほうが、ユーザがどのように各手指の姿勢を変更すればいいかを把握しやすくなることが考えられる。そこで、出力制御部１０７は、ガイドＵＩの例としての仮想オブジェクトｖ２１、ｖ２３～ｖ２５の位置と、指先位置に応じた仮想オブジェクトｖ４１、ｖ４３～ｖ４５の位置とに応じた方向を示す情報が提示されるように表示部２１１を制御するのが望ましい。

　図１４を参照すると、親指の指先位置に応じた仮想オブジェクトｖ４１から、親指に対応する仮想オブジェクトｖ２１に向けた矢印が提示されている。同様に、中指の指先位置に応じた仮想オブジェクトｖ４３から、中指に対応する仮想オブジェクトｖ２３に向けた矢印が提示されている。また、薬指の指先位置に応じた仮想オブジェクトｖ４４から、薬指に対応する仮想オブジェクトｖ２４に向けた矢印が提示されている。さらに、小指の指先位置に応じた仮想オブジェクトｖ４５から、小指に対応する仮想オブジェクトｖ２５に向けた矢印が提示されている。

　さらに、図１４に示されたように、仮想オブジェクトｖ４１、ｖ２１とそれらに対応する矢印の第１の表示態様（例えば、赤色）と、仮想オブジェクトｖ４３、ｖ２３とそれらに対応する矢印の第２の表示態様（例えば、茶色）と、仮想オブジェクトｖ４４、ｖ２４とそれらに対応する矢印の第３の表示態様（例えば、緑色）と、仮想オブジェクトｖ４５、ｖ２５とそれらに対応する矢印の第４の表示態様（例えば、紫色）とは、異なっているのが望ましい。これによって、ガイドＵＩの例としての仮想オブジェクトと指先位置に応じた仮想オブジェクトとの対応関係が把握されやすくなる。

（第２の例）
　図１５は、手を開くことをユーザに促すガイドＵＩの第２の例を説明するための図である。図１５に示された例では、図１２に示された例と異なり、ガイドＵＩの例としての仮想オブジェクトｖ５１～ｖ５５が、矩形領域ｖ３０を中心とした円周上に配置されている。このように、ガイドＵＩの例としての仮想オブジェクトｖ５１～ｖ５５が配置される位置は限定されない。また、図１５に示された例では、図１２に示された例と異なり、ガイドＵＩの例としての仮想オブジェクトｖ５１～ｖ５５それぞれの形状が円形である。このように、ガイドＵＩの例としての仮想オブジェクトｖ５１～ｖ５５それぞれの形状も限定されない。

（第３の例）
　図１６は、手を開くことをユーザに促すガイドＵＩの第３の例を説明するための図である。図１６に示された例では、図１２および図１５に示された例と異なり、ガイドＵＩの例としての仮想オブジェクトｖ６０が１つ配置されている。仮想オブジェクトｖ６０は、矩形領域ｖ３０から離れた領域を含んでいる。このように、ガイドＵＩの例としての仮想オブジェクトの数は１つであってもよい。一例として、仮想オブジェクトｖ６０は、矩形領域ｖ３０を含んで矩形領域ｖ３０よりも大きいサイズの仮想オブジェクトであってもよい。図１６に示されるように、仮想オブジェクトｖ６０の形状は、開かれた状態の手の形状であってもよい。

（仮想オブジェクトの基準位置）
　上記した各例では、ガイドＵＩの例として表示される仮想オブジェクトの基準位置が、ユーザによって操作可能なオブジェクトの例としてのボタンＢ１０の位置（矩形領域ｖ３０の位置）である場合を主に想定した。しかし、ガイドＵＩの例として表示される仮想オブジェクトの基準位置は、かかる例に限定されない。例えば、ガイドＵＩの例として表示される仮想オブジェクトの基準位置は、ウェアラブルデバイス位置姿勢統合部１１３から出力されるウェアラブルデバイス３０の位置であってもよい。

（ボタンの属性変更）
　上記した各例では、セルフオクルージョンが発生した場合に、ユーザ操作の受け付けを禁止する状態に遷移し、セルフオクルージョンが解消した場合に、ユーザ操作の受け付けを許容する状態に遷移する場合を主に想定した。しかし、セルフオクルージョンが発生した場合に、ユーザ操作の受け付けが許容されたまま、出力制御部１０７は、ボタンＢ１０の属性を変更してもよい。このとき、ガイドＵＩの例に、ボタンＢ１０の属性を変更することが含まれ得る。これによって、ユーザは、少なくともいずれか一方の手指の姿勢を変更し、セルフオクルージョンを解消させた上で、ボタンＢ１０を押す操作を行うことが期待されるため、上記した各例と同様に、手指関節位置の認識精度の低下が抑制されることが期待される。

　図１７は、ボタンＢ１０の属性を変更する例を示す図である。図１７を参照すると、属性変更後のボタンＢ２０が示されている。属性変更後のボタンＢ２０は、属性変更前のボタンＢ１０と比較して、サイズが大きくなっている。すなわち、ガイドＵＩは、ボタンＢ１０の属性としてボタンＢ１０のサイズを大きくすることを含んでもよい。一例として、属性変更後のボタンＢ２０は、属性変更前のボタンＢ１０を含んでボタンＢ１０よりも大きいサイズを有してもよい。なお、属性変更は、サイズ変更に限定されず、形状変更などを含んでもよい。また、図１７に示されるように、属性変更後のボタンＢ２０の形状は、開かれた状態の手の形状であってもよい。これによって、ユーザは、手を開いて手のひらをボタンＢ２０に重ねるようにしてボタンＢ２０を押すようになると考えられる。

（ガイドＵＩの追加）
　上記した例では、セルフオクルージョンが発生し、ガイドＵＩが提示されてユーザが手を開いてセルフオクルージョンが解消したとしても、再びユーザが指先でボタンＢ１０を押すために手を閉じてしまい、再度セルフオクルージョンが発生してしまうことが想定され得る。このとき、ガイドＵＩが繰り返し表示されてしまう。そこで、例えば、出力制御部１０７は、所定の条件が満たされた場合に、ガイドＵＩの情報量を増加させてもよい。

　例えば、セルフオクルージョンの発生が検知されたことに基づいて、ガイドＵＩが表示されてから、所定の時間以内（例えば、３０秒以内など）に、再度セルフオクルージョンの発生が検知される場合が想定される。かかる場合、出力制御部１０７は、ガイドＵＩの表示から所定の時間以内に、処理実行部１０５によって再度セルフオクルージョンの発生が検知されたことに基づいて、ガイドＵＩの情報量を増加させてもよい。

　あるいは、セルフオクルージョンの発生が所定の時間範囲以内に所定の回数よりも多く検知される場合（例えば、１分以内に３回以上検知される場合など）も想定される。かかる場合、出力制御部１０７は、処理実行部１０５によってセルフオクルージョンの発生が所定の時間範囲以内に所定の回数よりも多く検知されたことに基づいて、ガイドＵＩの情報量を増加させてもよい。

　例えば、出力制御部１０７は、手指の姿勢の変更を促すテキスト（例えば、「手を開いたままボタンを押す」などといったテキスト）が追加的なガイドＵＩとして表示されるように表示部２１１を制御することによって、ガイドＵＩの情報量を増加させてもよい。あるいは、出力制御部１０７は、手指の姿勢の変更を促す音声ガイダンス（例えば、「手を閉じないで操作してください」などといった音声ガイダンス）が追加的なガイドＵＩとして提示されるように音響出力部２１３を制御することによって、ガイドＵＩの情報量を増加させてもよい。

　このとき、出力制御部１０７は、所定の時間範囲以内に検知されたセルフオクルージョンの発生回数に応じて、ガイドＵＩの情報量を増加させてもよい。

　例えば、出力制御部１０７は、処理実行部１０５によってセルフオクルージョンの発生が所定の時間範囲以内（例えば、１分以内）に、第１の回数（例えば、２回）検知されたことに基づいて、追加的なガイドＵＩとしてテキストを提示させ、第２の回数（例えば、３回）検知されたことに基づいて、追加的なガイドＵＩとしてテキストおよび音声ガイダンスを提示させ、第３の回数（例えば、４回）検知されたことに基づいて、追加的なガイドＵＩとしてユーザがどのように操作をすればよいかを解説する動画またはアニメーションを再生してもよい。

（ガイドＵＩの他の例）
　上記した例では、ガイドＵＩの例として、仮想オブジェクトの表示、ボタンの属性変更などを主に想定した。しかし、ガイドＵＩは、かかる例に限定されない。例えば、出力制御部１０７は、処理実行部１０５によってセルフオクルージョンの発生が検知されたことに基づいて、手指の姿勢の変更を促すテキスト（例えば、「手を開いたままボタンを押す」などといったテキスト）がガイドＵＩの例として表示されるように表示部２１１を制御してもよい。あるいは、出力制御部１０７は、処理実行部１０５によってセルフオクルージョンの発生が検知されたことに基づいて、手指の姿勢の変更を促す音声ガイダンス（例えば、「手を閉じないで操作してください」などといった音声ガイダンス）がガイドＵＩの例として表示されるように表示部２１１を制御してもよい。

　以上、ガイドＵＩの具体例について説明した。

　（６．４．各種の変形例）
　続いて、本開示の実施形態に係る各種の変形例について説明する。

（手の位置姿勢を得るためのカメラ）
　上記した例では、ユーザの頭部に装着される入出力装置２０に設けられたＩＲ撮像部２０１ｄによって撮像された画像に基づいて、手の位置および姿勢（すなわち、ウェアラブルデバイス３０の位置と姿勢）が認識される場合を主に想定した。しかし、手の位置および姿勢は、他のカメラによる撮像画像に基づいて認識されてもよい。例えば、手の位置および姿勢は、スマートフォンのカメラによる撮像画像に基づいて認識されてもよい。あるいは、環境に設置されたカメラによる撮像画像に基づいて認識されてもよい。

（ガイドＵＩの表示制限）
　上記した例では、セルフオクルージョンの発生が検知された場合に、ガイドＵＩが無条件に表示される場合を主に想定した。しかし、セルフオクルージョンの発生が検知された場合であっても、ガイドＵＩが表示されない場合があってもよい。一例として、ユーザが何らかの物（例えば、ボール、棒など）を手に把持している場合には、物によって指先位置が遮蔽されてしまうが、かかる場合には、ガイドＵＩは表示されなくてもよい。ユーザが物を手に把持しているか否かは、撮像部（手のひら側）３０１による撮像画像に基づく画像認識（例えば、機械学習による学習済みモデルによる画像認識）などによって推定されてもよい。

　また、他の一例として、ユーザによって操作可能なオブジェクト（例えば、ボタンなど）をユーザが見ていない場合、または、ユーザの頭部に装着される入出力装置２０のＩＲ撮像部２０１ｄの画角に手が入っていない場合が想定される。かかる場合には、ユーザがオブジェクトを操作しようとしていないと考えられるため、ガイドＵＩは表示されなくてもよい。すなわち、出力制御部１０７は、撮像部２０３ａおよび２０３ｂにより撮像された画像に基づいて認識された視線がオブジェクトに当たっている場合、かつ、ＩＲ撮像部２０１ｄによって撮像された画像に基づいて、ウェアラブルデバイス３０が認識された場合に、ガイドＵＩを表示するように表示部２１１を制御してもよい。

　さらに、上記した例では、セルフオクルージョンの発生が解消されない限り、ガイドＵＩが表示される場合を主に想定した。しかし、ガイドＵＩが表示されてもユーザが手を開くことができない状態である場合には、セルフオクルージョンが解消しない状態が続いてしまう場合も想定される。したがって、出力制御部１０７は、ガイドＵＩの表示後にセルフオクルージョンの解消が検知されないまま、所定の時間が経過した場合、ガイドＵＩの表示を中止してもよい。ただし、指先位置が高精度に認識されるようになった訳ではないため、ユーザ操作の受け付けが禁止された状態は引き続き維持されるのが望ましい。

（ＵＩの切り替えタイミング）
　上記した例では、人差し指の指先位置の信頼度が既定の閾値を下回ってから、ガイドＵＩが表示される場合を主に想定した。しかし、処理実行部１０５は、人差し指の指先位置の信頼度を時系列的に予測し（外挿し）、出力制御部１０７は、予測された信頼度が閾値を下回った段階で、ガイドＵＩを表示するように表示部２１１を制御してもよい。あるいは、出力制御部１０７は、信頼度が閾値よりも大きい値を下回った段階で、オブジェクト（ボタンなど）をフェードアウトさせ始めるとともに、ガイドＵＩをフェードインさせ始め、信頼度が閾値を下回った段階で、オブジェクト（ボタンなど）からガイドＵＩに完全に切り替えてもよい。

　以上、本開示の一実施形態の特筆すべき特徴について説明した。

　＜７．ハードウェア構成例＞
　続いて、図１８を参照しながら、前述した情報処理装置１０や入出力装置２０やウェアラブルデバイス３０のように、本開示の一実施形態に係る情報処理システム１を構成する各種の情報処理装置のハードウェア構成の一例について、詳細に説明する。図１８は、本開示の一実施形態に係る情報処理システム１を構成する各種の情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。

　本実施形態に係る情報処理システム１を構成する情報処理装置９００は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

　ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図５に示す情報処理装置１０が有する各ブロックは、ＣＰＵ９０１により構成され得る。

　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、前述の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

　出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。例えば、図５に示す出力部２１０は、出力装置９１７により構成され得る。

　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図５に示す記憶部１９０は、ストレージ装置９１９により構成され得る。

　ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）又は電子機器等であってもよい。

　接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

　通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

　以上、本開示の実施形態に係る情報処理システム１を構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。前述の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１８では図示しないが、情報処理システム１を構成する情報処理装置９００に対応する各種の構成を当然備える。

　なお、前述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、前述のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。

　以上、本開示の一実施形態に係る情報処理システム１を構成する各種の情報処理装置のハードウェア構成の一例について説明した。

　＜８．まとめ＞
　本開示の実施形態によれば、ユーザの身体の第１の部位を撮像範囲に含んだ撮像画像に基づいて認識された第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第１の部位および前記第２の部位の少なくともいずれか一方の姿勢の変更を促す通知情報が前記ユーザに提示されるように提示部を制御する提示制御部を備える、情報処理装置が提供される。

　かかる構成によれば、ユーザは、第１の部位および第２の部位の少なくともいずれか一方の姿勢を変更してセルフオクルージョンを解消しようとするため、第２の部位の認識精度の低下が抑制されることが期待される。また、第２の部位が第１の部位によって遮蔽されていると判定されたことに基づいて、第２の部位による操作の受け付けを禁止する状態に遷移され得る。かかる構成によれば、第２の部位が第１の部位によって遮蔽されてしまったまま操作に応じた処理が実行されてしまうことにより生じる誤操作の可能性が低減されるため、ユーザは、第２の部位が撮像画像にどのように写っているかを気にする必要がなくなる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、前述の効果とともに、または前述の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの身体の第１の部位を撮像範囲に含んだ撮像画像に基づいて認識された第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第１の部位および前記第２の部位の少なくともいずれか一方の姿勢の変更を促す通知情報が前記ユーザに提示されるように提示部を制御する提示制御部を備える、
　情報処理装置。
（２）
　前記提示制御部は、前記通知情報として、所定の基準位置から離れた領域を含む１または複数の第１の仮想オブジェクトが提示されるように前記提示部を制御する、
　前記（１）に記載の情報処理装置。
（３）
　前記提示制御部は、前記基準位置から離れた複数の領域それぞれに別々の前記第１の仮想オブジェクトが提示されるように前記提示部を制御する、
　前記（２）に記載の情報処理装置。
（４）
　前記提示制御部は、前記基準位置から離れた領域を含む１つの第１の仮想オブジェクトが提示されるように前記提示部を制御する、
　前記（２）に記載の情報処理装置。
（５）
　前記基準位置は、前記第２の部位によって操作可能なオブジェクトの位置または前記ユーザの身体に装着されるウェアラブルデバイスの位置である、
　前記（２）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記提示制御部は、前記第１の部位の位置に応じた第２の仮想オブジェクトが提示されるように前記提示部を制御する、
　前記（２）～５のいずれ一項に記載の情報処理装置。
（７）
　前記提示制御部は、前記第１の仮想オブジェクトの位置と前記第２の仮想オブジェクトの位置とに応じた方向を示す情報が提示されるように前記提示部を制御する、
　前記（６）に記載の情報処理装置。
（８）
　前記通知情報は、前記第２の部位によって操作可能な第１の仮想オブジェクトの属性を変更することを含む、
　前記（１）に記載の情報処理装置。
（９）
　前記通知情報は、前記第１の仮想オブジェクトの属性として前記第１の仮想オブジェクトのサイズを大きくすることを含む、
　前記（８）に記載の情報処理装置。
（１０）
　前記第２の部位は、奥行方向の位置の信頼度が第１の信頼度を下回る場合に、前記第１の部位によって遮蔽されていると判定される、
　前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記情報処理装置は、
　前記第２の部位による操作に応じた処理を実行する処理実行部を備え、
　前記処理実行部は、前記第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第２の部位による操作の受け付けを禁止する状態に遷移する、
　前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記処理実行部は、前記第１の部位による前記第２の部位の遮蔽が解除されたと判定されたことに基づいて、前記第２の部位による操作の受け付けを許容する状態に遷移する、
　前記（１１）に記載の情報処理装置。
（１３）
　前記第２の部位は、奥行方向の位置の信頼度が第２の信頼度を上回る場合に、前記第１の部位による遮蔽が解除されたと判定される、
　前記（１２）に記載の情報処理装置。
（１４）
　前記提示制御部は、前記通知情報の提示から所定の時間以内に前記第２の部位が前記第１の部位によって遮蔽されていると再度判定されたことに基づいて、前記通知情報の情報量を増加させる、
　前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記提示制御部は、前記第２の部位が前記第１の部位によって遮蔽されていると所定の時間範囲以内に所定の回数よりも多く判定されたことに基づいて、前記通知情報の情報量を増加させる、
　前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記提示制御部は、前記通知情報として前記姿勢の変更を促すテキストが表示されるように前記提示部を制御する、
　前記（１）に記載の情報処理装置。
（１７）
　前記提示制御部は、前記通知情報として前記姿勢の変更を促す音声ガイダンスが提示されるように前記提示部を制御する、
　前記（１）に記載の情報処理装置。
（１８）
　前記第１の部位は、親指、中指、薬指、小指、手のひら、または、腕であり、
　前記第２の部位は、人差し指の指先である、
　前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　ユーザの身体の第１の部位を撮像範囲に含んだ撮像画像に基づいて認識された第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第１の部位および前記第２の部位の少なくともいずれか一方の姿勢の変更を促す通知情報が前記ユーザに提示されるように、プロセッサが提示部を制御する、
　情報処理方法。
（２０）
　コンピュータを、
　ユーザの身体の第１の部位を撮像範囲に含んだ撮像画像に基づいて認識された第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第１の部位および前記第２の部位の少なくともいずれか一方の姿勢の変更を促す通知情報が前記ユーザに提示されるように提示部を制御する提示制御部を備える、
　情報処理装置として機能させるプログラム。

　１　　　情報処理システム
　１０　　情報処理装置
　１０１　ステレオデプス計算部
　１０３　手指関節認識部
　１０５　処理実行部
　１０７　出力制御部
　１０９　ウェアラブルデバイス位置姿勢推定部
　１１１　慣性積分計算部
　１１３　ウェアラブルデバイス位置姿勢統合部
　１１５　手指関節認識部
　１１７　手指関節認識部
　１１９　手指関節認識統合部
　１２１　慣性積分計算部
　１９０　記憶部
　２０　　入出力装置
　２０１ａ　撮像部
　２０１ｂ　撮像部
　２０１ｄ　ＩＲ撮像部
　２０１ｃ　ＩＲ光源
　２１０　出力部
　２１１　表示部
　２１３　音響出力部
　２２０　慣性計測部
　３０　　ウェアラブルデバイス
　３０１　撮像部
　３０２　撮像部
　３０３　慣性計測部
　３１０　出力部
　３１１　振動提示部
　３２０　光学マーカー

Claims

　ユーザの身体の第１の部位を撮像範囲に含んだ撮像画像に基づいて認識された第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第１の部位および前記第２の部位の少なくともいずれか一方の姿勢の変更を促す通知情報が前記ユーザに提示されるように提示部を制御する提示制御部を備える、
　情報処理装置。
　前記提示制御部は、前記通知情報として、所定の基準位置から離れた領域を含む１または複数の第１の仮想オブジェクトが提示されるように前記提示部を制御する、
　請求項１に記載の情報処理装置。
　前記提示制御部は、前記基準位置から離れた複数の領域それぞれに別々の前記第１の仮想オブジェクトが提示されるように前記提示部を制御する、
　請求項２に記載の情報処理装置。
　前記提示制御部は、前記基準位置から離れた領域を含む１つの第１の仮想オブジェクトが提示されるように前記提示部を制御する、
　請求項２に記載の情報処理装置。
　前記基準位置は、前記第２の部位によって操作可能なオブジェクトの位置または前記ユーザの身体に装着されるウェアラブルデバイスの位置である、
　請求項２に記載の情報処理装置。
　前記提示制御部は、前記第１の部位の位置に応じた第２の仮想オブジェクトが提示されるように前記提示部を制御する、
　請求項２に記載の情報処理装置。
　前記提示制御部は、前記第１の仮想オブジェクトの位置と前記第２の仮想オブジェクトの位置とに応じた方向を示す情報が提示されるように前記提示部を制御する、
　請求項６に記載の情報処理装置。
　前記通知情報は、前記第２の部位によって操作可能な第１の仮想オブジェクトの属性を変更することを含む、
　請求項１に記載の情報処理装置。
　前記通知情報は、前記第１の仮想オブジェクトの属性として前記第１の仮想オブジェクトのサイズを大きくすることを含む、
　請求項８に記載の情報処理装置。
　前記第２の部位は、奥行方向の位置の信頼度が第１の信頼度を下回る場合に、前記第１の部位によって遮蔽されていると判定される、
　請求項１に記載の情報処理装置。
　前記情報処理装置は、
　前記第２の部位による操作に応じた処理を実行する処理実行部を備え、
　前記処理実行部は、前記第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第２の部位による操作の受け付けを禁止する状態に遷移する、
　請求項１に記載の情報処理装置。
　前記処理実行部は、前記第１の部位による前記第２の部位の遮蔽が解除されたと判定されたことに基づいて、前記第２の部位による操作の受け付けを許容する状態に遷移する、
　請求項１１に記載の情報処理装置。
　前記第２の部位は、奥行方向の位置の信頼度が第２の信頼度を上回る場合に、前記第１の部位による遮蔽が解除されたと判定される、
　請求項１２に記載の情報処理装置。
　前記提示制御部は、前記通知情報の提示から所定の時間以内に前記第２の部位が前記第１の部位によって遮蔽されていると再度判定されたことに基づいて、前記通知情報の情報量を増加させる、
　請求項１に記載の情報処理装置。
　前記提示制御部は、前記第２の部位が前記第１の部位によって遮蔽されていると所定の時間範囲以内に所定の回数よりも多く判定されたことに基づいて、前記通知情報の情報量を増加させる、
　請求項１に記載の情報処理装置。
　前記提示制御部は、前記通知情報として前記姿勢の変更を促すテキストが表示されるように前記提示部を制御する、
　請求項１に記載の情報処理装置。
　前記提示制御部は、前記通知情報として前記姿勢の変更を促す音声ガイダンスが提示されるように前記提示部を制御する、
　請求項１に記載の情報処理装置。
　前記第１の部位は、親指、中指、薬指、小指、手のひら、または、腕であり、
　前記第２の部位は、人差し指の指先である、
　請求項１に記載の情報処理装置。
　ユーザの身体の第１の部位を撮像範囲に含んだ撮像画像に基づいて認識された第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第１の部位および前記第２の部位の少なくともいずれか一方の姿勢の変更を促す通知情報が前記ユーザに提示されるように、プロセッサが提示部を制御する、
　情報処理方法。
　コンピュータを、
　ユーザの身体の第１の部位を撮像範囲に含んだ撮像画像に基づいて認識された第２の部位が前記第１の部位によって遮蔽されていると判定されたことに基づいて、前記第１の部位および前記第２の部位の少なくともいずれか一方の姿勢の変更を促す通知情報が前記ユーザに提示されるように提示部を制御する提示制御部を備える、
　情報処理装置として機能させるプログラム。