WO2022064827A1

WO2022064827A1 - 情報処理装置、情報処理方法およびプログラム

Info

Publication number: WO2022064827A1
Application number: PCT/JP2021/027062
Authority: WO
Inventors: 友久田中; 郁男山野
Original assignee: ソニーグループ株式会社
Priority date: 2020-09-25
Filing date: 2021-07-20
Publication date: 2022-03-31
Also published as: JPWO2022064827A1; US20230206622A1

Abstract

【課題】認識対象の認識に要する消費電力を低減させつつ、認識対象をロバストに認識することが可能な技術が提供されることが望まれる。【解決手段】検出対象の検出結果に基づいて、実空間に存在する認識対象の認識に関連する第１の動作部と第２の動作部との間において起動される動作部の切り替えを制御する制御部を備え、前記認識対象が認識される第１のデータを得る第１のセンサは、ユーザの身体の第１の部位に装着され、前記認識対象が認識される第２のデータを得る第２のセンサは、前記身体の前記第１の部位とは異なる第２の部位に装着される、情報処理装置が提供される。

Description

情報処理装置、情報処理方法およびプログラム

　本開示は、情報処理装置、情報処理方法およびプログラムに関する。

　近年、実空間に存在する所定の認識対象を認識し、認識結果に応じた処理を実行する各種の技術が知られている。例えば、認識対象の例としての入力装置の認識結果に基づいて、ユーザの頭部に装着されているディスプレイに提示される仮想的なオブジェクトを制御する技術が開示されている（例えば、特許文献１参照）。

特開２０１９－４６２９１号公報

　しかしながら、認識対象の認識に要する消費電力を低減させつつ、認識対象をロバストに認識することが可能な技術が提供されることが望まれる。

　本開示のある観点によれば、検出対象の検出結果に基づいて、実空間に存在する認識対象の認識に関連する第１の動作部と第２の動作部との間において起動される動作部の切り替えを制御する制御部を備え、前記認識対象が認識される第１のデータを得る第１のセンサは、ユーザの身体の第１の部位に装着され、前記認識対象が認識される第２のデータを得る第２のセンサは、前記身体の前記第１の部位とは異なる第２の部位に装着される、情報処理装置が提供される。

　また、本開示の別の観点によれば、プロセッサが、検出対象の検出結果に基づいて、実空間に存在する認識対象の認識に関連する第１の動作部と第２の動作部との間において起動される動作部の切り替えを制御することを含み、前記認識対象が認識される第１のデータを得る第１のセンサは、ユーザの身体の第１の部位に装着され、前記認識対象が認識される第２のデータを得る第２のセンサは、前記身体の前記第１の部位とは異なる第２の部位に装着される、情報処理方法が提供される。

　また、本開示の別の観点によれば、コンピュータを、検出対象の検出結果に基づいて、実空間に存在する認識対象の認識に関連する第１の動作部と第２の動作部との間において起動される動作部の切り替えを制御する制御部を備え、前記認識対象が認識される第１のデータを得る第１のセンサは、ユーザの身体の第１の部位に装着され、前記認識対象が認識される第２のデータを得る第２のセンサは、前記身体の前記第１の部位とは異なる第２の部位に装着される、情報処理装置として機能させるためのプログラムが提供される。

本開示の一実施形態に係る情報処理システムの略的な構成の一例について説明するための説明図である。ＡＲ技術を応用してユーザの操作入力に対して各種コンテンツを提示する場合の一例を示す図である。入出力装置の概略的な構成の一例について説明するための説明図である。ウェアラブルデバイスの概略的な構成の一例について説明するための説明図である。情報処理システムの機能構成の一例を示したブロック図である。デプス画像の例を示す図である。手指関節位置の例を示す図である。認識された各手指関節位置がデプス画像に再投影された画像の一例を示す図である。認識された各手指関節位置がデプス画像に再投影された画像の他の例を示す図である。入出力装置のＩＲ撮像部の画角の例を示す図である。起動制御部による基本的な制御について状態ごとに整理した図である。起動制御部による信頼度による制御について状態ごとに整理した図である。起動制御部によるウェアラブルデバイス側の信頼度による制御について状態ごとに整理した図である。入出力装置側の信頼度による制御と、ウェアラブルデバイス側の信頼度による制御とを統合した例について状態ごとに整理した図である。本開示の一実施形態に係る情報処理システムを構成する各種の情報処理装置のハードウェア構成の一例を示す図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

　なお、説明は以下の順序で行うものとする。
　１．システム構成
　２．入出力装置の構成
　３．ウェアラブルデバイスの構成
　４．システムの機能構成
　５．手指関節認識の信頼度
　６．特筆すべき特徴
　　６．１．基本的な制御
　　６．２．入出力装置側の信頼度による制御
　　６．３．ウェアラブルデバイス側の信頼度による制御
　　６．４．双方のデバイスの信頼度による制御
　７．ハードウェア構成例
　８．まとめ

　＜１．システム構成＞
　まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図１は、本開示の一実施形態に係る情報処理システムの略的な構成の一例について説明するための説明図であり、所謂ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を応用してユーザに対して各種コンテンツを提示する場合の一例を示している。

　図１において、参照符号ｍ１１１は、実空間上に位置する物体（例えば、実オブジェクト）を模式的に示している。また、参照符号ｖ１３１およびｖ１３３は、実空間上に重畳するように提示される仮想的なコンテンツ（例えば、仮想オブジェクト）を模式的に示している。即ち、本実施形態に係る情報処理システム１は、例えば、ＡＲ技術に基づき、実オブジェクトｍ１１１などの実空間上の物体に対して、仮想オブジェクトを重畳してユーザに提示する。なお、図１では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方を合わせて提示している。

　図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。情報処理装置１０と入出力装置２０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とを接続ネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、Ｗｉ－Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、または、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などにより構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。

　入出力装置２０は、各種入力情報の取得や、当該入出力装置２０を保持するユーザに対して各種出力情報の提示を行うための構成である。また、入出力装置２０による出力情報の提示は、情報処理装置１０により、当該入出力装置２０により取得された入力情報に基づき制御される。例えば、入出力装置２０は、実オブジェクトｍ１１１を認識するための情報（例えば、撮像された実空間の画像）を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、実空間上における実オブジェクトｍ１１１の位置を認識し、当該認識結果に基づき、入出力装置２０に仮想オブジェクトｖ１３１およびｖ１３３を提示させる。このような制御により、入出力装置２０は、所謂ＡＲ技術に基づき、実オブジェクトｍ１１１に対して仮想オブジェクトｖ１３１およびｖ１３３が重畳するように、当該仮想オブジェクトｖ１３１およびｖ１３３をユーザに提示することが可能となる。

　また、入出力装置２０は、例えば、ユーザが頭部の少なくとも一部に装着して使用する所謂頭部装着型デバイスとして構成されており、当該ユーザの視線を検出可能に構成されていてもよい。このような構成に基づき、情報処理装置１０は、例えば、入出力装置２０によるユーザの視線の検出結果に基づき、当該ユーザが所望の対象（例えば、実オブジェクトｍ１１１や、仮想オブジェクトｖ１３１およびｖ１３３など）を注視していることを認識した場合に、当該対象を操作対象として特定してもよい。また、情報処理装置１０は、入出力装置２０に対する所定の操作をトリガとして、ユーザの視線が向けられている対象を操作対象として特定してもよい。以上のようにして、情報処理装置１０は、操作対象を特定し、当該操作対象に関連付けられた処理を実行することで、入出力装置２０を介して各種サービスをユーザに提供してもよい。

　情報処理装置１０は、入出力装置２０により取得された入力情報に基づき、ユーザの腕、手のひら、手指関節の位置姿勢の動き（例えば、位置や向きの変化、ジェスチャなど）をユーザの操作入力として認識し、当該操作入力の認識結果に応じて各種処理を実行する。具体的な一例として、入出力装置２０は、ユーザの腕、手のひら、手指関節を認識するための情報（例えば、撮像された手の画像）を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、腕、手のひら、手指関節の位置姿勢を推定し、その動き（例えば、ジェスチャ）を認識し、当該動きの認識結果に応じて、ユーザからの指示（即ち、ユーザの操作入力）を認識する。そして、情報処理装置１０は、ユーザの操作入力の認識結果に応じて、例えば、ユーザに提示する仮想オブジェクトの表示（例えば、仮想オブジェクトの表示位置や姿勢）を制御してもよい。なお、本開示において「ユーザの操作入力」とは、前述の通り、ユーザからの指示に対応する入力、即ち、ユーザの意図を反映した入力として見做されてよい。以下、「ユーザの操作入力」を、単に「ユーザ入力」と称する場合がある。

　また、情報処理装置１０は、入出力装置２０により取得された入力情報に基づき、ユーザの身体の手以外の少なくとも一部の部位の動き（例えば、位置や向きの変化、ジェスチャなど）をユーザの操作入力として認識し、当該操作入力の認識結果に応じて各種処理を実行してもよい。

　次に、図２を参照して、ユーザが手のひら（または手の甲）に装着するウェアラブルデバイス３０と、情報処理装置１０と、入出力装置２０によりユーザの手のひらの位置と姿勢を取得する、概略的な構成の一例について説明する。図２は、所謂ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を応用してユーザの手の動き、即ち、ユーザの操作入力に対して各種コンテンツを提示する場合の一例を示している。

　図２に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０と、ウェアラブルデバイス３０を含む。情報処理装置１０と入出力装置２０とウェアラブルデバイス３０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とウェアラブルデバイス３０とを接続するネットワークの種類は特に限定されない。

　入出力装置２０は、手のひら装着型のウェアラブルデバイス３０の位置と姿勢を、（一例として比較的低い精度で）検出するための情報を入力情報として取得し、取得した入力情報を情報処理装置１０に出力する。以下では、かかる入力情報として、ウェアラブルデバイス３０のＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）の出力する加速度情報および角速度情報が用いられる場合を主に想定する。しかし、かかる入力情報は、ＩＭＵの出力する情報に限定されない。例えば、かかる入力情報は、後にも説明するように磁気センサの出力する情報であってもよい。

　さらに、ウェアラブルデバイス３０は、規定のパターンで配置された光学マーカー（例えば、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）発光のアクティブマーカー、再帰性反射材のパッシブマーカーなど）を含む。なお、図２に示されたウェアラブルデバイス３０は簡易的に示されているため、光学マーカーが図示されていないが、光学マーカーについては、図４を参照しながら後に詳細に説明する。入出力装置２０は、光学マーカーを撮像した画像を取得する。情報処理装置１０は、入出力装置２０により取得された光学マーカーの撮像画像の入力情報に基づき、ウェアラブルデバイス３０の位置と姿勢を（一例として比較的高い精度で）取得する。

　これらの構成により、入出力装置２０とウェアラブルデバイス３０との距離が一定範囲（例えば、１ｍ）にあれば、ウェアラブルデバイス３０の位置と姿勢を（一例として比較的低い精度で）得ることができとともに、入出力装置２０に備わる認識用カメラの画角（ＦｏＶ：Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ）に、ウェアラブルデバイス３０の光学マーカーが少なくても一定数以上写っている場合に限って、ウェアラブルデバイス３０の位置と姿勢を（一例として比較的高い精度で）得ることができる。

　なお、図１および図２では、入出力装置２０と情報処理装置１０とが互いに異なる装置として示されているが、入出力装置２０と情報処理装置１０とは一体的に構成されていてもよい。また、入出力装置２０および情報処理装置１０の構成および処理の詳細については別途後述する。

　以上、図１および図２を参照して、本開示の一実施形態に係る情報処理システム１の概略的な構成の一例について説明した。

　＜２．入出力装置の構成＞
　続いて、図３を参照して、図１および図２に示した本実施形態に係る入出力装置２０の概略的な構成の一例について説明する。図３は、本実施形態に係る入出力装置２０の概略的な構成の一例について説明するための説明図である。

　前述したように、本実施形態に係る入出力装置２０は、ユーザが頭部の少なくとも一部に装着して使用する所謂頭部装着型デバイスとして構成されており、レンズ２９３ａおよび２９３ｂのうち少なくともいずれかが透過型のディスプレイ（表示部２１１）として構成されている。また、入出力装置２０は、撮像部２０１ａおよび２０１ｂと、操作部２０７と、メガネのフレームに相当する保持部２９１とを備える。また、入出力装置２０は、撮像部２０３ａおよび２０３ｂを備えてもよい。なお、以降では、入出力装置２０が、撮像部２０３ａおよび２０３ｂを備えているものとして各種説明を行う。保持部２９１は、入出力装置２０がユーザの頭部に装着されたときに、表示部２１１と、撮像部２０１ａおよび２０１ｂと、撮像部２０３ａおよび２０３ｂと、操作部２０７とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。また、図３には図示していないが、入出力装置２０は、ユーザの音声を集音するための集音部を備えていてもよい。

　ここで、入出力装置２０のより具体的な構成について説明する。例えば、図３に示す例では、レンズ２９３ａが、右眼側のレンズに相当し、レンズ２９３ｂが、左眼側のレンズに相当する。即ち、保持部２９１は、入出力装置２０が装着された場合に、表示部２１１（換言すると、レンズ２９３ａおよび２９３ｂ）がユーザの眼前に位置するように、当該表示部２１１を保持する。

　撮像部２０１ａおよび２０１ｂは、所謂ステレオカメラとして構成されており、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１によりそれぞれ保持される。このとき、撮像部２０１ａが、ユーザの右眼の近傍に保持され、撮像部２０１ｂが、当該ユーザの左眼の近傍に保持される。このような構成に基づき、撮像部２０１ａおよび２０１ｂは、入出力装置２０の前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置から撮像する。これにより、入出力装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、撮像部２０１ａおよび２０１ｂそれぞれにより撮像された画像間の視差に基づき、当該入出力装置２０（ひいては、ユーザの視点の位置）から、当該被写体までの距離を算出することが可能となる。

　なお、入出力装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）、Ｓｔｒｕｃｔｕｒｅｄ　Ｌｉｇｈｔなどの方式に基づき、入出力装置２０と被写体との間の距離が測定されてもよい。

　ここで、ＴＯＦとは、被写体に対して赤外線などの光を投光し、投光した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（所謂距離画像）を得る方式である。

　また、Ｓｔｒｕｃｔｕｒｅｄ　Ｌｉｇｈｔは、被写体に対して赤外線などの光によりパターンを照射し、それを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。

　また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。

　なお、このとき各種センサによりカメラの移動距離および移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラなど）を変更してもよい。

　また、撮像部２０３ａおよび２０３ｂは、入出力装置２０がユーザの頭部に装着されたときに、それぞれの撮像範囲内に当該ユーザの眼球が位置するように、保持部２９１によりそれぞれ保持される。具体的な一例として、撮像部２０３ａは、撮像範囲内にユーザの右眼が位置するように保持される。このような構成に基づき、撮像部２０３ａにより撮像された右眼の眼球の画像と、当該撮像部２０３ａと当該右眼との間の位置関係と、に基づき、当該右眼の視線が向いている方向を認識することが可能となる。同様に、撮像部２０３ｂは、撮像範囲内に当該ユーザの左眼が位置するように保持される。即ち、撮像部２０３ｂにより撮像された左眼の眼球の画像と、当該撮像部２０３ｂと当該左眼との間の位置関係と、に基づき、当該左眼の視線が向いている方向を認識することが可能となる。なお、図３に示す例では、入出力装置２０が撮像部２０３ａおよび２０３ｂの双方を含む構成について示しているが、撮像部２０３ａおよび２０３ｂのうちいずれかのみが設けられていてもよい。

　また、手位置検出用のＩＲ（Ｉｎｆｒａｒｅｄ）光源２０１ｃ、ＩＲ撮像部２０１ｄは、ウェアラブルデバイス３０の（入出力装置２０からみた）位置と姿勢を得るためのものである。ＩＲ光源２０１ｃから照射された（一例として９４０ｎｍの）赤外光は、ウェアラブルデバイス３０の再帰性反射材の光学マーカー（図４）に反射して、ＩＲ撮像部２０１ｄで撮像される（あるいは、ＩＲ光源２０１ｃが無く、光学マーカー３２０（図４）が（一例として９４０ｎｍ波長の）ＩＲ　ＬＥＤであり自発光する構成でもよい）。ＩＲ撮像部２０１ｄは、（一例として９４０ｎｍ帯を中心とする）赤外光だけを通すバンドパスフィルターを備えており、光学マーカー３２０（図４）の輝点だけが撮像される。輝点の画像より、入出力装置２０からの相対的なウェアラブルデバイス３０の位置と姿勢を（一例として比較的高い精度で）得ることが可能である。

　操作部２０７は、入出力装置２０に対するユーザからの操作を受け付けるための構成である。操作部２０７は、例えば、タッチパネルやボタンなどのような入力デバイスにより構成されていてもよい。操作部２０７は、保持部２９１により、入出力装置２０の所定の位置に保持されている。例えば、図３に示す例では、操作部２０７は、メガネのテンプルに相当する位置に保持されている。

　また、本実施形態に係る入出力装置２０には、例えば、加速度センサやジャイロセンサ（角速度センサ）などを含む慣性計測部２２０（図５）（ＩＭＵ）が設けられる（図示しない）。入出力装置２０は、ＩＭＵの出力する加速度情報と角速度情報を取得可能である。そして、かかる加速度情報と角速度情報に基づいて、当該入出力装置２０を装着したユーザの頭部の動き（換言すると、入出力装置２０自体の動き）が検出され得る。具体的な一例として、情報処理装置１０は、入出力装置２０のＩＭＵが出力する加速度情報と角速度情報を取得し、慣性航法によって入出力装置２０の位置および姿勢を算出し、その際発生するドリフト誤差を回帰モデルによって補正することで、入出力装置２０の位置情報および姿勢情報を推定し、当該ユーザの頭部の位置および姿勢を取得することが可能である。

　以上のような構成に基づき、本実施形態に係る入出力装置２０は、ユーザの頭部の動きに応じた、実空間上における自身の位置や姿勢の変化を認識することが可能となる。また、このとき入出力装置２０は、所謂ＡＲ技術に基づき、実空間に位置する実オブジェクトに対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳するように、表示部２１１に当該コンテンツを提示することも可能となる。また、このとき入出力装置２０は、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　Ａｎｄ　Ｍａｐｐｉｎｇ）と称される技術などに基づき、実空間上における自身の位置および姿勢（即ち、自己位置）を推定してもよく、当該推定結果を仮想オブジェクトの提示に利用してもよい。

　ここで、参考として、ＳＬＡＭの概要について説明する。ＳＬＡＭとは、カメラなどの撮像部、各種センサ、エンコーダなどを利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ　ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置および姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部（ひいては、入出力装置２０）の位置および姿勢の推定とが行われる。なお、撮像部の位置および姿勢については、例えば、入出力装置２０に加速度センサや角速度センサなどの各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置および姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサなどの各種センサの検知結果に基づく方法のみには限定されない。

　また、入出力装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ：Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）の一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、および網膜投射型ＨＭＤが挙げられる。

　シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部などからなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視認している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置および姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。例えば、図３に示した入出力装置２０は、シースルー型ＨＭＤの一例に相当する。

　ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイなどの表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。また、このときビデオシースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該ビデオシースルー型ＨＭＤの位置および姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。

　網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視認することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視認している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。

　また、前述では、ＡＲ技術を適用することを前提として、本実施形態に係る入出力装置２０の構成の一例について説明したが、必ずしも、当該入出力装置２０の構成を限定するものではない。例えば、ＶＲ技術を適用することを想定した場合には、本実施形態に係る入出力装置２０は、没入型ＨＭＤと呼ばれるＨＭＤとして構成されていてもよい。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイなどの表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視認しているユーザに対して没入感を与えることが可能となる。

　以上、図３を参照して、本開示の一実施形態に係る入出力装置２０の概略的な構成の一例について説明した。

　＜３．ウェアラブルデバイスの構成＞
　続いて、図４を参照して、図１および図２に示した本実施形態に係るウェアラブルデバイス３０の概略的な構成の一例について説明する。図４は、本実施形態に係るウェアラブルデバイス３０の概略的な構成の一例について説明するための説明図である。

　前述したように、本実施形態に係るウェアラブルデバイス３０は、ユーザが手のひらに装着して使用する所謂装着型デバイスとして構成されている。例えば、図４に示す例では、ウェアラブルデバイス３０は、所謂パームベスト型のデバイスとして構成されている。また、ウェアラブルデバイス３０は、撮像部（手のひら側）３０１および撮像部（手の甲側）３０２を備えており、撮像部（手のひら側）３０１は、ウェアラブルデバイス３０が装着された手の指（手指）を手のひら側から撮像できるように手のひら側に配置され、撮像部（手の甲側）３０２は、ウェアラブルデバイス３０が装着された手の指（手指）を手の甲側から撮像できるように手の甲側に配置されている。

　なお、撮像部（手のひら側）３０１および撮像部（手の甲側）３０２それぞれは、ＴＯＦセンサとして構成されており、ＴＯＦセンサによって得られるデプス画像によって深度（手指までの距離）を得ることが可能である。しかし、撮像部（手のひら側）３０１および撮像部（手の甲側）３０２それぞれのセンサの種類は、ＴＯＦセンサに限定されず、深度を得ることが可能な他のセンサであってもよい。あるいは、撮像部（手のひら側）３０１および撮像部（手の甲側）３０２の一方または双方は、ＩＲセンサなどの２Ｄセンサであってもよい。

　また、ウェアラブルデバイス３０は、表面が再帰性反射材である複数の光学マーカー３２０と、慣性計測部３０３（図５）と、振動提示部３１１とを備える。図４を参照すると、手指Ｆ１が示されている。また、手指Ｆ１の（撮像部２０１からみた）相対的な位置と姿勢が位置姿勢Ｒ１として示されている。ここで、（撮像部２０１からみた）相対的な位置は、撮像部２０１を基準としたカメラ座標系における座標によって表され得る。なお、基準とされる撮像部２０１は特に限定されない（例えば、撮像部２０１ａが基準であってもよい）。

　また、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置と姿勢が位置姿勢Ｒ２として示されている。さらに、撮像部（手のひら側）３０１の（ウェアラブルデバイス３０からみた）相対的な位置と姿勢が位置姿勢Ｒ３として示されている。また、手指Ｆ１の（撮像部（手のひら側）３０１からみた）相対的な位置と姿勢が位置姿勢Ｒ４として示されている。さらに、撮像部（手の甲側）３０２の（ウェアラブルデバイス３０からみた）相対的な位置と姿勢が位置姿勢Ｒ５として示されている。また、手指Ｆ１の（撮像部（手の甲側）３０２からみた）相対的な位置と姿勢が位置姿勢Ｒ６として示されている。

　なお、図４には、中指に相当する手指Ｆ１が手指の一例として示されている。しかし、後にも説明するように、本実施形態では、中指以外の手指（即ち、親指、人差し指、薬指および小指）も、中指に相当する手指Ｆ１と同様に手指として扱われ得る。

　光学マーカー３２０は、入出力装置２０のＩＲ光源２０１ｃの照射光を反射する。その反射光をＩＲ撮像部２０１ｄで撮像し、得られた映像の輝点からウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置と姿勢を（一例として比較的高い精度で）得る。なお、光学マーカー３２０は、再帰性反射材を用いたパッシブマーカーに限らず、ＩＲ　ＬＥＤを用いたアクティブマーカーでもよい。光学マーカー３２０がアクティブマーカーである場合には、入出力装置２０のＩＲ光源２０１ｃは不要である。

　慣性計測部３０３（図５）は、例えば、ＩＭＵによって構成されており、入出力装置２０が備えるＩＭＵと同様に、ＩＭＵの出力する加速度情報と角速度情報を取得し得る。かかる加速度情報と角速度情報に基づき、当該ウェアラブルデバイス３０を装着したユーザの手の動き（換言すると、ウェアラブルデバイス３０自体の動き）が検出され得る。具体的な一例として、情報処理装置１０は、ウェアラブルデバイス３０のＩＭＵセンサが出力する加速度情報と角速度情報を取得し、慣性航法によってウェアラブルデバイス３０の位置および姿勢を算出し、その際発生するドリフト誤差を回帰モデルによって補正することで、ウェアラブルデバイス３０の位置情報および姿勢情報を推定し、当該ユーザの手の位置及び姿勢を取得することが可能である。

　振動提示部３１１は、振動を発生させる振動アクチュエータの駆動により、ユーザの手に触覚感覚の提示を行う。振動アクチュエータとして、具体的にはボイスコイルモータやＬＲＡ（Ｌｉｎｅａｒ　Ｒｅｓｏｎａｎｔ　Ａｃｔｕａｔｏｒ）などの並進型のアクチュエータや、偏心モータのような回転型のアクチュエータが用いられるが、並進型のアクチュエータを用いることで、広い周波数範囲での駆動が可能となり、高い振動の表現力が得られる。並進型のアクチュエータを用いる場合には、振動アクチュエータはオーディオ信号に近い、時間変化するアナログ波形の電圧を印加することで駆動される。振動アクチュエータは、提示したい振動強度や提示部位に合わせて、複数箇所に設置することが考えられる。また、振動を提示したい部位（手のひらなど）に直接、振動アクチュエータを配置する方法とは別に、例えば、手のひら上の振動アクチュエータを配置して、周波数ごとの振動伝播特性や手の触覚の感度の違いを踏まえて、手のひら型に触覚感覚を提示させる、といった方法も考えられる。

　＜４．システムの機能構成＞
　続いて、図５を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明する。図５は、本実施形態に係る情報処理システム１の機能構成の一例を示したブロック図である。以降では、図１を参照して説明したように、情報処理システム１が情報処理装置１０と入出力装置２０とウェアラブルデバイス３０とを含むものとして、当該情報処理装置１０、入出力装置２０及びウェアラブルデバイス３０それぞれの構成についてより詳しく説明する。なお、図５に示すように、情報処理システム１は、記憶部１９０を含んでもよい。

　まず、入出力装置２０の構成について説明する。図５に示すように、入出力装置２０は、撮像部２０１ａ、２０１ｂ及び２０１ｄと、出力部２１０と、慣性計測部２２０（ＩＭＵ）とを含む。出力部２１０は、表示部２１１を含む。また、出力部２１０は、音響出力部２１３を含んでもよい。撮像部２０１ａ、２０１ｂ及び２０１ｄは、図２を参照して説明した撮像部２０１ａ、２０１ｂ及び２０１ｄに相当する。なお、撮像部２０１ａ、２０１ｂ及び２０１ｄを特に区別しない場合には、単に「撮像部２０１」と称する場合がある。また、表示部２１１は、図２を参照して説明した表示部２１１に相当する。また、音響出力部２１３は、スピーカ等のような音響デバイスから成り、出力対象となる情報に応じた音声や音響を出力する。その他、図５には示していないが、前述したように、入出力装置２０は、操作部２０７、撮像部２０３ａ、２０３ｂ、保持部２９１なども備える。

　次に、ウェアラブルデバイス３０の構成について説明する。図５に示すように、ウェアラブルデバイス３０は、撮像部（手のひら側）３０１と、撮像部（手の甲側）３０２と、慣性計測部３０３（ＩＭＵ）と、出力部３１０とを含む。出力部３１０は、振動提示部３１１を含む。振動提示部３１１は、振動アクチュエータから成り、出力対象となる情報に応じた振動を提示する。その他、図５には示していないが、前述したように、ウェアラブルデバイス３０は、光学マーカー３２０なども備える。

　次いで、情報処理装置１０の構成について説明する。図５に示すように、情報処理装置１０は、ステレオデプス計算部１０１と、手指関節認識部１０３と、手指関節認識部１１５と、手指関節認識部１１７と、手指関節認識統合部１１９とを含む。また、情報処理装置１０は、ウェアラブルデバイス位置姿勢推定部１０９と、慣性積分計算部１１１と、慣性積分計算部１２１と、ウェアラブルデバイス位置姿勢統合部１１３とを含む。また、情報処理装置１０は、処理実行部１０５と、出力制御部１０７とを含む。さらに、情報処理装置１０は、起動制御部１２３を含む。起動制御部１２３については、後に詳細に説明する。

　ステレオデプス計算部１０１は、撮像部２０１ａおよび２０１ｂそれぞれから出力される画像（撮像結果）を取得し、取得した画像に基づいて、撮像部２０１ａおよび２０１ｂの画角のデプス画像を生成する。そして、ステレオデプス計算部１０１は、撮像部２０１ａおよび２０１ｂの画角のデプス画像を手指関節認識部１０３に出力する。

　手指関節認識部１０３は、ステレオデプス計算部１０１によって生成されたデプス画像をステレオデプス計算部１０１から取得し、取得したデプス画像に基づいて、複数の手指関節それぞれの位置を認識する。各手指関節位置の認識の詳細については後述する。そして、手指関節認識部１０３は、認識した各手指関節位置の（撮像部２０１からみた）相対的な位置を位置姿勢として手指関節認識統合部１１９に出力するとともに、各手指関節位置の認識結果の信頼度（後述）を手指関節認識統合部１１９に出力する。また、手指関節認識部１０３は、デプス画像から位置の認識（または推定）に失敗した手指関節があった場合には、認識に失敗した手指関節（認識結果）として推定不能を示す結果を出力する。

　手指関節認識部１１５は、撮像部（手のひら側）３０１から出力される画像（撮像結果）を取得し、取得した画像に基づいて、各手指関節位置を認識する。そして、手指関節認識部１１５は、認識した各手指関節の（撮像部（手のひら側）３０１からみた）相対的な位置を位置姿勢Ｒ４（図４）として手指関節認識統合部１１９に出力するとともに、各手指関節位置の認識結果の信頼度（後述）を手指関節認識統合部１１９に出力する。

　同様に、手指関節認識部１１７は、撮像部（手の甲側）３０２から出力される画像（撮像結果）を取得し、取得した画像に基づいて、各手指関節位置を認識する。そして、手指関節認識部１１７は、認識した各手指関節の（撮像部（手の甲側）３０２からみた）相対的な位置を位置姿勢Ｒ６（図４）として手指関節認識統合部１１９に出力するとともに、各手指関節位置の認識結果の信頼度（後述）を手指関節認識統合部１１９に出力する。

　ここで、各手指関節の（ウェアラブルデバイス３０からみた）相対的な位置は、ウェアラブルデバイス３０を基準とする座標系における座標によって表される。なお、ウェアラブルデバイス３０を基準とする座標系は特に限定されない（例えば、ウェアラブルデバイス３０を基準とする座標系は、撮像部３０１のカメラ座標系であってもよい）。また、手指関節認識部１１５および手指関節認識部１１７それぞれは、画像から位置の認識（または推定）に失敗した手指関節があった場合には、認識に失敗した手指関節（認識結果）として推定不能を示す結果を出力する。

　ウェアラブルデバイス位置姿勢推定部１０９は、ＩＲ撮像部２０１ｄから出力される画像（撮像結果）を取得する。かかる画像には、ウェアラブルデバイス３０が備える光学マーカー３２０の反射光である複数の輝点が写っている。したがって、ウェアラブルデバイス位置姿勢推定部１０９は、複数の輝点の位置関係に基づいて、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置と姿勢を位置姿勢として推定し得る。ウェアラブルデバイス位置姿勢推定部１０９は、認識したウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢（以下、「位置姿勢Ｐ１」とも示す。）をウェアラブルデバイス位置姿勢統合部１１３に出力する。

　ここで、ウェアラブルデバイス位置姿勢推定部１０９によって認識されるウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢Ｐ１は、撮像部２０１を基準としたカメラ座標系によって表される。既に説明したように、基準とされる撮像部２０１は特に限定されない。

　なお、ＩＲ撮像部２０１ｄの画角にウェアラブルデバイス３０の光学マーカー３２０の全部が入るとは限らない（即ち、ＩＲ撮像部２０１ｄの画角に、光学マーカー３２０が全く入らない場合または光学マーカー３２０の一部しか含まれない場合があり得る）。あるいは、ＩＲ撮像部２０１ｄの画角にウェアラブルデバイス３０の光学マーカー３２０の全部が入っていても、オクルージョンなどが原因となって光学マーカー３２０の全部の反射光がＩＲ撮像部２０１ｄによって撮像されるとは限らない（即ち、ＩＲ撮像部２０１ｄによって、光学マーカー３２０の反射光が全く撮像されない場合または光学マーカー３２０の一部しか撮像されない場合があり得る）。全光学マーカー３２０の内、一定個数（例えば５個）未満のマーカーしか撮像されなかった場合には、ウェアラブルデバイス位置姿勢推定部１０９は、推定不能を示す結果を出力する。

　慣性積分計算部１１１は、ウェアラブルデバイス３０の慣性計測部３０３（ＩＭＵ）から加速度情報および角速度情報を取得し、取得した加速度情報および角速度情報に基づいてウェアラブルデバイス３０の位置と姿勢（以下、「位置姿勢Ｐ２」とも示す。）を（一例として比較的低い精度で）推定する。かかる位置姿勢Ｐ２は、グローバル座標系で表される。例えば、慣性積分計算部１１１は、慣性航法によってウェアラブルデバイス３０の位置および姿勢を算出し、その際発生するドリフト誤差を回帰モデルによって補正することで、ウェアラブルデバイス３０の位置情報および姿勢情報を推定することが可能である。慣性積分計算部１１１は、グローバル座標系で表されるウェアラブルデバイス３０の位置姿勢Ｐ２を、ウェアラブルデバイス位置姿勢統合部１１３に出力する。

　同様に、慣性積分計算部１２１は、入出力装置２０の慣性計測部２２０（ＩＭＵ）から加速度情報および角速度情報を取得し、取得した加速度情報および角速度情報に基づいて入出力装置２０の位置と姿勢（以下、「位置姿勢Ｐ３」とも示す。）を推定する。かかる位置姿勢Ｐ３は、グローバル座標系で表される。例えば、慣性積分計算部１２１は、慣性航法によって入出力装置２０の位置および姿勢を算出し、その際発生するドリフト誤差を回帰モデルによって補正することで、入出力装置２０の位置情報および姿勢情報を推定することが可能である。慣性積分計算部１２１は、グローバル座標系で表される入出力装置２０の位置姿勢Ｐ３を、ウェアラブルデバイス位置姿勢統合部１１３に出力する。

　ウェアラブルデバイス位置姿勢統合部１１３は、ウェアラブルデバイス位置姿勢推定部１０９が出力するウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢Ｐ１を取得する。かかる位置姿勢Ｐ１は、撮像部２０１（例えば、撮像部２０１ａ）を基準としたカメラ座標系によって表される。さらに、ウェアラブルデバイス位置姿勢統合部１１３は、慣性積分計算部１１１が出力したウェアラブルデバイス３０の慣性計測部３０３の位置姿勢Ｐ２と、慣性積分計算部１２１が出力した入出力装置２０の慣性計測部２２０の位置姿勢Ｐ３とを取得する。かかる位置姿勢Ｐ２、Ｐ３は、それぞれグローバル座標系で表される。

　ウェアラブルデバイス位置姿勢統合部１１３は、入出力装置２０の位置姿勢Ｐ３からみたウェアラブルデバイス３０の位置姿勢Ｐ２の相対的な位置姿勢を算出し、事前にＩＭＵ－カメラキャリブレーション等によって求められているＩＭＵとカメラとの位置関係を使って、撮像部２０１を基準とする座標系（例えば、撮像部２０１ａのカメラ座標系）で表されるウェアラブルデバイス３０の位置姿勢（以下、「位置姿勢Ｐ４」とも示す。）を算出する。ウェアラブルデバイス位置姿勢統合部１１３は、位置姿勢Ｐ１と位置姿勢Ｐ４とを統合し、統合後の位置姿勢Ｒ２（図４）を手指関節認識統合部１１９に出力する。統合後の位置姿勢Ｒ２は、撮像部２０１を基準とする座標系（例えば、撮像部２０１ａのカメラ座標系）で表される。

　ここで、位置姿勢の統合はどのように行われてもよい。例えば、ウェアラブルデバイス位置姿勢統合部１１３は、ウェアラブルデバイス位置姿勢推定部１０９によって推定された位置姿勢Ｐ１が利用可能であれば（推定不能を示す場合でなければ）、当該位置姿勢Ｐ１を手指関節認識統合部１１９に出力する。一方、ウェアラブルデバイス位置姿勢統合部１１３は、ウェアラブルデバイス位置姿勢推定部１０９から推定不能が出力された場合には、位置姿勢Ｐ４を手指関節認識統合部１１９に出力する。

　なお、ここでは、ウェアラブルデバイス位置姿勢統合部１１３が、入出力装置２０のＩＲ撮像部２０１ｄによる光学マーカーの撮像結果に基づくウェアラブルデバイス３０の位置姿勢と、（入出力装置２０およびウェアラブルデバイス３０それぞれの）ＩＭＵから出力される情報に基づくウェアラブルデバイス３０の位置姿勢とを統合する場合を主に想定した。しかし、ウェアラブルデバイス位置姿勢統合部１１３から手指関節認識統合部１１９に出力されるウェアラブルデバイス３０の位置姿勢は、かかる例に限定されない。

　例えば、ウェアラブルデバイス位置姿勢統合部１１３は、光学マーカーの撮像結果に基づくウェアラブルデバイス３０の位置姿勢、ＩＭＵから出力される情報に基づくウェアラブルデバイス３０の位置姿勢、磁気トラッキングに基づくウェアラブルデバイス３０の位置姿勢、および、超音波センシングに基づくウェアラブルデバイス３０の位置姿勢のうち、少なくともいずれか二つの統合結果またはいずれか一つを手指関節認識統合部１１９に出力してもよい。

　手指関節認識統合部１１９は、ウェアラブルデバイス位置姿勢統合部１１３が出力したウェアラブルデバイス３０の位置姿勢Ｒ２（図４）を用いて、手指関節認識部１１５および手指関節認識部１１７それぞれが出力した各手指関節位置（図４には、各手指関節位置の例として、位置姿勢Ｒ４および位置姿勢Ｒ６が示されている。）を、撮像部２０１を基準とする座標系（例えば、撮像部２０１ａのカメラ座標系）で表し直す。

　図４に示した例で説明すると、手指関節認識統合部１１９は、位置姿勢Ｒ２と、撮像部（手のひら側）３０１の（ウェアラブルデバイス３０からみた）相対的な位置姿勢Ｒ３と、手指関節認識部１１５が出力した各手指関節位置（位置姿勢Ｒ４）とを足し合わせることによって、各手指関節位置（位置姿勢Ｒ４）を、撮像部２０１を基準とする座標系に表し直すことが可能である。

　なお、図４に示されるように、撮像部（手のひら側）３０１はコントローラ部３１に設けられていて、ユーザによるウェアラブルデバイス３０の装着状態に応じて、（コントローラ部３１が変形しないため）位置姿勢Ｒ３は変化しない。そこで、位置姿勢Ｒ３はユーザによるウェアラブルデバイス３０の装着前にあらかじめ設定され得る。

　同様に、手指関節認識統合部１１９は、位置姿勢Ｒ２と、撮像部（手の甲側）３０２の（ウェアラブルデバイス３０からみた）相対的な位置姿勢Ｒ５と、手指関節認識部１１７が出力した各手指関節位置（位置姿勢Ｒ６）とを足し合わせることによって、各手指関節位置（位置姿勢Ｒ６）を、撮像部２０１を基準とする座標系に表し直すことが可能である。なお、図４に示されるように、撮像部（手の甲側）３０２がコントローラ部３１に設けられている場合には、ユーザによるウェアラブルデバイス３０の装着状態に応じて、（コントローラ部３１が変形しないため）位置姿勢Ｒ５は変化しない。そこで、位置姿勢Ｒ５はユーザによるウェアラブルデバイス３０の装着前にあらかじめ設定され得る。

　ここで、撮像部（手のひら側）３０１または撮像部（手の甲側）３０２がウェアラブルデバイス３０に固定される例に限定されない。例えば、ユーザによるウェアラブルデバイス３０の装着状態に応じてバンド部３２などが変形し、位置姿勢Ｒ３またはＲ５は変化してもよい。その場合、撮像部（手のひら側）３０１、撮像部（手の甲側）３０２にＳＬＡＭを用いてそれぞれ自己位置を推定し、リアルタイムで位置姿勢Ｒ３またはＲ５を算出してもよい。そして、手指関節認識統合部１１９は、撮像部２０１を基準とする座標系（例えば、撮像部２０１ａのカメラ座標系）で表し直された、手指関節認識部１１５および手指関節認識部１１７それぞれが出力した各手指関節位置と、手指関節認識部１０３が出力した各手指関節位置とを、それらの信頼度（後述）を用いて統合する。手指関節認識統合部１１９は、統合後の各手指関節位置を最終的な手指関節位置の推定結果として（ユーザ入力の認識結果として）、処理実行部１０５に出力する。

　処理実行部１０５は、情報処理装置１０（ひいては、情報処理システム１）が提供する各種機能（例えば、アプリケーション）を実行するための構成である。例えば、処理実行部１０５は、手指関節認識統合部１１９から出力される各手指関節位置（ユーザ入力の認識結果）に応じて、対応するアプリケーションを所定の記憶部（例えば、後述する記憶部１９０）から抽出し、抽出したアプリケーションを実行してもよい。あるいは、処理実行部１０５は、実行中のアプリケーションの動作を、手指関節認識統合部１１９から出力される各手指関節位置に応じて制御してもよい。例えば、処理実行部１０５は、各手指関節位置に応じて、実行中のアプリケーションの以降の動作を切り替えてもよい。あるいは、処理実行部１０５は、各種アプリケーションの実行結果を示す情報を出力制御部１０７に出力してもよい。

　出力制御部１０７は、出力対象となる各種情報を出力部２１０および出力部３１０に出力されることで、当該情報をユーザに提示する。例えば、出力制御部１０７は、出力対象となる表示情報を表示部２１１に表示させることで、当該表示情報をユーザに提示してもよい。一例として、出力制御部１０７は、手指関節認識統合部１１９から出力される各手指関節位置（即ち、手指の認識結果）に基づいて、ユーザによって操作可能な仮想オブジェクトが表示されるように表示部２１１を制御してもよい。あるいは、出力制御部１０７は、出力対象となる情報に応じた音響を音響出力部２１３に出力させることで、当該情報をユーザに提示してもよい。あるいは、出力制御部１０７は、出力対象となる情報に応じた振動を振動提示部３１１に出力させることで、当該情報をユーザに提示してもよい。

　例えば、出力制御部１０７は、各種アプリケーションの実行結果を示す情報を処理実行部１０５から取得し、取得した当該情報に応じた出力情報を、出力部２１０を介してユーザに提示してもよい。また、出力制御部１０７は、所望のアプリケーションの実行結果を示す表示情報を表示部２１１に表示させてもよい。また、出力制御部１０７は、所望のアプリケーションの実行結果に応じた出力情報を、音響（音声を含む。）として音響出力部２１３に出力させてもよい。また、出力制御部１０７は、所望のアプリケーションの実行結果に応じた出力情報を、振動として振動提示部３１１に出力させてもよい。

　記憶部１９０は、各種データ（各種データには、コンピュータを情報処理装置１０として機能せるためのプログラムが含まれてもよい。）を一時的または恒常的に記憶するための記憶領域（記録媒体）である。例えば、記憶部１９０には、情報処理装置１０が各種機能を実行するためのデータが記憶されていてもよい。より具体的な一例として、記憶部１９０には、各種アプリケーションを実行するためのデータ（例えば、ライブラリ）および各種設定などを管理するための管理データなどが記憶されていてもよい。

　なお、図５に示した情報処理システム１の機能構成は、あくまで一例であり、前述した各構成の処理を実現することが可能であれば、情報処理システム１の機能構成は必ずしも図５に示す例に限定されない。具体的な一例として、入出力装置２０と情報処理装置１０とが一体的に構成されていてもよい。また、他の一例として、記憶部１９０が、情報処理装置１０に含まれていてもよいし、当該情報処理装置１０の外部の記録媒体（例えば、当該情報処理装置１０に対して外付けされる記録媒体）として構成されていてもよい。また、他の一例として、情報処理装置１０の各構成のうち、一部の構成が情報処理装置１０の外部（例えば、サーバ等）に設けられていてもよい。

　以上、図５を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明した。

　＜５．手指関節認識の信頼度＞
　続いて、図６～図９を参照して、本開示の一実施形態に係る信頼度の算出手法の例について説明する。なお、前述したように、信頼度は、手指関節認識部１０３、手指関節認識部１１５および手指関節認識部１１７それぞれによって、デプス画像に基づいて認識される各手指関節位置がどの程度信頼し得るかを示す情報であり、各手指認識位置に対応する値として算出される。信頼度の算出手法は、手指関節認識部１０３と手指関節認識部１１５と手指関節認識部１１７とにおいて（異なってもよいが）同様であってよい。

　図６は、デプス画像の例を示す図である。図６を参照すると、一例としてデプス画像Ｇ１が示されている。デプス画像Ｇ１には、ウェアラブルデバイス３０が装着されたユーザの手が写っている。デプス画像Ｇ１のうち、色の黒さが強い位置ほど、深度が低い（即ち、カメラに近い）位置であることを表している。逆に、色の白さが強い位置ほど、深度が高い（即ち、カメラから遠い）位置であることを表している。

　図７は、手指関節位置の例を示す図である。図７を参照すると、（例えば、図６に示したデプス画像Ｇ１のような）デプス画像に基づいて認識される各手指関節位置の例が三次元的に表されている。図７に示した例では、手のひらの中心位置が二重丸で示され、親指の各関節位置が丸で示され、人差し指の各関節位置が三角形で示され、中指の各関節位置がひし形で示され、薬指の各関節位置が五角形で示され、小指の各関節位置が六角形で示されている。各形状内の数字は、「１」が指先を示し、「２」が第一関節中心を示し、「３」が第二関節中心を示し、「４」が第三関節中心（親指を除く）を示す。各手指関節位置の座標は、カメラ座標系で表される。

　図８は、認識された各手指関節位置がデプス画像に再投影された画像の一例を示す図である。図８を参照すると、（例えば、図７に示した各関節位置のように）認識された各手指関節位置が（例えば、図６に示したデプス画像Ｇ１のような）デプス画像に再投影されて得られる再投影画像Ｇ２が示されている。なお、カメラは、事前にカメラキャリブレーションを実施して、内部パラメータと歪み係数を求めてあるため、これらを用いて、カメラ座標系から画像座標系への変換が行われ得る。

　カメラ座標系は、カメラ前方（カメラの奥行き方向）をｚ方向とする。ここで、認識された各手指関節位置がデプス画像に再投影された位置のピクセル値は、カメラからの距離を表し、その距離をＶ（ｋ）とする。一方、認識された各手指関節位置のｚ座標をＺ（ｋ）とする。このとき、その差の絶対値であるΔ（ｋ）＝｜Ｖ（ｋ）－Ｚ（ｋ）｜を、その手指関節位置の奥行き方向の誤差とする。なお、Δ（ｋ）は、手指関節位置ごとの奥行き方向の誤差の例に該当し得る。

　そして、全手指関節位置の奥行き方向の誤差のＲＭＳ（Ｒｏｏｔ　Ｍｅａｎ　Ｓｑｕａｒｅ、二乗平均平方根）はＤとして下記の式（１）のように算出され得る。なお、式（１）中において、ｎは、手指関節の数を示している。

　そして、式（１）のように算出されたＤを用いて、手指関節の信頼度が１／（１＋Ｄ）として算出され得る。即ち、Ｄが０のとき、信頼度は最大値１をとり、各関節の奥行き方向の誤差が増えると、信頼度は０に近づいていく。なお、１／（１＋Ｄ）は、手指関節位置の信頼度の一例に過ぎない。したがって、手指関節位置の信頼度の算出の手法は、かかる例に限定されない。例えば、手指関節位置の信頼度は、手指関節位置の奥行き方向の誤差が大きいほど、小さくなるように算出されればよい。

　図９は、認識された各手指関節位置がデプス画像に再投影された画像の他の例を示す図である。図９を参照すると、図８に示した例と同様に、認識された各手指関節位置がデプス画像に再投影されて得られる再投影画像Ｇ３が示されている。再投影画像Ｇ３では、人差し指が伸ばされ、それ以外の指が握るように曲げられている。人差し指（図９に示された破線を輪郭線とする指）は、ほとんど親指に隠れてしまっており、デプス画像にはほとんど写っていない。したがって、人差し指の各関節位置は、親指の奥側であると認識される。

　一方、認識された人差し指の各関節位置がデプス画像に再投影された位置のｚ座標は、カメラから親指の表面までの距離になってしまうため、認識された人差し指の各関節位置までのカメラからの距離（カメラから親指の向こう側にある人差し指までの距離）よりも短い値となってしまう。そのため、認識された人差し指の各関節位置のｚ座標と、認識された人差し指の各関節位置がデプス画像に再投影された位置のｚ座標（ピクセル値）との差は大きくなってしまい、信頼度は小さくなってしまう。

　以上、図６～図９を参照して、本開示の一実施形態に係る信頼度の算出手法の例について説明した。

　＜６．特筆すべき特徴＞
　続いて、本開示の一実施形態の特筆すべき特徴について説明する。前述したように、本開示の一実施形態に係る情報処理装置１０においては、ユーザの手指の位置姿勢（各手指関節位置）の動き（例えば、位置または向きの変化、ジェスチャなど）がユーザの操作入力として認識され、当該ユーザの操作入力の認識結果に応じて各種処理が実行される。このとき、手指の位置姿勢を認識する手法には、ユーザの頭部に装着される入出力装置２０の撮像部によって得られた画像を用いる手法と、ユーザの手のひらに装着されるウェアラブルデバイス３０の撮像部によって得られた画像を用いる手法がある。

　頭部に装着される入出力装置２０の撮像部によって得られた画像を用いる手法では、センサ駆動のためのバッテリ容量を確保しやすい反面、腕または手指の姿勢によっては手指関節の一部または全部が、ユーザ自身の身体によって遮蔽されてしまう現象（所謂、セルフオクルージョン）が原因となって入出力装置２０の撮像部によって得られる画像に写らない場合があるという事情がある。さらに、ユーザの頭部に装着される入出力装置２０の撮像部は、その画角がユーザの視界に合わせて配置されることが多いため、手指がその画角の外側（例えば、頭部の後方など）にある場合などには、手指関節の一部または全部が、入出力装置２０の撮像部によって得られる画像に写らない場合があるという事情がある。

　一方、手のひらに装着されるウェアラブルデバイス３０の撮像部によって得られる画像を用いる手法では、撮像部の画角制限が少ないため、セルフオクルージョンの影響を受けずにユーザの手指の位置姿勢を取得することができる。しかし、手のひらに装着されるウェアラブルデバイス３０は、手のひらに装着されるが故に、小型化される必要があるため、大容量のバッテリなどが搭載されにくい。そのため、撮像部による画像の撮像（あるいは、画像に基づく手指の認識）を長時間連続して実行することが困難であるという事情がある。

　そこで、本開示の実施形態において、情報処理装置１０の起動制御部１２３は、ウェアラブルデバイス３０の検出結果に基づいて、手指の認識に関連する第１の動作部および第２の動作部との間において起動される動作部の切り替えを制御する。かかる構成によれば、手指の認識に要する消費電力を低減させつつ、手指をロバストに認識することが可能となる。また、起動制御部１２３は、手指の認識に関連する第３の動作部の起動も制御する。なお、以下では、動作部が起動されるように制御することを「ＯＮにする」と表現し、動作部が停止されるように制御することを「ＯＦＦにする」と表現する場合がある。

　以下では、第１の動作部が、手指が認識される第１のデータ（デプス画像）を得る第１のセンサと、当該第１のデータに基づいて手指を認識する第１の認識部との双方を少なくとも含む場合を主に想定する。しかし、第１の動作部は、かかる第１のセンサおよび第１の認識部の少なくともいずれか一方を含んでもよい。なお、以下の説明では、第１のセンサの例として、撮像部２０１ａおよび２０１ｂが用いられる場合を主に想定する。しかし、第１のセンサとしては、前述したように、撮像部２０１ａおよび２０１ｂの代わりとなるセンサが用いられてもよい。さらに、以下の説明では、第１の認識部の例として、手指関節認識部１０３が用いられる。

　同様に、以下では、第２の動作部が、手指が認識される第２のデータ（デプス画像）を得る第２のセンサと、当該第２のデータに基づいて手指を認識する第２の認識部との双方を少なくとも含む場合を主に想定する。しかし、第２の動作部は、かかる第２のセンサおよび第２の認識部の少なくともいずれか一方を含んでもよい。なお、以下の説明では、第２のセンサの例として、撮像部（手のひら側）３０１が用いられる場合を主に想定する。しかし、第２のセンサとして、撮像部（手のひら側）３０１の代わりとなるセンサが用いられてもよい。さらに、以下の説明では、第２の認識部の例として、手指関節認識部１１５が用いられる。

　さらに、以下では、第３の動作部が、手指が認識される第３のデータ（デプス画像）を得る第３のセンサと、当該第３のデータに基づいて手指を認識する第３の認識部との双方を少なくとも含む場合を主に想定する。しかし、第３の動作部は、かかる第３のセンサおよび第３の認識部の少なくともいずれか一方を含んでもよい。なお、以下の説明では、第３のセンサの例として、撮像部（手の甲側）３０２が用いられる場合を主に想定する。しかし、第３のセンサとして、撮像部（手の甲側）３０２の代わりとなるセンサが用いられてもよい。さらに、以下の説明では、第３の認識部の例として、手指関節認識部１１７が用いられる。

　以下では、実空間に存在する認識対象として、ユーザの手指を例に挙げて説明する。さらに、検出対象として、手に装着されるウェアラブルデバイス３０（特に、光学マーカー３２０）を例に挙げて説明する。しかし、認識対象は手指でなくてもよいし、検出対象はウェアラブルデバイス３０でなくてもよい。例えば、認識対象は、手指以外の身体の部位（例えば、ユーザの腕または手のひらなど）であってもよい。そして、検出対象は、その位置が認識対象の位置の変化とともに変化するものであればよい。認識対象と検出対象とは、異なるものである場合に限らず、同一のものであってもよい（例えば、認識対象と検出対象とが共に手指であってもよい）。

　（第２のセンサの例としての）撮像部３０１は、ユーザの身体において（第１のセンサの例としての）撮像部２０１ａおよび２０１ｂよりも認識対象に近い位置に取り付けられるのが望ましい。かかる場合には、撮像部３０１のほうが撮像部２０１ａおよび２０１ｂよりもセルフオクルージョンが生じにくく、認識対象が高い信頼度によって認識され得ることが想定される。したがって、起動されるセンサ（または認識部）の切り替えを行うことによって享受される効果が大きくなることが期待される。同様に、（第３のセンサの例としての）撮像部３０２は、ユーザの身体において（第１のセンサの例としての）撮像部２０１ａおよび２０１ｂよりも認識対象に近い位置に取り付けられるのが望ましい。

　一例として、本開示の実施形態では、（第１のセンサの例としての）撮像部２０１ａおよび２０１ｂが（第１の部位の例として）頭部に装着され、（第２のセンサの例としての）撮像部３０１が（第１の部位と異なる第２の部位の例として）上肢部のうちの所定の部位（特に、手のひら側）に装着され、（第３のセンサの例としての）撮像部３０２が（第１の部位と異なる第３の部位の例として）上肢部のうちの所定の部位（特に、手の甲側）に装着され、認識対象が上肢部のうちの当該所定の部位よりも末端側の部位（特に、手指）である場合を主に想定している。しかし、これらのセンサそれぞれが装着されるユーザの身体の部位は限定されない。なお、上肢部は、ユーザの身体のうち、肩よりも先の部位（例えば、腕、手、指のどこか）を意味し得る。

　前述したように、起動制御部１２３は、（検出対象の例としての）ウェアラブルデバイス３０の検出結果に基づいて、起動される動作部の切り替えを制御する。以下では、入出力装置２０のＩＲ撮像部２０１ｄによって得られたデータ（撮像結果）に基づいて、ウェアラブルデバイス位置姿勢統合部１１３によって検出されたウェアラブルデバイス３０の検出結果が、起動制御部１２３によって用いられる場合を主に想定する。より詳細に、ＩＲ撮像部２０１ｄの向きは入出力装置２０（撮像部２０１ａおよび２０１ｂ）の向きとともに変化する。そのため、ＩＲ撮像部２０１ｄによって得られたデータに基づくウェアラブルデバイス３０の位置は、入出力装置２０の位置を基準としたウェアラブルデバイス３０の相対的な位置として、ウェアラブルデバイス位置姿勢統合部１１３によって検出位置として検出される。しかし、ウェアラブルデバイス３０を検出する手法は、かかる例に限定されない。

　例えば、ウェアラブルデバイス３０の慣性計測部３０３によって得られたデータに基づいて、ウェアラブルデバイス位置姿勢統合部１１３によって検出されたウェアラブルデバイス３０の検出結果が、起動制御部１２３によって用いられてもよい。より詳細には、（入出力装置２０の慣性計測部２２０によって得られたデータに基づいて慣性積分計算部１２１によって算出された）入出力装置２０の位置を基準とした、（ウェアラブルデバイス３０の慣性計測部３０３によって得られたデータに基づいて慣性積分計算部１１１によって算出された）ウェアラブルデバイス３０の相対的な位置が、ウェアラブルデバイス位置姿勢統合部１１３によって検出位置として検出されてもよい。

　あるいは、磁気センサによって得られたデータに基づいて検出されたウェアラブルデバイス３０の検出結果が、起動制御部１２３によって用いられてもよい。より詳細には、ウェアラブルデバイス３０に磁界を発生するデバイス（例えば、磁石など）が設けられ、入出力装置２０にその磁束を検出する磁気センサ（例えば、検出コイルなど）が設けられている場合に、磁気センサによって検出された磁界の到来方向（即ち、入出力装置２０の位置を基準としたウェアラブルデバイス３０の存在する方向）が、検出位置として検出されてもよい。

　あるいは、超音波センサによって得られたデータに基づいて検出されたウェアラブルデバイス３０の検出結果が、起動制御部１２３によって用いられてもよい。より詳細には、ウェアラブルデバイス３０に超音波を発生するデバイスが設けられ、入出力装置２０にその超音波を検出する超音波センサが設けられている場合に、超音波センサによって検出された超音波の到来方向（即ち、入出力装置２０の位置を基準としたウェアラブルデバイス３０の存在する方向）が、検出位置として検出されてもよい。

　（６．１．基本的な制御）
　まず、起動制御部１２３による基本的な制御について説明する。図１０は、入出力装置２０のＩＲ撮像部２０１ｄの画角の例を示す図である。図１０を参照すると、ＩＲ撮像部２０１ｄの画角１２０１（ＦｏＶ）が示されている。起動制御部１２３は、ウェアラブルデバイス３０の検出結果に基づいて、起動される動作部の切り替えを制御する。より詳細に、起動制御部１２３は、ＩＲ撮像部２０１ｄの画角１２０１と、ウェアラブルデバイス３０の検出位置との位置関係に基づいて、起動される動作部の切り替えを制御する。

　画角１２０１の外側の領域は、外側領域Ｅ３である。さらに、図１０を参照すると、外側領域Ｅ３および画角１２０１の他、画角１２０１の中心を基準とした領域（以下、「中央領域Ｅ１」とも言う。）が示され、外側領域Ｅ３の内側の領域かつ中央領域Ｅ１の外側の領域（以下、「バッファ領域Ｅ２」とも言う。）が示されている。また、中央領域Ｅ１とバッファ領域Ｅ２との境界１２０２が示されている。図１０に示した例では、画角１２０１の水平画角は１００度であり、画角１２０１の垂直画角は８０度であり、境界１２０２の水平画角は７５度であり、境界１２０２の垂直画角は６０度である。しかし、これらの水平画角及び垂直画角の具体的な値は限定されない。

　なお、画角１２０１の内部の領域（即ち、中央領域Ｅ１およびバッファ領域Ｅ２）は、入出力装置２０が装着される部位（頭部）の向きに応じた領域（第１の領域）の一例である。したがって、画角１２０１の内部の領域の代わりに、入出力装置２０が装着される部位（頭部）の向きに応じた他の領域（例えば、画角１２０１の内部の領域に設定される部分的な領域）が用いられてもよい。このとき、図１０に示した例では、画角１２０１の内部の領域は、矩形領域であるが、画角１２０１の内部の領域の代わりに用いられる領域の形状は、必ずしも矩形領域でなくてもよい。

　同様に、中央領域Ｅ１は、入出力装置２０が装着される部位（頭部）の向きに応じた領域（第２の領域）の一例である。したがって、中央領域Ｅ１の代わりに、入出力装置２０が装着される部位（頭部）の向きに応じた他の領域が用いられてもよい。このとき、図１０に示した例では、中央領域Ｅ１は、矩形領域であるが、中央領域Ｅ１の代わりに用いられる領域の形状は、必ずしも矩形領域でなくてもよい。また、図１０に示した例では、境界１２０２の中心と画角１２０１の中心とが一致している。しかし、後にも説明するように、境界１２０２の中心と画角１２０１の中心とは、一致していなくてもよい。

　ここで、起動制御部１２３が、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１内にあると判断した場合を想定する。かかる場合には、起動制御部１２３は、入出力装置２０の撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３をＯＮにする（電源供給を開始する）とともに、ウェアラブルデバイス３０の撮像部３０１、３０２および手指関節認識部１１５、１１７をＯＦＦにする（電源供給を停止する）。なお、入出力装置２０のＩＲ撮像部２０１ｄは、かかる制御とは関係なく（ウェアラブルデバイス３０の検出に用いられるため）、常にＯＮにされている。

　一方、起動制御部１２３が、ウェアラブルデバイス３０の検出位置が外側領域Ｅ３内にあると判断した場合を想定する。かかる場合には、起動制御部１２３は、入出力装置２０の撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３をＯＦＦにする（電源供給を停止する）とともに、ウェアラブルデバイス３０の撮像部３０１、３０２および手指関節認識部１１５、１１７をＯＮにする（電源供給を開始する）。なお、入出力装置２０の撮像部２０１ａおよび２０１ｂが手指関節認識以外の用途（例えば、ＳＬＡＭなど）で用いられる場合も想定される。かかる場合には、起動制御部１２３は、撮像部２０１ａおよび２０１ｂをＯＦＦにはせずに、ステレオデプス計算部１０１および手指関節認識部１０３のみをＯＦＦにすればよい。

　さらに、起動制御部１２３が、ウェアラブルデバイス３０の検出位置がバッファ領域Ｅ２内にあると判断した場合を想定する。かかる場合には、起動制御部１２３は、入出力装置２０の撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３、ウェアラブルデバイス３０の撮像部３０１、３０２および手指関節認識部１１５、１１７をＯＮにする。これによって、（例えば、撮像部のＯＮとＯＦＦとの間の切り替え時に撮像部の初期化に時間を要するような場合であっても、一方の撮像部がＯＦＦにされる前に、他方の撮像部がＯＮにされるため）入出力装置２０の撮像部２０１ａおよび２０１ｂからもウェアラブルデバイス３０の撮像部３０１および３０２からもデータ（撮像結果）が得られなくなってしまう期間が生じることを防ぐことが可能となる。

　なお、以上に説明したように、バッファ領域Ｅ２（第３の領域）が設けられるのが望ましいが、バッファ領域Ｅ２が設けられない場合も想定され得る。かかる場合には、画角１２０１と境界１２０２とは特に区別されなくてよい（例えば、ウェアラブルデバイス３０の検出位置がバッファ領域Ｅ２内にある場合が、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１内にある場合と同様に扱われればよい）。

　続いて、起動制御部１２３による基本的な制御について状態ごとに整理して説明する。図１１は、起動制御部１２３による基本的な制御について状態ごとに整理した図である。図１１に示された例において、「状態Ａ」は、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１内（図１０）にあると判断された状態を示す。「状態Ａ」では、撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３がＯＮであり、撮像部３０１、３０２、手指関節認識部１１５および１１７がＯＦＦである。

　一方、「状態Ｂ」は、ウェアラブルデバイス３０の検出位置が外側領域Ｅ３（図１０）にあると判断された状態を示す。「状態Ｂ」では、撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３がＯＦＦであり、撮像部３０１、３０２、手指関節認識部１１５および１１７がＯＮである。

　さらに、「状態Ｃ」は、ウェアラブルデバイス３０の検出位置がバッファ領域Ｅ２（図１０）にあると判断された場合を示す。「状態Ｃ」では、撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１、手指関節認識部１０３、撮像部３０１、３０２、手指関節認識部１１５および１１７がＯＮである。初期状態は「状態Ａ」であるとする。

　このとき、起動制御部１２３が、ウェアラブルデバイス３０の検出位置が外側領域Ｅ３にあることを検出した場合を想定する。かかる場合には、起動制御部１２３は、かかる検出に基づいて、現在の状態を「状態Ａ」から「状態Ｂ」に遷移させる。一方、起動制御部１２３が、現在の状態が「状態Ａ」であるときに、ウェアラブルデバイス３０の検出位置がバッファ領域Ｅ２にあることを検出した場合を想定する。かかる場合には、起動制御部１２３は、かかる検出に基づいて、現在の状態を「状態Ａ」から「状態Ｃ」に遷移させる。

　続いて、起動制御部１２３が、現在の状態が「状態Ｂ」であるときに、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１に移動したことを検出した場合を想定する。かかる場合には、起動制御部１２３は、かかる移動に基づいて、現在の状態を「状態Ｂ」から「状態Ａ」に遷移させる。一方、起動制御部１２３が、現在の状態が「状態Ｂ」であるときに、ウェアラブルデバイス３０の検出位置がバッファ領域Ｅ２に移動したことを検出した場合を想定する。かかる場合には、起動制御部１２３は、かかる移動に基づいて、現在の状態を「状態Ａ」から「状態Ｃ」に遷移させる。

　続いて、起動制御部１２３が、現在の状態が「状態Ｃ」であるときに、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１に移動したことを検出した場合を想定する。かかる場合には、起動制御部１２３は、かかる移動に基づいて、現在の状態を「状態Ｃ」から「状態Ａ」に遷移させる。一方、起動制御部１２３が、現在の状態が「状態Ｃ」であるときに、ウェアラブルデバイス３０の検出位置が外側領域Ｅ３に移動したことを検出した場合を想定する。かかる場合には、起動制御部１２３は、かかる移動に基づいて、現在の状態を「状態Ｃ」から「状態Ｂ」に遷移させる。

　このように、起動制御部１２３は、電力制約のより小さい入出力装置２０を用いるのが効果的である場合は、撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３をＯＮにするとともに、撮像部３０１、３０２、手指関節認識部１１５および１１７をＯＦＦにする。一方、起動制御部１２３は、入出力装置２０を用いるのが効果的でない場合は、撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３をＯＦＦにするとともに、撮像部３０１、３０２、手指関節認識部１１５および１１７をＯＮにする。これによって、手指関節位置の認識に要する消費電力を低減させつつ、手指関節位置をロバストに認識することが可能となる。

　なお、境界１２０２の位置は可変であってもよい。例えば、起動制御部１２３は、ウェアラブルデバイス３０の（撮像部２０１からみた）相対速度に基づいて、境界１２０２の位置を調整してもよい。一例として、起動制御部１２３は、撮像部２０１に対するウェアラブルデバイス３０の相対速度が第１の速度よりも大きい場合には、（バッファ領域Ｅ２が大きいほうがよいため）境界１２０２を画角１２０１の中心に近づけてもよい。一方、起動制御部１２３は、撮像部２０１に対するウェアラブルデバイス３０の相対速度が第２の速度よりも小さい場合には、（バッファ領域Ｅ２が小さくてよいため）境界１２０２を画角１２０１の中心から遠ざけてもよい。

　また、前述した例では、ウェアラブルデバイス３０の検出位置が直接用いられたが、起動制御部１２３は、ウェアラブルデバイス３０の検出位置の代わりに、検出位置に基づいて予測した位置（予測位置）を用いてもよい。例えば、起動制御部１２３は、ウェアラブルデバイス３０の検出位置と、ウェアラブルデバイス３０の（撮像部２０１からみた）相対速度とに基づいて、一定時間（例えば、１６．６ミリ秒）が経過した後のウェアラブルデバイス３０の位置を予測し、予測した位置（予測位置）をウェアラブルデバイス３０の検出位置の代わりに用いてもよい。

　（６．２．入出力装置側の信頼度による制御）
　続いて、起動制御部１２３による入出力装置側の信頼度による制御について説明する。ここで、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１内にあると起動制御部１２３によって判断された場合を想定する。しかし、かかる場合であっても、入出力装置２０の撮像部２０１ａおよび２０１ｂによって得られたデータに基づいて手指関節認識部１０３によって認識された手指関節位置の信頼度が第１の閾値を下回る場合も想定される。かかる場合には、ユーザの手指が撮像部２０１ａおよび２０１ｂからみてセルフオクルージョンまたは他のオクルージョンによって隠れてしまっている状況などが想定される。

　あるいは、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１内にあると判断された場合であっても、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢Ｒ２（図４）が第１の条件を満たす場合（例えば、光学マーカー３２０が付されたコントローラ部３１の面と撮像部２０１の向きとの成す角度が第１の角度よりも小さい場合）も想定される。かかる場合には、撮像部２０１ａおよび２０１ｂによって得られたデータに基づいてユーザの手指が精度良く認識されにくい状況などが想定される。

　したがって、起動制御部１２３は、手指関節認識部１０３によって認識された手指関節位置の信頼度が第１の閾値を下回る場合、または、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢Ｒ２（図４）が第１の条件を満たす場合、入出力装置２０の撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３をＯＦＦにするとともに、ウェアラブルデバイス３０の撮像部３０１、３０２および手指関節認識部１１５、１１７をＯＮにする。

　なお、入出力装置２０の撮像部２０１ａおよび２０１ｂが手指関節認識以外の用途（例えば、ＳＬＡＭなど）で用いられる場合も想定される。かかる場合には、起動制御部１２３は、撮像部２０１ａおよび２０１ｂをＯＦＦにはせずに、ステレオデプス計算部１０１および手指関節認識部１０３のみをＯＦＦにすればよい。

　ただし、起動制御部１２３は、所定の時間間隔で（例えば、数秒に一回など）入出力装置２０の撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３をＯＮにする。これによって、起動制御部１２３は、入出力装置２０の撮像部２０１ａおよび２０１ｂによって得られたデータに基づいて手指関節認識部１０３によって認識された手指関節位置の信頼度を取得する。

　起動制御部１２３は、手指関節認識部１０３によって認識された手指関節位置の信頼度が第２の閾値を上回る場合、または、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢Ｒ２（図４）が第２の条件を満たす場合（例えば、光学マーカー３２０が付されたコントローラ部３１の面と撮像部２０１の向きとの成す角度が第２の角度よりも大きい場合）、入出力装置２０の撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３をＯＮにしたまま、ウェアラブルデバイス３０の撮像部３０１、３０２および手指関節認識部１１５、１１７をＯＦＦにする。

　一方、起動制御部１２３は、手指関節認識部１０３によって認識された手指関節位置の信頼度が第２の閾値以下である場合、かつ、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢Ｒ２（図４）が第２の条件を満たさない場合、再び入出力装置２０の撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３をＯＦＦにする。なお、第１の閾値と第２の閾値とは、同じであってもよいし、異なっていてもよい。同様に、第１の角度と第２の角度とは、同じであってもよいし、異なっていてもよい。

　続いて、起動制御部１２３による信頼度による制御について状態ごとに整理して説明する。図１２は、起動制御部１２３による信頼度による制御について状態ごとに整理した図である。図１２に示された例において、「状態Ａ」「状態Ｄ」それぞれは、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１内（図１０）にあると判断された状態を示す。

　「状態Ａ」では、撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３がＯＮであり、撮像部３０１、３０２、手指関節認識部１１５および１１７がＯＦＦである。一方、「状態Ｄ」では、撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３がＯＦＦであり、撮像部３０１、３０２、手指関節認識部１１５および１１７がＯＮであるが、所定の時間間隔で（例えば、数秒に一回など）入出力装置２０の撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３がＯＮにされる。

　起動制御部１２３が、現在の状態が「状態Ａ」であるときに、手指関節認識部１０３によって認識された手指関節位置の信頼度が第１の閾値を下回る場合、または、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢Ｒ２（図４）が第１の条件を満たす場合であると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ａ」から「状態Ｄ」に遷移させる。

　一方、起動制御部１２３が、現在の状態が「状態Ｄ」であるときに、手指関節認識部１０３によって認識された手指関節位置の信頼度が第２の閾値を上回る場合、または、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢Ｒ２（図４）が第２の条件を満たす場合であると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ｄ」から「状態Ａ」に遷移させる。

　（６．３．ウェアラブルデバイス側の信頼度による制御）
　続いて、起動制御部１２３によるウェアラブルデバイス側の信頼度による制御について説明する。ここで、ウェアラブルデバイス３０の検出位置が外側領域Ｅ３内またはバッファ領域Ｅ２内にあると起動制御部１２３によって判断された場合を想定する。しかし、かかる場合であっても、ウェアラブルデバイス３０の撮像部３０１によって得られたデータに基づいて手指関節認識部１０３によって認識された手指関節位置の信頼度が第３の閾値を下回る場合も想定される。このときには、手指関節位置をより精度良く認識するために、ウェアラブルデバイス３０の撮像部３０２もＯＮになっていたほうが望ましいと考えられる。

　一方、ウェアラブルデバイス３０の撮像部３０１によって得られたデータに基づいて手指関節認識部１０３によって認識された手指関節位置の信頼度が第４の閾値を上回る場合も想定される。このときには、消費電力を低減するために、ウェアラブルデバイス３０の撮像部３０２はＯＦＦになっていてもよいと考えられる。これによって、手指関節位置の認識に要する消費電力を低減させつつ、手指関節位置の認識精度の低下を抑制することが可能となる。

　（検出位置が外側領域Ｅ３内）
　ここで、起動制御部１２３が、ウェアラブルデバイス３０の検出位置が外側領域Ｅ３内にあると判断した場合を想定する。かかる場合には、起動制御部１２３は、入出力装置２０の撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３をＯＦＦにする（電源供給を停止する）とともに、ウェアラブルデバイス３０の撮像部３０１および手指関節認識部１１５をＯＮにする（電源供給を開始する）。しかし、起動制御部１２３は、ウェアラブルデバイス３０の撮像部３０２および手指関節認識部１１７を一旦ＯＦＦにする。

　そして、起動制御部１２３は、ウェアラブルデバイス３０の撮像部３０１によって得られたデータに基づいて手指関節認識部１１５によって認識された手指関節位置の信頼度を取得する。起動制御部１２３は、撮像部３０２および手指関節認識部１１７がＯＦＦである場合、かつ、手指関節認識部１１５によって認識された手指関節位置の信頼度が第３の閾値を下回る場合、ウェアラブルデバイス３０の撮像部３０２および手指関節認識部１１７をＯＮにする。一方、起動制御部１２３は、撮像部３０２および手指関節認識部１１７がＯＮである場合、かつ、手指関節認識部１１５によって認識された手指関節位置の信頼度が第４の閾値を上回る場合、ウェアラブルデバイス３０の撮像部３０２および手指関節認識部１１７をＯＦＦにする。

　なお、第３の閾値と第４の閾値とは、同じであってもよいし、異なっていてもよい。さらに、ウェアラブルデバイス３０の撮像部３０２および手指関節認識部１１７のＯＮとＯＦＦとの切り替えには、ダウンタイムがあってもよい。即ち、起動制御部１２３は、ウェアラブルデバイス３０の撮像部３０２および手指関節認識部１１７をＯＮからＯＦＦに切り替えた場合、一定時間が経過するまでは手指関節認識部１１５によって認識された手指関節位置の信頼度に関わらず、ウェアラブルデバイス３０の撮像部３０２および手指関節認識部１１７をＯＮに再度切り替えないようにしてもよい。

　（検出位置がバッファ領域Ｅ２内）
　起動制御部１２３が、ウェアラブルデバイス３０の検出位置がバッファ領域Ｅ２内にあると判断した場合を想定する。かかる場合には、起動制御部１２３は、入出力装置２０の撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３、ウェアラブルデバイス３０の撮像部３０１、３０２および手指関節認識部１１５、１１７をＯＮにする。これによって、前述したように、入出力装置２０の撮像部２０１ａおよび２０１ｂからもウェアラブルデバイス３０の撮像部３０１および３０２からもデータ（撮像結果）が得られなくなってしまう期間が生じることを防ぐことが可能となる。

　さらに、ウェアラブルデバイス３０の検出位置がバッファ領域Ｅ２内にあると判断した場合、起動制御部１２３は、入出力装置２０の撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３をＯＦＦにする（電源供給を停止する）とともに、ウェアラブルデバイス３０の撮像部３０１および手指関節認識部１１５をＯＮにする（電源供給を開始する）。しかし、起動制御部１２３は、ウェアラブルデバイス３０の撮像部３０２および手指関節認識部１１７を一旦ＯＦＦにする。

　そして、起動制御部１２３は、ウェアラブルデバイス３０の検出位置が外側領域Ｅ３内にある場合と同様に、撮像部３０２および手指関節認識部１１７がＯＦＦである場合、かつ、手指関節認識部１１５によって認識された手指関節位置の信頼度が第３の閾値を下回る場合、ウェアラブルデバイス３０の撮像部３０２および手指関節認識部１１７をＯＮにする。一方、起動制御部１２３は、撮像部３０２および手指関節認識部１１７がＯＮである場合、かつ、手指関節認識部１１５によって認識された手指関節位置の信頼度が第４の閾値を上回る場合、ウェアラブルデバイス３０の撮像部３０２および手指関節認識部１１７をＯＦＦにする。

　（状態ごとの整理）
　続いて、起動制御部１２３によるウェアラブルデバイス側の信頼度による制御について状態ごとに整理して説明する。図１３は、起動制御部１２３によるウェアラブルデバイス側の信頼度による制御について状態ごとに整理した図である。図１３に示された例において、「状態Ａ」は、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１内（図１０）にあると判断された状態を示す。「状態Ｂ１」「状態Ｂ２」は、ウェアラブルデバイス３０の検出位置が外側領域Ｅ３内（図１０）にあると判断された状態を示す。「状態Ｃ１」「状態Ｃ２」は、ウェアラブルデバイス３０の検出位置がバッファ領域Ｅ２内（図１０）にあると判断された状態を示す。

　「状態Ａ」では、撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３がＯＮであり、撮像部３０１、３０２、手指関節認識部１１５および１１７がＯＦＦである。

　「状態Ｂ１」では、撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３がＯＦＦであり、撮像部３０１および手指関節認識部１１５がＯＮであるが、撮像部３０２および手指関節認識部１１７がＯＦＦである。「状態Ｂ２」では、撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３がＯＦＦであり、撮像部３０１および手指関節認識部１１５がＯＮであり、撮像部３０２および手指関節認識部１１７もＯＮである。

　「状態Ｃ１」では、撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３がＯＮであり、撮像部３０１および手指関節認識部１１５がＯＮであるが、撮像部３０２および手指関節認識部１１７がＯＦＦである。「状態Ｃ２」では、撮像部２０１ａ、２０１ｂ、ステレオデプス計算部１０１および手指関節認識部１０３がＯＮであり、撮像部３０１および手指関節認識部１１５がＯＮであり、撮像部３０２および手指関節認識部１１７もＯＮである。初期状態は「状態Ａ」であるとする。

　起動制御部１２３が、現在の状態が「状態Ａ」であるときに、ウェアラブルデバイス３０の検出位置が外側領域Ｅ３にあると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ａ」から「状態Ｂ１」に遷移させる。一方、起動制御部１２３が、現在の状態が「状態Ａ」であるときに、ウェアラブルデバイス３０の検出位置がバッファ領域Ｅ２にあると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ａ」から「状態Ｃ１」に遷移させる。

　起動制御部１２３は、現在の状態が「状態Ｂ１」であるときに、手指関節認識部１１５によって認識された手指関節位置の信頼度が第３の閾値を下回った場合、現在の状態を「状態Ｂ１」から「状態Ｂ２」に遷移させる。一方、起動制御部１２３は、現在の状態が「状態Ｂ２」であるときに、手指関節認識部１１５によって認識された手指関節位置の信頼度が第４の閾値を上回った場合、現在の状態を「状態Ｂ２」から「状態Ｂ１」に遷移させる。

　同様に、起動制御部１２３は、現在の状態が「状態Ｃ１」であるときに、手指関節認識部１１５によって認識された手指関節位置の信頼度が第３の閾値を下回った場合、現在の状態を「状態Ｃ１」から「状態Ｃ２」に遷移させる。一方、起動制御部１２３は、現在の状態が「状態Ｃ２」であるときに、手指関節認識部１１５によって認識された手指関節位置の信頼度が第４の閾値を上回った場合、現在の状態を「状態Ｃ２」から「状態Ｃ１」に遷移させる。

　起動制御部１２３は、現在の状態が「状態Ｂ１」または「状態Ｂ２」であるときに、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１に移動したことを検出した場合を想定する。かかる場合には、起動制御部１２３は、現在の状態を「状態Ｂ１」または「状態Ｂ２」から「状態Ａ」に遷移させる。一方、起動制御部１２３が、現在の状態が「状態Ｂ１」または「状態Ｂ２」であるときに、ウェアラブルデバイス３０の検出位置がバッファ領域Ｅ２に移動したことを検出した場合を想定する。かかる場合には、起動制御部１２３は、現在の状態を「状態Ｂ１」または「状態Ｂ２」から「状態Ｃ１」に遷移させる。

　起動制御部１２３は、現在の状態が「状態Ｃ１」または「状態Ｃ２」であるときに、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１に移動したことを検出した場合を想定する。かかる場合には、起動制御部１２３は、現在の状態を「状態Ｃ１」または「状態Ｃ２」から「状態Ａ」に遷移させる。一方、起動制御部１２３が、現在の状態が「状態Ｃ１」または「状態Ｃ２」であるときに、ウェアラブルデバイス３０の検出位置が外側領域Ｅ３に移動したことを検出した場合を想定する。かかる場合には、起動制御部１２３は、現在の状態を「状態Ｃ１」または「状態Ｃ２」から「状態Ｂ１」に遷移させる。

　（６．４．双方のデバイスの信頼度による制御）
　続いて、入出力装置側の信頼度による制御と、ウェアラブルデバイス側の信頼度による制御とを統合した例について説明する。

　図１４は、入出力装置側の信頼度による制御と、ウェアラブルデバイス側の信頼度による制御とを統合した例について状態ごとに整理した図である。図１４に示された例は、図１２に示された入出力装置側の信頼度による制御について状態ごとに整理した図と、図１３に示されたウェアラブルデバイス側の信頼度による制御について状態ごとに整理した図とを統合した上で、「状態Ｄ」も「状態Ｄ１」と「状態Ｄ２」とに分離された例である。初期状態は「状態Ａ」であるとする。

　起動制御部１２３は、現在の状態が「状態Ａ」であるときに、手指関節認識部１０３によって認識された手指関節位置の信頼度が第１の閾値を下回る場合、または、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢（図４）が第１の条件を満たす場合であると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ａ」から「状態Ｄ１」に遷移させる。

　起動制御部１２３は、現在の状態が「状態Ｄ１」であるときに、手指関節認識部１０３によって認識された手指関節位置の信頼度が第２の閾値を上回る場合、または、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢Ｒ２（図４）が第２の条件を満たす場合であると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ｄ１」から「状態Ａ」に遷移させる。起動制御部１２３は、現在の状態が「状態Ｄ１」であるときに、手指関節認識部１１５によって認識された手指関節位置の信頼度が第３の閾値を下回った場合、現在の状態を「状態Ｄ１」から「状態Ｄ２」に遷移させる。

　起動制御部１２３は、現在の状態が「状態Ｄ２」であるときに、手指関節認識部１０３によって認識された手指関節位置の信頼度が第２の閾値を上回る場合、または、ウェアラブルデバイス３０の（撮像部２０１からみた）相対的な位置姿勢Ｒ２（図４）が第２の条件を満たす場合であると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ｄ２」から「状態Ａ」に遷移させる。起動制御部１２３は、現在の状態が「状態Ｄ２」であるときに、手指関節認識部１１５によって認識された手指関節位置の信頼度が第４の閾値を上回った場合、現在の状態を「状態Ｄ２」から「状態Ｄ１」に遷移させる。

　起動制御部１２３が、現在の状態が「状態Ａ」「状態Ｄ１」または「状態Ｄ２」であるときに、ウェアラブルデバイス３０の検出位置が外側領域Ｅ３にあると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ｂ１」に遷移させる。一方、起動制御部１２３が、現在の状態が「状態Ａ」「状態Ｄ１」または「状態Ｄ２」であるときに、ウェアラブルデバイス３０の検出位置がバッファ領域Ｅ２にあると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ｃ１」に遷移させる。

　起動制御部１２３が、現在の状態が「状態Ｂ１」であるときに、手指関節認識部１１５によって認識された手指関節位置の信頼度が第３の閾値を下回った場合、現在の状態を「状態Ｂ１」から「状態Ｂ２」に遷移させる。起動制御部１２３が、現在の状態が「状態Ｂ２」であるときに、手指関節認識部１１５によって認識された手指関節位置の信頼度が第４の閾値を上回った場合、現在の状態を「状態Ｂ２」から「状態Ｂ１」に遷移させる。

　起動制御部１２３が、現在の状態が「状態Ｂ１」または「状態Ｂ２」であるときに、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１にあると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ａ」に遷移させる。一方、起動制御部１２３が、現在の状態が「状態Ｂ１」または「状態Ｂ２」であるときに、ウェアラブルデバイス３０の検出位置がバッファ領域Ｅ２にあると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ｃ１」に遷移させる。

　起動制御部１２３が、現在の状態が「状態Ｃ１」であるときに、手指関節認識部１１５によって認識された手指関節位置の信頼度が第３の閾値を下回った場合、現在の状態を「状態Ｃ１」から「状態Ｃ２」に遷移させる。起動制御部１２３が、現在の状態が「状態Ｃ２」であるときに、手指関節認識部１１５によって認識された手指関節位置の信頼度が第４の閾値を上回った場合、現在の状態を「状態Ｃ２」から「状態Ｃ１」に遷移させる。

　起動制御部１２３が、現在の状態が「状態Ｃ１」または「状態Ｃ２」であるときに、ウェアラブルデバイス３０の検出位置が中央領域Ｅ１にあると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ａ」に遷移させる。一方、起動制御部１２３が、現在の状態が「状態Ｃ１」または「状態Ｃ２」であるときに、ウェアラブルデバイス３０の検出位置が外側領域Ｅ３にあると判断したとする。かかる場合には、起動制御部１２３は、現在の状態を「状態Ｂ１」に遷移させる。

　以上、本開示の一実施形態の特筆すべき特徴について説明した。

　＜７．ハードウェア構成例＞
　続いて、図１５を参照しながら、前述した情報処理装置１０や入出力装置２０やウェアラブルデバイス３０のように、本開示の一実施形態に係る情報処理システム１を構成する各種の情報処理装置のハードウェア構成の一例について、詳細に説明する。図１５は、本開示の一実施形態に係る情報処理システム１を構成する各種の情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。

　本実施形態に係る情報処理システム１を構成する情報処理装置９００は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

　ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図５に示す情報処理装置１０が有する各ブロックは、ＣＰＵ９０１により構成され得る。

　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、前述の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

　出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。例えば、図５に示す出力部２１０は、出力装置９１７により構成され得る。

　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図５に示す記憶部１９０は、ストレージ装置９１９により構成され得る。

　ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）又は電子機器等であってもよい。

　接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

　通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

　以上、本開示の実施形態に係る情報処理システム１を構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。前述の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１５では図示しないが、情報処理システム１を構成する情報処理装置９００に対応する各種の構成を当然備える。

　なお、前述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、前述のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。

　以上、本開示の一実施形態に係る情報処理システム１を構成する各種の情報処理装置のハードウェア構成の一例について説明した。

　＜８．まとめ＞
　本開示の実施形態によれば、検出対象の検出結果に基づいて、実空間に存在する認識対象の認識に関連する第１の動作部と第２の動作部との間において起動される動作部の切り替えを制御する制御部を備え、前記認識対象が認識される第１のデータを得る第１のセンサは、ユーザの身体の第１の部位に装着され、前記認識対象が認識される第２のデータを得る第２のセンサは、前記身体の前記第１の部位とは異なる第２の部位に装着される、情報処理装置が提供される。

　かかる構成によれば、認識対象の認識に要する消費電力を低減させつつ、認識対象をロバストに認識することが可能な技術が提供される。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、前述の効果とともに、または前述の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　検出対象の検出結果に基づいて、実空間に存在する認識対象の認識に関連する第１の動作部と第２の動作部との間において起動される動作部の切り替えを制御する制御部を備え、
　前記認識対象が認識される第１のデータを得る第１のセンサは、ユーザの身体の第１の部位に装着され、前記認識対象が認識される第２のデータを得る第２のセンサは、前記身体の前記第１の部位とは異なる第２の部位に装着される、
　情報処理装置。
（２）
　前記第１の動作部は、前記第１のセンサ、および、前記第１のデータに基づいて前記認識対象を認識する第１の認識部の少なくともいずれか一方を含み、
　前記第２の動作部は、前記第２のセンサ、および、前記第２のデータに基づいて前記認識対象を認識する第２の認識部の少なくともいずれか一方を含む、
　前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記検出対象の検出位置または前記検出位置に基づく予測位置の、前記第１の部位の向きに応じた第１の領域外から、前記第１の部位の向きに応じた第２の領域内への移動に基づいて、前記第２の動作部が停止されるように制御する、
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記制御部は、前記検出位置または前記予測位置の、前記第１の領域外から、前記第２の領域内への移動に基づいて、前記第１の動作部が起動されるように制御する、
　前記（３）に記載の情報処理装置。
（５）
　前記制御部は、前記検出位置または前記予測位置の、前記第１の領域外から、前記第１の領域のうち前記第２の領域の外側の領域である第３の領域内への移動に基づいて、前記第１の動作部が起動されるように制御する、
　前記（３）に記載の情報処理装置。
（６）
　前記制御部は、前記検出位置または前記予測位置の、前記第２の領域内から、前記第１の領域外への移動に基づいて、前記第１の動作部が停止されるように制御する、
　前記（３）に記載の情報処理装置。
（７）
　前記制御部は、前記検出位置または前記予測位置の、前記第２の領域内から、前記第１の領域外への移動に基づいて、前記第２の動作部が起動されるように制御する、
　前記（６）に記載の情報処理装置。
（８）
　前記制御部は、前記検出位置または前記予測位置の、前記第２の領域内から、前記第１の領域のうち前記第２の領域の外側の領域である第３の領域内への移動に基づいて、前記第２の動作部が起動されるように制御する、
　前記（６）に記載の情報処理装置。
（９）
　前記制御部は、前記１の認識部による前記認識対象の認識の信頼度が第１の閾値を下回る場合、または、前記検出対象の前記第１のセンサからみた相対的な位置姿勢が第１の条件を満たす場合に、前記第２の動作部が起動されるように制御する、
　前記（２）に記載の情報処理装置。
（１０）
　前記制御部は、前記第２の動作部が起動されるように制御した後、前記第１の認識部による前記認識対象の認識の信頼度が第２の閾値を上回る場合、または、前記検出対象の前記第１のセンサからみた相対的な位置姿勢が第２の条件を満たす場合に、前記第２の動作部が停止されるように制御する、
　前記（９）に記載の情報処理装置。
（１１）
　前記制御部は、前記検出対象の検出位置または前記検出位置に基づく予測位置が、前記第１の部位の向きに応じた第１の領域外に存在する場合において、前記２の認識部による前記認識対象の認識の信頼度が第３の閾値を下回る場合、第３の動作部が起動されるように制御する、
　前記（２）に記載の情報処理装置。
（１２）
　前記情報処理装置は、前記認識対象の認識結果に基づいて、前記ユーザによって操作可能な仮想オブジェクトが表示されるように表示部を制御する出力制御部を備える、
　前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記第２のセンサは、前記身体において前記第１のセンサよりも前記認識対象に近い位置に取り付けられる、
　前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記第１のセンサは、頭部に装着され、
　前記第２のセンサは、上肢部のうちの所定の部位に装着され、
　前記認識対象は、上肢部のうちの前記所定の部位よりも末端側の部位である、
　前記（１３）に記載の情報処理装置。
（１５）
　前記制御部は、撮像部、慣性計測部、磁気センサおよび超音波センサの少なくともいずれか一つによって得られたデータに基づく、前記検出対象の検出結果に基づいて、前記切り替えを制御する、
　前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記制御部は、前記撮像部の画角と前記検出対象の検出結果とに基づいて、前記切り替えを制御する、
　前記（１５）に記載の情報処理装置。
（１７）
　前記制御部は、前記撮像部によって得られたデータに基づく前記検出対象の検出結果に基づいて、前記切り替えを制御し、
　前記撮像部の向きは、前記第１のセンサの向きの変化とともに変化する、
　前記（１５）に記載の情報処理装置。
（１８）
　前記認識対象の位置は、前記検出対象の位置の変化とともに変化する、
　前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　プロセッサが、検出対象の検出結果に基づいて、実空間に存在する認識対象の認識に関連する第１の動作部と第２の動作部との間において起動される動作部の切り替えを制御することを含み、
　前記認識対象が認識される第１のデータを得る第１のセンサは、ユーザの身体の第１の部位に装着され、前記認識対象が認識される第２のデータを得る第２のセンサは、前記身体の前記第１の部位とは異なる第２の部位に装着される、
　情報処理方法。
（２０）
　コンピュータを、
　検出対象の検出結果に基づいて、実空間に存在する認識対象の認識に関連する第１の動作部と第２の動作部との間において起動される動作部の切り替えを制御する制御部を備え、
　前記認識対象が認識される第１のデータを得る第１のセンサは、ユーザの身体の第１の部位に装着され、前記認識対象が認識される第２のデータを得る第２のセンサは、前記身体の前記第１の部位とは異なる第２の部位に装着される、
　情報処理装置として機能させるためのプログラム。

　１　　　情報処理システム
　１０　　情報処理装置
　１０１　ステレオデプス計算部
　１０３　手指関節認識部
　１０５　処理実行部
　１０７　出力制御部
　１０９　ウェアラブルデバイス位置姿勢推定部
　１１１　慣性積分計算部
　１１３　ウェアラブルデバイス位置姿勢統合部
　１１５　手指関節認識部
　１１７　手指関節認識部
　１１９　手指関節認識統合部
　１２１　慣性積分計算部
　１２３　起動制御部
　１９０　記憶部
　２０　　入出力装置
　２０１ａ　撮像部
　２０１ｂ　撮像部
　２０１ｄ　ＩＲ撮像部
　２０１ｃ　ＩＲ光源
　２１０　出力部
　２１１　表示部
　２１３　音響出力部
　２２０　慣性計測部
　３０　　ウェアラブルデバイス
　３０１　撮像部
　３０２　撮像部
　３０３　慣性計測部
　３１０　出力部
　３１１　振動提示部
　３２０　光学マーカー
　１２０１　画角
　１２０２　境界
　Ｅ１　　中央領域
　Ｅ２　　バッファ領域
　Ｅ３　　外側領域

Claims

　検出対象の検出結果に基づいて、実空間に存在する認識対象の認識に関連する第１の動作部と第２の動作部との間において起動される動作部の切り替えを制御する制御部を備え、
　前記認識対象が認識される第１のデータを得る第１のセンサは、ユーザの身体の第１の部位に装着され、前記認識対象が認識される第２のデータを得る第２のセンサは、前記身体の前記第１の部位とは異なる第２の部位に装着される、
　情報処理装置。
　前記第１の動作部は、前記第１のセンサ、および、前記第１のデータに基づいて前記認識対象を認識する第１の認識部の少なくともいずれか一方を含み、
　前記第２の動作部は、前記第２のセンサ、および、前記第２のデータに基づいて前記認識対象を認識する第２の認識部の少なくともいずれか一方を含む、
　請求項１に記載の情報処理装置。
　前記制御部は、前記検出対象の検出位置または前記検出位置に基づく予測位置の、前記第１の部位の向きに応じた第１の領域外から、前記第１の部位の向きに応じた第２の領域内への移動に基づいて、前記第２の動作部が停止されるように制御する、
　請求項１に記載の情報処理装置。
　前記制御部は、前記検出位置または前記予測位置の、前記第１の領域外から、前記第２の領域内への移動に基づいて、前記第１の動作部が起動されるように制御する、
　請求項３に記載の情報処理装置。
　前記制御部は、前記検出位置または前記予測位置の、前記第１の領域外から、前記第１の領域のうち前記第２の領域の外側の領域である第３の領域内への移動に基づいて、前記第１の動作部が起動されるように制御する、
　請求項３に記載の情報処理装置。
　前記制御部は、前記検出位置または前記予測位置の、前記第２の領域内から、前記第１の領域外への移動に基づいて、前記第１の動作部が停止されるように制御する、
　請求項３に記載の情報処理装置。
　前記制御部は、前記検出位置または前記予測位置の、前記第２の領域内から、前記第１の領域外への移動に基づいて、前記第２の動作部が起動されるように制御する、
　請求項６に記載の情報処理装置。
　前記制御部は、前記検出位置または前記予測位置の、前記第２の領域内から、前記第１の領域のうち前記第２の領域の外側の領域である第３の領域内への移動に基づいて、前記第２の動作部が起動されるように制御する、
　請求項６に記載の情報処理装置。
　前記制御部は、前記１の認識部による前記認識対象の認識の信頼度が第１の閾値を下回る場合、または、前記検出対象の前記第１のセンサからみた相対的な位置姿勢が第１の条件を満たす場合に、前記第２の動作部が起動されるように制御する、
　請求項２に記載の情報処理装置。
　前記制御部は、前記第２の動作部が起動されるように制御した後、前記第１の認識部による前記認識対象の認識の信頼度が第２の閾値を上回る場合、または、前記検出対象の前記第１のセンサからみた相対的な位置姿勢が第２の条件を満たす場合に、前記第２の動作部が停止されるように制御する、
　請求項９に記載の情報処理装置。
　前記制御部は、前記検出対象の検出位置または前記検出位置に基づく予測位置が、前記第１の部位の向きに応じた第１の領域外に存在する場合において、前記２の認識部による前記認識対象の認識の信頼度が第３の閾値を下回る場合、第３の動作部が起動されるように制御する、
　請求項２に記載の情報処理装置。
　前記情報処理装置は、前記認識対象の認識結果に基づいて、前記ユーザによって操作可能な仮想オブジェクトが表示されるように表示部を制御する出力制御部を備える、
　請求項１に記載の情報処理装置。
　前記第２のセンサは、前記身体において前記第１のセンサよりも前記認識対象に近い位置に取り付けられる、
　請求項１に記載の情報処理装置。
　前記第１のセンサは、頭部に装着され、
　前記第２のセンサは、上肢部のうちの所定の部位に装着され、
　前記認識対象は、上肢部のうちの前記所定の部位よりも末端側の部位である、
　請求項１３に記載の情報処理装置。
　前記制御部は、撮像部、慣性計測部、磁気センサおよび超音波センサの少なくともいずれか一つによって得られたデータに基づく、前記検出対象の検出結果に基づいて、前記切り替えを制御する、
　請求項１に記載の情報処理装置。
　前記制御部は、前記撮像部の画角と前記検出対象の検出結果とに基づいて、前記切り替えを制御する、
　請求項１５に記載の情報処理装置。
　前記制御部は、前記撮像部によって得られたデータに基づく前記検出対象の検出結果に基づいて、前記切り替えを制御し、
　前記撮像部の向きは、前記第１のセンサの向きの変化とともに変化する、
　請求項１５に記載の情報処理装置。
　前記認識対象の位置は、前記検出対象の位置の変化とともに変化する、
　請求項１に記載の情報処理装置。
　プロセッサが、検出対象の検出結果に基づいて、実空間に存在する認識対象の認識に関連する第１の動作部と第２の動作部との間において起動される動作部の切り替えを制御することを含み、
　前記認識対象が認識される第１のデータを得る第１のセンサは、ユーザの身体の第１の部位に装着され、前記認識対象が認識される第２のデータを得る第２のセンサは、前記身体の前記第１の部位とは異なる第２の部位に装着される、
　情報処理方法。
　コンピュータを、
　検出対象の検出結果に基づいて、実空間に存在する認識対象の認識に関連する第１の動作部と第２の動作部との間において起動される動作部の切り替えを制御する制御部を備え、
　前記認識対象が認識される第１のデータを得る第１のセンサは、ユーザの身体の第１の部位に装着され、前記認識対象が認識される第２のデータを得る第２のセンサは、前記身体の前記第１の部位とは異なる第２の部位に装着される、
　情報処理装置として機能させるためのプログラム。