JPWO2018146922A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】３次元的な情報の入力を、簡便かつ直感的な操作により実現する。【解決手段】体の第１の部位と、当該第１の部位とは異なる第２の部位と、を認識する第１の認識部と、認識された前記第１の部位と前記第２の部位との間の実空間上における３次元的な位置関係に応じて、ユーザ入力を認識する第２の認識部と、を備える、情報処理装置。【選択図】図５

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

ＰＣ（Personal Computer）やゲーム機器等のような所謂情報処理装置の動作を制御するために、ユーザからの入力情報を取得するためのユーザインタフェースとして多様な方式のものが提案されている。特に近年では、音響解析や画像解析等の技術の発展に伴い、ユーザが発話した音声やユーザの動作を認識することで、当該発話や動作の認識結果を、情報処理装置の制御に利用する技術も各種提案されている。例えば、特許文献１には、ユーザの動作（所謂ジェスチャ）を認識するための技術の一例が開示されている。

特開２０１４−９９１８４号公報

ところで、近年では、ＡＲ（Augmented Reality）技術やＶＲ（Virtual Reality）技術の発展に伴い、ユーザに対して３次元的な空間を知覚させるような情報の提示が可能となってきている。このような背景から、例えば、ＡＲ技術やＶＲ技術に基づき提示された表示情報（例えば、仮想オブジェクト）の３次元的な空間中の位置や姿勢を指定または調整する場合等のように、３次元的な情報の入力を、より簡便な操作により実現可能なユーザインタフェースの提供が求められている。

そこで、本開示では、３次元的な情報の入力を、簡便かつ直感的な操作により実現することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、身体の第１の部位と、当該第１の部位とは異なる第２の部位と、を認識する第１の認識部と、認識された前記第１の部位と前記第２の部位との間の実空間上における３次元的な位置関係に応じて、ユーザ入力を認識する第２の認識部と、を備える、情報処理装置が提供される。

また、本開示によれば、コンピュータが、身体の第１の部位と、当該第１の部位とは異なる第２の部位と、を認識することと、認識された前記第１の部位と前記第２の部位との間の実空間上における３次元的な位置関係に応じて、ユーザ入力を認識することと、を含む、情報処理方法が提供される。

本開示によれば、コンピュータに、身体の第１の部位と、当該第１の部位とは異なる第２の部位と、を認識することと、認識された前記第１の部位と前記第２の部位との間の実空間上における３次元的な位置関係に応じて、ユーザ入力を認識することと、を実行させる、プログラムが提供される。

以上説明したように本開示によれば、３次元的な情報入力を、簡便かつ直感的な操作により実現することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。 同実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。 同実施形態に係る情報処理システムにおけるユーザインタフェースの概要について説明するための説明図である。 同実施形態に係る情報処理システムにおけるユーザインタフェースの概要について説明するための説明図である。 同実施形態に係る情報処理システムにおけるユーザインタフェースの概要について説明するための説明図である。 同実施形態に係る情報処理システムにおけるユーザインタフェースの概要について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 変形例１に係るジェスチャ入力の概要について説明するための説明図である。 変形例１に係るジェスチャ入力の概要について説明するための説明図である。 変形例１に係るジェスチャ入力の概要について説明するための説明図である。 変形例２に係るジェスチャ入力の概要について説明するための説明図である。 同実施形態に係る通信システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概略構成
１．１．システム構成
１．２．入出力装置の構成
２．ユーザインタフェースに関する検討
３．ユーザインタフェースの概要
４．機能構成
５．処理
６．変形例
６．１．変形例１：ジェスチャ入力の一例（その１）
６．２．変形例２：ジェスチャ入力の一例（その２）
６．３．変形例３：フィードバックの一例
７．ハードウェア構成の一例
８．むすび

＜＜１．概略構成＞＞
＜１．１．システム構成＞
まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図１は、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図であり、所謂ＡＲ（Augmented Reality）技術を応用してユーザに対して各種コンテンツを提示する場合の一例を示している。

図１において、参照符号ｍ１１１は、実空間上に位置する物体（例えば、実オブジェクト）を模式的に示している。また、参照符号ｖ１３１及びｖ１３３は、実空間上に重畳するように提示される仮想的なコンテンツ（例えば、仮想オブジェクト）を模式的に示している。即ち、本実施形態に係る情報処理システム１は、ＡＲ技術に基づき、例えば、実オブジェクトｍ１１１等の実空間上の物体に対して、仮想オブジェクトを重畳してユーザに提示する。なお、図１では、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、実オブジェクトと仮想オブジェクトとの双方をあわせて提示している。

図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、入出力装置２０とを含む。情報処理装置１０と入出力装置２０とは、所定のネットワークを介して互いに情報を送受信可能に構成されている。なお、情報処理装置１０と入出力装置２０とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、Ｗｉ−Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local Area Network）、または、ＷＡＮ（Wide Area Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。

入出力装置２０は、各種入力情報の取得や、当該入出力装置２０を保持するユーザに対して各種出力情報の提示を行うための構成である。また、入出力装置２０による出力情報の提示は、情報処理装置１０により、当該入出力装置２０により取得された入力情報に基づき制御される。例えば、入出力装置２０は、実オブジェクトｍ１１１を認識するための情報（例えば、撮像された実空間の画像）を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、実空間上における実オブジェクトｍ１１１の位置を認識し、当該認識結果に基づき、入出力装置２０に仮想オブジェクトｖ１３１及びｖ１３３を提示させる。このような制御により、入出力装置２０は、所謂ＡＲ技術に基づき、実オブジェクトｍ１１１に対して仮想オブジェクトｖ１３１及びｖ１３３が重畳するように、当該仮想オブジェクトｖ１３１及びｖ１３３をユーザに提示することが可能となる。

また、入出力装置２０は、例えば、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成されており、当該ユーザの視線を検出可能に構成されていてもよい。このような構成に基づき、情報処理装置１０は、例えば、入出力装置２０によるユーザの視線の検出結果に基づき、当該ユーザが所望の対象（例えば、実オブジェクトｍ１１１や、仮想オブジェクトｖ１３１及びｖ１３３等）を注視していることを認識した場合に、当該対象を操作対象として特定してもよい。また、情報処理装置１０は、入出力装置２０に対する所定の操作をトリガとして、ユーザの視線が向けられている対象を操作対象として特定してもよい。以上のようにして、情報処理装置１０は、操作対象を特定し、当該操作対象に関連付けられた処理を実行することで、入出力装置２０を介して各種サービスをユーザに提供してもよい。

また、情報処理装置１０は、入出力装置２０により取得された入力情報に基づき、ユーザの身体の少なくとも一部の部位の動き（例えば、位置や向きの変化、ジェスチャ等）をユーザ入力として認識し、当該ユーザ入力の認識結果に応じて各種処理を実行してもよい。具体的な一例として、図１に示す例では、入出力装置２０は、ユーザの左手ｕ１１及び右手ｕ１３を認識するための情報（例えば、撮像された左手ｕ１１及び右手ｕ１３の画像）を入力情報として取得し、取得した情報を情報処理装置１０に出力する。情報処理装置１０は、入出力装置２０から取得した情報に基づき、左手ｕ１１及び右手ｕ１３の動き（例えば、ジェスチャ）を認識し、当該動きの認識結果に応じて、ユーザからの指示（即ち、ユーザ入力）を認識する。そして、情報処理装置１０は、ユーザ入力の認識結果に応じて、例えば、ユーザに提示する仮想オブジェクトの表示（例えば、仮想オブジェクトの表示位置や姿勢）を制御してもよい。

なお、図１では、入出力装置２０と情報処理装置１０とが互いに異なる装置として示されているが、入出力装置２０及び情報処理装置１０は一体的に構成されていてもよい。また、入出力装置２０及び情報処理装置１０の構成及び処理の詳細については別途後述する。

以上、図１を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明した。

＜１．２．入出力装置の構成＞
続いて、図２を参照して、図１に示した本実施形態に係る入出力装置２０の概略的な構成の一例について説明する。図２は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。

前述したように、本実施形態に係る入出力装置２０は、ユーザが頭部の少なくとも一部に装着して使用する、所謂頭部装着型デバイスとして構成されている。例えば、図２に示す例では、入出力装置２０は、所謂アイウェア型（メガネ型）のデバイスとして構成されており、レンズ２９３ａ及び２９３ｂのうち少なくともいずれかが透過型のディスプレイ（出力部２１１）として構成されている。また、入出力装置２０は、第１撮像部２０１ａ及び２０１ｂと、操作部２０７と、メガネのフレームに相当する保持部２９１とを備える。また、入出力装置２０は、第２撮像部２０３ａ及び２０３ｂを備えてもよい。なお、以降では、入出力装置２０が、第２撮像部２０３ａ及び２０３ｂを備えているものとして各種説明を行う。保持部２９１は、入出力装置２０がユーザの頭部に装着されたときに、出力部２１１と、第１撮像部２０１ａ及び２０１ｂと、第２撮像部２０３ａ及び２０３ｂと、操作部２０７とを、当該ユーザの頭部に対して所定の位置関係となるように保持する。また、図２には図示していないが、入出力装置２０は、ユーザの音声を集音するための集音部を備えていてもよい。

ここで、入出力装置２０のより具体的な構成について説明する。例えば、図２に示す例では、レンズ２９３ａが、右眼側のレンズに相当し、レンズ２９３ｂが、左眼側のレンズに相当する。即ち、保持部２９１は、入出力装置２０が装着された場合に、出力部２１１（換言すると、レンズ２９３ａ及び２９３ｂ）がユーザの眼前に位置するように、当該出力部２１１を保持する。

第１撮像部２０１ａ及び２０１ｂは、所謂ステレオカメラとして構成されており、入出力装置２０がユーザの頭部に装着されたときに、当該ユーザの頭部が向いた方向（即ち、ユーザの前方）を向くように、保持部２９１によりそれぞれ保持される。このとき、第１撮像部２０１ａが、ユーザの右眼の近傍に保持され、第１撮像部２０１ｂが、当該ユーザの左眼の近傍に保持される。このような構成に基づき、第１撮像部２０１ａ及び２０１ｂは、入出力装置２０の前方に位置する被写体（換言すると、実空間に位置する実オブジェクト）を互いに異なる位置から撮像する。これにより、入出力装置２０は、ユーザの前方に位置する被写体の画像を取得するとともに、第１撮像部２０１ａ及び２０１ｂそれぞれにより撮像された画像間の視差に基づき、当該入出力装置２０から、当該被写体までの距離を算出することが可能となる。

なお、入出力装置２０と被写体との間の距離を測定可能であれば、その構成や方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time Of Flight）、Structured Light等の方式に基づき、入出力装置２０と被写体との間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体に対して赤外線等の光を投光し、投稿した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（所謂距離画像）を得る方式である。また、Structured Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めた距離画像を得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、撮像部の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。

また、第２撮像部２０３ａ及び２０３ｂは、入出力装置２０がユーザの頭部に装着されたときに、それぞれの撮像範囲内に当該ユーザの眼球が位置するように、保持部２９１によりそれぞれ保持される。具体的な一例として、第２撮像部２０３ａは、撮像範囲内にユーザの右眼が位置するように保持される。このような構成に基づき、第２撮像部２０３ａにより撮像された右眼の眼球の画像と、当該第２撮像部２０３ａと当該右眼との間の位置関係と、に基づき、当該右眼の視線が向いている方向を認識することが可能となる。同様に、第２撮像部２０３ｂは、撮像範囲内に当該ユーザの左眼が位置するように保持される。即ち、第２撮像部２０３ｂにより撮像された左眼の眼球の画像と、当該第２撮像部２０３ｂと当該左眼との間の位置関係と、に基づき、当該左眼の視線が向いている方向を認識することが可能となる。なお、図２に示す例では、入出力装置２０が第２撮像部２０３ａ及び２０３ｂの双方を含む構成について示しているが、第２撮像部２０３ａ及び２０３ｂのうちいずれかのみが設けられていてもよい。

操作部２０７は、入出力装置２０に対するユーザからの操作を受け付けるための構成である。操作部２０７は、例えば、タッチパネルやボタン等のような入力デバイスにより構成されていてもよい。操作部２０７は、保持部２９１により、入出力装置２０の所定の位置に保持されている。例えば、図２に示す例では、操作部２０７は、メガネのテンプルに相当する位置に保持されている。

また、本実施形態に係る入出力装置２０は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）が設けられ、当該入出力装置２０を装着したユーザの頭部の動き（換言すると、入出力装置２０自体の動き）を検出可能に構成されていてもよい。具体的な一例として、入出力装置２０は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出することで、当該ユーザの頭部の位置及び姿勢のうち少なくともいずれかの変化を認識してもよい。

以上のような構成に基づき、本実施形態に係る入出力装置２０は、ユーザの頭部の動きに応じた、実空間上における自身の位置や姿勢の変化を認識することが可能となる。また、このとき入出力装置２０は、所謂ＡＲ技術に基づき、実空間に位置する実オブジェクトに対して、仮想的なコンテンツ（即ち、仮想オブジェクト）が重畳するように、出力部２１１に当該コンテンツを提示することも可能となる。なお、入出力装置２０が、実空間上における自身の位置及び姿勢を推定するための方法（即ち、自己位置推定）の一例については、詳細を別途後述する。

なお、入出力装置２０として適用可能な頭部装着型の表示装置（ＨＭＤ：Head Mounted Display）の一例としては、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが挙げられる。

シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、シースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該シースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。例えば、図２に示した入出力装置２０は、シースルー型ＨＭＤの一例に相当する。

ビデオシースルー型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。また、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの前方の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。また、このときビデオシースルー型ＨＭＤは、例えば、ＡＲ技術に基づき、当該ビデオシースルー型ＨＭＤの位置及び姿勢のうち少なくともいずれかの認識結果に応じて、外部の風景の画像に対して仮想オブジェクトを重畳させてもよい。

網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。このような構成により、網膜投射型ＨＭＤは、例えば、ＡＲ技術に基づき、当該網膜投射型ＨＭＤの位置や姿勢のうち少なくともいずれかの認識結果に応じて、実空間に位置する実オブジェクトの光学像に対して仮想オブジェクトの画像を重畳させることも可能となる。

また、上記では、ＡＲ技術を適用することを前提として、本実施形態に係る入出力装置２０の構成の一例について説明したが、必ずしも、当該入出力装置２０の構成を限定するものではない。例えば、ＶＲ技術を適用することを想定した場合には、本実施形態に係る入出力装置２０は、没入型ＨＭＤと呼ばれるＨＭＤとして構成されていてもよい。没入型ＨＭＤは、ビデオシースルー型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。

以上、図２を参照して、本開示の一実施形態に係る入出力装置の概略的な構成の一例について説明した。

＜＜２．ユーザインタフェースに関する検討＞＞
続いて、ＡＲ技術やＶＲ技術等を利用してユーザに対して情報が提示される場合を想定したユーザインタフェースについて検討したうえで、本実施形態に係る情報処理装置の課題について整理する。

近年では、ＡＲ技術やＶＲ技術の発展に伴い、従来の２次元的な情報の提示のみに限らず、ユーザに対して３次元的な空間を、より現実に近い態様で知覚させるような情報の提示が可能となってきている。より具体的な一例として、ＡＲ技術を応用することで、実空間上に、仮想的な表示情報があたかも存在するかのように、当該表示情報をユーザに提示することが可能となる。なお、以降の説明では、実空間上に存在する物体等のオブジェクトを「実オブジェクト」とも称し、ディスプレイ等の出力部を介して提示される表示情報等のような仮想的なオブジェクトを「仮想オブジェクト」とも称する。

以上のような背景から、ユーザ入力としても、従来の２次元的な操作のみに限らず、例えば、ＡＲ技術やＶＲ技術に基づき提示された仮想オブジェクトの３次元的な位置や姿勢を指定または調整する等のような、３次元的な操作が求められる状況も想定され得る。これに対して、従来のユーザインタフェースは、画面上に表示された情報を２次元的に操作する状況を想定している場合があり、このようなユーザインタフェースでは、上述したような３次元的な操作を実現しようとすると操作が煩雑になる場合がある。

そこで、本開示では、ユーザの動作（ジェスチャ）の認識結果に基づき当該ユーザからの指示を認識するジェスチャ入力により、３次元的な情報の入力を、より簡便かつ直感的な操作により実現することが可能なユーザインタフェースの一例について提案する。

＜＜３．ユーザインタフェースの概要＞＞
続いて、本実施形態に係る情報処理システムにおけるユーザインタフェースの概要について説明する。

本実施形態に係る情報処理システムでは、ユーザは、自身の身体の各部位のうち、互いに異なる複数の部位それぞれを組み合わせて使用したジェスチャ入力により、当該情報処理システムに対して各種情報の入力を行うことが可能である。なお、ここでは、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、ユーザが、自身の左手及び右手を組み合わせて使用したジェスチャ入力により各種情報を入力するユーザインタフェースの一例について説明する。

例えば、本実施形態に係る情報処理システムにおいては、ユーザの手の実空間上における３次元的な向き（姿勢）の認識結果が、ユーザ入力の認識に利用されてもよい。

例えば、図３及び図４は、本実施形態に係る情報処理システムにおけるユーザインタフェースの概要について説明するための説明図である。図３に示すように、ユーザの手ｕ１１の実空間上における３次元的な向きを認識することで、当該手ｕ１１の掌に沿って延伸する平面ｖ１１と、当該平面ｖ１１の法線ｖ１３とを規定することが可能である。また、図４に示すように、ユーザの手ｕ１１の実空間上における３次元的な向きを認識することで、当該手ｕ１１の掌に沿って延伸する平面ｖ１１の法線ｖ１３を軸としたロール回転の回転角θ１を認識することが可能である。

ここで、図５及び図６を参照して、上述したようなユーザの手の実空間上における３次元的な向き（姿勢）の認識結果を利用することで、３次元的な操作を実現することが可能なユーザインタフェースの一例について説明する。図５及び図６は、本実施形態に係る情報処理システムにおけるユーザインタフェースの概要について説明するための説明図である。なお、本説明では、便宜上、実空間上における水平面に略平行な互いに直交する方向をｘ方向及びｙ方向とも称し、実空間上における鉛直方向（即ち、ｘ方向及びｙ方向それぞれに直交する方向）をｚ方向とも称する。

図５及び図６に示す例では、左右の手ｕ１１及びｕ１３のうち一方の手ｕ１１の掌により平面ｖ１１を規定し、他方の手ｕ１３の指による手ｕ１１の掌の上へのタッチ操作により、当該平面ｖ１１上の位置を指定する。

例えば、図５は、一方の手ｕ１１が、開いた状態で掌が実空間上の水平面（即ち、ｘｙ平面）に対して略平行な状態となるように保持されており、手ｕ１１の掌の上を他方の手ｕ１３の指でなぞるような操作が行われた場合の一例を示している。この場合には、本実施形態に係る情報処理装置１０は、入出力装置２０等により取得された各種入力情報に基づき、一方の手ｕ１１の形状を認識し、当該認識結果に応じて当該手ｕ１１が開いた状態であることを認識する。また、情報処理装置１０は、取得された当該入力情報に基づき、手ｕ１１の掌の向きを認識し、当該認識結果に応じて当該掌に沿って延伸する平面ｖ１１ａを規定する。なお、図５に示す例では、平面ｖ１１ａは、実空間上における水平面（ｘｙ平面）と略平行な面として規定されることとなる。

また、情報処理装置１０は、入出力装置２０等により取得された各種入力情報に基づき、他方の手ｕ１３の形状を認識し、当該認識結果に応じて当該手ｕ１３の指を認識する。また、情報処理装置１０は、取得された当該入力情報に基づき、他方の手ｕ１３の指が一方の手ｕ１１の掌に接触または近接したことを認識した場合に、手ｕ１１と手ｕ１３との間の３次元的な位置関係（換言すると、相対的な位置関係）に応じて、ユーザ入力を認識する。例えば、図５に示す例の場合には、情報処理装置１０は、手ｕ１１の掌のうち手ｕ１３の指が接触または近接した位置に基づき、当該掌の向きに応じて規定された平面ｖ１１ａ上の対応する位置が、ユーザ入力として指定されたものと認識する。換言すると、図５に示す例では、情報処理装置１０は、手ｕ１１の掌の向きを実空間上の座標系と対応付け、当該手ｕ１１の掌の上をなぞるように移動する手ｕ１３の指の動きを、実空間上の水平面に対する略平行な方向に向けた操作として認識する。

また、他の一例として、図６は、一方の手ｕ１１が、開いた状態で掌が実空間上の水平面に対して略垂直な状態となるように保持されており、手ｕ１１の掌の上を他方の手ｕ１３の指でなぞるような操作が行われた場合の一例を示している。この場合には、本実施形態に係る情報処理装置１０は、図５を参照して説明した例と同様の方法に基づき、一方の手ｕ１１が開いた状態であることを認識し、当該手ｕ１１の掌の向きを認識することで、平面ｖ１１ｂを規定する。なお、図６に示す例では、平面ｖ１１ｂは、実空間上における水平面（即ち、ｘｙ平面）と略垂直な面として規定されることとなる。

また、情報処理装置１０は、図５を参照して説明した例と同様の方法に基づき、他方の手ｕ１３の指を認識し、手ｕ１３の指が手ｕ１１の掌に接触または近接したことを認識した場合に、手ｕ１１と手ｕ１３との間の３次元的な位置関係に応じて、ユーザ入力を認識する。例えば、図６に示す例の場合には、情報処理装置１０は、手ｕ１１の掌のうち手ｕ１３の指が接触した位置に基づき、当該掌の向きに応じて規定された平面ｖ１１ｂ上の対応する位置が、ユーザ入力として指定されたものと認識する。換言すると、図６に示す例では、情報処理装置１０は、手ｕ１１の掌の上をなぞるように移動する手ｕ１３の指の動きを、実空間上の水平面に略垂直な面に対する略平行な方向に向けた操作として認識する。

以上のような制御により、例えば、ユーザは、図５及び図６に示すような操作により、仮想オブジェクトの位置や姿勢を調整することが可能となる。具体的な一例として、ユーザは、操作対象となる仮想オブジェクトを水平方向に移動させるような場合には、図５に示すように、一方の手ｕ１１を開いた状態で水平に保持し、他方の手ｕ１３の指で手ｕ１１の掌の上をなぞるように操作すればよい。この場合には、ユーザは、手ｕ１１の掌上における手ｕ１３の指の位置や動きに応じて、水平面（即ち、ｘｙ平面）に略平行な面上の位置や、水平面に平行な方向に沿った位置の変化を指定することが可能となる。

また、ユーザは、操作対象となる仮想オブジェクトを高さ方向（即ち、鉛直方向であり、換言するとｚ方向）に移動させるような場合には、図６に示すように、一方の手ｕ１１を開いた状態で水平に保持し、他方の手ｕ１３の指で手ｕ１１の掌の上をなぞるように操作すればよい。この場合には、ユーザは、手ｕ１１の掌上における手ｕ１３の指の位置や動きに応じて、高さ方向（即ち、鉛直方向）の位置や、当該高さ方向に沿った位置の変化を指定することが可能となる。また、手ｕ１１の掌の向きを、図５及び図６に示す状態に適宜変更することで、水平面に平行な方向に沿った位置の変化と、鉛直方向に沿った位置の変化とを、連続的な一連の操作として指定することが可能となる。そのため、本実施形態に係るユーザインタフェースに依れば、水平面に平行の方向に沿った操作と、鉛直方向に沿った操作とのいずれかに応じて、操作用のインタフェース（例えば、アイコンやカーソル等）を切り替える等のような煩雑な操作を行う必要がなくなる。

なお、情報処理装置１０は、一方の手ｕ１１の掌が水平面に対して斜めを向くように保持されている場合には、水平面に対する掌の角度に応じて、図５及び図６に示す状態のうちいずれに該当するかを判断してもよい。例えば、掌の向きが水平面の向きにより近い場合には、情報処理装置１０は、図５に示すように、手ｕ１１により水平面に略平行な面ｖ１１ａが規定されているものと認識してもよい。また、掌の向きが水平面に対して垂直な面の向きにより近い場合には、情報処理装置１０は、図６に示すように、手ｕ１１により水平面に略垂直な面ｖ１１ｂが規定されているものと認識してもよい。

また、他の一例として、情報処理装置１０は、一方の手ｕ１１の掌が水平面に対して斜めを向くように保持されている場合に、当該掌の向きに応じた面ｖ１１、即ち、水平面に対して斜めを向いた面ｖ１１を規定してもよい。この場合には、情報処理装置１０は、手ｕ１１の掌上における手ｕ１３の指の位置や動きを、水平面に対して斜めに向いた面ｖ１１に沿った位置や、当該面ｖ１１に平行な方向に沿った位置の変化として認識してもよい。

以上、図３〜図６を参照して、本実施形態に係る情報処理システムにおけるユーザインタフェースの概要について説明した。

＜＜４．機能構成＞＞
続いて、図７を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明する。図７は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。

図７に示すように、本実施形態に係る情報処理システム１は、入出力装置２０と、情報処理装置１０と、記憶部１５１とを含む。なお、図７に示す入出力装置２０及び情報処理装置１０は、図１を参照して説明した入出力装置２０及び情報処理装置１０に相当する。

まず、入出力装置２０の構成について説明する。図７に示すように、入出力装置２０は、撮像部２０１と、検知部２３１と、入力部２２１と、出力部２１１とを含む。なお、出力部２１１は、図２における出力部２１１に対応している。

撮像部２０１は、図２においてステレオカメラとして構成された第１撮像部２０１ａ及び２０１ｂに相当する。即ち、撮像部２０１は、実空間上の物体（被写体）の画像を撮像し、撮像した当該画像を情報処理装置１０に出力する。

検知部２３１は、入出力装置２０を装着したユーザの頭部の動きや、当該ユーザの視線が向けられている方向（以降では、「視線方向」とも称する）を検出するための情報の取得に係る構成を模式的に示している。具体的には、検知部２３１は、加速度センサや角速度センサ等のような各種センサを含み、当該センサによる検知結果を、入出力装置２０の位置や姿勢の変化（ひいては、当該入出力装置２０を装着したユーザの頭部の動き）を検出するための情報として取得してもよい。また、検知部２３１は、図２を参照して説明した第２撮像部２０３ａ及び２０３ｂを含み、当該撮像部により撮像されたユーザの眼球の画像を、当該ユーザの視線を検出するための情報として取得してもよい。そして、検知部２３１は、取得した情報を情報処理装置１０に出力する。

入力部２２１は、入出力装置２０に対してユーザから入力された情報を取得するための構成である。具体的には、入力部２２１は、図２を参照して説明した操作部２０７を含んでもよい。また、入力部２２１は、ユーザの音声を集音するための集音部を含み、当該集音部に対して入力されたユーザの音声を、当該ユーザから入力された情報として取得してもよい。なお、上記に説明した例はあくまで一例であり、入出力装置２０に対してユーザが情報を入力することが可能であれば、入力部２２１に含まれる構成（例えば、入力デバイス）の種別は特に限定されない。そして、入力部２２１は、取得した情報を情報処理装置１０に出力する。

次いで、情報処理装置１０の構成について説明する。図７に示すように、情報処理装置１０は、オブジェクト認識部１０１と、ユーザ入力認識部１０３と、処理実行部１０５と、表示制御部１０７とを含む。

オブジェクト認識部１０１は、撮像部２０１から撮像された画像を取得し、取得した画像に対して所定の解析処理を施すことで、当該画像に撮像された実空間上の物体（被写体）を認識する。具体的な一例として、オブジェクト認識部１０１は、ステレオカメラとして構成された撮像部２０１から、互いに異なる複数の視点から撮像された画像（以降では、「ステレオ画像」とも称する）を取得し、取得した画像間の視差に基づき、画像中に撮像された物体までの距離を、当該画像の画素ごとに測定する。なお、以降の説明では、画素ごとに測定される、画像中に撮像された物体までの距離を示す情報を、「深度情報」とも称する。オブジェクト認識部１０１は、このようにして取得された深度情報に基づき、撮像部２０１（ひいては、入出力装置２０）と、当該画像に撮像された各物体との間の、実空間上における相対的な位置関係（特に、奥行き方向の位置関係）を推定または認識することが可能となる。

また、オブジェクト認識部１０１は、実空間上の物体として、ユーザの身体の部位を認識することも可能である。具体的には、オブジェクト認識部１０１は、深度情報の分布、撮像された画像における色や陰影の濃淡、及び、当該画像から検出される物体の輪郭（換言すると、エッジ）等に基づき、ユーザの身体の部位を認識すればよい。より具体的な一例として、オブジェクト認識部１０１は、撮像された画像から手や指に特徴的な形状（例えば、輪郭）を検出することで、当該画像中に撮像されたユーザの手を認識することが可能である。また、オブジェクト認識部１０１は、深度情報の分布に基づき、ユーザの手の向き（換言すると、掌の向き）を認識することも可能である。

また、オブジェクト認識部１０１は、所謂ＳＬＡＭ（simultaneous localization and mapping）と称される技術を、入出力装置２０の自己位置推定に利用してもよい。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部（ひいては、入出力装置２０）の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、入出力装置２０に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。

以上のような構成の基で、オブジェクト認識部１０１は、ＳＬＡＭに基づき自己位置推定と環境地図の作成とを行うことで、入出力装置２０と、画像中に撮像された物体との間の、実空間上における位置関係を認識してもよい。この場合には、例えば、オブジェクト認識部１０１は、検知部２３１から入出力装置２０の位置及び姿勢の変化を示す情報を取得し、当該情報をＳＬＡＭに基づく自己位置推定に利用してもよい。

以上のようにして、オブジェクト認識部１０１は、撮像部２０１により撮像された画像に基づき実空間上の物体を認識し、当該認識結果を示す情報をユーザ入力認識部１０３に出力する。なお、オブジェクト認識部１０１が、「第１の認識部」の一例に相当する。

ユーザ入力認識部１０３は、オブジェクト認識部１０１から、実空間上の物体の認識結果を示す情報を取得し、当該情報に含まれる各物体認識結果のうち、少なくともユーザの身体の部位のうち所定の部位（即ち、ジェスチャ入力に利用される部位）の認識結果を、ユーザ入力の認識に利用する。特に、本実施形態に係る情報処理システム１においては、ユーザ入力認識部１０３は、ユーザ入力の認識に、ユーザの身体の部位のうち互いに異なる複数の部位の認識結果、即ち、第１の部位の認識結果と、当該第１の部位とは異なる第２の部位の認識結果とのそれぞれを利用する。より具体的な一例として、図５及び図６を参照して説明した例のように、ユーザ入力認識部１０３は、ユーザの左右の手ｕ１１及びｕ１３それぞれの形状や、当該手ｕ１１及びｕ１３間の３次元的な位置関係に応じて、ユーザ入力を認識する。

なお、互いに異なる複数の部位の３次元的な位置関係に応じてユーザ入力を認識することが可能であれば、ユーザ入力の認識に利用する部位（即ち、ジェスチャ入力に利用される部位）は、左右の手ｕ１１及びｕ１３には限定されない。具体的な一例として、左右の手のいずれかと、左右の足のいずれかと、の間の３次元的な位置関係に応じてユーザ入力が認識されてもよい。

また、ユーザ入力認識部１０３は、ジェスチャ入力に利用される複数の部位が互いに接触または近接する場合に、当該複数の部位の間の３次元的な位置関係に応じてユーザ入力を認識してもよい。このような制御により、ユーザ入力を認識される契機が、ジェスチャ入力に利用される複数の部位が互いに接触または近接する場合に限定される。そのため、当該制御により、ユーザが情報処理装置１０への情報の入力を意図しない契機において行った当該ユーザの動作に基づき、誤ってユーザ人力が認識されるといった事態の発生を抑制することが可能となる。

また、ユーザ入力認識部１０３は、所定の条件に応じて、ユーザの身体の部位の認識結果に応じたユーザ入力の認識に係る条件（換言すると、ジェスチャとユーザ入力との間の対応関係）を選択的に切り替えてもよい。具体的な一例として、ユーザ入力認識部１０３は、入力部２２１を介したユーザからの指示に応じて、ユーザ入力の認識に係る条件を選択的に切り替えてもよい。また、他の一例として、ユーザ入力認識部１０３は、各種センサ等により所定の状態や状況を認識し、当該認識結果に応じて、ユーザ入力の認識に係る条件を自動的に切り替えてもよい。なお、ユーザ入力の認識に係る条件の他の一例、即ち、本実施形態に係るジェスチャ入力の他の一例については、変形例として別途後述する。

そして、ユーザ入力認識部１０３は、ユーザ入力の認識結果を示す情報を、認識されたユーザ入力に応じた出力先（例えば、処理実行部１０５や表示制御部１０７等）に出力する。具体的な一例として、認識されたユーザ入力が、アプリケーション等のような所定の機能の実行を指示するものである場合には、ユーザ入力認識部１０３は、当該ユーザ入力の認識結果を示す情報を処理実行部１０５に出力する。また、他の一例として、認識されたユーザ入力が、仮想オブジェクトの位置や姿勢の調整等のような表示制御に関するものである場合には、ユーザ入力認識部１０３は、当該ユーザ入力の認識結果を示す情報を表示制御部１０７に出力する。

処理実行部１０５は、情報処理装置１０（ひいては、情報処理システム１）が提供する各種機能（例えば、アプリケーション）を実行するための構成である。処理実行部１０５は、例えば、ユーザ入力認識部１０３によるユーザ入力の認識結果に応じて、対応するアプリケーションを所定の記憶部（例えば、後述する記憶部１５１）から抽出し、抽出したアプリケーションを実行してもよい。また、処理実行部１０５は、各種アプリケーションの実行結果を示す情報を表示制御部１０７に出力してもよい。

表示制御部１０７は、出力対象となる各種表示情報を出力部２１１に出力させることで、当該表示情報をユーザに提示する。

具体的な一例として、表示制御部１０７は、ＡＲ技術に基づき実空間上に仮想オブジェクトが重畳するように、当該仮想オブジェクトを出力部２１１に出力させてもよい。なお、この場合には、表示制御部１０７は、オブジェクト認識部１０１から、撮像部２０１により画像中に撮像された各物体（実オブジェクト）の実空間上における位置の認識結果を示す情報を取得してもよい。これにより、表示制御部１０７は、実空間上における実オブジェクトの位置を認識し、当該認識結果に基づき、実空間上の所望の位置に仮想オブジェクトが重畳するように、当該仮想オブジェクトの表示位置を制御することが可能となる。

また、表示制御部１０７は、ユーザ入力認識部１０３によるユーザ入力の認識結果に応じて、出力部２１１への表示情報の出力を制御してもよい。例えば、表示制御部１０７は、ユーザ入力の認識結果に応じて、表示情報を提示する位置や向きを制御してもよい。より具体的な一例として、表示制御部１０７は、ＡＲ技術に基づき仮想オブジェクトを提示する場合には、ユーザ入力の認識結果に応じて、当該仮想オブジェクトが提示される位置や当該仮想オブジェクトの向きを３次元的に制御することも可能である。この場合には、表示制御部１０７は、ユーザ入力の認識結果に応じて、仮想オブジェクトを移動させる３次元的な方向や、当該仮想オブジェクトの移動量を決定し、決定した当該方向や移動量に応じて、仮想オブジェクトの提示位置や向きを制御すればよい。

また、表示制御部１０７は、各種アプリケーションの実行結果を示す情報を処理実行部１０５から取得する場合がある。この場合には、表示制御部１０７は、当該アプリケーションの実行結果を示す情報を出力部２１１に出力させることで、当該情報をユーザに提示してもよい。

記憶部１５１は、各種データを、一時的または恒常的に記憶するための記憶領域である。例えば、記憶部１５１には、情報処理装置１０が各種機能を実行するためのデータが記憶されていてもよい。より具体的な一例として、記憶部１５１には、各種アプリケーションを実行するためのデータ（例えば、ライブラリ）や各種設定等を管理するための管理データ等が記憶されていてもよい。

なお、図７に示した情報処理システム１の機能構成はあくまで一例であり、上述した各構成の処理を実現することが可能であれば、情報処理システム１の機能構成は必ずしも図７に示す例のみには限定されない。具体的な一例として、入出力装置２０と情報処理装置１０とが一体的に構成されていてもよい。また、他の一例として、記憶部１５１が、情報処理装置１０に含まれていてもよいし、当該情報処理装置１０の外部の記録媒体（例えば、当該情報処理装置１０に対する外付けされる記録媒体）として構成されていてもよい。また、他の一例として、情報処理装置１０の各構成のうち、一部の構成が情報処理装置１０の外部（例えば、サーバ等）に設けられていてもよい。

以上、図７を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明した。

＜＜５．処理＞＞
続いて、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１０によるユーザ入力の認識に係る処理に着目して説明する。例えば、図８は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。

図８に示すように、情報処理装置１０（オブジェクト認識部１０１）は、撮像部２０１により撮像された画像に対して所定の解析処理を施すことで、ジェスチャ入力に利用される第１の部位と、当該第１の部位とは異なる第２の部位とを認識する（Ｓ１０１）。より具体的な一例として、情報処理装置１０は、図５及び図６を参照して説明した例の場合には、ジェスチャ入力に利用される第１の部位及び第２の部位として、左右の手ｕ１１及びｕ１３を認識することとなる。

次いで、情報処理装置１０（ユーザ入力認識部１０３）は、第１の部位と第２の部位それぞれの形状や、当該第１の部位と当該第２の部位との実空間における３次元的な位置関係を認識し（Ｓ１０３）、当該認識結果に応じて、ユーザ入力を認識する（Ｓ１０５）。例えば、情報処理装置１０は、第１の部位の実空間上における３次元的な向きに応じて座標系を規定し、当該第１の部位と第２の部位との間の相対的な位置関係に応じて、当該座標系上における位置、方向、または距離等が指定されたものと認識してもよい。

そして、情報処理装置１０は、ユーザ入力の認識結果に応じた処理を実行する（Ｓ１０７）。具体的な一例として、情報処理装置１０（処理実行部１０５）は、ユーザ入力の認識結果に応じて、対応するアプリケーションを実行してもよい。また、他の一例として、情報処理装置１０（表示制御部１０７）は、ユーザ入力の認識結果に応じて、仮想オブジェクト等のような表示情報を提示する位置や向き（特に、３次元的な位置や向き）を制御してもよい。

以上、図８を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１０によるユーザ入力の認識に係る処理に着目して説明した。

＜＜６．変形例＞＞
続いて、本実施形態に係る情報処理システム１の変形例について説明する。

＜６．１．変形例１：ジェスチャ入力の一例（その１）＞
まず、変形例１として、左右の手を利用したジェスチャ入力の一例について説明する。例えば、図９〜図１１は、変形例１に係るジェスチャ入力の概要について説明するための説明図である。

変形例１に係る情報処理システム１では、情報処理装置１０は、図４を参照して説明したように、ユーザの手ｕ１１の掌に沿って延伸する平面ｖ１１の法線ｖ１３を軸としたロール回転の回転角θ１の認識結果に応じて、ユーザ入力を認識する。具体的には、図９に示すように、情報処理装置１０は、一方の手ｕ１１の少なくとも一部（例えば、掌）に対して、他方の手ｕ１３の少なくとも一部（例えば、指）が接触または近接している状態で、当該手ｕ１１の回転角θ１を認識する。このとき、情報処理装置１０は、他方の手ｕ１３に対する一方の手ｕ１１の相対的な向きの認識結果（例えば、相対的な向きの変化の認識結果）に応じて、当該手ｕ１１の回転角θ１を認識してもよい。また、他の一例として、情報処理装置１０は、実空間上における手ｕ１１の実際の向き（換言すると、実空間上の絶対座標系における手ｕ１１の向きであり、例えば、水平面に対する仰角等）に応じて、回転角θ１を認識してもよい。そして、情報処理装置１０は、当該回転角θ１の認識結果に応じて、ユーザ入力を認識する。

具体的には、情報処理装置１０は、手ｕ１１の回転方向に応じて、仮想オブジェクトｖ２０１を移動させる方向を認識し、当該手ｕ１１の回転角θ１に応じて、当該仮想オブジェクトｖ２０１の移動量を認識する。

例えば、図１０は、図９を参照して説明したジェスチャ入力に基づき、仮想オブジェクトｖ２０１が提示される位置を調整する場合の一例を示している。図１０に示す例では、情報処理装置１０は、所定の位置を基準点とし、手ｕ１１の回転方向及び回転角θ１の認識結果に応じて、当該基準点を中心として操作対象となる仮想オブジェクトｖ２０１を回転移動させている。より具体的な一例として、情報処理装置１０は、手ｕ１１が仰角方向に回転したことを認識した場合に、当該手ｕ１１の回転角θ１に応じて、基準点を中心に仮想オブジェクトｖ２０１を仰角方向に回転移動させてもよい。なお、図１０に示す例において、基準点（即ち、回転移動の中心）の設定方法については特に限定されない。具体的な一例として、地表面上のユーザが立っている位置が基準点として設定されてもよい。また、他の一例として、ユーザの頭部の位置のように、ユーザの少なくとも一部の部位の位置が基準点として設定されてもよい。また、ユーザの視点中心が基準点として設定されてもよい。また、他の一例として、所定のユーザ入力に基づき、基準点の位置が設定されてもよい。

また、図１１は、図９を参照して説明したジェスチャ入力に基づき、仮想オブジェクトｖ２０１が提示される位置を調整する場合の他の一例を示している。図１０に示す例では、情報処理装置１０は、手ｕ１１の回転方向及び回転角θ１の認識結果に応じて、操作対象となる仮想オブジェクトｖ２０１を平行移動させている。より具体的な一例として、情報処理装置１０は、手ｕ１１が仰角方向に回転したことを認識した場合に、当該手ｕ１１の回転角θ１に応じて、仮想オブジェクトｖ２０１を鉛直方向（即ち、高さ方向）に平行移動させてもよい。

なお、図１０及び図１１を参照して説明した例はあくまで一例であり、手ｕ１１の回転方向及び回転角θ１に応じて、操作対象となる表示情報（例えば、仮想オブジェクトｖ２０１）の提示位置や向き（姿勢）が調整されれば、その方法は特に限定されない。

また、上記では、左右の手がジェスチャ入力に利用される場合の一例について説明したが、複数の部位がジェスチャ入力に利用されれば、当該複数の部位のうち少なくとも一方が手以外の他の部位であってもよい。

また、変形例１に係るジェスチャ入力と、図５及び図６を参照して説明したジェスチャ入力とを組み合わせることも可能である。具体的な一例として、情報処理装置１０は、一方の手ｕ１１の実空間上における３次元的な向きと、当該手ｕ１１と他方の手ｕ１３との間の相対的な位置関係と、の認識結果に応じて、ユーザ入力を認識してもよい。また、このとき情報処理装置１０は、一方の手ｕ１１の実空間上における３次元的な向きに加えて、当該手ｕ１１の実空間上における３次元的な位置に応じて、ユーザ入力を認識してもよい。これは、図５及び図６を参照して説明した例についても同様である。

例えば、情報処理装置１０は、手ｕ１１の回転方向及び回転角θ１の認識結果に応じて、操作対象となる仮想オブジェクトＶ２０１の大まかな位置や向きを調整してもよい。また、このとき、情報処理装置１０は、手ｕ１１の実空間上における３次元的な位置の変化に応じて、当該仮想オブジェクトＶ２０１の大まかな位置や向きが調整されてもよい。より具体的な一例として、情報処理装置１０は、手ｕ１１の実空間上における３次元的な位置や向きの認識結果に応じて、当該手ｕ１１により指し示された位置や方向を認識（または推定）し、当該認識の結果に応じて、仮想オブジェクトＶ２０１の大まかな位置や向きを調整してもよい。加えて、手ｕ１１の掌に対する手ｕ１３の指の位置の変化（即ち、手ｕ１１の掌への手ｕ１３の指による操作）の認識結果に応じて、当該仮想オブジェクトＶ２０１の詳細な位置や姿勢が微調整されてもよい。

また、他の一例として、手ｕ１１の回転方向及び回転角θ１の認識結果に応じて、操作対象となる仮想オブジェクトＶ２０１が回転移動するように、当該仮想オブジェクトＶ２０１の位置や向きが調整されてもよい。加えて、手ｕ１１の掌に対する手ｕ１３の指の位置の変化の認識結果に応じて、当該仮想オブジェクトＶ２０１が平行移動するように、当該仮想オブジェクトＶ２０１の位置や向きが調整されてもよい。

以上、変形例１として、図９〜図１１を参照して、左右の手を利用したジェスチャ入力の一例について説明する。

＜６．２．変形例２：ジェスチャ入力の一例（その２）＞
続いて、変形例２として、左右の手を利用したジェスチャ入力の他の一例について説明する。例えば、図１２は、変形例２に係るジェスチャ入力の概要について説明するための説明図である。

図１２に示す例では、情報処理装置１０は、一方の手ｕ１１の掌の上に他方の手ｕ１３の掌を立てた状態で、手ｕ１１の掌の鉛直方向を軸として、手ｕ１３の掌を回転させる動作を認識し、当該動作の認識結果に応じて、ユーザ入力を認識する。

具体的には、情報処理装置１０は、一方の手ｕ１１の形状の認識結果と、当該手ｕ１１の実空間上における向きの認識結果と、に応じて、当該手ｕ１１の掌に沿って延伸する平面ｖ１１を規定する。同様に、情報処理装置１０は、他方の手ｕ１３の形状の認識結果と、当該手ｕ１３の実空間上における向きの認識結果と、に応じて、当該手ｕ１３の掌に沿って延伸する平面ｖ１３を規定する。そして、情報処理装置１０は、平面ｖ１１の向き（換言すると、平面ｖ１１の法線方向）に応じて実空間上における回転軸の向きを規定し、当該平面ｖ１１と平面ｖ１３との相対的な位置関係に応じて回転角を認識する。

以上のような制御により、情報処理装置１０は、例えば、図１２に示すような手ｕ１１及びｕ１３を使用したジェスチャ入力を、実空間上における回転運動と対応付けることが可能となる。そのため、例えば、情報処理装置１０は、上記回転軸の向きの規定結果と、上記回転角の認識結果と、に応じて、操作対象となる仮想オブジェクトを回転させることで、当該仮想オブジェクトの姿勢を制御してもよい。

また、情報処理装置１０は、回転軸の規定に利用されている一方の手ｕ１１の向きが変わるように、手ｕ１１及び手ｕ１３が一体的に回転されたことを認識した場合に、当該手ｕ１１の向きに応じて回転軸の向きを調整してもよい。このような制御により、ユーザは、例えば、図１２を参照して説明した動作（即ち、操作）に基づき、操作対象となる仮想オブジェクトを回転させた後に、手のｕ１１の掌の向きを変えたうえで同動作を再度行うことで、回転軸の向きを変更して当該仮想オブジェクトを再度回転させることも可能となる。

なお、上記では、左右の手がジェスチャ入力に利用される場合の一例について説明したが、複数の部位がジェスチャ入力に利用されれば、当該複数の部位のうち少なくとも一方が手以外の他の部位であってもよい。

以上、変形例２として、図１２を参照して、左右の手を利用したジェスチャ入力の他の一例について説明した。

＜６．３．変形例３：フィードバックの一例＞
続いて、変形例３として、本実施形態に係る情報処理システム１における情報処理装置１０によるユーザへの情報のフィードバックの一例について説明する。

本実施形態に係る情報処理システム１において、情報処理装置１０は、上述したように所定の部位を利用したジェスチャ入力の認識結果に応じて、ユーザ入力を認識した場合に、当該ユーザ入力の認識結果に応じた情報をユーザにフィードバックしてもよい。

例えば、図５及び図６に示す例の場合には、情報処理装置１０は、一方の手ｕ１１の掌の向きの認識結果に基づき規定される平面ｖ１１や、当該平面ｖ１１の法線方向ｖ１３等を、ユーザに対して表示情報として視覚的に提示してもよい。また、他の一例として、情報処理装置１０は、一方の手ｕ１１の掌上における他方の手ｕ１３の指による操作の方向や操作量等を、ユーザに対して表示情報として視覚的に提示してもよい。

また、図９に示す例の場合には、情報処理装置１０は、一方の手ｕ１１の向き、当該手ｕ１１の回転方向、及び当該手ｕ１１の回転角θ１等を、ユーザに対して表示情報として視覚的に提示してもよい。

このような制御により、例えば、入出力装置２０として没入型ＨＭＤが使用されることで、ユーザが自身の部位（例えば、上記複数の部位）を直接視認することが困難な状態においても、当該ユーザは、フィードバックされた情報に応じて、自身が行ったジェスチャ入力を認識することが可能となる。

以上、変形例３として、本実施形態に係る情報処理システム１における情報処理装置１０によるユーザへの情報のフィードバックの一例について説明した。

＜＜７．ハードウェア構成の一例＞＞
続いて、図１３を参照しながら、前述した情報処理装置１０や入出力装置２０のように、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。図１３は、本開示の一実施形態に係る通信システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。

本実施形態に係る通信システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図７に示すオブジェクト認識部１０１、ユーザ入力認識部１０３、処理実行部１０５、及び表示制御部１０７は、ＣＰＵ９０１により構成され得る。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。例えば、図７に示す入力部２２１は、入力装置９１５により構成され得る。

出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。例えば、図７に示す出力部２１１は、出力装置９１７により構成され得る。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図７に示す記憶部１５１は、ストレージ装置９１９により構成され得る。

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。

接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の実施形態に係る通信システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１３では図示しないが、情報処理システムを構成する情報処理装置９００に対応する各種の構成を当然備える。

なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。

＜＜８．むすび＞＞
以上、説明したように、本実施形態に係る情報処理システム１において、情報処理装置１０は、身体の部位のうち、第１の部位と、第１の部位とは異なる第２の部位と、を認識する。そして、当該情報処理装置１０は、当該第１の部位と当該第２の部位との間の実空間上における３次元的な位置関係に応じて、ユーザ入力を認識する。より具体的な一例として、情報処理装置１０は、第１の部位（例えば、一方の手）の実空間上における向きと、当該第１の部位と第２の部位（例えば、他方の手）との間の相対的な位置関係と、のそれぞれの認識結果に応じて、ユーザ入力を認識してもよい。また、他の一例として、情報処理装置１０は、第２の部位に対する第１の部位の相対的な向き（例えば、一方の手の回転角）の認識結果に応じて、ユーザ入力を認識してもよい。

以上のような構成により、本実施形態に係る情報処理システム１に依れば、ユーザは、仮想オブジェクトの３次元的な位置や姿勢を指定する場合等のように、３次元的な情報の入力（換言すると、３次元的な操作）を、簡便かつ直感的なジェスチャ入力により行うことが可能となる。

また、本実施形態に係る情報処理システム１では、情報処理装置１０は、第１の部位に対して第２の部位が接触または近接している場合に、上述したユーザ入力の認識を行ってもよい。換言すると、情報処理装置１０は、第１の部位と第２の部位とが所定の距離以上離間している場合においては、上述したユーザ入力の認識を抑制してもよい。このような制御により、ユーザが情報処理装置１０への情報の入力を意図しない契機において行った当該ユーザの動作に基づき、誤ってユーザ人力が認識されるといった事態の発生を抑制することが可能となる。また、この場合には、ユーザは、複数の部位のうち一方の部位が他方の部位の近傍に位置する状態（ひいては、一方の部位で他方の部位に触れた状態）でジェスチャ入力が行われる。そのため、例えば、入出力装置２０として没入型ＨＭＤが使用されることで、ユーザが自身の部位（例えば、上記複数の部位）を直接視認することが困難な状態においても、当該ユーザは、自身が行っているジェスチャ入力を直感的に認識しやすくなる。

なお、上述した本実施形態に係るジェスチャ入力が、他のユーザインタフェース（即ち、他の入力方法）と組み合わせて使用されてもよい。具体的な一例として、本実施形態に係るジェスチャ入力が、ユーザの視線の検出結果をユーザ入力として利用する所謂視線入力と組み合わせて利用されてもよい。この場合には、例えば、情報処理装置１０は、ユーザの視線の検出結果に応じて、ユーザにより指定された実空間上における３次元的な位置や向きを認識し、本実施形態に係るジェスチャ入力の認識結果に応じて、当該位置や向きの認識結果を補正してもよい。このような構成により、ユーザは、例えば、視線により実空間上の３次元的な位置や向きを大まかに指定し、本実施形態に係るジェスチャ入力を利用することで、当該位置や向きの指定を微調整することも可能となる。もちろん、本実施形態に係るジェスチャ入力と組み合わせる他のユーザインタフェースの種類は、上述した例のみには限定されない。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
身体の第１の部位と、当該第１の部位とは異なる第２の部位と、を認識する第１の認識部と、
認識された前記第１の部位と前記第２の部位との間の実空間上における３次元的な位置関係に応じて、ユーザ入力を認識する第２の認識部と、
を備える、情報処理装置。
（２）
前記第２の認識部は、前記第１の部位の実空間上における３次元的な向きと、当該第１の部位と前記第２の部位との間の相対的な位置関係と、の認識結果に応じて、前記ユーザ入力を認識する、前記（１）に記載の情報処理装置。
（３）
前記第２の認識部は、前記第１の部位の前記向きに応じて規定される平面の実空間上における向きと、当該平面と前記第２の部位との間の相対的な位置関係と、の認識結果に応じて、前記ユーザ入力を認識する、前記（２）に記載の情報処理装置。
（４）
前記第２の認識部は、前記平面である第１の平面と、前記第２の部位の実空間上における３次元的な向きに応じて規定される第２の平面と、の間の相対的な位置関係に応じて、前記ユーザ入力を認識する、前記（３）に記載の情報処理装置。
（５）
前記第２の認識部は、前記第２の部位に対する前記第１の部位の相対的な向きの認識結果に応じて、前記ユーザ入力を認識する、前記（２）に記載の情報処理装置。
（６）
前記第２の認識部は、前記第１の部位の実空間上における３次元的な向き及び位置と、当該第１の部位と前記第２の部位との間の相対的な位置関係と、の認識結果に応じて、前記ユーザ入力を認識する、前記（２）に記載の情報処理装置。
（７）
前記第２の認識部は、所定の条件に応じて、前記第１の部位と前記第２の部位との間の実空間上における３次元的な位置関係に応じた前記ユーザ入力の認識に関する条件を制御する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記第２の認識部は、前記第１の部位と前記第２の部位とが互いに接触または近接する場合に、前記位置関係に応じて、前記ユーザ入力を認識する、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記第１の部位及び前記第２の部位のうち、少なくとも一方の部位は、左右の手のうちの少なくとも一部である、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記第１の部位は、左右の手のうちのいずれか一方の手であり、
前記第２の部位は、前記一方の手とは異なる他方の手の指である、
前記（９）に記載の情報処理装置。
（１１）
前記ユーザ入力の認識結果に応じて、所定の出力部への表示情報の表示を制御する制御部を備える、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
コンピュータが、
身体の第１の部位と、当該第１の部位とは異なる第２の部位と、を認識することと、
認識された前記第１の部位と前記第２の部位との間の実空間上における３次元的な位置関係に応じて、ユーザ入力を認識することと、
を含む、情報処理方法。
（１３）
コンピュータに、
身体の第１の部位と、当該第１の部位とは異なる第２の部位と、を認識することと、
認識された前記第１の部位と前記第２の部位との間の実空間上における３次元的な位置関係に応じて、ユーザ入力を認識することと、
を実行させる、プログラム。

１ 情報処理システム
１０ 情報処理装置
１０１ オブジェクト認識部
１０３ ユーザ入力認識部
１０５ 処理実行部
１０７ 表示制御部
１５１ 記憶部
２０ 入出力装置
２０１ 撮像部
２１１ 出力部
２２１ 入力部
２３１ 検知部

Claims (13)

1. 身体の第１の部位と、当該第１の部位とは異なる第２の部位と、を認識する第１の認識部と、
   認識された前記第１の部位と前記第２の部位との間の実空間上における３次元的な位置関係に応じて、ユーザ入力を認識する第２の認識部と、
   を備える、情報処理装置。
2. 前記第２の認識部は、前記第１の部位の実空間上における３次元的な向きと、当該第１の部位と前記第２の部位との間の相対的な位置関係と、の認識結果に応じて、前記ユーザ入力を認識する、請求項１に記載の情報処理装置。
3. 前記第２の認識部は、前記第１の部位の前記向きに応じて規定される平面の実空間上における向きと、当該平面と前記第２の部位との間の相対的な位置関係と、の認識結果に応じて、前記ユーザ入力を認識する、請求項２に記載の情報処理装置。
4. 前記第２の認識部は、前記平面である第１の平面と、前記第２の部位の実空間上における３次元的な向きに応じて規定される第２の平面と、の間の相対的な位置関係に応じて、前記ユーザ入力を認識する、請求項３に記載の情報処理装置。
5. 前記第２の認識部は、前記第２の部位に対する前記第１の部位の相対的な向きの認識結果に応じて、前記ユーザ入力を認識する、請求項２に記載の情報処理装置。
6. 前記第２の認識部は、前記第１の部位の実空間上における３次元的な向き及び位置と、当該第１の部位と前記第２の部位との間の相対的な位置関係と、の認識結果に応じて、前記ユーザ入力を認識する、請求項２に記載の情報処理装置。
7. 前記第２の認識部は、所定の条件に応じて、前記第１の部位と前記第２の部位との間の実空間上における３次元的な位置関係に応じた前記ユーザ入力の認識に関する条件を制御する、請求項１に記載の情報処理装置。
8. 前記第２の認識部は、前記第１の部位と前記第２の部位とが互いに接触または近接する場合に、前記位置関係に応じて、前記ユーザ入力を認識する、請求項１に記載の情報処理装置。
9. 前記第１の部位及び前記第２の部位のうち、少なくとも一方の部位は、左右の手のうちの少なくとも一部である、請求項１に記載の情報処理装置。
10. 前記第１の部位は、左右の手のうちのいずれか一方の手であり、
    前記第２の部位は、前記一方の手とは異なる他方の手の指である、
    請求項９に記載の情報処理装置。
11. 前記ユーザ入力の認識結果に応じて、所定の出力部への表示情報の表示を制御する制御部を備える、請求項１に記載の情報処理装置。
12. コンピュータが、
    身体の第１の部位と、当該第１の部位とは異なる第２の部位と、を認識することと、
    認識された前記第１の部位と前記第２の部位との間の実空間上における３次元的な位置関係に応じて、ユーザ入力を認識することと、
    を含む、情報処理方法。
13. コンピュータに、
    身体の第１の部位と、当該第１の部位とは異なる第２の部位と、を認識することと、
    認識された前記第１の部位と前記第２の部位との間の実空間上における３次元的な位置関係に応じて、ユーザ入力を認識することと、
    を実行させる、プログラム。

Images