JP6841232B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

近年、センシングに基づく認識により、機器の操作を可能とする技術が用いられている。例えば、下記特許文献１には、カメラを有するヘッドマウントディスプレイ（ＨＭＤ）を装着したユーザが、自身の手を用いて様々なジェスチャを当該カメラに撮像（センシング）させ、ジェスチャ認識により当該ＨＭＤを操作する技術が開示されている。

特開２０１４‐１８６３６１号公報

しかし、ジェスチャ等のセンシングに基づくユーザ操作の認識は失敗することもあり、例えば、ユーザの状況や周辺の環境、デバイスの性能等により認識精度が低下する恐れがある。例えば、認識精度が低い場合と認識精度が高い場合とで操作方法が同一であると、操作が認識されないことが多く、ユーザは操作が認識されるまで何度も同じ操作を繰り返してしまうため、ユーザにとって負担が大きい。

そこで、本開示では、認識精度に応じたユーザ操作により操作することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、センシングデータに基づく認識に係る認識精度を取得する取得部と、前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御部と、を備える情報処理装置が提供される。

また、本開示によれば、センシングデータに基づく認識に係る認識精度を取得することと、前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせるように、プロセッサが制御することと、を含む情報処理方法が提供される。

また、本開示によれば、コンピュータに、センシングデータに基づく認識に係る認識精度を取得する取得機能と、前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御機能と、を実現させるためのプログラムが提供される。

以上説明したように本開示によれば、認識精度に応じたユーザ操作により操作することが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理装置の概要について説明するための説明図である。 同実施形態による情報処理装置１の構成を示すブロック図である。 同実施形態に係る情報処理装置１の動作例を説明するためのフローチャート図である。 同実施形態に係るユーザ操作の第一の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第一の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第一の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第二の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第二の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第三の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第三の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第三の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第四の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第四の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第四の具体例を説明するための説明図である。 本開示に係る情報処理装置のハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜＜１．概要＞＞
＜＜２．構成＞＞
＜＜３．動作＞＞
＜＜４．ユーザ操作の具体例＞＞
＜４−１．第一の具体例＞
＜４−２．第二の具体例＞
＜４−３．第三の具体例＞
＜４−４．第四の具体例＞
＜＜５．ハードウェア構成例＞＞
＜＜６．むすび＞

＜＜１．概要＞＞
本開示に係る技術は、様々な形態の装置に適用可能である。図１は、本開示の一実施形態に係る情報処理装置の概要について説明するための説明図である。図１に示す例において、情報処理装置１は、ヘッドマウントディスプレイ（ＨＭＤ）である。情報処理装置１は、ユーザの頭部に装着され、ユーザの目の一方、または双方の前方に配置されるシースルー型の表示部を有する。

本実施形態に係る情報処理装置１は、センシングを行うセンサ部（不図示）を有し、ユーザによる操作を認識する。例えば、情報処理装置１は後軸がユーザの視線と略平行になるように配置され、ユーザの視界に重なる画像を取得するカメラをセンサ部として備え、取得された画像に基づいてユーザ操作が認識されてもよい。例えば、ユーザ操作は、ユーザ自身の手、指、手で把持する実オブジェクト、または足等の操作体を用いて行われてもよい。また、ユーザ操作は、後述するように視線や音声を用いて行われてもよい。

図１の例において、情報処理装置１の表示部には、仮想的なオブジェクトである仮想オブジェクトＶ１と、ユーザの手である操作体Ｈ１の認識結果を示すユーザインタフェースＵ１が表示される。ユーザが透過型の表示部を通して見た場合、ユーザインタフェースＵ１は、図１に示すように操作体Ｈ１に重畳されるように表示される。

図１に示すユーザインタフェースＵ１のように、操作体Ｈ１は独立して動作可能な５本の指を含んで認識されており、多様な操作を実現し得る。

上述したような情報処理装置１において、ユーザの状況や周辺の環境、デバイスの性能等により操作体Ｈ１や、操作体Ｈ１を用いたユーザ操作に関する認識精度が低下する場合がある。例えば、認識に用いられる画像が暗い場所で取得されると、操作体Ｈ１の各指の位置や向きの認識精度が低くなる場合がある。その結果、ユーザの意図した操作が認識されず、処理が行われない、またはユーザの意図した処理と異なる処理が行われる恐れがある。そこで、次節より、認識精度に応じたユーザ操作（操作方法）により操作可能な仕組みを説明する。

なお、図１では情報処理装置１がＨＭＤであり、シースルー型の表示部を有する例を示しているが、本実施形態に係る情報処理装置１は係る例に限定されず、センシングに基づいてユーザ操作を認識可能な装置であれば様々な形態で実現され得る。例えば、情報処理装置１が有する表示部は、シースルー型であっても非シースルー型であってもよい。また、情報処理装置１は、ヘルメット型や車のフロントガラス（ヘッドアップディスプレイ）型の表示デバイスであってもよい。また、情報処理装置１は、プロジェクタ等の投影装置によりテーブル等の平面に画像が投影されるテーブルトップ型の表示デバイスであってもよい。また、情報処理装置１は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレットＰＣ、ＰＮＤ（Portable／Personal Navigation Device）等であってもよい。

＜＜２．構成＞＞
以上、本実施形態による情報処理装置１の概要を説明した。続いて、図２を参照して、本開示の一実施形態による情報処理装置１の構成例について説明する。図２は、本実施形態による情報処理装置１の構成を示すブロック図である。図１に示すように、情報処理装置１は、センサ部１１０、認識部１２０、取得部１３０、範囲設定部１４０、制御部１５０、記憶部１６０、及び表示部１７０を備える情報処理装置である。

センサ部１１０は、ユーザやユーザの置かれた環境に関するセンシングを行い、センシング結果（センシングデータ）を取得する。例えば、センサ部１１０はＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いて実空間を撮像することにより撮像画像を取得するカメラを含んでもよい。また、センサ部１１０は複数の撮像素子を有し、複数の画像を同時に取得するステレオカメラを含んでもよい。かかる場合、当該複数の撮像素子は水平に並べられ、後述する認識部１２０が取得された複数の画像をステレオマッチング法等により解析することで、実空間の三次元形状情報（深度情報）を取得することが可能となる。

もちろんセンサ部１１０はカメラに限定されず、様々なセンサを含んでよい。例えば、センサ部１１０はマイク、ＧＰＳ（Global Positioning System）センサ、加速度センサ、視覚（視線、注視点、焦点、瞬目等）センサ、生体（心拍、体温、血圧、脳波等）センサ、ジャイロセンサ、照度センサ、赤外線カメラ等の各種センサを含んでもよい。センサ部１１０は、取得したセンシングデータを認識部１２０と取得部１３０に提供する。

認識部１２０は、センサ部１１０のセンシングにより取得されたセンシングデータを解析し、多様な情報を認識（取得）する。例えば、認識部１２０は、センシングデータに基づいてユーザに関するユーザ情報、及びユーザの置かれた環境に関する環境情報を認識してもよい。

ここで、ユーザ情報は、例えば、ユーザの行動を示す行動情報、ユーザの動きを示す動き情報、生体情報、注視情報等を含んでもよい。行動情報は、例えば、静止中、歩行中、走行中、自動車運転中、階段昇降中等ユーザの現在の行動を示す情報であり、センサ部１１０により取得された加速度等のセンシングデータを解析することで認識されてもよい。また、動き情報は、移動速度、移動方向、移動加速度、コンテンツの位置への接近等の情報であり、センサ部１１０により取得された加速度、ＧＰＳデータ等のセンシングデータ等から認識されてもよい。また、生体情報は、ユーザの心拍数、体温発汗、血圧、脈拍、呼吸、瞬目、眼球運動、脳波等の情報であり、センサ部１１０に含まれる生体センサによるセンシングデータに基づいて認識されてもよい。また、注視情報は、視線、注視点、焦点、両眼の輻輳等のユーザの注視に関する情報であり、センサ部１１０に含まれる視覚センサによるセンシングデータに基づいて認識されてもよい。なお、認識部１２０による視線の認識処理については後述する。

また、環境情報は、例えば、周辺状況、場所、照度、高度、気温、風向き、風量、時刻等の情報を含んでもよい。周辺状況の情報は、ユーザ以外の人物や自動車が周辺に存在するか否かという情報や、混雑度等の情報であってもよく、センサ部１１０に含まれるカメラやマイクによるセンシングデータを解析することで認識されてもよい。また、場所の情報は、例えば、屋内、屋外、水中、危険な場所等、ユーザがいる場所の特性を示す情報でもよいし、自宅、会社、慣れた場所、初めて訪れる場所等、当該場所のユーザにとっての意味を示す情報でもよい。場所の情報は、センサ部１１０に含まれるカメラやマイク、ＧＰＳセンサ、照度センサ等によるセンシングデータを解析することで認識されてもよい。また、照度、高度、気温、風向き、風量、時刻（例えばＧＰＳ時刻）の情報も同様に、センサ部１１０に含まれる各種センサにより取得されるセンシングデータに基づいて認識されてもよい。

また、認識部１２０は、センサ部１１０に含まれるカメラによって取得される撮像画像を解析し、実空間に存在する操作体等の実オブジェクトの認識処理を行ってもよい。認識部１２０は、例えば撮像画像から抽出される画像特徴量を、後述する記憶部１６０に記憶される既知の実オブジェクト（例えば手等の操作体）の画像特徴量と照合することにより、撮像画像中の実オブジェクトを識別し、撮像画像における位置を認識する。

さらに、認識部１２０は、センサ部１１０に含まれるカメラによって取得される撮像画像を解析し、実空間の三次元形状情報を取得してもよい。例えば、認識部１２０は、同時に取得された複数画像に対するステレオマッチング法や、時系列的に取得された複数画像に対するＳｆＭ（Structure from Motion）法、ＳＬＡＭ法等を行うことで、実空間の三次元形状を認識し、三次元形状情報を取得してもよい。また、認識部１２０が実空間の三次元形状情報を取得可能な場合、認識部１２０は、実オブジェクトの三次元的な位置、形状、サイズ、及び姿勢を認識してもよい。

また、認識部１２０は、センシングデータやユーザ情報に基づいて、ユーザ操作の認識を行ってもよい。例えば、本実施形態に係る認識部１２０は、ジェスチャ操作の認識、視線操作の認識、音声操作の認識等を行う。

例えば、認識部１２０は、操作体を用いてユーザにより演じられるジェスチャ操作を以下のように認識する。認識部１２０により実行されるジェスチャ認識処理は、操作体を含む部分画像の切り出し、切り出した部分画像のスケーリング、部分画像の一時的な保存、フレーム間の差分の計算などを含み得る。認識部１２０は、例えば、上述の処理で得られた操作体の位置、形状又はサイズなどの属性を追跡し、それら属性の時間的変化を記憶部１６０に予め記憶される既知のジェスチャパターンと照合することにより、操作体が表現するジェスチャ操作を認識してもよい。また、本明細書において、ジェスチャとの用語は、操作体の属性の時間的変化を伴わない、静的なポーズ（形状）をも含むものとする。なお、認識部１２０により認識されるジェスチャ操作の非限定的ないくつかの具体例について、後に図面を用いて説明する。

また、認識部１２０は、ユーザの視線位置による視線操作を以下のように認識する。認識部１２０は、例えば複数の赤外線ＬＥＤによりユーザの瞳孔に照射される赤外光の反射を示す光点の位置と、既知の当該赤外線ＬＥＤの位置を対応付けることで、視線操作に用いられる視線位置を認識してもよい。なお、赤外光の反射を示す光点の位置は、センサ部１１０により検出されてもよいし、センサ部１１０に含まれる赤外線カメラで瞳孔を撮影して得た画像から、認識部１２０により検出されてもよい。また、認識部１２０は、視線位置や、当該視線位置を時系列的に追跡した視線の軌跡と、記憶部１６０に記憶される既知の視線パターンと照合することにより、視線操作を認識してもよい。なお、認識部１２０により認識される視線位置を用いた視線操作の非限定的ないくつかの具体例について、後に図面を用いて説明する。

また、認識部１２０は、ユーザの音声による音声操作を以下のように認識する。認識部１２０は、例えばセンサ部１１０に含まれるマイクにより取得される入力音声と、記憶部１６０に記憶される既知の音声パターンと照合することにより、音声操作を認識してもよい。音声操作でユーザにより入力される音声は、所定の音声コマンド（Ｙｅｓ／Ｎｏ等）や、単語やキーワード、または表示部１７０に表示されるエージェントと会話するような文章、であってもよい。なお、認識部１２０により認識される音声操作の非限定的ないくつかの具体例について、後に図面を用いて説明する。

なお、上述した記憶部１６０に記憶されるユーザ操作に係る情報（ジェスチャパターン、視線パターン、音声パターン等）は、後述する制御部１５０により特定されたユーザ操作に応じた適切な情報が、制御部１５０を介して認識部１２０に提供されてもよい。

取得部１３０は、ユーザ情報、及びユーザ操作の認識に係る認識精度を取得する取得機能を有する。例えば、取得部１３０は、認識部１２０が行う認識における信頼度や、操作の認識に用いられるセンシングデータから推定されるセンシングデータの誤差または精度に基づいて認識精度を特定してもよい。

例えば、ジェスチャ操作に用いられる操作体の認識において、画像から検出される特徴点の数が多い程、操作体の認識結果がより信頼できる傾向にあるため、ジェスチャ操作の認識における信頼度は、当該特徴点の数であってもよい。また、ジェスチャ操作の認識における信頼度は、認識された操作体の属性の時間的変化と既知のジェスチャパターンとの照合におけるマッチングスコアであってもよい。

また、上述したように、視線操作に用いられる視線位置は、認識部１２０がユーザの瞳孔中から検出した光点に基づいて認識されるため、検出される光点の数が多い程、視線位置の推定結果はより信頼できる傾向にある。したがって、視線操作の認識における信頼度は、ユーザの瞳孔中に検出された光点の数であってもよい。また、視線操作の認識における信頼度は、左右の目のそれぞれから認識される視線位置の差であってもよい。

また、音声操作の認識における信頼度は、例えば入力音声から周知のノイズ推定技術により推定されるノイズの小ささや、入力音声と既知の音声パターンとの照合におけるマッチングスコアであってもよい。

上述のように、信頼度に基づいて認識精度を特定することで、認識精度は認識結果が信頼できる度合を反映したものとなり、認識精度に応じたユーザ操作が選択されることによるユーザの利便性が高まる。

また、センシングデータの誤差、及び精度は様々な方法で推定され得る。例えば、取得部１３０は、過去所定時間分のセンシングデータの分散を算出し、当該分散が大きい場合、または分散に大きな変化があった場合に、誤差が大きい（精度が低い）、と推定してもよい。センシングデータの誤差、または精度に基づいて認識精度を特定することで、認識精度は、結果として認識の精度を反映したものとなり、認識精度に応じたユーザ操作が選択されることによるユーザの利便性が高まる。

上記で説明した信頼度や誤差、または精度は、単独で用いられて、または組み合わされて認識精度が特定されてもよい。また、取得部１３０による認識精度の特定方法は、上記に限定されず、得られるセンシングデータやユーザ操作に応じて様々な方法で特定されてもよい。

なお、取得部１３０による認識精度の取得は、上述したような認識精度の特定による取得に限定されない。例えば、認識部１２０が、認識処理の過程において上述した認識精度を特定し、取得部１３０は認識部１２０から認識精度を受け取ることで認識精度を取得してもよい。

また、本実施形態では情報処理装置１が有するセンサ部１１０により取得されるセンシングデータに基づいた認識精度を取得する例について説明したが、本開示は係る例に限定されない。例えば、情報処理装置１は、他のセンサ装置と連携してもよく、センサ部１１０によるセンシングデータや、当該センシングデータに基づく認識結果に代えて、または加えて、当該センサ装置から得られるセンサデータや認識結果を用いてもよい。係る場合、取得部１３０は、例えば当該センサ装置により特定される認識精度を当該センサ装置から取得するインタフェースであってもよい。

範囲設定部１４０は後述する制御部１５０が操作方法の特定に用いる範囲の設定を行う。範囲設定部１４０は、一または複数の閾値を用いて、所定数の範囲を設定してもよい。例えば、範囲設定部が一の閾値を設定することで、当該閾値以上の第一の範囲と、当該閾値未満、すなわち、上限値が、第一の範囲の下限値以下となるような第二の範囲と、が設定されてもよい。また、同様に、範囲設定部が二の閾値を設定することで、第一の範囲、上限値が第一の範囲の下限値以下となる第二の範囲、及び上限値が第二の範囲の下限値以下となる第三の範囲が設定されてもよい。なお、以下では、第二の範囲の上限値が第一の範囲の下限値以下であることを、第一の範囲は第二の範囲より高い、または第二の範囲は第一の範囲より低い等と表現する場合がある。

また、範囲設定部１４０は、予め定められた閾値を用いて範囲を設定してもよいし、動的に得られた閾値を用いて範囲を設定してもよい。予め閾値が定められる場合には、例えば、情報処理装置１の開発者や、情報処理装置１で実行されるアプリケーションの開発者が、インタラクションに応じて予め閾値を特定してもよい。

また、動的に閾値が得られる場合、範囲設定部１４０は、例えば、ユーザにとって厳しい（例えば操作や視認が困難な）状況である程、より閾値が大きくなる（後述する制御部１５０により単純な操作方法が選択されやすくなる）ように閾値を特定してもよい。例えば、範囲設定部１４０は、ユーザに関するユーザ情報、または、ユーザの置かれた環境に関する環境情報に基づいて、閾値を特定することで、範囲を設定してもよい。

範囲設定部１４０は、例えば、ユーザの移動速度の情報（ユーザ情報の一例）に応じて閾値を特定してもよく、ユーザの移動速度が速い程、閾値が大きくなるように閾値を特定してもよい。また、範囲設定部１４０は、ユーザの生体情報（ユーザ情報の一例）、例えばユーザの心拍数に応じて閾値を特定してもよく、ユーザの心拍数が高い程、閾値が大きくなるように閾値を特定してもよい。また、範囲設定部１４０は、ユーザ周囲の照度の情報（環境情報の一例）に応じて閾値を特定してもよく、ユーザ周囲の照度が暗い程、閾値が大きくなるように閾値を特定してもよい。また、範囲設定部１４０は、ユーザ周囲の混雑度の情報（環境情報の一例）に応じて閾値を特定してもよく、ユーザ周囲の混雑度が大きい程、閾値が大きくなるように閾値を特定してもよい。また、範囲設定部１４０は、情報処理装置１から操作体までの距離に応じて閾値を特定してもよく、当該距離が大きい程、閾値が大きくなるように閾値を特定してもよい。係る構成によれば、操作や視認が困難な場合に、認識精度が低下すると、より単純な操作方法が選択されやすくなるため、ユーザは状況に応じた操作方法で操作することが可能となる。その結果、操作が認識されないために同じ操作を繰り返すことが抑制され、ユーザはより快適に操作することが出来る。

制御部１５０は、情報処理装置１が有する各部を制御する制御機能を有する。特に本実施形態に係る制御部１５０は、取得部１３０により取得される認識精度と、範囲設定部１４０により設定される範囲に基づいて、適切なユーザ操作（操作方法）を特定し、当該ユーザ操作が認識された場合に対応する処理が行われるように制御する。

例えば、制御部１５０は、認識部１２０を制御し、認識精度が第一の範囲に含まれる場合には第一のユーザ操作を認識可能にさせてもよい。また、制御部１５０は、認識部１２０を制御し、認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせてもよい。なお、制御部１５０による認識部１２０の制御は、上記に限定されず、例えば、範囲設定部１４０が３以上の範囲を設定する場合、制御部１５０は認識精度と３以上の範囲に基づいて同様の制御を行ってもよい。

本開示において、第一のユーザ操作に第二のユーザ操作が関連するとは、例えば、第一のユーザ操作と第二のユーザ操作が同一対象に関するセンシングデータに基づいて認識されるユーザ操作である、ということを含んでもよい。例えば、第一のユーザ操作と第二のユーザ操作は、共にユーザの手、指先、視線、または音声に関するセンシングデータに基づいて認識されてもよい。係る構成により、制御部１５０により受け付けられるユーザ操作が変更されても、ユーザはセンサ部１１０にセンシングさせる対象を変更しなくてもよく、スムーズに操作を継続することが可能である。

また、本開示において、第二のユーザ操作が第一のユーザ操作とは異なるとは、例えば、認識部１２０が第一のユーザ操作と、第二のユーザ操作を異なる操作として認識する、ということを含んでもよい。例えば、第一のユーザ操作が独立して動作可能な５本の指を含む操作体を用いた操作として認識され、第二のユーザ操作が指を含まない（指が認識されていない）操作体を用いた操作として認識されて、第一のユーザ操作と第二のユーザ操作が異なることを含む。

また、制御部１５０は、認識部１２０によりユーザ操作が認識された場合に、当該ユーザ操作に基づいて所定の処理を行わせてもよい。例えば、認識精度が第一の範囲に含まれる場合に認識可能なユーザ操作に基づいて行われ得る処理の種類は、認識精度が第二の範囲に含まれる場合に認識可能なユーザ操作に基づいて行われ得る処理の種類を含んでもよい。また、認識精度が第一の範囲に含まれる場合に認識可能なユーザ操作は、認識精度が第二の範囲に含まれる場合に認識可能なユーザ操作よりも複雑な操作であってもよい。係る構成により、ユーザは、認識精度が低い場合であっても、単純なユーザ操作により処理を行わせることが可能であると共に、認識精度が高い場合には複雑なユーザ操作により、より自由度の高い多様な処理を実行させることが可能である。

また、制御部１５０は、認識精度と範囲に応じた一または複数のユーザ操作に係る情報を記憶部１６０から抽出して認識部１２０に提供することで、当該ユーザ操作を認識可能にさせてもよい。係る構成によれば、認識部１２０は、認識精度に基づいたユーザ操作を選択的に認識することが可能となり、例えば、認識部１２０が認識し得るユーザ操作を全て認識する場合と比較して、認識処理に係る処理負荷が軽減される。

また、制御部１５０は、認識精度が第一の範囲に含まれる場合には第一のユーザ操作が認識可能であることをユーザに通知させ、認識精度が第二の範囲に含まれる場合には第二のユーザ操作が認識可能であることをユーザに通知させてもよい。例えば、制御部１５０は、表示部１７０を制御し、認識可能なユーザ操作ごとに異なるユーザインタフェースやエフェクト、テキスト等を表示させることで、当該ユーザ操作が認識可能であることをユーザに通知させてもよい。また、制御部１５０による通知方法は上記に限定されず、制御部１５０は不図示のスピーカを制御して音声により通知させてもよいし、不図示の振動部を制御して振動により通知させてもよい。

なお、ユーザ操作、ユーザ操作に基づく処理、及びユーザ操作が認識可能であることの通知の具体例については、後に図面を用いて説明する。

記憶部１６０は、情報処理装置１による処理のためのプログラムやデータを記憶する。例えば、記憶部１６０は、操作体の認識に用いられる画像特徴量や、操作の認識に用いられるジェスチャパターン、視線パターン、音声パターン等を記憶していてもよい。記憶部１６０に記憶される上述した情報は、制御部１５０により特定されたユーザ操作に応じて、制御部１５０を介して認識部１２０に提供される。

表示部１７０は、種々の情報を表示するディスプレイである。表示部１７０は、図１に示したように、透過型（光学シースルー型）のディスプレイであってもよいし、非透過型のディスプレイであってもよい。また、表示部１７０は、制御部１５０に制御されて、認識可能なユーザ操作について通知するための表示を行ってもよい。

＜＜３．動作＞＞
以上、本開示の一実施形態に係る情報処理装置１の構成例について説明した。続いて、図３を参照して、本実施形態に係る情報処理装置１の動作例ついて説明する。図３は、本実施形態に係る情報処理装置１の動作例を説明するためのフローチャート図である。

まず、センサ部１１０により、センシングが行われる（Ｓ１０）。続いて、認識部１２０が、センサ部１１０によるセンシング結果（センシングデータ）を解析して、ユーザ情報や環境情報、操作に係る情報等、様々な情報を認識する（Ｓ２０）。続いて、取得部１３０が、認識における信頼度や、センシングデータの誤差または精度等に基づいて、認識精度情報を取得する（Ｓ３０）。

続いて、範囲設定部１４０が、ユーザ情報や環境情報等に基づいて、操作方法の特定に用いられる範囲の設定を行う（Ｓ４０）。設定された範囲と、認識精度に基づいて、制御部１５０は、操作方法（ユーザ操作）を特定する（Ｓ５０）。

続いて、制御部１５０は、認識部１２０を制御して、特定された操作方法に応じた操作の認識が行われるように、認識設定を更新する（Ｓ６０）。さらに、制御部１５０は、表示部１７０を制御して、特定されたユーザ操作（操作方法）が可能であることをユーザに通知させる（Ｓ７０）。

なお、上述した一連の処理（ステップＳ１０〜Ｓ７０）は、当該一連の処理が終了次第、または定期的に、繰り返し実行されてもよい。

＜＜４．ユーザ操作の具体例＞＞
以上、本実施形態に係る情報処理装置１の構成例、及び動作例について説明した。以下では、ユーザ操作の具体例をいくつか挙げて説明する。

なお、以下に説明する具体例のうち、いずれか一つの具体例が本実施形態に適用されてもよいし、複数の具体例が組み合わされて本実施形態に適用されてもよい。また、以下に説明する具体例のうち、いずれか一つがユーザにより、または自動的に選択されて本実施形態に適用されてもよい。

＜４−１．第一の具体例＞
図４Ａ〜Ｃは、本実施形態に係るユーザ操作の第一の具体例を説明するための説明図である。本具体例において、各ユーザ操作は、ユーザの手（操作体の一例）に関するセンシングデータに基づいて認識されるユーザ操作であり、認識精度に応じて、認識される指の数が異なる。また、本具体例において、範囲設定部１４０は３つの範囲を設定し、第一の範囲、第二の範囲、第三の範囲の順に低くなる（第二の範囲の下限値は第一の範囲の上限値以下であり、第三の範囲の下限値は第一の範囲の上限値以下である）ものとする。

図４Ａは、本具体例において認識精度が第一の範囲に含まれる場合に認識可能なユーザ操作を説明するための説明図である。図４Ａに示す例では、情報処理装置１の表示部１７０に、ユーザの手である操作体Ｈ１０の認識結果を示すユーザインタフェースＵ１２が表示される。本具体例において、表示部１７０は透過型のディスプレイであり、ユーザが表示部１７０を通して見た場合、ユーザインタフェースＵ１２は、図４Ａに示すように操作体Ｈ１０に重畳されるように表示される。

また、図４Ａに示すように、ユーザインタフェースＵ１２は、独立して動作可能な５本の指Ｕ１２１〜Ｕ１２９を含んで表示されており、ユーザは多様な操作を実現し得る。例えば、ユーザは操作体Ｈ１０を用いて所定のジェスチャ操作を行うことで、仮想オブジェクト（不図示）の編集、閲覧に係る選択、移動、拡大縮小、回転、変形等の処理を情報処理装置１に行わせてもよい。操作対象となる仮想オブジェクトは、例えば、３Ｄモデルであってもよいし、アイコン、ボタン、コントロールパネル等のＧＵＩ（グラフィカルユーザインタフェース）、写真やイラスト等の画像、説明文やラベル等のテキストで構成されたコンテンツであってもよい。

例えば、ユーザは、仮想オブジェクトをいずれかの指で叩くようなジェスチャを行うことで、当該仮想オブジェクトを選択することができる。また、ユーザは、二本の指で仮想オブジェクトを挟んで移動させるようなジェスチャを行うことで、当該仮想オブジェクトをつかんで移動させることが可能である。また、ユーザは５本の指を仮想オブジェクトに重ねて、開いたり閉じたりすることで、当該仮想オブジェクトを拡大したり縮小したりさせることが可能である。また、ユーザは、一または複数の指で仮想オブジェクトを押す、引っ張る、ひねる、分割する、壊す等の変形させるようなジェスチャを行うことで、当該仮想オブジェクトを変形させることが可能である。

なお、本開示に係るジェスチャ操作は上記のジェスチャに限定されず、例えば操作体を用いて行われる操作であればよい。本開示に係るジェスチャ操作には、いわゆるタップ、フリック、スワイプ、ドラッグ、ピンチイン、ピンチアウト、回転等が含まれてもよい。

図４Ｂは、本具体例において認識精度が第二の範囲に含まれる場合に認識可能なユーザ操作を説明するための説明図である。図４Ｂに示す例においても、情報処理装置１の表示部１７０に、ユーザの手である操作体Ｈ１０の認識結果を示すユーザインタフェースＵ１４が、操作体Ｈ１０に重畳されるように表示される。

図４Ｂに示すように、ユーザインタフェースＵ１４は、２本指のアームのような形状をしており、本ユーザ操作では、ユーザの手が２本の指を含む操作体として認識されている。例えば、認識部１２０がユーザの手の開き具合を認識し、制御部１５０は、ユーザの手の開き具合を図４Ｂに示す指Ｕ１４２と指Ｕ１４４の開き具合として表示させてもよい。

また、図４Ｂに示す例において、上記アームで仮想オブジェクトを叩くようなジェスチャ操作、及び上記アームで仮想オブジェクトを挟んで移動させるようなジェスチャ操作に基づき、仮想オブジェクトの選択、及び移動の処理が行われてもよい。

図４Ｃは、本具体例において認識精度が第三の範囲に含まれる場合のユーザ操作を説明するための説明図である。図４Ｃに示す例においても、情報処理装置１の表示部１７０に、ユーザの手である操作体Ｈ１０の認識結果を示すユーザインタフェースＵ１６が、操作体Ｈ１０に重畳されるように表示される。

図４Ｃに示すように、ユーザインタフェースＵ１６は、指が無い円形部Ｕ１６２を含み、本ユーザ操作では、ユーザの手（操作体）の位置は認識されるが、指は認識されていない。図４Ｃに示す例において、例えばユーザインタフェースＵ１６は吸着力を有し、ユーザは操作体Ｈ１０を移動させてユーザインタフェースＵ１６を仮想オブジェクトに近づけることで、仮想オブジェクトをユーザインタフェースＵ１６に吸着させることができる。また、ユーザが操作体Ｈ１０を移動させてユーザインタフェースＵ１６を移動させることで、吸着させた仮想オブジェクトを移動させる処理が行われてもよい。なお、吸着させた仮想オブジェクトの吸着を解除するためには、他のユーザ操作（例えば音声認識）が用いられてもよい。

上述したように、本具体例では、図４Ａに示す例における第一のユーザ操作、及び図４Ｂに示す例における第二のユーザ操作は、共に同じ処理（以下、第一の処理と呼ぶ場合がある）を行わせるためのユーザ操作であってもよい。例えば、図４Ａに示す例において二本の指で仮想オブジェクトを挟んで移動させるようなジェスチャ操作と、図４Ａに示す例においてアームで仮想オブジェクトを叩くようなジェスチャ操作は、共に選択処理（第一の処理の一例）を行わせるためのユーザ操作である。

また、制御部１５０は、認識精度が第一の範囲に含まれる場合には、第一の処理とは異なる第二の処理を行わせるためのユーザ操作を認識可能にさせ、認識精度が第二の範囲に含まれる場合には、当該第二の処理を行わせるためのユーザ操作を認識可能にさせなくてもよい。例えば、上述したように図４Ａに示す例では、ユーザは５本の指を仮想オブジェクトに重ねて、開いたり閉じたりすることで、拡大縮小処理（第二の処理の一例）を行わせることが可能である。一方、図４Ｂに示す例において、拡大縮小処理を行わせるためのユーザ操作が認識されない（拡大縮小処理を行わせることが出来ない）ように、制御部１５０は制御してもよい。もちろん、認識精度が第三の範囲に含まれる場合（図４Ｃに示す例）についても、同様の制御が行われてもよい。係る構成により、認識精度が低い場合には認識可能なユーザ操作が限定されることで、誤認識を減少させることが可能である。また、認識精度が高い場合、ユーザはより多様なユーザ操作により、より多様な処理を行わせることが可能である。

また、上述したように、本具体例では、より高い範囲に対応するユーザ操作において認識されるユーザの手の指の数は、より低い範囲（他の範囲の下限値よりも上限値が小さい範囲）に対応するユーザ操作において認識されるユーザの手の指の数よりも多い。ユーザ操作において認識される指の数が異なることで、各ユーザ操作は異なる操作として認識され、認識される指の数に応じたユーザインタフェースが表示される。係る構成により、ユーザは表示されるユーザインタフェースが示す指の数で、手の認識精度と認識可能な操作を把握することが可能である。また、認識精度がより高い場合には、ユーザはより複雑な操作が可能であり、より自由度の高い処理を実行させることが出来る。

＜４−２．第二の具体例＞
上述した第一の具体例では、手の認識に基づくユーザ操作において、認識精度に応じて、認識される指の数が異なる例を説明した。以下では、第二の具体例として、ユーザの指先（例えば人差し指の指先）に関するセンシングデータに基づいて認識されるユーザ操作において、指先の位置に基づいて操作の対象となる操作領域が特定され、認識精度に応じて当該操作領域の大きさが異なる例を説明する。

図５Ａ、Ｂは、本実施形態に係るユーザ操作の第二の具体例を説明するための説明図である。本具体例において、範囲設定部１４０は２つの範囲を設定し、第一の範囲より第二の範囲の方が低いものとする。

図５Ａは、本具体例において認識精度がより高い第一の範囲に含まれる場合の第一のユーザ操作を説明するための説明図である。また、図５Ｂは、本具体例において認識精度が第二の範囲に含まれる場合の第二のユーザ操作を説明するための説明図である。

ここで、制御部１５０は、第一のユーザ操作において操作の対象となる操作領域より、第二のユーザ操作において操作の対象となる操作領域の方が大きいように操作領域を設定してもよい。係る構成により、認識精度が高い場合には、ユーザの指先の形状に合わせた厳密な操作領域が設定されて、より正確に操作可能であり、認識精度が低い場合には、指先周囲のより広い領域に操作領域が設定されて、認識誤差による違和感を受け難くなる。

また、制御部１５０は、操作領域を示す操作領域指示子を表示部１７０に表示させてもよい。操作領域指示子は、操作領域の大きさに応じた大きさで表示されてもよく、操作領域の位置に応じた位置に表示されてもよい。係る構成により、ユーザは操作領域を把握することが可能である。

図５Ａ、図５Ｂに示す例では、情報処理装置１の表示部１７０に、それぞれ操作領域を示すユーザインタフェース（操作領域指示子）Ｕ２２、ユーザインタフェース（操作領域指示子）Ｕ２４が制御部１５０の制御により表示される。本具体例において、表示部１７０は透過型のディスプレイであり、ユーザが表示部１７０を通して見た場合、ユーザインタフェースＵ２２、ユーザインタフェースＵ２４は、図５Ａ、図５Ｂに示すように操作体Ｈ２０の指先に重畳されるように表示される。本具体例では、第一のユーザ操作における操作領域より、第二のユーザ操作における操作領域の方が大きいため、図５Ａ、図５Ｂに示すようにユーザインタフェースＵ２２より、ユーザインタフェースＵ２４の方が大きい。

本具体例において、例えばユーザが操作体Ｈ２０を用いて、ユーザインタフェースＵ２２、またはユーザインタフェースＵ２４の範囲内に仮想オブジェクトが所定時間停留するように操作することで、仮想オブジェクトの選択処理が行われてもよい。また、認識精度がより高い状態である図５Ａに示す例においては、三次元的な指の位置が認識され、仮想オブジェクトに対する接触度合（タッチの強さ）によって、段階的なタッチ操作が認識されてもよい。係る場合、例えば、接触度合によって、仮想オブジェクトの変形処理が行われてもよい。

上述したように、本具体例では、認識精度が高い場合にはユーザ操作の対象となる操作領域がより小さく認識され、制御部１５０は、より小さい操作領域を示す小さな操作領域指示子を表示させる。また、認識精度が低い場合にはユーザ操作の対象となる操作領域がより大きく認識され、制御部１５０は、より大きい操作領域を示す大きな操作領域指示子を表示させる。ユーザ操作において認識される操作領域が異なることで、各ユーザ操作は異なる操作として認識部１２０により認識され、認識される操作領域に応じたユーザインタフェースが表示される。係る構成により、認識精度が高い場合に、ユーザの指先の形状に合わせたユーザインタフェースの表示が行われ、ユーザは高精度に指先位置が認識されていることを把握できると共に、複雑な操作に基づき自由度の高い処理を実行させることが出来る。また、認識精度が低い場合には、指先の周囲により広い範囲のユーザインタフェースが表示されるため、指先位置の認識誤差に対するユーザの違和感が小さくなる。また、認識可能なユーザ操作と操作領域指示子の大きさが対応するため、ユーザは、操作領域指示子の大きさに基づいて、認識可能なユーザ操作を把握することが可能である。

なお、指先の操作領域、及び操作領域を示す操作領域指示子の大きさが異なる例は上記に限定されない。例えば、指先の操作領域は、認識精度が大きくなる程小さく設定され、操作領域に応じた大きさで指先の操作領域を示す操作領域指示子が表示されてもよい。

＜４−３．第三の具体例＞
上述した第一の具体例、及び第二の具体例では、ユーザ操作が手、または指先の認識に基づく操作である例を説明した。続いて、以下では、第三の具体例として、ユーザの視線に関するセンシングデータに基づいて認識されるユーザ操作の例を説明する。本具体例では、視線の位置に基づいて操作の対象となる操作領域が特定される。

図６Ａ〜Ｃは、本実施形態に係るユーザ操作の第三の具体例を説明するための説明図である。本具体例において、範囲設定部１４０は３つの範囲を設定し、第一の範囲、第二の範囲、第三の範囲の順に低くなるものとする。また、図６Ａ〜Ｃに示す画面Ｗ３２〜Ｗ３６は、制御部１５０の制御により表示部１７０に表示される画面であり、表示部１７０は透過型のディスプレイであってもよいし、非透過型のディスプレイであってもよい。

図６Ａは、本具体例において認識精度が第一の範囲に含まれる場合のユーザ操作を説明するための説明図である。図６Ａに示す例では画面Ｗ３２に、ユーザの視線位置を中心とした操作領域を示すユーザインタフェース（操作領域指示子）Ｕ３２が表示される。図６Ａに示す例において、ユーザは、例えば視線を移動させることでユーザインタフェースＵ３２を移動させ、一定時間の注視（視線位置を停留させること）により、選択処理を実行させることが可能である。例えば、図６Ａにおけるユーザ操作は、ユーザが一点を見ている操作として認識部１２０により認識されてもよく、ユーザインタフェースＵ３２は、所謂ポインタとして用いられ得る。

図６Ｂは、本具体例において認識精度が第二の範囲に含まれる場合のユーザ操作を説明するための説明図である。図６Ｂに示す例では画面Ｗ３４に、図６Ａに示したユーザインタフェースＵ３２よりも大きく、ユーザの視線位置を中心とした操作領域（注視エリア）を示すユーザインタフェース（操作領域指示子）Ｕ３４が表示される。例えば、図６Ｂにおけるユーザ操作は、図６Ａにおけるユーザ操作と異なり、ユーザが点よりも大きい領域を見ている操作として認識部１２０により認識されてもよい。図６Ｂに示す例において、ユーザは、例えば視線を移動させることでユーザインタフェースＵ３４を移動させる処理を実行することが可能であるが、選択処理を実行させるためには、他のユーザ操作（例えば音声認識に基づく操作）を要してもよい。なお、ユーザインタフェースＵ３４のエリア内に仮想オブジェクトが存在した場合には、例えばヒントや選択肢が表示されてもよく、例えば係る状態においてユーザが「決定」と発話することで選択処理が実行されてもよい。

図６Ｃは、本具体例において、認識精度が第三の範囲に含まれる場合のユーザ操作を説明するための説明図である。図６Ｃに示す例では画面Ｗ３６が九つのエリアＡ１０〜Ａ９０に分割されて表示され、ユーザの視線位置が存在するエリアに、図６Ｂに示したユーザインタフェースＵ３４よりも大きく、操作領域を示すユーザインタフェース（操作領域指示子）Ｕ３６が表示される。例えば、図６Ｃにおけるユーザ操作は、図６Ａ、及び図６Ｂにおけるユーザ操作と異なり、ユーザがさらに大きい領域を見ている操作として認識部１２０により認識されてもよい。ユーザインタフェースＵ３６が存在するエリアに応じて、例えば、上（エリアＡ２０）、下（エリアＡ８０）、左（エリアＡ４０）、右（エリアＡ６０）、正面（エリアＡ５０）等の方向に応じた入力処理が実行されてもよい。例えば、図６Ｃに示す例では、エリアＡ４０にユーザインタフェースＵ３６が表示されているため、左方向（左方向キー）の入力処理が実行される。

＜４−４．第四の具体例＞
上記では、手の認識に基づくユーザ操作と、視線認識に基づくユーザ操作の具体例を説明した。続いて、以下では、第四の具体例として、音声パターンの認識に基づいて認識されるユーザ操作の例を説明する。

図７Ａ〜Ｃは、本実施形態に係るユーザ操作の第四の具体例を説明するための説明図である。本具体例において、範囲設定部１４０は３つの範囲を設定し、第一の範囲、第二の範囲、第三の範囲の順に低くなるものとする。また、図７Ａ〜Ｃに示す画面Ｗ４２〜Ｗ４６は、制御部１５０の制御により表示部１７０に表示される画面であり、表示部１７０は透過型のディスプレイであってもよいし、非透過型のディスプレイであってもよい。

図７Ａは、本具体例において認識精度が第一の範囲に含まれる場合のユーザ操作を説明するための説明図である。図７Ａに示す例では画面Ｗ４２に、エージェント（キャラクタ）Ｕ４２が表示される。ユーザは、エージェントＵ４２と会話するように自由に音声を入力し、情報処理装置１は不図示のスピーカからエージェントＵ４２が話しているように音声を出力してもよい。例えば、図７Ａにおけるユーザ操作は、ユーザが発声した文章による操作として、認識部１２０により認識されてもよい。

図７Ｂは、本具体例において認識精度が第二の範囲に含まれる場合のユーザ操作を説明するための説明図である。図７Ｂに示す例では画面Ｗ４４に、単語やキーワードでユーザが返答可能な質問文を含むユーザインタフェースＵ４４が表示される。ユーザは、単語やキーワードにより音声入力を行うことが可能であり、入力された音声の認識結果に応じて、入力内容の確認メッセージが表示されてもよい。例えば、図７Ｂにおけるユーザ操作は、図７Ａにおけるユーザ操作とは異なり、ユーザが発声した単語またはキーワードによる操作として、認識部１２０により認識されてもよい。図７Ｂの例では入力が単語やキーワードに限定されるため、自由に会話可能な図７Ａの例と比較して、認識される音声のパターンの数が少なくなり、より認識精度が低い場合であってもスムーズにユーザの入力を受け付け易くなる。

図７Ｃは、本具体例において、認識精度が第三の範囲に含まれる場合のユーザ操作を説明するための説明図である。図７Ｃに示す例では画面Ｗ４６に、Ｙｅｓ／Ｎｏ等の所定の音声コマンドを含むユーザインタフェースＵ４６２、Ｕ４６４と当該音声コマンドで返答可能な質問文を含むユーザインタフェースＵ４６６が表示される。ユーザは、所定の音声コマンドにより音声入力を行うことが可能である。例えば、図７Ｃにおけるユーザ操作は、図７Ａ、及び図７Ｂにおけるユーザ操作とは異なり、ユーザが発声した所定の音声コマンドによる操作として、認識部１２０により認識されてもよい。図７Ｃの例では入力が所定の音声コマンドに限定されるため、図７Ａ、及び図７Ｂの例と比較して、認識される音声のパターンの数がさらに少なくなり、より認識精度が低い場合であってもスムーズにユーザの入力を受け付け易くなる。

なお、上記では、ユーザ操作に関する通知が、例えば質問文を含むユーザインタフェースの表示により行われる例を説明したが、音声により同様の質問文が出力されて、通知されてもよい。

＜＜５．ハードウェア構成例＞＞
以上、本開示の各実施形態を説明した。上述した表示形態選択処理、表示制御処理等の情報処理は、ソフトウェアと、以下に説明する情報処理装置１のハードウェアとの協働により実現される。

図８は、情報処理装置１のハードウェア構成の一例を示す説明図である。図８に示したように、情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、入力装置１４と、出力装置１５と、ストレージ装置１６と、撮像装置１７と、通信装置１８とを備える。

ＣＰＵ１１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、ＣＰＵ１１は、マイクロプロセッサであってもよい。ＲＯＭ１２は、ＣＰＵ１１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１３は、ＣＰＵ１１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバスにより相互に接続されている。主に、ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３とソフトウェアとの協働により、認識部１２０、取得部１３０、範囲設定部１４０、制御部１５０、の機能が実現される。

入力装置１４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１１に出力する入力制御回路等から構成されている。情報処理装置１のユーザは、該入力装置１４を操作することにより、情報処理装置１に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置、シースルーディスプレイ、及びランプ等の表示装置を含む。さらに、出力装置１５は、スピーカ及びヘッドホン等の音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像等を表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。出力装置１５は、図２を参照して説明した表示部１７０に対応する。

ストレージ装置１６は、データ格納用の装置である。ストレージ装置１６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１６は、ＣＰＵ１１が実行するプログラムや各種データを格納する。ストレージ装置１６は、図２を参照して説明した記憶部１６０に対応する。

撮像装置１７は、光を集光する撮影レンズ及びズームレンズ等の撮像光学系、及びＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。撮像装置１７は、図２を参照して説明したセンサ部１１０に含まれる。

通信装置１８は、例えば、通信網に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１８は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース（登録商標）通信装置を含んでもよい。

＜＜６．むすび＞
以上、説明したように、本開示の実施形態によれば、認識精度に応じたユーザ操作が特定されると共に、認識精度に応じたユーザ操作がユーザに通知されるため、ユーザは認識精度に応じたユーザ操作により、より快適に操作することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、情報処理装置１がセンサ部１１０や認識部１２０、記憶部１６０等を備える例を説明したが、本技術はかかる例に限定されない。例えば、情報処理装置１は、センシングデータや、認識結果、認識精度等の情報を他の装置から直接、またはネットワーク等を介して受け取って、ユーザ操作を特定し、制御信号を他の装置に出力してもよい。

また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、情報処理装置１に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上述した情報処理装置１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
センシングデータに基づく認識に係る認識精度を取得する取得部と、
前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御部と、
を備える情報処理装置。
（２）
前記第一のユーザ操作と前記第二のユーザ操作は、同一対象に関するセンシングデータに基づいて認識される、前記（１）に記載の情報処理装置。
（３）
前記第二の範囲の上限値は、前記第一の範囲の下限値以下である、前記（１）または（２）に記載の情報処理装置。
（４）
前記制御部は、認識されるユーザ操作に基づいて所定の処理を行わせ、
前記認識精度が第一の範囲に含まれる場合に認識可能なユーザ操作に基づいて行われる処理の種類は、前記認識精度が第二の範囲に含まれる場合に認識可能なユーザ操作に基づいて行われる処理の種類を含む、前記（３）に記載の情報処理装置。
（５）
前記制御部は、前記認識精度が前記第一の範囲に含まれる場合には前記第一のユーザ操作が認識可能であることをユーザに通知させ、前記認識精度が前記第二の範囲に含まれる場合には前記第二のユーザ操作が認識可能であることをユーザに通知させる、前記（４）に記載の情報処理装置。
（６）
前記認識精度は、前記認識における信頼度に基づいて特定される、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記認識精度は、前記センシングデータの誤差または精度に基づいて特定される、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記第一のユーザ操作、及び前記第二のユーザ操作は、ユーザの手に関するセンシングデータに基づいて認識されるユーザ操作であり、前記第一のユーザ操作において認識される前記ユーザの手の指の数は、前記第二のユーザ操作において認識される前記ユーザの手の指の数よりも多い、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記第一のユーザ操作、及び前記第二のユーザ操作は、第一の処理を行わせるためのユーザ操作であり、
前記制御部は前記認識精度が前記第一の範囲に含まれる場合には、前記第一の処理とは異なる第二の処理を行わせるためのユーザ操作を認識可能にさせ、前記認識精度が前記第二の範囲に含まれる場合には、前記第二の処理を行わせるためのユーザ操作を認識可能にさせない、前記（８）に記載の情報処理装置。
（１０）
前記制御部は、前記第一のユーザ操作において操作の対象となる操作領域より、前記第二のユーザ操作において操作の対象となる操作領域の方が大きいように操作領域を設定する、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記制御部は、前記操作領域を示す操作領域指示子を表示させ、前記操作領域指示子は、前記操作領域の大きさに応じた大きさで表示される、前記（１０）に記載の情報処理装置。
（１２）
前記第一のユーザ操作、及び前記第二のユーザ操作は、ユーザの指先に関するセンシングデータ、またはユーザの視線に関するセンシングデータに基づいて認識されるユーザ操作であり、前記操作領域は前記ユーザの指先の位置、または前記ユーザの視線の位置に基づいて特定される、前記（１０）に記載の情報処理装置。
（１３）
前記第一のユーザ操作、及び前記第二のユーザ操作は、音声パターンの認識に基づいて認識されるユーザ操作であり、前記第一のユーザ操作において認識される音声パターンの数は、前記第二のユーザ操作において認識される音声パターンの数よりも多い、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記第一の範囲と前記第二の範囲を設定する範囲設定部をさらに備える、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
範囲設定部は、ユーザに関するユーザ情報に基づいて、前記第一の範囲と前記第二の範囲を設定する、前記（１４）に記載の情報処理装置。
（１６）
前記ユーザ情報は、ユーザの移動速度情報、またはユーザの生体情報を含む、前記（１５）に記載の情報処理装置。
（１７）
範囲設定部は、ユーザの置かれた環境に関する環境情報に基づいて、前記第一の範囲と前記第二の範囲を設定する、前記（１４）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記環境情報は、照度の情報、または混雑度の情報を含む、前記（１７）に記載の情報処理装置。
（１９）
センシングデータに基づく認識に係る認識精度を取得することと、
前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせるように、プロセッサが制御することと、を含む情報処理方法。
（２０）
コンピュータに、
センシングデータに基づく認識に係る認識精度を取得する取得機能と、
前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御機能と、を実現させるためのプログラム。

１ 情報処理装置
１１０ センサ部
１２０ 認識部
１３０ 取得部
１４０ 範囲設定部
１５０ 制御部
１６０ 記憶部
１７０ 表示部

Claims (19)

1. センシングデータに基づく認識に係る認識精度を取得する取得部と、
   前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御部と、
   を備え、
   前記制御部は、前記第一のユーザ操作において操作の対象となる操作領域より、前記第二のユーザ操作において操作の対象となる操作領域の方が大きいように操作領域を設定する、情報処理装置。
2. 前記第一のユーザ操作と前記第二のユーザ操作は、同一対象に関するセンシングデータに基づいて認識される、請求項１に記載の情報処理装置。
3. 前記第二の範囲の上限値は、前記第一の範囲の下限値以下である、請求項１または請求項２に記載の情報処理装置。
4. 前記制御部は、認識されるユーザ操作に基づいて所定の処理を行わせ、
   前記認識精度が第一の範囲に含まれる場合に認識可能なユーザ操作に基づいて行われる処理の種類は、前記認識精度が第二の範囲に含まれる場合に認識可能なユーザ操作に基づいて行われる処理の種類を含む、請求項３に記載の情報処理装置。
5. 前記制御部は、前記認識精度が前記第一の範囲に含まれる場合には前記第一のユーザ操作が認識可能であることをユーザに通知させ、前記認識精度が前記第二の範囲に含まれる場合には前記第二のユーザ操作が認識可能であることをユーザに通知させる、請求項４に記載の情報処理装置。
6. 前記認識精度は、前記認識における信頼度に基づいて特定される、請求項１乃至請求項５の何れか１項に記載の情報処理装置。
7. 前記認識精度は、前記センシングデータの誤差または精度に基づいて特定される、請求項１乃至請求項６の何れか１項に記載の情報処理装置。
8. 前記第一のユーザ操作、及び前記第二のユーザ操作は、ユーザの手に関するセンシングデータに基づいて認識されるユーザ操作であり、前記第一のユーザ操作において認識される前記ユーザの手の指の数は、前記第二のユーザ操作において認識される前記ユーザの手の指の数よりも多い、請求項１乃至請求項７の何れか１項に記載の情報処理装置。
9. 前記第一のユーザ操作、及び前記第二のユーザ操作は、第一の処理を行わせるためのユーザ操作であり、
   前記制御部は前記認識精度が前記第一の範囲に含まれる場合には、前記第一の処理とは異なる第二の処理を行わせるためのユーザ操作を認識可能にさせ、前記認識精度が前記第二の範囲に含まれる場合には、前記第二の処理を行わせるためのユーザ操作を認識可能にさせない、請求項８に記載の情報処理装置。
10. 前記制御部は、前記操作領域を示す操作領域指示子を表示させ、前記操作領域指示子は、前記操作領域の大きさに応じた大きさで表示される、請求項１に記載の情報処理装置。
11. 前記第一のユーザ操作、及び前記第二のユーザ操作は、ユーザの指先に関するセンシングデータ、またはユーザの視線に関するセンシングデータに基づいて認識されるユーザ操作であり、前記操作領域は前記ユーザの指先の位置、または前記ユーザの視線の位置に基づいて特定される、請求項１に記載の情報処理装置。
12. 前記第一のユーザ操作、及び前記第二のユーザ操作は、音声パターンの認識に基づいて認識されるユーザ操作であり、前記第一のユーザ操作において認識される音声パターンの数は、前記第二のユーザ操作において認識される音声パターンの数よりも多い、請求項１乃至請求項１１の何れか１項に記載の情報処理装置。
13. 前記第一の範囲と前記第二の範囲を設定する範囲設定部をさらに備える、請求項１乃至請求項１２の何れか１項に記載の情報処理装置。
14. 範囲設定部は、ユーザに関するユーザ情報に基づいて、前記第一の範囲と前記第二の範囲を設定する、請求項１３に記載の情報処理装置。
15. 前記ユーザ情報は、ユーザの移動速度情報、またはユーザの生体情報を含む、請求項１４に記載の情報処理装置。
16. 範囲設定部は、ユーザの置かれた環境に関する環境情報に基づいて、前記第一の範囲と前記第二の範囲を設定する、請求項１３乃至請求項１５の何れか１項に記載の情報処理装置。
17. 前記環境情報は、照度の情報、または混雑度の情報を含む、請求項１６に記載の情報処理装置。
18. センシングデータに基づく認識に係る認識精度を取得することと、
    前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせるように、プロセッサが制御することと、
    前記第一のユーザ操作において操作の対象となる操作領域より、前記第二のユーザ操作において操作の対象となる操作領域の方が大きいように操作領域を設定することと、を含む情報処理方法。
19. コンピュータに、
    センシングデータに基づく認識に係る認識精度を取得する取得機能と、
    前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御機能と、
    前記第一のユーザ操作において操作の対象となる操作領域より、前記第二のユーザ操作において操作の対象となる操作領域の方が大きいように操作領域を設定する機能と、を実現させるためのプログラム。

Images