JPWO2017169158A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

仮想の立体空間に定義された仮想オブジェクトに対する、操作体によるユーザの操作入力を判定する判定処理を実行する操作判定部を備え、操作判定部は、操作体の現実の立体空間における空間位置の情報に基づいて判定処理を実行し、操作体の情報に基づいて、判定処理を切り替える、情報処理装置が提供される。【選択図】図５

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

例えば、ヘッドマウントディスプレイ（Head Mounted Display。以下、「ＨＭＤ」と示す場合がある。）や、眼鏡型のウェアラブル装置のようなアイウェア型のウェアラブル装置（以下、単に「アイウェア」と示す場合がある。）のように、ユーザの頭部に装着されて用いられる装置が開発されている。

このような中、ＨＭＤに関する技術が開発されている。実空間を示す画像上にタッチパネルに表示されている仮想的な操作パネルが重畳された画像を、ＨＭＤの表示画面に表示させる場合において、タッチパネルにおける操作に対応する動作を実行する技術としては、例えば、下記の特許文献１に記載の技術が挙げられる。

特開２００６−１２６９３６号公報

例えばＡＲ（Augmented Reality）技術を用いることによって、ＨＭＤやアイウェアのようなユーザの頭部に装着されて用いられる装置の表示画面に、現実世界のオブジェクトと、仮想の立体空間に定義された（ユーザに仮想的に知覚可能とされる）仮想的なオブジェクトとが同時にユーザに視認されるように、仮想的なオブジェクトを表示することが可能である。また、例えば空間投影技術を用いて実空間に仮想的なオブジェクトを投影することによって、現実世界のオブジェクトと仮想的なオブジェクトとを同時にユーザに視認させることが可能である。以下では、現実世界のオブジェクトを「実オブジェクト」と示し、また、仮想的なオブジェクトを「仮想オブジェクト」と示す場合がある。

上記のようなＡＲ技術や空間投影技術が用いられる場合、例えば、手や指などユーザの部位や、スタイラスなどの操作デバイスなどの操作体によって、上記のような仮想オブジェクトに対して操作が行われることが想定される。

しかしながら、仮想オブジェクトに対して操作が行われる場合には、実オブジェクトに対して操作が行われる場合と異なり、操作による触覚フィードバックがない。そのため、仮想オブジェクトに対して操作が行われる場合には、例えば、仮想オブジェクトに対する操作を行うユーザが操作位置を細かく指定することが困難である可能性が、ある。よって、仮想オブジェクトに対して操作が行われる場合には、ユーザが、当該仮想オブジェクトに対する操作を安定的に行うことができない恐れがある。

本開示では、ユーザの操作性の向上を図ることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、仮想の立体空間に定義されユーザに仮想的に知覚可能とされる仮想オブジェクトに対する、操作体によるユーザの操作入力を判定する判定処理を実行する操作判定部を備え、上記操作判定部は、上記操作体の現実の立体空間における空間位置の情報に基づいて上記判定処理を実行し、上記操作体の情報に基づいて、上記判定処理を切り替える、情報処理装置が提供される。

また、本開示によれば、仮想の立体空間に定義された仮想オブジェクトに対する、操作体によるユーザの操作入力を判定する判定処理を実行するステップを有し、上記実行するステップでは、上記操作体の現実の立体空間における空間位置の情報に基づいて上記判定処理が実行され、上記操作体の情報に基づいて、上記判定処理が切り替えられる、情報処理装置により実行される情報処理方法が提供される。

また、本開示によれば、仮想の立体空間に定義された仮想オブジェクトに対する、操作体によるユーザの操作入力を判定する判定処理を実行する機能をコンピュータシステムに実現させ、上記実行する機能により、上記操作体の現実の立体空間における空間位置の情報に基づいて上記判定処理が実行され、上記操作体の情報に基づいて、上記判定処理が切り替えられる、プログラムが提供される。

本開示によれば、ユーザの操作性の向上を図ることができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。

本実施形態に係る情報処理方法の概要を説明するための説明図である。 本実施形態に係る情報処理方法の概要を説明するための説明図である。 本実施形態に係る情報処理方法の概要を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る情報処理方法
２．本実施形態に係る情報処理装置
３．本実施形態に係るプログラム

（本実施形態に係る情報処理方法）
まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。

［１］本実施形態に係る情報処理方法に係る処理
図１、図２は、本実施形態に係る情報処理方法の概要を説明するための説明図である。図１、図２では、ユーザが、装着されたユーザの前方を撮像する少なくとも１つの撮像デバイスを備えるＨＭＤを、装着している例を示している。ここで、本実施形態に係る情報処理装置は、図１、図２に示すＨＭＤであってもよいし、図１、図２に示すＨＭＤの外部装置であってもよい。本実施形態に係る情報処理装置が図１、図２に示すＨＭＤの外部装置である場合、本実施形態に係る情報処理装置とＨＭＤとは、有線または無線で通信を行う。なお、本実施形態に係る情報処理装置の適用例については、後述する。

上記撮像デバイスにより撮像された撮像画像からは、例えば、ＨＭＤを装着しているユーザと撮像される実オブジェクト（被写体）との距離を示す深さ情報を含む、実オブジェクトの位置を示す位置情報が得られる。位置情報は、例えば、実空間における任意の位置を原点とする３次元座標で表される。

また、ＨＭＤは、表示デバイスを備え、当該表示デバイスの表示画面に、仮想オブジェクトを、ユーザの前方の風景の任意の場所に重畳させて表示させる。図１、図２では、仮想オブジェクトとして、ウィンドウなどの平面状のオブジェクトを示している。

ここで、図１、図２に示すＨＭＤは、透過型の装置であってもよいし、非透過型の装置であってもよい。透過型としては、撮像デバイスにより撮像された画像を表示画面に表示させることにより電子的に外の景色を見せるビデオ透過型や、光学透過型など、任意の型が挙げられる。また、透過型を実現するための表示方式としては、例えば、ホログラム方式や、ハーフミラー方式、瞳分割方式など、透過型を実現することが可能な任意の表示方式が挙げられる。

図１、図２に示すＨＭＤが透過型の装置である場合、仮想オブジェクトは、表示画面の任意の位置に表示される。

また、図１、図２に示すＨＭＤが非透過型の装置である場合、表示画面には、撮像デバイスにより撮像された撮像画像が表示され、当該撮像画像の任意の位置に仮想オブジェクトが重畳して表示される。また、上記のように、撮像画像からは実オブジェクトの位置情報が得られるので、仮想オブジェクトは、当該位置情報を考慮して表示されてもよい。位置情報を考慮した仮想オブジェクトの表示としては、例えば、“ユーザを基準として、仮想オブジェクトが描画される位置より手前に実オブジェクトが存在する場合には、仮想オブジェクトにおける当該実オブジェクトにより隠れる部分が、描画されない表示”が挙げられる。

図１に示す例において、ユーザが、手（操作体の一例。以下、同様とする。）を用いて、仮想オブジェクトを操作する場合を考える。ここで、図１に示す仮想オブジェクトに対する手を用いた操作としては、例えば、タッチ操作や、フリック操作、ピンチ操作、ドラッグ操作などが挙げられる。

ここで、図１に示す平面状の仮想オブジェクトに対する、タッチ操作やフリック操作などの手を用いた操作は、平面に沿って行われる必要がある。また、上記操作には、例えば、手（または指先）の移動量が大きいことや、手（または指先）の移動速度が速いことなどの特徴があることから、上記操作は、精密に操作を行うことが困難な操作であるといえる。また、上記操作は、操作による触覚フィードバックがない仮想オブジェクトに対する、空中での操作であるため、操作が行われる位置が、ユーザからみた奥行き方向に容易にずれることが想定される。よって、図１に示す上記操作の難易度は高い。

また、図１に示す平面状の仮想オブジェクトに対するタッチ操作やフリック操作などの手を用いた操作において、手（または指先）がユーザからみた奥行き方向にずれた場合には、例えば、当該操作が検出されないことや、ユーザからみた奥行き方向に割り当てれている他の機能に係る処理が行われることなど、当該操作を行ったユーザが意図していない動作が行われる恐れがある。

また、図２に示す例において、図１と同様に、ユーザが、手を用いて仮想オブジェクトを操作する場合を考える。図２では、それぞれが平面状の仮想オブジェクトである、仮想オブジェクト１〜仮想オブジェクト３という複数の仮想オブジェクトが、ユーザからみた奥行き方向に表示されている例を示している。

図２に示す平面状の仮想オブジェクトに対するタッチ操作やフリック操作などの手を用いた操作において、手（または指先）がユーザからみた奥行き方向にずれた場合には、例えば、当該操作が検出されないことや、ユーザからみた奥行き方向に割り当てれている他の仮想オブジェクトに係る処理が行われることなど、当該操作を行ったユーザが意図していない動作が行われる恐れがある。

図１、図２に示すように、操作による触覚フィードバックがない仮想オブジェクトに対して、手などの操作体による操作が行われる場合には、当該操作によって、ユーザが意図していない動作が行われる恐れがある。また、ユーザが意図していない動作が行われた場合には、ユーザの操作性が低下する可能性が高いことから、ユーザの操作性を向上させることは、望むべくもない。

そこで、本実施形態に係る情報処理装置は、例えば、仮想オブジェクトに対する、操作体によるユーザの操作入力を判定する判定処理を、切り替える（切り替え処理）。

本実施形態に係る仮想オブジェクトとは、例えば、仮想の立体空間に定義されユーザに仮想的に知覚可能とされる、仮想なオブジェクトと見做してよい。ここで、“仮想的に知覚可能”とは、実空間に存在するオブジェクトとして仮想的に認識可能であることと解されてよい。なお、仮想的に知覚可能な感覚は視覚に限られず、聴覚、嗅覚、味覚、体性感覚などが含まれてよい。

本実施形態に係る仮想オブジェクトとしては、例えば、動画像や静止画像などの任意のコンテンツが表示されるウィンドウや、ＧＵＩ（Graphical User Interface）に係るウィンドウなど、図１、図２に示すような平面状の仮想オブジェクトが挙げられる。

なお、本実施形態に係る仮想オブジェクトは、平面状の仮想オブジェクトに限られない。

例えば、本実施形態に係る仮想オブジェクトは、電球オブジェクトや、動物オブジェクト、カレーライスオブジェクトなど、立体状の仮想オブジェクトであってもよい。本実施形態に係る仮想オブジェクトが立体状の仮想オブジェクトである場合における、操作体による仮想オブジェクトに対する操作としては、例えば、立体の表面（例えば、曲面など）に沿った手（または指先）の移動や、立体の表面に沿わない仮想オブジェクトの内外を通過する手（または指先）の移動などが挙げられる。

また、本実施形態に係る仮想オブジェクトとしては、例えば下記に示すような仮想的な入力デバイスであってもよい。なお、仮想オブジェクトにより実現される仮想的な入力デバイスの例が、下記に示す例に限られないことは、言うまでもない。
・仮想キーボード
・仮想ボタン
・仮想タッチパッド
・仮想マウス
・仮想レバー
・仮想ハンドル
・仮想スライダ

また、仮想オブジェクトは、例えば、現実世界の実オブジェクトと同時にユーザに視認されるように表示画面に表示される。つまり、仮想オブジェクトは、例えば、操作体の現実の立体空間における像とともに視認可能に表示される。仮想オブジェクトと実オブジェクトとが同時にユーザに視認されるように表示画面に表示されることは、例えばＡＲ技術が用いられることによって実現される。

なお、仮想オブジェクトは、例えば、実オブジェクトと同時にユーザに視認されるように表示画面に表示されていなくてもよい。例えば、仮想オブジェクトが、実オブジェクトと同時にユーザに視認されるように表示画面に表示されない例としては、非透過型のＨＭＤの表示画面に、仮想オブジェクトのみが表示される例が挙げられる。

また、仮想オブジェクトが、任意の空間投影技術によって空間に投影される場合には、仮想オブジェクトが投影されることによって、ユーザは、投影された仮想オブジェクトを、実オブジェクトと同時に視認することが可能である。

本実施形態に係る操作体としては、例えば、手や指、足などユーザの部位や、ユーザの視線（例えば、焦点位置など）、スタイラスなどの操作デバイスなどが挙げられる。以下では、本実施形態に係る操作体が、手や指などのユーザの部位である場合を主に例に挙げる。

本実施形態に係る情報処理装置は、例えば、仮想オブジェクトに関連付けて定義される操作判定領域に基づいて、判定処理を実行する。

ここで、本実施形態に係る操作判定領域としては、例えば、仮想の立体空間に定義される仮想オブジェクトと位置および大きさが同一の、仮想の立体空間に定義される領域が挙げられる。操作判定領域が仮想オブジェクトと同一の領域である場合には、判定処理では、例えば、仮想オブジェクトに対する操作体によるユーザの直接的な操作入力が、判定される。

なお、本実施形態に係る操作判定領域は、上記に示す例に限られない。例えば、本実施形態に係る操作判定領域は、仮想の立体空間に定義される仮想オブジェクトと異なる、仮想の立体空間に定義される領域であってもよい。

操作判定領域が仮想オブジェクトと異なるの大きさの領域である場合における、操作判定領域としては、例えば、操作者のユーザの手や当該ユーザが用いる操作デバイスなどの操作体による操作が可能な、ユーザの周辺の空間に対応する領域が挙げられる。また、操作判定領域が仮想オブジェクトと異なるの大きさの領域である場合における、操作判定領域は、例えば、領域が重ならないように設定され、また、任意の数設定される。

ここで、本実施形態に係る情報処理装置は、操作判定領域を、ユーザに対して示さない。上記の場合、操作判定領域は、ユーザにより視認されない。

また、本実施形態に係る情報処理装置は、例えば、操作判定領域を囲む線を表示させることなどにより操作判定領域を、ユーザに対して示してもよい。上記の場合、操作判定領域は、例えば、ユーザにより視認可能に表示されることとなる。

本実施形態に係る情報処理装置は、本実施形態に係る切り替え処理において、例えば、下記の第１の判定処理と、下記の第２の判定処理とを切り替える。
・第１の判定処理：操作体と仮想オブジェクトとの位置関係を補正せずに、仮想オブジェクトに対する操作を判定する判定処理。
・第２の判定処理：操作体と仮想オブジェクトとの位置関係を補正して仮想オブジェクトに対する操作を判定する判定処理。

ここで、本実施形態に係る切り替え処理の対象となる仮想オブジェクトは、例えば、操作体の動きと、操作体と仮想オブジェクトとの距離との組み合わせによって決定される。

例えば、本実施形態に係る情報処理装置は、操作体の所定の動きが検出されたときに、操作体と仮想オブジェクトとの距離が所定の距離より小さい仮想オブジェクト（または、当該距離が当該距離以下の仮想オブジェクト）を、本実施形態に係る切り替え処理の対象となる仮想オブジェクトとする。操作体の動きは、例えば、後述する操作体の動きを示す情報に基づき特定される。また、操作体と仮想オブジェクトとの距離は、例えば、撮像画像から推定される操作体の位置と、仮想オブジェクトの位置とから特定される。

本実施形態に係る切り替え処理の対象となる仮想オブジェクトの決定に係る操作体の所定の動きは、例えば予め設定される。また、本実施形態に係る操作体の所定の動きは、変更可能であってもよい。操作体の所定の動きとしては、例えば、設定されている閾値より大きい速度（または加速度）から当該閾値以下の速度（または加速度）に変化する操作体の動きなどが、挙げられる。

また、本実施形態に係る切り替え処理の対象となる仮想オブジェクトの決定に係る操作体と仮想オブジェクトとの距離は、例えば予め設定される。また、本実施形態に係る操作体と仮想オブジェクトとの距離は、変更可能であってもよい。設定されている操作体と仮想オブジェクトとの距離が０（ゼロ）より大きい場合とは、本実施形態に係る切り替え処理の対象となる仮想オブジェクトの検出範囲が、仮想オブジェクトが空間に占める領域よりも大きいことに該当する。

なお、“操作体の動き”、および“操作体と仮想オブジェクトとの距離”それぞれの特定方法は、上記に限られず、本実施形態に係る情報処理装置は、“操作体の動き”、および“操作体と仮想オブジェクトとの距離”それぞれを特定することが可能な、任意の方法を用いることが可能である。

より具体的には、本実施形態に係る情報処理装置は、切り替え処理として、例えば下記の（１）第１の例に係る切替処理〜（５）第５の例に係る切替処理のいずれかの処理を行う。

（１）切り替え処理の第１の例
本実施形態に係る情報処理装置は、操作体の情報に基づいて、仮想オブジェクトに対する操作を判定する判定処理を切り替える。

ここで、本実施形態に係る操作体の情報としては、例えば、操作体の動きを示す情報と操作体の位置に基づく情報との一方または双方が挙げられる。

操作体の動きを示す情報としては、例えば、操作体の速度や操作体の加速度などの操作体の動きに関する値を示すデータが挙げられる。つまり、操作体の動きを示す情報には、例えば、操作体の移動する速さの情報が含まれる。また、操作体の動きを示す情報には、複数の異なる指標の値が含まれていてもよい。

操作体の動きを示す情報は、例えば、速度センサや、加速度センサなどのセンサの検出値に基づき得られる。速度センサや、加速度センサなどのセンサでは、例えば、所定の周期ごとにセンシングを行う。例えば図１、図２に示す場合を例に挙げると、ＨＭＤが本実施形態に係る情報処理装置である場合には、上記センサとしては、本実施形態に係る情報処理装置が備えているセンサまたは本実施形態に係る情報処理装置に接続されている外部のセンサが挙げられる。また、ＨＭＤが本実施形態に係る情報処理装置の外部装置である場合には、上記センサとしては、例えば、ＨＭＤが備えるセンサまたはＨＭＤに接続されている外部のセンサが挙げられる。

本実施形態に係る情報処理装置は、例えば、操作体の移動する速さによって、仮想オブジェクトに対する操作があったと判定する基準を変えることが可能である。ここで、上記基準とは、例えば、操作体と仮想オブジェクトとの仮想的な位置関係に関する基準である。

一例を挙げると、本実施形態に係る情報処理装置は、例えば、操作体の移動する速さが第１の速さであるときよりも、操作体の移動する速さが第１の速さよりも速い第２の速さであるときの方が、仮想オブジェクトに対する操作があったと判定する基準が緩和されるように、判定処理を切り替える。本実施形態に係る情報処理装置は、例えば、判定処理の切り替えに係る所定の閾値（後述する）を、操作体の移動する速さによって変えることによって、第１の速さよりも第２の速さであるときの方が、仮想オブジェクトに対する操作があったと判定され易くなるように、上記基準を緩和する。

図３は、本実施形態に係る情報処理方法の概要を説明するための説明図である。

操作体により操作が行われうる実空間における操作体の位置は、例えば図３に示すように、仮想オブジェクトに対応する位置を原点とする、仮想オブジェクトごとの３次元座標系の座標で表される。

なお、本実施形態に係る３次元座標系は、仮想オブジェクトごとの３次元座標系に限られない。例えば、本実施形態に係る３次元座標系は、実空間における任意の位置を原点とする３次元座標系の座標で表されてもよい。

また、３次元座標系の座標を利用せずに操作体の速度や加速度を求めることが可能な任意の方法が用いられる場合には、３次元座標系は設定されていなくてもよい。

以下では、操作体の位置が、図３に示すＸ軸、Ｙ軸、Ｚ軸の座標値で表される場合を例に挙げて、操作体の動きを示す情報の取得方法の一例を説明する。

操作体の速度ｖは、操作体の位置の変化に基づき、例えば下記の数式１により算出される。ここで、下記の数式１は、時刻ｔ１における操作体の位置（Ｘ_ｔ１，Ｙ_ｔ１，Ｚ_ｔ１）と、時刻ｔ２（時刻ｔ１より後の時刻）における操作体の位置（Ｘ_ｔ２，Ｙ_ｔ２，Ｚ_ｔ２）との変化に基づく操作体の速度の算出例を示している。

なお、操作体の速度の算出方法は、上記数式１に限られない。例えば、本実施形態に係る情報処理装置は、Ｚ軸成分をさらに用いる方法など、操作体の速度を算出することが可能な、任意の方法によって、速度を算出することが可能である。また、操作体の速度の算出に係る処理は、本実施形態に係る情報処理装置の外部装置により行われてもよい。

また、本実施形態に係る情報処理装置は、操作体の速度を微分することによって、操作体の加速度を算出することができる。なお、本実施形態に係る情報処理装置は、操作体の加速度を算出することが可能な任意の方法によって、操作体の加速度を算出してもよい。また、操作体の加速度の算出に係る処理は、本実施形態に係る情報処理装置の外部装置により行われてもよい。

また、操作体の位置に基づく情報としては、例えば、操作体の位置（例えば、ユーザの正面の領域内の位置、ユーザの利き手側の領域内の位置、ユーザの非利き手側の領域内の位置）に応じた値を示すデータが挙げられる。操作体の位置に基づく情報が示す値は、例えば、撮像画像から推定される操作体の位置と、位置（または領域）と操作体の位置に基づく情報が示す値とが対応付けられているテーブル（または、データベース。以下、同様とする。）とを用いることによって得られる。

操作体の位置に基づく情報を生成する処理は、本実施形態に係る情報処理装置が行ってもよいし、ＨＭＤやサーバなどの本実施形態に係る情報処理装置の外部装置において行われてもよい。操作体の位置に基づく情報を生成する処理が外部装置において行われる場合、本実施形態に係る情報処理装置は、通信により当該外部装置から取得された操作体の位置に基づく情報を用いる。

より具体的には、本実施形態に係る情報処理装置は、操作体の情報に基づく評価値と、所定の閾値との比較結果に基づいて、第１の判定処理と第２の判定処理とを切り替える。

ここで、本実施形態に係る操作体の情報に基づく評価値は、例えば下記の数式２により求められる。下記の数式２に示す“ｋ”は、設定されている係数である。下記の数式２に示す“ｋ”は、予め設定されている固定値であってもよいし、ユーザの操作などに基づき変更可能な可変値であってもよい。また、操作体の情報が示す値としては、例えば、操作体の情報に含まれる値の加算値や平均値などが挙げられる。

操作体の情報に基づく評価値＝ｋ×操作体の情報が示す値
・・・（数式２）

また、第１の例に係る所定の閾値は、予め設定されている固定値であってもよいし、ユーザの操作などに基づき変更可能な可変値であってもよい。

また、第１の例に係る所定の閾値は、例えば、仮想オブジェクトのＩＤや仮想オブジェクトに対応するアプリケーションのＩＤなどの仮想オブジェクトを識別することが可能な情報と、ユーザＩＤなどのユーザを識別することが可能な情報との一方または双方に基づいて、設定されてもよい。第１の例に係る所定の閾値は、例えば、仮想オブジェクトを識別することが可能な情報に対応する値と、ユーザを識別することが可能な情報に対応する値との一方または双方に基づいて、閾値の基準値を調整することによって、設定される。上記仮想オブジェクトを識別することが可能な情報に対応する値は、例えば、仮想オブジェクトを識別することが可能な情報と値とが対応付けられているテーブルを用いることによって得られる。また、上記ユーザを識別することが可能な情報に対応する値は、例えば、ユーザを識別することが可能な情報と値とが対応付けられているテーブルを用いることによって得られる。

例えば、仮想オブジェクトを識別することが可能な情報に基づき閾値が設定されることによって、大人用のアプリケーションの実行に基づく仮想オブジェクトと、子供用のアプリケーションの実行に基づく仮想オブジェクトとで、閾値を変えることが可能となる。また、仮想オブジェクトを識別することが可能な情報に基づき閾値が設定されることによって、例えば、接触式のタッチパネル用に開発されたアプリケーションを利用する場合と、近接を検出できるタッチパネルなどの非接触式のタッチパネル用に開発されたアプリケーションを利用する場合とで、閾値を変えることが可能となる。また、仮想オブジェクトを識別することが可能な情報に基づき閾値が設定されることによって、例えば、“課金処理の実行に係る仮想オブジェクトなど、ユーザが意図していない動作が行われることが望ましくない処理に対応する仮想オブジェクトの閾値を、より高くする”など、仮想オブジェクトごとの閾値を設定することが可能となる。

また、例えば、ユーザを識別することが可能な情報に基づき閾値が設定されることによって、ユーザごとに閾値を変えることが可能となる。

また、第１の例に係る所定の閾値は、例えば、操作体による操作の方向に基づき設定されてもよい。第１の例に係る所定の閾値は、例えば、操作体による操作の方向に対応する値に基づいて閾値の基準値を調整することによって、設定される。

上記操作体による操作の方向に対応する値は、例えば、方向と値とが対応付けられているテーブルを用いることによって得られる。

ここで、上記方向と値とが対応付けられているテーブルでは、例えば、操作時に精度が出にくい方向程、閾値が小さくなるような値が、方向と対応付けられる。操作時に精度が出にくい方向の一例としては、例えば、ユーザからみた奥行き方向のような、ユーザが視覚的に認識することが困難な方向が挙げられる。

上記のように、“操作時に精度が出にくい方向程、閾値が小さくなるような値が、方向と対応付けられているテーブル”が用いられることによって、例えば、操作時に精度が出にくい方向程、より操作体と仮想オブジェクトとの位置関係の補正が行われ易くなる。よって、操作時に精度が出にくい方向程、閾値が小さくなるような値が、方向と対応付けられているテーブルが用いられることによって、操作時に精度が出にくい方向における操作体による仮想オブジェクトに対する操作が補助されるので、ユーザの操作性の向上を図ることが可能となる。すなわち、所定の方向の補正度合いが他の方向の補正度合いと異なっていてもよい。

なお、上記操作体による操作の方向に対応する値の取得方法は、上記に限られない。

例えば、本実施形態に係る情報処理装置は、任意のアルゴリズムによって、操作体による操作の方向がユーザの眼球と手や指（スタイラスなどの操作デバイスも含む。）とを結ぶ線上方向である場合に閾値が小さくなるような値を、上記操作体による操作の方向に対応する値として得ることも可能である。

また、第１の例に係る所定の閾値は、例えば、設定されている領域内における仮想オブジェクトの密集の度合いを示す値に基づいて、設定されてもよい。設定されている領域内における仮想オブジェクトの密集の度合いを示す値は、例えば、“当該領域内における仮想オブジェクトの数と、当該領域内における仮想オブジェクト間の距離との一方または双方”と、“仮想オブジェクトの数および仮想オブジェクト間の距離の一方または双方と、密集の度合いを示す値とが対応付けられているテーブル”とによって得られる。

ここで、密集の度合いを示す値に係る上記テーブルでは、例えば、仮想オブジェクトの密集の度合いを示す値が大きい程、すなわち、複数の仮想オブジェクトが設定されている領域内に密集している程、閾値が大きくなるような値が、仮想オブジェクトの数および仮想オブジェクト間の距離の一方または双方と対応付けられる。

上記のように、“仮想オブジェクトの密集の度合いを示す値が大きい程、閾値が大きくなるような値が、仮想オブジェクトの数および仮想オブジェクト間の距離の一方または双方と対応付けられているテーブル”が用いられることによって、例えば、複数の仮想オブジェクトが設定されている領域内に密集している程、より操作体と仮想オブジェクトとの位置関係の補正が行われ難くなる。よって、“仮想オブジェクトの密集の度合いを示す値が大きい程、閾値が大きくなるような値が、仮想オブジェクトの数および仮想オブジェクト間の距離の一方または双方と対応付けられているテーブル”が用いられることによって、例えば、ユーザがゆっくりと指などの操作体を動かしているにも関わらず、仮想オブジェクトに対する操作が行われたと判定されて処理が行われる可能性を、より低減することができる。つまり、“仮想オブジェクトの密集の度合いを示す値が大きい程、閾値が大きくなるような値が、仮想オブジェクトの数および仮想オブジェクト間の距離の一方または双方と対応付けられているテーブル”が用いられることによって、操作を行ったユーザが意図していない動作が行われることを、防止することができる。すなわち、情報処理装置（例えば後述する操作判定部）は、複数の仮想オブジェクトが、第１の密集度を有するときよりも、第１の密集度よりも大きい第２の密集度を有するときの方が、判定処理が切り替わり難くしてもよい。また、情報処理装置（例えば後述する操作判定部）は、操作体の移動する速さが、所定値以下である場合に、仮想オブジェクトに対する操作があったと判定する基準が厳しくされるように判定処理を切り替えてもよい。

本実施形態に係る情報処理装置は、例えば、操作体の情報に基づく評価値が所定の閾値より小さい場合（または、当該評価値が当該閾値以下の場合。以下、同様とする。）に、第１の判定処理を行う。

ここで、操作体の情報に基づく評価値が所定の閾値より小さい場合とは、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性が低い場合に該当する。よって、操作体の情報に基づく評価値が所定の閾値より小さい場合には、本実施形態に係る情報処理装置は、操作体と仮想オブジェクトとの位置関係を補正せずに、仮想オブジェクトに対する操作を判定する第１の判定処理を行う。

また、本実施形態に係る情報処理装置は、例えば、操作体の情報に基づく評価値が所定の閾値以上の場合（または、当該評価値が当該閾値より大きい場合。以下、同様とする。）に、第２の判定処理を行う。

ここで、操作体の情報に基づく評価値が所定の閾値以上の場合とは、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性が高い場合に該当する。よって、操作体の情報に基づく評価値が所定の閾値以上の場合には、本実施形態に係る情報処理装置は、操作体と仮想オブジェクトとの位置関係を補正して仮想オブジェクトに対する操作を判定する第２の判定処理を行う。なお、上述したように、操作体の情報に基づく評価値は、操作体の動きを示す情報（例えば、操作体の速度や操作体の加速度などの操作体の動作データ）や、操作体の位置に基づく情報（例えばユーザを基準とした位置や領域など）に関連付けられている。

第２の判定処理を行う場合、本実施形態に係る情報処理装置は、例えば、操作体と仮想オブジェクトとの位置ずれを“０”（ゼロ）とすることによって、操作体と仮想オブジェクトとの位置関係を補正する。また、操作体と仮想オブジェクトとの位置ずれの補正は、例えば、ユーザからみた奥行き方向などの、特定の方向の位置ずれの補正であってもよい。

なお、第１の例に係る切り替え処理における、操作体と仮想オブジェクトとの位置関係の補正方法は、上記に限られない。

例えば、本実施形態に係る情報処理装置は、上記数式２に示す操作体の情報に基づく評価値に応じて操作体と仮想オブジェクトとの位置ずれを小さくすることによって、操作体と仮想オブジェクトとの位置関係を補正することも可能である。

具体例を挙げると、上記数式２に示す操作体の情報に基づく評価値に応じて操作体と仮想オブジェクトとの位置ずれを小さくするよう補正する場合、本実施形態に係る情報処理装置は、例えば、評価値と位置ずれの補正値とが対応付けられているテーブルを参照して、操作体の情報に基づく評価値に対応する補正値を特定する。また、本実施形態に係る情報処理装置は、例えば、操作体の情報に基づく評価値を変数とする関数によって、操作体の情報に基づく評価値に対応する補正値を特定してもよい。

そして、本実施形態に係る情報処理装置は、特定された補正値によって、操作体と仮想オブジェクトとの位置ずれを小さくするように、操作体と仮想オブジェクトとの位置関係を補正する。

上記のように、第１の例に係る切り替え処理が行われる場合には、本実施形態に係る情報処理装置は、操作体の情報に基づく評価値と所定の閾値との比較結果に基づいて、第１の判定処理と第２の判定処理とを切り替える。よって、第１の例に係る切り替え処理が行われる場合には、操作体の情報に基づいて操作体と仮想オブジェクトとの位置関係が選択的に補正されるので、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性を低減することが可能である。

したがって、第１の例に係る切り替え処理を行うことによって、本実施形態に係る情報処理装置は、ユーザの操作性の向上を図ることができる。

（２）切り替え処理の第２の例
本実施形態に係る情報処理装置は、操作体の情報と、仮想オブジェクトの情報とに基づいて、仮想オブジェクトに対する操作を判定する判定処理を切り替える。

ここで、本実施形態に係る仮想オブジェクトの情報としては、例えば、仮想オブジェクトの位置を示す情報、仮想オブジェクトの状態を示す情報、および仮想オブジェクトの種別を示す情報のうちの少なくとも１つが挙げられる。

仮想オブジェクトの位置を示す情報としては、例えば、仮想オブジェクトの位置（例えば、ユーザの正面の領域内の位置、ユーザの利き手側の領域内の位置、ユーザの非利き手側の領域内の位置）に応じた値を示すデータが挙げられる。仮想オブジェクトの位置に基づく情報が示す値は、例えば、撮像画像から推定される仮想オブジェクトの位置と、位置（または領域）と仮想オブジェクトの位置に基づく情報が示す値とが対応付けられているテーブルとを用いることによって得られる。

また、仮想オブジェクトの位置に基づく情報が示す値は、例えば、ユーザに対して仮想オブジェクトが位置する方向（または、ユーザに対する角度）に基づき設定されてもよい。例えば、仮想オブジェクトの位置に基づく情報が示す値が仮想オブジェクトが位置する方向に基づき設定される場合、ユーザに対する仮想オブジェクトの位置の斜め方向成分が大きくなる程、仮想オブジェクトの位置に基づく情報が示す値がより大きくなるように、設定される。

仮想オブジェクトの位置に基づく情報を生成する処理は、本実施形態に係る情報処理装置が行ってもよいし、ＨＭＤやサーバなどの本実施形態に係る情報処理装置の外部装置において行われてもよい。仮想オブジェクトの位置に基づく情報を生成する処理が外部装置において行われる場合、本実施形態に係る情報処理装置は、通信により当該外部装置から取得された仮想オブジェクトの位置に基づく情報を用いる。

また、仮想オブジェクトの状態を示す情報としては、例えば、仮想オブジェクトに設定されている透過度と、仮想オブジェクトに設定されている拡大率や縮小率などのサイズに関する値と、設定されている領域内における仮想オブジェクトの密集の度合いを示す値とのうちの、少なくとも１つに応じた値を示すデータが挙げられる。仮想オブジェクトの状態を示す情報が示す値は、例えば、“透過度、サイズに関する値、および仮想オブジェクトの密集の度合いを示す値とのうちの少なくとも１つと、仮想オブジェクトの状態を示す情報が示す値とが対応付けられているテーブル”を用いることによって得られる。

仮想オブジェクトの状態を示す情報を生成する処理は、本実施形態に係る情報処理装置が行ってもよいし、ＨＭＤやサーバなどの本実施形態に係る情報処理装置の外部装置において行われてもよい。仮想オブジェクトの状態を示す情報を生成する処理が外部装置において行われる場合、本実施形態に係る情報処理装置は、通信により当該外部装置から取得された仮想オブジェクトの状態を示す情報を用いる。

また、仮想オブジェクトの種別を示す情報としては、例えば、仮想オブジェクトのＩＤや、仮想オブジェクトに対応するアプリケーションのＩＤなどに応じた値を示すデータが挙げられる。仮想オブジェクトの種別を示す情報が示す値は、例えば、ＩＤと仮想オブジェクトの種別を示す情報が示す値とが対応付けられているテーブルを用いることによって得られる。仮想オブジェクトの種別を示す情報が用いられることによって、例えば、“大人用のアプリケーションに応じた仮想オブジェクトにおける仮想オブジェクトの種別を示す情報が示す値と、子供用のアプリケーションに応じた仮想オブジェクトにおける仮想オブジェクトの種別を示す情報が示す値とを異ならせる”など、仮想オブジェクトに対応するアプリケーションや仮想オブジェクトによって、値を変えることが実現される。また、仮想オブジェクトの種別を示す情報が用いられることによって、例えば、“課金処理の実行に係る仮想オブジェクトなどの、ユーザが意図していない動作が行われることが望ましくない処理に対応する仮想オブジェクトの値を基準値よりも大きくする”など、仮想オブジェクトによって、値を変えることが実現される。

仮想オブジェクトの種別を示す情報を生成する処理は、本実施形態に係る情報処理装置が行ってもよいし、ＨＭＤやサーバなどの本実施形態に係る情報処理装置の外部装置において行われてもよい。仮想オブジェクトの種別を示す情報を生成する処理が外部装置において行われる場合、本実施形態に係る情報処理装置は、通信により当該外部装置から取得された仮想オブジェクトの種別を示す情報を用いる。

より具体的には、本実施形態に係る情報処理装置は、操作体の情報および仮想オブジェクトの情報に基づく評価値と、所定の閾値との比較結果に基づいて、第１の判定処理と第２の判定処理とを切り替える。

ここで、本実施形態に係る操作体の情報および仮想オブジェクトの情報に基づく評価値は、例えば下記の数式３により求められる。下記の数式３に示す“ｋ”、“ｊ”それぞれは、設定されている係数である。下記の数式３に示す“ｋ”、“ｊ”それぞれは、予め設定されている固定値であってもよいし、ユーザの操作などに基づき変更可能な可変値であってもよい。また、操作体の情報が示す値としては、例えば、操作体の情報に含まれる値の加算値や平均値などが挙げられる。また、仮想オブジェクトの情報が示す値としては、例えば、仮想オブジェクトの情報に含まれる値の加算値や平均値などが挙げられる。

操作体の情報および仮想オブジェクトの情報に基づく評価値＝ｋ×（操作体の情報が示す値）＋ｊ×（仮想オブジェクトの情報が示す値）
・・・（数式３）

また、第２の例に係る所定の閾値は、予め設定されている固定値であってもよいし、ユーザの操作などに基づき変更可能な可変値であってもよい。

また、第２の例に係る所定の閾値は、第１の例に係る所定の閾値と同様に、例えば、仮想オブジェクトを識別することが可能な情報とユーザを識別することが可能な情報との一方または双方に基づいて、設定されてもよい。仮想オブジェクトを識別することが可能な情報に基づき閾値が設定されることによって、例えば、“大人用のアプリケーションの実行に基づく仮想オブジェクトと子供用のアプリケーションの実行に基づく仮想オブジェクトとで、閾値を変えること”や、“課金処理の実行に係る仮想オブジェクトなど、ユーザが意図していない動作が行われることが望ましくない処理に対応する仮想オブジェクトの閾値を、より高くすること”などが実現される。

また、例えば、ユーザを識別することが可能な情報に基づき閾値が設定されることによって、ユーザごとに閾値を変えることが可能となる。

また、第２の例に係る所定の閾値は、第１の例に係る所定の閾値と同様に、例えば、操作体による操作の方向に基づいて設定することが可能であり、また、設定されている領域内における仮想オブジェクトの密集の度合いを示す値に基づいて設定することも可能である。

本実施形態に係る情報処理装置は、例えば、操作体の情報および仮想オブジェクトの情報に基づく評価値が所定の閾値より小さい場合（または、当該評価値が当該閾値以下の場合。以下、同様とする。）に、第１の判定処理を行う。

ここで、操作体の情報および仮想オブジェクトの情報に基づく評価値が所定の閾値より小さい場合とは、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性が低い場合に該当する。よって、操作体の情報および仮想オブジェクトの情報に基づく評価値が所定の閾値より小さい場合には、本実施形態に係る情報処理装置は、操作体と仮想オブジェクトとの位置関係を補正せずに、仮想オブジェクトに対する操作を判定する第１の判定処理を行う。

また、本実施形態に係る情報処理装置は、例えば、操作体の情報および仮想オブジェクトの情報に基づく評価値が所定の閾値以上の場合（または、当該評価値が当該閾値より大きい場合。以下、同様とする。）に、第２の判定処理を行う。

ここで、操作体の情報および仮想オブジェクトの情報に基づく評価値が所定の閾値以上の場合とは、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性が高い場合に該当する。よって、操作体の情報および仮想オブジェクトの情報に基づく評価値が所定の閾値以上の場合には、本実施形態に係る情報処理装置は、操作体と仮想オブジェクトとの位置関係を補正して仮想オブジェクトに対する操作を判定する第２の判定処理を行う。

第２の判定処理を行う場合、本実施形態に係る情報処理装置は、例えば、操作体と仮想オブジェクトとの位置ずれを“０”（ゼロ）とすることによって、操作体と仮想オブジェクトとの位置関係を補正する。

なお、第２の例に係る切り替え処理における、操作体と仮想オブジェクトとの位置関係の補正方法は、上記に限られない。

例えば、本実施形態に係る情報処理装置は、例えば上記第１の例に係る切り替え処理と同様に、上記数式３に示す操作体の情報および仮想オブジェクトの情報に基づく評価値に応じて操作体と仮想オブジェクトとの位置ずれを小さくすることによって、操作体と仮想オブジェクトとの位置関係を補正することも可能である。

上記のように、第２の例に係る切り替え処理が行われる場合には、本実施形態に係る情報処理装置は、操作体の情報および仮想オブジェクトの情報に基づく評価値と所定の閾値との比較結果に基づいて、第１の判定処理と第２の判定処理とを切り替える。よって、第２の例に係る切り替え処理が行われる場合には、操作体の情報および仮想オブジェクトの情報に基づいて操作体と仮想オブジェクトとの位置関係が選択的に補正されるので、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性を低減することが可能である。

したがって、第２の例に係る切り替え処理を行うことによって、本実施形態に係る情報処理装置は、ユーザの操作性の向上を図ることができる。

（３）切り替え処理の第３の例
本実施形態に係る情報処理装置は、操作体の情報と、ユーザの状態の情報とに基づいて、仮想オブジェクトに対する操作を判定する判定処理を切り替える。

ここで、本実施形態に係るユーザの状態の情報としては、例えば、ユーザが静止している、歩いている、走っている、階段を昇降しているなどの、ユーザの状態の認識結果に応じた値を示すデータが挙げられる。

ユーザの状態の情報が示す値は、例えば、ユーザの状態の認識結果と、ユーザの状態とユーザの状態の情報が示す値とが対応付けられているテーブルとを用いることによって得られる。

ユーザの状態は、例えば、加速度センサやジャイロセンサなどの動きを検出することが可能なセンサの検出値を用いた状態推定や、ＧＰＳ（Global Positioning System）デバイスなどの位置特定デバイスにより得られた位置情報などを用いた行動履歴を利用した状態推定など、ユーザの状態を推定することが可能な任意の技術を利用して、認識される。

ユーザの状態の情報を生成する処理は、本実施形態に係る情報処理装置が行ってもよいし、ＨＭＤやサーバなどの本実施形態に係る情報処理装置の外部装置において行われてもよい。ユーザの状態の情報を生成する処理が外部装置において行われる場合、本実施形態に係る情報処理装置は、通信により当該外部装置から取得されたユーザの状態の情報を用いる。

より具体的には、本実施形態に係る情報処理装置は、操作体の情報およびユーザの状態の情報に基づく評価値と、所定の閾値との比較結果に基づいて、第１の判定処理と第２の判定処理とを切り替える。

ここで、本実施形態に係る操作体の情報およびユーザの状態の情報に基づく評価値は、例えば下記の数式４により求められる。下記の数式４に示す“ｋ”、“ｌ”それぞれは、設定されている係数である。下記の数式４に示す“ｋ”、“ｌ”それぞれは、予め設定されている固定値であってもよいし、ユーザの操作などに基づき変更可能な可変値であってもよい。また、操作体の情報が示す値としては、例えば、操作体の情報に含まれる値の加算値や平均値などが挙げられる。

操作体の情報およびユーザの状態の情報に基づく評価値＝ｋ×（操作体の情報が示す値）＋ｌ×（ユーザの状態の情報が示す値）
・・・（数式４）

また、第３の例に係る所定の閾値は、予め設定されている固定値であってもよいし、ユーザの操作などに基づき変更可能な可変値であってもよい。

また、第３の例に係る所定の閾値は、第１の例に係る所定の閾値と同様に、例えば、仮想オブジェクトを識別することが可能な情報とユーザを識別することが可能な情報との一方または双方に基づいて、設定されてもよい。仮想オブジェクトを識別することが可能な情報に基づき閾値が設定されることによって、例えば、“大人用のアプリケーションの実行に基づく仮想オブジェクトと子供用のアプリケーションの実行に基づく仮想オブジェクトとで、閾値を変えること”や、“課金処理の実行に係る仮想オブジェクトなど、ユーザが意図していない動作が行われることが望ましくない処理に対応する仮想オブジェクトの閾値を、より高くすること”などが実現される。

また、例えば、ユーザを識別することが可能な情報に基づき閾値が設定されることによって、ユーザごとに閾値を変えることが可能となる。

また、第３の例に係る所定の閾値は、第１の例に係る所定の閾値と同様に、例えば、操作体による操作の方向に基づいて設定することが可能であり、また、設定されている領域内における仮想オブジェクトの密集の度合いを示す値に基づいて設定することも可能である。

本実施形態に係る情報処理装置は、例えば、操作体の情報およびユーザの状態の情報に基づく評価値が所定の閾値より小さい場合（または、当該評価値が当該閾値以下の場合。以下、同様とする。）に、第１の判定処理を行う。

ここで、操作体の情報およびユーザの状態の情報に基づく評価値が所定の閾値より小さい場合とは、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性が低い場合に該当する。よって、操作体の情報およびユーザの状態の情報に基づく評価値が所定の閾値より小さい場合には、本実施形態に係る情報処理装置は、操作体と仮想オブジェクトとの位置関係を補正せずに、仮想オブジェクトに対する操作を判定する第１の判定処理を行う。

また、本実施形態に係る情報処理装置は、例えば、操作体の情報およびユーザの状態の情報に基づく評価値が所定の閾値以上の場合（または、当該評価値が当該閾値より大きい場合。以下、同様とする。）に、第２の判定処理を行う。

ここで、操作体の情報およびユーザの状態の情報に基づく評価値が所定の閾値以上の場合とは、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性が高い場合に該当する。よって、操作体の情報およびユーザの状態の情報に基づく評価値が所定の閾値以上の場合には、本実施形態に係る情報処理装置は、操作体と仮想オブジェクトとの位置関係を補正して仮想オブジェクトに対する操作を判定する第２の判定処理を行う。

第３の判定処理を行う場合、本実施形態に係る情報処理装置は、例えば、操作体と仮想オブジェクトとの位置ずれを“０”（ゼロ）とすることによって、操作体と仮想オブジェクトとの位置関係を補正する。

なお、第３の例に係る切り替え処理における、操作体と仮想オブジェクトとの位置関係の補正方法は、上記に限られない。

例えば、本実施形態に係る情報処理装置は、例えば上記第１の例に係る切り替え処理と同様に、上記数式４に示す操作体の情報およびユーザの状態の情報に基づく評価値に応じて操作体と仮想オブジェクトとの位置ずれを小さくすることによって、操作体と仮想オブジェクトとの位置関係を補正することも可能である。

上記のように、第３の例に係る切り替え処理が行われる場合には、本実施形態に係る情報処理装置は、操作体の情報およびユーザの状態の情報に基づく評価値と所定の閾値との比較結果に基づいて、第１の判定処理と第２の判定処理とを切り替える。よって、第３の例に係る切り替え処理が行われる場合には、操作体の情報およびユーザの状態の情報に基づいて操作体と仮想オブジェクトとの位置関係が選択的に補正されるので、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性を低減することが可能である。

したがって、第３の例に係る切り替え処理を行うことによって、本実施形態に係る情報処理装置は、ユーザの操作性の向上を図ることができる。

（４）切り替え処理の第４の例
本実施形態に係る情報処理装置は、操作体の情報と、仮想オブジェクトの情報と、ユーザの状態の情報とに基づいて、仮想オブジェクトに対する操作を判定する判定処理を切り替える。

より具体的には、本実施形態に係る情報処理装置は、操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づく評価値と、所定の閾値との比較結果に基づいて、第１の判定処理と第２の判定処理とを切り替える。

ここで、本実施形態に係る操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づく評価値は、例えば下記の数式５により求められる。下記の数式５に示す“ｋ”、“ｊ”、“ｌ”それぞれは、設定されている係数である。下記の数式５に示す“ｋ”、“ｊ”、“ｌ”それぞれは、予め設定されている固定値であってもよいし、ユーザの操作などに基づき変更可能な可変値であってもよい。また、操作体の情報が示す値としては、例えば、操作体の情報に含まれる値の加算値や平均値などが挙げられる。また、仮想オブジェクトの情報が示す値としては、例えば、仮想オブジェクトの情報に含まれる値の加算値や平均値などが挙げられる。

操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づく評価値＝ｋ×（操作体の情報が示す値）＋ｊ×（仮想オブジェクトの情報が示す値）＋ｌ×（ユーザの状態の情報が示す値）
・・・（数式５）

また、第４の例に係る所定の閾値は、予め設定されている固定値であってもよいし、ユーザの操作などに基づき変更可能な可変値であってもよい。

また、第４の例に係る所定の閾値は、第１の例に係る所定の閾値と同様に、例えば、仮想オブジェクトを識別することが可能な情報とユーザを識別することが可能な情報との一方または双方に基づいて、設定されてもよい。仮想オブジェクトを識別することが可能な情報に基づき閾値が設定されることによって、例えば、“大人用のアプリケーションの実行に基づく仮想オブジェクトと子供用のアプリケーションの実行に基づく仮想オブジェクトとで、閾値を変えること”や、“課金処理の実行に係る仮想オブジェクトなど、ユーザが意図していない動作が行われることが望ましくない処理に対応する仮想オブジェクトの閾値を、より高くすること”などが実現される。

また、例えば、ユーザを識別することが可能な情報に基づき閾値が設定されることによって、ユーザごとに閾値を変えることが可能となる。

また、第４の例に係る所定の閾値は、第１の例に係る所定の閾値と同様に、例えば、操作体による操作の方向に基づいて設定することが可能であり、また、設定されている領域内における仮想オブジェクトの密集の度合いを示す値に基づいて設定することも可能である。

本実施形態に係る情報処理装置は、例えば、操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づく評価値が所定の閾値より小さい場合（または、当該評価値が当該閾値以下の場合。以下、同様とする。）に、第１の判定処理を行う。

ここで、操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づく評価値が所定の閾値より小さい場合とは、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性が低い場合に該当する。よって、操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づく評価値が所定の閾値より小さい場合には、本実施形態に係る情報処理装置は、操作体と仮想オブジェクトとの位置関係を補正せずに、仮想オブジェクトに対する操作を判定する第１の判定処理を行う。

また、本実施形態に係る情報処理装置は、例えば、操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づく評価値が所定の閾値以上の場合（または、当該評価値が当該閾値より大きい場合。以下、同様とする。）に、第２の判定処理を行う。

ここで、操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づく評価値が所定の閾値以上の場合とは、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性が高い場合に該当する。よって、操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づく評価値が所定の閾値以上の場合には、本実施形態に係る情報処理装置は、操作体と仮想オブジェクトとの位置関係を補正して仮想オブジェクトに対する操作を判定する第２の判定処理を行う。

第４の判定処理を行う場合、本実施形態に係る情報処理装置は、例えば、操作体と仮想オブジェクトとの位置ずれを“０”（ゼロ）とすることによって、操作体と仮想オブジェクトとの位置関係を補正する。

なお、第４の例に係る切り替え処理における、操作体と仮想オブジェクトとの位置関係の補正方法は、上記に限られない。

例えば、本実施形態に係る情報処理装置は、例えば上記第１の例に係る切り替え処理と同様に、上記数式５に示す操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づく評価値に応じて操作体と仮想オブジェクトとの位置ずれを小さくすることによって、操作体と仮想オブジェクトとの位置関係を補正することも可能である。

上記のように、第４の例に係る切り替え処理が行われる場合には、本実施形態に係る情報処理装置は、操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づく評価値と所定の閾値との比較結果に基づいて、第１の判定処理と第２の判定処理とを切り替える。よって、第４の例に係る切り替え処理が行われる場合には、操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づいて操作体と仮想オブジェクトとの位置関係が選択的に補正されるので、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性を低減することが可能である。

したがって、第４の例に係る切り替え処理を行うことによって、本実施形態に係る情報処理装置は、ユーザの操作性の向上を図ることができる。

（５）切り替え処理の第５の例
上記（１）に示す第１の例に係る切り替え処理〜上記（４）に示す第４の例に係る切り替え処理に示すように、本実施形態に係る情報処理装置は、“操作体の情報”、および“仮想オブジェクトの情報とユーザの状態の情報との一方または双方”に基づいて、第１の判定処理と第２の判定処理とを切り替える。

なお、本実施形態に係る切り替え処理は、上記（１）に示す第１の例に係る切り替え処理〜上記（４）に示す第４の例に係る切り替え処理に限られない。

例えば、本実施形態に係る情報処理装置は、操作体の情報を利用せずに、“仮想オブジェクトの情報とユーザの状態の情報との一方または双方”に基づいて、第１の判定処理と第２の判定処理とを切り替えてもよい。

操作体の情報を利用しない場合であっても、本実施形態に係る情報処理装置は、仮想オブジェクトの情報およびユーザの状態の情報の一方または双方に基づく評価値と所定の閾値との比較結果に基づいて、第１の判定処理と第２の判定処理とを切り替えることが可能である。ここで、仮想オブジェクトの情報およびユーザの状態の情報の一方または双方に基づく評価値は、例えば、上記数式５において、用いられない指標の係数を“０”（ゼロ）とすることによって求められる。

したがって、仮想オブジェクトの情報とユーザの状態の情報との一方または双方に基づいて、第１の判定処理と第２の判定処理とを切り替える場合であっても、本実施形態に係る情報処理装置は、ユーザの操作性の向上を図ることができる。

本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば上記のような切り替え処理（例えば上記（１）第１の例に係る切替処理〜（５）第５の例に係る切替処理のいずれかの処理）を行う。

本実施形態に係る切り替え処理が行われることによって、操作体と仮想オブジェクトとの位置関係が選択的に補正されるので、例えば図１、図２を参照して示したような、操作を行ったユーザが意図していない動作が行われる可能性を低減することが可能である。

したがって、本実施形態に係る情報処理方法に係る処理として切り替え処理を行うことによって、本実施形態に係る情報処理装置は、ユーザの操作性の向上を図ることができる。

なお、本実施形態に係る情報処理方法に係る処理は、上記切り替え処理に限られない。例えば、本実施形態に係る情報処理装置は、下記に示す（Ｉ）通知制御処理と、（ＩＩ）実行制御処理、および（ＩＩＩ）表示制御処理のうちの少なくとも１つを、さらに行うことも可能である。

（Ｉ）通知制御処理
本実施形態に係る情報処理装置は、本実施形態に係る切り替え処理の対象となる仮想オブジェクトを、ユーザに対して通知させる。

本実施形態に係る情報処理装置は、例えば、仮想オブジェクトの表示を制御して、下記のような表示方法により本実施形態に係る切り替え処理の対象となる仮想オブジェクトを目立たせることによって、切り替え処理の対象となる仮想オブジェクトを、ユーザに対して視覚的に通知させる。なお、本実施形態に係る切り替え処理の対象となる仮想オブジェクトを目立たせる表示方法が、下記に示す例に限られないことは、言うまでもない。
・本実施形態に係る切り替え処理の対象となる仮想オブジェクトをハイライト表示させる。
・本実施形態に係る切り替え処理の対象となる仮想オブジェクト以外の他の仮想オブジェクトを、グレーアウト表示させる。
・上記の組み合わせ。

なお、本実施形態に係る切り替え処理の対象となる仮想オブジェクトを、ユーザに対して視覚的に通知する例は、上記に示す例に限られない。例えば、本実施形態に係る情報処理装置は、操作体と仮想オブジェクトとの位置関係が補正されたことや、操作体と仮想オブジェクトとの位置関係の補正の程度を、仮想オブジェクトに対するハイライト表示の程度や、仮想オブジェクトに対して付す色や明度などを変えることによって、通知することも可能である。

また、本実施形態に係る情報処理装置は、例えば、仮想オブジェクトが決定された旨の音声（音や音楽も含む。以下、同様とする。）を示す信号をスピーカなどの音声出力デバイスに出力させることによる聴覚的な通知や、振動デバイスを振動させることによる触覚的な通知によって、本実施形態に係る切り替え処理の対象となる仮想オブジェクトを、ユーザに対して通知させることも可能である。また、本実施形態に係る情報処理装置は、例えば、音声による聴覚的な通知や振動による触覚的な通知によって、操作体と仮想オブジェクトとの位置関係が補正されたことや、操作体と仮想オブジェクトとの位置関係の補正の程度を、ユーザに対して通知させてもよい。

また、本実施形態に係る情報処理装置は、例えば、視覚的な通知、触覚的な通知、および触覚的な通知のうちの２以上を組み合わせることによって、本実施形態に係る切り替え処理の対象となる仮想オブジェクトや、操作体と仮想オブジェクトとの位置関係が補正されたこと、操作体と仮想オブジェクトとの位置関係の補正の程度を、ユーザに対して通知させてもよい。

本実施形態に係る情報処理方法に係る処理として、通知制御処理が行われることによって、切り替え処理の対象となる仮想オブジェクトなどを、ユーザにより容易に認識させることが可能となる。よって、通知制御処理が行われることによって、ユーザは、操作体により操作される仮想オブジェクトを認識することができるので、ユーザの操作性の向上をさらに図ることができる。

なお、本実施形態に係る通知制御処理は、本実施形態に係る情報処理装置の外部装置において行われてもよい。

（ＩＩ）実行制御処理
本実施形態に係る情報処理装置は、例えば、本実施形態に係る切り替え処理に係る判定処理により判定された、仮想オブジェクトに対する操作に対応する処理の実行を制御する。仮想オブジェクトに対する操作に対応する処理としては、例えば、操作により選択されたアプリケーションの実行や、課金処理など、仮想オブジェクトに対応付けられている任意の処理が挙げられる。

本実施形態に係る情報処理装置は、例えば、判定された仮想オブジェクトに対する操作に対応する処理を、制御対象に行わせる。

本実施形態に係る制御対象としては、例えば、本実施形態に係る情報処理装置と、本実施形態に係る情報処理装置の外部装置との一方または双方が挙げられる。本実施形態に係る制御対象の外部装置としては、例えば、ＨＭＤやサーバなどの任意の装置が挙げられる。

本実施形態に係る制御対象が本実施形態に係る情報処理装置である場合、本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備えるプロセッサなどにおいて、判定された仮想オブジェクトに対する操作に対応する処理を行う。

また、本実施形態に係る制御対象が上記外部装置である場合、本実施形態に係る情報処理装置は、例えば、判定された仮想オブジェクトに対する操作に対応する処理を行わせる処理命令を含む処理実行要求を、外部装置に対して送信させることによって、判定された仮想オブジェクトに対する操作に対応する処理を、当該外部装置に行わせる。本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える通信部（後述する）や、本実施形態に係る情報処理装置に接続されている外部の通信デバイスに、上記処理実行要求を送信させる。

なお、本実施形態に係る実行制御処理は、本実施形態に係る情報処理装置の外部装置において行われてもよい。

（ＩＩＩ）表示制御処理
本実施形態に係る情報処理装置は、実行される判定処理（本実施形態に係る切替処理において切り替えられる判定処理）において操作があったと判定されることに基づいて、仮想オブジェクトの表示を変化させてもよい。

本実施形態に係る情報処理装置は、例えば、仮想オブジェクトが表示される表示デバイスに対して、表示命令を含む制御信号を伝達することによって、仮想オブジェクトの表示を変化させるまた、上記制御信号には、仮想オブジェクトの表示に係る表示データが含まれていてもよい。

上記のように、仮想オブジェクトの表示を変化させることによって、本実施形態に係る情報処理装置は、例えば、判定処理により操作があったと判定された仮想オブジェクトを、ユーザに認識させることができる。なお、本実施形態に係る表示制御処理は、上記（Ｉ）の処理（通知制御処理）の一環として行われてもよい。

本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、“上記切り替え処理”、または、“上記切り替え処理、および上記（Ｉ）の処理（通知制御処理）と上記（ＩＩ）の処理（実行制御処理）と上記（ＩＩＩ）の処理（表示制御処理）とのうちの少なくとも１つ”を行う。

なお、“上記切り替え処理”、“上記切り替え処理、および上記（Ｉ）の処理（通知制御処理）と上記（ＩＩ）の処理（実行制御処理）と上記（ＩＩＩ）の処理（表示制御処理）とのうちの少なくとも１つ”それぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理は、例えば、“上記切り替え処理、および上記（Ｉ）の処理（通知制御処理）と上記（ＩＩ）の処理（実行制御処理）と上記（ＩＩＩ）の処理（表示制御処理）とのうちの少なくとも１つ”を、１つの処理と捉えることが可能である。また、本実施形態に係る情報処理方法に係る処理は、例えば、“上記切り替え処理”、“上記切り替え処理、および上記（Ｉ）の処理（通知制御処理）と上記（ＩＩ）の処理（実行制御処理）と上記（ＩＩＩ）の処理（表示制御処理）とのうちの少なくとも１つ”それぞれを、（任意の切り分け方によって）２以上の処理と捉えることも可能である。

［２］本実施形態に係る情報処理方法に係る処理の具体例
図４は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。図４は、本実施形態に係る情報処理方法に係る処理として、上記（４）に示す第４の例に係る切り替え処理、および上記（ＩＩ）の処理（実行制御処理）が行われる場合の処理の一例を示している。ここで、例えば図４のステップＳ１０２〜Ｓ１０８の処理が、上記（４）に示す第４の例に係る切り替え処理の一例に該当する。また、例えば図４のステップＳ１１２の処理が上記（ＩＩ）の処理（実行制御処理）の一例に該当する。

本実施形態に係る情報処理装置は、操作体、仮想オブジェクトそれぞれの位置を取得する（Ｓ１００）。

本実施形態に係る情報処理装置は、例えば、上記数式５に示す評価値（操作体の情報、仮想オブジェクトの情報、およびユーザの状態の情報に基づく評価関数により得られる評価値）が、所定の閾値以上であるか否かを判定する（Ｓ１０２）。

ステップＳ１０２において評価値が所定の閾値以上であると判定されない場合には、本実施形態に係る情報処理装置は、操作体と仮想オブジェクトとの位置関係を補正せず（Ｓ１０８）、当該位置関係に基づいて操作判定を行う（Ｓ１０８）。

ステップＳ１０８において、本実施形態に係る情報処理装置は、例えば、タッチ操作や、フリック操作、ピンチ操作、ドラッグ操作など、操作体による仮想オブジェクトに対する所定の操作を検出する。本実施形態に係る情報処理装置は、例えば、撮像画像を解析することなど、操作を検出することが可能な任意の方法によって、操作体による仮想オブジェクトに対する所定の操作を検出する。

そして、本実施形態に係る情報処理装置は、所定の操作が検出された場合に、操作体による仮想オブジェクトに対する操作が行われたと判定する。

ここで、ステップＳ１０２の判定の結果、評価値が所定の閾値以上であると判定されない場合に行われるステップＳ１０４、およびステップＳ１０８の処理が、第１の判定処理に該当する。

また、ステップＳ１０２において評価値が所定の閾値以上であると判定された場合には、本実施形態に係る情報処理装置は、操作体と仮想オブジェクトとの位置関係を補正する（Ｓ１０６）。そして、本実施形態に係る情報処理装置は、補正された操作体と仮想オブジェクトとの位置関係に基づいて操作判定を行う（Ｓ１０８）。

ここで、ステップＳ１０２の判定の結果、評価値が所定の閾値以上であると判定された場合に行われるステップＳ１０６、およびステップＳ１０８の処理が、第２の判定処理に該当する。

本実施形態に係る情報処理装置は、ステップＳ１０８の処理により操作体による仮想オブジェクトに対する操作が判定されたか否かを判定する（Ｓ１１０）。

ステップＳ１１０において、操作体による仮想オブジェクトに対する操作が判定されたと判定されない場合には、本実施形態に係る情報処理装置は、例えば、ステップＳ１００からの処理を繰り返す。

また、ステップＳ１１０において、操作体による仮想オブジェクトに対する操作が判定されたと判定された場合には、本実施形態に係る情報処理装置は、判定された操作に対応する処理を、制御対象に行わせる（Ｓ１１２）。

ここで、ステップＳ１１０において、操作体による仮想オブジェクトに対する操作が判定されたと判定された場合には、本実施形態に係る情報処理装置は、例えば、判定された操作が終了するまで、ステップＳ１００からの処理を行わない。また、本実施形態に係る情報処理装置は、例えば、ステップＳ１１０において判定された操作が終了したと判定された場合に、ステップＳ１００からの処理を再度行う。

例えば、ドラッグ操作が、操作体による仮想オブジェクトに対する操作として判定された場合には、手や指などの操作体と仮想オブジェクトとの距離が、設定されている閾値以上となったとき（または、当該距離が当該閾値より大きくなったとき）に、判定された操作が終了したと判定される。なお、判定された操作が終了したと判定される条件は、例えば、操作ごとに異なる。

本実施形態に係る情報処理装置が、判定された操作が終了するまでステップＳ１００からの処理を行わないことによって、例えば、判定された操作に対応する処理が行われている最中に、ユーザが意図していない他の仮想オブジェクトに対する処理が行われてしまうことが防止される。

本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば図４に示す処理を行う。

なお、本実施形態に係る情報処理方法に係る処理は、図４に示す処理に限られない。

例えば図４では、上記数式５に示す評価値と１つの閾値を用いた閾値処理によって、操作体と仮想オブジェクトとの位置関係を選択的に補正する例を示したが、操作体と仮想オブジェクトとの位置関係を補正する方法は、上記に示す例に限られない。例えば、本実施形態に係る情報処理装置は、複数の閾値を用いた複数段階の閾値処理の結果に基づき、操作体と仮想オブジェクトとの位置関係を段階的に補正することも可能である。

また、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、上記（１）に示す第１の例に係る切り替え処理〜上記（３）に示す第３の例に係る切り替え処理のいずれか、または、上記（５）に示す第５の例に係る切り替え処理を行ってもよい。

また、例えば図４のステップＳ１１２の処理は、本実施形態に係る情報処理装置の外部装置において行われてもよい。

（本実施形態に係る情報処理装置）
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について、説明する。

図５は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。

また、情報処理装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。

ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。

記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、上記切り替え処理に係る閾値や、上述した各種テーブルなどの、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。

操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。

［情報処理装置１００のハードウェア構成例］
図６は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。

ＭＰＵ１５０は、例えば、ＭＰＵなどの演算回路で構成される、少なくとも１つのプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する操作判定部１１０の役目を果たす。なお、操作判定部１１０は、後述する操作判定部１１０の処理を実現可能な専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、記憶部（図示せず）として機能し、例えば、例えば、上記切り替え処理に係る閾値や、上述した各種テーブルなどの、本実施形態に係る情報処理方法に係るデータや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子、各種処理回路などが挙げられる。

また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。

また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence Display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode Display）ともよばれる。）などが挙げられる。

なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。

通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、例えば、ＨＭＤやサーバ、撮像により撮像画像を生成する撮像デバイスなどの外部装置と、無線または有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。

情報処理装置１００は、例えば図６に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図６に示す構成に限られない。

例えば、情報処理装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合や、スタンドアロンで処理を行う構成である場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、少なくとも１つの外部装置と通信を行うことが可能な構成であってもよい。

また、情報処理装置１００は、例えば、撮像により画像（動画像または静止画像）を生成する撮像部（図示せず）として機能する撮像デバイスをさらに備えていてもよい。

撮像デバイスは、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。

また、情報処理装置１００は、例えば、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２を備えない構成をとることが可能である。

また、例えば、図６に示す構成（または変形例に係る構成）は、少なくとも１つのＩＣで実現されてもよい。

再度図５を参照して、情報処理装置１００の構成の一例について説明する。通信部１０２は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、ＨＭＤやサーバなどの外部装置と、無線または有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。

ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。また、通信部１０２は、複数の通信方式によって、少なくとも１つの外部装置と通信を行うことが可能な構成であってもよい。

制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、操作判定部１１０を備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。

操作判定部１１０は、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。

例えば、操作判定部１１０は、上記切り替え処理を行い、仮想オブジェクトに対する操作を判定する判定処理を切り替える。操作判定部１１０は、例えば、上記（１）に示す第１の例に係る切り替え処理〜上記（５）に示す第５の例に係る切り替え処理のいずれかの処理を行い、操作体と仮想オブジェクトとの位置関係を補正せずに仮想オブジェクトに対する操作を判定する第１の判定処理と、操作体と仮想オブジェクトとの位置関係を補正して仮想オブジェクトに対する操作を判定する第２の判定処理とを切り替える。

また、操作判定部１１０は、例えば、上記（Ｉ）の処理（通知制御処理）と上記（ＩＩ）の処理（実行制御処理）との一方または双方をさらに行うことも可能である。

制御部１０４は、例えば、操作判定部１１０を備えることによって、本実施形態に係る情報処理方法に係る処理（例えば、“上記切り替え処理”、“上記切り替え処理、および上記（Ｉ）の処理（通知制御処理）”、“上記切り替え処理、および上記（ＩＩ）の処理（実行制御処理）”、または“上記切り替え処理、上記（Ｉ）の処理（通知制御処理）、および上記（ＩＩ）の処理（実行制御処理）”）を主導的に行う。

なお、本実施形態に制御部の構成は、上記に示す例に限られない。例えば、本実施形態に制御部は、上記（ＩＩＩ）の処理（表示制御処理）を主導的に行う表示制御部（図示せず）を、さらに備えていてもよい。

情報処理装置１００は、例えば図５に示す構成（または、上記変形例に係る制御部の構成）によって、本実施形態に係る情報処理方法に係る処理（例えば、“上記切り替え処理”、または、“上記切り替え処理、および上記（Ｉ）の処理（通知制御処理）と上記（ＩＩ）の処理（実行制御処理）と上記（ＩＩＩ）の処理（表示制御処理）とのうちの少なくとも１つ”）を行う。

したがって、情報処理装置１００は、例えば図５に示す構成によって、ユーザの操作性の向上を図ることができる。

また、例えば図５に示す構成によって、情報処理装置１００は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。

なお、本実施形態に係る情報処理装置の構成は、図５に示す構成に限られない。

例えば、本実施形態に係る情報処理装置は、図５に示す操作判定部１１０（または、変形例に係る操作判定部１１０、および表示制御部（図示せず）との一方または双方）を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。

また、上述したように、“上記切り替え処理”、“上記切り替え処理、および上記（Ｉ）の処理（通知制御処理）と上記（ＩＩ）の処理（実行制御処理）と上記（ＩＩＩ）の処理（表示制御処理）とのうちの少なくとも１つ”それぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図５に示す操作判定部１１０（または、変形例に係る操作判定部１１０、および表示制御部（図示せず）との一方または双方）に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。

また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合や、スタンドアロンで処理を行う場合には、本実施形態に係る情報処理装置は、通信部１０２を備えていなくてもよい。

以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、ＰＣ（Personal Computer）やサーバなどのコンピュータや、ＨＭＤやアイウェアなどのユーザの頭部に装着されて用いられる装置、実空間に仮想オブジェクトを投影することが可能な投影装置、タブレット型の装置、携帯電話やスマートフォンなどの通信装置など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。

また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとしては、例えば、当該情報処理システムを構成する複数の装置において、“上記切り替え処理”、または、“上記切り替え処理、および上記（Ｉ）の処理（通知制御処理）と上記（ＩＩ）の処理（実行制御処理）と上記（ＩＩＩ）の処理（表示制御処理）とのうちの少なくとも１つ”が連携して行われるシステムが、挙げられる。

（本実施形態に係るプログラム）
コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“上記切り替え処理”、または、“上記切り替え処理、および上記（Ｉ）の処理（通知制御処理）と上記（ＩＩ）の処理（実行制御処理）と上記（ＩＩＩ）の処理（表示制御処理）とのうちの少なくとも１つ”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、ユーザの操作性の向上を図ることができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。

また、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体（コンピュータシステムなどが読み取り可能な記録媒体）も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
仮想の立体空間に定義された仮想オブジェクトに対する、操作体によるユーザの操作入力を判定する判定処理を実行する操作判定部を備え、
前記操作判定部は、前記操作体の現実の立体空間における空間位置の情報に基づいて前記判定処理を実行し、前記操作体の情報に基づいて、前記判定処理を切り替える、情報処理装置。
（２）
前記仮想オブジェクトは、前記操作体の前記現実の立体空間における像とともに視認可能に表示される、（１）に記載の情報処理装置。
（３）
前記操作体の情報は、前記操作体の動きを示す情報と前記操作体の位置に基づく情報との一方または双方である、（２）に記載の情報処理装置。
（４）
前記操作体の動きを示す情報は、前記操作体の移動する速さの情報である、（３）に記載の情報処理装置。
（５）
前記操作判定部は、前記操作体の移動する速さが、第１の速さであるときよりも、前記第１の速さよりも速い第２の速さであるときの方が、前記仮想オブジェクトに対する操作があったと判定する基準が緩和されるように判定処理を切り替える、（４）に記載の情報処理装置。
（６）
前記基準は、前記操作体と前記仮想オブジェクトとの仮想的な位置関係に関する基準である、（５）に記載の情報処理装置。
（７）
前記操作判定部は、複数の前記仮想オブジェクトが、第１の密集度を有するときよりも、前記第１の密集度よりも大きい第２の密集度を有するときの方が、前記判定処理が切り替わり難くする、（１）〜（６）のいずれか１つに記載の情報処理装置。
（８）
前記操作判定部は、前記仮想オブジェクトの情報と、ユーザの状態の情報とに基づいて、前記判定処理を切り替える、（１）〜（７）のいずれか１つに記載の情報処理装置。
（９）
前記操作判定部は、前記操作体の情報および前記仮想オブジェクトの情報に基づいて前記判定処理を切り替える、請求項１〜（８）のいずれか１つに記載の情報処理装置。
（１０）
前記仮想オブジェクトの情報は、前記仮想オブジェクトの位置を示す情報、前記仮想オブジェクトの状態を示す情報、および前記仮想オブジェクトの種別を示す情報のうちの１または２以上である、（８）、または（９）に記載の情報処理装置。
（１１）
前記操作判定部は、前記仮想オブジェクトに関連付けて定義される操作判定領域に基づいて前記判定処理を実行する、（１）〜（１０）のいずれか１つに記載の情報処理装置。
（１２）
前記操作判定領域は、ユーザにより視認されない、（１１）に記載の情報処理装置。
（１３）
前記操作判定領域は、ユーザにより視認可能に表示される、（１０）に記載の情報処理装置。
（１４）
前記操作判定部は、判定された前記仮想オブジェクトに対する操作に対応する処理の実行を制御し、
前記操作判定部において前記操作があったと判定されることに基づいて、前記仮想オブジェクトの表示を変化させる表示制御部を備える、（１）〜（１３）のいずれか１つに記載の情報処理装置。
（１５）
前記仮想オブジェクトは、仮想的な入力デバイスである、（１４）に記載の情報処理装置。
（１６）
前記操作判定部は、前記操作体と前記仮想オブジェクトとの位置関係を補正せずに、前記仮想オブジェクトに対する操作を判定する第１の判定処理と、前記操作体と前記仮想オブジェクトとの位置関係を補正して前記仮想オブジェクトに対する操作を判定する第２の判定処理とを、切り替える、（１）〜（１５）のいずれか１つに記載の情報処理装置。
（１７）
前記操作判定部は、第１の判定処理と第２の判定処理とを切り替え、
前記第２の判定処理では、前記仮想オブジェクトに対する操作があったと判定する前記第１の判定処理の基準の補正を、第１の方向および前記第１の方向とは異なる第２の方向において行い、
前記第２の判定処理において、前記第１の方向の補正度合いと、前記第２の方向の補正度合とが異なる、（１）〜（１５）のいずれか１つに記載の情報処理装置。
（１８）
前記操作判定部は、前記操作体の情報に基づいて、奥行き方向に関し前記判定処理を切り替える、（１）〜（１７）のいずれか１つに記載の情報処理装置。
（１９）
仮想の立体空間に定義された仮想オブジェクトに対する、操作体によるユーザの操作入力を判定する判定処理を実行するステップを有し、
前記実行するステップでは、前記操作体の現実の立体空間における空間位置の情報に基づいて前記判定処理が実行され、前記操作体の情報に基づいて、前記判定処理が切り替えられる、情報処理装置により実行される情報処理方法。
（１８）
仮想の立体空間に定義された仮想オブジェクトに対する、操作体によるユーザの操作入力を判定する判定処理を実行する機能をコンピュータシステムに実現させ、
前記実行する機能により、前記操作体の現実の立体空間における空間位置の情報に基づいて前記判定処理が実行され、前記操作体の情報に基づいて、前記判定処理が切り替えられる、プログラム。

１００ 情報処理装置
１０２ 通信部
１０４ 制御部
１１０ 操作判定部

Claims (20)

1. 仮想の立体空間に定義された仮想オブジェクトに対する、操作体によるユーザの操作入力を判定する判定処理を実行する操作判定部を備え、
   前記操作判定部は、前記操作体の現実の立体空間における空間位置の情報に基づいて前記判定処理を実行し、前記操作体の情報に基づいて、前記判定処理を切り替える、情報処理装置。
2. 前記仮想オブジェクトは、前記操作体の前記現実の立体空間における像とともに視認可能に表示される、請求項１に記載の情報処理装置。
3. 前記操作体の情報は、前記操作体の動きを示す情報と前記操作体の位置に基づく情報との一方または双方である、請求項２に記載の情報処理装置。
4. 前記操作体の動きを示す情報は、前記操作体の移動する速さの情報である、請求項３に記載の情報処理装置。
5. 前記操作判定部は、前記操作体の移動する速さが、第１の速さであるときよりも、前記第１の速さよりも速い第２の速さであるときの方が、前記仮想オブジェクトに対する操作があったと判定する基準が緩和されるように判定処理を切り替える、請求項４に記載の情報処理装置。
6. 前記基準は、前記操作体と前記仮想オブジェクトとの仮想的な位置関係に関する基準である、請求項５に記載の情報処理装置。
7. 前記操作判定部は、複数の前記仮想オブジェクトが、第１の密集度を有するときよりも、前記第１の密集度よりも大きい第２の密集度を有するときの方が、前記判定処理が切り替わり難くする、請求項１に記載の情報処理装置。
8. 前記操作判定部は、前記仮想オブジェクトの情報と、ユーザの状態の情報とに基づいて、前記判定処理を切り替える、請求項１に記載の情報処理装置。
9. 前記操作判定部は、前記操作体の情報および前記仮想オブジェクトの情報に基づいて前記判定処理を切り替える、請求項１に記載の情報処理装置。
10. 前記仮想オブジェクトの情報は、前記仮想オブジェクトの位置を示す情報、前記仮想オブジェクトの状態を示す情報、および前記仮想オブジェクトの種別を示す情報のうちの少なくとも１つである、請求項７に記載の情報処理装置。
11. 前記操作判定部は、前記仮想オブジェクトに関連付けて定義される操作判定領域に基づいて前記判定処理を実行する、請求項１に記載の情報処理装置。
12. 前記操作判定領域は、ユーザにより視認されない、請求項１１に記載の情報処理装置。
13. 前記操作判定領域は、ユーザにより視認可能に表示される、請求項１１に記載の情報処理装置。
14. 前記操作判定部は、判定された前記仮想オブジェクトに対する操作に対応する処理の実行を制御し、
    前記操作判定部において前記操作があったと判定されることに基づいて、前記仮想オブジェクトの表示を変化させる表示制御部を備える、請求項１に記載の情報処理装置。
15. 前記仮想オブジェクトは、仮想的な入力デバイスである、請求項１４に記載の情報処理装置。
16. 前記操作判定部は、前記操作体と前記仮想オブジェクトとの位置関係を補正せずに、前記仮想オブジェクトに対する操作を判定する第１の判定処理と、前記操作体と前記仮想オブジェクトとの位置関係を補正して前記仮想オブジェクトに対する操作を判定する第２の判定処理とを、切り替える、請求項１に記載の情報処理装置。
17. 前記操作判定部は、第１の判定処理と第２の判定処理とを切り替え、
    前記第２の判定処理では、前記仮想オブジェクトに対する操作があったと判定する前記第１の判定処理の基準の補正を、第１の方向および前記第１の方向とは異なる第２の方向において行い、
    前記第２の判定処理において、前記第１の方向の補正度合いと、前記第２の方向の補正度合とが異なる、請求項１に記載の情報処理装置。
18. 前記操作判定部は、前記操作体の情報に基づいて、奥行き方向に関し前記判定処理を切り替える、請求項１に記載の情報処理装置。
19. 仮想の立体空間に定義された仮想オブジェクトに対する、操作体によるユーザの操作入力を判定する判定処理を実行するステップを有し、
    前記実行するステップでは、前記操作体の現実の立体空間における空間位置の情報に基づいて前記判定処理が実行され、前記操作体の情報に基づいて、前記判定処理が切り替えられる、情報処理装置により実行される情報処理方法。
20. 仮想の立体空間に定義されユーザに仮想的に知覚可能とされる仮想オブジェクトに対する、操作体によるユーザの操作入力を判定する判定処理を実行する機能をコンピュータシステムに実現させ、
    前記実行する機能により、前記操作体の現実の立体空間における空間位置の情報に基づいて前記判定処理が実行され、前記操作体の情報に基づいて、前記判定処理が切り替えられる、プログラム。
    

Images