JP2024025272A - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

【課題】ユーザにとって利便性が高く、位置を示す複数の表示アイテムを制御する技術を提供する。【解決手段】情報処理装置は、第１の制御モードにおいて、コントローラの慣性情報に基づく位置を示す第１の表示アイテムを、表示手段の表示領域に表示するように制御する第１の表示制御手段と、第２の制御モードにおいて、前記表示領域のうち第１の領域における、特定の操作部材に対する第１の操作に応じた位置を示す第２の表示アイテムを前記表示領域に表示するように制御する第２の表示制御手段と、前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記表示領域のうちの第２の領域に含まれる場合には、特定の操作が行われると、前記第１の制御モードから前記第２の制御モードに切り替える切替手段と、を有する。【選択図】図３

Description

本発明は、情報処理装置、情報処理方法、プログラムに関する。

ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、現実空間とは異なる空間をユーザに感じさせるような、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）技術や仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）技術が知られている。このような技術において、ユーザがＨＭＤ（ヘッドマウントディスプレイ）を装着したまま、ＨＭＤに対する各種制御を行うことが検討されている。特許文献１には、入力装置と、入力装置を操作する操作媒体（ユーザの手）とを認識し、認識した結果に応じて、アプリケーションを切り替える情報処理装置が開示されている。

一方で、位置を示す表示アイテムを制御することによって、ユーザの操作性を向上させる技術も検討されている。特許文献２には、ダイアログウィンドウの表示時に、直前に表示されていたマウスカーソル（表示アイテム）の位置に関係なく、規定の位置にマウスカーソルを移動させることで、操作性の向上を図る技術が開示されている。

特開２０１７－０５９０６２号公報 特開平８－１５２９７２号公報

また、利便性の観点から、ユーザは、位置を示す複数の表示アイテム（例えば、マウスカーソルと選択枠）を切り替えて利用することを所望する可能性がある。しかしながら、上記の技術では、複数の表示アイテムを利用することを想定していないため、ユーザにとって利便性が高く、位置を示す複数の表示アイテムを制御することができなかった。

そこで、本発明は、ユーザにとって利便性が高く、位置を示す複数の表示アイテムを制御する技術を提供することを目的とする。

本発明の１つの態様は、
第１の制御モードにおいて、コントローラの慣性情報に基づく位置を示す第１の表示アイテムを、表示手段の表示領域に表示するように制御する第１の表示制御手段と、
第２の制御モードにおいて、前記表示領域のうち第１の領域における、特定の操作部材に対する第１の操作に応じた位置を示す第２の表示アイテムを前記表示領域に表示するように制御する第２の表示制御手段と、
前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記表示領域のうちの第２の領域に含まれる場合には、特定の操作が行われると、前記第１の制御モードから前記第２の制御モードに切り替える切替手段と、
を有することを特徴とする情報処理装置である。

本発明の１つの態様は、
第１の制御モードにおいて、コントローラの慣性情報に基づく位置を示す第１の表示アイテムを、表示手段の表示領域に表示するように制御する第１の表示制御ステップと、
第２の制御モードにおいて、前記表示領域のうち第１の領域における、特定の操作部材に対する第１の操作に応じた位置を示す第２の表示アイテムを前記表示領域に表示するように制御する第２の表示制御ステップと、
前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記表示領域のうちの第２の領域に含まれる場合には、特定の操作が行われると、前記第１の制御モードから前記第２の制御モードに切り替える切替ステップと、
を有することを特徴とする情報処理方法である。

本発明によれば、ユーザにとって利便性が高く、位置を示す複数の表示アイテムを制御することができる。

実施形態１に係る情報処理システムを説明する図である。 実施形態１に係るＨＭＤなどの内部構成図である。 実施形態１に係るモード切替処理のフローチャートである。 実施形態１に係るレイ制御モードの表示を説明する図である。 実施形態１に係るＯＴＰ制御モードの表示を説明する図である。 実施形態１に係るモード切替処理のフローチャートである。 変形例１に係るレイ制御モードの表示を説明する図である。 変形例１に係るＯＴＰ制御モードの表示を説明する図である。 変形例２に係るレイ制御モードの表示を説明する図である。 変形例２に係るＯＴＰ制御モードの表示を説明する図である。 変形例３に係るＯＴＰ制御モードの表示を説明する図である。

以下に、本発明の実施形態を、ＨＭＤを例に、添付の図面に基づいて詳細に説明する。なお、ＨＭＤでは、例えば、３６０度の視界の表示範囲が存在している。このため、ユーザは、ＨＭＤでは、従来のＰＣのディスプレイに比べて表示範囲が非常に大きく広がっているように感じることができる。よって、ＨＭＤでは、同時に多数の表示が可能であるというメリットがある一方で、マウスカーソルやポインタといった位置を示す（指定する）表示アイテム（ＵＩ）がユーザの視線の先から外れると、見失いやすい。

＜実施形態１＞
図１を参照して、実施形態１に係る情報処理システム１について説明する。情報処理システム１は、ＨＭＤ１００、画像処理装置１１０、およびコントローラ１２０を有する。

ＨＭＤ１００は、ユーザの頭部に装着可能な頭部装着型の表示装置（電子機器）である。ＨＭＤ１００には、ＨＭＤ１００がユーザの正面の範囲を撮像した撮像画像と、ＨＭＤ１００の姿勢に応じた形態のＣＧ（コンピュータグラフィックス）などのコンテンツとが合成された合成画像が表示される。

画像処理装置１１０は、ＨＭＤ１００を制御する制御装置（情報処理装置；電子機器）である。画像処理装置１１０は、例えば、スマートフォン、タブレット端末、またはＰＣ（パーソナルコンピュータ）である。画像処理装置１１０は、無線または有線によりＨＭＤ１００と接続される。画像処理装置１１０は、撮像画像とＣＧとを合成することにより合成画像を生成して、合成画像をＨＭＤ１００に送信する。なお、画像処理装置１１０の各構成は、ＨＭＤ１００が有していてもよい。

コントローラ１２０は、ＨＭＤ１００の各種制御を行うための装置である。画像処理装
置１１０が特定の制御モードであれば、コントローラ１２０に対してユーザの操作が行われると、ユーザの操作に応じてＨＭＤ１００が制御される。コントローラ１２０は、例えば、図１に示すように、ユーザの指に装着可能なように、指輪型（リング型）の形状である。コントローラ１２０がユーザの指に装着可能であれば、ユーザはコントローラ１２０を保持しながらも自由に手を動かすことができる。また、コントローラ１２０は、平面的な移動量を感知できるオプティカルトラックパッド（以下、「ＯＴＰ」と呼ぶ）を内蔵したボタンを有する。コントローラ１２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）による無線通信を画像処理装置１１０と行う。

ユーザは、例えば、ＯＴＰのボタンの長押しにより、ポインタを含むメニューをＨＭＤ１００に表示させる。その後、ユーザは、ＯＴＰに指をあてて任意の方向に擦ることで、所望の項目にポインタを合わせることができる。そして、ユーザは、ＯＴＰのボタンを押し込むことにより、当該項目の選択を決定するような決定動作を行うことができる。なお、コントローラ１２０の形状は指輪型であるとしたが、これに限定されるものではない。例えば、コントローラ１２０の形状は、グローブ型のような手に装着可能な形状であってもよい。このように、コントローラ１２０は、ユーザが使用しやすいように、ユーザの手により保持可能、または手に装着可能な形態であるとよい。

（ＨＭＤの内部構成について）
図２を参照して、ＨＭＤ１００の内部構成を説明する。ＨＭＤ１００は、ＨＭＤ制御部２０１、撮像部２０２、画像表示部２０３、姿勢センサ部２０４を有する。

ＨＭＤ制御部２０１は、ＨＭＤ１００の各構成を制御する。ＨＭＤ制御部２０１は、画像処理装置１１０から合成画像（撮像部２０２がユーザの正面の空間を撮像した撮像画像と、ＣＧとが合成された画像）を取得すると、合成画像を画像表示部２０３に表示する。このため、ユーザは、ＨＭＤ１００を装着することにより、画像表示部２０３に表示される合成画像を見ることができる。ユーザは、現実空間にＣＧが融合したような、様々な複合現実を体験することができる。

撮像部２０２は、２台のカメラ（撮像装置）を含む。２台のカメラは、ユーザが通常時に見ている空間と同様の空間を撮像するために、ＨＭＤ１００の装着時のユーザの左右の眼の位置の近くに配置される。２台のカメラが撮像により被写体（ユーザの正面の範囲）を撮像した画像（撮像画像）は、画像処理装置１１０に出力される。また、撮像部２０２における２台のカメラは、ステレオカメラによる測距により、２台のカメラから被写体までの距離の情報を距離情報として取得できる。

画像表示部２０３は、合成画像を表示する。画像表示部２０３は、例えば、液晶パネルまたは有機ＥＬパネルなどを有する。ユーザがＨＭＤ１００を装着している状態では、ユーザのそれぞれの眼の前に有機ＥＬパネルが配される。

なお、画像表示部２０３には、半透過型のハーフミラーを用いたデバイスを用いることも可能である。この場合には、例えば、画像表示部２０３は、一般的にＡＲと呼ばれているような技術によって、ハーフミラーを透過して見える現実空間に直接ＣＧが重畳されて見えるように画像を表示してもよい。また、画像表示部２０３は、一般的にＶＲと呼ばれているような技術によって、撮像画像を用いずに、完全な仮想空間の画像を表示してもよい。

姿勢センサ部２０４は、ＨＭＤ１００の姿勢および位置を検出する。姿勢センサ部２０４は、慣性情報を取得する慣性計測装置（ＩＭＵ；Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を有する。姿勢センサ部２０４は、ＨＭＤ１００の姿勢の情報を姿勢
情報として、画像処理装置１１０に出力する。

（画像処理装置の内部構成）
図２を参照して、画像処理装置１１０の内部構成を説明する。画像処理装置１１０は、制御部２１１、コンテンツＤＢ２１２、通信部２１３を有する。

制御部２１１（表示制御部）は、撮像部２０２が取得した画像（撮像画像）と、姿勢センサ部２０４が取得した姿勢情報とをＨＭＤ１００から受け取る。制御部２１１は、撮像部２０２の光学系と画像表示部２０３の光学系における収差をキャンセルするような画像処理を撮像画像に行う。そして、制御部２１１は、撮像画像と任意のＣＧとを合成して、合成画像を生成する。制御部２１１は、ＨＭＤ１００におけるＨＭＤ制御部２０１に合成画像を送信する。

なお、制御部２１１は、ＨＭＤ１００が取得した情報（距離情報および姿勢情報）に基づき、合成画像におけるＣＧの位置、向き、および大きさを制御する。例えば、制御部２１１は、合成画像が表す空間において、現実空間に存在する特定の物体の近くに、ＣＧが示す仮想物体を配置する場合には、特定の物体と撮像部２０２との距離が近いほど仮想物体（ＣＧ）を大きくする。このようにＣＧの位置、向きおよび大きさを制御することにより、制御部２１１は、現実空間に配置されていないＣＧの物体が、あたかも現実空間に配置されているかのような合成画像を生成することができる。

コンテンツＤＢ２１２は、ＣＧなどの情報を格納する記憶部である。なお、制御部２１１は、コンテンツＤＢ２１２から読み出すＣＧ（つまり、合成画像の生成に用いるＣＧ）を切り替えることが可能である。

（コントローラの内部構成）
図２を参照して、コントローラ１２０の内部構成を説明する。コントローラ１２０は、コントローラ制御部２２１、操作部２２２、通信部２２３、姿勢センサ部２２４を有する。ここで、コントローラ１２０に、複数の発光ダイオード（大型のセンサなど）が実装される必要がない。このため、コントローラ１２０は、小型化が可能である。

コントローラ制御部２２１は、コントローラ１２０の各構成を制御する。

操作部２２２は、ＯＴＰ（特定の操作部材）を内蔵したボタンを含む。操作部２２２におけるＯＴＰに対する押下や指のスライドの情報（操作情報）は、通信部２２３を介して画像処理装置１１０に送信される。

例えば、ユーザは、ＯＴＰにおける指のスライドより、ＨＭＤ１００に表示されたポインタを所定の位置に移動させることができる。また、ユーザは、ＯＴＰのボタンを押下することにより、ＨＭＤ１００や画像処理装置１１０に特定の処理を指示することができる。このように、ユーザは、ＯＴＰにおける指のスライドとボタンの押下との組み合わせにより、ＨＭＤ１００を制御することができる。より具体的には、ユーザは、例えば、ＯＴＰのボタンの長押しによりＨＭＤ１００にメニューを表示させて、所望の場所にポインタを合わせた後にＯＴＰボタンを押し込むことで、当該場所を選択するような制御ができる。

操作部２２２は、ユーザが物理的接触により操作を行うことが可能であれば、ＯＴＰの代わりに、任意の操作部材を含んでいてもよい。例えば、操作部２２２は、ＯＴＰの代わりに、タッチパッド、タッチパネル、十字キー、ジョイスティック、およびトラックパッド装置のいずれかを含んでいてもよい。

通信部２２３は、画像処理装置１１０（通信部２１３）との無線通信を行う。

姿勢センサ部２２４は、ユーザの動きとして、コントローラ１２０の慣性情報（空間的な移動や回転運動）を検出できるＩＭＵ（慣性計測装置；慣性センサ）を有する。なお、姿勢センサ部２２４は、コントローラ１２０の小型化を阻害しないような装置であって、慣性情報として、空間的な移動（位置変異、速度、加速度）または／および回転運動（回転量、回転速度、角速度）の情報を検出できる装置であればよい。

（各制御モードについて）
図４および図５を参照して、実施形態１に係る制御モードに応じた各種処理について説明する。

図４は、実施形態１に係るレイ制御モード（第１の制御モード）における表示を説明する図である。なお、レイ制御モードとは、コントローラ１２０の慣性情報（位置および姿勢の少なくともいずれか）に応じてレイ（仮想的な光線）を制御する制御モードである。ここで、レイは、ＨＭＤ１００の表示領域において、ユーザが指定した位置を示す表示アイテムである。

図４は、ＨＭＤ１００の画像表示部２０３における表示領域（合成画像）を模式的に示している。ＨＭＤ１００では、ＨＭＤ１００の周囲の風景（撮像部２０２によって撮影された風景）が表示されている。背景は、図４に示すように、ユーザの手４０２を含む。ＨＭＤ１００は、一般的なＰＣのデスクトップ画面と同様の画面を、風景を示す背景に合成できる。この画面を「広域デスクトップ」と呼ぶ。

「広域デスクトップ」がＨＭＤ１００に表示されることによれば、ユーザは、画像処理装置１１０（ＰＣなど）と繋いだ大きなサイズのＰＣモニターなどを用いることなく、ＨＭＤ１００を用いて様々な作業を行うことができる。また、ＨＭＤ１００では、ユーザの視野いっぱいに表示領域が広がっているので、現実のＰＣモニターでは実現しにくいような解像度の画像を表示すること、および複数の画像を同時に並べて表示することもできる。

なお、以下では、「広域デスクトップ」がＨＭＤ１００の表示領域に表示されており、かつ、ユーザが同時に複数の作業をしているものとする。また、ＨＭＤ１００では、複数のウィンドウ４０１が空間上に浮いているように表示される。具体的には、図４に示すように、ウィンドウ４０１Ａ、ウィンドウ４０１Ｂ、およびウィンドウ４０１Ｃが並んで表示されている。例えば、ユーザは、ウィンドウ４０１Ａにおいてインターネットブラウザを動作させ、検索結果を表示させることができる。ユーザは、ウィンドウ４０１Ｂにおいて、文書（ドキュメント）を作成することができる。ユーザは、ウィンドウ４０１Ｃにおいて、動画を再生すること、または、音楽プレイヤーを動作させて音楽を再生することができる。

なお、コントローラ１２０は、ユーザの手４０２の指（人指し指）に装着されている。人差し指から、人差し指の指し示す方向に延びるレイ４０３（光線）がＣＧとして表示されている。ここで、コントローラ１２０が動くと、姿勢センサ部２２４が新たな慣性情報を取得して、慣性情報がコントローラ制御部２２１から制御部２１１に送られる。そして、制御部２１１は、慣性情報に基づき、レイの表示を制御する。

図５は、実施形態１に係るＯＴＰ制御モード（第２の制御モード）における表示を説明する図である。ＯＴＰ制御モードとは、ＯＴＰに対する操作（以下、「ＯＴＰ操作」と呼
ぶ）に応じてマウスカーソルを制御する制御モードである。ここで、マウスカーソルは、ＨＭＤ１００の表示領域のうちの特定の領域（各ウィンドウの領域）において、ユーザが指定した位置などを示す表示アイテムである。

図５は、図４と同じく画像表示部２０３における表示領域（合成画像）を示している。ＨＭＤ１００には、「広域デスクトップ」が表示されている。ここでは、ユーザが、ウィンドウ４０１Ｃにおいてマウスカーソル５０１の位置を細かく制御をしている例を説明する。ウィンドウ４０１Ｃでは、音楽プレイヤーが表示されており、ユーザにより音楽が再生可能である。ユーザは、曲の再生または早送りをするために、音楽プレイヤー内のボタンアイコンを選択する。また、ユーザは、曲目リストから曲を選択して聴きたい曲を選んだりすることもできる。

ウィンドウ４０１Ａやウィンドウ４０１Ｂが表示された状態において、ウィンドウ４０１Ｃを用いて音楽の再生が行われる場合には、ウィンドウ４０１Ｃは、画像表示部２０３の表示領域の一部の領域に表示される。そして、ウィンドウ４０１Ｃの領域内において、ボタンアイコンや選択対象が表示される領域はさらに限られる。このため、ユーザは、ボタンアイコンや選択対象が表示される領域において、マウスカーソル５０１を移動させる場合には、細かく位置を指定する必要がある。そこで、マウスカーソル５０１は、例えば、コントローラ１２０のＯＴＰの表面をなぞる操作（以下、「スライド操作」と呼ぶ）に応じて、ウィンドウ４０１Ｃ内を平面的に移動する。これにより、ユーザは、マウスカーソル５０１の位置を細かく指定することができる。

なお、コントローラ１２０の位置または姿勢を変化させることによってレイが制御される。このため、レイの先端の位置を大きく移動させる場合にはユーザの意図するようにレイが移動できる可能性が高いが、レイの先端の位置を微小な距離だけ移動させる場合には、レイの先端の位置が所望の位置からずれることがある。また、レイの先端の位置が手元から近い場合はある程度細かく位置を制御できるが、レイの長さが長く、手元から遠い位置にウィンドウが表示されていると微小な位置の制御は困難である。このため、ウィンドウ４０１Ｃ内で細かく位置の指定をする場合には、レイ制御モードよりもＯＴＰ制御モードの方が、ユーザは位置を指定しやすい。

（モード切替処理について）
図３のフローチャートを用いて、レイ制御モードからＯＴＰ制御モードへ切り替える処理について説明する。図３のフローチャートの開始時点では、図４に示すような合成画像が表示されているものとする。また、図３のフローチャートの開始時点では、制御モードがレイ制御モードに設定されており、画像表示部２０３の表示領域にレイが表示されているものとする。

ステップＳ１００１では、制御部２１１は、コントローラ１２０の姿勢センサ部２２４（ＩＭＵ）により検出した慣性情報（コントローラ１２０の姿勢および位置の情報）を取得する。

ステップＳ１００２では、制御部２１１は、慣性情報に基づきレイを動かす。具体的には、制御部２１１は、慣性情報に基づきユーザの手の人差し指が示す先の位置を判定して、ユーザの手の人差し指が示す先の位置にレイの先端の位置を移動させる。

ステップＳ１００３では、制御部２１１は、ユーザによりＯＴＰ操作が行われたか否かを判定する。ＯＴＰ操作が行われたと判定された場合には、ステップＳ１００４に進む。ＯＴＰ操作が行われていないと判定された場合には、ステップＳ１００１に戻る。

ＯＴＰ操作は、ＯＴＰのスライド操作だけでなく、ＯＴＰの表面を叩くようなタップ操作、ＯＴＰと一体型で構成される押し込みボタンを押す操作などであってよい。つまり、ＯＴＰ操作は、ＯＴＰを使った操作であれば任意の操作であってよい。なお、ＯＴＰ制御モードにおいてマウスカーソルを動かすための操作（つまり、スライド操作など）がＯＴＰ操作として行われると、レイ制御モードから操作の連続性があるため、特に使い勝手がよい。

ステップＳ１００４では、制御部２１１は、レイの先端が切替領域に位置しているか否かを判定する。切替領域は、図４の例では、画像表示部２０３の表示領域のうちのウィンドウ４０１Ａ～４０１Ｃである。レイの先端が切替領域に位置すると判定された場合には、ステップＳ１００５に進む。レイの先端が切替領域に位置しないと判定された場合には、ステップＳ１００６に進む。

ステップＳ１００５では、制御部２１１は、制御モードをＯＴＰ制御モードに切り替える。そして、制御部２１１は、レイの先端の位置にマウスカーソルを表示して、レイを非表示にする。これにより、制御モードの切り替え時に、位置を指定する表示アイテム（レイの先端およびマウスカーソル）が示す位置が変化しないので、ユーザがマウスカーソルを見失うことを抑制することができる。

なお、制御部２１１は、レイの先端の位置にマウスカーソルを表示する代わりに、予め定められた位置（所定の位置）にマウスカーソルを表示させてもよい。例えば、制御部２１１は、音楽プレイヤー起動時であれば、再生ボタン上にマウスカーソルを表示させることや、次の操作が明確であれば、当該次の操作に応じた位置にマウスカーソルを表示する。このことにより、ユーザの操作性が向上する場合がある。また、文書作成を再開して、前回の続きの位置から文字の入力を行うような場合にも、レイの先端の位置ではなく、前回と同じ位置にマウスカーソルを表示させた方が使い勝手がよい場合もある。なお、ユーザが行う操作の内容や状況により、マウスカーソルの最適な位置が異なる。制御部２１１は、状況などに応じて異なる位置にマウスカーソルを表示してもよい。

ステップＳ１００６では、制御部２１１は、ＯＴＰ操作を無視して、レイ制御モードを継続する（制御モードを切り替えない）。このようなステップＳ１００６の処理が行われることで、ユーザがＯＴＰに意図しないで触れてしまったような場合に、不要な制御モードの切り替えを抑制することが可能となる。

また、図３のフローチャートでは、レイの先端が切替領域に位置する場合において、ＯＴＰ操作が行われると、レイ制御モードからＯＴＰ制御モードに切り替わる。しかし、レイの先端が切替領域に位置する場合において、切替領域（ウィンドウ）を意図的に選択する操作が行われた後に、さらに、この操作とは異なるＯＴＰ操作が行われると、レイ制御モードからＯＴＰ制御モードに切り替わってもよい。切替領域を意図的に選択する操作が追加されることによって、ユーザの意図に反してＯＴＰ制御モードに切り替わってしまう可能性を低減できる。「切替領域を意図的に選択する操作」は、レイ制御モードにおいてコントローラ１２０を振る操作（タップするような動きをコントローラ１２０にさせる操作）や、ＯＴＰに触わる操作であってもよい。また、「切替領域を意図的に選択する操作」は、レイを制御するための操作およびＯＴＰ操作とは異なる操作であってもよい。

次に、図６のフローチャートを参照して、ＯＴＰ制御モードからレイ制御モードに切り替える処理を説明する。マウスカーソルは、基本的には、１つのウィンドウ４０１内の位置のみを指し示す。このため、例えば、ＯＴＰ制御モードでウィンドウ４０１Ｃにマウスカーソルが表示されている状態で、ユーザが他のウィンドウ４０１Ａを選択したい場合でも、マウスカーソルはウィンドウ４０１Ａにたどり着かない。従って、ユーザは、一度、
表示アイテムをマウスカーソルからレイに切り替えた後に、ウィンドウ４０１Ａを選択する必要がある。また、各ウィンドウ４０１間は比較的距離が長い可能性が高いため、レイを用いて位置を指定した方が、ユーザの利便性が高いという利点もある。なお、ウィンドウ４０１Ａ～４０１Ｃの表示領域は、３次元空間における２次元的な平面で表示されているため、奥行きが固定されている。

ステップＳ２００１では、制御部２１１は、ＯＴＰに対するスライド操作の情報を取得したか否かを判定する。そして、スライド操作の情報が取得されたと判定された場合には、ステップＳ２００２において、制御部２１１は、スライド操作の情報に応じて、マウスカーソルを移動させる。スライド操作の情報が取得されていないと判定された場合には、ステップＳ２００３に進む。

ステップＳ２００３では、制御部２１１は、制御モードをＯＴＰ制御モードからレイ制御モードに切り替えるための操作（切替操作）が行われたか否かを判定する。切替操作が行われたと判定された場合には、ステップＳ２００４に進む。切替操作が行われていないと判定された場合には、ステップＳ２００５に進む。

切替操作は、例えば、特定の条件を満たすようにコントローラ１２０またはユーザの手を動かす（コントローラ１２０またはユーザの手の位置または姿勢を変える）操作である。切替操作は、例えば、手首をひねるように、一気に勢いよくコントローラ１２０の向きを変える操作や、コントローラ１２０を連続して振る操作などである。または、切替操作は、手を特定の形に変化させるようなハンドゼスチャーであってもよい。つまり、切替操作は、ＯＴＰ操作（スライド操作など）とは異なる操作であって、ＯＴＰ制御モードでは行われないような操作であればよい。

ステップＳ２００４では、制御部２１１は、制御モードをレイ制御モードに切り替えて、マウスカーソルが示す位置にレイの先端が位置するようにレイを表示する。そして、制御部２１１は、マウスカーソルを非表示にする。ステップＳ２００５では、制御部２１１は、切替操作を無視して、ＯＴＰ制御モードを継続させる（制御モードを切り替えない）。

以上、実施形態１によれば、レイ制御モードにおいて、レイの先端がウィンドウ（切替領域）の内部に位置している状態でＯＴＰ操作が行われると、ＯＴＰ操作により位置を指定する制御モードであるＯＴＰ制御モードにレイ制御モードから切り替えられる。すると、ユーザは、ウィンドウの内部において、ＯＴＰ操作によりマウスカーソルを制御して、細かな位置指定が可能になる。このため、実施形態１によれば、ユーザにとって利便性が高く、位置を示す複数の表示アイテム（レイおよびマウスカーソル）を制御することができる。

なお、上記の説明において、姿勢センサ部２２４は、ＩＭＵを有する例を説明したが、位置を指定するための情報（特定の位置または姿勢の情報など）を取得可能であればよい。例えば、姿勢センサ部２２４は、原点位置を判定するカメラ（ＨＭＤ１００に搭載されたカメラ）と加速度センサとを有していてもよい。または、姿勢センサ部２２４は、カメラのみを有しており、カメラによってコントローラ１２０の姿勢を検出してもよい。

なお、切替領域は、ウィンドウ４０１のうちの特定の領域（メニューエリア、ＯＫボタンの領域、またはポップアップの領域）であってもよい。また、レイの代わりに、レイの先端に相当する位置に表示されるポインタを用いてもよい。

＜変形例１＞
以下、図７および図８を参照して、変形例１に係るＨＭＤ１００について説明する。変形例１では、マウスカーソルの代わりに、選択されたアイコンを示す太枠が用いられる例を説明する。

図７は、レイ制御モードにおけるＨＭＤ１００の表示領域を示している。表示領域には、ウィンドウ４０１Ａ、ウィンドウ４０１Ｂ、およびウィンドウ４０１Ｃが表示されている。変形例１においても、切替領域は、ウィンドウ４０１Ａ～ウィンドウ４０１Ｃである。ウィンドウ４０１Ｃの領域内には、スマートフォンやタブレットの画面のように、複数のアイコン７０１が並んでいる。複数のアイコン７０１の中から１つのアイコン７０１が決定されると、決定されたアイコン７０１が示すアプリケーションが起動する。なお、ウィンドウ４０１Ｃは、アイコン７０１の代わりに文字情報が並んで表示されたメニュー画面（機能の選択や設定が可能な画面）であってもよい。

ここで、図７に示すように、レイの先端がウィンドウ４０１Ｃに位置するように移動した後に、ＯＴＰ操作が行われると、レイ制御モードからＯＴＰ制御モードに切り替わり、図８に示すような合成画像が表示される。

図８は、レイの先端に位置していたアイコン７０１が、太枠７０２（表示アイテム）によって強調表示がされた状態を示している。なお、アイコン７０１は、太枠７０２に囲われる代わりに、前方に浮き出るような表示がされることにより、強調表示（ホバー表示）がされていてもよい（他のアイコン７０１と区別可能に表示されていてもよい）。アイコン７０１とアイコン７０１の間隔が狭く、レイによって１つのアイコン７０１を正確に選択することが難しい場合がある。そこで、制御部２１１は、レイの先端がウィンドウ４０１Ｃに位置していれば、ＯＴＰ操作に応じて、制御モードをＯＴＰ制御モードに切り替える。そして、制御部２１１は、太枠７０２を表示することによって、アイコン７０１の強調表示を行う。

また、制御部２１１は、ＯＴＰ制御モードでは、ＯＴＰ操作が行われるたび（例えば、ＯＴＰの特定のボタンが押下されるたび）に、選択されるアイコン７０１を示す太枠７０２を１つ隣のアイコン７０１に移動させる。このため、ユーザは、アイコン７０１のサイズが小さくても、意図するアイコン７０１を正確に選択できる。ユーザは、アイコン７０１のサイズが大きい場合であっても、１回の操作で太枠７０２を１つ隣のアイコン７０１に移動させることができるので、意図するアイコン７０１まで太枠７０２を一気に移動させることができる。

＜変形例２＞
以下、図９および図１０を参照して、変形例２に係るＨＭＤ１００について説明する。変形例２では、ウィンドウの代わりにＣＧが表示され、マウスカーソルの代わりにアイコンが用いられる例を説明する。

図９は、レイ制御モードにおけるＨＭＤ１００（画像表示部２０３）の表示領域を示している。画像表示部２０３の表示領域には、３つの直方体のＣＧ８０１が表示されている。ここで、変形例２では、切替領域は、実施形態１に係る「ウィンドウ」の代わりに、「ＣＧ」であるとする。図９では、直方体のＣＧ８０１のうちの１つが、レイによって示されている。そして、この状態で、ＯＴＰ操作が行われると、制御モードがＯＴＰモードに切り替えられて、図１０に示すような合成画像が表示される。

ＯＴＰ制御モードでは、ユーザは、ＯＴＰ操作を行うことによって、ＣＧ８０１の拡大または縮小を行うことができる。例えば、制御部２１１は、右方向のスライド操作が行われたらＣＧ８０１を拡大させ、左方向のスライド操作が行われたらＣＧ８０１を縮小させ
る。

これによれば、ＯＴＰ操作によって制御モードの切り替えおよびＣＧの拡大が可能であるので、レイによりＣＧ８０１を示すことから、ＣＧ８０１の大きさの制御を連続的に行うことができる。また、レイの先端に位置するＣＧ８０１の大きさが変化するので、ユーザは、視線を移動させる必要がなく、操作の対象を見失わない。

なお、ＯＴＰ制御モードでは、制御部２１１は、ＣＧ８０１の大きさを示す矢印状のアイコン８０２を表示させている。しかし、制御部２１１は、矢印状のアイコン８０２を表示させずに、ＣＧ８０１の端のライン（アイコン８０２が示している縦のライン）、または、ＣＧ８０１の側面を表示アイテム（位置を指定する表示アイテム）として扱ってもよい。この場合には、制御部２１１は、ＣＧ８０１の端のラインを、他のラインと異なる表示形態で表示してもよい。例えば、制御部２１１は、ＣＧ８０１の端のラインを、点滅させたり、他のラインと違う色で表示させたりしてもよい。

＜変形例３＞
以下、図１１を参照して、変形例３に係るＨＭＤ１００について説明する。レイ制御モードでは、ＨＭＤ１００の表示領域は、変形例２と同様に、図９に示すようなレイやＣＧ８０１を表示しているものとする。図９に示すような、レイの先端がＣＧ８０１に位置する状態で、ＯＴＰ操作が行われると、制御モードがＯＴＰ制御モードに切り替わり、図１１に示すような合成画像が表示される。

図１１は、ＯＴＰ制御モードにおけるＨＭＤ１００の表示領域を示している。図１１では、ＯＴＰ操作に応じて、ＣＧ８０１の表面の色や模様が制御されている。そして、模様や色の候補を示すカラーパレット９０１が、ＣＧ８０１に隣接して表示されている。制御部２１１は、ＯＴＰ操作により模様や色が選択されると、選択内容をＣＧ８０１の表示に反映させる。変形例３では、制御部２１１は、ＯＴＰ操作が行われると、カラーパレット９０１（カラーパレット９０１が表示された領域）において、選択する模様を示す四角の枠９０２を、マウスカーソルの代わりに動かす。

また、上記において、「ＡがＢ以上の場合にはステップＳ１に進み、ＡがＢよりも小さい（低い）場合にはステップＳ２に進む」は、「ＡがＢよりも大きい（高い）場合にはステップＳ１に進み、ＡがＢ以下の場合にはステップＳ２に進む」と読み替えてもよい。逆に、「ＡがＢよりも大きい（高い）場合にはステップＳ１に進み、ＡがＢ以下の場合にはステップＳ２に進む」は、「ＡがＢ以上の場合にはステップＳ１に進み、ＡがＢよりも小さい（低い）場合にはステップＳ２に進む」と読み替えてもよい。このため、矛盾が生じない限り、「Ａ以上」という表現は、「ＡまたはＡよりも大きい（高い；長い；多い）」と置き換えてもよいし、「Ａよりも大きい（高い；長い；多い）」と読み替えてよく、置き換えてもよい。一方で、「Ａ以下」という表現は、「ＡまたはＡよりも小さい（低い；短い；少ない）」と置き換えてもよいし、「Ａよりも小さい（低い；短い；少ない）」と置き換えても読み替えてもよい。そして、「Ａよりも大きい（高い；長い；多い）」は、「Ａ以上」と読み替えてもよく、「Ａよりも小さい（低い；短い；少ない）」は「Ａ以下」と読み替えてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

なお、上記の各実施形態（各変形例）の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実
現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上記の実施形態の開示は、以下の構成、方法、およびプログラムを含む。
［構成１］
第１の制御モードにおいて、コントローラの慣性情報に基づく位置を示す第１の表示アイテムを、表示手段の表示領域に表示するように制御する第１の表示制御手段と、
第２の制御モードにおいて、前記表示領域のうち第１の領域における、特定の操作部材に対する第１の操作に応じた位置を示す第２の表示アイテムを前記表示領域に表示するように制御する第２の表示制御手段と、
前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記表示領域のうちの第２の領域に含まれる場合には、特定の操作が行われると、前記第１の制御モードから前記第２の制御モードに切り替える切替手段と、
を有することを特徴とする情報処理装置。
［構成２］
前記第２の表示制御手段は、前記第１の制御モードから前記第２の制御モードに切り替えられると、前記第１の表示アイテムが示す位置を示すように前記第２の表示アイテムを前記表示領域に表示する、
ことを特徴とする構成１に記載の情報処理装置。
［構成３］
前記第２の表示制御手段は、前記第１の制御モードから前記第２の制御モードに切り替えられると、前記第１の領域のうちの予め定められた位置を示すように前記第２の表示アイテムを前記表示領域に表示する、
ことを特徴とする構成１に記載の情報処理装置。
［構成４］
前記第１の操作とは、前記特定の操作部材の表面をなぞる操作である、
ことを特徴とする構成１から３のいずれか１項に記載の情報処理装置。
［構成５］
前記特定の操作とは、前記特定の操作部材に対する操作である、
ことを特徴とする構成１から４のいずれか１項に記載の情報処理装置。
［構成６］
前記切替手段は、前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記第２の領域に含まれない場合には、前記特定の操作が行われても、前記第１の制御モードから前記第２の制御モードに切り替えない、
ことを特徴とする構成１から５のいずれか１項に記載の情報処理装置。
［構成７］
前記切替手段は、
前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記第２の領域に含まれる場合には、前記第２の領域を選択する操作の後に、前記特定の操作が行われる
と、前記第１の制御モードから前記第２の制御モードに切り替え、
前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記第２の領域に含まれる場合には、前記第２の領域を選択する操作の後でなければ、前記特定の操作が行われても、前記第１の制御モードから前記第２の制御モードに切り替えない、
ことを特徴とする構成１から６のいずれか１項に記載の情報処理装置。
［構成８］
前記切替手段は、前記第２の制御モードにおいて、前記第１の操作および前記特定の操作のいずれとも異なる第２の操作が行われると、前記第２の制御モードから前記第１の制御モードに切り替える、
ことを特徴とする構成１から７のいずれか１項に記載の情報処理装置。
［構成９］
前記第２の操作とは、特定の条件を満たすように前記コントローラまたはユーザの手を動かす操作である、
ことを特徴とする構成８に記載の情報処理装置。
［構成１０］
前記第１の表示アイテムは、レイであり、
前記第１の表示アイテムが示す位置は、前記レイの先端の位置である、
ことを特徴とする構成１から９のいずれか１項に記載の情報処理装置。
［方法］
第１の制御モードにおいて、コントローラの慣性情報に基づく位置を示す第１の表示アイテムを、表示手段の表示領域に表示するように制御する第１の表示制御ステップと、
第２の制御モードにおいて、前記表示領域のうち第１の領域における、特定の操作部材に対する第１の操作に応じた位置を前記表示領域に示す第２の表示アイテムを表示するように制御する第２の表示制御ステップと、
前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記表示領域のうちの第２の領域に含まれる場合には、特定の操作が行われると、前記第１の制御モードから前記第２の制御モードに切り替える切替ステップと、
を有することを特徴とする情報処理方法。
［プログラム］
コンピュータを、構成１から１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

１１０：情報処理装置、２１１：制御部、
１００：ＨＭＤ、２０３：画像表示部

Claims (12)

1. 第１の制御モードにおいて、コントローラの慣性情報に基づく位置を示す第１の表示アイテムを、表示手段の表示領域に表示するように制御する第１の表示制御手段と、
   第２の制御モードにおいて、前記表示領域のうち第１の領域における、特定の操作部材に対する第１の操作に応じた位置を示す第２の表示アイテムを前記表示領域に表示するように制御する第２の表示制御手段と、
   前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記表示領域のうちの第２の領域に含まれる場合には、特定の操作が行われると、前記第１の制御モードから前記第２の制御モードに切り替える切替手段と、
   を有することを特徴とする情報処理装置。
2. 前記第２の表示制御手段は、前記第１の制御モードから前記第２の制御モードに切り替えられると、前記第１の表示アイテムが示す位置を示すように前記第２の表示アイテムを前記表示領域に表示する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第２の表示制御手段は、前記第１の制御モードから前記第２の制御モードに切り替えられると、前記第１の領域のうちの予め定められた位置を示すように前記第２の表示アイテムを前記表示領域に表示する、
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記第１の操作とは、前記特定の操作部材の表面をなぞる操作である、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記特定の操作とは、前記特定の操作部材に対する操作である、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
6. 前記切替手段は、前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記第２の領域に含まれない場合には、前記特定の操作が行われても、前記第１の制御モードから前記第２の制御モードに切り替えない、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
7. 前記切替手段は、
   前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記第２の領域に含まれる場合には、前記第２の領域を選択する操作の後に、前記特定の操作が行われると、前記第１の制御モードから前記第２の制御モードに切り替え、
   前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記第２の領域に含まれる場合には、前記第２の領域を選択する操作の後でなければ、前記特定の操作が行われても、前記第１の制御モードから前記第２の制御モードに切り替えない、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
8. 前記切替手段は、前記第２の制御モードにおいて、前記第１の操作および前記特定の操作のいずれとも異なる第２の操作が行われると、前記第２の制御モードから前記第１の制御モードに切り替える、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
9. 前記第２の操作とは、特定の条件を満たすように前記コントローラまたはユーザの手を動かす操作である、
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記第１の表示アイテムは、レイであり、
    前記第１の表示アイテムが示す位置は、前記レイの先端の位置である、
    ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
11. 第１の制御モードにおいて、コントローラの慣性情報に基づく位置を示す第１の表示アイテムを、表示手段の表示領域に表示するように制御する第１の表示制御ステップと、
    第２の制御モードにおいて、前記表示領域のうち第１の領域における、特定の操作部材に対する第１の操作に応じた位置を示す第２の表示アイテムを前記表示領域に表示するように制御する第２の表示制御ステップと、
    前記第１の制御モードにおいて、前記第１の表示アイテムが示す位置が前記表示領域のうちの第２の領域に含まれる場合には、特定の操作が行われると、前記第１の制御モードから前記第２の制御モードに切り替える切替ステップと、
    を有することを特徴とする情報処理方法。
12. コンピュータを、請求項１から３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images