JP6664018B1 - プログラム及び情報処理装置 - Google Patents

Abstract

【課題】ユーザの視界を確保しつつ、複数の選択候補の中からある情報を選択するようなインタラクションを可能とするプログラム及び情報処理装置を提供する。【解決手段】環状の操作領域４１を画面１０５に表示させるための画面情報を生成する画面情報生成部と、操作領域４１に対するユーザ操作を識別する操作識別部と、をコンピュータに実現させるプログラムである。画面情報生成部は、操作領域４１に環状に配置される複数の領域のそれぞれに、第１の情報を表示させるための画面情報を生成し、ユーザ操作に基づいて、複数の領域から特定の領域が選択されると、特定の領域に表示された特定の第１の情報に対応する複数の第２の情報のそれぞれを、操作領域４１に環状に配置される領域に表示させるための画面情報を生成する。【選択図】図５

Description

本発明は、プログラム及び情報処理装置に関する。

ウェアラブルデバイスに対するユーザのインタラクションの中には文字入力がある。ウェアラブルデバイスの一つであるヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）における文字入力を行うために、特許文献１には、画面に仮想的な操作部がキーボードとして表示される構成が示されている。

特開２０１５−９０５３０号公報

文字入力のため、ＨＭＤの画面にＱＷＥＲＴＹ配列のキーボードが仮想的に表示された場合、ユーザがキーボードの文字を視認しつつ、それぞれのキーを選択するために十分な広さを持つキーボードを表示しなければならない。この場合、仮想的なキーボードによって、他の情報の表示が妨げられる。文字入力のように、複数の選択候補の中からある情報を選択するようなインタラクションが行われる場合、選択候補を表示する画面によって、他の情報の表示が妨げられ、ユーザの利便性が低下する場合がある。

そこで、本発明は、ユーザの視界を確保しつつ、複数の選択候補の中からある情報を選択するようなインタラクションを可能とするプログラム及び情報処理装置を提供することを目的とする。

本発明の一態様に係るプログラムは、環状の操作領域を画面に表示させるための画面情報を生成する画面情報生成部と、操作領域に対するユーザ操作を識別する操作識別部と、をコンピュータに実現させ、画面情報生成部は、操作領域に環状に配置される複数の第１の領域のそれぞれに、第１の情報を表示させるための画面情報を生成し、ユーザ操作に基づいて、複数の第１の領域から特定の第１の領域が選択されると、特定の第１の領域に表示された特定の第１の情報に対応する複数の第２の情報のそれぞれを、操作領域に環状に配置される第２の領域に表示させるための画面情報を生成する。

この態様によれば、環状に配置された操作領域に表示される情報を、操作識別部が識別する操作によって選択することができる。画面情報生成部は、第１の情報と、第１の情報に対応する第２の情報が段階的に表示されるような画面情報を生成することができる。多数の選択候補の中から情報を選択する場合に、段階的な選択が可能であるため、選択候補が配置される画面情報が画面に占める面積を小さくすることが可能となる。

この態様において、第１の領域と第２の領域は、操作領域において重複した領域であり、画面情報生成部は、第２の領域を第１の領域に換えて表示させるための画面情報を生成してもよい。

この態様において、ユーザ操作には、ユーザが弧を描くように物体を移動させるダイヤル操作が含まれてもよい。

この態様において、操作識別部は、ダイヤル操作における物体の運動の軌跡に対応する円の半径を推定し、画面情報生成部は、推定された半径に基づいて、画面情報を生成してもよい。

この態様において、操作識別部は、円の中心位置を推定し、画面情報生成部は、中心位置に基づいて、画面情報を生成してもよい。

この態様において、ユーザ操作には、第１の領域又は第２の領域に含まれる特定の領域が、ダイヤル操作に基づいて複数回選択される、繰り返し操作が含まれるようにしてもよい。

この態様において、操作識別部は、ユーザ操作に基づいて、特定の領域に隣接する領域である隣接領域と、特定の領域とが交互に選択された場合に、繰り返し操作であると識別してもよい。

この態様において、第２の情報は、文字入力のために用いられる文字又は操作ボタンを含む文字入力情報であり、第１の情報は、いくつかのグループに分けられた文字入力情報のグループを示すためのグループ情報であってもよい。

この態様において、画面情報生成部は、第２の領域に、第２の領域に配置される文字について、大文字と小文字を切り替えるためのシフト操作ボタンを配置するための画面情報を生成し、ユーザ操作に基づき、シフト操作ボタンが選択されると、第２の領域に配置される文字の大文字と小文字が切り替わった文字を、操作領域に環状に配置される第３の領域に表示させるための画面情報を生成してもよい。

この態様において、画面情報生成部は、第１の領域には、グループ情報として、第１のグループ情報と第２のグループ情報とを配置するための画面情報を生成し、第２の領域のそれぞれに、第１のグループ情報に含まれるそれぞれの文字入力情報を反時計回りに、第２のグループ情報に含まれるそれぞれの文字入力情報を時計周りに配置するための画面情報を生成してもよい。

この態様において、画面情報生成部は、文字入力情報の入力結果が表示される入力表示領域を画面に表示させるための画面情報を生成し、入力結果に基づいて、少なくとも一つの予測入力情報が表示される予測表示領域を画面に表示させるための画面情報を生成し、ユーザ操作に基づいて、予測入力情報を選択してもよい。

本発明によれば、ユーザの視界を確保しつつ、複数の選択候補の中からある情報を選択するようなインタラクションを可能とするプログラム及び情報処理装置を提供することができる。

本実施形態に係るＨＭＤのハードウェア構成を示す図である。 本実施形態に係るＨＭＤの機能的構成を示す図である。 ユーザが移動させる物体の仮想平面上における座標の推移の一例を示す図である。 ユーザが用いることのできる入力装置の一例を示す図である。 ユーザが用いることのできる入力装置の一例を示す図である。 本実施形態に係るＨＭＤに表示される画面情報の例を示す図である。 本実施形態に係るユーザが示す指先の形態を示す図である。 本実施形態に係るユーザが示す指先の形態を示す図である。 本実施形態に係る画面情報の生成のフローチャートである。 本実施形態に係る画面情報の生成のフローチャートである。 本実施形態に係るユーザが示す物体の移動の様子を示す図である。 本実施形態に係るＨＭＤに表示される画面情報の例を示す図である。 本実施形態に係るＨＭＤにおける文字入力手順を示す図である。 本実施形態に係るＨＭＤにおける文字入力手順を示す図である。 本実施形態に係るＨＭＤにおける文字入力手順を示す図である。 本実施形態に係るＨＭＤにおける文字入力手順を示す図である。 本実施形態に係るＨＭＤにおける文字入力手順を示す図である。 本実施形態に係るＨＭＤにおける文字入力手順を示す図である。 本実施形態に係るＨＭＤにおける文字入力手順を示す図である。 本実施形態に係るＨＭＤでのバックスペース入力を説明する図である。 本実施形態に係るＨＭＤでのバックスペース入力を説明する図である。 本実施形態に係るＨＭＤでのバックスペース入力を説明する図である。 本実施形態に係るＨＭＤでのバックスペース入力を説明する図である。 本実施形態に係るＨＭＤでのバックスペース入力を説明する図である。 本実施形態に係るＨＭＤでのバックスペース入力を説明する図である。 本実施形態に係るＨＭＤでのシフト入力を説明する図である。 本実施形態に係るＨＭＤでのシフト入力を説明する図である。 本実施形態に係るＨＭＤでのシフト入力を説明する図である。 本実施形態に係るＨＭＤでの予測入力情報の選択を説明する図である。 本実施形態に係るＨＭＤでの予測入力情報の選択を説明する図である。 本実施形態に係るＨＭＤでの予測入力情報の選択を説明する図である。

添付図面を参照して、本発明の好適な実施形態について説明する。（なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。）本実施形態は、本発明を、ＨＭＤに適用した例である。

図１は、本実施形態に係るＨＭＤ１００のハードウェア構成を示すブロック図である。以下、ヘッドマウントディスプレイ１００をＨＭＤ１００ともいう。図１に示されるように、ＨＭＤ１００（コンピュータ）は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、深度センサ１０４、及び画面１０５を備えている。

ＣＰＵ１０１は、ＨＭＤ１００の動作に関する各種演算処理を実行し、画面１０５に表示する画像の生成等を実行する。ＲＯＭ１０２は、ＨＭＤ１００の動作に関する各種プログラムやデータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の演算処理結果（画面１０５に表示する画面情報等）や深度センサ１０４の検出結果等の各種情報を一時的に記憶する。深度センサ１０４は、赤外線を照射して物体との距離を検出するセンサである。深度センサ１０４は、物体の仮想平面上における座標を検知するために用いられる。画面１０５は、ＣＰＵ１０１の演算処理結果（画面情報等）等の各種情報を表示する。

図２は、本実施形態に係るＨＭＤ１００の機能的構成を示す模式図である。図２に示されるように、ＨＭＤ１００は、例示的に、操作識別部１１０と、画面情報生成部１２０とを備えている。操作識別部１１０は、検知部１１１、候補円特定部１１２、分散算出部１１３、及び円選択部１１４、を備えている。これらの各部は、例えば、ＲＯＭ１０２に記憶されているプログラムをＣＰＵ１０１が実行することにより実現される。

検知部１１１について説明する。検知部１１１は、ユーザが移動させる物体の仮想平面上における座標を検知する機能を有する。物体の例としては、空間内に設けられる仮想平面上でユーザが移動させる指、トラックパッド上をユーザが移動させる指、ジョイスティックのユーザによって操作されるスティック等がある。

検知部１１１は、仮想平面上でユーザが移動させる指（物体）の仮想平面上における座標を検知する検知部１１１は、例えば、深度センサ１０４を用いて実現される。

検知部１１１による物体の仮想平面上における座標の検知は、深度センサ１０４を用いた上記のものに限られず、他の技術により実現されてもよい。例えば、物体を撮影した画像を認識し、これに基づいて物体の仮想平面上における座標を検知するものであってもよい。また、トラックパッドやジョイスティック等の入力装置を用いる場合は、検知部１１１は、入力装置からの情報に基づいて、ユーザにより指定される仮想平面上の座標を検知するものであってもよい。

本実施形態では、仮想平面上でユーザが移動させる指の仮想平面上における座標を検知する場合について説明する。検知部１１１は、深度センサ１０４を用いて物体の識別及び物体の仮想平面上における座標の検知を行う。検知部１１１は、常に所定時間ごとに検知を行う。その後、所定時間ごと（例えば、１秒ごと）に当該物体の仮想平面上における座標を検知する。なお、検知部１１１による検知開始のトリガは、この態様に限られない。例えば、所定速度以上の速度で物体が移動開始したことを検知開始のトリガとしてもよい。また、物体が所定範囲（例えば、ユーザーの手の平）に配置された場合に物体の検知を開始してもよい。以上のようにして、検知部１１１は、ユーザが移動させる物体の仮想平面上における座標を検知することが可能となる。

図３は、ユーザが円を描く仮想平面２１、及び仮想平面２１における物体の仮想平面上における座標の推移の一例を示す図である。なお、図中の基準ベクトルＶＳは、Ｘ軸正の方向に向かうベクトルである。以下、図３も参照しながら説明する。

検知部１１１は、ユーザが円を描くように物体を移動させると、物体の移動の検知が開始された時刻（以下、第１時刻という）における物体の仮想平面上における座標（Ｘ１、Ｙ１）（第１座標）、当該検知が終了した時刻（以下、第２時刻という）における物体の仮想平面上における座標（Ｘｎ、Ｙｎ）（ｎ≧３）（第２座標）、及び第１時刻と第２時刻との間における物体の仮想平面上における座標（Ｘｍ、Ｙｍ）（ｍ＝２，…，ｎ−１）（第３座標）を検知することが可能である。

次に、候補円特定部１１２、分散算出部１１３、及び円選択部１１４について説明する。

候補円特定部１１２は、検知部１１１によって検知された物体の仮想平面上における座標に基づいて、ユーザが描こうとした円に近似する円の候補である候補円Ｃを特定する。候補円特定部１１２は、候補円Ｃの半径３１の長さを複数特定する。

分散算出部１１３は、候補円Ｃごとに、候補円Ｃの中心３２の仮想平面上における座標（ｘ、ｙ）から、仮想平面上における座標（Ｘ１、Ｙ１）、（Ｘｎ、Ｙｎ）（図３の例では、ｎ＝１１）、及び第１時刻と第２時刻との間に検知された１つ又は複数の仮想平面上における座標（Ｘｍ、Ｙｍ）（ｍ＝２，…，ｎ−１）の各座標までの距離における分散を算出する。

円選択部１１４は、複数の候補円Ｃの中で分散の値が最も小さい１つの円を選択する。なお、分散の値の低い順に複数の円を選択する態様であってもよい。候補円Ｃごとの分散に基づいて、複数の候補円Ｃの中からユーザが物体を移動させた軌跡２２に対応する１つの候補円Ｃを選択する。図３には選択された候補円Ｃが示される。候補円特定部１１２、分散算出部１１３、及び円選択部１１４は、ＣＰＵ１０１によって実現される。

操作識別部１１０は、円選択部１１４によって選択された候補円Ｃの半径３１及び中心３２の仮想平面上における座標を画面情報生成部１２０へと引き渡す。操作識別部１１０は、検知部１１１によって検知される物体の仮想平面上における座標に基づいて、ユーザによる操作に用いられる操作点を特定する。

操作点は、検知部１１１によって検知される物体の仮想平面上における座標をそのまま用いて特定することができる。あるいは、検知部１１１によって検知される物体の仮想平面上における座標と中心３２の仮想平面上における座標との相対的な位置関係に基づいて特定することができる。例えば、物体の仮想平面上における座標と中心３２との仮想平面上における座標とを結ぶ線分と候補円Ｃとの交点を操作点とする、つまり、基準ベクトルＶＳに対する角度に基づいて候補円Ｃ上に操作点を特定してもよい。

操作点が、候補円Ｃに沿うような弧を描く動きをする場合に、操作識別部１１０は、ユーザが弧を描くように物体を移動させるダイヤル操作を行っていると識別することが可能となる。

なお、操作点の特定及びダイヤル操作の識別は上記の手法に限られるものではなく、任意の手法を採用することが可能である。例えば、図４Ａに示すような円形のトラックパッド１０６を入力装置として用いる場合がある。このとき、トラック面１０６１において検出されるユーザの指の位置に基づいて、ユーザにより指定される仮想平面上の座標を操作点として特定できる。また、トラック面１０６１の円周１０６３に沿ってユーザの指を移動させることができる。トラック面１０６１の中心１０６２に対してユーザの指が円を描く移動を検出できるので、ダイヤル操作を識別することができる。

あるいは、図４Ｂに示すようなジョイスティック１０７を用いて、スティック部１０７１の、中心１０７２と外周部１０７３との位置関係に基づく操作点の特定及びダイヤル操作の識別を行うことができる。スティック部１０７１の移動によって検出されるユーザの入力に基づいて、ユーザにより指定される仮想平面上の座標を操作点として特定できる。また、外周部１０７３に沿ってスティック部１０７１を移動させることができる。中心１０７２に対してスティック部１０７１が円を描く移動を検出できるので、ダイヤル操作を識別することができる。

画面情報生成部１２０について説明する。画面情報生成部１２０は、図５に示されるように、画面１０５に環状の操作領域４１を表示する。操作領域４１には、操作識別部１１０によって特定された、ユーザの操作に用いられる操作点Ｐが表示される。環状の操作領域には、例えば、アルファベットがいくつかのグループに分けられた情報が表示される。ユーザは、後述する操作によって、画面１０５に表示された情報を選択することができる。

本実施形態の動作例について、ＨＭＤ１００の中でも、画面１０５が外部の光景を透過可能な透過型のＨＭＤにおける、操作識別部１１０及び画面情報生成部１２０による情報の選択について、文字入力を例として説明する。

本実施形態において、ユーザ操作は、図６Ａ及び図６Ｂに示されるユーザの指先６１が運動することによって操作識別部１１０に入力される。ユーザの指先６１は、図６Ａに示されるように２つの指先６１を接触させた第１モードと、図６Ｂに示されるように２つの指先６１を離した第２モードの２つのモードのいずれかを示すように動かされる。

図７及び図８は、ＨＭＤ１００における文字入力の手順を示すフローチャートである。
図７に示されるステップＳ１０１において、検知部１１１が、ユーザの指先６１を含む画像を取得する。検知部１１１は、第２モードにおいては、指先６１の一方を指先６１の仮想平面上における座標として用いる。

ユーザの指先６１は、図９に示されるようにＨＭＤ１００において、画面１０５内の仮想平面２１に位置している。なお、仮想平面２１は画面１０５の特定の領域に限られて設けられるものではなく、ユーザの指先６１を認識できるならば、どの場所に設けられていてもよい。

ステップＳ１０２において、検知部１１１は、ユーザの指先６１が第２モードであるかを判断する。

第２モードであると判断された場合、ステップＳ１０３において、検知部１１１は、ユーザの指先６１を含む画像を取得する。ステップＳ１０４において、検知部１１１は、ユーザの指先６１が第１モードであるかを判断する。

第１モードであると判断された場合、ステップＳ１０５において、操作識別部１１０は、図１０に示されるようなユーザの指先６１の軌跡２２を取得する。

ステップＳ１０６において、操作識別部１１０は、軌跡２２が仮想平面２１において平面上に一周分円を描いているかを判断する。

軌跡２２が円を描くと判断された場合、ステップＳ１０７において、画面情報生成部１２０は、操作識別部１１０から、ユーザが描いた円から推定される円の半径３１と中心３２の仮想平面上における座標を取得する。

ステップＳ１０８において、検知部１１１は、ユーザの指先６１を含む画像を取得する。ステップＳ１０９において、検知部１１１はユーザの指先６１が第２モードであるかを判断する。

ステップＳ１０９にて第２モードであると判断された場合、画面情報生成部１２０は、画面情報を生成すると判断し、ステップＳ１１０において、画面に配置する文字の種別を決定する。文字の種別にはアルファベット、数字、かな文字等がある。本実施形態においては、アルファベットが表示されるものとして説明する。

ステップＳ１１１において、画面情報生成部１２０は、文字の種別に適するように、文字や操作ボタンのグループ分けを行う。

ステップＳ１１２において、画面情報生成部１２０は、画面１０５に表示される環状の操作領域４１の大きさを、半径３１に基づいて決定する。

ステップＳ１１３において、画面情報生成部１２０は、環状の操作領域４１に配置される複数の領域４１１に、ステップＳ１１１にてグループ分けを行った文字のグループ情報が配置された画面情報を生成する。一つのグループ情報には、例えば、「ｄｃｂａ ｅｆｇｈ」のようにグループ情報「ｄｃｂａ」とグループ情報「ｅｆｇｈ」が含まれている。

生成された画面情報は、図１０に示されるように、中心３２を中心として画面１０５に表示される。また、画面１０５には、画面情報生成部１２０によって、終了ボタン２３及び入力表示領域５１も表示される。終了ボタン２３は入力終了の操作に用いられる。入力表示領域５１には入力された文字が表示される。

ステップＳ１１４以降の操作によって、ユーザによる情報の選択が行われる。情報の選択操作については、図７及び図８のフローチャートと図１１Ａから図１１Ｄ及び図１２Ａから図１２Ｃを参照しつつ説明する。ここでは、入力表示領域５１に文字「ｋ」を入力する場合を考える。

画面表示及び、ユーザによる操作は、図１０に示されるような仮想平面２１内で行われる。図１１Ａから図１１Ｄ及び図１２Ａから図１２Ｃにおいては、ユーザによる操作の動きと、操作領域４１とを分けて図示している。なお、操作領域４１は、画面１０５内の任意の場所に配置することが可能である。

検知部１１１は、ステップＳ１１４において、検知部１１１は、ユーザの指先６１の操作領域４１における位置を検知し、操作識別部１１０が操作点Ｐを特定する。ここで検知されるユーザの指先６１の位置とは、中心３２に対する相対的な位置である。

ステップＳ１１５において、画面情報生成部１２０は、ステップＳ１１４で検出したユーザの指先６１の位置に対応する領域４１１を特定し、その領域４１１を強調表示した画面情報を生成する。ここまでの操作は、図１１Ａ、図１１Ｂ、及び図１１Ｃに示される。図１１Ｂでは操作点Ｐの特定及び領域４１１の強調表示までが行われている。図１１Ｃはユーザが第２モードのまま指先６１を軌跡２２のように移動させた結果、強調表示される領域４１１が移動したことが示されている。

なお、領域４１１の特定にあたっては、ユーザの指先６１は、直線状に移動してもよい。領域４１１の特定は、中心３２に対するユーザの指先６１の相対的な位置に基づいて行われるためである。

ステップＳ１１６において、検知部１１１は、ユーザの指先６１を含む画像を取得し、ステップＳ１１７において、ユーザの指先６１が第１モードであるかを判断する。

ステップＳ１１７にて第１モードであると判断された場合、ステップＳ１１８において、画面情報生成部１２０は、その時に強調表示されている領域４１１に配置されたグループが選択されたと判断する。

ステップＳ１１９において、画面情報生成部１２０は、そのグループに対応する文字又は操作ボタンが、操作領域４１に環状に配置される複数の領域４１２に配置された画面情報を作成し、表示する。図１１Ｃ及び図１１Ｄに示されるように、グループ情報「ｌｋｊｉ ｍｎｏｐ」が選択された場合、グループ情報「ｌｋｊｉ」は反時計回りに、グループ情報「ｍｎｏｐ」は時計回りに、領域４１２に配置される。

グループ情報「ｌｋｊｉ」とグループ情報「ｍｎｏｐ」とは、操作点Ｐの位置を基準として配置される。グループ情報「ｌｋｊｉ」は、操作点Ｐに近い方から「ｉ」、「ｊ」、「ｋ」、「ｌ」の順にそれぞれの領域４１２に配置される。グループ情報「ｍｎｏｐ」は、操作点Ｐに近い方から「ｍ」、「ｎ」、「ｏ」、「ｐ」の順にそれぞれの領域４１２に配置される。グループ情報のそれぞれを、操作点Ｐを基準として配置することで、ユーザによる操作量を少なくすることができ、利便性が向上する。

複数の領域４１２は、複数の領域４１１と置き換わるように、操作領域４１に配置される。なお、領域４１１に置き換わるように領域４１２を配置せずに、領域４１１を残したまま、領域４１１の内側又は外側に領域４１２を配置するなどしてもよい。

ステップＳ１１７にて第１モードでないと判断された場合は、ステップＳ１１４に戻り、中心３２に対するユーザの指先６１の相対的な位置に基づいて、強調表示される領域４１１が移り変わる。ステップＳ１１７で肯定判断されるまでこの動作が繰り返される。

続いて、ステップＳ１２４からＳ１２６までの処理が行われ、ステップＳ１１６からＳ１１７までと同様に、複数の領域４１２の一つが強調表示される。この操作は、図１２Ａ及び図１２Ｂに示される。

ステップＳ１２２において、検知部１１１は、ユーザの指先６１を含む画像を取得し、ステップＳ１２３において、ユーザの指先６１が第２モードであるかを判断する。

ステップＳ１２３にて、第２モードであると判断された場合、ステップＳ１２４において、画面情報生成部１２０は、その時に強調表示されている領域４１１に配置された文字入力情報が選択されたと判断する。

ステップＳ１２４において、一つの文字入力情報が選択された場合、ステップＳ１１３に戻り、画面情報生成部１２０は、グループ情報が配置される複数の領域４１１を表示し、連続した文字入力が可能となる。入力表示領域５１に文字「ｋ」が表示され、続けて文字入力が可能な状態が図１２Ｃに示される。

操作領域４１を閉じるための終了ボタン２３が選択されると、画面情報生成部１２０は、操作領域４１の表示を終了する。

ここまでに説明してきたステップによる処理を行うことでユーザによって文字入力情報の選択が行われる。

なお、ここでは、ユーザの指先を用いて、操作領域４１を表示させるステップを伴った文字入力について説明してきた。このような文字入力でなくとも、例えば、予め操作領域４１が表示されているとして、トラックパッド１０６やジョイスティック１０７を用いて文字入力を行うことができる。

トラックパッド１０６の場合は操作点の特定及びダイヤル操作の識別が可能である。グループ情報を領域４１１から選択する判断は、トラック面１０６１上の指と中心１０６２との距離に基づいて行うことができる。例えば、トラック面１０６１上の指と中心１０６２との距離が所定の長さを越えた場合に、グループ情報の選択を行うことができる。

その後、円周１０６３に沿って指が移動するようにダイヤル操作が行われることで、操作点を移動させ、再びトラック面１０６１上の指と中心１０６２との距離に基づいて、文字入力情報を選択することができる。例えば、トラック面１０６１上の指と中心１０６２との距離が他の所定の長さより短くなる場合である。

つまり、操作点が、中心１０６２から円周１０６３に向かう移動を領域４１１のグループ情報の選択に用いることができる。また、円周１０６３から中心１０６２へと向かう移動とを、領域４１２の文字入力情報の選択に用いることができる。

ジョイスティック１０７を用いる場合においても、中心１０７２と外周部１０７３との位置関係に基づいて、同様に文字入力情報を選択することが可能である。

文字入力情報を入力する場合に、ユーザが文字入力情報を誤って入力してしまうことがある。この場合、ユーザが、一文字分の入力を取り消すバックスペース入力を行えるようにすることで、より利便性が高まる。

本実施形態のように、環状の操作領域４１を有するキーボードでは、１つの文字を入力するたびに、ダイヤル操作によって、複数の領域４１１からグループ情報を選択し、複数の領域４１２から文字入力情報を選択することで文字入力が行われる。

この文字入力方法の場合、バックスペース入力についても、文字入力情報と同様にダイヤル操作を繰り返し行うことで入力を行うこととすると、操作が煩雑となってしまう。

そこで、ＨＭＤ１００に次に説明するような処理を行わせることによって、バックスペース入力を繰り返して行うことができる。

図１３Ａから図１３Ｆまでを参照しつつ、バックスペース入力に関して説明する。図１３では、図示しない画面上に、入力表示領域５１と、画面情報生成部１２０によって生成された操作領域４１とが表示されている。入力表示領域５１の入力欄には「ａｂｃｄｅ」の文字列が入力されている。

ユーザは、文字入力情報の選択と同様に、バックスペース入力を意味する操作ボタンＢＳを選択する。そのために、図１２において、操作ボタンＢＳを含むグループ情報を、複数の領域４１１の中から選択する。図１３Ａには、グループ情報が選択された後の画面が示されている。

画面情報生成部１２０は、図１２に示されるように操作ボタンＢＳが複数の領域４１２の一つに配置された画面情報を生成し、図示しない画面上に表示する。操作ボタンＢＳが配置される領域４１２に隣接する領域を、隣接領域４１２１と呼ぶ。

ユーザの指先６１は操作ボタンＢＳが配置された領域４１２の方向へと、操作点Ｐが移動するように、時計回りに弧を描きながら移動する。指先６１の移動が曲線２４として図１３Ｂ以降に示される。これは図１３Ｂに対応する。

ユーザの指先６１が、操作ボタンＢＳが配置される領域４１２に操作点Ｐを移動させ、隣接領域４１２1へと移動する。この場合、文字「ｌ」が強調表示される。これは図１３Ｃに対応する。

次に、文字「ｌ」が配置される領域４１２から操作点Ｐが、操作ボタンＢＳが配置される領域４１２へと移動した場合に、バックスペース入力が行われたと判断され、入力表示領域５１に表示される文字列「ａｂｃｄｅ」のうち、文字「ｅ」が削除される。これは図１３Ｄに対応する。

続いて、操作ボタンＢＳが配置される領域４１２に隣接する領域４１２へと操作点Ｐが移動し、もう一度、操作ボタンＢＳが配置される領域４１２へと戻る操作が行われる。これは図１３Ｅ及び図１３Ｆに示される。この場合、もう一度バックスペース入力が行われたと判断され、入力表示領域５１に表示される文字列「ａｂｃｄ」のうち、文字「ｄ」が削除される。

このように、領域４１２に含まれる特定の領域４１２が、ダイヤル操作に基づいて複数回選択される繰り返し操作が行われることによって、バックスペース入力を連続して行うことが可能となる。なお、隣接領域４１２１は図１３Ａから図１３Ｆまでで示したように一方の隣接領域４１２１だけではなく、もう一方の隣接領域４１２１でもよい。

画面情報生成部１２０は、複数の領域４１２のいずれか一つに、図１４Ａから図１４Ｃまでに示されるように、シフト操作ボタンＳＨを表示するようにしてもよい。この場合、図１４Ａの状態から、図１４Ｂに示されるように、操作点Ｐが移動する操作が行われたとする。その後に、シフト操作ボタンＳＨが配置された領域４１２が選択されると、領域４１２に配置される文字の大文字と小文字が切り替わった文字を、操作領域４１に環状に配置された複数の領域４１３に表示させるような動作を行わせることができる。大文字と小文字が切り替わった後の操作領域４１及び領域４１３は図１４Ｃに示される。

画面情報生成部１２０は、図１５Ａから図１５Ｃまでに示されるように、ユーザによって入力された文字入力情報の入力結果が表示される入力表示領域５１を生成し、入力結果に基づいた予測入力情報が表示される予測表示領域５２を表示させるための画面情報を生成させてもよい。

画面情報生成部１２０が生成した画面情報によって、「ｈｅ」という文字入力が行われた場合、画面１０５に表示される候補選択ボタン２５をユーザが選択することによって、予測入力情報を選択する状態に移ることができる。

予測入力情報の選択は以下のように行われる。まず、予測表示領域５２に、予測入力情報が表示される。ここでは、「ｈｅｒ」、「ｈｅｌｌｏ」、及び「ｈｅｙ」がそれぞれ領域５２１、５２２、及び５２３に表示される。

画面情報生成部１２０は、予測入力情報の一つが強調表示された画面情報を作成する。例えば、図１５Ａに示されるように領域５２１を強調表示する。画面情報生成部１２０は、操作識別部１１０により識別されるダイヤル操作に応じて、強調される領域の位置を変えた画面情報を作成する。例えば、ユーザが時計回りにダイヤル操作を行った場合、図１５Ｂに示されるように、領域５２１から領域５２２へと強調表示される領域が移動する。ユーザが入力したい予測入力情報が強調表示された場合に、操作識別部１１０に選択操作が入力されると、その予測入力情報が入力表示領域５１に表示される。ここでは、領域５２２が強調表示された状態で、操作識別部１１０が選択操作を識別することによって文字列「ｈｅｌｌｏ」が選択される。その結果、図１５Ｃのように文字列が入力される。

なお、ここまで示した、領域４１１、４１２は環状に配置されているが、完全な円形でなくても、複数の領域がある図形の外周上を囲むように配置されていればよい。図形の例としては、楕円や多角形などが挙げられる。

ここまでに説明してきたように、本実施形態に係るプログラムは、環状の操作領域４１を画面１０５に表示させるための画面情報を生成する画面情報生成部１２０と、操作領域４１に対するユーザ操作を識別する操作識別部１１０と、をコンピュータに実現させ、画面情報生成部１２０は、操作領域４１に環状に配置される複数の領域４１１のそれぞれに、第１の情報を表示させるための画面情報を生成し、ユーザ操作に基づいて、複数の領域４１１から特定の領域４１１が選択されると、特定の領域４１１に表示された特定の第１の情報に対応する複数の第２の情報のそれぞれを、操作領域４１に環状に配置される領域４１２に表示させるための画面情報を生成する。

この態様によれば、環状に配置された操作領域４１に表示される情報を、操作識別部１１０が識別する操作によって選択することができる。画面情報生成部１２０は、第１の情報と、第１の情報に対応する第２の情報が段階的に表示されるような画面情報を生成することができる。多数の選択候補の中から情報を選択する場合に、段階的な選択が可能であるため、選択候補が配置される画面情報が画面１０５において占める面積を小さくすることが可能となる。

また、本実施形態に係るプログラムでは、領域４１１と領域４１２は、操作領域４１において重複した領域であり、画面情報生成部１２０は、領域４１２を領域４１１に換えて表示させるための画面情報を生成する。

この態様によれば、領域４１２を領域４１１に換えて表示させるようにすることで、画面情報の表示に要する領域の大きさをより小さくすることができる。

また、ユーザ操作には、ユーザが弧を描くように物体を移動させるダイヤル操作が含まれる。

この態様によれば、ユーザが弧を描くように、指先６１等の物体を移動させるダイヤル操作に基づいて、操作領域４１に対して操作が行われることによって、環状に配置された領域４１１又は領域４１２に配置される情報を直感的に選択する操作を行うことができ、利便性が向上する。

また、本実施形態に係るプログラムでは、操作識別部１１０は、ダイヤル操作における物体の運動の軌跡に対応する円の半径３１を推定し、画面情報生成部１２０は、推定された半径に基づいて、画面情報を生成する。

この態様によれば、ユーザのダイヤル操作に基づく円の半径３１の推定により、画面情報生成部が生成する操作領域４１の大きさを設定することができる。よって、操作領域４１の大きさをユーザが調節することが可能となり、利便性が向上する。

また、本実施形態に係るプログラムでは、操作識別部１１０は、円の中心３２の位置を推定し、画面情報生成部１２０は、中心３２の位置に基づいて、画面情報を生成する。

画面情報生成部１２０が生成する環状の操作領域４１の中心位置を、ユーザのダイヤル操作に基づいて、推定された円の中心３２の位置とすることで、画面情報生成部１２０が生成する画面情報の位置を、ユーザが自由に調節することが可能となる。

また、ユーザ操作には、領域４１１又は領域４１２に含まれる特定の領域が、ダイヤル操作に基づいて複数回選択される、繰り返し操作が含まれる。

ある領域を繰り返して選択することができると、ユーザが複数回同じ情報を選択しようとする場合に、より簡単に対象の情報の選択を行うことが可能となる。

また、本実施形態に係るプログラムでは、操作識別部１１０は、ユーザ操作に基づいて、特定の領域４１２に隣接する領域である隣接領域４１２１と、特定の領域４１２とが交互に選択された場合に、繰り返し操作であると識別する。

領域４１２と領域４１２に隣接する隣接領域４１２１を交互に選択することで、繰り返し入力が可能となる。よって、ユーザは操作領域に対してダイヤル操作を行うことのみによって、繰り返し入力を行うことができる。

また、本実施形態に係るプログラムでは、情報は、文字入力のために用いられる文字又は操作ボタンを含む文字入力情報であり、情報は、いくつかのグループに分けられた文字入力情報のグループを示すためのグループ情報であってもよい。

複数の文字情報を選択することによって行われる文字入力において、画面１０５に占める面積を小さくしたキーボードを提供できる。

また、本実施形態に係るプログラムでは、画面情報生成部１２０は、領域４１２に、領域４１２に配置される文字について、大文字と小文字を切り替えるためのシフト操作ボタンＳＨを配置するための画面情報を生成し、ユーザ操作に基づき、シフト操作ボタンＳＨが選択されると、領域４１２に配置される文字の大文字と小文字が切り替わった文字を、操作領域４１に環状に配置される領域４１３に表示させるための画面情報を生成する。

ある文字について大文字と小文字の切り替えを可能とすることで、大文字用のグループ情報と小文字用のグループ情報を同一の操作領域４１内で入力することができるため、より効率的に文字入力を行うことができる。

また、本実施形態に係るプログラムでは、画面情報生成部１２０は、領域４１１には、グループ情報として、第１のグループ情報と第２のグループ情報とを配置するための画面情報を生成し、領域４１２のそれぞれに、第１のグループ情報に含まれるそれぞれの文字入力情報を反時計回りに、第２のグループ情報に含まれるそれぞれの文字入力情報を時計周りに配置するための画面情報を生成する。

領域４１１に配置されるグループ情報の並び方に応じて、領域４１２に配置される情報の並び方を決定することで、ユーザが第２の領域の中から目的の情報を選択する場合に
対象の情報を発見しやすくなる。ユーザが情報を探す負担が軽減され、時計回りか反時計回りかという基準で直感的に操作を選択することができるため、利便性が向上する。

また、本実施形態に係るプログラムでは、画面情報生成部１２０は、文字入力情報の入力結果が表示される入力表示領域５１を画面１０５に表示させるための画面情報を生成し、入力結果に基づいて、少なくとも一つの予測入力情報が表示される予測表示領域５２を画面１０５に表示させるための画面情報を生成し、ユーザ操作に基づいて、予測入力情報を選択してもよい。この場合、文字入力と同様のダイヤル操作によって予測入力情報を選択することができるので、よりスムーズな文字入力を行うことができる。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

１００…ヘッドマウントディスプレイ、１０５…画面、１１０…操作識別部、
１２０…画面情報生成部、４１…操作領域、４１１、４１２…領域

Claims (11)

1. プログラムであって、
   環状の操作領域をヘッドマウントディスプレイの画面に表示させるための画面情報を生成する画面情報生成部と、
   空間内に設けられる仮想平面において円を描く操作及び前記操作領域に対する操作を識別する操作識別部と、をコンピュータに実現させ、
   前記操作識別部は、
   前記識別された円を描く操作に基づいて、描かれた円の半径を推定し、
   前記画面情報生成部は、
   前記推定された円の半径に基づいて、前記操作領域に環状に配置される複数の第１の領域のそれぞれに、第１の情報を表示させるための第１の画面情報を生成し、
   前記識別された前記操作領域に対する操作に基づいて、前記複数の第１の領域から特定の第１の領域が選択されると、前記特定の第１の領域に表示された特定の第１の情報に対応する複数の第２の情報のそれぞれを、前記操作領域に環状に配置される第２の領域に表示させるための第２の画面情報を生成する、プログラム。
2. 請求項１に記載のプログラムであって、
   前記操作識別部は、
   前記識別された円を描く操作に基づいて、描かれた円の中心の位置を推定し、
   前記画面情報生成部は、
   前記推定された円の中心の位置に基づいて、前記第１の画面情報を生成する、プログラム。
3. 請求項１又は２に記載のプログラムであって、
   前記第１の領域と前記第２の領域は、前記操作領域において重複した領域であり、
   前記画面情報生成部は、
   前記第２の領域を前記第１の領域に換えて表示させるための前記第２の画面情報を生成する、プログラム。
4. 請求項１から３のいずれか一項に記載のプログラムであって、
   前記識別された前記操作領域に対する操作には、弧を描く操作であるダイヤル操作が含まれる、プログラム。
5. 請求項４に記載のプログラムであって、
   前記識別された前記操作領域に対する操作には、前記第１の領域又は前記第２の領域に含まれる特定の領域が、前記ダイヤル操作に基づいて複数回選択される、繰り返し操作が含まれる、プログラム。
6. 請求項５に記載のプログラムであって、
   前記操作識別部は、
   前記識別された前記操作領域に対する操作に基づいて、前記特定の領域に隣接する領域である隣接領域と、前記特定の領域とが交互に選択された場合に、前記繰り返し操作であると識別する、プログラム。
7. 請求項１から６のいずれか一項に記載のプログラムであって、
   前記第２の情報は、文字入力のために用いられる文字又は操作ボタンを含む文字入力情報であり、
   前記第１の情報は、いくつかのグループに分けられた前記文字入力情報のグループを示すためのグループ情報である、プログラム。
8. 請求項７に記載のプログラムであって、
   前記画面情報生成部は、
   前記第２の領域に、前記第２の領域に配置される文字について、大文字と小文字を切り替えるためのシフト操作ボタンを配置するための前記第２の画面情報を生成し、
   前記識別された前記操作領域に対する操作に基づき、前記シフト操作ボタンが選択されると、前記第２の領域に配置される文字の大文字と小文字が切り替わった文字を、前記操作領域に環状に配置される第３の領域に表示させるための第３の画面情報を生成する、
   プログラム。
9. 請求項７又は８に記載のプログラムであって、
   前記画面情報生成部は、
   前記第１の領域には、前記グループ情報として、第１のグループ情報と第２のグループ情報とを配置するための前記第１の画面情報を生成し、
   前記第２の領域のそれぞれに、前記第１のグループ情報に含まれるそれぞれの前記文字入力情報を反時計回りに、前記第２のグループ情報に含まれるそれぞれの前記文字入力情報を時計周りに配置するための前記第２の画面情報を生成する、プログラム。
10. 請求項７から９のいずれか一項に記載のプログラムであって、
    前記画面情報生成部は、
    前記文字入力情報の入力結果が表示される入力表示領域を前記画面に表示させるための第４の画面情報を生成し、
    前記入力結果に基づいて、少なくとも一つの予測入力情報が表示される予測表示領域を前記画面に表示させるための第５の画面情報を生成し、
    前記識別された前記操作領域に対する操作に基づいて、前記予測入力情報を選択する、プログラム。
11. 情報処理装置であって、
    環状の操作領域をヘッドマウントディスプレイの画面に表示させるための画面情報を生成する画面情報生成部と、
    空間内に設けられる仮想平面において円を描く操作及び前記操作領域に対する操作を識別する操作識別部と、を備え、
    前記操作識別部は、
    前記識別された円を描く操作に基づいて、描かれた円の半径を推定し、
    前記画面情報生成部は、
    前記推定された円の半径に基づいて、前記操作領域に環状に配置される複数の第１の領域のそれぞれに、第１の情報を表示させるための第１の画面情報を生成し、
    前記識別された前記操作領域に対する操作に基づいて、前記複数の第１の領域から特定の第１の領域が選択されると、前記特定の第１の領域に表示された特定の第１の情報に対応する複数の第２の情報のそれぞれを、前記操作領域に環状に配置される第２の領域に表示させるための第２の画面情報を生成する、情報処理装置。