JP6999821B2 - 端末装置および端末装置の制御方法 - Google Patents

Description

本発明は、端末装置および端末装置の制御方法に関する。

近年、ヘッドマウントディスプレイを装着したユーザに、仮想的または現実的な空間を種々のオブジェクトを合成して提供する技術が知られている。このような空間はコンピュータ等によって三次元的に提供される一方で、ユーザに対する指示や入力などのためのインターフェイスは、ＧＵＩ（Graphical User Interface）で二次元的に提供される場合が多い。このような場合において、三次元的に表示された対象物への入力／操作を行うモードと、二次元的に表示された対象物への入力／操作を行うモードとを、並進及び回転の動きを検出する操作デバイスを用いて切り換える技術が提案されている（例えば特許文献１参照）。

特開２０１３－２５６６６号公報

しかしながら、簡易化を図るために、ヘッドマウントディプレイを、例えばスマートホンおよびゴーグルで構成する場合、上記技術では、操作デバイスを別途用意しなければならず、簡易化を阻害する要因となる。

上述した目的の一つを解決するために、本発明の一態様に係る端末装置は、二次元の操作面を有する特定オブジェクトが、ユーザに提供される仮想空間の視野枠内に出現したか否かを判定する第１判定部と、前記特定オブジェクトが、前記視野枠内に出現したと判定された場合に、前記視野枠内の特定地点と重なっているか否かを判定する第２判定部と、前記特定オブジェクトが前記特定地点に重なっていると判定された場合、表示装置を制御して、前記二次元操作面に対し相対移動が可能な二次元ポインタを前記視野枠内に表示させ、前記特定オブジェクトが、前記視野枠内に出現していないと判定された場合、前記表示装置を制御して、前記仮想空間を三次元で移動させる三次元ポインタを前記視野枠内に表示させる表示制御部とを有する。

上記一態様に係る端末装置によれば、ユーザに提供する現実の空間の視野枠内に、特定オブジェクトが出現していなければ三次元ポインタが表示され、特定オブジェクトが視野枠内の特定地点に重なっていれば、二次元ポインタが表示される。このため、プログラムを実行する処理装置を有する端末装置として、スマートホンなどを適用できるので、二次元操作と三次元操作とをユーザに煩わしさを与えることなく簡易な構成で切り換えることができる。

実施形態に係る端末装置が適用されたヘッドマウントディスプレイを示す図である。 端末装置の構成を示すブロック図である。 端末装置で構築される機能の構成の一例を示すブロック図である。 端末装置の表示装置で提供される仮想空間の一例を示す図である。 端末装置の動作の一例を示すフローチャートである。 仮想空間に三次元ポインタが表示された一例を示す図である。 ユーザによる操作の一例を示す図である。 仮想空間に三次元ポインタが表示された一例を示す図である。 仮想空間に二次元ポインタが表示された一例を示す図である。

以下、本発明を実施するための形態について図面を参照して説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であるので、技術的に好ましい種々の限定が付されている。ただし、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。

＜実施形態＞
図１は、ヘッドマウントディスプレイ（以下、ＨＭＤと略称する）１の概略を説明するための図である。
この図に示されるようにＨＭＤ１は、実施形態に係る端末装置１０と、該端末装置１０が取り付けられたゴーグル２０とを含む。ゴーグル２０は、該端末装置１０がユーザ３の両眼手前となる位置に、ヘッドバンド２２によってユーザ３の頭部に装着される。

端末装置１０は、例えばスマートホンであり、ユーザ３に対向する面が表（おもて）面である。該表面には、図では隠れているが、表示装置が配置されている。ゴーグル２０において端末装置１０の取り付け面には、特に図示しないが、左眼用画像だけをユーザ３の左眼に視認させる開孔部と、右眼用画像だけをユーザ３の右眼に視認させる開孔部とをそれぞれ有する。このため、端末装置１０の表示装置が、仮想空間を提供するために、左眼の開孔部に相当するエリアに左眼用画像を、右眼の開孔部に相当するエリアに右眼用画像を、それぞれ視差を与えて表示させた場合、ユーザ３は該画像で示される仮想空間を立体的に視認することができる。

端末装置１０の裏面、すなわち図１でいえば、手前側の面には、撮影装置１１０が位置する。
なお、端末装置１０は、スマートホンに限られず、ゴーグルに取り付けられるＨＭＤ専用の表示装置であってもよい。また、ゴーグルを備える（すなわち、ゴーグルから着脱不能な）ＨＭＤ装置であってもよい。

図２は、端末装置１０におけるハードウェアの構成を示す図である。
この図に示されるように、端末装置１０は、処理装置１０２と記憶装置１０４とセンサー１０６と表示装置１０８と撮影装置１１０とを具備するコンピュータシステムにより実現される。
端末装置１０の各要素は、単体または複数のバスで相互に接続される。なお、本説明における「装置」という用語は、回路、デバイスまたはユニット等の他の用語に読替えても良い。また、端末装置１０の各要素は、単数または複数の機器で構成される。端末装置１０の一部の要素を省略しても良い。

処理装置１０２は、端末装置１０の全体を制御するプロセッサであり、例えば単数または複数のチップで構成される。処理装置１０２は、例えば、周辺装置とのインターフェイス、演算装置およびレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。
なお、処理装置１０２の機能の一部または全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで実現しても良い。処理装置１０２は、各種の処理を並列的または逐次的に実行する。

記憶装置１０４は、処理装置１０２が利用可能な記録媒体であり、処理装置１０２が実行する複数のプログラムと、処理装置１０２が使用する各種のデータと、を記憶する。ここで、処理装置１０２が実行する複数のプログラムには、ＯＳ（Operating System）や、ユーザ３に仮想空間を提供するアプリケーションプログラムなどが含まれ、また、各種のデータには、後述するように、ユーザによって仮想空間に配置された操作オブジェクトの場所（位置）を示す情報などが含まれる。
なお、記憶装置１０４は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）等の記憶回路の１種類以上で構成される。

センサー１０６は、端末装置１０の姿勢や動きを検出するための、例えば３軸角度センサーである。
表示装置１０８は、処理装置１０２による制御のもとで各種の画像（静止画および動画を含む）を表示する。特に、本実施形態においては、上述した仮想空間を示す左眼用画像と右眼用画像とが表示装置１０８によって表示される。
なお、例えば液晶表示パネルまたは有機ＥＬ表示パネル等の各種の表示パネルが表示装置１０８として好適に利用される。
撮影装置１１０は、端末装置１０の裏面に配置されたリアカメラである。該端末装置１０が取り付けられたゴーグル２０をユーザ３が装着した場合、撮影装置１１０は、該ユーザ３の顔が向く方向を撮影する。

図３は、仮想空間を提供するプログラムを端末装置１０の処理装置１０２が実行することにより実現される機能構成を示すブロック図である。
この図に示されるように、端末装置１０では、動作制御部１５０、姿勢検出部１５２、表示制御部１５４、第１判定部１５６および第２判定部１５８が構築される。

姿勢検出部１５２は、センサー１０６から出力される信号を処理して、処理した結果を端末装置１０の姿勢情報を出力する。具体的には、姿勢検出部１５２は、センサー１０６の検出結果、すなわち、図１に示されるように水平方向のＸ軸、垂直方向のＹ軸および奥行き方向のＺ軸における各加速度の検出結果を処理して、端末装置１０の姿勢情報を周期的に、例えば０．０２秒毎に出力する。

表示制御部１５４は、表示装置１０８が表示する画面の生成および制御を実行する。詳細には、表示制御部１５４は、仮想空間を立体視させるための左眼用画像および右眼用画像をそれぞれ生成して、表示装置１０８の表示領域のうち、左眼の開孔部に相当するエリアに左眼用画像を、右眼の開孔部に相当するエリアに右眼用画像を、それぞれ表示させる。
なお、仮想空間とは、端末装置１０において生成された現実を模擬した空間である。仮想空間は、ユーザ３を中心に全方位に拡がった概念である。そして、全方位の空間のうち、端末装置１０の姿勢情報に基づいて検出されたユーザ３の顔が向く方向に対応する空間が部分的に切り出されて、表示装置１０８に表示される。

図４は、端末装置１０で提供される仮想空間を説明するための図である。この図において、符号Ｗは、端末装置１０が取り付けられたゴーグル２０を装着したユーザ３が、顔をある方向に向けている場合に、仮想空間の切り出し枠となる視野枠である。
なお、この図は、仮想空間として自然風景が提供された例である。仮想空間は左眼用画像および右眼用画像による立体視でユーザ３に提供されるので、視野枠Ｗは、表示装置１０８で表示される画面そのものを示しているわけではない。

ユーザ３が顔をある方向に向け、図４において実線の視野枠Ｗによって図に示されるような自然風景の仮想空間が提供されている場合に、ユーザ３が頭部を回転させて顔を左側（Ｘ軸方向）に向けると、該回転に対応した姿勢情報が姿勢検出部１５２から出力される。
該姿勢情報を取得した表示制御部１５４は、視野枠Ｗを図４の破線で示される位置まで移動させることにより、ユーザ３に提供する仮想空間を左側に移動させる。このように顔の向く方向に応じて仮想空間が移動するので、ユーザ３は、あたかも自然風景が存在する空間にいるかのような感覚を、視覚を通じて得ることができる。

符号Ｃｅｎは、視野枠Ｗに固定された基準点を示す。基準点Ｃｅｎは、特定地点の一例である。この例では、基準点Ｃｅｎは、視野枠Ｗの対角中心に位置している。基準点Ｃｅｎは、視野枠Ｗに対して固定されている。このため、顔の向く方向が変化し、その結果視野枠Ｗによって切り取られる仮想空間が変化しても、該視野枠Ｗに対して基準点Ｃｅｎは不動の関係にある。一方、該仮想空間に対しては相対移動することになる。
なお、基準点Ｃｅｎは、視野枠Ｗの対角中心に限られず、視野枠Ｗに対して予め定められた関係を有する地点であればよい。例えば、視野枠Ｗを左右方向に左２：右３に分割する上下線と、上下方向に上３：下２に分割する左右線との交点であってもよい。
また、基準点Ｃｅｎは、図４では、説明の便宜のために十字線の交点として示されているが、実際には本実施形態では、十字線を含めて非表示としている。

本実施形態において仮想空間には、様々な操作オブジェクトが配置される。ここで、操作オブジェクトとは、仮想空間においてユーザ３が各種の入力や設定等を行うためのものであり、ソフトウェアボタン、ソフトウェアキーボート、ラジオボタン、または、チェックボックスなどである。
本実施形態では、これらの操作オブジェクトのうち、ユーザ３からみて操作面を有し、かつ、予め定められたもの、具体的には、当該操作面の位置の指定に精度が要求されるものを、特定オブジェクトと呼んでいる。換言すれば、上記操作面を有する操作オブジェクトであっても、予め定められていないものは、特定オブジェクトではない。なお、操作面は、ＸＹ平面と平行であることが好ましいが、平行でなくてもよい。また、操作面は、平坦ではなく、電子ブックのように起伏がある面でもよい。
これらの操作オブジェクトには、ユーザによって仮想空間における任意の位置に配置されるものもあれば、アプリケーションプログラムの実行により視野枠Ｗの内側に配置されるものもある。なお、ユーザによって仮想空間に配置された操作オブジェクトの場所（位置）についての情報は、例えば動作制御部１５０によって記憶装置１０４に記憶される。

本実施形態では、上記操作オブジェクトのうち、多数のキーのいずれかを指定する際に、操作面における位置の指定に精度が要求されるソフトウェアキーボードを特定オブジェクトとしている。一方で、ボタンエリアのいずれかを指定するに際し、位置の指定にソフトウェアキーボードほどの精度が要求されない（すなわち、位置の指定に要求される精度が、ソフトウェアキーボードに要求される精度よりも低い）ソフトウェアボタンについては、特定オブジェクトとはしていない。ただし、ソフトウェアボタンについては、後述するように、特定オブジェクトとしてもよい場合がある。
なお、アプリケーションプログラムの設定などで用いられるラジオボタン、またはチェックボックス等については、特定オブジェクトとするか否かについては任意である。

図４は、特定オブジェクトであるソフトウェアキーボードＫが仮想空間において視野枠Ｗの外側に配置された例である。後述する図８で示されるようにユーザ３が頭部を左側に回転させれば、視野枠Ｗが該回転に伴って左側に移動するので、移動によって視野枠Ｗの内側にソフトウェアキーボードＫが表示されることになる。

説明を図３に戻すと、第１判定部１５６は、特定オブジェクトが視野枠Ｗの内側に出現しているか否かを判定し、第２判定部１５８は、第１判定部１５６による判定が肯定的な場合、視野枠Ｗに出現した特定オブジェクトが基準点Ｃｅｎとユーザ３からみて重なっているか否かを判定する。
なお、特定オブジェクトが視野枠Ｗに出現した、とは、表示制御部１５４が、端末装置１０の姿勢に応じた視野枠Ｗによって仮想空間を切り出して表示装置１０８に表示させている場合に、特定オブジェクトの一部または全部が仮想空間において表示されたことをいう。

本実施形態では、視野枠Ｗに特定オブジェクトが出現しているか否か、出現していれば、該特定オブジェクトが基準点Ｃｅｎと重なっているか否かによって、操作用のポインタを切り換える。
そこで次に、ポインタの切り換え動作について説明する。

図５は、ポインタを切り換える動作を示すフローチャートである。
なお、この動作は、端末装置１０においてアプリケーションプログラムの実行によりユーザに仮想空間が提供されている場合に実行される。すなわち、ポインタの切り換え動作は、ユーザ３の顔の向く方向（厳密にいえば端末装置１０の姿勢に基づく方向）に応じた視野枠Ｗによって仮想空間が切り出されて、該ユーザ３に提供されている場合に実行される。

この場合において、表示制御部１５４は、操作オブジェクトのうち、ユーザによって仮想空間に配置された特定オブジェクトがあれば、該特定オブジェクトの場所（位置）を記憶装置１０４から取得する。また、表示制御部１５４は、アプリケーションプログラムの実行により視野枠Ｗに配置される特定オブジェクトがあれば、該特定オブジェクトの場所を該アプリケーションプログラムから取得する。そして、表示制御部１５４は、取得した場所に配置された操作オブジェクトがある方向にユーザ３の顔が向けば、該操作オブジェクトを仮想空間に表示させる。

まず、第１判定部１５６は、現時点において視野枠Ｗの内側に特定オブジェクトの一部または全部が出現しているか否かを判定する（ステップＳ１１）。

視野枠Ｗの内側に特定オブジェクトが出現していない場合（ステップＳ１１の判定結果が「Ｎｏ」である旨）、処理手順はステップＳ１３に移行する。
一方、視野枠Ｗの内側に特定オブジェクトが出現している場合（ステップＳ１１の判定結果が「Ｙｅｓ」である旨）、第２判定部１５８は、出現している特定オブジェクトと基準点Ｃｅｎとが、ユーザ３からみて重なっているか否かを判定する（ステップＳ１２）。

特定オブジェクトと基準点Ｃｅｎとが重なっていない場合（ステップＳ１２の判定結果が「Ｎｏ」である旨）、処理手順はステップＳ１３に進む。
一方、特定オブジェクトと基準点Ｃｅｎとが重なっている場合（ステップＳ１２の判定結果が「Ｙｅｓ」である旨）、処理はステップＳ１４に進む。

ステップＳ１３において、表示制御部１５４は、視野枠Ｗの内側に三次元ポインタを表示するよう表示装置１０８を制御する。表示制御部１５４は、視野枠Ｗの内側において、三次元ポインタを表示させるとともに、例えば撮影装置１１０で撮影されたユーザの手先（hand）（操作体）の動きに応じて三次元ポインタが移動するよう表示装置１０８を制御する。

動作制御部１５０は、三次元ポインタが、特定オブジェクト以外の操作オブジェクトとユーザ３からみて重なっており、かつ、ユーザ３による特定のアクションを伴う場合、該アクションに対応付けられた命令を実行する。

ステップＳ１４において、表示制御部１５４は、視野枠Ｗの内側に二次元ポインタを表示するよう表示装置１０８を制御する。表示制御部１５４は、視野枠Ｗの内側において、二次元ポインタを表示させるとともに、姿勢検出部１５２が端末装置１０の姿勢変化を検出したときに、その変化に応じて、該二次元ポインタが特定オブジェクトの操作面上を移動するよう表示装置１０８を制御する。
なお、動作制御部１５０は、二次元ポインタが特定オブジェクトの操作エリアにユーザ３からみて重なっており、かつ、ユーザ３による特定のアクションを伴う場合、該アクションに対応付けられた命令を実行する。

表示制御部１５４が三次元ポインタまたは二次元ポインタを表示装置１０８に表示させた後、処理手順はステップＳ１１に戻る。
この後、本実施形態では、視野枠Ｗにおける特定オブジェクトの出現の有無、および、特定オブジェクトと基準点Ｃｅｎとの位置関係に変化がなければ、引き続き同じポインタが表示される。一方、変化があれば、二次元ポインタと三次元ポインタとでポインタが切り換えられる場合がある。なお、動作制御部１５０が、姿勢検出部１５２、表示制御部１５４、第１判定部１５６および第２判定部１５８の各部を制御してもよい。

次に、ユーザに提供される仮想空間の例について説明する。
図６は、特定オブジェクトが出現していない場合において視野枠Ｗにより切り出された仮想空間の表示例を示す図であり、操作オブジェクトとして、ユーザ３に対し、肯定的な回答を選択させるためのソフトウェアボタンＯｂ１と、否定的な回答を選択させるためのソフトウェアボタンＯｂ２とが表示された例である。上述したように本実施形態では、ソフトウェアボタンについては特定オブジェクトとしていないので、図６の例では、ステップＳ１１の判定結果が「Ｎｏ」となる。このため、視野枠Ｗの内側には、三次元ポインタＰａが表示される。

三次元ポインタＰａは、撮影装置１１０によって予め定められた形状の操作体を含む現実空間が撮影された場合に、撮影された操作体の画像を画像処理によって背景画像から切り出し、該切り出した操作体の画像を仮想空間の画像に合成して表示したものである。ここで、予め定められた形状の操作体とは、例えばユーザ３の指先から手首までの手先である。予め定められた形状の操作体としては、手先に限られず、撮影装置１１０に撮影され得るものであって、ユーザ３の意思によって移動可能なものであればよい。操作体としては、例えばユーザ３によって操作されるペン先等などであってもよい。

詳細には、図７に示されるように、端末装置１０が取り付けられたゴーグル２０を装着したユーザ３が、撮影装置１１０の撮影エリアにて、自身の右手人差し指で何かを指し示すかのような仕草をした場合、図６に示されるように、撮影エリアの背景画像から切り離された右手先（right hand）の形状の三次元ポインタＰａの画像が仮想空間の画像に合成されて表示される。

三次元ポインタＰａは、仮想空間において表示される場合に、画像処理によって、背景から単に切り出した画像としてもよいし、切り出した画像の輪郭内側を塗り潰した画像、および、背景の画像とは無関係なＣＧ（Computer Graphics）としてもよい。

なお、ユーザ３が自身の右手先を操作して、ソフトウェアボタンＯｂ１またはＯｂ２をタッチすると、具体的には、ソフトウェアボタンＯｂ１またはＯｂ２が表示された四角枠内に三次元ポインタＯｐの一部を重ねると、動作制御部１５０は、三次元ポインタＯｐが重なったソフトウェアボタンがタッチされたと判定する。例えばソフトウェアボタンＯｂ１がタッチされたと判定したならば、動作制御部１５０は、ユーザが任意の質問に対して肯定的な回答をした旨を、ソフトウェアボタンＯｂ１およびＯｂ２を表示させたアプリケーションプログラムまたはＯＳに通知する。この結果、ソフトウェアボタンＯｂ１に関連付けられた命令が実行されることになる。

また、ユーザ３が例えば右手先を奥行き方向（自身から遠くなる方向）に移動させると、撮影された右手先は小さくなり、逆に右手先を自身に近くなる方向に移動させると、撮影された右手先は大きくなる。したがって、表示された三次元ポインタＰの大きさは、Ｚ軸方向の座標に応じて変化することになる。
このため、三次元ポインタにおけるＺ軸方向の座標については、表示された三次元ポインタＰの大きさを用いて判定してもよい。

図８は、特定オブジェクトであるソフトウェアキーボードＫが視野枠Ｗの内側に出現しているが、該ソフトウェアキーボードＫが基準点Ｃｅｎに重なっていない場合の表示例を示す図である。
図８は、例えば図４においてソフトウェアキーボードＫが視野枠Ｗの外左側に配置されていた状態において、ユーザ３が頭部を、左側かつ上向きに回転させることによって、ソフトウェアキーボードＫが視野枠Ｗの内側に表示された場合の例である。

図８の例では、ステップＳ１１の判定結果が「Ｙｅｓ」となる。しかし、ステップＳ１２の判定結果が「Ｎｏ」となるので、視野枠Ｗの内側には、三次元ポインタＰａが表示される。なお、撮影措置１１０による撮影エリアに予め定められた形状の操作体が撮影されない場合、三次元ポインタＰは表示されない。

図９は、特定オブジェクトであるソフトウェアキーボードＫが視野枠Ｗの内側に出現し、かつ、該ソフトウェアキーボードＫが基準点Ｃｅｎに重なっている場合の表示例を示す図である。
なお、図９は、例えば視野枠Ｗの内側に図８に示されるようにソフトウェアキーボードＫが配置されていた状態において、ユーザ３が頭部を、さらに左側に回転させた場合の例である。

図９の例では、ステップＳ１１の判定結果が「Ｙｅｓ」となり、ステップＳ１２の判定結果も「Ｙｅｓ」となるので、視野枠Ｗの内側には、二次元ポインタＰｂが表示される。
二次元ポインタＰｂは、右手先を模したパターンとなっている。しかし、二次元ポインタＰｂを三次元ポインタＰａと一見して区別する目的で、二次元ポインタＰｂと三次元ポインタＰａとは形状または色、もしくは双方を相互に異ならせている。

図９の二次元ポインタＰｂの人差し指先端が、ポインタで指定される地点であり、本実施形態では基準点Ｃｅｎに当該指定された地点が固定される。このため、ユーザ３が、二次元ポインタＰｂの人差し指先端で指定される地点を移動させる場合、頭部を上下左右方向に回転させることになる。詳細には、ソフトキーボードＫにおいて、あるキーを入力する場合、ユーザ３は、二次元ポインタＰｂにおける人差し指先端が該キーに相当する操作エリアに重なる方向に頭部を向けるとともに、頭部を固定して、重なった状態を一定時間（例えば２秒間）維持する。

また、別のキーを入力する場合、ユーザ３は、同様に、二次元ポインタＰｂにおける人差し指先端が該別のキーの操作エリアに重なる方向に頭部を向けるとともに、頭部を固定して、重なった状態を一定時間にわたって維持する。
なお、同じキーを２回連続して入力する場合、ユーザ３は、例えば１回目のキーを入力してから、一旦、二次元ポインタＰｂが別のキーの操作エリアに重なる位置に頭部を動かす。その後、再度同じキーの操作エリアに二次元ポインタＰｂが重なる位置に頭部を動かした後、頭部を固定して、重なった状態を一定時間にわたって維持すればよい。

なお、ユーザ３が頭部の向く方向を移動させた結果、ソフトウェアキーボードＫが基準点Ｃｅｎに重ならなくなれば、ステップＳ１２の判定結果が「Ｎｏ」となるので、二次元ポインタＰｂが、図８に示されるように三次元ポインタＰａに変更される。
二次元ポインタＰｂは、三次元ポインタＰａとは異なり、奥行き方向には移動せず、ソフトウェアキーボードＫの操作面に沿って相対移動することになる。

本実施形態によれば、二次元ポインタＰｂは、端末装置１０のセンサー１０６の検出結果を利用するので、ユーザによる指先等の移動による三次元ポインタＰａと比較して高精度に位置を指定することが可能となる。

一方、本実施形態では、ソフトウェアキーボードＫのような特定オブジェクトが基準点Ｃｅｎに重ならない場合、すなわち、特定オブジェクトを用いて入力、設定等を行わない場合、Ｘ軸およびＹ軸にＺ軸を加えた３軸方向に移動可能な三次元ポインタＰａが表示される。したがって、奥行きを考慮した位置の指定が可能となる。

そして、本実施形態では、三次元ポインタＰａ、または、二次元ポインタＰｂの一方から他方への切り換えが、頭部の向く方向に応じて実行されるので、ユーザに煩わしさを与えることなく、また、特別な操作デバイスを別途用意することなく、簡易な構成で実現することが可能となる。

＜応用／変形の各種態様＞
実施形態では、二次元ポインタＰｂを基準点Ｃｅｎに固定した後、特定オブジェクトを頭部の向く方向に応じて移動させることで、二次元ポインタＰｂにより特定オブジェクトの操作エリアを指定する構成としたが、特定オブジェクトが基準点Ｃｅｎに重なっている状態において、二次元ポインタを、ユーザ３の操作に応じて特定オブジェクトの操作面に沿って移動させてもよい。

上述した実施形態では、操作オブジェクトのうち、ソフトウェアキーボードのみを特定オブジェクトとしたが、操作オブジェクトの種類毎に、特定オブジェクトとするか否かを、ユーザ側で設定可能とする構成としてもよい。

特定オブジェクトが上述したソフトウェアキーボードＫである場合に、ソフトウェアキーボードＫが表示された領域に、複数のキーの各々に対応する操作エリアがそれぞれ設けられる。ここで、キー以外の部分は非操作エリアとなるので、キー以外のエリアが二次元ポインタＰｂで指定されても、有意の操作にはならない。換言すれば、ソフトウェアキーボードＫは、特定オブジェクトの一部の領域に、複数の操作エリアが配置された例である。

これに限られず、例えば特定オブジェクトに１つのソフトウェアボタンを含ませた場合には、該ソフトウェアボタンの全領域を操作エリアとしてもよい。換言すれば、１つのソフトウェアボタンを特定オブジェクトとする例は、特定オブジェクトの全部の領域が操作エリアとなる例である。また例えば、特定オブジェクト内に複数のソフトウェアボタンを互いに離間させて配置した場合、該複数のソフトウェアボタンの各領域が操作エリアとなり、ボタン以外の部分は非操作エリアとなる。換言すれば、複数のソフトウェアボタンを特定オブジェクトに含ませる例は、特定オブジェクトの一部の領域に、複数の操作エリアが配置された例である。

すなわち、特定オブジェクトの一部または全部に、命令が対応付けられた操作エリアが配置された場合において、二次元ポインタＰｂによって操作エリアが指定された場合、動作制御部１５０は、該操作エリアに対応付けられた命令を実行する。換言すると、特定オブジェクトの一部に、命令が各々に対応付けられた複数の操作エリアが配置された場合において、二次元ポインタＰｂによって複数の操作エリアのいずれかが指定された場合、動作制御部１５０は、該指定された操作エリアに対応付けられた命令を実行する。また、特定オブジェクトの全部に、命令が対応付けられた１の操作エリアが配置された場合において、二次元ポインタＰｂによって前記操作エリアが指定された場合に、動作制御部１５０は、該指定された操作エリアに対応付けられた命令を実行する。

基準点Ｃｅｎについては非表示ではなく、ユーザ３が確実に基準点Ｃｅｎの位置が判る態様で表示してもよい。

上述した実施形態では、ソフトウェアキーボードＫのキーの操作エリアが二次元ポインタＰｂで指定された状態が一定時間継続したときに、該キーの入力が行われることとした。これに限られず、キーの操作エリアが二次元ポインタＰｂで指定されるとともに、特定のアクション（例えば円を描く）があったときに、該キーの入力が行われる構成としてもよい。

また、実施形態では、ユーザ３に仮想的な空間を提供するＨＭＤ１を例にとって説明したが、例えば撮影装置１１０によって撮影された現実の空間の画像に、操作オブジェクトの画像を合成し、現実の空間に操作オブジェクトを表示する場合にも適用できる。

＜その他＞
例示したフローチャートにおいて、各ステップの順序を変更しても良い。すなわち、本発明の好適な態様における各処理の順序は、特定の順序に限定されない。

図３に例示された各機能は、ハードウェアおよびソフトウェアの任意の組合せによって実現される。また、各機能は、単体の装置によって実現されても良いし、相互に別体で構成された２個以上の装置によって実現されても良い。

プログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順または機能等を意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されても良い。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペアおよびデジタル加入者回線（ＤＳＬ）などの有線技術および／または赤外線、無線およびマイクロ波などの無線技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および／または無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した実施形態／各態様は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステムおよび／またはこれらに基づいて拡張された次世代システムに適用されても良い。

入出力された情報等は特定の場所(例えば、メモリ)に保存されても良いし、管理テーブルで管理しても良い。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されても良い。入力された情報等は他の装置へ送信されても良い。

判定は、１ビットで表される値（０か１か）によって行われても良いし、真偽値（Boolean：trueまたはfalse）によって行われても良いし、数値の比較（例えば、所定の値との比較）によって行われても良い。

本明細書で説明した各態様／実施形態は単独で用いても良いし、組み合わせて用いても良いし、実行に伴って切り替えて用いても良い。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されても良い。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されても良い。

本明細書で説明した情報などは、絶対値で表されても良いし、所定の値からの相対値で表されても良いし、対応する別の情報で表されても良い。

端末装置１０としては、上述したようにスマートホンのような移動局が好適である。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。

「接続された(connected)」という用語、または、このあらゆる変形は、２またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」された２つの要素間に１またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであっても良い。本明細書で使用する場合、２つの要素は、１またはそれ以上の電線、ケーブルおよび／またはプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光（可視および不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」されると考えることができる。

前述の実施形態では、記憶装置１０４としてＲＯＭおよびＲＡＭ等の記録回路を例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介して送信されても良い。

本説明において、例えば、英語におけるa、anおよびtheのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。

本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせても良い。

１…ＨＭＤ、１０…端末装置、２０…ゴーグル、１０２…処理装置、１５０…動作制御部、１５２…姿勢検出部、１５４…動作制御部、１５６…第１判定部、１５８…第２判定部、Ｐａ…三次元ポインタ、Ｐｂ…二次元ポインタ、Ｋ…ソフトウェアキーボード（特定オブジェクト）、Ｃｅｎ…基準点、Ｏｂ１、Ｏｂ２…ソフトウェアボタン（操作オブジェクト）。

Claims (6)

1. 二次元の操作面を有する特定オブジェクトが、ユーザに提供される仮想空間の視野枠内に出現したか否かを判定する第１判定部と、
   前記特定オブジェクトが、前記視野枠内に出現したと判定された場合に、前記視野枠内の特定地点と重なっているか否かを判定する第２判定部と、
   前記特定オブジェクトが前記特定地点に重なっていると判定された場合、
   表示装置を制御して、前記二次元操作面に対し相対移動が可能な二次元ポインタを前記視野枠内に表示させ、
   前記特定オブジェクトが前記視野枠内に出現していないと判定された場合、前記表示装置を制御して、前記仮想空間を三次元で移動する三次元ポインタを前記視野枠内に表示させる
   表示制御部と、
   を有する端末装置。
2. 前記表示制御部は、
   前記端末装置の姿勢情報に基づいて、前記二次元ポインタを前記二次元の操作面に沿って移動させる
   請求項１に記載の端末装置。
3. 前記端末装置は、前記ユーザによって操作される操作体を撮影する撮影装置を備え、
   前記表示制御部は、
   前記撮影装置によって撮影された前記操作体の動きに基づいて、前記三次元ポインタを前記視野枠内で三次元に移動させる
   請求項１または２に記載の端末装置。
4. 前記特定オブジェクトが前記視野枠内に出現したと判定された場合であって、前記特定オブジェクトが前記特定地点に重なっていないと判定された場合、
   前記表示制御部は、前記三次元ポインタを表示させる
   請求項２または３に記載の端末装置。
5. 前記特定オブジェクトの一部または全部に、命令が対応付けられた操作エリアが配置される場合において、前記二次元ポインタによって前記操作エリアが指定された場合、該操作エリアに対応付けられた命令を実行する動作制御部をさらに有する
   請求項１乃至４のいずれかに記載の端末装置。
6. 二次元の操作面を有する特定オブジェクトが、ユーザに提供される仮想空間の視野枠内に出現したか否かを判定し、
   前記特定オブジェクトが、前記視野枠内に出現したと判定した場合に、前記視野枠内の特定地点と重なっているか否かを判定し、
   前記特定オブジェクトが前記特定地点に重なっていると判定した場合、前記二次元操作面に対し相対移動が可能な二次元ポインタを前記視野枠内に表示し、
   前記特定オブジェクトが、前記視野枠内に出現していないと判定した場合、前記仮想空間を三次元で移動する三次元ポインタを前記視野枠内に表示する
   端末装置の制御方法。

Images