JP7252398B2 - 仮想オブジェクト操作方法およびヘッドマウントディスプレイ - Google Patents

Description

本発明は、仮想オブジェクト操作方法およびヘッドマウントディスプレイに関する。

情報処理装置の表示部に複数のウィンドウを表示し、操作入力に応じて、ウィンドウの入れ替えをする技術がある（例えば、特許文献１）。

特開２０１５―４３１３５号公報

上記特許文献１に開示されている技術においては、位置が固定された情報処理装置の表示部に表示されているウィンドウの制御をするものである。

ここで、アプリケーション（アプリケーションを表示するウィンドウ）を表示する絶対座標を定めているヘッドマウントディスプレイを想定する。この場合、アプリケーションをユーザが操作する時に、使用するアプリケーションが紐づく位置に合せてユーザが動く必要が生じ得る。この結果、操作が煩雑になる可能性がある。

本発明の目的は、アプリケーションを簡易に操作できるヘッドマウントディスプレイを提供することを目的とする。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。

一例を挙げるならば、仮想空間または仮想オブジェクトを操作するための操作入力を受け付ける操作受付部と、制御部と、を備え、制御部は、操作受付部が操作領域設定操作を受け付けた場合に、仮想空間の所定の位置に、仮想オブジェクトを操作する領域である操作領域を設定し、操作受付部が仮想オブジェクト選択操作を受け付けた場合に、仮想空間の任意の位置に配置された仮想オブジェクトから所定の仮想オブジェクトを選択し、操作受付部が仮想オブジェクト編集要求操作を受け付けた場合に、選択された所定の仮想オブジェクトを、設定された操作領域に移動する。

本発明の技術を用いることにより、アプリケーションを簡易に操作できる。

本実施形態に係るヘッドマウントディスプレイの概観を示す図である。 視認領域を説明する図である。 ヘッドマウントディスプレイのハードウェア構成を説明する図である。 ヘッドマウントディスプレイの機能ブロック図である。 ホームポジションの設定方法を説明する図である。 ホームポジションの他の指定方法を説明する図である。 ヘッドマウントディスプレイからホームポジションまでの距離を算出する方法を説明する図である。 ホームポジションを設定する処理手順を示すフローチャートである。 ユーザが装着したヘッドマウントディスプレイにおいて、ホームポジションを設定するまでの状態を説明するための図である。 ホームポジションの表示制御について説明するための図である。 ホームポジションの表示制御をする処理を示すフローチャートである。 ホームポジションを設定した時のホームポジションの表示例を説明するための図である。 ヘッドマウントディスプレイが、ホームポジションとは異なる方向を向いている場合の例を示す図である。 ヘッドマウントディスプレイが、アプリをホームポジションへ移動させる例を示す図である。 メニューにおいて、「呼ぶ」が選択された後の状態を説明する図である。 ユーザがホームポジションの位置する方向を向いた場合を説明する図である。 再度ユーザが左方向を向いた場合を説明する図である。 アプリケーションの表示制御の処理手順を示すフローチャートである。 ホームポジションを設定する例を説明する図である。 ホームポジションの位置にモニタが配置された場合に、当該モニタをホームポジションとして設定し直す例を説明する図である。 ホームポジションをモニタへリンクさせる処理手順を示すフローチャートである。 モニタをホームポジションとしている場合における、アプリケーションの表示制御の処理手順を示すフローチャートである。

以下、本発明の実施形態の例を、図面を用いて説明する。

図１（図１（ａ）～図１（ｃ））を参照して本実施形態によるヘッドマウントディスプレイの概観を説明する。図１は、ヘッドマウントディスプレイ１００の概観を示す図である。具体的に、図１（ａ）は、ユーザ１がヘッドマウントディスプレイ１００を装着した状態におけるヘッドマウントディスプレイ１００の上面図である。図１（ｂ）は、ヘッドマウントディスプレイ１００の正面図である。図１（ｃ）は、ヘッドマウントディスプレイ１００の側面図である。

ヘッドマウントディスプレイ１００は、ユーザ１が頭部に装着した状態で、アプリケーションをユーザ１に視認可能に表示し、実行する装置である。ヘッドマウントディスプレイ１００は、外界を撮像可能な第１撮像部１３３ａおよび第１撮像部１３３ｂを有する。また、ヘッドマウントディスプレイ１００は、透過型の表示手段である透過表示部１３１を有する。また、図１（ｃ）に示すように、ヘッドマウントディスプレイ１００は、音声出力部１４１（例えば、音声出力部１４１ａ）を有する。なお、透過表示部１３１の代わりに透過型ではない表示手段を用いるようにしてもよい。この場合、ヘッドマウントディスプレイ１００は、当該表示手段に撮像結果を表示する。

ヘッドマウントディスプレイ１００は、１または複数のアプリケーションを記憶しており、ユーザ１からの操作指示により、当該アプリケーションを透過表示部１３１に表示する。なお、ヘッドマウントディスプレイ１００は、アプリケーションを表示する位置を示す情報（例えば、絶対位置座標）を記憶しており、この情報に基づいてアプリケーションを表示する。

続いて、図２を用いて、ユーザ１から視認可能な領域を示す視認領域を説明する。図２は、視認領域を説明する図である。ここで視認領域とは、透過表示部１３１を通してユーザ１が視認できる角度範囲をいう。この視認領域が外界のどの領域に対応するかは、ヘッドマウントディスプレイ１００が外界に対してどの方向に向いているかで決まり、ユーザ１は、頭部の方向を変えることにより、任意の方向を視認領域内で視認することができる。さらに、ヘッドマウントディスプレイ１００は、ユーザ１の周囲の外界空間に重畳して広がる仮想的な空間に仮想オブジェクト（例えば、上述の透過表示部１３１に表示されるアプリケーションの表示画面・操作画面等）を配置する。これにより、ユーザ１は、当該仮想オブジェクトを視認することができる。また、ユーザ１は、ヘッドマウントディスプレイ１００に対して、所定の操作入力をすることにより、当該仮想オブジェクトを操作することができる。仮想オブジェクトは、外界の特定の位置に配置されているように視認される。なお、透過型でない表示手段を用いる場合、第１撮像部１３３により撮像された範囲が視認領域となる。

ヘッドマウントディスプレイ１００は、上述のように、ヘッドマウントディスプレイ１００が記憶しているアプリケーションを実行する。本実施形態のヘッドマウントディスプレイ１００は、ユーザ１がアプリケーションを操作（例えば、編集処理の操作）させる領域である操作領域（ホームポジション）を設定する。ここで、アプリケーションやホームポジションの位置は外界に対して固定される。

続いて、図３を用いてヘッドマウントディスプレイ１００のハードウェア構成を説明する。図３は、ヘッドマウントディスプレイ１００のハードウェア構成を説明する図である。ヘッドマウントディスプレイ１００は、主制御部１０１を有し、バス１０２を介して各種装置を制御する。この主制御部１０１は、ＣＰＵ（Central Processing Unit）等である。また、ヘッドマウントディスプレイ１００は、ＲＡＭ１０３、ストレージ１１０、センサ部１５０、通信部１６０、および拡張Ｉ／Ｆ部１７０を有する。センサ部１５０は、ＧＰＳ受信部１５１、ジャイロセンサ１５２、地磁気センサ１５３、および加速度センサ１５４を有する。

また、ヘッドマウントディスプレイ１００は、操作入力部１２０、透過表示部１３１、画像信号処理部１３２、第１撮像部１３３、第２撮像部１３４、音声出力部１４１、音声信号処理部１４２、および音声入力部１４３を有する。操作入力部１２０は、操作キー１２１、およびタッチセンサ１２２を有する。上述の構成要素が、動作することにより、ヘッドマウントディスプレイ１００の後述する機能が発揮される。

主制御部１０１は、ストレージ１１０に記憶されている各種情報処理プログラムを実行することにより、各種機能を実行させる演算処理装置である。ＲＡＭ１０３は、各種プログラム実行時のワークエリアとなる。ストレージ１１０は、主制御部１０１が第１撮像部１３３や第２撮像部１３４により撮像した画像や、各種情報を記憶する部分である。

センサ部１５０は、ヘッドマウントディスプレイ１００の位置および方向を特定するための情報を取得する部分である。センサ部１５０は、ＧＰＳ受信部１５１、ジャイロセンサ１５２、地磁気センサ１５３、および加速度センサ１５４を有する。

ＧＰＳ受信部１５１は、ＧＰＳ信号を受信して得られるＧＰＳ情報を取得する。ジャイロセンサ１５２は、ヘッドマウントディスプレイ１００の移動方位の検出を行う機能を有し、ヘッドマウントディスプレイ１００の方向変化に伴う角速度データを示すジャイロ情報を取得する。地磁気センサ１５３は、地磁気に基づいてヘッドマウントディスプレイ１００の絶対方位を表す角度を検出する方位検出装置の一種である。このような角度としては、例えば方位角を挙げることができる。加速度センサ１５４は、ヘッドマウントディスプレイ１００の加速度および傾斜角の少なくとも一方を検出する機能を有する。

このように、センサ部１５０は、ヘッドマウントディスプレイ１００の位置・方向を検出することができる。

通信部１６０は、無線通信する部分である。例えば、近距離無線通信する。拡張Ｉ／Ｆ部１７０は、周辺機器と接続するためのインターフェースである。

操作入力部１２０は、操作入力を受け付ける部分である。操作キー１２１は、ヘッドマウントディスプレイ１００の所定位置（例えば、ユーザ１の耳にかける部分）に設置される物理キーである。タッチセンサ１２２は、透過表示部１３１等に設置される入力用センサである。

透過表示部１３１は、シースルー型（透過型）の表示装置である。画像信号処理部１３２は、第１撮像部１３３または第２撮像部１３４による画像を解析して、当該解析結果を主制御部１０１等に出力する部分である。

第１撮像部１３３は、外界を撮像する部分である。第２撮像部１３４は、ユーザ１の眼を撮像する部分である。音声出力部１４１は、音声を出力するスピーカ等である。音声信号処理部１４２は、音声入力部１４３により入力された音声を解析する部分である。音声入力部１４３は、ユーザ１の音声を入力する部分であり、マイク等である。

続いて、図４を用いて、ヘッドマウントディスプレイ１００の機能説明をする。図４は、ヘッドマウントディスプレイ１００の機能ブロック図である。ヘッドマウントディスプレイ１００は、記憶部７１、設定受付部７２、位置特定部７３、撮像部７４、検出部７５、設定部７６、およびアプリ制御部７７（アプリケーション制御部）を有する。

記憶部７１は、各種情報を記憶する部分である。例えば、記憶部７１は、複数のアプリケーションを記憶している。また、記憶部７１は、撮像部７４により撮像された画像データを記憶してもよい。

設定受付部７２は、ユーザ１による設定要求を示す操作に応じて、操作領域設定要求を受け付ける部分である。設定受付部７２は、当該操作領域設定要求を受け付けると、位置特定部７３、撮像部７４および検出部７５へ当該操作領域設定要求を受け付けた旨を通知する。設定受付部７２は、当該操作領域設定要求を受け付けると、ホームポジション設定モードに移行する。ホームポジション設定モードとは、ホームポジションの設定を行うモードである。

なお、設定受付部７２は、ユーザ１による設定要求を示す操作を受け付ける代わりに、ヘッドマウントディスプレイ１００の電源が投入された際に、操作領域が設定されていない場合に、設定要求を自装置の制御部（例えば、主制御部１０１）から操作領域設定要求を受け付けるようにしてもよい。

また、設定受付部７２は、ユーザ１による使用指示を示す操作に応じて、操作領域使用要求を受け付ける部分である。設定受付部７２は、当該操作領域使用要求を受け付けると、位置特定部７３、撮像部７４および検出部７５へ当該操作領域使用要求を受け付けた旨を通知する。設定受付部７２は、当該操作領域使用要求を受け付けると、ホームポジション使用モードに移行する。ホームポジション使用モードとは、ホームポジションの使用（表示）を行うモードである。

位置特定部７３は、ヘッドマウントディスプレイ１００の位置および方向(指向方向)を特定する部分である。位置特定部７３は、例えば、センサ部１５０により実現される。位置特定部７３は、上記操作領域設定要求を受け付けた旨または、操作領域使用要求を受け付けた旨を設定受付部７２から受信すると、ヘッドマウントディスプレイ１００の位置および方向を特定する。位置特定部７３は、ヘッドマウントディスプレイ１００の位置および方向を特定し、特定した位置および方向を設定部７６へ送出する。また、位置特定部７３は、ホームポジション使用モードの場合、特定した位置および方向をアプリ制御部７７へ送出する。

撮像部７４は、ヘッドマウントディスプレイ１００を装着したユーザ１の部位を撮像する部分である。撮像部７４は、第１撮像部１３３や第２撮像部１３４等により実現される。撮像部７４は、設定受付部７２から操作領域設定要求を受け付けた旨の通知または操作領域使用要求を受け付けた旨を受信すると、撮像した結果を検出部７５へ送出する。撮像部７４は、例えば、上述の視認領域を含む箇所を撮像したり、ユーザ１の目周辺を撮像したりする。撮像部７４は、撮像した結果を検出部７５へ送出する。

検出部７５は、撮像部７４により撮像された画像に基づいて、ユーザ１が示す位置を検出する部分である。検出部７５は、設定受付部７２から操作領域設定要求を受け付けた旨の通知または操作領域使用要求を受け付けた旨を受信し、撮像部７４から撮像した結果を受信すると、ユーザ１が示す位置を検出する。

検出部７５は、撮像部７４から撮像した結果として、視認領域を含む箇所の画像を取得した場合、当該画像を公知の画像解析処理をして、当該視認領域中に含まれている指の動きを特定する。すなわち、検出部７５は、ユーザ１のジェスチャを検出し、当該ジェスチャに基づく位置を特定する。

例えば、検出部７５は、撮像部７４から撮像した結果から、ユーザ１により領域を示すジェスチャを検出して、当該検出した結果により示される領域を特定する。検出部７５は、ユーザ１の指の動作を検出し、当該指の動作に基づく領域（操作領域）の位置を特定する。検出部７５は、当該領域の位置を示す情報を設定部７６へ送出する。当該領域の位置を示す情報は、例えば、指により指定された位置に基づいた情報である。

また、検出部７５は、撮像部７４から撮像した結果として、ユーザ１の目周辺を撮像した画像を取得した場合、当該画像を公知の画像解析処理をして、ユーザ１の視線の先の位置を検出する。例えば、検出部７５は、当該ユーザ１の視線の先の位置として、透過表示部１３１上の視線の先の位置を検出する。この場合、検出部７５は、操作領域に関する情報として、当該位置を示す情報を設定部７６へ送出する。

設定部７６は、検出部７５により検出された結果と、位置特定部７３により特定された位置とに基づいて、記憶部７１に記憶されているアプリケーションを操作させるための領域である操作領域（ホームポジション）に関する情報（例えば、当該操作領域に関する位置）を設定する部分である。

設定部７６は、位置特定部７３により特定された位置および方向と、検出部７５により検出された結果により示される領域を示す情報とを取得した場合、当該領域を示す情報と、当該位置特定部７３により特定された位置および方向とを記憶部７１へ設定する。

設定部７６は、位置特定部７３により特定された位置および方向と、検出部７５により検出された結果により視線の先の位置または指の動作に基づく領域の位置に基づいて定められる領域の情報とを記憶部７１に設定する。

また、設定部７６は、検出部７５により検出された結果に基づく位置に対応するモニタを特定した場合、当該モニタの位置を操作領域の位置に設定するようにしてもよい。例えば、設定部７６は、検出部７５により検出された位置に対応する画像を撮像部７４から取得し、予め記憶しているモニタのテンプレートと当該画像とを比較して、モニタを検出した場合、当該モニタの識別情報を操作領域に関する情報として設定する。

アプリ制御部７７は、ユーザ１による操作要求に応じて、記憶部７１に記憶されているアプリケーションを透過表示部１３１の操作領域に表示させる部分である。アプリ制御部７７は、ユーザ１による操作要求により、所定のアプリケーションの編集操作要求がなされた場合、当該アプリケーションを操作領域に表示すると共に、当該アプリケーションを編集可能な状態とする。

また、アプリ制御部７７は、既にホームポジションに関する情報が記憶部７１に記憶されている場合、位置特定部７３から、ヘッドマウントディスプレイ１００の位置、方向を適宜取得し、当該位置および方向に基づいて、ホームポジションが視認領域に含まれるか否かを判断する。アプリ制御部７７は、ホームポジションが視認領域に含まれると判断すると、当該ホームポジションの領域を透過表示部１３１へ出力する。

また、アプリ制御部７７は、既に操作領域に関する情報が設定されている場合（操作領域に関する情報が設定済みである場合）に、当該位置に対応するモニタを特定した場合、当該モニタを新たな操作領域の位置に設定し直す。

また、アプリ制御部７７は、アプリケーションの表示位置を記憶しており、当該表示位置に基づいて、アプリケーションを表示する。当該表示位置は、ユーザの位置・向き等により定められる位置である。なお、記憶部７１が、アプリケーションの表示位置を記憶してもよい。

＜ホームポジションの設定＞
続いて、図５を用いてホームポジションの設定方法を説明する。図５は、ホームポジションの設定方法を説明する図である。前提として、操作入力部１２０が受け付けた操作に基づいて、ホームポジションの設定モードとなっているものとする。

上記のようにホームポジションの設定モードとなると、撮像部７４は、図５（ａ）に示す視認領域を所定期間撮像して、図５（ａ）に示すようなユーザ１の指を撮像する。例えば、検出部７５は、矩形領域の上部中央部分から、矩形領域の下部中央部分までの指の軌跡を検出する。

すなわち、検出部７５は、撮像部７４により撮像された結果を用いて図５（ａ）に示すような指の動き（ジェスチャ）を検出し、当該指の動きに基づいてユーザ１による指定領域（矩形領域）を特定し、ホームポジションとして設定する。さらに、検出部７５は、視認領域と、透過表示部１３１の領域との差異に基づいて、ホームポジションの基準位置を決定する。

例えば、検出部７５は、視認領域中における位置関係と、視認領域と透過表示部１３１の領域との大きさの違いに基づいて、透過表示部１３１におけるホームポジションの基準位置を決定する。ここで、上記基準位置の決定方法について、図５（ｂ）を用いて説明する。図５（ｂ）は、透過表示部１３１における表示領域を示す。

また、検出部７５は、高さＶと、距離ＶＵと、距離ＶＰと、距離ＶＬとの比率を算出する。高さＶは、透過表示部１３１の高さである。距離ＶＵは、透過表示部１３１の上部からホームポジションの上部までの距離である。距離ＶＰは、ホームポジションの上部からホームポジション下部までの距離である。距離ＶＬは、ホームポジション下部から透過表示部１３１の下部までの距離である。

また、検出部７５は、透過表示部１３１の幅Ｈ、透過表示部１３１の左部からホームポジションの左部までの距離ＨＬ、ホームポジションの左部からホームポジション右部までの距離ＨＰ、ホームポジション右部から透過表示部１３１の右部までの距離ＨＲの比率を算出する。

検出部７５は、ヘッドマウントディスプレイ１００から指の位置までの距離を算出し、当該距離、および上述の算出した比率に基づいて基準位置Ｐを定める。この基準位置Ｐは、透過表示部１３１中で表示する位置を示し、位置特定部７３により特定された現在位置および指向方向を組み合わせることにより、ホームポジションの外界での絶対位置を定めることができる。基本は、ここで求めた外界での絶対位置がホームポジションであるが、変形例として、図５（ｂ）で示した視認領域内の特定位置をホームポジションとして設定してもよい。この変形例の場合は、常にホームポジションを視認することができる。

なお、検出部７５は、上記のように比率を考慮せずに、指定された領域のまま位置を特定するようにしてもよい。

図５（ａ）では、ホームポジションの上部中央部分から、ホームポジションの下部中央部分までを指でなぞる場合の例を上げたが、他の方法によって、ホームポジションを指定してもよい。ここで、図６を用いて、ホームポジションの他の指定方法を説明する。図６は、ホームポジションの他の指定方法を説明する図である。例えば、図６（ａ）に示すように、ホームポジションの右上部から左下部へホームポジションの領域に沿って指定するようにしてもよい。また、図６（ｂ）に示すように、ホームポジションの右上部から左下部をホームポジションの領域の対角線に沿って指定するようにしてもよい。

また、検出部７５は、撮像結果に基づいて、ヘッドマウントディスプレイ１００からホームポジションの基準位置までの距離を算出する。図７（ａ）および図７（ｂ）を用いて、ヘッドマウントディスプレイ１００からホームポジションまでの距離を算出する方法を説明する。図７は、ヘッドマウントディスプレイ１００からホームポジションまでの距離を算出する方法を説明する図である。図７（ａ）は、ユーザ１がヘッドマウントディスプレイ１００を装着した状態におけるヘッドマウントディスプレイ１００の上面図であり、水平角を示す図である。図７（ｂ）は、ヘッドマウントディスプレイ１００の側面図であり、仰俯角を示す図である。

具体的に、検出部７５は、撮像した画像の指の位置に基づいて図７（ａ）に示すヘッドマウントディスプレイ１００の指向方向に対するホームポジションＡＲの基準位置の水平角αを算出する。また、検出部７５は、撮像した画像の指の位置に基づいて図７（ｂ）に示すヘッドマウントディスプレイ１００の指向方向に対するホームポジション基準位置の仰俯角βを算出する。

検出部７５は、撮像範囲の中央部分までの距離と、上記水平角αと、仰俯角βとに基づいてホームポジションＡＲの基準位置までの距離Ｌを算出する。

なお、検出部７５は、ヘッドマウントディスプレイ１００からホームポジションＡＲの基準位置までの距離と、ホームポジションＡＲの幅と高さと、ホームポジションＡＲの基準位置とを設定部７６へ送出する。これに応じて、設定部７６は、ヘッドマウントディスプレイ１００からホームポジションＡＲの基準位置までの距離Ｌと、ホームポジションの幅と、ホームポジションの高さと、ホームポジションの基準位置Ｐとをホームポジションに関する情報として、記憶部７１へ記憶する。なお、ホームポジションの基準位置Ｐの絶対座標は位置特定部７３が取得したヘッドマウントディスプレイ１００の位置、指向方向、上記水平角α、仰俯角β、および距離Ｌから算出可能であることは言うまでもない。

ここで、図８を用いて、ホームポジションＡＲを設定する手順を説明する。図８は、ホームポジションＡＲを設定する処理手順を示すフローチャートである。まず、設定受付部７２が、ユーザ１による設定要求を示す操作に応じて、操作領域設定要求を受け付けると、ホームポジション設定モードとする（ステップＳ１：Ｙｅｓ）。なお、設定受付部７２が、操作領域設定要求を受け付けていない場合（ステップＳ１：Ｎｏ）、処理を終了する。

設定受付部７２が、操作領域設定要求を受け付けると、位置特定部７３、撮像部７４および検出部７５へ当該操作領域設定要求を受け付けた旨を通知する。撮像部７４は、これに応じて、撮像動作を開始し（有効化）、撮像結果を検出部７５へ送出する（ステップＳ２）。

位置特定部７３は、ＧＰＳ受信部１５１等により、ヘッドマウントディスプレイ１００の現在位置を取得する（ステップＳ３）。また、位置特定部７３は、地磁気センサ１５３等により指向方向（ヘッドマウントディスプレイ１００の向いている方向）を取得する（ステップＳ４）。また、検出部７５は、撮像部７４から撮像結果を取得し、当該撮像結果に基づいて、ユーザ１の動きを特定し、当該撮像結果に基づいてユーザ１の指までの距離を算出する（ステップＳ５）。また、検出部７５は、上記撮像結果に基づいてホームポジションの高さ・幅を特定する（ステップＳ６）。また、検出部７５は、ユーザ１の指までの距離に基づいて基準位置Ｐを算出する。検出部７５は、ヘッドマウントディスプレイ１００からホームポジションＡＲの基準位置までの距離Ｌと、ホームポジションの幅と、ホームポジションの高さと、ホームポジションの基準位置Ｐとを設定部７６へ送出する（ステップＳ７）。

設定部７６は、上記基準位置ＰおよびホームポジションＡＲの高さ・幅を取得すると、ホームポジションＡＲの確認メッセージを透過表示部１３１へ表示して、設定確認する（ステップＳ８）。

ユーザ１による操作入力により、設定承認を示す入力がなされると（ステップＳ８：Ｙｅｓ）、設定部７６は、距離Ｌと、ホームポジションＡＲの高さ・幅と、基準位置Ｐと、を記憶部７１へ設定する。また、設定部７６は、位置特定部７３により特定された現在位置および指向方向もホームポジションＡＲに関する情報として、記憶部７１へ設定する（ステップＳ９）。

また、設定部７６は、撮像部７４へ設定完了の旨を通知し、撮像部７４は、撮像状態をオフ（無効化）にする（ステップＳ１０）。また、設定部７６は、ホームポジション設定モードを解除する。なお、ステップＳ８において、ユーザ１による操作入力により、設定否認を示す入力がなされると（ステップＳ８：Ｎｏ）、ステップＳ３へ移動する。

続いて、ユーザ１移動時のホームポジションＡＲの表示例を図９および図１０を用いて説明する。まず、図９を用いて、ユーザ１が装着したヘッドマウントディスプレイ１００において、ホームポジションＡＲを設定するまでを説明する。図９は、ユーザ１が装着したヘッドマウントディスプレイ１００において、ホームポジションＡＲを設定するまでの状態を説明するための図である。

図９（ａ）は、ユーザ１の部屋の見取り図である。図９（ａ）に示すように、ユーザ１の部屋には、ベッド６００と、机６０１と、椅子６０２と、書棚６０３と、ＴＶ台６０４と、ＴＶ６０５と、を含むものとする。

図９（ｂ）は、ユーザ１が椅子６０２に座った状態を示す図である。ヘッドマウントディスプレイ１００を装着したユーザ１は、椅子６０２に着席した状態で、操作入力部１２０を操作し、ヘッドマウントディスプレイ１００は、これに応じてホームポジションＡＲに関する情報を設定する。

続いて、図１０を用いてホームポジションの表示制御について説明する。図１０は、ホームポジションＡＲの表示制御について説明するための図である。図１０（ａ）は、ユーザ１がホームポジションとは異なる場所を見ている（ヘッドマウントディスプレイ１００がホームポジションとは異なる方向を向いている）例を示す図である。図１０（ａ）に示すように、ヘッドマウントディスプレイ１００の方向（視認領域）に基準位置Ｐが無い場合、ヘッドマウントディスプレイ１００は、ホームポジションＡＲを表示しない。

また、図１０（ｂ）は、ヘッドマウントディスプレイ１００がホームポジションＡＲの方向を向いている（即ち、視認領域に基準位置Ｐがある）例を示す。図１０（ｂ）に示すように、ヘッドマウントディスプレイ１００が、ホームポジションＡＲの方向を向いた場合、視認領域に基準位置Ｐが含まれるので、ヘッドマウントディスプレイ１００は、ホームポジションＡＲを表示する。この時のホームポジションの表示態様は、設定時の向きを保ったままでもよいし、ユーザ１の方向に向きを変えてもよい。

続いて、図１１を用いて、ホームポジションＡＲの表示制御をする処理手順を説明する。図１１は、ホームポジションＡＲの表示制御をする処理を示すフローチャートである。ユーザ１の操作入力により、ホームポジション使用モードが指定されている場合（ステップＳ１１：Ｙｅｓ）、アプリ制御部７７は、記憶部７１に記憶されているホームポジションＡＲに関する情報（現在位置、指向方向、距離Ｌ、ホームポジションの幅、高さ、基準位置Ｐ）を取得する（ステップＳ１２）。

続いて、アプリ制御部７７は、位置特定部７３から現在位置情報を取得する（ステップＳ１３）。また、アプリ制御部７７は、位置特定部７３から指向方向を取得する（ステップＳ１４）。

アプリ制御部７７は、記憶部７１に記憶されているホームポジションＡＲに関する情報と、位置特定部７３により特定された現在位置情報および指向方向とを比較する。アプリ制御部７７は、当該比較した結果、ホームポジションの基準位置Ｐが視認領域内であり（ステップＳ１５：Ｙｅｓ）、且つヘッドマウントディスプレイ１００からホームポジションの基準位置Ｐまでの距離が所定値以内である場合（ステップＳ１６：Ｙｅｓ）、ホームポジションを透過表示部１３１に表示する（ステップＳ１７）。なお、ステップＳ１５の条件に合致しない場合（ステップＳ１５：Ｎｏ）またはステップＳ１６の条件に合致しない場合（ステップＳ１６：Ｎｏ）、ステップＳ１８へ進む。

＜ホームポジションへのアプリケーション移動＞
続いて、図１２～図１７を用いて、ヘッドマウントディスプレイ１００が表示しているアプリケーションをホームポジションへ移動させる方法について説明する。

まず、図１２を用いて、ホームポジションを設定した時のホームポジションの表示例を説明する。図１２は、ホームポジションを設定した時のホームポジションの表示例を説明するための図である。図１２（ａ）は、ユーザ１が椅子６０２に座った状態を示す図である。この状態で、ヘッドマウントディスプレイ１００が、ユーザ１からの操作要求に応じてホームポジションを設定する。

図１２（ｂ）は、この状態において、ヘッドマウントディスプレイ１００の透過表示部１３１に表示される画像の例である。図１２（ｂ）に示すように、ヘッドマウントディスプレイ１００は、アプリＡＰ１（アプリＡ）、アプリＡＰ２（アプリＢ）を表示すると共に、ホームポジションを透過表示部１３１に表示する。

続いて、図１３に、ヘッドマウントディスプレイ１００が、ホームポジションとは異なる方向を向いている場合の例を示す。図１３（ａ）は、ヘッドマウントディスプレイ１００が、ホームポジションとは異なる方向を向いている例である。図１３（ｂ）は、図１３（ａ）の状態において、ヘッドマウントディスプレイ１００の透過表示部１３１に表示される画像の例を示す図である。

図１３（ｂ）に示すように、ヘッドマウントディスプレイ１００は、ホームポジションを表示せずに、当該方向に割り当てられているアプリＡＰ３（アプリＣ）、アプリＡＰ４（アプリＤ）、アプリＡＰ５（アプリＥ）、アプリＡＰ６（アプリＦ）を透過表示部１３１に表示する。

続いて、図１４に、ヘッドマウントディスプレイ１００が、アプリをホームポジションへ移動させる例を示す。図１４に示すように、図１３（ｂ）の状態において、ユーザ１による操作入力により、アプリＡＰ５が選択されると、メニューを表示する。このメニューにおいて、「呼ぶ」が選択されるものとする。この「呼ぶ」とは、ホームポジションに呼び出すことを示すメニューである。

メニューにおいて、「呼ぶ」が選択された後の状態について、図１５を用いて説明する。図１５（ａ）に示すように、図１３（ａ）と同様に、ユーザ１が向いている方向は、変わっていない。図１５（ｂ）は、メニュー選択後の透過表示部１３１の表示状態を示す図である。図１５（ｂ）に示すように、選択されて、「呼ぶ」が指定されたアプリＡＰ５は、ホームポジションへ移動しているため、表示対象から外れる。この場合、アプリ制御部７７は、当該アプリＡＰ５の移動前の位置および移動後の位置を記憶しておく。なお、アプリＡＰ５が呼ばれた後、ヘッドマウントディスプレイ１００は、移動前のアプリＡＰ５の箇所を、移動前よりも薄い色で表示するようにしてもよい。これにより、ユーザ１は、移動前のアプリＡＰ５の位置を視認することができ、この移動前のアプリＡＰ５の領域でアプリの表示位置を調整する際の参考にすることができる。

続いて、ユーザ１がホームポジションの位置する方向を向いた場合について図１６を用いて説明する。図１６（ａ）は、ユーザ１が姿勢を変えて、視認領域内にホームポジションが含まれる方向にヘッドマウントディスプレイ１００が向いている状態である。

図１６（ｂ）は、上記の状態における、ヘッドマウントディスプレイ１００の透過表示部１３１に表示される画像の例を示す図である。図１６（ｂ）に示すように、アプリ制御部７７は、ホームポジションＡＲの位置に、アプリＡＰ５を配置して表示する。また、アプリ制御部７７は、ユーザ１の入力操作により、アプリＡＰ５に対するメニュー表示要求を受け付けた場合に、メニューを表示し、「戻る」が選択されると、アプリＡＰ５を表示対象から外す。

続いて、再度ユーザ１が左方向を向いた場合について図１７を用いて説明する。図１７（ａ）は、ユーザ１が姿勢を変えて、左方向にヘッドマウントディスプレイ１００が向いている状態である。図１７（ｂ）は、上記の状態における、ヘッドマウントディスプレイ１００の透過表示部１３１に表示される画像の例を示す図である。

図１７（ｂ）に示すように、アプリ制御部７７は、アプリＡＰ５について「戻る」メニューが選択されたことにより、アプリＡＰ５を元の位置に戻して表示している。

続いて、アプリケーションの表示制御の処理手順について、図１８を用いて説明する。図１８は、アプリケーションの表示制御の処理手順を示すフローチャートである。まず、ホームポジション使用モードである場合（ステップＳ２１：Ｙｅｓ）、位置特定部７３がヘッドマウントディスプレイ１００の現在位置を取得する（ステップＳ２２）。また、位置特定部７３は、指向方向を取得する（ステップＳ２３）。アプリ制御部７７は、位置特定部７３から上記現在位置と指向方向とを取得し、記憶しているアプリケーションの表示位置に基づいて、現在位置および指向方向に応じたアプリケーションを表示する（ステップＳ２４）。

アプリ制御部７７は、何れかのアプリケーションが選択されたことを検出した場合（ステップＳ２５：Ｙｅｓ）、メニューを表示する（ステップＳ２６）。アプリ制御部７７は、選択されたコマンドを特定する（ステップＳ２７）。アプリ制御部７７は、特定したコマンドが「戻す」であれば、選択されたアプリを元の位置に移動させて（ステップＳ２９）、ステップＳ３０へ進む。また、アプリ制御部７７は、特定したコマンドが「呼ぶ」であれば、選択されたアプリをホームポジションへ移動させて（ステップＳ２８）、ステップＳ３０へ進む。また、アプリ制御部７７は、「呼ぶ」「戻す」以外のメニューが選択された場合、何もせずにステップＳ３０へ進む。ステップＳ３０において、ホームポジション使用モードの終了を示す指示がなされていない場合（ステップＳ３０：Ｎｏ）、ステップＳ２２へ進む。また、ステップＳ３０において、ホームポジションの終了を示す指示がなされている場合（ステップＳ３０：Ｙｅｓ）、処理を終了する。

＜モニタとのリンク処理＞
続いて、ホームポジションＡＲの位置にモニタがある場合に、当該モニタをホームポジションＡＲとするようにリンクする例を説明する。まず、ホームポジションＡＲを設定する例を説明する。図１９（ａ）は、ユーザ１が椅子６０２に座った状態を示す図である。ヘッドマウントディスプレイ１００を装着したユーザ１は、椅子６０２に着席した状態で、操作入力部１２０を操作し、これに応じてホームポジションＡＲを設定する。図１９（ｂ）は、上記の状態における、ヘッドマウントディスプレイ１００の透過表示部１３１に表示される画像の例を示す図である。図１９（ｂ）に示すように、アプリ制御部７７は、透過表示部１３１にホームポジションＡＲを表示する。

続いて、ホームポジションＡＲの位置にモニタ７００が配置された場合に、当該モニタ７００をホームポジションＡＲとして設定し直す例について、図２０を用いて説明する。

図２０（ａ）は、ユーザ１が椅子６０２に座った状態において、ユーザ１の前にモニタが配置されている例を示す図である。

このような状態において、アプリ制御部７７は、ホームポジションの範囲にモニタが配置されているか否かを判断する。例えば、アプリ制御部７７は、撮像部７４による撮像結果と、予め記憶しているモニタのテンプレートとを比較してモニタが存在するか否かを判断する。

アプリ制御部７７は、モニタが存在すると判断した場合、当該モニタと接続するか否かを問い合わせるメッセージを透過表示部１３１に表示する。モニタと接続する旨、ユーザ１の操作入力がなされると、アプリ制御部７７は、モニタに対して近距離無線通信して、当該モニタと情報の送受信が可能である状態にすると、当該モニタの識別情報を取得し、当該モニタの識別情報をホームポジションＡＲに関する情報として追加する。このように、アプリ制御部７７は、設定修正部として機能する。

そして、アプリ制御部７７は、図２０（ｂ）に示すように、当該モニタをホームポジションＡＲとして表示する。また、変形例として、視認領域にモニタ７００が視認できる場合、そのモニタ７００の画面を新たなホームポジションとして設定するという方法でもよい。その場合、必要に応じてモニタとリンクしていない元のホームポジション設定に戻せるようにしてもよい。

続いて、ホームポジションＡＲをモニタへリンクさせる処理手順について、図２１を用いて説明する。図２１は、ホームポジションＡＲをモニタ７００へリンクさせる処理手順を示すフローチャートである。図２１に示すステップＳ３１～ステップＳ３５については、図１１に示したステップＳ１１～ステップＳ１５とそれぞれ同じであるので、説明を省略する。

ステップＳ３６において、アプリ制御部７７は、撮像部７４による撮像結果と、予め記憶しているモニタ７００のテンプレートとを比較して、ホームポジションの範囲に、モニタ７００が存在するか否かを判断する（ステップＳ３６）。ホームポジションＡＲの範囲にモニタ７００が存在する場合（ステップＳ３６：Ｙｅｓ）、アプリ制御部７７は、モニタ７００とリンクするか否かを問い合わせるメッセージを出力する（ステップＳ３７）。ユーザ操作により、リンク解除を示す指定がされた場合、モニタ７００とのリンクを解除して（ステップＳ４０）、ステップＳ４１へ進む。なお、ホームポジションＡＲの範囲にモニタ７００が存在しない場合（ステップＳ３６：Ｎｏ）、ステップＳ４１へ進む。

ステップＳ３７において、モニタとリンクする旨のユーザ操作がなされた場合（ステップＳ３７：Ｙｅｓ）、リンク可能なモニタ７００が複数ある場合、モニタ７００の一覧を表示し、モニタ７００の選択を受け付ける（ステップＳ３８）。なお、モニタ７００が１台のみの場合、ステップＳ３８の処理を省略してもよい。アプリ制御部７７は、選択されたモニタ７００とリンクして（ホームポジションを当該モニタに再設定する）（ステップＳ３９）、ステップＳ４１へ進む。

ステップＳ４１において、ホームポジション使用モードを終了する旨の指示がなされた場合（ステップＳ４１：Ｙｅｓ）、処理を終了する。また、ステップＳ４１において、ホームポジション使用モードを終了する旨の指示がなされていない場合（ステップＳ４１：Ｎｏ）、ステップＳ３３へ進む。

続いて、モニタ７００をホームポジションとしている場合における、アプリケーションの表示制御の処理手順について、図２２を用いて説明する。図２２は、モニタ７００をホームポジションＡＲとしている場合における、アプリケーションの表示制御の処理手順を示すフローチャートである。なお、図２２に示すステップＳ５１～ステップＳ５７、ステップＳ６２については、図１８に示したステップＳ２１～ステップＳ２７、ステップＳ３０とそれぞれ同じであるので、説明を省略する。

ステップＳ５７において、特定したコマンドが「戻す」であれば、モニタ７００に表示させる対象がなくなるので、アプリ制御部７７は、選択されたアプリのモニタ出力を終了し（ステップＳ６０）、当該アプリを元の位置に移動させて（ステップＳ６１）、ステップＳ６２へ進む。

また、ステップＳ５７において、特定したコマンドが「呼ぶ」であれば、アプリ制御部７７は、選択されたアプリの表示を終了して（ステップＳ５８）、当該アプリをホームポジションであるモニタ７００へ表示させて（ステップＳ５９）、ステップＳ６２へ進む。また、アプリ制御部７７は、「呼ぶ」「戻す」以外のメニューが選択された場合、何もせずにステップＳ６２へ進む。

上述のように、ヘッドマウントディスプレイ１００では、記憶部７１が、アプリケーションを記憶する。撮像部７４は、ユーザの部位を撮像し、位置特定部７３が、ヘッドマウントディスプレイ１００の位置および方向を特定する。検出部７５は、撮像部７４により撮像された画像に基づいて、ユーザ１の状態を検出し、設定部７６は、検出部７５により検出された結果と、位置特定部７３により特定された位置および方向とに基づいて、ホームポジションを示す位置を設定する。

ヘッドマウントディスプレイ１００は、ユーザの入力指定により、アプリケーションを操作する領域を設定するので、ユーザが操作しやすい位置でアプリケーションを操作させることができる。

具体的に、撮像部７４は、ユーザ１の指を含む部分を撮像して、検出部７５は、当該撮像結果により、ユーザ１のジェスチャを検出して、設定部７６は、当該ジェスチャによる位置を用いてホームポジションに関する位置を設定する。この場合、ヘッドマウントディスプレイ１００は、ユーザ１の指動作（ジェスチャ）結果に基づいてホームポジションに関する位置を設定するので、煩雑な操作入力ではなく、直感的で簡易な操作によりホームポジションを設定できる。

また、撮像部７４が、ユーザ１の目周辺を撮像し、検出部７５が、撮像部７４による撮像結果を用いてユーザの視線を検出し、当該視線による位置を検出し、設定部７６は、視線による位置を用いてホームポジションに関する位置を設定する。この場合も、ヘッドマウントディスプレイ１００は、煩雑な操作入力ではなく、直感的で簡易な操作によりホームポジションを設定できる。

また、検出部７５により検出された位置および位置特定部７３により特定された位置に基づいた位置にモニタ７００がある場合、設定部７６は、当該モニタ７００の位置をホームポジションＡＲに関する位置に設定する。この場合、ヘッドマウントディスプレイ１００は、ユーザ１のジェスチャなどによる直感的な操作により、モニタ７００をホームポジションＡＲとして設定することができる。

また、設定部７６により、ホームポジションＡＲに関する位置が設定されている場合に、アプリ制御部７７は、当該位置に対応する位置に、モニタ７００を新たに特定した場合、当該モニタの位置を新たにホームポジションとして設定し直す。これにより、ヘッドマウントディスプレイ１００は、ホームポジションを設定した後に、ユーザ１による新たな位置指定を示す操作を必要とせずにモニタの位置をホームポジションに設定することができる。

また、アプリ制御部７７は、所定の入力操作に応じて、記憶部７１で記憶しているアプリケーションをホームポジションへ表示するように制御することで、ユーザが操作しやすい位置にアプリケーションを表示することができる。

上述の実施形態では、特に述べなかったが、複数のホームポジションを設定してもよい。また、この場合に、ヘッドマウントディスプレイ１００の現在位置に基づいて、対象のホームポジションを決定するようにしてもよいし、ユーザ操作により指定されたホームポジションを優先するようにしてもよい。

位置特定部７３は、緯度経度等の現在位置に基づいて位置を特定する場合について述べたが、他の種々の方法により位置を特定するようにしてもよい。例えば、基準となる物体（ランドマークとなる物体）に基づいた相対位置を特定するようにしてもよい。

上述の実施形態では、特に述べなかったが、コマンド指定（例えば、「呼ぶ」等）を音声入力により指定するようにしてもよい。

上述の実施形態では、ホームポジションに関する情報として、現在位置および指向方向以外に距離Ｌ、ホームポジションの幅、高さ、および基準位置Ｐを設定する場合について述べたが、距離Ｌ、ホームポジションの幅、高さについては、予め定められている値を保持しておき、現在位置および指向方向と、基準位置Ｐとを設定するようにしてもよい。

前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。ハードウェアとソフトウェアを併用してもよい。

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

前記実施の形態は、以下の形態を含む 。
（付記１）
アプリケーションを記憶するヘッドマウントディスプレイであって、
前記ヘッドマウントディスプレイを装着したユーザの部位を撮像する撮像部と、
前記撮像部により撮像された画像に基づいて、前記ユーザが示す位置を検出する検出部と、
前記ヘッドマウントディスプレイの位置および方向を特定する位置特定部と、
前記検出部により検出された結果と、前記位置特定部により特定された位置および方向とに基づいて、前記アプリケーションを操作する領域である操作領域に関する情報を設定する設定部と、
を備える、
ヘッドマウントディスプレイ。

（付記２）
アプリケーションを記憶するヘッドマウントディスプレイで実行する設定方法であって、
ユーザの部位を撮像する撮像ステップと、
前記撮像ステップで撮像した画像に基づいて、前記ヘッドマウントディスプレイを装着したユーザが示す位置を検出する検出ステップと、
前記ヘッドマウントディスプレイの位置および方向を特定する位置特定ステップと、
前記検出ステップで検出した結果と、前記位置特定ステップで特定した位置および方向とに基づいて、前記アプリケーションを操作する領域である操作領域に関する情報を設定する設定ステップと、を含む、
設定方法。

１…ユーザ、７１…記憶部、７２…設定受付部、７３…位置特定部、７４…撮像部、７５…検出部、７６…設定部、７７…アプリ制御部、１００…ヘッドマウントディスプレイ、１０１…主制御部、１０３…ＲＡＭ、１１０…ストレージ、１２０…操作入力部、１２１…操作キー、１２２…タッチセンサ、１３１…透過表示部、１３２…画像信号処理部、１３３…第１撮像部、１３４…第２撮像部、１４１…音声出力部、１４２…音声信号処理部、１４３…音声入力部、１５０…センサ部、１５１…ＧＰＳ受信部、１５２…ジャイロセンサ、１５３…地磁気センサ、１５４…加速度センサ、１６０…通信部、１７０…拡張Ｉ／Ｆ部。

Claims (4)

1. 仮想空間の任意の位置に配置された仮想オブジェクトを視認可能なヘッドマウントディスプレイで実行する仮想オブジェクト操作方法であって、
   前記仮想空間または前記仮想オブジェクトを操作するための操作入力を受け付ける操作受付ステップと、
   前記操作受付ステップにおいて操作領域設定操作を受け付けた場合に、前記仮想空間の所定の位置に、前記仮想オブジェクトを操作する領域である操作領域を設定する操作領域設定ステップと、
   前記操作受付ステップにおいて仮想オブジェクト選択操作を受け付けた場合に、前記仮想空間の任意の位置に配置された仮想オブジェクトから所定の仮想オブジェクトを選択する仮想オブジェクト選択ステップと、
   前記操作受付ステップにおいて仮想オブジェクト編集要求操作を受け付けた場合に、前記仮想オブジェクト選択ステップで選択された前記所定の仮想オブジェクトを、前記操作領域設定ステップで設定された前記操作領域に移動する仮想オブジェクト呼び出しステップと、
   を含む、仮想オブジェクト操作方法。
2. 請求項１に記載の仮想オブジェクト操作方法であって、
   前記操作受付ステップにおいて仮想オブジェクト編集終了操作を受け付けた場合に、前記操作領域にある前記所定の仮想オブジェクトを選択し、前記選択された前記所定の仮想オブジェクトが元々配置されていた仮想空間内の任意の位置に移動する仮想オブジェクト戻しステップ、
   を更に含む、仮想オブジェクト操作方法。
3. 仮想空間の任意の位置に配置された仮想オブジェクトを視認可能なヘッドマウントディスプレイであって、
   前記仮想空間または前記仮想オブジェクトを操作するための操作入力を受け付ける操作受付部と、
   制御部と、
   を備え、
   前記制御部は、
   前記操作受付部が操作領域設定操作を受け付けた場合に、前記仮想空間の所定の位置に、前記仮想オブジェクトを操作する領域である操作領域を設定し、
   前記操作受付部が仮想オブジェクト選択操作を受け付けた場合に、前記仮想空間の任意の位置に配置された仮想オブジェクトから所定の仮想オブジェクトを選択し、
   前記操作受付部が仮想オブジェクト編集要求操作を受け付けた場合に、前記選択された前記所定の仮想オブジェクトを、前記設定された前記操作領域に移動する、
   ヘッドマウントディスプレイ。
4. 請求項３に記載のヘッドマウントディスプレイであって、
   前記制御部は、更に、
   前記操作受付部が仮想オブジェクト編集終了操作を受け付けた場合に、前記操作領域にある前記所定の仮想オブジェクトを選択し、前記選択された前記所定の仮想オブジェクトが元々配置されていた仮想空間内の任意の位置に移動する、
   ヘッドマウントディスプレイ。

Images