JP6813640B2 - ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム - Google Patents

Description

本発明は、ユーザの頭部に装着して、ユーザ視野内に仮想空間における画像を表示し、頭部を動かすことによる簡単な操作で該画像においてメニューを表示／非表示操作可能なヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法及びプログラムに関する。

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示することが可能なヘッドマウントディスプレイ（ＨＭＤ）が知られている。そして、従来、ＨＭＤでアプリケーション進行中にメニュー表示／非表示の切換は、例えばＨＭＤに接続されたコントローラによるボタン操作を用いていた。

上記背景技術に係るシステムにおいては、ＨＭＤを装着しているユーザは仮想空間に没入しているため、ユーザは手元を観察することができず、コントローラから指が一旦外れてしまうと、誤ったボタン操作を行うことがあった。特に、非透過型のＨＭＤによりユーザが全視界を覆われている場合、ユーザは外界を全く観察することができない。 また、メニュー画像を操作画面中の所定の場所、例えば操作中の現在表示されているアプリケーション画面の上方に表示する場合には、ユーザは頭部を動かさずに眼球のみを動かして画面情報に表示されたメニュー画像を観察する必要がある。特に仮想空間が３次元空間である場合、ユーザはさらにメニューに目の焦点を合わせるよう調節する必要があり、このようなメニュー表示はユーザに無理な視点調整を強いていた。

（１）本発明は、仮想空間における画像を表示するヘッドマウントディスプレイシステムであって、アプリケーション進行中のユーザが装着するヘッドマウントディスプレイの初期角度からの傾きを検出する傾き検出部と、検出された傾きに応じて、仮想空間に進行中のアプリケーション画像を生成しヘッドマウントディスプレイへ出力する表示制御部と、を備え、表示制御部は、検出された傾きが第１の閾値よりも大きい場合に、傾きに応じて生成されたアプリケーション画像にメニュー画像を重ねた画像を生成して、ヘッドマウントディスプレイへ出力することを特徴とする、ヘッドマウントディスプレイシステムに関する。

さらに本発明は、メニュー画像がヘッドマウントディスプレイに出力されている場合に、傾き検出部が検出する傾きが負であり、かつその絶対値が第２の閾値よりも大きい場合に、表示制御部は、前記傾きに応じて、仮想空間上にメニュー画像を重ねないアプリケーション画像を生成してヘッドマウントディスプレイへ出力する、ヘッドマウントディスプレイシステムに関する。

本発明によれば、仮想空間に没入しているユーザが頭部の動きにより、仮想空間におけるアプリケーションの所定の操作、例えばメニューの表示／非表示操作を行うことができる。仮想空間に没入しているユーザにとって、仮想空間内でメニューを観察するために眼球のみによる無理な視点／焦点調整を行う必要が無いため操作性がよい。
（２） また、本発明は、検出された傾きが第１の閾値よりも大きい場合に、さらにアプリケーションの進行を一時停止することを特徴とする。

さらに、本発明は、アプリケーションの進行が一時停止されている場合に、傾き検出部が検出する傾きが負であり、かつその絶対値が第２の閾値よりも大きい場合に、アプリケーションの進行を再開することを特徴とする。

本発明によれば、仮想空間に没入しているユーザが頭部の動きによる操作により、仮想空間におけるアプリケーションの一時停止／再開操作を行うことができる。すなわち、本発明によれば仮想空間に没入しているユーザの頭部の簡易な動作により、仮想空間におけるアプリケーションの所定の操作行うことができる。

この発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。

本発明の一実施例に従った、ＨＭＤシステム１００の概略図を示す。 本発明の一実施例に従った、赤外線センサと接続されたＨＭＤ１１０の概略図を示す。 本発明の一実施例に従った、ＨＭＤシステム１００の表示処理を実現するための機能的構成を示す。 本発明の一実施例に従った、３次元空間上の直交座標系における第１の閾値θｔｈ１と、第２の閾値θｔｈ２を示す。 本発明の一実施例に従った、３次元空間上の直交座標系におけるＨＭＤ１１０を装着しているユーザを示す。 本発明の一実施例に従った、ユーザが水平方向を眺めたときの、ＨＭＤ１１０のディスプレイに表示される画面を示す。 本発明の一実施例に従った、ユーザが上方向を眺めたときのＨＭＤ１１０のディスプレイに表示される画面を示す。 本発明の一実施例に従った、ＨＭＤシステムにおける表示を制御するための処理の流れを示す。 本発明の一実施例に従った、赤外線センサにより検知されるＨＭＤ上に仮想的に設けられた複数の検知点を示す。

以下、本実施形態について説明する。図１Ａは、本発明の一実施例に従った、ＨＭＤシステム１００の概略図である。図１Ａに示すようにＨＭＤシステム１００は、ディスプレイ１１２と、角速度センサ１１４とを備えるＨＭＤ１１０と、制御回路部１２０とを備えることができる。ＨＭＤ１１０のディスプレイ１１２はユーザの視界を完全に覆うよう構成された非透過型表示装置であり、ユーザはディスプレイ１１２に表示される画面のみを観察することができる。該ＨＭＤ１１０を装着したユーザは外界の視界を全て失うため、制御回路部１２０において実行されるアプリケーションにより表示される仮想空間に完全に没入することができる。制御回路部１２０は、ユーザの頭部に装着されるＨＭＤ１１０に搭載することもできるし、ＨＭＤ１１０に搭載せずに別のＨＷ、例えば公知のパーソナルコンピュータにより構成することができる。角速度センサ１１４はディスプレイ１１２近辺に固定されており、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の動きに応じて、ＨＭＤ１１０のＸ、Ｙ、Ｚ軸回りの角速度を経時的に検出することができる。傾き検出部２１０は角速度センサ１１４により経時的に検出されたＸ、Ｙ、Ｚ軸回りの角速度に基づいて、各軸回りの角度（傾き）の時間変化を求めることができる。なお、図３Ｂに示すようにユーザが直立する方向である垂直方向をＹ軸とし、Ｙ軸と直交しディスプレイ１１２とユーザを結ぶ方向の軸をＺ軸、Ｙ、Ｚ軸と直交する方向の軸をＸ軸とする。

図１Ｂは、本発明の他の一実施例に従った、ＨＭＤシステム１００の概略図である。図１Ｂにおいて、赤外線センサ１３０が制御回路部１２０に通信可能に接続されている。図１ＢにおいてＨＭＤ１１０は角速度センサ１１４を備えていない。図６に例示的に示すように、赤外線センサ１３０はＨＭＤ１１０上に仮想的に設けられた赤外線を発信する複数の検知点の３次元の実空間内の位置をユーザの動きに対応して経時的に検出する。傾き検出部２１０は、赤外線センサ１３０により経時的に検出された複数の検知点の３次元の実空間内の位置の時間変化に基づいて、ＨＭＤ１１０の動きに応じた各軸回りの角度の時間変化を求めることができる。

なお、図１Ａ、図１Ｂには図示されていないが、ユーザにより保持される公知のスマートフォン、携帯端末をＨＭＤのコントローラとして使用することができる。コントローラは制御回路部１２０に通信可能に接続されることができる。

図２は、本発明の一実施例に従った、ＨＭＤシステム１００の表示処理を実現するための機能的構成を示す。
傾き検出部２１０は、センサ１１４／１３０からの出力に基づいて、ユーザの頭部に装着されたＨＭＤ１１０の各軸方向の傾き（図３Ａ，Ｂに示すようにＨＭＤのＹ軸を軸とした回転を示すヨー角、Ｘ軸を軸とした回転を示すピッチ角、Ｚ軸を軸とした回転を示すロール角）を検出することができる。

表示制御部２２０は、センサにより検出されたＨＭＤの傾き、例えば、ＨＭＤのＹ軸とした左右の傾き（いわゆるヨー角）に応じて、ディスプレイ１１２に表示される進行中のアプリケーション画像を生成し、ディスプレイ１１２へ出力する。この場合、例えば、ユーザが左９０°方向を向くと、表示制御部２２０は、ユーザの９０°左方向に存在する仮想空間画像を生成する。表示制御部２２０は、図４Ａに示すようにＨＭＤ１１０を装着したユーザの頭部の動きに連動して、その動きに対応した仮想空間画像を生成し、ディスプレイ１１２へ出力する。

また、表示制御部２２０は、判定部２２２、メニュー画像合成部２２４を備えることができる。判定部２２２は、検出されたＨＭＤ１１０の傾きのうち１つ、例えば図３Ａに示すようにＸ軸を中心として上下の傾きを示すピッチ角θが所定の方向に第１の閾値θｔｈ１よりも大きいか否か判定する。検出された傾きが第１の閾値θｔｈ１よりも大きい場合に、表示制御部２２０はアプリケーションの進行を一時停止（ポーズ）する。そして、メニュー画像合成部２２４は、仮想空間内の画像に、メニュー画像を合成した画像を生成する。表示制御部２２０は、メニュー画像合成部２２４により生成された合成画像をディスプレイ１１２へ出力する。ユーザは、制御回路部１２０と通信可能に接続されたコントローラを用いてメニュー画像に表示されるメニューを選択することができる。

メニュー画像を表示するエリアはアプリケーション毎に事前に定めることができる。例えばユーザにより操作されるアプリケーションが、３次元空間内の水平平面上でゲームキャラクタの動作の操作を行うものである場合に、ゲーム中には使用しない空間内の左右を軸として回転して得られる仮想空間内の上方エリアを、メニュー画像を表示するエリアとすることができる。

また、第１の閾値θｔｈ１は、アプリケーション毎に事前に定めることができる。ユーザがアプリケーション操作中に頭部を動かすことによって通常推移するＨＭＤのピッチ角が例えば±１０°程度であるとき、アプリケーション操作中のユーザ動作と、メニュー画像を表示させるために意識的にアプリケーションの進行中には通常使用しないエリアを向く動作とを明確に区別するために、第１の閾値θｔｈ１は、例えば＋３０°と設定することができる。アプリケーション操作中の通常の動作範囲よりも一定角度（例えば２０°）以上大きい角度を設定することで、誤作動をなくすことができる。なお、本実施形態では、メニュー画像を表示するエリアが、アプリケーションの進行上仮想空間内の上方エリアにあることが好ましいことから、ＨＭＤのピッチ角を用いて閾値を設定しているが、メニュー画像を表示するエリアが、例えば、アプリケーションの進行上Ｙ軸を中心とした左右方向エリアにあることが好ましい場合には、ヨー角を用いて閾値を設定することができる。

さらに、判定部２２２は、検出されたＨＭＤ１１０の傾きのうち１つが、前記所定の方向とは逆方向に第２の閾値θｔｈ２（図３Ａ）を超えたか否か判定する。例えば負の方向に、ピッチ角θが第２の閾値θｔｈ２を超えた場合に、表示制御部２２０は一時停止していたアプリケーションの進行を再開する。そして、表示制御部２２０は、メニュー画像を重ねない仮想空間画像をディスプレイへ出力する。なお、第２の閾値θｔｈ２は第１の閾値θｔｈ１以上の大きさを有し、無意識にアプリケーション画像の切り換え操作、すなわちメニュー画像の表示／非表示操作の誤作動を行わないようにすることができる。ユーザは一定時間に亘って上方向を向いていると首が疲れ無意識に頭を徐々に下へ降ろしてしまうことがあるため、ＨＭＤを装着したユーザがメニュー表示、アプリケーションの一時停止のために上方向に意識して首を動かすときよりも、アプリケーションの再開のために下方向に首を動かすときの傾きを大きくする。

本発明によると、ユーザは、コントローラ等を用いたボタン操作、及び無理な視点／焦点調整をすることなく、頭部の動きのみでアプリケーション上の所定の操作、例えばメニュー画像を表示／非表示等させることができる。特にＨＭＤを装着して立体的な映像を観察するユーザは、その映像の奥行きに応じて目の焦点を調整する必要があり、さらにメニュー画像を表示する位置によってはユーザに無理な視点の調整を強いることになる。例えばメニュー画像をユーザが操作中の現在表示されているアプリケーション画面の上方に表示すると、ユーザは眼球の運動のみによって画面上方に表示されたメニュー画像を観察する必要がある。しかしながら、ユーザにとって眼球のみを動かすことは難しく、ユーザは無意識に頭部全体を上方へ向けてしまう。本発明においては、ユーザは頭部を上方へ向けるのみでアプリケーションの進行を一時停止し、さらにメニュー画像を表示させることができるため操作性が良い。

なお、図２において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることは当業者に理解されるであろう。

図４Ａは、ＨＭＤ１１０を装着したユーザが初期角度である水平方向から例えば±１０°程度の領域を観察するときに仮想的にディスプレイ１１２に表示される３次元の仮想空間内のアプリケーション進行中の画像を示す。また、図４Ａは、図４Ｂに示す状態から、ユーザが実空間内の左右を軸として第２の閾値θｔｈ２よりも大きい傾きで下方に頭を傾けたときに、仮想的に表示される３次元の仮想空間内の画像を示す。±１０°程度の領域とは、前述したように、ユーザがアプリケーション操作中に頭部を動かすことによって推移するピッチ角の範囲である。

図４Ｂは、ＨＭＤシステム１００を装着したユーザが、図４Ａの状態から実空間内の左右を軸として第１の閾値θｔｈ１よりも大きい傾きで上方に頭を傾けたときに、仮想的に表示されるメニュー画像が合成された仮想空間内の画像を示す。本実施例では、ユーザが上方向を眺めると、ユーザが向いた方向に連動してアプリケーション画像が変化して表示される画像（図４Ｂにおいては「空」の画像）にメニュー画像が浮かぶように合成されている。図４Ｂにおいて、メニュー画像は進行中のアプリケーションにおいて使用される３つのゲームキャラクタ、及びそのうち１つのゲームキャラクタのステータスが詳細表示されている。ユーザは、制御回路部１２０と通信可能に接続されたコントローラを用いてメニュー画像に表示されるメニュー、例えば図４Ｂに示される「リタイア」を選択することができる。

次に、図５を参照してＨＭＤシステムの表示を制御するための処理の流れを説明する。
角速度センサ１１４により検出される角度は相対的であるため、まず、ユーザの頭部に装着されたＨＭＤ１１０の初期設定を行う。ＨＭＤ１１０を装着しているユーザが水平方向を観察しているときに角速度センサ１１４より取得されるピッチ角を初期値として設定する（ステップ５０２）。ただし、赤外線センサ１３０によりＨＭＤ１１０の各軸方向の角速度を取得する場合には、ＨＭＤの水平方向の検出が可能であるため初期設定は不要である。

さらに、ステップ５０２において第１の閾値θｔｈ１、第２の閾値θｔｈ２を初期設定することができる。ユーザによるアプリケーション操作の誤動作をなくすために、第１の閾値θｔｈ１は第２の閾値θｔｈ２以下に設定することができる。

次に、ユーザによりアプリケーションが開始／進行されると、表示制御部２２０はＨＭＤ１１０のディスプレイ１１２にアプリケーション画像を表示する（ステップ５０４）。ユーザはディスプレイ１１２に表示された仮想空間画像のみを観察することができる。

次に、傾き検出部２１０は、ユーザの頭部の動きに応じて得られるセンサ１１４／１３０の出力に基づいて各軸周りの角速度から、図３Ａに示すＨＭＤのＸ軸を中心として上下の傾きを示すピッチ角θを検出する（ステップ５０６）。

次に、表示制御部２２０の判定部２２２は、検出されたＨＭＤの左右を軸とした上下の傾きθ（いわゆるピッチ角）が正であり、かつ第１の閾値θｔｈ１よりも大きいか否かを判定する（ステップ５０８）。θが正でありかつ第１の閾値θｔｈ１より大きい場合、表示制御部２２０はアプリケーションの進行を一時停止し、θに対応する仮想空間内のアプリケーション画像にメニュー画像を重ねた合成画像を生成する。そして、表示制御部２２０は生成された合成画像をディスプレイ１１２へ出力する（ステップ５１０）。例えば、ＨＭＤを装着したユーザが頭部を動かして第１の閾値θｔｈ１よりも大きく首を傾けて上方向を観察すると、ユーザは、アプリケーションを一時停止すると共に、該傾けた傾きθに対応する仮想空間内のアプリケーション画像にメニュー画像を重ねた合成画像を観察することができる。このように、ユーザは頭部の動きのみでアプリケーションを一時停止させ、かつメニュー画像を表示させることができる。

次に、傾き検出部２１０は、ユーザの頭部の動きに応じて得られるセンサ１１４／１３０の出力に基づいて各軸周りの角速度から傾きθを検出する（ステップ５１２）。
次に、表示制御部２２０の判定部２２２は検出された傾きθが負であり、かつθの絶対値が第２の閾値θｔｈ２よりも大きいか否かを判定する（ステップ５１４）。ステップ５１４においてθが負であり、θの絶対値が第２の閾値θｔｈ２よりも大きい場合、表示制御部２２０はアプリケーションの一時停止を解除しアプリケーションの進行を再開する。さらに表示制御部２２０は、アプリケーション画像からメニュー画像を消去して、検出された傾きθに対応する仮想空間内のアプリケーション画像をディスプレイ１１２へ出力し（ステップ５１６）、ステップ５０６へ戻る。

一方、ステップ５０８及びステップ５１４において「いいえ」の場合、表示制御部２２０は、アプリケーションの一時停止を継続する。そして、表示制御部２２０は生成されたメニュー画像を重ねた合成画像を継続してディスプレイ１１２へ出力する（ステップ５２０）。例えば、ＨＭＤを装着したユーザが第２の閾値を超えない範囲で頭部を動かして所定の方向θを観察しても、アプリケーションの進行の一時停止は継続され、ユーザは該傾けた傾きθに対応する仮想空間内のアプリケーション画像にメニュー画像を重ねた合成画像を観察することができる。θが負であり、第２の閾値θｔｈ２よりも大きいことが検出されて初めて、ポーズ解除し、ユーザは進行中のアプリケーションに戻ることができる。そして、ステップ５１２へ戻る。

本実施形態では、ユーザの頭部の動作のみでアプリケーション操作を行う為のＨＭＤシステム、ヘッドマウントディスプレイへ表示するためのプログラム、及び方法について説明した。特に、ＨＭＤを装着しているユーザの頭部の動作のみでＨＭＤに表示されるアプリケーション画像上のメニュー画像の表示／非表示の切り換え操作、アプリケーションの一時停止／再開の切り換え操作を行う為のシステム、プログラム、及び方法ついて説明した。さらに、他の実施形態では、ＨＭＤを装着しているユーザの頭部の動作を、アプリケーションの進行の際に確認が必要とされる所定の他の操作、例えばゲームに参加している他のプレイヤーの状況の確認に対応付けることも可能である。さらに、他の実施形態では、ＨＭＤを装着しているユーザの頭部の動作を複数取得し、アプリケーションの進行の際に確認が必要な所定の他の複数の操作にそれぞれ対応付けることも可能である。例えば、ＨＭＤを装着しているユーザの頭部の動作のピッチ角、ヨー角を、アプリケーションの進行に必要な従来はコントローラで行っていた所定の複数の操作にそれぞれ対応付けることができる。

以上、本発明の一実施形態に付き説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされうることを当業者は理解するであろう。

Claims (6)

1. 仮想空間における画像を非透過型のヘッドマウントディスプレイへ表示するためのプログラムであって、
   前記プログラムは、コンピュータに、
   アプリケーションを進行させるステップと、
   前記アプリケーションの進行中に、ユーザが装着する前記ヘッドマウントディスプレイに、前記仮想空間の画像を表示させるステップと、
   前記ヘッドマウントディスプレイの傾きを検出するステップと、
   前記検出された傾きに応じて、前記ヘッドマウントディスプレイに表示されている前記仮想空間の画像を更新するステップと、を実行させ、
   前記更新するステップは、前記検出された傾きが第１の閾値よりも大きい場合、前記仮想空間内であって前記アプリケーションが進行する領域外にメニュー画像を挿入することを含み、更新された前記仮想空間の画像は、さらにメニュー画像を含み、
   前記第１の閾値は、前記アプリケーションごとに定められる、プログラム。
2. 前記進行させるステップは、前記検出された傾きが第１の閾値よりも大きい場合に、さらに前記アプリケーションの進行を一時停止する、請求項１に記載のプログラム。
3. 前記傾きは前記ヘッドマウントディスプレイのピッチ角である、請求項１又は２に記載のプログラム。
4. 前記第１の閾値は、前記仮想空間の画像中に前記アプリケーションが進行する領域が含まれるときの前記ヘッドマウントディスプレイの傾きの範囲よりも一定角度以上大きい角度に定められる、請求項１〜３のいずれか一項に記載のプログラム。
5. 仮想空間における画像を非透過型のヘッドマウントディスプレイへ表示するための方法であって、
   アプリケーションを進行させるステップと、
   前記アプリケーションの進行中に、ユーザが装着する前記ヘッドマウントディスプレイに、前記仮想空間の画像を表示させるステップと、
   前記ヘッドマウントディスプレイの傾きを検出するステップと、
   前記検出された傾きに応じて、前記ヘッドマウントディスプレイに表示されている前記仮想空間の画像を更新するステップと、を備え、
   前記更新するステップは、前記検出された傾きが第１の閾値よりも大きい場合、前記仮想空間内であって前記アプリケーションが進行する領域外にメニュー画像を挿入することを含み、更新された前記仮想空間の画像は、さらにメニュー画像を含み、
   前記第１の閾値は、前記アプリケーションごとに定められる、方法。
6. 仮想空間における画像を非透過型のヘッドマウントディスプレイへ表示する情報処理装置であって、
   プログラムを格納したメモリと、
   前記プログラムを実行するプロセッサと、を備え、
   前記プログラムは、前記プロセッサに、
   アプリケーションを進行させるステップと、
   前記アプリケーションの進行中に、ユーザが装着する前記ヘッドマウントディスプレイに、前記仮想空間の画像を表示させるステップと、
   前記ヘッドマウントディスプレイの傾きを検出するステップと、
   前記検出された傾きに応じて、前記ヘッドマウントディスプレイに表示されている前記仮想空間の画像を更新するステップと、を実行させ、
   前記更新するステップは、前記検出された傾きが第１の閾値よりも大きい場合、前記仮想空間内であって前記アプリケーションが進行する領域外にメニュー画像を挿入することを含み、更新された前記仮想空間の画像は、さらにメニュー画像を含み、
   前記第１の閾値は、前記アプリケーションごとに定められる、情報処理装置。