JP5767386B1 - ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム - Google Patents

ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム Download PDF

Info

Publication number
JP5767386B1
JP5767386B1 JP2014252963A JP2014252963A JP5767386B1 JP 5767386 B1 JP5767386 B1 JP 5767386B1 JP 2014252963 A JP2014252963 A JP 2014252963A JP 2014252963 A JP2014252963 A JP 2014252963A JP 5767386 B1 JP5767386 B1 JP 5767386B1
Authority
JP
Japan
Prior art keywords
image
application
mounted display
head mounted
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014252963A
Other languages
English (en)
Other versions
JP2016115122A (ja
Inventor
秀行 栗原
秀行 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2014252963A priority Critical patent/JP5767386B1/ja
Application granted granted Critical
Publication of JP5767386B1 publication Critical patent/JP5767386B1/ja
Priority to PCT/JP2015/084744 priority patent/WO2016098688A1/ja
Publication of JP2016115122A publication Critical patent/JP2016115122A/ja
Priority to US15/334,271 priority patent/US9940754B2/en
Priority to US15/910,585 priority patent/US10553033B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ユーザの頭部の動きによる操作でメニューを表示/非表示操作可能な、仮想空間における画像を表示するヘッドマウントディスプレイシステム、方法及びプログラムを提供する。【解決手段】アプリケーション進行中のユーザが装着するヘッドマウントディスプレイの初期角度からの傾きを検出する傾き検出部210と、検出された傾きに応じて、仮想空間に進行中のアプリケーション画像を生成し、ヘッドマウントディスプレイへ出力する表示制御部220と、を備える。表示制御部220は、検出された傾きが第1の閾値よりも大きい場合に、傾きに応じて生成されたアプリケーション画像にメニュー画像を重ねた画像を生成して、ヘッドマウントディスプレイへ出力する。【選択図】図2

Description

本発明は、ユーザの頭部に装着して、ユーザ視野内に仮想空間における画像を表示し、頭部を動かすことによる簡単な操作で該画像においてメニューを表示/非表示操作可能なヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法及びプログラムに関する。
ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想得空間における画像を提示することが可能なヘッドマウントディスプレイ(HMD)が知られている。そして、従来、HMDでアプリケーション進行中にメニュー表示/非表示の切換は、例えばHMDに接続されたコントローラによるボタン操作を用いていた。
上記背景技術に係るシステムにおいては、HMDを装着しているユーザは仮想空間に没入しているため、ユーザは手元を観察することができず、コントローラから指が一旦外れてしまうと、誤ったボタン操作を行うことがあった。特に、非透過型のHMDによりユーザが全視界を覆われている場合、ユーザは外界を全く観察することができない。 また、メニュー画像を操作画面中の所定の場所、例えば操作中の現在表示されているアプリケーション画面の上方に表示する場合には、ユーザは頭部を動かさずに眼球のみを動かして画面情報に表示されたメニュー画像を観察する必要がある。特に仮想得空間が3次元空間である場合、ユーザはさらにメニューに目の焦点を合わせるよう調節する必要があり、このようなメニュー表示はユーザに無理な視点調整を強いていた。
(1)本発明は、仮想空間における画像を表示するヘッドマウントディスプレイシステムであって、アプリケーション進行中のユーザが装着するヘッドマウントディスプレイの初期角度からの傾きを検出する傾き検出部と、検出された傾きに応じて、仮想空間に進行中のアプリケーション画像を生成しヘッドマウントディスプレイへ出力する表示制御部と、を備え、表示制御部は、検出された傾きが第1の閾値よりも大きい場合に、傾きに応じて生成されたアプリケーション画像にメニュー画像を重ねた画像を生成して、ヘッドマウントディスプレイへ出力することを特徴とする、ヘッドマウントディスプレイシステムに関する。
さらに本発明は、メニュー画像がヘッドマウントディスプレイに出力されている場合に、傾き検出部が検出する傾きが負であり、かつその絶対値が第2の閾値よりも大きい場合に、表示制御部は、前記傾きに応じて、仮想空間上にメニュー画像を重ねないアプリケーション画像を生成してヘッドマウントディスプレイへ出力する、ヘッドマウントディスプレイシステムに関する。
本発明によれば、仮想空間に没入しているユーザが頭部の動きにより、仮想空間におけるアプリケーションの所定の操作、例えばメニューの表示/非表示操作を行うことができる。仮想空間に没入しているユーザにとって、仮想空間内でメニューを観察するために眼球のみによる無理な視点/焦点調整を行う必要が無いため操作性がよい。
(2) また、本発明は、検出された傾きが第1の閾値よりも大きい場合に、さらにアプリケーションの進行を一時停止することを特徴とする。
さらに、本発明は、アプリケーションの進行が一時停止されている場合に、傾き検出部が検出する傾きが負であり、かつその絶対値が第2の閾値よりも大きい場合に、アプリケーションの進行を再開することを特徴とする。
本発明によれば、仮想空間に没入しているユーザが頭部の動きによる操作により、仮想空間におけるアプリケーションの一時停止/再開操作を行うことができる。すなわち、本発明によれば仮想空間に没入しているユーザの頭部の簡易な動作により、仮想空間におけるアプリケーションの所定の操作行うことができる。
この発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。
本発明の一実施例に従った、HMDシステム100の概略図を示す。 本発明の一実施例に従った、赤外線センサと接続されたHMD110の概略図を示す。 本発明の一実施例に従った、HMDシステム100の表示処理を実現するための機能的構成を示す。 本発明の一実施例に従った、3次元空間上の直交座標系における第1の閾値θth1と、第2の閾値θth2を示す。 本発明の一実施例に従った、3次元空間上の直交座標系におけるHMD110を装着しているユーザを示す。 本発明の一実施例に従った、ユーザが水平方向を眺めたときの、HMD110のディスプレイに表示される画面を示す。 本発明の一実施例に従った、ユーザが上方向を眺めたときのHMD110のディスプレイに表示される画面を示す。 本発明の一実施例に従った、HMDシステムにおける表示を制御するための処理の流れを示す。 本発明の一実施例に従った、赤外線センサにより検知されるHMD上に仮想的に設けられた複数の検知点を示す。
以下、本実施形態について説明する。図1Aは、本発明の一実施例に従った、HMDシステム100の概略図である。図1Aに示すようにHMDシステム100は、ディスプレイ112と、角速度センサ114とを備えるHMD110と、制御回路部120とを備えることができる。HMD110のディスプレイ112はユーザの視界を完全に覆うよう構成された非透過型表示装置であり、ユーザはディスプレイ112に表示される画面のみを観察することができる。該HMD110を装着したユーザは外界の視界を全て失うため、制御回路部120において実行されるアプリケーションにより表示される仮想空間に完全に没入することができる。制御回路部120は、ユーザの頭部に装着されるHMD110に搭載することもできるし、HMD110に搭載せずに別のHW、例えば公知のパーソナルコンピュータにより構成することができる。角速度センサ114はディスプレイ112近辺に固定されており、ユーザの頭部に装着されたHMD110(ディスプレイ112)の動きに応じて、HMD110のX、Y、Z軸回りの角速度を経時的に検出することができる。傾き検出部210は角速度センサ114により経時的に検出されたX、Y、Z軸回りの角速度に基づいて、各軸回りの角度(傾き)の時間変化を求めることができる。なお、図3Bに示すようにユーザが直立する方向である垂直方向をY軸とし、Y軸と直交しディスプレイ112とユーザを結ぶ方向の軸をZ軸、Y、Z軸と直交する方向の軸をX軸とする。
図1Bは、本発明の他の一実施例に従った、HMDシステム100の概略図である。図1Bにおいて、赤外線センサ130が制御回路部120に通信可能に接続されている。図1BにおいてHMD110は角速度センサ114を備えていない。図6に例示的に示すように、赤外線センサ130はHMD110上に仮想的に設けられた赤外線を発信する複数の検知点の3次元の実空間内の位置をユーザの動きに対応して経時的に検出する。傾き検出部210は、赤外線センサ130により経時的に検出された複数の検知点の3次元の実空間内の位置の時間変化に基づいて、HMD110の動きに応じた各軸回りの角度の時間変化を求めることができる。
なお、図1A、図1Bには図示されていないが、ユーザにより保持される公知のスマートフォン、携帯端末をHMDのコントローラとして使用することができる。コントローラは制御回路部120に通信可能に接続されることができる。
図2は、本発明の一実施例に従った、HMDシステム100の表示処理を実現するための機能的構成を示す。
傾き検出部210は、センサ114/130からの出力に基づいて、ユーザの頭部に装着されたHMD110の各軸方向の傾き(図3A,Bに示すようにHMDのY軸を軸とした回転を示すヨー角、X軸を軸とした回転を示すピッチ角、Z軸を軸とした回転を示すロール角)を検出することができる。
表示制御部220は、センサにより検出されたHMDの傾き、例えば、HMDのY軸とした左右の傾き(いわゆるヨー角)に応じて、ディスプレイ112に表示される進行中のアプリケーション画像を生成し、ディスプレイ112へ出力する。この場合、例えば、ユーザが左90°方向を向くと、表示制御部220は、ユーザの90°左方向に存在する仮想空間画像を生成する。表示制御部220は、図4Aに示すようにHMD110を装着したユーザの頭部の動きに連動して、その動きに対応した仮想空間画像を生成し、ディスプレイ112へ出力する。
また、表示制御部220は、判定部222、メニュー画像合成部224を備えることができる。判定部222は、検出されたHMD110の傾きのうち1つ、例えば図3Aに示すようにX軸を中心として上下の傾きを示すピッチ角θが所定の方向に第1の閾値θth1よりも大きいか否か判定する。検出された傾きが第1の閾値θth1よりも大きい場合に、表示制御部220はアプリケーションの進行を一時停止(ポーズ)する。そして、メニュー画像合成部224は、仮想空間内の画像に、メニュー画像を合成した画像を生成する。表示制御部220は、メニュー画像合成部224により生成された合成画像をディスプレイ112へ出力する。ユーザは、制御回路部120と通信可能に接続されたコントローラを用いてメニュー画像に表示されるメニューを選択することができる。
メニュー画像を表示するエリアはアプリケーション毎に事前に定めることができる。例えばユーザにより操作されるアプリケーションが、3次元空間内の水平平面上でゲームキャラクタの動作の操作を行うものである場合に、ゲーム中には使用しない空間内の左右を軸として回転して得られる仮想空間内の上方エリアを、メニュー画像を表示するエリアとすることができる。
また、第1の閾値θth1は、アプリケーション毎に事前に定めることができる。ユーザがアプリケーション操作中に頭部を動かすことによって通常推移するHMDのピッチ角が例えば±10°程度であるとき、アプリケーション操作中のユーザ動作と、メニュー画像を表示させるために意識的にアプリケーションの進行中には通常使用しないエリアを向く動作とを明確に区別するために、第1の閾値θth1は、例えば+30°と設定することができる。アプリケーション操作中の通常の動作範囲よりも一定角度(例えば20°)以上大きい角度を設定することで、誤作動をなくすことができる。なお、本実施形態では、メニュー画像を表示するエリアが、アプリケーションの進行上仮想空間内の上方エリアにあることが好ましいことから、HMDのピッチ角を用いて閾値を設定しているが、メニュー画像を表示するエリアが、例えば、アプリケーションの進行上Y軸を中心とした左右方向エリアにあることが好ましい場合には、ヨー角を用いて閾値を設定することができる。
さらに、判定部222は、検出されたHMD110の傾きのうち1つが、前記所定の方向とは逆方向に第2の閾値θth2(図3A)を超えたか否か判定する。例えば負の方向に、ピッチ角θが第2の閾値θth2を超えた場合に、表示制御部220は一時停止していたアプリケーションの進行を再開する。そして、表示制御部220は、メニュー画像を重ねない仮想空間画像をディスプレイへ出力する。なお、第2の閾値θth2は第1の閾値θth1以上の大きさを有し、無意識にアプリケーション画像の切り換え操作、すなわちメニュー画像の表示/非表示操作の誤作動を行わないようにすることができる。ユーザは一定時間に亘って上方向を向いていると首が疲れ無意識に頭を徐々に下へ降ろしてしまうことがあるため、HMDを装着したユーザがメニュー表示、アプリケーションの一時停止のために上方向に意識して首を動かすときよりも、アプリケーションの再開のために下方向に首を動かすときの傾きを大きくする。
本発明によると、ユーザは、コントローラ等を用いたボタン操作、及び無理な視点/焦点調整をすることなく、頭部の動きのみでアプリケーション上の所定の操作、例えばメニュー画像を表示/非表示等させることができる。特にHMDを装着して立体的な映像を観察するユーザは、その映像の奥行きに応じて目の焦点を調整する必要があり、さらにメニュー画像を表示する位置によってはユーザに無理な視点の調整を強いることになる。例えばメニュー画像をユーザが操作中の現在表示されているアプリケーション画面の上方に表示すると、ユーザは眼球の運動のみによって画面上方に表示されたメニュー画像を観察する必要がある。しかしながら、ユーザにとって眼球のみを動かすことは難しく、ユーザは無意識に頭部全体を上方へ向けてしまう。本発明においては、ユーザは頭部を上方へ向けるのみでアプリケーションの進行を一時停止し、さらにメニュー画像を表示させることができるため操作性が良い。
なお、図2において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることは当業者に理解されるであろう。
図4Aは、HMD110を装着したユーザが初期角度である水平方向から例えば±10°程度の領域を観察するときに仮想的にディスプレイ112に表示される3次元の仮想空間内のアプリケーション進行中の画像を示す。また、図4Aは、図4Bに示す状態から、ユーザが実空間内の左右を軸として第2の閾値θth2よりも大きい傾きで下方に頭を傾けたときに、仮想的に表示される3次元の仮想空間内の画像を示す。±10°程度の領域とは、前述したように、ユーザがアプリケーション操作中に頭部を動かすことによって推移するピッチ角の範囲である。
図4Bは、HMDシステム100を装着したユーザが、図4Aの状態から実空間内の左右を軸として第1の閾値θth1よりも大きい傾きで上方に頭を傾けたときに、仮想的に表示されるメニュー画像が合成された仮想得空間内の画像を示す。本実施例では、ユーザが上方向を眺めると、ユーザが向いた方向に連動してアプリケーション画像が変化して表示される画像(図4Bにおいては「空」の画像)にメニュー画像が浮かぶように合成されている。図4Bにおいて、メニュー画像は進行中のアプリケーションにおいて使用される3つのゲームキャラクタ、及びそのうち1つのゲームキャラクタのステータスが詳細表示されている。ユーザは、制御回路部120と通信可能に接続されたコントローラを用いてメニュー画像に表示されるメニュー、例えば図4Bに示される「リタイア」を選択することができる。
次に、図5を参照してHMDシステムの表示を制御するための処理の流れを説明する。
角速度センサ114により検出される角度は相対的であるため、まず、ユーザの頭部に装着されたHMD110の初期設定を行う。HMD110を装着しているユーザが水平方向を観察しているときに角速度センサ114より取得されるピッチ角を初期値として設定する(ステップ502)。ただし、赤外線センサ130によりHMD110の各軸方向の角速度を取得する場合には、HMDの水平方向の検出が可能であるため初期設定は不要である。
さらに、ステップ502において第1の閾値θth1、第2の閾値θth2を初期設定することができる。ユーザによるアプリケーション操作の誤動作をなくすために、第1の閾値θth1は第2の閾値θth2以下に設定することができる。
次に、ユーザによりアプリケーションが開始/進行されると、表示制御部220はHMD110のディスプレイ112にアプリケーション画像を表示する(ステップ504)。ユーザはディスプレイ112に表示された仮想空間画像のみを観察することができる。
次に、傾き検出部210は、ユーザの頭部の動きに応じて得られるセンサ114/130の出力に基づいて各軸周りの角速度から、図3Aに示すHMDのX軸を中心として上下の傾きを示すピッチ角θを検出する(ステップ506)。
次に、表示制御部220の判定部222は、検出されたHMDの左右を軸とした上下の傾きθ(いわゆるピッチ角)が正であり、かつ第1の閾値θth1よりも大きいか否かを判定する(ステップ508)。θが正でありかつ第1の閾値θth1より大きい場合、表示制御部220はアプリケーションの進行を一時停止し、θに対応する仮想空間内のアプリケーション画像にメニュー画像を重ねた合成画像を生成する。そして、表示制御部220は生成された合成画像をディスプレイ112へ出力する(ステップ510)。例えば、HMDを装着したユーザが頭部を動かして第1の閾値θth1よりも大きく首を傾けて上方向を観察すると、ユーザは、アプリケーションを一時停止すると共に、該傾けた傾きθに対応する仮想空間内のアプリケーション画像にメニュー画像を重ねた合成画像を観察することができる。このように、ユーザは頭部の動きのみでアプリケーションを一時停止させ、かつメニュー画像を表示させることができる。
次に、傾き検出部210は、ユーザの頭部の動きに応じて得られるセンサ114/130の出力に基づいて各軸周りの角速度から傾きθを検出する(ステップ512)。
次に、表示制御部220の判定部222は検出された傾きθが負であり、かつθの絶対値が第2の閾値θth2よりも大きいか否かを判定する(ステップ514)。ステップ514においてθが負であり、θの絶対値が第2の閾値θth2よりも大きい場合、表示制御部220はアプリケーションの一時停止を解除しアプリケーションの進行を再開する。さらに表示制御部220は、アプリケーション画像からメニュー画像を消去して、検出された傾きθに対応する仮想空間内のアプリケーション画像をディスプレイ112へ出力し(ステップ516)、ステップ506へ戻る。
一方、ステップ508及びステップ514において「いいえ」の場合、表示制御部220は、アプリケーションの一時停止を継続する。そして、表示制御部220は生成されたメニュー画像を重ねた合成画像を継続してディスプレイ112へ出力する(ステップ520)。例えば、HMDを装着したユーザが第2の閾値を超えない範囲で頭部を動かして所定の方向θを観察しても、アプリケーションの進行の一時停止は継続され、ユーザは該傾けた傾きθに対応する仮想空間内のアプリケーション画像にメニュー画像を重ねた合成画像を観察することができる。θが負であり、第2の閾値θth2よりも大きいことが検出されて初めて、ポーズ解除し、ユーザは進行中のアプリケーションに戻ることができる。そして、ステップ512へ戻る。
本実施形態では、ユーザの頭部の動作のみでアプリケーション操作を行う為のHMDシステム、ヘッドマウントディスプレイへ表示するためのプログラム、及び方法について説明した。特に、HMDを装着しているユーザの頭部の動作のみでHMDに表示されるアプリケーション画像上のメニュー画像の表示/非表示の切り換え操作、アプリケーションの一時停止/再開の切り換え操作を行う為のシステム、プログラム、及び方法ついて説明した。さらに、他の実施形態では、HMDを装着しているユーザの頭部の動作を、アプリケーションの進行の際に確認が必要とされる所定の他の操作、例えばゲームに参加している他のプレイヤーの状況の確認に対応付けることも可能である。さらに、他の実施形態では、HMDを装着しているユーザの頭部の動作を複数取得し、アプリケーションの進行の際に確認が必要な所定の他の複数の操作にそれぞれ対応付けることも可能である。例えば、HMDを装着しているユーザの頭部の動作のピッチ角、ヨー角を、アプリケーションの進行に必要な従来はコントローラで行っていた所定の複数の操作にそれぞれ対応付けることができる。
以上、本発明の一実施形態に付き説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされうることを当業者は理解するであろう。

Claims (9)

  1. 仮想空間における画像を表示するヘッドマウントディスプレイシステムであって、
    アプリケーション進行中のユーザが装着するヘッドマウントディスプレイの初期角度からの傾きを検出する傾き検出部と、
    前記検出された傾きに応じて、前記仮想空間に進行中のアプリケーション画像を生成し前記ヘッドマウントディスプレイへ出力する表示制御部と、を備え、
    前記表示制御部は、前記検出された傾きが第1の閾値よりも大きい場合に、前記傾きに応じて生成されたアプリケーション画像にメニュー画像を重ねた画像を生成して、前記ヘッドマウントディスプレイへ出力し、
    前記メニュー画像が前記ヘッドマウントディスプレイに出力されている場合に、前記第1の閾値からの角度変位が負であり、かつ前記角度変位の絶対値が第2の閾値よりも大きい場合に、前記表示制御部は、前記傾きに応じて、前記仮想空間上に前記メニュー画像を重ねないアプリケーション画像を生成して前記ヘッドマウントディスプレイへ出力する、することを特徴とする、ヘッドマウントディスプレイシステム。
  2. 仮想空間における画像を表示するヘッドマウントディスプレイシステムであって、
    アプリケーション進行中のユーザが装着するヘッドマウントディスプレイの初期角度からの傾きを検出する傾き検出部と、
    前記検出された傾きに応じて、前記仮想空間に進行中のアプリケーション画像を生成し前記ヘッドマウントディスプレイへ出力する表示制御部と、を備え、
    前記表示制御部は、前記検出された傾きが第1の閾値よりも大きい場合に、前記傾きに応じて生成されたアプリケーション画像にメニュー画像を重ねた画像を生成して、前記ヘッドマウントディスプレイへ出力し、
    前記表示制御部は、前記検出された傾きが第1の閾値よりも大きい場合に、さらに前記アプリケーションの進行を一時停止し、
    前記アプリケーションの進行が一時停止されている場合に、前記第1の閾値からの角度変位が負であり、かつ前記角度変位の絶対値が第2の閾値よりも大きい場合に、前記表示制御部は、アプリケーションの進行を再開することを特徴とする、ヘッドマウントディスプレイシステム。
  3. 前記検出された傾きは前記ヘッドマウントディスプレイのピッチ角であることを特徴とする、請求項1又は2に記載のヘッドマウントディスプレイシステム。
  4. 前記第1の閾値は、前記第2の閾値以下であることを特徴とする、請求項1又は2に記載のヘッドマウントディスプレイシステム。
  5. 仮想空間における画像をヘッドマウントディスプレイへ表示する方法であって、
    アプリケーション進行中のユーザが装着する前記ヘッドマウントディスプレイの初期角度からの傾きを検出する傾き検出ステップと、
    前記検出された傾きに応じて、前記仮想空間に進行中のアプリケーション画像を生成し前記ヘッドマウントディスプレイへ出力する表示制御ステップと、を備え、
    前記表示制御ステップは、前記検出された傾きが第1の閾値よりも大きい場合に、前記傾きに応じて生成されたアプリケーション画像にメニュー画像を重ねた画像を生成して、前記ヘッドマウントディスプレイへ出力し、
    前記メニュー画像が前記ヘッドマウントディスプレイに出力されている場合に、前記第1の閾値からの角度変位が負であり、かつ前記角度変位の絶対値が第2の閾値よりも大きい場合に、前記表示制御ステップは、前記傾きに応じて、前記仮想空間上に前記メニュー画像を重ねないアプリケーション画像を生成して前記ヘッドマウントディスプレイへ出力することを特徴とする、方法。
  6. 仮想空間における画像をヘッドマウントディスプレイへ表示する方法であって、
    アプリケーション進行中のユーザが装着する前記ヘッドマウントディスプレイの初期角度からの傾きを検出する傾き検出ステップと、
    前記検出された傾きに応じて、前記仮想空間に進行中のアプリケーション画像を生成し前記ヘッドマウントディスプレイへ出力する表示制御ステップと、を備え、
    前記表示制御ステップは、前記検出された傾きが第1の閾値よりも大きい場合に、前記傾きに応じて生成されたアプリケーション画像にメニュー画像を重ねた画像を生成して、前記ヘッドマウントディスプレイへ出力し、
    前記表示制御ステップは、前記検出された傾きが第1の閾値よりも大きい場合に、さらに前記アプリケーションの進行を一時停止し、
    前記表示制御ステップは、前記アプリケーションの進行が一時停止されている場合に、前記第1の閾値からの角度変位が負であり、かつ前記角度変位の絶対値が第2の閾値よりも大きい場合に、アプリケーションの進行を再開することを特徴とする方法。
  7. 前記傾きは前記ヘッドマウントディスプレイのピッチ角であることを特徴とする、請求項5又は6に記載の方法。
  8. 前記第1の閾値は、前記第2の閾値以下であることを特徴とする、請求項5又は6に記載の方法。
  9. 請求項5から8のいずれかに記載の仮想空間における画像をヘッドマウントディスプレイへ表示する方法を、プロセッサに実行させるためのプログラム。
JP2014252963A 2014-12-15 2014-12-15 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム Active JP5767386B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014252963A JP5767386B1 (ja) 2014-12-15 2014-12-15 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
PCT/JP2015/084744 WO2016098688A1 (ja) 2014-12-15 2015-12-11 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US15/334,271 US9940754B2 (en) 2014-12-15 2016-10-25 Head-mounted display system and method for presenting display on head-mounted display
US15/910,585 US10553033B2 (en) 2014-12-15 2018-03-02 Head-mounted display system and method for presenting display on head-mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014252963A JP5767386B1 (ja) 2014-12-15 2014-12-15 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015105007A Division JP2016115329A (ja) 2015-05-22 2015-05-22 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP5767386B1 true JP5767386B1 (ja) 2015-08-19
JP2016115122A JP2016115122A (ja) 2016-06-23

Family

ID=53888054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014252963A Active JP5767386B1 (ja) 2014-12-15 2014-12-15 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム

Country Status (3)

Country Link
US (2) US9940754B2 (ja)
JP (1) JP5767386B1 (ja)
WO (1) WO2016098688A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017134601A (ja) * 2016-01-27 2017-08-03 株式会社コーエーテクモゲームス 情報処理装置、設定画面表示方法及び設定画面表示プログラム
US9873048B2 (en) 2016-02-12 2018-01-23 Colopl, Inc. Method and system for adjusting a field of view region in a virtual space
US10127713B2 (en) 2016-02-04 2018-11-13 Colopl, Inc. Method and system for providing a virtual space
EP3367213A4 (en) * 2015-10-22 2019-04-17 LG Electronics Inc. MOBILE DEVICE AND CONTROL PROCESS THEREFOR
JP2019526103A (ja) * 2016-06-13 2019-09-12 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
US10438411B2 (en) 2016-04-06 2019-10-08 Colopl, Inc. Display control method for displaying a virtual reality menu and system for executing the display control method
JP2022003528A (ja) * 2020-02-06 2022-01-11 グリー株式会社 仮想画像表示プログラム、仮想画像表示システム及び仮想画像表示方法
US11896897B2 (en) 2015-09-16 2024-02-13 Gree, Inc. Virtual image display program, virtual image display apparatus, and virtual image display method

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5767386B1 (ja) * 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
JP2016115329A (ja) * 2015-05-22 2016-06-23 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
EP3302740A1 (en) * 2015-06-01 2018-04-11 Thomson Licensing Reactive animation for virtual reality
JP2018004756A (ja) * 2016-06-28 2018-01-11 株式会社リコー 情報表示システム
JP6238381B1 (ja) * 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP6058855B1 (ja) 2016-07-07 2017-01-11 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10353459B2 (en) * 2017-01-11 2019-07-16 Universal Entertainment Corporation Controlling graphic field of view by operating head mounted display
WO2018204419A1 (en) 2017-05-01 2018-11-08 Magic Leap, Inc. Matching content to a spatial 3d environment
TWI633465B (zh) * 2017-11-21 2018-08-21 瑞軒科技股份有限公司 虛擬實境裝置及虛擬實境裝置的操作方法
JP7196179B2 (ja) 2017-12-22 2022-12-26 マジック リープ, インコーポレイテッド 複合現実システムにおいて仮想コンテンツを管理および表示する方法およびシステム
JP7211778B2 (ja) * 2018-11-28 2023-01-24 グリー株式会社 アプリケーション処理システム、アプリケーション処理方法、及びアプリケーション処理プログラム
JP2019136066A (ja) * 2018-02-06 2019-08-22 グリー株式会社 アプリケーション処理システム、アプリケーション処理方法、及びアプリケーション処理プログラム
WO2019165044A1 (en) 2018-02-22 2019-08-29 Magic Leap, Inc. Object creation with physical manipulation
EP4213104A1 (en) 2018-02-22 2023-07-19 Magic Leap, Inc. Browser for mixed reality systems
JP6582205B2 (ja) 2018-02-28 2019-10-02 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP6623481B2 (ja) 2018-03-23 2019-12-25 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP2020042064A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体
EP3948747A4 (en) 2019-04-03 2022-07-20 Magic Leap, Inc. MANAGEMENT AND DISPLAY OF WEB PAGES IN A VIRTUAL THREE-DIMENSIONAL SPACE USING A MIXED REALITY SYSTEM
CN113728621A (zh) * 2019-04-09 2021-11-30 麦克赛尔株式会社 头戴式信息处理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261112A (ja) 1994-03-22 1995-10-13 Hitachi Ltd 頭部搭載型ディスプレイ装置
JPH08223658A (ja) 1995-02-15 1996-08-30 Sharp Corp メガネ型ディスプレイ
JPH11161190A (ja) * 1997-11-25 1999-06-18 Seiko Epson Corp 頭部装着型表示装置
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
JP5236423B2 (ja) 2008-10-17 2013-07-17 Kddi株式会社 表示システム、表示方法およびプログラム
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
JP5880115B2 (ja) * 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
JP2013258614A (ja) * 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US20150153826A1 (en) * 2013-12-01 2015-06-04 Apx Labs, Llc Systems and methods for providing a virtual menu
CN105934741B (zh) * 2013-12-27 2019-04-05 英特尔公司 3d视差用户接口中的音频遮挡效果
US9437159B2 (en) * 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9442631B1 (en) * 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
JP5767386B1 (ja) * 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US9886086B2 (en) * 2015-08-21 2018-02-06 Verizon Patent And Licensing Inc. Gesture-based reorientation and navigation of a virtual reality (VR) interface
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11896897B2 (en) 2015-09-16 2024-02-13 Gree, Inc. Virtual image display program, virtual image display apparatus, and virtual image display method
US10540005B2 (en) 2015-10-22 2020-01-21 Lg Electronics Inc. Mobile terminal and control method therefor
EP3367213A4 (en) * 2015-10-22 2019-04-17 LG Electronics Inc. MOBILE DEVICE AND CONTROL PROCESS THEREFOR
JP2017134601A (ja) * 2016-01-27 2017-08-03 株式会社コーエーテクモゲームス 情報処理装置、設定画面表示方法及び設定画面表示プログラム
US10127713B2 (en) 2016-02-04 2018-11-13 Colopl, Inc. Method and system for providing a virtual space
US10573062B2 (en) 2016-02-04 2020-02-25 Colopl, Inc. Method and system for providing a virtual space
US9873048B2 (en) 2016-02-12 2018-01-23 Colopl, Inc. Method and system for adjusting a field of view region in a virtual space
US10438411B2 (en) 2016-04-06 2019-10-08 Colopl, Inc. Display control method for displaying a virtual reality menu and system for executing the display control method
JP2019526103A (ja) * 2016-06-13 2019-09-12 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
JP2021007019A (ja) * 2016-06-13 2021-01-21 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
JP7249975B2 (ja) 2016-06-13 2023-03-31 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
JP7503122B2 (ja) 2016-06-13 2024-06-19 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
JP2022003528A (ja) * 2020-02-06 2022-01-11 グリー株式会社 仮想画像表示プログラム、仮想画像表示システム及び仮想画像表示方法
JP7198886B2 (ja) 2020-02-06 2023-01-04 グリー株式会社 仮想画像表示プログラム、仮想画像表示システム及び仮想画像表示方法

Also Published As

Publication number Publication date
US20180190039A1 (en) 2018-07-05
US20170046881A1 (en) 2017-02-16
US9940754B2 (en) 2018-04-10
US10553033B2 (en) 2020-02-04
WO2016098688A1 (ja) 2016-06-23
JP2016115122A (ja) 2016-06-23

Similar Documents

Publication Publication Date Title
JP5767386B1 (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US10719911B2 (en) Information processing method and system for executing the information processing method
CN110300994B (zh) 图像处理装置、图像处理方法以及图像系统
JP6097377B1 (ja) 画像表示方法及びプログラム
JP6399692B2 (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
US9971157B2 (en) Display control method and system for executing the display control method
CN113544626A (zh) 信息处理装置、信息处理方法和计算机可读记录介质
JP2023073252A (ja) 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
JP2016115329A (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
JP6927797B2 (ja) ヘッドマウントデバイスを介して仮想空間をユーザに提供するための方法、プログラム及びコンピュータ
JP6964142B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023116432A (ja) アニメーション制作システム
JP6813640B2 (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6416338B1 (ja) 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
JP2021064381A (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
JP6964302B2 (ja) アニメーション制作方法
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP7300287B2 (ja) 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
JP6389305B1 (ja) 情報処理方法、コンピュータ、及びプログラム
JP7300569B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2019023869A (ja) 情報処理方法、コンピュータ、及びプログラム
JP6941130B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6876639B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP2019021331A (ja) 情報処理方法、情報処理プログラム及び情報処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150618

R150 Certificate of patent or registration of utility model

Ref document number: 5767386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250