JP6712865B2

JP6712865B2 - 情報処理装置、設定画面表示方法及び設定画面表示プログラム

Info

Publication number: JP6712865B2
Application number: JP2016013696A
Authority: JP
Inventors: 貴大田中
Original assignee: Koei Tecmo Games Co Ltd
Current assignee: Koei Tecmo Games Co Ltd
Priority date: 2016-01-27
Filing date: 2016-01-27
Publication date: 2020-06-24
Anticipated expiration: 2036-01-27
Also published as: JP2017134601A

Description

本発明は、情報処理装置、設定画面表示方法及び設定画面表示プログラムに関する。

ゲーム機器に接続されたヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）等の装着型の表示装置を装着して、ＨＭＤに表示されている画面を見ながらコントローラなどを操作してゲームプレイすることが行われている。

ゲーム機器に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けることがある。その点、ＨＭＤを装着すると、ＨＭＤに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。

しかしながら、ＨＭＤを装着した状態ではユーザは手元が見え難く、コントローラの操作等に困難が伴う。そこで、ユーザの動きを検出し、ユーザの動きに応じた画像をＨＭＤに表示することのできる画像生成装置および画像生成方法を提供する技術が知られている（例えば、特許文献１参照）。

特開２０１３−２５８６１４号公報

しかしながら、特許文献１では、ＨＭＤにてゲーム等の所定の処理に関する画像を表示中に、前記所定の処理を妨げずに所望の設定画面を表示することは困難である。

そこで、一側面では、本発明は、装着型の表示装置にて実行中の処理を妨げずに所望の設定画面を表示することを目的とする。

一つの案では、装着型の表示装置にて実行中の処理に関する画像を表示中に、視線情報を含むユーザの動作情報の組を取得する情報取得部と、視線情報を含むユーザの動作情報の組に関連付けられた設定画面を記憶した記憶部を参照して、取得した前記動作情報の組に応じた設定画面を前記表示装置に表示させる制御部と、を有し、前記視線情報を含むユーザの動作情報の組は、ユーザの複数の視線情報の組であり、前記制御部は、画面上に表示された特定のオブジェクトに予め指定し、前記特定のオブジェクトに対する前記ユーザの動作情報の組を検出することで、取得した前記動作情報の組に応じた設定画面を前記表示装置に表示させ、前記特定のオブジェクトは、前記ユーザの身体の一部の表示を含む、情報処理装置が提供される。

一側面によれば、装着型の表示装置にて実行中の処理を妨げずに所望の設定画面を表示することができる。

一実施形態に係る情報処理システムの全体構成の一例を示す図。一実施形態に係る情報処理装置のハードウェア構成の一例を示す図。一実施形態に係る情報処理装置の機能構成の一例を示す図。一実施形態に係る設定画面情報ＤＢに記憶されるデータ項目の一例を示す図。一実施形態に係る設定画面表示処理の一例を示すフローチャート。一実施形態に係るＨＭＤに表示される設定画面と視線移動の一例を示す図。一実施形態に係るＨＭＤに表示される設定画面と視線移動の一例を示す図。一実施形態に係るＨＭＤに表示される設定画面と視線移動の一例を示す図。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［情報処理システムの全体構成］
まず、本発明の一実施形態に係る情報処理システムの全体構成の一例について、図１を参照しながら説明する。本実施形態に係る情報処理システムは、ＨＭＤ（Head Mounted Display）１０及び情報処理装置２０を有する。本実施形態に係る情報処理システムでは、情報処理装置２０により実行される所定のゲームの画像がＨＭＤ１０に表示される。ユーザＵは、情報処理装置２０に接続されたＨＭＤ１０を装着して、ＨＭＤ１０に表示されている画面を見ながら、コントローラ１５などを操作してゲームプレイする。ユーザＵは、コントローラ１５を用いて、ゲームの開始や終了、項目の選択、ゲーム実行時における操作を行う。

ユーザＵがＨＭＤ１０を装着すると、例えば、図１に示すようなＨＭＤ１０に表示される映像のみがユーザＵの視界に入るため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高めることができる。

ＨＭＤ１０には、位置センサ１１、姿勢センサ１２及び加速度センサ１３が内蔵または外付けされている。位置センサ１１は、ＧＰＳ（Global Positioning System）等を利用してユーザＵの位置情報を計測する。姿勢センサ１２及び加速度センサ１３は、ＨＭＤ１０を装着したユーザＵの首の向きや傾き、頭部の向きや傾きといった姿勢情報を計測する。

ＨＭＤ１０は、搭載されたカメラ１４によりユーザＵの視線を検出する。本実施形態に係る情報処理システムでは、上記センサ群により検出したセンサ値によってコントローラ１５を操作せずにゲームプレイすることもできる。この場合、情報処理システムにコントローラ１５を設けなくてもよい。

ＨＭＤ１０は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェースで情報処理装置２０に接続される。情報処理装置２０は、例えばインターネットやＬＡＮ（Local Area Network）等のネットワーク３０を介してサーバ４０に接続されてもよい。その場合、サーバ４０は、複数のユーザＵがネットワーク３０を介して参加できるゲームなどのオンラインアプリケーションを情報処理装置２０に提供してもよい。

ＨＭＤ１０は、装着型の表示装置の一例である。装着型の表示装置の他の例としては、例えばＦＭＤ（ＦａｃｅＭｏｕｎｔｅｄＤｉｓｐｌａｙ）のように、眼鏡やゴーグル、ヘルメット型の、ユーザの頭部や顔部に装着可能な表示装置が挙げられる。

情報処理装置２０は、ゲームや映画の再生等の所定の処理を実行し、装着型の表示装置にて実行中の処理に関する画像の表示を制御する。情報処理装置２０は、ゲーム機器に限らず、例えば、ＰＣ（Personal Computer）、スマートフォン、ビデオカメラ、デジタルカメラ、ＰＤＡ（Personal Digital Assistants）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置等であってもよい。また、所定の処理は、ゲームや映画の再生に限られず、画像を表示するいずれの処理であってもよい。

また、本実施形態にかかる情報処理システムでは、ＨＭＤ１０と情報処理装置２０とが別体として構成されているが、これに限定されない。本実施形態に係る情報処理装置２０は、ＨＭＤ１０と一体となっていてもよい。この場合、情報処理装置２０は、進行中のゲームの画像等を表示するＨＭＤ１０として構成される。

［情報処理装置のハードウェア構成］
次に、本実施形態に係る情報処理装置２０のハードウェア構成の一例について、図２を参照しながら説明する。情報処理装置２０は、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、主記憶装置３５と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３６と、通信制御装置３７とを有する。各部は、システムバスＢで相互に接続されている。

入力装置３１は、キーボード、マウス等の操作デバイスを有し、操作デバイスのユーザＵによる操作に従い、ゲームの実行指示、設定画面の立上げ指示、その他の各種の入力を受け付ける。入力装置３１は、コントローラ１５を有してもよい。

出力装置３２は、ディスプレイを有し、ゲーム進行に応じた画像や設定画面を表示する。ＨＭＤ１０は、出力装置３２の一例である。

補助記憶装置３４は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等により実現される。補助記憶装置３４は、プログラムやデータを格納する。格納されるプログラムやデータには、情報処理装置２０の全体を制御するためのプログラムや所定のアプリケーションを実行するためのプログラムがある。

主記憶装置３５は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）により構成されてもよい。ＣＰＵ３６は、補助記憶装置３４から、プログラムやデータを主記憶装置３５に読み出し、ゲームを実行することで、ゲームの進行を制御したり、情報処理装置２０に搭載されたその他の機能を実現する。

通信制御装置３７は、ＨＭＤ１０との無線通信や、ネットワーク３０を介したサーバ４０や他の外部装置との通信を行う。

情報処理装置２０は、ドライブ装置３３を介して記録媒体３８の読み取り及び書き込みを行うことができる。記録媒体３８には、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）、ならびに、ＳＤメモリカード（SD Memory card）やＵＳＢメモリ（Universal Serial Bus memory）等がある。

［情報処理装置の機能構成］
次に、本実施形態に係る情報処理装置２０の機能構成の一例について、図３を参照しながら説明する。情報処理装置２０は、通信部２１、記憶部２２、情報取得部２３、表示制御部２４、画面切替部２５及び制御部２６を有する。

通信部２１は、ネットワーク３０を介して接続される外部装置とデータを送受信する。例えば、通信部２１は、外部装置からゲームプログラムをダウンロードしたり、設定画面を表示するための設定画面表示プログラムを実行する際に使用する各種データを送受信する。

記憶部２２は、設定画面情報ＤＢ（Data Base）２７を記憶する。また、記憶部２２は、設定画面表示プログラム２８及びその他のプログラムを記憶する。

情報取得部２３は、ＨＭＤ１０にて実行中のゲーム処理に関する画像を表示中に、視線情報を含むユーザＵの動作情報の組を取得する。情報取得部２３は、ＨＭＤ１０に搭載されたカメラ１４により撮像された画像に基づき、ユーザＵの視線情報を取得する。また、情報取得部２３は、ＨＭＤ１０に搭載された位置センサ１１が検出したセンサ値から、ユーザＵの位置情報を取得してもよい。また、情報取得部２３は、ＨＭＤ１０に搭載された姿勢センサ１２や加速度センサ１３が検出したセンサ値から、ユーザＵの首の向きや傾き、頭部の向きや傾きといったユーザＵの姿勢情報を取得してもよい。

情報取得部２３が取得するユーザの動作情報は、実行中の処理を制御する動作とは異なる動作に関する情報であり、一例としてユーザＵの視線情報、ユーザＵの姿勢情報、ユーザＵの位置情報が挙げられる。

情報取得部２３は、ＨＭＤ１０に搭載されたカメラ１４により撮像された画像に基づき、ユーザＵのジェスチャ情報を取得してもよい。また、情報取得部２３は、マイクロフォン等の音声入力装置を使用して、ユーザＵの音声情報を取得してもよい。情報取得部２３は、コントローラ１５の特定の操作を、ユーザＵの特定の動作として取得してもよい。ジェスチャ情報、音声情報、コントローラからの指示情報はいずれも、情報取得部２３が取得する実行中のゲーム処理を制御する動作とは異なる動作に関するユーザの動作情報の一例である。

ユーザの動作情報の組に含まれる視線情報は、実行中のゲーム処理を視認する視線とは異なる方向に向けられる視線に関する情報である。視線情報を含むユーザの動作情報の組は、ユーザの複数の視線情報の組、ユーザの視線情報と姿勢情報との組、ユーザの視線情報とジェスチャ情報との組、ユーザの視線情報と音声情報との組、及びユーザの視線情報とコントローラ１５からの指示情報との組のいずれかの組である。

図４は、設定画面情報ＤＢ２７に記憶されるのデータ項目の一例を示す。設定画面情報ＤＢ２７は、ユーザの動作情報の組２７１及び設定画面情報２７２の各データ項目を有する。動作情報の組２７１は、第１動作情報２７１ａ及び第２動作情報２７１ｂの組を記憶する。ただし、動作情報の組２７１は、２つの動作情報の組み合わせに限らず、３つ以上の動作情報の組み合わせであってもよい。本実施形態では、２つの動作情報の組を例に挙げて説明を続ける。

設定画面情報２７２は、動作情報の組２７１のそれぞれに応じて表示する設定画面を定める。例えば、第１動作情報２７１ａの「腕のオブジェクトＭ２に視線が向けられた動作」と、第２動作情報２７１ｂの「設定項目Ａに視線が向けられた動作」との組のユーザ動作が発生したとき、設定画面情報２７２に示す「メニュー選択画面１」の設定画面が選択される。選択された設定画面は、ＨＭＤ１０に表示される。

制御部２６は、情報処理装置２０の全体を制御する。例えば、制御部２６は、ゲーム処理の実行の開始や終了を制御したり、ユーザ毎にログイン認証時の処理を行い、認証成功時にユーザに対応するゲームの実行や表示制御処理を行う。制御部２６は、設定画面の表示から所定の設定処理を実行する間、実行中のゲーム処理を一時停止するように制御する。

また、制御部２６は、視線情報を含むユーザの動作情報の組に関連付けられた設定画面を記憶した設定画面情報ＤＢ２７を参照して、取得した前記動作情報の組に応じた設定画面を前記表示装置に表示させる。表示制御部２４は、制御部２６が選択した選択画面をＨＭＤ１０に表示する。

画面切替部２５は、ゲームの所定の場面の画像を表示する画面と、設定画面とを切り替えて表示する。画面切替部２５は、一時停止した実行中のゲームに関する画像を表示する画面に設定画面をオーバーラップさせて表示させてもよい。つまり、画面の切り替えには、ゲームの画面と設定画面とを完全に切り替える場合と、ゲームの画面に設定画面を重畳させる場合とが含まれる。

なお、図３は機能に着目したブロック図を描いており、これらの機能ブロックで示した各部は、ハードウエアのみ、ソフトウエアのみ、またはハードウエアとソフトウエアとの組合せによって実現することができる。

かかる構成により、本実施形態に係る情報処理装置２０では、ＣＰＵ３６が、主記憶装置３５又は補助記憶装置３４に格納された設定画面表示プログラム及び各種データを用いて設定画面表示処理を実行する。なお、設定画面情報ＤＢ２７に記憶された情報は、主記憶装置３５、補助記憶装置３４又はネットワーク３０を介して情報処理装置２０に接続されるサーバ４０、その他のクラウド上のサーバ等に格納され得る。

［設定画面表示処理］
次に、本実施形態に係る設定画面表示処理について図５を参照して説明する。本処理は、例えばユーザＵが、コントローラ１５を操作してゲームの開始を指示したとき、情報処理装置２０が、その指示情報を入力することにより開始される。

本処理が開始されると、ステップＳ１において、情報取得部２３は、ゲームの実行指示を受け付ける。次に、ステップＳ１において、表示制御部２４は、ゲームの進行に応じた画像をＨＭＤ１０に表示させる。

次に、ステップＳ３において、制御部２６は、特定の第１視線動作を検出したかを判定する。制御部２６は、情報取得部２３が取得するユーザの動作情報のうち、第１視線動作を含む特定の視線動作は、実行中のゲーム処理を視認する視線とは異なる方向に向けられる視線である。特定の視線動作の一例として、本実施形態では、ＨＭＤ１０に表示されている特定のオブジェクトに向けられるユーザＵの視線を例に挙げて説明する。特定のオブジェクトの一例としては、図６（ａ）に示すＶＲ（Virtual Reality）コンテンツであるユーザＵの腕のオブジェクトＭ２が挙げられる。ユーザＵの腕のオブジェクトＭ２は、出力装置３２のディスプレイの下側に常時表示されている。ただし、特定のオブジェクトはこれに限らず、例えば、図６（ａ）の右下に表示したメニューボックスＭ１であってもよい。メニューボックスＭ１は、総合的な設定画面に遷移可能なボックスとして機能させ、ユーザＵの腕のオブジェクトＭ２は、個別的な設定画面に遷移可能なボックスとして機能させてもよい。メニューボックスＭ１は、表示されてもよいし、表示されていなくてもよい。メニューボックスＭ１が画面上に表示されていない場合、ヘルプ操作により、メニューボックスＭ１の画面上の位置が示されるようにしてもよい。例えば、図６（ａ）に示すように、ユーザＵの視線の位置を視線ポインタＰで表すと、視線ポインタＰが現在の位置からユーザＵの腕のオブジェクトＭ２に遷移し、所定時間（例えば５秒間）オブジェクトＭ２に視線を注視したとき（１−１）、制御部２６は、特定の第１視線動作を検出したと判定する。

図５に戻り、ステップＳ３において、制御部２６が特定の第１視線動作を検出しないと判定した場合、ステップＳ２に戻り、進行中のゲームが継続され、特定の第１視線動作を検出するまで、ゲームを進行させながら、ステップＳ２、Ｓ３の処理が繰り返される。

他方、ステップＳ３において、制御部２６が特定の第１視線動作を検出したと判定した場合、ステップＳ４に進み、制御部２６は、ゲーム進行中の画面表示を一時停止するように制御する。表示制御部２４は、一時停止させた画像をＨＭＤ１０に表示する。

次に、ステップＳ５において、制御部２６は、視線ポインタＰの位置に特定のメニューをポップアップ表示させる。これに応じて、図６（ｂ）に示すように、設定項目Ａ〜Ｄが視線ポインタＰから放射状に配置された特定のメニューがポップアップ表示される。

図５に戻り、ステップＳ６において、制御部２６は、特定の第２視線動作を検出したかを判定する。制御部２６は、特定の第２視線動作を検出しないと判定した場合、ステップＳ７において、所定の時間が経過したかを判定し、所定の時間が経過するまでステップＳ６の処理を繰り返す。ステップＳ６において、特定の第２視線動作を検出せずにステップＳ７の所定時間が経過した場合、ステップＳ２に戻り、制御部２６は、一時停止したゲームを進行させ、ステップＳ２以降の処理を繰り返す。

ステップＳ６において、制御部２６は、特定の第２視線動作を検出したと判定した場合、ステップＳ８に進み、画面切替部２５は、表示画面をメニュー選択画面に切り替える。例えば、図６（ｂ）では、ユーザＵが視線を視線ポインタＰから上方に向け、その状態で視線を所定時間注視させる（１−２）。これにより、制御部２６は、特定の第２視線動作を検出したと判定する。

制御部２６は、図４の設定画面情報ＤＢ２７に基づき、第１視線動作及び第２視線動作の組を検索する。制御部２６は、動作情報の組２７１から、図６（ａ）の腕のオブジェクトＭ２に視線を向ける第１視線動作と、図６（ｂ）のポップアップメニューの設定項目Ａに視線を向ける第２視線動作との組を検出する。制御部２６は、腕のオブジェクトＭ２に視線を向ける第１視線動作と、設定項目Ａに視線を向ける第２視線動作との組に応じて、設定画面情報２７２の「メニュー選択画面１」の設定画面を選択する。表示制御部２４は、選択された「メニュー選択画面１」に切り替えて表示する。これにより、ＨＭＤ１０には、「メニュー選択画面１」が切替表示される。図６（ｃ）は、切り替えて表示される設定画面の一例を示す。

図５に戻り、ステップＳ９において、制御部２６は、更に特定の視線動作を検出したかを判定する。制御部２６が特定の視線動作を検出しないと判定した場合、ステップＳ１０において、制御部２６は、所定の時間が経過したかを判定し、所定の時間が経過するまで、ステップＳ９の処理を繰り返す。ステップＳ９において、特定の視線動作を検出せずにステップＳ１０の所定時間が経過した場合、ステップＳ２に戻り、制御部２６は、そのままゲームを進行させ、ステップＳ２以降の処理を繰り返す。

ステップＳ９において、制御部２６は、特定の視線動作を検出したと判定した場合、ステップＳ１１に進み、画面切替部２５は、検出した視線動作により選択されたメニューの動作を実行し、その後、ステップＳ２に戻り、進行中のゲームを再開する。

例えば、図６（ｃ）では、ユーザＵの視線が、視線ポインタＰから紙面の左側の領域の「〇〇する」の選択肢に向けられ、その状態で所定時間注視させる視線動作が行われる（１−３）。これにより、制御部２６は、「〇〇しますか？」の設定項目に対して「〇〇する」の選択肢が選択されたと判定し、〇〇の動作を実行する。〇〇の動作には、実行中のゲームに関連する装備品の取得動作等が考えられる。「取得する」の選択肢が選択された場合、制御部２６は、ゲームにおける装備品ＡをユーザＵに与える動作を実行する。

以上に説明したように、本実施形態に係る情報処理システムによれば、特定のオブジェクトに予め指定し、特定のオブジェクトに対するユーザの動作情報の組を検出することで、特定のメニュー等の設定画面を表示することができる。この場合、特定のオブジェクトは、ＶＲコンテンツであってもよい。

本実施形態に係る情報処理システムによれば、ゲームの進行中、ユーザの視線を含む動作に基づき、ユーザが視線をどこへ向けてどこを注視するかに応じて、注視した領域に設定された項目への変更をその都度行える。また、設定中、ゲーム進行は一時停止するが、設定後直ちにゲームを進行させることができる。このため、本実施形態に係る情報処理システムによれば、ゲームの進行中に、ゲームの進行を妨げることなく、所望の設定画面を表示することができる。なお、ユーザの視線情報の組が同じであっても、どのゲームの画面が表示されているかによって注視した領域に設定された項目（選択肢）を変更してもよい。

（ユーザの動作の組）
なお、ユーザの動作情報の組は、図５に示すユーザの視線動作の組に限らない。ユーザの動作情報の組は、視線情報とユーザの姿勢情報との組であってもよく、視線情報とユーザのジェスチャ情報との組であってもよい。また、ユーザの動作情報の組は、視線情報とユーザの音声情報との組であってもよく、視線情報とコントローラ１５からの指示情報との組であってもよい。ユーザの動作情報の組のうちの何れかは視線情報であり、視線情報の検出は、図５のステップＳ３であってもよく、ステップＳ６であってもよい。視線情報の検出をしない方のステップＳにおいて、視線情報と組になっているユーザの動作情報が検出される。

姿勢情報の一例である「首の動き」と視線の動きとの組が検出された場合、又は、複数の視線の動きの組が検出された場合について、図７の例を挙げて説明する。ユーザＵは、図７（ａ）に示すように、一度、空方向（上方）まで視線(又は首)を上げ（２−１）、その後、図７（ｂ）に示す地面の右下に視線を落とす又は右下に表示したメニューボックスＭ１に視線を落とす（２−２）。以上のユーザの視線動作を含む動作の組が検出されると、ＨＭＤ１０に表示される画面は、図７（ｃ）に示すゲーム終了かを確認可能な設定画面へ遷移する。ユーザＵが、視線を「終了する」又は「終了しない」の領域へ向け、所定時間だけ注視することで（２−３）、ゲーム終了か否かを選択することができる。特に、ユーザの動作の組に、図７に示すような進行中のゲームに関連付けた意味付け（諦めて空を見上げ、落胆する視線動作の組）を与えると、ユーザの動作の組とゲームの進行状態とを連動させた設定画面の設定が可能となり、ユーザの動作をより容易にすることができる。

ユーザの動作情報の組は、ジェスチャと視線とを組み合わせたユーザ動作や、音声と視線とを組み合わせたユーザ動作であってもよい。例えば、情報処理装置２０は、音声認識機能を使用して「設定」等の特定のキーワードをユーザＵが言ったことを検知し、さらに特定の視線動作があった場合、その組に対応する設定画面を表示するようにしてもよい。この場合、音声認識の精度は、雑音等とキーワードとを区別できる程度であればよく、高く設定する必要はない。

また、コントローラ１５の操作と視線とを組み合わせたユーザ動作が検出された場合、所定の設定画面を表示してもよい。例えば、手元にあるが、普段使わないコントローラ１５のボタンの押下と視線動作との組を検出した場合、所定の設定画面を立ち上げるようにしてもよい。

なお、ゲームが進行中の場面を表示した画面から設定画面に切り替えてメニューを表示させた後、コントローラ１５を用いて設定画面から必要な設定項目の選択をするのでは、簡易なメニューアクセスが実現されない。よって、設定画面を立ち上げた後の設定画面から必要な設定項目の選択をするユーザ動作は、コントローラ１５を用いることなく、視線動作を用いて設定を完了させることが好ましい。

以上、本実施形態に係る情報処理装置２０によれば、ゲームの進行中に、簡易的な設定を視線を含む複数のユーザ動作により行う。これにより、ＨＭＤ１０にて実行中のゲーム処理を妨げずに所望の設定画面を表示することができる。

以上、情報処理装置、設定画面表示方法及び設定画面表示プログラムを上記実施形態により説明したが、本発明にかかる情報処理装置、設定画面表示方法及び設定画面表示プログラムは上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。

例えば、選択された設定画面の表示の具体例としては、図６（ｂ）のゲーム実行中の画面から図６（ｃ）に示す設定画面に切り替える場合に限らない。例えば、現状のゲームの進行に直結する事項に対する設定画面を表示する場合のように、画面を切り替える必要のない場合、設定項目Ａ〜Ｄを表示するだけでもよい。この場合、図６（ｂ）の視線ポインタＰから設定項目Ａ〜Ｄのいずれかの方向に視線を動かし、設定項目に設定された動作を実行することができる。この場合、図５のステップＳ６で「Ｙｅｓ」と判定された場合、ステップＳ１１を実行することになる。

また、ゲーム終了等の設定の場合、図７（ｂ）の画面から図７（ｃ）の画面に切り替えずに、図８（ｂ）に示すように、ゲーム進行中の画面に半透明の表示等によって、選択された設定画面をオーバーラップして表示させてもよい。その場合にも、全画面を選択肢の数で割った領域を注視させることで（３−２）、その領域の選択肢（図８（ｂ）では、「次のステージへ進む」）を選択させることができる。これにより、画面を設定画面に切り替えることなく、ユーザＵが望む設定をスムーズに行い、ゲームを再開することができる。全画面を選択肢の数で割った領域は、２つに限らず、３以上のいずれの数であってもよい。

また、設定画面情報ＤＢ２７に記憶されるユーザの動作情報の組２７１に対する設定画面情報２７２の設定は、ユーザＵが、事前に、設定画面情報２７２に設定した領域に、特定の機能を割り振ることにより行うことができる。ただし、ユーザＵは、設定画面情報ＤＢ２７に設定する情報を変更できないとすることも可能である。

１０ＨＭＤ
１１位置センサ
１２姿勢センサ
１３加速度センサ
１４カメラ
１５コントローラ
２０情報処理装置
２１通信部
２２記憶部
２３情報取得部
２４表示制御部
２５画面切替部
２６制御部
２７設定画面情報ＤＢ
２８設定画面表示プログラム
３０ネットワーク
４０サーバ
３１入力装置
３２出力装置
３３ドライブ装置
３４補助記憶装置
３５主記憶装置
３６ＣＰＵ
３７通信制御装置
３８記録媒体
Ｕユーザ

Claims

装着型の表示装置にて実行中の処理に関する画像を表示中に、視線情報を含むユーザの動作情報の組を取得する情報取得部と、
視線情報を含むユーザの動作情報の組に関連付けられた設定画面を記憶した記憶部を参照して、取得した前記動作情報の組に応じた設定画面を前記表示装置に表示させる制御部と、を有し、
前記視線情報を含むユーザの動作情報の組は、ユーザの複数の視線情報の組であり、
前記制御部は、画面上に表示された特定のオブジェクトに予め指定し、前記特定のオブジェクトに対する前記ユーザの動作情報の組を検出することで、取得した前記動作情報の組に応じた設定画面を前記表示装置に表示させ、
前記特定のオブジェクトは、前記ユーザの身体の一部の表示を含む、情報処理装置。
前記制御部は、前記設定画面の表示から所定の設定処理を実行する間、前記実行中の処理を一時停止する、
請求項１に記載の情報処理装置。
前記ユーザの動作情報は、前記実行中の処理を制御する動作とは異なる動作に関する情報である、
請求項１又は２に記載の情報処理装置。
前記ユーザの動作情報の組に含まれる視線情報は、前記実行中の処理を視認する視線とは異なる方向に向けられる視線に関する情報である、
請求項３に記載の情報処理装置。
前記制御部は、前記実行中の処理に関する画像を表示する画面にオーバーラップさせて設定画面を表示させる、
請求項１〜４のいずれか一項に記載の情報処理装置。
装着型の表示装置にて実行中の処理に関する画像を表示中に、視線情報を含むユーザの動作情報の組を取得し、
視線情報を含むユーザの動作情報の組に関連付けられた設定画面を記憶した記憶部を参照して、取得した前記動作情報の組に応じた設定画面を前記表示装置に表示させる処理をコンピュータが実行し、
前記視線情報を含むユーザの動作情報の組は、ユーザの複数の視線情報の組であり、
画面上に表示された特定のオブジェクトに予め指定し、前記特定のオブジェクトに対する前記ユーザの動作情報の組を検出することで、取得した前記動作情報の組に応じた設定画面を前記表示装置に表示させる処理を含み、
前記特定のオブジェクトは、前記ユーザの身体の一部の表示を含む、画面表示方法。
装着型の表示装置にて実行中の処理に関する画像を表示中に、視線情報を含むユーザの動作情報の組を取得し、
視線情報を含むユーザの動作情報の組に関連付けられた設定画面を記憶した記憶部を参照して、取得した前記動作情報の組に応じた設定画面を前記表示装置に表示させる処理をコンピュータが実行し、
前記視線情報を含むユーザの動作情報の組は、ユーザの複数の視線情報の組であり、
画面上に表示された特定のオブジェクトに予め指定し、前記特定のオブジェクトに対する前記ユーザの動作情報の組を検出することで、取得した前記動作情報の組に応じた設定画面を前記表示装置に表示させる処理を含み、
前記特定のオブジェクトは、前記ユーザの身体の一部の表示を含む、設定画面表示プログラム。