JP6312184B2

JP6312184B2 - 端末装置、及びプログラム

Info

Publication number: JP6312184B2
Application number: JP2017206581A
Authority: JP
Inventors: 典明原田
Original assignee: Konami Digital Entertainment Co Ltd
Current assignee: Konami Digital Entertainment Co Ltd
Priority date: 2017-10-25
Filing date: 2017-10-25
Publication date: 2018-04-18
Anticipated expiration: 2036-06-30
Also published as: JP2018010702A

Description

本発明は、端末装置、及びプログラムに関する。

ユーザの頭部に装着し、該ユーザの眼前に配置されたディスプレイに仮想空間における画像を表示可能なヘッドマウントディスプレイ（ＨＭＤ：ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）がある。例えば、ＨＭＤを利用したゲームでは、頭部に装着するディスプレイの他、手に持って操作されるコントローラ等のデバイスを併用してゲームをプレイするものがある。しかしながら、ユーザはＨＭＤによって現実空間への視界が覆われており手元を観察できないため、コントローラから一旦指が離れた場合などに誤操作が発生することがあった。そこで、頭部の傾き等の動きを検出して、選択肢の表示／非表示操作などを行うＨＭＤがある（例えば、特許文献１）。

また、近年、スマートフォンなどの高性能化に伴いスマートフォンなどをＨＭＤとして利用するものがある。例えば、簡易的なアタッチメントを用いてスマートフォンを頭部に装着することで、ＨＭＤとして利用することができる。この場合、頭部へ装着されることにより、スマートフォンに備えられているタッチパネル等の入力デバイスが利用できなくなる。そのため、例えばスマートフォンに内蔵されたジャイロなどのセンサを利用して頭部の動きを検出することで、ＨＭＤに表示される選択肢に対する操作を実現する必要がある。

特許第５７６７３８６号公報

ＨＭＤに表示される選択肢に対して頭部の動きを用いて操作を行う場合、頭部の方向を特定の範囲内（選択肢の判定領域の範囲内）に向けておき、その状態で所定時間（例えば３秒など）経過した場合に選択が確定されるようにする操作方法がある。しかしながら、このような操作方法では、数多くの選択肢から選択しなければならないような場合、ＨＭＤに表示される一つ一つの選択肢の判定領域の範囲が小さなものとなるため、不安定な頭部の動きで操作を行うと、判定領域の範囲から意図せず外れてしまう等の誤入力が発生し、操作性が悪かった。

本発明のいくつかの態様は、ＨＭＤに表示される選択肢に対して選択操作する際の操作性を向上する端末装置、及びプログラムを提供することを目的の一つとする。

また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする端末装置、及びプログラムを提供することを目的の一つとする。

上述した課題を解決するために、本発明の一態様は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能なヘッドマウントディスプレイシステムの少なくとも一部として利用可能な端末装置であって、前記端末装置の方向に関する情報を検出する検出部と、ユーザからの選択の有無を判定する判定領域を有する複数の選択オブジェクトを、前記仮想空間内において所定の方向に並べて配置するオブジェクト配置部と、前記検出部の検出結果に応じて前記仮想空間内の前記仮想視点からの視界方向に配置されている前記選択オブジェクトを表示部に表示させる表示制御部と、を備え、前記オブジェクト配置部は、前記検出部の検出結果に基づいて前記仮想空間内の前記仮想視点からの視界方向が変化したと判定された場合、当該視界方向の変化に基づいて前記所定の方向への移動を制限しつつ前記選択オブジェクトを移動させる、端末装置である。

また、本発明の一態様は、コンピュータを、上記の端末装置として機能させるためのプログラムである。

第１の実施形態に係るＨＭＤシステムの一例を示す外観図。第１の実施形態に係る端末装置のハードウェア構成の一例を示す図。第１の実施形態に係る仮想空間の方向の定義を示す図。第１の実施形態に係る視界方向と視線位置との説明図。選択メニュー画面の一例を示す図。視線位置が選択オブジェクトに重なった選択メニュー画面の一例を示す図。判定領域が変化した選択メニュー画面の一例を示す図。選択オブジェクトの選択が確定したときの選択メニュー画面例を示す図。選択オブジェクトの数が多い場合の選択メニュー画面の一例を示す図。視線位置が選択オブジェクトに重なった選択メニュー画面例を示す図。第１の実施形態に係る端末装置の機能構成の一例を示すブロック図。第１の実施形態に係るオブジェクト配置処理の一例を示すフローチャート。第１の実施形態に係る選択オブジェクトの判定処理の一例を示すフローチャート。視線位置と選択オブジェクトの判定領域とが重なっている選択メニュー画面の一例を示す図。視線位置と選択オブジェクトの判定領域とが重ならない状態になった選択メニュー画面の一例を示す図。第１の実施形態に係る選択オブジェクトの判定処理の一例を示すフローチャート。第２の実施形態に係る選択メニュー画面の一例を示す図。ユーザの視界方向がピッチ方向に変化した場合の選択メニュー画面の一例を示す図。ユーザの視界方向がヨー方向に変化した場合の選択メニュー画面の一例を示す図。ユーザの視界方向がロール方向に変化した場合の選択メニュー画面の一例を示す図。第２の実施形態に係るオブジェクト配置処理の一例を示すフローチャート。第３の実施形態に係る選択メニュー画面の一例を示す図。第３の実施形態に係るオブジェクト配置処理の一例を示すフローチャート。

以下、本発明の一実施形態について、図面を参照して説明する。
[第１の実施形態]
本発明の第１の実施形態について説明する。
図１は、本実施形態に係るＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）システムの一例を示す外観図である。ＨＭＤは、ユーザの頭部に装着され、仮想空間内の仮想視点からの視界を表す視界画像を表示可能である。例えば、ＨＭＤは、右目と左目との両眼視差を利用した立体視画像を表示可能である。また、ＨＭＤは、ジャイロ等のＨＭＤの動きや傾きを検知するセンサを搭載しており、装着されているユーザの頭部の動きや傾きの変化などを検知し、その変化に応じてディスプレイに仮想空間の視界方向の視界画像を表示する。例えば、ＨＭＤに映し出される視界画像は、ユーザの頭部が右方向を向けば仮想空間内の右方向の視界画像に変化し、上をむけば仮想空間内の上方向の視界画像に変化し、あたかもその場にいるような没入感をユーザに与えることができる。

図示するＨＭＤシステム１は、表示部１２を備えた端末装置１０をアタッチメント２に取り付けることで、端末装置１０をＨＭＤとして利用可能な構成である。アタッチメント２は、ユーザの頭部に装着された状態でユーザの正面の視界を覆うように端末装置１０が取り付け可能であり、取り付けられた端末装置１０の表示部１２を視認するための右目用レンズ３Ｒ及び左目用レンズ３Ｌと、ＨＭＤシステム１をユーザの頭部に装着するためのストラップ５とを備えている。ユーザは、ＨＭＤシステム１を頭部に装着することで、端末装置１０に表示される視界画像を、右目用レンズ３Ｒ及び左目用レンズ３Ｌを介して視認できる。

〔端末装置１０のハードウェア構成〕
端末装置１０は、ＨＭＤシステム１の少なくとも一部として利用可能な携帯型のコンピュータ装置であり、スマートフォンやフィーチャーフォン等の携帯電話機、携帯情報端末（ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、タブレットＰＣ、家庭用ゲーム機、等が適用できる。本実施形態では、端末装置１０はスマートフォンであるとして説明する。

図２は、端末装置１０のハードウェア構成の一例を示す図である。端末装置１０は、例えば、表示部１２と、センサ１３と、タイマ１４と、記憶部１５と、通信部１６と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１７と、を備えている。

表示部１２は、画像やテキスト等の情報を表示するディスプレイであり、例えば、液晶ディスプレイパネル、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイパネルなどを含んで構成される。例えば、表示部１２は、仮想空間内の仮想視点からの視界画像として、両眼視差を利用した立体視画像（右目用画像及び左目用画像）を表示する。また、表示部１２は、仮想空間内に配置された各種オブジェクトを視界画像とともに表示する。各種オブジェクトとは、例えば、ユーザからの選択の有無を判定する判定領域を有する選択オブジェクト（選択肢）、仮想視点からの視線方向に対応する視線位置を視認可能とするためのオブジェクト等のユーザーインターフェース（ＵＩ）用として表示するためのオブジェクトである。

センサ１３は、端末装置１０の方向に関する情報を検知するセンサである。例えば、センサ１３は、物体の角度、角速度、角加速度等を検知するジャイロセンサである。なお、センサ１３は、方向の変化を検知するセンサであってもよいし、方向そのものを検知するセンサであってもよい。例えば、センサ１３は、ジャイロセンサに限られるものではなく、加速度センサ、傾斜センサ、地磁気センサ等であってもよい。

タイマ１４は、時間を計測する計時機能を有する。

記憶部１５は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ-ＯｎｌｙＭｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ-ＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などを含み、仮想空間データ（画像データ）や、仮想空間内に配置されるオブジェクトのデータ、仮想空間を用いたゲームのプログラム等を記憶する。

通信部１６は、ネットワークＮＷを介して、他の装置と通信を行う。

ＣＰＵ１７は、端末装置１０が備える各部を制御する制御中枢として機能する。例えば、ＣＰＵ１７は、記憶部１５に記憶された各種プログラムを実行することで、端末装置１０の各部を制御する制御部として機能する。

上述した各構成は、バス（Ｂｕｓ）を介して相互に通信可能に接続されている。また、端末装置１０は、不図示のスピーカ、音声出力端子、カメラ、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）受信モジュール、ユーザの操作入力を受け付ける操作ボタンまたはタッチパネルなどのハードウェア構成を含んで構成されてもよい。

例えば、端末装置１０は、ＨＭＤを利用したゲームのプログラムを実行する。このゲームは、ユーザがＨＭＤシステム１を装着した状態で、表示部１２に表示される視界画像（ゲーム画面）の視野範囲を頭部の向きなどを変えて変更しながらプレイするものである。端末装置１０は、センサ１３の検知結果に基づいて端末装置１０の方向に関する情報を検出し、検出結果に基づいて視界方向の視界画像（ゲーム画面）を表示部１２に表示させる。また、端末装置１０は、ユーザによる選択操作の入力を受け付ける場合、ユーザからの選択の有無を判定する判定領域を有する選択オブジェクト（選択肢）を仮想空間内に配置し、視界画像とともに表示部１２に表示させる。

〔仮想空間における定義〕
図３は、本実施形態に係る仮想空間の方向の定義を示す図である。本実施形態では、ユーザが直立する方向である垂直方向をＺ軸とし、Ｚ軸に直交する軸であってユーザと表示部１２とを結ぶ方向をＸ軸とし、Ｚ軸及びＸ軸と直交する軸をＹ軸とする。

ここで、Ｚ軸を軸とした回転方向への変化をヨー方向（左右方向）への変化ともいい、Ｙ軸を軸とした回転方向への変化をピッチ方向（上下方向）への変化ともいい、Ｘ軸を軸とした回転方向への変化をロール方向への変化ともいう。例えば、上述したセンサ１３は、各軸の回転方向（ヨー方向、ピッチ方向、およびロール方向）の角速度または角加速度を検知する。なお、ヨー方向への変化を左右方向への変化、ピッチ方向への変化を上下方向への変化、ともいうことがある。

図４は、本実施形態に係る視界方向と視線位置との説明図である。この図において、仮想空間内の仮想視点Ｋ（ユーザの仮想視点）をＸ軸、Ｙ軸、及びＺ軸の交点（原点）とし、ユーザの視線方向をＸ軸方向とすると、仮想視点からの視界方向の視界画像の範囲（即ち、視界）は、視線方向（Ｘ軸方向）を中心としたヨー角α（破線ａと破線ｂとの内角、及び破線ｃと破線ｄとの内角）とピッチ角β（破線ａと破線ｄとの内角、及び破線ｂと破線ｃとの内角）とで定まる範囲である。ここで、ヨー角α及びピッチ角βは、ＨＭＤシステム１に表示させる仮想空間の視界画像の画角として予め設定された角度である。ユーザの頭部がピッチ方向またはヨー方向に変化すると、その変化に応じて視線方向がＸ軸方向からピッチ方向またはヨー方向に変化し、視界方向もピッチ方向またはヨー方向に変化する。また、ユーザの頭部がロール方向に変化すると、視線方向はＸ軸方向のまま、視界方向がロール方向に回転する。

また、仮想空間内には、各種のオブジェクトが必要に応じて配置される。例えば、仮想空間内の視線方向に直交する同一面（同一レイヤ）に各種のオブジェクトが配置される。例えば、図示するように仮想空間内においてオブジェクトが配置される面を面Ｌ１とすると、視線位置を視認可能とするためのオブジェクトである視線位置Ｐ１が、この面Ｌ１において視界方向の範囲を示す破線ａ、ｂ、ｃ、ｄとの交点ａ１、ｂ１、ｃ１、ｄ１を頂点とした四角形で囲まれる範囲（視界）の中央（即ち、面Ｌ１とＸ軸の交点）に配置される。なお、視線位置Ｐ１が配置される位置は、面Ｌ１において、交点ａ１、ｂ１、ｃ１、ｄ１を頂点とした四角形で囲まれる範囲（視界）の中央に限らず、他の位置（例えば、中央より若干下の位置など）に配置されてもよい。また、仮想空間内の面Ｌ１に、ユーザからの選択の有無を判定する判定領域を有する選択オブジェクト（選択肢）が配置される。判定領域は、面（２次元形状）であってもよいし、立体（３次元形状）であってもよい。例えば、この面Ｌ１と破線ａ、ｂ、ｃ、ｄとの交点ａ１、ｂ１、ｃ１、ｄ１を頂点とした四角形で囲まれる範囲（視界）に配置される選択オブジェクト（選択肢）と、視線位置Ｐ１とが視界画像とともに表示部１２に表示されることになる。

ユーザの頭部がピッチ方向またはヨー方向に変化すると、その変化に応じて視界方向及び視線方向がピッチ方向またはヨー方向に変化するため、視線位置Ｐ１は、視線方向に対応する位置（視界画像の中央）に表示されるように移動する。また、ユーザの頭部がロール方向に変化した場合、視線位置Ｐ１は、配置されている位置のままロール方向の変化に応じて回転する。一方、選択オブジェクトは、視界方向がピッチ方向、ヨー方向、またはロール方向に変化しても配置されている位置から移動しない。つまり、視界方向が変化した場合、変化した視界の中に配置されている選択オブジェクトが表示される。

なお、両眼視差を利用した立体視画像を表示する場合、右目用と左目用のそれぞれの仮想視点に対応する視界方向及び視線方向があり、それぞれの視界方向及び視線方向の視界画像と各種オブジェクトとが含まれる右目用画像と左目用画像が表示されるが、本実施形態では、説明を容易にするために右目用と左目用とを区別せずに説明する。

〔選択オブジェクトの表示例と操作例〕
次に、選択オブジェクトの表示例と操作例について説明する。以下において、複数の選択オブジェクトが選択可能に表示部１２に表示される画面を「選択メニュー画面」ともいうこととする。選択メニュー画面は、仮想空間における視界方向の視界画像を背景画像として、同じく仮想空間に配置されている選択オブジェクトと、視線方向に対応する視線位置Ｐ１とが表示される画面である。

図５は、選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ１０には、仮想空間内の視線方向に対応する視線位置に配置されているオブジェクトである視線位置Ｐ１が画面の中央に表示されている。また、仮想空間内に配置されているそれぞれ４つの選択オブジェクトがＺ軸方向に並ぶ２つの列が左右に所定の間隔を空けて並んで表示されている。左側の列には選択肢Ａ、選択肢Ｃ、選択肢Ｅ、及び選択肢Ｇの４つの選択オブジェクトがＺ軸方向に所定の間隔を空けて並んで表示されている。右側の列には選択肢Ｂ、選択肢Ｄ、選択肢Ｆ、及び選択肢Ｈの４つの選択オブジェクトがＺ軸方向に所定の間隔を空けて並んで表示されている。ここでは、選択オブジェクトの表示領域が、選択の有無を判定する判定領域であるものとする。なお、選択オブジェクトの表示領域と、選択の有無を判定する判定領域とは、異なる領域であってもよい。視線位置Ｐ１がいずれの選択オブジェクトの判定領域とも視線方向において重ならない位置関係にあるため、いずれの選択オブジェクト（選択肢）も選択されていない状態である。

図５に示す選択メニュー画面Ｇ１０が表示されている状態で、ユーザの頭部の向きが変化すると、選択オブジェクトと視線位置Ｐ１との相対位置が変化する。視線位置Ｐ１は、頭部の向きの変化に応じて視線位置を保つように追従し移動するため、画面の中央に固定されて表示される。一方、選択オブジェクトは、頭部の向きの変化に応じて視界方向が変化するため、その視界方向の変化に応じて画面上では移動する。

図６は、視線位置Ｐ１が選択オブジェクトに重なった選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ１１では、視線位置Ｐ１と選択肢Ｃとが、視線方向において重なる位置関係となっている。視線位置Ｐ１が選択オブジェクトの判定領域に重なると、その選択オブジェクト（ここでは、選択肢Ｃ）の判定領域が変化する。

図７は、判定領域が変化した選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ１２において、視線位置Ｐ１が判定領域に重なっている選択オブジェクト（ここでは、選択肢Ｃ）の判定領域が拡大されている。これにより、選択しようとしている選択オブジェクトの判定領域内に視線位置Ｐ１を維持しやすくなり、誤って判定領域外に視線位置Ｐ１を移動させてしまう誤操作を防止しやすくなる。

なお、選択オブジェクトの判定領域の拡大は、仮想空間内に配置する判定領域を拡大する方法でもよいし、判定領域の大きさはそのままで配置する位置をユーザ（仮想視点Ｋ）に近づけることで選択オブジェクトより相対的に拡大されて表示されるようにしてもよい。また、ここでは、選択肢Ｃの判定領域と同様に表示領域も拡大されているが、選択肢Ｃの判定領域のみ拡大し、表示領域は拡大されなくてもよい。

また、視線位置Ｐ１が判定領域に重なっている選択オブジェクト（ここでは、選択肢Ｃ）の表示色が変更されてもよい。例えば、視線位置Ｐ１が判定領域に重なっていない選択オブジェクトの表示色が青であり、視線位置Ｐ１が判定領域に重なっている選択オブジェクト（ここでは、選択肢Ｃ）の表示色が青から赤に変更してもよい。これにより、選択されていることがより視認しやすくなる。このように、選択オブジェクトの判定領域を拡大する場合、選択オブジェクトの表示態様を変更してもよい。

また、視線位置Ｐ１が判定領域に重なっている選択オブジェクト（ここでは、選択肢Ｃ）の近傍に、視線位置Ｐ１が判定領域に重なってからの経過時間を視認可能とするためのオブジェクトである経過時間ゲージＴ１が配置されて表示される。例えば、経過時間ゲージＴ１は、円形状のゲージであり、視線位置Ｐ１が判定領域に重なってから時間の経過と共に円状にバーが増加していき、所定時間以上経過するとこの円状に増加するバーが一周分に伸びる。ここで、上記の所定時間とは、選択オブジェクトの選択の有無を決定するための閾値として予め設定された判定時間であり、視線位置Ｐ１が判定領域に重なってからの経過時間が所定時間以上となった場合に、その判定領域の選択オブジェクトが選択されたとして決定される。一方、視線位置Ｐ１が判定領域に重なってからの経過時間が所定時間未満の場合には、その判定領域の選択オブジェクトはまだ選択されていないと判定される。例えば、この円状に増加するバーが一周分になる前に、視線位置Ｐ１が判定領域から外れた場合、その判定領域の選択オブジェクトは選択されていないものと判定され、計測時間（経過時間）がリセットされる。

一方、経過時間ゲージＴ１の円状に増加するバーが一周分になると、視線位置Ｐ１が判定領域に重なっている選択オブジェクト（ここでは、選択肢Ｃ）の選択が確定する。
図８は、選択オブジェクトの選択が確定したときの選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ１３において、経過時間ゲージＴ１の円状に増加するバーが一周分に伸び、視線位置Ｐ１が判定領域に重なっている選択オブジェクト（ここでは、選択肢Ｃ）が選択されたことが確定される。このとき、仮想空間内に配置されている他の選択オブジェクトは、消去されたり、透過率を上げて目立たないように表示されたりする。これにより、選択された選択オブジェクトが相対的に強調された表示となる。

なお、上述した選択オブジェクトの判定領域の拡大は、他の選択オブジェクトの判定領域と視線方向において重ならない範囲での拡大となる。また、選択オブジェクトの判定領域の拡大は、他の選択オブジェクトの判定領域と、視線方向に対して直交する方向に所定の間隔空く範囲での拡大とであってもよい。そのため、選択オブジェクトの数が増えると、選択オブジェクトの判定領域を拡大しにくくなる。よって、端末装置１０は、選択オブジェクトの判定領域を拡大する場合、他に配置されている選択オブジェクトの位置を変更してもよい。

図９は、選択オブジェクトの数が多い場合の選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ１４においては、仮想空間内に配置されているそれぞれ５つの選択オブジェクトがＺ軸方向に並ぶ２つの列が左右に所定の間隔を空けて並んで表示されている。左側の列には選択肢Ａ、選択肢Ｃ、選択肢Ｅ、選択肢Ｇ、及び選択肢Ｉの５つの選択オブジェクトがＺ軸方向に所定の間隔を空けて並んで表示されている。右側の列には選択肢Ｂ、選択肢Ｄ、選択肢Ｆ、選択肢Ｈ、及び選択肢Ｊの５つの選択オブジェクトがＺ軸方向に所定の間隔を空けて並んで表示されている。また、仮想空間内に配置されている視線位置Ｐ１が画面の中央に表示されている。視線位置Ｐ１は、いずれの選択オブジェクトの判定領域とも視線方向において重ならない位置関係にある。

図１０は、図９に示す選択メニュー画面において、視線位置Ｐ１が選択オブジェクトに重なった選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ１５において、視線位置Ｐ１と選択肢Ｅとが、視線方向において重なる位置関係となっている。視線位置Ｐ１が選択オブジェクトの判定領域に重なると、その選択オブジェクト（ここでは、選択肢Ｅ）の判定領域が拡大するが、Ｚ軸方向に隣接する選択オブジェクトとの配置間隔が狭い。そのため、選択オブジェクト（ここでは、選択肢Ｅ）の判定領域が拡大する場合に、その拡大する領域を確保するように、選択肢Ｅの上側の選択オブジェクト（ここでは、選択肢Ａ、Ｃ）と下側の選択オブジェクト（ここでは、選択肢Ｇ、Ｉ）とのそれぞれが選択肢Ｅから離れる方向に移動する。

なお、拡大された選択オブジェクトの表示領域には、他の情報が表示されてもよい。例えば、選択オブジェクトが購入アイテムの選択オブジェクトであった場合、通常は選択オブジェクトにアイテム名が表示されるが、選択した場合にはアイテム名に加え、購入価格等が表示されても良い。

〔端末装置１０の機能構成〕
次に、図１１を参照して、端末装置１０の機能構成について説明する。図１１は、本実施形態に係る端末装置１０の機能構成の一例を示すブロック図である。端末装置１０は、記憶部１５に記憶されているプログラムをＣＰＵ１７が実行することにより実現される機能構成として、制御部１１０を備えている。制御部１１０は、検出部１１１と、判定部１１２と、オブジェクト配置部１１３と、表示制御部１１４と、を備えている。

検出部１１１は、センサ１３の検知結果に基づいて、端末装置１０の方向に関する情報を検出する。例えば、検出部１１１は、センサ１３が検知する方向、または方向の変化に関する情報に基づいて、端末装置１０が取り付けられたＨＭＤシステム１を装着したユーザの視界方向または視界方向の変化を、端末装置１０が向いている方向によって検出する。なお、検出部１１１は、視界方向の変化速度に関する情報を検出してもよい。

判定部１１２は、ユーザの視線位置Ｐ１と選択オブジェクトの判定領域との位置関係に基づいて、選択オブジェクトの選択の有無を判定する。例えば、判定部１１２は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重ならない位置関係から重なる位置関係になってからの経過時間を計時するとともに、計時した経過時間に基づいて選択の有無を判定する。例えば、判定部１１２は、視線位置Ｐ１と選択オブジェクトの判定領域とが重なる位置関係になってから所定時間以上経過した場合に、その選択オブジェクトが判定された（選択有）と判定する。一方、判定部１１２は、視線位置Ｐ１と選択オブジェクトの判定領域とが重なる位置関係になってからの経過時間が所定時間未満の場合に、その選択オブジェクトはまだ選択されていない（選択無）と判定する。

オブジェクト配置部１１３は、ユーザからの選択の有無を判定する判定領域を有する選択オブジェクトを、仮想空間内に配置する。また、オブジェクト配置部１１３は、仮想視点からの視線方向を検出部１１１の検出結果に基づいて定め、視線方向に対応する視線位置を視認可能とするためのオブジェクト（例えば、視線位置Ｐ１）を、仮想空間内に配置する。また、オブジェクト配置部１１３は、経過時間を視認可能とするためのオブジェクト（例えば、経過時間ゲージＴ１）を仮想空間内に配置する。例えば、オブジェクト配置部１１３は、上記の各種オブジェクトを仮想空間内において同一面（同一レイヤ）に配置してもよいし、複数の面（複数のレイヤ）に分けて配置してもよい。なお、オブジェクト配置部１１３は、経過時間等の時間情報を、タイマ１４を用いて計時して取得する。

表示制御部１１４は、検出部１１１の検出結果に応じて仮想空間内の仮想視点からの視界方向の視界画像を、表示部１２に表示させる。また、表示制御部１１４は、検出部１１１の検出結果に応じて仮想空間内の仮想視点からの視界方向に配置されている各種オブジェクト（選択オブジェクト、視線位置、経過時間ゲージ等）を、表示部１２に表示させる。なお、仮想空間内の各方向の視界画像のデータは、仮想空間データとして記憶部１５に記憶されている。表示制御部１１４は、視界方向に対応する視界画像を仮想空間データから取得して視界画像として表示部１２に表示させる。

〔オブジェクト配置処理の詳細〕
次に、本実施形態に係るオブジェクト配置処理について詳しく説明する。
オブジェクト配置部１１３は、仮想空間における仮想視点からの視線方向に対応する視線位置Ｐ１と選択オブジェクトの判定領域との位置関係に基づいて、選択オブジェクトの判定領域を変更する。例えば、オブジェクト配置部１１３は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重ならない位置関係から重なる位置関係になった場合、選択オブジェクトの判定領域を広くする。ここで、オブジェクト配置部１１３は、選択オブジェクトの判定領域を広くする場合、他の選択オブジェクトの判定領域に視線方向において重ならない範囲で広くする。

なお、オブジェクト配置部１１３は、選択オブジェクトの判定領域を広くする場合、他の選択オブジェクトの判定領域と、視線方向に対して直交する方向に所定の間隔が空く範囲で広くする。また、オブジェクト配置部１１３は、選択オブジェクトの判定領域を広くする場合、他に配置されている選択オブジェクトの位置を変更してもよい。また、オブジェクト配置部１１３は、選択オブジェクトの判定領域を広くする場合、選択オブジェクトの表示態様を変更してもよい。また、オブジェクト配置部１１３は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重ならない位置関係から重なる位置関係になってから所定の時間経過した後に、選択オブジェクトの判定領域または該判定領域に対応する表示領域を広くしてもよい。

次に、図１２を参照して、本実施形態に係るオブジェクト配置処理の動作を説明する。図１２は、本実施形態に係るオブジェクト配置処理の一例を示すフローチャートである。なお、表示部１２には、視界方向の視界画像と視線位置Ｐ１とが表示されているものとする。まず、選択メニュー表示のトリガを受け付けると、制御部１１０は、複数の選択オブジェクトを仮想空間内に配置する（ステップＳ１００）。これにより、表示部１２には、視界画像と複数の選択オブジェクトとが含まれる選択メニュー画面（例えば、図５参照）が表示される。ここで、選択メニュー表示のトリガとは、ゲームが開始されたこと、ゲームが開始されて所定時間経過したこと、ゲーム内で特定の行為が行われたこと、等のように、ゲームにおいてユーザの意思確認が必要な場面で設定されたものである。

制御部１１０は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なっているか否かを判定する（ステップＳ１０２）。視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なっている（例えば、図６参照）と判定された場合（ＹＥＳ）、制御部１１０は、選択オブジェクトの判定領域を拡大に設定する（例えば、図７参照）、即ち、判定領域を広くする（ステップＳ１０４）。なお、このとき制御部１１０は、視線位置Ｐ１が判定領域に重なっている選択オブジェクト（例えば、選択肢Ｃ）の近傍に、経過時間ゲージＴ１を配置する。

一方、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なっていない（例えば、図５参照）と判定された場合（ＮＯ）、制御部１１０は、選択オブジェクトの判定領域を初期値に設定する、即ち、判定領域を変更しない（ステップＳ１０６）。

次に、制御部１１０は、選択メニューの表示オフのトリガを受け付けたか否かを判定する（ステップＳ１０８）。ここで、選択メニューの表示オフのトリガとは、いずれかの選択オブジェクトが選択された場合、選択オブジェクトを表示させてから所定時間が経過した場合、選択メニューの表示をオフさせる選択肢が選択された場合、等である。選択メニューの表示オフのトリガを受け付けたと判定された場合（ＹＥＳ）、制御部１１０は、仮想空間内に配置している選択オブジェクトを消去して（ステップＳ１１０）、オブジェクト配置処理を終了する。

一方、選択メニューの表示オフのトリガを受け付けていないと判定された場合（ＮＯ）、制御部１１０は、センサ１３の検知結果に基づいて角速度を検出する（ステップＳ１１２）。そして、制御部１１０は、検出した角速度に基づいて、視界方向の変化があるか否かを判定する（ステップＳ１１４）。視界方向の変化がないと判定された場合（ＮＯ）、視線位置Ｐ１と選択オブジェクトの判定領域との相対位置に変化がないため、制御部１１０は、ステップＳ１０８の処理に戻し、選択メニューの表示オフのトリガを受け付けたか否かを判定する。一方、視界方向の変化があると判定された場合（ＹＥＳ）、視線位置Ｐ１と選択オブジェクトの判定領域との相対位置に変化が生じるため、制御部１１０は、ステップＳ１０２の処理に戻し、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なっているか否かを判定する。継続して重なっている場合には選択オブジェクトの判定領域を拡大に設定したままとし、重なっていない状態から重なっている状態になった場合には選択オブジェクトの判定領域を初期値から拡大に変更し、重なっている状態から重なっていない状態になった場合には選択オブジェクトの判定領域を拡大から初期値に変更する。

〔選択有無の判定処理の動作〕
次に、図１３を参照して、本実施形態に係るオブジェクト配置処理において配置した選択オブジェクトの選択有無を判定する判定処理の動作を説明する。図１３は、本実施形態に係る選択オブジェクトの選択有無を判定する判定処理の一例を示すフローチャートである。まず、選択メニュー表示のトリガを受け付けると、制御部１１０は、複数の選択オブジェクトを仮想空間内に配置することにより、表示部１２に選択メニュー画面（例えば、図５参照）が表示される（ステップＳ２００）。また、制御部１１０は、計測時間をリセットする（ステップＳ２０２）。

次に、制御部１１０は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なっているか否かを判定する（ステップＳ２０４）。視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なっていない（例えば、図５参照）と判定された場合（ＮＯ）、制御部１１０は、ステップＳ２０２に処理を戻す。一方、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なっている（例えば、図６参照）と判定された場合（ＹＥＳ）、制御部１１０は、経過時間の計時を開始するとともに、計時した経過時間に応じたバーが表示される経過時間ゲージＴ１を、仮想空間内において、その重なったと判定された選択オブジェクトの近傍に配置する（ステップＳ２０６）。これにより、その選択オブジェクトの近傍に経過時間ゲージＴ１が表示される（例えば、図７参照）。

次に、制御部１１０は、視線位置Ｐ１と選択オブジェクトの判定領域とが重なってからの所定時間以上経過したか否かを判定する（ステップＳ２０８）。所定時間以上経過していないと判定された場合（ＮＯ）、制御部１１０は、ステップＳ２０４の処理に戻し、重なってからの経過時間の計測を続ける。一方、視線位置Ｐ１と選択オブジェクトの判定領域とが重なってから所定時間以上経過したと判定された場合（ＹＥＳ）、制御部１１０は、その選択オブジェクトが選択されたと決定し（ステップＳ２１０）、判定処理を終了する。

〔選択有無の判定処理の他の例〕
上述の選択オブジェクトの選択有無を判定する判定処理では、視線位置Ｐ１と選択オブジェクトの判定領域とが重なってからの経過時間に基づいて選択有無を判定する例を説明したが、ここでは、経過時間の計時仕様について他の例を説明する。
図１４は、視線位置Ｐ１と選択オブジェクトの判定領域とが重なっている選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ１６では、視線位置Ｐ１と選択オブジェクト（ここでは、選択肢Ｂ）とが重なっており、重なってからの経過時間を示す経過時間ゲージＴ１が表示されている。この経過時間は、選択されたと決定する所定時間に達していない状態である。ここで、ユーザが左を向くと、視線位置Ｐ１に対して選択オブジェクトが相対的に右に移動する。

図１５は、視線位置Ｐ１に対して選択オブジェクトが相対的に右に移動したことにより、視線位置Ｐ１と選択オブジェクトの判定領域とが重ならない状態になった選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ１７は、図１４では重なっていた視線位置Ｐ１と選択オブジェクト（ここでは、選択肢Ｂ）の判定領域とが重ならない状態に変化していることを示している。視線位置Ｐ１と選択オブジェクトが重ならない状態になると、図１３に示す判定処理では計測時間がリセットされて経過時間が０になるが、リセットせずに、経過時間の計時が停止されてもよい。例えば、図１５に示す例では、経過時間の計時が停止され、経過時間ゲージＴ１のバーがそれまでの（視線位置Ｐ１と選択オブジェクトの判定領域とが重なっていたときの）経過時間を示す長さで止まっていることを示している。また、視線位置Ｐ１と選択オブジェクト判定領域とが重なっている状態から重ならない状態に変化した場合、重なっている状態の経過時間の計時よりも時間の進みを遅くしてもよいし、時間を後退させてもよい。このように、判定部１１２は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重ならない位置関係にある場合と重なる位置関係にある場合とで異なる計時を行うようにしてもよい。

この場合、視線位置Ｐ１が選択オブジェクトの判定領域から一旦外れても、再び同じ選択オブジェクトの判定領域内に視線を移すことで視線位置Ｐ１が重なると、経過時間の計時が続きから再開されるので、誤って一瞬判定領域から視線が外れてしまった場合であっても、経過時間を０から計時し直す必要がなくなる。

なお、視線位置Ｐ１が選択オブジェクトの判定領域から外れて所定の時間（例えば、１０秒など）が経過した場合、ユーザに選択を継続する意思がないとみなして、計測時間がリセットされてもよい。例えば、判定部１１２は、視線位置Ｐ１と選択オブジェクトの判定領域とが重なる位置関係になってから計時した経過時間を、視線位置Ｐ１と選択オブジェクトの判定領域とが重ならない位置関係になって所定の時間が経過すると、計測時間（経過時間）をリセットしてもよい。

また、他の選択オブジェクト（選択肢Ａ、Ｃなど）の判定領域に視線位置Ｐ１が移った場合には、計時された計測時間（経過時間）がリセットされ、０から経過時間の計時が開始される。例えば、判定部１１２は、視線位置Ｐ１と選択オブジェクトの判定領域とが重なる位置関係になってから計時した経過時間を、視線位置Ｐ１と他の選択オブジェクトの判定領域とが重なる位置関係になった場合、計測時間（経過時間）をリセットする。

次に、図１６を参照して、上述した経過時間の計時仕様に基づく選択オブジェクトの選択有無を判定する判定処理の動作を説明する。図１６は、本実施形態に係る選択オブジェクトの選択有無を判定する判定処理の一例を示すフローチャートである。図示するステップＳ３００、Ｓ３０２、Ｓ３０４．Ｓ３０６．Ｓ３０８、Ｓ３１０の各処理は、図１３に示すステップＳ２００、Ｓ２０２、Ｓ２０４．Ｓ２０６．Ｓ２０８、Ｓ２１０の各処理に対応し、ステップＳ３０８の処理でＮＯと判定された場合のその後の処理のみが、図１３に示す判定処理と異なる。ここでは、図１３に示す判定処理と異なる処理について説明し、同様の処理については、その説明を省略する。

ステップＳ３０８において、視線位置Ｐ１と選択オブジェクトの判定領域とが重なってから所定時間以上経過していないと判定された場合（ＮＯ）、制御部１１０は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なっているか否かを判定する（ステップＳ３１２）。視線位置Ｐ１と選択オブジェクトの判定領域とが重なっていないと判定され多場合（ＮＯ）、制御部１３０は、経過時間の計時及び表示（経過時間ゲージＴ１のバー）を一時停止する（ステップＳ３１４）。なお、このとき、経過時間の計時及び表示を一時停止するのに代えて、時間の経過がゆっくり進むように計時及び表示してもよいし、時間の経過が後退するように計時及び表示してもよい。

次に、制御部１１０は、視線位置Ｐ１と選択オブジェクトの判定領域とが重ならない状態になってから所定時間以上経過したか否かを判定する（ステップＳ３１６）。所定時間以上経過したと判定された場合（ＹＥＳ）、制御部１１０は、ユーザに選択を継続する意思がないとみなし、ステップＳ３０２に処理を戻して計測時間をリセットする。

一方、視線位置Ｐ１と選択オブジェクトの判定領域とが重ならない状態になってから所定時間以上経過していないと判定された場合（ＮＯ）、制御部１１０は、ステップＳ３１２に処理を戻し、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なっているか否かを判定する。そして、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なっていると判定された場合（ＹＥＳ）、制御部１１０は、視線位置Ｐ１が重なっている選択オブジェクトが前回重なっていた選択オブジェクトであるか否かを判定する（ステップＳ３１８）。前回重なっていた選択オブジェクトであると判定された場合、制御部１１０は、ステップＳ３０８に処理を戻し、経過時間の計時及び表示を再開する。なお、制御部１１０は、ステップＳ３１４において、時間の経過がゆっくり進むような計時及び表示にした場合、または、時間の経過が後退するような計時及び表示にした場合には、元の計時及び表示に戻す。一方、視線位置Ｐ１が重なっている選択オブジェクトが他の選択オブジェクトであると判定された場合（ＮＯ）、制御部１１０は、ステップＳ３０２に処理を戻して計測時間をリセットする。

〔第１の実施形態のまとめ〕
以上説明してきたように、本実施形態に係る端末装置１０は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能なＨＭＤシステム１の少なくとも一部として利用可能な端末装置である。例えば、端末装置１０は、検出部１１１と、オブジェクト配置部１１３と、表示制御部１１４と、を備えている。検出部１１１は、端末装置１０の方向に関する情報を検出する。オブジェクト配置部１１３は、ユーザからの選択の有無を判定する判定領域を有する選択オブジェクトを、仮想空間内に配置する。表示制御部１１４は、検出部１１１の検出結果に応じて仮想空間内の仮想視点からの視界方向に配置されている選択オブジェクトを表示部１２に表示させる。そして、オブジェクト配置部１１３は、仮想空間における仮想視点からの視線方向に対応する視線位置Ｐ１と選択オブジェクトの判定領域との位置関係に基づいて、選択オブジェクトの判定領域を変更する。

ここで、判定領域の変更とは、判定領域の大きさの変更、例えば面積（広さ）の変更または体積の変更であってもよいし、判定領域が配置される位置の変更であってもよい。また、判定領域の変更とは、判定領域の形状の変更であってもよい。また、上記の位置関係とは、視線方向に投影した２次元の平面的な位置関係であってもよいし、オブジェクトが立体（３次元形状）である場合には３次元的な位置関係であってもよい。

これにより、端末装置１０は、視線位置Ｐ１と選択オブジェクトの判定領域との位置関係によって、該判定領域の大きさ（見かけ上の大きさ）を変更することができるため、選択肢に対して選択操作する際の操作性を向上することができる。なお、オブジェクト配置部１１３は、判定領域の色や明るさ等を変更することにより、選択されていることより視認しやすくしてもよい。

例えば、選択メニュー画面では、背景となる視界画像の表示をできるだけ邪魔したくない場合や、選択項目が多数ある場合に、一つの選択肢の判定領域を小さくせざるを得ない場合がある。このような場合、判定領域が小さいと、選択有無を判定する期間内に誤操作によって意図せず視線位置が判定領域外となってしまうといったように操作性に難があった。そこで、例えば、オブジェクト配置部１１３は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重ならない位置関係から重なる位置関係になった場合、選択オブジェクトの判定領域を広くする。これにより、端末装置１０は、視線位置Ｐ１が選択オブジェクトの判定領域に入った場合に判定領域を広げるので、ユーザが意図せずに視線位置Ｐ１が判定領域から外れてしまう誤操作の発生を抑制できる。

例えば、オブジェクト配置部１１３は、選択オブジェクトの判定領域を広くする場合、他の選択オブジェクトの判定領域に視線方向において重ならない範囲で広くする。これにより、端末装置１０は、ユーザが意図して他の選択オブジェクトの選択に変更する場合には、その選択が可能なように、視線位置Ｐ１が現在重なっている判定領域から外れてしまう誤操作の発生を抑制できる。また、端末装置１０は、それぞれの選択オブジェクトの判定領域の独立性が保てるため、何れか一つの選択オブジェクトを選択したい場合に誤操作を防ぐことができる。

また、オブジェクト配置部１１３は、選択オブジェクトの判定領域を広くする場合、他の選択オブジェクトの判定領域と、視線方向に対して直交する方向に所定の間隔が空く範囲で広くしてもよい。これにより、端末装置１０は、ユーザが意図して他の選択オブジェクトに選択を変更する場合には、現在重なっている判定領域からすぐに視線位置Ｐ１を外すことができる。

また、オブジェクト配置部１１３は、選択オブジェクトの判定領域を広くする場合、他に配置されている選択オブジェクトの位置を変更してもよい。これにより、端末装置１０は、多数の選択オブジェクトがある場合でも、他の選択オブジェクトを移動することで、判定領域を拡大するための領域を確保できる。

オブジェクト配置部１１３は、選択オブジェクトの判定領域を広くする場合、選択オブジェクトの表示態様を変更する。例えば、オブジェクト配置部１１３は、拡大された選択オブジェクトに他の情報を表示してもよい。例えば、選択オブジェクトが購入アイテムの選択肢であった場合、視線位置Ｐ１が重なる前の通常の大きさの選択オブジェクトにはアイテム名が表示され、視線位置Ｐ１が重なって拡大した場合にはアイテム名に加え、購入価格等が表示されてもよい。これにより、端末装置１０は、選択の意思決定に関わる情報を選択オブジェクトに表示できるので、ユーザが誤った選択を行わないようにすることができる。また、オブジェクト配置部１１３は、拡大中の選択オブジェクトの色を拡大前とは異なる色に変更してもよい。この場合、端末装置１０は、選択しようとしている選択オブジェクトの視認性が向上することにより操作性を向上できる。

また、オブジェクト配置部１１３は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重ならない位置関係から重なる位置関係になってから所定の時間経過した後に、選択オブジェクトの判定領域または該判定領域に対応する表示領域を広くしてもよい。つまり、端末装置１０は、視線位置Ｐ１が選択オブジェクトの判定領域内に入った場合でも、すぐにその選択オブジェクトの判定領域を拡大するのではなく、所定の時間（例えば、０．２〜０．３秒程度）のタイムラグを設けてもよい。これにより、端末装置１０は、選択する意思が無いのに視線位置Ｐ１が判定領域上を短時間で通過した場合に判定領域が拡大してしまうことを抑制できるため、選択操作を行う際の視認性を向上させることができる。例えば、視線位置Ｐ１が通過しただけでその都度、選択オブジェクトが拡大されると、鬱陶しく視認性が悪いものとなる。なお、タイムラグを設けるのは、選択オブジェクトの表示領域のみとし、判定領域についてはタイムラグを設けなくてもよい。また、選択オブジェクトの表示領域と判定領域とのいずれも同じようにタイムラグを設けてもよい。また、視線位置Ｐ１の判定領域への侵入速度によって、タイムラグが設定されてもよい。例えば、侵入速度が所定値以上場合にタイムラグを設け、侵入速度が所定値未満の場合にはタイムラグを設けなくてもよい。

また、オブジェクト配置部１１３は、仮想視点からの視線方向を、検出部１１１の検出結果に基づいて定め、視線位置Ｐ１を視認可能とするためのオブジェクトを、仮想空間内に配置する。これにより、端末装置１０は、例えば、ＨＭＤシステム１が装着されたユーザの頭部の向きに応じて視線方向に対応する視線位置Ｐ１を視界画像内（例えば、視界画像の中央）に定めることができ、視線位置Ｐ１と選択オブジェクトの位置関係をユーザが認識し易くすることで操作性を向上することができる。

なお、本実施形態では、端末装置１０の方向に基づいて視線方向を検出する例を説明したが、これに限られるものではなく、例えば、ユーザの眼球の向きを検知することで視線方向を検出（アイトラッキング）してもよい。その場合、視線方向は頭部の動きとは異なる検出に基づくため、視線位置Ｐ１は視界画像内の固定された位置ではなく、視界画像内で動くこととなる。

また、端末装置１０は、視線位置Ｐ１と選択オブジェクトの判定領域との位置関係に基づいて、選択オブジェクトの選択の有無を判定する判定部１１２を備える。これにより、端末装置１０は、ＨＭＤシステム１において、ユーザの視線を利用して選択肢を選択させる操作ＵＩが可能である。

例えば、判定部１１２は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重ならない位置関係から重なる位置関係になってからの経過時間を計時するとともに、計時した経過時間に基づいて選択の有無を判定する。これにより、端末装置１０は、視線位置Ｐ１が選択オブジェクトの判定領域に重なってから所定の時間が経過することを条件として選択されたと判定するので、選択する意思が無いのに判定領域上を視線位置Ｐ１が通過するだけで、選択されてしまうことを防ぐことができる。

また、オブジェクト配置部１１３は、経過時間を視認可能とするためのオブジェクトを仮想空間内に配置する。これにより、端末装置１０は、選択が確定されるタイミングをユーザが容易に認識可能なように提示できる。

また、判定部１１２は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重ならない位置関係にある場合と重なる位置関係にある場合とで異なる計時を行う。例えば、判定部１１２は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なる位置関係にある場合に計時を行い、重ならない位置関係なった場合には計時を停止する（０にリセットしないで経過時間を維持する）。なお、重ならない位置関係なった場合には計時を停止しなくとも、時間の経過がゆっくり進むように計時、または時間の経過が後退するように計時してもよい。これにより、端末装置１０は、誤操作により視線位置Ｐ１が判定領域から外れてしまった場合でも、同じ判定領域に再び視線位置Ｐ１を移せば、０から計時し直すのではなく、続きから経過時間の計時が再開されるので、操作性を向上できる。

また、判定部１１２は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なる位置関係になってから計時した経過時間を、視線位置Ｐ１と他の選択オブジェクトの判定領域とが視線方向において重なる位置関係になった場合、リセットする。これにより、端末装置１０は、視線位置Ｐ１が他の選択オブジェクトの判定領域に移った場合には、ユーザに選択を継続する意思がないとみなして、計時した経過時間を０に戻すため、同じ判定領域に再び視線位置Ｐ１が意図せず移った場合でも、続きから経過時間の計測が再開されることが無く、誤操作が生じてしまうことを防ぐことができる。

また、判定部１１２は、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重なる位置関係になってから計時した経過時間を、視線位置Ｐ１と選択オブジェクトの判定領域とが視線方向において重ならない位置関係になって所定の時間が経過すると、リセットしてもよい。これにより、端末装置１０は、視線位置Ｐ１が判定領域から外れて所定の時間（例えば、１０秒など）経過した場合には、ユーザに選択を継続する意思がないとみなして、計時した経過時間を０に戻すため、同じ判定領域に再び視線位置Ｐ１が意図せず移った場合でも、続きから経過時間の計測が再開されることが無く、誤操作が生じてしまうことを防ぐことができる。

また、判定部１１２は、視線方向において視線位置Ｐ１が選択オブジェクトの判定領域内のいずれの位置と重なるかによって、計時する速度を変更してもよい。例えば、判定部１１２は、判定領域の中心に近ければ近いほど、計時する速度を速くしてもよい。この場合、判定領域の中心に近いほど、経過時間ゲージＴ１のバーが一周分伸びる速度が速くなり、結果的に選択されたと判定される期間が短くなる。これにより、端末装置１０は、誤動作防止のための判定時間を設けつつ、選択と判定されるまでの期間を短くする方法もユーザに提供することができる。なお、計時する速度を変更するのに代えて、選択されたと判定（決定）するための判定時間を変更してもよい。例えば、判定部１１２は、判定領域の中心に近ければ近いほど、判定時間を短くしてもよい。

また、判定領域内に視線位置Ｐ１が入った後に、計時する速度（経過時間ゲージＴ１のバーが伸びる速度）が速くなる領域が設けられてもよい。その領域は、経過時間を必要としない領域（即ち、すぐに選択が決定される領域）であってもよい。その場合、この経過時間を必要としない領域は、ユーザが意図せずに視線位置Ｐ１が入ってしまうことがないように、判定領域内の視線位置Ｐ１が包含されない位置に設定される。

また、表示制御部１１４は、検出部１１１の検出結果に応じて仮想空間内の仮想視点からの視界方向の視界画像を、表示部１２に表示させる。これにより、端末装置１０は、ＨＤＭシステム１が装着されたユーザの頭部の動きに応じて、仮想空間内の視界方向の視界画像をユーザが視認可能なように提供できる。また、端末装置１０は、仮想空間内の視界画像と選択オブジェクトを同時に表示することができるため、ユーザが仮想空間内のゲーム情報を参考にしつつ選択できるようにすることができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
本実施形態に係るＨＭＤシステム１及び端末装置１０の基本的な構成は、図１、図２、及び図１１に示す各構成と同様であるので、本実施形態において特徴的な処理について説明する。本実施形態では、選択メニュー画面において視界方向を変更して選択操作を行う際に、視線位置に対する選択オブジェクトの相対位置の変化を所定の方向について制限する処理を説明する。

図１７は、本実施形態に係る選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ２０には、視線位置Ｐ１が画面の中央に表示され、また、仮想空間内にＺ軸方向に並んで配置されている４つの選択オブジェクト（選択肢Ａ、選択肢Ｂ、選択肢Ｃ、及び選択肢Ｄ）が表示されている。例えば、ユーザが選択肢Ａを選択するために視界方向（視線方向）を選択オブジェクトの並び方向（Ｚ軸方向）であるピッチ方向（上下方向）に変えると、その視界方向（視線方向）の変化に応じて、仮想空間内の視界画像がピッチ方向（上下方向）に変化する。また、仮想空間内に配置されている４つの選択オブジェクトは、視界画像がピッチ方向（上下方向）に変化することにより、視線位置Ｐ１に対して相対的にピッチ方向（上下方向）に変化する。

図１８は、ユーザの視界方向（視線方向）がピッチ方向（上方向）に変化した場合の選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ２１では、ユーザが視界方向（視線方向）を上方向に変えたことにより、選択オブジェクトが視線位置Ｐ１に対して相対的に下方向に変化し、視線位置Ｐ１が選択肢Ａの判定領域に重なっている状態を示している。

一方、選択オブジェクトの並び方向以外（ここでは、ピッチ方向以外）へのユーザの視界方向（視線方向）の変化に対しては、その変化に応じて選択オブジェクトを移動させることにより、視線位置Ｐ１に対する相対位置の変化を制限してもよい。
図１９は、図１７に示す選択メニュー画面において、ユーザの視界方向（視線方向）がヨー方向（右方向）に変化した場合の選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ２２では、ユーザが視界方向（視線方向）を右方向に変えたことにより視界画像が右方向に変化しているが、選択オブジェクトの視線位置Ｐ１に対する相対位置の変化は少ない。破線Ｍ１は、移動前の選択オブジェクトの位置（判定領域の中央の位置）を示している。一方、破線Ｍ２は、移動後の選択オブジェクトの位置（判定領域の中央の位置）を示している。つまり、オブジェクト配置部１１３は、ユーザの視界方向（視線方向）がヨー方向（右方向）に変化することにより、破線Ｍ１を中心とした位置から破線Ｍ２を中心とした位置へ選択オブジェクトを移動させる。

また、オブジェクト配置部１１３は、ユーザの視界方向（視線方向）のロール方向への変化についても、選択オブジェクトの並び方向以外の方向への変化であるため、その変化に応じて選択オブジェクトを回転移動させる。図２０は、ユーザの視界方向（視線方向）がロール方向に変化した場合の選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ２３では、ユーザの視界方向（視線方向）がロール方向（ここでは、Ｘ軸を中心に反時計回り）に角度θ変化した場合の選択オブジェクトの配置を示している。破線Ｍ１は、回転移動前の選択オブジェクトの位置（判定領域の中央の位置）を示している。一方、破線Ｍ２は、回転移動後の選択オブジェクトの位置（判定領域の中央の位置）を示している。つまり、オブジェクト配置部１１３は、ユーザの視界方向（視線方向）がロール方向（ここでは、Ｘ軸を中心に反時計回り）に角度θ変化した場合、視線位置Ｐ１と選択オブジェクトとの回転方向の相対位置が変化しないように、選択オブジェクトをロール方向（ここでは、Ｘ軸を中心に反時計回り）に角度θ回転移動させる。

なお、ユーザの視界方向（視線方向）が変化した角度と、選択オブジェクトを回転移動させる角度とは、一致させてもよいし、一致させなくてもよい。例えば、選択オブジェクトを回転移動させる角度は、ユーザの視界方向（視線方向）が変化した角度に所定の割合を乗算した角度でもよいし、所定の角度を加算又は減算した角度でもよい。また、選択オブジェクトを回転移動させる角度に上限が設けられてもよい。

このように、オブジェクト配置部１１３は、検出部１１１の検出結果に基づいて仮想空間内の仮想視点からの視界方向（視線方向）が変化したと判定された場合、当該視界方向（視線方向）の変化に基づいて、選択オブジェクトの並び方向への移動を制限しつつ選択オブジェクトを移動させる。例えば、オブジェクト配置部１１３は、選択オブジェクトの並び方向以外の方向については視線位置Ｐ１と選択オブジェクトとの相対位置が変化しないように、視界方向（視線方向）の変化に応じて選択オブジェクトを移動させる。

なお、オブジェクト配置部１１３は、選択オブジェクトの並び方向以外の方向については所定の範囲に視線位置Ｐ１が収まるように、視界方向（視線方向）の変化に応じて選択オブジェクトを移動させてもよい。ここで、所定の範囲とは、例えば、選択オブジェクトの判定領域の、選択オブジェクトの並び方向と直交する方向の幅（例えば、図１９のＷが示す幅）である。また、所定の範囲とは、例えば、視線方向を軸とした回転方向の角度の範囲であってもよい。

次に、図２１を参照して、本実施形態に係るオブジェクト配置処理の動作を説明する。図２１は、本実施形態に係るオブジェクト配置処理の一例を示すフローチャートである。まず、選択メニュー表示のトリガを受け付けると、制御部１１０は、仮想空間内において、複数の選択オブジェクトを所定の方向（例えば、Ｚ軸方向）へ並べて配置する（ステップＳ４００）。これにより、表示部１２には、視界画像と複数の選択オブジェクトとが含まれる選択メニュー画面（例えば、図１７参照）が表示される。

制御部１１０は、センサ１３の検知結果に基づいて角速度を検出する（ステップＳ４０２）。そして、制御部１１０は、検出した角速度に基づいて、視界方向（視線方向）の変化があるか否かを判定する（ステップＳ４０４）。

視界方向（視線方向）の変化があると判定された場合（ＹＥＳ）、制御部１１０は、所定の方向（選択オブジェクトの並び方向、例えば、Ｚ軸方向）への移動を制限しつつ、視界方向（視線方向）の変化に基づいて選択オブジェクトを移動させ（図１８、１９参照）、ステップＳ４０８の処理に進む（ステップＳ４０６）。一方、視界方向（視線方向）の変化がないと判定された場合（ＮＯ）、制御部１１０は、ステップＳ４０８の処理に進む。

次に、制御部１１０は、選択メニューの表示オフのトリガを受け付けたか否かを判定する（ステップＳ４０８）。選択メニューの表示オフのトリガを受け付けていないと判定された場合（ＮＯ）、制御部１１０は、ステップＳ４０２に処理を戻す。一方、選択メニューの表示オフのトリガを受け付けたと判定された場合（ＹＥＳ）、制御部１１０は、仮想空間内に配置している選択オブジェクトを消去して（ステップＳ４１０）、オブジェクト配置処理を終了する。

〔第２の実施形態のまとめ〕
以上説明したように、本実施形態に係る端末装置１０は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能なＨＭＤシステム１の少なくとも一部として利用可能な端末装置である。例えば、端末装置１０は、検出部１１１と、オブジェクト配置部１１３と、表示制御部１１４と、を備えている。検出部１１１は、端末装置１０の方向に関する情報を検出する。オブジェクト配置部１１３は、ユーザからの選択の有無を判定する判定領域を有する複数の選択オブジェクトを、仮想空間内において所定の方向に並べて配置する。表示制御部１１４は、検出部１１１の検出結果に応じて仮想空間内の仮想視点からの視界方向に配置されている選択オブジェクトを表示部１２に表示させる。そして、オブジェクト配置部１１３は、検出部１１１の検出結果に基づいて仮想空間内の仮想視点からの視界方向が変化したと判定された場合、当該視界方向の変化に基づいて所定の方向への移動を制限しつつ、選択オブジェクトを移動させる。

これにより、端末装置１０は、視線位置Ｐ１と選択オブジェクトの判定領域との相対位置が、選択に不必要な方向へ変化しないように制限することができるため、選択肢に対して選択操作する際の操作性を向上することができる。

また、オブジェクト配置部１１３は、仮想視点からの視線方向を、検出部１１１の検出結果に基づいて定める。また、オブジェクト配置部１１３は、記仮想視点からの視線方向に対応する視線位置を視認可能とするためのオブジェクト（例えば、視線位置Ｐ１）を、仮想空間内に配置する。これにより、端末装置１０は、例えば、ＨＭＤシステム１が装着されたユーザの頭部の向きに応じて視線方向に対応する視線位置Ｐ１を視界画像内（例えば、視界画像の中央）に定めることができ、視線位置Ｐ１と選択オブジェクトの位置関係をユーザが認識し易くすることで操作性を向上することができる。

例えば、オブジェクト配置部１１３は、視線位置を視認可能とするためのオブジェクト（例えば、視線位置Ｐ１）と選択オブジェクトとを仮想空間内の同一面に配置する。同一面とは、例えば、仮想空間内の視線方向に直交する面である。なお、上記の同一面とは、厳密に同一な面のみに限定されるものではなく、略同一な面であってもよい。また、この同一面は、視線方向に直交する面に限定されるものではなく、仮想空間内のいずれの方向の面であってもよいし、平面であっても曲面であってもよい。これにより、端末装置１０は、視線位置Ｐ１と選択オブジェクトとの相対位置（位置関係）に基づく選択肢の選択操作ＵＩを実現可能とすることができる。具体的には、端末装置１０は、視線位置Ｐ１と選択オブジェクトを仮想空間内の同一面に配置することで、両眼視差を利用した立体視において、視線位置Ｐ１と選択オブジェクトとを同じ焦点距離とすることができるため、両者の位置関係を視認しやすくすることができる。

オブジェクト配置部１１３は、検出部１１１の検出結果に基づいて仮想空間内の仮想視点からの視界方向が変化したと判定された場合、選択オブジェクトの並び方向以外の方向については、視線位置Ｐ１が選択オブジェクトの判定領域の並び方向と直交する方向の幅に視線位置が収まるように、該視界方向の変化に応じて選択オブジェクトを移動させる。これにより、端末装置１０は、選択オブジェクトを選択するために必要な方向以外（即ち、操作に不必要な方向）については、視線位置Ｐ１が選択オブジェクトの判定領域の幅の範囲から外れないように制限するため、選択肢に対する選択操作を行いやすくすることできる。また、このように制限すると、選択オブジェクトを小さく（幅を狭める）しても操作への影響が少ないため、選択オブジェクトを小さく表示することで、選択オブジェクトが背景となる視界画像の表示の妨げとなることを軽減することもできる。

また、オブジェクト配置部１１３は、選択をキャンセルする（判定領域外に視線位置Ｐ１を外す）ためのキャンセル領域を残す意味で、上記選択オブジェクトの幅以上に視線位置Ｐ１が変化するようにしてもよい。

オブジェクト配置部１１３は、検出部１１１の検出結果に基づいて仮想空間内の仮想視点からの視界方向が変化したと判定された場合、選択オブジェクトの並び方向以外の方向については視線位置Ｐ１と選択オブジェクトとの相対位置が変化しないように、該視界方向の変化に応じて選択オブジェクトを移動させる。これにより、端末装置１０は、選択オブジェクトを選択するために必要な視線位置Ｐ１を移動させる方向以外（即ち、操作に不必要な方向）については、視線位置Ｐ１と選択オブジェクトの判定領域との相対位置が変化しないように制限するため、選択肢に対する選択操作を行いやすくすることできる。また、このように制限すると、選択オブジェクトを小さく（幅を狭める）しても操作への影響が少ないため、選択オブジェクトを小さく表示することで、選択オブジェクトが背景となる視界画像の表示の妨げとなることを軽減することもできる。

また、端末装置１０は、視線位置Ｐ１と選択オブジェクトの判定領域との相対位置（位置関係）に基づいて、選択オブジェクトの選択の有無を判定する判定部１１２を備える。これにより、端末装置１０は、ＨＭＤシステム１において、ユーザの視線を利用して選択肢を選択させる操作ＵＩが可能である。

オブジェクト配置部１１３は、検出部１１１の検出結果に基づいて仮想空間内の仮想視点からの視界が視線方向を軸とした回転方向に変化したと判定された場合、視線位置Ｐ１と選択オブジェクトとの回転方向の相対位置が変化しないように、選択オブジェクトを回転方向に回転させる。これにより、端末装置１０は、ユーザがロール方向に頭部を傾けた場合でも、ユーザの頭部に対する上下左右方向と選択オブジェクトの並び方向との相対関係が保たれるので、選択肢に対する選択操作を行いやすくすることできる。

なお、オブジェクト配置部１１３は、検出部１１１の検出結果に基づいて仮想空間内の仮想視点からの視界が視線方向を軸とした回転方向に変化したと判定された場合でも、選択オブジェクトを回転方向に回転させなくともよい。この場合、選択メニュー画面において、背景となる視界画像とともに、選択オブジェクトが回転方向に変化した分斜めに表示されることになる。

また、表示制御部１１４は、検出部１１１の検出結果に応じて仮想空間内の仮想視点からの視界方向の視界画像を、表示部１２に表示させる、これにより、端末装置１０は、ＨＤＭシステム１が装着されたユーザの頭部の動きに応じて、仮想空間内の視界方向の視界画像をユーザが視認可能なように提供できる。また、端末装置１０は、仮想空間内の視界画像と選択オブジェクトを同時に表示することができるため、ユーザが仮想空間内のゲーム情報を参考にしつつ選択できるようにすることができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。
本実施形態に係るＨＭＤシステム１及び端末装置１０の基本的な構成は、図１、図２、及び図１１に示す各構成と同様であるので、本実施形態において特徴的な処理について説明する。本実施形態では、複数の選択オブジェクトがそれぞれ並ぶ複数の列が配置されているような場合に、ユーザの頭部の動きに基づいて、選択の有無の判定対象となる選択オブジェクトを列ごとに切り替える例を説明する。

図２２は、判定対象となる選択オブジェクトを列ごとに切り替え可能な選択メニュー画面の一例を示す図である。図示する選択メニュー画面Ｇ２５には、５つの選択オブジェクトがＺ軸方向に並ぶ２つの列（破線Ｍ１上に並ぶ左側の列と、破線Ｍ２上に並ぶ右側の列）が左右（Ｙ軸方向）に所定の間隔を空けて並んで表示されている。左側の列には選択肢Ａ、選択肢Ｃ、選択肢Ｅ、選択肢Ｇ、及び選択肢Ｉの５つの選択オブジェクトがＺ軸方向に所定の間隔を空けて並んで表示されている。右側の列には選択肢Ｂ、選択肢Ｄ、選択肢Ｆ、選択肢Ｈ、及び選択肢Ｊの５つの選択オブジェクトがＺ軸方向に所定の間隔を空けて並んで表示されている。この選択メニュー画面Ｇ２５では、選択対象が列ごとに切り替わる仕様である。例えば、左側（Ａ）の列が選択対象となっている場合には、選択肢Ａ、選択肢Ｃ、選択肢Ｅ、選択肢Ｇ、及び選択肢Ｉの５つの選択オブジェクトのうちの何れかを選択可能である。一方、右側（Ｂ）の列が選択対象となっている場合には、選択肢Ｂ、選択肢Ｄ、選択肢Ｆ、選択肢Ｈ、及び選択肢Ｊの５つの選択オブジェクトのうちの何れかを選択可能である。

例えば、ユーザの頭部の動きがＸ軸を中心とした回転方向（ロール方向）であった場合に、選択対象となる列が切り替わる。具体的には、ユーザの頭部の動きが右回転の場合、選択対象となる列が左の列から右の列に切り換わり、ユーザの頭部の動きが左回転の場合、選択対象となる列が右の列から左の列に切り換わる。なお、ユーザの頭部の動きの回転方向によらず、ユーザの頭部の動きが回転であれば、選択対象となる列が切り替わる。

また、単に回転方向のみでなく回転方向とその回転速度に関する情報に基づいて、選択対象となる列が切り替わってもよい。例えば、回転速度が所定値以上の場合には視界方向が回転するとともに選択対象となる列が切り替わり、回転速度が所定値未満の場合には視界方向が回転するのみで選択対象となる列が切り替わらないようにしてもよい。

図２３は、本実施形態に係るオブジェクト配置処理の一例を示すフローチャートである。まず、選択メニュー表示のトリガを受け付けると、制御部１１０は、仮想空間内において、複数の選択オブジェクトを複数列に所定の方向（例えば、Ｚ軸方向）へ並べて配置する（ステップＳ５００）。これにより、表示部１２には、視界画像と左右２列の複数の選択オブジェクトとが含まれる選択メニュー画面（例えば、図２２参照）が表示される。

制御部１１０は、センサ１３の検知結果に基づいて角速度を検出する（ステップＳ５０２）。そして、制御部１１０は、検出した角速度に基づいて、視界方向（視線方向）の変化（Ｘ軸を軸とした回転方向への変化）があるか否かを判定する（ステップＳ５０４）。

Ｘ軸を軸とした回転方向への変化があると判定された場合（ＹＥＳ）、制御部１１０は、回転方向の変化速度が所定値以上であるか否かを判定する（ステップＳ５０６）。そして、回転方向の変化速度が所定値以上であると判定された場合（ＹＥＳ）、制御部１１０は、判定対象とする選択オブジェクトの列を切り替える（ステップＳ５０８）。一方、回転方向の変化速度が所定値以上でないと判定された場合（ＮＯ）、制御部１１０は、判定対象とする選択オブジェクトの列の切り替えを行わない。

次に、制御部１１０は、選択メニューの表示オフのトリガを受け付けたか否かを判定する（ステップＳ５１０）。選択メニューの表示オフのトリガを受け付けていないと判定された場合（ＮＯ）、制御部１１０は、ステップＳ５０２に処理を戻す。一方、選択メニューの表示オフのトリガを受け付けたと判定された場合（ＹＥＳ）、制御部１１０は、仮想空間内に配置している選択オブジェクトを消去して（ステップＳ５１２）、オブジェクト配置処理を終了する。

〔第３の実施形態のまとめ〕
以上説明したように、本実施形態に係る端末装置１０において、オブジェクト配置部１１３は、仮想空間内において、複数の選択オブジェクトがそれぞれ並ぶ複数の列を配置する。判定部１１２は、選択オブジェクトの選択の有無を列ごとに判定するとともに、検出部１１１の検出結果に基づいて、判定する列を切り替える。これにより、端末装置１０は、複数の列ごとに選択肢を選択する場合、視界方向の変化に基づいて所定の方向への選択オブジェクトの移動を制限しつつも、ユーザが頭の向きを変えるだけで、選択対象の列を切り替えることができるので、選択肢に対して選択操作する際の操作性を向上することができる。

例えば、判定部１１２は、仮想視点からの視界が仮想視点からの視線方向を軸とした回転方向に変化したと判定された場合、変化した回転方向に応じて前記判定する列を切り替える。これにより、端末装置１０は、複数の列ごとに選択肢を選択する場合、ユーザが頭の向きをロール方向に変えるだけで、選択対象の列を対応する方向の列に切り替えることができるので、選択肢に対して選択操作する際の操作性を向上することができる。

検出部１１１は、端末装置１０の方向に関する情報として、該方向の変化速度に関する情報を検出する。判定部１１２は、検出部１１１により所定値以上の変化速度に関する情報が検出された場合、判定する列を切り替える。これにより、端末装置１０は、複数の列ごとに選択肢を選択する場合、ユーザが頭の向きを所定値以上の速度で変化させることで、選択対象の列を切り替えることができるので、選択肢に対して選択操作する際の操作性を向上することができる。

なお、判定部１１２は、仮想視点からの視界が仮想視点からの視線方向を軸とした回転方向の変化と、検出部１１１により所定値以上の変化速度に関する情報が検出された場合との両方に基づいて判定する列を切り替えてもよいし、いずれか一方に基づいて判定する列を切り替えてもよい。例えば、判定部１１２は、仮想視点からの視界が仮想視点からの視線方向を軸とした回転方向が右方向に変化したことのみで、判定する列を右側に切り替えてもよいし、右方向に変化し且つ所定値以上の変化速度が検出された場合に、判定する列を右側に切り替えてもよい。また、判定部１１２は、回転方向への変化に関わらず所定値以上の変化速度が検出された場合に、判定する列を右側または左側（例えば、２列であれば、一方から他方へ、３列以上であれば、予め設定されているが側の列）に切り替えてもよい。

［変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第１〜３の実施形態において説明した各構成は、任意に組み合わせることができる。例えば、第２、第３の実施形態において、視線位置Ｐ１が判定領域に重なった後は、第１の実施形態と同様に、経過時間が計時され、経過時間ゲージＴ１が表示されるとともに、経過時間に基づいて選択の有無が判定（決定）される。

上記実施形態では、選択オブジェクトの並び方向がＺ軸方向である例を説明したが、選択オブジェクトの並び方向は、Ｚ軸方向に限られるものではなく、例えば、Ｙ軸方向であってもよいし、Ｙ軸成分とＺ軸成分とを有する方向であってもよい。また、選択オブジェクトが３次元に配置されている場合、選択オブジェクトの並び方向は、Ｘ軸成分とＹ軸成分とＺ軸成分とを有する方向であってもよい。また、図２２に示す例では、複数の選択オブジェクトがＺ軸方向に並ぶ複数の列が左右（Ｙ軸方向）に並ぶ例を示したが、複数の選択オブジェクトがＹ軸方向に並ぶ複数の列が上下（Ｚ軸方向）に並ぶ例であって、上下（Ｚ軸方向）に列を切り替える構成としてもよい。

なお、上記実施形態では、端末装置１０をアタッチメント２に装着することでＨＭＤとして利用できるＨＭＤシステム１の構成を例に説明したが、これに限られるものではなく、例えば、端末装置１０は、アタッチメント２を必要としなくともそれ自体で頭部に装着可能な形態、即ちＨＭＤであってもよい。また、上記実施形態において、端末装置１０が少なくとも一部に構成されるＨＭＤ（ＨＭＤシステム）として、ユーザの頭部に装着可能な構成例を説明したが、ＨＭＤは、頭部に完全に装着可能な形状の構成に限られるものではない。例えば、ＨＭＤとして利用可能な端末装置１０は、アタッチメントの有無にかかわらず、ユーザが目の前に把持することで、ユーザの目と表示部１２との位置関係を所定の関係に保ち、仮想空間内の視界画像や各種オブジェクトを視認可能とする装置（例えば、双眼鏡のような形状）であってもよい。

また、上記実施形態では、選択メニュー画面に表示される選択肢としての選択オブジェクトの例を説明したが、これに限られるものではない。例えば、選択オブジェクトは、端末装置１０が実行するゲーム内の仮想空間において、判定領域を有するキャラクタ、アイテム等として配置されるオブジェクトであってもよい。一例として、第１の実施形態において説明した選択オブジェクトに関する処理を、ゲームの仮想空間内を飛び交う複数の敵オブジェクト（選択オブジェクト）に対する処理において適用してもよい。例えば、ユーザの視線位置に基づいて攻撃が照射され、敵オブジェクト（選択オブジェクト）に対しての照射（判定領域と視線位置とが重なる位置関係）が所定の時間経過すると敵オブジェクトを撃墜（選択オブジェクトの選択有）するといった処理において適用してもよい。

また、上述の制御部１１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより制御部１１０としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した制御部１１０の機能の一視線位置部または全部を、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

［付記］
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。

（付記１）本発明の一態様に係る端末装置（１０）は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能なヘッドマウントディスプレイシステムの少なくとも一部として利用可能な端末装置であって、前記端末装置の方向に関する情報を検出する検出部（１１１、Ｓ１１２、Ｓ４０２、Ｓ５０２）と、ユーザからの選択の有無を判定する判定領域を有する複数の選択オブジェクトを、前記仮想空間内において所定の方向に並べて配置するオブジェクト配置部（１１３、Ｓ１００、Ｓ２００、Ｓ３００、Ｓ４００、Ｓ５００）と、前記検出部の検出結果に応じて前記仮想空間内の前記仮想視点からの視界方向に配置されている前記選択オブジェクトを表示部に表示させる表示制御部（１１４、Ｓ１００、Ｓ２００、Ｓ３００、Ｓ４００、Ｓ５００）と、を備え、前記オブジェクト配置部は、前記検出部の検出結果に基づいて前記仮想空間内の前記仮想視点からの視界方向が変化したと判定された場合、当該視界方向の変化に基づいて前記所定の方向への移動を制限しつつ前記選択オブジェクトを移動させる（Ｓ４０６）。

付記１の構成によれば、端末装置は、視線位置と選択オブジェクトの判定領域との相対位置が、選択に不必要な方向へ変化しないように制限することができるため、選択肢に対して選択操作する際の操作性を向上することができる。

（付記２）また、本発明の一態様は、付記１に記載の端末装置であって、前記オブジェクト配置部は、前記仮想視点からの視線方向を、前記検出部の検出結果に基づいて定め、前記仮想視点からの視線方向に対応する視線位置を視認可能とするためのオブジェクトを、前記仮想空間内に配置する。

付記２の構成によれば、端末装置は、例えば、ＨＭＤシステムが装着されたユーザの頭部の向きに応じて視線方向に対応する視線位置を視界画像内（例えば、視界画像の中央）に定めることができ、視線位置と選択オブジェクトの位置関係をユーザが認識し易くすることで操作性を向上することができる。

（付記３）また、本発明の一態様は、付記２に記載の端末装置であって、前記オブジェクト配置部は、前記視線位置を視認可能とするためのオブジェクトと前記選択オブジェクトとを前記仮想空間内の（前記視線方向に直交する）同一面に配置する。

付記３の構成によれば、端末装置は、視線位置と選択オブジェクトとの相対位置（位置関係）に基づく選択肢の選択操作ＵＩを実現可能とすることができる。具体的には、端末装置１０は、視線位置Ｐ１と選択オブジェクトを仮想空間内の同一面に配置することで、両眼視差を利用した立体視において、視線位置Ｐ１と選択オブジェクトとを同じ焦点距離とすることができるため、両者の位置関係を視認しやすくすることができる。

（付記４）また、本発明の一態様は、付記２または付記３に記載の端末装置であって、前記オブジェクト配置部は、前記検出部の検出結果に基づいて前記仮想空間内の前記仮想視点からの視界方向が変化したと判定された場合、前記所定の方向以外の方向については前記視線位置が前記選択オブジェクトの判定領域の前記所定の方向と直交する方向の幅に前記視線位置が収まるように、該視界方向の変化に応じて前記選択オブジェクトを移動させる。

付記４の構成によれば、端末装置は、選択オブジェクトを選択するために必要な方向以外（即ち、操作に不必要な方向）については、視線位置が選択オブジェクトの判定領域の幅の範囲から外れないように制限するため、選択肢に対する選択操作を行いやすくすることできる。

（付記５）また、本発明の一態様は、付記２から付記４のいずれか一に記載の端末装置であって、前記オブジェクト配置部は、前記検出部の検出結果に基づいて前記仮想空間内の前記仮想視点からの視界方向が変化したと判定された場合、前記所定の方向以外の方向については前記視線位置と前記選択オブジェクトとの相対位置が変化しないように、該視界方向の変化に応じて前記選択オブジェクトを移動させる。

付記５の構成によれば、端末装置は、選択オブジェクトを選択するために必要な視線位置を移動させる方向以外（即ち、操作に不必要な方向）については、視線位置と選択オブジェクトの判定領域との相対位置が変化しないように制限するため、選択肢に対する選択操作を行いやすくすることできる。

（付記６）また、本発明の一態様は、付記２から付記５のいずれか一に記載の端末装置であって、前記視線位置と前記選択オブジェクトの判定領域との相対位置に基づいて、前記選択オブジェクトの選択の有無を判定する判定部（１１２、Ｓ２０４〜Ｓ２１０、Ｓ３０４〜Ｓ３１０）、を備える。

付記６の構成によれば、端末装置は、ＨＭＤシステムにおいて、ユーザの視線を利用して選択肢を選択させる操作ＵＩが可能である。

（付記７）また、本発明の一態様は、付記６に記載の端末装置であって、前記オブジェクト配置部は、前記仮想空間内において、複数の前記選択オブジェクトがそれぞれ並ぶ複数の列を配置し、前記判定部は、前記選択オブジェクトの選択の有無を列ごとに判定するとともに、前記検出部の検出結果に基づいて、前記判定する列を切り替える（Ｓ５０８）。

付記７の構成によれば、端末装置は、複数の列ごとに選択肢を選択する場合、視界方向の変化に基づいて所定の方向への選択オブジェクトの移動を制限しつつも、ユーザが頭の向きを変えるだけで、選択対象の列を切り替えることができるので、選択肢に対して選択操作する際の操作性を向上することができる。

（付記８）また、本発明の一態様は、付記７に記載の端末装置であって、前記判定部は、前記仮想視点からの視界が前記仮想視点からの視線方向を軸とした回転方向に変化したと判定された場合、変化した回転方向に応じて前記判定する列を切り替える（Ｓ５０４、Ｓ５０８）。

付記８の構成によれば、端末装置は、複数の列ごとに選択肢を選択する場合、ユーザが頭の向きをロール方向に変えるだけで、選択対象の列を対応する方向の列に切り替えることができるので、選択肢に対して選択操作する際の操作性を向上することができる。

（付記９）また、本発明の一態様は、付記７または付記８に記載の端末装置であって、前記検出部は、前記端末装置の方向に関する情報として、該方向の変化速度に関する情報を検出し、前記判定部は、前記検出部により所定値以上の前記変化速度に関する情報が検出された場合、前記判定する列を切り替える（Ｓ５０６、Ｓ５０８）。

付記９の構成によれば、端末装置は、複数の列ごとに選択肢を選択する場合、ユーザが頭の向きを所定値以上の速度で変化させることで、選択対象の列を切り替えることができるので、選択肢に対して選択操作する際の操作性を向上することができる。

（付記１０）また、本発明の一態様は、付記２から付記９のいずれか一に記載の端末装置であって、前記オブジェクト配置部は、前記検出部の検出結果に基づいて前記仮想空間内の前記仮想視点からの視界が前記視線方向を軸とした回転方向に変化したと判定された場合、前記視線位置と前記選択オブジェクトとの前記回転方向の相対位置が変化しないように、前記選択オブジェクトを前記回転方向に回転させる。

付記１０の構成によれば、端末装置は、ユーザがロール方向に頭部を傾けた場合でも、ユーザの頭部に対する上下左右方向と選択オブジェクトの並び方向との相対関係が保たれるので、選択肢に対する選択操作を行いやすくすることできる。

（付記１１）また、本発明の一態様は、付記１から付記１０のいずれか一に記載の端末装置であって、前記表示制御部は、前記検出部の検出結果に応じて前記仮想空間内の前記仮想視点からの視界方向の視界画像を、前記表示部に表示させる。また、端末装置は、仮想空間内の視界画像と選択オブジェクトを同時に表示することができるため、ユーザが仮想空間内のゲーム情報を参考にしつつ選択できるようにすることができる。

付記１１の構成によれば、端末装置は、ＨＤＭシステムが装着されたユーザの頭部の動きに応じて、仮想空間内の視界方向の視界画像をユーザが視認可能なように提供できる。

（付記１２）また、本発明の一態様に係るプログラムは、コンピュータを、請求項１から請求項１１のいずれか一項に記載の端末装置として機能させるためのプログラムである。

付記１２の構成によれば、プログラムは、視線位置と選択オブジェクトの判定領域との相対位置の変化を方向によって制限することができるため、選択肢に対して選択操作する際の操作性を向上することができる。

１ＨＭＤシステム、２アタッチメント、３Ｒ右目用レンズ、３Ｌ左目用レンズ、５ストラップ、１０端末装置、１１入力部１１、１２表示部、１３センサ、１４タイマ、１５記憶部、１６通信部、１７ＣＰＵ、１１０制御部、１１１検出部、１１２判定部、１１３オブジェクト配置部、１１４表示制御部

Claims

両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示可能なヘッドマウントディスプレイシステムの少なくとも一部として利用可能な端末装置であって、
前記端末装置の方向に関する情報を検出する検出部と、
前記仮想視点からの視線方向に対応する視線位置を視認可能とするための視線位置オブジェクトを前記仮想空間内に配置するとともに、ユーザからの選択の有無を判定する判定領域を有する複数の選択オブジェクトを前記仮想空間内において所定の方向に並べて配置するオブジェクト配置部と、
前記検出部の検出結果に応じて、前記仮想空間内に配置されている前記複数の選択オブジェクトの少なくとも一部と前記視線位置オブジェクトとを表示部に表示させる表示制御部と、
前記視線位置と前記複数の選択オブジェクトに含まれる一の選択オブジェクトの判定領域との相対位置が特定の状態であることの計時に基づいて、前記一の選択オブジェクトの選択の有無を判定する判定部、
を備え、
前記オブジェクト配置部は、
前記検出部の検出結果に基づいて前記仮想空間内の前記仮想視点からの視界方向が変化したと判定された場合、当該視界方向の変化に基づいて前記複数の選択オブジェクトの並び方向への移動を制限しつつ前記選択オブジェクトを移動させる、
端末装置。
前記オブジェクト配置部は、
前記計時の状況を示すオブジェクトを前記仮想空間内に配置し、
前記表示制御部は、
前記検出部の検出結果に応じて前記仮想空間内に配置されている前記計時の状況を示すオブジェクトを前記表示部に表示させる、
請求項１に記載の端末装置。
前記オブジェクト配置部は、
前記視線位置オブジェクトと前記複数の選択オブジェクトに含まれる一の選択オブジェクトとを前記仮想空間内の同一面に配置する、
請求項２に記載の端末装置。
前記オブジェクト配置部は、
前記検出部の検出結果に基づいて前記仮想空間内の前記仮想視点からの視界方向が変化したと判定された場合、前記並び方向以外の方向については前記視線位置が前記選択オブジェクトの判定領域の前記並び方向と直交する方向の幅に収まるように、該視界方向の変化に応じて前記選択オブジェクトを移動させる、
請求項２または請求項３に記載の端末装置。
コンピュータを、請求項１から請求項４のいずれか一項に記載の端末装置として機能させるためのプログラム。