JP6746835B2 - 表示制御装置及びプログラム - Google Patents

表示制御装置及びプログラム Download PDF

Info

Publication number
JP6746835B2
JP6746835B2 JP2017047562A JP2017047562A JP6746835B2 JP 6746835 B2 JP6746835 B2 JP 6746835B2 JP 2017047562 A JP2017047562 A JP 2017047562A JP 2017047562 A JP2017047562 A JP 2017047562A JP 6746835 B2 JP6746835 B2 JP 6746835B2
Authority
JP
Japan
Prior art keywords
virtual viewpoint
display control
terminal device
virtual
control mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017047562A
Other languages
English (en)
Other versions
JP2018151856A (ja
Inventor
洋二 水上
洋二 水上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to JP2017047562A priority Critical patent/JP6746835B2/ja
Publication of JP2018151856A publication Critical patent/JP2018151856A/ja
Application granted granted Critical
Publication of JP6746835B2 publication Critical patent/JP6746835B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示制御装置及びプログラムに関する。
ユーザの頭部に装着し、該ユーザの眼前に配置されたディスプレイに仮想空間における画像を表示可能なヘッドマウントディスプレイ(HMD:Head Mounted Display)がある。例えば、HMDを利用したゲームでは、頭部に装着するディスプレイの他、手に持って操作されるコントローラ等のデバイスを併用してゲームをプレイするものがある。しかしながら、ユーザはHMDによって現実空間への視界が覆われており手元を観察できないため、コントローラから一旦指が離れた場合等に誤操作が発生することがあった。そこで、頭部の傾き等の動きを検出して、選択肢の表示/非表示操作等を行うHMDがある(例えば、特許文献1)。
また、近年、スマートフォン等の高性能化に伴いスマートフォン等をHMDとして利用するものがある。例えば、簡易的なアタッチメントを用いてスマートフォンを頭部に装着することで、HMDとして利用することができる。この場合、頭部へ装着されることにより、スマートフォンに備えられているタッチパネル等の入力デバイスが利用できなくなる。そのため、例えばスマートフォンに内蔵されたジャイロ等のセンサを利用して頭部の動きを検出することで、HMDに表示される選択肢に対する操作を実現する方法がある。
特許第5767386号公報
上記のように、コントローラが使用しにくかったり、入力デバイスが利用できなかったりする場合があるため、HMDを利用したゲームでは、HMDの傾きのみによる操作を行いたい場面が多い。しかしながら、HMDの方向情報は視界画像の視線方向の操作に専ら利用されるため、それ以外の操作を行うことが難しかった。例えば、仮想空間内の移動を操作したい場面も想定されるが、HMDの傾きのみで操作するのは困難であった。よって、HMDの方向情報に基づく操作を多様化することが望まれている。
本発明のいくつかの態様は、HMDの方向情報を用いた操作を多様化することができる表示制御装置及びプログラムを提供することを目的の一つとする。
また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする表示制御装置及びプログラムを提供することを目的の一つとする。
上述した課題を解決するために、本発明の一態様は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示部に表示させる表示制御部を備え、前記表示制御部は、第1設定の場合には、前記仮想視点からの視界方向を自装置の方向に関する自装置方向情報に基づいて変更し、第2設定の場合には、前記仮想視点と前記仮想空間内に配置されたオブジェクトとの位置関係を前記自装置方向情報に基づいて変更し、前記第2設定の場合には、前記仮想視点と前記仮想空間内に配置されたオブジェクトとの位置関係を、視界方向を軸とした回転方向における自装置の方向に基づいて変更する表示制御装置である。
また、本発明の一態様は、コンピュータを、上記の表示制御装置として機能させるためのプログラムである。
第1の実施形態に係るHMDシステムの一例を示す外観図。 同実施形態に係る視線方向制御モードの概要を示す図。 同実施形態に係る位置傾斜制御モードの概要を示す図。 同実施形態に係る仮想空間の方向の定義を示す図。 同実施形態に係る視界方向と注視点との説明図。 同実施形態に係る端末装置のハードウェア構成を示す図。 同実施形態に係る端末装置の機能構成を示すブロック図。 同実施形態に係る視線方向制御処理の流れを示すフローチャート。 同実施形態に係る位置傾斜制御処理の流れを示すフローチャート。 同実施形態に係る視線方向制御モードの視界画像を示す図。 同実施形態に係る操作点の移動を示す図。 同実施形態に係る位置傾斜制御モードの視界画像を示す第1図。 同実施形態に係る位置傾斜制御モードの視界画像を示す第2図。 第2の実施形態に係る位置傾斜制御モードの概要を示す図。 同実施形態に係る端末装置の機能構成を示すブロック図。 同実施形態に係る位置傾斜制御処理の流れを示すフローチャート。 同実施形態に係る判定オブジェクトの移動を示す図。 同実施形態に係る視線方向制御モードの視界画像を示す図。 同実施形態に係る位置傾斜制御モードにおける仮想視点の移動を示す図。 第3の実施形態に係る位置傾斜制御モードの概要を示す図。 同実施形態に係る端末装置の機能構成を示すブロック図。 同実施形態に係る位置傾斜制御処理の流れを示すフローチャート。 第4の実施形態に係る位置傾斜制御モードの概要を示す図。 同実施形態に係る端末装置の機能構成を示すブロック図。 同実施形態に係る位置傾斜制御処理の流れを示すフローチャート。 同実施形態に係る視線方向制御モードの視界画像を示す図。 同実施形態に係る位置傾斜制御モードの視界画像を示す図。 第5の実施形態に係る位置傾斜制御モードの概要を示す図。 同実施形態に係る端末装置の機能構成を示すブロック図。 同実施形態に係る位置傾斜制御処理の流れを示すフローチャート。 同実施形態に係る位置傾斜制御モードの視界画像を示す図。 第6の実施形態に係る位置傾斜制御モードの概要を示す図。 同実施形態に係る端末装置の機能構成を示すブロック図。
以下、本発明の一実施形態について、図面を参照して説明する。
[第1の実施形態]
〔端末装置10の概要〕
本発明の第1の実施形態について説明する。
図1は、本実施形態に係るHMD(Head Mounted Display)システム1の一例を示す外観図である。
HMDシステム1は、ユーザの頭部に装着され、仮想空間内の仮想視点からの視界を表す視界画像を表示可能である。例えば、HMDシステム1は、右目と左目との両眼視差を利用した立体視画像を表示可能である。また、HMDシステム1は、ジャイロ等のHMDシステム1の動きや傾き(姿勢)を検知するセンサを搭載しており、装着されているユーザの頭部の動きや傾きの変化等を検知することができる。以下では、センサが検知する動きや傾きを示す情報を、センサ情報と称することがある。仮想空間には、例えば、オブジェクトを配置可能な水平面のフィールドが設けられている。
図示するHMDシステム1は、表示部12を備えた端末装置10をアタッチメント2に取り付けることで、端末装置10をHMDの表示制御装置として利用可能な構成である。アタッチメント2は、ユーザの頭部に装着された状態でユーザの正面の視界を覆うように端末装置10が取り付け可能であり、取り付けられた端末装置10の表示部12を視認するための右目用レンズ3R及び左目用レンズ3Lと、HMDシステム1をユーザの頭部に装着するためのストラップ5とを備えている。ユーザは、HMDシステム1を頭部に装着することで、端末装置10に表示される視界画像を、右目用レンズ3R及び左目用レンズ3Lを介して視認できる。
端末装置10は、視線方向制御モードと位置傾斜制御モードとの2つのモード(設定)を有する。各モードでは、いずれもセンサ情報に基づいて視界画像を変化させる処理が行われる。ただし、センサ情報、すなわち動きや傾きが同じであっても、各モードでは視界画像の変化が異なる。ユーザは、所定の操作を行うことで、各モードを任意に切替えることができる。
図2は、視線方向制御モードの概要を示す図である。
図2は、ユーザの視線方向E1の傾きが上向きに変化する場合の視界方向の変化を示す。視線方向制御モードとは、視線方向を、センサ情報に基づいて変化させるモードである。例えば、端末装置10が表示する視界画像は、ユーザの頭部が右方向を向けば仮想空間内の右方向に変化し、上を向けば仮想空間内の上向きに変化する。
視線方向制御モードの場合、実空間における視線方向の上向きにおける角度(ピッチ角)θが0である場合(θ=0)、仮想空間における視線方向のピッチ角θは0となる。ここで、ピッチ角θ(θ、θ)とは、水平面を基準としたピッチ方向の角度である。同様に、以下では、視線方向に対する垂直面を基準としたロール方向の角度をロール角φといい、ヨー方向の角度をヨー角ψということがある。
仮想視点K1からの視線方向にオブジェクトO1が存在している場合には、オブジェクトO1を正面から見た視界画像が生成される。また、ピッチ角θがπ/12である場合(θ=π/12)、ピッチ角θはπ/12となる。この場合、仮想視点K1から、仮想空間に配置されたオブジェクトO1を見上げるような視界画像が生成される。このように、視線方向制御モードでは、実空間におけるユーザの本来の視線方向と、仮想空間における視線方向とが連動する。これにより、端末装置10は、あたかも仮想空間内にいるような没入感をユーザに与えることができる。
図3は、位置傾斜制御モードの概要を示す図である。
図3は、ユーザの視線方向E1の傾きが上向きに変化する場合の仮想視点K1の位置の変化を示す。位置傾斜制御モードとは、仮想視点の位置を、センサ情報に基づいて変化させるモードである。例えば、端末装置10が表示する視界画像は、ユーザの頭部が上を向けば仮想空間内を前方向に移動したかのように変化する。位置傾斜制御モードの場合、ピッチ角θが0である場合(θ=0)、仮想空間では初期位置(x=x)の仮想視点K1から見た、所定の視界方向の視界画像が生成される。ここで、初期位置とは、位置傾斜制御モードに遷移したときの仮想視点K1の位置である。また、以下では一例として、位置傾斜制御モードにおける所定の視界方向とは、仮想空間内に配置された所定のオブジェクトへの方向であるとして説明する。図3に示す例では、オブジェクトO1への方向が所定の視界方向である。
また、ピッチ角θがπ/12である場合(θ=π/12)、仮想空間ではオブジェクトへの最接近位置xMAXまでの中間位置(x=xMAX/2)の仮想視点K1から見た、所定の視界方向の視界画像が生成される。このとき、ピッチ角θは、ピッチ角θに連動させず、0のままとする。このように、位置傾斜制御モードでは、視線方向の変化が制限される。また、ピッチ角θがπ/6である場合(θ=π/6)、仮想空間ではオブジェクトの最接近位置xMAXの仮想視点K1から見た、所定の視界方向の視界画像が生成される。つまり、ユーザが上を向くとオブジェクトO1を近づいて観察するように視界画像が変化する。
このように、位置傾斜制御モードでは、実空間における動きや傾きと、仮想空間における仮想視点の位置とが連動する。換言すると、位置傾斜制御モードでは、実空間における動きや傾きと、仮想空間における仮想視点とオブジェクトの位置関係とが連動する。これにより、ユーザは、実空間を実際に移動することなく、仮想空間内において仮想視点の位置を変更することができる。
〔仮想空間の定義〕
図4は、仮想空間の方向の定義を示す図である。
本実施形態では、ユーザが直立する方向である垂直方向(鉛直方向)をZ軸とし、Z軸に直交する軸であってユーザと表示部12とを結ぶ方向をX軸とし、Z軸及びX軸と直交する軸をY軸とする。
ここで、Z軸を軸とした回転方向への変化をヨー方向(左右方向)への変化ともいい、Y軸を軸とした回転方向への変化をピッチ方向(上下方向)への変化ともいい、X軸を軸とした回転方向への変化をロール方向への変化ともいう。例えば、上述したセンサは、各軸の回転方向(ヨー方向、ピッチ方向、及びロール方向)の角速度又は角加速度を検知する。なお、ヨー方向への変化を左右方向への変化、ピッチ方向への変化を上下方向(上向き、下向き)への変化、ともいうことがある。また、仮想視点KからX軸方向の距離を視界深度ともいうことがある。
図5は、視界方向と注視点との説明図である。
図5において、仮想空間内の仮想視点K(ユーザの仮想視点)をX軸、Y軸、及びZ軸の交点(原点)とし、ユーザの視線方向をX軸方向とすると、仮想視点からの視界方向の視界画像の範囲(即ち、視界)は、視線方向(X軸方向)を中心としたヨー角α(破線aと破線bとの内角、及び破線cと破線dとの内角)とピッチ角β(破線aと破線dとの内角、及び破線bと破線cとの内角)とで定まる範囲である。ここで、ヨー角α及びピッチ角βは、HMDシステム1に表示させる仮想空間の視界画像の画角として予め設定された角度である。ユーザの頭部がピッチ方向又はヨー方向に変化すると、その変化に応じて視線方向がX軸方向からピッチ方向又はヨー方向に変化し、視界方向もピッチ方向又はヨー方向に変化する。また、ユーザの頭部がロール方向に変化すると、視線方向はX軸方向のまま、視界方向がロール方向に回転する。なお、以下では、説明を容易にするため、視線方向は端末装置10の表示面の法線方向であるとするが、アイトラッキングの技術を用いて、ユーザの目の動きから視線方向を特定してよい。
また、仮想空間内には、各種のオブジェクトが必要に応じて配置される。例えば、図示するように仮想空間内においてオブジェクトが配置される面を面L1とすると、視線方向に対応する注視点を視認可能とするためのオブジェクトである操作点オブジェクトPが、この面L1において視界方向の範囲を示す破線a、b、c、dとの交点a1、b1、c1、d1を頂点とした四角形で囲まれる範囲(視界)の中央(即ち、面L1とX軸の交点)に配置される。なお、操作点オブジェクトPが配置される位置は、面L1において、交点a1、b1、c1、d1を頂点とした四角形で囲まれる範囲(視界)の中央に限らず、他の位置(例えば、中央より若干下の位置等)に配置されてもよい。
また、仮想空間内の面L1に、ユーザの操作による選択の有無を判定する判定領域を有する判定オブジェクト(選択肢)が配置される。判定領域は、面(2次元形状)であってもよいし、立体(3次元形状)であってもよい。例えば、この面L1と破線a、b、c、dとの交点a1、b1、c1、d1を頂点とした四角形で囲まれる範囲(視界)に配置される判定オブジェクトと、操作点オブジェクトPとが視界画像とともに表示部12に表示されることになる。本実施形態では、このユーザの視線方向に対応する操作点オブジェクトPが、判定オブジェクトを選択する操作の位置を示す操作点となる。以下では、一例として、判定オブジェクトが矩形形状であり、その矩形の領域全体が判定領域であるとして説明する。なお、仮想空間内に配置される各種オブジェクトは、同一面(同一レイヤ)に配置されてもよいし、複数の面(複数レイヤ)に区別して配置されてもよい。
ユーザの頭部がピッチ方向又はヨー方向に変化すると、その変化に応じて視界方向及び視線方向がピッチ方向又はヨー方向に変化する。そのため、操作点オブジェクトPは、視線方向に対応する位置(視界画像の中央)に表示されるように移動する。また、ユーザの頭部がロール方向に変化した場合、操作点オブジェクトPは、配置されている位置のままロール方向の変化に応じて回転する。一方、判定オブジェクトは、視界方向がピッチ方向、ヨー方向、又はロール方向に変化しても配置されている位置から移動しない。つまり、視界方向が変化した場合、変化した視界の中に配置されている判定オブジェクトが表示される。
なお、両眼視差を利用した立体視画像を表示する場合、右目用と左目用のそれぞれの仮想視点に対応する視界方向及び視線方向があり、それぞれの視界方向及び視線方向の視界画像と各種オブジェクトとが含まれる右目用画像と左目用画像が表示されるが、本実施形態では、説明を容易にするために右目用と左目用とを区別せずに説明する。
〔端末装置10の構成〕
端末装置10は、HMDシステム1の少なくとも一部として利用可能な携帯型のコンピュータ装置であり、スマートフォンやフィーチャーフォン等の携帯電話機、携帯情報端末(PDA:Personal Digital Assistant)、タブレットPC、家庭用ゲーム機、等が適用できる。本実施形態では、端末装置10はスマートフォンであるとして説明する。
図6は、端末装置10のハードウェア構成の一例を示す図である。端末装置10は、例えば、表示部12と、センサ13と、タイマ14と、記憶部15と、通信部16と、CPU(Central Processing Unit)17と、を備えている。
表示部12は、画像やテキスト等の情報を表示するディスプレイであり、例えば、液晶ディスプレイパネル、有機EL(ElectroLuminescence)ディスプレイパネル等を含んで構成される。例えば、表示部12は、仮想空間内の仮想視点(HMDシステム1を装着しているユーザの眼)からの視界画像として、両眼視差を利用した立体視画像(右目用画像及び左目用画像)を表示する。また、表示部12は、仮想空間内に配置された各種オブジェクトを視界画像とともに表示する。
センサ13は、センサ情報を検知するセンサである。例えば、センサ13は、物体の角度、角速度、角加速度等を検知するジャイロセンサである。なお、センサ13は、方向の変化を検知するセンサであってもよいし、方向そのものを検知するセンサであってもよい。例えば、センサ13は、ジャイロセンサに限られるものではなく、加速度センサ、傾斜センサ、地磁気センサ等であってもよい。
タイマ14は、時間を計測する計時機能を有する。
記憶部15は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、ROM(Read-Only Memory)、RAM(Random Access Memory)等を含み、仮想空間データ(画像データ)や、仮想空間内に配置されるオブジェクトのデータ、仮想空間を用いたゲームのプログラム等を記憶する。
通信部16は、ネットワークNWを介して、他の装置と通信を行う。
CPU17は、端末装置10が備える各部を制御する制御中枢として機能する。例えば、CPU17は、記憶部15に記憶された各種プログラムを実行することで、端末装置10の各部を制御する制御部として機能する。
上述した各構成は、バス(Bus)を介して相互に通信可能に接続されている。また、端末装置10は、不図示のスピーカ、音声出力端子、カメラ、GPS(Global Positioning System)受信モジュール、ユーザの操作入力を受け付ける操作ボタン又はタッチパネル等のハードウェア構成を含んで構成されてもよい。
例えば、端末装置10は、HMDシステム1を利用したゲームのプログラムを実行する。このゲームは、ユーザがHMDシステム1を装着した状態で、表示部12に表示される視界画像(ゲーム画面)の視野範囲を頭部の向き等を変えて変更しながらプレイするものである。
端末装置10は、センサ13の検知結果に基づいて端末装置10の方向に関する方向情報を検出し、検出結果に基づいて視界方向の視界画像(ゲーム画面)を表示部12に表示させる。端末装置10の方向は、HMDシステム1を頭部に装着したユーザの頭部の方向に対応する。また、端末装置10は、ユーザによる選択操作の入力を受け付ける場合、ユーザからの選択の有無を判定する判定領域を有する判定オブジェクトを仮想空間内に配置し、視界画像とともに表示部12に表示させる。
図7は、端末装置10の機能構成を示すブロック図である。
端末装置10は、記憶部15に記憶されているプログラムをCPU17が実行することにより実現される機能構成として、制御部110を備えている。制御部110は、検出部111と、判定部112と、オブジェクト配置部113と、表示制御部114と、を備えている。
検出部111は、センサ13の検知結果に基づいて、端末装置10の方向情報を検出する。また、検出部111は、端末装置10の方向情報に基づいて、仮想空間における仮想視点からの視線方向に対応する注視点を検出する。例えば、検出部111は、センサ13が検知する方向、又は方向の変化に関する情報に基づいて、端末装置10が取り付けられたHMDシステム1を装着したユーザの視界方向又は視界方向の変化を、端末装置10が向いている方向によって検出するとともに、視界の中央を注視点の位置とする。なお、検出部111は、視界方向の変化速度に関する情報を検出してもよい。
判定部112は、ユーザの注視点と判定オブジェクトの判定領域との位置関係に基づいて、判定オブジェクトの選択の有無を判定する。例えば、判定部112は、注視点と判定オブジェクトの判定領域とが視線方向において重ならない位置関係から重なる位置関係になってからの経過時間を計時するとともに、計時した経過時間に基づいて選択の有無を判定する。例えば、判定部112は、注視点と判定オブジェクトの判定領域とが重なる位置関係になってから所定時間以上経過した場合に、その判定オブジェクトが選択された(選択有)と判定する。一方、判定部112は、注視点と判定オブジェクトの判定領域とが重なる位置関係になってからの経過時間が所定の時間未満の場合に、その判定オブジェクトはまだ選択されていない(選択無)と判定する。
オブジェクト配置部113は、仮想空間内に各種のオブジェクトを配置する。オブジェクトは、例えば、人物、生物、物体、図形等であってよい。オブジェクトには、例えば、仮想空間内の環境を再現するための環境オブジェクトと、ユーザインタフェースオブジェクトとがある。1つのオブジェクトが、環境オブジェクトとユーザインタフェースオブジェクトとを兼ねていてもよい。ユーザインタフェースオブジェクトには、判定オブジェクト、操作点オブジェクト等がある。判定オブジェクトとは、仮想空間において、ユーザによる選択を受け付けるためのオブジェクトである。判定オブジェクトには、操作コマンドが対応付けられており、判定オブジェクトが選択された場合には、該判定オブジェクトに対応するコマンドが実行される。このコマンドには、視線方向制御モードから位置傾斜制御モードへのモード切替えコマンドが含まれる。
本実施形態では、一例として、判定オブジェクトが環境オブジェクトに対応付けられている場合について説明する。この判定オブジェクトには、環境オブジェクトに対して行動する操作コマンドが対応付けられていてよい。この場合、ある環境オブジェクトに対して行動する際には、当該環境オブジェクトに対応する判定オブジェクトを選択することになる。位置傾斜制御モードにおける仮想視点の位置の変更は、環境オブジェクトに対する行動の一例である。判定オブジェクトには、ユーザの操作による選択の有無を判定する判定領域が設けられている。例えば、判定オブジェクトの一部又は全部の領域が判定領域となる。以下では、ユーザにより選択された判定オブジェクト、及び、当該判定オブジェクトに対応付けられている環境オブジェクトを、対象オブジェクトということがある。操作点オブジェクトとは、仮想視点からの視線方向に対応する注視点を視認可能とするためのオブジェクトである。仮想視点からの視線方向に対応する注視点とは、視線方向の先の視線位置を示す点である。
例えば、オブジェクト配置部113は、検出部111による注視点の検出結果に基づいて、操作点オブジェクトを仮想空間内に配置する。また、オブジェクト配置部113は、環境オブジェクト、判定オブジェクト、経過時間ゲージ等を仮想空間内に配置する。このとき、オブジェクト配置部113は、モードに応じて配置するオブジェクトを変更してもよい。例えば、判定オブジェクトを、視線方向制御モードでは配置して位置傾斜制御モードでは配置しないこととしてもよいし、その逆としてもよい。なお、オブジェクト配置部113は、上記の各種オブジェクトを仮想空間内において同一面(同一レイヤ)に配置してもよいし、複数の面(複数のレイヤ)に分けて配置してもよい。なお、オブジェクト配置部113は、経過時間等の時間情報を、タイマ14を用いて計時して取得する。
表示制御部114は、検出部111の検出結果に応じて仮想空間内の仮想視点からの視界方向の視界画像を表示部12に表示させる。仮想空間内の各方向の視界画像のデータは、仮想空間データとして記憶部15に記憶されている。表示制御部114は、視界方向に対応する視界画像を仮想空間データから取得して視界画像として表示部12に表示させる。
また、表示制御部114は、検出部111の検出結果に基づいて仮想空間内の仮想視点の位置や視界方向を特定し、視界方向に配置されている各種オブジェクト(操作点オブジェクト、環境オブジェクト、判定オブジェクト、経過時間ゲージ等)を、視界画像の一部として表示部12に表示させる。
また、視界画像の表示において、表示制御部114は、視線方向制御モードを提供するための視線方向制御処理と、位置傾斜制御モードを提供するための位置傾斜制御処理とを実行する。視線方向制御処理と位置傾斜制御処理とのいずれを実行するかは、例えば、モードを示すフラグ情報の設定値を参照することで特定されてよい。このフラグ情報は、記憶部15に記憶されていてよい。
視線方向制御処理では、表示制御部114は、検出部111の検出結果に応じて視線方向を変更する。例えば、表示制御部114は、実空間で端末装置10の傾きがピッチ方向において変化した場合には、仮想空間でも視線方向をピッチ方向において変化させる。同様に、表示制御部114は、実空間で端末装置10の傾きがヨー方向において変化した場合には仮想空間でも視線方向をヨー方向において変化させ、実空間で端末装置10の傾きがロール方向において変化した場合には仮想空間でも視線方向をロール方向において変化させる。他方、表示制御部114は、実空間において端末装置10の傾きが変化した場合であっても、仮想空間における仮想視点の位置は変化させない。つまり、表示制御部114は、視線方向制御処理では、仮想空間における仮想視点の位置の変更を制限する。
位置傾斜制御モードでは、表示制御部114は、検出部111の検出結果に応じて仮想視点の位置を変更する。例えば、表示制御部114は、実空間において端末装置10の傾きが上向きに変化した場合には、その変化量の分だけ、仮想空間における仮想視点の位置を環境オブジェクトに近づける。他方、表示制御部114は、実空間において端末装置10の傾きがヨー方向に変化したり、ロール方向に変化したりした場合には、仮想空間における仮想視点の位置を変更しない。また、表示制御部114は、実空間において端末装置10の傾きが変化した場合であっても、仮想空間における視線方向は変化させない。つまり、表示制御部114は、位置傾斜制御処理では、仮想空間における視線方向の変更を制限する。
〔端末装置10の動作〕
視線方向制御処理について説明する。
図8は、視線方向制御処理の流れを示すフローチャートである。
ここでは、仮想空間内に予め環境オブジェクト、判定オブジェクトが配置されている場合について説明する。
(ステップS100)端末装置10は、自装置の方向情報を検知する。その後、端末装置10は、ステップS102に処理を進める。
(ステップS102)端末装置10は、方向情報に基づいて仮想空間における視線方向を特定する。そして、端末装置10は、特定した視線方向に基づいて注視点を検出する。端末装置10は、注視点の検出結果に基づいて操作点オブジェクトを配置する。その後、端末装置10は、ステップS104に処理を進める。
(ステップS104)端末装置10は、ステップS102で特定した視線方向に基づいて仮想視点からの視界画像を生成する。その後、端末装置10は、ステップS106に処理を進める。
(ステップS106)端末装置10は、位置傾斜制御モードに遷移させるか否かを判定する。例えば、表示制御部114は、視界画像において、判定オブジェクトの判定領域と操作点オブジェクトが重なる位置関係になってから所定時間経過したか否かを判定する。そして、端末装置10は、判定オブジェクトの判定領域と操作点オブジェクトが重なる位置関係になってから所定時間経過した場合(ステップS106;YES)、端末装置10は、図8に示す処理を終了し、位置傾斜制御モードに遷移させる。つまり、端末装置10は、視線方向制御モードを解除して、位置傾斜制御処理を開始する。また、端末装置10は、判定オブジェクトの判定領域と操作点オブジェクトが重なっていない場合、又は、判定オブジェクトの判定領域と操作点オブジェクトが重なる位置関係になってから所定時間経過していない場合(ステップS106;NO)、端末装置10は、ステップS100に処理を戻す。つまり、端末装置10は、視線方向制御モードを解除せず、視線方向制御処理を続行する。
なお、ステップS106の処理では、判定オブジェクトに操作点オブジェクトを所定時間以上重ねる操作により、視線方向制御モードから位置傾斜制御モードに遷移させる態様について説明したが、視線方向制御モードの解除のための所定の操作や、位置傾斜制御モードへの遷移のための所定の操作は、これには限られない。端末装置10は、例えば、自装置を振動させる操作を加速度センサで検出したり、ユーザの発声による指示操作をマイクで検出すること等に応じて、視線方向制御モードを解除したり、位置傾斜制御モードに遷移させたりしてよい。この場合、端末装置10は、視界画像に表示された判定オブジェクトや環境オブジェクトのうち、操作点オブジェクトとの距離が最も近いオブジェクトを、対象オブジェクトとしてよい。
位置傾斜制御処理について説明する。
図9は、位置傾斜制御処理の流れを示すフローチャートである。
ここでは、仮想空間内に予め環境オブジェクト、判定オブジェクトが配置されている場合について説明する。
(ステップS120)端末装置10は、自装置の方向情報を検知する。その後、端末装置10は、ステップS122に処理を進める。
(ステップS122)端末装置10は、方向情報に基づいて仮想空間における仮想視点の位置を変更する。その後、端末装置10は、ステップS124に処理を進める。
(ステップS124)端末装置10は、視線方向を判定オブジェクトの方向とし、ステップS122で特定した位置の仮想視点からの視界画像を生成する。その後、端末装置10は、ステップS126に処理を進める。
(ステップS126)端末装置10は、視線方向制御モードに遷移させるか否かを判定する。例えば、端末装置10は、下向きへのピッチ角θが閾値以上である状態、すなわち、注視点がピッチ方向において所定角度以上、下向きである状態が所定時間経過したか否かを判定する。この閾値の大きさは、任意に設定されてよく、例えば5度とされてよい。つまり、端末装置10は、ユーザの頭部が所定角度以上、下向きになっている状態が所定時間以上継続しているか否かを判定する。そして、端末装置10は、下向きへのピッチ角θが閾値以上である状態が所定時間経過した場合(ステップS126;YES)、端末装置10は、図9に示す処理を終了し、視線方向制御モードに遷移させる。つまり、端末装置10は、位置傾斜制御モードを解除して、視線方向制御処理を開始する。また、端末装置10は、下向きへのピッチ角θが閾値未満である場合、又は、下向きへのピッチ角θが閾値以上である状態になってから所定時間以上経過していない場合(ステップS126;NO)、端末装置10は、ステップS120に処理を戻す。つまり、端末装置10は、位置傾斜制御モードを解除せず、位置傾斜制御モードを続行する。
なお、ステップS126の処理では、注視点が所定角度以上、下向きである場合に位置傾斜制御モードを解除するとしたが、位置傾斜制御モードの解除のための所定の操作や、視線方向制御モードへの遷移のための所定の操作は、これには限られない。端末装置10は、例えば、ヨー方向やロール方向に所定角度以上の傾きを検出した場合に、位置傾斜制御モードを解除したり、視線方向制御モードに遷移させたりしてもよい。このように、端末装置10は、仮想視点の位置変更に用いない方向への操作を、モードの切替えに利用してもよい。また、端末装置10は、例えば、自装置を振動させる操作を加速度センサで検出したり、ユーザの発声による指示操作をマイクで検出したりすることに応じて、位置傾斜制御モードを解除したり、視線方向制御モードに遷移させたりしてもよい。
〔仮想空間、視界画像例〕
視線方向制御モードの視界画像について説明する。
図10は、視線方向制御モードの視界画像を示す図である。
図10に示す視界画像V2には、環境オブジェクトO2と、板状の判定オブジェクトJ2と、十字型の操作点オブジェクトP2と、が表示されている。視界画像V2の例では、環境オブジェクトO2は、木を表現したオブジェクトであるが、人物や他の物体等を表現してよい。また、環境オブジェクトO2と判定オブジェクトJ2とが1つのオブジェクトであってもよい。本実施形態では、視界の中心を注視点としているため、操作点オブジェクトP2は、視界画像の中心に配置される。
ここで、視界画像V2の例では、判定オブジェクトJ2は、画像の中央付近に存在しており、操作点オブジェクトP2と重なる位置関係にある。この状態が所定時間継続した場合、端末装置10は、上記のステップS106で説明したように、視線方向制御モードから位置傾斜制御モードに遷移する。
操作点オブジェクトの配置について説明する。
図11は、操作点オブジェクトの移動を示す図である。
図11は、仮想空間を鉛直方向上方から観察した様子を模式的に示す図である。図11に示す例において、仮想視点K3からの視線方向は、矢印R31、R32、R33の順に遷移している。初期状態の視線方向R31の場合、視線方向には予め配置されたオブジェクトが存在していない。この場合、注視点は、視線方向から予め定められた距離に設けられる。よって、図11に示す例では、操作点オブジェクトP31は、面L31に配置されている。
視線方向R32の場合、視線方向には、判定オブジェクトJ3が予め配置されている。ここで、判定オブジェクトは、面L31よりも仮想視点の位置に近い面L32に配置されている。そこで、端末装置10は、視線方向R32の場合には、注視点の位置を面L32に近傍に設定する。つまり、操作点オブジェクトP32を面L32の近傍に配置する。つまり、判定オブジェクトJ3と操作点オブジェクトP32とが同様の視界深度に配置される。これにより、両眼焦点距離が判定オブジェクトJ3の近傍となるため、判定オブジェクトJ3の視認性が向上する。よって、ユーザは、操作点オブジェクトP32を判定オブジェクトJ3(すなわち判定領域)に重ねやすくなり、操作性が向上する。
また、視線方向R33の場合、視線方向には予め配置されたオブジェクトが存在していない。ここで、端末装置10は、視線方向R33における操作点オブジェクトP33の視点からの距離を、視線方向R32の場合と同様とする。つまり、視線方向R32から視線方向R33への移動では、注視点の視界深度を変更しない。視線方向R32から視線方向R33への移動においても、注視点の視界深度を視線方向R31の場合と同様に予め定められた距離に設定してもよいが、この場合、判定オブジェクトJ3と注視点とが重なったり、重ならなかったりする度に、注視点の視界深度が変更されることになる。そのため、場合によっては頻繁に注視点の視界深度が変更されてしまうため、ユーザに不快感を与えてしまう可能性もある。そこで、判定オブジェクトJ3の位置に応じて注視点の視界深度を設定した場合には、操作点オブジェクトP33のように、その視界深度を維持するようにすれば、ユーザに不快感を与えにくいと考えられる。なお、視界深度の維持は、所定時間経過するまでとしてもよいし、視線方向の変化量が所定角度以上となるまでとしてもよいし、他の判定オブジェクトに視線方向が重なるまでとしてもよい。
位置傾斜制御モードの視界画像について説明する。
図12は、位置傾斜制御モードの視界画像を示す第1図である。
図12に示す視界画像V41には、環境オブジェクトO41と、操作点オブジェクトP41と、が表示されている。視界画像V41は、視線方向制御モードにおいて、環境オブジェクトO41に対応付けられた判定オブジェクトが選択され、位置傾斜制御モードに遷移した場合に表示される。位置傾斜制御モードでは、判定オブジェクトは、表示されたままとしてもよいし、非表示とされてもよい。位置傾斜制御モードでも、判定オブジェクトを表示する場合には、判定オブジェクトを対象オブジェクトとして、仮想視点の位置を変更してもよい。ただし、判定オブジェクトや操作点オブジェクトのように、仮想空間内の環境を表現するオブジェクトではないオブジェクトは、必要時を除いて非表示とすることにより、視界画像の没入感を向上させることができる。
また、視界画像V41では、画像の外周が縁取りされている。これにより、ユーザは、縁取りの有無に基づいて、視線方向制御モードであるか、位置傾斜制御モードであるかを、容易に認識することができる。このように、視線方向制御モードと、位置傾斜制御モードとでは、視界画像の表示態様を変更してよい。表示態様の変更の例は、画像の縁取りに限られない。例えば、画像の色を変更してもよいし、画像の所定位置に専用のアイコンを表示したり、対象オブジェクトに対してマーク(標識)を付加して表示したりしてもよい。
図13は、位置傾斜制御モードの視界画像を示す第2図である。
図13に示す視界画像V42は、環境オブジェクトO42と、操作点オブジェクトP42と、が表示されている。環境オブジェクトO42、操作点オブジェクトP42は、それぞれ、視界画像V41の環境オブジェクトO41、操作点オブジェクトP41と同じオブジェクトである。視界画像V42は、視界画像V41が表示されているときに、仮想視点の位置を変更する操作が行われた場合に表示される。視界画像V42の場合は、視界画像V41の場合に比して、仮想視点の位置が環境オブジェクトO41、O42に近いため、環境オブジェクトO41、O42が拡大したように表示される。
ここで、仮想視点の位置変更は、対象オブジェクトである環境オブジェクトO41、O42の位置に基づいて行われる。
まず、端末装置10は、対象オブジェクトの位置に基づいて、対象オブジェクトへの最接近位置xMAXを特定する。最接近位置は、対象オブジェクトが位置する座標であってもよいし、仮想視点の初期位置xと対象オブジェクトとを結ぶ線分上の座標であって、対象オブジェクトから所定距離離間した座標であってもよい。
そして、端末装置10は、ピッチ角θの範囲(0≦θ≦θMAX)と仮想視点の移動範囲(x≦x≦xMAX)とを対応付ける。ピッチ角θMAXは、仮想視点の移動範囲連動させるピッチ角θの最大値である。これにより、端末装置10は、自装置のピッチ方向の傾きの変化と、仮想視点の位置の変更とを対応付けることができる。つまり、ユーザは、見上げる角度を調整することで、初期位置から最接近位置までの任意の位置に、仮想視点を移動させることができる。例えば、ユーザの頭部が正面を向いている場合には、仮想視点を初期位置に配置し、ユーザの頭部が30度上を向いた場合には、仮想視点を対象オブジェクトの間近に配置することができる。つまり、ユーザの頭部が正面を向いた状態から30度上を向いた状態になった場合には、仮想視点は、初期位置から対象オブジェクトの間近まで前進する。また、ユーザの頭部が30度上を向いた状態から正面を向いた状態になった場合には、仮想視点は、対象オブジェクトの間近から、初期位置まで後退する。
また、端末装置10は、位置傾斜制御モードにおいて、視界方向の変化を制限してよい。端末装置10は、視界方向の変化を完全に制限してもよいし、部分的に制限してもよい。例えば、端末装置10は、視界方向の変化を完全に制限する場合には、自装置のヨー方向、ロール方向の傾きに関わらず、視界方向を変更しないようにする。また、例えば、端末装置10は、視界方向の変化を部分的に制限する場合には、自装置のヨー方向、ロール方向の傾きに応じて、所定の範囲で、視界方向を変更する。この所定の範囲とは、例えば、視界方向に対象オブジェクトの少なくとも一部が含まれる範囲等とされてよい。
これにより、仮想視点の位置の変化による視界画像の変化を、より明確にユーザに認識させることができる。また、この場合、視界方向と仮想視点の位置との両方が同時に、大幅に変化することがない。つまり、視界画像の変化が抑制される。ユーザによっては、視界画像の変化が大きいと、その変化に対応しきれずに不快感を覚えてしまう可能性も考えられる。この点、端末装置10は、視界方向の変化を制限することにより、視界画像の変化を抑制できるため、不快感を与えにくい。
〔第1の実施形態のまとめ〕
以上説明してきたように、本実施形態による端末装置10(表示制御装置の一例)は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を、表示部12(表示部の一例)に表示させる表示制御部114(表示制御部の一例)と、仮想空間におけるユーザの注視点(操作点の一例)を自装置の方向に関する自装置方向情報に基づいて検出する検出部111(検出部の一例)と、を備え、表示制御部114は、視線方向制御モード(第1設定の一例)の場合には、仮想視点からの視界方向を自装置方向情報に基づいて変更し、注視点を用いて所定の操作が行われた場合には、視線方向制御モードから位置傾斜制御モード(第2設定の一例)に遷移し、位置傾斜制御モードの場合には、仮想空間内における仮想視点の位置を自装置方向情報に基づいて変更する。
これにより、端末装置10は、方向情報を用いて、視界方向を制御することと、仮想視点の位置を変更することとの両方を行うことができる。よって、端末装置10は、HMDの方向情報を用いた操作を多様化することができる。
また、表示制御部114は、位置傾斜制御モードの場合に、所定の方向における自装置の方向の変化量に応じて、仮想視点の位置を変更する。
これにより、端末装置10は、仮想視点の位置の変化量を、自装置の方向の変化量に連動させる。つまり、ユーザは、端末装置10の傾きを調整することにより、仮想視点の位置を微調整することができる。よって、端末装置10は、HMDの方向情報を用いた仮想視点の位置変更の操作性を向上させることができる。
また、表示制御部114は、視線方向制御モードと位置傾斜制御モードとで、視界画像の少なくとも一部の表示態様を異ならせる。
これにより、視界画像の表示態様から、現在、視線方向制御モードと位置傾斜制御モードのいずれであるかを識別することができる。よって、端末装置10は、ユーザの誤操作を防ぐことができる。例えば、ユーザが、視線方向制御モードの場合に位置傾斜制御モードを想定した操作を行ってしまったり、位置傾斜制御モードの場合に視線方向制御モードを想定した操作を行ってしまったりすることを防ぐことができる。
また、表示制御部114は、注視点と仮想空間における所定の判定範囲との位置関係に基づく所定の条件が満たされた場合に、視線方向制御モードから位置傾斜制御モードに遷移する。
これにより、端末装置10は、注視点を用いた操作に基づいて、視線方向制御モードから位置傾斜制御モードに遷移する。つまり、端末装置10は、視線方向制御モードから位置傾斜制御モードへの変更においてもHMDの方向情報を利用する。換言すると、視線方向制御モードから位置傾斜制御モードへの変更するために、他の操作子を用意する必要がない。よって、端末装置10は、HMDの操作性を向上させることができる。
表示制御部114は、位置傾斜制御モードの場合に、仮想空間内における仮想視点の位置を、判定範囲の位置と仮想視点の位置とに基づく方向において変更する。
これにより、端末装置10は、判定範囲の位置を、仮想視点の位置変更の基準の1つとする。つまり、端末装置10は、位置傾斜制御モードへの遷移に用いた判定範囲を基準として、仮想視点の位置を変更する。そのため、ユーザは、位置傾斜制御モードにおいて、どのような方向に仮想視点の位置を変更可能であるのかを容易に把握できる。よって、端末装置10は、仮想視点の位置変更の操作性を向上させることができる。
また、判定範囲は、仮想空間内に配置されたオブジェクトに対応付けられており、表示制御部114は、位置傾斜制御モードの場合に、仮想空間内における仮想視点の位置を、オブジェクトの位置と仮想視点の位置とに基づく方向において変更する。
これにより、端末装置10は、オブジェクトの位置を、仮想視点の位置変更の基準の1つとする。つまり、端末装置10は、位置傾斜制御モードへの遷移に用いた判定範囲に対応するオブジェクトを基準として、仮想視点の位置を変更する。そのため、ユーザは、位置傾斜制御モードにおいて、どのような方向に仮想視点の位置が変更可能であるのかを容易に把握できる。よって、端末装置10は、仮想視点の位置変更の操作性を向上させることができる。
また、表示制御部114は、位置傾斜制御モードの場合には、視界方向の変更を制限する。
ここで、ユーザが仮想視点の位置変更を所望する場合に、意図せずに視界方向が大幅に変更されると、ユーザは、視界画像の変化がどのような要因で行ったのかを把握できない可能性がある。この点、端末装置10は、位置傾斜制御モードにおいて仮想視点の位置を変更する際に、視界方向の変更を制限する。つまり、端末装置10は、仮想視点の位置と視界方向との両方が同時に変更されてしまうことを抑制する。よって、端末装置10は、仮想視点の位置変更の操作性を向上させることができる。
また、表示制御部114は、位置傾斜制御モードの場合には、視界方向の変更を、オブジェクトの位置に基づいて制限する。
特に仮想視点の位置変更の方向がオブジェクトの位置に基づいている場合に、視界方向がオブジェクトの位置と無関係に変更されると、ユーザは、仮想視点の位置を把握しにくくなってしまう可能性がある。この点、端末装置10は、位置傾斜制御モードにおいて仮想視点の位置を変更する際に、オブジェクトの位置に基づいて視界方向の変更を制限する。つまり、端末装置10は、仮想視点の位置を変更する際に、視界方向がオブジェクトの位置と無関係に変更されてしまうこと抑制する。よって、端末装置10は、仮想視点の位置変更の操作性を向上させることができる。
また、表示制御部114は、位置傾斜制御モードの場合に、注視点を用いて所定の操作が行われた場合には、位置傾斜制御モードを解除する。
これにより、端末装置10は、注視点を用いた操作に基づいて、位置傾斜制御モードを解除する。つまり、端末装置10は、位置傾斜制御モードを解除する際にもHMDの方向情報を利用する。換言すると、視線方向制御モードから位置傾斜制御モードへの変更するために、他の操作子を用意する必要がない。よって、端末装置10は、HMDの操作性を向上させることができる。
また、表示制御部114は、位置傾斜制御モードに遷移して位置傾斜制御モードを解除した場合には、仮想視点の位置を、位置傾斜制御モードに遷移したときの位置に戻す。
これにより、端末装置10は、位置傾斜制御モードの開始時と終了時とで、仮想視点の位置を一致させる。そのため、ユーザは、位置傾斜制御モードを解除すれば、いつでも仮想視点を元の位置に戻すことができる。よって、端末装置10は、位置傾斜制御モードにおける仮想視点の位置変更の操作性を向上させることができる。特に、基本となる仮想視点の位置が存在し、そこから位置を必要に応じて移動し、移動した目的を達成した場合、再び元の視点位置に戻りたいような場面で好適に採用可能である。
[第2の実施形態]
〔端末装置10Aの概要〕
本発明の第2の実施形態について説明する。以下では、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る端末装置10Aは、端末装置10と同様に、視線方向制御モードと位置傾斜制御モードとを提供する表示制御装置である。ただし、端末装置10は、位置傾斜制御モードを解除する際に、仮想視点を初期位置に戻したが、端末装置10Aは、位置傾斜制御モードを解除する際に、仮想視点の位置を、位置傾斜制御モードを解除時の位置に維持する点が異なる。
図14は、本実施形態に係る位置傾斜制御モードの概要を示す図である。
図14は、ユーザの視線方向E5の傾きがピッチ方向に変化する場合の仮想視点K5の位置の変化を示す。本実施形態に係る位置傾斜制御モードでは、第1の実施形態に係る位置傾斜制御モードと同様に、実空間におけるピッチ角θに、仮想視点の位置xを対応付ける。そして、位置傾斜制御モードが解除された場合には、その時点における位置に仮想視点を配置したまま、視線方向制御モードを開始する。
例えば、実空間において、ピッチ角θが0からπ/12に変化した場合、仮想視点K5の位置は、初期位置0から、オブジェクトO5の最接近位置xMAXまでの中間位置xMAX/2に変化する。ここで、端末装置10の場合は、位置傾斜制御モードが解除されると、仮想視点の位置を初期位置0に戻したが(x=0)、端末装置10Aの場合は、仮想視点の位置を中間位置xMAX/2に維持する(x=MAX/2)。これにより、ユーザは、所望の位置で位置傾斜制御モードを解除することにより、その位置において視線方向制御モードを開始することができる。よって、端末装置10Aは、仮想空間における操作の自由度を向上させることができる。
なお、端末装置10Aは、位置傾斜制御モードの解除を、ヨー方向やロール方向の傾きに基づいて行うようにしてよい。これにより、ピッチ方向の傾きを変化させずに位置傾斜制御モードを解除することができるため、ユーザは、所望の位置で位置傾斜制御モードを解除することができる。また、端末装置10Aは、位置傾斜制御モードにおいて、仮想視点の位置を後退させないようにしてもよい。これにより、ピッチ方向下向きの傾きに基づいて位置傾斜制御モードを解除する場合であっても、仮想視点の位置が初期位置に戻ることがない。よって、ユーザは、所望の位置で位置傾斜制御モードを解除することができる。
〔端末装置10Aの構成〕
図15は、端末装置10Aの機能構成を示すブロック図である。
端末装置10Aは、端末装置10が備える制御部110に代えて、制御部110Aを備える。制御部110Aは、オブジェクト配置部113、表示制御部114に代えて、オブジェクト配置部113A、表示制御部114Aを備える。
オブジェクト配置部113Aは、オブジェクト配置部113と同様の処理を実行する。ただし、オブジェクト配置部113Aは、判定オブジェクトの位置を、仮想視点の位置に応じて変更する。
表示制御部114Aは、表示制御部114と同様の処理を実行する。ただし、表示制御部114Aは、位置傾斜制御モードを終了する際に、仮想視点の現在位置を維持したまま、視線方向制御処理を開始する。
〔端末装置10Aの動作〕
図16は、位置傾斜制御処理の流れを示すフローチャートである。
図16に示す処理のうち、図9に示す処理と同様の処理については、同一の符号を付し、説明を援用する。
(ステップS1121)ステップS120の処理の後、端末装置10Aは、仮想視点の位置を変更するか否かを判定する。例えば、端末装置10Aは、上向きにピッチ角θに所定値以上の変化があった場合には、仮想視点の位置を変更すると判定する。仮想視点の位置を変更する場合(ステップS1121:YES)、端末装置10Aは、ステップS122に処理を進める。仮想視点の位置を変更しない場合(ステップS1121:NO)、端末装置10Aは、ステップS126に処理を進める。これにより、仮想視点の位置を現在位置から変更せずに視線方向制御モードに遷移する場合が生じるため、ユーザは、視線方向制御モードの開始時の位置を変更することができる。
〔仮想空間、視界画像例〕
判定オブジェクトの配置について説明する。
本実施形態では、視線方向制御モードの開始時おける仮想視点の位置は可変である。そのため、仮想視点の位置によっては、環境オブジェクトと、その環境オブジェクトに対応付けられている判定オブジェクトとの関係性がわかりにくくなってしまう可能性がある。例えば、視界画像V2の場合、視線方向制御モードにおける仮想視点の位置は一定であったため、環境オブジェクトO2と仮想視点との間に、判定オブジェクトJ2を配置しておけば、環境オブジェクトO2と判定オブジェクトJ2とが対応していることは明確であった。しかしながら、同様の場面で、仮想視点が、環境オブジェクトO2を挟んで裏側に位置した場合には、環境オブジェクトO2の背面に判定オブジェクトJ2が隠れてしまい、判定オブジェクトJ2が見えなくなったり、判定オブジェクトJ2が操作しにくくなってしまったりすることが考えられる。
そこで、端末装置10Aは、仮想視点の位置に応じて判定オブジェクトの位置を変更する。
図17は、判定オブジェクトの移動を示す図である。
図17は、仮想空間を鉛直方向上方から観察した模式図である。図17に示す例では、環境オブジェクトO6が配置されている。また、判定オブジェクトJ61、J62は、環境オブジェクトO6に対応する1つの判定オブジェクトである。この判定オブジェクトは、環境オブジェクトO6の位置から所定距離離間した面L6に配置される。例えば、端末装置10Aは、仮想視点K61の配置の場合には、仮想視点K61と環境オブジェクトO6との間に判定オブジェクトJ61を配置する。また、端末装置10Aは、仮想視点K62の配置の場合には、仮想視点K62と環境オブジェクトO6との間に判定オブジェクトJ62を配置する。つまり、端末装置10Aは、仮想視点から環境オブジェクトO6を観察したときに、常に環境オブジェクトO6の手前側に判定オブジェクトが観察されるように判定オブジェクトを配置する。これにより、どの位置に仮想視点が存在していたとしても、ユーザは、判定オブジェクトを容易に選択することができる。
視線方向制御モードの視界画像について説明する。
図18は、視線方向制御モードの視界画像を示す図である。
図18に示す視界画像V7には、複数の判定オブジェクトJ71、J72、J73、操作点オブジェクトP7、環境オブジェクトO7が表示されている。判定オブジェクトJ73は、環境オブジェクトO7に対応付けられているオブジェクトである。判定オブジェクトJ71、J72は、環境オブジェクトに対応付けられていないオブジェクトである。判定オブジェクトJ71、J72は、それぞれ、対象オブジェクトとして選択可能である。このように、端末装置10Aは、複数の判定オブジェクトを仮想空間に配置してよい。
ここで、上記のように、端末装置10Aは、仮想視点の位置変更を位置傾斜制御モードの終了時に維持するため、複数の判定オブジェクトを利用することにより、仮想視点の位置変更の自由度を向上させることができる。
図19は、位置傾斜制御モードにおける仮想視点の移動を示す図である。
図19は、仮想空間を鉛直方向上方から観察した様子を模式的に示す図である。図19に示す例では、4つの判定オブジェクトJ81、J82、J83、J84が仮想空間内に配置されている。端末装置10Aは、位置傾斜制御モードにおいて、仮想視点を各判定オブジェクトに近づくように移動させることができる。例えば、ユーザは、判定オブジェクトJ82を対象オブジェクトとすることにより、仮想視点を位置K81から位置K82に移動させることができる。また、ユーザは、判定オブジェクトJ83を対象オブジェクトとすることにより、仮想視点を位置K82から位置K83へとさらに移動させることができる。このように、3つの判定オブジェクトが配置された場合には、ユーザは、仮想視点を、その3つの判定オブジェクトを外縁とする領域内で2次元的に移動させることができる。また、4つの判定オブジェクトが配置された場合には、ユーザは、仮想視点を、その4つの判定オブジェクトを外縁とする空間内で3次元的に移動させることができる。
〔第2の実施形態のまとめ〕
以上説明してきたように、本実施形態による端末装置10A(表示制御装置の一例)において、表示制御部114Aは、位置傾斜制御モードを解除した場合に、仮想視点の位置を、位置傾斜制御モードが解除されたときの位置に維持する。
これにより、位置傾斜制御モードにおいて行われた仮想視点の位置変更は、位置傾斜制御モードの解除時にも有効化される。そのため、ユーザは、位置傾斜制御モードの終了時の仮想視点の位置を初期位置として、視線方向制御モードを開始することができる。つまり、ユーザは、所望の仮想視点の位置から所望の視線方向の視界画像を見ることができる。また、ユーザは、前回の位置傾斜制御モードに終了時の仮想視点の位置を初期位置として、次回の位置傾斜制御モードを開始することができる。つまり、ユーザは、異なる初期位置から異なる対象オブジェクトに基づいて仮想視点の位置変更を行うことができる。よって、端末装置10Aは、操作を多様化することができる。
[第3の実施形態]
〔端末装置10Bの概要〕
本発明の第3の実施形態について説明する。以下では、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る端末装置10Bは、端末装置10と同様に、視線方向制御モードと位置傾斜制御モードとを提供する表示制御装置である。ただし、端末装置10は、位置傾斜制御モードにおいて仮想視点の位置を変更したが、端末装置10Bは、位置傾斜制御モードにおいて対象オブジェクトの位置を変更する点が異なる。
図20は、本実施形態に係る位置傾斜制御モードの概要を示す図である。
図20は、ユーザの頭部E9の傾きがロール方向に変化する場合の仮想視点K9と対象オブジェクトO9との位置関係の変化を示す。本実施形態に係る位置傾斜制御モードでは、実空間におけるロール角φに、仮想視点とオブジェクトとの間の距離を対応付ける。以下では、仮想視点とオブジェクトとの間の距離を、対象距離lともいう。例えば、実空間におけるロール角φが0からπ/12に変化した場合、仮想視点K9とオブジェクトO9との間の対象距離lは、初期距離lから中間距離(l−lMIN)/2に変化する。ここで、端末装置10Bは、仮想視点K9の位置を変えずにオブジェクトO9の位置を変えることにより対象距離lを変更してもよいし、仮想視点K9の位置とオブジェクトO9の位置との両方を変えることにより対象距離lを変更してもよい。そして、ロール角φがπ/6である場合には、対象距離lを、所定の最小値(最接近距離)lMINとする。
これにより、端末装置10Bは、オブジェクトの位置を移動させることができる。よって、端末装置10Bは、仮想視点の位置変更による視界画像の変化とは異なる演出を行うことができる。例えば、オブジェクトが人物や物体を表現する場合には、背景を変えずに人物や物体を近づけたり遠ざけたりする演出を行うことができる。具体的には、端末装置10Bは、人物や動物を呼び寄せたり遠ざけたり、物体を手に取ったり、放り投げたりするような演出を行うことができる。
特に実空間では、ピッチ方向やヨー方向とは異なり、ロール方向の場合には視線方向は変化しない。つまり、実空間では、ユーザの頭部がロール方向に傾いても、基本的にユーザの視界に映る範囲は変化しない。この点、端末装置10Bは、ロール方向の傾きに応じて、仮想視点の位置を変更せずに、オブジェクトの位置を変更可能である。つまり、端末装置10Bは、端末装置10Bの方向と視線方向の関係を維持したまま、背景を変えずに、オブジェクトを移動させることができる。よって、端末装置10Bは、ロール方向の傾きをオブジェクトの移動に用いることで、操作性を向上させつつ、自然な演出を行うことができる。
〔端末装置10Bの構成〕
図21は、端末装置10Bの機能構成を示すブロック図である。
端末装置10Bは、端末装置10が備える制御部110に代えて、制御部110Bを備える。制御部110Bは、表示制御部114に代えて、表示制御部114Bを備える。
表示制御部114Bは、表示制御部114と同様の処理を実行する。ただし、表示制御部114Bは、ロール角φに応じて、対象オブジェクトの位置を変更し、仮想視点と対象オブジェクトとの間の距離を変更する。
〔端末装置10Bの動作〕
図22は、位置傾斜制御処理の流れを示すフローチャートである。
図22に示す処理のうち、図9に示す処理と同様の処理については、同一の符号を付し、説明を援用する。
(ステップS2122)ステップS120の処理の後、端末装置10Bは、方向情報に基づいて仮想空間における対象オブジェクトの位置を変更する。ここで、端末装置10Bは、仮想視点の位置を変更してもよいし、変更しなくてもよい。その後、端末装置10Bは、ステップS124に処理を進める。
対象オブジェクトの位置の変更について、具体的に説明する。端末装置10Bは、ロール角φの範囲(0≦φ≦φMAX)と対象距離lの範囲(l≦l≦lMIN)とを対応付ける。これにより、端末装置10Bは、自装置のロール方向における傾きの変化量と、対象距離lの変化量とを対応させることができる。また、端末装置10Bは、逆向きのロール方向のロール角φの範囲(−φMAX≦φ≦0)と対象距離lの範囲((l+lMAX)≧l≧l)とを対応付けてもよい。これにより、端末装置10Bは、ロール方向における傾きの変化を、対象距離lの縮小に対応させ、その逆方向における傾きの変化を、対象距離lの拡大に対応させることができる。
〔第3の実施形態のまとめ〕
以上説明してきたように、本実施形態による端末装置10B(表示制御装置の一例)は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示部に表示させる表示制御部114B(表示制御部の一例)を備え、表示制御部114Bは、視線方向制御モード(第1設定の一例)の場合には、仮想視点からの視界方向を自装置の方向に関する自装置方向情報に基づいて変更し、位置傾斜制御モード(第2設定の一例)の場合には、仮想視点と仮想空間内に配置されたオブジェクトとの位置関係を自装置方向情報に基づいて変更し、位置傾斜制御モードの場合には、仮想視点と仮想空間内に配置されたオブジェクトとの位置関係を、ロール方向(視界方向を軸とした回転方向の一例)における自装置の方向に基づいて変更する。
これにより、端末装置10Bは、方向情報を用いて、視界方向を制御することと、仮想視点とオブジェクトとの位置関係を変更することとの両方を行う。そして、端末装置10Bは、特にロール方向を用いて、位置関係を変更する。よって、端末装置10Bは、HMDの方向情報を用いた操作を多様化することができる。
また、端末装置10Bは、仮想空間におけるユーザの操作点を自装置方向情報に基づいて検出する検出部111(検出部の一例)、を備え、表示制御部114Bは、注視点(操作点の一例)と仮想空間における所定の判定範囲とに基づく所定の操作が行われた場合には、視線方向制御モードから位置傾斜制御モードに遷移し、位置傾斜制御モードの場合には、仮想視点と判定範囲に対応付けられたオブジェクトとの位置関係を、回転方向における自装置の方向に基づいて変更する。
これにより、視線方向制御モードから位置傾斜制御モードに設定を遷移する操作と、位置傾斜制御モードにおいて仮想視点との位置関係を変化させるオブジェクトとは、いずれも判定範囲に関連付けられる。そのため、ユーザは、あるオブジェクトについて仮想視点との位置関係を変更したくなった場合には、当該オブジェクトに対応付けられている判定領域を用いて操作すればよい。例えば、視線方向制御モードにおいて、興味のあるオブジェクトを見つけた場合には、そのオブジェクトに対応付けられている判定領域を用いて操作を行えば、そのオブジェクトとの位置関係を変更可能な位置傾斜制御モードに遷移することができる。つまり、ユーザは、仮想空間においてどのような操作を行えば、所望の処理を実行できるのかを直観的に把握することができる。よって、端末装置10Bは、操作性を向上させることができる。
また、表示制御部114Bは、位置傾斜制御モードの場合に、オブジェクトに対する仮想視点の位置を、ロール方向(回転方向の一例)における自装置の方向に基づいて変更する。
また、表示制御部114Bは、位置傾斜制御モードの場合に、仮想視点に対するオブジェクトの位置を、回転方向における自装置の方向に基づいて変更する。
また、表示制御部114Bは、位置傾斜制御モードの場合に、仮想視点とオブジェクトとの距離を、回転方向における自装置の方向に基づいて変更する。
これにより、端末装置10Bは、ロール方向に基づいて、仮想視点の位置をオブジェクトの位置に対して変更したり、オブジェクトの位置を仮想視点の位置に対して変更したり、仮想視点とオブジェクトとの距離を変更したりする。実空間においてロール方向の傾きでは、視線方向は変化しない。よって、端末装置10Bは、比較的違和感なく、仮想視点とオブジェクトの位置関係を変更することができる。
また、表示制御部114Bは、位置傾斜制御モードの場合に、ロール角(回転方向における自装置の回転量の一例)に応じて、仮想視点とオブジェクトとの位置関係を変更する。
これにより、端末装置10Bは、仮想視点とオブジェクトとの位置関係の変化量を、自装置のロール角に連動させる。つまり、ユーザは、端末装置10Bのロール角を調整することにより、仮想視点とオブジェクトの位置関係を微調整することができる。よって、端末装置10Bは、HMDの方向情報を用いた仮想視点とオブジェクトとの位置関係の変更の操作性を向上させることができる。
また、端末装置10Bは、仮想空間におけるユーザの注視点を自装置方向情報に基づいて検出する検出部111(検出部の一例)を備え、表示制御部114Bは、操作点とオブジェクトに対応付けられた判定範囲との位置関係に基づく所定の条件が満たされた場合に、視線方向制御モードから位置傾斜制御モードに遷移する。
これにより、端末装置10Bは、操作点と判定範囲との位置関係について所定の条件が満たされた場合に、視線方向制御モードから位置傾斜制御モードに設定を遷移する。そのため、ユーザは、視線方向制御モードから位置傾斜制御モードに遷移させるためには、操作点を判定範囲に対して操作すればよい。つまり、端末装置10Bは、視線方向制御モードから位置傾斜制御モードへの変更においてもHMDの方向情報を利用するため、操作性を向上させることができる。
[第4の実施形態]
〔端末装置10Cの概要〕
本発明の第4の実施形態について説明する。以下では、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る端末装置10Cは、端末装置10Bと同様に、視線方向制御モードと位置傾斜制御モードとを提供する表示制御装置である。ただし、端末装置10Bは、位置傾斜制御モードにおいて対象オブジェクトの位置を変更したが、端末装置10Cは、位置傾斜制御モードにおいての対象オブジェクトの傾きを変更する点が異なる。
図23は、本実施形態に係る位置傾斜制御モードの概要を示す図である。
図23は、ユーザの頭部E10の傾きがロール方向に変化する場合の仮想視点K10と対象オブジェクトO10との位置関係の変化を示す。本実施形態に係る位置傾斜制御モードでは、実空間におけるロール角φに、対象オブジェクトの傾きを対応付ける。以下では、対象オブジェクトのロール方向における角度を対象ロール角φということがある。例えば、端末装置10Cは、実空間におけるロール角φがπ/12である場合、対象ロール角φを−π/12とする。つまり、端末装置10Cは、実空間におけるロール方向の変化とは逆向きの方向に、対象オブジェクトO10の方向を変化させる。なお、対象オブジェクトO10の変化方向は、実空間における変化方向の逆向きではなく、同じ向きとしてもよい。また、端末装置10Cは、仮想視点K10の視界方向を、実空間におけるロール方向と同様にπ/12変化させてよい。この場合、視界方向のロール角と対象オブジェクトのロール角の差は、π/6になる。同様に、実空間におけるロール角φがπ/6である場合、端末装置10Cは、対象オブジェクトO10の対象ロール角φを−π/6とする。
このように、端末装置10Cは、実空間における端末装置10Cの傾きの変化を、対象オブジェクトの傾きの変化に連動させる。これにより、ユーザは、対象オブジェクトの傾きを変更することができる。
〔端末装置10Cの構成〕
図24は、端末装置10Cの機能構成を示すブロック図である。
端末装置10Cは、端末装置10Bが備える制御部110Bに代えて、制御部110Cを備える。制御部110Cは、表示制御部114Bに代えて、表示制御部114Cを備える。
表示制御部114Cは、表示制御部114Bと同様の処理を実行する。ただし、表示制御部114Cは、ロール角φに応じて、対象ロール角φを変更する。
〔端末装置10Cの動作〕
図25は、位置傾斜制御処理の流れを示すフローチャートである。
図25に示す処理のうち、図9に示す処理と同様の処理については、同一の符号を付し、説明を援用する。
(ステップS3122)ステップS120の処理の後、端末装置10Cは、方向情報に基づいて仮想空間における対象オブジェクトの位置を変更する。ここで、端末装置10Cは、仮想視点の位置を変更してもよいし、変更しなくてもよい。その後、端末装置10Cは、ステップS124に処理を進める。
対象オブジェクトの傾きの変更について、具体的に説明する。端末装置10Cは、ロール角φの範囲(−φMAX≦φ≦φMAX)と対象ロール角の範囲(φMAX≧φ≧−φMAX)とを対応付ける。これにより、端末装置10Cは、自装置のロール方向における傾きの変化量と、対象オブジェクトの傾きの変化量とを対応させることができる。
〔視界画像例〕
図26は、視線方向制御モードの視界画像を示す図である。
図26に示す視界画像V111には、環境オブジェクトO111と、判定オブジェクトJ11と、操作点オブジェクトP11とが配置されている。環境オブジェクトO111と、判定オブジェクトJ11とは、対応付けられている。
図27は、位置傾斜制御モードの視界画像を示す図である。
図27に示す視界画像V112は、視界画像V111において、判定オブジェクトJ11が選択された場合の位置傾斜制御モードの視界画像である。環境オブジェクトO112は、視界画像V111における環境オブジェクトO111と同じオブジェクトである。視界画像V112では、端末装置10Cの実空間でのロール角φに応じて、視界方向がロール方向にφ傾斜している。そのため、視界画像V112では、環境オブジェクトO111の背景がロール方向に−φ傾斜している。ただし、この背景は、仮想空間においては傾斜していない。また、視界画像V112では、環境オブジェクトO112が仮想空間において−φ傾斜している。そのため、視界画像では、環境オブジェクトO112は、−2×φ傾斜しているように表示される。
〔第4の実施形態のまとめ〕
以上説明してきたように、本実施形態による端末装置10C(表示制御装置の一例)において、表示制御部114C(表示制御部の一例)は、位置傾斜制御モード(第2設定の一例)の場合には、オブジェクトを、ロール方向(回転方向の一例)における自装置の方向に基づいて、ロール方向において回転させる。
上記構成によれば、端末装置10Cは、位置傾斜制御モードにおいて、自装置の回転方向とオブジェクトの回転方向とを連動させる。そのため、ユーザは、端末装置10Cをどのように操作すれば、オブジェクトを回転させることができるのかを容易に把握できる。よって、表示制御装置は、操作性を向上させることができる。
[第5の実施形態]
〔端末装置10Dの概要〕
本発明の第5の実施形態について説明する。以下では、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る端末装置10Dは、端末装置10B、10Cと同様に、視線方向制御モードと位置傾斜制御モードとを提供する表示制御装置である。ただし、端末装置10B、10Cは、位置傾斜制御モードにおいて対象オブジェクトの位置又は傾きを変更したのに対して、端末装置10Dは、位置傾斜制御モードにおいて仮想視点と対象オブジェクトとの間の距離と、仮想視点と対象オブジェクトとの相対的な傾きとの両方を変更する点が異なる。
図28は、本実施形態に係る位置傾斜制御モードの概要を示す図である。
図28は、ユーザの頭部E12の傾きがロール方向に変化する場合の仮想視点K12と対象オブジェクトO12との位置関係の変化を示す。本実施形態に係る位置傾斜制御モードでは、実空間におけるロール角φに、距離lΔと差分ロール角φΔとを対応付ける。距離lΔは、仮想視点と対象オブジェクトとの距離である。差分ロール角φΔは、視界方向と対象オブジェクトとのロール角の差分である。例えば、端末装置10Dは、実空間におけるロール角φがπ/12である場合、距離lΔを初期距離lと最接近距離lMINとの中間(l−lMIN)/2とするとともに差分ロール角φΔをπ/6とする。また、例えば、端末装置10Dは、実空間におけるロール角φがπ/6である場合、距離lΔを最接近距離lMINとするとともに差分ロール角φΔをπ/3とする。
端末装置10Dは、オブジェクトO12の位置を変えずに仮想視点K12の位置を変えることにより距離lΔを変更してもよいし、仮想視点K12の位置を変えずにオブジェクトO12の位置を変えることにより距離lΔを変更してもよいし、仮想視点K12の位置とオブジェクトO12の位置との両方を変えることにより距離lΔを変更してもよい。
また、端末装置10Dは、オブジェクトO12の傾きを変えずに仮想視点K12からの視界方向の傾きを変えることにより差分ロール角φΔを変更してもよいし、視界方向の傾きを変えずにオブジェクトO12の傾きを変えることにより差分ロール角φΔを変更してもよいし、仮想視界の傾きとオブジェクトO12の傾きとの両方を変えることにより差分ロール角φΔを変更してもよい。
〔端末装置10Dの構成〕
図29は、端末装置10Dの機能構成を示すブロック図である。
端末装置10Dは、端末装置10が備える制御部110に代えて、制御部110Dを備える。制御部110Dは、表示制御部114に代えて、表示制御部114Dを備える。
表示制御部114Dは、表示制御部114と同様の処理を実行する。ただし、表示制御部114Dは、ロール角φに応じて、距離lΔと、差分ロール角φΔとを変更する。
〔端末装置10Dの動作〕
図30は、位置傾斜制御処理の流れを示すフローチャートである。
図30に示す処理のうち、図9に示す処理と同様の処理については、同一の符号を付し、説明を援用する。
(ステップS4122)ステップS120の処理の後、端末装置10Dは、方向情報に基づいて仮想空間における仮想視点と対象オブジェクトとの距離を変更する。また、端末装置10Dは、方向情報に基づいて仮想空間における視界方向のロール方向の傾きと対象オブジェクトのロール方向の傾きとを、逆方向に変更する。その後、端末装置10Dは、ステップS124に処理を進める。
対象オブジェクトの位置の変更について、具体的に説明する。端末装置10Dは、ロール角φの範囲(0≦|φ|≦φMAX)と距離lΔの範囲(l≦lΔ≦lMIN)とを対応付ける。また、端末装置10Dは、ロール角φの範囲(0≦|φ|≦φMAX)と差分ロール角φΔの範囲(0≦φΔ≦2×φMAX)とを対応付ける。これにより、端末装置10Dは、自装置のロール方向における傾きの変化量に対して、距離lΔの変化量と差分ロール角φΔの変化量とを対応させることができる。
〔視界画像例〕
図31は、位置傾斜制御モードの視界画像を示す図である。
図31に示す視界画像V113は、視界画像V111において、判定オブジェクトJ11が選択された場合の位置傾斜制御モードの視界画像である。環境オブジェクトO113は、視界画像V111における環境オブジェクトO111と同じオブジェクトである。視界画像V113では、視界画像V112と同様に、端末装置10Dの実空間でのロール角φに応じて、環境オブジェクトO113が−2×φ傾斜しているように表示される。また、視界画像V113では、環境オブジェクトO113と仮想視点との距離lΔがロール角φに応じて小さくなっているため、視界画像V112に比して、環境オブジェクトO113が大きく表示される。
〔第5の実施形態のまとめ〕
以上説明してきたように、本実施形態による端末装置10D(表示制御装置の一例)において、表示制御部114D(表示制御部の一例)は、位置傾斜制御モード(第2設定の一例)の場合には、オブジェクトを、ロール方向(回転方向の一例)における自装置の方向に基づいて、回転方向において回転させ、仮想視点とオブジェクトとの距離を、ロール方向における自装置の方向に基づいて変更する。
これにより、端末装置10Dは、オブジェクトを回転させつつ、仮想視点に近づけたり、遠ざけたりすることができる。例えば、人物を表現したオブジェクトが顔を傾けながら近づいたり、鞄を表現したオブジェクトを、ユーザが下から覗き込みながら手に持ったりといった複雑で自然な演出を容易な操作で行うことができる。
[第6の実施形態]
〔端末装置10Eの概要〕
本発明の第6の実施形態について説明する。以下では、上述した実施形態と同様の構成については、同一の符号を付し、説明を援用する。
本実施形態に係る端末装置10Eは、端末装置10と同様に、視線方向制御モードと位置傾斜制御モードとを提供する表示制御装置である。ただし、端末装置10は、位置傾斜制御モードにおいて、仮想視点から対象オブジェクトの方向に仮想視点の位置を変更したが、端末装置10Eは、位置傾斜制御モードにおいて他の方向にも仮想視点の位置を変更可能である点が異なる。
図32は、位置傾斜制御モードの概要を示す図である。
図32は、仮想空間を鉛直方向上方から観察した様子を模式的に示す図である。図32に示す例では、判定オブジェクトJ13が仮想空間に配置されている。ここで、端末装置10は、仮想視点が位置K131に配置されているときに、ピッチ方向の変化を検出すると、初期位置から判定オブジェクトJ13の方向において仮想視点の位置を変更した。これに対して、端末装置10Eは、ヨー方向の変化を検出すると、判定オブジェクトJ13との距離を保ったまま、判定オブジェクトJ13に対して回り込むように仮想視点を移動させる。例えば、ユーザの頭部が右方向に向いた場合、仮想視点を位置K131から位置K132へと、判定オブジェクトJ13に対して左から回り込むように移動させる。ただし、位置K132への移動においても、視線方向は、判定オブジェクトJ13を向いたままとする。
なお、以下では一例として、仮想視点の位置を変更する場合について説明するが、上記のような仮想視点と対象オブジェクトの位置関係が実現されるように、対象オブジェクトの位置を変更してもよい。このように、端末装置10Eは、ヨー方向の傾きを仮想視点の移動に用いることにより、仮想視点と対象オブジェクトとの位置関係の変更を多様化することができる。
〔端末装置10Eの構成〕
図33は、端末装置10Eの機能構成を示すブロック図である。
端末装置10Eは、端末装置10が備える制御部110に代えて、制御部110Eを備える。制御部110Eは、表示制御部114に代えて、表示制御部114Eを備える。
表示制御部114Eは、表示制御部114と同様の処理を実行する。ただし、表示制御部114Eは、ヨー角ψに応じて、仮想視点の位置を変更する。
例えば、表示制御部114Eは、ヨー角ψの範囲(0≦ψ≦ψMAX)と判定オブジェクトの位置を中心とした鉛直方向周りの回転角ψ(0≦ψ≦ψvMAX)とを対応付ける。これにより、表示制御部114Eは、自装置のヨー方向の傾きの変化に応じて、判定オブジェクト周りにおいて仮想視点の位置を変更することができる。
〔第6の実施形態のまとめ〕
以上説明してきたように、本実施形態による端末装置10E(表示制御装置の一例)において、表示制御部114E(表示制御部の一例)は、位置傾斜制御モード(第2設定の一例)の場合において、自装置の方向が実空間のピッチ方向(第1実方向の一例)において変化した場合に、仮想視点の位置を仮想空間のオブジェクトが存在する方向(第1仮想方向の一例)において変更し、自装置の方向がピッチ方向とは異なるヨー方向(第2実方向の一例)において変化した場合に、仮想視点の位置をオブジェクトが存在する方向とは異なる、オブジェクトに回り込む方向(第2仮想方向の一例)において変更する。
これにより、端末装置10Eは、位置傾斜制御モードにおいて、ピッチ方向とヨー方向における方向の変化を、仮想空間における異なる方向の移動に連動させる。よって、表示制御部114Eは、HMDの方向情報に基づく仮想視点の位置変更を多様化させることができる。
なお、ここでは、ヨー方向の傾きに応じて判定オブジェクト周りに仮想視点を移動させる態様について説明したが、ロール方向やピッチ方向の傾きに応じて判定オブジェクト周りに仮想視点を移動させてもよい。例えばロール方向の傾きを用いる場合には、ヨー方向の傾きと同様に判定オブジェクト周りに仮想視点を移動させる等してよい。また、例えばピッチ方向の傾きを用いるのであれば、端末装置10Eは、ユーザの頭部が下を向いた場合には、仮想視点の位置を上方向に移動させ、対象オブジェクトを上から見下ろすような視界画像を表示する。これに対して、端末装置10Eは、ユーザの頭部が上を向いた場合には、仮想視点の位置を下方向に移動させ、対象オブジェクトを下から見上げるような視界画像を表示する。
[変形例]
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第1〜6の実施形態において説明した各構成は、任意に組み合わせることができる。また、例えば、上述の第1〜6の実施形態において説明した各構成は、特定の機能を発揮するのに不要である場合には、省略することができる。
なお、上述した実施形態では、視線方向制御モードと位置傾斜制御モードとを直接的に遷移させる態様について説明したが、他のモードを挟んで間接的に遷移させてもよい。
また、上述した実施形態では、端末装置10、10A〜10Eの傾きに応じて、仮想視点や対象オブジェクトの移動量、傾き量を決定する場合について説明したが、これには限られない。端末装置10、10A〜10Eの傾きに応じて、仮想視点や対象オブジェクトの移動速度、傾き速度を決定してもよい。例えばピッチ角θが大きい程、仮想視点や対象オブジェクトを早く移動させるようにしてもよい。この場合、対象オブジェクトの最近傍位置まで移動したときに、自動的に停止するようにしてもよい。
また、上述した以外の操作に基づいて、仮想視点や対象オブジェクトの移動や傾きを制御してもよい。例えば、ユーザが頭を前に突き出すような、視線方向への加速度を検出した場合には、仮想視点を視線方向に移動してもよい。また、例えば、マイクで収音された音声に基づいて、仮想視点や対象オブジェクトの移動や傾きを制御してもよい。
また、上述した実施形態において、対象オブジェクトの位置や傾きの変更は、オブジェクトの全体について行われてもよいし、一部について行われてもよい。例えば、人物を表現するオブジェクトの場合には、体全体を移動させてもよいし、手や足、顔等の体の一部を移動させてもよい。同様に、体全体の傾きを変更してもよいし、手や足、顔等の体の一部の傾きを変更してもよい。
また、上述した実施形態において、HMDシステム1は、アタッチメント2を用いて、端末装置10、10A〜10Eをユーザの頭部に固定する構成としたが、これには限られない。HMDシステム1は、表示制御装置とユーザの頭部への固定部材とが、一体の装置として構成された装置であってもよい。
また、上述の端末装置10、10A〜10Eの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより端末装置10、10A〜10Eとしての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した端末装置10、10A〜10Eの機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
[付記]
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。
(付記A1)本発明の一態様は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を、表示部(12)に表示させる表示制御部(114、114A〜114E、S114、S124)と、前記仮想空間におけるユーザの操作点を自装置の方向に関する自装置方向情報に基づいて検出する検出部(111、S100、S120)と、を備え、前記表示制御部は、第1設定の場合には、前記仮想視点からの視界方向を前記自装置方向情報に基づいて変更し、前記操作点を用いて所定の操作が行われた場合には、前記第1設定から第2設定に遷移し、前記第2設定の場合には、前記仮想空間内における前記仮想視点の位置を前記自装置方向情報に基づいて変更する表示制御装置(10、10A〜10E)である。
上記構成によれば、表示制御装置は、視界方向を自装置方向情報に基づいて変更する第1設定と、仮想視点の位置を自装置方向情報に基づいて変更する第2設定とを有する。つまり、表示制御装置は、方向情報を用いて、視界方向を制御することと、仮想視点の位置を変更することとの両方を行うことができる。よって、表示制御装置は、HMDの方向情報を用いた操作を多様化することができる。
(付記A2)本発明の他の態様は、付記A1に記載の表示制御装置(10、10A、10B、10D、10E)であって、前記表示制御部(114、114A、114B、114D、114E、S122、S2122、S4122)は、前記第2設定の場合に、所定の方向における自装置の方向の変化量に応じて、前記仮想視点の位置を変更する。
上記構成によれば、表示制御装置は、仮想視点の位置の変化量を、自装置の方向の変化量に連動させる。つまり、ユーザは、表示制御装置の方向の変化量を変更することにより、仮想視点の位置を微調整することができる。よって、表示制御装置は、HMDの方向情報を用いた仮想視点の位置変更の操作性を向上させることができる。
(付記A3)本発明の他の態様は、付記A1又は付記A2に記載の表示制御装置(10、10A〜10E)であって、前記表示制御部(114、114A〜114E、S114、S124)は、前記第1設定と前記第2設定とで、前記視界画像の少なくとも一部の表示態様を異ならせる。
上記構成によれば、第1設定の視界画像と第2設定の視界画像とでは、少なくとも一部の表示態様が異なる。そのため、ユーザは、視界画像の表示態様から、現在の設定が第1設定と第2設定のいずれであるかを識別することができる。
(付記A4)本発明の他の態様は、付記A1から付記A3のいずれかに記載の表示制御装置(10、10A〜10E)であって、前記表示制御部(114、114A〜114E、S106)は、前記操作点と前記仮想空間における所定の判定範囲との位置関係に基づく所定の条件が満たされた場合に、前記第1設定から前記第2設定に遷移する。
上記構成によれば、表示制御装置は、操作点と判定範囲との位置関係について所定の条件が満たされた場合に、第1設定から第2設定に設定を遷移する。そのため、ユーザは、第1設定から第2設定に遷移させるためには、操作点を判定範囲に対して操作すればよい。つまり、表示制御装置は、第1設定から第2設定への変更においてもHMDの方向情報を利用するため、操作性を向上させることができる。
(付記A5)本発明の他の態様は、付記A4に記載の表示制御装置(10、10A、10B、10D、10E)であって、前記表示制御部(114、114A、114B、114D、114E、S122、S2122、S4122)は、前記第2設定の場合に、前記仮想空間内における前記仮想視点の位置を、前記判定範囲の位置と前記仮想視点の位置とに基づく方向において変更する。
上記構成によれば、表示制御装置は、判定範囲の位置を、仮想視点の位置変更の基準の1つとする。つまり、表示制御装置は、第2設定への遷移に用いた判定範囲を基準として、仮想視点の位置を変更する。そのため、ユーザは、第2設定において、どのような方向に仮想視点の位置を変更可能であるのかを容易に把握できる。よって、表示制御装置は、仮想視点の位置変更の操作性を向上させることができる。
(付記A6)本発明の他の態様は、付記A4に記載の表示制御装置(10、10A、10B、10D、10E)であって、前記判定範囲は、前記仮想空間内に配置されたオブジェクトに対応付けられており、前記表示制御部(114、114A、114B、114D、114E、S122、S2122、S4122)は、前記第2設定の場合に、前記仮想空間内における前記仮想視点の位置を、前記オブジェクトの位置と前記仮想視点の位置とに基づく方向において変更する。
上記構成によれば、表示制御装置は、オブジェクトの位置を、仮想視点の位置変更の基準の1つとする。つまり、表示制御装置は、第2設定への遷移に用いた判定範囲に対応するオブジェクトを基準として、仮想視点の位置を変更する。そのため、ユーザは、第2設定において、どのような方向に仮想視点の位置が変更可能であるのかを容易に把握できる。よって、表示制御装置は、仮想視点の位置変更の操作性を向上させることができる。
(付記A7)本発明の他の態様は、付記A1から付記A6のいずれかに記載の表示制御装置(10、10A、10B、10D、10E)であって、前記表示制御部(114、114A、114B、114D、114E、S122、S2122、S4122)は、前記第2設定の場合には、前記視界方向の変更を制限する。
上記構成によれば、表示制御装置は、第2設定において仮想視点の位置を変更する際に、視界方向の変更を制限する。つまり、表示制御装置は、仮想視点の位置と視界方向との両方の同時変更を抑制する。そのため、ユーザが仮想視点の位置変更を所望する場合に、意図せずに視界方向が大幅に変更されてしまうことがない。よって、表示制御装置は、仮想視点の位置変更の操作性を向上させることができる。
(付記A8)本発明の他の態様は、付記A7に記載の表示制御装置(10、10A、10B、10D、10E)であって、前記表示制御部(114、114A、114B、114D、114E、S122、S2122、S4122)は、前記第2設定の場合には、前記視界方向の変更を、前記オブジェクトの位置に基づいて制限する。
上記構成によれば、表示制御装置(10、10A、10B、10D、10E)は、第2設定において仮想視点の位置を変更する際に、オブジェクトの位置に基づいて視界方向の変更を制限する。つまり、表示制御装置は、仮想視点の位置を変更する際に、視界方向がオブジェクトの位置と無関係に変更されてしまうこと抑制する。よって、表示制御装置は、仮想視点の位置変更の操作性を向上させることができる。
(付記A9)本発明の他の態様は、付記A1から付記A8のいずれかに記載の表示制御装置(10、10A〜10E)であって、前記表示制御部(114、114A〜114E、S126)は、前記第2設定の場合に、前記操作点を用いて所定の操作が行われた場合には、前記第2設定を解除する。
上記構成によれば、表示制御装置は、操作点を用いた所定の操作に応じて、第2設定を解除する。そのため、ユーザは、第2設定を解除する際にも、操作点を用いて所定の操作を行えばよい。つまり、表示制御装置は、第2設定を解除する際にもHMDの方向情報を利用するため、操作性を向上させることができる。
(付記A10)本発明の他の態様は、付記A1から付記A9のいずれかに記載の表示制御装置(10、10B、10D、10E)であって、前記表示制御部(114、114B、114D、114E、S122、S126)は、前記第2設定に遷移して前記第2設定を解除した場合には、前記仮想視点の位置を、前記第2設定に遷移したときの位置に戻す。
上記構成によれば、表示制御装置は、第2設定の開始時と終了時とで、仮想視点の位置を一致させることができる。そのため、ユーザは、第2設定における仮想視点の位置の変更で仮想視点の位置が把握できなくなった場合であっても、第2設定を解除すれば、元の位置に戻すことができる。よって、表示制御装置は、第2設定における仮想視点の位置変更の操作性を向上させることができる。
(付記A11)本発明の他の態様は、付記A1から付記A9のいずれかに記載の表示制御装置(10A、10B、10D、10E)であって、前記表示制御部(114A、114B、114D、114E、S1121、S122、S126)は、前記第2設定を解除した場合に、前記仮想視点の位置を、前記第2設定が解除されたときの位置に維持する。
上記構成によれば、第2設定において行われた仮想視点の位置変更は、第2設定の解除時にも有効化される。そのため、ユーザは、第2設定の終了時の仮想視点の位置を初期位置として、第1設定を開始したり、次の第2設定を開始したりすることができる。よって、表示制御装置は、操作を多様化することができる。
(付記A12)本発明の他の態様は、付記A1から付記A11のいずれかに記載の表示制御装置(10E)であって、前記表示制御部(114E、S120、S122)は、前記第2設定の場合において、自装置の方向が実空間の第1実方向において変化した場合に、前記仮想視点の位置を前記仮想空間の第1仮想方向において変更し、自装置の方向が前記第1実方向とは異なる第2実方向において変化した場合に、前記仮想視点の位置を前記第1仮想方向とは異なる第2仮想方向において変更する。
上記構成によれば、表示制御装置は、第2設定において、第1実方向における方向の変化と第1仮想方向における仮想視点の位置変更を連動させ、第2実方向における方向の変化と第2仮想方向における仮想視点の位置変更を連動させる。よって、表示制御装置は、HMDの方向情報に基づく仮想視点の位置変更を多様化させることができる。
(付記A13)本発明の他の態様は、コンピュータを、付記A1から付記A12のいずれかに記載の表示制御装置(10、10A〜10E)として機能させるためのプログラムである。
上記構成によれば、コンピュータは、付記A1から付記A12のいずれかに記載の表示制御装置として機能する。よって、コンピュータは、付記A1から付記A12のいずれかに記載の表示制御装置と同様の作用効果を生ずる。
(付記B1)本発明の一態様は、両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示部(12)に表示させる表示制御部(114B〜114E、S114、S124)を備え、前記表示制御部は、第1設定の場合には、前記仮想視点からの視界方向を自装置の方向に関する自装置方向情報に基づいて変更し、第2設定の場合には、前記仮想視点と前記仮想空間内に配置されたオブジェクトとの位置関係を前記自装置方向情報に基づいて変更し、前記第2設定の場合には、前記仮想視点と前記仮想空間内に配置されたオブジェクトとの位置関係を、視界方向を軸とした回転方向における自装置の方向に基づいて変更する表示制御装置(10B〜10E)である。
上記構成によれば、表示制御装置は、視界方向を自装置方向情報に基づいて変更する第1設定と、仮想視点とオブジェクトとの位置関係を自装置方向情報に基づいて変更する第2設定とを有する。つまり、表示制御装置は、方向情報を用いて、視界方向を制御することと、仮想視点とオブジェクトとの位置関係を変更することとの両方を行うことができる。よって、表示制御装置は、HMDの方向情報を用いた操作を多様化することができる。
(付記B2)本発明の他の態様は、付記B1に記載の表示制御装置(10B〜10E)であって、前記仮想空間におけるユーザの操作点を前記自装置方向情報に基づいて検出する検出部(111、S100、S120)、を備え、前記表示制御部(114B〜114E、S106、S122、S2122、S4122)は、前記操作点と前記仮想空間における所定の判定範囲とに基づく所定の操作が行われた場合には、前記第1設定から前記第2設定に遷移し、前記第2設定の場合には、前記仮想視点と前記判定範囲に対応付けられたオブジェクトとの位置関係を、前記回転方向における自装置の方向に基づいて変更する。
上記構成によれば、第1設定から第2設定に設定を遷移する操作と、第2設定において仮想視点との位置関係を変化させるオブジェクトとは、判定範囲に関連付けられる。そのため、ユーザは、第1設定において、あるオブジェクトと仮想視点との位置関係の変更を所望する場合には、当該オブジェクトに対応付けられている判定領域を用いて操作すればよい。つまり、ユーザは、仮想空間において自身が所望する操作を、直観的に把握することができる。よって、表示制御装置は、操作性を向上させることができる。
(付記B3)本発明の他の態様は、付記B1又は付記B2に記載の表示制御装置(10B、10D、10E)であって、前記表示制御部(114B、S114D、114E、S122、S2122、S4122)は、前記第2設定の場合に、前記オブジェクトに対する前記仮想視点の位置を、前記回転方向における自装置の方向に基づいて変更する。
上記構成によれば、表示制御装置は、第2設定において、仮想視点の位置を、オブジェクトの位置に対して変更する。よって、表示制御装置は、仮想視点をオブジェクトに対して近づけたり、遠ざけたり、周囲を巡らせたりすることができる。
(付記B4)本発明の他の態様は、付記B1から付記B3のいずれかに記載の表示制御装置(10B、10D、10E)であって、前記表示制御部(114B、114D、114E、S122、S2122、S4122)は、前記第2設定の場合に、前記仮想視点に対する前記オブジェクトの位置を、前記回転方向における自装置の方向に基づいて変更する。
上記構成によれば、表示制御装置は、第2設定において、オブジェクトの位置を、仮想視点の位置に対して変更する。よって、表示制御装置は、オブジェクトを仮想視点に対して近づけたり、遠ざけたり、周囲を巡らせたりすることができる。
(付記B5)本発明の他の態様は、付記B1から付記B4のいずれかに記載の表示制御装置(10B、10D)であって、前記表示制御部(114B、114D、S2122、S4122)は、前記第2設定の場合に、前記仮想視点と前記オブジェクトとの距離を、前記回転方向における自装置の方向に基づいて変更する。
上記構成によれば、表示制御装置は、第2設定において、仮想視点とオブジェクトの距離を変更する。よって、表示制御装置は、仮想視点をオブジェクトに対して近づけたり遠ざけたりすることができる。
(付記B6)本発明の他の態様は、付記B1から付記B5のいずれかに記載の表示制御装置(10B〜10E)であって、前記表示制御部(114B〜114E、S122、S2122、S3122、S4122)は、前記第2設定の場合に、前記回転方向における自装置の回転量に応じて、前記仮想視点と前記オブジェクトとの位置関係を変更する。
上記構成によれば、表示制御装置は、仮想視点とオブジェクトとの位置関係の変化量を、自装置の回転量に連動させる。つまり、ユーザは、表示制御装置の回転量を変更することにより、仮想視点とオブジェクトとの位置関係を微調整することができる。よって、表示制御装置は、HMDの方向情報を用いた仮想視点とオブジェクトとの位置関係の変更の操作性を向上させることができる。
(付記B7)本発明の他の態様は、付記B1から付記B6のいずれかに記載の表示制御装置(10B〜10E)であって、前記仮想空間におけるユーザの操作点を前記自装置方向情報に基づいて検出する検出部(111、S100、S120)を備え、前記表示制御部(114B〜114E、S106)は、前記操作点と前記オブジェクトに対応付けられた判定範囲との位置関係に基づく所定の条件が満たされた場合に、前記第1設定から前記第2設定に遷移する。
上記構成によれば、表示制御装置は、操作点と判定範囲との位置関係について所定の条件が満たされた場合に、第1設定から第2設定に設定を遷移する。そのため、ユーザは、第1設定から第2設定に遷移させるためには、操作点を判定範囲に対して操作すればよい。つまり、表示制御装置は、第1設定から第2設定への変更においてもHMDの方向情報を利用するため、操作性を向上させることができる。
(付記B8)本発明の他の態様は、付記B1から付記B7のいずれかに記載の表示制御装置(10C、10D)であって、前記表示制御部(114C、114D、S3122、S4122)は、前記第2設定の場合には、前記オブジェクトを、前記回転方向における自装置の方向に基づいて、前記回転方向において回転させる。
上記構成によれば、表示制御装置は、第2設定において、自装置の回転方向とオブジェクトの回転方向とを連動させる。そのため、ユーザは、表示制御装置をどのように操作すれば、オブジェクトを回転させることができるのかを容易に把握できる。よって、表示制御装置は、操作性を向上させることができる。
(付記B9)本発明の他の態様は、付記B1から付記B8のいずれかに記載の表示制御装置(10E)であって、前記表示制御部(114E、S122)は、前記第2設定の場合において、自装置の方向が実空間の第1実方向において変化した場合に、前記仮想視点と前記オブジェクトとの位置関係を、前記仮想視点の位置と前記オブジェクトの位置とに基づく第1仮想方向において変更し、自装置の方向が前記第1実方向とは異なる第2実方向において変化した場合に、前記仮想視点と前記オブジェクトとの位置関係を、前記第1仮想方向とは異なる第2仮想方向において変更する。
上記構成によれば、表示制御装置は、第2設定において、第1実方向における方向の変化と、第1仮想方向における仮想視点とオブジェクトとの位置関係の変化とを連動させ、第2実方向における方向の変化と、第2仮想方向における仮想視点とオブジェクトとの位置関係の変化とを連動させる。よって、表示制御装置は、HMDの方向情報に基づく仮想視点とオブジェクトとの位置関係の変更を多様化させることができる。
(付記B10)本発明の他の態様は、付記B1から付記B9のいずれかに記載の表示制御装置(10B〜10E)であって、前記表示制御部(114B〜114E、S122、S2122、S3122、S4122)は、前記第2設定の場合には、前記視界方向を、前記仮想視点と前記オブジェクトとの位置関係に基づいて制限する。
上記構成によれば、表示制御装置は、第2設定において仮想視点とオブジェクトとの位置関係を変更する際に、オブジェクトの位置に基づいて視界方向を制限する。つまり、表示制御装置は、仮想視点とオブジェクトとの位置関係を変更する際に、視界方向がオブジェクトの位置と無関係に変更されてしまうこと抑制する。よって、表示制御装置は、仮想視点とオブジェクトとの位置関係の変更の操作性を向上させることができる。
(付記B11)本発明の他の態様は、コンピュータを、付記B1から付記B10のいずれかに記載の表示制御装置(10B〜10E)として機能させるためのプログラムである。
上記構成によれば、コンピュータは、付記B1から付記B10のいずれかに記載の表示制御装置として機能する。よって、コンピュータは、付記B1から付記B10のいずれかに記載の表示制御装置と同様の作用効果を生ずる。
10、10A〜10E…端末装置、12…表示部、13…センサ、14…タイマ、15…記憶部、16…通信部、110、110A〜110E…制御部、111…検出部、112…判定部、113、113A…オブジェクト配置部、114、114A〜114E…表示制御部

Claims (10)

  1. 両眼視差を利用した立体視画像として、仮想空間内の仮想視点からの視界を表す視界画像を表示部に表示させる表示制御部を備え、
    前記表示制御部は、
    第1設定の場合には、前記仮想視点からの視界方向を自装置の方向に関する自装置方向情報に基づいて変更し、
    前記自装置の方向に基づく所定の条件が満たされた場合には、前記第1設定から第2設定に遷移し、
    第2設定の場合には、前記仮想視点と前記仮想空間内に配置されたオブジェクトとの位置関係を前記自装置方向情報に基づいて変更し、
    前記第2設定の場合には、前記仮想視点と前記仮想空間内に配置されたオブジェクトとの位置関係を、視界方向を軸とした回転方向における自装置の方向に基づいて変更し、
    前記第2設定の場合に、前記オブジェクトに対する前記仮想視点の位置を、前記回転方向における自装置の方向に基づいて変更する
    表示制御装置。
  2. 前記仮想空間におけるユーザの操作点を前記自装置方向情報に基づいて検出する検出部、を備え、
    前記表示制御部は、
    前記操作点と前記仮想空間における所定の判定範囲とに基づく所定の操作が行われた場合には、前記第1設定から前記第2設定に遷移し、
    前記第2設定の場合には、前記仮想視点と前記判定範囲に対応付けられたオブジェクトとの位置関係を、前記回転方向における自装置の方向に基づいて変更する
    請求項1に記載の表示制御装置。
  3. 前記表示制御部は、
    前記第2設定の場合に、前記仮想視点に対する前記オブジェクトの位置を、前記回転方向における自装置の方向に基づいて変更する
    請求項1または請求項2に記載の表示制御装置。
  4. 前記表示制御部は、
    前記第2設定の場合に、前記仮想視点と前記オブジェクトとの距離を、前記回転方向における自装置の方向に基づいて変更する
    請求項1から請求項のいずれか一項に記載の表示制御装置。
  5. 前記表示制御部は、
    前記第2設定の場合に、前記回転方向における自装置の回転量に応じて、前記仮想視点と前記オブジェクトとの位置関係を変更する
    請求項1から請求項のいずれか一項に記載の表示制御装置。
  6. 前記仮想空間におけるユーザの操作点を前記自装置方向情報に基づいて検出する検出部を備え、
    前記表示制御部は、
    前記操作点と前記オブジェクトに対応付けられた判定範囲との位置関係に基づく所定の条件が満たされた場合に、前記第1設定から前記第2設定に遷移する
    請求項1から請求項のいずれか一項に記載の表示制御装置。
  7. 前記表示制御部は、
    前記第2設定の場合には、前記オブジェクトを、前記回転方向における自装置の方向に基づいて、前記回転方向において回転させる
    請求項1から請求項のいずれか一項に記載の表示制御装置。
  8. 前記表示制御部は、
    前記第2設定の場合において、
    自装置の方向が実空間の第1実方向において変化した場合に、前記仮想視点と前記オブジェクトとの位置関係を、前記仮想視点の位置と前記オブジェクトの位置とに基づく第1仮想方向において変更し、
    自装置の方向が前記第1実方向とは異なる第2実方向において変化した場合に、前記仮想視点と前記オブジェクトとの位置関係を、前記第1仮想方向とは異なる第2仮想方向において変更する
    請求項1から請求項のいずれか一項に記載の表示制御装置。
  9. 前記第2設定の場合には、前記視界方向を、前記仮想視点と前記オブジェクトとの位置関係に基づいて制限する
    請求項1から請求項のいずれか一項に記載の表示制御装置。
  10. コンピュータを、請求項1から請求項のいずれか一項の表示制御装置として機能させるためのプログラム。
JP2017047562A 2017-03-13 2017-03-13 表示制御装置及びプログラム Active JP6746835B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017047562A JP6746835B2 (ja) 2017-03-13 2017-03-13 表示制御装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017047562A JP6746835B2 (ja) 2017-03-13 2017-03-13 表示制御装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2018151856A JP2018151856A (ja) 2018-09-27
JP6746835B2 true JP6746835B2 (ja) 2020-08-26

Family

ID=63680481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017047562A Active JP6746835B2 (ja) 2017-03-13 2017-03-13 表示制御装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6746835B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6329343B2 (ja) * 2013-06-13 2018-05-23 任天堂株式会社 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
JP5981591B1 (ja) * 2015-03-17 2016-08-31 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
JP2017021461A (ja) * 2015-07-08 2017-01-26 株式会社ソニー・インタラクティブエンタテインメント 操作入力装置および操作入力方法

Also Published As

Publication number Publication date
JP2018151856A (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
EP3548988B1 (en) Switching of active objects in an augmented and/or virtual reality environment
US10509487B2 (en) Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN107111340B (zh) 在虚拟或增强现实场景内进行用户交互的方法和系统
EP3414643B1 (en) Laser pointer interactions and scaling in virtual reality
EP3458937B1 (en) Co-presence handling in virtual reality
CN108780360B (zh) 虚拟现实导航
US9628783B2 (en) Method for interacting with virtual environment using stereoscope attached to computing device and modifying view of virtual environment based on user input in order to be displayed on portion of display
WO2019201047A1 (zh) 在虚拟环境中进行视角调整的方法、装置及可读存储介质
EP3414644B1 (en) Control system for navigation in virtual reality environment
US20180136743A1 (en) Dragging virtual elements of an augmented and/or virtual reality environment
US10620720B2 (en) Input controller stabilization techniques for virtual reality systems
EP3542248B1 (en) Location globe in virtual reality
JP2017530438A (ja) 仮想現実環境内における注視に基づく物体配置
JP6332652B1 (ja) 表示制御装置、及びプログラム
WO2020241189A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220291744A1 (en) Display processing device, display processing method, and recording medium
JP2021535824A (ja) 視角回転の方法、装置及びコンピュータプログラム
JP2018036720A (ja) 仮想空間観察システム、方法及びプログラム
JP6582302B2 (ja) 表示制御装置及びプログラム
JP6746835B2 (ja) 表示制御装置及びプログラム
CN108345381A (zh) 在虚拟现实系统中生成的虚拟环境中导航可视内容的方法
JP2019220203A (ja) 表示制御装置及びプログラム
JP6347375B1 (ja) 表示制御装置、及びプログラム
JP6788294B2 (ja) 表示制御装置及びプログラム
JP6788295B2 (ja) 表示制御装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180822

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191111

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200408

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200630

R150 Certificate of patent or registration of utility model

Ref document number: 6746835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250