JP6159455B1 - 仮想空間を提供する方法、プログラム、および記録媒体 - Google Patents

仮想空間を提供する方法、プログラム、および記録媒体 Download PDF

Info

Publication number
JP6159455B1
JP6159455B1 JP2016172201A JP2016172201A JP6159455B1 JP 6159455 B1 JP6159455 B1 JP 6159455B1 JP 2016172201 A JP2016172201 A JP 2016172201A JP 2016172201 A JP2016172201 A JP 2016172201A JP 6159455 B1 JP6159455 B1 JP 6159455B1
Authority
JP
Japan
Prior art keywords
hmd
user
virtual space
virtual
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016172201A
Other languages
English (en)
Other versions
JP2018038010A (ja
Inventor
篤 猪俣
篤 猪俣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2016172201A priority Critical patent/JP6159455B1/ja
Application granted granted Critical
Publication of JP6159455B1 publication Critical patent/JP6159455B1/ja
Priority to US15/681,427 priority patent/US20180059812A1/en
Publication of JP2018038010A publication Critical patent/JP2018038010A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】仮想空間における操作性をより高める。【解決手段】制御回路部(200)は、仮想カメラ(1)の視界(3)に向けて移動させることが可能なオブジェクト(7)を、仮想カメラの死角(4)に配置し(ステップS21)、死角において事象が生じた場合に、オブジェクトを、事象が生じた方向に対応する移動量だけ視界に向けて移動させる(ステップS24)。【選択図】図10

Description

本開示は、仮想空間を提供する方法、プログラム、および記録媒体に関する。
特許文献1には、仮想空間において再生されるコンテンツを、ヘッドマウントディスプレイを通じてユーザに視認させるための技術が開示されている。
特開2013−258614号公報(2013年12月26日公開)
上述した従来技術では、ユーザがHMDを動かすと、仮想空間におけるユーザの視認箇所を変えることができるので、仮想空間に対するユーザの没入感を高めることができる。一方で、仮想空間における没入感を高めつつ、仮想空間におけるユーザの死角で事象が発生したとき、事象が発生した方向をユーザが直感的に認識できるように仮想空間における操作性をより高めるための工夫が、求められている。
本開示は前記の課題を解決するためになされたものである。そして、その目的は、仮想空間における操作性をより高めることにある。
前記の課題を解決するために、本開示に係る仮想空間を提供する方法は、頭部にヘッドマウントディスプレイ(以下、HMD)を装着したユーザに仮想空間を提供する方法であって、ユーザの仮想空間における基準視線を特定するステップと、仮想空間に配置され、基準視線に基づいてユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、仮想カメラの視界に向けて移動させることが可能なオブジェクトを、仮想カメラの死角に配置するステップと、死角において事象が生じた場合に、オブジェクトを、事象が生じた方向に対応する移動量だけ視界に向けて移動させるステップと、視界領域に基づいて視界画像を生成するステップと、視界画像をHMDに表示させるステップとを有する。
本開示によれば、仮想空間における操作性がより高まる。
HMDシステムの構成を示す図である。 制御回路部のハード構成を示す図である。 HMDに設定される視野座標系を例示する図である。 ユーザに提供される仮想空間の概要を説明する図である。 視界領域の断面を示す図である。 ユーザの視線方向を決定する方法を例示する図である。 右コントローラの構成を表す図である。 制御回路部の機能的構成を示すブロック図である。 HMDシステムが仮想空間をユーザに提供する処理の流れを示すシーケンス図である。 HMDシステムが実行する制御方法の一例における処理の流れを示すフローチャートである。 死角においてユーザオブジェクトが攻撃を受けていないときの各仮想オブジェクトの配置の一例を示す図である。 当該配置に基づいて生成された視界画像の一例を示す図である。 死角におけるある方向からユーザオブジェクトが攻撃を受けたときの各仮想オブジェクトの配置の一例を示す図である。 当該配置に基づいて生成された視界画像の一例を示す図である。 死角における他の方向からユーザオブジェクトが攻撃を受けたときの各仮想オブジェクトの配置の一例を示す図である。 当該配置に基づいて生成された視界画像の一例を示す図である。 死角におけるさらに他の方向からユーザオブジェクトが攻撃を受けたときの各仮想オブジェクトの配置の一例を示す図である。 当該配置に基づいて生成された視界画像の一例を示す図である。 UIオブジェクトの他の例を示す図である。
[本発明の実施形態の詳細]
本発明の実施形態に係る仮想空間を提供する方法、および、プログラムの具体例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が本発明に含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を繰り返さない。
(HMDシステム100の構成)
図1は、HMDシステム100の構成を示す図である。この図に示すように、HMDシステム100は、HMD110、HMDセンサ120、コントローラセンサ140、制御回路部200、およびコントローラ300を備えている。
HMD110は、ユーザの頭部に装着される。HMD110は、非透過型の表示装置であるディスプレイ112、センサ114、および注視センサ130を備えている。HMD110は、右目用画像および左目用画像をディスプレイ112にそれぞれ表示することにより、ユーザの両目の視差に基づきユーザに立体的に視認される3次元画像を、ユーザに視認させる。これにより仮想空間をユーザに提供する。ディスプレイ112がユーザの眼前に配置されているので、ユーザは、ディスプレイ112に表示される画像を通じて仮想空間に没入できる。これにより、ユーザは仮想現実(Virtual Reality:VR)を体験することができる。仮想空間は、背景、ならびにユーザが操作可能な各種のオブジェクトおよびメニュー画像等を含み得る。
ディスプレイ112は、右目用画像を表示する右目用サブディスプレイと、左目用画像を表示する左目用サブディスプレイとを含んでもよい。または、ディスプレイ112は、右目用画像および左目用画像を共通の画面に表示する1つの表示装置であってもよい。このような表示装置として、たとえば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像および左目用画像を独立して交互に表示する表示装置が挙げられる。
また、本実施形態において、HMD110には、透過型ディスプレイが適用されてもよい。つまり、HMD110は、透過型HMDであってもよい。この場合、前記3次元画像を透過型ディスプレイに表示することによって、後述する仮想オブジェクトを現実空間に仮想的に配置することができる。これにより、ユーザは現実空間に仮想オブジェクトが配置された複合現実(Mixes Reality:MR)を体験することができる。本実施形態において、仮想現実や複合現実といった、ユーザが仮想オブジェクトと相互作用できる体験を仮想体験と称することがある。以下では、仮想現実を提供するための方法を一例として詳説する。
(制御回路部200のハード構成)
図2は、制御回路部200のハード構成を示す図である。制御回路部200は、HMD110に仮想空間を提供させるためのコンピュータである。図2に示すように、制御回路部200は、プロセッサ、メモリ、ストレージ、入出力インターフェース、および通信インターフェースを備えている。これらは、データ伝送路としてのバスを通じて、制御回路部200内において互いに接続されている。
プロセッサは、CPU(Central Processing Unit)、MPU(Micro-processing unit)、またはGPU(Graphics Processing Unit)等を含んで構成され、制御回路部200およびHMDシステム100全体の動作を制御する。
メモリは、主記憶として機能する。メモリには、プロセッサによって処理されるプログラムおよび制御用データ(演算パラメータなど)が記憶される。メモリは、ROM(Read Only Memory)またはRAM(Random Access Memory)等を含んで構成され得る。
ストレージは、補助記憶として機能する。ストレージには、HMDシステム100全体の動作を制御するためのプログラム、各種のシミュレーションプログラム、ユーザ認証プログラム、および、仮想空間を規定するための各種のデータ(画像およびオブジェクト等)が格納されている。さらには、各種のデータを管理するためのテーブルを含むデータベースがストレージに構築されていてもよい。ストレージは、フラッシュメモリまたはHDD(Hard Disc Drive)等を含んで構成され得る。
入出力インターフェースは、USB(Universal Serial Bus)端子、DVI(Digital Visual Interface)端子、HDMI(登録商標)(High-Definition Multimedia Interface)端子等の各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成されている。入出力インターフェースは、HMD110と、HMDセンサ120およびコントローラセンサ140を含む各種のセンサと、コントローラ300とを互いに接続する。
通信インターフェースは、ネットワークNWを介して外部装置と通信するための各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成される。通信インターフェースは、LAN(Local Area Network)またはインターネットを介して通信するための各種の通信規格およびプロトコルに適合するように、構成されている。
制御回路部200は、ストレージに格納された所定のアプリケーションプログラムをメモリにロードして実行することによって、ユーザに仮想空間を提供する。プログラムの実行時に、メモリおよびストレージには、仮想空間内に配置される各種の仮想オブジェクトを操作したり、各種のメニュー画像等を表示および制御したりするための各種のプログラムが格納される。
制御回路部200は、HMD110に搭載されていてもよいし、されていなくてもよい。すなわち制御回路部200は、HMD110から独立した別のハードウェア(たとえば、パーソナルコンピュータ、またはネットワークを通じてHMD110と通信可能なサーバ装置)であってもよい。制御回路部200は、複数のハードウェアの協働によって1または複数の機能が実装される形態の装置であってもよい。または、制御回路部200が有する全機能のうち一部の機能のみがHMD110に実装され、残りの機能が別のハードウェアに実装されていてもよい。
HMDシステム100を構成するHMD110等の各要素には、予め、グローバル座標系(基準座標系、xyz座標系)が設定されている。このグローバル座標系は、現実空間における、鉛直方向、鉛直方向と直交する横方向、ならびに、鉛直方向および横方向の双方と直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施形態では、グローバル座標系は視点座標系の一種であるため、グローバル座標系における横方向、鉛直方向(上下方向)、および前後方向を、それぞれx軸、y軸、z軸とする。具体的には、グローバル座標系のx軸は現実空間の横方向に平行であり、y軸は現実空間の鉛直方向に平行であり、z軸は現実空間の前後方向に平行である。
HMDセンサ120は、HMD110の動きを検出するためのポジション・トラッキング機能を有する。HMDセンサ120は、この機能によって、現実空間内におけるHMD110の位置および傾きを検出する。この検出を実現するために、HMD110は、図示しない複数の光源を備えている。各光源は、たとえば赤外線を発するLEDである。HMDセンサ120は、たとえば赤外線センサを含んで構成される。HMDセンサ120は、HMD110の光源から照射された赤外線を、赤外線センサによって検出することによって、HMD110の検出点を検出する。さらに、HMD110の検出点の検出値に基づき、ユーザの動きに応じたHMD110の現実空間内における位置および傾きを検出する。HMDセンサ120は、検出値の経時的変化に基づき、HMD110の位置および傾きの時間変化を決定することができる。
HMDセンサ120は、光学カメラを含んで構成されてもよい。この場合、HMDセンサ120は、光学カメラによって得られたHMD110の画像情報に基づき、HMD110の位置および傾きを検出する。
HMDセンサ120の代わりに、HMD110が、センサ114を用いて自身の位置および傾きを検出してもよい。この場合、センサ114は、たとえば角速度センサ、地磁気センサ、加速度センサ、またはジャイロセンサであればよい。HMD110は、これらのうち少なくとも1つを用いる。センサ114が角速度センサである場合、センサ114は、HMD110の動きに応じて、HMD110の現実空間における3軸回りの角速度を経時的に検出する。HMD110は、角速度の検出値に基づき、HMD110の3軸回りの角度の時間的変化を決定し、さらに、角度の時間的変化に基づきHMD110の傾きを検出することができる。
HMD110がセンサ114による検出値に基づきHMD110の位置および傾きを自ら検出する場合、HMDシステム100にHMDセンサ120は不要である。逆に、HMD110から離れた位置に配置されるHMDセンサ120がHMD110の位置および傾きを検出する場合、HMD110にセンサ114は不要である。
上述したように、グローバル座標系は現実空間の座標系と平行である。そのため、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMDセンサ120の傾きの検出値に基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザが物体を見る際の視点座標系に対応する。
(uwv視野座標系)
図3は、HMD110に設定されるuwv視野座標系を例示する図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。そして、傾きの検出値に基づく3次元のuvw視野座標系を、HMD110に設定する。図3に示すように、HMDセンサ120は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を、HMD110に設定する。具体的には、グローバル座標系を規定する横方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって得られる新たな3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
図3に示すように、HMDセンサ120は、HMD110を装着したユーザが直立しかつ正面を視認している場合、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系の横方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)が、そのまま、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
HMDセンサ120は、HMD110にuvw視野座標系を設定した後、HMD110の動きに応じて、現在設定中のuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出することができる。この場合、HMDセンサ120は、HMD110の傾きとして、現在設定中のuvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度である。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度である。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度である。
HMDセンサ120は、HMD110の傾きの検出値に基づき、動いた後のHMD110におけるuvw視野座標系を、新たにHMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きによらず常に一定である。HMD110の位置および傾きが変わると、それの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが同様に変化する。
HMDセンサ120は、赤外線センサによって取得される赤外線の光強度および複数の検出点間の相対位置関係(検出点間の距離等)に基づき、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、特定した相対位置に基づき、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。また、HMDセンサ120は、複数の検出点間の相対位置関係に基づきHMD110の現実空間内における傾きを検出し、さらに、その検出値に基づき現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の向きを決定してもよい。
(仮想空間2の概要)
図4は、ユーザに提供される仮想空間2の概要を説明する図である。この図に示すように、仮想空間2は、中心21の360°方向全体を覆う全天球状の構造を有する。図4には、仮想空間2の全体のうち上半分の天球のみを例示する。仮想空間2には、略正方形または略長方形の複数のメッシュが関連付けられている。仮想空間2における各メッシュの位置は、仮想空間2に規定される空間座標系(XYZ座標系)における座標として、予め規定されている。制御回路部200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2における対応する各メッシュに対応付けることによって、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
仮想空間2には、中心21を原点とするXYZ空間座標系が規定されている。XYZ座標系は、たとえばグローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における横方向、鉛直方向(上下方向)、および前後方向を、それぞれX軸、Y軸、Z軸とする。すなわち、XYZ座標系のX軸(横方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(上下方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時(初期状態)において、仮想空間2の中心21に仮想カメラ1が配置されている。仮想カメラ1は、現実空間内におけるHMD110の動きに連動して、仮想空間2内において同様に動く。これにより、現実空間内におけるHMD110の位置および向きの変化が、仮想空間2内において同様に再現される。
仮想カメラ1には、HMD110と同様にuvw視野座標系が規定される。仮想空間2内における仮想カメラ1のuvw視野座標系は、現実空間(グローバル座標系)内におけるHMD110のuvw視野座標系に変動するように規定されている。したがって、HMD110の傾きが変化すると、それに連動して仮想カメラ1の傾きも変化する。仮想カメラ1は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想空間2における仮想カメラ1の位置および傾きに応じて、仮想空間2における仮想カメラ1の向きが決まる。これにより、仮想空間2に展開される仮想空間画像22をユーザが視認する際の基準となる視線(基準視線5)が決まる。制御回路部200は、基準視線5に基づき、仮想空間2における視界領域23を決定する。視界領域23は、仮想空間2のうち、HMD110を装着したユーザの視界に対応する領域である。
図5は、視界領域23の断面を示す図である。図5の状態(A)は、仮想空間2において視界領域23をX方向から見たYZ断面を示す。図5の状態(B)は、仮想空間2において視界領域23をY方向から見たXZ断面を示す。視界領域23は、基準視線5と仮想空間2のYZ断面とによって定義される範囲である第1領域24(図5の状態(A)参照)と、基準視線5と仮想空間2のXZ断面とによって定義される範囲である第2領域25(図5の状態(B)参照)とを有する。制御回路部200は、仮想空間2における基準視線5を中心として極角αを含む範囲を、第1領域24として設定する。また、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、第2領域25として設定する。
HMDシステム100は、仮想空間画像22のうち視界領域23に重畳する部分である視界画像26をHMD110のディスプレイ112に表示させることによって、ユーザに仮想空間2を提供する。ユーザがHMD110を動かせば、それに連動して仮想カメラ1も動き、その結果、仮想空間2における視界領域23の位置が変化する。これによりディスプレイ112に表示される視界画像26が、仮想空間画像22のうち、仮想空間2においてユーザが向いた箇所(=視界領域23)に重畳する画像に更新される。したがってユーザは、仮想空間2における所望の箇所を視認することができる。
ユーザは、HMD110を装着している間、現実世界を目にすることなく、仮想空間2に展開される仮想空間画像22のみを視認する。そのためHMDシステム100は、仮想空間2への高い没入感をユーザに与えることができる。
制御回路部200は、HMD110を装着したユーザの現実空間における移動に連動して、仮想カメラ1を仮想空間2内において移動させてもよい。この場合、制御回路部200は、仮想カメラ1の仮想空間2内における位置および向きに基づき、仮想空間2のうちHMD110のディスプレイ112に投影されることによってユーザが視認する視界領域23を特定する。
仮想カメラ1は、右眼用画像を提供する右眼用仮想カメラと、左眼用画像を提供する左眼用仮想カメラとを含むことが好ましい。さらに、2つの仮想カメラには、ユーザが3次元の仮想空間2を認識できるように適切な視差が設定されていることが好ましい。本実施形態では、このような2つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるような仮想カメラ1のみを、代表して図示および説明するものとする。
(視線方向の検出)
注視センサ130は、ユーザの右目および左目の視線が向けられる方向(視線方向)を検出するアイトラッキング機能を有する。注視センサ130として、アイトラッキング機能を有する公知のセンサを採用することができる。注視センサ130は、右目用センサおよび左目用センサを備えていることが好ましい。注視センサ130は、たとえば、ユーザの右目および左目に赤外光を照射すると共に、照射光に対する角膜および虹彩からの反射光を受光することによって、各眼球の回転角を検出するセンサでもよい。注視センサ130は、検出した各回転角に基づき、ユーザの視線方向を検知することができる。
注視センサ130によって検出されるユーザの視線方向は、ユーザが物体を視認する際の視点座標系における方向である。上述したように、HMD110のuvw視野座標系は、ユーザがディスプレイ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがってHMDシステム100では、注視センサ130によって検出されたユーザの視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向と見なすことができる。
図6は、ユーザの視線方向を決定する方法を例示する図である。この図に示すように、注視センサ130は、ユーザUの右目および左目の視線を検出する。ユーザUが近くを見ている場合、注視センサ130は、ユーザUの視線R1およびL1を検出する。ユーザが遠くを見ている場合、注視センサ130は、ユーザの視線R1およびL1よりも、HMD110のロール方向(w)とのなす角が小さい視線R2およびL2を特定する。注視センサ130は、検出値を制御回路部200に送信する。
制御回路部200は、視線の検出値として視線R1およびL1を受信した場合、両者の交点である注視点N1を特定する。一方、視線R2およびL2を受信した場合も、両者の交点である注視点N1(不図示)を特定する。制御回路部200は、特定した注視点N1に基づき、ユーザUの視線方向N0を検出する。制御回路部200は、たとえば、ユーザUの右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の伸びる方向を、視線方向N0として検出する。視線方向N0は、ユーザUが両目により実際に視線を向けている方向である。視線方向N0はまた、視界領域23に対してユーザUが実際に視線を向けている方向でもある。
HMDシステム100は、HMDシステム100を構成するいずれかの要素に、マイクおよびスピーカを備えていてもよい。これにより、ユーザは仮想空間2内に対して、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、HMDシステム100はいずれかの要素にテレビジョン受像機を含んでいてもよい。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいてもよい。
(コントローラ300)
コントローラ300は、ユーザの身体の一部の動きを検知することにより、仮想オブジェクトの動きを制御するために用いる装置の一例である。図1に示すように、コントローラ300は、ユーザが右手に持って使用する右コントローラ320と、ユーザが左手に持って使用する左コントローラ330とからなる。右コントローラ320および左コントローラ330は、それぞれ別体の装置として構成される。ユーザは、右コントローラ320を持った右手と、左コントローラ330を持った左手とを動かすことにより、ユーザの手の動きに連動する仮想オブジェクト(以下、状況に応じて、仮想手、仮想右手、仮想左手、などと称することがある。)を、自由に動かすことができる。なお、ユーザの頭部以外である身体の一部の動きを検知するための方法は、当該身体の一部に装着されるセンサを含むコントローラを用いる例に限られず、画像認識、その他任意の物理的、光学的な手法等を適用できる。例えば、外部カメラを用いてユーザの身体の一部の初期位置を特定し、継続的にユーザの身体の一部の位置を特定することにより、ユーザの頭部以外である身体の一部の動きを検知できる。以下の説明においては、コントローラ300を用いたユーザの頭部以外である身体の一部の動きの検知について詳述する。
図1に示すように、右コントローラ320および左コントローラ330は、それぞれ、操作ボタン302、赤外線LED(Light Emitting Diode)304、センサ306、およびトランシーバ308を備えている。右コントローラ320および左コントローラ330は、赤外線LED304およびセンサ306のうちいずれか一方のみを備えていてもよい。図7は、右コントローラ320の構成を表す図である。以下の説明において、右コントローラ320および左コントローラ330は共通の構成を有するため、右コントローラ320の構成のみを説明する。
コントローラセンサ140は、右コントローラ320の動きを検出するためのポジション・トラッキング機能を有する。コントローラセンサ140は、現実空間内における右コントローラ320の位置および傾きを検出する。コントローラセンサ140は、右コントローラ320の赤外線LED304から発せられた赤外光を、それぞれ検出する。コントローラセンサ140は、赤外波長領域において画像を撮像する赤外カメラを備えており、この赤外カメラによって撮像した画像のデータに基づき、右コントローラ320の位置および傾きを検出する。
コントローラセンサ140の代わりに、右コントローラ320が、センサ306を用いて自身の位置および傾きを検出してもよい。この場合、右コントローラ320の三軸角速度センサ(センサ306)が、右コントローラ320の3つの直交する各軸回りの回転を検出する。右コントローラ320は、各検出値に基づき、右コントローラ320がどちらの方向にどれだけ回転したかを検出し、逐次検出した回転方向と回転量とを累積することによって、右コントローラ320の傾きを算出する。右コントローラ320は、三軸角速度センサの検出値に加えて、三軸磁気センサおよび/または三軸加速度センサからの検出値を併用してもよい。
操作ボタン302は、コントローラ300に対するユーザからの操作入力を受け取るように構成された複数のボタン群である。本実施形態では、操作ボタン302は、プッシュ式ボタン、トリガー式ボタン、およびアナログスティックを含む。
プッシュ式ボタンは、親指で下向きに押下する動作によって操作するように構成されたボタンである。右コントローラ320は、プッシュ式ボタンとして、天面322上に親指ボタン302aおよび302bを備えている。親指ボタン302aおよび302bは、いずれも右手の親指によって操作(押下)される。右手の親指によって親指ボタン302aおよび302bが押下され、または、天面322上に親指が配置されることにより、仮想右手の親指が伸ばした状態から曲げられた状態に変化される。
トリガー式ボタンは、人差し指または中指で引き金を引くような動作によって操作するように構成されたボタンである。右コントローラ320は、トリガー式ボタンとして、グリップ324の前面部分に人差し指ボタン302eを備えている。人差し指ボタン302eを右手の人差し指によって操作することにより、仮想右手の人差し指が伸ばした状態から曲げられた状態に変化される。また、グリップ324の側面部分に中指ボタン302fを備えている。中指ボタン302fを右手の中指によって操作することにより、仮想右手の中指、薬指、小指が伸ばした状態から曲げられた状態に変化される。
右コントローラ320は、親指ボタン302aおよび302b、人差し指ボタン302e、ならびに中指ボタン302fの押下状態をそれぞれ検出し、これらの検出値を制御回路部200に出力する。
本実施形態では、右コントローラ320の各ボタンの押下状態の検出値は、0から1のいずれかの値を取り得る。たとえば、ユーザが親指ボタン302aをまったく押下していない場合、親指ボタン302aの押下状態として「0」が検出される。一方、ユーザが親指ボタン302aを完全に(最も深く)押下している場合、親指ボタン302aの押下状態として「1」が検出される。これにより、仮想手における各指の曲がり具合を調整してもよい。例えば、「0」の状態を指が伸びている状態として定義し、「1」の状態を指が曲げられている状態として定義することにより、ユーザは直感的な動作によって仮想手の指を制御することができる。
アナログスティックは、所定のニュートラル位置から360°任意の方向へ傾けて操作することが可能なスティック型のボタンである。右コントローラ320の天面322上にアナログスティック302iが設けられる。アナログスティック302iは、右手の親指によって操作される。
右コントローラ320は、グリップ324の両側面から天面322とは反対側の方向へ延びて半円状のリングを形成するフレーム326を備えている。フレーム326の外表面には、複数の赤外線LED304が埋め込まれている。
赤外線LED304は、コンピュータゲームのプレイ中に赤外線を発光する。赤外線LED304から発せられた赤外光は、右コントローラ320の位置および傾きを検出するために利用される。
右コントローラ320は、赤外線LED304の代わりに、または赤外線LED304に加えて、さらにセンサ306を内蔵する。センサ306は、たとえば磁気センサ、角速度センサ、若しくは加速度センサのいずれか、またはこれらの組み合わせであってよい。センサ306によって、右コントローラ320の位置および傾きを検出することができる。
トランシーバ308は、右コントローラ320と、制御回路部200との間でデータを送受信するように構成される。トランシーバ308は、ユーザが操作ボタン302を介して右コントローラ320に与えた操作入力に基づくデータを、制御回路部200へ送信する。また、トランシーバ308は、赤外線LED304の発光を右コントローラ320に指示する命令を、制御回路部200から受信する。さらに、トランシーバ308は、センサ306によって検出した各種の値に対応するデータを、制御回路部200へ送信する。
右コントローラ320は、ユーザの手に振動による触覚フィードバックを伝えるためのバイブレータを備えていてもよい。この構成では、トランシーバ308は、上述した各データの送受信に加えて、バイブレータに触覚フィードバックを行わせるための命令を制御回路部200から受信することができる。
(制御回路部200の機能的構成)
図8は、制御回路部200の機能的構成を示すブロック図である。制御回路部200は、HMDセンサ120、コントローラセンサ140、注視センサ130、およびコントローラ300から受信した各種のデータを用いることによって、ユーザに提供される仮想空間2を制御すると共に、HMD110のディスプレイ112への画像表示を制御する。図8に示すように、制御回路部200は、検出部210、表示制御部220、仮想空間制御部230、記憶部240、および通信部250を備えている。制御回路部200は、図2に示す各ハードウェアの協働によって、検出部210、表示制御部220、仮想空間制御部230、記憶部240、および通信部250として機能する。検出部210、表示制御部220、および仮想空間制御部230は、主としてプロセッサおよびメモリの協働によってその機能が実現され得る。記憶部240は、主としてメモリおよびストレージの協働によってその機能が実現され得る。通信部250は、主としてプロセッサおよび通信インターフェースの協働によってその機能が実現され得る。
検出部210は、制御回路部200に接続される各種のセンサ(HMDセンサ120等)から検出値を受信する。また、必要に応じて、受信した検出値を用いた所定の処理を実行する。検出部210は、HMD検出部211、視線検出部212、およびコントローラ検出部213を備えている。HMD検出部211は、HMD110およびHMDセンサ120から検出値をそれぞれ受信する。視線検出部212は、注視センサ130から検出値を受信する。コントローラ検出部213は、コントローラセンサ140、右コントローラ320、および左コントローラ330から、それぞれの検出値を受信する。
表示制御部220は、HMD110のディスプレイ112への画像表示を制御する。表示制御部220は、仮想カメラ制御部221、視界領域決定部222、および視界画像生成部223を備えている。仮想カメラ制御部221は、仮想空間2内に仮想カメラ1を配置すると共に、仮想空間2内における仮想カメラ1の挙動を制御する。視界領域決定部222は、視界領域23を決定する。視界画像生成部223は、決定された視界領域23に基づき、ディスプレイ112に表示される視界画像26を生成する。
仮想空間制御部230は、ユーザに提供される仮想空間2を制御する。仮想空間制御部230は、仮想空間規定部231、仮想手制御部232、オブジェクト制御部233、および、事象判定部234を備えている。
仮想空間規定部231は、ユーザに提供される仮想空間2を表す仮想空間データを生成することによって、HMDシステム100における仮想空間2を規定する。仮想手制御部232は、ユーザによる右コントローラ320および左コントローラ330の操作に応じたユーザの各仮想手(仮想右手および仮想左手)を仮想空間2内に配置すると共に、仮想空間2内における各仮想手の挙動を制御する。
オブジェクト制御部233は、仮想オブジェクトを仮想空間2内に配置すると共に、仮想空間2における仮想オブジェクトの挙動を制御する。オブジェクト制御部233によって制御される仮想オブジェクトには、ユーザインターフェース(以下、UI)オブジェクトがある。UIオブジェクトは、事象が生じた方向をユーザに対して提示するためのUIとして機能する仮想オブジェクトである。オブジェクト制御部233は、後述する移動量格納部243に格納されている移動量に基づいて、UIオブジェクトを制御する。
事象判定部234は、仮想空間2内に配置された仮想オブジェクトの挙動に基づいて、仮想カメラ1の死角において事象が生じたか否かを判定する。事象判定部234は、死角において事象が生じた場合に当該事象が生じた方向を特定する。仮想カメラ1の死角とは、仮想空間2のうち、基準視線5を中心とした方位角β(図5の状態(B)参照)を含まない空間を指す。これに対し、方位角βを含む空間を仮想カメラ1の視界と称する。
記憶部240は、制御回路部200が仮想空間2をユーザに提供するために用いる各種のデータを格納している。記憶部240は、雛形格納部241、コンテンツ格納部242、および移動量格納部243を備えている。雛形格納部241は、仮想空間2の雛形を表す各種の雛形データを格納している。コンテンツ格納部242は、仮想空間2において再生可能な各種のコンテンツを格納している。移動量格納部243には、UIオブジェクトを移動させるときの移動量が、事象が生じた方向に対応付けて格納されている。
雛形データは、仮想空間2の空間構造を規定する空間構造データを有する。空間構造データは、たとえば、中心21を中心とする360°の全天球の空間構造を規定するデータである。雛形データは、仮想空間2のXYZ座標系を規定するデータをさらに有する。雛形データは、天球を構成する各メッシュのXYZ座標系における位置を特定する座標データをさらに有する。また、雛形データは、仮想空間2内にオブジェクトを配置可能であるか否かを示すフラグをさらに有する。
コンテンツは、仮想空間2において再生可能なコンテンツである。本実施形態では、このコンテンツはゲームコンテンツである。コンテンツは、ゲームの背景画像、および、ゲームに登場するオブジェクト(キャラクタ、アイテム等)を規定するデータを少なくとも有する。各コンテンツには、HMD110の初期状態(起動時)にユーザに見せる画像を向いた初期方向が、予め規定されている。
通信部250は、ネットワークNWを介して外部機器400(たとえばゲームサーバ)との間でデータを送受信する。
(仮想空間2の提供処理)
図9は、HMDシステム100が仮想空間2をユーザに提供する処理の流れを示すシーケンス図である。仮想空間2は、基本的に、HMD110および制御回路部200の協働によってユーザに提供される。まず、ステップS1において、仮想空間規定部231が、ユーザに提供される仮想空間2を表す仮想空間データを生成することによって、仮想空間2を規定する。生成の手順は次の通りである。まず仮想空間規定部231は、仮想空間2の雛形データを雛形格納部241から取得することによって、仮想空間2の原型を定義する。仮想空間規定部231は、さらに、仮想空間2において再生されるコンテンツを、コンテンツ格納部242から取得する。本実施形態では、このコンテンツはゲームコンテンツである。
仮想空間規定部231は、取得した雛形データに、取得したコンテンツを適合することによって、仮想空間2を規定する仮想空間データを生成する。仮想空間規定部231は、仮想空間データにおいて、仮想空間2の天球を構成する各メッシュの管理データに、コンテンツに含まれる背景画像を構成する各部分画像を適宜関連付ける。仮想空間規定部231は、コンテンツに規定される初期方向を仮想空間2のXYZ座標系におけるZ方向に合致させるように、各部分画像と各メッシュとを関連付けることが好ましい。
仮想空間規定部231は、さらに、必要に応じて、コンテンツに含まれる各オブジェクトの管理データを、仮想空間データに追加する。その際、各管理データに、対応するオブジェクトが仮想空間2において配置される位置を表す座標を、設定する。これにより各オブジェクトが、仮想空間2における当該座標の位置にそれぞれ配置される。
その後、ユーザによってHMD110が起動されると、ステップS2において、HMDセンサ120が、HMD110の初期状態における位置および傾きを検出して、ステップS3において、検出値を制御回路部200に出力する。HMD検出部211は、この検出値を受信する。この後、ステップS4において、仮想カメラ制御部221は、仮想空間2において仮想カメラ1を初期化する。
初期化の手順は次の通りである。まず仮想カメラ制御部221は、仮想空間2内における初期位置(図4における中心21等)に、仮想カメラ1を配置する。次に、仮想空間2における仮想カメラ1の向きを設定する。その際、仮想カメラ制御部221は、HMDセンサ120からの検出値に基づき初期状態のHMD110のuvw視野座標系を特定すると共に、HMD110のuvw視野座標系に一致するuvw視野座標系を仮想カメラ1に設定することによって、仮想カメラ1の向きを設定すればよい。仮想カメラ制御部221は、仮想カメラ1にuvw視野座標系を設定する際、仮想カメラ1のロール方向(w軸)をXYZ座標系のZ方向(Z軸)に適合させる。具体的には、仮想カメラ制御部221は、仮想カメラ1のロール方向をXZ平面に投影して得られる方向を、XYZ座標系のZ方向に一致させると共に、XZ平面に対する仮想カメラ1のロール方向の傾きを、水平面に対するHMD110のロール方向の傾きに一致させる。このような適合処理によって、初期状態の仮想カメラ1のロール方向がコンテンツの初期方向に適合されるので、コンテンツの再生開始後におけるユーザが最初に向く水平方向の向きを、コンテンツの初期方向に一致させることができる。
仮想カメラ1の初期化処理が終わると、視界領域決定部222は、仮想カメラ1のuvw視野座標系に基づき、仮想空間2における視界領域23を決定する。具体的には、仮想カメラ1のuvw視野座標系のロール方向(w軸)をユーザの基準視線5として特定し、この基準視線5に基づき視界領域23を決定する。ステップS5において、視界画像生成部223は、仮想空間データを処理することによって、仮想空間2に展開される仮想空間画像22の全体のうち、仮想空間2における視界領域23に投影される部分に相当する視界画像26を生成(レンダリング)する。ステップS6において、視界画像生成部223は、生成した視界画像26を初期視界画像としてHMD110に出力する。ステップS7において、HMD110は、受信した初期視界画像をディスプレイ112に表示する。これによりユーザは初期視界画像を視認する。
その後、ステップS8において、HMDセンサ120が、HMD110の現在の位置および傾きを検出して、ステップS9において、これらの検出値を制御回路部200に出力する。HMD検出部211は、各検出値を受信する。仮想カメラ制御部221は、HMD110の位置および傾きの検出値に基づき、HMD110における現在のuvw視野座標系を特定する。さらに、ステップS10において、仮想カメラ制御部221は、XYZ座標系におけるuvw視野座標系のロール方向(w軸)を、HMD110の視界方向として特定する。
本実施形態では、ステップS11において、仮想カメラ制御部221が、特定したHMD110の視界方向を、仮想空間2におけるユーザの基準視線5として特定する。ステップS12において、仮想カメラ制御部221は、特定した基準視線5に基づき、仮想カメラ1を制御する。仮想カメラ制御部221は、基準視線5の位置(起点)および方向が仮想カメラ1の初期状態と同一であれば、仮想カメラ1の位置および方向をそのまま維持する。一方、基準視線5の位置(起点)および/または方向が、仮想カメラ1の初期状態から変化していれば、仮想空間2内における仮想カメラ1の位置および/または傾きを、変化後の基準視線5に応じた位置および/または傾きに変更する。また、制御後の仮想カメラ1に対してuvw視野座標系を再設定する。
ステップS20において、仮想空間制御部230は、各種仮想オブジェクトの挙動を制御する。仮想空間制御部230は、図10に基づいて後述するUIオブジェクトの制御方法を実行して、UIオブジェクトの挙動を制御する。
ステップS13において、視界領域決定部222は、特定した基準視線5に基づき、仮想空間2における視界領域23を決定する。その後、ステップS14において、視界画像生成部223は、仮想空間データを処理することによって、仮想空間2に展開される仮想空間画像22の全体のうち、仮想空間2における視界領域23に投影(重畳)される部分である視界画像26を生成(レンダリング)する。ステップS15において、視界画像生成部223は、生成した視界画像26を更新用の視界画像としてHMD110に出力する。ステップS16において、HMD110は、受信した視界画像26をディスプレイ112に表示することによって、視界画像26を更新する。これにより、ユーザがHMD110を動かせば、それに連動して視界画像26が更新される。
<制御方法の概要>
オブジェクト制御部233は、特定された仮想カメラ1の位置に基づいて、仮想カメラ1の視界に向けて移動させることが可能なUIオブジェクトを、仮想カメラ1の死角に配置する。事象判定部234は、当該死角において事象発生の有無を判定する。事象判定部234は、当該死角において事象が生じた場合には、事象が生じた方向を特定する。オブジェクト制御部233は、当該死角において事象が生じた場合に、UIオブジェクトを、事象判定部234によって特定された方向に対応する移動量だけ視界に向けて移動させる。
<制御方法の詳細>
(制御方法の詳細の一例)
図10は、HMDシステム100が実行する制御方法の一例における処理の流れを示すフローチャートである。図11は、死角4においてユーザオブジェクト6が攻撃を受けていないときの各仮想オブジェクトの配置の一例を示す図である。図12は、図11に示す配置に基づいて生成された視界画像26の一例を示す図である。図13は、死角4におけるある方向からユーザオブジェクト6が攻撃を受けたときの各仮想オブジェクトの配置の一例を示す図である。図14は、図13に示す配置に基づいて生成された視界画像26の一例を示す図である。
本例において、UIオブジェクトは、仮想カメラ1を囲う形状を有するUIオブジェクト7である。UIオブジェクト7は、視界3を遮らないように開口部が設けられた、ユーザオブジェクト6の頭部を覆う球体であってもよい。UIオブジェクト7の移動は、UIオブジェクト7の回転である。例えば、オブジェクト制御部233は、
uvw座標系におけるu軸またはv軸に沿って、UIオブジェクト7を視界3に向けて回転させる。
オブジェクト制御部233は、UIオブジェクト7に加えて、ユーザオブジェクト6および敵オブジェクト8を制御する。ユーザオブジェクト6は、ユーザの操作に連動して仮想空間2において動作する仮想オブジェクトである。ユーザオブジェクト6は、例えば、仮想カメラ1に重畳して配置される。敵オブジェクト8は、仮想空間2において、ユーザオブジェクト6に対して攻撃する仮想オブジェクトである。例えば、敵オブジェクト8は、ユーザオブジェクト6に対して攻撃を行う敵キャラクタ本体である。敵オブジェクト8は、敵キャラクタ本体がユーザオブジェクト6に攻撃するために用いる、武器などの物体であってもよい。
死角4において事象が生じることは、ユーザオブジェクト6が死角4において敵オブジェクト8から攻撃を受けることである。事象が生じた方向は、死角4においてユーザオブジェクト6が攻撃を受けた方向である。移動量格納部243には、UIオブジェクト7の移動量として、UIオブジェクト7を回転させるときの回転量が、攻撃を受けた方向に対応付けて格納されている。移動量格納部243において、回転量に対応付けられる方向がユーザオブジェクト6の真後ろにより近いほど、より多い回転量が格納されている。
図9のステップS12において仮想カメラ1が特定されると、ステップS21において、オブジェクト制御部233は、UIオブジェクト7を、仮想カメラ1の死角4に配置する(図11参照)。この場合、UIオブジェクト7は一部分も視界領域23に投影されない。このためUIオブジェクト7を含まない視界画像26がHMD110に表示される(図12参照)。
ステップS22において、オブジェクト制御部233は、ユーザオブジェクト6および敵オブジェクト8の挙動を制御する。
ステップS23において、事象判定部234は、ユーザオブジェクト6が、死角4において敵オブジェクト8からの攻撃を受けたか否かを判定する。例えば、事象判定部234は、仮想空間2において、敵オブジェクト8がユーザオブジェクト6に接触したことに基づいて、ユーザオブジェクト6が攻撃を受けたと判定する。事象判定部234は、ユーザオブジェクト6が攻撃を受けたと判定した場合、ユーザオブジェクト6が攻撃を受けた方向を特定する。例えば、事象判定部234は、仮想カメラ1の位置から、ユーザオブジェクト6が敵オブジェクト8と接触した接触位置に向かう方向を、攻撃を受けた方向として特定する。図13の例では、事象判定部234は、仮想カメラ1の位置C1から、接触位置P1に向かう方向を、攻撃を受けた方向D1として特定する。
ステップS23でYESの場合、ステップS24において、オブジェクト制御部233は、移動量格納部243を参照して、攻撃を受けた方向D1に対応する回転量θ1を特定する。オブジェクト制御部233は、特定した回転量θ1だけ、仮想カメラ1の視界3に向けてUIオブジェクト7を回転させる。
オブジェクト制御部233は、攻撃を受けた方向に対応する回転方向にUIオブジェクト7を回転させてもよい。移動量格納部243には、攻撃を受けた方向が、ユーザオブジェクト6の右側を向いているのか、または左側を向いているのかに対応付けて、回転方向が格納されている。例えば、右側に対応付けて、反時計回りの回転方向が格納されており、左側に対応付けて、時計回りの回転方向が格納されている。オブジェクト制御部233は、移動量格納部243を参照して、UIオブジェクト7の回転方向を特定する。
方向D1は、ユーザオブジェクト6の右側を向いている。オブジェクト制御部233は、方向D1に対応する回転方向として、反時計回りを特定する。オブジェクト制御部233は、UIオブジェクト7を回転量θ1だけ反時計回りにさせる。UIオブジェクト7における回転量θ1に相当する部分が、視界3の右側の一部を覆うように、視界領域23に投影される。UIオブジェクト7における当該部分を右端に含む視界画像26が、HMD110に表示される(図14参照)。ユーザは、視界画像26に含まれるUIオブジェクト7を視認し、死角4におけるいずれの方向からユーザオブジェクト6が攻撃を受けたのかを直感的に認識する。
ステップS23でNOの場合、ステップS25において、オブジェクト制御部233は、仮想カメラ1の位置および向きに応じて、仮想カメラ1の死角4にUIオブジェクト7を追随させればよい。
(制御方法の詳細の他の例)
図15は、死角4における他の方向からユーザオブジェクト6が攻撃を受けたときの各仮想オブジェクトの配置の一例を示す図である。図16は、図15に示す配置に基づいて生成された視界画像26の一例を示す図である。
事象判定部234は、ユーザオブジェクト6が敵オブジェクト8の攻撃を受けたと判定する。事象判定部234は、仮想カメラ1の位置C1から接触位置P2に向かう方向を、攻撃を受けた方向D2として特定する。接触位置P2は、接触位置P1よりも、ユーザオブジェクト6の真後ろから遠い。方向D2は、方向D1よりも、ユーザオブジェクト6の真後ろから遠い。方向D2は、方向D1とは反対に、ユーザオブジェクト6の左側を向いている。オブジェクト制御部233は、方向D2に対応する回転量として、回転量θ1よりも少ない回転量θ2を特定する。オブジェクト制御部233は、方向D2に対応する回転方向として、時計回りを特定する。オブジェクト制御部233は、UIオブジェクト7を回転量θ2だけ時計回りに回転させる。UIオブジェクト7における回転量θ2に相当する部分が、視界3における左側の一部を覆うように、視界領域23に投影される。UIオブジェクト7における当該部分を左端に含む視界画像26が、HMD110に表示される(図16参照)。
(制御方法の詳細のさらに他の例)
図17は、死角4におけるさらに他の方向からユーザオブジェクト6が攻撃を受けたときの各仮想オブジェクトの配置の一例を示す図である。図18は、図17に示す配置に基づいて生成された視界画像26の一例を示す図である。
事象判定部234は、ユーザオブジェクト6が敵オブジェクト8の攻撃を受けたと判定する。事象判定部234は、仮想カメラ1の位置C1から接触位置P3に向かう方向を、攻撃を受けた方向D3として特定する。接触位置P3は、ユーザオブジェクト6の真後ろにある。方向D3は、ユーザオブジェクト6の真後ろを向いている。オブジェクト制御部233は、移動量格納部243を参照して、方向D3に対応する回転量として、回転量θ1および回転量θ2よりも多い回転量θ3を特定する。
方向D3は、ユーザオブジェクト6の右側および左側のいずれも向いていない。オブジェクト制御部233は、ユーザオブジェクト6に攻撃を与えた敵オブジェクト8が、ユーザオブジェクト6の右側および左側のいずれに居るのかを特定する。例えば、オブジェクト制御部233は、敵オブジェクト8がユーザオブジェクト6の右側および左側に跨って配置されている場合には、敵オブジェクト8におけるより多くの部分が配置されている側に、敵オブジェクト8が居ると特定する。オブジェクト制御部233は、敵オブジェクト8が右側に居ると特定した場合、ユーザオブジェクト6が右側から攻撃を受けた場合と同様の手順で、回転方向を特定する。オブジェクト制御部233は、敵オブジェクト8が左側に居ると特定した場合、ユーザオブジェクト6が左側から攻撃を受けた場合と同様の手順で、回転方向を特定する。
図17の例では、敵オブジェクト8におけるより多くの部分が、ユーザオブジェクト6の右側に配置されている。オブジェクト制御部233は、敵オブジェクト8が右側に居ると特定する。オブジェクト制御部233は、移動量格納部243を参照して、回転方向として、右側に対応する反時計回りを特定する。オブジェクト制御部233は、UIオブジェクト7を回転量θ3だけ時計回りに回転させる。UIオブジェクト7における回転量θ3に相当する部分が、視界3における右側の一部を覆うように、視界領域23に投影される。UIオブジェクト7の当該部分を右半分に含む視界画像26が、HMD110に表示される(図18参照)。
オブジェクト制御部233は、方向D3が特定された場合、UIオブジェクト7を一周回転させてもよい。これにより、一時的に、UIオブジェクト7の開口部のすべてが死角4に含まれて、仮想カメラ1の視界3の全方向がUIオブジェクト7で遮られる。例えば、UIオブジェクト7のうち、事象が発生していない間ユーザオブジェクト6の背面を囲っている部分が黒色である場合、当該部分は、UIオブジェクト7が180度回転したときに視界3に含まれる。このとき、真っ暗な視界画像26が生成される。したがって、HMD110のディスプレイ112が一瞬ブラックアウトする。これにより、ユーザは、真後ろから攻撃されたことを直感的に認識することができる。
UIオブジェクト7は、例えば、視界3に入るために必要な回転量がより少ない第1部分(例えば、図13に示す部分7a)から、回転量がより多い第2部分(例えば、部分7b)に向かって、第1色(例えば、薄い灰色)から第2色(例えば、濃い灰色)へのグラデーションが施されていてもよい。UIオブジェクト7は、視界3に入るために必要な回転量がより少ない第1部分から、回転量がより多い第2部分に向かって、各部分に施された色の透過率が段階的に変化してもよい。例えば、第1部分から第2部分にかけて、色の透過率が徐々に減少してもよい。死角4において受ける攻撃の角度が深いほど、UIオブジェクト7のうち、第2色により近い色の部分、または、色の透過率がより低い部分を含む視界画像26が表示される。これにより、ユーザは、死角4において受けた攻撃の方向をより一層直感的に認識できる。
<変形例>
オブジェクト制御部233は、ユーザオブジェクト6のダメージ量に応じて、UIオブジェクト7のサイズを拡縮してもよい。例えば、オブジェクト制御部233は、ユーザオブジェクト6が攻撃を受ける度に、球体であるUIオブジェクト7のサイズを小さくする。これにより、球体開口部が徐々に視界画像26に写り込み、ユーザの視野が狭まる。したがって、ユーザは、ユーザオブジェクト6が受けているダメージ量を認識することができる。
UIオブジェクト7の色は、HMD110におけるディスプレイ112の外枠の色と同一または類似の色であることが好ましい。例えば、ディスプレイ112の外枠が黒色であれば、UIオブジェクト7の色も黒色またはそれに近い色とする。UIオブジェクト7が視界3に向けて移動したとき、外枠の黒色にUIオブジェクト7の黒色が調和し、視界画像26とディスプレイ112の外枠との境界が目立たない。ユーザは、視認するUIオブジェクト7に対して違和感をあまり覚えずに済む。
図19は、UIオブジェクト7の他の例を示す図である。UIオブジェクト7は、死角4における一部の方向にのみ配置されていてもよい。
制御回路部200は、視界方向ではなく視線方向N0を、基準視線5として特定してもよい。この場合、ユーザが視線を変化させるとそれに連動して仮想カメラ1の向きが変わるので、視界領域23の位置も視線変化に連動して変化する。その結果、視界画像26の内容が視線変化に応じて変化することになる。
また、仮想オブジェクトとの接触による操作をMR等に適用することによって仮想体験を提供する場合には、操作対象オブジェクトに換えてユーザの実際の頭部以外の身体の一部を物理的・光学的手法等によって検知し、当該身体の一部と仮想オブジェクトの位置関係に基づいて、当該身体の一部と仮想オブジェクトとの接触を判定してもよい。なお、透過型HMDを用いて仮想体験を提供する場合には、ユーザの基準視線は、非透過型HMDと同様に、HMDの動き、または、ユーザの視線を検知することによって特定してもよい。特定した基準視線に基づく判定領域の設定方法は上記実施形態で説明した通りである。
〔ソフトウェアによる実現例〕
制御回路部200の制御ブロック(検出部210、表示制御部220、仮想空間制御部230、記憶部240、および通信部250)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、制御ブロックは、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、前記プログラムおよび各種データがコンピュータ(又はCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、前記プログラムを展開するRAM(Random Access Memory)等を備えている。そして、コンピュータ(又はCPU)が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、たとえば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態も、本発明の技術的範囲に含まれる。各実施形態にそれぞれ開示された技術的手段を組み合わせることによって、新しい技術的特徴を形成することもできる。
〔付記事項〕
本発明の一側面にかかる内容を列記すると以下の通りである。
(項目1)頭部にヘッドマウントディスプレイ(以下、HMD)を装着したユーザに仮想空間を提供する方法であって、前記ユーザの前記仮想空間における基準視線を特定するステップと、前記仮想空間に配置され、前記基準視線に基づいて前記ユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、前記仮想カメラの視界に向けて移動させることが可能なオブジェクトを、前記仮想カメラの死角に配置するステップと、前記死角において事象が生じた場合に、前記オブジェクトを、前記事象が生じた方向に対応する移動量だけ前記視界に向けて移動させるステップと、前記視界領域に基づいて視界画像を生成するステップと、前記視界画像を前記HMDに表示させるステップとを有する、方法。これにより、仮想空間における操作性がより高まる。
(項目2)前記オブジェクトは、前記仮想カメラを囲う形状を有し、前記方向に対応する回転量だけ、前記オブジェクトを回転させる、項目1の方法。
(項目3)前記方向に基づく回転方向で、前記オブジェクトを回転させる、項目2の方法。
(項目4)前記オブジェクトにおける、前記視界に入るために必要な移動量がより少ない第1部分から、前記移動量がより多い第2部分に向かって、第1色から第2色へのグラデーションが施されている、項目2または3の方法。
(項目5)前記オブジェクトにおける、前記視界に入るために必要な移動量がより少ない第1部分から、前記移動量がより多い第2部分に向かって、各部分に施された色の透過率が段階的に変化する、項目2または3の方法。
(項目6)項目1〜5のいずれか1つの方法の各ステップを、コンピュータに実行させるプログラム。
(項目7)項目6のプログラムを記録したコンピュータ読み取り可能な記録媒体。
1 仮想カメラ、2 仮想空間、3 視界、4 死角、5 基準視線、6 ユーザオブジェクト、7 UIオブジェクト(オブジェクト)、7a 部分(第1部分)、7b 部分(第2部分)、8 敵オブジェクト、21 中心、22 仮想空間画像、23 視界領域、24 第1領域、25 第2領域、26 視界画像、100 HMDシステム、110 HMD、112 ディスプレイ、114 センサ、120 HMDセンサ、130 注視センサ、140 コントローラセンサ、200 制御回路部、210 検出部、211 HMD検出部、212 視線検出部、213 コントローラ検出部、220 表示制御部、221 仮想カメラ制御部、222 視界領域決定部、223 視界画像生成部、230 仮想空間制御部、231 仮想空間規定部、232 仮想手制御部、233 オブジェクト制御部、234 事象判定部、240 記憶部、241 雛形格納部、242 コンテンツ格納部、243 移動量格納部、250 通信部、300 コントローラ、302 操作ボタン、302a 親指ボタン、302e 指ボタン、302f 中指ボタン、302i アナログスティック、306 センサ、304 赤外線LED、308 トランシーバ、320 右コントローラ、322 天面、324 グリップ、326 フレーム、330 左コントローラ、400 外部機器

Claims (8)

  1. 頭部にヘッドマウントディスプレイ(以下、HMD)を装着したユーザに仮想空間を提供する方法であって、
    前記ユーザの前記仮想空間における基準視線を特定するステップと、
    前記仮想空間に配置され、前記基準視線に基づいて前記ユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、
    前記仮想カメラの視界に向けて移動させることが可能なオブジェクトを、前記仮想カメラの前記視界領域外における死角に配置するステップと、
    前記死角において事象が生じた場合に、前記オブジェクトを、前記事象が生じた方向に対応する移動量だけ前記視界に向けて移動させるステップと、
    前記視界領域に基づいて視界画像を生成するステップと、
    前記視界画像を前記HMDに表示させるステップとを有する、方法。
  2. 前記オブジェクトは、前記仮想カメラを囲う形状を有し、
    前記方向に対応する回転量だけ、前記オブジェクトを回転させる、請求項1に記載の方法。
  3. 頭部にヘッドマウントディスプレイ(以下、HMD)を装着したユーザに仮想空間を提供する方法であって、
    前記ユーザの前記仮想空間における基準視線を特定するステップと、
    前記仮想空間に配置され、前記基準視線に基づいて前記ユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、
    前記仮想カメラの視界に向けて移動させることが可能なオブジェクトを、前記仮想カメラの死角に配置するステップと、
    前記死角において事象が生じた場合に、前記オブジェクトを、前記事象が生じた方向に対応する移動量だけ前記視界に向けて移動させるステップと、
    前記視界領域に基づいて視界画像を生成するステップと、
    前記視界画像を前記HMDに表示させるステップとを有し、
    前記オブジェクトは、前記仮想カメラを囲う形状を有し、
    前記方向に対応する回転量だけ、前記オブジェクトを回転させる、方法。
  4. 前記方向に基づく回転方向で、前記オブジェクトを回転させる、請求項2または3に記載の方法。
  5. 前記オブジェクトにおける、前記視界に入るために必要な移動量がより少ない第1部分から、前記移動量がより多い第2部分に向かって、第1色から第2色へのグラデーションが施されている、請求項2から4のいずれか1項に記載の方法。
  6. 前記オブジェクトにおける、前記視界に入るために必要な移動量がより少ない第1部分から、前記移動量がより多い第2部分に向かって、各部分に施された色の透過率が段階的に変化する、請求項2から4のいずれか1項に記載の方法。
  7. 請求項1から6のいずれか1項に記載の方法の各ステップを、コンピュータに実行させるプログラム。
  8. 請求項7に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2016172201A 2016-08-22 2016-09-02 仮想空間を提供する方法、プログラム、および記録媒体 Active JP6159455B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016172201A JP6159455B1 (ja) 2016-09-02 2016-09-02 仮想空間を提供する方法、プログラム、および記録媒体
US15/681,427 US20180059812A1 (en) 2016-08-22 2017-08-21 Method for providing virtual space, method for providing virtual experience, program and recording medium therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016172201A JP6159455B1 (ja) 2016-09-02 2016-09-02 仮想空間を提供する方法、プログラム、および記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017111829A Division JP2018033938A (ja) 2017-06-06 2017-06-06 仮想空間を提供する方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP6159455B1 true JP6159455B1 (ja) 2017-07-05
JP2018038010A JP2018038010A (ja) 2018-03-08

Family

ID=59273014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016172201A Active JP6159455B1 (ja) 2016-08-22 2016-09-02 仮想空間を提供する方法、プログラム、および記録媒体

Country Status (1)

Country Link
JP (1) JP6159455B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019074953A (ja) * 2017-10-17 2019-05-16 株式会社コロプラ 仮想体験をユーザに提供するための方法、プログラム及びコンピュータ

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7037467B2 (ja) * 2018-10-22 2022-03-16 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009119110A1 (ja) * 2008-03-27 2009-10-01 パナソニック株式会社 死角表示装置
JP2011215945A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体、及び、画像生成装置
JP2013131177A (ja) * 2011-12-22 2013-07-04 Aisin Seiki Co Ltd 障害物警報装置
JP2013258614A (ja) * 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009119110A1 (ja) * 2008-03-27 2009-10-01 パナソニック株式会社 死角表示装置
JP2011215945A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体、及び、画像生成装置
JP2013131177A (ja) * 2011-12-22 2013-07-04 Aisin Seiki Co Ltd 障害物警報装置
JP2013258614A (ja) * 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019074953A (ja) * 2017-10-17 2019-05-16 株式会社コロプラ 仮想体験をユーザに提供するための方法、プログラム及びコンピュータ

Also Published As

Publication number Publication date
JP2018038010A (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
US10776991B2 (en) Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
JP6189497B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP6113897B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
US20180059812A1 (en) Method for providing virtual space, method for providing virtual experience, program and recording medium therefor
JP6220937B1 (ja) 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ
US20180059788A1 (en) Method for providing virtual reality, program for executing the method on computer, and information processing apparatus
JP6262283B2 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP6203346B1 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP6278546B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6159455B1 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP2018028920A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP6966336B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6389305B1 (ja) 情報処理方法、コンピュータ、及びプログラム
JP2018032413A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2018028900A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP6728111B2 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP6242452B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2018026099A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6934374B2 (ja) プロセッサを備えるコンピュータにより実行される方法
JP6275185B2 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP6122194B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018033938A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
JP6189495B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2018014084A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170609

R150 Certificate of patent or registration of utility model

Ref document number: 6159455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250