JP6002286B1 - ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム - Google Patents
ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム Download PDFInfo
- Publication number
- JP6002286B1 JP6002286B1 JP2015140224A JP2015140224A JP6002286B1 JP 6002286 B1 JP6002286 B1 JP 6002286B1 JP 2015140224 A JP2015140224 A JP 2015140224A JP 2015140224 A JP2015140224 A JP 2015140224A JP 6002286 B1 JP6002286 B1 JP 6002286B1
- Authority
- JP
- Japan
- Prior art keywords
- virtual space
- image
- hmd
- user
- visual field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Abstract
【課題】三次元仮想空間画像を提供する場合のレンダリング負荷を軽減するヘッドマウントディスプレイ制御方法及びヘッドマウントディスプレイ制御プログラムを提供する。【解決手段】ユーザに仮想空間を提供する没入型ヘッドマウントディスプレイ(HMD)を制御する方法であって、ユーザが没入する仮想空間を構成する仮想空間画像22を生成するステップと、基準視線を決定するステップと、基準視線に基づいて、仮想空間のうちユーザが視認する視界領域23を決定するステップと、仮想空間画像22のうち視界領域23に相当する領域を、仮想空間画像22より高画質な視界画像26として生成するステップと、を含む。【選択図】図7
Description
本発明は、ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラムに関するものである。
特許文献1には、ユーザの頭部に装着され、ユーザの右目及び左目に右目用画像および左目用画像を表示することによって、ユーザに三次元仮想空間を提供するヘッドマウント・ディスプレイ(HMD)が開示されている。また、特許文献2には、HMDを装着するユーザの視点変化に基づいて三次元仮想空間画像をリアルタイムに更新する手法として、リアルタイムレンダリングの手法を採用することが開示されている。
三次元仮想空間画像を提供するためには、右目用画像および左目用画像を生成する必要がある。従って、高画質な三次元仮想空間画像を提供する場合には、各画像を生成するためのレンダリング負荷が大きくなる。特に、ユーザの視点変化に基づいてリアルタイムに三次元仮想空間画像を更新する場合に顕著となる。本発明は、三次元仮想空間画像を提供する場合のレンダリング負荷を軽減することを目的とする。
本発明によれば、ユーザに仮想空間を提供する没入型ヘッドマウントディスプレイ(以下、HMD)を制御する方法であって、前記ユーザが没入する仮想空間を構成する仮想空間画像を生成するステップと、基準視線を決定するステップと、前記基準視線に基づいて、前記仮想空間のうち前記ユーザが視認する視界領域を決定するステップと、前記仮想空間画像のうち前記視界領域に相当する領域を、前記仮想空間画像より高画質な視界画像として生成するステップと、を含むHMD制御方法が得られる。
また、本発明によれば、ユーザに仮想空間を提供する没入型ヘッドマウントディスプレイ(以下、HMD)を制御する方法であって、前記ユーザが没入する仮想空間を構成する仮想空間画像を生成するステップと、基準視線を決定するステップと、前記基準視線に基づいて、前記仮想空間のうち前記ユーザが視認する視界領域を決定するステップと、前記仮想空間画像のうち前記視界領域に相当する領域を、視界画像として生成するステップと、を含み、前記ユーザの前記仮想空間内における位置が更新位置に到達した場合には、前記仮想空間画像を更新し、更新後の前記仮想空間画像のうち前記視界領域に相当する領域を視界画像として生成する、HMD制御方法が得られる。
本発明によれば、三次元仮想空間画像を提供する場合のレンダリング負荷を軽減し得る。
[本発明の実施形態の説明]
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態によるHMD制御方法、および、HMD制御プログラムは、以下のような構成を備える。
(項目1)
ユーザに仮想空間を提供する没入型ヘッドマウントディスプレイ(以下、HMD)を制御する方法であって、
前記ユーザが没入する仮想空間を構成する仮想空間画像を生成するステップと、
基準視線を決定するステップと、
前記基準視線に基づいて、前記仮想空間のうち前記ユーザが視認する視界領域を決定するステップと、
前記仮想空間画像のうち前記視界領域に相当する領域を、前記仮想空間画像より高画質な視界画像として生成するステップと、を含むHMD制御方法。
本項目のHMD制御方法によれば、予め仮想空間画像を低画質に生成しておき、そのユーザの視界領域に相当する部分を高画質な視界画像として生成することで、仮想空間画像のうちユーザの視界領域に相当する部分にレンダリング不可を集中させることができる。これにより、三次元仮想空間画像を提供する場合のレンダリング負荷を軽減し得る。
(項目2)
前記基準視線が移動する方向を検知するステップをさらに備え、
前記基準視線の移動により、前記視界領域が前記仮想空間画像の第1部分から第2部分へ移動するとき、
前記視界領域の移動が完了する前に、前記第2部分に前記視界画像を生成する、項目1のHMD制御方法。
本項目のHMD制御方法によれば、視界領域の移動が完了する前に当該領域の視界画像を生成することにより、ユーザは常に高画質な仮想空間を視認し得る。これにより、ユーザ体験を改善し得る。
(項目3)
前記視界画像を、前記視界領域の周囲の所定領域を覆うように生成する、項目1のHMD制御方法。
本項目のHMD制御方法によれば、視界画像が視界領域を覆うことで、視界領域の移動が完了する前に当該領域の視界画像を生成することが容易となる。これにより、ユーザ体験を改善し得る。
(項目4)
前記基準視線が移動する方向を検知するステップをさらに備え、
前記所定領域は、前記基準視線が移動する方向に向けて大きくなるように設定される、項目3のHMD制御方法。
本項目のHMD制御方法によれば、視界領域外に視界画像が生成される領域を、基準視線が移動する方向に大きくとることにより、視界領域の移動が完了する前に当該領域の視界画像を生成することが容易となる。
(項目5)
前記ユーザの前記仮想空間内における位置が更新位置に到達した場合には、前記仮想空間画像を更新し、
更新後の前記仮想空間画像のうち前記視界領域に相当する領域を、前記仮想空間画像より高画質な視界画像として生成する項目1〜4のいずれかのHMD制御方法。
本項目のHMD制御方法によれば、ユーザの前記仮想空間内における位置が更新位置に到達した場合に仮想空間画像を一括して更新する。これにより、仮想空間画像の生成を効率化し、レンダリング負荷を軽減し得る。
(項目6)
ユーザに仮想空間を提供する没入型ヘッドマウントディスプレイ(以下、HMD)を制御する方法であって、
前記ユーザが没入する仮想空間を構成する仮想空間画像を生成するステップと、
基準視線を決定するステップと、
前記基準視線に基づいて、前記仮想空間のうち前記ユーザが視認する視界領域を決定するステップと、
前記仮想空間画像のうち前記視界領域に相当する領域を、視界画像として生成するステップと、を含み、
前記ユーザの前記仮想空間内における位置が更新位置に到達した場合には、前記仮想空間画像を更新し、更新後の前記仮想空間画像のうち前記視界領域に相当する領域を視界画像として生成する、HMD制御方法。
本項目のHMD制御方法によれば、ユーザの前記仮想空間内における位置が更新位置に到達した場合に仮想空間画像を一括して更新する。これにより、仮想空間画像の生成を効率化し、レンダリング負荷を軽減し得る。
(項目7)
項目1〜6のいずれかのHMD制御方法をコンピュータに実行させるHMD制御プログラム。
これにより、ユーザに直感的な操作感を提供できる。
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態によるHMD制御方法、および、HMD制御プログラムは、以下のような構成を備える。
(項目1)
ユーザに仮想空間を提供する没入型ヘッドマウントディスプレイ(以下、HMD)を制御する方法であって、
前記ユーザが没入する仮想空間を構成する仮想空間画像を生成するステップと、
基準視線を決定するステップと、
前記基準視線に基づいて、前記仮想空間のうち前記ユーザが視認する視界領域を決定するステップと、
前記仮想空間画像のうち前記視界領域に相当する領域を、前記仮想空間画像より高画質な視界画像として生成するステップと、を含むHMD制御方法。
本項目のHMD制御方法によれば、予め仮想空間画像を低画質に生成しておき、そのユーザの視界領域に相当する部分を高画質な視界画像として生成することで、仮想空間画像のうちユーザの視界領域に相当する部分にレンダリング不可を集中させることができる。これにより、三次元仮想空間画像を提供する場合のレンダリング負荷を軽減し得る。
(項目2)
前記基準視線が移動する方向を検知するステップをさらに備え、
前記基準視線の移動により、前記視界領域が前記仮想空間画像の第1部分から第2部分へ移動するとき、
前記視界領域の移動が完了する前に、前記第2部分に前記視界画像を生成する、項目1のHMD制御方法。
本項目のHMD制御方法によれば、視界領域の移動が完了する前に当該領域の視界画像を生成することにより、ユーザは常に高画質な仮想空間を視認し得る。これにより、ユーザ体験を改善し得る。
(項目3)
前記視界画像を、前記視界領域の周囲の所定領域を覆うように生成する、項目1のHMD制御方法。
本項目のHMD制御方法によれば、視界画像が視界領域を覆うことで、視界領域の移動が完了する前に当該領域の視界画像を生成することが容易となる。これにより、ユーザ体験を改善し得る。
(項目4)
前記基準視線が移動する方向を検知するステップをさらに備え、
前記所定領域は、前記基準視線が移動する方向に向けて大きくなるように設定される、項目3のHMD制御方法。
本項目のHMD制御方法によれば、視界領域外に視界画像が生成される領域を、基準視線が移動する方向に大きくとることにより、視界領域の移動が完了する前に当該領域の視界画像を生成することが容易となる。
(項目5)
前記ユーザの前記仮想空間内における位置が更新位置に到達した場合には、前記仮想空間画像を更新し、
更新後の前記仮想空間画像のうち前記視界領域に相当する領域を、前記仮想空間画像より高画質な視界画像として生成する項目1〜4のいずれかのHMD制御方法。
本項目のHMD制御方法によれば、ユーザの前記仮想空間内における位置が更新位置に到達した場合に仮想空間画像を一括して更新する。これにより、仮想空間画像の生成を効率化し、レンダリング負荷を軽減し得る。
(項目6)
ユーザに仮想空間を提供する没入型ヘッドマウントディスプレイ(以下、HMD)を制御する方法であって、
前記ユーザが没入する仮想空間を構成する仮想空間画像を生成するステップと、
基準視線を決定するステップと、
前記基準視線に基づいて、前記仮想空間のうち前記ユーザが視認する視界領域を決定するステップと、
前記仮想空間画像のうち前記視界領域に相当する領域を、視界画像として生成するステップと、を含み、
前記ユーザの前記仮想空間内における位置が更新位置に到達した場合には、前記仮想空間画像を更新し、更新後の前記仮想空間画像のうち前記視界領域に相当する領域を視界画像として生成する、HMD制御方法。
本項目のHMD制御方法によれば、ユーザの前記仮想空間内における位置が更新位置に到達した場合に仮想空間画像を一括して更新する。これにより、仮想空間画像の生成を効率化し、レンダリング負荷を軽減し得る。
(項目7)
項目1〜6のいずれかのHMD制御方法をコンピュータに実行させるHMD制御プログラム。
これにより、ユーザに直感的な操作感を提供できる。
[本発明の実施形態の詳細]
本発明の実施形態に係るHMD制御方法、および、HMD制御プログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
本発明の実施形態に係るHMD制御方法、および、HMD制御プログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
図1は、本実施形態にかかるHMD110を備えるHMDシステム100を示す。HMDシステム100は、ユーザの頭部に装着されるHMD110と、制御回路部120と、傾きセンサ130と、注視センサ140を備える。
HMD110は、非透過型の表示装置であるディスプレイ112と、センサ部114と、注視センサ140を含む。制御回路部120はディスプレイ112に右目用画像と左目用画像を表示することにより、両目の視差を利用した3次元画像を仮想空間として提供する。ディスプレイ112がユーザの眼前に配置されることによって、ユーザは仮想空間に没入できる。仮想空間は、背景やユーザが操作可能な各種オブジェクト、メニュー画像等を含む。
ディスプレイ112は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。また、右目用画像と左目用画像を提供できれば、1つの表示装置で構成されていても良い。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。
注視センサ140は、ユーザの右目および左目の視線方向を検出するアイトラッキング機能を有する。注視センサ140は、右目用センサと左目用センサを備えていることが好ましく、それぞれが右目と左目の視線方向を検出することにより、ユーザが注視する方向を検知する。注視センサ140はアイトラッキング機能を有する公知のセンサを採用することができ、例えば、右目及び左目に赤外光を照射し、角膜や虹彩からの反射光を取得することにより、眼球の回転角を求めることとしても良い。
制御回路部120は、HMD110に接続されるコンピュータであり、ディスプレイ112に仮想空間を提供し、当該仮想空間内に表示される各種オブジェクトを操作したり、各種メニュー画像等を表示・制御するように処理を実行する。制御回路部120は、そのような動作の実行を制御するプログラムを格納する。制御回路部120はHMD110に搭載されていなくてもよく、別のハードウェア(例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ)として構成してもよい。また、制御回路部120は、一部の機能のみをHMD110に実装し、残りの機能を別のハードウェアに実装してもよい。
傾きセンサ130は、HMD110の位置や動きに関する情報を検出する。傾きセンサ130は、センサ部114と、検知部132を含む。センサ部114は、複数の光源を含んでもよい。光源は、例えば赤外線を発するLEDである。検知部132は例えば赤外線センサであり、光源からの赤外線をHMD110の検知点として検知することで、ユーザの動きに応じたHMD110の現実空間内における角度に関する情報を経時的に検出する。そして、検知部132により検出された情報の経時的変化に基づいて、HMD110の角度の時間変化を決定し、HMD110の位置や動きに関する情報を検知することができる。
傾きセンサ130によって取得される角度に関する情報を、図2を参照して説明する。HMD110を装着したユーザの頭部を中心として、XYZ軸を規定する。ユーザが直立する垂直方向をY軸とし、Y軸と直交しディスプレイ112の中心とユーザを結ぶ前後方向をZ軸とし、Y軸およびZ軸と直交する横方向をX軸とする。そして各軸周りのHMD110の傾き角度θx(いわゆるピッチ角),θy(いわゆるヨー角),θz(いわゆるロール角)を検出し、それらの経時的な変化により、HMD110の位置や動きに関する情報を検知することができる。
傾きセンサ130は、ディスプレイ112の近くに固定されたセンサ部114と、検知部132の、一方のみから構成されてもよい。センサ部114が、地磁気センサ、加速度センサ、角速度(ジャイロ)センサであってもよく、これらの少なくとも1つを用いて、ユーザの頭部に装着されたHMD110(特に、ディスプレイ112)の傾きを検出する。これにより、HMD110の位置や動きに関する情報を検出することができる。例えば、角速度センサは、HMD110の動きに応じて、HMD110の3軸回りの角速度を経時的に検出し、各軸回りの角度(傾き)の時間変化を決定することができる。この場合には、検知部132は不要である。また、検知部132は光学カメラを含んで構成されても良い。この場合には、画像情報に基づいてHMD110の位置や動きに関する情報を検出することができ、センサ部114は不要である。
傾きセンサ130を用いてHMDの位置や動きに関する情報を検出する機能をポジション・トラッキングと称する。傾きセンサ130によるポジション・トラッキングと、仮想空間2内に配置される仮想カメラ1との関係を図3A,図3Bを参照して説明する。仮想カメラ1とセンサ130の位置関係を説明するために、以下ではセンサ130の位置は、検知部132を有する場合には検知部132の位置とし、検知部132を有しない場合にはセンサ部114の位置とする。図3Aは現実空間内の傾きセンサ130と仮想空間2の関係を示す3次元の模式図であり、図3Bは現実空間内のセンサ130と仮想空間2の関係をY方向から見た平面図である。仮想空間2の内部に仮想カメラ1が配置され、および仮想空間2の外部(現実空間)に傾きセンサ130が仮想的に配置される。
仮想空間2は、略正方形または略長方形の複数のメッシュ3を有する天球状に形成される。各メッシュは仮想空間2の空間情報が関連付けられており、この空間情報に基づいて後述する視界画像が形成され、視界領域が定義される。本実施形態では、図3Bに示すように、XZ面において、天球の中心点21が仮想カメラ1とセンサ130を結ぶ線上に常に配置されるように調整することが好ましい。例えば、HMDを装着したユーザが移動して仮想カメラ1の位置がX方向に移動した場合には、中心21が仮想カメラ1と傾きセンサ130の線分上に位置するように、仮想空間2の領域が変更される。
HMDシステム100はいずれかの要素にマイクを含むヘッドホンを備えていても良い。これにより、ユーザは仮想空間内の所定のオブジェクトに、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、HMDシステム100はいずれかの要素にテレビジョン受像機を含んでいても良い。また、後述するようにユーザが取得した電子メール等を表示させるための、通信機能等を含んでいてもよい。
図4は、HMDシステム100における仮想空間2の表示処理や、当該仮想空間2内に表示される各種メニュー表示やオブジェクトの操作を実現するための、制御回路部120の機能を示す図である。制御回路部120は、主に傾きセンサ130および注視センサ140からの入力に基づいて、ディスプレイ112への出力画像を制御する。
制御回路部120は、表示制御部200とオブジェクト制御部300とを備える。表示制御部200は、仮想空間画像生成部210と、HMD動作検出部220と、視線方向検知部230と、注視点特定部240と、視界領域決定部250と、視界画像生成部260と、空間情報格納部270とを含む。オブジェクト制御部300は、オブジェクト情報格納部310と、仮想カメラ情報格納部320を含む。
傾きセンサ130および注視センサ140は、表示制御部200およびオブジェクト制御部300と互いに通信可能に接続されており、有線または無線の通信インターフェースを介して接続され得る。表示制御部200およびオブジェクト制御部300は、ディスプレイ112と通信可能に接続されており、有線または無線の通信インターフェースを介して接続され得る。空間情報格納部270、オブジェクト情報格納部310、および仮想カメラ情報格納部320は、傾きセンサ130や注視センサ140からの入力に対応した出力情報をディスプレイ112へ提供するための各種データを含む。
傾きセンサ130は、センサ部114により経時的に検知される角度情報や、検知部132により経時的に検知されるHMD110の角度情報に基づいて、HMD110の位置や動きに関する情報を、表示制御部200およびオブジェクト制御部300に出力する。
仮想空間画像生成部210は、空間情報格納部270からユーザが没入する仮想空間2に関する情報を読み出し、仮想空間画像を生成する。仮想空間画像はユーザの視線方向によらず所定のゲーム空間を構成するための360度パノラマ画像であり、実際にユーザが視認する視界画像よりも低画質に構成される。仮想空間画像は、例えば視界画像の30%程度のレンダリングレベルとされてもよく、例えば、視界画像を構成するポリゴン数を減少させることにより実現され得る。
HMD動作検知部220は、傾きセンサ130からの入力情報に基づいて、HMD110の動きを検出する。そして、仮想空間2内におけるHMD110の向きを規定する視野方向を検出する。そして、検出した視野方向を視界領域決定部250に出力する。
視線方向検知部230は、注視センサ140からの入力情報に基づいて、ユーザの右目および左目の視線が向けられる方向を検出する。注視点特定部240は、注視センサ140からのユーザの視線情報に基づいて、ユーザが注視している注視点を特定する。
図5に示すように、注視センサ140はユーザUの右目および左目の視線が向けられる方向を検知する。ユーザUが近くを見ている場合には視線R1およびL1が検知され、両者の交点である注視点N1が特定される。また、ユーザが遠くを見ている場合には、視線R1およびL1よりZ方向とのなす角が小さい視線R2およびL2が特定される。注視点N1が特定されると、ユーザUの視線方向N0が特定される。視線方向N0はユーザUが両目により実際に視線が向けられている方向である。視線方向N0は、例えばユーザUの右目Rおよび左目Lの中心と中心点N1が通る直線の伸びる方向として定義される。
視界領域決定部250は、空間情報格納部270に格納された仮想空間情報と、傾きセンサ130および注視センサ140からの入力情報に基づいて、仮想空間2における仮想カメラ1の視界領域を決定する。視界画像生成部260は、当該視界領域に関する情報に基づいて、仮想空間を構成する360度パノラマの一部を、視界画像として生成する。視界画像はディスプレイ112に出力される。視界画像は左目用と右目用の2つの2次元画像を含み、これらがディスプレイ112に重畳されることにより、3次元画像としての仮想空間2がユーザに提供される。
図6A〜Cを参照して、視界領域決定部250で決定される、仮想空間2の天球面に沿った視界領域23について説明する。図5Aは、視界領域23を示す3次元の模式図であり、図6Bは視界領域23をX方向から見たYZ面図であり、図6Cは視界領域23をY方向から見たXZ面図である。図6Aに示すように、視界領域23は仮想空間画像22の一部を構成する。視界領域23は、後述するように、仮想空間画像22のうちユーザの視界を構成する部分である。視界領域23は基準視線5に基づいて定められ、基準視線5は仮想カメラ1の位置および方向に基づいて定められる。本実施形態では、基準視線5はHMD110の向きを規定する視野方向、または、注視センサ140により特定された視線方向N0の少なくとも一方に基づいて定義されることが好ましい。
視界領域23は、基準視線5と仮想空間画像22のYZ断面によって定義される範囲である第1領域24(図5B参照)と、基準視線5と仮想空間画像22のXZ断面によって定義される範囲である第2領域25(図5C参照)とを有する。第1領域24は、基準視線5を中心として極角αを含む範囲として設定される。第2領域25は、基準視線5を中心として方位角βを含む範囲として設定される。
視界画像生成部260は、予め構成された仮想空間画像22のうち、視界領域26に相当する領域を、仮想空間画像22より高画質な視界画像26として生成する。視界画像26は、ユーザが仮想空間2内において実際に視認する空間を構成する画像である。図7は視界領域23に基づいて視界画像26が生成される様子を示す図である。視界画像26は、視界領域23の周囲の所定領域を覆うように生成されることが好ましい。また、視界画像26は、仮想空間画像22より高画質な画像として生成されることが好ましい。具体的には、図7に示すように、仮想空間画像22を構成する画像より、視界画像26を構成する画像のポリゴン数を増加させることによってレンダリングレベルを向上させることによって高画質化してもよいし、仮想空間画像22にテクスチャマッピングを施すことによって高画質化してもよい。
オブジェクト制御部300では、オブジェクト情報格納部310に格納された仮想空間内のオブジェクト情報と、傾きセンサ130および注視センサ140からのユーザ指令に基づいて、操作対象オブジェクトを特定する。そして、操作対象オブジェクトへの所定のユーザ操作指令に基づいて、仮想カメラ情報格納部320に格納された仮想カメラ情報を調整する。調整された仮想カメラ情報を表示制御部200に出力し、視界画像が調整される。また、所定のユーザ操作指令に対応する操作を操作対象オブジェクトへ実施し、オブジェクト制御情報をディスプレイ112および表示制御部200に出力する。オブジェクト操作の具体的な処理は後述する。
なお、制御回路部120の各機能を実現するためのハードウェア要素は、CPU、メモリ、その他の集積回路で構成することができる。そして、メモリにロードされたソフトウェア要素としての各種プログラムによって各機能が実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることが当業者に理解される。
図8,図9を参照して、仮想空間画像22および基準視線5に基づいて視界画像26を生成するための、HMDシステム100の処理フローを説明する。当該視界画像生成処理は、HMD110(注視センサ140、傾きセンサ130)および制御回路部120の相互作用によって実現され得る。
まず、制御回路部120(仮想空間画像生成部210)はユーザが没入する仮想空間2を提供するために仮想空間画像22を生成する(S120−1)。ユーザからHMDに移動や傾きといった動作が入力されると(S110−1)、傾きセンサ130によってHMD110の位置や傾きが検知される(S130−1)。傾きセンサ130の検知情報は制御回路部120に送信され、HMD動作検出部220により、HMD110の位置情報や傾き情報が決定される。これにより、HMD110の位置情報や傾き情報に基づく視界方向が決定される(S120−2)。
注視センサ140がユーザの左右の目の眼球の動きを検出すると(S140−1)、当該情報が制御回路部120に送信さる。制御回路部120の視線方向検知部230が左右の目の視線を特定すると、注視点特定部240がユーザの注視点を特定し、視線方向が特定される。
視界領域決定部250は、視界方向または視線方向に基づいて、基準視線5を特定する(S120−4)。視界領域決定部250は、基準視線5に基づいて視界領域23(第1領域24および第2領域25)を決定する(S120−5)。視界画像生成部260は、視界領域23に基づいて視界画像26を生成する(S120−6)。前述のように、視界画像26は仮想空間画像22のうち視界領域23に相当する領域を高画質化することによって生成される。HMD110は、視界画像26に関する情報を制御回路部120から受信して、ディスプレイ112に視界画像26を表示させる(S110−2)。このようにして仮想空間画像22の一部に視界画像26が生成された状態を図10に示す。
次に、図9に示すように、ユーザからHMD110または注視センサ140に対して基準視線5を移動させる動作が入力されると、制御回路部120は基準視線5の移動を検知して(S120−7)、視界画像26を更新する(S120−8)。これにより、ユーザは更新された視界画像26を視認することができ、仮想空間2に対する没入感を得ることができる。
このとき、視界画像26は図10に示す第1部分27から、図11に示す第2部分28へ移動する。第2部分28内の仮想空間画像22は、上記のユーザによる基準視線5の移動により、視界画像26として生成される。この第2部分28における仮想空間画像22は、基準視線5の移動による視界領域23の第1部分から第2部分への移動が完了する前に、視界画像26として生成されることが好ましい。これにより、ユーザは常に高画質な仮想空間2を視認することができ、ユーザ体験を改善することができる。
このとき、視界画像26を、視界領域23の周囲の所定領域を覆うように生成することが好ましい。さらに、図12に示すように、所定領域は、基準視線5が移動する方向に向けて大きくなるように設定されていることが好ましい。基準視線5が移動する方向には予め広範囲に高画質な視界画像26を生成しておくことにより、視界領域23の移動が完了する前に当該領域の視界画像26を生成することが容易となる。
また、HMD110により仮想空間2におけるユーザの位置の移動が検知された場合には、ユーザが更新位置に到達したか否かが判定される(S120−9)。図13に、更新位置29を含む視界画像26の一例を示す。ユーザはHMD110および外部コントローラを操作することにより、オブジェクト(ゲームキャラクタ)Oを操作することができる。図13における視界画像26は、所定のゲームステージを構成する仮想空間画像22の一部である。ユーザはオブジェクトOを操作して更新位置29に到達させることにより、次のゲームステージへ進むことができる。
次のゲームステージへ進むと、仮想空間画像22は、当該ゲームステージに対応した仮想空間画像22に更新される(S120−10)。仮想空間画像22はユーザが視認する視界画像26よりも低画質な画像として生成される。次に、前述の処理フローと同様にユーザの基準視線5に基づいて視界領域23を決定し(S120−11)、仮想空間画像22のうち視界領域23に相当する領域を高画質な視界画像26として生成する(S120−12)ことにより、ゲームステージの更新が完了する。本プロセスにおいては、ユーザの仮想空間2内における位置が更新位置29に到達した場合に仮想空間画像22を一括して更新する。これにより、仮想空間画像22の生成を効率化し、レンダリング負荷を軽減しすることができる。
以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。
100…ヘッドマウントディスプレイ(HMD)システム、110…HMD、112…ディスプレイ、114…センサ部、120…制御回路部、130…傾きセンサ、132…検知部、140…注視センサ、200…表示制御部、300…オブジェクト制御部、1…仮想カメラ、2…仮想空間、5…視界方向、22…仮想空間画像、23…視界領域、26…視界画像、
Claims (6)
- ユーザに仮想空間を提供する没入型ヘッドマウントディスプレイ(以下、HMD)を、コンピュータを用いて制御する方法であって、
前記ユーザが没入する仮想空間を構成する低画質な仮想空間画像を、予め前記コンピュータに格納された前記仮想空間に関する情報を読み出すことによって生成するステップと、
基準視線を決定するステップと、
前記基準視線に基づいて、前記仮想空間のうち前記ユーザが視認する視界領域を決定するステップと、
前記仮想空間画像のうち前記視界領域に相当する領域を高画質化することによって、前記視界領域に前記仮想空間画像より高画質な視界画像を生成するステップと、を含み、
前記仮想空間画像は、前記視界画像に対してポリゴン数が減少されたものであり、
前記視界画像は、前記仮想空間画像のポリゴン数を増加させることによって生成される、
HMD制御方法。 - ユーザに仮想空間を提供する没入型ヘッドマウントディスプレイ(以下、HMD)を、コンピュータを用いて制御する方法であって、
前記ユーザが没入する仮想空間を構成する低画質な仮想空間画像を、予め前記コンピュータに格納された前記仮想空間に関する情報を読み出すことによって生成するステップと、
基準視線を決定するステップと、
前記基準視線に基づいて、前記仮想空間のうち前記ユーザが視認する視界領域を決定するステップと、
前記仮想空間画像のうち前記視界領域に相当する領域を高画質化することによって、前記視界領域に前記仮想空間画像より高画質な視界画像を生成するステップと、を含み、
前記視界画像は、前記仮想空間画像にテクスチャマッピングを施すことによって生成される、
HMD制御方法。 - 前記基準視線が移動する方向を検知するステップをさらに備え、
前記基準視線の移動により、前記視界領域が前記仮想空間画像の第1部分から第2部分へ移動するとき、
前記視界領域の移動が完了する前に、前記第2部分に前記視界画像を生成する、請求項1または2のHMD制御方法。 - 前記視界画像を、前記視界領域の周囲の所定領域を覆うように生成する、請求項1〜3のいずれかのHMD制御方法。
- 前記基準視線が移動する方向を検知するステップをさらに備え、
前記所定領域は、前記基準視線が移動する方向に向けて大きくなるように設定される、請求項4のHMD制御方法。 - 請求項1〜5のいずれかのHMD制御方法をコンピュータに実行させるHMD制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015140224A JP6002286B1 (ja) | 2015-07-14 | 2015-07-14 | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム |
US15/264,529 US10115235B2 (en) | 2015-07-14 | 2016-09-13 | Method for controlling head mounted display, and system for implemeting the method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015140224A JP6002286B1 (ja) | 2015-07-14 | 2015-07-14 | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016170432A Division JP2017021824A (ja) | 2016-09-01 | 2016-09-01 | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6002286B1 true JP6002286B1 (ja) | 2016-10-05 |
JP2017021680A JP2017021680A (ja) | 2017-01-26 |
Family
ID=57048561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015140224A Active JP6002286B1 (ja) | 2015-07-14 | 2015-07-14 | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10115235B2 (ja) |
JP (1) | JP6002286B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020500349A (ja) * | 2016-10-25 | 2020-01-09 | サムスン エレクトロニクス カンパニー リミテッド | 電子装置及びその制御方法 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016046642A (ja) * | 2014-08-21 | 2016-04-04 | キヤノン株式会社 | 情報処理システム、情報処理方法及びプログラム |
KR101862499B1 (ko) * | 2015-11-27 | 2018-05-29 | 포브, 아이엔씨. | 시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램 |
US10539797B2 (en) * | 2016-05-06 | 2020-01-21 | Colopl, Inc. | Method of providing virtual space, program therefor, and recording medium |
US10503245B2 (en) | 2016-09-21 | 2019-12-10 | Apple Inc. | Relative intertial measurement system |
US10789671B2 (en) * | 2016-12-28 | 2020-09-29 | Ricoh Company, Ltd. | Apparatus, system, and method of controlling display, and recording medium |
US11272160B2 (en) * | 2017-06-15 | 2022-03-08 | Lenovo (Singapore) Pte. Ltd. | Tracking a point of interest in a panoramic video |
CN109087344B (zh) * | 2018-07-18 | 2021-06-08 | 国网四川省电力公司信息通信公司 | 三维重建中的图像选择方法及装置 |
GB2595872B (en) * | 2020-06-09 | 2023-09-20 | Sony Interactive Entertainment Inc | Gaze tracking apparatus and systems |
US11615586B2 (en) | 2020-11-06 | 2023-03-28 | Adobe Inc. | Modifying light sources within three-dimensional environments by utilizing control models based on three-dimensional interaction primitives |
US11423607B2 (en) | 2020-11-20 | 2022-08-23 | Adobe Inc. | Generating enriched light sources utilizing surface-centric representations |
US11551409B2 (en) * | 2020-12-01 | 2023-01-10 | Institut Mines Telecom | Rendering portions of a three-dimensional environment with different sampling rates utilizing a user-defined focus frame |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08305892A (ja) * | 1995-05-11 | 1996-11-22 | Sega Enterp Ltd | 画像処理装置及びこれを備えたゲーム装置 |
JPH11175758A (ja) * | 1997-12-11 | 1999-07-02 | Mitsubishi Electric Corp | 立体表示方法および装置 |
JP2011215918A (ja) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
JP2013258614A (ja) * | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | 画像生成装置および画像生成方法 |
JP2014010805A (ja) * | 2012-07-03 | 2014-01-20 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置、画像処理方法及び画像処理プログラム |
US20140247277A1 (en) * | 2013-03-01 | 2014-09-04 | Microsoft Corporation | Foveated image rendering |
JP2015095045A (ja) * | 2013-11-11 | 2015-05-18 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
JP2015125502A (ja) * | 2013-12-25 | 2015-07-06 | ソニー株式会社 | 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (ja) | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
US6940505B1 (en) * | 2002-05-20 | 2005-09-06 | Matrox Electronic Systems Ltd. | Dynamic tessellation of a base mesh |
JP2004013326A (ja) | 2002-06-04 | 2004-01-15 | Canon Inc | 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
US8446509B2 (en) * | 2006-08-09 | 2013-05-21 | Tenebraex Corporation | Methods of creating a virtual window |
US9348141B2 (en) * | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
US9690099B2 (en) * | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
CN105188516B (zh) * | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
US10438312B2 (en) * | 2014-04-05 | 2019-10-08 | Sony Interactive Entertainment LLC | Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters |
US10204658B2 (en) * | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
US10007333B2 (en) * | 2014-11-07 | 2018-06-26 | Eye Labs, LLC | High resolution perception of content in a wide field of view of a head-mounted display |
US20160274365A1 (en) * | 2015-03-17 | 2016-09-22 | Thalmic Labs Inc. | Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality |
-
2015
- 2015-07-14 JP JP2015140224A patent/JP6002286B1/ja active Active
-
2016
- 2016-09-13 US US15/264,529 patent/US10115235B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08305892A (ja) * | 1995-05-11 | 1996-11-22 | Sega Enterp Ltd | 画像処理装置及びこれを備えたゲーム装置 |
JPH11175758A (ja) * | 1997-12-11 | 1999-07-02 | Mitsubishi Electric Corp | 立体表示方法および装置 |
JP2011215918A (ja) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
JP2013258614A (ja) * | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | 画像生成装置および画像生成方法 |
JP2014010805A (ja) * | 2012-07-03 | 2014-01-20 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置、画像処理方法及び画像処理プログラム |
US20140247277A1 (en) * | 2013-03-01 | 2014-09-04 | Microsoft Corporation | Foveated image rendering |
JP2015095045A (ja) * | 2013-11-11 | 2015-05-18 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
JP2015125502A (ja) * | 2013-12-25 | 2015-07-06 | ソニー株式会社 | 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム |
Non-Patent Citations (5)
Title |
---|
JPN6016003648; 'ニコファーレの360度映像をHMDで視聴する配信技術を開発' AV Watch , 20140204 * |
JPN6016003649; 早川 雄一郎 外1名: 'Head Mounted Display向けリアルタイム時間遅れ計測に基づく事後補償' 日本バーチャルリアリティ学会論文誌 第19巻 第1号 第19巻第1号(通巻71号), 20140331, p.47〜54, 特定非営利活動法人日本バーチャルリアリティ学会 * |
JPN6016015144; 'DTP+3DCG Cooking Book' Professional DTP 2003 12月号 初版, 20031201, p.106〜109, 株式会社工学社 * |
JPN6016015145; 平成19年度 高質感映像に関する調査研究報告書 , 20090416, p.86〜90, 社団法人日本機械工業連合会 財団法人デジタルコンテ * |
JPN6016030845; '【佐藤カフジのVR GAMING TODAY!】日本発のVRHMD「FOVE」が業界に革命を起こす!?アイトラッキング&アダ' GAME Watch , 20150525 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020500349A (ja) * | 2016-10-25 | 2020-01-09 | サムスン エレクトロニクス カンパニー リミテッド | 電子装置及びその制御方法 |
KR102561860B1 (ko) | 2016-10-25 | 2023-08-02 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
Also Published As
Publication number | Publication date |
---|---|
US20170098330A1 (en) | 2017-04-06 |
US10115235B2 (en) | 2018-10-30 |
JP2017021680A (ja) | 2017-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6002286B1 (ja) | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム | |
JP5961736B1 (ja) | ヘッドマウントディスプレイシステムを制御する方法、および、プログラム | |
JP6058184B1 (ja) | ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム | |
JP5996814B1 (ja) | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム | |
JP5914739B1 (ja) | ヘッドマウントディスプレイシステムを制御するプログラム | |
JP6342038B1 (ja) | 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法 | |
US10394319B2 (en) | Method of displaying an image, and system therefor | |
JP6087453B1 (ja) | 仮想空間の提供方法、およびプログラム | |
JP6130478B1 (ja) | プログラム及びコンピュータ | |
JP2017021824A (ja) | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム | |
WO2017130621A1 (ja) | 仮想現実空間提供方法および仮想現実空間提供プログラム | |
JP2017138973A (ja) | 仮想空間の提供方法、およびプログラム | |
JP6121496B2 (ja) | ヘッドマウントディスプレイシステムを制御するプログラム | |
JP6433862B2 (ja) | ヘッドマウントディスプレイシステム制御プログラム、コンピュータ及び方法 | |
JP2017121082A (ja) | プログラム及びコンピュータ | |
JP6598575B2 (ja) | ヘッドマウントディスプレイシステムを制御する方法、および、プログラム | |
JP2018195172A (ja) | 情報処理方法、情報処理プログラム及び情報処理装置 | |
JP2017033465A (ja) | 方法、および、プログラム | |
JP2019021347A (ja) | ヘッドマウントディスプレイシステム制御プログラム | |
JP6121495B2 (ja) | ヘッドマウントディスプレイシステムを制御するプログラム | |
JP6941130B2 (ja) | 情報処理方法、情報処理プログラム及び情報処理装置 | |
JP2017142769A (ja) | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム | |
JP6448478B2 (ja) | ヘッドマウントディスプレイを制御するプログラム。 | |
JP2019020905A (ja) | 情報処理方法、情報処理プログラム及び情報処理装置 | |
JP2017097918A (ja) | 画像表示方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160812 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160902 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6002286 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |