JP6416338B1 - Information processing method, information processing program, information processing system, and information processing apparatus - Google Patents

Information processing method, information processing program, information processing system, and information processing apparatus Download PDF

Info

Publication number
JP6416338B1
JP6416338B1 JP2017137121A JP2017137121A JP6416338B1 JP 6416338 B1 JP6416338 B1 JP 6416338B1 JP 2017137121 A JP2017137121 A JP 2017137121A JP 2017137121 A JP2017137121 A JP 2017137121A JP 6416338 B1 JP6416338 B1 JP 6416338B1
Authority
JP
Japan
Prior art keywords
visual
image
user
information processing
virtual space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017137121A
Other languages
Japanese (ja)
Other versions
JP2019020516A (en
Inventor
野口 裕弘
裕弘 野口
Original Assignee
株式会社コロプラ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社コロプラ filed Critical 株式会社コロプラ
Priority to JP2017137121A priority Critical patent/JP6416338B1/en
Application granted granted Critical
Publication of JP6416338B1 publication Critical patent/JP6416338B1/en
Publication of JP2019020516A publication Critical patent/JP2019020516A/en
Active legal-status Critical Current

Links

Images

Abstract

【課題】仮想空間において必要な情報をユーザに違和感なく提供可能な情報処理方法を提供する。
【解決手段】ヘッドマウントデバイス(HMD)を備えたシステムにおける情報処理方法は、(a)HMDのユーザに関連付けられた第一オブジェクトと、動作部分を備え、動作部分によって第一オブジェクトに対して所定の動作を実行する第二オブジェクトと、を含む仮想空間を定義する仮想空間データを生成するステップと、(b)HMDの動きおよび仮想空間データに基づいて、HMDに表示される視野画像V2を示す視野画像データを生成するステップと、(c)動作部分により第一オブジェクトに対して所定の動作が実行された場合に、視野画像V2の視界を狭くするとともに視野画像V2の表示態様を異ならせる処理を施す第一状態の表示制御を行うステップと、を含む。
【選択図】図15
An information processing method capable of providing a user with necessary information in a virtual space without a sense of incongruity is provided.
An information processing method in a system including a head-mounted device (HMD) includes: (a) a first object associated with a user of the HMD and a moving part, and the moving part determines a predetermined value for the first object. A step of generating virtual space data defining a virtual space including the second object that executes the operation of (b), and (b) showing a visual field image V2 displayed on the HMD based on the movement of the HMD and the virtual space data A step of generating visual field image data, and (c) a process of narrowing the visual field of the visual field image V2 and changing the display mode of the visual field image V2 when a predetermined operation is performed on the first object by the operation part. Performing display control of the first state.
[Selection] Figure 15

Description

本開示は、情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置に関する。   The present disclosure relates to an information processing method, an information processing program, an information processing system, and an information processing apparatus.
特許文献1は、ヘッドマウントディスプレイの姿勢に連動して仮想空間における視野を変化させる方法を開示している。   Patent Document 1 discloses a method of changing the visual field in the virtual space in conjunction with the posture of the head mounted display.
特開2017−004357号公報JP 2017-004357 A
ヘッドマウントデバイスを装着しているユーザに必要な情報を違和感なく伝えるためには、当該情報をどのように伝えるかが重要である。例えば、ゲージを常に視野(視界)の端に表示させる方法が知られているが、このような表示方法は現実離れしているため興醒めとなる可能性がある。   In order to convey necessary information to the user wearing the head mounted device without a sense of incongruity, it is important how to convey the information. For example, a method is known in which a gauge is always displayed at the end of the field of view (view), but such a display method is far from reality and may be aroused.
本開示は、仮想空間において必要な情報をユーザに違和感なく提供可能な情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置を提供することを目的とする。   An object of the present disclosure is to provide an information processing method, an information processing program, an information processing system, and an information processing apparatus that can provide a user with necessary information in a virtual space without a sense of incongruity.
本開示が示す一態様によれば、ヘッドマウントデバイスを備えたシステムにおける情報処理方法であって、
当該情報処理方法は、
(a)前記ヘッドマウントデバイスのユーザに関連付けられた第一オブジェクトと、動作部分を備え、前記動作部分によって前記第一オブジェクトに対して所定の動作を実行する第二オブジェクトと、を含む仮想空間を定義する仮想空間データを生成するステップと、
(b)前記ヘッドマウントデバイスの動きおよび前記仮想空間データに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
(c)前記動作部分により前記第一オブジェクトに対して前記所定の動作が実行された場合に、前記視野画像の視界を狭くするとともに前記視野画像の表示態様を異ならせる処理を施す第一状態の表示制御を行うステップと、
を含む。
According to one aspect of the present disclosure, an information processing method in a system including a head mounted device,
The information processing method is as follows:
(A) a virtual space including a first object associated with a user of the head-mounted device and a second object that includes a motion part and performs a predetermined motion on the first object by the motion part. Generating virtual space data to be defined;
(B) generating visual field image data indicating a visual field image displayed on the head mounted device based on the movement of the head mounted device and the virtual space data;
(C) When the predetermined motion is performed on the first object by the motion portion, a first state is applied in which processing for narrowing the visual field of the visual field image and changing the display mode of the visual field image is performed. Performing display control;
including.
本開示によれば、仮想空間において必要な情報をユーザに違和感なく提供することができる。   According to the present disclosure, necessary information in the virtual space can be provided to the user without a sense of incongruity.
本発明の実施形態(以下、単に本実施形態という。)に係る仮想空間配信システムを示す概略図である。It is the schematic which shows the virtual space delivery system which concerns on embodiment (henceforth this embodiment only) of this invention. ユーザ端末を示す概略図である。It is the schematic which shows a user terminal. HMDを装着したユーザの頭部を示す図である。It is a figure which shows the head of the user with which HMD was mounted | worn. 制御装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a control apparatus. 外部コントローラの具体的な構成の一例を示す図である。It is a figure which shows an example of a specific structure of an external controller. 視野画像をHMDに表示する処理を示すフローチャートである。It is a flowchart which shows the process which displays a visual field image on HMD. 仮想空間の一例を示すxyz空間図である。It is xyz space figure which shows an example of virtual space. 状態(a)は、図7に示す仮想空間のyx平面図である。状態(b)は、図7に示す仮想空間のzx平面図である。The state (a) is a yx plan view of the virtual space shown in FIG. The state (b) is a zx plan view of the virtual space shown in FIG. HMDに表示された視野画像の一例を示す図である。It is a figure which shows an example of the visual field image displayed on HMD. 図1に示すサーバのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the server shown in FIG. 状態(a)は、HMDを装着したユーザが存在する現実空間を示す図であり、状態(b)は、仮想カメラと、各種の仮想オブジェクトとを含む仮想空間を示す図である。The state (a) is a diagram showing a real space where the user wearing the HMD exists, and the state (b) is a diagram showing a virtual space including a virtual camera and various virtual objects. 本実施形態に係る情報処理方法を説明するためのフローチャートである。It is a flowchart for demonstrating the information processing method which concerns on this embodiment. 図11の状態(b)での視野画像を示す図である。It is a figure which shows the visual field image in the state (b) of FIG. 仮想オブジェクトがコリジョンオブジェクトに接触した状態の仮想空間を示す図である。It is a figure which shows the virtual space of the state in which the virtual object contacted the collision object. 図14の状態での視野画像を示す図である。It is a figure which shows the visual field image in the state of FIG. 図15の状態が一定時間経過した後の視野画像を示す図である。It is a figure which shows the visual field image after the state of FIG. 15 passes for a fixed time. ユーザの所定のパラメータが所定の閾値以下となった場合の視野画像を示す図である。It is a figure which shows a visual field image when a user's predetermined parameter becomes below a predetermined threshold value.
[本開示が示す実施形態の説明]
本開示が示す実施形態の概要を説明する。
(1)ヘッドマウントデバイスを備えたシステムにおける情報処理方法であって、
当該情報処理方法は、
(a)前記ヘッドマウントデバイスのユーザに関連付けられた第一オブジェクトと、動作部分を備え、前記動作部分によって前記第一オブジェクトに対して所定の動作を実行する第二オブジェクトと、を含む仮想空間を定義する仮想空間データを生成するステップと、
(b)前記ヘッドマウントデバイスの動きおよび前記仮想空間データに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
(c)前記動作部分により前記第一オブジェクトに対して前記所定の動作が実行された場合に、前記視野画像の視界を狭くするとともに前記視野画像の表示態様を異ならせる第一状態の表示制御を行うステップと、
を含む。
[Description of Embodiments Presented by the Present Disclosure]
An overview of an embodiment indicated by the present disclosure will be described.
(1) An information processing method in a system including a head mounted device,
The information processing method is as follows:
(A) a virtual space including a first object associated with a user of the head-mounted device and a second object that includes a motion part and performs a predetermined motion on the first object by the motion part. Generating virtual space data to be defined;
(B) generating visual field image data indicating a visual field image displayed on the head mounted device based on the movement of the head mounted device and the virtual space data;
(C) When the predetermined motion is performed on the first object by the motion portion, display control in a first state that narrows the field of view of the visual field image and changes the display mode of the visual field image Steps to do,
including.
この方法によれば、仮想空間において必要な情報をユーザに違和感なく提供することができる。本方法では、例えば仮想空間内においてユーザが敵オブジェクトから攻撃を受けた場合に、ユーザの視界を狭くするとともに狭くなった部分の表示態様を異ならせることで、ユーザは攻撃を受けたことを直感的かつ違和感なく認識することができる。   According to this method, necessary information in the virtual space can be provided to the user without a sense of incongruity. In this method, for example, when a user is attacked by an enemy object in a virtual space, the user's view is narrowed and the display mode of the narrowed portion is changed to make it intuitive that the user has been attacked. Recognizable and uncomfortable.
(2)前記ステップ(c)は、前記動作部分を前記視野画像において非表示とするステップを含んでもよい。   (2) The step (c) may include a step of hiding the operation portion in the visual field image.
動作部分が第一オブジェクトに対して所定の動作を実行する際に視野画像において動作部分を表示させたままにしておくと、レンダリングが想定されていない動作部分の内部が視界に現れることとなり、不自然な視野画像となってしまう可能性がある。そのため、ステップ(c)では動作部分を非表示とすることが好ましい。   If the motion part is displayed in the field-of-view image when the motion part performs a predetermined motion on the first object, the inside of the motion part that is not supposed to be rendered appears in the field of view. There is a possibility of becoming a natural visual field image. Therefore, it is preferable to hide the operation part in step (c).
(3)前記ステップ(c)において、前記所定の動作に関連付けられる所定のパラメータに関する第一表示を前記視野画像に表示させることによって、前記第一状態の表示制御を行ってもよい。   (3) In the step (c), display control of the first state may be performed by displaying a first display relating to a predetermined parameter associated with the predetermined operation on the visual field image.
(4)前記ステップ(c)において、前記視野画像の隅部の視覚的効果を低減させることで前記視界を狭くするとともに、前記隅部よりも前記視野画像の中央側に前記第一表示を表示してもよい。   (4) In the step (c), the visual effect at the corner of the visual field image is reduced to narrow the field of view, and the first display is displayed closer to the center of the visual field image than the corner. May be.
これらの方法により、ユーザに必要な情報を与えるための新規なユーザ・インタフェースを提供することができる。   By these methods, a new user interface for giving necessary information to the user can be provided.
(5)(d)前記ステップ(c)における前記第一状態の表示制御を行った後で、前記視界をさらに狭くする処理を施す第二状態の表示制御を行うステップを、さらに含んでもよい。   (5) (d) After performing the display control of the first state in the step (c), the method may further include a step of performing display control of the second state in which processing for further narrowing the field of view is performed.
この方法により、ユーザに関連付けられたパラメータ(例えば、ヒットポイント)が減少してきたことをユーザが認識することができる。   This method allows the user to recognize that the parameters (eg, hit points) associated with the user have decreased.
(6)前記第一状態での前記視野画像の表示態様と前記第二状態での前記視野画像の表示態様とが異なっていてもよい。   (6) The display mode of the visual field image in the first state may be different from the display mode of the visual field image in the second state.
この方法により、仮想空間体験の品質を損なうことなく、ユーザが例えばパラメータの減少を直感的に認識することができる。   By this method, the user can intuitively recognize, for example, a decrease in parameters without impairing the quality of the virtual space experience.
(7)(e)前記所定のパラメータが閾値を下回った場合には、前記第一状態および前記第二状態での前記視野画像の表示態様とは異なる表示態様で、前記視野画像の前記視界を狭くする処理を施す第三状態の表示制御を行うステップを、さらに含んでもよい。   (7) (e) When the predetermined parameter falls below a threshold value, the visual field of the visual field image is displayed in a display mode different from the display mode of the visual field image in the first state and the second state. You may further include the step which performs the display control of the 3rd state which performs the process to narrow.
この方法により、ユーザはパラメータの減少を段階的に認識することができる。   By this method, the user can recognize the decrease in the parameters step by step.
(8)前記ステップ(d)において、前記動作部分の視認性が前記動作部分以外の部分の視認性よりも高くされていてもよい。   (8) In the step (d), the visibility of the operating part may be higher than the visibility of parts other than the operating part.
視界が狭くされた場合でも、動作部分の視認性を確保しておくことで、ゲーム性を向上させることができる。   Even when the field of view is narrowed, the game performance can be improved by ensuring the visibility of the motion part.
(9)前記ステップ(d)において、前記動作部分はカラーで表示され、前記動作部分以外の部分はグレースケールで表示されていてもよい。   (9) In the step (d), the operation part may be displayed in color, and a part other than the operation part may be displayed in gray scale.
この方法によれば、パラメータが減少した場合でも、動作部分の視認性を確保することができる。   According to this method, it is possible to ensure the visibility of the operating portion even when the parameter is reduced.
(10)情報処理プログラムは、上記項目(1)から(9)のいずれかに記載の情報処理方法をコンピュータに実行させるための情報処理プログラムである。   (10) The information processing program is an information processing program for causing a computer to execute the information processing method described in any of the items (1) to (9).
仮想空間において必要な情報をユーザに違和感なく提供可能な情報処理プログラムを提供することができる。   It is possible to provide an information processing program that can provide a user with necessary information in a virtual space without a sense of incongruity.
(11)ヘッドマウントデバイスを用いた情報処理システムであって、
当該情報処理システムは、項目(1)から(9)のうちいずれかに記載の情報処理方法を実行するように構成された、情報処理システムである。
(11) An information processing system using a head mounted device,
The information processing system is an information processing system configured to execute the information processing method according to any one of items (1) to (9).
仮想空間において必要な情報をユーザに違和感なく提供可能な情報処理システムを提供することができる。   It is possible to provide an information processing system that can provide a user with necessary information in a virtual space without a sense of incongruity.
(12)プロセッサと、
コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は項目(1)から(9)のうちいずれかに記載の情報処理方法を実行する、情報処理装置である。
(12) a processor;
An information processing apparatus comprising a memory for storing computer-readable instructions,
When the computer-readable instruction is executed by the processor, the information processing apparatus is an information processing apparatus that executes the information processing method according to any one of items (1) to (9).
上記によれば、仮想空間において必要な情報をユーザに違和感なく提供可能な情報処理装置を提供することができる。情報処理装置は、ユーザ端末またはサーバのいずれか一方である点に留意されたい。   According to the above, it is possible to provide an information processing apparatus that can provide necessary information in a virtual space to a user without feeling uncomfortable. It should be noted that the information processing apparatus is either a user terminal or a server.
[本開示が示す実施形態の詳細]
以下、本開示が示す実施形態について図面を参照しながら説明する。本実施形態の説明において既に説明された要素と同一の参照番号を有する要素については、説明の便宜上、その説明は繰り返さない。
[Details of Embodiments Presented by the Present Disclosure]
Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. For the convenience of explanation, the description of the elements having the same reference numerals as those already described in the description of the present embodiment will not be repeated.
最初に、仮想空間配信システム100(情報処理システム)の構成の概略について図1を参照して説明する。図1は、仮想空間配信システム100(以下、単に配信システム100という。)の概略図である。図1に示すように、配信システム100は、ヘッドマウントデバイス(HMD)110(第一HMD)を装着したユーザA(第一ユーザ)によって操作されるユーザ端末1A(第一ユーザ端末)と、HMD110(第二HMD)を装着したユーザB(第二ユーザ)によって操作されるユーザ端末1B(第二ユーザ端末)と、サーバ2とを備える。ユーザ端末1A,1Bは、インターネット等の通信ネットワーク3を介してサーバ2に通信可能に接続されている。以降では、説明の便宜上、各ユーザ端末1A,1Bを単にユーザ端末1と総称する場合がある。各ユーザA,Bを単にユーザUと総称する場合がある。本実施形態では、ユーザ端末1A,1Bは、同一の構成を備えているものとする。仮想空間とは、VR(Virtual Reality)空間と、AR(Argumented Reality)空間と、MR(Mixed Reality)空間を含む。   First, an outline of the configuration of the virtual space distribution system 100 (information processing system) will be described with reference to FIG. FIG. 1 is a schematic diagram of a virtual space distribution system 100 (hereinafter simply referred to as distribution system 100). As shown in FIG. 1, the distribution system 100 includes a user terminal 1A (first user terminal) operated by a user A (first user) wearing a head mounted device (HMD) 110 (first HMD), and an HMD 110. A user terminal 1B (second user terminal) operated by a user B (second user) wearing the (second HMD) and a server 2 are provided. User terminals 1A and 1B are communicably connected to a server 2 via a communication network 3 such as the Internet. Hereinafter, for convenience of explanation, the user terminals 1A and 1B may be simply referred to as the user terminal 1 in some cases. Each user A and B may be simply referred to as a user U. In the present embodiment, the user terminals 1A and 1B are assumed to have the same configuration. The virtual space includes a VR (Virtual Reality) space, an AR (Arranged Reality) space, and an MR (Mixed Reality) space.
次に、図2を参照してユーザ端末1の構成について説明する。図2は、ユーザ端末1を示す概略図である。図2に示すように、ユーザ端末1は、ユーザUの頭部に装着されたヘッドマウントデバイス(HMD)110と、ヘッドフォン116と、位置センサ130と、外部コントローラ320と、制御装置120とを備える。   Next, the configuration of the user terminal 1 will be described with reference to FIG. FIG. 2 is a schematic diagram showing the user terminal 1. As shown in FIG. 2, the user terminal 1 includes a head mounted device (HMD) 110 mounted on the head of the user U, a headphone 116, a position sensor 130, an external controller 320, and a control device 120. .
HMD110は、表示部112と、HMDセンサ114と、注視センサ140とを備える。表示部112は、HMD110を装着したユーザUの視界(視野)を完全に覆うように構成された非透過型の表示装置を備える。これにより、ユーザUは、表示部112に表示された視野画像のみを見ることで仮想空間に没入することができる。表示部112は、ユーザUの左目に画像を提供するように構成された左目用表示部と、ユーザUの右目に画像を提供するように構成された右目用表示部とから構成されてもよい。HMD110は、透過型の表示装置を備えてもよい。この場合、透過型の表示装置は、その透過率を調整することで、一時的に非透過型の表示装置として構成されてもよい。   The HMD 110 includes a display unit 112, an HMD sensor 114, and a gaze sensor 140. The display unit 112 includes a non-transmissive display device configured to completely cover the field of view (field of view) of the user U wearing the HMD 110. Thereby, the user U can immerse in the virtual space by viewing only the visual field image displayed on the display unit 112. The display unit 112 may include a left-eye display unit configured to provide an image to the user U's left eye and a right-eye display unit configured to provide an image to the user U's right eye. . The HMD 110 may include a transmissive display device. In this case, the transmissive display device may be temporarily configured as a non-transmissive display device by adjusting the transmittance.
HMDセンサ114は、HMD110の表示部112の近傍に搭載される。HMDセンサ114は、地磁気センサ、加速度センサ、傾きセンサ(角速度センサやジャイロセンサ等)のうちの少なくとも1つを含み、ユーザUの頭部に装着されたHMD110の各種動き(傾き等)を検出することができる。   The HMD sensor 114 is mounted in the vicinity of the display unit 112 of the HMD 110. The HMD sensor 114 includes at least one of a geomagnetic sensor, an acceleration sensor, and a tilt sensor (such as an angular velocity sensor and a gyro sensor), and detects various movements (tilt and the like) of the HMD 110 mounted on the user U's head. be able to.
注視センサ140は、ユーザUの視線を検出するアイトラッキング機能を有する。注視センサ140は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザUの右目に例えば赤外光を照射して、右目(特に、角膜や虹彩)から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザUの左目に例えば赤外光を照射して、左目(特に、角膜や虹彩)から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。   The gaze sensor 140 has an eye tracking function that detects the line of sight of the user U. The gaze sensor 140 may include, for example, a right eye gaze sensor and a left eye gaze sensor. The right eye gaze sensor irradiates, for example, infrared light to the right eye of the user U, and detects reflected light reflected from the right eye (particularly the cornea and iris), thereby acquiring information related to the rotation angle of the right eye's eyeball. May be. On the other hand, the left eye gaze sensor irradiates the left eye of the user U with, for example, infrared light, and detects reflected light reflected from the left eye (particularly the cornea and iris), thereby providing information on the rotation angle of the left eye's eyeball. May be obtained.
ヘッドフォン116(音声出力部)は、ユーザUの左耳と右耳にそれぞれ装着されている。ヘッドフォン116は、制御装置120から音声データ(電気信号)を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。   Headphones 116 (audio output units) are attached to the left and right ears of the user U, respectively. The headphones 116 are configured to receive audio data (electrical signals) from the control device 120 and output audio based on the received audio data.
位置センサ130は、例えば、ポジション・トラッキング・カメラにより構成され、HMD110と外部コントローラ320の位置を検出するように構成されている。位置センサ130は、制御装置120に無線または有線により通信可能に接続されており、HMD110に設けられた図示しない複数の検知点の位置、傾きまたは発光強度に関する情報を検出するように構成されている。位置センサ130は、外部コントローラ320に設けられた図示しない複数の検知点の位置、傾きおよび/または発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。位置センサ130は、赤外線センサや複数の光学カメラを含んでもよい。   The position sensor 130 is configured by, for example, a position tracking camera, and is configured to detect the positions of the HMD 110 and the external controller 320. The position sensor 130 is communicably connected to the control device 120 by wireless or wired communication, and is configured to detect information on the position, inclination, or light emission intensity of a plurality of detection points (not shown) provided in the HMD 110. . The position sensor 130 is configured to detect information regarding the position, inclination, and / or emission intensity of a plurality of detection points (not shown) provided in the external controller 320. The detection point is, for example, a light emitting unit that emits infrared light or visible light. The position sensor 130 may include an infrared sensor and a plurality of optical cameras.
外部コントローラ320は、ユーザUの手の動きを検知することにより、仮想空間内に表示される手オブジェクトの動作を制御するために使用される。外部コントローラ320は、ユーザUの右手によって操作される右手用外部コントローラ320R(以下、単にコントローラ320Rという。)と、ユーザUの左手によって操作される左手用外部コントローラ320L(以下、単にコントローラ320Lという。)と、を有する。コントローラ320Rは、ユーザUの右手の位置や右手の手指の動きを示す装置である。コントローラ320Lは、ユーザUの左手の位置や左手の手指の動きを示す装置である。コントローラ320R,320Lの動きに応じて仮想空間内に存在する左手オブジェクトおよび右手オブジェクトがそれぞれ動く。   The external controller 320 is used to control the movement of the hand object displayed in the virtual space by detecting the movement of the hand of the user U. The external controller 320 is an external controller 320R for right hand operated by the right hand of the user U (hereinafter simply referred to as controller 320R) and an external controller 320L for left hand operated by the left hand of the user U (hereinafter simply referred to as controller 320L). And). The controller 320R is a device that indicates the position of the right hand of the user U and the movement of the finger of the right hand. The controller 320L is a device that indicates the position of the left hand of the user U and the movement of the finger of the left hand. The left hand object and the right hand object existing in the virtual space move according to the movement of the controllers 320R and 320L.
制御装置120は、HMD110を制御するように構成されたコンピュータである。制御装置120は、位置センサ130から取得された情報に基づいて、HMD110の位置情報を特定し、当該特定された位置情報に基づいて、仮想空間における仮想カメラの位置(仮想空間内でのユーザUの位置)と、現実空間におけるHMD110を装着したユーザUの位置を正確に対応付けることができる。制御装置120は、位置センサ130および/または外部コントローラ320に内蔵されたセンサから取得された情報に基づいて、外部コントローラ320の動作を特定し、当該特定された外部コントローラ320の動作に基づいて、仮想空間内に表示される手オブジェクトの動作と現実空間における外部コントローラ320の動作を正確に対応付けることができる。特に、制御装置120は、位置センサ130および/またはコントローラ320Lに内蔵されたセンサから取得された情報に基づいて、コントローラ320Lの動作を特定し、当該特定されたコントローラ320Lの動作に基づいて、仮想空間内に表示される左手オブジェクトの動作と現実空間におけるコントローラ320Lの動作(ユーザUの左手の動作)を正確に対応付けることができる。同様に、制御装置120は、位置センサおよび/コントローラ320Rに内蔵されたセンサから取得された情報に基づいて、コントローラ320Rの動作を特定し、当該特定されたコントローラ320Rの動作に基づいて、仮想空間内に表示される右手オブジェクトの動作と現実空間におけるコントローラ320Rの動作(ユーザUの右手の動作)を正確に対応付けることができる。   The control device 120 is a computer configured to control the HMD 110. The control device 120 specifies the position information of the HMD 110 based on the information acquired from the position sensor 130, and based on the specified position information, the position of the virtual camera in the virtual space (the user U in the virtual space). And the position of the user U wearing the HMD 110 in the real space can be accurately associated with each other. The control device 120 identifies an operation of the external controller 320 based on information acquired from the position sensor 130 and / or a sensor incorporated in the external controller 320, and based on the identified operation of the external controller 320, The movement of the hand object displayed in the virtual space can be accurately associated with the movement of the external controller 320 in the real space. In particular, the control device 120 identifies the operation of the controller 320L based on the information acquired from the position sensor 130 and / or the sensor built in the controller 320L, and determines the virtual operation based on the identified operation of the controller 320L. The motion of the left hand object displayed in the space can be accurately associated with the motion of the controller 320L in the real space (the motion of the user U's left hand). Similarly, the control device 120 identifies the operation of the controller 320R based on the information acquired from the position sensor and / or the sensor incorporated in the controller 320R, and based on the identified operation of the controller 320R, the virtual space It is possible to accurately associate the motion of the right-hand object displayed inside with the motion of the controller 320R in real space (the motion of the right hand of the user U).
制御装置120は、ユーザUの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。制御装置120は、特定された注視点に基づいて、ユーザUの両目の視線(ユーザUの視線)を特定することができる。ユーザUの視線は、ユーザUの両目の視線であって、ユーザUの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。制御装置120は、注視センサ140(左目用注視センサと右目用注視センサ)から送信された検出データ(アイトラッキングデータ)に基づいて、ユーザUの右目の黒目の中心位置とユーザUの左目の黒目の中心位置とをそれぞれ特定することができる。   The control device 120 can identify the right eye line of sight and the left eye line of sight of the user U, respectively, and can identify the gaze point that is the intersection of the right eye line of sight and the left eye line of sight. The control device 120 can identify the line of sight of both eyes of the user U (the line of sight of the user U) based on the identified gazing point. The line of sight of the user U is the line of sight of both eyes of the user U, and coincides with the direction of a straight line passing through the middle point of the line segment connecting the right eye and the left eye of the user U and the gaze point. Based on the detection data (eye tracking data) transmitted from the gaze sensor 140 (the left eye gaze sensor and the right eye gaze sensor), the control device 120 and the user U's left eye black eye center position and the user U left eye black eye The center position of each can be specified.
次に、図3を参照して、HMD110の位置や傾きに関する情報を取得する方法について以下に説明する。図3は、HMD110を装着したユーザUの頭部を示す図である。HMD110を装着したユーザUの頭部の動きに連動したHMD110の位置や傾きに関する情報は、位置センサ130および/またはHMD110に搭載されたHMDセンサ114により検出可能である。図2に示すように、HMD110を装着したユーザUの頭部を中心として、3次元座標(uvw座標)が規定される。ユーザUが直立する垂直方向をv軸として規定し、v軸と直交しHMD110の中心を通る方向をw軸として規定し、v軸およびw軸と直交する方向をu軸として規定する。位置センサ130および/またはHMDセンサ114は、各uvw軸回りの角度(すなわち、v軸を中心とする回転を示すヨー角、u軸を中心とした回転を示すピッチ角、w軸を中心とした回転を示すロール角で決定される傾き)を検出する。制御装置120は、検出された各uvw軸回りの角度変化に基づいて、仮想カメラの視軸を制御するための角度情報を決定する。   Next, a method for acquiring information related to the position and inclination of the HMD 110 will be described below with reference to FIG. FIG. 3 is a diagram illustrating the head of the user U wearing the HMD 110. Information regarding the position and inclination of the HMD 110 that is linked to the movement of the head of the user U wearing the HMD 110 can be detected by the position sensor 130 and / or the HMD sensor 114 mounted on the HMD 110. As shown in FIG. 2, three-dimensional coordinates (uvw coordinates) are defined centering on the head of the user U wearing the HMD 110. The vertical direction in which the user U stands up is defined as the v-axis, the direction orthogonal to the v-axis and passing through the center of the HMD 110 is defined as the w-axis, and the direction orthogonal to the v-axis and the w-axis is defined as the u-axis. The position sensor 130 and / or the HMD sensor 114 is an angle around each uvw axis (that is, a yaw angle indicating rotation about the v axis, a pitch angle indicating rotation about the u axis, and a center about the w axis). The inclination determined by the roll angle indicating rotation) is detected. The control device 120 determines angle information for controlling the visual axis of the virtual camera based on the detected angle change around each uvw axis.
次に、図4を参照することで、制御装置120のハードウェア構成について説明する。図4は、制御装置120のハードウェア構成を示す図である。図4に示すように、制御装置120は、制御部121と、記憶部123と、I/O(入出力)インターフェース124と、通信インターフェース125と、バス126とを備える。制御部121と、記憶部123と、I/Oインターフェース124と、通信インターフェース125は、バス126を介して互いに通信可能に接続されている。   Next, the hardware configuration of the control device 120 will be described with reference to FIG. FIG. 4 is a diagram illustrating a hardware configuration of the control device 120. As illustrated in FIG. 4, the control device 120 includes a control unit 121, a storage unit 123, an I / O (input / output) interface 124, a communication interface 125, and a bus 126. The control unit 121, the storage unit 123, the I / O interface 124, and the communication interface 125 are connected to each other via a bus 126 so as to communicate with each other.
制御装置120は、HMD110とは別体に、パーソナルコンピュータ、スマートフォン、ファブレット、タブレットまたはウェアラブルデバイスとして構成されてもよいし、HMD110に内蔵されていてもよい。また、制御装置120の一部の機能がHMD110に搭載されると共に、制御装置120の残りの機能がHMD110とは別体の他の装置に搭載されてもよい。   The control device 120 may be configured as a personal computer, a smartphone, a fablet, a tablet, or a wearable device separately from the HMD 110, or may be built in the HMD 110. In addition, some functions of the control device 120 may be mounted on the HMD 110, and the remaining functions of the control device 120 may be mounted on another device separate from the HMD 110.
制御部121は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたROM(Read Only Memory)やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するRAM(Random Access Memory)等から構成される。プロセッサは、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)および/またはGPU(Graphics Processing Unit)であって、ROMに組み込まれた各種プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されている。   The control unit 121 includes a memory and a processor. The memory includes, for example, a ROM (Read Only Memory) in which various programs are stored, a RAM (Random Access Memory) having a plurality of work areas in which various programs executed by the processor are stored, and the like. The processor is, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and / or a GPU (Graphics Processing Unit), and a program specified from various programs incorporated in the ROM is expanded on the RAM. It is comprised so that various processes may be performed in cooperation with.
特に、プロセッサが制御プログラムをRAM上に展開し、RAMとの協働で制御プログラムを実行することで、制御部121は、制御装置120の各種動作を制御してもよい。制御部121は、視野画像データに基づいてHMD110の表示部112に視野画像を表示する。これにより、ユーザUは、仮想空間に没入することができる。   In particular, the control unit 121 may control various operations of the control device 120 by a processor developing a control program on a RAM and executing the control program in cooperation with the RAM. The control unit 121 displays a field image on the display unit 112 of the HMD 110 based on the field image data. Thereby, the user U can be immersed in the virtual space.
記憶部(ストレージ)123は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、USBフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部123は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現するための制御プログラムを格納してもよい。記憶部123には、ユーザUの認証プログラムや各種画像やオブジェクト(例えば、手オブジェクト等)に関するデータが格納されてもよい。記憶部123には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。   The storage unit (storage) 123 is a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a USB flash memory, and is configured to store programs and various data. The storage unit 123 may store a control program for causing a computer to execute at least a part of the information processing method according to the present embodiment, or a control program for realizing sharing of a virtual space by a plurality of users. The storage unit 123 may store data related to the user U authentication program, various images, and objects (for example, hand objects). In the storage unit 123, a database including a table for managing various data may be constructed.
I/Oインターフェース124は、HMD110と、位置センサ130と、外部コントローラ320と、ヘッドフォン116と、をそれぞれ制御装置120に通信可能に接続するように構成されており、例えば、USB(Universal Serial Bus)端子、DVI(Digital Visual Interface)端子、HDMI(登録商標)(High―Definition Multimedia Interface)端子等により構成されている。制御装置120は、HMD110と、位置センサ130と、外部コントローラ320と、ヘッドフォン116とのそれぞれと無線接続されていてもよい。   The I / O interface 124 is configured to connect the HMD 110, the position sensor 130, the external controller 320, and the headphones 116 to the control device 120 in a communicable manner. For example, a USB (Universal Serial Bus) is used. A terminal, a DVI (Digital Visual Interface) terminal, a HDMI (registered trademark) (High-Definition Multimedia Interface) terminal, and the like. The control device 120 may be wirelessly connected to each of the HMD 110, the position sensor 130, the external controller 320, and the headphones 116.
通信インターフェース125は、制御装置120をLAN(Local Area Network)、WAN(Wide Area Network)またはインターネット等の通信ネットワーク3に接続させるように構成されている。通信インターフェース125は、通信ネットワーク3を介してサーバ2等の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク3を介して通信するための通信規格に適合するように構成されている。   The communication interface 125 is configured to connect the control device 120 to a communication network 3 such as a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet. The communication interface 125 includes various wired connection terminals for communicating with an external device such as the server 2 via the communication network 3 and various processing circuits for wireless connection, and communicates via the communication network 3. It is configured to conform to the communication standard.
次に、図5を参照して外部コントローラ320の具体的構成の一例について説明する。外部コントローラ320は、ユーザUの身体の一部(頭部以外の部位であり、本実施形態においてはユーザUの手)の動きを検知することにより、仮想空間内に表示される手オブジェクトの動作を制御するために使用される。外部コントローラ320は、ユーザUの右手によって操作される右手用外部コントローラ320R(以下、単にコントローラ320Rという。)と、ユーザUの左手によって操作される左手用外部コントローラ320L(以下、単にコントローラ320Lという。)と、を有する。コントローラ320Rは、ユーザUの右手の位置や右手の手指の動きを示す装置である。また、コントローラ320Rの動きに応じて仮想空間内に存在する右手オブジェクト400R(図11参照)が移動する。コントローラ320Lは、ユーザUの左手の位置や左手の手指の動きを示す装置である。また、コントローラ320Lの動きに応じて仮想空間内に存在する左手オブジェクト400L(図11参照)が移動する。コントローラ320Rとコントローラ320Lは略同一の構成を有するので、以下では、図5を参照してコントローラ320Rの具体的構成についてのみ説明する。以降の説明では、便宜上、コントローラ320L,320Rを単に外部コントローラ320と総称する場合がある。   Next, an example of a specific configuration of the external controller 320 will be described with reference to FIG. The external controller 320 detects the movement of a part of the body of the user U (a part other than the head, which is the user U's hand in the present embodiment), thereby moving the hand object displayed in the virtual space. Used to control. The external controller 320 is an external controller 320R for right hand operated by the right hand of the user U (hereinafter simply referred to as controller 320R) and an external controller 320L for left hand operated by the left hand of the user U (hereinafter simply referred to as controller 320L). And). The controller 320R is a device that indicates the position of the right hand of the user U and the movement of the finger of the right hand. Further, the right hand object 400R (see FIG. 11) that exists in the virtual space moves according to the movement of the controller 320R. The controller 320L is a device that indicates the position of the left hand of the user U and the movement of the finger of the left hand. Further, the left-hand object 400L (see FIG. 11) that exists in the virtual space moves according to the movement of the controller 320L. Since the controller 320R and the controller 320L have substantially the same configuration, only the specific configuration of the controller 320R will be described below with reference to FIG. In the following description, for convenience, the controllers 320L and 320R may be simply referred to as the external controller 320.
図5に示すように、コントローラ320Rは、操作ボタン302と、複数の検知点304と、図示しないセンサと、図示しないトランシーバとを備える。検知点304とセンサは、どちらか一方のみが設けられていてもよい。操作ボタン302は、ユーザUからの操作入力を受付けるように構成された複数のボタン群により構成されている。操作ボタン302は、プッシュ式ボタン、トリガー式ボタン及びアナログスティックを含む。プッシュ式ボタンは、親指による押下する動作によって操作されるボタンである。例えば、天面322上に2つのプッシュ式ボタン302a,302bが設けられている。トリガー式ボタンは、人差し指や中指で引き金を引くような動作によって操作されるボタンである。例えば、グリップ324の前面部分にトリガー式ボタン302eが設けられると共に、グリップ324の側面部分にトリガー式ボタン302fが設けられる。トリガー式ボタン302e,302fは、人差し指と中指によってそれぞれ操作されることが想定されている。アナログスティックは、所定のニュートラル位置から360度任意の方向へ傾けて操作されうるスティック型のボタンである。例えば、天面322上にアナログスティック320iが設けられており、親指を用いて操作されることが想定されている。   As shown in FIG. 5, the controller 320R includes an operation button 302, a plurality of detection points 304, a sensor (not shown), and a transceiver (not shown). Only one of the detection point 304 and the sensor may be provided. The operation button 302 includes a plurality of button groups configured to accept an operation input from the user U. The operation button 302 includes a push button, a trigger button, and an analog stick. The push-type button is a button operated by an operation of pressing with a thumb. For example, two push buttons 302 a and 302 b are provided on the top surface 322. The trigger type button is a button operated by an operation of pulling a trigger with an index finger or a middle finger. For example, a trigger button 302 e is provided on the front surface portion of the grip 324, and a trigger button 302 f is provided on the side surface portion of the grip 324. The trigger type buttons 302e and 302f are assumed to be operated by the index finger and the middle finger, respectively. The analog stick is a stick-type button that can be operated by being tilted 360 degrees from a predetermined neutral position in an arbitrary direction. For example, it is assumed that an analog stick 320i is provided on the top surface 322 and is operated using a thumb.
コントローラ320Rは、グリップ324の両側面から天面322とは反対側の方向へ延びて半円状のリングを形成するフレーム326を備える。フレーム326の外側面には、複数の検知点304が埋め込まれている。複数の検知点304は、例えば、フレーム326の円周方向に沿って一列に並んだ複数の赤外線LEDである。位置センサ130は、複数の検知点304の位置、傾きまたは発光強度に関する情報を検出した後に、制御装置120は、位置センサ130によって検出された情報に基づいて、コントローラ320Rの位置や姿勢(傾き・向き)に関する情報を取得する。   The controller 320R includes a frame 326 that extends from both side surfaces of the grip 324 in a direction opposite to the top surface 322 to form a semicircular ring. A plurality of detection points 304 are embedded on the outer surface of the frame 326. The plurality of detection points 304 are, for example, a plurality of infrared LEDs arranged in a line along the circumferential direction of the frame 326. After the position sensor 130 detects information on the position, inclination, or light emission intensity of the plurality of detection points 304, the control device 120 detects the position or orientation (inclination / posture) of the controller 320 R based on the information detected by the position sensor 130. Get information about (orientation).
コントローラ320Rのセンサは、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせであってもよい。センサは、ユーザUがコントローラ320Rを動かしたときに、コントローラ320Rの向きや動きに応じた信号(例えば、磁気、角速度、又は加速度に関する情報を示す信号)を出力する。制御装置120は、センサから出力された信号に基づいて、コントローラ320Rの位置や姿勢に関する情報を取得する。   The sensor of the controller 320R may be, for example, a magnetic sensor, an angular velocity sensor, an acceleration sensor, or a combination thereof. When the user U moves the controller 320R, the sensor outputs a signal (for example, a signal indicating information related to magnetism, angular velocity, or acceleration) according to the direction or movement of the controller 320R. The control device 120 acquires information related to the position and orientation of the controller 320R based on the signal output from the sensor.
コントローラ320Rのトランシーバは、コントローラ320Rと制御装置120との間でデータを送受信するように構成されている。例えば、トランシーバは、ユーザUの操作入力に対応する操作信号を制御装置120に送信してもよい。また、トランシーバは、検知点304の発光をコントローラ320Rに指示する指示信号を制御装置120から受信してもよい。さらに、トランシーバは、センサによって検出された値を示す信号を制御装置120に送信してもよい。   The transceiver of the controller 320R is configured to transmit and receive data between the controller 320R and the control device 120. For example, the transceiver may transmit an operation signal corresponding to the operation input of the user U to the control device 120. The transceiver may receive an instruction signal for instructing the controller 320 </ b> R to emit light at the detection point 304 from the control device 120. Further, the transceiver may send a signal to the controller 120 indicating the value detected by the sensor.
次に、図6から図9を参照することで視野画像をHMD110に表示するための処理について説明する。図6は、視野画像をHMD110に表示する処理を示すフローチャートである。図7は、仮想空間200の一例を示すxyz空間図である。図8の状態(a)は、図7に示す仮想空間200のyx平面図である。図8の状態(b)は、図7に示す仮想空間200のzx平面図である。図9は、HMD110に表示された視野画像Vの一例を示す図である。   Next, processing for displaying a field-of-view image on the HMD 110 will be described with reference to FIGS. 6 to 9. FIG. 6 is a flowchart showing a process for displaying the visual field image on the HMD 110. FIG. 7 is an xyz space diagram showing an example of the virtual space 200. The state (a) in FIG. 8 is a yx plan view of the virtual space 200 shown in FIG. The state (b) of FIG. 8 is a zx plan view of the virtual space 200 shown in FIG. FIG. 9 is a diagram illustrating an example of the visual field image V displayed on the HMD 110.
図6に示すように、ステップS1において、制御部121(図4参照)は、仮想カメラ300と、各種オブジェクトとを含む仮想空間200を示す仮想空間データを生成する。図7に示すように、仮想空間200は、中心位置210を中心とした全天球として規定される(図7では、上半分の天球のみが図示されている)。仮想空間200では、中心位置210を原点とするxyz座標系が設定されている。仮想カメラ300は、HMD110に表示される視野画像V(図9参照)を特定するための視軸Lを規定している。仮想カメラ300の視野を定義するuvw座標系は、現実空間におけるユーザUの頭部を中心として規定されたuvw座標系に連動するように決定される。HMD110を装着したユーザUの現実空間における移動に連動して、制御部121は、仮想カメラ300を仮想空間200内で移動させてもよい。   As shown in FIG. 6, in step S1, the control unit 121 (see FIG. 4) generates virtual space data indicating the virtual space 200 including the virtual camera 300 and various objects. As shown in FIG. 7, the virtual space 200 is defined as an omnidirectional sphere centered on the center position 210 (in FIG. 7, only the upper half celestial sphere is shown). In the virtual space 200, an xyz coordinate system having the center position 210 as an origin is set. The virtual camera 300 defines a visual axis L for specifying the visual field image V (see FIG. 9) displayed on the HMD 110. The uvw coordinate system that defines the visual field of the virtual camera 300 is determined so as to be linked to the uvw coordinate system that is defined around the head of the user U in the real space. The control unit 121 may move the virtual camera 300 in the virtual space 200 in conjunction with the movement of the user U wearing the HMD 110 in the real space.
次に、ステップS2において、制御部121は、仮想カメラ300の視野CV(図8参照)を特定する。具体的には、制御部121は、位置センサ130および/またはHMDセンサ114から送信されたHMD110の状態を示すデータに基づいて、HMD110の位置や傾きに関する情報を取得する。次に、制御部121は、HMD110の位置や傾きに関する情報に基づいて、仮想空間200内における仮想カメラ300の位置や向きを特定する。次に、制御部121は、仮想カメラ300の位置や向きから仮想カメラ300の視軸Lを決定し、決定された視軸Lから仮想カメラ300の視野CVを特定する。仮想カメラ300の視野CVは、HMD110を装着したユーザUが視認可能な仮想空間200の一部の領域に相当する(換言すれば、HMD110に表示される仮想空間200の一部の領域に相当する)。視野CVは、図8の状態(a)に示すxy平面において、視軸Lを中心とした極角αの角度範囲として設定される第一領域CVaと、図8の状態(b)に示すxz平面において、視軸Lを中心とした方位角βの角度範囲として設定される第二領域CVbとを有する。制御部121は、注視センサ140から送信されたユーザUの視線を示すデータに基づいてユーザUの視線を特定し、特定されたユーザUの視線とHMD110の位置や傾きに関する情報に基づいて、仮想カメラ300の向き(仮想カメラの視軸L)を決定してもよい。   Next, in step S2, the control unit 121 identifies the field of view CV (see FIG. 8) of the virtual camera 300. Specifically, the control unit 121 acquires information on the position and inclination of the HMD 110 based on data indicating the state of the HMD 110 transmitted from the position sensor 130 and / or the HMD sensor 114. Next, the control unit 121 identifies the position and orientation of the virtual camera 300 in the virtual space 200 based on information regarding the position and tilt of the HMD 110. Next, the control unit 121 determines the visual axis L of the virtual camera 300 from the position and orientation of the virtual camera 300 and specifies the visual field CV of the virtual camera 300 from the determined visual axis L. The visual field CV of the virtual camera 300 corresponds to a partial area of the virtual space 200 that can be viewed by the user U wearing the HMD 110 (in other words, corresponds to a partial area of the virtual space 200 displayed on the HMD 110). ). The visual field CV includes a first region CVa set as an angular range of the polar angle α around the visual axis L in the xy plane shown in the state (a) of FIG. 8, and xz shown in the state (b) of FIG. And a second region CVb set as an angle range of the azimuth angle β around the visual axis L in the plane. The control unit 121 identifies the line of sight of the user U based on the data indicating the line of sight of the user U transmitted from the gaze sensor 140, and based on the information regarding the identified line of sight of the user U and the position and inclination of the HMD 110, The orientation of the camera 300 (the visual axis L of the virtual camera) may be determined.
このように、制御部121は、位置センサ130および/またはHMDセンサ114からのデータに基づいて、仮想カメラ300の視野CVを特定することができる。HMD110を装着したユーザUが動くと、制御部121は、位置センサ130および/またはHMDセンサ114から送信されたHMD110の動きを示すデータに基づいて、仮想カメラ300の視野CVを更新することができる。つまり、制御部121は、HMD110の動きに応じて、視野CVを更新することができる。同様に、ユーザUの視線が変化すると、制御部121は、注視センサ140から送信されたユーザUの視線を示すデータに基づいて、仮想カメラ300の視野CVを更新してもよい。つまり、制御部121は、ユーザUの視線の変化に応じて、視野CVを変化させてもよい。   As described above, the control unit 121 can specify the visual field CV of the virtual camera 300 based on the data from the position sensor 130 and / or the HMD sensor 114. When the user U wearing the HMD 110 moves, the control unit 121 can update the visual field CV of the virtual camera 300 based on the data indicating the movement of the HMD 110 transmitted from the position sensor 130 and / or the HMD sensor 114. . That is, the control unit 121 can update the visual field CV according to the movement of the HMD 110. Similarly, when the line of sight of the user U changes, the control unit 121 may update the visual field CV of the virtual camera 300 based on the data indicating the line of sight of the user U transmitted from the gaze sensor 140. That is, the control unit 121 may change the visual field CV according to the change in the line of sight of the user U.
次に、ステップS3において、制御部121は、HMD110の表示部112に表示される視野画像Vを示す視野画像データを生成する。具体的には、制御部121は、仮想空間200を規定する仮想空間データと、仮想カメラ300の視野CVとに基づいて、視野画像データを生成する。   Next, in step S <b> 3, the control unit 121 generates visual field image data indicating the visual field image V displayed on the display unit 112 of the HMD 110. Specifically, the control unit 121 generates visual field image data based on virtual space data defining the virtual space 200 and the visual field CV of the virtual camera 300.
次に、ステップS4において、制御部121は、視野画像データに基づいて、HMD110の表示部112に視野画像Vを表示する(図8参照)。このように、HMD110を装着しているユーザUの動きに応じて、仮想カメラ300の視野CVが変化し、HMD110の表示部112に表示される視野画像Vが変化するので、ユーザUは仮想空間200に没入することができる。   Next, in step S4, the control unit 121 displays the field image V on the display unit 112 of the HMD 110 based on the field image data (see FIG. 8). As described above, the visual field CV of the virtual camera 300 is changed according to the movement of the user U wearing the HMD 110, and the visual field image V displayed on the display unit 112 of the HMD 110 is changed. I can immerse myself in 200.
仮想カメラ300は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部121は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。さらに、制御部121は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部121は、左目用視野画像データに基づいて、左目用表示部に左目用の視野画像を表示すると共に、右目用視野画像データに基づいて、右目用表示部に右目用の視野画像を表示する。このようにして、ユーザUは、左目用視野画像と右目用視野画像との間の視差により、視野画像を3次元的に視認することができる。   The virtual camera 300 may include a left-eye virtual camera and a right-eye virtual camera. In this case, the control unit 121 generates left-eye view image data indicating the left-eye view image based on the virtual space data and the view of the left-eye virtual camera. Further, the control unit 121 generates right-eye view image data indicating a right-eye view image based on the virtual space data and the view of the right-eye virtual camera. Thereafter, the control unit 121 displays the left-eye field image on the left-eye display unit based on the left-eye field image data, and also displays the right-eye field image on the right-eye display unit based on the right-eye field image data. Is displayed. In this way, the user U can visually recognize the visual field image three-dimensionally due to the parallax between the left-eye visual field image and the right-eye visual field image.
図6に示すステップS1〜S4の処理は1フレーム毎に実行されてもよい。例えば、動画のフレームレートが90fpsである場合、ステップS1〜S4の処理はΔT=1/90(秒)間隔で繰り返し実行されてもよい。このように、ステップS1〜S4の処理が所定間隔ごとに繰り返し実行されるため、HMD110の動作に応じて仮想カメラ300の視野が更新されると共に、HMD110の表示部112に表示される視野画像Vが更新される。   The processes in steps S1 to S4 shown in FIG. 6 may be executed for each frame. For example, when the frame rate of the moving image is 90 fps, the processes in steps S1 to S4 may be repeatedly executed at intervals of ΔT = 1/90 (seconds). As described above, since the processes in steps S1 to S4 are repeatedly performed at predetermined intervals, the visual field of the virtual camera 300 is updated according to the operation of the HMD 110, and the visual field image V displayed on the display unit 112 of the HMD 110. Is updated.
次に、図1に示すサーバ2のハードウェア構成について図10を参照して説明する。図10は、サーバ2のハードウェア構成を示す図である。図10に示すように、サーバ2は、制御部23と、記憶部22と、通信インターフェース21と、バス24とを備える。制御部23と、記憶部22と、通信インターフェース21は、バス24を介して互いに通信可能に接続されている。制御部23は、メモリとプロセッサを備えており、メモリは、例えば、ROMおよびRAM等から構成されると共に、プロセッサは、例えば、CPU、MPUおよび/またはGPUにより構成される。   Next, the hardware configuration of the server 2 shown in FIG. 1 will be described with reference to FIG. FIG. 10 is a diagram illustrating a hardware configuration of the server 2. As shown in FIG. 10, the server 2 includes a control unit 23, a storage unit 22, a communication interface 21, and a bus 24. The control unit 23, the storage unit 22, and the communication interface 21 are communicably connected to each other via a bus 24. The control unit 23 includes a memory and a processor. The memory includes, for example, a ROM and a RAM, and the processor includes, for example, a CPU, an MPU, and / or a GPU.
記憶部(ストレージ)22は、例えば、大容量のHDD等である。記憶部22は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現させるための制御プログラムを格納してもよい。また、記憶部22は、各ユーザを管理するためのユーザ管理情報や各種画像やオブジェクト(例えば、手オブジェクト等)に関するデータを格納してもよい。通信インターフェース21は、サーバ2を通信ネットワーク3に接続させるように構成されている。   The storage unit (storage) 22 is, for example, a large-capacity HDD. The storage unit 22 may store a control program for causing a computer to execute at least a part of the information processing method according to the present embodiment, or a control program for realizing sharing of a virtual space by a plurality of users. Further, the storage unit 22 may store user management information for managing each user and data regarding various images and objects (for example, hand objects). The communication interface 21 is configured to connect the server 2 to the communication network 3.
以下、本実施形態に係る仮想空間配信システム100の処理の流れを図11〜17を参照して詳細に説明する。図11の状態(a)は、HMD110と外部コントローラ320R,320Lを装着したユーザUが存在する現実空間を示す図である。図11の状態(b)は、仮想カメラ300と、各種の仮想オブジェクトとを含む仮想空間200を示す図である。図12は、本実施形態に係る情報処理方法を説明するためのフローチャートである。図13は、図11の状態(b)での視野画像V1を示す図である。   Hereinafter, the processing flow of the virtual space distribution system 100 according to the present embodiment will be described in detail with reference to FIGS. The state (a) of FIG. 11 is a diagram showing a real space where the user U wearing the HMD 110 and the external controllers 320R and 320L exists. The state (b) of FIG. 11 is a diagram showing a virtual space 200 including the virtual camera 300 and various virtual objects. FIG. 12 is a flowchart for explaining the information processing method according to the present embodiment. FIG. 13 is a diagram showing the visual field image V1 in the state (b) of FIG.
本実施形態において、仮想空間200は、仮想空間配信システム100により提供されるゲーム空間として構成されている。図11の状態(b)に示すように、仮想空間200は、仮想カメラ300と、コリジョンオブジェクト350(第一オブジェクトの一例)と、左手オブジェクト400Lと、右手オブジェクト400Rと、敵オブジェクト500(第二オブジェクトの一例)とを含む。制御部121は、これらのオブジェクトを含む仮想空間200を規定する仮想空間データを生成する。また、制御部121は、1フレーム毎に仮想空間データを更新してもよい。上記したように、仮想カメラ300は、図11の状態(a)に示すユーザUが装着しているHMD110の動きに連動する。つまり、仮想カメラ300の視野は、HMD110の動きに応じて更新される。仮想カメラ300は、ユーザUの一人称視点に関連付けられた視点を有する。   In the present embodiment, the virtual space 200 is configured as a game space provided by the virtual space distribution system 100. As shown in the state (b) of FIG. 11, the virtual space 200 includes a virtual camera 300, a collision object 350 (an example of a first object), a left hand object 400L, a right hand object 400R, and an enemy object 500 (second). An example of an object). The control unit 121 generates virtual space data that defines the virtual space 200 including these objects. The control unit 121 may update the virtual space data for each frame. As described above, the virtual camera 300 is interlocked with the movement of the HMD 110 worn by the user U shown in the state (a) of FIG. That is, the visual field of the virtual camera 300 is updated according to the movement of the HMD 110. The virtual camera 300 has a viewpoint associated with the first-person viewpoint of the user U.
コリジョンオブジェクト350は、HMD110を装着したユーザUに関連付けられたオブジェクトである。コリジョンオブジェクト350は、ユーザUと、仮想空間200内の他のオブジェクト(例えば、敵オブジェクト500)とのコリジョン判定(当たり判定)に供される。例えば、コリジョンオブジェクト350と敵オブジェクト500とが接触することで、ユーザUと敵オブジェクト500とが接触したことが判定される。コリジョンオブジェクト350は、例えば、仮想カメラ300の中心位置を中心とした直径Rを有する球状により規定されてもよい。以下の説明では、コリジョンオブジェクト350は、仮想カメラ300の中心位置を中心とした直径Rの球状に形成されているものとする。なお、コリジョンオブジェクト350は、透明体として構成されており、視野画像V(V1〜V4)内に表示されるものではない。   The collision object 350 is an object associated with the user U wearing the HMD 110. The collision object 350 is used for collision determination (hit determination) between the user U and another object (for example, the enemy object 500) in the virtual space 200. For example, when the collision object 350 and the enemy object 500 are in contact with each other, it is determined that the user U and the enemy object 500 are in contact with each other. The collision object 350 may be defined by a spherical shape having a diameter R with the center position of the virtual camera 300 as the center, for example. In the following description, it is assumed that the collision object 350 is formed in a spherical shape having a diameter R with the center position of the virtual camera 300 as the center. Note that the collision object 350 is configured as a transparent body and is not displayed in the field-of-view image V (V1 to V4).
左手オブジェクト400Lは、ユーザUの左手に装着される外部コントローラ320Lの動きに連動する。同様に、右手オブジェクト400Rは、ユーザUの右手に装着される外部コントローラ320Rの動きに連動する。これらの手オブジェクト400L,400Rは、所定の装備(例えば、図13に示す武器オブジェクト450)を備えていてもよい。なお、図13に示す例では、手オブジェクト400は、武器オブジェクト450として銃を備えているが、手オブジェクト400の操作によって、手オブジェクト400が装備する武器オブジェクト450の種類を変えることもできる。例えば、ユーザUは、コントローラ320を持ちながら、装備したい武器オブジェクト450に応じて定められている所定の動作を行うことで、銃に代えて、剣や弓矢などを手オブジェクト400に装備させることができる。   The left hand object 400L is interlocked with the movement of the external controller 320L attached to the left hand of the user U. Similarly, the right hand object 400R is interlocked with the movement of the external controller 320R attached to the right hand of the user U. These hand objects 400L and 400R may be provided with predetermined equipment (for example, a weapon object 450 shown in FIG. 13). In the example shown in FIG. 13, the hand object 400 includes a gun as the weapon object 450, but the type of the weapon object 450 equipped on the hand object 400 can be changed by operating the hand object 400. For example, the user U can equip the hand object 400 with a sword or a bow and arrow instead of the gun by performing a predetermined action determined according to the weapon object 450 to be equipped while holding the controller 320. it can.
敵オブジェクト500は、ユーザUに対して所定の影響を与えるオブジェクトであり、例えば、武器オブジェクト600(動作部分の一例)を備えている。制御部121は、敵オブジェクト500が武器オブジェクト600を用いてユーザUに対して攻撃を行う、すなわち、武器オブジェクト600によりコリジョンオブジェクト350に対して所定の動作を実行するように、敵オブジェクト500を制御する。敵オブジェクト500および武器オブジェクト600はコリジョンエリアをそれぞれ有している。本実施形態では、敵オブジェクト500および武器オブジェクト600のコリジョンエリアは、敵オブジェクト500および武器オブジェクト600を構成する領域(敵オブジェクト500および武器オブジェクト600の外形領域)にそれぞれ一致しているものとする。なお、図11や図13に示す例では、敵オブジェクト500は、武器オブジェクト600として剣(刀)を備えているが、武器オブジェクト600は敵オブジェクト500の種類や属性によって異なっており、例えば弓矢や銃などを装備している場合もある。   The enemy object 500 is an object that has a predetermined influence on the user U, and includes, for example, a weapon object 600 (an example of an action part). The control unit 121 controls the enemy object 500 so that the enemy object 500 attacks the user U using the weapon object 600, that is, the weapon object 600 performs a predetermined action on the collision object 350. To do. The enemy object 500 and the weapon object 600 each have a collision area. In the present embodiment, it is assumed that the collision areas of the enemy object 500 and the weapon object 600 coincide with the areas constituting the enemy object 500 and the weapon object 600 (outer areas of the enemy object 500 and the weapon object 600), respectively. 11 and 13, the enemy object 500 includes a sword (sword) as the weapon object 600. However, the weapon object 600 differs depending on the type and attribute of the enemy object 500. Sometimes equipped with guns.
敵オブジェクト500が備える武器オブジェクト600がコリジョンオブジェクト350に接触することで、ユーザUに所定の影響(コリジョン効果)が与えられる。具体的には、敵オブジェクト500の攻撃により武器オブジェクト600がコリジョンオブジェクト350に衝突することで、例えば、ユーザUは所定量のダメージを受け、ユーザUに関連付けられた所定のパラメータ、例えば、ユーザUのヒットポイント(以下、HPと称す)が減少する。   A predetermined influence (collision effect) is given to the user U when the weapon object 600 included in the enemy object 500 contacts the collision object 350. Specifically, when the weapon object 600 collides with the collision object 350 due to the attack of the enemy object 500, for example, the user U receives a predetermined amount of damage, and a predetermined parameter associated with the user U, for example, the user U Hit points (hereinafter referred to as HP) decrease.
なお、ユーザUは、手オブジェクト400を操作することにより、敵オブジェクト500に所定の影響を与えることができる。例えば、ユーザUの所定の動作により手オブジェクト400が備える武器オブジェクト450を用いて、敵オブジェクト500を攻撃し、敵オブジェクト500にダメージを与えることができる。   Note that the user U can affect the enemy object 500 by operating the hand object 400. For example, the enemy object 500 can be attacked and damaged by using the weapon object 450 included in the hand object 400 by a predetermined action of the user U.
以下、本実施形態に係る仮想空間配信システム100で提供されるゲームの進行処理の流れを、図12〜図17を参照して詳細に説明する。なお、本実施形態に係るゲームは、HMD110を装着したユーザUが仮想空間200内に配置された敵オブジェクト500と対戦する対戦ゲームである。上述の通り、ユーザUは、手オブジェクト400、あるいは手オブジェクト400が備える武器オブジェクト450を用いて、敵オブジェクト500を攻撃することもできるが、本実施形態では、敵オブジェクト500からユーザUが攻撃を受けた場合の処理を中心に説明する。   Hereinafter, the flow of the game progress process provided by the virtual space distribution system 100 according to the present embodiment will be described in detail with reference to FIGS. Note that the game according to the present embodiment is a battle game in which the user U wearing the HMD 110 battles the enemy object 500 placed in the virtual space 200. As described above, the user U can attack the enemy object 500 using the hand object 400 or the weapon object 450 included in the hand object 400, but in this embodiment, the user U attacks from the enemy object 500. A description will be given centering on the processing when received.
本対戦ゲームが開始されると、図12に示すステップS10において、制御部121(図3参照)は、仮想空間200を規定する仮想空間データと仮想カメラ300の視野CVとに基づいて視野画像データを生成し、視野画像データに基づいてHMD110の表示部112に視野画像を表示する。ステップS10は、図6に示すステップS1と同じである。例えば、仮想カメラ300が敵オブジェクト500の方向を向いている場合には、図13に示すように、視野画像V1内には敵オブジェクト500が表示される。   When this competitive game is started, in step S10 shown in FIG. 12, the control unit 121 (see FIG. 3) performs visual field image data based on the virtual space data defining the virtual space 200 and the visual field CV of the virtual camera 300. And the field image is displayed on the display unit 112 of the HMD 110 based on the field image data. Step S10 is the same as step S1 shown in FIG. For example, when the virtual camera 300 faces the enemy object 500, the enemy object 500 is displayed in the field-of-view image V1, as shown in FIG.
次に、ステップS12において、制御部121は、敵オブジェクト500からの攻撃がユーザUにヒットしたか、すなわち、敵オブジェクト500が備える武器オブジェクト600が仮想カメラ300の周囲に規定されたコリジョンエリアCAに衝突したか否かを判定する。図14に示すように仮想空間200内で武器オブジェクト600がコリジョンエリアCAと接触したと判定された場合には(ステップS12のYes)、ステップS14において、制御部121は、視野画像V1を暗転させる。ステップS14における処理は、視野画像の表示態様を異ならせる処理、例えば、ユーザUに与える視覚的効果を低減させる処理であればよく、視野画像V1を暗転させる代わりに、例えば、視野画像V1にぼかし処理を施してもよい。   Next, in step S <b> 12, the control unit 121 determines whether the attack from the enemy object 500 hits the user U, that is, the weapon object 600 included in the enemy object 500 is in the collision area CA defined around the virtual camera 300. Determine if there is a collision. As illustrated in FIG. 14, when it is determined that the weapon object 600 has contacted the collision area CA in the virtual space 200 (Yes in Step S12), the control unit 121 darkens the visual field image V1 in Step S14. . The processing in step S14 may be processing that changes the display mode of the visual field image, for example, processing that reduces the visual effect given to the user U. For example, instead of darkening the visual field image V1, the visual field image V1 is blurred. Processing may be performed.
次に、ステップS16において、制御部121は、図15に示す視野画像V2を表示部112に表示させる。図15に示す視野画像V2においては、その中央部に、敵オブジェクト500からの攻撃がユーザUにヒットしたことを示すための攻撃表示700が表示されるとともに、ユーザUのHPに関するHP表示720(第一表示の一例)が表示される。これにより、敵オブジェクト500から攻撃を受けたことや、受けた攻撃によって自らのHPがどの程度減少したかをユーザUが直感的に把握することができるとともに、このHP表示720や攻撃表示700により視界が狭くされる。   Next, in step S16, the control unit 121 causes the display unit 112 to display the visual field image V2 illustrated in FIG. In the field-of-view image V2 shown in FIG. 15, an attack display 700 for indicating that an attack from the enemy object 500 hits the user U is displayed at the center thereof, and an HP display 720 (HP display 720 regarding the HP of the user U) An example of the first display) is displayed. As a result, the user U can intuitively grasp the attack from the enemy object 500 and how much the HP has decreased due to the attack received, and the HP display 720 and the attack display 700 The field of view is narrowed.
ところで、武器オブジェクト600がコリジョンエリアCAに衝突してコリジョンエリアCAをすり抜けるような場合に、視野画像V2に武器オブジェクト600を表示させたままにしておくと、レンダリングされることが想定されていない武器オブジェクト600の内部がユーザUの視界に現れることとなり、不自然な視野画像となってしまう可能性がある。そのため、ステップS14において、制御部121は、武器オブジェクト600がコリジョンエリアCAに衝突してコリジョンエリアCAをすり抜ける間は、視野画像V2において、武器オブジェクト600を視野画像V2上で非表示とすることが好ましい。ここで、「武器オブジェクト600を視野画像V2上で非表示とする」方法としては、制御部121は、仮想空間200内に配置される武器オブジェクト600自体を非表示とするようにオブジェクト制御する処理を採用してもよく、HMD110の表示部112に視野画像V2をレンダリングする際に武器オブジェクト600はレンダリングしないようにする画像処理を採用してもよい。   By the way, when the weapon object 600 collides with the collision area CA and passes through the collision area CA, if the weapon object 600 is left displayed in the field-of-view image V2, a weapon that is not supposed to be rendered. The inside of the object 600 appears in the field of view of the user U, which may result in an unnatural visual field image. Therefore, in step S14, the control unit 121 may hide the weapon object 600 on the field image V2 in the field image V2 while the weapon object 600 collides with the collision area CA and passes through the collision area CA. preferable. Here, as a method of “hiding the weapon object 600 on the visual field image V <b> 2”, the control unit 121 performs object control so that the weapon object 600 itself arranged in the virtual space 200 is hidden. The weapon object 600 may not be rendered when rendering the visual field image V2 on the display unit 112 of the HMD 110.
また、図15に示すように、制御部121は、ステップS16で、視界の残余部分R1のうち、視野画像V2の周縁部の領域(以下、着色領域R2と称す)を仮想空間200の画像とは異なる色(例えば、赤色)で着色するような画像処理を施す。これにより、敵オブジェクト500から攻撃を受けた際の視界をさらに狭くすることができる。   Further, as shown in FIG. 15, in step S <b> 16, the control unit 121 sets a peripheral region (hereinafter referred to as a colored region R <b> 2) of the visual field image V <b> 2 of the remaining portion R <b> 1 of the view as an image of the virtual space 200. Is subjected to image processing such as coloring with a different color (for example, red). Thereby, the field of view when attacked from the enemy object 500 can be further narrowed.
次に、ステップS18において、制御部121は、図15に示す視野画像V2の表示開始から一定の時間が経過したか否かを判定する。一定の時間(例えば、2〜3秒間)が経過したと判定された場合には(ステップS18のYes)、ステップS20において、制御部121は、図16に示す視野画像V3を表示部112に表示する。ステップS20では、仮想カメラ300の向きに応じて敵オブジェクト500を再び表示させるとともに、視野画像V3のうち武器オブジェクト600を除く部分をグレースケールで表示させることで、視界が狭く(視覚的効果が低減)されている。なお、グレースケールではなく、視野画像V3のうち武器オブジェクト600を除く部分についてぼかし処理を施してもよい。このように、制御部121は、ステップS16における状態(第一状態)の視野画像V2を表示した後に、ステップS20において第一状態から継続してユーザUの視界を狭くするための状態(第二状態)の視野画像V3を表示部112に表示させる。これにより、ユーザUは、自己のHPが減少してきたことを容易に認識することができる。   Next, in step S18, the control unit 121 determines whether or not a certain time has elapsed from the start of display of the visual field image V2 shown in FIG. When it is determined that a certain time (for example, 2 to 3 seconds) has elapsed (Yes in Step S18), in Step S20, the control unit 121 displays the visual field image V3 illustrated in FIG. To do. In step S20, the enemy object 500 is displayed again according to the orientation of the virtual camera 300, and the portion of the visual field image V3 excluding the weapon object 600 is displayed in grayscale, thereby narrowing the field of view (reducing visual effects). ) Instead of grayscale, the blurring process may be performed on the portion of the visual field image V3 excluding the weapon object 600. Thus, after displaying the visual field image V2 in the state (first state) in step S16, the control unit 121 continues the state from the first state in step S20 (second state for narrowing the field of view of the user U). State) visual field image V3 is displayed on the display unit 112. Thereby, the user U can easily recognize that his / her HP has decreased.
なお、敵オブジェクト500から攻撃を受けた後で、攻撃表示700やHP表示720を含む視野画像V2の表示を継続させると、敵オブジェクト500からの再度の攻撃をユーザUが視認することができず、ゲーム性が損なわれる恐れがある。そこで、本実施形態では、視野画像V2(第一状態の視野画像)を一定時間表示させたのちに、視野画像V2の表示態様と異なる視野画像V3(第二状態の視野画像)を表示部112に表示させている。すなわち、第二状態である視野画像V3においては、攻撃表示700やHP表示720を非表示とするとともに、視野画像V3を例えばグレースケールで表示することで、ゲーム性を損なうことがない。   If the display of the visual field image V2 including the attack display 700 and the HP display 720 is continued after receiving an attack from the enemy object 500, the user U cannot visually recognize the attack from the enemy object 500 again. , There is a risk that the game nature is impaired. Therefore, in this embodiment, after the visual field image V2 (first state visual field image) is displayed for a certain period of time, the visual field image V3 (second state visual field image) different from the display mode of the visual field image V2 is displayed on the display unit 112. Is displayed. That is, in the visual field image V3 in the second state, the attack display 700 and the HP display 720 are not displayed, and the visual field image V3 is displayed, for example, in gray scale, so that the game performance is not impaired.
なお、視野画像V3において、武器オブジェクト600のみは視野画像V1と同様に、グレースケールやぼかし処理されていない表示態様、すなわち、カラー表示のままとしておくことが好ましい。すなわち、武器オブジェクト600のみカラー表示とすることで、視野画像V3内における武器オブジェクト600の視認性が武器オブジェクト600以外の部分の視認性よりも高くされていることが好ましい。これにより、ユーザUのHPが減少し、視界が狭くされた場合でも、攻撃部位である武器オブジェクト600の視認性が維持されるため、ゲーム性を向上させることができる。   In the view image V3, it is preferable that only the weapon object 600 is left in a display mode that is not subjected to grayscale or blurring processing, that is, in color display, like the view image V1. That is, it is preferable that the visibility of the weapon object 600 in the visual field image V <b> 3 is higher than the visibility of the portion other than the weapon object 600 by displaying only the weapon object 600 in color. As a result, even when the user U's HP decreases and the field of view is narrowed, the visibility of the weapon object 600 that is an attack site is maintained, so that the game performance can be improved.
次に、ステップS22において、制御部121は、ユーザUのHPが所定の閾値以下となったか否かを判定する。ユーザUのHPが所定の閾値以下となったと判定された場合には(ステップS22のYes)、ステップS24において、制御部121は、図17に示す視野画像V4(第三状態の視野画像)を表示部112に表示する。このステップS24では、視野画像V3をグレースケールで表示することに加えて、視野画像V4の周縁部である着色領域R2が、視野画像V4の中央部とは異なる色、例えば、中央部のグレー色よりも濃い色(濃灰色、黒色など)で着色される。これにより、視野画像V4では、ユーザUの視界がさらに狭くされている。このように、ユーザUのHPが所定の閾値を下回った場合には、視野画像V2(第一状態)や視野画像V3(第二状態)の表示態様とは異なる表示態様によりユーザUの視界が狭くされることで、ユーザUはHPの減少を段階的に認識することができる。なお、ユーザUのHPの減少に伴い、例えば着色領域R2の内辺が視野画像V4の中央側に徐々に寄ってくる(敵オブジェクト500を視認可能な範囲が徐々に小さくなる)ようにして、視界を段階的に狭めてもよい。   Next, in step S22, the control unit 121 determines whether or not the user U's HP is equal to or lower than a predetermined threshold. When it is determined that the HP of the user U is equal to or lower than the predetermined threshold (Yes in Step S22), in Step S24, the control unit 121 displays the visual field image V4 (third state visual field image) illustrated in FIG. It is displayed on the display unit 112. In this step S24, in addition to displaying the visual field image V3 in gray scale, the colored region R2 which is the peripheral portion of the visual field image V4 has a color different from the central part of the visual field image V4, for example, a gray color in the central part. It is colored with a darker color (dark gray, black, etc.). Thereby, in the visual field image V4, the field of view of the user U is further narrowed. Thus, when the user U's HP falls below a predetermined threshold, the user's U field of view is displayed in a display mode different from the display mode of the visual field image V2 (first state) and the visual field image V3 (second state). By being narrowed, the user U can recognize the decrease in HP in stages. As the HP of the user U decreases, for example, the inner side of the colored region R2 gradually approaches the center side of the visual field image V4 (the range in which the enemy object 500 can be visually recognized is gradually reduced) The field of view may be narrowed in stages.
次に、ステップS26において、制御部121は、ユーザUのHPがゼロになったか否かを判定する。ユーザUのHPがゼロになったと判定された場合には(ステップS26のYes)、ステップS28において、制御部121は、対戦ゲームを終了させ、対戦が終了した(ユーザUが負けた)ことをユーザUに通知(例えば、表示部112に表示)して、一連の処理を終了する。なお、ユーザUのHPがゼロになる前に、敵オブジェクト500が保有するHPがゼロになった場合には、制御部121は、対戦ゲームを終了させ、ユーザUが勝ったことを表示部112に表示させることができる。   Next, in step S26, the control unit 121 determines whether the HP of the user U has become zero. When it is determined that the HP of the user U has become zero (Yes in step S26), in step S28, the control unit 121 ends the battle game, and the battle is ended (the user U has lost). The user U is notified (for example, displayed on the display unit 112), and the series of processing ends. When the HP of the enemy object 500 becomes zero before the HP of the user U becomes zero, the control unit 121 ends the battle game, and the display unit 112 indicates that the user U has won. Can be displayed.
以上説明したように、制御部121は、敵オブジェクト500が備える武器オブジェクト600により仮想カメラ300のコリジョンエリアCAに対して例えば攻撃が実行された場合に、視界を狭くするためにHP表示720や攻撃表示700を視野画像V2内に表示するとともに、狭くされた視界の残余部分R1(着色領域R2を含む)について視野画像V2の表示態様を異ならせる処理、例えば、ユーザUに与える視覚的効果を低減させる処理(例えば、暗転処理や、着色/ぼかし処理)を施す。このように、ユーザUが敵オブジェクト500から攻撃された場合に、HP表示720等により視界を狭くするとともに狭くなった視界の残余部分R1の表示態様を異ならせて視覚的効果を低減させることで、ユーザUは攻撃を受けたことを直感的かつ違和感なく認識することができる。すなわち、この方法によれば、仮想空間200において必要な情報をユーザUに違和感なく提供することができる。   As described above, when the weapon object 600 included in the enemy object 500 performs an attack on the collision area CA of the virtual camera 300, for example, the control unit 121 displays the HP display 720 or the attack to narrow the field of view. The display 700 is displayed in the field-of-view image V2, and the process of making the display mode of the field-of-view image V2 different for the remaining portion R1 (including the colored region R2) of the narrowed field of view, for example, reducing the visual effect on the user U (For example, darkening processing or coloring / blurring processing). In this way, when the user U is attacked from the enemy object 500, the visual effect is reduced by narrowing the field of view with the HP display 720 and the like, and changing the display mode of the remaining portion R1 of the narrowed field of view. The user U can intuitively recognize that the attack has been received. That is, according to this method, necessary information in the virtual space 200 can be provided to the user U without a sense of incongruity.
なお、上記の実施形態では、仮想空間200内に配置される敵オブジェクト500は、武器オブジェクト600を用いて、ユーザUを攻撃するものとしているが、この例に限られない。例えば、敵オブジェクト500は、武器オブジェクト600を用いず、素手あるいは足など敵オブジェクト500の身体の一部でユーザUを攻撃するものであってもよい。この場合には、ユーザUを攻撃するための攻撃部位(敵オブジェクト500の手や足)が敵オブジェクト500の動作部分となる。   In the above embodiment, the enemy object 500 arranged in the virtual space 200 attacks the user U using the weapon object 600, but is not limited to this example. For example, the enemy object 500 may attack the user U with a part of the body of the enemy object 500 such as a bare hand or a foot without using the weapon object 600. In this case, an attack part (the hand or foot of the enemy object 500) for attacking the user U is an operation part of the enemy object 500.
また、上記の実施形態では、ステップS14にて視野画像V1を暗転させたのちに、ステップS16で視野画像V2にHP表示720や着色領域R2を表示することで視界を狭くしているが、この例に限られない。例えば、武器オブジェクト600がコリジョンオブジェクト350に衝突した場合に、視野画像V1を暗転させる代わりに、視野画像V2のHP表示720や着色領域R2ではない部分(残余部分R1)の視覚的効果を低減させてから、HP表示720や着色領域R2を表示するようにしてもよい。すなわち、視野画像全体の表示態様を変化させて視覚的効果が低減された後に視界を狭くするようにしてもよく、視界を狭くした後に、この狭くされた視界部分について表示態様を変化させて視覚的効果を低減させるようにしてもよい。さらに、武器オブジェクト600がコリジョンオブジェクト350に衝突した場合に、視野を振動させるような処理を施してもよい。   Further, in the above embodiment, after darkening the visual field image V1 in step S14, the field of view is narrowed by displaying the HP display 720 and the colored region R2 in the visual field image V2 in step S16. It is not limited to examples. For example, when the weapon object 600 collides with the collision object 350, the visual effect of the portion (residual portion R1) that is not the HP display 720 or the coloring region R2 of the visual field image V2 is reduced instead of darkening the visual field image V1. After that, the HP display 720 and the colored region R2 may be displayed. In other words, the visual field may be narrowed after the visual effect is reduced by changing the display mode of the entire visual field image. After the visual field is narrowed, the visual field is changed by changing the display mode for the narrowed visual field part. You may make it reduce a target effect. Further, when the weapon object 600 collides with the collision object 350, a process for vibrating the field of view may be performed.
また、ステップS16やステップS24で表示される着色領域R2は、視野画像の隅部すべてに設けられる必要はなく、視野画像の隅部の少なくとも一部(例えば、視野画像V2,V4の左端部分)のみに設けられていてもよい。また、ステップS16においては、例えば、HP表示720のみを表示してもよい(すなわち、攻撃表示700や着色領域R2は表示してもしなくてもよい)。   Further, the colored region R2 displayed in step S16 or step S24 does not have to be provided in all corners of the visual field image, and is at least a part of the corners of the visual field image (for example, the left end portions of the visual field images V2 and V4). It may be provided only. In step S16, for example, only the HP display 720 may be displayed (that is, the attack display 700 and the colored region R2 may or may not be displayed).
なお、上記の実施形態では、一人称視点のゲームを例として、仮想カメラ300を基準としてコリジョンオブジェクト350が規定されているがこの例に限られない。例えば、三人称視点のゲームである場合には、ユーザUに関連付けられたアバターオブジェクトが、仮想空間200内において仮想カメラ300から視認できる位置に配置してもよい。この場合、コリジョンオブジェクトは、アバターオブジェクトの外径領域と一致しているものとしても良く、アバターオブジェクトの周囲を取り囲む一定の範囲として規定してもよい。アバターオブジェクトに関連付けられたコリジョンオブジェクトに、敵オブジェクト500の攻撃により武器オブジェクト600が衝突した場合には、制御部121は、図12のステップS12以降の処理を進行させる。   In the above-described embodiment, the collision object 350 is defined with the virtual camera 300 as a reference, taking a first-person viewpoint game as an example. For example, in the case of a third-person viewpoint game, the avatar object associated with the user U may be arranged at a position that can be viewed from the virtual camera 300 in the virtual space 200. In this case, the collision object may coincide with the outer diameter area of the avatar object, or may be defined as a certain range surrounding the avatar object. When the weapon object 600 collides with the collision object associated with the avatar object due to the attack of the enemy object 500, the control unit 121 proceeds with the processing after step S12 in FIG.
以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。   As mentioned above, although embodiment of this indication was described, the technical scope of this invention should not be limitedly interpreted by description of this embodiment. This embodiment is an example, and it is understood by those skilled in the art that various modifications can be made within the scope of the invention described in the claims. The technical scope of the present invention should be determined based on the scope of the invention described in the claims and the equivalents thereof.
本実施形態の説明では、仮想空間200を示す仮想空間データがユーザ端末1側で更新されていることを前提としているが、仮想空間データはサーバ2側で更新されてもよい。さらに、視野画像に対応する視野画像データがユーザ端末1側で更新されていることを前提としているが、視野画像データはサーバ2側で更新されてもよい。この場合、ユーザ端末1は、サーバ2から送信された視野画像データに基づいて、HMD110に視野画像を表示する。   In the description of the present embodiment, it is assumed that the virtual space data indicating the virtual space 200 is updated on the user terminal 1 side, but the virtual space data may be updated on the server 2 side. Furthermore, although it is assumed that the visual field image data corresponding to the visual field image is updated on the user terminal 1 side, the visual field image data may be updated on the server 2 side. In this case, the user terminal 1 displays a field image on the HMD 110 based on the field image data transmitted from the server 2.
また、ユーザ端末1の制御部121によって実行される各種処理をソフトウェアによって実現するために、各種処理をコンピュータ(プロセッサ)に実行させるための制御プログラムが記憶部123またはメモリに予め組み込まれていてもよい。または、制御プログラムは、磁気ディスク(HDD、フロッピーディスク)、光ディスク(CD−ROM,DVD−ROM、Blu−rayディスク等)、光磁気ディスク(MO等)、フラッシュメモリ(SDカード、USBメモリ、SSD等)等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置120に接続されることで、当該記憶媒体に格納された制御プログラムが、記憶部123に組み込まれる。そして、記憶部123に組み込まれた制御プログラムがRAM上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部121は各種処理を実行する。   Further, in order to implement various processes executed by the control unit 121 of the user terminal 1 by software, a control program for causing the computer (processor) to execute various processes may be incorporated in the storage unit 123 or the memory in advance. Good. Alternatively, the control program includes a magnetic disk (HDD, floppy disk), an optical disk (CD-ROM, DVD-ROM, Blu-ray disk, etc.), a magneto-optical disk (MO, etc.), flash memory (SD card, USB memory, SSD). Etc.) may be stored in a computer-readable storage medium. In this case, when the storage medium is connected to the control device 120, the control program stored in the storage medium is incorporated into the storage unit 123. The control unit 121 executes various processes by loading the control program incorporated in the storage unit 123 onto the RAM and executing the loaded program.
また、制御プログラムは、通信ネットワーク3上のコンピュータから通信インターフェース125を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該制御プログラムが記憶部123に組み込まれる。   The control program may be downloaded from a computer on the communication network 3 via the communication interface 125. Similarly in this case, the downloaded control program is incorporated into the storage unit 123.
本実施形態において、仮想空間は、ユーザにVR(Virtual Reality)、AR(Argumented Reality)およびMR(Mixed Reality)といった、仮想体験を提供するために用いられる。仮想空間がVRを提供する場合、仮想空間の背景にはメモリに保存された背景データが使用される。仮想空間がARまたはMRを提供する場合、背景には現実空間が使用される。この場合、HMD110が透過型の表示装置(光学シースルーまたはビデオシースルー型の表示装置)を備えることにより、現実空間が背景として使用され得る。仮想空間がMRに適用される場合、オブジェクトは、現実空間によって影響を与えられてもよい。このように、仮想空間が背景や仮想オブジェクトといった仮想シーンを少なくとも一部に含むことにより、ユーザには当該仮想シーンとの相互作用が可能な仮想体験が提供され得る。   In this embodiment, the virtual space is used to provide a virtual experience such as VR (Virtual Reality), AR (Arranged Reality), and MR (Mixed Reality) to the user. When the virtual space provides VR, background data stored in the memory is used as the background of the virtual space. When the virtual space provides AR or MR, the real space is used as the background. In this case, the HMD 110 includes a transmissive display device (optical see-through or video see-through display device), so that the real space can be used as a background. If virtual space is applied to MR, the object may be influenced by real space. As described above, when the virtual space includes at least a part of a virtual scene such as a background or a virtual object, the user can be provided with a virtual experience capable of interacting with the virtual scene.
1,1A,1B:ユーザ端末
2:サーバ
3:通信ネットワーク
21:通信インターフェース
22:記憶部
23:制御部
24:バス
100:仮想空間配信システム
110:ヘッドマウントデバイス(HMD)
112:表示部
114:HMDセンサ
116:ヘッドフォン
118:マイク
120:制御装置
121:制御部
123:記憶部
124:I/Oインターフェース
125:通信インターフェース
126:バス
130:位置センサ
140:注視センサ
200,200A,200B:仮想空間
210:中心位置
300:仮想カメラ
320:外部コントローラ
320L:左手用外部コントローラ(コントローラ)
320R:右手用外部コントローラ(コントローラ)
350:コリジョンオブジェクト(第一オブジェクトの一例)
400L,400R:手オブジェクト
450:武器オブジェクト
500:敵オブジェクト(第二オブジェクトの一例)
600:武器オブジェクト(動作部分の一例)
700:攻撃表示
720:HP表示(第一表示の一例)
R1:残余部分
R2:着色領域
V,V1〜V4:視野画像
1, 1A, 1B: User terminal 2: Server 3: Communication network 21: Communication interface 22: Storage unit 23: Control unit 24: Bus 100: Virtual space distribution system 110: Head mounted device (HMD)
112: Display unit 114: HMD sensor 116: Headphone 118: Microphone 120: Control device 121: Control unit 123: Storage unit 124: I / O interface 125: Communication interface 126: Bus 130: Position sensor 140: Gaze sensor 200, 200A , 200B: Virtual space 210: Center position 300: Virtual camera 320: External controller 320L: Left hand external controller (controller)
320R: External controller for right hand (controller)
350: Collision object (example of first object)
400L, 400R: Hand object 450: Weapon object 500: Enemy object (example of second object)
600: Weapon object (example of moving part)
700: Attack display 720: HP display (example of first display)
R1: Residual portion R2: Colored regions V, V1 to V4: Field image

Claims (9)

  1. ヘッドマウントデバイスを備えたシステムにおける情報処理方法であって、
    (a)前記ヘッドマウントデバイスのユーザに関連付けられた第一オブジェクトと、動作部分を備え、前記動作部分によって前記第一オブジェクトに対して所定の動作を実行する第二オブジェクトと、を含む仮想空間を定義する仮想空間データを生成するステップと、
    (b)前記ヘッドマウントデバイスの動きおよび前記仮想空間データに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
    (c)前記動作部分により前記第一オブジェクトに対して前記所定の動作が実行されたことに基づいて、前記視野画像の視界を狭くするとともに前記視野画像の表示態様を異ならせる処理を施す第一状態の表示制御を行うステップと、
    前記ステップ(c)における前記第一状態の表示制御を行った後で、前記所定の動作が実行される前よりも、前記視野画像の視覚的効果を低減させるように前記視野画像の表示態様を変更する処理を施す第二状態の表示制御を行うステップと、
    を含み、
    前記ステップ()において、前記視野画像では、前記動作部分に基づく部分の視認性が前記動作部分に基づく部分以外の視認性よりも高くされている、情報処理方法。
    An information processing method in a system including a head mounted device,
    (A) a virtual space including a first object associated with a user of the head-mounted device and a second object that includes a motion part and performs a predetermined motion on the first object by the motion part. Generating virtual space data to be defined;
    (B) generating visual field image data indicating a visual field image displayed on the head mounted device based on the movement of the head mounted device and the virtual space data;
    (C) A first process of narrowing the field of view of the field-of-view image and changing the display mode of the field-of-view image based on the fact that the predetermined motion is performed on the first object by the motion part. A step of controlling the display of the state;
    ( D ) After performing the display control of the first state in the step (c) , the visual effect of the visual field image is reduced so as to reduce the visual effect of the visual field image than before the predetermined operation is performed . Performing display control of the second state for performing processing for changing the display mode ;
    Including
    In the step ( d ), in the visual field image, the visibility of a part based on the motion part is higher than the visibility of a part other than the part based on the motion part.
  2. 前記ステップ(c)において前記動作部分により前記第一オブジェクトに対して前記所定の動作が実行されている間は前記動作部分を前記視野画像において非表示とし、前記所定の動作の実行が終了したら前記動作部分を前記視野画像において再表示する、請求項に記載の情報処理方法。 In step (c), while the predetermined motion is being performed on the first object by the motion portion, the motion portion is not displayed in the visual field image, and the execution of the predetermined motion is completed. Then, the information processing method according to claim 1 , wherein the operation part is redisplayed in the visual field image .
  3. 前記ステップ()において、前記所定の動作に関連付けられる所定のパラメータに関する第一表示を前記視野画像に表示させることによって、前記第一状態の表示制御を行う、請求項1または2に記載の情報処理方法。 The information according to claim 1 or 2 , wherein in the step ( c ), display control of the first state is performed by displaying a first display relating to a predetermined parameter associated with the predetermined operation on the visual field image. Processing method.
  4. 前記ステップ()において、前記視野画像の隅部の視覚的効果を低減させることで前記視界を狭くするとともに、前記隅部よりも前記視野画像の中央側に前記第一表示を表示する、請求項に記載の情報処理方法。 In the step ( c ), the visual effect at the corner of the visual field image is reduced to narrow the field of view, and the first display is displayed on the center side of the visual field image from the corner. Item 4. The information processing method according to Item 3 .
  5. (e)前記所定の動作に関連付けられる所定のパラメータが閾値を下回った場合には、前記第一状態および前記第二状態での前記視野画像の表示態様とは異なる表示態様で、前記視野画像の前記視界を狭くする処理を施す第三状態の表示制御を行うステップを、さらに含む、請求項1から4のいずれか一項に記載の情報処理方法。 (E) When a predetermined parameter associated with the predetermined operation falls below a threshold value, the display mode is different from the display mode of the visual field image in the first state and the second state. The information processing method according to any one of claims 1 to 4 , further comprising a step of performing display control in a third state in which processing for narrowing the field of view is performed.
  6. 前記ステップ()において、前記動作部分に基づく部分はカラーで表示され、前記動作部分に基づく部分以外はグレースケールで表示されている、請求項1から5のいずれか一項に記載の情報処理方法。 In step (d), the portion based on the operation portion is displayed in color, other than the portion based on the operation portion is displayed in grayscale, processing according to any one of claims 1 5 Method.
  7. 請求項1からのいずれか一項に記載の情報処理方法をコンピュータに実行させるための情報処理プログラム。 An information processing program for causing a computer to execute the information processing method according to any one of claims 1 to 6 .
  8. ヘッドマウントデバイスを用いた情報処理システムであって、請求項1からのいずれか一項に記載の情報処理方法を実行するように構成された、情報処理システム。 An information processing system using a head-mounted device, the information processing system configured to execute the information processing method according to any one of claims 1 to 6 .
  9. プロセッサと、
    コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
    前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は請求項1からのいずれか一項に記載の情報処理方法を実行する、情報処理装置。
    A processor;
    An information processing apparatus comprising a memory for storing computer-readable instructions,
    The information processing apparatus executes the information processing method according to any one of claims 1 to 6 , when the computer-readable instruction is executed by the processor.
JP2017137121A 2017-07-13 2017-07-13 Information processing method, information processing program, information processing system, and information processing apparatus Active JP6416338B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017137121A JP6416338B1 (en) 2017-07-13 2017-07-13 Information processing method, information processing program, information processing system, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017137121A JP6416338B1 (en) 2017-07-13 2017-07-13 Information processing method, information processing program, information processing system, and information processing apparatus

Publications (2)

Publication Number Publication Date
JP6416338B1 true JP6416338B1 (en) 2018-10-31
JP2019020516A JP2019020516A (en) 2019-02-07

Family

ID=64017208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017137121A Active JP6416338B1 (en) 2017-07-13 2017-07-13 Information processing method, information processing program, information processing system, and information processing apparatus

Country Status (1)

Country Link
JP (1) JP6416338B1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002035408A (en) * 2000-07-26 2002-02-05 Namco Ltd Game machine, game processing method and recording medium
JP2002085828A (en) * 2000-09-20 2002-03-26 Namco Ltd Game system and information storage medium
JP2011206442A (en) * 2010-03-30 2011-10-20 Namco Bandai Games Inc Game system, program, and information storage medium
JP2011210019A (en) * 2010-03-30 2011-10-20 Namco Bandai Games Inc Program, information storage medium, and image generator
JP2011215724A (en) * 2010-03-31 2011-10-27 Namco Bandai Games Inc Program, information storage medium, and image generation system
JP2015232783A (en) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント Program and image creating device
JP6093473B1 (en) * 2016-08-19 2017-03-08 株式会社コロプラ Information processing method and program for causing computer to execute information processing method
WO2017037962A1 (en) * 2015-08-28 2017-03-09 株式会社タカラトミー Information processing device provided with head-mounted display

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002035408A (en) * 2000-07-26 2002-02-05 Namco Ltd Game machine, game processing method and recording medium
JP2002085828A (en) * 2000-09-20 2002-03-26 Namco Ltd Game system and information storage medium
JP2011206442A (en) * 2010-03-30 2011-10-20 Namco Bandai Games Inc Game system, program, and information storage medium
JP2011210019A (en) * 2010-03-30 2011-10-20 Namco Bandai Games Inc Program, information storage medium, and image generator
JP2011215724A (en) * 2010-03-31 2011-10-27 Namco Bandai Games Inc Program, information storage medium, and image generation system
JP2015232783A (en) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント Program and image creating device
WO2017037962A1 (en) * 2015-08-28 2017-03-09 株式会社タカラトミー Information processing device provided with head-mounted display
JP6093473B1 (en) * 2016-08-19 2017-03-08 株式会社コロプラ Information processing method and program for causing computer to execute information processing method

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
【PCゲーム】POINT BLANK【FPS】×| TEKK.CO, JPN6018011729, 5 December 2015 (2015-12-05) *
NINTENDO64(任天堂), JPN6018011734, 12 May 2012 (2012-05-12) *
PS3『バイナリードメイン』体験版をプレイしました, JPN6018011731, 8 February 2012 (2012-02-08) *
ゲーム紹介・お中身拝見!:ファークライ3:命懸けの南国リゾートへ。野生動物とも戦える、FPSスタイル, JPN6018011736, 18 May 2013 (2013-05-18) *
しんのすけ: "エレベーターアクション デスパレード ELEVATOR ACTION DEATHPARADE", 週刊ファミ通 第24巻 第49号, vol. 第24巻, JPN6018025404 *

Also Published As

Publication number Publication date
JP2019020516A (en) 2019-02-07

Similar Documents

Publication Publication Date Title
JP6408629B2 (en) Image rendering in response to user movement on a head-mounted display
AU2017200163B2 (en) Perception based predictive tracking for head mounted displays
US10489983B2 (en) Sensory stimulus management in head mounted display
US10279255B2 (en) Position-dependent gaming, 3-D controller, and handheld as a remote
US10636212B2 (en) Method for generating image to be displayed on head tracking type virtual reality head mounted display and image generation device
US9884248B2 (en) Display control method for head-mounted display (HMD) and image generation device
CN107376349B (en) Occluded virtual image display
JP5767386B1 (en) Head mounted display system, method for displaying on head mounted display, and program
US10279256B2 (en) Game medium, method of using the game medium, and game system for using the game medium
JP6240301B1 (en) Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program
US20180053337A1 (en) Information processing method and system for executing the same
JP2016158794A (en) Display control program, display control apparatus, and display control method
US10776991B2 (en) Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
JP6092437B1 (en) Virtual space image providing method and program thereof
JP6250592B2 (en) Head mounted display, information processing apparatus, display control method, and program
US20170354864A1 (en) Directional Interface Object
JP2016158795A (en) Display control program, display control apparatus, and display control method
JP6404196B2 (en) Virtual image display program, virtual image display device, and virtual image display method
JP5539945B2 (en) GAME DEVICE AND PROGRAM
US10115235B2 (en) Method for controlling head mounted display, and system for implemeting the method
JP4917664B1 (en) Image display device, game program, and game control method
US10620699B2 (en) Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
US8520901B2 (en) Image generation system, image generation method, and information storage medium
US10013812B2 (en) Method and system for controlling a head-mounted display system
JP6298432B2 (en) Image generation apparatus, image generation method, and image generation program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181003

R150 Certificate of patent or registration of utility model

Ref document number: 6416338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150