JP6203346B1 - Method, program, and recording medium for providing virtual space - Google Patents

Method, program, and recording medium for providing virtual space Download PDF

Info

Publication number
JP6203346B1
JP6203346B1 JP2016159702A JP2016159702A JP6203346B1 JP 6203346 B1 JP6203346 B1 JP 6203346B1 JP 2016159702 A JP2016159702 A JP 2016159702A JP 2016159702 A JP2016159702 A JP 2016159702A JP 6203346 B1 JP6203346 B1 JP 6203346B1
Authority
JP
Japan
Prior art keywords
virtual
hmd
virtual space
user
virtual camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016159702A
Other languages
Japanese (ja)
Other versions
JP2018028765A (en
Inventor
篤 猪俣
篤 猪俣
野口 裕弘
裕弘 野口
真弥 青山
真弥 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2016159702A priority Critical patent/JP6203346B1/en
Application granted granted Critical
Publication of JP6203346B1 publication Critical patent/JP6203346B1/en
Publication of JP2018028765A publication Critical patent/JP2018028765A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想空間への没入感を改善する。【解決手段】制御回路部(200)は、ユーザの第1操作(ステップS21)に基づいて、仮想空間(2)に配置された仮想オブジェクトの属性を変更し(ステップS23)、その後、第2操作が入力された時点(ステップS26)の仮想オブジェクトの属性に基づいて、仮想カメラ(1)の移動先を特定する(ステップS28)。【選択図】図11An object of the present invention is to improve a sense of immersion in a virtual space. A control circuit unit (200) changes an attribute of a virtual object placed in a virtual space (2) based on a first operation (step S21) by a user (step S23), and then performs a second operation. The movement destination of the virtual camera (1) is specified based on the attribute of the virtual object at the time when the operation is input (step S26) (step S28). [Selection] Figure 11

Description

本開示は、仮想空間を提供する方法、プログラム、および記録媒体に関する。   The present disclosure relates to a method, a program, and a recording medium that provide a virtual space.

特許文献1には、ヘッドマウントディスプレイ(Head−Mounted Dis
play:HMD)を用いてユーザに映像コンテンツを提供する際の視点を、三人称視点から映像コンテンツに登場する撮影対象からの視点である一人称視点に切り替えることが記載されている。
Patent Document 1 discloses a head-mounted display (Head-Mounted Dis).
It is described that the viewpoint at the time of providing video content to a user using play (HMD) is switched from a third person viewpoint to a first person viewpoint that is a viewpoint from a shooting target appearing in the video content.

特開2014−127987号公報(2014年7月7日公開)JP 2014-127987 A (released on July 7, 2014)

特許文献1に開示されたような映像コンテンツをHMDで楽しむ場合と異なり、HMDを装着したユーザの頭部の動きに連動させて視界を変更する仮想空間コンテンツを提供するに当たっては、視点位置を変更する際に仮想空間への没入感が損なわれないように留意する必要がある。例えば、ゲームを攻略する上での戦略を練る楽しみが失われないように、仮想空間の移動にある程度の制約を設けることが想定される。しかし、移動の制約を重要視するあまり、移動時の操作性が低下してしまっては、ゲームを進行する上でユーザにストレスを与えたり、仮想空間への没入感が損なわれたりすることになりかねない。   Unlike the case of enjoying video content as disclosed in Patent Document 1 with an HMD, the viewpoint position is changed in providing virtual space content that changes the field of view in conjunction with the movement of the head of the user wearing the HMD. It is necessary to be careful not to impair the sense of immersion in the virtual space. For example, it is assumed that a certain degree of restriction is imposed on the movement of the virtual space so as not to lose the pleasure of developing a strategy for capturing the game. However, too much emphasis is placed on movement restrictions, and if the operability at the time of movement deteriorates, the user may be stressed during the game and the sense of immersion in the virtual space may be impaired. It can be.

本開示は前記の課題を解決するためになされたものである。そして、その目的は、仮想空間への没入感を改善することにある。   This indication is made in order to solve the above-mentioned subject. The purpose is to improve the sense of immersion in the virtual space.

課題を解決するために、本開示に係る仮想空間を提供する方法は、頭部にヘッドマウントディスプレイ(以下、HMD)を装着したユーザに仮想空間を提供する方法であって、ユーザの仮想空間における基準視線を特定するステップと、仮想空間に配置され、基準視線に基づいてユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、仮想カメラの移動先を指定するオブジェクトを仮想空間に配置するステップと、ユーザにより入力された第1操作を受け付け、第1操作にしたがって、オブジェクトの属性を変更するステップと、第1操作よりも後にユーザにより入力された第2操作を受け付け、第2操作が入力された時点のオブジェクトの属性に含まれる、仮想空間における位置に関する情報に基づいて、仮想カメラの移動先を特定するステップと、移動先に仮想カメラを移動させるステップとを有する。   In order to solve the problem, a method of providing a virtual space according to the present disclosure is a method of providing a virtual space to a user wearing a head-mounted display (hereinafter, HMD) on a head, A step of specifying a reference line of sight, a step of specifying a virtual camera that is arranged in the virtual space and is set to be viewed by the user based on the reference line of sight, and an object that specifies a destination of the virtual camera are arranged in the virtual space Receiving a first operation input by the user, changing an attribute of the object according to the first operation, receiving a second operation input by the user after the first operation, Based on the information about the position in the virtual space included in the attribute of the object at the time when A identifying a Dosaki, and moving the virtual camera to the destination.

本開示によれば、仮想空間への没入感を改善し得る。   According to the present disclosure, it is possible to improve the feeling of immersion in the virtual space.

HMDシステムの構成を示す図である。It is a figure which shows the structure of a HMD system. 制御回路部のハード構成を示す図である。It is a figure which shows the hardware constitutions of a control circuit part. HMDに設定される視野座標系を例示する図である。It is a figure which illustrates the visual field coordinate system set to HMD. ユーザに提供される仮想空間の概要を説明する図である。It is a figure explaining the outline | summary of the virtual space provided to a user. 視界領域の断面を示す図である。It is a figure which shows the cross section of a visual field area | region. ユーザの視線方向を決定する方法を例示する図である。It is a figure which illustrates the method of determining a user's gaze direction. 右コントローラの構成を表す図である。It is a figure showing the structure of a right controller. 制御回路部の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of a control circuit part. HMDシステムが仮想空間をユーザに提供する処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of the process in which an HMD system provides a virtual space to a user. 仮想空間における仮想カメラの移動方法の一例を説明する図である。It is a figure explaining an example of the moving method of the virtual camera in virtual space. 移動方法の一例を実現するHMDシステム100の処理の流れを説明するシーケンス図である。It is a sequence diagram explaining the flow of processing of HMD system 100 which realizes an example of a movement method. 仮想空間における仮想カメラの移動方法の他の例を説明する図である。It is a figure explaining the other example of the moving method of the virtual camera in virtual space. 移動方法の他の例を実現するHMDシステム100の処理の流れを説明するシーケンス図である。It is a sequence diagram explaining the flow of a process of the HMD system 100 which implement | achieves the other example of the movement method. 仮想空間における仮想カメラの移動方法のさらに他の例を説明する図である。It is a figure explaining the further another example of the moving method of the virtual camera in virtual space. 移動方法のさらに他の例を実現するHMDシステム100の処理の流れを説明するシーケンス図である。It is a sequence diagram explaining the flow of a process of the HMD system which implement | achieves the further another example of the movement method.

[本発明の実施形態の詳細]
本発明の実施形態に係る仮想空間を提供する方法、および、プログラムの具体例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が本発明に含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を繰り返さない。
[Details of the embodiment of the present invention]
A specific example of a method and program for providing a virtual space according to an embodiment of the present invention will be described below with reference to the drawings. The present invention is not limited to these exemplifications, but is defined by the scope of claims for patent, and it is intended that all modifications within the meaning and scope equivalent to the scope of claims for patent are included in the present invention. In the following description, the same reference numerals are given to the same elements in the description of the drawings, and repeated description is not repeated.

(HMDシステム100の構成)
図1は、HMDシステム100の構成を示す図である。この図に示すように、HMDシステム100は、HMD110、HMDセンサ120、コントローラセンサ140、制御回路部200、およびコントローラ300を備えている。
(Configuration of HMD system 100)
FIG. 1 is a diagram showing a configuration of the HMD system 100. As shown in this figure, the HMD system 100 includes an HMD 110, an HMD sensor 120, a controller sensor 140, a control circuit unit 200, and a controller 300.

HMD110は、ユーザの頭部に装着される。HMD110は、非透過型の表示装置であるディスプレイ112、センサ114、および注視センサ130を備えている。HMD110は、右目用画像および左目用画像をディスプレイ112にそれぞれ表示することにより、ユーザの両目の視差に基づきユーザに立体的に視認される3次元画像を、ユーザに視認させる。これにより仮想空間をユーザに提供する。ディスプレイ112がユーザの眼前に配置されているので、ユーザは、ディスプレイ112に表示される画像を通じて仮想空間に没入できる。これにより、ユーザは仮想現実(Virtual Reality:VR)を体験することができる。仮想空間は、背景、ならびにユーザが操作可能な各種のオブジェクトおよびメニュー画像等を含み得る。   The HMD 110 is worn on the user's head. The HMD 110 includes a display 112 which is a non-transmissive display device, a sensor 114, and a gaze sensor 130. The HMD 110 displays a right-eye image and a left-eye image on the display 112, thereby allowing the user to visually recognize a three-dimensional image that is stereoscopically viewed by the user based on the parallax between both eyes of the user. This provides a virtual space to the user. Since the display 112 is disposed in front of the user's eyes, the user can immerse in the virtual space through an image displayed on the display 112. Thereby, the user can experience virtual reality (Virtual Reality: VR). The virtual space may include a background, various objects that can be operated by the user, menu images, and the like.

ディスプレイ112は、右目用画像を表示する右目用サブディスプレイと、左目用画像を表示する左目用サブディスプレイとを含んでもよい。または、ディスプレイ112は、右目用画像および左目用画像を共通の画面に表示する1つの表示装置であってもよい。このような表示装置として、たとえば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像および左目用画像を独立して交互に表示する表示装置が挙げられる。   The display 112 may include a right-eye sub-display that displays a right-eye image and a left-eye sub-display that displays a left-eye image. Alternatively, the display 112 may be a single display device that displays the right-eye image and the left-eye image on a common screen. As such a display device, for example, a display device that alternately displays a right-eye image and a left-eye image independently by switching a shutter so that the display image can be recognized only by one eye. .

また、本実施形態において、HMD110には、透過型ディスプレイが適用されてもよい。つまり、HMD110は、透過型HMDであってもよい。この場合、前記3次元画像を透過型ディスプレイに表示することによって、後述する仮想オブジェクトを現実空間に仮想的に配置することができる。これにより、ユーザは現実空間に仮想オブジェクトが配置された複合現実(Mixes Reality:MR)を体験することができる。本実施形態において、仮想現実や複合現実といった、ユーザが仮想オブジェクトと相互作用できる体験を仮想体験と称することがある。以下では、仮想現実を提供するための方法を一例として詳説する。   In the present embodiment, a transmissive display may be applied to the HMD 110. That is, the HMD 110 may be a transmissive HMD. In this case, a virtual object to be described later can be virtually arranged in the real space by displaying the three-dimensional image on the transmissive display. Thereby, the user can experience mixed reality (Mixes Reality: MR) in which virtual objects are arranged in the real space. In the present embodiment, an experience such as virtual reality or mixed reality in which a user can interact with a virtual object may be referred to as a virtual experience. Hereinafter, a method for providing virtual reality will be described in detail as an example.

(制御回路部200のハード構成)
図2は、制御回路部200のハード構成を示す図である。制御回路部200は、HMD110に仮想空間を提供させるためのコンピュータである。図2に示すように、制御回路部200は、プロセッサ、メモリ、ストレージ、入出力インターフェース、および通信インターフェースを備えている。これらは、データ伝送路としてのバスを通じて、制御回路部200内において互いに接続されている。
(Hard structure of the control circuit unit 200)
FIG. 2 is a diagram illustrating a hardware configuration of the control circuit unit 200. The control circuit unit 200 is a computer for causing the HMD 110 to provide a virtual space. As shown in FIG. 2, the control circuit unit 200 includes a processor, a memory, a storage, an input / output interface, and a communication interface. These are connected to each other in the control circuit unit 200 through a bus as a data transmission path.

プロセッサは、CPU(Central Processing Unit)、MPU(Micro-processing unit)、またはGPU(Graphics Processing Unit)等を含んで構成され、制御回路部200およびHMDシステム100全体の動作を制御する。   The processor includes a central processing unit (CPU), a micro-processing unit (MPU), a graphics processing unit (GPU), and the like, and controls operations of the control circuit unit 200 and the HMD system 100 as a whole.

メモリは、主記憶として機能する。メモリには、プロセッサによって処理されるプログラムおよび制御用データ(演算パラメータなど)が記憶される。メモリは、ROM(Read Only Memory)またはRAM(Random Access Memory)等を含んで構成され得る。   The memory functions as main memory. The memory stores a program processed by the processor and control data (such as calculation parameters). The memory may include a ROM (Read Only Memory) or a RAM (Random Access Memory).

ストレージは、補助記憶として機能する。ストレージには、HMDシステム100全体の動作を制御するためのプログラム、各種のシミュレーションプログラム、ユーザ認証プログラム、および、仮想空間を規定するための各種のデータ(画像およびオブジェクト等)が格納されている。さらには、各種のデータを管理するためのテーブルを含むデータベースがストレージに構築されていてもよい。ストレージは、フラッシュメモリまたはHDD(Hard Disc Drive)等を含んで構成され得る。   The storage functions as auxiliary storage. The storage stores a program for controlling the operation of the entire HMD system 100, various simulation programs, a user authentication program, and various data (images, objects, etc.) for defining a virtual space. Furthermore, a database including a table for managing various data may be constructed in the storage. The storage can be configured to include a flash memory or an HDD (Hard Disc Drive).

入出力インターフェースは、USB(Universal Serial Bus)端子、DVI(Digital Visual Interface)端子、HDMI(登録商標)(High-Definition Multimedia Interface)端子等の各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成されている。入出力インターフェースは、HMD110と、HMDセンサ120およびコントローラセンサ140を含む各種のセンサと、コントローラ300とを互いに接続する。   The input / output interface includes various wired connection terminals such as a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) terminal, and various wireless connection terminals. These processing circuits are included. The input / output interface connects the HMD 110, various sensors including the HMD sensor 120 and the controller sensor 140, and the controller 300 to each other.

通信インターフェースは、ネットワークNWを介して外部装置と通信するための各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成される。通信インターフェースは、LAN(Local Area Network)またはインターネットを介して通信するための各種の通信規格およびプロトコルに適合するように、構成されている。   The communication interface includes various wired connection terminals for communicating with an external device via the network NW, and various processing circuits for wireless connection. The communication interface is configured to conform to various communication standards and protocols for communicating via a LAN (Local Area Network) or the Internet.

制御回路部200は、ストレージに格納された所定のアプリケーションプログラムをメモリにロードして実行することによって、ユーザに仮想空間を提供する。プログラムの実行時に、メモリおよびストレージには、仮想空間内に配置される各種の仮想オブジェクトを操作したり、各種のメニュー画像等を表示および制御したりするための各種のプログラムが格納される。   The control circuit unit 200 provides a virtual space to the user by loading a predetermined application program stored in the storage into a memory and executing it. When the program is executed, the memory and the storage store various programs for operating various virtual objects arranged in the virtual space and displaying and controlling various menu images.

制御回路部200は、HMD110に搭載されていてもよいし、されていなくてもよい。すなわち制御回路部200は、HMD110から独立した別のハードウェア(たとえば、パーソナルコンピュータ、またはネットワークを通じてHMD110と通信可能なサーバ装置)であってもよい。制御回路部200は、複数のハードウェアの協働によって1または複数の機能が実装される形態の装置であってもよい。または、制御回路部200が有する全機能のうち一部の機能のみがHMD110に実装され、残りの機能が別のハードウェアに実装されていてもよい。   The control circuit unit 200 may or may not be mounted on the HMD 110. That is, the control circuit unit 200 may be another hardware independent of the HMD 110 (for example, a personal computer or a server device that can communicate with the HMD 110 through a network). The control circuit unit 200 may be a device in which one or a plurality of functions are implemented by cooperation of a plurality of hardware. Alternatively, only a part of all the functions of the control circuit unit 200 may be mounted on the HMD 110, and the remaining functions may be mounted on different hardware.

HMDシステム100を構成するHMD110等の各要素には、予め、グローバル座標系(基準座標系、xyz座標系)が設定されている。このグローバル座標系は、現実空間における、鉛直方向、鉛直方向と直交する横方向、ならびに、鉛直方向および横方向の双方と直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施形態では、グローバル座標系は視点座標系の一種であるため、グローバル座標系における横方向、鉛直方向(上下方向)、および前後方向を、それぞれx軸、y軸、z軸とする。具体的には、グローバル座標系のx軸は現実空間の横方向に平行であり、y軸は現実空間の鉛直方向に平行であり、z軸は現実空間の前後方向に平行である。   A global coordinate system (reference coordinate system, xyz coordinate system) is set in advance for each element such as the HMD 110 constituting the HMD system 100. This global coordinate system has three reference directions (axes) parallel to the vertical direction, the horizontal direction orthogonal to the vertical direction, and the front-rear direction orthogonal to both the vertical direction and the horizontal direction in the real space. In the present embodiment, since the global coordinate system is a kind of viewpoint coordinate system, the horizontal direction, vertical direction (vertical direction), and front-rear direction in the global coordinate system are set as an x-axis, a y-axis, and a z-axis, respectively. Specifically, the x-axis of the global coordinate system is parallel to the horizontal direction of the real space, the y-axis is parallel to the vertical direction of the real space, and the z-axis is parallel to the front-rear direction of the real space.

HMDセンサ120は、HMD110の動きを検出するためのポジション・トラッキング機能を有する。HMDセンサ120は、この機能によって、現実空間内におけるHMD110の位置および傾きを検出する。この検出を実現するために、HMD110は、図示しない複数の光源を備えている。各光源は、たとえば赤外線を発するLEDである。HMDセンサ120は、たとえば赤外線センサを含んで構成される。HMDセンサ120は、HMD110の光源から照射された赤外線を、赤外線センサによって検出することによって、HMD110の検出点を検出する。さらに、HMD110の検出点の検出値に基づき、ユーザの動きに応じたHMD110の現実空間内における位置および傾きを検出する。HMDセンサ120は、検出値の経時的変化に基づき、HMD110の位置および傾きの時間変化を決定することができる。   The HMD sensor 120 has a position tracking function for detecting the movement of the HMD 110. With this function, the HMD sensor 120 detects the position and inclination of the HMD 110 in the real space. In order to realize this detection, the HMD 110 includes a plurality of light sources (not shown). Each light source is, for example, an LED that emits infrared rays. The HMD sensor 120 includes, for example, an infrared sensor. The HMD sensor 120 detects the detection point of the HMD 110 by detecting the infrared ray irradiated from the light source of the HMD 110 with the infrared sensor. Further, based on the detection value of the detection point of the HMD 110, the position and inclination of the HMD 110 in the real space according to the user's movement are detected. The HMD sensor 120 can determine the time change of the position and inclination of the HMD 110 based on the change with time of the detected value.

HMDセンサ120は、光学カメラを含んで構成されてもよい。この場合、HMDセンサ120は、光学カメラによって得られたHMD110の画像情報に基づき、HMD110の位置および傾きを検出する。   The HMD sensor 120 may include an optical camera. In this case, the HMD sensor 120 detects the position and inclination of the HMD 110 based on the image information of the HMD 110 obtained by the optical camera.

HMDセンサ120の代わりに、HMD110が、センサ114を用いて自身の位置および傾きを検出してもよい。この場合、センサ114は、たとえば角速度センサ、地磁気センサ、加速度センサ、またはジャイロセンサであればよい。HMD110は、これらのうち少なくとも1つを用いる。センサ114が角速度センサである場合、センサ114は、HMD110の動きに応じて、HMD110の現実空間における3軸回りの角速度を経時的に検出する。HMD110は、角速度の検出値に基づき、HMD110の3軸回りの角度の時間的変化を決定し、さらに、角度の時間的変化に基づきHMD110の傾きを検出することができる。   Instead of the HMD sensor 120, the HMD 110 may detect its position and inclination using the sensor 114. In this case, the sensor 114 may be an angular velocity sensor, a geomagnetic sensor, an acceleration sensor, or a gyro sensor, for example. The HMD 110 uses at least one of these. When the sensor 114 is an angular velocity sensor, the sensor 114 detects the angular velocity around the three axes in the real space of the HMD 110 over time according to the movement of the HMD 110. The HMD 110 can determine the temporal change of the angle around the three axes of the HMD 110 based on the detected value of the angular velocity, and can detect the inclination of the HMD 110 based on the temporal change of the angle.

HMD110がセンサ114による検出値に基づきHMD110の位置および傾きを自ら検出する場合、HMDシステム100にHMDセンサ120は不要である。逆に、HMD110から離れた位置に配置されるHMDセンサ120がHMD110の位置および傾きを検出する場合、HMD110にセンサ114は不要である。   When the HMD 110 detects the position and inclination of the HMD 110 based on the detection value of the sensor 114, the HMD sensor 120 is not necessary for the HMD system 100. Conversely, when the HMD sensor 120 arranged at a position away from the HMD 110 detects the position and inclination of the HMD 110, the sensor 114 is not necessary for the HMD 110.

上述したように、グローバル座標系は現実空間の座標系と平行である。そのため、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMDセンサ120の傾きの検出値に基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザが物体を見る際の視点座標系に対応する。   As described above, the global coordinate system is parallel to the real space coordinate system. Therefore, each inclination of the HMD 110 detected by the HMD sensor 120 corresponds to each inclination around the three axes of the HMD 110 in the global coordinate system. The HMD sensor 120 sets the uvw visual field coordinate system to the HMD 110 based on the detected value of the inclination of the HMD sensor 120 in the global coordinate system. The uvw visual field coordinate system set in the HMD 110 corresponds to a viewpoint coordinate system when a user wearing the HMD 110 views an object.

(uwv視野座標系)
図3は、HMD110に設定されるuwv視野座標系を例示する図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。そして、傾きの検出値に基づく3次元のuvw視野座標系を、HMD110に設定する。図3に示すように、HMDセンサ120は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を、HMD110に設定する。具体的には、グローバル座標系を規定する横方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって得られる新たな3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
(Uuv visual field coordinate system)
FIG. 3 is a diagram illustrating a uwv visual field coordinate system set in the HMD 110. The HMD sensor 120 detects the position and inclination of the HMD 110 in the global coordinate system when the HMD 110 is activated. Then, a three-dimensional uvw visual field coordinate system based on the detected tilt value is set in the HMD 110. As shown in FIG. 3, the HMD sensor 120 sets a three-dimensional uvw visual field coordinate system around the head of the user wearing the HMD 110 as the center (origin) in the HMD 110. Specifically, the horizontal direction, the vertical direction, and the front-rear direction (x axis, y axis, z axis) that define the global coordinate system are respectively set around each axis by an inclination around each axis of the HMD 110 in the global coordinate system. Three new directions obtained by tilting are set as the pitch direction (u-axis), yaw direction (v-axis), and roll direction (w-axis) of the uvw visual field coordinate system in the HMD 110.

図3に示すように、HMDセンサ120は、HMD110を装着したユーザが直立しかつ正面を視認している場合、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系の横方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)が、そのまま、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。   As shown in FIG. 3, when the user wearing the HMD 110 stands upright and visually recognizes the front, the HMD sensor 120 sets the uvw visual field coordinate system parallel to the global coordinate system to the HMD 110. In this case, the horizontal direction (x-axis), the vertical direction (y-axis), and the front-back direction (z-axis) of the global coordinate system are the same as the pitch direction (u-axis) and yaw direction (v of the uvw visual field coordinate system in the HMD 110. Axis) and the roll direction (w-axis).

HMDセンサ120は、HMD110にuvw視野座標系を設定した後、HMD110の動きに応じて、現在設定中のuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出することができる。この場合、HMDセンサ120は、HMD110の傾きとして、現在設定中のuvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度である。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度である。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度である。   After setting the uvw visual field coordinate system in the HMD 110, the HMD sensor 120 can detect the inclination (the amount of change in inclination) of the HMD 110 in the currently set uvw visual field coordinate system in accordance with the movement of the HMD 110. In this case, the HMD sensor 120 detects the pitch angle (θu), yaw angle (θv), and roll angle (θw) of the HMD 110 in the currently set uvw visual field coordinate system as the inclination of the HMD 110. The pitch angle (θu) is an inclination angle of the HMD 110 around the pitch direction in the uvw visual field coordinate system. The yaw angle (θv) is an inclination angle of the HMD 110 around the yaw direction in the uvw visual field coordinate system. The roll angle (θw) is an inclination angle of the HMD 110 around the roll direction in the uvw visual field coordinate system.

HMDセンサ120は、HMD110の傾きの検出値に基づき、動いた後のHMD110におけるuvw視野座標系を、新たにHMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きによらず常に一定である。HMD110の位置および傾きが変わると、それの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが同様に変化する。   Based on the detected value of the inclination of the HMD 110, the HMD sensor 120 newly sets the uvw visual field coordinate system in the HMD 110 after moving to the HMD 110. The relationship between the HMD 110 and the uvw visual field coordinate system of the HMD 110 is always constant regardless of the position and inclination of the HMD 110. When the position and inclination of the HMD 110 change, the position and inclination of the uvw visual field coordinate system of the HMD 110 in the global coordinate system similarly change in conjunction with the change.

HMDセンサ120は、赤外線センサによって取得される赤外線の光強度および複数の検出点間の相対位置関係(検出点間の距離等)に基づき、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、特定した相対位置に基づき、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。また、HMDセンサ120は、複数の検出点間の相対位置関係に基づきHMD110の現実空間内における傾きを検出し、さらに、その検出値に基づき現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の向きを決定してもよい。   The HMD sensor 120 determines the position of the HMD 110 in the real space relative to the HMD sensor 120 based on the infrared light intensity acquired by the infrared sensor and the relative positional relationship (distance between the detection points) between the plurality of detection points. You may specify as a position. The origin of the uvw visual field coordinate system of the HMD 110 in the real space (global coordinate system) may be determined based on the specified relative position. The HMD sensor 120 detects the inclination of the HMD 110 in the real space based on the relative positional relationship between the plurality of detection points, and further, based on the detected value, the uvw visual field coordinates of the HMD 110 in the real space (global coordinate system). The orientation of the system may be determined.

(仮想空間2の概要)
図4は、ユーザに提供される仮想空間2の概要を説明する図である。この図に示すように、仮想空間2は、中心21の360°方向全体を覆う全天球状の構造を有する。図4には、仮想空間2の全体のうち上半分の天球のみを例示する。仮想空間2には、略正方形または略長方形の複数のメッシュが関連付けられている。仮想空間2における各メッシュの位置は、仮想空間2に規定される空間座標系(XYZ座標系)における座標として、予め規定されている。制御回路部200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2における対応する各メッシュに対応付けることによって、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
(Outline of virtual space 2)
FIG. 4 is a diagram illustrating an outline of the virtual space 2 provided to the user. As shown in this figure, the virtual space 2 has a spherical structure that covers the entire 360 ° direction of the center 21. FIG. 4 illustrates only the upper half celestial sphere in the entire virtual space 2. A plurality of substantially square or substantially rectangular meshes are associated with the virtual space 2. The position of each mesh in the virtual space 2 is defined in advance as coordinates in a space coordinate system (XYZ coordinate system) defined in the virtual space 2. The control circuit unit 200 associates each partial image constituting content (still image, moving image, etc.) that can be developed in the virtual space 2 with each corresponding mesh in the virtual space 2, thereby enabling the virtual space image that can be visually recognized by the user. The virtual space 2 in which 22 is expanded is provided to the user.

仮想空間2には、中心21を原点とするXYZ空間座標系が規定されている。XYZ座標系は、たとえばグローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における横方向、鉛直方向(上下方向)、および前後方向を、それぞれX軸、Y軸、Z軸とする。すなわち、XYZ座標系のX軸(横方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(上下方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。   The virtual space 2 defines an XYZ space coordinate system with the center 21 as the origin. The XYZ coordinate system is parallel to the global coordinate system, for example. Since the XYZ coordinate system is a kind of viewpoint coordinate system, the horizontal direction, vertical direction (vertical direction), and front-rear direction in the XYZ coordinate system are defined as an X axis, a Y axis, and a Z axis, respectively. That is, the X axis (horizontal direction) of the XYZ coordinate system is parallel to the x axis of the global coordinate system, the Y axis (vertical direction) of the XYZ coordinate system is parallel to the y axis of the global coordinate system, and The Z axis (front-rear direction) is parallel to the z axis of the global coordinate system.

HMD110の起動時(初期状態)において、仮想空間2の中心21に仮想カメラ1が配置されている。仮想カメラ1は、現実空間内におけるHMD110の動きに連動して、仮想空間2内において同様に動く。これにより、現実空間内におけるHMD110の位置および向きの変化が、仮想空間2内において同様に再現される。   When the HMD 110 is activated (initial state), the virtual camera 1 is arranged at the center 21 of the virtual space 2. The virtual camera 1 moves similarly in the virtual space 2 in conjunction with the movement of the HMD 110 in the real space. Thereby, changes in the position and orientation of the HMD 110 in the real space are similarly reproduced in the virtual space 2.

仮想カメラ1には、HMD110と同様にuvw視野座標系が規定される。仮想空間2内における仮想カメラ1のuvw視野座標系は、現実空間(グローバル座標系)内におけるHMD110のuvw視野座標系に変動するように規定されている。したがって、HMD110の傾きが変化すると、それに連動して仮想カメラ1の傾きも変化する。仮想カメラ1は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。   As with the HMD 110, the uvw visual field coordinate system is defined for the virtual camera 1. The uvw visual field coordinate system of the virtual camera 1 in the virtual space 2 is defined to change to the uvw visual field coordinate system of the HMD 110 in the real space (global coordinate system). Therefore, when the inclination of the HMD 110 changes, the inclination of the virtual camera 1 also changes accordingly. The virtual camera 1 can also move in the virtual space 2 in conjunction with the movement of the user wearing the HMD 110 in the real space.

仮想空間2における仮想カメラ1の位置および傾きに応じて、仮想空間2における仮想カメラ1の向きが決まる。これにより、仮想空間2に展開される仮想空間画像22をユーザが視認する際の基準となる視線(基準視線5)が決まる。制御回路部200は、基準視線5に基づき、仮想空間2における視界領域23を決定する。視界領域23は、仮想空間2のうち、HMD110を装着したユーザの視界に対応する領域である。   The orientation of the virtual camera 1 in the virtual space 2 is determined according to the position and inclination of the virtual camera 1 in the virtual space 2. As a result, a line of sight (reference line of sight 5) as a reference when the user visually recognizes the virtual space image 22 developed in the virtual space 2 is determined. The control circuit unit 200 determines the visual field region 23 in the virtual space 2 based on the reference visual line 5. The visual field area 23 is an area corresponding to the visual field of the user wearing the HMD 110 in the virtual space 2.

図5は、視界領域23の断面を示す図である。図5の(a)に、仮想空間2において視界領域23をX方向から見たYZ断面を示す。図5の(b)に、仮想空間2において視界領域23をY方向から見たXZ断面を示す。視界領域23は、基準視線5と仮想空間2のYZ断面とによって定義される範囲である第1領域24(図5の(a)参照)と、基準視線5と仮想空間2のXZ断面とによって定義される範囲である第2領域25(図5の(b)参照)とを有する。制御回路部200は、仮想空間2における基準視線5を中心として極角αを含む範囲を、第1領域24として設定する。また、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、第2領域25として設定する。   FIG. 5 is a view showing a cross section of the visual field region 23. FIG. 5A shows a YZ cross section of the visual field region 23 viewed from the X direction in the virtual space 2. FIG. 5B shows an XZ cross-section of the visual field region 23 viewed from the Y direction in the virtual space 2. The visual field region 23 is defined by the first region 24 (see FIG. 5A) that is a range defined by the reference line of sight 5 and the YZ section of the virtual space 2, and the reference line of sight 5 and the XZ section of the virtual space 2. And a second region 25 (see FIG. 5B) which is a defined range. The control circuit unit 200 sets a range including the polar angle α around the reference line of sight 5 in the virtual space 2 as the first region 24. In addition, a range including the azimuth angle β around the reference line of sight 5 in the virtual space 2 is set as the second region 25.

HMDシステム100は、仮想空間画像22のうち視界領域23に重畳する部分である視界画像26をHMD110のディスプレイ112に表示させることによって、ユーザに仮想空間2を提供する。ユーザがHMD110を動かせば、それに連動して仮想カメラ1も動き、その結果、仮想空間2における視界領域23の位置が変化する。これによりディスプレイ112に表示される視界画像26が、仮想空間画像22のうち、仮想空間2においてユーザが向いた箇所(=視界領域23)に重畳する画像に更新される。したがってユーザは、仮想空間2における所望の箇所を視認することができる。   The HMD system 100 provides the user with the virtual space 2 by causing the display image 112 of the HMD 110 to display a view image 26 that is a portion of the virtual space image 22 that is superimposed on the view region 23. If the user moves the HMD 110, the virtual camera 1 also moves in conjunction with it, and as a result, the position of the visual field area 23 in the virtual space 2 changes. As a result, the view image 26 displayed on the display 112 is updated to an image that is superimposed on a portion of the virtual space image 22 where the user faces (= view region 23). Therefore, the user can visually recognize a desired location in the virtual space 2.

ユーザは、HMD110を装着している間、現実世界を目にすることなく、仮想空間2に展開される仮想空間画像22のみを視認する。そのためHMDシステム100は、仮想空間2への高い没入感をユーザに与えることができる。   While wearing the HMD 110, the user visually recognizes only the virtual space image 22 developed in the virtual space 2 without seeing the real world. Therefore, the HMD system 100 can give a high immersive feeling to the virtual space 2 to the user.

制御回路部200は、HMD110を装着したユーザの現実空間における移動に連動して、仮想カメラ1を仮想空間2内において移動させてもよい。この場合、制御回路部200は、仮想カメラ1の仮想空間2内における位置および向きに基づき、仮想空間2のうちHMD110のディスプレイ112に投影されることによってユーザが視認する視界領域23を特定する。   The control circuit unit 200 may move the virtual camera 1 in the virtual space 2 in conjunction with the movement of the user wearing the HMD 110 in the real space. In this case, the control circuit unit 200 identifies the visual field region 23 that is visually recognized by the user by being projected on the display 112 of the HMD 110 in the virtual space 2 based on the position and orientation of the virtual camera 1 in the virtual space 2.

仮想カメラ1は、右眼用画像を提供する右眼用仮想カメラと、左眼用画像を提供する左眼用仮想カメラとを含むことが好ましい。さらに、2つの仮想カメラには、ユーザが3次元の仮想空間2を認識できるように適切な視差が設定されていることが好ましい。本実施形態では、このような2つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるような仮想カメラ1のみを、代表して図示および説明するものとする。   The virtual camera 1 preferably includes a right-eye virtual camera that provides a right-eye image and a left-eye virtual camera that provides a left-eye image. Furthermore, it is preferable that appropriate parallax is set for the two virtual cameras so that the user can recognize the three-dimensional virtual space 2. In the present embodiment, only the virtual camera 1 in which the roll direction (w) generated by combining the roll directions of the two virtual cameras is adapted to the roll direction (w) of the HMD 110 is represented. Will be shown and described.

(視線方向の検出)
注視センサ130は、ユーザの右目および左目の視線が向けられる方向(視線方向)を検出するアイトラッキング機能を有する。注視センサ130として、アイトラッキング機能を有する公知のセンサを採用することができる。注視センサ130は、右目用センサおよび左目用センサを備えていることが好ましい。注視センサ130は、たとえば、ユーザの右目および左目に赤外光を照射すると共に、照射光に対する角膜および虹彩からの反射光を受光することによって、各眼球の回転角を検出するセンサでもよい。注視センサ130は、検出した各回転角に基づき、ユーザの視線方向を検知することができる。
(Gaze direction detection)
The gaze sensor 130 has an eye tracking function that detects the direction (gaze direction) in which the line of sight of the user's right eye and left eye is directed. As the gaze sensor 130, a known sensor having an eye tracking function can be employed. The gaze sensor 130 preferably includes a right eye sensor and a left eye sensor. The gaze sensor 130 may be, for example, a sensor that detects the rotation angle of each eyeball by irradiating the user's right eye and left eye with infrared light and receiving reflected light from the cornea and iris with respect to the irradiated light. The gaze sensor 130 can detect the direction of the user's line of sight based on each detected rotation angle.

注視センサ130によって検出されるユーザの視線方向は、ユーザが物体を視認する際の視点座標系における方向である。上述したように、HMD110のuvw視野座標系は、ユーザがディスプレイ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがってHMDシステム100では、注視センサ130によって検出されたユーザの視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向と見なすことができる。   The user's gaze direction detected by the gaze sensor 130 is a direction in the viewpoint coordinate system when the user visually recognizes the object. As described above, the uvw visual field coordinate system of the HMD 110 is equal to the viewpoint coordinate system when the user visually recognizes the display 112. Further, the uvw visual field coordinate system of the virtual camera 1 is linked to the uvw visual field coordinate system of the HMD 110. Therefore, in the HMD system 100, the user's line-of-sight direction detected by the gaze sensor 130 can be regarded as the user's line-of-sight direction in the uvw visual field coordinate system of the virtual camera 1.

図6は、ユーザの視線方向を決定する方法を例示する図である。この図に示すように、注視センサ130は、ユーザUの右目および左目の視線を検出する。ユーザUが近くを見ている場合、注視センサ130は、ユーザUの視線R1およびL1を検出する。ユーザが遠くを見ている場合、注視センサ130は、ユーザの視線R1およびL1よりも、HMD110のロール方向(w)とのなす角が小さい視線R2およびL2を特定する。注視センサ130は、検出値を制御回路部200に送信する。   FIG. 6 is a diagram illustrating a method of determining the user's line-of-sight direction. As shown in this figure, the gaze sensor 130 detects the line of sight of the right eye and the left eye of the user U. When the user U is looking nearby, the gaze sensor 130 detects the line of sight R1 and L1 of the user U. When the user looks far away, the gaze sensor 130 identifies the line of sight R2 and L2 that are smaller in angle with the roll direction (w) of the HMD 110 than the line of sight R1 and L1 of the user. The gaze sensor 130 transmits the detection value to the control circuit unit 200.

制御回路部200は、視線の検出値として視線R1およびL1を受信した場合、両者の交点である注視点N1を特定する。一方、視線R2およびL2を受信した場合も、両者の交点である注視点N1(不図示)を特定する。制御回路部200は、特定した注視点N1に基づき、ユーザUの視線方向N0を検出する。制御回路部200は、たとえば、ユーザUの右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の伸びる方向を、視線方向N0として検出する。視線方向N0は、ユーザUが両目により実際に視線を向けている方向である。視線方向N0はまた、視界領域23に対してユーザUが実際に視線を向けている方向でもある。   When receiving the line of sight R1 and L1 as the line-of-sight detection value, the control circuit unit 200 specifies the gazing point N1 that is the intersection of the two. On the other hand, also when the lines of sight R2 and L2 are received, the gazing point N1 (not shown) that is the intersection of the two is specified. The control circuit unit 200 detects the gaze direction N0 of the user U based on the identified gazing point N1. For example, the control circuit unit 200 detects, as the line-of-sight direction N0, the direction in which the straight line passing through the midpoint of the straight line connecting the right eye R and the left eye L of the user U and the gazing point N1 extends. The line-of-sight direction N0 is a direction in which the user U actually points the line of sight with both eyes. The line-of-sight direction N0 is also a direction in which the user U actually directs his / her line of sight with respect to the visual field region 23.

HMDシステム100は、HMDシステム100を構成するいずれかの要素に、マイクおよびスピーカを備えていてもよい。これにより、ユーザは仮想空間2内に対して、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、HMDシステム100はいずれかの要素にテレビジョン受像機を含んでいてもよい。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいてもよい。   The HMD system 100 may include a microphone and a speaker in any element constituting the HMD system 100. Thereby, the user can give a voice instruction to the virtual space 2. Further, in order to receive a broadcast of a television program on a virtual television in a virtual space, the HMD system 100 may include a television receiver as any element. Further, it may include a communication function or the like for displaying an electronic mail or the like acquired by the user.

(コントローラ300)
コントローラ300は、ユーザの身体の一部の動きを検知することにより、仮想オブジェクトの動きを制御するために用いる装置の一例である。図1に示すように、コントローラ300は、ユーザが右手に持って使用する右コントローラ320と、ユーザが左手に持って使用する左コントローラ330とからなる。右コントローラ320および左コントローラ330は、それぞれ別体の装置として構成される。ユーザは、右コントローラ320を持った右手と、左コントローラ330を持った左手とを動かすことにより、ユーザの手の動きに連動する仮想オブジェクト(以下、状況に応じて、可動オブジェクト、または具体的に、仮想手、仮想右手、仮想左手、などと称することがある。)を、自由に動かすことができる。なお、ユーザの頭部以外である身体の一部の動きを検知するための方法は、当該身体の一部に装着されるセンサを含むコントローラを用いる例に限られず、画像認識、その他任意の物理的、光学的な手法等を適用できる。例えば、外部カメラを用いてユーザの身体の一部の初期位置を特定し、継続的にユーザの身体の一部の位置を特定することにより、ユーザの頭部以外である身体の一部の動きを検知できる。以下の説明においては、コントローラ300を用いたユーザの頭部以外である身体の一部の動きの検知について詳述する。
(Controller 300)
The controller 300 is an example of an apparatus used to control the movement of a virtual object by detecting the movement of a part of the user's body. As shown in FIG. 1, the controller 300 includes a right controller 320 that the user uses with the right hand and a left controller 330 that the user uses with the left hand. The right controller 320 and the left controller 330 are configured as separate devices. The user moves the right hand with the right controller 320 and the left hand with the left controller 330 to move a virtual object (hereinafter referred to as a movable object, or more specifically, depending on the situation). , Virtual hand, virtual right hand, virtual left hand, etc.) can be moved freely. The method for detecting the movement of a part of the body other than the user's head is not limited to an example using a controller including a sensor attached to the part of the body. An optical method or the like can be applied. For example, by identifying the initial position of a part of the user's body using an external camera and continuously identifying the position of the part of the user's body, the movement of the part of the body other than the user's head Can be detected. In the following description, detection of movement of a part of the body other than the user's head using the controller 300 will be described in detail.

図1に示すように、右コントローラ320および左コントローラ330は、それぞれ、操作ボタン302、赤外線LED(Light Emitting Diode)304、センサ306、およびトランシーバ308を備えている。右コントローラ320および左コントローラ330は、赤外線LED304およびセンサ306のうちいずれか一方のみを備えていてもよい。図7は、右コントローラ320の構成を表す図である。以下の説明において、右コントローラ320および左コントローラ330は共通の構成を有するため、右コントローラ320の構成のみを説明する。   As shown in FIG. 1, the right controller 320 and the left controller 330 each include an operation button 302, an infrared LED (Light Emitting Diode) 304, a sensor 306, and a transceiver 308. The right controller 320 and the left controller 330 may include only one of the infrared LED 304 and the sensor 306. FIG. 7 is a diagram illustrating the configuration of the right controller 320. In the following description, since the right controller 320 and the left controller 330 have a common configuration, only the configuration of the right controller 320 will be described.

コントローラセンサ140は、右コントローラ320の動きを検出するためのポジション・トラッキング機能を有する。コントローラセンサ140は、現実空間内における右コントローラ320の位置および傾きを検出する。コントローラセンサ140は、右コントローラ320の赤外線LED304から発せられた赤外光を、それぞれ検出する。コントローラセンサ140は、赤外波長領域において画像を撮像する赤外カメラを備えており、この赤外カメラによって撮像した画像のデータに基づき、右コントローラ320の位置および傾きを検出する。   The controller sensor 140 has a position tracking function for detecting the movement of the right controller 320. The controller sensor 140 detects the position and inclination of the right controller 320 in the real space. The controller sensor 140 detects the infrared light emitted from the infrared LED 304 of the right controller 320, respectively. The controller sensor 140 includes an infrared camera that captures an image in the infrared wavelength region, and detects the position and inclination of the right controller 320 based on image data captured by the infrared camera.

コントローラセンサ140の代わりに、右コントローラ320が、センサ306を用いて自身の位置および傾きを検出してもよい。この場合、右コントローラ320の三軸角速度センサ(センサ306)が、右コントローラ320の3つの直交する各軸回りの回転を検出する。右コントローラ320は、各検出値に基づき、右コントローラ320がどちらの方向にどれだけ回転したかを検出し、逐次検出した回転方向と回転量とを累積することによって、右コントローラ320の傾きを算出する。右コントローラ320は、三軸角速度センサの検出値に加えて、三軸磁気センサおよび/または三軸加速度センサからの検出値を併用してもよい。   Instead of the controller sensor 140, the right controller 320 may detect its position and tilt using the sensor 306. In this case, the three-axis angular velocity sensor (sensor 306) of the right controller 320 detects the rotation of the right controller 320 around each of three orthogonal axes. The right controller 320 detects how much the right controller 320 has rotated in which direction based on each detection value, and calculates the inclination of the right controller 320 by accumulating the sequentially detected rotation direction and rotation amount. To do. The right controller 320 may use the detection value from the triaxial magnetic sensor and / or the triaxial acceleration sensor in addition to the detection value of the triaxial angular velocity sensor.

操作ボタン302は、コントローラ300に対するユーザからの操作入力を受け取るように構成された複数のボタン群である。本実施形態では、操作ボタン302は、プッシュ式ボタン、トリガー式ボタン、およびアナログスティックを含む。   The operation buttons 302 are a group of buttons configured to receive operation inputs from the user for the controller 300. In the present embodiment, the operation button 302 includes a push button, a trigger button, and an analog stick.

プッシュ式ボタンは、親指で下向きに押下する動作によって操作するように構成されたボタンである。右コントローラ320は、プッシュ式ボタンとして、天面322上に親指ボタン302aおよび302bを備えている。親指ボタン302aおよび302bは、いずれも右手の親指によって操作(押下)される。右手の親指によって親指ボタン302aおよび302bが押下され、または、天面322上に親指が配置されることにより、仮想右手の親指が伸ばした状態から曲げられた状態に変化される。   The push-type button is a button configured to be operated by an operation of pressing downward with a thumb. The right controller 320 includes thumb buttons 302a and 302b on the top surface 322 as push buttons. Both thumb buttons 302a and 302b are operated (pressed) with the thumb of the right hand. The thumb buttons 302a and 302b are pressed by the thumb of the right hand, or the thumb is placed on the top surface 322, whereby the thumb of the virtual right hand is changed from the extended state to the bent state.

トリガー式ボタンは、人差し指または中指で引き金を引くような動作によって操作するように構成されたボタンである。右コントローラ320は、トリガー式ボタンとして、グリップ324の前面部分に人差し指ボタン302eを備えている。人差し指ボタン302eを右手の人差し指によって操作することにより、仮想右手の人差し指が伸ばした状態から曲げられた状態に変化される。また、グリップ324の側面部分に中指ボタン302fを備えている。中指ボタン302fを右手の中指によって操作することにより、仮想右手の中指、薬指、小指が伸ばした状態から曲げられた状態に変化される。   The trigger type button is a button configured to be operated by an operation of pulling a trigger with an index finger or a middle finger. The right controller 320 includes an index finger button 302e on the front surface of the grip 324 as a trigger type button. By operating the index finger button 302e with the index finger of the right hand, the index finger of the virtual right hand is changed from the extended state to the bent state. Further, a middle finger button 302f is provided on a side surface portion of the grip 324. By operating the middle finger button 302f with the middle finger of the right hand, the middle finger, ring finger, and little finger of the virtual right hand are changed to the bent state.

右コントローラ320は、親指ボタン302aおよび302b、人差し指ボタン302e、ならびに中指ボタン302fの押下状態をそれぞれ検出し、これらの検出値を制御回路部200に出力する。   The right controller 320 detects the pressed state of the thumb buttons 302 a and 302 b, the index finger button 302 e, and the middle finger button 302 f, and outputs these detected values to the control circuit unit 200.

本実施形態では、右コントローラ320の各ボタンの押下状態の検出値は、0から1のいずれかの値を取り得る。たとえば、ユーザが親指ボタン302aをまったく押下していない場合、親指ボタン302aの押下状態として「0」が検出される。一方、ユーザが親指ボタン302aを完全に(最も深く)押下している場合、親指ボタン302aの押下状態として「1」が検出される。これにより、仮想手における各指の曲がり具合を調整してもよい。例えば、「0」の状態を指が伸びている状態として定義し、「1」の状態を指が曲げられている状態として定義することにより、ユーザは直感的な動作によって仮想手の指を制御することができる。   In the present embodiment, the detection value of the pressed state of each button of the right controller 320 can take any value from 0 to 1. For example, when the user has not pressed the thumb button 302a at all, “0” is detected as the pressing state of the thumb button 302a. On the other hand, when the user presses the thumb button 302a completely (deepest), “1” is detected as the pressing state of the thumb button 302a. Thereby, you may adjust the bending condition of each finger | toe in a virtual hand. For example, by defining the state of “0” as a state where the finger is extended and defining the state of “1” as a state where the finger is bent, the user controls the finger of the virtual hand by an intuitive operation. can do.

アナログスティックは、所定のニュートラル位置から360°任意の方向へ傾けて操作することが可能なスティック型のボタンである。右コントローラ320の天面322上にアナログスティック302iが設けられる。アナログスティック302iは、右手の親指によって操作される。   The analog stick is a stick-type button that can be operated by being tilted 360 degrees from a predetermined neutral position. An analog stick 302 i is provided on the top surface 322 of the right controller 320. The analog stick 302i is operated with the thumb of the right hand.

右コントローラ320は、グリップ324の両側面から天面322とは反対側の方向へ延びて半円状のリングを形成するフレーム326を備えている。フレーム326の外表面には、複数の赤外線LED304が埋め込まれている。   The right controller 320 includes a frame 326 that extends from both side surfaces of the grip 324 in a direction opposite to the top surface 322 to form a semicircular ring. A plurality of infrared LEDs 304 are embedded on the outer surface of the frame 326.

赤外線LED304は、コンピュータゲームのプレイ中に赤外線を発光する。赤外線LED304から発せられた赤外光は、右コントローラ320の位置および傾きを検出するために利用される。   The infrared LED 304 emits infrared light during the play of a computer game. Infrared light emitted from the infrared LED 304 is used to detect the position and tilt of the right controller 320.

右コントローラ320は、赤外線LED304の代わりに、または赤外線LED304に加えて、さらにセンサ306を内蔵する。センサ306は、たとえば磁気センサ、角速度センサ、若しくは加速度センサのいずれか、またはこれらの組み合わせであってよい。センサ306によって、右コントローラ320の位置および傾きを検出することができる。   The right controller 320 further incorporates a sensor 306 instead of or in addition to the infrared LED 304. The sensor 306 may be, for example, a magnetic sensor, an angular velocity sensor, an acceleration sensor, or a combination thereof. The position and inclination of the right controller 320 can be detected by the sensor 306.

トランシーバ308は、右コントローラ320と、制御回路部200との間でデータを送受信するように構成される。トランシーバ308は、ユーザが操作ボタン302を介して右コントローラ320に与えた操作入力に基づくデータを、制御回路部200へ送信する。また、トランシーバ308は、赤外線LED304の発光を右コントローラ320に指示する命令を、制御回路部200から受信する。さらに、トランシーバ308は、センサ306によって検出した各種の値に対応するデータを、制御回路部200へ送信する。   The transceiver 308 is configured to transmit and receive data between the right controller 320 and the control circuit unit 200. The transceiver 308 transmits data based on the operation input given to the right controller 320 by the user via the operation button 302 to the control circuit unit 200. The transceiver 308 also receives a command for instructing the right controller 320 to emit light from the infrared LED 304 from the control circuit unit 200. Further, the transceiver 308 transmits data corresponding to various values detected by the sensor 306 to the control circuit unit 200.

右コントローラ320は、ユーザの手に振動による触覚フィードバックを伝えるためのバイブレータを備えていてもよい。この構成では、トランシーバ308は、上述した各データの送受信に加えて、バイブレータに触覚フィードバックを行わせるための命令を制御回路部200から受信することができる。   The right controller 320 may include a vibrator for transmitting tactile feedback by vibration to the user's hand. In this configuration, the transceiver 308 can receive a command for causing the vibrator to perform tactile feedback from the control circuit unit 200 in addition to the transmission / reception of each data described above.

(制御回路部200の機能的構成)
図8は、制御回路部200の機能的構成を示すブロック図である。制御回路部200は、HMDセンサ120、コントローラセンサ140、注視センサ130、およびコントローラ300から受信した各種のデータを用いることによって、ユーザに提供される仮想空間2を制御すると共に、HMD110のディスプレイ112への画像表示を制御する。図8に示すように、制御回路部200は、検出部210、表示制御部220、仮想空間制御部230、記憶部240、および通信部250を備えている。制御回路部200は、図2に示す各ハードウェアの協働によって、検出部210、表示制御部220、仮想空間制御部230、記憶部240、および通信部250として機能する。検出部210、表示制御部220、および仮想空間制御部230は、主としてプロセッサおよびメモリの協働によってその機能が実現され得る。記憶部240は、主としてメモリおよびストレージの協働によってその機能が実現され得る。通信部250は、主としてプロセッサおよび通信インターフェースの協働によってその機能が実現され得る。
(Functional configuration of control circuit unit 200)
FIG. 8 is a block diagram showing a functional configuration of the control circuit unit 200. The control circuit unit 200 controls the virtual space 2 provided to the user by using various data received from the HMD sensor 120, the controller sensor 140, the gaze sensor 130, and the controller 300, and to the display 112 of the HMD 110. Control image display. As illustrated in FIG. 8, the control circuit unit 200 includes a detection unit 210, a display control unit 220, a virtual space control unit 230, a storage unit 240, and a communication unit 250. The control circuit unit 200 functions as a detection unit 210, a display control unit 220, a virtual space control unit 230, a storage unit 240, and a communication unit 250 by the cooperation of the hardware illustrated in FIG. The functions of the detection unit 210, the display control unit 220, and the virtual space control unit 230 can be realized mainly by the cooperation of the processor and the memory. The function of the storage unit 240 can be realized mainly by the cooperation of the memory and the storage. The function of the communication unit 250 can be realized mainly by the cooperation of the processor and the communication interface.

検出部210は、制御回路部200に接続される各種のセンサ(HMDセンサ120等)から検出値を受信する。また、必要に応じて、受信した検出値を用いた所定の処理を実行する。検出部210は、HMD検出部211、視線検出部212、およびコントローラ検出部213を備えている。HMD検出部211は、HMD110およびHMDセンサ120から検出値をそれぞれ受信する。視線検出部212は、注視センサ130から検出値を受信する。コントローラ検出部213は、コントローラセンサ140、右コントローラ320、および左コントローラ330から、それぞれの検出値を受信する。   The detection unit 210 receives detection values from various sensors (such as the HMD sensor 120) connected to the control circuit unit 200. Moreover, the predetermined process using the received detected value is performed as needed. The detection unit 210 includes an HMD detection unit 211, a line-of-sight detection unit 212, and a controller detection unit 213. The HMD detection unit 211 receives detection values from the HMD 110 and the HMD sensor 120, respectively. The line-of-sight detection unit 212 receives the detection value from the gaze sensor 130. The controller detection unit 213 receives detection values from the controller sensor 140, the right controller 320, and the left controller 330.

表示制御部220は、HMD110のディスプレイ112への画像表示を制御する。表示制御部220は、仮想カメラ制御部221、視界領域決定部222、および視界画像生成部223を備えている。仮想カメラ制御部221は、仮想空間2内に仮想カメラ1を配置すると共に、仮想空間2内における仮想カメラ1の挙動を制御する。視界領域決定部222は、視界領域23を決定する。視界画像生成部223は、決定された視界領域23に基づき、ディスプレイ112に表示される視界画像26を生成する。   The display control unit 220 controls image display on the display 112 of the HMD 110. The display control unit 220 includes a virtual camera control unit 221, a visual field region determination unit 222, and a visual field image generation unit 223. The virtual camera control unit 221 arranges the virtual camera 1 in the virtual space 2 and controls the behavior of the virtual camera 1 in the virtual space 2. The view area determination unit 222 determines the view area 23. The view image generation unit 223 generates a view image 26 displayed on the display 112 based on the determined view area 23.

仮想空間制御部230は、ユーザに提供される仮想空間2を制御する。仮想空間制御部230は、仮想空間規定部231、仮想手制御部232、ユーザインターフェース(UI)オブジェクト制御部233、および、移動先特定部234を備えている。   The virtual space control unit 230 controls the virtual space 2 provided to the user. The virtual space control unit 230 includes a virtual space defining unit 231, a virtual hand control unit 232, a user interface (UI) object control unit 233, and a movement destination specifying unit 234.

仮想空間規定部231は、ユーザに提供される仮想空間2を表す仮想空間データを生成することによって、HMDシステム100における仮想空間2を規定する。仮想手制御部232は、ユーザによる右コントローラ320および左コントローラ330の操作に応じたユーザの各仮想手(仮想右手および仮想左手)を仮想空間2内に配置すると共に、仮想空間2内における各仮想手の挙動を制御する。   The virtual space defining unit 231 defines the virtual space 2 in the HMD system 100 by generating virtual space data representing the virtual space 2 provided to the user. The virtual hand control unit 232 arranges each virtual hand (virtual right hand and virtual left hand) of the user in accordance with the operation of the right controller 320 and the left controller 330 by the user in the virtual space 2 and each virtual hand in the virtual space 2 Control hand behavior.

UIオブジェクト制御部233は、UIオブジェクトを仮想空間2内に配置すると共に、仮想空間2におけるUIオブジェクトの挙動を制御する。UIオブジェクトとは、仮想空間2に配置される仮想オブジェクトのうち、仮想カメラ1の移動先を指定するためのオブジェクトである。UIオブジェクトは、仮想空間2における位置に関する属性を含む。属性は、仮想空間における座標情報などを含む。座標情報は、UIオブジェクトの中心の座標、UIオブジェクトの外縁の座標、複数のUIオブジェクトの交点の座標などを示す情報である。UIオブジェクト制御部233は、ユーザによって入力される第1操作に基づいて、1以上のUIオブジェクトを配置し、配置したUIオブジェクトの上記座標情報を変更することにより、1以上の属性を変更する。   The UI object control unit 233 arranges the UI object in the virtual space 2 and controls the behavior of the UI object in the virtual space 2. The UI object is an object for designating the movement destination of the virtual camera 1 among the virtual objects arranged in the virtual space 2. The UI object includes an attribute related to the position in the virtual space 2. The attribute includes coordinate information in the virtual space. The coordinate information is information indicating the coordinates of the center of the UI object, the coordinates of the outer edge of the UI object, the coordinates of the intersection of a plurality of UI objects, and the like. The UI object control unit 233 arranges one or more UI objects based on the first operation input by the user, and changes one or more attributes by changing the coordinate information of the arranged UI objects.

移動先特定部234は、UIオブジェクトの属性に基づいて仮想カメラ1の移動先を特定する。移動先特定部234は、第1操作が入力された後、ユーザによって第2操作が入力された時点のUIオブジェクトの属性に基づいて、仮想空間2における、UIオブジェクトの所定の位置の座標を特定する。そして、当該座標を仮想カメラ1の移動先として特定する。移動先特定部234は、特定した移動先の仮想空間2における座標を、仮想カメラ制御部221に出力する。   The movement destination specifying unit 234 specifies the movement destination of the virtual camera 1 based on the attribute of the UI object. The movement destination specifying unit 234 specifies the coordinates of a predetermined position of the UI object in the virtual space 2 based on the attribute of the UI object at the time when the second operation is input by the user after the first operation is input. To do. Then, the coordinates are specified as the movement destination of the virtual camera 1. The movement destination specifying unit 234 outputs the coordinates of the specified movement destination in the virtual space 2 to the virtual camera control unit 221.

記憶部240は、制御回路部200が仮想空間2をユーザに提供するために用いる各種のデータを格納している。記憶部240は、雛形格納部241、コンテンツ格納部242、および変更規則格納部243を備えている。雛形格納部241は、仮想空間2の雛形を表す各種の雛形データを格納している。コンテンツ格納部242は、仮想空間2において再生可能な各種のコンテンツを格納している。変更規則格納部243は、UIオブジェクトの属性を変更するときの変更規則を格納している。UIオブジェクト制御部233は、第1操作に応じて、前記変更規則にしたがってUIオブジェクトの属性を変更する。   The storage unit 240 stores various data used by the control circuit unit 200 to provide the virtual space 2 to the user. The storage unit 240 includes a model storage unit 241, a content storage unit 242, and a change rule storage unit 243. The template storage unit 241 stores various template data representing the template of the virtual space 2. The content storage unit 242 stores various types of content that can be reproduced in the virtual space 2. The change rule storage unit 243 stores a change rule for changing the attribute of the UI object. The UI object control unit 233 changes the attribute of the UI object according to the change rule according to the first operation.

雛形データは、仮想空間2の空間構造を規定する空間構造データを有する。空間構造データは、たとえば、中心21を中心とする360°の全天球の空間構造を規定するデータである。雛形データは、仮想空間2のXYZ座標系を規定するデータをさらに有する。雛形データは、天球を構成する各メッシュのXYZ座標系における位置を特定する座標データをさらに有する。また、雛形データは、仮想空間2内に仮想オブジェクトを配置可能であるか否かを示すフラグをさらに有する。   The template data has spatial structure data that defines the spatial structure of the virtual space 2. The spatial structure data is data that defines the spatial structure of a 360-degree celestial sphere centered on the center 21, for example. The template data further includes data defining the XYZ coordinate system of the virtual space 2. The template data further includes coordinate data for specifying the position of each mesh constituting the celestial sphere in the XYZ coordinate system. The template data further includes a flag indicating whether or not a virtual object can be arranged in the virtual space 2.

コンテンツは、仮想空間2において再生可能なコンテンツである。本実施形態では、このコンテンツはゲームコンテンツである。コンテンツは、ゲームの背景画像、および、ゲームに登場する仮想オブジェクト(キャラクタ、アイテム等)を規定するデータを少なくとも有する。各コンテンツには、HMD110の初期状態(起動時)にユーザに見せる画像を向いた初期方向が、予め規定されている。   The content is content that can be reproduced in the virtual space 2. In the present embodiment, this content is game content. The content includes at least data defining a background image of the game and virtual objects (characters, items, etc.) appearing in the game. In each content, an initial direction facing an image to be shown to the user in the initial state (at the time of activation) of the HMD 110 is defined in advance.

通信部250は、ネットワークNWを介して外部機器400(たとえばゲームサーバ)との間でデータを送受信する。   The communication unit 250 transmits / receives data to / from an external device 400 (for example, a game server) via the network NW.

(仮想空間2の提供処理)
図9は、HMDシステム100が仮想空間2をユーザに提供する処理の流れを示すシーケンス図である。仮想空間2は、基本的に、HMD110および制御回路部200の協働によってユーザに提供される。まず、ステップS1において、仮想空間規定部231が、ユーザに提供される仮想空間2を表す仮想空間データを生成することによって、仮想空間2を規定する。生成の手順は次の通りである。まず仮想空間規定部231は、仮想空間2の雛形データを雛形格納部241から取得することによって、仮想空間2の原型を定義する。仮想空間規定部231は、さらに、仮想空間2において再生されるコンテンツを、コンテンツ格納部242から取得する。本実施形態では、このコンテンツはゲームコンテンツである。
(Process of providing virtual space 2)
FIG. 9 is a sequence diagram showing a flow of processing in which the HMD system 100 provides the virtual space 2 to the user. The virtual space 2 is basically provided to the user through the cooperation of the HMD 110 and the control circuit unit 200. First, in step S1, the virtual space defining unit 231 defines the virtual space 2 by generating virtual space data representing the virtual space 2 provided to the user. The generation procedure is as follows. First, the virtual space defining unit 231 defines the prototype of the virtual space 2 by acquiring the template data of the virtual space 2 from the template storage unit 241. The virtual space defining unit 231 further acquires content to be played back in the virtual space 2 from the content storage unit 242. In the present embodiment, this content is game content.

仮想空間規定部231は、取得した雛形データに、取得したコンテンツを適合することによって、仮想空間2を規定する仮想空間データを生成する。仮想空間規定部231は、仮想空間データにおいて、仮想空間2の天球を構成する各メッシュの管理データに、コンテンツに含まれる背景画像を構成する各部分画像を適宜関連付ける。仮想空間規定部231は、コンテンツに規定される初期方向を仮想空間2のXYZ座標系におけるZ方向に合致させるように、各部分画像と各メッシュとを関連付けることが好ましい。   The virtual space defining unit 231 generates virtual space data defining the virtual space 2 by adapting the acquired content to the acquired template data. The virtual space defining unit 231 appropriately associates each partial image constituting the background image included in the content with the management data of each mesh constituting the celestial sphere of the virtual space 2 in the virtual space data. The virtual space defining unit 231 preferably associates each partial image with each mesh so that the initial direction defined in the content matches the Z direction in the XYZ coordinate system of the virtual space 2.

仮想空間規定部231は、さらに、必要に応じて、コンテンツに含まれる各仮想オブジェクトの管理データを、仮想空間データに追加する。その際、各管理データに、対応する仮想オブジェクトが仮想空間2において配置される位置を表す座標を、設定する。これにより各仮想オブジェクトが、仮想空間2における当該座標の位置にそれぞれ配置される。   The virtual space defining unit 231 further adds management data of each virtual object included in the content to the virtual space data as necessary. At that time, coordinates representing the position where the corresponding virtual object is arranged in the virtual space 2 are set in each management data. Thus, each virtual object is arranged at the position of the coordinate in the virtual space 2.

その後、ユーザによってHMD110が起動されると、ステップS2において、HMDセンサ120が、HMD110の初期状態における位置および傾きを検出して、ステップS3において、検出値を制御回路部200に出力する。HMD検出部211は、この検出値を受信する。この後、ステップS4において、仮想カメラ制御部221は、仮想空間2において仮想カメラ1を初期化する。   After that, when the HMD 110 is activated by the user, the HMD sensor 120 detects the position and inclination of the HMD 110 in the initial state in step S2, and outputs the detected value to the control circuit unit 200 in step S3. The HMD detection unit 211 receives this detection value. Thereafter, in step S <b> 4, the virtual camera control unit 221 initializes the virtual camera 1 in the virtual space 2.

初期化の手順は次の通りである。まず仮想カメラ制御部221は、仮想空間2内における初期位置(図4における中心21等)に、仮想カメラ1を配置する。次に、仮想空間2における仮想カメラ1の向きを設定する。その際、仮想カメラ制御部221は、HMDセンサ120からの検出値に基づき初期状態のHMD110のuvw視野座標系を特定すると共に、HMD110のuvw視野座標系に一致するuvw視野座標系を仮想カメラ1に設定することによって、仮想カメラ1の向きを設定すればよい。仮想カメラ制御部221は、仮想カメラ1にuvw視野座標系を設定する際、仮想カメラ1のロール方向(w軸)をXYZ座標系のZ方向(Z軸)に適合させる。具体的には、仮想カメラ制御部221は、仮想カメラ1のロール方向をXZ平面に投影して得られる方向を、XYZ座標系のZ方向に一致させると共に、XZ平面に対する仮想カメラ1のロール方向の傾きを、水平面に対するHMD110のロール方向の傾きに一致させる。このような適合処理によって、初期状態の仮想カメラ1のロール方向がコンテンツの初期方向に適合されるので、コンテンツの再生開始後におけるユーザが最初に向く水平方向の向きを、コンテンツの初期方向に一致させることができる。   The initialization procedure is as follows. First, the virtual camera control unit 221 places the virtual camera 1 at an initial position in the virtual space 2 (eg, the center 21 in FIG. 4). Next, the orientation of the virtual camera 1 in the virtual space 2 is set. At that time, the virtual camera control unit 221 specifies the uvw visual field coordinate system of the HMD 110 in the initial state based on the detection value from the HMD sensor 120 and sets the uvw visual field coordinate system that matches the uvw visual field coordinate system of the HMD 110 to the virtual camera 1. The orientation of the virtual camera 1 may be set by setting to. When setting the uvw visual field coordinate system for the virtual camera 1, the virtual camera control unit 221 adapts the roll direction (w axis) of the virtual camera 1 to the Z direction (Z axis) of the XYZ coordinate system. Specifically, the virtual camera control unit 221 matches the direction obtained by projecting the roll direction of the virtual camera 1 on the XZ plane with the Z direction of the XYZ coordinate system, and the roll direction of the virtual camera 1 with respect to the XZ plane. Is matched with the inclination of the roll direction of the HMD 110 with respect to the horizontal plane. By such adaptation processing, the roll direction of the virtual camera 1 in the initial state is adapted to the initial direction of the content, so that the horizontal direction that the user first faces after the start of content reproduction matches the initial direction of the content. Can be made.

仮想カメラ1の初期化処理が終わると、視界領域決定部222は、仮想カメラ1のuvw視野座標系に基づき、仮想空間2における視界領域23を決定する。具体的には、仮想カメラ1のuvw視野座標系のロール方向(w軸)をユーザの基準視線5として特定し、この基準視線5に基づき視界領域23を決定する。ステップS5において、視界画像生成部223は、仮想空間データを処理することによって、仮想空間2に展開される仮想空間画像22の全体のうち、仮想空間2における視界領域23に投影される部分に相当する視界画像26を生成(レンダリング)する。ステップS6において、視界画像生成部223は、生成した視界画像26を初期視界画像としてHMD110に出力する。ステップS7において、HMD110は、受信した初期視界画像をディスプレイ112に表示する。これによりユーザは初期視界画像を視認する。   When the initialization process of the virtual camera 1 is completed, the visual field region determination unit 222 determines the visual field region 23 in the virtual space 2 based on the uvw visual field coordinate system of the virtual camera 1. Specifically, the roll direction (w axis) of the uvw visual field coordinate system of the virtual camera 1 is specified as the reference visual line 5 of the user, and the visual field region 23 is determined based on the reference visual line 5. In step S <b> 5, the visual field image generation unit 223 processes the virtual space data, and corresponds to a portion projected to the visual field region 23 in the virtual space 2 out of the entire virtual space image 22 developed in the virtual space 2. A visual field image 26 to be generated is generated (rendered). In step S6, the visual field image generation unit 223 outputs the generated visual field image 26 to the HMD 110 as an initial visual field image. In step S <b> 7, the HMD 110 displays the received initial view image on the display 112. Thereby, the user visually recognizes the initial view image.

その後、ステップS8において、HMDセンサ120が、HMD110の現在の位置および傾きを検出して、ステップS9において、これらの検出値を制御回路部200に出力する。HMD検出部211は、各検出値を受信する。仮想カメラ制御部221は、HMD110の位置および傾きの検出値に基づき、HMD110における現在のuvw視野座標系を特定する。さらに、ステップS10において、仮想カメラ制御部221は、XYZ座標系におけるuvw視野座標系のロール方向(w軸)を、HMD110の視界方向として特定する。   Thereafter, in step S8, the HMD sensor 120 detects the current position and inclination of the HMD 110, and outputs these detected values to the control circuit unit 200 in step S9. The HMD detection unit 211 receives each detection value. The virtual camera control unit 221 specifies the current uvw visual field coordinate system in the HMD 110 based on the position and tilt detection values of the HMD 110. Furthermore, in step S <b> 10, the virtual camera control unit 221 specifies the roll direction (w axis) of the uvw visual field coordinate system in the XYZ coordinate system as the visual field direction of the HMD 110.

本実施形態では、ステップS11において、仮想カメラ制御部221が、特定したHMD110の視界方向を、仮想空間2におけるユーザの基準視線5として特定する。ステップS12において、仮想カメラ制御部221は、特定した基準視線5に基づき、仮想カメラ1を制御する。仮想カメラ制御部221は、基準視線5の位置(起点)および方向が仮想カメラ1の初期状態と同一であれば、仮想カメラ1の位置および方向をそのまま維持する。一方、基準視線5の位置(起点)および/または方向が、仮想カメラ1の初期状態から変化していれば、仮想空間2内における仮想カメラ1の位置および/または傾きを、変化後の基準視線5に応じた位置および/または傾きに変更する。また、制御後の仮想カメラ1に対してuvw視野座標系を再設定する。   In the present embodiment, in step S <b> 11, the virtual camera control unit 221 specifies the identified visual field direction of the HMD 110 as the user's reference visual line 5 in the virtual space 2. In step S <b> 12, the virtual camera control unit 221 controls the virtual camera 1 based on the identified reference line of sight 5. If the position (starting point) and direction of the reference line of sight 5 are the same as the initial state of the virtual camera 1, the virtual camera control unit 221 maintains the position and direction of the virtual camera 1 as they are. On the other hand, if the position (starting point) and / or direction of the reference line of sight 5 has changed from the initial state of the virtual camera 1, the position and / or inclination of the virtual camera 1 in the virtual space 2 is changed to the reference line of sight after the change. Change the position and / or inclination according to 5. Further, the uvw visual field coordinate system is reset for the virtual camera 1 after the control.

ステップS13において、視界領域決定部222は、特定した基準視線5に基づき、仮想空間2における視界領域23を決定する。その後、ステップS14において、視界画像生成部223は、仮想空間データを処理することによって、仮想空間2に展開される仮想空間画像22の全体のうち、仮想空間2における視界領域23に投影(重畳)される部分である視界画像26を生成(レンダリング)する。ステップS15において、視界画像生成部223は、生成した視界画像26を更新用の視界画像としてHMD110に出力する。ステップS16において、HMD110は、受信した視界画像26をディスプレイ112に表示することによって、視界画像26を更新する。これにより、ユーザがHMD110を動かせば、それに連動して視界画像26が更新される。   In step S <b> 13, the visual field area determination unit 222 determines the visual field area 23 in the virtual space 2 based on the identified reference visual line 5. Thereafter, in step S <b> 14, the visual field image generation unit 223 processes (superimposes) the virtual space data on the visual field region 23 in the virtual space 2 among the entire virtual space image 22 developed in the virtual space 2 by processing the virtual space data. A view field image 26 that is a portion to be generated is generated (rendered). In step S15, the visual field image generation unit 223 outputs the generated visual field image 26 to the HMD 110 as a visual field image for update. In step S <b> 16, the HMD 110 updates the view image 26 by displaying the received view image 26 on the display 112. Thereby, if a user moves HMD110, the view image 26 will be updated in response to it.

<仮想カメラの移動方法−概要>
制御回路部200は、移動方法を実行することによって、ユーザに対して、仮想空間2を移動するための、操作性に優れたユーザインターフェースを提供する。制御回路部200は、仮想カメラ1の移動先を指定する仮想オブジェクトを仮想空間2に配置する。仮想オブジェクトは、ユーザが移動先を指定するためのユーザインターフェースを実現するUIオブジェクトである。
<How to move the virtual camera-Overview>
The control circuit unit 200 provides the user interface with excellent operability for moving the virtual space 2 to the user by executing the moving method. The control circuit unit 200 places a virtual object that designates a destination of the virtual camera 1 in the virtual space 2. The virtual object is a UI object that realizes a user interface for the user to specify a destination.

制御回路部200は、ユーザにより入力された第1操作を受け付け、第1操作に基づいて、仮想空間2におけるUIオブジェクトの位置に関する属性を変更する。制御回路部200は、第1操作よりも後にユーザにより入力された第2操作を受け付けて、第2操作が入力された時点のUIオブジェクトの属性に基づいて、仮想カメラ1の移動先を特定する。制御回路部200は、特定した移動先に仮想カメラ1を移動させる。   The control circuit unit 200 receives the first operation input by the user and changes the attribute related to the position of the UI object in the virtual space 2 based on the first operation. The control circuit unit 200 receives the second operation input by the user after the first operation, and specifies the destination of the virtual camera 1 based on the attribute of the UI object at the time when the second operation is input. . The control circuit unit 200 moves the virtual camera 1 to the identified destination.

(移動方法の一例)
UIオブジェクト制御部233は、UIオブジェクトを、仮想カメラ1を囲むように配置する。検出部210が第1操作を受け付けると、UIオブジェクト制御部233は、仮想空間2におけるUIオブジェクトの外縁の位置を、第1操作に含まれる経時的情報に基づいて変更する。第1操作の受け付け時点から時間が経過するのに伴って、UIオブジェクトの大きさを変更してもよい。本方法において、UIオブジェクトは、移動の距離を指定するためのオブジェクトである。
(Example of moving method)
The UI object control unit 233 arranges the UI object so as to surround the virtual camera 1. When the detection unit 210 receives the first operation, the UI object control unit 233 changes the position of the outer edge of the UI object in the virtual space 2 based on the temporal information included in the first operation. The size of the UI object may be changed as time elapses from the reception time point of the first operation. In this method, the UI object is an object for designating a movement distance.

第1操作を受け付けた後、検出部210は、仮想カメラ1の移動方向を特定するための入力をユーザから受け付ける。検出部210は、受け付けた入力内容に基づいて、HMD110の傾き、または、ユーザの視線方向を特定する。移動先特定部234は、特定された傾きまたは視線方向に基づいて、移動方向を特定してもよい。   After receiving the first operation, the detection unit 210 receives an input for specifying the moving direction of the virtual camera 1 from the user. The detection unit 210 identifies the inclination of the HMD 110 or the user's line-of-sight direction based on the received input content. The movement destination specifying unit 234 may specify the movement direction based on the specified inclination or line-of-sight direction.

移動先特定部234は、ユーザによって第2操作が入力されると、第2操作の入力時点における、移動方向とUIオブジェクトの外縁とに基づいて、UIオブジェクトの属性を特定する。そして、特定した属性に基づいて、仮想カメラ1の移動先を特定する。移動先特定部234は、仮想空間2における、移動方向と外縁との交点の座標を、仮想カメラ1の移動先として特定してもよい。   When the second operation is input by the user, the movement destination specifying unit 234 specifies the attribute of the UI object based on the movement direction and the outer edge of the UI object at the time when the second operation is input. Then, the destination of the virtual camera 1 is specified based on the specified attribute. The movement destination specifying unit 234 may specify the coordinates of the intersection of the movement direction and the outer edge in the virtual space 2 as the movement destination of the virtual camera 1.

図10は、移動方法の一例を示す図であり、図11は、該移動方法を実行するHMDシステム100の処理の流れを説明するフローチャートである。UIオブジェクトは、例えば円オブジェクト40である。第1操作および第2操作は、例えばコントローラ300を介してなされる。移動方向を特定するための入力は、例えばHMD110を所望の方向に向けることによってなされる。   FIG. 10 is a diagram illustrating an example of the moving method, and FIG. 11 is a flowchart for explaining the flow of processing of the HMD system 100 that executes the moving method. The UI object is, for example, a circle object 40. The first operation and the second operation are performed via the controller 300, for example. The input for specifying the moving direction is made by, for example, pointing the HMD 110 in a desired direction.

ステップS21において、コントローラ検出部213は、コントローラ300から受信した検出値に基づき、第1操作の入力有無を検出する。ステップS21でYESの場合、ステップS22において、UIオブジェクト制御部233は、円オブジェクト40を仮想空間2内に配置する。UIオブジェクト制御部233は、円オブジェクト40を、仮想カメラ1の位置が円オブジェクト40の中心となるように配置してもよい。   In step S <b> 21, the controller detection unit 213 detects whether or not the first operation is input based on the detection value received from the controller 300. If YES in step S21, the UI object control unit 233 places the circle object 40 in the virtual space 2 in step S22. The UI object control unit 233 may arrange the circle object 40 so that the position of the virtual camera 1 is at the center of the circle object 40.

ステップS23において、UIオブジェクト制御部233は、第2操作が入力されるまで(ステップS26でNO)、円オブジェクト40の属性を変更する。UIオブジェクト制御部233は、円オブジェクト40の中心を仮想カメラ1の位置に維持したまま、経時的情報に基づいて、円オブジェクト40の半径を徐々に延ばしてもよい。円オブジェクト40は、仮想カメラ1を中心として、波紋が広がっていくように、HMD110に提示されてもよい。経時的情報は、第1操作の検出値に基づいて、コントローラ検出部213によって特定される。経時的情報は、ボタンが押下された時点からの経過時間、ボタンが押下され続けている時間、ある期間中にボタンが押下された回数などである。   In step S23, the UI object control unit 233 changes the attribute of the circle object 40 until the second operation is input (NO in step S26). The UI object control unit 233 may gradually increase the radius of the circle object 40 based on the temporal information while maintaining the center of the circle object 40 at the position of the virtual camera 1. The circle object 40 may be presented to the HMD 110 so that the ripples spread around the virtual camera 1. The temporal information is specified by the controller detection unit 213 based on the detection value of the first operation. The time-dependent information includes an elapsed time from when the button is pressed, a time during which the button has been pressed, and the number of times the button has been pressed during a certain period.

ステップS24において、HMD検出部211は、仮想カメラ1の移動方向を特定するための入力として、HMDセンサ120から送信される検出値を受信する。HMD検出部211は、受信した検出値に基づいて、HMD110の視界方向を特定する。   In step S <b> 24, the HMD detection unit 211 receives a detection value transmitted from the HMD sensor 120 as an input for specifying the moving direction of the virtual camera 1. The HMD detection unit 211 identifies the viewing direction of the HMD 110 based on the received detection value.

ステップS24でYESの場合、ステップS25において、移動先特定部234は、特定された視界方向に基づいて移動方向を特定する。該移動方向を示す視線41は、レーザビームのような態様でHMD110に提示されてもよい。   In the case of YES in step S24, in step S25, the movement destination specifying unit 234 specifies the movement direction based on the specified visual field direction. The line of sight 41 indicating the moving direction may be presented to the HMD 110 in a manner like a laser beam.

ステップS26において、コントローラ検出部213は、コントローラ300から受信した検出値に基づき、第2操作の入力有無を検出する。ステップS26でYESの場合、ステップS27において、移動先特定部234は、第2操作が入力された時点の、円オブジェクト40の属性を特定する。例えば、円オブジェクト40の外縁と視線41との交点50を特定してもよい。   In step S <b> 26, the controller detection unit 213 detects whether the second operation is input based on the detection value received from the controller 300. In the case of YES in step S26, in step S27, the movement destination specifying unit 234 specifies the attribute of the circle object 40 when the second operation is input. For example, the intersection 50 between the outer edge of the circle object 40 and the line of sight 41 may be specified.

ステップS28において、移動先特定部234は、仮想空間2における、特定した交点50の座標を取得し、当該座標に基づいて仮想カメラ1の移動先を特定する。移動先特定部234は、取得した座標をそのまま移動先として特定してもよいし、該座標を基準にして所定の規則に基づいて算出した座標を移動先として特定してもよい。   In step S28, the movement destination specifying unit 234 acquires the coordinates of the specified intersection 50 in the virtual space 2, and specifies the movement destination of the virtual camera 1 based on the coordinates. The movement destination specifying unit 234 may specify the acquired coordinates as the movement destination as they are, or may specify the coordinates calculated based on a predetermined rule with reference to the coordinates as the movement destination.

ステップS29において、仮想カメラ制御部221は、移動先特定部234が移動先として特定した座標が示す位置に仮想カメラ1を移動させる。   In step S <b> 29, the virtual camera control unit 221 moves the virtual camera 1 to the position indicated by the coordinates specified by the movement destination specifying unit 234 as the movement destination.

移動後の仮想カメラ1の位置に基づいて、図9に示されているステップS8〜ステップS16の処理が実行され、HMD110に表示される視界画像が更新される。該視界画像は、第2操作が入力されることによって仮想カメラ1の移動先が確定したときに、該移動先の位置にワープするように切り替わってもよい。   Based on the position of the virtual camera 1 after the movement, the processes in steps S8 to S16 shown in FIG. 9 are executed, and the view image displayed on the HMD 110 is updated. The view image may be switched to warp to the position of the movement destination when the movement destination of the virtual camera 1 is determined by inputting the second operation.

本方法によれば、ユーザは、第1操作を入力することにより、UIオブジェクトの属性の変更を開始させる。そして、属性の変化を観察しながら移動したい方向に視線41を向ける。属性が変更されている間、ユーザは自由に視線41を送る方向を変更することができる。視線41は、視線方向または視界方向である。ユーザは、所望の移動距離にUIオブジェクトの外縁が到達したタイミングで第2操作を入力することにより、UIオブジェクトの外縁を確定させる。これにより、UIオブジェクトの外縁と視線41とに基づいて、仮想カメラ1の移動先が特定される。以上のとおり、ユーザは、第2操作による1度の操作によって、移動距離と移動方向とを同時に指定することができる。この結果、HMDシステム100における、仮想空間の移動に係る操作性が向上し、仮想空間への没入感が改善される。   According to this method, the user starts changing the attribute of the UI object by inputting the first operation. Then, the line of sight 41 is directed in the direction of movement while observing the change in the attribute. While the attribute is changed, the user can freely change the direction in which the line of sight 41 is sent. The line of sight 41 is a line-of-sight direction or a visual field direction. The user determines the outer edge of the UI object by inputting the second operation when the outer edge of the UI object reaches the desired movement distance. Thereby, the movement destination of the virtual camera 1 is specified based on the outer edge of the UI object and the line of sight 41. As described above, the user can simultaneously specify the movement distance and the movement direction by one operation by the second operation. As a result, the operability related to the movement of the virtual space in the HMD system 100 is improved, and the feeling of immersion in the virtual space is improved.

(移動方法の他の例)
本方法において、第1操作は、ユーザの身体の一部に連動するように仮想空間2内を動作する可動オブジェクトの動作を入力する操作である。UIオブジェクト制御部233は、UIオブジェクトが仮想空間2を移動するときの移動態様を、可動オブジェクトの動作に基づいて、当該UIオブジェクトに特徴付ける。UIオブジェクト制御部233は、移動態様に基づいて、仮想空間2におけるUIオブジェクトを移動させることにより、UIオブジェクトの位置に関する属性を変更する。移動先特定部234は、第2操作が入力された時点の移動態様に基づいて、仮想空間2におけるUIオブジェクトの位置を特定する。移動先特定部234は、特定した位置の座標に基づいて仮想カメラ1の移動先を特定する。
(Other examples of moving methods)
In the present method, the first operation is an operation of inputting a motion of a movable object that moves in the virtual space 2 so as to be interlocked with a part of the user's body. The UI object control unit 233 characterizes the movement mode when the UI object moves in the virtual space 2 based on the motion of the movable object. The UI object control unit 233 changes the attribute related to the position of the UI object by moving the UI object in the virtual space 2 based on the movement mode. The movement destination specifying unit 234 specifies the position of the UI object in the virtual space 2 based on the movement mode at the time when the second operation is input. The movement destination specifying unit 234 specifies the movement destination of the virtual camera 1 based on the coordinates of the specified position.

図12は、移動方法の他の例を示す図であり、図13は、該移動方法を実現するHMDシステム100の処理の流れを説明するフローチャートである。可動オブジェクトは、例えば仮想手である。仮想手を動作させるための第1操作は、例えばユーザがコントローラ300を所望の速度で所望の方向に動かしたり、傾けたりすることによってなされる。UIオブジェクトは、例えば仮想手の動作に基づいて仮想空間2内を移動する、移動オブジェクト42である。   FIG. 12 is a diagram illustrating another example of the moving method, and FIG. 13 is a flowchart illustrating a processing flow of the HMD system 100 that realizes the moving method. The movable object is, for example, a virtual hand. The first operation for operating the virtual hand is performed, for example, when the user moves or tilts the controller 300 in a desired direction at a desired speed. The UI object is a moving object 42 that moves in the virtual space 2 based on, for example, the action of a virtual hand.

ステップS41において、コントローラ検出部213は、コントローラセンサ140から受信した検出値に基づき、第1操作の入力有無を検出する。ステップS41でYESの場合、ステップS42において、仮想手制御部232は、検出値に基づいて特定された、コントローラ300の位置および傾きに基づいて、仮想手を動作させる。   In step S <b> 41, the controller detection unit 213 detects whether or not the first operation is input based on the detection value received from the controller sensor 140. In the case of YES in step S41, in step S42, the virtual hand control unit 232 operates the virtual hand based on the position and inclination of the controller 300 specified based on the detection value.

ステップS43において、UIオブジェクト制御部233は、移動オブジェクト42の移動態様を、仮想手の動作に基づいて特定し、特定した移動態様を移動オブジェクト42に特徴付ける。UIオブジェクト制御部233は、動作した仮想手の初速および初速ベクトルに少なくとも基づいて、移動オブジェクト42に移動態様を特徴付けてもよい。   In step S <b> 43, the UI object control unit 233 specifies the movement mode of the moving object 42 based on the movement of the virtual hand, and characterizes the specified movement mode in the moving object 42. The UI object control unit 233 may characterize the moving mode of the moving object 42 based at least on the initial speed and the initial speed vector of the operated virtual hand.

ステップS44において、UIオブジェクト制御部233は、移動態様に基づいて、仮想空間2に配置した移動オブジェクト42を移動させることにより、移動オブジェクト42の属性を変更する。UIオブジェクト制御部233は、第2操作が入力されるまで(ステップS45でNO)、移動オブジェクト42の移動を継続してもよい。   In step S44, the UI object control unit 233 changes the attribute of the moving object 42 by moving the moving object 42 arranged in the virtual space 2 based on the movement mode. The UI object control unit 233 may continue to move the moving object 42 until the second operation is input (NO in step S45).

ステップS45において、コントローラ検出部213は、コントローラ300から受信した検出値に基づき、第2操作の入力有無を検出する。ステップS45でYESの場合、ステップS46において、移動先特定部234は、第2操作が入力された時点の、仮想空間2における移動オブジェクト42の位置を特定する。   In step S <b> 45, the controller detection unit 213 detects whether the second operation is input based on the detection value received from the controller 300. In the case of YES in step S45, in step S46, the movement destination specifying unit 234 specifies the position of the moving object 42 in the virtual space 2 when the second operation is input.

ステップS47において、移動先特定部234は、移動オブジェクト42の位置の仮想空間2における座標を取得し、当該座標に基づいて仮想カメラ1の移動先を特定する。移動先特定部234は、取得した座標をそのまま移動先として特定してもよいし、該座標を基準にして所定の規則に基づいて算出した座標を移動先として特定してもよい。ステップS48以降は、上述のステップS29以降と同様である。   In step S47, the movement destination specifying unit 234 acquires the coordinates of the position of the moving object 42 in the virtual space 2, and specifies the movement destination of the virtual camera 1 based on the coordinates. The movement destination specifying unit 234 may specify the acquired coordinates as the movement destination as they are, or may specify the coordinates calculated based on a predetermined rule with reference to the coordinates as the movement destination. Step S48 and subsequent steps are the same as step S29 and subsequent steps.

本方法によれば、ユーザは、第2操作による1度の操作によって、移動先を指定することができる。この結果、HMDシステム100における、仮想空間の移動に係る操作性が向上し、仮想空間への没入感が改善される。   According to this method, the user can specify the destination by one operation by the second operation. As a result, the operability related to the movement of the virtual space in the HMD system 100 is improved, and the feeling of immersion in the virtual space is improved.

(移動方法のさらに他の例)
本方法において、UIオブジェクトは、第1操作に含まれる方向情報に基づいて仮想空間2内を移動するアバターである。UIオブジェクト制御部233は、該方向情報に基づいて、アバターを仮想空間2内の任意の位置に移動させることにより、属性を変更する。移動先特定部234は、第2操作が入力された時点のアバターの位置の、仮想空間2における位置を特定する。移動先特定部234は、特定した位置の座標に基づいて仮想カメラ1の移動先を特定する。
(Another example of moving method)
In this method, the UI object is an avatar that moves in the virtual space 2 based on the direction information included in the first operation. The UI object control unit 233 changes the attribute by moving the avatar to an arbitrary position in the virtual space 2 based on the direction information. The movement destination specifying unit 234 specifies the position in the virtual space 2 of the position of the avatar when the second operation is input. The movement destination specifying unit 234 specifies the movement destination of the virtual camera 1 based on the coordinates of the specified position.

図14は、移動方法のさらに他の例を示す図であり、図15は、当該移動方法を実現するHMDシステム100の処理の流れを説明するフローチャートである。アバターを動かすための第1操作は、ユーザが、方向情報を入力することによってなされる。UIオブジェクトは、該方向情報に基づいて仮想空間2内を移動する、アバター43である。   FIG. 14 is a diagram showing still another example of the moving method, and FIG. 15 is a flowchart for explaining the processing flow of the HMD system 100 that realizes the moving method. The first operation for moving the avatar is performed by the user inputting direction information. The UI object is an avatar 43 that moves in the virtual space 2 based on the direction information.

ステップS61において、コントローラ検出部213は、コントローラ300から受信した検出値に基づき、第1操作の入力有無を検出する。ステップS61でYESの場合、ステップS62において、UIオブジェクト制御部233は、アバター43を仮想空間2内に配置する。   In step S <b> 61, the controller detection unit 213 detects whether or not the first operation is input based on the detection value received from the controller 300. If YES in step S61, the UI object control unit 233 places the avatar 43 in the virtual space 2 in step S62.

ステップS63において、UIオブジェクト制御部233は、第1操作に含まれる方向情報に基づいて、アバター43を移動させる。さらに、方向情報に基づいて、アバター43の向きを変更してもよい。   In step S63, the UI object control unit 233 moves the avatar 43 based on the direction information included in the first operation. Furthermore, you may change the direction of the avatar 43 based on direction information.

ステップS64において、コントローラ検出部213は、コントローラ300から受信した検出値に基づき、第2操作の入力有無を検出する。ステップS64でYESの場合、ステップS65において、移動先特定部234は、第2操作が入力された時点の、仮想空間2におけるアバター43の位置を特定する。なお、必要に応じてさらに向きを特定してもよい。   In step S <b> 64, the controller detection unit 213 detects whether the second operation is input based on the detection value received from the controller 300. In the case of YES in step S64, in step S65, the movement destination specifying unit 234 specifies the position of the avatar 43 in the virtual space 2 when the second operation is input. In addition, you may specify direction further as needed.

ステップS66において、移動先特定部234は、アバター43の位置の仮想空間2における座標を取得し、当該座標に基づいて仮想カメラ1の移動先を特定する。移動先特定部234は、取得した座標をそのまま移動先として特定してもよいし、該座標を基準にして所定の規則に基づいて算出した座標を移動先として特定してもよい。移動先特定部234は、必要に応じて、アバター43の向きを仮想カメラ1の移動後の向きとしてさらに特定してもよい。   In step S66, the movement destination specifying unit 234 acquires the coordinates of the position of the avatar 43 in the virtual space 2, and specifies the movement destination of the virtual camera 1 based on the coordinates. The movement destination specifying unit 234 may specify the acquired coordinates as the movement destination as they are, or may specify the coordinates calculated based on a predetermined rule with reference to the coordinates as the movement destination. The movement destination specifying unit 234 may further specify the direction of the avatar 43 as the direction after the movement of the virtual camera 1 as necessary.

ステップS67において、仮想カメラ制御部221は、移動先特定部234が移動先として特定した座標が示す位置に仮想カメラ1を移動させる。仮想カメラ制御部221は、特定されたアバター43の向きに基づいて、移動後の仮想カメラ1の向きを設定してもよい。以降は、移動後の仮想カメラ1の位置および向きに基づいて、上述の各移動方法と同様に、HMD110に表示される視界画像が更新される。   In step S <b> 67, the virtual camera control unit 221 moves the virtual camera 1 to the position indicated by the coordinates specified by the destination specification unit 234 as the destination. The virtual camera control unit 221 may set the orientation of the virtual camera 1 after movement based on the orientation of the specified avatar 43. Thereafter, the field-of-view image displayed on the HMD 110 is updated based on the position and orientation of the virtual camera 1 after the movement, as in the above-described respective movement methods.

仮想カメラ制御部221は、アバター43の正面方向を向く第2仮想カメラ(図示せず)を、アバター43の位置に配置してもよい。表示制御部220は、視界画像中の一部の領域に、第2仮想カメラに基づく視界画像を配置して、HMD110に表示させてもよい。   The virtual camera control unit 221 may arrange a second virtual camera (not shown) facing the front direction of the avatar 43 at the position of the avatar 43. The display control unit 220 may display a view image based on the second virtual camera on the HMD 110 in a partial area of the view image.

本方法によれば、ユーザは、第2操作による1度の操作によって、移動先を指定することができる。この結果、HMDシステム100における、仮想空間の移動に係る操作性が向上し、仮想空間への没入感が改善される。   According to this method, the user can specify the destination by one operation by the second operation. As a result, the operability related to the movement of the virtual space in the HMD system 100 is improved, and the feeling of immersion in the virtual space is improved.

(変形例)
上述の各移動方法において、制御回路部200は、視界方向ではなく視線方向N0を、基準視線5として特定してもよい。この場合、ユーザが視線を変化させるとそれに連動して仮想カメラ1の向きが変わるので、視界領域23の位置も視線変化に連動して変化する。その結果、視界画像26の内容が視線変化に応じて変化することになる。
(Modification)
In each of the moving methods described above, the control circuit unit 200 may specify the line-of-sight direction N0 as the reference line-of-sight 5 instead of the field-of-view direction. In this case, when the user changes the line of sight, the orientation of the virtual camera 1 changes in conjunction with the change of the line of sight, so the position of the visual field region 23 also changes in conjunction with the change of the line of sight. As a result, the contents of the view field image 26 change according to the line of sight change.

上述の移動方法の一例において、視線検出部212が、注視センサ130から受信した検出値に基づいて、ユーザの視線方向N0を特定することにより、移動方向を特定するための入力を受け付けてもよい。   In the example of the moving method described above, the line-of-sight detection unit 212 may accept an input for specifying the movement direction by specifying the user's line-of-sight direction N0 based on the detection value received from the gaze sensor 130. .

当該移動方法は、基準視線5に基づいて、ユーザが注視した仮想空間2内のオブジェクトを選択するユーザインターフェースを採用するゲームなどに適用されることが想定される。当該ゲームにおいては、視線41は、第1操作が入力される前のタイミングで、HMD110に提示されてもよい。   The moving method is assumed to be applied to a game or the like that employs a user interface for selecting an object in the virtual space 2 watched by the user based on the reference line of sight 5. In the game, the line of sight 41 may be presented to the HMD 110 at a timing before the first operation is input.

当該移動方法において、UIオブジェクトは、円オブジェクト40に限定されず、任意の形状で規定されてよい。また、UIオブジェクトは、円オブジェクト40のように平面で規定されてもよいし、球体などの立体で規定されてもよい。   In the moving method, the UI object is not limited to the circle object 40, and may be defined in an arbitrary shape. The UI object may be defined by a plane like the circle object 40 or may be defined by a solid such as a sphere.

当該移動方法において、移動先特定部234は、ステップS28において、仮想カメラ1の移動後の向きをさらに特定してもよい。   In the movement method, the movement destination specifying unit 234 may further specify the direction after movement of the virtual camera 1 in step S28.

上述の移動方法の他の例において、移動オブジェクト42の属性は、向きに関する情報を含んでいてもよい。移動先特定部234は、ステップS47において、第2操作が入力された時点の移動オブジェクト42の向きを、仮想カメラ1の移動後の向きとして特定してもよい。   In another example of the moving method described above, the attribute of the moving object 42 may include information regarding the orientation. In step S47, the movement destination specifying unit 234 may specify the direction of the moving object 42 at the time when the second operation is input as the direction after the movement of the virtual camera 1.

上述の移動方法の他の例において、移動オブジェクト42は、ボールやサイコロなど、任意の形状、体積、質量および質感を備えた物体の仮想オブジェクトである。変更規則格納部243には、移動オブジェクト42および仮想空間2の環境に関する、物理法則に係る各種情報が記憶されている。各種情報とは、移動オブジェクト42の形状、体積、質量および表面の質感、ならびに、仮想空間2の環境における重力加速度、摩擦係数および空気抵抗などである。UIオブジェクト制御部233は、各種情報を考慮し、移動オブジェクト42に特徴付けるべき移動態様を特定してもよい。一例として、物理法則は、現実空間における物理法則に相当する。UIオブジェクト制御部233は、可動オブジェクトの初速および初速ベクトルに加えて、上述の各種情報を考慮して、移動オブジェクト42の移動経路および移動速度を算出することにより、移動態様を特定してもよい。これにより、移動オブジェクト42の移動態様を現実空間における移動態様に近づけることができる。   In another example of the moving method described above, the moving object 42 is a virtual object of an object having an arbitrary shape, volume, mass, and texture, such as a ball or a dice. The change rule storage unit 243 stores various types of information related to the physical law regarding the environment of the moving object 42 and the virtual space 2. The various types of information include the shape, volume, mass, and surface texture of the moving object 42, gravity acceleration, friction coefficient, air resistance, and the like in the environment of the virtual space 2. The UI object control unit 233 may specify a movement mode to be characterized by the moving object 42 in consideration of various types of information. As an example, a physical law corresponds to a physical law in real space. The UI object control unit 233 may specify the moving mode by calculating the moving path and the moving speed of the moving object 42 in consideration of the above-described various information in addition to the initial speed and the initial speed vector of the movable object. . Thereby, the movement mode of the moving object 42 can be brought close to the movement mode in the real space.

上述の各移動方法において、UIオブジェクト制御部233は、UIオブジェクトの属性を第1操作にしたがって変更している間、当該属性によって特定される仮想カメラ1の移動経路を、メモリに一時的に記憶させておいてもよい。例えば、UIオブジェクト制御部233は、第2操作が入力されるまでの期間、アバター43の移動の軌跡44(図14)など一時的に記憶させる。視界画像生成部223は、軌跡44に基づいて、移動過渡期の視界画像も生成し、これらの視界画像を、順次、HMD110に出力してもよい。この結果、移動経路をたどって移動後の位置にたどり着くことをユーザに視認させることができる。なお、移動過渡期の各視界画像に対して、情報量を低減させる処理を施すことが好ましい。具体的には、視界画像の全体または一部の解像度を低下させることが好ましい。これにより、ユーザが映像酔いを起こしにくくなる。   In each moving method described above, the UI object control unit 233 temporarily stores the moving path of the virtual camera 1 specified by the attribute in the memory while changing the attribute of the UI object according to the first operation. You may leave it. For example, the UI object control unit 233 temporarily stores the movement path 44 (FIG. 14) of the avatar 43 during the period until the second operation is input. The view image generation unit 223 may also generate a view image in the transitional transition period based on the trajectory 44, and sequentially output these view images to the HMD 110. As a result, it is possible to make the user visually recognize that the user has reached the position after the movement along the movement route. Note that it is preferable to perform a process of reducing the amount of information on each view image in the movement transition period. Specifically, it is preferable to reduce the resolution of the entire view image or a part thereof. Thereby, it becomes difficult for the user to cause video sickness.

また、仮想オブジェクトとの接触による操作をMR等に適用することによって仮想体験を提供する場合には、操作対象オブジェクトに換えてユーザの実際の頭部以外の身体の一部を物理的・光学的手法等によって検知し、当該身体の一部と仮想オブジェクトの位置関係に基づいて、当該身体の一部と仮想オブジェクトとの接触を判定してもよい。なお、透過型HMDを用いて仮想体験を提供する場合には、ユーザの基準視線は、非透過型HMDと同様に、HMDの動き、または、ユーザの視線を検知することによって特定してもよい。特定した基準視線に基づく判定領域の設定方法は上記実施形態で説明した通りである。   In addition, when a virtual experience is provided by applying an operation by contact with a virtual object to MR or the like, a part of the body other than the actual head of the user is physically and optically replaced with the operation target object. The contact between the body part and the virtual object may be determined based on the positional relationship between the body part and the virtual object. When providing a virtual experience using a transmissive HMD, the user's reference line of sight may be specified by detecting the movement of the HMD or the user's line of sight, similar to the non-transmissive HMD. . The determination region setting method based on the identified reference line of sight is as described in the above embodiment.

〔ソフトウェアによる実現例〕
制御回路部200の制御ブロック(検出部210、表示制御部220、仮想空間制御部230、記憶部240、および通信部250)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
[Example of software implementation]
A control block (detection unit 210, display control unit 220, virtual space control unit 230, storage unit 240, and communication unit 250) of the control circuit unit 200 is a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like. ) Or by software using a CPU (Central Processing Unit).

後者の場合、制御ブロックは、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、前記プログラムおよび各種データがコンピュータ(又はCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、前記プログラムを展開するRAM(Random Access Memory)等を備えている。そして、コンピュータ(又はCPU)が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、たとえば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。   In the latter case, the control block includes a CPU that executes instructions of a program that is software that realizes each function, a ROM (Read Only Memory) or a memory in which the program and various data are recorded so as to be readable by a computer (or CPU). A device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided. And the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it. As the recording medium, a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. The program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program. The present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態も、本発明の技術的範囲に含まれる。各実施形態にそれぞれ開示された技術的手段を組み合わせることによって、新しい技術的特徴を形成することもできる。   The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims. Embodiments obtained by appropriately combining technical means disclosed in different embodiments are also included in the technical scope of the present invention. A new technical feature can also be formed by combining the technical means disclosed in each embodiment.

〔付記事項〕
本発明の一側面にかかる内容を列記すると以下の通りである。
[Additional Notes]
The contents according to one aspect of the present invention are listed as follows.

(項目1)頭部にヘッドマウントディスプレイ(以下、HMD)を装着したユーザに仮想空間を提供する方法であって、前記HMDの傾き、または、前記ユーザの視線方向に基づいて、前記ユーザの前記仮想空間における基準視線を特定するステップと、前記仮想空間に配置され、前記基準視線に基づいて前記ユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、前記仮想カメラの移動先を指定する仮想オブジェクトを前記仮想空間に配置するステップと、ユーザにより入力された第1操作を受け付け、前記第1操作に基づいて、前記仮想オブジェクトの前記仮想空間における位置に関する属性を変更するステップと、前記第1操作よりも後にユーザにより入力された第2操作を受け付け、前記第2操作が入力された時点の前記属性に基づいて、前記仮想カメラの移動先を特定するステップと、前記移動先に前記仮想カメラを移動させるステップとを有する、方法。これにより、仮想空間への没入感を改善することができる。   (Item 1) A method for providing a virtual space to a user wearing a head-mounted display (hereinafter referred to as HMD) on the head, wherein the user's gaze direction or the user's line-of-sight direction Specifying a reference line of sight in a virtual space; specifying a virtual camera that is arranged in the virtual space and that sets a field of view to be visually recognized by the user based on the reference line of sight; and specifies a destination of the virtual camera Placing a virtual object in the virtual space; receiving a first operation input by a user; and changing an attribute relating to a position of the virtual object in the virtual space based on the first operation; When a second operation input by the user after the first operation is received and the second operation is input Based on the attribute of the a and identifying a destination of the virtual camera, and moving the virtual camera to the destination method. Thereby, the immersion feeling in virtual space can be improved.

(項目2)前記仮想オブジェクトを、前記仮想カメラを囲むように配置し、前記仮想空間における、前記仮想オブジェクトの外縁の位置を、前記第1操作に含まれる経時的情報に基づいて変更し、前記第1操作の入力後に、前記仮想カメラの移動方向を特定するための入力を受け付け、前記第2操作の入力時点における前記移動方向と前記外縁とに基づいて、前記属性を特定する、項目1の方法。   (Item 2) The virtual object is arranged so as to surround the virtual camera, and the position of the outer edge of the virtual object in the virtual space is changed based on time-lapse information included in the first operation, Item 1: The input for specifying the moving direction of the virtual camera is received after input of the first operation, and the attribute is specified based on the moving direction and the outer edge at the time of input of the second operation. Method.

(項目3)前記HMDの前記傾きまたは前記ユーザの前記視線方向に基づいて、前記移動方向を特定する、項目2の方法。   (Item 3) The method according to item 2, wherein the moving direction is specified based on the inclination of the HMD or the line-of-sight direction of the user.

(項目4)前記移動方向と前記外縁との交点の、前記仮想空間における位置に基づいて、前記属性を特定する、項目2または3の方法。   (Item 4) The method according to item 2 or 3, wherein the attribute is specified based on a position of the intersection between the moving direction and the outer edge in the virtual space.

(項目5)前記仮想オブジェクトは円であり、該円の半径を前記経時的情報に基づいて変更する、項目2〜4のいずれか1つの方法。   (Item 5) The method according to any one of items 2 to 4, wherein the virtual object is a circle, and the radius of the circle is changed based on the time-dependent information.

(項目6)前記第1操作は、前記ユーザの身体の一部に連動するように前記仮想空間内を動作する可動オブジェクトの動作を入力するものであり、前記仮想オブジェクトが前記仮想空間内を移動するときの移動態様を、前記可動オブジェクトの動作に基づいて、前記仮想オブジェクトに特徴付け、前記第2操作が入力された時点の前記移動態様に基づいて、前記属性を特定する、項目1の方法。   (Item 6) The first operation is to input an action of a movable object that moves in the virtual space so as to be interlocked with a part of the user's body, and the virtual object moves in the virtual space. The method according to item 1, characterized in that the movement mode is characterized as the virtual object based on the movement of the movable object, and the attribute is specified based on the movement mode at the time when the second operation is input. .

(項目7)前記移動態様を、前記可動オブジェクトの初速および初速ベクトルに少なくとも基づいて特徴付ける、項目6の方法。   (Item 7) The method according to item 6, wherein the movement mode is characterized based at least on an initial speed and an initial speed vector of the movable object.

(項目8)前記仮想オブジェクトは、前記第1操作に含まれる方向情報に基づいて前記仮想空間内を移動するアバターであり、前記方向情報に基づいて前記アバターを前記仮想空間内の任意の位置に移動させることにより、前記属性を変更する、項目1の方法。   (Item 8) The virtual object is an avatar that moves in the virtual space based on direction information included in the first operation, and the avatar is moved to an arbitrary position in the virtual space based on the direction information. The method of item 1, wherein the attribute is changed by moving it.

(項目9)前記アバターの正面方向を向く第2仮想カメラを、前記仮想空間における前記アバターの位置に配置するステップと、前記視界領域に基づいて生成される視界画像中の一部の領域に、前記第2仮想カメラに基づく視界画像を配置して前記HMDに表示させるステップとをさらに含む、項目8の方法。   (Item 9) A step of arranging a second virtual camera facing the front direction of the avatar at the position of the avatar in the virtual space, and a partial area in the visual field image generated based on the visual field area, 9. The method of item 8, further comprising: arranging a view image based on the second virtual camera and displaying the image on the HMD.

(項目10)前記第1操作に基づいて前記仮想オブジェクトの向きを特定し、前記仮想オブジェクトの向きに基づいて前記仮想カメラの向きを設定するステップをさらに有する、項目1〜9のいずれか1つの方法。   (Item 10) The method according to any one of items 1 to 9, further comprising: specifying a direction of the virtual object based on the first operation and setting a direction of the virtual camera based on the direction of the virtual object. Method.

(項目11)項目1〜12のいずれか1つの方法の各ステップを、コンピュータに実行させるプログラム。   (Item 11) A program that causes a computer to execute each step of any one of items 1 to 12.

(項目12)項目11のプログラムを記録したコンピュータ読み取り可能な記録媒体。   (Item 12) A computer-readable recording medium on which the program of item 11 is recorded.

1 仮想カメラ、2 仮想空間、5 基準視線、21 中心、22 仮想空間画像、23 視界領域、24 第1領域、25 第2領域、26 視界画像、40 円オブジェクト、41 視線オブジェクト、42 移動オブジェクト、43 アバター、44 軌跡、50 交点、100 HMDシステム、110 HMD、112 ディスプレイ、114、306 センサ、120 HMDセンサ、130 注視センサ、140 コントローラセンサ、200 制御回路部、210 検出部、211 HMD検出部、212 視線検出部、213 コントローラ検出部、220 表示制御部、221 仮想カメラ制御部、222 視界領域決定部、223 視界画像生成部、230 仮想空間制御部、231 仮想空間規定部、232 仮想手制御部、233 UIオブジェクト制御部、234 移動先特定部、240 記憶部、241 雛形格納部、242 コンテンツ格納部、243 変更規則格納部、250 通信部、300 コントローラ、302 操作ボタン、302a、302b 親指ボタン、302e 人差し指ボタン、302f 中指ボタン、302i アナログスティック、304 赤外線LED、308 トランシーバ、320 右コントローラ、322 天面、324 グリップ、326 フレーム、330 左コントローラ、400 外部機器 1 virtual camera, 2 virtual space, 5 reference line of sight, 21 center, 22 virtual space image, 23 view area, 24 first area, 25 second area, 26 view image, 40 circle object, 41 line of sight object, 42 moving object, 43 avatar, 44 locus, 50 intersection, 100 HMD system, 110 HMD, 112 display, 114, 306 sensor, 120 HMD sensor, 130 gaze sensor, 140 controller sensor, 200 control circuit unit, 210 detection unit, 211 HMD detection unit, 212 gaze detection unit, 213 controller detection unit, 220 display control unit, 221 virtual camera control unit, 222 visual field region determination unit, 223 visual field image generation unit, 230 virtual space control unit, 231 virtual space definition unit, 232 virtual hand control unit 233 UI Object control unit, 234 destination identification unit, 240 storage unit, 241 template storage unit, 242 content storage unit, 243 change rule storage unit, 250 communication unit, 300 controller, 302 operation buttons, 302a, 302b thumb button, 302e index finger button , 302f Middle finger button, 302i analog stick, 304 infrared LED, 308 transceiver, 320 right controller, 322 top surface, 324 grip, 326 frame, 330 left controller, 400 External equipment

Claims (11)

頭部にヘッドマウントディスプレイ(以下、HMD)を装着したユーザに仮想空間を提供する方法であって、
前記HMDの傾き、または、前記ユーザの視線方向に基づいて、前記ユーザの前記仮想空間における基準視線を特定するステップと、
前記仮想空間に配置され、前記基準視線に基づいて前記ユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、
前記仮想カメラの移動先を指定する仮想オブジェクトを前記仮想空間に配置するステップと、
ユーザにより入力された第1操作を受け付け、前記第1操作に基づいて、前記仮想オブジェクトの前記仮想カメラの移動先を示す属性に対する変更を開始し、該変更を継続させるステップと、
前記属性が変更されている間にユーザにより入力された第2操作を受け付け、前記第2操作が入力された時点において前記属性を特定し、特定した前記属性に基づいて、前記仮想カメラの移動先を特定するステップと、
前記移動先に前記仮想カメラを移動させるステップとを有する、方法。
A method for providing a virtual space to a user wearing a head-mounted display (hereinafter, HMD) on the head,
Identifying a reference line of sight in the virtual space of the user based on the inclination of the HMD or the line of sight of the user;
Identifying a virtual camera that is arranged in the virtual space and that sets a field of view to be visually recognized by the user based on the reference line of sight;
Placing in the virtual space a virtual object that specifies the destination of the virtual camera;
Receiving a first operation input by a user , starting a change to an attribute indicating a movement destination of the virtual camera of the virtual object based on the first operation, and continuing the change ;
The second operation input by the user while the attribute is changed is received, the attribute is specified at the time when the second operation is input, and the destination of the virtual camera is moved based on the specified attribute Identifying steps,
Moving the virtual camera to the destination.
前記仮想オブジェクトを、前記仮想カメラを囲むように配置し、
前記仮想空間における、前記仮想オブジェクトの外縁の位置を、前記第1操作に含まれる経時的情報に基づいて変更し、
前記第1操作の入力後に、前記仮想カメラの移動方向を特定するための入力を受け付け、
前記第2操作の入力時点における前記移動方向と前記外縁とに基づいて、前記属性を特定する、請求項1に記載の方法。
The virtual object is arranged so as to surround the virtual camera,
The position of the outer edge of the virtual object in the virtual space is changed based on the temporal information included in the first operation,
After inputting the first operation, accepting an input for specifying a moving direction of the virtual camera;
The method according to claim 1, wherein the attribute is specified based on the moving direction and the outer edge at the time of input of the second operation.
頭部にヘッドマウントディスプレイ(以下、HMD)を装着したユーザに仮想空間を提供する方法であって、
前記HMDの傾き、または、前記ユーザの視線方向に基づいて、前記ユーザの前記仮想空間における基準視線を特定するステップと、
前記仮想空間に配置され、前記基準視線に基づいて前記ユーザに視認させる視界領域を設定する仮想カメラを特定するステップと、
前記仮想カメラの移動先を指定する仮想オブジェクトを前記仮想空間に配置するステップと、
ユーザにより入力された第1操作を受け付け、前記第1操作に基づいて、前記仮想オブジェクトの前記仮想空間における位置に関する属性を変更するステップと、
前記第1操作よりも後にユーザにより入力された第2操作を受け付け、前記第2操作が入力された時点の前記属性に基づいて、前記仮想カメラの移動先を特定するステップと、
前記移動先に前記仮想カメラを移動させるステップとを有し、
前記仮想オブジェクトを、前記仮想カメラを囲むように配置し、
前記仮想空間における、前記仮想オブジェクトの外縁の位置を、前記第1操作に含まれる経時的情報に基づいて変更し、
前記第1操作の入力後に、前記仮想カメラの移動方向を特定するための入力を受け付け、
前記第2操作の入力時点における前記移動方向と前記外縁とに基づいて、前記属性を特定する、方法。
A method for providing a virtual space to a user wearing a head-mounted display (hereinafter, HMD) on the head,
Identifying a reference line of sight in the virtual space of the user based on the inclination of the HMD or the line of sight of the user;
Identifying a virtual camera that is arranged in the virtual space and that sets a field of view to be visually recognized by the user based on the reference line of sight;
Placing in the virtual space a virtual object that specifies the destination of the virtual camera;
Receiving a first operation input by a user, and changing an attribute relating to a position of the virtual object in the virtual space based on the first operation;
Receiving a second operation input by a user after the first operation, and identifying a destination of the virtual camera based on the attribute at the time when the second operation is input;
Moving the virtual camera to the destination,
The virtual object is arranged so as to surround the virtual camera,
The position of the outer edge of the virtual object in the virtual space is changed based on the temporal information included in the first operation,
After inputting the first operation, accepting an input for specifying a moving direction of the virtual camera;
The method of specifying the attribute based on the moving direction and the outer edge at the time of input of the second operation.
前記HMDの前記傾きまたは前記ユーザの前記視線方向に基づいて、前記移動方向を特定する、請求項2または3に記載の方法。   The method according to claim 2 or 3, wherein the moving direction is specified based on the inclination of the HMD or the line-of-sight direction of the user. 前記移動方向と前記外縁との交点の、前記仮想空間における位置に基づいて、前記属性を特定する、請求項2から4のいずれか1項に記載の方法。   The method according to claim 2, wherein the attribute is specified based on a position in the virtual space of an intersection between the moving direction and the outer edge. 前記仮想オブジェクトは円であり、該円の半径を前記経時的情報に基づいて変更する、請求項2から5のいずれか1項に記載の方法。   The method according to claim 2, wherein the virtual object is a circle, and the radius of the circle is changed based on the time-dependent information. 前記第1操作は、前記ユーザの身体の一部に連動するように前記仮想空間内を動作する可動オブジェクトの動作を入力するものであり、
前記仮想オブジェクトが前記仮想空間内を移動するときの移動態様を、前記可動オブジェクトの動作に基づいて、前記仮想オブジェクトに特徴付け、
前記第2操作が入力された時点の前記移動態様に基づいて、前記属性を特定する、請求項1に記載の方法。
The first operation is to input a motion of a movable object that moves in the virtual space so as to be interlocked with a part of the user's body,
Characterizing the movement mode when the virtual object moves in the virtual space, based on the movement of the movable object, to the virtual object,
The method according to claim 1, wherein the attribute is specified based on the movement mode at the time when the second operation is input.
前記移動態様を、前記可動オブジェクトの初速および初速ベクトルに少なくとも基づいて特徴付ける、請求項7に記載の方法。  The method of claim 7, wherein the movement aspect is characterized based at least on an initial speed and an initial speed vector of the movable object. 前記第1操作に基づいて前記仮想オブジェクトの向きを特定し、前記仮想オブジェクトの向きに基づいて前記仮想カメラの向きを設定するステップをさらに有する、請求項1から8のいずれか1項に記載の方法。  9. The method according to claim 1, further comprising: specifying an orientation of the virtual object based on the first operation, and setting an orientation of the virtual camera based on the orientation of the virtual object. Method. 請求項1から9のいずれか1項に記載の方法の各ステップを、コンピュータに実行させるプログラム。  The program which makes a computer perform each step of the method of any one of Claim 1 to 9. 請求項10に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。  The computer-readable recording medium which recorded the program of Claim 10.
JP2016159702A 2016-08-16 2016-08-16 Method, program, and recording medium for providing virtual space Active JP6203346B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016159702A JP6203346B1 (en) 2016-08-16 2016-08-16 Method, program, and recording medium for providing virtual space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016159702A JP6203346B1 (en) 2016-08-16 2016-08-16 Method, program, and recording medium for providing virtual space

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017118172A Division JP2018028900A (en) 2017-06-15 2017-06-15 Method, program, and recording medium for providing virtual space

Publications (2)

Publication Number Publication Date
JP6203346B1 true JP6203346B1 (en) 2017-09-27
JP2018028765A JP2018028765A (en) 2018-02-22

Family

ID=59969364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016159702A Active JP6203346B1 (en) 2016-08-16 2016-08-16 Method, program, and recording medium for providing virtual space

Country Status (1)

Country Link
JP (1) JP6203346B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021051756A (en) * 2016-09-30 2021-04-01 株式会社ソニー・インタラクティブエンタテインメント Field of view (fov) throttling of virtual reality (vr) content in head-mounted display

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7005406B2 (en) * 2018-03-23 2022-01-21 株式会社コロプラ Programs, information processing devices, and information processing methods
JP7192151B2 (en) * 2018-03-23 2022-12-19 株式会社コロプラ Program, information processing device, and information processing method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249500A (en) * 1995-03-13 1996-09-27 Hitachi Ltd Method for displaying three-dimensional graphic
JPH09311952A (en) * 1996-05-22 1997-12-02 Oki Electric Ind Co Ltd Display method for three-dimensional image
JP2002208036A (en) * 2001-01-10 2002-07-26 Toshimitsu Nakanishi System for providing contents and method for the same
JP2003132375A (en) * 2002-07-05 2003-05-09 Hitachi Ltd Guiding system, map data server device and map data display terminal device
JP2014127987A (en) * 2012-12-27 2014-07-07 Sony Corp Information processing apparatus and recording medium
WO2014162852A1 (en) * 2013-04-04 2014-10-09 ソニー株式会社 Image processing device, image processing method and program
US20160180595A1 (en) * 2014-12-18 2016-06-23 Oculus Vr, Llc Method, system and device for navigating in a virtual reality environment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249500A (en) * 1995-03-13 1996-09-27 Hitachi Ltd Method for displaying three-dimensional graphic
JPH09311952A (en) * 1996-05-22 1997-12-02 Oki Electric Ind Co Ltd Display method for three-dimensional image
JP2002208036A (en) * 2001-01-10 2002-07-26 Toshimitsu Nakanishi System for providing contents and method for the same
JP2003132375A (en) * 2002-07-05 2003-05-09 Hitachi Ltd Guiding system, map data server device and map data display terminal device
JP2014127987A (en) * 2012-12-27 2014-07-07 Sony Corp Information processing apparatus and recording medium
WO2014162852A1 (en) * 2013-04-04 2014-10-09 ソニー株式会社 Image processing device, image processing method and program
US20160180595A1 (en) * 2014-12-18 2016-06-23 Oculus Vr, Llc Method, system and device for navigating in a virtual reality environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021051756A (en) * 2016-09-30 2021-04-01 株式会社ソニー・インタラクティブエンタテインメント Field of view (fov) throttling of virtual reality (vr) content in head-mounted display

Also Published As

Publication number Publication date
JP2018028765A (en) 2018-02-22

Similar Documents

Publication Publication Date Title
WO2018016553A1 (en) Method for providing virtual space, method for providing virtual experience, program, and recording medium
JP6189497B1 (en) Method for providing virtual space, method for providing virtual experience, program, and recording medium
JP6290467B1 (en) Information processing method, apparatus, and program causing computer to execute information processing method
JP6257826B1 (en) Method, program, and information processing apparatus executed by computer to provide virtual space
JP6242473B1 (en) Method for providing virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program
JP6113897B1 (en) Method for providing virtual space, method for providing virtual experience, program, and recording medium
JP2018194889A (en) Information processing method, computer and program
JP6203346B1 (en) Method, program, and recording medium for providing virtual space
JP2018125003A (en) Information processing method, apparatus, and program for implementing that information processing method in computer
JP6368404B1 (en) Information processing method, program, and computer
JP6278546B1 (en) Information processing method, apparatus, and program for causing computer to execute information processing method
JP2019168962A (en) Program, information processing device, and information processing method
JP2019133309A (en) Program, information processor and information processing method
JP2018028920A (en) Method for providing virtual space, program and recording medium
JP2018028900A (en) Method, program, and recording medium for providing virtual space
JP6159455B1 (en) Method, program, and recording medium for providing virtual space
JP2018032413A (en) Method for providing virtual space, method for providing virtual experience, program and recording medium
JP6242452B1 (en) Method for providing virtual space, method for providing virtual experience, program, and recording medium
JP2018206340A (en) Method which is executed on computer for providing virtual space, program and information processor
JP2019020832A (en) Information processing method, device, and program for causing computer to execute the method
JP2019036239A (en) Information processing method, information processing program, information processing system, and information processing device
JP6728111B2 (en) Method of providing virtual space, method of providing virtual experience, program, and recording medium
JP2019207714A (en) Information processing method, computer and program
JP6275185B2 (en) Method, program, and recording medium for providing virtual space
JP2019155115A (en) Program, information processor and information processing method

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170706

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170829

R150 Certificate of patent or registration of utility model

Ref document number: 6203346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250