JP6469752B2 - INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING APPARATUS - Google Patents

INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING APPARATUS Download PDF

Info

Publication number
JP6469752B2
JP6469752B2 JP2017085308A JP2017085308A JP6469752B2 JP 6469752 B2 JP6469752 B2 JP 6469752B2 JP 2017085308 A JP2017085308 A JP 2017085308A JP 2017085308 A JP2017085308 A JP 2017085308A JP 6469752 B2 JP6469752 B2 JP 6469752B2
Authority
JP
Japan
Prior art keywords
information processing
target object
user
virtual space
operation object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017085308A
Other languages
Japanese (ja)
Other versions
JP2018185567A (en
Inventor
尚人 佐々木
尚人 佐々木
野口　裕弘
裕弘 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2017085308A priority Critical patent/JP6469752B2/en
Publication of JP2018185567A publication Critical patent/JP2018185567A/en
Application granted granted Critical
Publication of JP6469752B2 publication Critical patent/JP6469752B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本開示は、情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置に関する。   The present disclosure relates to an information processing method, an information processing program, an information processing system, and an information processing apparatus.

非特許文献１のように、仮想空間内で仮想手を使って遊ぶゲームが知られている。   As in Non-Patent Document 1, a game played using virtual hands in a virtual space is known.

“Toybox Demo for Oculus Touch”、[online]、平成２７年１０月１３日、Oculus、[平成２９年４月１１日検索]、インターネット＜https://www.youtube.com/watch?v=iFEMiyGMa58&feature=youtu.be＞“Toybox Demo for Oculus Touch”, [online], October 13, 2015, Oculus, [search on April 11, 2017], Internet <https://www.youtube.com/watch?v=iFEMiGMa58&feature = youtu.be>

上記の非特許文献１のような仮想手を用いたゲームにおいて、より直感的な仮想体験を提供するためには改善の余地がある。   In the game using virtual hands as described in Non-Patent Document 1, there is room for improvement in order to provide a more intuitive virtual experience.

本開示は、ヘッドマウントデバイスのユーザに対して、より直感的な仮想体験を提供可能な情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置を提供することを目的とする。   An object of the present disclosure is to provide an information processing method, an information processing program, an information processing system, and an information processing apparatus capable of providing a more intuitive virtual experience to a user of a head mounted device.

本開示が示す一態様によれば、情報処理方法であって、
前記情報処理方法は、ヘッドマウントデバイスを備えたシステムにおいて実行され、
（ａ）操作オブジェクトと、前記操作オブジェクトによって影響が与えられる対象オブジェクトと、を含む仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記ヘッドマウントデバイスの動きおよび前記仮想空間データに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
（ｃ）前記ヘッドマウントデバイスを装着したユーザの身体の一部の動きに応じて、前記操作オブジェクトを動かすステップと、
（ｄ）前記操作オブジェクトの動きに応じて前記操作オブジェクトと前記対象オブジェクトとが干渉した場合には、前記操作オブジェクトと前記対象オブジェクトとの干渉量に基づいて、前記対象オブジェクトに与えられる前記影響を特定するステップと、
を含む。 According to one aspect the present disclosure shows, an information processing method comprising
The information processing method is performed in a system comprising a head mount device,
(A) generating virtual space data defining a virtual space including an operation object and a target object affected by the operation object;
(B) generating view image data indicating a view image to be displayed on the head mounted device based on the movement of the head mounted device and the virtual space data;
(C) moving the operation object in response to the movement of a part of the body of the user wearing the head mount device;
(D) When the operation object and the target object interfere with each other according to the movement of the operation object, the influence given to the target object is determined based on the amount of interference between the operation object and the target object. Identifying steps,
including.

本開示によれば、ヘッドマウントデバイスのユーザに対して、より直感的な仮想体験を提供することができる。   According to the present disclosure, a more intuitive virtual experience can be provided to the user of the head mounted device.

本発明の実施形態（以下、単に本実施形態という。）に係る仮想空間配信システムを示す概略図である。FIG. 1 is a schematic view showing a virtual space distribution system according to an embodiment of the present invention (hereinafter simply referred to as the present embodiment). ユーザ端末を示す概略図である。It is the schematic which shows a user terminal. ＨＭＤを装着したユーザの頭部を示す図である。It is a figure showing a user's head equipped with HMD. 制御装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a control apparatus. 外部コントローラの具体的な構成の一例を示す図である。It is a figure which shows an example of a concrete structure of an external controller. 視野画像をＨＭＤに表示する処理を示すフローチャートである。It is a flowchart which shows the process which displays a visual field image on HMD. 仮想空間の一例を示すｘｙｚ空間図である。It is a xyz space figure which shows an example of virtual space. 状態（ａ）は、図７に示す仮想空間のｙｘ平面図である。状態（ｂ）は、図７に示す仮想空間のｚｘ平面図である。The state (a) is a yx plan view of the virtual space shown in FIG. The state (b) is a zx plan view of the virtual space shown in FIG. ＨＭＤに表示された視野画像の一例を示す図である。It is a figure which shows an example of the visual field image displayed on HMD. 図１に示すサーバのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the server shown in FIG. 状態（ａ）は、ＨＭＤを装着したユーザが存在する現実空間を示す図であり、状態（ｂ）は、仮想カメラと、各種の仮想オブジェクトとを含む仮想空間を示す図である。A state (a) is a view showing a real space in which a user wearing the HMD exists, and a state (b) is a view showing a virtual space including a virtual camera and various virtual objects. 本実施形態に係る情報処理方法を説明するためのフローチャートである。It is a flowchart for demonstrating the information processing method which concerns on this embodiment. 図１１の状態での視野画像を示す図である。It is a figure which shows the visual field image in the state of FIG. 操作オブジェクトと対象オブジェクトとが干渉している状態を示す図である。It is a figure which shows the state in which the operation object and the object object are interfering. 図１４の状態での視野画像を示す図である。It is a figure which shows the visual field image in the state of FIG. 対象オブジェクトのページをめくった状態での視野画像を示す図である。It is a figure which shows the visual field image in the state which turned over the page of the object object.

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）情報処理方法であって、
前記情報処理方法は、ヘッドマウントデバイスを備えたシステムにおいて実行され、
（ａ）操作オブジェクトと、前記操作オブジェクトによって影響が与えられる対象オブジェクトと、を含む仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記ヘッドマウントデバイスの動きおよび前記仮想空間データに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
（ｃ）前記ヘッドマウントデバイスを装着したユーザの身体の一部の動きに応じて、前記操作オブジェクトを動かすステップと、
（ｄ）前記操作オブジェクトの動きに応じて前記操作オブジェクトと前記対象オブジェクトとが干渉した場合には、前記操作オブジェクトと前記対象オブジェクトとの干渉量に基づいて、前記対象オブジェクトに与えられる前記影響を特定するステップと、
を含む。 [Description of Embodiments Presented by Present Disclosure]
An outline of an embodiment indicated by the present disclosure will be described.
(1) The information processing method
The information processing method is performed in a system comprising a head mount device,
(A) generating virtual space data defining a virtual space including an operation object and a target object affected by the operation object;
(B) generating view image data indicating a view image to be displayed on the head mounted device based on the movement of the head mounted device and the virtual space data;
(C) moving the operation object in response to the movement of a part of the body of the user wearing the head mount device;
(D) When the operation object and the target object interfere with each other according to the movement of the operation object, the influence given to the target object is determined based on the amount of interference between the operation object and the target object. Identifying steps,
including.

この方法によれば、操作オブジェクトの対象オブジェクトに対する干渉量に応じて対象オブジェクトに与えられる影響を異ならせることができ、ユーザに対して、より直感的な仮想体験を提供することができる。   According to this method, the influence given to the target object can be differentiated according to the amount of interference of the operation object with the target object, and a more intuitive virtual experience can be provided to the user.

（２）前記影響は、前記対象オブジェクトにおける視覚的な表示を含んでもよい。   (2) The influence may include visual display on the target object.

この方法によれば、操作オブジェクトを対象オブジェクトに干渉させた場合には、対象オブジェクトの表示が視覚的に変化することで、ユーザは自らが操作する操作オブジェクトにより対象オブジェクトに与えられた影響を直感的に把握することができる。   According to this method, when the operation object interferes with the target object, the display of the target object changes visually, and the user intuitively influences the influence given to the target object by the operation object that he / she operates. Can be grasped.

（３）前記操作オブジェクトと前記対象オブジェクトとが干渉している場合に、前記操作オブジェクトの位置が、前記対象オブジェクトの表面において接触する位置となるように調整されており、
前記操作オブジェクトと前記表面との接触点において前記視覚的な表示が、前記干渉量に基づいて異ならされていてもよい。 (3) When the operation object and the target object interfere with each other, the position of the operation object is adjusted to be in contact with the surface of the target object,
The visual display at the contact point between the operation object and the surface may be differentiated based on the amount of interference.

この方法によれば、操作オブジェクトが対象オブジェクトと干渉する場合でも操作オブジェクトの対象オブジェクトに対する不自然な貫通が発生しないように操作オブジェクトの位置を調整しつつ干渉量に基づいて対象オブジェクトの視覚的な表示態様を変化させることにより、直感的で自然な仮想体験を容易に提供することができる。   According to this method, even when the operation object interferes with the target object, the position of the operation object is adjusted while the unnatural penetration of the target object does not occur, and the visual appearance of the target object is adjusted based on the amount of interference. By changing the display mode, an intuitive and natural virtual experience can be easily provided.

（４）前記対象オブジェクトは、前記接触点を含む前記表面と、前記表面とは反対側の裏面と、を少なくとも含み、
前記視覚的な表示は、前記表面において前記接触点を含む第１部分の面積、前記第１部分の濃淡、および、前記裏面において前記第１部分に対応する部分である第２部分の面積、の少なくとも一つを含んでもよい。 (4) The target object at least includes the surface including the contact point, and a back surface opposite to the surface,
The visual display includes an area of a first portion including the contact point on the surface, a shade of the first portion, and an area of a second portion which is a portion corresponding to the first portion on the back surface It may include at least one.

視覚的な表示の変化パターンとして、これらの方法を用いることが好ましい。   It is preferable to use these methods as a visual display change pattern.

（５）前記影響は、前記対象オブジェクトの少なくとも一部が変形されるか否かが特定されることを含んでもよい。   (5) The influence may include specifying whether at least a part of the target object is deformed.

（６）前記影響は、前記対象オブジェクトに予め関連付けられたパラメータを変動させることを含んでもよい。   (6) The influence may include varying a parameter previously associated with the target object.

（７）（ｆ）前記干渉量または前記影響に応じた触覚的なフィードバックを前記ユーザに与えるステップを、さらに含んでもよい。   (7) (f) The method may further include the step of providing the user with tactile feedback according to the amount of interference or the influence.

これらの方法によっても、より直感的な仮想体験を容易に提供することができる。   These methods can also provide a more intuitive virtual experience easily.

（８）前記干渉量は、前記対象オブジェクトに干渉した前記操作オブジェクトの干渉部分の体積、前記干渉部分の最大深さ、前記対象オブジェクトの表面における前記干渉部分の面積、の少なくとも一つに基づいて規定されてもよい。   (8) The amount of interference is based on at least one of the volume of the interference portion of the operation object that has interfered with the target object, the maximum depth of the interference portion, and the area of the interference portion on the surface of the target object It may be defined.

（９）情報処理プログラムは、上記項目（１）から（８）のいずれかに記載の情報処理方法をコンピュータに実行させるための情報処理プログラムである。   (9) The information processing program is an information processing program for causing a computer to execute the information processing method according to any one of the items (1) to (8).

上記によれば、ヘッドマウントデバイスのユーザに対して、より直感的な仮想体験を提供可能な情報処理プログラムを提供することができる。   According to the above, it is possible to provide an information processing program capable of providing a more intuitive virtual experience to the user of the head mounted device.

（１０）ヘッドマウントデバイスを用いた情報処理システムであって、
当該情報処理システムは、項目（１）から（８）のうちいずれかに記載の情報処理方法を実行するように構成された、情報処理システムである。 (10) An information processing system using a head mount device,
The information processing system is an information processing system configured to execute the information processing method according to any one of items (1) to (8).

上記によれば、ヘッドマウントデバイスのユーザに対して、より直感的な仮想体験を提供可能な情報処理システムを提供することができる。   According to the above, it is possible to provide an information processing system capable of providing a more intuitive virtual experience to the user of the head mounted device.

（１１）プロセッサと、
コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は項目（１）から（８）のうちいずれかに記載の情報処理方法を実行する、情報処理装置である。 (11) a processor,
An information processing apparatus comprising: a memory for storing computer readable instructions;
The information processing apparatus is an information processing apparatus that executes the information processing method according to any one of items (1) to (8) when the computer readable instruction is executed by the processor.

上記によれば、ヘッドマウントデバイスのユーザに対して、より直感的な仮想体験を提供可能な情報処理装置を提供することができる。情報処理装置は、ユーザ端末またはサーバのいずれか一方である点に留意されたい。   According to the above, it is possible to provide an information processing apparatus capable of providing a more intuitive virtual experience to the user of the head mounted device. It should be noted that the information processing apparatus is either a user terminal or a server.

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。本実施形態の説明において既に説明された要素と同一の参照番号を有する要素については、説明の便宜上、その説明は繰り返さない。 [Details of Embodiment Presented by Present Disclosure]
Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. For the elements having the same reference numerals as the elements already described in the description of the present embodiment, the description thereof will not be repeated for convenience of the description.

最初に、仮想空間配信システム１００（情報処理システム）の構成の概略について図１を参照して説明する。図１は、仮想空間配信システム１００（以下、単に配信システム１００という。）の概略図である。図１に示すように、配信システム１００は、ヘッドマウントデバイス（ＨＭＤ）１１０（第一ＨＭＤ）を装着したユーザＡ（第一ユーザ）によって操作されるユーザ端末１Ａ（第一ユーザ端末）と、ＨＭＤ１１０（第二ＨＭＤ）を装着したユーザＢ（第二ユーザ）によって操作されるユーザ端末１Ｂ（第二ユーザ端末）と、サーバ２とを備える。ユーザ端末１Ａ，１Ｂは、インターネット等の通信ネットワーク３を介してサーバ２に通信可能に接続されている。以降では、説明の便宜上、各ユーザ端末１Ａ，１Ｂを単にユーザ端末１と総称する場合がある。各ユーザＡ，Ｂを単にユーザＵと総称する場合がある。本実施形態では、ユーザ端末１Ａ，１Ｂは、同一の構成を備えているものとする。仮想空間とは、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間と、ＡＲ（Ａｒｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間と、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）空間を含む。   First, an outline of the configuration of the virtual space distribution system 100 (information processing system) will be described with reference to FIG. FIG. 1 is a schematic view of a virtual space distribution system 100 (hereinafter simply referred to as a distribution system 100). As shown in FIG. 1, the distribution system 100 includes a user terminal 1A (first user terminal) operated by a user A (first user) wearing a head mounted device (HMD) 110 (first HMD), and the HMD 110. A user terminal 1B (second user terminal) operated by a user B (second user) wearing the (second HMD) and the server 2 are provided. The user terminals 1A and 1B are communicably connected to the server 2 via a communication network 3 such as the Internet. Hereinafter, for convenience of description, each of the user terminals 1A and 1B may be simply referred to as the user terminal 1. The users A and B may be simply referred to as the user U. In the present embodiment, the user terminals 1A and 1B are assumed to have the same configuration. The virtual space includes a VR (Virtual Reality) space, an AR (Argumented Reality) space, and an MR (Mixed Reality) space.

次に、図２を参照してユーザ端末１の構成について説明する。図２は、ユーザ端末１を示す概略図である。図２に示すように、ユーザ端末１は、ユーザＵの頭部に装着されたヘッドマウントデバイス（ＨＭＤ）１１０と、ヘッドフォン１１６と、位置センサ１３０と、外部コントローラ３２０と、制御装置１２０とを備える。   Next, the configuration of the user terminal 1 will be described with reference to FIG. FIG. 2 is a schematic view showing the user terminal 1. As shown in FIG. 2, the user terminal 1 includes a head mounted device (HMD) 110 mounted on the head of the user U, headphones 116, a position sensor 130, an external controller 320, and a control device 120. .

ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、注視センサ１４０とを備える。表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を完全に覆うように構成された非透過型の表示装置を備える。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。表示部１１２は、ユーザＵの左目に画像を提供するように構成された左目用表示部と、ユーザＵの右目に画像を提供するように構成された右目用表示部とから構成されてもよい。ＨＭＤ１１０は、透過型の表示装置を備えてもよい。この場合、透過型の表示装置は、その透過率を調整することで、一時的に非透過型の表示装置として構成されてもよい。   The HMD 110 includes a display unit 112, an HMD sensor 114, and a gaze sensor 140. The display unit 112 includes a non-transmissive display device configured to completely cover the field of view (field of view) of the user U wearing the HMD 110. Accordingly, the user U can immerse in the virtual space by viewing only the view image displayed on the display unit 112. The display unit 112 may be configured of a display unit for the left eye configured to provide an image to the left eye of the user U, and a display unit for the right eye configured to provide an image to the right eye of the user U . The HMD 110 may include a transmissive display device. In this case, the transmissive display device may be temporarily configured as a non-transmissive display device by adjusting the transmittance thereof.

ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動き（傾き等）を検出することができる。   The HMD sensor 114 is mounted near the display unit 112 of the HMD 110. The HMD sensor 114 includes at least one of a geomagnetic sensor, an acceleration sensor, and an inclination sensor (such as an angular velocity sensor or a gyro sensor), and detects various movements (such as inclination) of the HMD 110 mounted on the head of the user U be able to.

注視センサ１４０は、ユーザＵの視線を検出するアイトラッキング機能を有する。注視センサ１４０は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザＵの右目に例えば赤外光を照射して、右目（特に、角膜や虹彩）から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザＵの左目に例えば赤外光を照射して、左目（特に、角膜や虹彩）から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。   The gaze sensor 140 has an eye tracking function of detecting the line of sight of the user U. The gaze sensor 140 may include, for example, a right eye gaze sensor and a left eye gaze sensor. The right eye gaze sensor emits infrared light, for example, to the right eye of the user U, and detects reflected light reflected from the right eye (in particular, the cornea and the iris) to obtain information on the rotation angle of the right eye You may On the other hand, the gaze sensor for the left eye irradiates, for example, infrared light to the left eye of the user U, and detects the reflected light reflected from the left eye (in particular, the cornea and the iris). You may get

ヘッドフォン１１６（音声出力部）は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドフォン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。   The headphones 116 (audio output unit) are attached to the left ear and the right ear of the user U, respectively. The headphones 116 are configured to receive audio data (electrical signals) from the control device 120, and to output audio based on the received audio data.

位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０と外部コントローラ３２０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線または有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾きまたは発光強度に関する情報を検出するように構成されている。位置センサ１３０は、外部コントローラ３２０に設けられた図示しない複数の検知点の位置、傾きおよび／または発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。   The position sensor 130 is configured by, for example, a position tracking camera, and is configured to detect the position of the HMD 110 and the external controller 320. The position sensor 130 is communicably connected to the control device 120 wirelessly or by wire, and is configured to detect information on the position, inclination or light emission intensity of a plurality of detection points (not shown) provided on the HMD 110. . The position sensor 130 is configured to detect information on the position, the inclination, and / or the light emission intensity of a plurality of detection points (not shown) provided in the external controller 320. The detection point is, for example, a light emitting unit that emits infrared light or visible light. The position sensor 130 may include an infrared sensor and a plurality of optical cameras.

外部コントローラ３２０は、ユーザＵの手の動きを検知することにより、仮想空間内に表示される手オブジェクトの動作を制御するために使用される。外部コントローラ３２０は、ユーザＵの右手によって操作される右手用外部コントローラ３２０Ｒ（以下、単にコントローラ３２０Ｒという。）と、ユーザＵの左手によって操作される左手用外部コントローラ３２０Ｌ（以下、単にコントローラ３２０Ｌという。）と、を有する。コントローラ３２０Ｒは、ユーザＵの右手の位置や右手の手指の動きを示す装置である。コントローラ３２０Ｌは、ユーザＵの左手の位置や左手の手指の動きを示す装置である。コントローラ３２０Ｒ，３２０Ｌの動きに応じて仮想空間内に存在する左手オブジェクトおよび右手オブジェクトがそれぞれ動く。   The external controller 320 is used to control the movement of the hand object displayed in the virtual space by detecting the movement of the hand of the user U. The external controller 320 is an external controller 320R for the right operated by the user U's right hand (hereinafter simply referred to as the controller 320R) and an external controller 320L for the left hand operated by the left hand of the user U (hereinafter referred to simply as the controller 320L). And. The controller 320R is a device that indicates the position of the user U's right hand and the movement of the right hand's finger. The controller 320L is a device that indicates the position of the user U's left hand and the movement of fingers of the left hand. The left hand object and the right hand object existing in the virtual space move in response to the movement of the controllers 320R and 320L.

制御装置１２０は、ＨＭＤ１１０を制御するように構成されたコンピュータである。制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を特定し、当該特定された位置情報に基づいて、仮想空間における仮想カメラの位置（仮想空間内でのユーザＵの位置）と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。制御装置１２０は、位置センサ１３０および／または外部コントローラ３２０に内蔵されたセンサから取得された情報に基づいて、外部コントローラ３２０の動作を特定し、当該特定された外部コントローラ３２０の動作に基づいて、仮想空間内に表示される手オブジェクトの動作と現実空間における外部コントローラ３２０の動作を正確に対応付けることができる。特に、制御装置１２０は、位置センサ１３０および／またはコントローラ３２０Ｌに内蔵されたセンサから取得された情報に基づいて、コントローラ３２０Ｌの動作を特定し、当該特定されたコントローラ３２０Ｌの動作に基づいて、仮想空間内に表示される左手オブジェクトの動作と現実空間におけるコントローラ３２０Ｌの動作（ユーザＵの左手の動作）を正確に対応付けることができる。同様に、制御装置１２０は、位置センサおよび／コントローラ３２０Ｒに内蔵されたセンサから取得された情報に基づいて、コントローラ３２０Ｒの動作を特定し、当該特定されたコントローラ３２０Ｒの動作に基づいて、仮想空間内に表示される右手オブジェクトの動作と現実空間におけるコントローラ３２０Ｒの動作（ユーザＵの右手の動作）を正確に対応付けることができる。   Control device 120 is a computer configured to control HMD 110. Control device 120 specifies the position information of HMD 110 based on the information acquired from position sensor 130, and based on the specified position information, the position of the virtual camera in the virtual space (user U in the virtual space And the position of the user U wearing the HMD 110 in the real space can be accurately associated. The controller 120 identifies the operation of the external controller 320 based on the information acquired from the position sensor 130 and / or the sensor incorporated in the external controller 320, and based on the operation of the identified external controller 320, The motion of the hand object displayed in the virtual space can be accurately associated with the motion of the external controller 320 in the real space. In particular, the control device 120 specifies the operation of the controller 320L based on the information acquired from the sensor built in the position sensor 130 and / or the controller 320L, and based on the operation of the specified controller 320L, a virtual The motion of the left-handed object displayed in the space and the motion of the controller 320L in the real space (the motion of the left hand of the user U) can be accurately correlated. Similarly, the control device 120 specifies the operation of the controller 320R based on the information acquired from the position sensor and / or the sensor incorporated in the controller 320R, and based on the operation of the specified controller 320R, the virtual space The motion of the right hand object displayed in the inside and the motion of the controller 320R in the real space (the motion of the right hand of the user U) can be accurately correlated.

制御装置１２０は、ユーザＵの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。制御装置１２０は、特定された注視点に基づいて、ユーザＵの両目の視線（ユーザＵの視線）を特定することができる。ユーザＵの視線は、ユーザＵの両目の視線であって、ユーザＵの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。制御装置１２０は、注視センサ１４０（左目用注視センサと右目用注視センサ）から送信された検出データ（アイトラッキングデータ）に基づいて、ユーザＵの右目の黒目の中心位置とユーザＵの左目の黒目の中心位置とをそれぞれ特定することができる。   The control device 120 can respectively identify the line of sight of the right eye and the line of sight of the left eye of the user U, and can specify a gaze point which is an intersection of the line of sight of the right eye and the line of sight of the left eye. The control device 120 can identify the line of sight of the user U (the line of sight of the user U) based on the identified fixation point. The line of sight of the user U is the line of sight of the user U and coincides with the direction of the straight line passing through the midpoint of the line connecting the right eye and the left eye of the user U and the point of gaze. Control device 120 is based on detection data (eye tracking data) transmitted from gaze sensor 140 (the gaze sensor for the left eye and the gaze sensor for the right eye), the center position of the right eye of user U and the left eye of user U And the center position of

次に、図３を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について以下に説明する。図３は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０および／またはＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交しＨＭＤ１１０の中心を通る方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０および／またはＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、仮想カメラの視軸を制御するための角度情報を決定する。   Next, with reference to FIG. 3, a method of acquiring information on the position and tilt of the HMD 110 will be described below. FIG. 3 is a view showing the head of the user U wearing the HMD 110. As shown in FIG. Information on the position and tilt of the HMD 110 interlocked with the movement of the head of the user U wearing the HMD 110 can be detected by the position sensor 130 and / or the HMD sensor 114 mounted on the HMD 110. As shown in FIG. 2, three-dimensional coordinates (uvw coordinates) are defined around the head of the user U wearing the HMD 110. A vertical direction in which the user U stands is defined as a v-axis, a direction perpendicular to the v-axis and passing through the center of the HMD 110 as a w-axis, and a direction orthogonal to the v-axis and the w-axis as a u-axis. The position sensor 130 and / or the HMD sensor 114 are angled about each uvw axis (ie yaw angle indicating rotation about v axis, pitch angle indicating rotation about u axis, w axis) The tilt determined by the roll angle indicating rotation is detected. The control device 120 determines angle information for controlling the visual axis of the virtual camera based on the detected angle change around each uvw axis.

次に、図４を参照することで、制御装置１２０のハードウェア構成について説明する。図４は、制御装置１２０のハードウェア構成を示す図である。図４に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５は、バス１２６を介して互いに通信可能に接続されている。   Next, the hardware configuration of the control device 120 will be described with reference to FIG. FIG. 4 is a diagram showing a hardware configuration of the control device 120. As shown in FIG. As shown in FIG. 4, the control device 120 includes a control unit 121, a storage unit 123, an I / O (input / output) interface 124, a communication interface 125, and a bus 126. The control unit 121, the storage unit 123, the I / O interface 124, and the communication interface 125 are communicably connected to one another via a bus 126.

制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、スマートフォン、ファブレット、タブレットまたはウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０に内蔵されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。   The control device 120 may be configured as a personal computer, a smartphone, a fablet, a tablet or a wearable device separately from the HMD 110, or may be built in the HMD 110. Moreover, while the one part function of the control apparatus 120 is mounted in HMD110, the remaining function of the control apparatus 120 may be mounted in another apparatus separate from HMD110.

制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。   The control unit 121 includes a memory and a processor. The memory is configured of, for example, a ROM (Read Only Memory) storing various programs and the like, and a RAM (Random Access Memory) having a plurality of work areas storing various programs and the like executed by the processor. The processor is, for example, a central processing unit (CPU), a micro processing unit (MPU) and / or a graphics processing unit (GPU), and develops a program specified from various programs incorporated in the ROM on the RAM. The system is configured to execute various processes in cooperation with the

特に、プロセッサが制御プログラムをＲＡＭ上に展開し、ＲＡＭとの協働で制御プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、視野画像データに基づいてＨＭＤ１１０の表示部１１２に視野画像を表示する。これにより、ユーザＵは、仮想空間に没入することができる。   In particular, the control unit 121 may control various operations of the control device 120 by the processor developing the control program on the RAM and executing the control program in cooperation with the RAM. The control unit 121 displays the view image on the display unit 112 of the HMD 110 based on the view image data. Thereby, the user U can immerse in the virtual space.

記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現するための制御プログラムを格納してもよい。記憶部１２３には、ユーザＵの認証プログラムや各種画像やオブジェクト（例えば、手オブジェクト等）に関するデータが格納されてもよい。記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。   The storage unit (storage) 123 is, for example, a storage device such as a hard disk drive (HDD), a solid state drive (SSD), or a USB flash memory, and is configured to store programs and various data. The storage unit 123 may store a control program for causing a computer to execute at least a part of the information processing method according to the present embodiment, or a control program for realizing sharing of a virtual space by a plurality of users. The storage unit 123 may store an authentication program of the user U and data regarding various images and objects (for example, hand objects and the like). In the storage unit 123, a database including tables for managing various data may be constructed.

Ｉ／Ｏインターフェース１２４は、ＨＭＤ１１０と、位置センサ１３０と、外部コントローラ３２０と、ヘッドフォン１１６と、をそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。制御装置１２０は、ＨＭＤ１１０と、位置センサ１３０と、外部コントローラ３２０と、ヘッドフォン１１６とのそれぞれと無線接続されていてもよい。   The I / O interface 124 is configured to communicably connect the HMD 110, the position sensor 130, the external controller 320, and the headphone 116 to the control device 120. For example, USB (Universal Serial Bus) A terminal, a DVI (Digital Visual Interface) terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) terminal, and the like are included. The control device 120 may be wirelessly connected to each of the HMD 110, the position sensor 130, the external controller 320, and the headphones 116.

通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介してサーバ２等の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。   The communication interface 125 is configured to connect the control device 120 to a communication network 3 such as a Local Area Network (LAN), a Wide Area Network (WAN), or the Internet. The communication interface 125 includes various wired connection terminals for communicating with an external device such as the server 2 via the communication network 3 and various processing circuits for wireless connection, and communicates via the communication network 3. Are configured to meet the communication standards of

次に、図５を参照して外部コントローラ３２０の具体的構成の一例について説明する。外部コントローラ３２０は、ユーザＵの身体の一部（頭部以外の部位であり、本実施形態においてはユーザＵの手）の動きを検知することにより、仮想空間内に表示される手オブジェクトの動作を制御するために使用される。外部コントローラ３２０は、ユーザＵの右手によって操作される右手用外部コントローラ３２０Ｒ（以下、単にコントローラ３２０Ｒという。）と、ユーザＵの左手によって操作される左手用外部コントローラ３２０Ｌ（以下、単にコントローラ３２０Ｌという。）と、を有する。コントローラ３２０Ｒは、ユーザＵの右手の位置や右手の手指の動きを示す装置である。また、コントローラ３２０Ｒの動きに応じて仮想空間内に存在する右手オブジェクト４００Ｒ（図１１参照）が移動する。コントローラ３２０Ｌは、ユーザＵの左手の位置や左手の手指の動きを示す装置である。また、コントローラ３２０Ｌの動きに応じて仮想空間内に存在する左手オブジェクト４００Ｌ（図１１参照）が移動する。コントローラ３２０Ｒとコントローラ３２０Ｌは略同一の構成を有するので、以下では、図５を参照してコントローラ３２０Ｒの具体的構成についてのみ説明する。以降の説明では、便宜上、コントローラ３２０Ｌ，３２０Ｒを単にコントローラ３２０と総称する場合がある。   Next, an example of a specific configuration of the external controller 320 will be described with reference to FIG. The external controller 320 detects the movement of a part of the user U's body (a part other than the head, and in this embodiment, the user U's hand) to detect the movement of the hand object displayed in the virtual space. Used to control the The external controller 320 is an external controller 320R for the right operated by the user U's right hand (hereinafter simply referred to as the controller 320R) and an external controller 320L for the left hand operated by the left hand of the user U (hereinafter referred to simply as the controller 320L). And. The controller 320R is a device that indicates the position of the user U's right hand and the movement of the right hand's finger. Further, the right hand object 400R (see FIG. 11) existing in the virtual space moves in accordance with the movement of the controller 320R. The controller 320L is a device that indicates the position of the user U's left hand and the movement of fingers of the left hand. Further, in accordance with the movement of the controller 320L, the left hand object 400L (see FIG. 11) existing in the virtual space is moved. The controller 320R and the controller 320L have substantially the same configuration, so only the specific configuration of the controller 320R will be described below with reference to FIG. In the following description, the controllers 320L and 320R may be simply referred to as the controller 320 for convenience.

図５に示すように、コントローラ３２０Ｒは、操作ボタン３０２と、複数の検知点３０４と、図示しないセンサと、図示しないトランシーバとを備える。検知点３０４とセンサは、どちらか一方のみが設けられていてもよい。操作ボタン３０２は、ユーザＵからの操作入力を受付けるように構成された複数のボタン群により構成されている。操作ボタン３０２は、プッシュ式ボタン、トリガー式ボタン及びアナログスティックを含む。プッシュ式ボタンは、親指による押下する動作によって操作されるボタンである。例えば、天面３２２上に２つのプッシュ式ボタン３０２ａ，３０２ｂが設けられている。トリガー式ボタンは、人差し指や中指で引き金を引くような動作によって操作されるボタンである。例えば、グリップ３２４の前面部分にトリガー式ボタン３０２ｅが設けられると共に、グリップ３２４の側面部分にトリガー式ボタン３０２ｆが設けられる。トリガー式ボタン３０２ｅ，３０２ｆは、人差し指と中指によってそれぞれ操作されることが想定されている。アナログスティックは、所定のニュートラル位置から３６０度任意の方向へ傾けて操作されうるスティック型のボタンである。例えば、天面３２２上にアナログスティック３２０ｉが設けられており、親指を用いて操作されることが想定されている。   As shown in FIG. 5, the controller 320R includes an operation button 302, a plurality of detection points 304, a sensor (not shown), and a transceiver (not shown). Only one of the detection point 304 and the sensor may be provided. The operation button 302 is configured of a plurality of button groups configured to receive an operation input from the user U. The operation button 302 includes a push button, a trigger button, and an analog stick. The push-type button is a button operated by an operation of pressing with the thumb. For example, on the top surface 322, two push-type buttons 302a and 302b are provided. The trigger button is a button operated by an operation such as pulling a trigger with the index finger or the middle finger. For example, the front portion of the grip 324 is provided with a trigger button 302e, and the side portion of the grip 324 is provided with a trigger button 302f. The trigger buttons 302 e and 302 f are assumed to be operated by the index finger and the middle finger, respectively. The analog stick is a stick-type button that can be operated by tilting it in any direction 360 degrees from a predetermined neutral position. For example, it is assumed that the analog stick 320i is provided on the top surface 322 and operated using the thumb.

コントローラ３２０Ｒは、グリップ３２４の両側面から天面３２２とは反対側の方向へ延びて半円状のリングを形成するフレーム３２６を備える。フレーム３２６の外側面には、複数の検知点３０４が埋め込まれている。複数の検知点３０４は、例えば、フレーム３２６の円周方向に沿って一列に並んだ複数の赤外線ＬＥＤである。位置センサ１３０は、複数の検知点３０４の位置、傾きまたは発光強度に関する情報を検出した後に、制御装置１２０は、位置センサ１３０によって検出された情報に基づいて、コントローラ３２０Ｒの位置や姿勢（傾き・向き）に関する情報を取得する。   The controller 320R includes a frame 326 extending from both sides of the grip 324 in the direction opposite to the top surface 322 to form a semicircular ring. A plurality of sensing points 304 are embedded in the outer surface of the frame 326. The plurality of detection points 304 are, for example, a plurality of infrared LEDs aligned in a row along the circumferential direction of the frame 326. After the position sensor 130 detects information on the positions, inclinations, or light emission intensities of the plurality of detection points 304, the control device 120 detects the position or attitude of the controller 320R based on the information detected by the position sensor 130. Get information on

コントローラ３２０Ｒのセンサは、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせであってもよい。センサは、ユーザＵがコントローラ３２０Ｒを動かしたときに、コントローラ３２０Ｒの向きや動きに応じた信号（例えば、磁気、角速度、又は加速度に関する情報を示す信号）を出力する。制御装置１２０は、センサから出力された信号に基づいて、コントローラ３２０Ｒの位置や姿勢に関する情報を取得する。   The sensor of the controller 320R may be, for example, either a magnetic sensor, an angular velocity sensor, or an acceleration sensor, or a combination thereof. When the user U moves the controller 320R, the sensor outputs a signal (for example, a signal indicating information on magnetism, angular velocity, or acceleration) according to the direction or movement of the controller 320R. The control device 120 acquires information on the position and orientation of the controller 320R based on the signal output from the sensor.

コントローラ３２０Ｒのトランシーバは、コントローラ３２０Ｒと制御装置１２０との間でデータを送受信するように構成されている。例えば、トランシーバは、ユーザＵの操作入力に対応する操作信号を制御装置１２０に送信してもよい。また、トランシーバは、検知点３０４の発光をコントローラ３２０Ｒに指示する指示信号を制御装置１２０から受信してもよい。さらに、トランシーバは、センサによって検出された値を示す信号を制御装置１２０に送信してもよい。   The transceivers of controller 320R are configured to transmit and receive data between controller 320R and controller 120. For example, the transceiver may transmit an operation signal corresponding to the operation input of the user U to the controller 120. The transceiver may also receive an instruction signal from the controller 120 instructing the controller 320R to emit light at the detection point 304. Additionally, the transceiver may transmit a signal to controller 120 indicating the value detected by the sensor.

次に、図６から図９を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図６は、視野画像をＨＭＤ１１０に表示する処理を示すフローチャートである。図７は、仮想空間２００の一例を示すｘｙｚ空間図である。図８の状態（ａ）は、図７に示す仮想空間２００のｙｘ平面図である。図８の状態（ｂ）は、図７に示す仮想空間２００のｚｘ平面図である。図９は、ＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。   Next, processing for displaying a view image on the HMD 110 will be described with reference to FIGS. 6 to 9. FIG. 6 is a flowchart showing a process of displaying a view image on the HMD 110. FIG. 7 is an xyz space diagram showing an example of the virtual space 200. The state (a) of FIG. 8 is a yx plan view of the virtual space 200 shown in FIG. The state (b) of FIG. 8 is a zx plan view of the virtual space 200 shown in FIG. FIG. 9 is a view showing an example of the view image V displayed on the HMD 110. As shown in FIG.

図６に示すように、ステップＳ１において、制御部１２１（図４参照）は、仮想カメラ３００と、各種オブジェクトとを含む仮想空間２００を示す仮想空間データを生成する。図７に示すように、仮想空間２００は、中心位置２１０を中心とした全天球として規定される（図７では、上半分の天球のみが図示されている）。仮想空間２００では、中心位置２１０を原点とするｘｙｚ座標系が設定されている。仮想カメラ３００は、ＨＭＤ１１０に表示される視野画像Ｖ（図９参照）を特定するための視軸Ｌを規定している。仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、制御部１２１は、仮想カメラ３００を仮想空間２００内で移動させてもよい。   As shown in FIG. 6, in step S1, the control unit 121 (see FIG. 4) generates virtual space data indicating a virtual space 200 including the virtual camera 300 and various objects. As shown in FIG. 7, the virtual space 200 is defined as an omnidirectional sphere centered on the center position 210 (in FIG. 7, only the upper half celestial sphere is shown). In the virtual space 200, an xyz coordinate system having the center position 210 as an origin is set. The virtual camera 300 defines a viewing axis L for specifying a view image V (see FIG. 9) displayed on the HMD 110. The uvw coordinate system defining the field of view of the virtual camera 300 is determined to interlock with the uvw coordinate system defined around the head of the user U in the real space. The control unit 121 may move the virtual camera 300 in the virtual space 200 in conjunction with the movement of the user U wearing the HMD 110 in the real space.

次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図８参照）を特定する。具体的には、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを特定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸Ｌを決定し、決定された視軸Ｌから仮想カメラ３００の視野ＣＶを特定する。仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域に相当する（換言すれば、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に相当する）。視野ＣＶは、図８の状態（ａ）に示すｘｙ平面において、視軸Ｌを中心とした極角αの角度範囲として設定される第一領域ＣＶａと、図８の状態（ｂ）に示すｘｚ平面において、視軸Ｌを中心とした方位角βの角度範囲として設定される第二領域ＣＶｂとを有する。制御部１２１は、注視センサ１４０から送信されたユーザＵの視線を示すデータに基づいてユーザＵの視線を特定し、特定されたユーザＵの視線とＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想カメラ３００の向き（仮想カメラの視軸Ｌ）を決定してもよい。   Next, in step S2, the control unit 121 specifies the field of view CV (see FIG. 8) of the virtual camera 300. Specifically, based on the data indicating the state of the HMD 110 transmitted from the position sensor 130 and / or the HMD sensor 114, the control unit 121 acquires information on the position and the inclination of the HMD 110. Next, the control unit 121 specifies the position and the orientation of the virtual camera 300 in the virtual space 200 based on the information on the position and the inclination of the HMD 110. Next, the control unit 121 determines the visual axis L of the virtual camera 300 from the position and the orientation of the virtual camera 300, and identifies the visual field CV of the virtual camera 300 from the determined visual axis L. The field of view CV of the virtual camera 300 corresponds to a partial area of the virtual space 200 visible to the user U wearing the HMD 110 (in other words, corresponds to a partial area of the virtual space 200 displayed on the HMD 110 ). The visual field CV is a first area CVa set as an angular range of the polar angle α centered on the visual axis L in the xy plane shown in the state (a) of FIG. 8 and xz shown in the state (b) in FIG. In the plane, it has a second region CVb set as an angular range of the azimuth angle β centered on the visual axis L. The control unit 121 identifies the line of sight of the user U based on the data indicating the line of sight of the user U transmitted from the gaze sensor 140, and based on the identified line of sight of the user U and information regarding the position and inclination of the HMD 110, The orientation of the camera 300 (the visual axis L of the virtual camera) may be determined.

このように、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０および／またはＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを更新することができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを更新することができる。同様に、ユーザＵの視線が変化すると、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線を示すデータに基づいて、仮想カメラ３００の視野ＣＶを更新してもよい。つまり、制御部１２１は、ユーザＵの視線の変化に応じて、視野ＣＶを変化させてもよい。   Thus, the control unit 121 can specify the field of view CV of the virtual camera 300 based on the data from the position sensor 130 and / or the HMD sensor 114. When the user U wearing the HMD 110 moves, the control unit 121 can update the field of view CV of the virtual camera 300 based on the data indicating the movement of the HMD 110 transmitted from the position sensor 130 and / or the HMD sensor 114. . That is, the control unit 121 can update the visual field CV according to the movement of the HMD 110. Similarly, when the line of sight of the user U changes, the control unit 121 may update the field of view CV of the virtual camera 300 based on the data indicating the line of sight of the user U transmitted from the gaze sensor 140. That is, the control unit 121 may change the visual field CV in accordance with the change in the line of sight of the user U.

次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖを示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。   Next, in step S3, the control unit 121 generates view image data indicating the view image V displayed on the display unit 112 of the HMD 110. Specifically, the control unit 121 generates view image data based on virtual space data defining the virtual space 200 and the view CV of the virtual camera 300.

次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像Ｖを表示する（図９参照）。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。   Next, in step S4, the control unit 121 displays the view image V on the display unit 112 of the HMD 110 based on the view image data (see FIG. 9). Thus, according to the movement of the user U wearing the HMD 110, the visual field CV of the virtual camera 300 changes, and the visual field image V displayed on the display unit 112 of the HMD 110 changes. Can be immersed in 200.

仮想カメラ３００は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部１２１は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。さらに、制御部１２１は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部１２１は、左目用視野画像データに基づいて、左目用表示部に左目用の視野画像を表示すると共に、右目用視野画像データに基づいて、右目用表示部に右目用の視野画像を表示する。このようにして、ユーザＵは、左目用視野画像と右目用視野画像との間の視差により、視野画像を３次元的に視認することができる。   The virtual camera 300 may include a left-eye virtual camera and a right-eye virtual camera. In this case, the control unit 121 generates left-eye view image data indicating a left-eye view image based on the virtual space data and the view of the left-eye virtual camera. Further, the control unit 121 generates right-eye view image data indicating a right-eye view image based on the virtual space data and the view of the right-eye virtual camera. Thereafter, the control unit 121 displays the left-eye view image on the left-eye display unit based on the left-eye view image data, and the right-eye view image on the right-eye display unit based on the right-eye view image data. Display In this manner, the user U can visually recognize the view image three-dimensionally by the parallax between the left-eye view image and the right-eye view image.

図６に示すステップＳ１〜Ｓ４の処理は１フレーム毎に実行されてもよい。例えば、動画のフレームレートが９０ｆｐｓである場合、ステップＳ１〜Ｓ４の処理はΔＴ＝１／９０（秒）間隔で繰り返し実行されてもよい。このように、ステップＳ１〜Ｓ４の処理が所定間隔ごとに繰り返し実行されるため、ＨＭＤ１１０の動作に応じて仮想カメラ３００の視野が更新されると共に、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが更新される。   The processes in steps S1 to S4 shown in FIG. 6 may be performed for each frame. For example, when the frame rate of a moving image is 90 fps, the processes of steps S1 to S4 may be repeatedly performed at an interval of ΔT = 1/90 (seconds). As described above, since the processes of steps S1 to S4 are repeatedly executed at predetermined intervals, the visual field V of the virtual camera 300 is updated according to the operation of the HMD 110, and the visual field image V displayed on the display unit 112 of the HMD 110. Is updated.

次に、図１に示すサーバ２のハードウェア構成について図１０を参照して説明する。図１０は、サーバ２のハードウェア構成を示す図である。図１０に示すように、サーバ２は、制御部２３と、記憶部２２と、通信インターフェース２１と、バス２４とを備える。制御部２３と、記憶部２２と、通信インターフェース２１は、バス２４を介して互いに通信可能に接続されている。制御部２３は、メモリとプロセッサを備えており、メモリは、例えば、ＲＯＭおよびＲＡＭ等から構成されると共に、プロセッサは、例えば、ＣＰＵ、ＭＰＵおよび／またはＧＰＵにより構成される。   Next, the hardware configuration of the server 2 shown in FIG. 1 will be described with reference to FIG. FIG. 10 is a diagram showing a hardware configuration of the server 2. As shown in FIG. 10, the server 2 includes a control unit 23, a storage unit 22, a communication interface 21, and a bus 24. The control unit 23, the storage unit 22, and the communication interface 21 are communicably connected to each other via the bus 24. The control unit 23 includes a memory and a processor, and the memory includes, for example, a ROM and a RAM, and the processor includes, for example, a CPU, an MPU, and / or a GPU.

記憶部（ストレージ）２２は、例えば、大容量のＨＤＤ等である。記憶部２２は、本実施形態に係る情報処理方法の少なくとも一部をコンピュータに実行させるための制御プログラムや、複数のユーザによる仮想空間の共有を実現させるための制御プログラムを格納してもよい。また、記憶部２２は、各ユーザを管理するためのユーザ管理情報や各種画像やオブジェクト（例えば、手オブジェクト等）に関するデータを格納してもよい。通信インターフェース２１は、サーバ２を通信ネットワーク３に接続させるように構成されている。   The storage unit (storage) 22 is, for example, a large capacity HDD or the like. The storage unit 22 may store a control program for causing a computer to execute at least a part of the information processing method according to the present embodiment, or a control program for realizing sharing of a virtual space by a plurality of users. In addition, the storage unit 22 may store user management information for managing each user, data regarding various images and objects (for example, hand objects and the like). The communication interface 21 is configured to connect the server 2 to the communication network 3.

以下、本実施形態に係る仮想空間配信システム１００の処理の流れを図１１〜１４を参照して詳細に説明する。図１１の状態（ａ）は、ＨＭＤ１１０とコントローラ３２０Ｒ，３２０Ｌを装着したユーザＵが存在する現実空間を示す図である。図１１の状態（ｂ）は、仮想カメラ３００と、手オブジェクト４００と、筆記具オブジェクト５００と、ノートオブジェクト６００とを含む仮想空間２００を示す図である。図１２は、本実施形態に係る情報処理方法を説明するためのフローチャートである。図１３は、視野画像を示す図である。図１４は、筆記具オブジェクト５００とノートオブジェクト６００とが干渉している状態を示す図である。   Hereinafter, the flow of processing of the virtual space distribution system 100 according to the present embodiment will be described in detail with reference to FIGS. A state (a) of FIG. 11 is a view showing a real space in which the user U wearing the HMD 110 and the controllers 320R and 320L is present. A state (b) of FIG. 11 is a view showing a virtual space 200 including the virtual camera 300, the hand object 400, the writing instrument object 500, and the note object 600. FIG. 12 is a flowchart for explaining the information processing method according to the present embodiment. FIG. 13 shows a view image. FIG. 14 is a view showing a state in which the writing instrument object 500 and the note object 600 interfere with each other.

本実施形態において、仮想空間２００は、仮想空間配信システム１００により提供されるゲーム空間として構成されている。図１１の状態（ｂ）に示すように、仮想空間２００は、仮想カメラ３００と、手オブジェクト４００と、筆記具オブジェクト５００（操作オブジェクトの一例）と、ノートオブジェクト６００（対象オブジェクトの一例）と、を含む。制御部１２１は、これらのオブジェクトを含む仮想空間２００を規定する仮想空間データを生成する。また、制御部１２１は、１フレーム毎に仮想空間データを更新してもよい。上記したように、仮想カメラ３００は、図１１の状態（ａ）に示すユーザＵが装着しているＨＭＤ１１０の動きに連動する。つまり、仮想カメラ３００の視野は、ＨＭＤ１１０の動きに応じて更新される。仮想カメラ３００は、ユーザＵの一人称視点に関連付けられた視点を有する。   In the present embodiment, the virtual space 200 is configured as a game space provided by the virtual space distribution system 100. As shown in the state (b) of FIG. 11, the virtual space 200 includes a virtual camera 300, a hand object 400, a writing instrument object 500 (an example of an operation object), and a note object 600 (an example of a target object). Including. The control unit 121 generates virtual space data that defines a virtual space 200 including these objects. Further, the control unit 121 may update virtual space data for each frame. As described above, the virtual camera 300 interlocks with the movement of the HMD 110 worn by the user U shown in the state (a) of FIG. That is, the field of view of the virtual camera 300 is updated according to the movement of the HMD 110. The virtual camera 300 has a viewpoint associated with the first person viewpoint of the user U.

左手オブジェクト４００Ｌは、ユーザＵの左手に装着されるコントローラ３２０Ｌの動きに連動する。同様に、右手オブジェクト４００Ｒは、ユーザＵの右手に装着されるコントローラ３２０Ｒの動きに連動する。   The left hand object 400L interlocks with the movement of the controller 320L attached to the left hand of the user U. Similarly, the right hand object 400R interlocks with the movement of the controller 320R attached to the right hand of the user U.

制御部１２１は、位置センサ１３０からコントローラ３２０の位置情報を取得した上で、当該取得された位置情報に基づいて、仮想空間２００内の手オブジェクト４００Ｌ，４００Ｒの位置と現実空間におけるコントローラ３２０の位置とを対応付ける。このように、制御部１２１は、ユーザＵの手の位置（コントローラ３２０の位置）に応じて、手オブジェクト４００Ｌ，４００Ｒの位置を制御する。   The control unit 121 acquires the position information of the controller 320 from the position sensor 130 and then, based on the acquired position information, the positions of the hand objects 400L and 400R in the virtual space 200 and the position of the controller 320 in the real space And Thus, the control unit 121 controls the positions of the hand objects 400L and 400R according to the position of the hand of the user U (the position of the controller 320).

また、ユーザＵが操作ボタン３０２を操作することで、仮想空間２００内に配置された手オブジェクト４００Ｌ，４００Ｒの各指を操作することが可能となる。つまり、制御部１２１は、操作ボタン３０２に対する入力操作に対応する操作信号をコントローラ３２０から取得した上で、当該操作信号に基づいて、手オブジェクト４００Ｌ，４００Ｒの手指の動作を制御する。例えば、ユーザＵが操作ボタン３０２を操作することで右手オブジェクト４００Ｒは筆記具オブジェクト５００を掴むことができる（図１３参照）。さらに、右手オブジェクト４００Ｒが筆記具オブジェクト５００を掴んだ状態で、コントローラ３２０の移動に応じて、右手オブジェクト４００Ｒと筆記具オブジェクト５００を移動させることが可能となる。このように、制御部１２１は、ユーザＵの手指の動きに応じて、手オブジェクト４００Ｌ，４００Ｒの動作を制御するように構成されている。   Further, when the user U operates the operation button 302, it becomes possible to operate each finger of the hand objects 400L and 400R arranged in the virtual space 200. That is, the control unit 121 acquires an operation signal corresponding to an input operation on the operation button 302 from the controller 320, and then controls the operation of the finger of the hand objects 400L and 400R based on the operation signal. For example, when the user U operates the operation button 302, the right hand object 400R can grasp the writing instrument object 500 (see FIG. 13). Further, in a state where the right hand object 400R holds the writing tool object 500, it is possible to move the right hand object 400R and the writing tool object 500 according to the movement of the controller 320. As described above, the control unit 121 is configured to control the operation of the hand objects 400L and 400R in accordance with the movement of the finger of the user U.

筆記具オブジェクト５００は、ノートオブジェクト６００に対して影響を与えるオブジェクトである。筆記具オブジェクト５００はコリジョンエリアを有している。本実施形態では、筆記具オブジェクト５００のコリジョンエリアは、筆記具オブジェクト５００を構成する領域（筆記具オブジェクト５００の外形領域）に一致しているものとする。筆記具オブジェクト５００がノートオブジェクト６００に接触して、筆記具オブジェクト５００とノートオブジェクト６００とが干渉することで、ノートオブジェクト６００に後述の影響が与えられる。なお、図１１等に示す例では、筆記具オブジェクト５００として例えば万年筆を図示しているが、手オブジェクト４００の操作によって、筆記具オブジェクト５００の種類を変えることもできる。例えば、コントローラ３２０を握っているユーザＵの手の所定の動作に基づいて、万年筆に代えて、鉛筆や消しゴムなど別の筆記用具を手オブジェクト４００に持ち替えさせることができる。   The writing instrument object 500 is an object that affects the note object 600. The writing instrument object 500 has a collision area. In the present embodiment, it is assumed that the collision area of the writing instrument object 500 matches the area (the outer area of the writing instrument object 500) constituting the writing instrument object 500. When the writing instrument object 500 contacts the note object 600 and the writing instrument object 500 and the note object 600 interfere with each other, the note object 600 is influenced as described later. In the example shown in FIG. 11 or the like, for example, a fountain pen is illustrated as the writing instrument object 500, but the type of the writing instrument object 500 can be changed by the operation of the hand object 400. For example, based on a predetermined movement of the hand of the user U holding the controller 320, another writing instrument such as a pencil or an eraser can be held by the hand object 400 instead of the fountain pen.

ノートオブジェクト６００は、仮想空間２００内の所定の位置に配置されている。ユーザＵは、手オブジェクト４００Ｌ，４００Ｒを動かして、筆記具オブジェクト５００を掴み、筆記具オブジェクト５００をノートオブジェクト６００に接触させることで、ノートオブジェクト６００の表面に線（文字や絵など）を描くことができる。ノートオブジェクト６００には、各種情報が表示されていてもよい。ノートオブジェクト６００は、仮想空間２００内の所定の位置に固定的に配置されていてもよいが、ユーザＵが操作ボタン３０２を操作することでノートオブジェクト６００を掴んで移動させることができてもよい。なお、対象オブジェクトは、ノート（書籍）型のものに限られず、タブレットやモニタなど筆記具オブジェクト５００等の操作オブジェクトによって影響が与えられるものであればよい。   The note object 600 is disposed at a predetermined position in the virtual space 200. The user U can draw lines (such as characters and pictures) on the surface of the note object 600 by moving the hand objects 400L and 400R, grasping the writing tool object 500, and bringing the writing tool object 500 into contact with the note object 600. . Various types of information may be displayed on the note object 600. The note object 600 may be fixedly arranged at a predetermined position in the virtual space 200, but the user U may be able to grasp and move the note object 600 by operating the operation button 302. . The target object is not limited to the notebook (book) type, and may be any object that can be influenced by an operation object such as a writing instrument object 500 such as a tablet or a monitor.

以下、本実施形態に係る仮想空間配信システム１００で提供される情報処理方法の流れを、図１２〜図１５を参照して詳細に説明する。
まず、図１２に示すステップＳ１０において、制御部１２１（図３参照）は、仮想空間２００を規定する仮想空間データと仮想カメラ３００の視野ＣＶとに基づいて視野画像データを生成し、視野画像データに基づいてＨＭＤ１１０の表示部１１２に視野画像を表示する。ステップＳ１０は、図６に示すステップＳ１と同じである。 Hereinafter, the flow of the information processing method provided by the virtual space distribution system 100 according to the present embodiment will be described in detail with reference to FIGS. 12 to 15.
First, in step S10 shown in FIG. 12, the control unit 121 (see FIG. 3) generates view image data based on virtual space data defining the virtual space 200 and the view CV of the virtual camera 300, and the view image data The visual field image is displayed on the display unit 112 of the HMD 110 based on the above. Step S10 is the same as step S1 shown in FIG.

次に、ステップＳ１２において、制御部１２１は、ユーザＵにより操作されるコントローラ３２０の動きに応じて手オブジェクト４００Ｌ，４００Ｒを動かす。そして、ステップＳ１４において、制御部１２１は、ユーザＵが操作するコントローラ３２０Ｌ，３２０Ｒの少なくとも一方に筆記具オブジェクト５００を掴むための所定の操作が入力された否か（具体的には、例えば右手オブジェクト４００Ｒが筆記具オブジェクト５００に近づいた状態でコントローラ３２０Ｒの操作ボタン３０２が操作された否か）を判定する。コントローラ３２０Ｒに所定の操作が入力されたと判定された場合には（ステップＳ１４のＹｅｓ）、ステップＳ１６において、制御部１２１は、右手オブジェクト４００Ｒに筆記具オブジェクト５００を掴ませるように制御する。   Next, in step S12, the control unit 121 moves the hand objects 400L and 400R in accordance with the movement of the controller 320 operated by the user U. Then, in step S14, the control unit 121 determines whether a predetermined operation for grasping the writing instrument object 500 is input to at least one of the controllers 320L and 320R operated by the user U (specifically, for example, the right hand object 400R Determines whether or not the operation button 302 of the controller 320R has been operated in a state in which the writing instrument object 500 approaches. If it is determined that a predetermined operation has been input to the controller 320R (Yes in step S14), the control unit 121 controls the right-hand object 400R to grip the writing instrument object 500 in step S16.

次に、ステップＳ１８において、制御部１２１は、右手オブジェクト４００Ｒが筆記具オブジェクト５００を掴んだ状態で右手オブジェクト４００Ｒが移動したかどうかを判定する。ステップＳ１８でＹｅｓの場合には、ステップＳ２０において、制御部１２１は、コントローラ３２０Ｒの移動に応じて、右手オブジェクト４００と筆記具オブジェクト５００とを一緒に移動させる。   Next, in step S18, the control unit 121 determines whether the right hand object 400R has moved in a state in which the right hand object 400R holds the writing instrument object 500. In the case of Yes in step S18, in step S20, the control unit 121 moves the right hand object 400 and the writing instrument object 500 together in accordance with the movement of the controller 320R.

次に、ステップＳ２２において、制御部１２１は、筆記具オブジェクト５００がノートオブジェクト６００に干渉したか否かを判定する。図１４に示すように筆記具オブジェクト５００がノートオブジェクト６００に干渉したと判定された場合には（ステップＳ２２のＹｅｓ）、ステップＳ２４において、制御部１２１は、筆記具オブジェクト５００の位置を調整する。仮想空間２００内における筆記具オブジェクト５００の位置を調整する際に、実空間でユーザＵが操作するコントローラ３２０Ｒの位置を直接用いると、筆記具オブジェクト５００がノートオブジェクト６００と干渉する位置に動かされた場合に、筆記具オブジェクト５００がノートオブジェクト６００の内部に侵入するかノートオブジェクト６００を貫通してしまい、不自然な視野画像が生成されユーザＵの没入感を阻害するおそれがある。そのため、本ステップでは、制御部１２１は、視野画像Ｖにレンダリングされるべき筆記具オブジェクト５００の位置（以下、レンダリング位置と称す。）を、実空間におけるコントローラ３２０Ｒの位置（入力値）から特定される仮想空間２００内での筆記具オブジェクト５００の目標位置（以下、ターゲット位置と称す。）と、ノートオブジェクト６００の位置とに基づいて、調整している。具体的には、図１４に示すように、１フレーム毎に筆記具オブジェクト５００のターゲット位置（図１４の破線で示された筆記具オブジェクト５００の位置）が特定されたうえで、この筆記具オブジェクト５００のターゲット位置がノートオブジェクト６００に干渉している場合には、ノートオブジェクト６００との衝突が検出された位置、すなわち、筆記具オブジェクト５００とノートオブジェクト６００との最初の接触点Ｐで筆記具オブジェクト５００が止まるように、筆記具オブジェクト５００のレンダリング位置（図１４の実線で示された筆記具オブジェクト５００の位置）を特定する。このように、筆記具オブジェクト５００のターゲット位置がノートオブジェクト６００と干渉している場合でも、筆記具オブジェクト５００のレンダリング位置がノートオブジェクト６００の表面６００ａにおいて接触する位置となるように調整することにより、視野画像Ｖにおいて筆記具オブジェクト５００のノートオブジェクト６００に対する不自然な侵入や貫通が発生することがないため、ユーザＵに対して自然な仮想体験を提供することができる。   Next, in step S22, the control unit 121 determines whether the writing instrument object 500 has interfered with the note object 600. As shown in FIG. 14, when it is determined that the writing instrument object 500 has interfered with the note object 600 (Yes in step S22), the control unit 121 adjusts the position of the writing instrument object 500 in step S24. When adjusting the position of the writing instrument object 500 in the virtual space 200, if the position of the controller 320R operated by the user U in the real space is directly used, the writing instrument object 500 is moved to a position interfering with the note object 600. The writing instrument object 500 may enter the inside of the note object 600 or penetrate the note object 600, and an unnatural view image may be generated, which may disturb the immersion of the user U. Therefore, in this step, the control unit 121 specifies the position of the writing tool object 500 to be rendered in the view image V (hereinafter referred to as rendering position) from the position (input value) of the controller 320R in real space. The adjustment is made based on the target position of the writing instrument object 500 in the virtual space 200 (hereinafter referred to as a target position) and the position of the note object 600. Specifically, as shown in FIG. 14, after the target position of the writing instrument object 500 (the position of the writing instrument object 500 shown by the broken line in FIG. 14) is specified for each frame, the target of the writing instrument object 500 When the position interferes with the note object 600, the writing object 500 is stopped at the position where the collision with the note object 600 is detected, that is, the first contact point P between the writing object 500 and the note object 600. The rendering position of the writing instrument object 500 (the position of the writing instrument object 500 indicated by the solid line in FIG. 14) is specified. In this manner, even when the target position of the writing instrument object 500 interferes with the note object 600, the view image is adjusted by adjusting the rendering position of the writing instrument object 500 to be a contact position on the surface 600a of the note object 600. Since an unnatural intrusion or penetration of the writing instrument object 500 with respect to the note object 600 does not occur in V, a natural virtual experience can be provided to the user U.

次に、ステップＳ２６において、制御部１２１は、筆記具オブジェクト５００のターゲット位置とノートオブジェクト６００との干渉量を特定する。ステップＳ２６における干渉量の特定処理は、例えば、図１４に示すように、ターゲット位置における筆記具オブジェクト５００のノートオブジェクト６００に干渉した部分（干渉部分）５１０の最大深さにより規定することができる。なお、干渉部分５１０の最大深さは、干渉部分５１０の先端５２０と、ノートオブジェクト６００の表面６００ａにおいて干渉部分５１０の先端５２０から一番近い部分Ｐ´との間の距離Ｌ１として特定してもよい。また、干渉部分５１０の最大深さは、筆記具オブジェクト５００とノートオブジェクト６００の表面６００ａとの最初の接触点Ｐと、干渉部分５１０の先端５２０との間の距離Ｌ２として特定してもよい。干渉量を特定する別の方法として、筆記具オブジェクト５００の干渉部分５１０の体積や、ノートオブジェクト６００の表面６００ａにおける筆記具オブジェクト５００の干渉部分５１０の面積などに基づいて干渉量が規定されてもよい。   Next, in step S26, the control unit 121 specifies the amount of interference between the target position of the writing instrument object 500 and the note object 600. The process of identifying the amount of interference in step S26 can be defined, for example, by the maximum depth of the portion (interference portion) 510 that interferes with the note object 600 of the writing instrument object 500 at the target position, as shown in FIG. Even if the maximum depth of the interference portion 510 is specified as the distance L1 between the tip 520 of the interference portion 510 and the portion P 'closest to the tip 520 of the interference portion 510 on the surface 600a of the note object 600. Good. Also, the maximum depth of the interference portion 510 may be specified as the distance L 2 between the initial contact point P of the writing instrument object 500 and the surface 600 a of the note object 600 and the tip 520 of the interference portion 510. As another method of specifying the amount of interference, the amount of interference may be defined based on the volume of the interference portion 510 of the writing instrument object 500, the area of the interference portion 510 of the writing instrument object 500 on the surface 600a of the note object 600, or the like.

次に、ステップＳ２８において、制御部１２１は、ステップＳ２６で特定された筆記具オブジェクト５００とノートオブジェクト６００との干渉量に基づいて、ノートオブジェクト６００における視覚的な表示（ノートオブジェクト６００に与えられる影響の一例）を特定する。そして、ステップＳ３０において、ステップＳ２８で特定された視覚的な表示に基づいて、視野画像Ｖを更新して、処理を終了する。具体的には、図１５の更新された視野画像Ｖに示すように、例えば、筆記具オブジェクト５００とノートオブジェクト６００との干渉量に基づいて、ノートオブジェクト６００の表面６００ａにおいて筆記具オブジェクト５００との接触点を含む着色部分７１０（第一部分の一例）の面積が変更される。例えば、筆記具オブジェクト５００とノートオブジェクト６００との干渉量が大きくなるにつれて、着色部分７１０の面積を大きくする。これにより、筆記具オブジェクト５００とノートオブジェクト６００との干渉量が少ない場合には、筆記具オブジェクト５００によりノートオブジェクト６００上に描かれる着色部分７１０の線幅が狭くなり、干渉量が多ければ、着色部分７１０の線幅が太くなる。このように、実空間で万年筆等の筆記具を用いて筆記する場合と同様に、仮想空間２００内で筆記具オブジェクト５００を用いてノートオブジェクト６００に筆記する場合にも、筆記具オブジェクト５００とノートオブジェクト６００との干渉量に応じて着色部分７１０の線幅を変更することで、筆圧の違いやにじみを表現することができる。また、筆圧の違いをより直感的に表現するために、着色部分７１０の濃淡を干渉量に応じて変更してもよい。例えば、干渉量が少なければ、着色部分７１０の色を淡くし、干渉量が多ければ着色部分７１０の色を濃くすることができる。   Next, in step S28, based on the amount of interference between the writing instrument object 500 and the note object 600 identified in step S26, the control unit 121 displays a visual display on the note object 600 (the influence on the note object 600). Identify one example). Then, in step S30, the view image V is updated based on the visual display identified in step S28, and the process is ended. Specifically, as shown in the updated view image V of FIG. 15, for example, the contact point with the writing tool object 500 on the surface 600a of the note object 600 based on the amount of interference between the writing tool object 500 and the note object 600. The area of the colored portion 710 (an example of the first portion) including the For example, as the amount of interference between the writing instrument object 500 and the note object 600 increases, the area of the colored portion 710 is increased. As a result, when the amount of interference between the writing instrument object 500 and the note object 600 is small, the line width of the colored portion 710 drawn on the note object 600 by the writing instrument object 500 narrows, and when the amount of interference is large, the colored portion 710 Line width of the As described above, in the same way as writing using a writing instrument such as a fountain pen in real space, writing tool object 500 and note object 600 together with writing object 500 using writing instrument object 500 in virtual space 200 By changing the line width of the colored portion 710 in accordance with the amount of interference, it is possible to express a difference in pen pressure or a blur. Also, in order to express the difference in writing pressure more intuitively, the density of the colored portion 710 may be changed according to the amount of interference. For example, if the amount of interference is small, the color of the colored portion 710 can be lightened, and if the amount of interference is large, the color of the colored portion 710 can be darkened.

さらに、図１６に示すように、ノートオブジェクト６００の各ページが手オブジェクト４００で捲れるような場合には、裏抜け（紙の上にインクで文字や図形などを記すとき、紙の裏側までインクが浸透してしまう状態）を表現するために、筆記具オブジェクト５００とノートオブジェクト６００との干渉量に基づいて、ノートオブジェクト６００の表面６００ａの着色部分７１０に対応する裏面６００ｂの着色部分７２０（第二部分の一例）の面積を異ならせてもよい。   Furthermore, as shown in FIG. 16, when each page of the note object 600 is twisted by the hand object 400, the strikethrough (when writing characters or figures with ink on the paper, Second portion 600 b corresponding to the colored portion 710 of the surface 600 a of the note object 600 based on the amount of interference between the writing instrument object 500 and the note object 600 (second state The areas of one example of the parts may be different.

以上説明したように、本実施形態によれば、制御部１２１は、ユーザＵの手の動きに応じて筆記具オブジェクト５００を動かし、筆記具オブジェクト５００の動きに応じて筆記具オブジェクト５００とノートオブジェクト６００とが干渉した場合には、筆記具オブジェクト５００とノートオブジェクト６００との干渉量に基づいて、ノートオブジェクト６００に与えられる影響（例えば、視覚的な表示）を特定する。筆記具オブジェクト５００とノートオブジェクト６００とが干渉した場合に、筆記具オブジェクト５００とノートオブジェクト６００との干渉量に基づいてノートオブジェクト６００に与えられる影響を異ならせることで、ユーザＵに対して、より直感的な仮想体験を提供することができる。   As described above, according to the present embodiment, the control unit 121 moves the writing instrument object 500 according to the movement of the hand of the user U, and the writing instrument object 500 and the note object 600 correspond to the movement of the writing instrument object 500. In the case of interference, based on the amount of interference between the writing instrument object 500 and the note object 600, the influence (for example, visual display) given to the note object 600 is identified. By making the influence given to the note object 600 different based on the amount of interference between the writing instrument object 500 and the note object 600 when the writing instrument object 500 and the note object 600 interfere, more intuitive to the user U Provide a virtual experience.

なお、筆記具オブジェクト５００とノートオブジェクト６００とが干渉した場合には、その干渉量に応じてノートオブジェクト６００の少なくとも一部が変形されたり、切断されたりするようにしてもよい。この場合、筆記具オブジェクト５００とノートオブジェクト６００との干渉量だけでなく、ノートオブジェクト６００と干渉している状態での筆記具オブジェクト５００の移動速度（フレーム毎の筆記具オブジェクト５００の移動量）に基づいて、ノートオブジェクト６００の変形パターンが決定されてもよい。例えば、筆記具オブジェクト５００の移動速度が一定値以下である場合には、ノートオブジェクト６００は少し凹むだけである一方で、筆記具オブジェクト５００の移動速度が一定値より大きい場合には、ノートオブジェクト６００が切断されるように、ノートオブジェクト６００の視覚的な表示が異ならされてもよい。   When the writing instrument object 500 and the note object 600 interfere with each other, at least a part of the note object 600 may be deformed or cut in accordance with the interference amount. In this case, not only the interference amount between the writing instrument object 500 and the note object 600 but also the moving speed of the writing instrument object 500 in the state of interference with the note object 600 (the movement amount of the writing instrument object 500 for each frame) A deformation pattern of the note object 600 may be determined. For example, when the moving speed of the writing instrument object 500 is equal to or less than a predetermined value, the note object 600 is only slightly recessed, while when the moving speed of the writing instrument object 500 is larger than a predetermined value, the note object 600 is disconnected. As noted, the visual display of the note object 600 may be different.

また、上記の実施形態では、筆記具オブジェクト５００によりノートオブジェクト６００に与えられる影響の一例として、ノートオブジェクト６００における視覚的な表示を異ならせる方法を採用しているが、この例に限られない。筆記具オブジェクト５００とノートオブジェクト６００との干渉量に応じて、ノートオブジェクト６００に予め関連付けられたパラメータ（例えば、耐久度）を変動させてもよい。例えば、干渉量に応じてノートオブジェクト６００の耐久度が減じられ、耐久度がある閾値を下回った場合に、筆記具オブジェクト５００によってノートオブジェクト６００に穴があけられるようにしても良い。パラメータの変動についても、干渉量だけではなく、筆記具オブジェクト５００の移動速度を加味してもよい。   In the above embodiment, as an example of the influence given to the note object 600 by the writing instrument object 500, the method of making the visual display in the note object 600 different is adopted, but the present invention is not limited to this example. Depending on the amount of interference between the writing instrument object 500 and the note object 600, a parameter (for example, the degree of endurance) previously associated with the note object 600 may be changed. For example, the durability of the note object 600 may be reduced according to the amount of interference, and the writing object 500 may be made to have a hole in the note object 600 when the durability falls below a certain threshold. Not only the amount of interference but also the movement speed of the writing instrument object 500 may be added to the variation of the parameter.

さらに、筆記具オブジェクト５００とノートオブジェクト６００との干渉量や、ノートオブジェクト６００に与えられる影響に応じて、制御部１２１は、コントローラ３２０を振動させるための入力信号をコントローラ３２０へ送信してもよい。例えば、干渉量が一定量以上の場合にはコントローラ３２０を振動させるようにすることで、触覚的なフィードバックをユーザＵに与え、より直感的な仮想体験を提供することができる。   Furthermore, in accordance with the amount of interference between the writing instrument object 500 and the note object 600, or the influence given to the note object 600, the control unit 121 may transmit an input signal for vibrating the controller 320 to the controller 320. For example, by causing the controller 320 to vibrate when the amount of interference is a certain amount or more, tactile feedback can be given to the user U, and a more intuitive virtual experience can be provided.

なお、上記実施形態では、操作オブジェクトの一例として筆記具オブジェクト５００を用いてノートオブジェクト６００に影響を与える方法を採用しているが、筆記具オブジェクト５００を用いずに、操作オブジェクトとしての手オブジェクト４００とノートオブジェクト６００との干渉量に基づいて、ノートオブジェクト６００に直接影響を与えることもできる。例えば、手オブジェクト４００とノートオブジェクト６００が干渉している場合に、手オブジェクト４００によってノートオブジェクト６００上に表示されている各種メニューを操作したり、ノートオブジェクト６００を変形させたり、ページを捲ったりすることも可能である。   In the above embodiment, although the method of affecting the note object 600 using the writing instrument object 500 as an example of the operation object is adopted, the hand object 400 and the note as the operation object are used without using the writing instrument object 500. The note object 600 can also be directly influenced based on the amount of interference with the object 600. For example, when the hand object 400 and the note object 600 interfere with each other, the hand object 400 operates various menus displayed on the note object 600, deforms the note object 600, or turns a page. It is also possible.

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。   Although the embodiments of the present disclosure have been described above, the technical scope of the present invention should not be construed as limited by the description of the present embodiments. It is understood by those skilled in the art that the present embodiment is an example, and that modifications of various embodiments are possible within the scope of the invention described in the claims. The technical scope of the present invention should be determined based on the scope of the invention described in the claims and the scope of equivalents thereof.

本実施形態の説明では、仮想空間２００を示す仮想空間データがユーザ端末１側で更新されていることを前提としているが、仮想空間データはサーバ２側で更新されてもよい。さらに、視野画像に対応する視野画像データがユーザ端末１側で更新されていることを前提としているが、視野画像データはサーバ２側で更新されてもよい。この場合、ユーザ端末１は、サーバ２から送信された視野画像データに基づいて、ＨＭＤ１１０に視野画像を表示する。   Although the description of the present embodiment assumes that virtual space data indicating the virtual space 200 is updated on the user terminal 1 side, the virtual space data may be updated on the server 2 side. Furthermore, although it is premised that the view image data corresponding to the view image is updated on the user terminal 1 side, the view image data may be updated on the server 2 side. In this case, the user terminal 1 displays the view image on the HMD 110 based on the view image data transmitted from the server 2.

また、ユーザ端末１の制御部１２１によって実行される各種処理をソフトウェアによって実現するために、各種処理をコンピュータ（プロセッサ）に実行させるための制御プログラムが記憶部１２３またはメモリに予め組み込まれていてもよい。または、制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納された制御プログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は各種処理を実行する。   Further, even if a control program for causing a computer (processor) to execute various processes is incorporated in advance in the storage unit 123 or the memory in order to realize various processes executed by the control unit 121 of the user terminal 1 by software. Good. Alternatively, the control program may be a magnetic disk (HDD, floppy disk), an optical disk (CD-ROM, DVD-ROM, Blu-ray disk, etc.), a magneto-optical disk (MO etc.), a flash memory (SD card, USB memory, SSD) Etc.) may be stored in a computer readable storage medium. In this case, by connecting the storage medium to the control device 120, the control program stored in the storage medium is incorporated in the storage unit 123. Then, the control program incorporated in the storage unit 123 is loaded onto the RAM, and the processor executes the loaded program, whereby the control unit 121 executes various processing.

また、制御プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該制御プログラムが記憶部１２３に組み込まれる。   Also, the control program may be downloaded from a computer on the communication network 3 via the communication interface 125. Also in this case, the downloaded control program is incorporated in the storage unit 123.

本実施形態において、仮想空間は、ユーザにＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）およびＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）といった、仮想体験を提供するために用いられる。仮想空間がＶＲを提供する場合、仮想空間の背景にはメモリに保存された背景データが使用される。仮想空間がＡＲまたはＭＲを提供する場合、背景には現実空間が使用される。この場合、ＨＭＤ１１０が透過型の表示装置（光学シースルーまたはビデオシースルー型の表示装置）を備えることにより、現実空間が背景として使用され得る。仮想空間がＭＲに適用される場合、オブジェクトは、現実空間によって影響を与えられてもよい。このように、仮想空間が背景や仮想オブジェクトといった仮想シーンを少なくとも一部に含むことにより、ユーザには当該仮想シーンとの相互作用が可能な仮想体験が提供され得る。また、仮想空間がＡＲやＭＲを提供する場合には、手オブジェクト４００（４００Ｌ，４００Ｒ）に代えて、ユーザＵの実際の手（および実際の手が持っている筆記具等）がノートオブジェクト６００に影響を与えられる操作オブジェクトとして適用される。   In this embodiment, the virtual space is used to provide the user with a virtual experience such as VR (Virtual Reality), AR (Argumented Reality) and MR (Mixed Reality). When the virtual space provides a VR, background data stored in memory is used as the background of the virtual space. When virtual space provides AR or MR, real space is used as the background. In this case, real space can be used as a background by providing the HMD 110 with a transmissive display (optical see-through or video see-through display). If a virtual space is applied to the MR, the object may be influenced by the real space. In this manner, the virtual space includes at least a virtual scene such as a background or a virtual object, thereby providing the user with a virtual experience capable of interacting with the virtual scene. Also, when the virtual space provides AR or MR, the actual hand of the user U (and the writing instrument etc. held by the actual hand) replaces the hand object 400 (400L, 400R) to the note object 600. Applied as the affected operation object.

１，１Ａ，１Ｂ：ユーザ端末
２：サーバ
３：通信ネットワーク
２１：通信インターフェース
２２：記憶部
２３：制御部
２４：バス
１００：仮想空間配信システム
１１０：ヘッドマウントデバイス（ＨＭＤ）
１１２：表示部
１１４：ＨＭＤセンサ
１１６：ヘッドフォン
１１８：マイク
１２０：制御装置
１２１：制御部
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
１４０：注視センサ
２００，２００Ａ，２００Ｂ：仮想空間
２１０：中心位置
３００：仮想カメラ
３２０：外部コントローラ
３２０Ｌ：左手用外部コントローラ（コントローラ）
３２０Ｒ：右手用外部コントローラ（コントローラ）
４００：手オブジェクト
４００Ｌ：左手オブジェクト
４００Ｒ：右手オブジェクト
５００：筆記具オブジェクト（操作オブジェクトの一例）
５１０：干渉部分
６００：ノートオブジェクト（対象オブジェクトの一例）
６００ａ：表面
６００ｂ：裏面
７１０：表面の着色部分（第一部分の一例）
７２０：裏面の着色部分（第二部分の一例）
Ｖ：視野画像 1, 1A, 1B: user terminal 2: server 3: communication network 21: communication interface 22: storage unit 23: control unit 24: bus 100: virtual space distribution system 110: head mounted device (HMD)
112: display unit 114: HMD sensor 116: headphones 118: microphone 120: control device 121: control unit 123: storage unit 124: I / O interface 125: communication interface 126: bus 130: position sensor 140: gaze sensor 200, 200A , 200B: virtual space 210: center position 300: virtual camera 320: external controller 320L: external controller (controller) for left hand
320R: Right-handed external controller (controller)
400: hand object 400L: left hand object 400R: right hand object 500: writing instrument object (an example of operation object)
510: interference portion 600: note object (an example of target object)
600a: front surface 600b: back surface 710: colored portion of front surface (example of first portion)
720: Colored part on the back side (an example of the second part)
V: View image

Claims (9)

情報処理方法であって、
前記情報処理方法は、ヘッドマウントデバイスを備えたシステムにおいて実行され、
（ａ）操作オブジェクトと、前記操作オブジェクトによって影響が与えられる対象オブジェクトと、を含む仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記ヘッドマウントデバイスの動きおよび前記仮想空間データに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
（ｃ）前記ヘッドマウントデバイスを装着したユーザの身体の一部の動きに応じて、前記操作オブジェクトを動かすステップと、
（ｄ）前記操作オブジェクトの動きに応じて前記操作オブジェクトと前記対象オブジェクトとが干渉した場合には、前記操作オブジェクトと前記対象オブジェクトとの干渉量に基づいて、前記対象オブジェクトに与えられる前記影響を特定するステップと、
を含み、
前記影響は、前記操作オブジェクトと前記対象オブジェクトとの接触点における前記対象オブジェクトの視覚的な表示を異ならせることを含み、
前記対象オブジェクトは、前記接触点を含む表面と、前記表面とは反対側の裏面と、を少なくとも含み、
前記視覚的な表示は、前記表面において前記接触点を含む着色部分の面積、前記着色部分の濃淡、および、前記裏面において前記着色部分に対応する部分の面積、の少なくとも一つを含む、情報処理方法。 An information processing method,
The information processing method is performed in a system comprising a head mount device,
(A) generating virtual space data defining a virtual space including an operation object and a target object affected by the operation object;
(B) generating view image data indicating a view image to be displayed on the head mounted device based on the movement of the head mounted device and the virtual space data;
(C) moving the operation object in response to the movement of a part of the body of the user wearing the head mount device;
(D) When the operation object and the target object interfere with each other according to the movement of the operation object, the influence given to the target object is determined based on the amount of interference between the operation object and the target object. Identifying steps,
Only including,
The influence includes making the visual display of the target object different at a contact point between the operation object and the target object.
The target object includes at least a surface including the contact point and a back surface opposite to the surface.
The visual display includes information processing including at least one of an area of a colored portion including the contact point on the surface, a shade of the colored portion, and an area of a portion corresponding to the colored portion on the back surface Method. 前記操作オブジェクトと前記対象オブジェクトとが干渉している場合に、前記操作オブジェクトの位置が、前記対象オブジェクトの前記表面において接触する位置となるように調整されている、請求項１に記載の情報処理方法。 When said operation object and the target object is interfering, the position of the operation object, the is adjusted to a position in contact at the surface of the target object, the information processing according to claim 1 Method. 前記影響は、前記対象オブジェクトの少なくとも一部が変形されるか否かが特定されることを含む、請求項１に記載の情報処理方法。   The information processing method according to claim 1, wherein the influence includes that whether or not at least a part of the target object is deformed is specified. 前記影響は、前記対象オブジェクトに予め関連付けられたパラメータを変動させることを含む、請求項１に記載の情報処理方法。   The information processing method according to claim 1, wherein the influence includes changing a parameter previously associated with the target object. （ｆ）前記干渉量または前記影響に応じて触覚的なフィードバックを前記ユーザに与えるステップを、さらに含む、請求項１から４のいずれか一項に記載の情報処理方法。 The information processing method according to any one of claims 1 to 4 , further comprising: (f) providing tactile feedback to the user according to the amount of interference or the influence. 情報処理方法であって、
前記情報処理方法は、ヘッドマウントデバイスを備えたシステムにおいて実行され、
（ａ）操作オブジェクトと、前記操作オブジェクトによって影響が与えられる対象オブジェクトと、を含む仮想空間を定義する仮想空間データを生成するステップと、
（ｂ）前記ヘッドマウントデバイスの動きおよび前記仮想空間データに基づいて、前記ヘッドマウントデバイスに表示される視野画像を示す視野画像データを生成するステップと、
（ｃ）前記ヘッドマウントデバイスを装着したユーザの身体の一部の動きに応じて、前記操作オブジェクトを動かすステップと、
（ｄ）前記操作オブジェクトの動きに応じて前記操作オブジェクトと前記対象オブジェクトとが干渉した場合には、前記操作オブジェクトと前記対象オブジェクトとの干渉量に基づいて、前記対象オブジェクトに与えられる前記影響を特定するステップと、
を含み、
前記干渉量は、前記対象オブジェクトに干渉した前記操作オブジェクトの干渉部分の体積、および前記干渉部分の最大深さの少なくとも一つに基づいて規定される、情報処理方法。 An information processing method,
The information processing method is performed in a system comprising a head mount device,
(A) generating virtual space data defining a virtual space including an operation object and a target object affected by the operation object;
(B) generating view image data indicating a view image to be displayed on the head mounted device based on the movement of the head mounted device and the virtual space data;
(C) moving the operation object in response to the movement of a part of the body of the user wearing the head mount device;
(D) When the operation object and the target object interfere with each other according to the movement of the operation object, the influence given to the target object is determined based on the amount of interference between the operation object and the target object. Identifying steps,
Including
The amount of interference, the volume of the interference part of the operation object to interfere with the target object, and is defined based on at least one of the maximum depth of the interference portion, information processing method. 請求項１から６のいずれか一項に記載の情報処理方法をコンピュータに実行させるための情報処理プログラム。 An information processing program for causing a computer to execute the information processing method according to any one of claims 1 to 6 . ヘッドマウントデバイスを用いた情報処理システムであって、請求項１から６のうちいずれか一項に記載の情報処理方法を実行するように構成された、情報処理システム。 An information processing system using a head mounted device, wherein the information processing system is configured to execute the information processing method according to any one of claims 1 to 6 . プロセッサと、
コンピュータ可読命令を記憶するメモリと、を備えた情報処理装置であって、
前記コンピュータ可読命令が前記プロセッサにより実行されると、前記情報処理装置は請求項１から６のうちいずれか一項に記載の情報処理方法を実行する、情報処理装置。 A processor,
An information processing apparatus comprising: a memory for storing computer readable instructions;
An information processing apparatus, wherein the information processing apparatus executes the information processing method according to any one of claims 1 to 6 , when the computer readable instruction is executed by the processor.
JP2017085308A 2017-04-24 2017-04-24 INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING APPARATUS Active JP6469752B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017085308A JP6469752B2 (en) 2017-04-24 2017-04-24 INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING APPARATUS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017085308A JP6469752B2 (en) 2017-04-24 2017-04-24 INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING APPARATUS

Publications (2)

Publication Number Publication Date
JP2018185567A JP2018185567A (en) 2018-11-22
JP6469752B2 true JP6469752B2 (en) 2019-02-13

Family

ID=64356046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017085308A Active JP6469752B2 (en) 2017-04-24 2017-04-24 INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING APPARATUS

Country Status (1)

Country Link
JP (1) JP6469752B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361612B2 (en) * 2019-06-27 2023-10-16 株式会社ドワンゴ Information processing method, information processing device, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4989383B2 (en) * 2007-09-10 2012-08-01 キヤノン株式会社 Information processing apparatus and information processing method
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US20150205351A1 (en) * 2014-01-17 2015-07-23 Osterhout Group, Inc. External user interface for head worn computing

Also Published As

Publication number Publication date
JP2018185567A (en) 2018-11-22

Similar Documents

Publication Publication Date Title
CN109690447B (en) Information processing method, program for causing computer to execute the information processing method, and computer
JP6189497B1 (en) Method for providing virtual space, method for providing virtual experience, program, and recording medium
WO2018020735A1 (en) Information processing method and program for causing computer to execute information processing method
WO2018047384A1 (en) Information processing method, program for causing computer to execute information processing method, and information processing device and information processing system whereupon information processing method is executed
JP6117414B1 (en) Information processing method and program for causing computer to execute information processing method
JP2017187952A (en) Display control method and program for causing computer to execute the method
JP6220937B1 (en) Information processing method, program for causing computer to execute information processing method, and computer
JP6140871B1 (en) Information processing method and program for causing computer to execute information processing method
JP6118444B1 (en) Information processing method and program for causing computer to execute information processing method
JP6113897B1 (en) Method for providing virtual space, method for providing virtual experience, program, and recording medium
JP6469752B2 (en) INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING APPARATUS
JP6416338B1 (en) Information processing method, information processing program, information processing system, and information processing apparatus
JP6159455B1 (en) Method, program, and recording medium for providing virtual space
JP2019036239A (en) Information processing method, information processing program, information processing system, and information processing device
JP2018026105A (en) Information processing method, and program for causing computer to implement information processing method
JP2018195172A (en) Information processing method, information processing program, and information processing device
JP6934374B2 (en) How it is performed by a computer with a processor
JP6403843B1 (en) Information processing method, information processing program, and information processing apparatus
JP6449922B2 (en) Information processing method and program for causing computer to execute information processing method
JP6122194B1 (en) Information processing method and program for causing computer to execute information processing method
JP2018018499A (en) Information processing method and program for causing computer to execute the method
JP2018014109A (en) Method for providing virtual space, method for providing virtual experience, program and recording medium
JP2018026099A (en) Information processing method and program for causing computer to execute the information processing method
JP2018014110A (en) Method for providing virtual space, method for providing virtual experience, program and recording medium
JP2018045338A (en) Information processing method and program for causing computer to execute the information processing method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190116

R150 Certificate of patent or registration of utility model

Ref document number: 6469752

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250