JP6933850B1 - Virtual space experience system - Google Patents
Virtual space experience system Download PDFInfo
- Publication number
- JP6933850B1 JP6933850B1 JP2021520445A JP2021520445A JP6933850B1 JP 6933850 B1 JP6933850 B1 JP 6933850B1 JP 2021520445 A JP2021520445 A JP 2021520445A JP 2021520445 A JP2021520445 A JP 2021520445A JP 6933850 B1 JP6933850 B1 JP 6933850B1
- Authority
- JP
- Japan
- Prior art keywords
- user
- state
- virtual space
- avatar
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 claims abstract description 81
- 230000009471 action Effects 0.000 claims description 5
- 230000036544 posture Effects 0.000 description 66
- 238000000034 method Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
VRシステムSのオブジェクト制御部34は、第1ユーザに対応する第1アバターによって第1オブジェクトの状態が変更された際に、第2ユーザに対応する第2アバターの観察する第2オブジェクトの座標、姿勢及び方向の少なくとも1つを固定したまま、第1オブジェクトの状態の変更に応じて、第2オブジェクトの座標、姿勢及び方向の少なくとも1つ以外の状態を変更する。The object control unit 34 of the VR system S determines the coordinates of the second object observed by the second avatar corresponding to the second user when the state of the first object is changed by the first avatar corresponding to the first user. While fixing at least one of the posture and the direction, the state other than at least one of the coordinates, the posture and the direction of the second object is changed according to the change of the state of the first object.
Description
本発明は、現実空間に存在しているユーザに対応して仮想空間にアバターを生成し、そのアバターの動作を介して、仮想空間に生成された所定のオブジェクトの状態を変更することのできる仮想空間体感システムに関する。 The present invention is a virtual that can generate an avatar in a virtual space corresponding to a user existing in the real space and change the state of a predetermined object generated in the virtual space through the operation of the avatar. Regarding the spatial experience system.
従来、サーバ等で仮想空間を生成し、ヘッドマウントディスプレイ(以下、「HMD」ということがある。)を介して、ユーザに、その仮想空間の画像及びユーザに対応するアバターの画像を認識させて、その仮想空間にユーザ自身が存在しているかのように体感させる仮想空間体感システムがある。 Conventionally, a virtual space is generated by a server or the like, and a user is made to recognize an image of the virtual space and an image of an avatar corresponding to the user via a head-mounted display (hereinafter, may be referred to as “HMD”). , There is a virtual space experience system that makes the user feel as if he / she exists in the virtual space.
この種の仮想空間体感システムとしては、モーションキャプチャー装置等によって、現実空間におけるユーザの状態の変化(例えば、身体の動作、座標の移動、姿勢の変化等)を認識し、その認識された状態の変化に応じて、仮想空間におけるアバターの状態を変化させるものがある(例えば、特許文献1参照)。 In this kind of virtual space experience system, a motion capture device or the like recognizes a change in the user's state in the real space (for example, body movement, coordinate movement, posture change, etc.), and the recognized state is recognized. Some change the state of the avatar in the virtual space according to the change (see, for example, Patent Document 1).
特許文献1の仮想空間体感システムでは、仮想空間に、現実空間に存在しているユーザの手に対応する手型のアバターと、操作対象であるオブジェクトを生成する。そして、その手型のアバターがそのオブジェクトを掴んで移動させるような動作を行った場合には、その動作に応じて、オブジェクトの仮想空間における座標が変更される。 In the virtual space experience system of Patent Document 1, a hand-shaped avatar corresponding to a user's hand existing in the real space and an object to be operated are generated in the virtual space. Then, when the hand-shaped avatar performs an action of grabbing and moving the object, the coordinates of the object in the virtual space are changed according to the action.
ところで、特許文献1に記載のようなシステムを用いて仮想空間を生成する場合、現実空間に実在する1つの対象物をモデルとして、複数のオブジェクトを仮想空間の異なる位置に生成することもできる。 By the way, when a virtual space is generated by using a system as described in Patent Document 1, a plurality of objects can be generated at different positions in the virtual space by using one object actually existing in the real space as a model.
そのようにして複数のオブジェクトを生成すると、1つの仮想空間に参加している複数のユーザの各々が、同一の対象物に対応するオブジェクトを、自らの手元(厳密には対応するアバターの手元)に1つずつ持って同時に独立して観察するという、現実空間では実行できないような形式で観察することができる。このとき、複数のオブジェクトの状態が同期して変化するように構成すると、対象物の状態の変化についても、複数のユーザの各々が、同時に独立して観察することができる。 When a plurality of objects are generated in this way, each of the plurality of users participating in one virtual space has an object corresponding to the same object in their own hands (strictly speaking, in the hands of the corresponding avatars). It is possible to observe in a format that cannot be performed in the real space, such as holding one by one and observing independently at the same time. At this time, if the states of the plurality of objects are configured to change synchronously, each of the plurality of users can independently observe the changes in the states of the objects at the same time.
しかし、複数のユーザ(ひいては、対応するアバター)の状態は、通常各々で異なる。そのため、複数のオブジェクトの状態が同期して変化するように構成されている場合、特定のユーザの動作によってその特定のユーザに対応するオブジェクトの状態が変化した際に、他のユーザに対応するオブジェクトの状態が、その他のユーザにとっては意図せず変化してしまい、他のユーザが観察しにくくなってしまうおそれがあった。 However, the states of the plurality of users (and thus the corresponding avatars) are usually different for each. Therefore, when the state of a plurality of objects is configured to change synchronously, when the state of the object corresponding to the specific user changes due to the action of a specific user, the object corresponding to the other user. There is a risk that the state of the object will change unintentionally for other users, making it difficult for other users to observe.
本発明は以上の点に鑑みてなされたものであり、仮想空間で1つの対象物をモデルとする複数のオブジェクトの各々を、複数のユーザが仮想空間内で観察しやすい仮想空間体感システムを提供することを目的とする。 The present invention has been made in view of the above points, and provides a virtual space experience system in which a plurality of users can easily observe each of a plurality of objects modeled on one object in the virtual space. The purpose is to do.
以下において、「状態」とは、ユーザの意図又は操作に応じて変化し得るものを指す。例えば、形状、大きさ、色、姿勢、方向、座標の位置、身体又は機構の動作状態等を指す。そのため、状態の「変化」、「変更」とは、形状、大きさ、色、姿勢、方向の変化又は変更、座標の移動、動作の開始、進行及び停止等を指す。また、「対応した形状」とは、同一の形状の他、相似した形(すなわち、同一の形状でサイズが異なる形状)、デフォルメした形状、一部を切り出したものと同じ形状等を含む。 In the following, the "state" refers to a state that can be changed according to the intention or operation of the user. For example, it refers to the shape, size, color, posture, direction, coordinate position, operating state of the body or mechanism, and the like. Therefore, the "change" and "change" of the state refer to a change or change of shape, size, color, posture, direction, movement of coordinates, start, progress and stop of operation, and the like. Further, the "corresponding shape" includes, in addition to the same shape, a similar shape (that is, a shape having the same shape but a different size), a deformed shape, the same shape as a partially cut out shape, and the like.
本発明の仮想空間体感システムは、
現実空間に存在している第1ユーザ及び第2ユーザに対応して仮想空間に生成された第1アバター及び第2アバターのいずれか一方の動作を介して、前記仮想空間に生成された所定のオブジェクトの座標、姿勢及び方向の少なくとも1つ、並びに、形状を少なくとも含む状態を変更することのできる仮想空間体感システムであって、
前記仮想空間、並びに、該仮想空間に存在する前記第1アバター、前記第2アバター及び前記所定のオブジェクトを生成する仮想空間生成部と、
前記第1ユーザの状態及び前記第2ユーザの状態を認識するユーザ状態認識部と、
前記第1ユーザの状態に応じて、前記第1アバターの状態を制御し、前記第2ユーザの状態に応じて前記第2アバターの状態を制御するアバター制御部と、
前記所定のオブジェクトの状態を制御するオブジェクト制御部と、
前記第1アバターの状態、前記第2アバターの状態及び前記所定のオブジェクトの状態に基づいて、前記第1ユーザ及び前記第2ユーザに認識させる前記仮想空間の画像を決定する画像決定部と、
前記第1ユーザ及び前記第2ユーザに前記仮想空間の画像を認識させる画像表示器とを備え、
前記所定のオブジェクトは、前記第1ユーザが観察する第1オブジェクト、及び、前記第2ユーザが観察する第2オブジェクトを含み、
前記第2オブジェクトは、前記仮想空間で前記第1オブジェクトの座標とは異なる座標に位置し、且つ、前記第1オブジェクトに対応した形状を有し、
前記第1オブジェクトの状態は、前記第1ユーザが前記第1アバターの動作を介して変更可能であり、
前記オブジェクト制御部は、
前記第1オブジェクトの形状が変更された際に、前記第2オブジェクトの形状を、該第1オブジェクトの形状の変更に応じて変更し、
前記第1オブジェクトの形状以外の状態が変更された際に、前記第2オブジェクトの座標、姿勢及び方向の少なくとも1つを固定したまま、該第2オブジェクトの該固定された状態以外の状態を、該第1オブジェクトの状態の変更に応じて変更することを特徴とする。The virtual space experience system of the present invention
A predetermined value generated in the virtual space through the operation of either the first avatar or the second avatar generated in the virtual space corresponding to the first user and the second user existing in the real space. A virtual space experience system that can change at least one of the coordinates, orientation, and direction of an object, as well as a state that includes at least a shape.
The virtual space, and a virtual space generation unit that generates the first avatar, the second avatar, and the predetermined object existing in the virtual space.
A user state recognition unit that recognizes the state of the first user and the state of the second user,
An avatar control unit that controls the state of the first avatar according to the state of the first user and controls the state of the second avatar according to the state of the second user.
An object control unit that controls the state of the predetermined object, and
An image determination unit that determines an image of the virtual space to be recognized by the first user and the second user based on the state of the first avatar, the state of the second avatar, and the state of the predetermined object.
The first user and the second user are provided with an image display for recognizing an image of the virtual space.
The predetermined object includes a first object observed by the first user and a second object observed by the second user.
The second object is located in the virtual space at coordinates different from the coordinates of the first object, and has a shape corresponding to the first object.
The state of the first object can be changed by the first user through the operation of the first avatar.
The object control unit
When the shape of the first object is changed, the shape of the second object is changed according to the change in the shape of the first object.
When a state other than the shape of the first object is changed, the state of the second object other than the fixed state is changed while at least one of the coordinates, the posture, and the direction of the second object is fixed. It is characterized in that it changes according to the change of the state of the first object.
このように、本発明の仮想空体感システムでは、第2オブジェクトに対応した形状を有している。すなわち、それらのオブジェクトは、1つの対象物(例えば、現実空間に存在している物品等)をモデルとして生成されている。また、このシステムでは、第1オブジェクトの形状が変更された際に、第2オブジェクトの形状を、その第1オブジェクトの形状の変更に応じて(同期して)変更する。 As described above, the virtual sky experience system of the present invention has a shape corresponding to the second object. That is, those objects are generated by using one object (for example, an article existing in the real space) as a model. Further, in this system, when the shape of the first object is changed, the shape of the second object is changed (synchronically) according to the change in the shape of the first object.
そのため、このシステムは、例えば、教師役の第1ユーザが自らの手元にある第1オブジェクトを操作するとともに、生徒役の第2ユーザにその第2ユーザの手元にある第2オブジェクトを観察させることによって、教師役の第1ユーザが生徒役の第2ユーザに、第2オブジェクトを介して、第1オブジェクト及び第2オブジェクトのモデルとなっている対象物の操作方法を教えるといった使い方が可能になっている。 Therefore, in this system, for example, the first user who plays the role of a teacher operates the first object in his / her own hands, and the second user who plays the role of a student observes the second object in the hands of the second user. This makes it possible for the first user who plays the role of a teacher to teach the second user who plays the role of a student how to operate the first object and the object that is the model of the second object through the second object. ing.
さらに、このシステムは、第1オブジェクトの形状以外の状態が変更された際に、第2オブジェクトの座標、姿勢及び方向の少なくとも1つを固定したまま、その第2オブジェクトのその固定された状態外の状態を、第1オブジェクトの状態の変更に応じて変更するように構成されている。 In addition, the system retains at least one of the coordinates, orientation, and orientation of the second object when a state other than the shape of the first object is changed, while the second object is out of that fixed state. Is configured to change in response to changes in the state of the first object.
これにより、第2ユーザが観察する第2オブジェクトの状態は、第1ユーザの第1オブジェクトに対する操作の結果に応じて変化するが、完全に同期したものではなく、座標、姿勢及び方向の少なくとも1つは変化しない。すなわち、観察に関係する状態は、ある程度固定されたままとなる。 As a result, the state of the second object observed by the second user changes according to the result of the operation of the first user on the first object, but is not completely synchronized, and at least one of the coordinates, the posture, and the direction. One does not change. That is, the state related to observation remains fixed to some extent.
そのため、第1ユーザは、自らが観察する第1オブジェクトを、自由に動かしながら観察することができる一方で、第2ユーザも、自らが観察する第2オブジェクトを、ある程度安定した状態で観察することができる。 Therefore, the first user can observe the first object that he / she observes while freely moving it, while the second user also observes the second object that he / she observes in a somewhat stable state. Can be done.
したがって、本発明の仮想空間体感システムによれば、仮想空間で1つの対象物をモデルとする複数のオブジェクトの各々を、対応する各ユーザが自由に意図したような状態で、又は、ある程度安定した状態で観察することができる。ひいては、複数のユーザの各々が、1つの対象物をモデルとする複数のオブジェクトであって各ユーザに対応するオブジェクトを、観察しやすい状態を実現することができる。 Therefore, according to the virtual space experience system of the present invention, each of a plurality of objects modeled on one object in the virtual space is stable as freely intended by each corresponding user or to some extent. It can be observed in the state. As a result, it is possible to realize a state in which each of the plurality of users can easily observe a plurality of objects modeled on one object and objects corresponding to each user.
また、本発明の仮想空間体感システムにおいては、
前記第2オブジェクトの状態は、前記第2ユーザが前記第2アバターの動作を介して変更可能であり、
前記オブジェクト制御部は、前記第1オブジェクトの座標、姿勢及び方向の少なくとも1つと独立して、前記第2オブジェクトの対応する座標、姿勢及び方向の少なくとも1つを変更することが好ましい。Further, in the virtual space experience system of the present invention,
The state of the second object can be changed by the second user through the action of the second avatar.
It is preferable that the object control unit changes at least one of the corresponding coordinates, posture and direction of the second object independently of at least one of the coordinates, posture and direction of the first object.
このように構成すると、第2ユーザは、自らに対応する第2オブジェクトを観察しにくい場合には、第2オブジェクトの座標、姿勢及び方向の少なくとも1つを、第1ユーザに対応する第1オブジェクトの状態に関わらず、見やすいように変更することができる。これにより、第2ユーザは、第2オブジェクトをさらに観察しやすくなる。 With this configuration, when it is difficult for the second user to observe the second object corresponding to himself / herself, at least one of the coordinates, the posture, and the direction of the second object is set to the first object corresponding to the first user. It can be changed to make it easier to see regardless of the state of. This makes it easier for the second user to observe the second object.
また、本発明の仮想空間体感システムにおいては、
前記所定のオブジェクトは、前記第2ユーザが操作する第3オブジェクトを含み、
前記第2オブジェクトの色は、半透明又は第3オブジェクトとは異なる色であり、
前記第3オブジェクトは、前記第2オブジェクトに対応した形状を有し、
前記第3オブジェクトの形状は、前記第2ユーザが前記第2アバターの動作を介して変更可能であり、
前記第3オブジェクトの座標、姿勢及び方向は、前記第2オブジェクトの座標、姿勢及び方向と一致していることが好ましい。Further, in the virtual space experience system of the present invention,
The predetermined object includes a third object operated by the second user.
The color of the second object is translucent or a color different from that of the third object.
The third object has a shape corresponding to the second object and has a shape corresponding to the second object.
The shape of the third object can be changed by the second user through the operation of the second avatar.
It is preferable that the coordinates, posture and direction of the third object match the coordinates, posture and direction of the second object.
このように構成すると、第2オブジェクトと第3オブジェクトとは、仮想空間で重畳して存在することになる。ここで、前述のように、第2オブジェクトの形状は、第1ユーザに対応する第1オブジェクトの形状の変化(すなわち、第1ユーザの操作)に応じて変化する。一方、第3オブジェクトの形状は、第2ユーザの操作に応じて変化する。そのため、第1オブジェクトの形状が変化すると、重畳している第2オブジェクトと第3オブジェクトのうち第2オブジェクトの形状のみが、その変化に対応して変化することになる。 With this configuration, the second object and the third object are superimposed in the virtual space. Here, as described above, the shape of the second object changes according to the change in the shape of the first object corresponding to the first user (that is, the operation of the first user). On the other hand, the shape of the third object changes according to the operation of the second user. Therefore, when the shape of the first object changes, only the shape of the second object out of the superimposed second object and the third object changes in response to the change.
これにより、第1オブジェクトの形状が変化した際には、その変化した部分のみ(すなわち、第1オブジェクトの形状と第3オブジェクトの形状との相違部分のみ)が、重畳して生成されている第2オブジェクト7と第3オブジェクト8とによって、第2ユーザU2に、半透明の部分又は第3オブジェクトとは異なる色の部分として示されることになる。
As a result, when the shape of the first object changes, only the changed part (that is, only the difference between the shape of the first object and the shape of the third object) is superposed and generated. The 2
その結果、第2ユーザは、第1オブジェクトの形状と第3オブジェクトの形状との相違部分(ひいては、第1ユーザによる第1オブジェクトに対する操作)を、直観的に把握することができる。 As a result, the second user can intuitively grasp the difference between the shape of the first object and the shape of the third object (and by extension, the operation of the first user on the first object).
具体的には、例えば、オブジェクトが組み立て式の模型のようなものの場合には、第2ユーザは、第1ユーザの組み立て手順を、その相違部分を観察することによって、容易に把握することができる。 Specifically, for example, when the object is like a prefabricated model, the second user can easily grasp the assembling procedure of the first user by observing the difference. ..
また、本発明の仮想空間体感システムにおいては、
前記現実空間に存在しているアイテムの状態を認識するアイテム状態認識部を備え、
前記所定のオブジェクトは、前記第1ユーザ及び前記第2ユーザの少なくともいずれか一方が操作する第3オブジェクトを含み、
前記仮想空間生成部は、前記アイテムに対応させて前記第3オブジェクトを生成することが好ましい。Further, in the virtual space experience system of the present invention,
It is provided with an item state recognition unit that recognizes the state of an item existing in the real space.
The predetermined object includes a third object operated by at least one of the first user and the second user.
It is preferable that the virtual space generation unit generates the third object in correspondence with the item.
このように、操作対象である第3オブジェクトを、現実空間に実際に存在しているアイテムに対応させて生成するようにすると、仮想空間でユーザがアバターを介して第3オブジェクトに行った動作の結果が、現実空間に対応するアイテムに反映されるようになる。これにより、仮想空間におけるアバターの動作の結果を、現実空間のアイテムに反映させたかのように、ユーザに感じさせることができる。 In this way, when the third object to be operated is generated corresponding to the item that actually exists in the real space, the operation performed by the user on the third object via the avatar in the virtual space is performed. The result will be reflected in the item corresponding to the real space. As a result, the user can feel as if the result of the avatar's operation in the virtual space is reflected in the item in the real space.
また、このように構成すると、ユーザは、第3オブジェクトに触れたときに、現実空間でユーザがアイテムに触れることになる。これにより、ユーザに第3オブジェクトを触っているという感覚を与えることができる。ひいては、ユーザの仮想空間への没入感を高めることができる。 Further, in this configuration, when the user touches the third object, the user touches the item in the real space. This gives the user the feeling of touching the third object. As a result, the user's immersive feeling in the virtual space can be enhanced.
以下、図面を参照して、実施形態に係る仮想空間体感システムであるVRシステムSについて説明する。VRシステムSは、仮想空間にユーザ自身が存在していると認識させて、ユーザに仮想現実(いわゆるVR(virtual reality))を体感させるシステムである。 Hereinafter, the VR system S, which is a virtual space experience system according to the embodiment, will be described with reference to the drawings. The VR system S is a system that allows the user to experience virtual reality (so-called VR (virtual reality)) by recognizing that the user himself / herself exists in the virtual space.
図1に示すように、VRシステムSは、第1現実空間RS1に存在している第1ユーザU1と、第1現実空間RS1とは異なる位置に存在する第2現実空間RS2に存在している第2ユーザU2とが、同一の仮想空間VS(図3参照)を介して、コミュニケーションをとることが可能なものとして構成されている。 As shown in FIG. 1, the VR system S exists in the first user U1 existing in the first real space RS1 and in the second real space RS2 existing at a position different from the first real space RS1. The second user U2 is configured to be able to communicate with each other via the same virtual space VS (see FIG. 3).
なお、以下の説明においては、第1現実空間RS1と第2現実空間RS2とを総称して、現実空間RSということがある。また、第1ユーザU1と第2ユーザU2とを総称して、ユーザUということがある。また、第1現実空間RS1には、第1カメラ2aが設置されており、第2現実空間RS2には、第2カメラ2bが設置されている。そして、第1カメラ2aと第2カメラ2bとを総称して、カメラ2ということがある。
In the following description, the first real space RS1 and the second real space RS2 may be collectively referred to as a real space RS. Further, the first user U1 and the second user U2 may be collectively referred to as a user U. Further, the
また、以下の説明においては、「状態」とは、ユーザUの意図又は操作に応じて変化し得るものを指す。例えば、形状、大きさ、色、姿勢、方向、座標の位置、身体又は機構の動作状態等を指す。そのため、状態の「変化」、「変更」とは、形状、大きさ、色、姿勢、方向の変化又は変更、座標の移動、動作の開始、進行及び停止等を指す。 Further, in the following description, the "state" refers to a state that can be changed according to the intention or operation of the user U. For example, it refers to the shape, size, color, posture, direction, coordinate position, operating state of the body or mechanism, and the like. Therefore, the "change" and "change" of the state refer to a change or change of shape, size, color, posture, direction, movement of coordinates, start, progress and stop of operation, and the like.
また、「対応した形状」とは、同一の形状の他、相似した形(すなわち、同一の形状でサイズが異なる形状)、デフォルメした形状、一部を切り出したものと同じ形状等を含む。 Further, the "corresponding shape" includes, in addition to the same shape, a similar shape (that is, a shape having the same shape but a different size), a deformed shape, the same shape as a partially cut out shape, and the like.
本実施形態では、教師役である第1ユーザU1が、仮想空間VSを介して、第1ユーザU1とは離れた場所にいる生徒役である第2ユーザU2に、第2ユーザU2とともに第2現実空間RS2に存在しているアイテムIである組み立て式の模型の作り方を教授するために、VRシステムSを使用する場合を例として説明する。 In the present embodiment, the first user U1 who plays the role of a teacher is sent to the second user U2 who is a student who is located away from the first user U1 via the virtual space VS, together with the second user U2. In order to teach how to make a prefabricated model which is an item I existing in the real space RS2, a case where the VR system S is used will be described as an example.
なお、本発明の仮想空間体感システムは、そのような構成に限定されるものではなく、3つ以上の現実空間の各々にユーザが存在していてもよいし、複数のユーザが同一の現実空間に存在していてもよい。 The virtual space experience system of the present invention is not limited to such a configuration, and a user may exist in each of three or more real spaces, or a plurality of users may be in the same real space. May be present in.
[システムの概略構成]
まず、図1及び図2を参照して、VRシステムSの概略構成について説明する。[Outline configuration of system]
First, a schematic configuration of the VR system S will be described with reference to FIGS. 1 and 2.
現実空間RSに存在するユーザU、アイテムI及びテーブルTに取り付けられる複数の標識1と、ユーザU、アイテムI及びテーブルT(厳密には、それらに取り付けられた標識1)を撮影するカメラ2と、ユーザUに認識させる仮想空間VS(図3等参照)の画像及び音声を決定するサーバ3と、決定された画像及び音声をプレイヤーに認識させるヘッドマウントディスプレイ(以下、「HMD4」という。)とを備えている。
A plurality of signs 1 attached to the user U, the item I, and the table T existing in the real space RS, and a camera 2 for photographing the user U, the item I, and the table T (strictly speaking, the signs 1 attached to them). , A
VRシステムSでは、第1カメラ2a、及び、第1ユーザU1の装着しているHMD4は、サーバ3と、無線で相互に情報を送受信可能となっている。同様に、第2カメラ2b、及び、第2ユーザU2の装着しているHMD4は、サーバ3と、無線で相互に情報を送受信可能となっている。ただし、それらのいずれか同士を、無線に代わり有線で相互に情報を送受信可能に構成してもよい。
In the VR system S, the
複数の標識1のうちユーザUに取り付けられているものは、ユーザUの装着するHMD4、手袋及び靴を介して、ユーザUの頭部、両手及び両足のそれぞれに取り付けられている。 Of the plurality of signs 1, those attached to the user U are attached to the head, both hands, and both feet of the user U via the HMD4, gloves, and shoes worn by the user U.
また、複数の標識1のうちアイテムI及びテーブルTに取り付けられているものは、第2カメラ2bで撮影したアイテムI及びテーブルTの画像において特徴点となる位置に取り付けられている。
Further, among the plurality of signs 1, those attached to the item I and the table T are attached to the positions that are feature points in the images of the item I and the table T taken by the
本実施形態では、アイテムIは、第2現実空間RS2のテーブルTに載置された組み立て式の車の模型であり、標識1は、その模型の各パーツの中央部、縁、角の近傍等に取り付けられている。テーブルTは、標識1は、円形の天板と4本の脚からなり、天板の縁と、脚の端部等に取り付けられている。 In the present embodiment, the item I is a model of an assembled car placed on the table T of the second real space RS2, and the sign 1 is a central portion, an edge, a corner vicinity, etc. of each part of the model. It is attached to. On the table T, the sign 1 is composed of a circular top plate and four legs, and is attached to the edge of the top plate, the ends of the legs, and the like.
なお、標識1は、後述するようにユーザU、アイテムI又はテーブルTの現実空間RSにおける形状、姿勢、座標及び方向を認識するために用いられるものである。そのため、標識1の取り付け位置は、VRシステムSを構成する他の機器に応じて、適宜変更してよい。 The sign 1 is used to recognize the shape, posture, coordinates, and direction of the user U, the item I, or the table T in the real space RS as described later. Therefore, the mounting position of the sign 1 may be appropriately changed according to other devices constituting the VR system S.
カメラ2のうち、第1現実空間RS1に設置されている第1カメラ2aは、第1ユーザU1の動作可能範囲(すなわち、姿勢の変化、座標の移動、並びに、姿勢及び方向の変化等を実行し得る範囲)を、多方向から撮影可能なように複数設置されている。
Of the cameras 2, the
また、カメラ2のうち、第2現実空間RS2に設置されている第2カメラ2bは、第2ユーザU2、アイテムI及びテーブルTの動作可能範囲(すなわち、姿勢の変化、座標の移動、並びに、形状及び方向の変化等を実行し得る範囲)を、多方向から撮影可能なように複数設置されている。
Further, among the cameras 2, the
サーバ3は、カメラ2が撮影した画像から標識1を認識し、その認識された標識1の現実空間RSにおける座標に基づいて、ユーザU、アイテムI又はテーブルTの形状、姿勢、座標及び方向を認識する。また、サーバ3は、その形状、姿勢、座標及び方向に基づいて、ユーザUに認識させる画像及び音声を決定する。
The
HMD4は、ユーザUの頭部に装着される。図2に示すように、HMD4は、ユーザUに、サーバ3によって決定された仮想空間VSの画像をユーザUの認識させるためのモニタ40(画像表示器)と、サーバ3によって決定された仮想空間VSの音声をユーザUに認識させるためのスピーカ41(音声発生器)とを有している。
The HMD4 is attached to the head of the user U. As shown in FIG. 2, the
このVRシステムSを用いてユーザUに仮想現実を体感させる場合、ユーザUは、仮想空間VSの画像と音声のみを認識させられて、ユーザU自身が後述する第1アバター5a又は第2アバター5bとして仮想空間に存在していると認識させられる。すなわち、VRシステムSは、いわゆる没入型のシステムとして構成されている。
When the user U is made to experience the virtual reality by using this VR system S, the user U is made to recognize only the image and the sound of the virtual space VS, and the user U himself / herself is made to recognize the
なお、VRシステムSでは、ユーザU、アイテムI及びテーブルTの現実空間RSにおける状態を認識するシステムとして、標識1とカメラ2とサーバ3とによって構成された、いわゆるモーションキャプチャー装置を備えている。
The VR system S includes a so-called motion capture device composed of a sign 1, a camera 2, and a
しかし、本発明の仮想空間体感システムは、このような構成に限定されるものではない。例えば、モーションキャプチャー装置を使用する場合には、上記の構成のものの他、標識及びカメラの数が上記構成とは異なる(例えば、それぞれの仮想空間に1つずつ設けられている)ものを用いてもよい。 However, the virtual space experience system of the present invention is not limited to such a configuration. For example, when using a motion capture device, in addition to the above configuration, the number of signs and cameras is different from the above configuration (for example, one is provided in each virtual space). May be good.
また、モーションキャプチャー装置以外の装置を用いて、ユーザ、アイテム又はテーブルの現実空間における状態を認識するようにしてもよい。具体的には、例えば、HMDにGPS等のセンサを搭載し、そのセンサからの出力に基づいて、ユーザ、アイテム又はテーブルの状態を認識するようにしてもよい。また、そのようなセンサと、上記のようなモーションキャプチャー装置を併用してもよい。 In addition, a device other than the motion capture device may be used to recognize the state of the user, item, or table in the real space. Specifically, for example, a sensor such as GPS may be mounted on the HMD, and the state of the user, item, or table may be recognized based on the output from the sensor. Further, such a sensor may be used in combination with the motion capture device as described above.
[処理部の構成]
次に、図2及び図3を用いて、サーバ3の構成を詳細に説明する。[Configuration of processing unit]
Next, the configuration of the
サーバ3は、CPU、RAM、ROM、インターフェース回路等を含む1つ又は複数の電子回路ユニットにより構成されている。図2に示すように、サーバ3は、実装されたハードウェア構成又はプログラムにより実現される機能として、仮想空間生成部30と、ユーザ状態認識部31と、アバター制御部32と、アイテム状態認識部33と、オブジェクト制御部34と、出力情報決定部35とを備えている。
The
図3に示すように、仮想空間生成部30は、第1ユーザU1が存在している第1現実空間RS1及び第2ユーザU2が存在している第2現実空間RS2に対応する仮想空間VSの画像(厳密には、その背景となる画像)、及び、それに関連する音声を生成する。
As shown in FIG. 3, the virtual
また、仮想空間生成部30は、仮想空間VSに存在するアバターとして、第1ユーザU1に対応する第1アバター5a及び第2アバター5bの画像、及び、それに関連する音声を生成する。なお、以下においては、第1アバター5aと第2アバター5bとを総称して、アバター5ということがある。本実施形態では、アバター5の各々は、動物を擬人化したものとなっており、対応するユーザUの動作に対応して動作する。
Further, the virtual
また、仮想空間生成部30は、仮想空間VSに存在する所定のオブジェクトを生成する。その所定のオブジェクトには、仮想空間VSの環境(例えば、仮想空間VSにのみ存在する植物等)を表すためのオブジェクトの他に、第1ユーザU1が観察し、操作する第1オブジェクト6、第2ユーザU2が観察する第2オブジェクト7、第2ユーザU2が操作する第3オブジェクト8、及び、第3オブジェクト8が載置される第4オブジェクト9を含んでいる。
Further, the virtual
第1オブジェクト6は、仮想空間VSで、第1ユーザU1に対応する第1アバター5aの近傍となる位置に生成される。第1オブジェクト6の形状、座標、姿勢及び方向は、第1アバター5a(すなわち、第1ユーザU1)の動作に応じて、変更可能となっている。
The first object 6 is generated in the virtual space VS at a position near the
第2オブジェクト7は、仮想空間VSで、第2ユーザU2に対応する第2アバター5bの近傍となる位置に生成される。すなわち、第2オブジェクト7は、第1オブジェクト6の座標とは異なる座標に位置している。第2オブジェクト7の座標、姿勢及び方向は、第2アバター5b(すなわち、第2ユーザU2)の動作に応じて、変更可能となっている。
The
第3オブジェクト8は、仮想空間VSで、第2現実空間に存在しているアイテムIに対応する位置に生成される。すなわち、第3オブジェクト8は、第1オブジェクト6の座標及び第2オブジェクト7の座標とは異なる座標に位置している。具体的には、第3オブジェクト8は、テーブルTに対応する第4オブジェクト9に載置された状態となる座標に生成される。
The
第3オブジェクト8の形状、座標、姿勢及び方向は、第2アバター5bの第3オブジェクト8に対する動作(すなわち、第2ユーザU2のアイテムIに対する操作)に応じて、変更可能となっている。
The shape, coordinates, posture, and direction of the
第3オブジェクト8の形状は、アイテムIに対応した形状となっている。VRシステムSの使用を開始した際には、第1オブジェクト6及び第2オブジェクト7の形状は、その第3オブジェクト8の形状に対応するように生成される。その後においては、第1オブジェクト6及び第2オブジェクト7の形状は、第3オブジェクト8の形状とは独立して変化する。
The shape of the
本実施形態では、第2現実空間RS2に存在しているアイテムIは、組み立て式の車の模型であり、本体、屋根、フロントガラス及びタイヤの4つのパーツで構成されている。そして、第3オブジェクト8は、アイテムIに対応するものとして生成される。
In the present embodiment, the item I existing in the second real space RS2 is a model of an assembled car, and is composed of four parts: a main body, a roof, a windshield, and a tire. Then, the
そのため、第3オブジェクト8は、そのアイテムIの各パーツに対応するように、本体部分である第1パーツ80、屋根部分である第2パーツ81、フロントガラスである第3パーツ82、及び、タイヤである第4パーツ83で構成される(図12参照)。
Therefore, the
また、第3オブジェクト8に対応する第1オブジェクト6は、本体部分である第1パーツ60、屋根部分である第2パーツ61、フロントガラスである第3パーツ62、及び、タイヤである第4パーツ63で構成される(図6等参照)。同様に、第2オブジェクト7も、本体部分である第1パーツ70、屋根部分である第2パーツ71、フロントガラスである第3パーツ72、及び、タイヤである第4パーツ73で構成される(図6等参照)。
Further, the first object 6 corresponding to the
第4オブジェクト9は、仮想空間VSで、第2現実空間に存在しているテーブルTに対応する位置に生成される。第4オブジェクトの座標、姿勢及び方向は、第2アバター5bの第4オブジェクト9に対する動作(すなわち、第2ユーザU2のテーブルTに対する操作)に応じて、変更可能となっている。第4オブジェクト9の形状は、テーブルTに対応した形状となっている。
The
図2に示すように、ユーザ状態認識部31は、第1カメラ2aが撮影した標識1を含む第1ユーザU1の画像データに基づいて、第1ユーザU1の状態を認識し、第2カメラ2bが撮影した標識1を含む第2ユーザU2の画像データに基づいて、第2ユーザU2の状態を認識する。
As shown in FIG. 2, the user
また、ユーザ状態認識部31は、ユーザ座標認識部31aと、ユーザ姿勢認識部31bと、ユーザ方向認識部31cとを有している。ユーザ座標認識部31a、ユーザ姿勢認識部31b及びユーザ方向認識部31cは、ユーザUの画像データからユーザUに取り付けられている標識1を抽出し、その抽出結果に基づいて、ユーザUの座標、姿勢及び方向を認識する。
Further, the user
アバター制御部32は、ユーザ状態認識部31によって認識された第1ユーザU1の状態の変化に応じて、第1アバター5aの状態(具体的には、座標、姿勢及び方向)を制御し、ユーザ状態認識部31によって認識された第2ユーザU2の状態の変化に応じて、第2アバター5bの状態(具体的には、座標、姿勢及び方向)を制御する。
The
アイテム状態認識部33は、第2カメラ2bが撮影した標識1を含むアイテムI及びテーブルTの画像データに基づいて、アイテムI及びテーブルTの状態を認識する。アイテム状態認識部33は、アイテム形状認識部33aと、アイテム座標認識部33bと、アイテム姿勢認識部33cと、アイテム方向認識部33dとを有している。
The item
アイテム形状認識部33a、アイテム座標認識部33b、アイテム姿勢認識部33c、及びアイテム方向認識部33dは、アイテムIの画像データ及びテーブルTの画像データからアイテムI及びテーブルTに取り付けられている標識1を抽出し、その抽出結果に基づいて、アイテムI及びテーブルTの形状、座標、姿勢及び方向を認識する。
The item
オブジェクト制御部34は、アバター制御部32によって認識されたアバター5の動作に応じて、第3オブジェクト8及び第4オブジェクト9の状態を制御する。
The
また、オブジェクト制御部34は、第1オブジェクト制御部34aと、第2オブジェクト制御部34bと、第3オブジェクト制御部34cと、第4オブジェクト制御部34dとを有している。
Further, the
第1オブジェクト制御部34aは、第1アバター5a(すなわち、第1ユーザU1)の動作に応じて、第1オブジェクト6の形状(組み立ての状態)、座標、姿勢(ヨー軸に対する傾き)及び方向(ヨー軸を中心とする位相)を制御する。
The first
第2オブジェクト制御部34bは、第2アバター5b(すなわち、第2ユーザU2)の動作に応じて、第2オブジェクト7の座標、姿勢及び方向を制御する。また、第2オブジェクト制御部34bは、第1オブジェクト6の形状の変化に応じて、第2オブジェクト7の形状を制御する。
The second
第3オブジェクト制御部34cは、第2アバター5b(すなわち、第2ユーザU2)の動作、及び、アイテムIの状態に応じて、第3オブジェクト8の形状、座標、姿勢及び方向を制御する。
The third
第4オブジェクト制御部34dは、第2アバター5b(すなわち、第2ユーザU2)の動作、及び、テーブルTの状態に応じて、第4オブジェクト9の座標、姿勢及び方向を制御する。ただし、本実施形態では、第4オブジェクト9の状態の変更は行われない。
The fourth
出力情報決定部35は、HMD4を介して、ユーザUに認識させる仮想空間VSに関する情報を決定する。この出力情報決定部35は、画像決定部35aと、音声決定部35bとを有している。
The output
画像決定部35aは、アバター5の状態、並びに、第1オブジェクト6、第2オブジェクト7、第3オブジェクト8及び第4オブジェクト9の状態に基づいて、HMD4のモニタ40を介して、アバター5に対応するユーザUに認識させる仮想空間VSの画像を決定する。
The
音声決定部35bは、アバター5の状態、並びに、第1オブジェクト6、第2オブジェクト7、第3オブジェクト8及び第4オブジェクト9の状態に基づいて、HMD4のスピーカ41を介して、アバター5に対応するユーザUに認識させる仮想空間VSの画像に関連する音声を決定する。
The
なお、本発明の仮想空間体感システムを構成する各処理部は、上記のような構成に限定されるものではない。例えば、本実施形態においてサーバ3に設けられている処理部の一部を、HMD4に設けてもよい。また、複数のサーバを用いてもよいし、サーバ3を省略してHMD4に搭載されているCPUを協働させて構成してもよい。
It should be noted that each processing unit constituting the virtual space experience system of the present invention is not limited to the above configuration. For example, a part of the processing unit provided in the
[実行される処理]
次に、図2〜図12を参照して、VRシステムSを用いてユーザUに仮想空間VSを体感させる際に、VRシステムSの実行する処理について説明する。[Process to be executed]
Next, with reference to FIGS. 2 to 12, a process executed by the VR system S when the user U is made to experience the virtual space VS by using the VR system S will be described.
[使用が開始された際における処理]
まず、図2〜図4を参照して、VRシステムSの使用が開始された際に、VRシステムSの各処理部が実行する処理について説明する。[Processing when use starts]
First, with reference to FIGS. 2 to 4, when the use of the VR system S is started, the processing executed by each processing unit of the VR system S will be described.
この処理においては、まず、サーバ3の仮想空間生成部30が、カメラ2によって撮影された画像に基づいて、仮想空間VS、並びに、その仮想空間VSに存在させるアバター5及び各種オブジェクトを生成する(図4/STEP100)。
In this process, first, the virtual
具体的には、図3に示すように、仮想空間生成部30が、仮想空間VSの背景となる画像を生成する。また、仮想空間生成部30は、カメラ2が撮影した画像のうち、ユーザUの画像に基づいて、仮想空間VSに存在させるアバター5の画像を生成し、アイテムIの画像に基づいて、第1オブジェクト6、第2オブジェクト7及び第3オブジェクト8の画像を生成し、テーブルTの画像に基づいて、第4オブジェクト9の画像を生成する。
Specifically, as shown in FIG. 3, the virtual
次に、サーバ3のオブジェクト制御部34が、第2現実空間RS2におけるアイテムIの状態に基づいて、仮想空間VSにおける第1オブジェクト6、第2オブジェクト7及び第3オブジェクト8の状態を決定する(図4/STEP101)。
Next, the
具体的には、まず、アイテム状態認識部33が、カメラ2が撮影したアイテムIの状態に基づいて、第2現実空間RS2におけるアイテムIの状態を認識する。その後、オブジェクト制御部34の第3オブジェクト制御部34cが、認識されたアイテムIの状態に基づいて、第3オブジェクト8の状態を決定する。
Specifically, first, the item
さらにその後、オブジェクト制御部34の第1オブジェクト制御部34a及び第2オブジェクト制御部34bが、第3オブジェクト8の状態に対応するようにして、第1オブジェクト6及び第2オブジェクト7の状態を決定する。
After that, the first
また、このとき、アイテム状態認識部33が、カメラ2が撮影したテーブルTの状態に基づいて、第2現実空間RS2におけるテーブルTの状態を認識する。その後、オブジェクト制御部34の第4オブジェクト制御部34dが、認識されたテーブルTの状態に基づいて、第4オブジェクト9の状態を決定する。
At this time, the item
次に、サーバ3のアバター制御部32が、現実空間RSにおけるユーザUの各々の状態に基づいて、仮想空間VSにおいてユーザUの各々に対応するアバター5の状態を決定する(図4/STEP102)。
Next, the
具体的には、まず、ユーザ状態認識部31が、カメラ2が撮影したユーザUの状態に基づいて、現実空間RSにおけるユーザUの状態を認識する。その後、アバター制御部32が、認識されたユーザUの状態に基づいて、アバター5の状態を決定する。
Specifically, first, the user
次に、サーバ3の出力情報決定部35の画像決定部35a及び音声決定部35bが、第1オブジェクト6、第2オブジェクト7、第3オブジェクト8及び第4オブジェクト9の状態、並びに、アバター5の状態に基づいて、ユーザUに認識させる画像及び音声を決定する(図4/STEP103)。
Next, the
次に、ユーザUの装着しているHMD4が、そのモニタ40に決定された画像を表示させるとともに、そのスピーカ41に決定された音声を発生させて(図4/STEP104)、今回の処理を終了する。
Next, the HMD4 worn by the user U displays the determined image on the
本実施形態では、これらの処理によって、図3に示すように、仮想空間VSにおいて、第1ユーザU1に対応する第1アバター5aと、第2ユーザU2に対応する第2アバター5bとが、互いに対面するように存在するように配置される。
In the present embodiment, as shown in FIG. 3, in the virtual space VS, the
また、第1ユーザU1に対応する第1アバター5aの近傍には、第1オブジェクト6が配置される。また、第2ユーザU2の近傍には、第2オブジェクト7が配置される。また、第3オブジェクト8及び第4オブジェクト9は、第2ユーザU2の近傍であり、且つ、第2現実空間RS2におけるアイテムI及びテーブルTに対応する位置に配置される。
Further, the first object 6 is arranged in the vicinity of the
これにより、この仮想空間VSを認識させられているユーザUは、自らに対応するアバター5として、自らがその仮想空間VSに存在し、自らの近傍に存在しているオブジェクトを、自らの手で(厳密にはアバター5を介して)操作できるように認識させられる。 As a result, the user U who is made to recognize this virtual space VS, as the avatar 5 corresponding to himself / herself, presents the object that exists in the virtual space VS and exists in the vicinity of himself / herself with his / her own hand. It is recognized so that it can be operated (strictly via avatar 5).
[第1オブジェクトが操作された際における処理]
次に、図2、図5〜図7を参照して、VRシステムSの使用が開始された後、第1ユーザU1が第1アバター5aを介して第1オブジェクト6を操作した際に、VRシステムSの各処理部が実行する処理について説明する。[Processing when the first object is operated]
Next, referring to FIGS. 2, 5 to 7, when the first user U1 operates the first object 6 via the
この処理においては、まず、ユーザ状態認識部31が、第1ユーザU1の状態が変化したか否かを判定する(図5/STEP200)。
In this process, first, the user
第1ユーザU1の状態が変化していない場合(STEP200でNOの場合)、STEP200に戻り、所定の制御周期でSTEP200の判定を再度実行する。 If the state of the first user U1 has not changed (NO in STEP200), the process returns to STEP200, and the determination of STEP200 is executed again in a predetermined control cycle.
一方、第1ユーザU1の状態が変化した場合(STEP200でYESの場合)、アバター制御部32は、第1ユーザU1の状態の変化に基づいて、第1アバター5aの状態を変化させる(図5/STEP201)。
On the other hand, when the state of the first user U1 changes (YES in STEP 200), the
次に、オブジェクト制御部34が、アバター制御部32によって実行される第1アバター5aの状態の変化(すなわち、動作)が、第1オブジェクト6を操作するような動作であるか否かを判定する(図5/STEP202)。
Next, the
具体的には、オブジェクト制御部34は、仮想空間VSにおける第1オブジェクト6に対する第1アバター5aの座標、姿勢及び方向の変化が所定の座標、姿勢及び方向の変化に該当するか否かに基づいて、第1アバター5aの動作が第1オブジェクト6を操作するような動作であるか否かを判定する。
Specifically, the
本実施形態では、例えば、図6に示すように、オブジェクト制御部34は、第1アバター5aの手が第1オブジェクト6に含まれるパーツのいずれかを掴んだり移動させたりするような動作であるか否かを、判定する。
In the present embodiment, for example, as shown in FIG. 6, the
第1アバター5aの動作が第1オブジェクト6を操作するような動作である場合(STEP202でYESの場合)、オブジェクト制御部34の第1オブジェクト制御部34aが、第1アバター5aによる操作に基づいて、第1オブジェクト6の形状、座標、姿勢及び方向を変化させる(図5/STEP203)。
When the operation of the
次に、オブジェクト制御部34の第1オブジェクト制御部34aが、第1オブジェクト6の形状の変化に基づいて、第2アバター5bの近傍に位置している第2オブジェクト7の形状を変化させる(図5/STEP204)。
Next, the first
これらのSTEP202〜204の処理により、図6に示すように、第1オブジェクト6に対する操作の結果、第1オブジェクト6の形状が変更された場合には、第2オブジェクト7の形状も、それに同期して変化する。
As shown in FIG. 6, when the shape of the first object 6 is changed as a result of the operation on the first object 6 by the processing of STEP 202 to 204, the shape of the
具体的には、例えば、第1アバター5aが、車の模型である第1オブジェクト6の屋根部分である第2パーツ61を本体部分である第1パーツ60に対して取り付ける操作を行って、第1オブジェクト6の形状を変化させたとする。
Specifically, for example, the
このとき、第1オブジェクト6に対応する形状を有している第2オブジェクト7の形状も、第1オブジェクト6の形状の変化に同期して変化する。具体的には、第2オブジェクト7の屋根部分である第2パーツ71が、本体部分である第2パーツ71に対して、自動的に取り付けられる。
At this time, the shape of the
ただし、図7に示すように、第1オブジェクト6に対する操作の結果、第1オブジェクト6の形状ではなく、座標、姿勢及び方向のいずれかが変更された場合には、第2オブジェクト7の対応する座標、姿勢及び方向は、それに同期せず変化しない。
However, as shown in FIG. 7, when any of the coordinates, the posture, and the direction is changed instead of the shape of the first object 6 as a result of the operation on the first object 6, the
具体的には、例えば、第1アバター5aが、図7に示した矢印の方向に、第1オブジェクト6の姿勢(ヨー軸に対する傾き)及び方向(ヨー軸を中心とする位相)を、図6に示した姿勢及び方向から変化させたとする。
Specifically, for example, the
このとき、第2オブジェクト7の姿勢及び方向は、第1オブジェクト6の姿勢及び方向の変化に同期せず変化しない。すなわち、第2オブジェクト7の姿勢及び方向は、第1オブジェクト6の状態の変化前と変化後とにおいて、変化しない。
At this time, the posture and direction of the
次に、サーバ3の出力情報決定部35の画像決定部35a及び音声決定部35bが、仮想空間VSにおける第1オブジェクト6及び第2オブジェクト7の状態、並びに、アバター5の状態に基づいて、ユーザUに認識させる画像及び音声を決定する(図5/STEP205)。
Next, the
同様に、第1アバター5aの動作が第1オブジェクト6を操作するような動作でない場合(STEP202でNOの場合)も、仮想空間VSにおける第1オブジェクト6及び第2オブジェクト7の状態、並びに、アバター5の状態に基づいて、サーバ3の出力情報決定部35の画像決定部35a及び音声決定部35bが、ユーザUに認識させる画像及び音声を決定する(図5/STEP205)。
Similarly, when the operation of the
次に、ユーザUの装着しているHMD4が、そのモニタ40に決定された画像を表示させるとともに、そのスピーカ41に決定された音声を発生させて(図5/STEP206)、今回の処理を終了する。
Next, the HMD4 worn by the user U displays the determined image on the
VRシステムSは、ユーザUによる終了の指示が認識されるまで、所定の制御周期で、上記の処理を繰り返し実行する。 The VR system S repeatedly executes the above processing in a predetermined control cycle until the end instruction by the user U is recognized.
以上説明したように、VRシステムSでは、第1オブジェクト6は、第2オブジェクト7に対応した形状を有している。すなわち、それらのオブジェクトは、1つの対象物(本実施形態では、第2現実空間RS2に存在している組み立て式の車の模型であるアイテムI)をモデルとして生成されている。また、VRシステムSでは、第1オブジェクト6の形状が変更された際に、第2オブジェクト7の形状を、その第1オブジェクト6の形状の変更に応じて(同期して)変更する。
As described above, in the VR system S, the first object 6 has a shape corresponding to the
そのため、VRシステムSは、例えば、教師役の第1ユーザU1が自らの手元にある第1オブジェクト6を操作するとともに、生徒役の第2ユーザU2にその第2ユーザU2の手元にある第2オブジェクト7を観察させることによって、教師役の第1ユーザU1が生徒役の第2ユーザU2に、第2オブジェクト7を介して、第1オブジェクト6及び第2オブジェクト7のモデルとなっている対象物(本実施形態では車の模型)の組み立て方法を教えるといった使い方が可能になっている。
Therefore, in the VR system S, for example, the first user U1 who plays the role of a teacher operates the first object 6 which is in his / her own hand, and the second user U2 who plays the role of a student operates the second object U2 which is in the hand of the second user U2. By observing the
さらに、このVRシステムSは、第1オブジェクト6の形状だけでなく座標、姿勢及び方向のいずれか1つが変更された際に、第2オブジェクト7の座標、姿勢及び方向を固定したまま、その第2オブジェクト7の形状を、第1オブジェクトの形状の変更に応じて変更するように構成されている。
Further, this VR system S keeps the coordinates, posture and direction of the
これにより、第2ユーザU2が観察する第2オブジェクト7の形状は、第1ユーザU1の第1オブジェクト6に対する操作の結果に応じて変化するが、座標、姿勢及び方向は、変化しない。すなわち、観察に関係する状態は、ある程度固定されたままとなっている。
As a result, the shape of the
そのため、第1ユーザU1は、自らが観察する第1オブジェクト6を、自由に動かしながら観察することができる一方で、第2ユーザU2も、自らが観察する第2オブジェクト7を、ある程度安定した状態で観察することができる。
Therefore, the first user U1 can observe the first object 6 that he / she observes while freely moving, while the second user U2 also observes the
したがって、VRシステムSによれば、仮想空間VSで、第2現実空間RS2のアイテムIという1つの対象物をモデルとする第1オブジェクト6及び第2オブジェクト7の各々を、対応する第1ユーザU1又は第2ユーザU2が自由に意図したような状態で、又は、ある程度安定した状態で観察することができる。ひいては、第1ユーザU1及び第2ユーザU2の各々が、自らに対応する第1オブジェクト6又は第2オブジェクト7を、観察しやすい状態を実現することができる。
Therefore, according to the VR system S, in the virtual space VS, each of the first object 6 and the
なお、本発明の仮想空間体感システムは、このような構成に限定されるものではなく、第1オブジェクトの形状以外を含む状態が変更された際に、第2オブジェクトの座標、姿勢及び方向の少なくとも1つを固定したまま、第2オブジェクトの固定された状態以外の状態を、第1オブジェクトの状態の変更に応じて変更するように構成されていればよい。 The virtual space experience system of the present invention is not limited to such a configuration, and at least the coordinates, posture, and direction of the second object are changed when the state including the shape other than the shape of the first object is changed. It suffices that the state other than the fixed state of the second object may be changed according to the change of the state of the first object while keeping one fixed.
そのため、必ずしも、本実施形態のように、第2オブジェクトの座標、姿勢及び方向の全てを第1オブジェクトの状態の変更に関わらず固定された状態とする必要はなく、座標、姿勢及び方向のいずれか1つ又は2つについては、第1オブジェクトの対応する状態に応じて変更するように構成してもよい。このとき、対応して変更される状態は、観察対象となるオブジェクトの形状、種類、オブジェクトの観察目的等に応じて適宜設定すればよい。 Therefore, as in the present embodiment, it is not always necessary to keep all the coordinates, posture, and direction of the second object in a fixed state regardless of the change in the state of the first object, and any of the coordinates, posture, and direction. One or two may be configured to be changed according to the corresponding state of the first object. At this time, the correspondingly changed state may be appropriately set according to the shape and type of the object to be observed, the purpose of observing the object, and the like.
[第2オブジェクトが操作された際における処理]
次に、図2、図8及び図9を参照して、VRシステムSの使用が開始された後、第2ユーザU2が第2アバター5bを介して第2オブジェクト7を操作した際に、VRシステムSの各処理部が実行する処理について説明する。[Processing when the second object is operated]
Next, referring to FIGS. 2, 8 and 9, when the second user U2 operates the
この処理においては、まず、ユーザ状態認識部31が、第2ユーザU2の状態が変化したか否かを判定する(図8/STEP300)。
In this process, first, the user
第2ユーザU2の状態が変化していない場合(STEP300でNOの場合)、STEP300に戻り、所定の制御周期でSTEP300の判定を再度実行する。 If the state of the second user U2 has not changed (NO in STEP300), the process returns to STEP300, and the determination of STEP300 is executed again in a predetermined control cycle.
一方、第2ユーザU2の状態が変化した場合(STEP300でYESの場合)、アバター制御部32は、第2ユーザU2の状態の変化に基づいて、第2アバター5bの状態を変化させる(図8/STEP301)。
On the other hand, when the state of the second user U2 changes (YES in STEP 300), the
次に、オブジェクト制御部34が、アバター制御部32によって実行される第2アバター5bの状態の変化(すなわち、動作)が、第2オブジェクト7を操作するような動作であるか否かを判定する(図8/STEP302)。
Next, the
具体的には、オブジェクト制御部34は、仮想空間VSにおける第2オブジェクト7に対する第2アバター5bの座標、姿勢及び方向の変化が所定の座標、姿勢及び方向の変化に該当するか否かに基づいて、第2アバター5bの動作が第2オブジェクト7を操作するような動作であるか否かを判定する。
Specifically, the
本実施形態では、例えば、図9に示すように、オブジェクト制御部34は、第2アバター5bの手が第2オブジェクト7に含まれるパーツのいずれかを掴んだり移動させたりするような動作であるか否かを、判定する。
In the present embodiment, for example, as shown in FIG. 9, the
第2アバター5bの動作が第2オブジェクト7を操作するような動作である場合(STEP302でYESの場合)、オブジェクト制御部34の第2オブジェクト制御部34bが、第2アバター5bによる操作に基づいて、第2オブジェクト7の座標、姿勢及び方向を変化させる(図8/STEP303)。
When the operation of the
ここで、第2オブジェクト7は、第2ユーザU2が観察するためのオブジェクトである。そのため、VRシステムSでは、第2ユーザU2は、自らに対応する第2アバター5bを介して、第2オブジェクト7の形状を変更することはできないようになっている。
Here, the
また、第1ユーザU1が第1オブジェクト6を操作した場合と異なり、第1オブジェクト6の状態は、第2オブジェクト7の状態の変化に同期して変化しない。
Further, unlike the case where the first user U1 operates the first object 6, the state of the first object 6 does not change in synchronization with the change of the state of the
具体的には、例えば、第2アバター5bが、図9に示した矢印の方向に、第2オブジェクト7の姿勢(ヨー軸に対する傾き)及び方向(ヨー軸を中心とする位相)を変化させたとする。
Specifically, for example, the
このとき、第1オブジェクト6の姿勢及び方向は、第2オブジェクト7の姿勢及び方向の変化に同期せず変化しない。すなわち、第1オブジェクト6の姿勢及び方向は、第2オブジェクト7の状態の変化前と変化後とにおいて、変化しない。
At this time, the posture and direction of the first object 6 do not change in synchronization with the change of the posture and direction of the
次に、サーバ3の出力情報決定部35の画像決定部35a及び音声決定部35bが、仮想空間VSにおける第1オブジェクト6及び第2オブジェクト7の状態、並びに、アバター5の状態に基づいて、ユーザUに認識させる画像及び音声を決定する(図8/STEP304)。
Next, the
同様に、第2アバター5bの動作が第2オブジェクト7を操作するような動作でない場合(STEP302でNOの場合)も、サーバ3の出力情報決定部35の画像決定部35a及び音声決定部35bが、仮想空間VSにおける第1オブジェクト6及び第2オブジェクト7の状態、並びに、アバター5の状態に基づいて、ユーザUに認識させる画像及び音声を決定する(図8/STEP304)。
Similarly, when the operation of the
次に、ユーザUの装着しているHMD4が、そのモニタ40に決定された画像を表示させるとともに、そのスピーカ41に決定された音声を発生させて(図8/STEP305)、今回の処理を終了する。
Next, the HMD4 worn by the user U displays the determined image on the
VRシステムSは、ユーザUによる終了の指示が認識されるまで、所定の制御周期で、上記の処理を繰り返し実行する。 The VR system S repeatedly executes the above processing in a predetermined control cycle until the end instruction by the user U is recognized.
以上説明したように、VRシステムSでは、第1オブジェクト6の座標、姿勢及び方向と独立して、第2オブジェクト7の座標、姿勢及び方向を変更することができるようになっている。これにより、第2ユーザU2は、自らに対応する第2オブジェクト7を観察しにくい場合には、第2オブジェクト7の座標、姿勢及び方向を、第1ユーザU1に対応する第1オブジェクト6の状態に関わらず、見やすいように変更することができる。
As described above, in the VR system S, the coordinates, posture and direction of the
なお、本発明の仮想空間体感システムは、このような構成に限定されるものではなく、第1オブジェクトの座標、姿勢及び方向の少なくとも1つと独立して、第2オブジェクトの対応する座標、姿勢及び方向の少なくとも1つを変更するように構成されていればよい。 The virtual space experience system of the present invention is not limited to such a configuration, and is independent of at least one of the coordinates, posture, and direction of the first object, and the corresponding coordinates, posture, and the second object. It may be configured to change at least one of the directions.
そのため、必ずしも、本実施形態のように、第2オブジェクトの座標、姿勢及び方向の全てを第1オブジェクトの座標、姿勢及び方向と独立して変更可能にする必要はなく、第2オブジェクトの状態のうちいずれか1つ又は2つについては、第1オブジェクトの状態が、第2オブジェクトの状態の変更に応じて変更されるように構成してもよい。 Therefore, unlike the present embodiment, it is not always necessary to make all the coordinates, postures, and directions of the second object change independently of the coordinates, postures, and directions of the first object, and the state of the second object does not necessarily have to be changed. For any one or two of them, the state of the first object may be configured to be changed according to the change of the state of the second object.
そのように構成すると、例えば、本実施形態のように第1ユーザを教師役、第2ユーザを生徒役とした場合に、第1ユーザが、第2オブジェクトの状態の変化に応じて状態の変化した第1オブジェクトを観察することによって、第2ユーザの理解の度合い等を推定するといった使い方もできるようになる。 With such a configuration, for example, when the first user plays the role of a teacher and the second user plays the role of a student as in the present embodiment, the first user changes the state according to the change in the state of the second object. By observing the first object, the degree of understanding of the second user can be estimated.
[第3オブジェクトが操作された際における処理]
次に、図2、図10及び図11を参照して、VRシステムSの使用が開始された後、第2ユーザU2が第2アバター5bを介して第3オブジェクト8を操作した際に、VRシステムSの各処理部が実行する処理について説明する。[Processing when the third object is operated]
Next, referring to FIGS. 2, 10 and 11, when the second user U2 operates the
この処理においては、まず、ユーザ状態認識部31が、第2ユーザU2の状態が変化したか否かを判定する(図10/STEP400)。
In this process, first, the user
第2ユーザU2の状態が変化していない場合(STEP400でNOの場合)、STEP400に戻り、所定の制御周期でSTEP400の判定を再度実行する。 If the state of the second user U2 has not changed (NO in STEP400), the process returns to STEP400, and the determination of STEP400 is executed again in a predetermined control cycle.
一方、第2ユーザU2の状態が変化した場合(STEP400でYESの場合)、アバター制御部32は、第2ユーザU2の状態の変化に基づいて、第2アバター5bの状態を変化させる(図10/STEP401)。
On the other hand, when the state of the second user U2 changes (YES in STEP 400), the
次に、オブジェクト制御部34が、アバター制御部32によって実行される第2アバター5bの状態の変化(すなわち、動作)が、第3オブジェクト8を操作するような動作であるか否かを判定する(図10/STEP402)。
Next, the
具体的には、オブジェクト制御部34は、仮想空間VSにおける第3オブジェクト8に対する第2アバター5bの座標、姿勢及び方向の変化が所定の座標、姿勢及び方向の変化に該当するか否かに基づいて、第2アバター5bの動作が第3オブジェクト8を操作するような動作であるか否かを判定する。
Specifically, the
本実施形態では、例えば、図11に示すように、オブジェクト制御部34は、第2アバター5bの手が第3オブジェクト8に含まれるパーツのいずれかを掴んだり移動させたりするような動作であるか否かを、判定する。
In the present embodiment, for example, as shown in FIG. 11, the
第2アバター5bの動作が第3オブジェクト8を操作するような動作である場合(STEP402でYESの場合)、オブジェクト制御部34の第3オブジェクト制御部34cが、第2アバター5bによる操作に基づいて、第3オブジェクト8の形状、座標、姿勢及び方向を変化させる(図10/STEP403)。
When the operation of the
ここで、第3オブジェクト8は、第2ユーザU2が操作するためのオブジェクトであり、その操作の結果に応じた状態の変化は、第1オブジェクト6及び第2オブジェクト7とは独立したものとなっている。そのため、図11に示すように、第3オブジェクト8の状態が変化しても、第1オブジェクト6又は第2オブジェクト7の状態が、それに同期して変化することはない。
Here, the
次に、サーバ3の出力情報決定部35の画像決定部35a及び音声決定部35bが、仮想空間VSにおける第3オブジェクト8の状態及びアバター5の状態に基づいて、ユーザUに認識させる画像及び音声を決定する(図10/STEP404)。
Next, the
同様に、第2アバター5bの動作が第3オブジェクト8を操作するような動作でない場合(STEP402でNOの場合)も、サーバ3の出力情報決定部35の画像決定部35a及び音声決定部35bが、仮想空間VSにおける第3オブジェクト8の状態及びアバター5の状態に基づいて、ユーザUに認識させる画像及び音声を決定する(図10/STEP404)。
Similarly, when the operation of the
次に、ユーザUの装着しているHMD4が、そのモニタ40に決定された画像を表示させるとともに、そのスピーカ41に決定された音声を発生させて(図10/STEP405)、今回の処理を終了する。
Next, the HMD4 worn by the user U displays the determined image on the
VRシステムSは、ユーザUによる終了の指示が認識されるまで、所定の制御周期で、上記の処理を繰り返し実行する。 The VR system S repeatedly executes the above processing in a predetermined control cycle until the end instruction by the user U is recognized.
以上説明したように、第3オブジェクト8は、仮想空間VSに生成されるものであるが、第2現実空間RS2に実在しているアイテムIに重複するように生成されている。また、第3オブジェクト8の状態の変化もアイテムIに対応している。すなわち、第3オブジェクト8の状態の変化は、アイテムIの状態の変化に対応している。
As described above, the
そのため、例えば、第2ユーザU2が、第2オブジェクト7を介して組み立て方法を観察した後、その方法に従って第3オブジェクト8を操作することによって、VRシステムSを使用開始前には組み立てられていなかったアイテムIが、使用終了後には組み立てられた状態になる。
Therefore, for example, the second user U2 observes the assembling method through the
すなわち、VRシステムSでは、仮想空間VSで第2ユーザU2が第2アバター5bを介して第3オブジェクト8に行った動作の結果が、第2現実空間RS2に対応するアイテムIに反映されるようになる。これにより、仮想空間VSにおける第2アバター5bの動作の結果を、第2現実空間RS2のアイテムIに反映させたかのように、第2ユーザU2に感じさせることができる。
That is, in the VR system S, the result of the operation performed by the second user U2 on the
また、このように構成すると、第2ユーザU2は、第3オブジェクト8に触れたときに、第2現実空間RS2で第2ユーザU2がアイテムIに触れることになる。これにより、第2ユーザU2に第3オブジェクト8を触っているという感覚を与えることができる。ひいては、第2ユーザU2の仮想空間VSへの没入感を高めることができる。
Further, in this configuration, when the second user U2 touches the
また、第1ユーザU1と第2ユーザU2とが同一の現実空間に存在している場合、又は、第3オブジェクト8を第1現実空間RS1に存在しているアイテムに対応させて生成した場合には、第1ユーザU1も、第3オブジェクト8に触れることができる。
Further, when the first user U1 and the second user U2 exist in the same real space, or when the
そのような場合には、第1ユーザU1に対しても、仮想空間VSにおける第1アバター5aの動作の結果を、現実空間のアイテムIに反映させたかのように感じさせることができる。また、第1ユーザU1に第3オブジェクト8を触っているという感覚を与えることができる。ひいては、第1ユーザU1の仮想空間VSへの没入感を高めることができる。
In such a case, the first user U1 can feel as if the result of the operation of the
なお、本実施形態では、前述のように、第1オブジェクト6及び第2オブジェクト7のいずれかの状態が変化しても、第3オブジェクト8の状態が、それに同期して変化することはない。しかし、第3オブジェクト8の状態の変更に応じて(同期して)、第1オブジェクト6の状態も変更するよう構成した場合には、第2ユーザU2の第3オブジェクト8に対する操作の様子を、第1ユーザU1が自らに対応する第1オブジェクト6を介して把握するといった使い方ができるようになる。
In the present embodiment, as described above, even if the state of either the first object 6 or the
[変形例]
次に、図12を参照して、VRシステムSの変形例について説明する。本変形例では、第2オブジェクトの色、及び、第3オブジェクト8の座標のみが、上記実施形態の構成とは異なる。そのため、以下の説明においては、その相違する構成についてのみ詳細に説明する。なお、上記実施形態における構成と同一の構成又は対応する構成については、同一の符号を付すとともに、詳細な説明は省略する。[Modification example]
Next, a modified example of the VR system S will be described with reference to FIG. In this modification, only the color of the second object and the coordinates of the
図12に示すように、第2オブジェクト7及び第3オブジェクト8は、組み立て式の車の模型であるアイテムIをモデルとして生成される。
As shown in FIG. 12, the
第2オブジェクト7を構成する各パーツのうち本体部分である第1パーツ70の座標、姿勢及び方向は、第3オブジェクト8を構成する各パーツのうちの本体部分である第1パーツ80の座標、姿勢及び方向に一致するように設定されている。そのため、第2オブジェクト7の第1パーツ70と、第3オブジェクト8の第1パーツ80とは、仮想空間VSで重畳して存在することになる。
The coordinates, posture, and direction of the
そして、第2オブジェクト7の形状は、第1ユーザU1に対応する第1オブジェクト6の形状の変化(すなわち、第1ユーザU1の操作)に応じて変化する。一方、第3オブジェクト8の形状は、第2ユーザU2の操作に応じて変化する。
Then, the shape of the
そのため、第1オブジェクト6の形状が変化すると、重畳している第2オブジェクト7と第3オブジェクト8のうち第2オブジェクト7の形状のみが、その変化に対応して変化することになる。
Therefore, when the shape of the first object 6 changes, only the shape of the
具体的には、例えば、第1ユーザU1によって、屋根部分である第2パーツ61が、第1オブジェクト6の本体部分である第1パーツ60に対して取り付けられたとする。この場合、第2オブジェクト7の屋根部分である第2パーツ71も、本体部分である第1パーツ70に対して、自動的に取り付けられる。
Specifically, for example, it is assumed that the
ここで、第2オブジェクト7は、第3オブジェクト8とは異なり、半透明のオブジェクトとして生成されている。そのため、第1オブジェクト6の形状が変化した際には、その変化した部分のみ(すなわち、第1オブジェクト6の形状と第3オブジェクト8の形状との相違部分のみ)が、第2ユーザU2に、半透明の部分として示されることになる。
Here, unlike the
その結果、第2ユーザU2は、第1オブジェクト6の形状と第3オブジェクト8の形状との相違部分(ひいては、第1ユーザU1による第1オブジェクト6に対する操作)を、直観的に把握することができる。具体的には、第2ユーザU2は、第1ユーザU1の組み立て手順を、その相違部分を観察することによって、容易に把握することができる。 As a result, the second user U2 can intuitively grasp the difference between the shape of the first object 6 and the shape of the third object 8 (and by extension, the operation of the first user U1 on the first object 6). can. Specifically, the second user U2 can easily grasp the assembly procedure of the first user U1 by observing the difference portion.
なお、第2オブジェクト7の色は、必ずしも半透明である必要はなく、第3オブジェクト8の色と異なる色であってもよい。
The color of the
[その他の実施形態]
以上、図示の実施形態について説明したが、本発明はこのような形態に限定されるものではない。[Other Embodiments]
Although the illustrated embodiment has been described above, the present invention is not limited to such an embodiment.
例えば、上記実施形態では、図3に示すように、VRシステムSは、第1ユーザU1が観察する第1オブジェクト6、及び、第2ユーザU2が観察する第2オブジェクト7だけでなく、第2ユーザU2が操作し、アイテムIに対応する第3オブジェクト8、及び、アイテムIが載置されるテーブルTに対応する第4オブジェクト9を、仮想空間VSに生成している。
For example, in the above embodiment, as shown in FIG. 3, the VR system S is not only the first object 6 observed by the first user U1 and the
これは、教師役である第1ユーザU1によって第1オブジェクト6(ひいては、第2オブジェクト7)を介して示された方法に応じて、生徒役である第2ユーザU2が、第3オブジェクト8(ひいては、現実に存在するアイテムI)を、操作することができるようにするためである。 This is because the second user U2, who is the student role, is the third object 8 (and thus, according to the method shown through the first object 6 (and thus the second object 7) by the first user U1 who is the teacher role. As a result, the item I) that actually exists can be operated.
しかし、本発明の仮想空間体感システムは、そのような構成に限定されるものではなく、第1ユーザが観察する第1オブジェクト及び第2ユーザが観察する第2オブジェクトを、仮想空間に生成するものであればよい。 However, the virtual space experience system of the present invention is not limited to such a configuration, and creates a first object observed by the first user and a second object observed by the second user in the virtual space. Anything is fine.
そのため、実在のアイテムを操作する必要がない場合には、それに対応する第3オブジェクト、及び、第3オブジェクトを載置するための第4オブジェクトは、生成しなくてもよい。また、その第3オブジェクト及び第4オブジェクトを認識する必要もなくなるので、アイテム認識部、並びに、オブジェクト制御部の第3オブジェクト制御部及び第4オブジェクト制御部とともに、それらが実行する処理を省略してもよい。 Therefore, when it is not necessary to operate an existing item, it is not necessary to generate the corresponding third object and the fourth object on which the third object is placed. Further, since it is not necessary to recognize the third object and the fourth object, the processing executed by the item recognition unit and the third object control unit and the fourth object control unit of the object control unit is omitted. May be good.
1…標識、2…カメラ、2a…第1カメラ、2b…第2カメラ、3…サーバ、4…HMD、5…アバター、5a…第1アバター、5b…第2アバター、6…第1オブジェクト、7…第2オブジェクト、8…第3オブジェクト、9…第4オブジェクト、30…仮想空間生成部、31…ユーザ状態認識部、31a…ユーザ座標認識部、31b…ユーザ姿勢認識部、31c…ユーザ方向認識部、32…アバター制御部、33…アイテム状態認識部、33a…アイテム形状認識部、33b…アイテム座標認識部、33c…アイテム姿勢認識部、33d…アイテム方向認識部、34…オブジェクト制御部、34a…第1オブジェクト制御部、34b…第2オブジェクト制御部、34c…第3オブジェクト制御部、34d…第4オブジェクト制御部、35…出力情報決定部、35a…画像決定部、35b…音声決定部、40…モニタ、41…スピーカ、60,70,80…第1パーツ、61,71,81…第2パーツ、62,72,82…第3パーツ、63,73,83…第4パーツ、I…アイテム、U…ユーザ、U1…第1ユーザ、U2…第2ユーザ、RS…現実空間、RS1…第1現実空間、RS2…第2現実空間、S…VRシステム(仮想空間体感システム)、T…テーブル、VS…仮想空間。 1 ... sign, 2 ... camera, 2a ... 1st camera, 2b ... 2nd camera, 3 ... server, 4 ... HMD, 5 ... avatar, 5a ... 1st avatar, 5b ... 2nd avatar, 6 ... 1st object, 7 ... 2nd object, 8 ... 3rd object, 9 ... 4th object, 30 ... Virtual space generation unit, 31 ... User state recognition unit, 31a ... User coordinate recognition unit, 31b ... User attitude recognition unit, 31c ... User direction Recognition unit, 32 ... Avatar control unit, 33 ... Item state recognition unit, 33a ... Item shape recognition unit, 33b ... Item coordinate recognition unit, 33c ... Item attitude recognition unit, 33d ... Item direction recognition unit, 34 ... Object control unit, 34a ... 1st object control unit, 34b ... 2nd object control unit, 34c ... 3rd object control unit, 34d ... 4th object control unit, 35 ... output information determination unit, 35a ... image determination unit, 35b ... voice determination unit , 40 ... monitor, 41 ... speaker, 60, 70, 80 ... first part, 61, 71, 81 ... second part, 62, 72, 82 ... third part, 63, 73, 83 ... fourth part, I ... Item, U ... User, U1 ... 1st user, U2 ... 2nd user, RS ... Real space, RS1 ... 1st real space, RS2 ... 2nd real space, S ... VR system (virtual space experience system), T ... table, VS ... virtual space.
Claims (4)
前記仮想空間、並びに、該仮想空間に存在する前記第1アバター、前記第2アバター及び前記所定のオブジェクトを生成する仮想空間生成部と、
前記第1ユーザの状態及び前記第2ユーザの状態を認識するユーザ状態認識部と、
前記第1ユーザの状態に応じて、前記第1アバターの状態を制御し、前記第2ユーザの状態に応じて前記第2アバターの状態を制御するアバター制御部と、
前記所定のオブジェクトの状態を制御するオブジェクト制御部と、
前記第1アバターの状態、前記第2アバターの状態及び前記所定のオブジェクトの状態に基づいて、前記第1ユーザ及び前記第2ユーザに認識させる前記仮想空間の画像を決定する画像決定部と、
前記第1ユーザ及び前記第2ユーザに前記仮想空間の画像を認識させる画像表示器とを備え、
前記所定のオブジェクトは、前記第1ユーザが観察する第1オブジェクト、及び、前記第2ユーザが観察する第2オブジェクトを含み、
前記第2オブジェクトは、前記仮想空間で前記第1オブジェクトの座標とは異なる座標に位置し、且つ、前記第1オブジェクトに対応した形状を有し、
前記第1オブジェクトの状態は、前記第1ユーザが前記第1アバターの動作を介して変更可能であり、
前記オブジェクト制御部は、
前記第1オブジェクトの形状が変更された際に、前記第2オブジェクトの形状を、該第1オブジェクトの形状の変更に応じて変更し、
前記第1オブジェクトの形状以外の状態が変更された際に、前記第2オブジェクトの座標、姿勢及び方向の少なくとも1つを固定したまま、該第2オブジェクトの該固定された状態以外の状態を、該第1オブジェクトの状態の変更に応じて変更することを特徴とする仮想空間体感システム。A predetermined value generated in the virtual space through the operation of either the first avatar or the second avatar generated in the virtual space corresponding to the first user and the second user existing in the real space. A virtual space experience system that can change at least one of the coordinates, orientation, and direction of an object, as well as a state that includes at least a shape.
The virtual space, and a virtual space generation unit that generates the first avatar, the second avatar, and the predetermined object existing in the virtual space.
A user state recognition unit that recognizes the state of the first user and the state of the second user,
An avatar control unit that controls the state of the first avatar according to the state of the first user and controls the state of the second avatar according to the state of the second user.
An object control unit that controls the state of the predetermined object, and
An image determination unit that determines an image of the virtual space to be recognized by the first user and the second user based on the state of the first avatar, the state of the second avatar, and the state of the predetermined object.
The first user and the second user are provided with an image display for recognizing an image of the virtual space.
The predetermined object includes a first object observed by the first user and a second object observed by the second user.
The second object is located in the virtual space at coordinates different from the coordinates of the first object, and has a shape corresponding to the first object.
The state of the first object can be changed by the first user through the operation of the first avatar.
The object control unit
When the shape of the first object is changed, the shape of the second object is changed according to the change in the shape of the first object.
When a state other than the shape of the first object is changed, the state of the second object other than the fixed state is changed while at least one of the coordinates, the posture, and the direction of the second object is fixed. A virtual space experience system characterized in that it changes according to a change in the state of the first object.
前記第2オブジェクトの状態は、前記第2ユーザが前記第2アバターの動作を介して変更可能であり、
前記オブジェクト制御部は、前記第1オブジェクトの座標、姿勢及び方向の少なくとも1つと独立して、前記第2オブジェクトの対応する座標、姿勢及び方向の少なくとも1つを変更することを特徴とする仮想空間体感システム。In the virtual space experience system according to claim 1,
The state of the second object can be changed by the second user through the action of the second avatar.
The object control unit changes at least one of the corresponding coordinates, posture, and direction of the second object independently of at least one of the coordinates, posture, and direction of the first object. Experience system.
前記所定のオブジェクトは、前記第2ユーザが操作する第3オブジェクトを含み、
前記第2オブジェクトの色は、半透明又は第3オブジェクトとは異なる色であり、
前記第3オブジェクトは、前記第2オブジェクトに対応した形状を有し、
前記第3オブジェクトの形状は、前記第2ユーザが前記第2アバターの動作を介して変更可能であり、
前記第3オブジェクトの座標、姿勢及び方向は、前記第2オブジェクトの座標、姿勢及び方向と一致していることを特徴とする仮想空間体感システム。In the virtual space experience system according to claim 1 or 2.
The predetermined object includes a third object operated by the second user.
The color of the second object is translucent or a color different from that of the third object.
The third object has a shape corresponding to the second object and has a shape corresponding to the second object.
The shape of the third object can be changed by the second user through the operation of the second avatar.
A virtual space experience system characterized in that the coordinates, posture, and direction of the third object match the coordinates, posture, and direction of the second object.
前記現実空間に存在しているアイテムの状態を認識するアイテム状態認識部を備え、
前記所定のオブジェクトは、前記第1ユーザ及び前記第2ユーザの少なくともいずれか一方が操作する第3オブジェクトを含み、
前記仮想空間生成部は、前記アイテムに対応させて前記第3オブジェクトを生成することを特徴とする仮想空間体感システム。In the virtual space experience system according to any one of claims 1 to 3.
It is provided with an item state recognition unit that recognizes the state of an item existing in the real space.
The predetermined object includes a third object operated by at least one of the first user and the second user.
The virtual space generation unit is a virtual space experience system characterized in that the third object is generated in correspondence with the item.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/041524 WO2022097271A1 (en) | 2020-11-06 | 2020-11-06 | Virtual space experience system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6933850B1 true JP6933850B1 (en) | 2021-09-08 |
JPWO2022097271A1 JPWO2022097271A1 (en) | 2022-05-12 |
Family
ID=77550013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021520445A Active JP6933850B1 (en) | 2020-11-06 | 2020-11-06 | Virtual space experience system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6933850B1 (en) |
WO (1) | WO2022097271A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019230852A1 (en) * | 2018-06-01 | 2019-12-05 | ソニー株式会社 | Information processing device, information processing method, and program |
JP2020515891A (en) * | 2017-03-24 | 2020-05-28 | サージカル シアター エルエルシー | System and method for training and collaboration in a virtual environment |
JP6739611B1 (en) * | 2019-11-28 | 2020-08-12 | 株式会社ドワンゴ | Class system, viewing terminal, information processing method and program |
-
2020
- 2020-11-06 WO PCT/JP2020/041524 patent/WO2022097271A1/en active Application Filing
- 2020-11-06 JP JP2021520445A patent/JP6933850B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020515891A (en) * | 2017-03-24 | 2020-05-28 | サージカル シアター エルエルシー | System and method for training and collaboration in a virtual environment |
WO2019230852A1 (en) * | 2018-06-01 | 2019-12-05 | ソニー株式会社 | Information processing device, information processing method, and program |
JP6739611B1 (en) * | 2019-11-28 | 2020-08-12 | 株式会社ドワンゴ | Class system, viewing terminal, information processing method and program |
Also Published As
Publication number | Publication date |
---|---|
JPWO2022097271A1 (en) | 2022-05-12 |
WO2022097271A1 (en) | 2022-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2017204739B2 (en) | Massive simultaneous remote digital presence world | |
EP3425481B1 (en) | Control device | |
JP2022549853A (en) | Individual visibility in shared space | |
JP6263252B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
JP2010253277A (en) | Method and system for controlling movements of objects in video game | |
JP2010257461A (en) | Method and system for creating shared game space for networked game | |
JP2010257081A (en) | Image procession method and image processing system | |
TW202105129A (en) | Artificial reality systems with personal assistant element for gating user interface elements | |
WO2019087564A1 (en) | Information processing device, information processing method, and program | |
US20230135138A1 (en) | Vr training system for aircraft, vr training method for aircraft, and vr training program for aircraft | |
WO2020201998A1 (en) | Transitioning between an augmented reality scene and a virtual reality representation | |
JP6933850B1 (en) | Virtual space experience system | |
WO2021240601A1 (en) | Virtual space body sensation system | |
JP6554139B2 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
WO2022107294A1 (en) | Vr image space generation system | |
JP2019193705A (en) | Game program and game device | |
JP2018092635A (en) | Information processing method, device, and program for implementing that information processing method on computer | |
WO2023017584A1 (en) | Virtual space experience system and complex space experience system | |
JP7413472B1 (en) | Information processing systems and programs | |
WO2022254585A1 (en) | Virtual space experience system | |
JP7412497B1 (en) | information processing system | |
JP2018190397A (en) | Information processing method, information processing device, program causing computer to execute information processing method | |
WO2021261593A1 (en) | Aircraft vr training system, aircraft vr training method, and aircraft vr training program | |
JP6392832B2 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
Hirschmanner | Teleoperation of a humanoid robot using Oculus Rift and Leap Motion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210415 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210415 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210812 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6933850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |