WO2022074943A1 - 移動音生成システム - Google Patents

移動音生成システム Download PDF

Info

Publication number
WO2022074943A1
WO2022074943A1 PCT/JP2021/030497 JP2021030497W WO2022074943A1 WO 2022074943 A1 WO2022074943 A1 WO 2022074943A1 JP 2021030497 W JP2021030497 W JP 2021030497W WO 2022074943 A1 WO2022074943 A1 WO 2022074943A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving
sound
moving body
virtual space
contact
Prior art date
Application number
PCT/JP2021/030497
Other languages
English (en)
French (fr)
Inventor
峰布子 堀田
Original Assignee
株式会社電通
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社電通 filed Critical 株式会社電通
Priority to US18/248,018 priority Critical patent/US20230377555A1/en
Priority to CN202180064084.3A priority patent/CN116210235A/zh
Publication of WO2022074943A1 publication Critical patent/WO2022074943A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present invention relates to a moving sound generation system that generates moving sounds when a moving body moves in a virtual space.
  • the moving sound of the moving object around the moving object (character) operated by the user is reproduced, and although a certain degree of reality can be obtained, the moving object (character) itself or other moving objects operated by the user can be obtained. Since the moving sound that generates the above-mentioned is not generated, the user's experience in the virtual space was low. For example, in real space, when a person is moving, he / she can hear the volume, sound quality, and rhythm of his / her own moving sound, so that what kind of ground environment the person is in and how fast he / she is moving. We are aware of the situation by analogy. In addition, the sound image of the sound source is localized and inferred from the moving sound when approaching or passing by another person or a car without relying on vision.
  • the present invention was made under the above background.
  • An object of the present invention has been made in view of the above problems, and it is possible to generate realistic moving sounds so that analogy and recognition in real space can be reproduced in virtual space, and the user's experience in virtual space can be generated.
  • the purpose is to provide a mobile sound generation system that can improve the above.
  • One aspect of the present invention is a moving sound generation system, which is a moving sound generation system that generates moving sounds when a moving body moves on a predetermined moving surface in a virtual space.
  • the volume determination unit that determines the volume of the moving sound based on the mass of the moving body in the virtual space, the material information of the grounding portion of the moving body that comes into contact with the moving surface of the virtual space, and the grounding portion of the moving body come into contact with each other.
  • the sound quality determination unit that determines the sound quality of the moving sound based on the material information of the moving surface, and the sounding timing determination that determines the sounding timing of the moving sound based on the timing when the ground contact portion of the moving body comes into contact with the moving surface.
  • the moving sound reproduction unit that reproduces the moving sound of the moving body at the volume determined by the moving sound determination unit, the sound quality determined by the sound quality determination unit, and the sound generation timing determined by the sound generation timing determination unit. And have.
  • Another aspect of the present invention is a method of generating a moving sound when a moving object moves on a predetermined moving surface in a virtual space, which is executed by a moving sound generation system, and this method is performed in the virtual space.
  • the step of determining the sounding timing of the moving sound based on the timing when the ground contact portion of the moving body comes into contact with the moving surface, and the step determined in the virtual space. It includes a step to reproduce the moving sound of a moving object in terms of volume, sound quality, and sounding timing.
  • Another aspect of the present invention is a program that generates a moving sound when a moving body moves on a predetermined moving surface in a virtual space, and this program is based on a computer based on the mass of the moving body in the virtual space.
  • the moving sound is based on the process of determining the volume of the moving sound, the material information of the ground contact portion of the moving body in contact with the moving surface of the virtual space, and the material information of the moving surface in contact with the ground contact portion of the moving body.
  • the process of determining the sound quality of the moving sound the process of determining the sounding timing of the moving sound based on the timing when the ground contact part of the moving body comes into contact with the moving surface, and the volume, sound quality, and sounding timing determined by the processing in the virtual space. Then, the process of reproducing the moving sound of the moving object is executed.
  • FIG. 1 is a block diagram showing a configuration of a mobile sound generation system according to an embodiment of the present invention.
  • FIG. 2 is an explanatory diagram showing an example of determining the sound quality of a moving sound.
  • FIG. 3 is an explanatory diagram showing an example of prediction of a contact portion of a moving surface.
  • FIG. 4 is an explanatory diagram showing an example of installation of a virtual speaker.
  • FIG. 5 is an explanatory diagram showing another example of the installation of the virtual speaker.
  • FIG. 6 is a sequence diagram for explaining the operation of the mobile sound generation system according to the embodiment of the present invention.
  • the moving sound generation system of the present invention is a moving sound generation system that generates a moving sound when a moving body moves on a predetermined moving surface in a virtual space, and is based on the mass of the moving body in the virtual space.
  • the material information of the volume determining unit that determines the volume of the moving sound, the material information of the ground contact portion of the moving body that comes into contact with the moving surface of the virtual space, and the material information of the moving surface that comes into contact with the grounding portion of the moving body.
  • a sound quality determining unit that determines the sound quality of the moving sound
  • a sounding timing determining unit that determines the sounding timing of the moving sound based on the timing at which the ground contact portion of the moving body comes into contact with the moving surface.
  • the moving sound of the moving body is reproduced at the volume determined by the moving sound determining unit, the sound quality determined by the sound quality determining unit, and the sounding timing determined by the sounding timing determining unit. It is equipped with a sound reproduction unit.
  • the moving sound when a moving object for example, an avatar
  • a predetermined moving surface for example, the ground or the floor surface
  • a virtual space for example, VR space
  • the volume of the moving sound is determined based on the mass of the moving body
  • the sound quality of the moving sound is determined based on the material information of the grounded portion of the moving body and the moving surface
  • the grounding portion of the moving body comes into contact with the moving surface.
  • the sounding timing of the moving sound is determined based on the timing of the moving sound. In this way, it is possible to generate a realistic moving sound for each moving body (including a moving body operated by the user) in the virtual space, and the user's experience in the virtual space is improved.
  • the sound quality determining unit predicts the contact portion of the moving surface to which the ground contact portion of the moving body contacts based on the moving information of the moving body, and the predicted movement. Only the material information of the contact portion of the surface may be read in advance.
  • the contact portion of the moving surface with which the ground contact portion of the moving body is in contact is predicted, and only the material information of the contact portion of the moving surface is read in advance. Therefore, it is possible to reduce the processing load for generating the moving sound as compared with the case of reading the material information of the entire moving surface.
  • the moving sound reproducing unit installs a virtual speaker for reproducing the moving sound of the moving body at the contact portion of the moving surface where the grounding portion of the moving body contacts. May be good.
  • a virtual speaker that reproduces the moving sound of the moving body is installed at the contact part of the moving surface where the grounding part of the moving body comes into contact.
  • the volume determining unit estimates the mass of the moving body based on the volume of the moving body when the mass of the moving body in the virtual space is not set. You may.
  • the mass of the moving body in the virtual space is not set, the mass of the moving body is estimated based on the volume of the moving body, and the volume of the moving sound can be appropriately determined. can.
  • the sounding timing determining unit determines the timing at which the grounding portion of the moving body comes into contact with the moving surface based on the timing at which the potential energy of the grounding portion of the moving body becomes minimal. May be determined.
  • the timing at which the ground contact portion of the moving body comes into contact with the moving surface can be appropriately determined based on the timing at which the potential energy of the ground contact portion of the moving body becomes the minimum, and therefore, the sound of the moving sound is produced.
  • the timing can be determined appropriately.
  • the method of the present invention is a method of generating a moving sound when a moving body moves on a predetermined moving surface in a virtual space, which is executed by a moving sound generation system, and is a method of generating the moving sound of the moving body in the virtual space.
  • a step of determining the sound quality of the moving sound based on the information a step of determining the sounding timing of the moving sound based on the timing when the ground contact portion of the moving body comes into contact with the moving surface, and the virtual space.
  • the step of reproducing the moving sound of the moving body at the volume, sound quality, and sounding timing determined in the step is included.
  • this method can also generate a realistic moving sound for each moving body (including a moving body operated by the user) in the virtual space, and can generate a realistic moving sound of the user in the virtual space.
  • the experience improves.
  • the program of the present invention is a program that generates a moving sound when a moving body moves on a predetermined moving surface in a virtual space, and is a program that causes a computer to generate a moving sound based on the mass of the moving body in the virtual space.
  • the process of determining the volume of the moving sound the material information of the ground contact portion of the moving body in contact with the moving surface of the virtual space, and the material information of the moving surface in contact with the ground contact portion of the moving body.
  • the process of determining the sound quality of the moving sound the process of determining the sounding timing of the moving sound based on the timing at which the ground contact portion of the moving body comes into contact with the moving surface, and the process of determining the sound quality of the moving sound in the virtual space.
  • the process of reproducing the moving sound of the moving body is executed at the volume, sound quality, and sounding timing.
  • this program can also generate realistic moving sounds for individual moving objects (including user-operated moving objects) in the virtual space, and can generate realistic moving sounds for the user in the virtual space.
  • the experience improves.
  • the present invention it is possible to generate a realistic moving sound, and it is possible to improve the user's experience in a virtual space.
  • FIG. 1 is a block diagram showing a configuration of a mobile sound generation system according to the present embodiment.
  • the mobile sound generation system 1 is composed of a user device 2 and a server device 3 connected to each other by a network N.
  • the user device 2 is a device operated by the user, and includes, for example, a head-mounted display 4 (HMD) and a controller 5.
  • the user device 2 is not limited to the one provided with the head-mounted display 4.
  • the user device 2 may include, for example, a personal computer, a smartphone, a tablet terminal, or the like.
  • the head-mounted display 4 is a type of display device that is attached to the user's head and covers the visual fields of both eyes of the user. A user wearing the head-mounted display 4 can see the image displayed on the head-mounted display 4.
  • the display mode of the head-mounted display 4 is not particularly limited, and the object may be displayed at an arbitrary position in a virtual space (virtual reality space) having a depth, or the object may be displayed at an arbitrary position on the virtual plane. It may be in any mode.
  • the controller 5 is an input interface that accepts operation input from the user. Although not shown here, for example, the controller 5 has at least one operation button and incorporates various sensors for detecting the direction and movement (acceleration, rotation, etc.) of the controller 5.
  • the operation input from the controller 5 allows the user to move the avatar in the virtual reality space. In addition to the operation by the controller, the avatar may be moved in synchronization with the movement by the user himself / herself in the real environment.
  • the server device 3 includes a control unit 6 and a storage unit 7.
  • the control unit 6 is composed of a processor or the like
  • the storage unit 7 is composed of a large-capacity memory or the like.
  • the control unit 6 includes a volume determination unit 8, a sound quality determination unit 9, a sound generation timing determination unit 10, and a moving sound reproduction unit 11.
  • the storage unit 7 contains user information (for example, user account information, etc.), avatar information (for example, avatar type, size, mass, material of ground contact portion, etc.), movement information (for example, avatar position (coordinates), movement).
  • user information for example, user account information, etc.
  • avatar information for example, avatar type, size, mass, material of ground contact portion, etc.
  • movement information for example, avatar position (coordinates), movement).
  • Direction, movement speed, movement posture bipedal walking, quadrupedal walking, quadrupedal running, wheel running, etc.
  • world information for example, gravity acceleration, moving surface material, etc.
  • Types of avatars include, for example, human type, animal type, insect type, plant type, food type, fantasy biotype (dragon, pegasus, snow man, etc.), robot type, object type with wheels (car character, etc.) ) Etc. are included.
  • Materials for the grounding part of the avatar include, for example, barefoot, cloth (sock cloth, tabi cloth, slipper cloth), rubber (shoe rubber, running shoe rubber, rubber boots rubber, tire rubber, etc.), Includes plants such as trees and grass (clog trees, tabi straw, etc.), leather (leather for leather shoes, leather for slippers, etc.), metal (metal for wheels, etc.), etc.
  • the volume determining unit 8 may estimate the mass of the moving body based on the volume of the moving body. For example, by estimating that the larger the volume of the moving body is, the larger the mass of the moving body is, the volume of the moving sound can be determined so that the larger the volume is, the louder the volume is.
  • the sound quality determination unit 9 uses material information of the ground contact portion (avatar's foot) of the moving body in contact with the moving surface of the virtual space and material information of the moving surface (ground or floor surface) in contact with the ground contact portion of the moving body. Based on this, the sound quality of the moving sound is determined.
  • FIG. 2 is an explanatory diagram showing an example of determining the sound quality of a moving sound.
  • the sound quality of the moving sound is obtained. Determined as "sound quality a".
  • the data of the sound quality of the moving sound (sound quality a, b 7) may be prepared in advance as a library.
  • the sound quality of the moving sound is calculated each time based on the material information of the grounded part (avatar's foot) of the moving body and the material information of the moving surface (ground or floor) that the grounded part of the moving body contacts. You may.
  • the sound quality determination unit 9 predicts the contact portion of the moving surface to which the ground contact portion of the moving body contacts based on the moving information of the moving body, and may read only the material information of the predicted contact portion of the moving surface in advance. good.
  • FIG. 3 is an explanatory diagram showing an example of determining the sound quality of the moving sound.
  • the contact portion of the moving surface of the moving body (avatar A) with which the left foot is in contact is shown as R1
  • the contact portion of the moving surface with which the right foot is in contact is shown as R2.
  • the contact portions R3, R4, and R5 of the moving surface to which the grounding portion of the moving body contacts are contacted. Can be predicted. Then, only the material information of the predicted contact portions R3, R4, and R5 is read in advance.
  • the sounding timing determination unit 10 determines the sounding timing of the moving sound based on the timing at which the ground contact portion of the moving body comes into contact with the moving surface. For example, the sounding timing determination unit 10 may determine whether or not the ground contact portion of the moving body is in contact with the moving surface, and determine the sounding timing of the moving sound based on the determination result.
  • the sounding timing determination unit 10 may determine the timing at which the grounding portion of the moving body comes into contact with the moving surface based on the timing at which the potential energy of the grounding portion of the moving body becomes the minimum.
  • the potential energy of the grounded portion of the moving body can be calculated based on the following equation.
  • Potential energy mass of avatar x gravitational acceleration x height of the grounded part of the moving body
  • the height of the grounded part of the moving body is the lowest point or the center of gravity of the grounding part of the moving body (for example, the left and right feet).
  • the sounding timing determining unit 10 contacts the ground contact portion of the moving body with the moving surface based on the timing when the height of the ground contact portion of the moving body becomes the minimum. You may determine the timing to do so.
  • the moving sound reproducing unit 11 plays the moving sound of the moving body at the volume determined by the moving sound determining unit, the sound quality determined by the sound quality determining unit 9, and the sounding timing determined by the sounding timing determining unit 10. Reproduce. For example, by installing a virtual speaker that reproduces the moving sound of the moving body at the contact portion of the moving surface that the grounded portion of the moving body contacts, the moving sound of the moving body can be reproduced.
  • FIG. 4 is an explanatory diagram showing an example of installation of a virtual speaker.
  • virtual speakers S are installed on the contact portion R1 of the moving surface with which the left foot of the moving body (avatar A) is in contact and the contact portion R2 of the moving surface with which the right foot is in contact, respectively. ..
  • FIG. 5 is an explanatory diagram showing another example of the installation of the virtual speaker.
  • the contact portion of the moving surface where both feet of the bipedal avatar A are in contact the contact portion of the moving surface where one leg of the bipedal avatar B is in contact, and the four legs.
  • a virtual speaker S is installed at each contact portion of the moving surface where the foot of the walking avatar C is in contact.
  • the mobile sound generation system 1 of the present embodiment When the mobile sound generation system 1 of the present embodiment is used, first, when the login information is input by the user device 2 (S1), the entered login information is transmitted from the user device 2 to the server device 3 (S2), and then the server device. The user authentication process is performed in step 3 (S3). If the user authentication is successful, login permission is sent from the server device 3 to the user device 2 (S4).
  • the volume of the moving sound is determined based on the mass of the moving body in the virtual space (S8), the material information of the grounding portion of the moving body in contact with the moving surface of the virtual space, and the grounding portion of the moving body.
  • the sound quality of the moving sound is determined based on the material information of the moving surface with which the moving sound comes into contact (S9).
  • the sounding timing of the moving sound is determined based on the timing at which the ground contact portion of the moving body comes into contact with the moving surface (S10).
  • the server device 3 sends a virtual speaker installation request to the user device 2 (S11), and the virtual moving sound of the moving body is reproduced at the contact portion of the moving surface with which the grounding portion of the moving body comes into contact.
  • the speaker is installed (S12).
  • the server device 3 sends a moving sound reproduction request to the user device 2 (S14). Then, the moving sound of the volume and sound quality determined in steps 8 and 9 is reproduced by the virtual speaker installed in step 12 (S15).
  • a moving object for example, an avatar, etc.
  • a predetermined moving surface for example, the ground or the floor surface
  • a virtual space for example, VR space.
  • the volume of the moving sound is determined based on the mass of the moving body
  • the sound quality of the moving sound is determined based on the material information of the grounded portion of the moving body and the moving surface
  • the grounding portion of the moving body comes into contact with the moving surface.
  • the sounding timing of the moving sound is determined based on the timing of the moving sound. In this way, it is possible to generate realistic moving sounds for individual moving objects (including moving objects operated by the user) in the virtual space, and the user's experience in the virtual space is improved (FIG. 5). reference).
  • the moving sound generation system 1 of the present embodiment it is possible to generate realistic moving sounds so that analogy and recognition in the real space can be reproduced in the virtual space. In this case, it is possible to generate a moving sound generated by the moving body itself and improve the reality. Further, by generating the moving sound of all the moving bodies, the sound images of the sound sources of other moving bodies can be localized and inferred.
  • the contact portion of the moving surface to which the ground contact portion of the moving body comes into contact is predicted, and only the material information of the contact portion of the moving surface is read in advance. .. Therefore, it is possible to reduce the processing load for generating the moving sound as compared with the case of reading the material information of the entire moving surface.
  • a virtual speaker that reproduces the moving sound of the moving body is installed at the contact portion of the moving surface where the grounding portion of the moving body comes into contact.
  • the mass of the moving body in the virtual space is not set, the mass of the moving body is estimated based on the volume of the moving body, and the volume of the moving sound is appropriately determined. be able to.
  • the present embodiment it is possible to appropriately determine the timing at which the grounding portion of the moving body comes into contact with the moving surface based on the timing at which the potential energy of the grounding portion of the moving body becomes extremely small, and therefore, the moving sound. It is possible to appropriately determine the sounding timing of.
  • the moving sound generation system has the effect of being able to generate realistic moving sounds and improving the user's experience in the virtual space, and is a virtual reality space system. It is useful as such.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)
  • Processing Or Creating Images (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

移動音生成システム（１）は、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する。仮想空間における移動体の質量に基づいて、移動音の音量を決定する。仮想空間の移動面と接触する移動体の接地部分の素材情報と、移動体の接地部分が接触する移動面の素材情報とに基づいて、移動音の音質を決定する。移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングを決定する。このようにして決定された音量、音質、発音タイミングで、仮想空間において移動体の移動音を再生する。

Description

移動音生成システム
　本発明は、仮想空間において移動体が移動するときの移動音を生成する移動音生成あシステムに関する。
　従来、仮想空間において移動体が移動するときの移動音を生成するシステムが提案されている。例えば、仮想空間で移動オブジェクト（ノンプレイヤキャラクタ、非商物、乗物等）の移動を表すために、音源を一定方向に所定の移動速度で移動させる手法が提案されている（例えば、特許文献１参照）。
　しかしながら、従来の手法では、ユーザが操作する移動体（キャラクタ）周辺の移動オブジェクトの移動音が再生され、ある程度のリアリティは得られるものの、ユーザが操作する移動体（キャラクタ）自身や他の移動体が発生する移動音は生成されていないため、仮想空間におけるユーザの体感が低かった。例えば、現実空間において、人は、移動している時、その自身の移動音の音量や音質、リズムが聞こえることで、どのような地面環境であるか、どれくらいの速さで移動しているかといった状況判別を類推し認知している。また、他者や車の接近や通過も移動音から視覚に頼らず音源の音像を定位し類推している。
特開２０１８－２０１７９０号公報
　本発明は、上記背景の下でなされたものである。本発明の目的は、上記の課題に鑑みてなされたもので、現実空間における類推及び認知を仮想空間においても再現できるよう、リアリティのある移動音を生成することができ、仮想空間におけるユーザの体感を向上することのできる移動音生成システムを提供することにある。
　本発明の一の態様は、移動音生成システムであり、この移動音生成システムは、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する移動音生成システムであって、仮想空間における移動体の質量に基づいて、移動音の音量を決定する音量決定部と、仮想空間の移動面と接触する移動体の接地部分の素材情報と、移動体の接地部分が接触する移動面の素材情報とに基づいて、移動音の音質を決定する音質決定部と、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングを決定する発音タイミング決定部と、仮想空間において、移動音決定部で決定された音量、音質決定部で決定された音質、発音タイミング決定部で決定された発音タイミングで、移動体の移動音を再生する移動音再生部と、を備えている。
　本発明の別の態様は、移動音生成システムで実行される、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する方法であり、この方法は、仮想空間における移動体の質量に基づいて、移動音の音量を決定するステップと、仮想空間の移動面と接触する移動体の接地部分の素材情報と、移動体の接地部分が接触する移動面の素材情報とに基づいて、移動音の音質を決定するステップと、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングを決定するステップと、仮想空間において、ステップで決定された音量、音質、発音タイミングで、移動体の移動音を再生するステップと、を含んでいる。
　本発明の別の態様は、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成するプログラムであり、このプログラムは、コンピュータに、仮想空間における移動体の質量に基づいて、移動音の音量を決定する処理と、仮想空間の移動面と接触する移動体の接地部分の素材情報と、移動体の接地部分が接触する移動面の素材情報とに基づいて、移動音の音質を決定する処理と、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングを決定する処理と、仮想空間において、処理で決定された音量、音質、発音タイミングで、移動体の移動音を再生する処理と、を実行させる。
　以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。
図１は、本発明の実施の形態における移動音生成システムの構成を示すブロック図である。 図２は、移動音の音質決定の例を示す説明図である。 図３は、移動面の接触部分の予測の例を示す説明図である。 図４は、仮想スピーカーの設置の例を示す説明図である。 図５は、仮想スピーカーの設置の他の例を示す説明図である。 図６は、本発明の実施の形態における移動音生成システムの動作を説明するためのシーケンス図である。
　以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。
　本発明の移動音生成システムは、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する移動音生成システムであって、前記仮想空間における前記移動体の質量に基づいて、前記移動音の音量を決定する音量決定部と、前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定する音質決定部と、前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定する発音タイミング決定部と、前記仮想空間において、前記移動音決定部で決定された音量、前記音質決定部で決定された音質、前記発音タイミング決定部で決定された発音タイミングで、前記移動体の移動音を再生する移動音再生部と、を備えている。
　この構成によれば、仮想空間（例えば、ＶＲ空間など）において所定の移動面（例えば、地面や床面など）の上を移動体（例えば、アバターなど）が移動するときの移動音が自動的に生成される。この場合、移動体の質量に基づいて移動音の音量が決定され、移動体の接地部分と移動面の素材情報に基づいて移動音の音質が決定され、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングが決定される。このようにして、仮想空間内の個々の移動体（ユーザが操作する移動体も含む）について、リアリティのある移動音を生成することができ、仮想空間でのユーザの体感が向上する。
　すなわち、この構成によれば、現実空間における類推及び認知を仮想空間においても再現できるよう、リアリティのある移動音を生成することができる。この場合、移動体自身が発生する移動音を生成し、リアリティを向上させることができる。また、全ての移動体の移動音を発生させることで、他の移動体の音源の音像を定位し類推することができる。
　また、本発明の移動音生成システムでは、前記音質決定部は、前記移動体の移動情報に基づいて、前記移動体の接地部分が接触する前記移動面の接触部分を予測し、予測した前記移動面の接触部分の素材情報のみを事前に読み込んでもよい。
　この構成によれば、移動音の音質を決定するときに、移動体の接地部分が接触する移動面の接触部分が予測され、その移動面の接触部分の素材情報のみが事前に読み込まれる。したがって、移動面全体の素材情報を読み込む場合に比べて、移動音を生成するための処理の負荷を軽減することができる。
　また、本発明の移動音生成システムでは、前記移動音再生部は、前記移動体の接地部分が接触する前記移動面の接触部分に、前記移動体の移動音を再生する仮想スピーカーを設置してもよい。
　この構成によれば、移動体の接地部分が接触する移動面の接触部分に、移動体の移動音を再生する仮想スピーカーが設置される。このようにして設定された仮想スピーカーから移動体の移動音を再生することで、リアリティのある移動音を生成することができる。
　また、本発明の移動音生成システムでは、前記音量決定部は、前記仮想空間における前記移動体の質量が設定されていない場合には、前記移動体の体積に基づいて前記移動体の質量を推定してもよい。
　この構成によれば、仮想空間における移動体の質量が設定されていない場合であっても、移動体の体積に基づいて移動体の質量を推定し、移動音の音量を適切に決定することができる。
　また、本発明の移動音生成システムでは、前記発音タイミング決定部は、前記移動体の接地部分の位置エネルギーが極小となるタイミングに基づいて、前記移動体の接地部分が前記移動面と接触するタイミングを判定してもよい。
　この構成によれば、移動体の接地部分の位置エネルギーが極小となるタイミングに基づいて、移動体の接地部分が移動面と接触するタイミングを適切に判定することができ、したがって、移動音の発音タイミングを適切に決定することができる。
　本発明の方法は、移動音生成システムで実行される、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する方法であって、前記仮想空間における前記移動体の質量に基づいて、前記移動音の音量を決定するステップと、前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定するステップと、前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定するステップと、前記仮想空間において、前記ステップで決定された音量、音質、発音タイミングで、前記移動体の移動音を再生するステップと、を含んでいる。
　この方法によっても、上記のシステムと同様に、仮想空間内の個々の移動体（ユーザが操作する移動体も含む）について、リアリティのある移動音を生成することができ、仮想空間でのユーザの体感が向上する。
　本発明のプログラムは、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成するプログラムであって、コンピュータに、前記仮想空間における前記移動体の質量に基づいて、前記移動音の音量を決定する処理と、前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定する処理と、前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定する処理と、前記仮想空間において、前記処理で決定された音量、音質、発音タイミングで、前記移動体の移動音を再生する処理と、を実行させる。
　このプログラムによっても、上記のシステムと同様に、仮想空間内の個々の移動体（ユーザが操作する移動体も含む）について、リアリティのある移動音を生成することができ、仮想空間でのユーザの体感が向上する。
　本発明によれば、リアリティのある移動音を生成することができ、仮想空間でのユーザの体感を向上することができる。
（実施の形態）
　以下、本発明の実施の形態の移動音生成システムについて、図面を用いて説明する。本実施の形態では、仮想現実空間において所定の移動面（地面や床面など）の上を移動体（アバターなど）が移動するときの移動音を生成するシステムの場合を例示する。
　本実施の形態の移動音生成システムの構成を、図面を参照して説明する。図１は、本実施の形態の移動音生成システムの構成を示すブロック図である。図１に示すように、移動音生成システム１は、互いにネットワークＮで接続されたユーザ装置２とサーバ装置３で構成されている。
　ユーザ装置２は、ユーザによって操作される装置であり、例えばヘッドマウントディスプレイ４（ＨＭＤ）とコントローラ５を備えている。なお、ユーザ装置２は、ヘッドマウントディスプレイ４を備えるものに限定されない。ユーザ装置２は、例えば、パーソナルコンピュータやスマートフォン、タブレット端末などを備えてもよい。
　ヘッドマウントディスプレイ４は、ユーザの頭部に装着され、ユーザの両眼の視野を覆うタイプのディスプレイ装置である。ヘッドマウントディスプレイ４を装着したユーザは、ヘッドマウントディスプレイ４に表示された映像を見ることができる。ヘッドマウントディスプレイ４の表示態様に特に制限はなく、奥行きを持った仮想空間（仮想現実空間）の任意の位置にオブジェクトが表示される態様でもよいし、仮想平面の任意の位置にオブジェクトが表示される態様でもよい。
　コントローラ５は、ユーザからの操作入力を受け付ける入力インターフェースである。ここでは図示を省略するが、例えば、コントローラ５は、少なくとも１つの操作ボタンを有し、コントローラ５の向きや動き（加速、回転等）を検出する種々のセンサを内蔵している。コントローラ５からの操作入力により、ユーザは、仮想現実空間内でアバターを移動させることができる。また、コントローラによる操作以外でもユーザ自身が実環境で移動することに同期してアバターを移動させてもよい。
　サーバ装置３は、制御部６と記憶部７を備えている。例えば、制御部６は、プロセッサなどで構成され、記憶部７は、大容量メモリなどで構成される。
　制御部６は、音量決定部８と、音質決定部９と、発音タイミング決定部１０と、移動音再生部１１とを備えている。記憶部７には、ユーザ情報（例えば、ユーザアカウント情報など）、アバター情報（例えば、アバターの種類、サイズ、質量、接地部分の素材など）、移動情報（例えば、アバターの位置（座標）、移動方向、移動速度、移動姿勢（二足歩行、二足走行、四足歩行、四足走行、車輪走行など）など）、ワールド情報（例えば、重力加速度、移動面の素材など）が記憶される。
　アバターの種類には、例えば、人間型、動物型、昆虫型、植物型、食品型、空想上の生物型（ドラゴン、ペガサス、雪男など）、ロボット型、車輪を有する物体型（車のキャラクターなど）等が含まれる。
　アバターの接地部分の素材としては、例えば、裸足、布（靴下の布、足袋の布、スリッパの布）、ラバー（靴のラバー、ランニングシューズのラバー、ゴム長靴のラバー、タイヤのラバーなど）、木や草などの植物（下駄の木、草鞋の藁など）、革（革靴の革、スリッパの革など）、金属（車輪の金属など）等が含まれる。
　移動面の素材としては、例えば、屋外の場合には、アスファルト、コンクリート、タイル、石畳、水たまり、土、砂、砂利、岩、湿地、草原、木、草、苔、霜、雪、雹、落ち葉等が含まれ、例えば、屋内の場合には、フローリング、カーペット、タイルカーペット、畳、コルク、ジュータン、ラグ、マット等が含まれる。
　音量決定部８は、仮想空間における移動体（アバター）の質量に基づいて、移動音の音量を決定する。例えば、質量が大きいほど音量が大きくなるように、移動音の音量を決定することができる。また、音量決定部８は、仮想空間における移動体（アバター）の重量（＝質量×重力加速度）に基づいて、移動音の音量を決定してもよい。例えば、重量が大きいほど音量が大きくなるように、移動音の音量を決定することができる。さらに、音量決定部８は、移動体の接地部分（アバターの足）の振り上げ位置（ｚ座標）に基づいて、移動音の音量を決定してもよい。例えば、振り上げ位置が高いほど音量が大きくなるように、移動音の音量を決定することができる。
　また、音量決定部８は、仮想空間における移動体の質量が設定されていない場合には、移動体の体積に基づいて移動体の質量を推定してもよい。例えば、移動体の体積が大きいほど移動体の質量が大きいと推定することにより、体積が大きいほど音量が大きくなるように、移動音の音量を決定することができる。
　音質決定部９は、仮想空間の移動面と接触する移動体の接地部分（アバターの足）の素材情報と、移動体の接地部分が接触する移動面（地面や床面）の素材情報とに基づいて、移動音の音質を決定する。
　図２は、移動音の音質決定の例を示す説明図である。図２に示すように、例えば、移動体の接地部分（アバターの足）の素材が「裸足」であり、移動面（地面）の素材が「アスファルト」である場合には、移動音の音質を「音質ａ」と決定する。移動音の音質（音質ａ、ｂ・・・）のデータは、予めライブラリとして用意されていてもよい。あるいは、移動体の接地部分（アバターの足）の素材情報と、移動体の接地部分が接触する移動面（地面や床面）の素材情報とに基づいて、その都度、移動音の音質を計算してもよい。
　また、音質決定部９は、移動体の移動情報に基づいて、移動体の接地部分が接触する移動面の接触部分を予測し、予測した移動面の接触部分の素材情報のみを事前に読み込んでもよい。
　図３は、移動音の音質決定の例を示す説明図である。図３では、移動体（アバターＡ）の左足が接触している移動面の接触部分がＲ１として図示され、右足が接触している移動面の接触部分がＲ２として図示されている。この場合、移動体（アバターＡ）の移動情報（アバターの位置、移動方向、移動速度、移動姿勢など）に基づいて、移動体の接地部分が接触する移動面の接触部分Ｒ３、Ｒ４、Ｒ５を予測することができる。そして、予測した接触部分Ｒ３、Ｒ４、Ｒ５の素材情報のみが事前に読み込まれる。
　発音タイミング決定部１０は、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングを決定する。例えば、発音タイミング決定部１０は、移動体の接地部分が移動面と接触しているか否かを判定し、その判定結果に基づいて、移動音の発音タイミングを決定してもよい。
　また、発音タイミング決定部１０は、移動体の接地部分の位置エネルギーが極小となるタイミングに基づいて、移動体の接地部分が移動面と接触するタイミングを判定してもよい。この場合、移動体の接地部分の位置エネルギーは、下記の式に基づいて算出することができる。
　位置エネルギー＝アバターの質量×重力加速度×移動体の接地部分の高さ
　ここで、移動体の接地部分の高さは、移動体の接地部分（例えば、左右それぞれの足）の最下点または重心のｚ座標である。
　なお、アバターの質量と重力加速度が一定である場合には、発音タイミング決定部１０は、移動体の接地部分の高さが極小となるタイミングに基づいて、移動体の接地部分が移動面と接触するタイミングを判定してもよい。
　移動音再生部１１は、仮想空間において、移動音決定部で決定された音量、音質決定部９で決定された音質、発音タイミング決定部１０で決定された発音タイミングで、移動体の移動音を再生する。例えば、移動体の接地部分が接触する移動面の接触部分に、移動体の移動音を再生する仮想スピーカーを設置することにより、移動体の移動音を再生することができる。
　図４は、仮想スピーカーの設置の例を示す説明図である。図４の例では、移動体（アバターＡ）の左足が接触している移動面の接触部分Ｒ１と、右足が接触している移動面の接触部分Ｒ２に、それぞれ仮想スピーカーＳが設置されている。
　図５は、仮想スピーカーの設置の他の例を示す説明図である。図５の例では、二足歩行しているアバターＡの両足が接触している移動面の接触部分、二足走行しているアバターＢの片足が接触している移動面の接触部分、四足歩行しているアバターＣの足が接触している移動面の接触部分に、それぞれ仮想スピーカーＳが設置されている。
　以上のように構成された移動音生成システム１について、図６のシーケンス図を参照してその動作を説明する。
　本実施の形態の移動音生成システム１を用いる場合、まず、ユーザ装置２でログイン情報を入力すると（Ｓ１）、入力したログイン情報がユーザ装置２からサーバ装置３へ送信され（Ｓ２）、サーバ装置３でユーザ認証の処理が行われる（Ｓ３）。ユーザ認証が成功すると、サーバ装置３からユーザ装置２にログイン許可が送られる（Ｓ４）。
　次に、ログイン許可されたユーザがユーザ装置２を操作して、仮想現実空間でアバターを生成し（Ｓ５）、仮想空間内でアバターを移動させると（Ｓ６）、アバターの移動情報がユーザ装置２からサーバ装置３へ送られる（Ｓ７）。
　サーバ装置３では、仮想空間における移動体の質量に基づいて、移動音の音量が決定され（Ｓ８）、仮想空間の移動面と接触する移動体の接地部分の素材情報と、移動体の接地部分が接触する移動面の素材情報とに基づいて、移動音の音質が決定される（Ｓ９）。さらに、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングが決定される（Ｓ１０）。
　続いて、サーバ装置３からユーザ装置２に、仮想スピーカーの設置要求が送られ（Ｓ１１）、移動体の接地部分が接触する前記移動面の接触部分に、前記移動体の移動音を再生する仮想スピーカーが設置する（Ｓ１２）。
　そして、ステップＳ１０で決定された発音タイミングの時点になると（Ｓ１３）、サーバ装置３からユーザ装置２に、移動音の再生要求が送られる（Ｓ１４）。そうすると、ステップ８、９で決定された音量、音質の移動音が、ステップ１２で設置された仮想スピーカーで再生される（Ｓ１５）。
　このような本実施の形態の移動音生成システム１によれば、仮想空間（例えば、ＶＲ空間など）において所定の移動面（例えば、地面や床面など）の上を移動体（例えば、アバターなど）が移動するときの移動音が自動的に生成される。この場合、移動体の質量に基づいて移動音の音量が決定され、移動体の接地部分と移動面の素材情報に基づいて移動音の音質が決定され、移動体の接地部分が移動面と接触するタイミングに基づいて、移動音の発音タイミングが決定される。このようにして、仮想空間内の個々の移動体（ユーザが操作する移動体も含む）について、リアリティのある移動音を生成することができ、仮想空間でのユーザの体感が向上する（図５参照）。
　すなわち、本実施の形態の移動音生成システム１によれば、現実空間における類推及び認知を仮想空間においても再現できるよう、リアリティのある移動音を生成することができる。この場合、移動体自身が発生する移動音を生成し、リアリティを向上させることができる。また、全ての移動体の移動音を発生させることで、他の移動体の音源の音像を定位し類推することができる。
　また、本実施の形態では、移動音の音質を決定するときに、移動体の接地部分が接触する移動面の接触部分が予測され、その移動面の接触部分の素材情報のみが事前に読み込まれる。したがって、移動面全体の素材情報を読み込む場合に比べて、移動音を生成するための処理の負荷を軽減することができる。
　また、本実施の形態では、移動体の接地部分が接触する移動面の接触部分に、移動体の移動音を再生する仮想スピーカーが設置される。このようにして設定された仮想スピーカーから移動体の移動音を再生することで、リアリティのある移動音を生成することができる。
　また、本実施の形態では、仮想空間における移動体の質量が設定されていない場合であっても、移動体の体積に基づいて移動体の質量を推定し、移動音の音量を適切に決定することができる。
　また、本実施の形態では、移動体の接地部分の位置エネルギーが極小となるタイミングに基づいて、移動体の接地部分が移動面と接触するタイミングを適切に判定することができ、したがって、移動音の発音タイミングを適切に決定することができる。
　以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
　以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。
　以上のように、本発明にかかる移動音生成システムは、リアリティのある移動音を生成することができ、仮想空間でのユーザの体感を向上することができるという効果を有し、仮想現実空間システム等として有用である。
　１　移動音生成システム
　２　ユーザ装置
　３　サーバ装置
　４　ヘッドマウントディスプレイ
　５　コントローラ
　６　制御部
　７　記憶部
　８　音量決定部
　９　音質決定部
　１０　発音タイミング決定部
　１１　移動音再生部
　Ｎ　ネットワーク

Claims (7)

  1. 　仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する移動音生成システムであって、
    　前記仮想空間における前記移動体の質量に基づいて、前記移動音の音量を決定する音量決定部と、
    　前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定する音質決定部と、
    　前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定する発音タイミング決定部と、
    　前記仮想空間において、前記移動音決定部で決定された音量、前記音質決定部で決定された音質、前記発音タイミング決定部で決定された発音タイミングで、前記移動体の移動音を再生する移動音再生部と、
    を備えることを特徴とする移動音生成システム。
  2. 　前記音質決定部は、前記移動体の移動情報に基づいて、前記移動体の接地部分が接触する前記移動面の接触部分を予測し、予測した前記移動面の接触部分の素材情報のみを事前に読み込む、請求項１に記載の移動音生成システム。
  3. 　前記移動音再生部は、前記移動体の接地部分が接触する前記移動面の接触部分に、前記移動体の移動音を再生する仮想スピーカーを設置する、請求項１に記載の移動音生成システム。
  4. 　前記音量決定部は、前記仮想空間における前記移動体の質量が設定されていない場合には、前記移動体の体積に基づいて前記移動体の質量を推定する、請求項１に記載の移動音生成システム。
  5. 　前記発音タイミング決定部は、前記移動体の接地部分の位置エネルギーが極小となるタイミングに基づいて、前記移動体の接地部分が前記移動面と接触するタイミングを判定する、請求項１に記載の移動音生成システム。
  6. 　移動音生成システムで実行される、仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成する方法であって、
    　前記仮想空間における前記移動体の質量に基づいて、前記移動音の音量を決定するステップと、
    　前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定するステップと、
    　前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定するステップと、
    　前記仮想空間において、前記ステップで決定された音量、音質、発音タイミングで、前記移動体の移動音を再生するステップと、
    を含むことを特徴とする方法。
  7. 　仮想空間において所定の移動面の上を移動体が移動するときの移動音を生成するプログラムであって、
    　コンピュータに、
    　前記仮想空間における前記移動体の質量に基づいて、前記移動音の音量を決定する処理と、
    　前記仮想空間の移動面と接触する前記移動体の接地部分の素材情報と、前記移動体の接地部分が接触する前記移動面の素材情報とに基づいて、前記移動音の音質を決定する処理と、
    　前記移動体の接地部分が前記移動面と接触するタイミングに基づいて、前記移動音の発音タイミングを決定する処理と、
    　前記仮想空間において、前記処理で決定された音量、音質、発音タイミングで、前記移動体の移動音を再生する処理と、
    を実行させることを特徴とするプログラム。
PCT/JP2021/030497 2020-10-06 2021-08-20 移動音生成システム WO2022074943A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/248,018 US20230377555A1 (en) 2020-10-06 2021-08-20 Movement sound generation system
CN202180064084.3A CN116210235A (zh) 2020-10-06 2021-08-20 移动音生成系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-168890 2020-10-06
JP2020168890A JP7478640B2 (ja) 2020-10-06 2020-10-06 移動音生成システム

Publications (1)

Publication Number Publication Date
WO2022074943A1 true WO2022074943A1 (ja) 2022-04-14

Family

ID=81125822

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030497 WO2022074943A1 (ja) 2020-10-06 2021-08-20 移動音生成システム

Country Status (4)

Country Link
US (1) US20230377555A1 (ja)
JP (1) JP7478640B2 (ja)
CN (1) CN116210235A (ja)
WO (1) WO2022074943A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218706A (ja) * 2004-02-06 2005-08-18 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP2008200255A (ja) * 2007-02-20 2008-09-04 Copcom Co Ltd ゲーム装置、ゲームプログラムおよび記憶媒体
WO2018186178A1 (ja) * 2017-04-04 2018-10-11 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3284399A (en) 1999-01-29 2000-08-18 Kent Ridge Digital Labs A method of labelling a sound or a representation thereof
JP2007212635A (ja) 2006-02-08 2007-08-23 Copcom Co Ltd 効果音発生装置、この効果音発生装置を備えたビデオゲーム装置、この効果音発生装置を実現するためのプログラム及び記録媒体
JP5147253B2 (ja) 2007-02-06 2013-02-20 株式会社カプコン ゲーム装置、ゲームプログラムおよび記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005218706A (ja) * 2004-02-06 2005-08-18 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP2008200255A (ja) * 2007-02-20 2008-09-04 Copcom Co Ltd ゲーム装置、ゲームプログラムおよび記憶媒体
WO2018186178A1 (ja) * 2017-04-04 2018-10-11 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP2022097681A (ja) 2022-06-30
US20230377555A1 (en) 2023-11-23
CN116210235A (zh) 2023-06-02
JP7478640B2 (ja) 2024-05-07
JP2022061113A (ja) 2022-04-18

Similar Documents

Publication Publication Date Title
US10478724B2 (en) Game device, processing method, and information storage medium
US10062213B2 (en) Augmented reality spaces with adaptive rules
JP6727807B2 (ja) ゲーム装置及びプログラム
JP6055657B2 (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
CN110769906B (zh) 模拟系统、图像处理方法以及信息存储介质
US11294467B2 (en) Systems and methods for integrating environmental haptics in virtual reality
JP2018010486A (ja) シミュレーションシステム及びプログラム
JP6147486B2 (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
US20190204909A1 (en) Apparatus and Method of for natural, anti-motion-sickness interaction towards synchronized Visual Vestibular Proprioception interaction including navigation (movement control) as well as target selection in immersive environments such as VR/AR/simulation/game, and modular multi-use sensing/processing system to satisfy different usage scenarios with different form of combination
JP2018109835A (ja) シミュレーションシステム及びプログラム
US10616033B2 (en) Different perspectives from a common virtual environment
JP7363804B2 (ja) 情報処理装置、情報処理方法及び記録媒体
WO2018122600A2 (en) Apparatus and method of for natural, anti-motion-sickness interaction towards synchronized visual vestibular proprioception interaction including navigation (movement control) as well as target selection in immersive environments such as vr/ar/simulation/game, and modular multi-use sensing/processing system to satisfy different usage scenarios with different form of combination
JP2018026034A (ja) シミュレーションシステム
WO2022074943A1 (ja) 移動音生成システム
JP7579823B2 (ja) 移動音生成システム
Lécuyer et al. Shoes-your-style: changing sound of footsteps to create new walking experiences
JP2020201980A (ja) シミュレーションシステム及びプログラム
JP2005218706A (ja) ゲーム装置およびゲームプログラム
KR102106200B1 (ko) 실감형 바이애슬론 시뮬레이터 시스템
JP6974750B2 (ja) 音声制御プログラム、および音声制御装置
US11969650B2 (en) Feature similarity scoring of physical environment for augmented reality gameplay
Zordan et al. MechVR: A physics-based proxy for locomotion and interaction in a virtual environment
WO2024166207A1 (ja) 振動制御装置、ｖｒ装置、振動制御方法及びコンピュータプログラム
JP2024541423A (ja) 拡張現実ゲームプレイのための物理環境の特徴類似性スコアリング

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877247

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21877247

Country of ref document: EP

Kind code of ref document: A1