WO2007077696A1 - 音声処理装置、音声処理方法、プログラム、ならびに、情報記録媒体 - Google Patents

音声処理装置、音声処理方法、プログラム、ならびに、情報記録媒体 Download PDF

Info

Publication number
WO2007077696A1
WO2007077696A1 PCT/JP2006/323600 JP2006323600W WO2007077696A1 WO 2007077696 A1 WO2007077696 A1 WO 2007077696A1 JP 2006323600 W JP2006323600 W JP 2006323600W WO 2007077696 A1 WO2007077696 A1 WO 2007077696A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
sound
reflected
solid
reflected sound
Prior art date
Application number
PCT/JP2006/323600
Other languages
English (en)
French (fr)
Inventor
Hiroyuki Nakayama
Original Assignee
Konami Digital Entertainment Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co., Ltd. filed Critical Konami Digital Entertainment Co., Ltd.
Priority to US12/159,610 priority Critical patent/US8155324B2/en
Priority to CN2006800494448A priority patent/CN101347043B/zh
Priority to EP06833404A priority patent/EP1968350A4/en
Publication of WO2007077696A1 publication Critical patent/WO2007077696A1/ja

Links

Classifications

    • A63F13/10—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017—Driving on land or water; Flying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Definitions

  • Audio processing apparatus audio processing method, program, and information recording medium
  • the present invention relates to a sound processing device, a sound processing method, a program, and an information recording medium suitable for obtaining a three-dimensional sound effect in a virtual space.
  • a simulation game in which a viewpoint is placed at a certain position in a virtual space and a virtual image from this viewpoint is synthesized and displayed is well known.
  • objects are placed in the virtual space, and the user can also obtain the desired power by displaying a virtual image of the object from the viewpoint based on the distance and direction to the viewpoint power object.
  • the virtual space it makes you feel like it is.
  • Patent Document 1 discloses a three-dimensional game device that synthesizes both a virtual image of viewpoint power in a virtual space and a game sound.
  • the game apparatus is based on the distance between the moving body (for example, an automobile) moving in the virtual space and the fixed object (for example, a side wall along the road) and the speed of the moving body, and the virtual machine having a fixed object force is used.
  • the reflected sound can be changed.
  • the left side wall force such as engine noise is reduced when approaching the left side wall based on the distance to the side wall and the speed of the vehicle.
  • the reflected sound is made relatively loud, or when the right side wall is approached, the reflected sound of the right side wall force is made relatively loud. Also, if the speed of the car is high, the reflected sound of the side wall force is also increased.
  • Patent Document 1 Japanese Patent No. 3123957
  • the fixed object that generates the reflected sound is formed in a relatively uniform shape.
  • This acoustic effect includes, for example, a change in the volume of the reflected sound, a change in the localization, a specific frequency component of the sound becomes weak (so-called “sounds”), and the reflected sound reverberates ( There are various so-called “echoes”.
  • Patent Document 1 described above, only changes in volume, localization, and height based on the two-dimensional positional relationship between the moving body and the fixed object can be expressed. Therefore, it is not possible to perform an acoustic simulation of a situation that can occur in the real world, which is not enough to obtain a three-dimensional sound effect in a virtual space.
  • the present invention solves such a problem, and an object thereof is to provide a sound processing device, a sound processing method, and a program suitable for obtaining a three-dimensional sound effect in a virtual space. To do.
  • a speech processing apparatus includes a calculation unit, a change unit, and an output unit.
  • the calculation unit calculates the amount of intersection between the object and the area occupied by the solid including the arrival point where the reflected sound from outside the object arranged in the virtual space arrives.
  • the changing unit changes the reflected sound reflected from the object based on the intersecting amount calculated by the calculating unit.
  • the output unit outputs the reflected sound changed by the changing unit as sound acquired at the arrival point.
  • the speech processing apparatus can easily change the reflected sound of speech by an arbitrary object without performing strict and complicated calculations.
  • a realistic acoustic effect can be obtained in the virtual space.
  • acoustic simulations of situations that can occur in the real world can be performed, making it more realistic in virtual space.
  • the calculation unit calculates the volume of the area where the solid and the object intersect with each other. It can be calculated as an amount.
  • the calculation unit can calculate the area of the region where the surface of the solid intersects with the object as the amount of intersection.
  • the sound processing device can change the sound reflected by an arbitrary object by obtaining the volume or area without performing rigorous and complicated calculations.
  • the change unit can increase the volume of the reflected sound as the crossing amount increases.
  • the sound processing apparatus can control the volume of the reflected sound without performing rigorous and complicated calculations, and can apply an effect that creates a sense of reality in the virtual space.
  • the changing unit can change the localization of the reflected sound according to the distribution of a region where the solid and the object intersect.
  • the sound processing apparatus can control the localization of the reflected sound without performing rigorous and complicated calculations, and can apply an effect that causes a sense of reality in the virtual space.
  • the sound processing apparatus may further include an image generation unit and a line-of-sight direction acquisition unit.
  • the image generation unit generates an image in which the reaching point force in the virtual space is viewed from an object placed in the virtual space.
  • the line-of-sight direction acquisition unit acquires, from the image generation unit, the line-of-sight direction for viewing an object placed in the virtual space from the arrival point.
  • the calculation unit arranges the standing body based on the line-of-sight direction acquired by the line-of-sight direction acquisition unit, and calculates the amount of intersection between the solid and the object.
  • the sound processing apparatus can change the localization of the sound such as reflected sound so that it matches the line-of-sight direction if the line-of-sight direction is different.
  • the sound effect to be made can be obtained.
  • a speech processing method includes a calculation step, a change step, and an output step.
  • the calculation step is the arrival of reflected sound from outside the object placed in the virtual space.
  • the amount of intersection between the area occupied by the solid including the reaching point and the object is calculated.
  • the changing step changes the reflected sound reflected from the object based on the intersecting amount calculated by the calculating step.
  • the reflected sound changed in the change step is output as a sound acquired at the arrival point.
  • a program according to another aspect of the present invention causes a computer to function as a calculation unit, a change unit, and an output unit.
  • the calculation unit calculates the amount of intersection between the object and the area occupied by the solid including the arrival point where the reflected sound from outside the object arranged in the virtual space arrives.
  • the changing unit changes the reflected sound reflected from the object based on the intersecting amount calculated by the calculating unit.
  • the output unit outputs the reflected sound changed by the changing unit as a voice acquired at the arrival point.
  • the program can cause the computer to function as a device that changes the reflected sound of the sound of an arbitrary object simply and without performing strict and complicated calculations.
  • a three-dimensional sound effect can be obtained in the virtual space.
  • acoustic simulations of situations that can occur in the real world can be performed, creating a sense of reality in the virtual space.
  • An information recording medium includes a computer
  • An output unit that outputs the reflected sound changed by the changing unit as a sound acquired at the arrival point;
  • a program characterized by functioning as a program is recorded.
  • the program of the present invention can be recorded on a computer-readable information storage medium such as a compact disk, flexible disk, hard disk, magneto-optical disk, digital video disk, magnetic tape, and semiconductor memory.
  • a computer-readable information storage medium such as a compact disk, flexible disk, hard disk, magneto-optical disk, digital video disk, magnetic tape, and semiconductor memory.
  • the above program can be distributed and sold via a computer communication network independently of the computer on which the program is executed.
  • the information storage medium can be distributed and sold independently of the computer.
  • a three-dimensional sound effect can be easily obtained in a virtual space.
  • FIG. 1 is a diagram showing a schematic configuration of a typical information processing apparatus in which a sound processing apparatus of the present invention is realized.
  • FIG. 2 is a diagram for explaining processing performed by the audio processing device.
  • FIG. 3 is a diagram showing an example of a solid including a listening point.
  • FIG. 4A is a diagram illustrating an arrangement example when a solid including a listening point is separated from an object.
  • FIG. 4B is a diagram showing an arrangement example when the object including the listening point and the object overlap.
  • FIG. 5A is a diagram showing an arrangement example in which a solid including a listening point intersects with an object.
  • FIG. 5B is a diagram showing an example of distribution of intersecting regions.
  • FIG. 6A is a diagram showing an arrangement example in which objects are distributed in three directions of listening points.
  • FIG. 6B is a diagram showing an example of the distribution of intersecting regions.
  • FIG. 7 is a diagram illustrating an arrangement example in which objects are distributed on one side of a listening point and on the opposite side
  • FIG. 8A is a diagram showing an arrangement example in which objects are distributed in three directions of listening points.
  • FIG. 8B is a diagram showing an example of distribution of intersecting regions.
  • FIG. 9A is a diagram showing an example of arrangement of listening points and objects in a virtual space.
  • FIG. 9B is a diagram showing an example of distribution of intersecting regions.
  • FIG. 10 is a flowchart for explaining audio processing of reflected sound.
  • FIG. 11A is a diagram showing an arrangement example in which a solid including a listening point intersects with an object.
  • FIG. 11B is a diagram showing an example of distribution of intersecting regions.
  • FIG. 12A is an example of a layout diagram of listening points and solids.
  • FIG. 12B is an example of a layout diagram in which the center position of the solid is moved in the moving direction of the listening point.
  • FIG. 12C is an example of a layout diagram in which the center position of the solid moves in the moving direction of the listening point.
  • FIG. 13A is an example of a layout diagram of listening points and solids.
  • FIG. 13B is an example of a layout diagram in which the three-dimensional reference direction is changed to the moving direction of the listening point.
  • FIG. 13C is an example of a layout diagram in which the three-dimensional reference direction is changed to the moving direction of the listening point.
  • FIG. 14 is a diagram for explaining processing performed by the audio processing device.
  • FIG. 15A is an example of a layout diagram of listening points and solids.
  • FIG. 15B is an example of a layout diagram in which the center position of the solid is moved in the viewing direction.
  • FIG. 16A is an example of a layout diagram of listening points and solids.
  • FIG. 16B is an example of a layout diagram in which the three-dimensional reference direction is changed to the line-of-sight direction.
  • FIG. 17A is an example of a layout diagram in which the reference direction of the solid is changed in the direction of movement of the listening point, and the center position of the solid is moved in the line-of-sight direction.
  • FIG. 17B is an example of a layout diagram in which the reference direction of the solid is changed in the viewing direction and the center position of the solid is moved in the moving direction of the listening point.
  • FIG. 1 is a schematic diagram showing a schematic configuration of a typical information processing apparatus that performs the function of the speech processing apparatus of the present invention by executing a program. This will be described below with reference to this figure.
  • the information processing apparatus 100 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an interface 104, a controller 105, an external memory 106, An image processing unit 107, a DVD-ROM (Digital Versatile Disc ROM) drive 108, a NIC (Network Interface Card) 109, and an audio processing unit 110 are provided.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • controller 105 an external memory
  • An image processing unit 107 a DVD-ROM (Digital Versatile Disc ROM) drive 108
  • a NIC Network Interface Card
  • a DVD-ROM storing a game program and data is loaded into the DVD-ROM drive 108, and the information processing apparatus 100 is turned on to execute the program.
  • a processing device is realized.
  • the CPU 101 controls the overall operation of the information processing apparatus 100 and is connected to each component to exchange control signals and data.
  • the CPU 101 uses an arithmetic logic unit (ALU) (not shown), an arithmetic operation such as addition / subtraction / division / division, logical sum, logical product, etc. for a storage area called a register (not shown) that can be accessed at high speed.
  • ALU arithmetic logic unit
  • logical operations such as logical negation, bit operations such as bit sum, bit product, bit inversion, bit shift, and bit rotation can be performed.
  • the CPU 101 itself is configured and equipped with a coprocessor so that saturation operations such as addition, subtraction, multiplication, and division for multimedia processing and trigonometric functions can be performed at high speed. There is something to do.
  • the ROM 102 records an IPL (Initial Program Loader) that is executed immediately after the power is turned on, and when this is executed, the program recorded on the DVD-ROM is read out to the RAM 103 and the CPU 101 Execution starts.
  • the ROM 102 stores an operating system program and various types of data necessary for operation control of the entire information processing apparatus 100.
  • the RAM 103 is for temporarily storing data and programs, and holds programs and data from which the DVD-ROM power is also read and other data necessary for game progress and chat communication.
  • the CPU 101 provides a variable area in the RAM 103 and performs an operation by directly applying an ALU to the value stored in the variable. The value stored in is stored in the register, the operation is performed on the register, and the operation result is written back to the memory.
  • the controller 105 connected via the interface 104 receives an operation input performed by the user when executing a game such as a mahjong game or a card game.
  • the external memory 106 which is detachably connected via the interface 104, has data indicating the play status (such as past results) of the mahjong game, data indicating the progress of the game, and network play. Chat communication log (record) data is stored in a rewritable manner. The user can record these data in the external memory 106 as appropriate by inputting an instruction via the controller 105.
  • a DVD-ROM loaded in the DVD-ROM drive 108 records a program for realizing the game and image data and sound data associated with the game.
  • the DVD-ROM drive 108 Under the control of 01, the DVD-ROM drive 108 performs a reading process on the DVD-ROM loaded in the DVD-ROM drive 108, reads out necessary programs and data, and these are temporarily stored in the RAM 103 or the like.
  • the image processing unit 107 performs cache processing on data read from the DVD-ROM by an image arithmetic processor (not shown) included in the CPU 101 or the image processing unit 107, and then processes the processed data.
  • the data is recorded in a frame memory (not shown) included in 107.
  • the image information recorded in the frame memory is converted into a video signal at a predetermined synchronization timing and output to a monitor (not shown) connected to the image processing unit 107.
  • various image displays are possible.
  • the image calculation processor can execute a two-dimensional image overlay calculation, a transparency calculation such as alpha blending, and various saturation calculations at high speed.
  • Polygon information arranged in a virtual three-dimensional space and added with various texture information is rendered by the Z buffer method, and polygons arranged in the virtual three-dimensional space from a predetermined viewpoint position are rendered. It is also possible to execute a calculation at a high speed to obtain a rendering image viewed from a predetermined line of sight.
  • the CPU 101 and the image arithmetic processor work together to draw a character string in the frame memory as a two-dimensional image according to the font information that defines the character shape. Or drawing on the surface of each polygon.
  • information such as mahjong game cards and card game card images is prepared on a DVD-ROM, and this is expanded in the frame memory so that the current card and hand can be displayed on the screen. It can be displayed.
  • the NIC 109 is used to connect the information processing apparatus 100 to a computer communication network (not shown) such as the Internet, and is used when configuring a LAN (Local Area Network).
  • a computer communication network such as the Internet
  • a cable modem or the like for connecting to the Internet, and an interface (not shown) for interfacing these with the CPU 101 are configured.
  • the audio processing unit 110 converts the audio data that has also been read from the DVD-ROM power into an analog audio signal, and outputs the analog audio signal from a speaker (not shown) connected thereto.
  • a speaker not shown
  • sound effects and music data to be generated during the progress of the game are generated, and the corresponding sound is output from the speaker.
  • the audio processing unit 110 converts the MIDI data into PCM data with reference to the sound source data included in the audio data. Also, if the compressed audio data is ADPCM (Adaptive Differential Pulse Code Modulation) open type or Ogg Vorbis format, it is expanded and converted to PCM data.
  • the PCM data can be output as audio by performing DZA (Digital / Analog) conversion at a timing corresponding to the sampling frequency and outputting it to a speaker.
  • DZA Digital / Analog
  • the information processing apparatus 100 uses a large-capacity external storage device such as a hard disk, and has the same function as a DVD-ROM or the like installed in the ROM 102, RAM 103, external memory 106, or DVD-ROM drive 108. It may be configured to fulfill
  • FIG. 2 is a schematic diagram showing a schematic configuration of the speech processing apparatus 200 according to the present embodiment.
  • FIG. 3 is a diagram showing an example in which a reaching point 301, a solid 302 surrounding the reaching point 301, and an object 303 are arranged in the virtual space.
  • the speech processing apparatus 200 includes a calculation unit 201, a change unit 202, and an output unit 203.
  • the calculation unit 201 obtains the amount Vobj of the intersection of the object 303 and the area occupied by the solid 302 including the arrival point at which the reflected sound reflected by the object 303 arranged in the virtual space reaches.
  • the amount Vobj is input to the change unit 202.
  • the distribution of the area where the solid 302 including the arrival point 301 intersects the object 303 is obtained, and data indicating the distribution of the obtained area is input to the changing unit 202.
  • CPU 101 and the image processing unit 107 work together to function as the calculation unit 201.
  • the viewpoint is a point in the virtual space, for example, used for displaying 3D graphics.
  • the listening point is a point where the sound in the virtual space is listened to, and is used, for example, for designing a sound field in a concert hall.
  • the listening point is the arrival point where the sound wave in the virtual space reaches.
  • the arrival point of the sound in the virtual space is referred to as “listening point”. For example, in a car racing game in which a user operates a car object in a virtual space and competes for the ranking, the position of the driver's seat of the car object operated by the user becomes the listening point.
  • the solid 302 including the listening point 301 is a rectangular parallelepiped surrounding the listening point 301 in the three-dimensional virtual space.
  • the solid 302 is composed of a unit figure composed of a cuboid whose side is Lx in the X direction, Ly in the y direction, and Lz in the z direction as one unit figure.
  • the solid 302 moves together in the virtual space when the absolute position of the listening point 301 moves in the virtual space. That is, the relative position of the listening point 301 with respect to the solid 302 is constant.
  • the number of unit figures constituting the solid 302 is not limited to this and can be arbitrarily set. For example, the number of unit graphics may be variable for each game scene.
  • the three-dimensional body 302 is arranged based on the line-of-sight direction from this viewpoint in order to further improve the sense of reality. . Further, it is typical to arrange the solid 302 so that the coordinates of the center of gravity of the solid 302 and the coordinates of the listening point 301 match.
  • the object 303 is represented by a figure having an arbitrary shape in the virtual space. For example, in the power racing game, the object 303 has various shapes such as an obstacle near the course, a side wall, a building, a competitor's car, and an oncoming vehicle.
  • the intersecting amount Vobj is an amount indicating the size of a portion where the area occupied by the solid 302 including the listening point 301 and the area occupied by the object 303 overlap in the virtual space.
  • the calculation unit 201 obtains, for example, a volume value of a portion where the solid 302 and the object 303 intersect, for example, as a volume Vobj.
  • the calculation amount may be enormous in order to obtain the volume value of the intersecting region precisely.
  • the calculation unit 201 determines, for each unit graphic that forms the solid 302, whether or not there is an area that intersects the object 303, and if there is an area that intersects the unit graphic, that unit graphic. As part of object 303.
  • the calculation unit 201 performs the leverage determination for all the unit graphics, and calculates the total value of the volume values of the unit figure regarded as a part of the object 303 at the portion where the solid 302 and the object 303 intersect. Volume value. If the shape of the object 303 is complicated, a minimum figure (for example, a rectangular parallelepiped, a sphere, etc.) circumscribing the object 303 is set, and an area where the circumscribed figure and the solid 302 intersect is set as the object 303. Approximate the area where 3D and 302 intersect.
  • Vunit Lx X Ly X Lz [Formula 1]
  • Vobj Vunit X n ⁇ ⁇ ⁇ [Formula 2]
  • the unit graphic may be regarded as a part of the object 303.
  • a predetermined ratio for example, 50%
  • the unit graphic may be regarded as a part of the object 303 if the determination point exists in the unit graphic.
  • the unit graphic may be regarded as a part of the object 303.
  • a solid 302 is composed of a total of 125 unit figures of 5 in the X direction, 5 in the y direction, and 5 in the z direction.
  • the solid 302 and the object 303 are as shown in FIG. 5A.
  • the calculation unit 201 determines whether or not the object 303 exists for each unit graphic by any of the methods described above. For example, 10 unit graphics distributed as shown in FIG. Consider it part. Then, the calculation unit 201 obtains a volume value “10 (unit is arbitrary)” as the amount Vobj of the solid 302 and the object 303.
  • an identification number i (i is an integer equal to or greater than 1) is assigned to each object 303 in advance, and a predetermined coefficient K (i) is set for each object 303.
  • the quantity V (i) may be obtained by multiplying the coefficient K (i) and the volume value Vunit per unit figure as in [Equation 3].
  • V (i) K (i) X Vunit ⁇ ⁇ ⁇ [Equation 3]
  • the total V (i) of all the unit graphics in the region where the solid 302 and the object 303 intersect may be used as the intersecting amount Vobj.
  • a weight may be set for the intersecting amount V (i) for each unit graphic. For example, even if this coefficient K (i) is set in advance based on the material (for example, concrete, iron plate, etc.) and shape (for example, a uniform plane, a plane with holes) of the object 303 in the virtual space. Good
  • n is an integer greater than or equal to 0
  • the changing unit 202 calculates from the object 303. Audio processing that changes the reflected sound that is reflected (for example, the reflected sound of the engine sound of a car) is performed.
  • the changing unit 202 inputs information indicating that the reflected sound is changed (for example, a parameter for setting the volume, localization, etc. after the change) to the output unit 203.
  • the CPU 101 and the sound processing unit 110 work together to function as the changing unit 202.
  • the changing unit 202 can change the volume of the reflected sound from the object 303 based on the volume value obtained by the calculating unit 201. That is, the changing unit 202 can increase the volume of the reflected sound from the object 303 as the volume value of the region where the solid 302 including the listening point 301 intersects with the object 303 increases.
  • the changing unit 202 can change the localization (sound source position) of the reflected sound from the object 303 based on the region distribution obtained by the calculating unit 201. That is, the changing unit 202 reflects the distribution from the left side (or right side) if the distribution of the region where the solid 302 including the listening point 301 intersects the object 303 is biased to the left side (or right side) of the listening point 301! If the sound is loud and biased forward (or backward), the reflected sound from the front (or rear) can be increased.
  • the region distribution obtained by the calculation unit 201 is expressed in three dimensions, it is biased to be above (some! / Is below) the listening point 30 1! /, Above (or below) The reflected sound from) can be increased. Furthermore, localization is arbitrarily determined in a three-dimensional manner, such as “the direction of the upper left front diagonal 30 degrees viewed from the listening point 301”, which is not just a simple front / rear / left / right / upward relationship viewed from the listening point 301. Can do.
  • the changing unit 202 obtains the centroid coordinates of a set of unit graphics in which the object 303 is considered to exist, and obtains the localization based on the direction of the vector connecting the centroid coordinates and the coordinates of the listening point 301.
  • the method for obtaining the localization is not limited to this, and other methods may be used.
  • the changing unit 202 determines the region distribution in which the object 303 exists and the position of the listening point 301. Accordingly, a time lag until the reflected sound is reproduced can be generated. For example, the changing unit 202 obtains the center-of-gravity coordinates as described above, obtains the distance based on the center-of-gravity coordinates and the coordinates of the listening point 301, and the time until the reflected sound reaches the listening point 301 (that is, Determine the playback start time of the reflected sound.
  • the speech processing apparatus 200 can easily change the volume, localization, time difference, and the like based on the region distribution and volume value obtained by the calculation unit 201 without performing complicated calculations. That's right.
  • the changing unit 202 can apply an effect of reflecting (echoing) the reflected sound based on the region distribution obtained by the calculating unit 201. For example, when a car object operated by a user in a car racing game enters an object 303 (tunnel) as shown in FIG. 6A, the area distribution obtained by the calculation unit 201 is set to a listening point 301 as shown in FIG. 6B. Surrounding distribution.
  • the engine sound of the automobile is reflected by a part of the tunnel wall to generate a first reflected sound, and the first reflected sound is further reflected by another part of the wall. A second reflected sound is generated.
  • the reflected sound is repeatedly reflected, and as a result, the reflected sound reverberates as a result of the second reflected sound having a reduced volume following the time delayed from the first reflected sound.
  • one of the virtual fragments is based on the distance between one of the virtual fragments logically dividing the tunnel wall and the sound source, the moving speed of the listening point 301, the moving speed of the sound source, etc. It is necessary to calculate the reflected sound by, obtain the reflected sound by integrating all the virtual fragments, and synthesize all the obtained reflected sounds in the same way.
  • the changing unit 202 obtains parameters indicating the degree of reverberation effect, volume, localization, and the like applied to the audio data based on the region distribution and volume value obtained by the calculation unit 201 to obtain the reverberation effect. Parameters indicating the degree, volume, and localization are input to the output unit 203.
  • the change unit 202 has no reverberation effect when the region distribution obtained by the calculation unit 201 is distributed only on one side surface of the solid 302 including the listening point 301 as shown in FIG. When distributed on one side and the other side, a predetermined amount of reverberation effect is generated. For example,
  • the reflected sound is played back at a predetermined volume, and after a predetermined time has passed, the reflected sound is played back at a volume that is attenuated from the initial volume. This is repeated, and as a result, the reflected sound is reflected. Furthermore, even if the upper part is distributed in three directions as shown in Fig. 6B, a larger reverberation effect can be generated.
  • the speech processing apparatus 200 simply echoes (reflects) such reflected sound based on the region distribution obtained by the calculation unit 201 without performing strict and complicated calculations. You can apply effects. In addition, the magnitude of the effect of the echo can be changed based on the magnitude of the intersecting amount Vobj obtained by the calculation unit 201.
  • the changing unit 202 can apply an effect of attenuating a specific frequency component of the reflected sound (sounding the sound) based on the region distribution obtained by the calculating unit 201. For example, when the listening point 301 (the car object operated by the user) enters the object 3 03 (tunnel) as shown in FIG. 6A, the change unit 202 intersects the region distribution obtained by the calculation unit 201 as shown in FIG. 6B. When Vobj is acquired and a specific frequency component (for example, high frequency component) of the reflected sound is attenuated by a predetermined amount and further enters an object 303 (narrower tunnel) as shown in FIG. 8A, an area as shown in FIG. 8B is obtained. By obtaining the amount Vobj that intersects the distribution, it is possible to generate a larger V, damping effect.
  • a specific frequency component for example, high frequency component
  • the sound processing device 200 performs sound generation based on the region distribution and volume value obtained by the calculation unit 201 as shown in Fig. 6B and Fig. 8B without performing strict and complicated calculations. You can apply an effect that makes you laugh. In addition, the magnitude of this effect can be changed based on the volume value or region distribution obtained by the calculation unit 201.
  • the sound processing of the reflected sound performed by the changing unit 202 is not limited to the above-described sound processing, and can be configured to perform other effects.
  • an effect of changing the frequency or pitch of the reflected sound based on the moving speed of the listening point 301 or the object 303 can be configured.
  • the output unit 203 outputs the sound received at the listening point 301 in the virtual space from the reflected sound changed by the changing unit 202.
  • the output unit 203 obtains information for changing the reflected sound from the changing unit 202, and the DVD-ROM mounted on the DVD-ROM drive 108 or the like.
  • the sound data of the reflected sound to be reproduced that is stored in advance in the information storage medium is acquired.
  • the output unit 203 changes and outputs the audio data of the reflected sound to be reproduced.
  • the changed reflected sound is output by a speaker or the like connected to the sound processing unit 110. As a result, the user can listen to game sounds including reflected sounds.
  • the CPU 101 and the audio processing unit 110 work together to function as the output unit 203.
  • the listening point 301 is a driver seat of a car object operated by the user.
  • objects 303 such as a car object 901 running side by side and a building object 902 near the course.
  • the sound received at the listening point 301 includes, for example, the engine sound of the car object operated by the user, the reflected sound from the object 303 of the engine sound (such as the car object 901 running side by side and the nearby building object 902), and the object 303 There are voices of equal power.
  • the reflected sound by the object 303 is the reflected sound changed by the changing unit 202 as described above.
  • the first reflected sound by the car object 901 that runs concurrently is a reflected sound that is changed by the changing unit 202 based on the region distribution 911 and the volume value “20 (unit is arbitrary)” in FIG. 9B.
  • the second reflected sound by the nearby building object 902 becomes a reflected sound changed by the changing unit 202 based on the region distribution 912 and the volume value “10 (unit is arbitrary)” in FIG. 9B.
  • the output unit 203 outputs sound including the first and second reflected sounds.
  • the output unit 203 sets the volume of the first reflected sound by the car object 901 running side by side to twice the volume of the second reflected sound by the building object 902. Can be output. Further, the output unit 203 can output reflected sound by setting different localizations for the first and second reflected sounds. Furthermore, the output unit 203 can also apply an effect of reflecting the reflected sound or an effect of blocking the reflected sound when the listening point 301 is sandwiched between the two objects 303.
  • the sound processing of the reflected sound performed by the sound processing device 200 according to the present embodiment will be described with reference to the flowchart of FIG.
  • the audio processing device 200 arranges the listening point 301 and the object 303 in the virtual space.
  • the CPU 101 reads and executes a predetermined game program that has also read the DVD-ROM and the like installed in the DVD-ROM drive 108. Then, the CPU 101 cooperates with the image processing unit 107 to calculate the coordinates of the listening point 301 and the object 303, arrange these in the virtual space, and generate a virtual image in the viewing direction of an arbitrary viewpoint.
  • the generated virtual image is displayed on a monitor or the like connected to the image processing unit 107.
  • the calculation unit 201 arranges the solid 302 so as to surround the listening point 301 in the virtual space (step Sl l).
  • the shape and size of the solid 302 and the unit graphics constituting the solid 302 are determined in advance by the game program. Alternatively, it may be variable depending on the game scene.
  • the calculation unit 201 obtains position information of the solid 302 including the listening point 301 and the object 303 (step S12).
  • the position information is the coordinates of the listening point 301, the solid 302, and the object 303 in the three-dimensional virtual space.
  • calculation unit 201 determines whether or not there is a force where there is a region where solid 302 including listening point 301 intersects with object 303 (step S 13).
  • step S13 If there is no region where the solid 302 including the listening point 301 intersects with the object 303 (step S13; NO), the sound processing apparatus 200 ends the sound processing of the reflected sound. That is, the audio processing device 200 does not reproduce the reflected sound by the object 303.
  • step S 13 if there are intersecting areas (step S 13; YES), the calculation unit 201 obtains the distribution of the intersecting areas (step S 14).
  • the object 303 and the listening point 301 of the car object operated by the user are arranged in the virtual space, and the user operates at the listening point 301. It is assumed that the sound reflected by the object 30 3 of the engine sound of the car object is obtained.
  • the calculation unit 201 obtains the region distribution 911 in which the car object 901 running along with the car object operated by the user exists by the method described above. Similarly, the calculation unit 201 displays the area where the building object 902 near the listening point 301 exists. Distribution 912 is determined by the method described above. As a result, the calculation unit 201 obtains a region distribution in which the object 303 exists as shown in FIG. 9B.
  • the calculation unit 201 obtains the amount Vobj that intersects by the above-described method from the distribution of the area where the solid 302 including the listening point 301 and the object 303 intersect (step S15).
  • the calculation unit 201 includes a solid 302 including the listening point 301 and the object 3.
  • the volume value “20” is obtained as the amount Vobj that intersects with the (car object 901).
  • the calculation unit 201 obtains a volume value “10” as the amount Vobj of the solid 302 including the listening point 301 and the object 303 (building object 902).
  • calculation unit 201 is configured to obtain the distribution of the intersecting area and the intersecting amount Vobj regardless of whether or not the area where the solid 302 including the listening point 301 intersects with the object 303 exists. May be.
  • the changing unit 202 changes the sound reflected by the object 303 based on the distribution V of the intersecting area obtained by the calculating unit 201 and the amount V obj (step S16).
  • the changing unit 202 increases the volume of the reflected sound as the volume value of the intersecting region increases.
  • the changing unit 202 changes the localization of the reflected sound according to the distribution of the intersecting regions.
  • the changing unit 202 has a distribution power of the intersecting region, as shown in FIG. 7, the closer to the distribution existing on both sides of the listening point 301, the more the reflected sound echo (echo) Time).
  • the transformation unit 202 attenuates a specific frequency component of the reflected sound as the area surrounded by the object 303 at the listening point 301 is narrower as shown in FIG. ) Increase the degree.
  • the output unit 203 outputs the reflected sound changed by the changing unit 202 (step S 17). That is, the output unit 203 uses the information indicating that the reflected sound is changed obtained in step S16 and the audio data to be reproduced, and the reflected sound changed by the object 303 and other game Outputs voices, sound effects, BGM, etc. produced by characters.
  • the sound processing of the reflected sound is performed at a predetermined timing (for example, contacting the image processing unit 107). It is desirable to perform this as an interrupt process for the vertical synchronization timing when displaying an image on a subsequent monitor.
  • the sound processing apparatus 200 can easily perform the sound volume, localization, time difference, etc. of the reflected sound based on the region distribution and volume value obtained by the calculation unit 201 without performing strict and complicated calculations. Can be changed. In addition, echoes can be applied to the reflected sound and the sound can be muffled. As a result, a three-dimensional sound effect can be obtained in the virtual space.
  • the calculation unit 201 obtains an area value instead of a volume value as the amount Vobj of the solid 302 including the listening point 301 and the object 303 intersecting. Note that the configuration of the other sound processing apparatus 200 according to the present embodiment is the same as that of the above-described embodiment, and thus description thereof is omitted.
  • the calculation unit 201 obtains the area value of a region where the solid 302 and the object 303 intersect as an amount Vobj.
  • the calculation amount may be enormous in order to obtain the area value of the intersecting area precisely.
  • the calculation unit 201 determines whether or not there is an area that intersects the object 303 for each unit graphic that forms the surface of the solid 302, and if there is an area that intersects, the calculation unit 201 determines the area that intersects the unit graphic. Consider it part. Then, this determination is performed for all the unit graphics, and the total value of the area values of the unit graphics regarded as a part of the intersecting region is set as the intersecting amount Vobj.
  • the unit graphic When the intersecting area in the unit graphic is a predetermined ratio (for example, 50%) or more, the unit graphic may be regarded as a part of the intersecting amount Vobj.
  • the ratio of the number n of unit graphics in which the area where the object 303 intersects to the total number Nunit of the unit graphics constituting the surface of the solid 302 including the listening point 301 is expressed by [Expression 4] ], And the size of this ratio may be used as the crossing amount Vobj.
  • the changing unit 202 changes the reflected sound based on the amount Vobj intersected with the distribution of the region where the standing body 302 and the object 303 intersect obtained by the calculating unit 201 as in the above-described embodiment.
  • the speech processing apparatus 200 is simply based on the region distribution and area value obtained by the calculation unit 201 without performing a strict and complicated calculation, as in the above-described embodiment.
  • the sound volume, localization, time difference, etc. can be changed.
  • the reflected sound can be echoed or muffled.
  • a three-dimensional sound effect can be obtained in the virtual space.
  • the audio processing device 200 can obtain a three-dimensional acoustic effect more easily than using the volume value by using the area value as the intersecting amount Vobj.
  • the calculation unit 201 arranges the solid 302 in the virtual space based on the moving speed of the listening point 301.
  • the calculation unit 201 arranges the solid 3 02 including the listening point 301 in the virtual space.
  • the calculation unit 201 acquires the moving speed of the listening point 301 and changes the center position of the solid 302 based on the moving speed.
  • the calculation unit 201 arranges the center position of the solid 302 by a predetermined amount ⁇ L in the moving direction of the listening point 301.
  • the calculation unit 201 increases the predetermined amount AL as the moving speed increases.
  • the predetermined amount A L is increased in proportion to the magnitude of the moving speed.
  • the predetermined amount ⁇ L is changed using a step function associated with the moving speed so as to increase stepwise.
  • the method for determining the size of the predetermined amount A L is not limited to these.
  • FIGs. 12A, 12B, and 12C are layout diagrams of the solid 302 seen from the direction directly above the listening point 301 (z direction).
  • the moving speed of the listening point 301 is zero
  • the center point of the listening point 301 and the solid 302 coincide as shown in FIG. 12A.
  • the moving speed of listening point 301 is not zero In this case, as shown in FIG. 12B and FIG.
  • the center position of the solid 302 moves in the moving direction 351 of the listening point 301, the change in the reflected sound from the moving direction is emphasized compared to the other directions.
  • the calculation unit 201 obtains an amount Vobj (for example, a volume value or an area value) at which the solid 302 and the object 303 intersect as in the above-described embodiment, and supplies the obtained amount Vobj to the change unit 202. input.
  • Vobj for example, a volume value or an area value
  • the distribution of the area where the solid 302 and the object 303 intersect is obtained, and data indicating the obtained distribution of the area is input to the changing unit 202.
  • the changing unit 202 changes the reflected sound based on the distribution of intersecting areas and the intersecting amount Vobj obtained by the calculating unit 201. Note that the other schematic configuration of the audio processing device 200 is the same as that of the above-described embodiment, and thus description thereof is omitted.
  • the sound processing apparatus 200 can apply an effect that emphasizes the change in the reflected sound from the direction 351 in which the listening point 301 moves.
  • the sound processing apparatus 200 can increase the volume of the reflected sound from the direction 351 in which the listening point 301 moves or move the localization without performing rigorous and complicated calculations. Further, based on the direction in which the listening point 301 moves, it is possible to change the degree to which the reflected sound is reverberated or concealed, or another acoustic effect is applied.
  • the calculation unit 201 arranges the solid 3 02 including the listening point 301 in the virtual space, as in the above-described embodiment.
  • the calculation unit 201 acquires the moving speed of the listening point 301 and changes the reference direction (x, y, z direction) of the solid 302 based on the moving speed.
  • the calculation unit 201 sets one side in the moving direction 351 of the listening point 301 among the three orthogonal sides of the solid 302, and is perpendicular to the moving direction 351 and is horizontal. Set the direction to the other side and set the other side in the direction perpendicular to these two sides to place the solid 302.
  • FIGS. 13A, 13B, and 13C are layout diagrams of the solid 302 seen from the direction directly above the listening point 301 (z direction).
  • the direction in the virtual space coincides with the direction of each axis of the Gronole coordinate (world coordinate) system of the virtual space.
  • the solid 302 is arranged according to the moving direction as shown in FIG. 13B.
  • the changing unit 202 changes the reflected sound based on the distribution of intersecting areas and the intersecting amount Vobj obtained by the calculating unit 201.
  • the other outline configuration of the voice processing device 200 is the same as that of the above-described embodiment, and thus the description thereof is omitted.
  • the sound processing device 200 can apply an effect of changing the degree of change in the reflected sound based on the moving direction 351 of the listening point 301.
  • the sound processing device 200 can change the localization of the reflected sound based on the moving direction of the listening point 301.
  • the calculation unit 201 changes the reference direction of the solid 302 based on the moving direction of the listening point 301, and sets the center position of the solid 302 by a predetermined amount AL in the moving direction. It can also be moved. As a result, the change in the reflected sound in the moving direction of the listening point 301 can be emphasized, and the localization can be determined based on the moving direction, so that a more realistic acoustic effect can be obtained.
  • the calculation unit 201 increases the predetermined amount AL in the direction of the moving speed as the moving speed increases as in the above-described embodiment, but the present invention is not limited to this.
  • the audio processing device 200 includes an image generation unit 1201 that generates a virtual image in which the object 303 placed in the virtual space is viewed from the listening point 301 in the virtual space, and the listening point 301 in the virtual space. And a line-of-sight direction acquisition unit 1202 for acquiring a line-of-sight direction 352 when viewing the object 303 placed on the screen. Then, the calculation unit 201 arranges the solid 302 based on the visual line direction of the virtual image acquired by the visual line direction acquisition unit 1202. Since the other configuration of the audio processing device 200 is the same as that of the above-described embodiment, the description thereof is omitted.
  • the image generation unit 1201 generates a virtual image in which the object 303 arranged in the virtual space is viewed from the listening point 301 as a viewpoint. For example, when a game program is executed by the CPU 101, the image generation unit 1201 moves a viewpoint according to an input instruction of a game scene or user power, and a virtual image that is visible in the line-of-sight direction from the viewpoint. Generate and output To do. The generated virtual image is displayed on a monitor connected to the image processing unit 107. The CPU 101 and the image processing unit 107 work together to function as the image generation unit 1201.
  • the line-of-sight acquisition unit 1202 acquires the line-of-sight direction 352 of the virtual image with the listening point 301 in the virtual space as the viewpoint from the image generation unit 1201, and stores the data indicating the acquired line-of-sight direction 352 in the calculation unit 201 input.
  • the gaze direction acquisition unit 1202 acquires a gaze direction vector based on the position information of the predetermined object 303 and the position information of the listening point 301 included in the image generated by the image generation unit 1201. The direction of this vector is the line-of-sight direction.
  • the line-of-sight direction acquisition unit 1202 is configured to acquire the line-of-sight direction 352 of the virtual image based on the input of other information processing devices that are connected to each other via a computer communication network via the NIC 109.
  • the CPU 101 and the image processing unit 107 work together to function as the line-of-sight direction acquisition unit 1202.
  • the calculation unit 201 moves the center position of the solid 302 by a predetermined amount ⁇ L to the visual direction 352 of the virtual image based on the visual direction 352 of the virtual image acquired by the visual direction acquisition unit 1202. Move to place solid 302. Then, as in the above-described embodiment, the calculation unit 201 obtains the amount Vobj that intersects the region distribution where the solid 302 including the listening point 301 intersects with the object 303 and inputs it to the change unit 202. The calculation unit 201 moves the center position of the solid 302 in the line-of-sight direction 352 by a predetermined amount AL.
  • the size of the predetermined amount A L is predetermined for each game scene (for example, for each course in the case of a car racing game), but the method for determining the size of the predetermined amount ⁇ L is not limited to this.
  • FIGS. 15A and 15B are layout diagrams of the solid 302 as seen from the direction directly above the listening point 301 (z direction).
  • the calculation unit 201 moves the center position of the solid 302 in the y-direction, which is the line-of-sight direction 352, by a predetermined amount AL as shown in FIG. To do.
  • the field-of-view range 353 of the virtual image generated by the image generation unit 1201 is the range of the hatched portion in this figure.
  • the calculation unit 201 moves the center position of the solid 302 in the new line-of-sight direction as shown in FIG. 15B.
  • the changing unit 202 listens at the listening point 301 based on the amount Vobj of the region distribution where the standing body 302 and the object 303 intersect in consideration of the visual line direction 352 of the virtual image. Change the voice to be played. Then, the output unit 203 outputs the reflected sound changed by the changing unit 202.
  • the sound processing device 200 can reflect the sound such as reflected sound so as to match the line-of-sight direction 352 if the line-of-sight direction 352 is different.
  • the localization can be changed, and a more realistic feeling can be caused.
  • This embodiment also includes an image generation unit 1201 and a line-of-sight direction acquisition unit 1202 as shown in FIG.
  • the calculating unit 201 arranges the solid 302 including the listening point 301 in the virtual space based on the visual line direction 352 of the virtual image acquired by the visual line direction acquiring unit 1202. That is, the calculation unit 201 changes the reference direction (x, y, z direction) of the solid 302 based on the line-of-sight direction 352 of the virtual image. Then, as in the above-described embodiment, the calculation unit 201 obtains the amount Vobj that intersects the region distribution where the solid 302 including the listening point 301 intersects with the object 303 and inputs it to the conversion unit 202.
  • the changing unit 202 performs the listening at the listening point 301 based on the distribution of the area where the standing body 302 and the object 303 intersect in consideration of the line-of-sight direction 352 of the virtual image, and the amount of intersection Vobj. Change the sound that is heard. For example, the changing unit 202 changes the localization of the reflected sound by the object 303. Then, the output unit 203 outputs the reflected sound changed by the changing unit 202.
  • the calculation unit 201 sets one side in the line-of-sight direction 352 out of three orthogonal sides of the solid 302, and sets the other side of the solid 302 in a direction perpendicular to the line-of-sight direction 352 and in the horizontal direction. Then, the other one side of the solid 302 is set in a direction perpendicular to both of these two sides, and the rectangular solid 302 is arranged. For example, as shown in FIG. 16A, the center 302 of the solid 302 is moved from the listening point 301 by a predetermined amount ⁇ L, and the solid 302 is arranged.
  • the field-of-view range 353 of the virtual image output from the image generation unit 1201 is the shaded area in the figure.
  • the calculation unit 201 changes the reference direction of the solid 302 to the line-of-sight direction 35 as shown in FIG. 16B. Change according to 2.
  • the size of the predetermined amount AL is determined in advance for each game scene, but the method for determining the size of the predetermined amount ⁇ L is not limited to this.
  • the changing unit 202 regards the line-of-sight direction 352 as the front and back of the listening point 301, regards the direction perpendicular to the line-of-sight direction 352 and the horizontal direction as the left and right of the listening point 301, and The direction of the sound is determined by regarding the direction as above and below the listening point 301. Then, the output unit 203 outputs the reflected sound changed by the changing unit 202.
  • the audio processing device 200 determines the localization of the reflected sound so that it matches the line-of-sight direction 352 if the line-of-sight direction 352 is different even when the position of the listening point 301 in the virtual space is the same. It can be changed, and a more realistic feeling can be created.
  • the solid 302 is arranged in consideration of the moving direction 351 of the listening point 301, and the distribution of the area where the solid 302 and the object 303 intersect and the amount of intersection Vobj may be obtained. It can. That is, as shown in FIG. 17A, the calculation unit 201 changes the reference direction of the solid 302 based on the moving direction of the listening point 301 and moves the center position of the solid 302 by a predetermined amount ⁇ L in the line-of-sight direction 352. It can also be made.
  • the calculation unit 201 changes the reference direction of the solid 302 based on the line-of-sight direction 352, and based on the moving direction of the listening point 301! /, The center position can be moved by a predetermined amount ⁇ L.
  • the calculation unit 201 increases the predetermined amount AL as the moving speed increases, but the present invention is not limited to this.
  • the force in which the solid 302 including the listening point 301 is a rectangular parallelepiped is not limited to this.
  • other figures such as a sphere may be used.
  • the shape of the solid 302 has a three-dimensional symmetry with respect to the listening point 301 in order to simplify the process of obtaining the intersecting amount Vobj by the calculation unit 201.
  • the solid figure 302 including the listening point 301 or the unit figure constituting the surface thereof is not limited to the above-described embodiment, but other shapes (for example, a triangular pyramid, a triangle, etc.) and other numbers of units.
  • a figure may be used.
  • it is desirable that the shape of the unit graphic is the same in order to make the processing for obtaining the intersecting amount Vobj by the calculation unit 201 easier. Further, it may be variable depending on a game scene or the like.
  • the calculation unit 201 may be configured to change the shape of the solid 302 including the listening point 301 when a predetermined condition is satisfied. For example, in a car racing game in a virtual space, when the listening point 301 is a driver seat of a car object operated by the user, if only the right side window of the driver seat is opened, the calculation unit 201 has a three-dimensional 302. Only the area on the right half of the listening point 301 is enlarged. As a result, the changing unit 202 can easily apply an effect such that the amount of change in reflected sound by the object 303 located in the right half is larger than that in the left half without performing complicated calculations.
  • a preliminary coefficient K (i) is set for each of the unit figures constituting the solid 302 including the listening point 301, and the calculation unit 201 calculates the intersecting amount V (i corresponding to the unit figure i. ) Is obtained by setting the weight for each unit graphic as in [Equation 3], and the sum of all unit graphics in the area where the solid 302, the object 303, and the force S intersect is defined as the amount Vobj of intersection. Then, the calculation unit 201 may be configured to change the coefficient K (i) when a predetermined condition is satisfied.
  • the listening point 301 is the driver seat of a car object operated by the user
  • the calculation unit 201 listens.
  • the coefficient K (i) associated with the unit graphic existing in the right half of point 301 is increased.
  • the changing unit 202 can easily apply an effect such that the amount of change in reflected sound by the object 303 located in the right half is larger than that in the left half without performing complicated calculations.
  • the audio processing device 200 generates the virtual image by arranging the listening point 301 and the object 303 in the virtual space, and displays them on the monitor connected to the image processing unit 107 for reflection.
  • the process of displaying the virtual image by arranging the listening point 301 and the object 303 in the virtual space may be performed by another information processing apparatus.
  • the audio processing device 200 is connected to the information processing device via the NIC 109 or the like, and changes the reflected sound. It is also possible to configure so that only the process of generating and outputting is performed.
  • the orthogonal coordinate system is used for the virtual space.
  • the present invention is not limited to this.
  • polar coordinates such as a spherical coordinate using one moving radius and two declinations are used.
  • a system may be used.
  • a configuration may be adopted in which coordinate calculation is performed by separately setting a global coordinate system (world coordinate system) that represents the entire virtual space and a local coordinate system (body coordinate system) for each object 303. Good.
  • the calculation unit 201 may be configured to calculate both the volume value and the area value as the intersecting amount Vo bj. For example, when two or more different objects 303 and the solid 302 have the same volume value, the calculation unit 201 obtains an area value that further intersects, and the change unit 202 increases the reflected sound with the larger area value. Can be changed (for example, the volume is increased). Furthermore, the calculation unit 201 also acquires other quantities other than the volume value and area value (for example, the moving speed of the listening point 301 and the object 303), and the change unit 202 receives other values other than the volume value and area value. The reflection sound may be changed based on the amount.
  • the reflected sound with a smaller distance between the center of gravity of the region where the object 303 is distributed and the listening point 301 is increased.
  • a process of changing (for example, increasing the volume) may be performed.
  • the coordinates of the point closest to the listening point 301 of the object 303 are used in addition to the barycentric coordinates.
  • the changing unit 202 reflects the object 303 in accordance with the moving speed of the object 303 (or the relative speed of the object 303 with respect to the listening point 301).
  • the degree of changing the sound may be changed.
  • the present invention it is possible to provide a sound processing device, a sound processing method, and a program suitable for obtaining a three-dimensional sound effect in a virtual space. Can do.
  • the present invention can be easily applied to a device that is difficult to mount a high-performance hard disk, such as a popular home game machine.

Abstract

　音声処理装置(200)において、計算部(201)は仮想空間内に受聴点を含む立体を配置する。この立体は所定の単位図形の集合から構成される。計算部(201)はこの立体が占める範囲と所定のオブジェクトが占める範囲とが交わる領域の分布と、交わる量とを求める。変化部(202)は計算部(201)により求められた交わる領域の分布と交わる量とに基づいて、所定のオブジェクトによる音声の反射音を変化させる。出力部(203)は変化部(202)により変化された反射音を出力する。

Description

明 細 書
音声処理装置、音声処理方法、プログラム、ならびに、情報記録媒体 技術分野
[0001] 本発明は、仮想空間において立体的な音響効果を得るために好適な音声処理装 置、音声処理方法、プログラム、ならびに、情報記録媒体に関する。
背景技術
[0002] 仮想空間内のある位置に視点を置き、この視点からの仮想画像を合成して表示す るシミュレーションゲームがよく知られている。このようなゲームでは、仮想空間内にォ ブジェクトを配置し、視点力 オブジェクトまでの距離や方向などに基づ 、て視点から のオブジェクトの仮想画像を求めて表示することによって、あた力もユーザが仮想空 間内に 、るかのような現実感を起こさせる。
[0003] さらに仮想空間の現実感を高めるためには、このような視覚的な効果に加えて、聴 覚的な効果もシミュレーションすることが望ましい。例えば、特許文献 1には、仮想空 間内の視点力 の仮想画像と、ゲーム音との両方を合成する 3次元ゲーム装置が開 示されている。これによれば、ゲーム装置は、仮想空間内を移動する移動体 (例えば 、自動車)と固定物 (例えば、道路沿いの側壁）との距離及び移動体の速度に基づい て、固定物力もの仮想的な反射音を変化させることができる。例えば、自動車の進行 方向に向力つて左右両側に均一な側壁が存在するとき、側壁との距離及び自動車 の速度に基づ 、て、左側の側壁に接近するとエンジン音等の左側の側壁力 の反射 音を相対的に大きくしたり、右側の側壁に接近すると右側の側壁力 の反射音を相 対的に大きくしたりする。また、自動車の速度が大きければ側壁力もの反射音も大き くする。
特許文献 1 :特許第 3123957号公報
発明の開示
発明が解決しょうとする課題
[0004] ところで、現実の世界では、例えば上述の自動車などの移動体が発する音の反射 音を考えると、反射音を発生させる固定物は、形状が比較的均一に形成されている ような側壁だけでなぐ立体的な凹凸があったり形状が複雑だったりするのが一般的 である。また、対向車など他の移動体力もの反射音と相交わって、結果として複雑な 音響的な効果がもたらされる。この音響的な効果には、例えば、反射音の音量の変 ィ匕、定位の変化のほか、音の特定の周波数成分が弱くなる（いわゆる、「音がこもる」） 、反射音が反響する（いわゆる、「エコーがかかる」）、など様々なものがある。しかしな がら、上述の特許文献 1によれば、移動体と固定物との 2次元的な位置関係に基づく 音量、定位、高さの変化しか表現することができない。そのため、仮想空間において 立体的な音響効果を得るためには十分ではなぐ現実の世界で起こりうる状況の音 響的なシミュレーションを行うことはできな 、。
[0005] 本発明は、このような課題を解決するものであり、仮想空間において立体的な音響 効果を得るために好適な音声処理装置、音声処理方法、ならびに、プログラムを提 供することを目的とする。
課題を解決するための手段
[0006] 以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する
[0007] 本発明の第 1の観点に係る音声処理装置は、計算部と変化部と出力部とを備える。
計算部は、仮想空間内に配置されるオブジェ外による反射音が到達する到達点を 含む立体が占める領域と、当該オブジェクトと、が交わる量を計算する。
変化部は、計算部により計算された交わる量に基づいて、当該オブジェクトから反 射される反射音を変化させる。
出力部は、変化部により変化された反射音を、当該到達点で取得される音声として 出力する。
結果として、音声処理装置は、厳密で複雑な計算を行うことなく簡便に、任意のォ ブジェクトによる音声の反射音を変化させることができる。また、仮想空間において立 体的な音響効果を得ることができる。そして、現実の世界に起こりうる状況の音響的な シミュレーションを行うことができ、仮想空間において現実感をより起こさせることがで きる。
[0008] 例えば、計算部は、当該立体と当該オブジェクトとが交わる領域の体積を、当該交 わる量として計算することができる。
例えば、計算部は、当該立体の表面と当該オブジェクトとが交わる領域の面積を、 当該交わる量として計算することができる。
これにより、音声処理装置は、厳密で複雑な計算を行うことなぐ体積あるいは面積 を求めることにより、任意のオブジェクトによる音声の反射音を変化させることができる
[0009] 例えば、変化部は、当該交わる量が大きくなればなるほど、当該反射音の音量を大 さくすることがでさる。
これにより、音声処理装置は、厳密で複雑な計算を行うことなぐ反射音の音量を制 御することができ、仮想空間において現実感を起こさせるエフェクトをかけることがで きる。
[0010] 例えば、変化部は、当該立体と当該オブジェクトとが交わる領域の分布によって、 当該反射音の定位を変化させることができる。
これにより、音声処理装置は、厳密で複雑な計算を行うことなぐ反射音の定位を制 御することができ、仮想空間において現実感を起こさせるエフェクトをかけることがで きる。
[0011] さらに、音声処理装置は、画像生成部と視線方向取得部を更に備えてもよい。すな わち、画像生成部は、当該仮想空間内の到達点力も当該仮想空間内に配置される オブジェクトを見た画像を生成する。また、視線方向取得部は、当該到達点から当該 仮想空間内に配置されるオブジェクトを見る視線方向を、画像生成部から取得する。 そして、計算部は、視線方向取得部により取得された視線方向に基づいて当該立 体を配置して、当該立体と当該オブジェクトとの交わる量を計算する。
これにより、音声処理装置は、到達点の位置が同じであっても、視線方向が異なれ ば視線方向に合致するように反射音等の音声の定位を変化させることができ、より現 実感を起こさせる音響効果を得ることができる。
[0012] 本発明のその他の観点に係る音声処理方法は、計算ステップと変化ステップと出 力ステップとを備える。
計算ステップは、仮想空間内に配置されるオブジェ外による反射音が到達する到 達点を含む立体が占める領域と、当該オブジェクトと、が交わる量を計算する。
変化ステップは、計算ステップにより計算された交わる量に基づいて、当該オブジェ タトから反射される反射音を変化させる。
出力ステップは、変化ステップにより変化された反射音を、当該到達点で取得され る音声として出力する。
結果として、厳密で複雑な計算を行うことなく簡便に、任意のオブジェ外による音 声の反射音を変化させることができる音声処理方法を提供することができる。また、仮 想空間において立体的な音響効果を得ることができる。そして、現実の世界に起こり うる状況の音響的なシミュレーションを行うことができ、仮想空間において現実感をよ り起こさせることができる。
[0013] 本発明のその他の観点に係るプログラムは、コンピュータを、計算部と変化部と出 力部として機能させる。
計算部は、仮想空間内に配置されるオブジェ外による反射音が到達する到達点を 含む立体が占める領域と、当該オブジェクトと、が交わる量を計算する。
変化部は、計算部により計算された交わる量に基づいて、当該オブジェクトから反 射される反射音を変化させる。
そして、出力部は、変化部により変化された反射音を、当該到達点で取得される音 声として出力する。
結果として、プログラムは、コンピュータを、厳密で複雑な計算を行うことなく簡便に 、任意のオブジェクトによる音声の反射音を変化させる装置として機能させることがで きる。また、仮想空間において立体的な音響効果を得ることができる。そして、現実の 世界に起こりうる状況の音響的なシミュレーションを行うことができ、仮想空間におい て現実感をより起こさせることができる。
[0014] 本発明のその他の観点に係る情報記録媒体は、コンピュータを、
仮想空間内に配置されるオブジェクトにより反射される反射音が到達する到達点を 含む立体が占める領域と、当該オブジェクトと、が交わる量を計算する計算部、 計算部により計算された交わる量に基づいて、当該オブジェクトから反射される反 射音を変化させる変化部、 変化部により変化された反射音を、当該到達点で取得される音声として出力する出 力部、
として機能させることを特徴とするプログラムを記録する。
[0015] また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディ スク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコン ピュータ読取可能な情報記憶媒体に記録することができる。
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ 通信網を介して配布 '販売することができる。また、上記情報記憶媒体は、コンビユー タとは独立して配布 ·販売することができる。
発明の効果
[0016] 本発明によれば、仮想空間にお 、て立体的な音響効果を容易に得ることができる。
図面の簡単な説明
[0017] [図 1]本発明の音声処理装置が実現される典型的な情報処理装置の概要構成を示 す図である。
[図 2]音声処理装置が行う処理を説明するための図である。
[図 3]受聴点を含む立体の例を示す図である。
[図 4A]受聴点を含む立体とオブジェクトとが離れているときの配置例を示す図である
[図 4B]受聴点を含む立体とオブジェクトとが重なっているときの配置例を示す図であ る。
[図 5A]受聴点を含む立体とオブジェクトとが交わる配置例を示す図である。
[図 5B]交わる領域の分布の例を示す図である。
[図 6A]受聴点の 3方向にオブジェクトが分布する配置例を示す図である。
[図 6B]交わる領域の分布の例を示す図である。
[図 7]受聴点の一側面とその反対側にオブジェクトが分布する配置例を示す図である
[図 8A]受聴点の 3方向にオブジェクトが分布する配置例を示す図である。
[図 8B]交わる領域の分布の例を示す図である。 [図 9A]仮想空間内の受聴点とオブジェクトの配置例を示す図である。
[図 9B]交わる領域の分布の例を示す図である。
[図 10]反射音の音声処理を説明するためのフローチャートである。
[図 11A]受聴点を含む立体とオブジェクトとが交わる配置例を示す図である。
[図 11B]交わる領域の分布の例を示す図である。
[図 12A]受聴点と立体の配置図の例である。
[図 12B]受聴点の移動方向に立体の中心位置が移動した配置図の例である。
[図 12C]受聴点の移動方向に立体の中心位置が移動した配置図の例である。
[図 13A]受聴点と立体の配置図の例である。
[図 13B]受聴点の移動方向に立体の基準方向を変更した配置図の例である。
[図 13C]受聴点の移動方向に立体の基準方向を変更した配置図の例である。
[図 14]音声処理装置が行う処理を説明するための図である。
[図 15A]受聴点と立体の配置図の例である。
[図 15B]視線方向に立体の中心位置を移動した配置図の例である。
[図 16A]受聴点と立体の配置図の例である。
[図 16B]視線方向に立体の基準方向を変更した配置図の例である。
[図 17A]受聴点の移動方向に立体の基準方向を変更し、視線方向に立体の中心位 置を移動した配置図の例である。
[図 17B]視線方向に立体の基準方向を変更し、受聴点の移動方向に立体の中心位 置を移動した配置図の例である。
符号の説明
100 情報処理装置
101 CPU
102 ROM
103 RAM
104 インターフェイス
105 コントローラ
106 外部メモリ 107 画像処理部
108 DVD— ROMドライブ
109 NIC
110 音声処理部
200 音声処理装置
201 十异
202 変化部
203 出力部
301 受聴点
302 立体
303 オブジェクト
351 移動方向
352 視線方向
353 視界範囲
901 車オブジェクト
902 建物オブジェクト
911 車オブジェクトの領域分布
912 建物オブジェクトの領域分布
1201 画像生成部
1202 視線方向取得部
発明を実施するための最良の形態
[0019] 以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム 用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に 説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものでは ない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なもの に置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の 範囲に含まれる。
[0020] (実施形態 1) 図 1は、プログラムを実行することにより、本発明の音声処理装置の機能を果たす典 型的な情報処理装置の概要構成を示す模式図である。以下、本図を参照して説明 する。
[0021] 情報処理装置 100は、 CPU (Central Processing Unit) 101と、 ROM (Read Only Memory) 102と、 RAM (Random Access Memory) 103と、インターフェイス 104と、コ ントローラ 105と、外部メモリ 106と、画像処理部 107と、 DVD-ROM (Digital Versa tile Disc ROM)ドライブ 108と、 NIC (Network Interface Card) 109と、音声処理部 11 0と、を備える。
[0022] ゲーム用のプログラムおよびデータを記憶した DVD— ROMを DVD— ROMドライ ブ 108に装着して、情報処理装置 100の電源を投入することにより、当該プログラム が実行され、本実施形態の音声処理装置が実現される。
[0023] CPU 101は、情報処理装置 100全体の動作を制御し、各構成要素と接続され制 御信号やデータをやりとりする。また、 CPU 101は、レジスタ（図示せず）という高速 アクセスが可能な記憶域に対して ALU (Arithmetic Logic Unit) (図示せず）を用いて 加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビ ット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さら に、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベタ トル演算などを高速に行えるように、 CPU 101自身が構成されているものや、コプロ セッサを備えて実現するものがある。
[0024] ROM 102には、電源投入直後に実行される IPL (Initial Program Loader)が記録 され、これが実行されることにより、 DVD— ROMに記録されたプログラムを RAM 1 03に読み出して CPU 101による実行が開始される。また、 ROM 102には、情報 処理装置 100全体の動作制御に必要なオペレーティングシステムのプログラムや各 種のデータが記録される。
[0025] RAM 103は、データやプログラムを一時的に記憶するためのもので、 DVD—R OM力も読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要 なデータが保持される。また、 CPU 101は、 RAM 103に変数領域を設け、当該 変数に格納された値に対して直接 ALUを作用させて演算を行ったり、 RAM 103 に格納された値をー且レジスタに格納してからレジスタに対して演算を行 、、演算結 果をメモリに書き戻す、などの処理を行う。
[0026] インターフェイス 104を介して接続されたコントローラ 105は、ユーザが麻雀ゲーム やトランプゲームなどのゲーム実行の際に行う操作入力を受け付ける。
[0027] インターフェイス 104を介して着脱自在に接続された外部メモリ 106には、麻雀ゲー ム等のプレイ状況 (過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、 ネットワーク対戦の場合のチャット通信のログ (記録)のデータなどが書き換え可能に 記憶される。ユーザは、コントローラ 105を介して指示入力を行うことにより、これらの データを適宜外部メモリ 106に記録することができる。
[0028] DVD— ROMドライブ 108に装着される DVD— ROMには、ゲームを実現するた めのプログラムとゲームに付随する画像データや音声データが記録される。 CPU 1
01の制御によって、 DVD— ROMドライブ 108は、これに装着された DVD— ROM に対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらは R AM 103等に一時的に記憶される。
[0029] 画像処理部 107は、 DVD— ROMから読み出されたデータを CPU 101や画像処 理部 107が備える画像演算プロセッサ（図示せず）によってカ卩ェ処理した後、これを 画像処理部 107が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記 録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部 10 7に接続されるモニタ（図示せず)へ出力される。これにより、各種の画像表示が可能 となる。
[0030] 画像演算プロセッサは、 2次元の画像の重ね合わせ演算やアルファブレンデイング 等の透過演算、各種の飽和演算を高速に実行できる。
[0031] また、仮想 3次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情 報を、 Zバッファ法によりレンダリングして、所定の視点位置から仮想 3次元空間に配 置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速 実行も可能である。
[0032] さらに、 CPU 101と画像演算プロセッサが協調動作することにより、文字の形状を 定義するフォント情報にしたがって、文字列を 2次元画像としてフレームメモリへ描画 したり、各ポリゴン表面へ描画することが可能である。
[0033] また、麻雀ゲームの牌の画像やトランプゲームのカードの画像などの情報を DVD —ROMに用意しておき、これをフレームメモリに展開することによって、現在の手牌 や手札を画面に表示することができるようになる。
[0034] NIC 109は、情報処理装置 100をインターネット等のコンピュータ通信網（図示せ ず）に接続するためのものであり、 LAN (Local Area Network)を構成する際に用いら れる 10BASE—TZ100BASE—T規格にしたがうものや、電話回線を用いてインタ 一ネットに接続するためのアナログモデム、 ISDN (Integrated Services Digital Netwo rk)モデム、 ADSL (Asymmetric Digital Subscriber Line)モデム、ケーブルテレビジョ ン回線を用いてインターネットに接続するためのケーブルモデム等と、これらと CPU 101との仲立ちを行うインターフェース（図示せず）により構成される。
[0035] 音声処理部 110は、 DVD— ROM力も読み出した音声データをアナログ音声信号 に変換し、これに接続されたスピーカ（図示せず)から出力させる。また、 CPU 101 の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、こ れに対応した音声をスピーカから出力させる。
[0036] 音声処理部 110では、 DVD— ROMに記録された音声データが MIDIデータであ る場合には、これが有する音源データを参照して、 MIDIデータを PCMデータに変 換する。また、 ADPCM (Adaptive Differential Pulse Code Modulation)开式や Ogg V orbis形式等の圧縮済音声データである場合には、これを展開して PCMデータに変 換する。 PCMデータは、そのサンプリング周波数に応じたタイミングで DZA (Digital /Analog)変換を行って、スピーカに出力することにより、音声出力が可能となる。
[0037] このほか、情報処理装置 100は、ハードディスク等の大容量外部記憶装置を用い て、 ROM 102、 RAM 103、外部メモリ 106、 DVD— ROMドライブ 108に装着さ れる DVD— ROM等と同じ機能を果たすように構成してもよ ヽ。
[0038] 次に、音声処理装置 200の概要構成について図面を参照して説明する。
図 2は、本実施形態に係る音声処理装置 200の概要構成を示す模式図である。 図 3は、仮想空間内に、到達点 301と、到達点 301を取り囲む立体 302と、オブジェ タト 303とが配置されて 、る例を示す図である。 [0039] 音声処理装置 200は、計算部 201と、変化部 202と、出力部 203とを備える。
[0040] 計算部 201は、仮想空間内に配置されるオブジェクト 303により反射される反射音 が到達する到達点を含む立体 302が占める領域と、オブジェクト 303と、が交わる量 Vobjを求めて、求めた量 Vobjを変化部 202に入力する。あるいは、到達点 301を含 む立体 302と、オブジェクト 303と、が交わる領域の分布を求めて、求めた領域の分 布を示すデータを変化部 202に入力する。
なお、 CPU 101と画像処理部 107とが共働することにより、計算部 201として機能 する。
[0041] ここで、仮想空間内に配置されたキャラクターなどが仮想空間内の様子を観測する と想定される点として、視点と聴点とがある。視点は、仮想空間内を見る点であり、例 えば 3Dグラフィックスの表示に用いられる。聴点は、仮想空間内の音を聴く点であり 、例えばコンサートホールの音場の設計などに用いられる。また、聴点は仮想空間内 の音声の波動が到達する到達点である。本発明の理解を容易にするため、以下の説 明では、仮想空間内の音声の到達点を「受聴点」と呼ぶ。例えば、ユーザが仮想空 間内で車オブジェクトを操作して順位を競うようなカーレ一シングゲームの場合、その ユーザが操作する車オブジェクトの運転席の位置が受聴点になる。
[0042] 例えば、図 3に示すように、受聴点 301 (到達点）を含む立体 302は、 3次元仮想空 間内の受聴点 301を取り囲む直方体である。この立体 302は、各辺の長さが X方向に Lx、 y方向に Ly、 z方向に Lzの直方体を 1つの単位図形として、この単位図形の集 合力 構成される。本図では、立体 302は、合計 5 X 5 X 5 = 125個の単位図形から 構成される。立体 302は、仮想空間内で受聴点 301の絶対位置が移動すると、一緒 に仮想空間内を移動する。すなわち、立体 302に対する受聴点 301の相対位置は 一定である。なお、立体 302を構成する単位図形の数はこれに限られず任意に設定 することができる。例えば、単位図形の数はゲームのシーンごとに可変としてもよい。
[0043] なお、受聴点 301を視点として仮想画像を表示させる場合には、より現実感を向上 させるために、立体 302はこの視点からの視線方向に基づ 、て配置されることが望ま しい。また、立体 302の重心座標と受聴点 301の座標とがー致するように立体 302を 配置することが典型的である。 [0044] オブジェクト 303は、仮想空間内の任意の形状を持つ図形で表される。例えば、力 一レーシングゲームの場合、オブジェクト 303は、コース付近の障害物、側壁、建物、 競争相手の車、対向車など、多様な形状をもつ。
[0045] また、交わる量 Vobjとは、仮想空間内で、受聴点 301を含む立体 302が占める領 域と、オブジェクト 303が占める領域とが重なる部分の大きさを示す量である。
[0046] 例えば、図 4Aのように、受聴点 301を含む立体 302とオブジェクト 303とが離れて いると、立体 302とオブジェクト 303とが交わる領域は存在せず、交わる量 Vobjはゼ 口である。一方、図 4Bのように、立体 302とオブジェクト 303とが接近すると、両者の 交わる領域が存在し、交わる量 Vobjはゼロでな ヽ値を持つ。
[0047] 計算部 201は、立体 302とオブジェクト 303とが交わる量 Vobjとして、例えば両者 の交わる部分の体積値を求める。ここで、オブジェクト 303の形状は任意であるため、 交わる領域の体積値を厳密に求めるためには計算量が膨大になる場合がある。本実 施形態では、計算部 201は、立体 302を構成する単位図形ごとに、オブジェクト 303 と交わる領域が存在する力否かを判定し、単位図形内に交わる領域が存在すればそ の単位図形をオブジェクト 303の一部分とみなす。そして、計算部 201は、すべての 単位図形にっ 、てこの判定を行 、、オブジェクト 303の一部分とみなされた単位図 形の体積値の合計値を、立体 302とオブジェクト 303とが交わる部分の体積値とする 。なお、オブジェクト 303の形状が複雑である場合には、オブジェクト 303に外接する 最小の図形 (例えば、直方体、球体等)を設定して、この外接図形と立体 302との交 わる領域を、オブジェクト 303と立体 302との交わる領域と近似してもよ 、。
[0048] 例えば、図 3において、 X軸、 y軸、 z軸が互いに直交する場合、単位図形 1個あたり の体積値 Vunitは、 [式 1]で表される。
Vunit=Lx X Ly X Lz …[式 1]
また、オブジェクト 303の一部分とみなされた単位図形の数が n個（nは 0以上の整 数)であるとすると、交わる量 Vobjは [式 2]で表される。
Vobj = Vunit X n · · · [式 2]
[0049] なお、ある単位図形内での交わる部分が所定の割合 (例えば、 50%)以上の場合 に、その単位図形をオブジェクト 303の一部分とみなすようにしてもょ 、。 [0050] また、オブジェクト 303内に所定の複数個の判定ポイントを設けて、この判定ポイン トが単位図形内に存在すれば、その単位図形をオブジェクト 303の一部分とみなす ようにしてもよい。あるいは、この判定ポイントが単位図形内に所定の個数以上存在 すれば、その単位図形をオブジェクト 303の一部分とみなすようにしてもょ 、。
[0051] 例えば、立体 302が X方向に 5個、 y方向に 5個、 z方向に 5個、の合計 125個の単 位図形から構成され、図 5Aのように立体 302とオブジェクト 303とが交わる領域が存 在するとする。このとき、計算部 201は、上述のいずれかの方法で単位図形ごとにォ ブジェクト 303が存在するか否かを判定し、例えば図 5Bのように分布する 10個の単 位図形がオブジェクト 303の一部分であるとみなす。そして、計算部 201は、立体 30 2とオブジェクト 303とが交わる量 Vobjとして体積値「10 (単位は任意）」を得る。
[0052] また、オブジェクト 303ごとに予め識別番号 i(iは 1以上の整数）を付与し、オブジェ タト 303ごとに所定の係数 K(i)を設定しておき、単位図形 iに対応する交わる量 V (i) を、 [式 3]のように係数 K(i)と単位図形 1個あたりの体積値 Vunitとを乗じることにより 求めてもよい。
V (i) =K(i) X Vunit · · · [式 3]
そして、立体 302とオブジェクト 303とが交わる領域のすべての単位図形につ!、て の V(i)の総和を、交わる量 Vobjとしてもよい。
[0053] すなわち、単位図形ごとに、交わる量 V (i)に重みを設定してもよい。例えば、仮想 空間内のオブジェクト 303の材質 (例えば、コンクリート、鉄板など)や形状 (例えば、 均一な平面、穴の空いた平面など）に基づいて、予めこの係数 K(i)を設定してもよい
[0054] あるいは、体積値の代わりに、受聴点 301を含む立体 302とオブジェクト 303とが交 わる領域が存在する（オブジェクト 303の一部分とみなされる）単位図形の数 n (nは 0 以上の整数）を、交わる量 Vobjとしてもよい。
[0055] また、体積値の代わりに、受聴点 301を含む立体 302を構成する単位図形の総数 Nunitに対する、オブジェクト 303とが交わる領域が存在する（オブジェクト 303の一 部分とみなされる）単位図形の数 nの割合を [式 4]のように求めて、この割合の大きさ を、交わる量 Vobjとしてもよい。 Vobj = n/Nunit …[式 4]
[0056] 変化部 202は、計算部 201により求められた、受聴点 301を含む立体 302とォブジ ェクト 303とが交わる量 Vobj (例えば、体積値)や領域分布に基づいて、このオブジェ タト 303から反射される反射音 (例えば、自動車のエンジン音の反射音など）を変化さ せる音声処理を行う。変化部 202は、反射音を変化させることを示す情報 (例えば、 変化後の音量、定位等を設定するパラメータ等)を出力部 203に入力する。
なお、 CPU 101と音声処理部 110とが共働することにより、変化部 202として機能 する。
[0057] 例えば、変化部 202は、計算部 201により求められた体積値に基づいて、オブジェ タト 303からの反射音の音量を変化させることができる。すなわち、変化部 202は、受 聴点 301を含む立体 302とオブジェクト 303とが交わる領域の体積値が大きくなれば なるほど、オブジェクト 303からの反射音の音量を大きくすることができる。
[0058] また、変化部 202は、計算部 201により求められた領域分布に基づいて、オブジェ タト 303からの反射音の定位 (音源の位置)を変化させることができる。すなわち、変 化部 202は、受聴点 301を含む立体 302とオブジェクト 303とが交わる領域の分布が 受聴点 301の左側（あるいは右側）に偏って!/、れば左側（あるいは右側）からの反射 音を大きくし、前方 (あるいは後方）に偏っていれば前方 (あるいは後方)からの反射 音を大きくすることができる。
[0059] ここで、計算部 201により求められた領域分布は 3次元で表されるため、受聴点 30 1の上方 (ある!/、は下方）に偏って!/、れば上方 (あるいは下方)からの反射音を大きく することもできる。さらに、受聴点 301から見た単純な前後 ·左右 ·上下の関係だけで はなぐ例えば「受聴点 301から見た左上前方斜め 30度の方向」などのように立体的 に任意に定位を求めることができる。
[0060] 例えば、変化部 202は、オブジェクト 303が存在するとみなされた単位図形の集合 の重心座標を求めて、この重心座標と受聴点 301の座標とを結ぶベクトルの向きに 基づいて定位を求める。ただし定位を求める方法はこれに限定されず、他の方法を 用いてもよい。
[0061] また、変化部 202は、オブジェクト 303が存在する領域分布と受聴点 301の位置と に基づいて、反射音を再生するまでの時間的なずれを生じさせることができる。例え ば、変化部 202は、上述のような重心座標を求めて、この重心座標と受聴点 301の 座標とに基づいて距離を求め、反射音が受聴点 301に到達するまでの時間（つまり、 反射音の再生開始の時間)を決定する。
[0062] このように、音声処理装置 200は、複雑な計算を行うことなく簡便に、計算部 201に より求められた領域分布や体積値に基づいて、音量、定位、時間差などを変化させ ることがでさる。
[0063] さらには、変化部 202は、計算部 201により求められた領域分布に基づいて、反射 音を反響させる（エコーをかける）エフェクトをかけることができる。例えば、カーレーシ ングゲームでユーザが操作する車オブジェクトが図 6Aのようなオブジェクト 303 (トン ネル）に入ったとき、計算部 201により求められる領域分布は、図 6Bに示すような受 聴点 301を取り囲む分布になる。
[0064] 一方、現実の音響効果では、自動車のエンジン音はトンネルの壁の一部分により 反射されて第 1の反射音が発生し、第 1の反射音はさらに壁の他の一部分により反射 されて第 2の反射音が発生する。同様に反射音が繰り返し反射されることにより、結果 として、第 1の反射音から時間が遅れて、音量が減衰した第 2の反射音が続くなどし て、反射音は反響する。この効果を厳密に計算するためには、トンネルの壁を論理的 に分割した仮想断片のひとつと音源との距離、受聴点 301の移動速度、音源の移動 速度などに基づいて、仮想断片のひとつによる反射音を求め、すべての仮想断片に ついて積分して反射音を求め、同様に得られた反射音のすべてを合成する処理を 行わなければならない。
[0065] しかし、本実施形態によれば、このような厳密で複雑な計算を行うことなぐ反射音 を変化させることができる。具体的には、変化部 202は、計算部 201により求められた 領域分布と体積値とに基づいて、音声データに施す反響効果の程度、音量、定位な どを示すパラメータを求めて、反響効果の程度、音量、定位などを示すパラメータを 出力部 203に入力する。
[0066] 例えば、変化部 202は、計算部 201により求められた領域分布が受聴点 301を含 む立体 302の表面の一側面にのみ分布するときには反響効果が無ぐ図 7のように 一側面とその反対側にも分布するときには所定量の反響効果を発生させる。例えば
、ある時刻 T1に反射音を所定の音量で再生し、所定の時間経過後に反射音を始め の音量より減衰させた音量で再生する。そしてこれを繰り返し行い、結果として反射 音が反響するエフェクトをかける。更に図 6Bのように上部も合わせて 3方向に分布す るときには更に大きい反響効果を発生させることができる。
[0067] このように、音声処理装置 200は、厳密で複雑な計算を行うことなく簡便に、計算部 201により求められた領域分布に基づいてこのような反射音を反響させる（エコーを かける）エフェクトをかけることができる。なお且つ計算部 201により求められた交わる 量 Vobjの大きさに基づいてこの反響の効果の大小を変えることができる。
[0068] さらには、変化部 202は、計算部 201により求められた領域分布に基づいて、反射 音の特定の周波数成分を減衰する（音をこもらせる）エフェクトをかけることもできる。 例えば受聴点 301 (ユーザが操作する車オブジェクト）が図 6Aのようなオブジェクト 3 03 (トンネル）に入ったとき、変化部 202は図 6Bのように計算部 201により求められた 領域分布と交わる量 Vobjとを取得して反射音の特定の周波数成分 (例えば高周波 成分)を所定量だけ減衰させ、更に図 8Aのようなオブジェクト 303 (もっと狭いトンネ ル）に入ったときには、図 8Bのような領域分布と交わる量 Vobjとを取得して更に大き V、減衰効果を発生させることができる。
[0069] このように、音声処理装置 200は、厳密で複雑な計算を行うことなぐ図 6Bや図 8B などのように計算部 201により求められた領域分布と体積値とに基づいて、音をこもら せるエフェクトをかけることができる。なお且つ計算部 201により求められた体積値や 領域分布に基づいてこの効果の大小を変えることができる。
[0070] なお、変化部 202が行う反射音の音声処理は、上述したものに限られるものではな ぐ他のエフェクトを行うように構成することもできる。例えば、受聴点 301やオブジェク ト 303の移動速度に基づいて、反射音の周波数や音程などを変化させるエフェクトを 行うように構成することもできる。
[0071] 出力部 203は、変化部 202により変化された反射音から、仮想空間内の受聴点 30 1で受聴される音声を出力する。すなわち、出力部 203は、変化部 202から反射音を 変化させる情報を取得し、 DVD— ROMドライブ 108に装着された DVD— ROM等 の情報記憶媒体に予め記憶された再生対象の反射音の音声データを取得する。そ して、出力部 203は、再生対象の反射音の音声データを変化させて出力する。変化 された反射音は、音声処理部 110に接続されたスピーカ等によって出力される。結果 としてユーザは反射音を含むゲーム音などを聴くことができる。
なお、 CPU 101と音声処理部 110とが共働することにより、出力部 203として機能 する。
[0072] 例えば、仮想空間内でのカーレ一シングゲームにおいて図 9Aのようなシーンを考 える。この例では、受聴点 301はユーザが操作する車オブジェクトの運転席である。 受聴点 301付近には併走する車オブジェクト 901やコース付近の建物オブジェクト 9 02といったオブジェクト 303が存在する。受聴点 301で受聴される音声には、例えば ユーザが操作する車オブジェクトのエンジン音、このエンジン音のオブジェクト 303 ( 併走する車オブジェクト 901や近くの建物オブジェクト 902など）による反射音、ォブ ジェタト 303等力もの発声音などがある。このうちオブジェクト 303による反射音は、上 述のように変化部 202により変化された反射音である。受聴点 301を含む立体 302を 考慮すると、オブジェクト 303の 1つである併走する車オブジェクト 901が存在する領 域分布 911と、オブジェクト 303の 1つである近くの建物オブジェクト 902が存在する 領域分布 912は、例えば図 9Bのようになる。この場合、併走する車オブジェクト 901 による第 1の反射音は、図 9Bの領域分布 911と体積値「20 (単位は任意)」とに基づ いて変化部 202により変化された反射音になる。また、近くの建物オブジェクト 902に よる第 2の反射音は、図 9Bの領域分布 912と体積値「10 (単位は任意)」とに基づい て変化部 202により変化された反射音になる。出力部 203は、この第 1及び第 2の反 射音を含む音声を出力する。
[0073] 例えば、本図のような状況では、出力部 203は、併走する車オブジェクト 901による 第 1の反射音の音量を、建物オブジェクト 902による第 2の反射音の音量の 2倍に設 定して出力できる。また、出力部 203は、第 1及び第 2の反射音にそれぞれ別の定位 を設定して反射音を出力できる。さらには、出力部 203は、受聴点 301が 2つのォブ ジェタト 303に挟まれることによる、反射音を反響させるエフェクトや、反射音をこもら せるエフェクトをかけることもできる。 [0074] 次に、本実施形態に係る音声処理装置 200が行う、反射音の音声処理について、 図 10のフローチャートを用いて説明する。
[0075] まず、音声処理装置 200は、仮想空間内に受聴点 301とオブジェクト 303を配置す る。例えば、 CPU 101は、 DVD— ROMドライブ 108に装着された DVD— ROM 等力も読み込んだ所定のゲーム用プログラムを読み込んで実行する。そして、 CPU 101は画像処理部 107と共働して、受聴点 301とオブジェクト 303の座標等を計算 してこれらを仮想空間内に配置し、任意の視点の視線方向の仮想画像を生成する。 生成された仮想画像は、画像処理部 107に接続されたモニタ等に表示される。
[0076] 次に、計算部 201は、仮想空間内の受聴点 301を取り囲むように立体 302を配置 する（ステップ Sl l)。この立体 302の形状、サイズ、立体 302を構成する単位図形は 、ゲーム用プログラムにより予め決められている。あるいは、ゲームのシーンによって 可変としてもよい。
[0077] 計算部 201は、受聴点 301を含む立体 302とオブジェクト 303の位置情報を取得 する (ステップ S12)。例えば、位置情報は、 3次元の仮想空間内における受聴点 30 1、立体 302及びオブジェクト 303の座標である。
[0078] 計算部 201は、取得した位置情報に基づいて、受聴点 301を含む立体 302とォブ ジェタト 303とが交わる領域が存在する力否かを判定する（ステップ S 13)。
[0079] 受聴点 301を含む立体 302とオブジェクト 303とが交わる領域が存在しない場合（ ステップ S13 ;NO)、音声処理装置 200は反射音の音声処理を終了する。すなわち 、音声処理装置 200はオブジェクト 303による反射音の再生を行わない。
[0080] 一方、交わる領域が存在する場合 (ステップ S 13 ; YES)、計算部 201は、交わる領 域の分布を求める（ステップ S 14)。
[0081] 例えば、図 9Aのように、仮想空間内のカーレ一シングゲームにおいて、仮想空間 内にオブジェクト 303とユーザが操作する車オブジェクトの受聴点 301とが配置され、 受聴点 301におけるユーザが操作する車オブジェクトのエンジン音のオブジェクト 30 3による反射音を得るとする。計算部 201は、ユーザが操作する車オブジェクトと併走 する車オブジェクト 901が存在する領域分布 911を上述した方法により求める。また、 同様に、計算部 201は、受聴点 301の近くの建物オブジェクト 902が存在する領域 分布 912を上述した方法により求める。結果として、計算部 201は、図 9Bのようにォ ブジェクト 303が存在する領域分布を得る。
[0082] 計算部 201は、取得した受聴点 301を含む立体 302とオブジェクト 303とが交わる 領域の分布から、上述した方法により交わる量 Vobjを求める (ステップ S15)。
[0083] 例えば、図 9Bのように、計算部 201は、受聴点 301を含む立体 302とオブジェクト 3
03 (車オブジェクト 901)との交わる量 Vobjとして体積値「20」を得る。同様に、計算 部 201は、受聴点 301を含む立体 302とオブジェクト 303 (建物オブジェクト 902)と の交わる量 Vobjとして体積値「10」を得る。
[0084] なお、計算部 201は、受聴点 301を含む立体 302とオブジェクト 303とが交わる領 域が存在するか否かに関わらず、交わる領域の分布と、交わる量 Vobjとを求めるよう に構成してもよい。
[0085] 次に、変化部 202は、計算部 201により求められた交わる領域の分布と交わる量 V objとに基づいて、オブジェクト 303による反射音を変化させる (ステップ S16)。
[0086] 例えば、変化部 202は、交わる領域の体積値が大きくなればなるほど、反射音の音 量を大きくする。また、例えば、変化部 202は、交わる領域の分布によって、反射音 の定位を変化させる。
[0087] 例えば、変化部 202は、交わる領域の分布力 図 7のように受聴点 301を挟む両側 に存在する分布に近ければ近いほど、反射音の反響 (エコー）の度合い（例えば、持 続時間など)を大きくする。
[0088] 例えば、変ィ匕部 202は、図 8Bのように受聴点 301のオブジェクト 303により囲まれる 領域が狭ければ狭いほど、反射音の特定の周波数成分を減衰させる (音をこもらせ る）度合いを大きくする。
[0089] そして、出力部 203は、変化部 202により変化された反射音を出力する (ステップ S 17)。すなわち、出力部 203は、ステップ S16で求められた、反射音を変化させること を示す情報と、再生する音声データとを用いて、オブジェクト 303による変化された反 射音と、その他のゲーム上のキャラクタ等が発声する音声、効果音、 BGMなどを出 力する。
[0090] なお、この反射音の音声処理は、所定のタイミング (例えば、画像処理部 107に接 続されたモニタに画像を表示する際の垂直同期のタイミング等）の割り込み処理とし て行われることが望ましい。
[0091] このように、音声処理装置 200は、厳密で複雑な計算を行うことなく簡便に、計算部 201により求められた領域分布や体積値に基づいて、反射音の音量、定位、時間差 などを変化させることができる。また、反射音にエコーをかけたり、音をこもらせたりす ることができる。この結果、仮想空間において立体的な音響効果を得ることができる。
[0092] (実施形態 2)
次に、本発明の他の実施形態について説明する。本実施形態では、計算部 201は 、受聴点 301を含む立体 302とオブジェクト 303とが交わる量 Vobjとして、体積値の 代わりに面積値を求める。なお、本実施形態に係るその他の音声処理装置 200の構 成は上述した実施形態と同様であるため、説明を省略する。
[0093] 計算部 201は、立体 302とオブジェクト 303とが交わる量 Vobjとして、両者の交わる 領域の面積値を求める。ここで、オブジェクト 303の形状は任意であるため、交わる領 域の面積値を厳密に求めるためには計算量が膨大になる場合がある。本実施形態 では、計算部 201は、立体 302の表面を構成する単位図形ごとに、オブジェクト 303 と交わる領域が存在するか否かを判定し、交わる領域が存在すればその単位図形を 交わる領域の一部分とみなす。そして、すべての単位図形についてこの判定を行い 、交わる領域の一部分とみなされた単位図形の面積値の合計値を、交わる量 Vobjと する。
[0094] なお、単位図形内の交わる領域が所定の割合 (例えば、 50%)以上の場合に、そ の単位図形を、交わる量 Vobjの一部分とみなすようにしてもょ 、。
[0095] また、面積値の代わりに、受聴点 301を含む立体 302の表面を構成する単位図形 の総数 Nunitに対する、オブジェクト 303とが交わる領域が存在する単位図形の数 n の割合を [式 4]のように求めて、この割合の大きさを、交わる量 Vobjとしてもよい。
[0096] 例えば、立体 302が直方体であり、各面が 5 X 5 = 25個の単位図形力 構成され、 図 11Aのように立体 302とオブジェクト 303とが交わる領域が存在するとする。このと き、計算部 201は、上述のいずれかの方法で単位図形ごとにオブジェクト 303が存在 する力否かを判定し、例えば図 11Bのように分布する 10個の単位図形力 立体 302 とオブジェクト 303とが交わる領域であるとみなす。そして、計算部 201は、立体 302 とオブジェクト 303とが交わる量 Vobj = 10 (単位は任意）を得る。
[0097] そして、変化部 202は、上述の実施形態と同様に、計算部 201により求められた立 体 302とオブジェクト 303との交わる領域の分布と交わる量 Vobjとに基づいて、反射 音を変化させる。
[0098] このように、音声処理装置 200は、上述の実施形態と同様に、厳密で複雑な計算を 行うことなく簡便に、計算部 201により求められた領域分布や面積値に基づいて、反 射音の音量、定位、時間差などを変化させることができる。また、反射音にエコーをか けたり、音をこもらせたりすることができる。この結果、仮想空間において立体的な音 響効果を得ることができる。また、音声処理装置 200は、交わる量 Vobjとして面積値 を用いることにより、体積値を用いるよりも更に簡便に立体的な音響効果を得ることが できる。
[0099] (実施形態 3)
次に、本発明の他の実施形態について、図 12A, 12B, 12Cを用いて説明する。 本実施形態では、計算部 201は、受聴点 301の移動速度に基づいて、仮想空間内 に立体 302を配置する。
[0100] 計算部 201は、上述の実施形態と同様に、仮想空間内に受聴点 301を含む立体 3 02を配置する。本実施形態では、計算部 201は、受聴点 301の移動速度を取得し、 この移動速度に基づいて立体 302の中心位置を変更する。例えば、計算部 201は、 受聴点 301の移動する方向に立体 302の中心位置を所定量 Δ Lだけ移動させて配 置する。具体的には、計算部 201は、移動速度が大きくなればなるほどこの所定量 A Lを大きくする。例えば所定量 A Lを移動速度の大きさに比例して大きくする。ある いは、例えば所定量 Δ Lが移動速度の大きさに伴って段階的に大きくなるように対応 づけた階段関数を用いて変更する。ただし、所定量 A Lの大きさを決める方法はこれ らに限定されるものではない。
[0101] 例えば、図 12A, 12B, 12Cは、受聴点 301の真上方向（z方向）から見た立体 30 2の配置図である。受聴点 301の移動速度がゼロの場合、図 12Aのように受聴点 30 1と立体 302の中心位置は一致する。一方、受聴点 301の移動速度がゼロでない場 合、図 12B、図 12Cのように、立体 302の中'、位置 ίま、受 301の移動方向 351 に所定量 A Lだけ移動する。このように、立体 302の中心位置は受聴点 301の移動 方向 351に移動するため、移動する方向からの反射音の変化が他の方向と比較して 強調される。
[0102] そして、計算部 201は、上述の実施形態と同様に、立体 302とオブジェクト 303とが 交わる量 Vobj (例えば、体積値や面積値)を求めて、求めた量 Vobjを変化部 202に 入力する。あるいは、立体 302と、オブジェクト 303と、が交わる領域の分布を求めて 、求めた領域の分布を示すデータを変化部 202に入力する。
[0103] 変化部 202は、計算部 201により求められた交わる領域の分布及び交わる量 Vobj に基づいて、反射音を変化させる。なお、音声処理装置 200のその他の概要構成は 上述の実施形態と同様であるため説明を省略する。
[0104] このように、音声処理装置 200は、受聴点 301が移動する方向 351からの反射音の 変化を強調するエフェクトをかけることができる。例えば、音声処理装置 200は、厳密 で複雑な計算をしないで、受聴点 301が移動する方向 351からの反射音の音量を大 きくしたり定位を移動したりすることができる。また、受聴点 301が移動する方向に基 づいて、反射音を反響させたりこもらせたり、あるいは更に他の音響効果をさせたりす る度合 、を変更することができる。
[0105] (実施形態 4)
次に、本発明の他の実施形態について、図 13A, 13B, 13Cを用いて説明する。
[0106] 計算部 201は、上述の実施形態と同様に、仮想空間内に受聴点 301を含む立体 3 02を配置する。本実施形態では、計算部 201は、受聴点 301の移動速度を取得し、 この移動速度に基づいて立体 302の基準方向（x、 y、 z方向）を変更する。例えば、 立体 302の形状を直方体としたとき、計算部 201は、立体 302の直交する 3辺のうち 受聴点 301の移動方向 351に 1辺を設定し、移動方向 351に垂直でかつ水平な方 向を他の 1辺に設定し、これらの 2辺に垂直な方向に他の 1辺を設定して、立体 302 を配置する。
[0107] 例えば、図 13A, 13B, 13Cは、受聴点 301の真上方向（z方向）から見た立体 30 2の配置図である。受聴点 301の移動速度がゼロの場合、図 13Aのように立体 302 の仮想空間内における向きは仮想空間のグロ一ノ レ座標（ワールド座標）系の各軸 方向と一致する。一方、受聴点 301の移動速度がゼロでない場合、図 13Bのように 立体 302は移動する向きに従って配置される。
[0108] そして、変化部 202は、計算部 201により求められた交わる領域の分布及び交わる 量 Vobjに基づいて、反射音を変化させる。なお、音声処理装置 200のその他の概要 構成は上述の実施形態と同様であるため説明を省略する。
[0109] このように、音声処理装置 200は、受聴点 301の移動方向 351に基づいて反射音 の変化の度合いを変更するエフェクトをかけることができる。例えば、音声処理装置 2 00は、受聴点 301の移動方向に基づいて反射音の定位を変化させることができる。
[0110] なお、計算部 201は、図 13Cのように、受聴点 301の移動する向きに基づいて立体 302の基準方向を変更するとともに、移動する向きに立体 302の中心位置を所定量 A Lだけ移動させることもできる。これにより、受聴点 301の移動する方向の反射音の 変化を強調し、かつ、移動する方向に基づいて定位を決めることができるため、より 現実感のある音響効果を得ることができる。なお、この場合も上述の実施形態のよう に計算部 201は移動速度が大きくなればなるほど移動速度の向きに所定量 A Lを大 きくするが、これに限定されない。
[0111] (実施形態 5)
次に、本発明の他の実施形態について、図 14を用いて説明する。本実施形態では 、音声処理装置 200は、仮想空間内の受聴点 301から仮想空間内に配置されるォ ブジェクト 303を見た仮想画像を生成する画像生成部 1201と、受聴点 301から仮想 空間内に配置されるオブジェクト 303を見る視線方向 352を取得する視線方向取得 部 1202と、を更に備える。そして、計算部 201は、視線方向取得部 1202により取得 された仮想画像の視線方向に基づいて立体 302を配置する。なお、音声処理装置 2 00のその他の構成は上述した実施形態と同様であるため、説明を省略する。
[0112] 画像生成部 1201は、受聴点 301を視点として、仮想空間内に配置されるオブジェ タト 303を見た仮想画像を生成する。例えば、画像生成部 1201は、 CPU 101によ りゲーム用プログラムが実行されると、ゲームのシーンやユーザ力もの入力指示に合 わせて視点を移動させ、その視点からの視線方向に見える仮想画像を生成して出力 する。生成された仮想画像は、画像処理部 107に接続されるモニタに表示される。 なお、 CPU 101と画像処理部 107とが共働することにより、画像生成部 1201とし て機能する。
[0113] 視線方向取得部 1202は、仮想空間内の受聴点 301を視点とする仮想画像の視線 方向 352を画像生成部 1201から取得し、取得した視線方向 352を示すデータを計 算部 201に入力する。例えば視線方向取得部 1202は、画像生成部 1201により生 成された画像に含まれる所定のオブジェクト 303の位置情報と受聴点 301の位置情 報とに基づ 、て視線方向ベクトルを取得して、このベクトルの向きを視線方向とする。 あるいは、視線方向取得部 1202は、 NIC 109を介してコンピュータ通信網で相互 に接続された他の情報処理装置力ゝらの入力に基づいて、仮想画像の視線方向 352 を取得するように構成してもよ 、。
なお、 CPU 101と画像処理部 107とが共働することにより、視線方向取得部 120 2として機能する。
[0114] 計算部 201は、視線方向取得部 1202により取得された仮想画像の視線方向 352 に基づ!/、て、仮想画像の視線方向 352に立体 302の中心位置を所定量 Δ Lだけ移 動させて立体 302を配置する。そして、計算部 201は、上述の実施形態と同様に、受 聴点 301を含む立体 302とオブジェクト 303との交わる領域分布と交わる量 Vobjとを 求めて変化部 202に入力する。なお、計算部 201は立体 302の中心位置を視線方 向 352に所定量 A Lの大きさだけ移動する。例えば、所定量 A Lの大きさはゲームの シーンごと（例えばカーレ一シングゲームの場合のコースごと等）に予め決められるが 、所定量 Δ Lの大きさを決める方法はこれに限定されな 、。
[0115] 図 15A, 15Bは、受聴点 301の真上方向（z方向）から見た立体 302の配置図であ る。例えば、視線方向 352が仮想空間のグローバル座標系における y方向の場合、 図 15Aのように、計算部 201は立体 302の中心位置を視線方向 352である y方向に 所定量 A Lの大きさだけ移動する。このとき、画像生成部 1201により生成される仮想 画像の視界範囲 353は本図の斜線部の範囲である。例えば、さらに視線方向が X方 向に移動すると、図 15Bのように、計算部 201は立体 302の中心位置を新しい視線 方向に移動させる。 [0116] 変化部 202は、上述の実施形態と同様に、仮想画像の視線方向 352を考慮した立 体 302とオブジェクト 303とが交わる領域分布と交わる量 Vobjとに基づいて、受聴点 301で受聴される音声を変化させる。そして、出力部 203は、変化部 202により変化 された反射音を出力する。
[0117] このように、音声処理装置 200は、仮想空間内における受聴点 301の位置が同じ であっても、視線方向 352が異なれば視線方向 352に合致するように反射音等の音 声の定位を変化させることができ、より現実感を起こさせることができる。
[0118] (実施形態 6)
次に、本発明の他の実施形態について、図 16A, 16Bを用いて説明する。本実施 形態も、図 14のように画像生成部 1201と視線方向取得部 1202とを更に備える。
[0119] 計算部 201は、視線方向取得部 1202により取得された仮想画像の視線方向 352 に基づいて、仮想空間内に受聴点 301を含む立体 302を配置する。すなわち、計算 部 201は、仮想画像の視線方向 352に基づいて立体 302の基準方向（x、 y、 z方向） を変更して配置する。そして、計算部 201は、上述の実施形態と同様に、受聴点 301 を含む立体 302とオブジェクト 303とが交わる領域分布と交わる量 Vobjとを求めて変 化部 202に入力する。
[0120] 変化部 202は、上述の実施形態と同様に、仮想画像の視線方向 352を考慮した立 体 302とオブジェクト 303とが交わる領域分布と、交わる量 Vobjとに基づいて、受聴 点 301で受聴される音声を変化させる。例えば、変化部 202は、オブジェクト 303に よる反射音の定位を変化させる。そして、出力部 203は、変化部 202により変化され た反射音を出力する。
[0121] 例えば、計算部 201は、立体 302の直交する 3辺のうち視線方向 352に 1辺を設定 し、視線方向 352に垂直でかつ水平な方向に立体 302の他の 1辺を設定し、これら の 2辺の両方に垂直な方向に立体 302の他の 1辺を設定して、直方体の立体 302を 配置する。例えば図 16Aのように、立体 302の中心位置を受聴点 301から所定量 Δ Lの大きさだけ移動して立体 302を配置する。このとき、画像生成部 1201により出力 される仮想画像の視界範囲 353は本図の斜線部の範囲である。例えば、視線方向 3 52が移動すると、図 16Bのように計算部 201は立体 302の基準方向を視線方向 35 2にしたがって変化させる。また、所定量 A Lの大きさはゲームのシーンごと等に予め 決められるが、所定量 Δ Lの大きさを決める方法はこれに限定されな 、。
[0122] 変化部 202は、視線方向 352を受聴点 301の前後とみなし、視線方向 352に垂直 でかつ水平な方向を受聴点 301の左右とみなし、これらの前後方向と左右方向とに 垂直な方向を受聴点 301の上下とみなして、音声の定位を決める。そして、出力部 2 03は、変化部 202により変化された反射音を出力する。
[0123] このように、音声処理装置 200は、仮想空間内における受聴点 301の位置が同じ であっても、視線方向 352が異なれば視線方向 352に合致するように反射音の音声 の定位を変化させることができ、より現実感を起こさせることができる。
[0124] さらに、視線方向 352に加えて、受聴点 301の移動方向 351も考慮して立体 302を 配置して、立体 302とオブジェクト 303との交わる領域の分布や交わる量 Vobjを求め ることもできる。すなわち、計算部 201は、図 17Aのように、受聴点 301の移動する向 きに基づいて立体 302の基準方向を変更するとともに、視線方向 352に立体 302の 中心位置を所定量 Δ Lだけ移動させることもできる。
[0125] また、計算部 201は、図 17Bのように、視線方向 352に基づいて立体 302の基準方 向を変更するとともに、受聴点 301の移動する向きに基づ!/、て立体 302の中心位置 を所定量 Δ Lだけ移動させることもできる。
[0126] このように、受聴点 301の移動方向 351と視線方向 352とを組み合わせることにより 、受聴点 301の移動する方向の反射音の変化を強調し、かつ、視線方向 352に基づ いて定位を決めることができる。そのため、より現実感のある音響効果を得ることがで きる。なお、この場合も計算部 201は移動速度が大きくなればなるほど所定量 A Lを 大きくするが、これに限定されない。
[0127] (その他の実施形態）
本発明は、上述した実施形態に限定されず、種々の変形及び応用が可能である。
[0128] 上述した実施形態では、受聴点 301を含む立体 302を直方体とした力 これに限ら れない。例えば球体のように他の図形を用いてもよい。ただし、立体 302の形状は、 計算部 201による交わる量 Vobjを求める処理をより簡単にするために、受聴点 301 に対して立体的な対称性があることが望ま 、。 [0129] また、受聴点 301を含む立体 302あるいはその表面を構成する単位図形は、上述 した実施形態に限られるものではなぐ他の形状 (例えば、三角錐、三角形など）、他 の個数の単位図形を用いてもよい。ただし、単位図形の形状は、計算部 201による 交わる量 Vobjを求める処理をより簡単にするために、すべて同一にすることが望まし い。また、ゲームのシーンなどによって可変としてもよい。
[0130] また、計算部 201は、所定の条件を満たす場合に、受聴点 301を含む立体 302の 形状を変化させるように構成してもよい。例えば、仮想空間内でのカーレ一シングゲ ームにおいて、受聴点 301がユーザが操作する車オブジェクトの運転席としたとき、 運転席の右サイドの窓のみを開けると、計算部 201は立体 302のうち受聴点 301より 右側半分の領域のみを拡大させる。結果として、変化部 202は、複雑な計算を行うこ となく簡便に、右側半分に位置するオブジェクト 303による反射音の変化量を左側半 分より大きくするようなエフェクトをかけることができる。
[0131] あるいは、受聴点 301を含む立体 302を構成する単位図形に対応してそれぞれ予 め係数 K(i)を設定しておき、計算部 201は単位図形 iに対応する交わる量 V (i)を [ 式 3]のように単位図形ごとに重みを設定して求め、立体 302とオブジェクト 303と力 S 交わる領域のすべての単位図形についての総和を、交わる量 Vobjとする。そして、 計算部 201は、所定の条件を満たす場合に、係数 K (i)を変化させるように構成して もよい。例えば、仮想空間内でのカーレ一シングゲームにおいて、受聴点 301がュ 一ザが操作する車オブジェクトの運転席としたとき、運転席の右サイドの窓のみを開 けると、計算部 201は受聴点 301より右側半分に存在する単位図形に対応づけられ た係数 K(i)を大きくする。結果として、変化部 202は、複雑な計算を行うことなく簡便 に、右側半分に位置するオブジェクト 303による反射音の変化量を左側半分より大き くするようなエフェクトをかけることができる。
[0132] 上述した実施形態では、音声処理装置 200は仮想空間に受聴点 301とオブジェク ト 303とを配置して仮想画像を生成し、画像処理部 107に接続されるモニタに表示さ せ、反射音を変化させるが、仮想空間内に受聴点 301とオブジェクト 303とを配置し て仮想画像を表示させる処理を別の情報処理装置で行うように構成してもよ ヽ。そし て、音声処理装置 200は、 NIC 109等により情報処理装置と接続され、反射音を変 化させて出力する処理のみを行うように構成してもよ ヽ。
[0133] 上述した実施形態では、仮想空間に直交座標系を用いて説明したが、これに限ら れるものではなぐ例えば 1個の動径と 2個の偏角を用いた球座標のような極座標系 を用いてもよい。また、仮想空間の全体を表現するグローバル座標系（ワールド座標 系）と、オブジェクト 303ごとのローカル座標系（ボディ座標系）とを別々に設定して座 標計算等を行う構成を採用してもよい。
[0134] 上述した実施形態では、交わる量 Vobjとして体積値あるいは面積値のどちらかを 用いているが、これらの両方を用いてもよい。すなわち、計算部 201は、交わる量 Vo bjとして体積値及び面積値の両方を計算するように構成してもよい。例えば、異なる 2 つ以上のオブジェクト 303と立体 302との交わる体積値が同じである場合、計算部 20 1は更に交わる面積値を求めて、変化部 202は面積値の大きいほうの反射音を大き く変化させる (例えば、音量を大きくする)処理を行うことができる。さらには、計算部 2 01は体積値、面積値以外の他の量 (例えば、受聴点 301やオブジェクト 303の移動 速度等)も取得して、変化部 202は体積値、面積値以外の他の量にも基づいて反射 音を変化させるように構成してもよ 、。
[0135] 例えば、異なる 2つ以上のオブジェクト 303と立体 302との交わる量 Vobjが同じで ある場合、オブジェクト 303が分布する領域の重心と受聴点 301との距離の小さいほ うの反射音を大きく変化させる（例えば、音量を大きくする)処理を行ってもよい。この 場合、重心座標以外に、オブジェクト 303の受聴点 301に最も近い点の座標などを 用いることちでさる。
[0136] 例えば、変化部 202は、立体 302とオブジェクト 303との交わる量 Vobjが同じであ る場合、オブジェクト 303の移動速度（又は、受聴点 301に対するオブジェクト 303の 相対速度）に応じて、反射音を変化させる度合いを変更するようにしてもよい。
[0137] なお、本願については、日本国特許願 特願 2005— 377381号 を基礎とする優 先権を主張し、当該基礎出願の内容をすベて本願にとりこむものとする。
産業上の利用可能性
[0138] 以上説明したように、本発明によれば、仮想空間において立体的な音響効果を得 るために好適な音声処理装置、音声処理方法、ならびに、プログラムを提供すること ができる。特に、一般に普及している家庭用ゲーム機のように、高性能のハードゥエ ァを搭載することが難しい装置にも簡単に適用することができる。

Claims

請求の範囲
[1] 仮想空間内に配置されるオブジェクトにより反射される反射音が到達する到達点を 含む立体が占める領域と、当該オブジェクトと、が交わる量を計算する計算部 (201)、 前記計算部 (201)により計算された交わる量に基づいて、当該オブジェクトから反射 される反射音を変化させる変化部 (202)、
前記変化部 (202)により変化された反射音を、当該到達点で取得される音声として 出力する出力部 (203)、
を備えることを特徴とする音声処理装置。
[2] 請求項 1に記載の音声処理装置 (200)であって、
前記変化部 (202)は、当該立体と、当該オブジェクトと、が交わる領域の分布によつ て、当該反射音の定位を変化させる
ことを特徴とする音声処理装置。
[3] 請求項 1または 2に記載の音声処理装置 (200)であって、
当該仮想空間内の到達点力 当該仮想空間内に配置されるオブジェクトを見た画 像を生成する画像生成部 (1201)、
当該到達点力も当該仮想空間内に配置されるオブジェ外を見る視線方向を、前記 画像生成部 (1201)から取得する視線方向取得部 (1202)を更に備え、
前記計算部 (201)は、前記視線方向取得部 (1202)により取得された視線方向に基 づ 、て当該立体を配置して、当該立体と当該オブジェクトとの交わる量を計算する ことを特徴とする音声処理装置。
[4] 仮想空間内に配置されるオブジェクトにより反射される反射音が到達する到達点を 含む立体が占める領域と、当該オブジェクトと、が交わる量を計算する計算ステップ、 前記計算ステップにより計算された当該交わる量に基づ 、て、当該オブジェクトから 反射される反射音を変化させる変化ステップ、
前記変化ステップにより変化された反射音を、当該到達点で取得される音声として 出力する出力ステップ、
を備えることを特徴とする音声処理方法。
[5] コンピュータを、 仮想空間内に配置されるオブジェクトにより反射される反射音が到達する到達点を 含む立体が占める領域と、当該オブジェクトと、が交わる量を計算する計算部 (201)、 前記計算部 (201)により計算された交わる量に基づいて、当該オブジェクトから反射 される反射音を変化させる変化部 (202)、
前記変化部 (202)により変化された反射音を、当該到達点で取得される音声として 出力する出力部 (203)、
として機能させることを特徴とするプログラム。
コンピュータを、
仮想空間内に配置されるオブジェクトにより反射される反射音が到達する到達点を 含む立体が占める領域と、当該オブジェクトと、が交わる量を計算する計算部 (201)、 前記計算部 (201)により計算された交わる量に基づいて、当該オブジェクトから反射 される反射音を変化させる変化部 (202)、
前記変化部 (202)により変化された反射音を、当該到達点で取得される音声として 出力する出力部 (203)、
として機能させることを特徴とするプログラムを記録したコンピュータ読み取り可能な 情報記録媒体。
PCT/JP2006/323600 2005-12-28 2006-11-27 音声処理装置、音声処理方法、プログラム、ならびに、情報記録媒体 WO2007077696A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/159,610 US8155324B2 (en) 2005-12-28 2006-11-27 Voice processor, voice processing method, program, and information recording medium
CN2006800494448A CN101347043B (zh) 2005-12-28 2006-11-27 声音处理装置及声音处理方法
EP06833404A EP1968350A4 (en) 2005-12-28 2006-11-27 LANGUAGE PROCESSOR, LANGUAGE PROCESSING, PROGRAM AND INFORMATION RECORDING MEDIUM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-377381 2005-12-28
JP2005377381A JP4019095B2 (ja) 2005-12-28 2005-12-28 音声処理装置、音声処理方法、ならびに、プログラム

Publications (1)

Publication Number Publication Date
WO2007077696A1 true WO2007077696A1 (ja) 2007-07-12

Family

ID=38228054

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/323600 WO2007077696A1 (ja) 2005-12-28 2006-11-27 音声処理装置、音声処理方法、プログラム、ならびに、情報記録媒体

Country Status (7)

Country Link
US (1) US8155324B2 (ja)
EP (1) EP1968350A4 (ja)
JP (1) JP4019095B2 (ja)
KR (1) KR100936867B1 (ja)
CN (1) CN101347043B (ja)
TW (1) TWI322631B (ja)
WO (1) WO2007077696A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022219881A1 (ja) * 2021-04-12 2022-10-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、および、プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
CN104809259B (zh) * 2014-01-23 2019-03-08 腾讯科技（深圳）有限公司 混响三维空间定位方法和装置
JP5882403B2 (ja) * 2014-06-25 2016-03-09 株式会社カプコン 効果音加工プログラム及びゲーム装置
JP6624950B2 (ja) * 2016-01-27 2019-12-25 株式会社スクウェア・エニックス 発音処理プログラム、発音処理装置、及び、発音処理方法
JP2019071562A (ja) * 2017-10-10 2019-05-09 シャープ株式会社 音声通知装置、複合機、音声通知方法及び音声通知用プログラム
US11337024B2 (en) * 2018-06-21 2022-05-17 Sony Interactive Entertainment Inc. Output control device, output control system, and output control method
CN114504820A (zh) * 2022-02-14 2022-05-17 网易（杭州）网络有限公司 游戏中的音频处理方法、装置、存储介质和电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09102051A (ja) * 1995-10-09 1997-04-15 Nippon Telegr & Teleph Corp <Ntt> 音場制御方法および装置
JP3123957B2 (ja) 1996-10-09 2001-01-15 株式会社ナムコ ３次元ゲーム装置及び情報記憶媒体
JP2002148070A (ja) * 2000-11-14 2002-05-22 Yamaha Motor Co Ltd 位置案内システム、広告システム、音声データ登録端末、位置案内端末及び記憶媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3528284B2 (ja) * 1994-11-18 2004-05-17 ヤマハ株式会社 ３次元サウンドシステム
JP2000155589A (ja) 1998-11-20 2000-06-06 Mitsubishi Electric Corp 空間位置呈示方法および空間位置呈示プログラムを記録した記録媒体
JP2000267675A (ja) * 1999-03-16 2000-09-29 Sega Enterp Ltd 音響信号処理装置
JP2003334382A (ja) 2002-05-21 2003-11-25 Sega Corp ゲーム装置、画像処理装置及び画像処理方法
US7563168B2 (en) * 2004-02-13 2009-07-21 Texas Instruments Incorporated Audio effect rendering based on graphic polygons

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09102051A (ja) * 1995-10-09 1997-04-15 Nippon Telegr & Teleph Corp <Ntt> 音場制御方法および装置
JP3123957B2 (ja) 1996-10-09 2001-01-15 株式会社ナムコ ３次元ゲーム装置及び情報記憶媒体
JP2002148070A (ja) * 2000-11-14 2002-05-22 Yamaha Motor Co Ltd 位置案内システム、広告システム、音声データ登録端末、位置案内端末及び記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1968350A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022219881A1 (ja) * 2021-04-12 2022-10-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置、および、プログラム

Also Published As

Publication number Publication date
CN101347043A (zh) 2009-01-14
JP4019095B2 (ja) 2007-12-05
CN101347043B (zh) 2012-10-10
US20090180624A1 (en) 2009-07-16
TWI322631B (en) 2010-03-21
US8155324B2 (en) 2012-04-10
JP2007180935A (ja) 2007-07-12
KR100936867B1 (ko) 2010-01-14
EP1968350A1 (en) 2008-09-10
EP1968350A4 (en) 2009-11-18
TW200730001A (en) 2007-08-01
KR20080066796A (ko) 2008-07-16

Similar Documents

Publication Publication Date Title
JP3977405B1 (ja) ゲーム音出力装置、ゲーム音制御方法、および、プログラム
JP3949701B1 (ja) 音声処理装置、音声処理方法、ならびに、プログラム
JP4019095B2 (ja) 音声処理装置、音声処理方法、ならびに、プログラム
US7563168B2 (en) Audio effect rendering based on graphic polygons
JP3863165B2 (ja) 音声出力装置、音声出力方法、ならびに、プログラム
EP1795240B1 (en) Game machine, game machine control method, information recording medium, and program
JPH10211358A (ja) ゲーム装置
US20040219978A1 (en) Image generation method, program, and information storage medium
US20050014561A1 (en) Simulator, method of controlling simulator, program, and information storage medium
JP3123957B2 (ja) ３次元ゲーム装置及び情報記憶媒体
JP2006323512A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP4303395B2 (ja) ゲーム装置および情報記憶媒体
US6448970B1 (en) Image generation apparatus for causing movement of moving body based on flow data for a fluid set on a course, and information storage medium
JP2001084402A (ja) 画像生成システム及び情報記憶媒体
JP4577968B2 (ja) ゲームシステム及び情報記憶媒体
JP2003085592A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP4632530B2 (ja) ゲームシステム、プログラム及び情報記憶媒体
JP2004148111A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP4560532B2 (ja) 画像生成装置及び情報記憶媒体
JP2005322056A (ja) プログラム、情報記憶媒体、及び画像生成システム
JP3183636B2 (ja) ３次元ゲーム装置及び情報記憶媒体
JP2001218979A (ja) ゲームシステム及び情報記憶媒体
JP4088169B2 (ja) 画像生成装置及び情報記憶媒体
JP2004148110A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP2004341567A (ja) 画像生成システム、アニメーション生成方法、スクリプト、情報記憶媒体及びアニメーション画像生成用スクリプト作成方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680049444.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020087011319

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2006833404

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12159610

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE