WO2022220102A1 - 音響再生方法、音響再生装置、及び、プログラム - Google Patents

音響再生方法、音響再生装置、及び、プログラム Download PDF

Info

Publication number
WO2022220102A1
WO2022220102A1 PCT/JP2022/015445 JP2022015445W WO2022220102A1 WO 2022220102 A1 WO2022220102 A1 WO 2022220102A1 JP 2022015445 W JP2022015445 W JP 2022015445W WO 2022220102 A1 WO2022220102 A1 WO 2022220102A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
virtual
listener
sources
sound source
Prior art date
Application number
PCT/JP2022/015445
Other languages
English (en)
French (fr)
Inventor
陽 宇佐見
智一 石川
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2023514574A priority Critical patent/JPWO2022220102A1/ja
Priority to CN202280027353.3A priority patent/CN117157994A/zh
Priority to KR1020237034071A priority patent/KR20230169964A/ko
Priority to EP22788027.5A priority patent/EP4325887A1/en
Publication of WO2022220102A1 publication Critical patent/WO2022220102A1/ja
Priority to US18/373,484 priority patent/US20240022854A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/34—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means
    • H04R1/345—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Definitions

  • the present disclosure relates to a sound reproduction method, sound reproduction device, and program for reproducing stereophonic sound.
  • Patent Document 1 discloses an acoustic simulation device that identifies the propagation path of sound in real time and performs signal processing for acoustic effects such as reflection, diffraction, and localization according to the propagation path.
  • a certain processing load is required to calculate the acoustic parameters of the reproduction space.
  • a large processing load is required to reproduce the sound diffraction in the sound propagation path from the sound source to the listener due to the complex spatial structure of the reproduction space or obstacles placed in the reproduction space.
  • it is necessary to perform calculations according to the changed position of the sound source, the position of the listener, and the spatial structure of the reproduction space. load is required.
  • the present disclosure provides a sound reproduction method and the like that can reduce the processing load required for reproducing stereophonic sound.
  • a sound reproduction method includes a structure arranged in a virtual space and a sound source, acquires spatial information for reproducing the virtual space, A method for identifying a listening position of a listener in space and reproducing sound diffraction by the sound source when the structure is placed between the sound source and the listening position in the virtual space.
  • the virtual sound source is a propagation path through which sound from the sound source reaches the listener, and is determined based on the length of the propagation path that avoids the structure, and in the determination, (i) the (ii) the number of said one or more virtual sound sources; and (iii) frequency characteristics of sounds emitted from said one or more virtual sound sources. , is determined.
  • a sound reproduction device includes a structure arranged in a virtual space and a sound source, and an acquisition unit that acquires spatial information for reproducing the virtual space.
  • the structure is placed between the identifying unit that identifies the listening position of the listener in the virtual space, the sound source in the virtual space, and the listening position,
  • One or more virtual sound sources for reproducing sound diffraction, one or more virtual sound sources arranged near one or more virtual sound source directions when one or more ends of the structure are viewed from the listening position.
  • a generation unit that generates a sound source, wherein the one or more virtual sound sources are a propagation path through which sound from the sound source reaches the listener, the length of the propagation path avoiding the structure.
  • the sound reproduction method and the like according to the present disclosure can reduce the processing load required for reproducing stereophonic sound.
  • FIG. 1 is a diagram showing an example of a sound reproduction system according to an embodiment.
  • FIG. 2 is a diagram for explaining processing when there is no obstacle between the sound source and the listener.
  • FIG. 3 is a diagram for explaining how a listener hears sound when there is an obstacle between the sound source and the listener.
  • FIG. 4 is a diagram for explaining a first example of processing for generating a virtual sound source when there is an obstacle between the sound source and the listener.
  • FIG. 5 is a diagram for explaining a second example of processing for generating a virtual sound source when there is an obstacle between the sound source and the listener.
  • FIG. 6 is a diagram for explaining a third example of processing for generating a virtual sound source when there is an obstacle between the sound source and the listener.
  • FIG. 1 is a diagram showing an example of a sound reproduction system according to an embodiment.
  • FIG. 2 is a diagram for explaining processing when there is no obstacle between the sound source and the listener.
  • FIG. 3 is a
  • FIG. 7 is a graph showing a first example of adjustment processing of frequency characteristics of sound emitted from a virtual sound source.
  • FIG. 8 is a graph showing a second example of adjustment processing of frequency characteristics of sound emitted from a virtual sound source.
  • FIG. 9 is a diagram for explaining a fourth example of processing for generating a virtual sound source when there is an obstacle between the sound source and the listener.
  • FIG. 10 is a diagram for explaining a first example of obstacle detection processing.
  • FIG. 11 is a diagram for explaining a second example of the obstacle detection process.
  • FIG. 12 is a flow chart showing an example of the operation of the sound reproduction device.
  • a sound reproduction method includes a structure arranged in a virtual space and a sound source, acquires spatial information for reproducing the virtual space, A method for identifying a listening position of a listener in space and reproducing sound diffraction by the sound source when the structure is placed between the sound source and the listening position in the virtual space.
  • the virtual sound source is a propagation path through which sound from the sound source reaches the listener, and is determined based on the length of the propagation path that avoids the structure, and in the determination, (i) the (ii) the number of said one or more virtual sound sources; and (iii) frequency characteristics of sounds emitted from said one or more virtual sound sources. , is determined.
  • a virtual space is generated. To reproduce the sound heard by a listener when a structure is placed between the sound source and the listener. Therefore, the processing load required for stereophonic reproduction can be reduced.
  • the sound pressure level may be determined by adjusting the sound pressure level of the sound emitted from the one or more virtual sound sources such that the longer the propagation path, the lower the sound pressure level.
  • one or more virtual sound sources can be generated so that the sound pressure level of the sound attenuates as the length of the propagation path increases. Therefore, it is possible to reduce the processing load required to reproduce stereophonic sound, and to reproduce appropriate stereophonic sound that does not affect the listener's impression of the sound before and after placing multiple virtual sound sources in place of sound sources. can do.
  • the sound pressure level may be determined by adjusting the positions of the one or more virtual sound sources such that the longer the propagation path, the farther away from the listening position.
  • one or more virtual sound sources whose sound pressure levels are determined according to the length of the propagation path can be generated. Therefore, it is possible to reduce the processing load required to reproduce stereophonic sound, and to reproduce appropriate stereophonic sound that does not affect the listener's impression of the sound before and after placing multiple virtual sound sources in place of sound sources. can do.
  • the number of the one or more virtual sound sources may be determined so as to increase as the length of the propagation path increases.
  • the frequency characteristic may be determined such that the longer the propagation path, the lower the sound pressure level in the high frequency band relative to the sound pressure level in the low frequency band.
  • the frequency characteristic may be adjusted such that the longer the length of the propagation path, the wider the bandwidth of the high frequency band that relatively reduces the sound pressure level.
  • one or more virtual sound sources whose frequency characteristics are determined according to the length of the propagation path can be generated. Therefore, it is possible to reduce the processing load required to reproduce stereophonic sound, and to reproduce appropriate stereophonic sound that does not affect the listener's impression of the sound before and after placing multiple virtual sound sources in place of sound sources. can do.
  • the one or more virtual sound sources may be arranged in two virtual sound source directions corresponding to the two propagation paths.
  • the impression of the sound heard by the listener can be affected before and after placing a plurality of virtual sound sources instead of sound sources. Less suitable stereophonic sound can be reproduced.
  • the one or more virtual sound sources are arranged only in one virtual sound source direction corresponding to the one propagation path, and the one or more virtual sound sources
  • the number of sound sources may be plural.
  • a sound reproduction device includes a structure arranged in a virtual space and a sound source, and an acquisition unit that acquires spatial information for reproducing the virtual space. , when the structure is placed between the identifying unit that identifies the listening position of the listener in the virtual space, the sound source in the virtual space, and the listening position, One or more virtual sound sources for reproducing sound diffraction, one or more virtual sound sources positioned near one or more virtual sound source directions from the listening position to one or more edges of the structure.
  • the one or more virtual sound sources are propagation paths through which sound from the sound sources reaches the listener, the length of the propagation paths avoiding the structure wherein: (i) the sound pressure level of sounds audible to the listener from the direction of the one or more virtual sound sources; (ii) the number of the one or more virtual sound sources; and (iii) frequency characteristics of sounds emitted from the one or more virtual sources are determined.
  • a virtual space is generated. To reproduce sound heard by a listener when a structure is placed between the sound source and the listener. Therefore, the processing load required for stereophonic reproduction can be reduced.
  • FIG. 1 is a diagram showing an example of a sound reproduction system according to an embodiment.
  • a sound reproduction system 1 includes, for example, a sound reproduction device 100, a terminal 200, and a controller 300, as shown in FIG.
  • these may be communicably connected to each other by dedicated wired communication, or may be communicably connected by wireless communication. These may be connected so as to be able to communicate directly, or may be connected so as to be able to communicate via a predetermined device therebetween.
  • the sound reproduction device 100 reproduces sound in the virtual space and outputs it to the terminal 200 .
  • the sound reproduction device 100 reproduces a virtual space and reproduces sounds that the user hears in the virtual space.
  • the virtual space includes structures, sound sources, listeners, and the like. A listener is a user. These structures, sound sources and listeners are virtual.
  • the sound reproduction device 100 reproduces sounds heard by the listener in the virtual space based on the size and position of the structure, the position of the sound source, and the position of the listener in the virtual space.
  • the terminal 200 outputs the generated sound to the user and obtains from the controller 300 the input received by the controller 300 from the user.
  • the position and posture of the listener in the virtual space are changed according to the input obtained by the terminal 200 . Therefore, the sound reproduction device 100 changes the sound to be reproduced according to the listener's position and posture in the virtual space, which is changed according to the input acquired by the terminal 200 .
  • the sound reproduction device 100 includes an acquisition unit 101 , a detection unit 102 , a generation unit 103 , a rendering unit 104 and a communication unit 105 .
  • the sound reproducing device 100 can be realized by a processor executing a predetermined program using a memory. That is, the sound reproduction device 100 is a computer.
  • the acquisition unit 101 acquires acoustic information for reproducing acoustics in a virtual space.
  • Acquisition unit 101 may acquire acoustic information from an external storage device via a network, or may acquire acoustic information from an internal storage device.
  • a storage device may be a device for reading information recorded on a recording medium such as an optical disc or memory card, or may include a recording medium such as a HDD (Hard Disk Drive) or an SSD (Solid State Drive). , or a device for reading information recorded on the recording medium.
  • the external storage device may be, for example, a server connected via the Internet.
  • the acoustic information includes, for example, an audio stream indicating sound from a sound source and spatial information indicating a virtual space.
  • the detection unit 102 detects obstacles in the virtual space based on the spatial information included in the acoustic information.
  • Spatial information includes mesh information for reproducing structures placed in a virtual space, sound source positions, and the like.
  • the mesh information includes information such as the size, shape and color of structures. Structures include man-made structures and natural structures. That is, structures include all virtual objects for defining space.
  • the sound source position indicates the position where the sound is reproduced (output) in the structure.
  • the detection unit 102 identifies the listening position of the listener in the virtual space based on the listener information received by the communication unit 105 .
  • the detection unit 102 is an example of an identification unit.
  • the detection unit 102 determines whether or not there is a structure placed between the sound source position and the listening position. If the detection unit 102 determines that there is a structure placed between the sound source position and the listening position, the detection unit 102 detects the structure as an obstacle.
  • the generation unit 103 When a structure is placed between the sound source in the virtual space and the listening position, that is, when an obstacle is detected by the detecting unit 102, the generation unit 103 generates an image of the structure from the listening position.
  • One or more virtual sound sources arranged near one or more virtual sound source directions to the above ends are generated.
  • the virtual sound source direction is the direction in which a straight line passing through the listening position and the end of the structure extends.
  • One or more virtual sound sources are sound sources for reproducing sound diffraction by the sound sources.
  • One or more ends of a structure detected as an obstacle are ends of the structure in a predetermined direction when the structure is viewed from the listening position.
  • the one or more ends of the structure detected as obstacles may include, for example, both ends of the structure in the horizontal direction when the structure is viewed from the listening position.
  • the one or more ends of the structure may include only one horizontal end of the structure, for example when the structure is viewed from the listening position.
  • a case in which only one end is included may be a case in which the end of the structure opposite to the one end in the horizontal direction is located on the opposite side of the listener's field of view.
  • the case where only one end is included may be the case where the structure is also arranged on the opposite side of the sound source.
  • the rendering unit 104 generates an audio stream for output using a head-related transfer function according to one or more virtual sound sources generated by the generation unit 103 and the listening position and posture of the listener. In addition, the rendering unit 104 generates a video stream showing the field of view seen by the listener from the listener's listening position to the listener's posture.
  • a video stream is a video of structures in a virtual space included in the field of view.
  • the communication unit 105 exchanges information with the terminal 200 by communicating with the terminal 200 .
  • the communication unit 105 transmits, for example, an audio stream and a video stream for output to the terminal 200 . Further, the communication unit 105 receives, from the terminal 200, listener information indicating, for example, the listening position of the listener and the attitude of the listener.
  • the terminal 200 includes a communication section 201 , a control section 202 , a detection section 203 , an input reception section 204 , a display section 205 and an audio output section 206 .
  • the terminal 200 may be, for example, a VR (Virtual Reality) headset worn on the user's head, or a mobile terminal such as a smartphone attached to a wearable device for wearing on the user's head.
  • VR Virtual Reality
  • the communication unit 201 exchanges information with the sound reproduction device 100 by communicating with the sound reproduction device 100 .
  • the communication unit 201 transmits, for example, listener information indicating the listening position and posture of the listener to the sound reproduction device 100 .
  • the communication unit 105 receives, for example, an audio stream and a video stream for output from the sound reproduction device 100 .
  • the control unit 202 outputs the audio stream to the audio output unit 206 and outputs the video stream to the display unit 205 . Also, the control unit 202 acquires the movement of the user's head (that is, changes in the position and posture of the head) detected by the detection unit 203 . Also, the control unit 202 acquires the input received by the input receiving unit 204 . The input is an input for at least one of moving the position of the listener in the virtual space and changing the posture of the listener. The control unit 202 generates listener information indicating the listener's listening position and listener's posture based on the acquired user's head motion and the input indicating that the listener's position and posture should be changed.
  • the control unit 202 acquires head movements and inputs, and sequentially (that is, at regular time intervals) performs processing for generating listener information based on the acquired head movements and inputs.
  • the constant time interval is, for example, less than 1 second.
  • the detection unit 203 sequentially detects the motion of the user's head.
  • the detection unit 203 detects changes in the position and posture of the user's head.
  • the detector 203 includes, for example, an acceleration sensor and an angular velocity sensor.
  • the detection unit 203 is, for example, an IMU (Inertial Measurement Unit).
  • the input reception unit 204 receives an input from the controller 300 operated by the user indicating that the position of the listener should be moved or the posture of the listener should be changed in the virtual space.
  • the input reception unit 204 may receive input from the controller 300 through wireless communication with the controller 300 or may receive input from the controller 300 through wired communication.
  • the communication unit 201 may have the function of the input reception unit 204 that receives input from the controller 300 .
  • the input reception unit 204 may have a button, a touch sensor, or the like that directly receives an input from the user.
  • the display unit 205 displays the video (moving image) indicated by the video stream output by the control unit 202 .
  • a moving image is a video made up of a plurality of frames.
  • the video may be a still image.
  • the display unit 205 is, for example, a liquid crystal display, an organic EL (Electro Luminescence) display, or the like.
  • the audio output unit 206 outputs audio (including music) indicated by the audio stream output by the control unit 202 .
  • the audio output unit 206 is, for example, a speaker.
  • the controller 300 is a device that receives input from the user and transmits the received input to the terminal 200 .
  • This input is an input for changing at least one of the listener's position and posture in the virtual space, as described above.
  • FIG. 2 is a diagram for explaining processing when there is no obstacle between the sound source and the listener.
  • FIG. 2(a) is a top plan view of the positional relationship between the sound source and the listener in the virtual space.
  • FIG. 2(b) is a diagram three-dimensionally showing the positional relationship between the sound source and the listener in the virtual space.
  • the sound reproduction device 100 When there is no obstacle between the sound source 301 and the listener 302, the sound reproduction device 100 generates the virtual sound source so that the sound is output from the position of the sound source 301 toward the listener 302 as shown in FIG. Generate. That is, the virtual sound source generated in this case is the same as the sound source 301 .
  • FIG. 3 is a diagram for explaining how the listener hears sound when there is an obstacle between the sound source and the listener.
  • FIG. 3(a) is a top plan view of the positional relationship between the sound source and the listener in the virtual space.
  • FIG. 3B is a diagram three-dimensionally showing the positional relationship between the sound source and the listener in the virtual space.
  • FIG. 4 is a diagram for explaining a first example of processing for generating a virtual sound source when there is an obstacle between the sound source and the listener.
  • FIG. 4(a) is a top plan view of the positional relationship between the sound source and the listener in the virtual space.
  • (b) of FIG. 4 is a diagram three-dimensionally showing the positional relationship between the sound source and the listener in the virtual space.
  • the generation unit 103 of the sound reproduction device 100 has a sound source 301 that corresponds to the sound source 301 from the listening position of the listener 302 to both ends of the obstacle 303, respectively, in order to reproduce the diffracted sound in a simple manner.
  • Two virtual sound sources 311 and 312 are generated that are located in the vicinity of two virtual sound source directions 351 and 352 .
  • a virtual sound source direction 351 is a direction indicated by a straight line passing through the listener 302 and one horizontal end 303 a of the obstacle 303 .
  • a virtual sound source direction 352 is a direction indicated by a straight line passing through the listener 302 and the other horizontal end 303 b of the obstacle 303 .
  • One end 303a and the other end 303b of the obstacle 303 in the horizontal direction are the same as the ends in the horizontal direction when the listener 302 looks at the obstacle 303.
  • FIG. Since the one end 303a and the other end 303b are on the shortest path along which the sound is diffracted and propagated when the obstacle 303 is placed, they may also be called diffraction points hereinafter.
  • the length of the shortest propagation path L11 of the sound from the sound source 301 propagating on the left side of the obstacle 303 and the shortest propagation path L12 of the sound from the sound source 301 propagating on the right side of the obstacle 303 are shown. This is an example in which the lengths of are equal to each other.
  • the propagation paths L11 and L12 are indicated by thick broken lines in FIG. 4(a). More specifically, the length from the sound source 301 to the one end 303a on the propagation path L11 is equal to the length from the sound source 301 to the other end 303b on the propagation path L12. and the length from the other end 303b of the propagation path L12 to the listening position of the listener 302 are equal to each other.
  • the virtual sound sources 311 and 312 to be generated are arranged at positions having equal distances from the listening position of the listener 302 (that is, positions on circles indicated by dashed lines). Since the propagation path L11 and the propagation path L12 have the same length, the sound pressure levels of the virtual sound sources 311 and 312 are determined to be the same. Note that when the lengths of the propagation paths L11 and L12 are different from each other, the sound pressure levels of the virtual sound sources 311 and 312 are determined to be different from each other. The sound pressure levels of the sound sources 311, 312 may be determined.
  • FIG. 5 is a diagram for explaining a second example of processing for generating a virtual sound source when there is an obstacle between the sound source and the listener.
  • FIG. 5(a) is a top plan view of the positional relationship between the sound source and the listener in the virtual space.
  • FIG. 5(b) is a diagram three-dimensionally showing the positional relationship between the sound source and the listener in the virtual space.
  • the obstacle 303A in the second example differs in width (thickness) in the direction facing the sound source 301 from the listener 302 compared to the obstacle 303 in the first example.
  • a width D2 of the obstacle 303A is longer than a width D1 of the obstacle 303A.
  • the generation unit 103 of the sound reproduction device 100 generates an obstacle from the listening position of the listener 302 instead of the sound source 301 in order to easily reproduce the diffracted sound, as in the first example.
  • Two virtual sound sources 311a and 312a are generated which are placed in close proximity on two virtual sound source directions 351 and 352 respectively corresponding to both ends of the object 303A.
  • the virtual sound source direction 351 is a direction indicated by a straight line passing through the listener 302 and one horizontal end 303Aa of the obstacle 303A.
  • the virtual sound source direction 352 is a direction indicated by a straight line passing through the listener 302 and the other horizontal end 303Ab of the obstacle 303A.
  • the length of the shortest propagation path L21 of the sound from the sound source 301 propagating on the left side of the obstacle 303A and the shortest propagation path L22 of the sound from the sound source 301 propagating on the right side of the obstacle 303A An example is shown where the lengths of are equal.
  • the propagation paths L22, L22 are indicated by thick dashed lines in FIG. 5(a). More specifically, the length from the sound source 301 to the one end 303Aa on the propagation path L21 is equal to the length from the sound source 301 to the other end 303Ab on the propagation path L22. Also, the length from one end 303Aa of the propagation path L21 to the listening position of the listener 302 and the length from the other end 303Ab of the propagation path L22 to the listening position of the listener 302 are equal to each other. Therefore, the generated virtual sound sources 311a and 312a are arranged at positions having equal distances from the listening position of the listener 302 (that is, positions on the circle indicated by the dashed line).
  • the circle indicated by the dashed line is a circle whose radius is the distance from the listening position of the listener 302 to the sound source 301.
  • the radius is not limited to this, and the radius is longer than the distance from the listening position to the sound source 301. , or a circle whose radius is shorter than the distance from the listening position to the sound source 301 . Since the propagation path L11 and the propagation path L12 have the same length, the sound pressure levels of the virtual sound sources 311a and 312a are determined to be the same.
  • the sound pressure levels of the virtual sound sources 311 and 312 are determined to be different from each other. Sound pressure levels of the sound sources 311a, 312a may be determined.
  • propagation path L21 in the second example is equal to propagation path L11 in the first example. longer than Therefore, the generating unit 103 generates the virtual sound sources 311a and 312a at positions farther from the listening position of the listener 302 in the respective virtual sound source directions 351 and 352 than the positions of the virtual sound sources 311 and 312 in the first example. That is, when the diffraction point with the obstacle 303 and the diffraction point with the obstacle 303A are the same, the generation unit 103 creates a straight line passing through the listening position of the listener 302 and the diffraction point. The sound pressure level of the sound heard by the listener 302 from the virtual sound source directions 351 and 352 is determined so as to decrease as the length of the propagation path increases.
  • the generator 103 may adjust the positions of the virtual sound sources 311a and 312a so that the longer the propagation path, the farther they are from the listening position.
  • the sound pressure level of the sound heard by the listener 302 from the virtual sound source directions 351 and 352 indicated by straight lines passing through the listening position of the listener 302 and the diffraction point becomes smaller as the length of the propagation path becomes longer. is determined by In this way, the generation unit 103 adjusts the sound pressure level of the sound heard by the listener 302 by adjusting the distances to the positions of the virtual sound sources 311a and 312a to be generated, using the listening position of the listener 302 as a reference.
  • the generation unit 103 may adjust the sound pressure levels of the sounds emitted from the virtual sound sources 311a and 312a such that the longer the propagation path length, the lower the sound pressure level. For example, the generating unit 103 calculates the sound pressure level gain of the sounds emitted from the virtual sound sources 311a and 312a by the ratio L11/L21 obtained by dividing the length of the propagation path L11 by the length of the propagation path L21. may be determined by multiplying by the sound pressure level gain of the sound emitted from the virtual sound sources 311 and 312 .
  • the generation unit 103 calculates the sound pressure level gain of the sounds emitted from the virtual sound sources 311a and 312a by the ratio D1/D2 obtained by dividing the width D1 of the obstacle 303 by the width D2 of the obstacle 303A. may be determined by multiplying by the sound pressure level gain of the sound emitted from the virtual sound sources 311 and 312 .
  • FIG. 6 is a diagram for explaining a third example of processing for generating a virtual sound source when there is an obstacle between the sound source and the listener.
  • FIG. 6(a) is a top plan view of the positional relationship between the sound source and the listener in the virtual space.
  • FIG. 6(b) is a diagram three-dimensionally showing the positional relationship between the sound source and the listener in the virtual space.
  • the third example is the same scene as the second example. That is, in the third example, the size and position of the obstacle 303A are the same as in the second example, and the listening positions of the sound source 301 and the listener 302 are also the same as in the second example.
  • the generator 103 may determine the number of virtual sound sources according to the length of the propagation path. Specifically, the generation unit 103 may generate a plurality of virtual sound sources 311b and a plurality of virtual sound sources 312b so that the number of virtual sound sources increases as the length of the propagation path increases. The generation unit 103 generates a plurality (three in the example of FIG. 6) of virtual sound sources 311b and a plurality of (three in the example of FIG. Generate.
  • the angular range near the direction may be, for example, an angular range of ⁇ 30 degrees or an angular range of ⁇ 45 degrees from the reference direction.
  • the plurality of virtual sound sources may be arranged at positions within an angular range near the reference direction, and may not be arranged on the reference direction. may not be arranged so as to include the reference direction.
  • the fact that the distribution range of a plurality of virtual sound sources is arranged so as to include the reference direction means that the plurality of virtual sound sources are arranged so as to straddle the reference direction.
  • a plurality of virtual sound sources are arranged such that one of one or more line segments formed by connecting the virtual sound sources intersects the reference direction. For example, when the ratio L21/L11 obtained by dividing the length of the propagation path L21 by the length of the propagation path L11 is smaller than the first threshold, the generator 103 determines the number of virtual sound sources to be one.
  • the generation unit 103 may determine the number of virtual sound sources to be two. Moreover, the generation unit 103 may determine the number of virtual sound sources to be three when the ratio L21/L11 is greater than the second threshold.
  • the generation unit 103 may combine the second example and the third example to arrange a plurality of virtual sound sources.
  • the generation unit 103 may determine both the sound pressure level of the sound heard by the listener from the virtual sound source directions 351 and 352 and the number of virtual sound sources to be generated, according to the length of the propagation path.
  • the generating unit 103 may further determine the frequency characteristics of the sound emitted from the generated virtual sound source. That is, the generation unit 103 may determine the frequency characteristics of the sound according to the length of the propagation path in addition to the second example, or determine the sound frequency characteristic according to the length of the propagation path in addition to the third example. may be determined, or the frequency characteristic of sound may be determined according to the length of the propagation path in addition to the combination of the second example and the third example. Further, the generation unit 103 generates frequency characteristics of sounds emitted from the virtual sound sources 311 and 312 of the first example according to the length of the propagation path, without performing the processes of the second example and the third example. may decide.
  • FIG. 7 is a graph showing a first example of adjustment processing of frequency characteristics of sound emitted from a virtual sound source.
  • FIG. 8 is a graph showing a second example of adjustment processing of frequency characteristics of sound emitted from a virtual sound source.
  • the generation unit 103 generates the frequency characteristics of the sound emitted from the virtual sound source such that the longer the propagation path, the higher the sound pressure level in the high frequency band than the sound pressure level in the low frequency band. may be determined to be smaller than .
  • the generation unit 103 may determine the frequency characteristic such that the longer the propagation path length, the lower the sound pressure level in the high frequency band of the frequency characteristic. Further, the generation unit 103 may determine the frequency characteristic such that the longer the propagation path length, the higher the sound pressure level in the low frequency band of the frequency characteristic.
  • the generation unit 103 determines the frequency characteristics so that the longer the propagation path length, the lower the sound pressure level in the high frequency band of the frequency characteristics and the higher the sound pressure level in the low frequency band of the frequency characteristics. may Further, as shown in FIG. 8, the generation unit 103 determines the frequency characteristics such that the longer the propagation path, the wider the bandwidth of the high-frequency band that relatively reduces the sound pressure level.
  • the method of generating a virtual sound source when two propagation paths sandwiching an obstacle are formed has been described.
  • the virtual sound source is arranged in each of two virtual sound source directions 351, 352 corresponding to two propagation paths.
  • FIG. 9 is a diagram for explaining a fourth example of processing for generating a virtual sound source when there is an obstacle between the sound source and the listener.
  • FIG. 9(a) is a plan view showing the positional relationship between the sound source and the listener in the virtual space.
  • FIG. 9(b) is a diagram three-dimensionally showing the positional relationship between the sound source and the listener in the virtual space.
  • the obstacle 303B in the fourth example differs from the obstacle 303 in the first example in that it has a wall-shaped second portion 303Bb arranged on one side of the sound source 301 and the listener 302.
  • the obstacle 303B is connected to and continuous with a first portion 303Ba having the same configuration as the obstacle 303 arranged between the sound source 301 and the listener 302, and is connected to the first portion 303Ba. and a second portion 303Bb arranged on the right side.
  • the right side of the sound source 301 and the listener 302 is one side of the first portion 303Ba.
  • the second portion 303Bb is arranged in a direction intersecting the first portion 303Ba, that is, in the direction of a straight line connecting the sound source 301 and the listener 302. FIG.
  • the obstacle 303B in the fourth example has the second portion 303Bb, sound from the sound source 301 is blocked by the second portion 303Bb of the obstacle 303B. Therefore, one propagation path L11 for the sound from the sound source 301 to propagate avoiding the obstacle 303B is formed only on one side of the obstacle 303B.
  • the generation unit 103 generates a plurality of virtual sound sources 311b so as to be arranged only in one virtual sound source direction 351 corresponding to one propagation path L11.
  • the case where one propagation path is formed only on one side of the obstacle means that the obstacle is connected to the first portion arranged between the sound source 301 and the listener 302 and connected to the first portion. and a second portion arranged to one side of at least one of the sound source 301 and the listener 302 .
  • FIG. 10 is a diagram for explaining a first example of obstacle detection processing.
  • FIG. 10 is a top plan view of the positional relationship between the sound source and the listener in the virtual space.
  • FIG. 10 shows a rectangular structure 363 when viewed from above. That is, the structure 363 has four corners 363a to 363d when viewed from above, and the structure 363 has four sides connecting the four corners 363a to 363d. Since the positions of the four corners 363 a to 363 d are indicated by spatial information, the detection unit 102 detects whether the line segment 364 connecting the listening positions of the sound source 361 and the listener 362 is one of the four sides of the structure 363 . It is determined whether or not they intersect or touch any of the four corners 363a to 363d. If the detection unit 102 determines that the line segment 364 intersects any of the four sides of the structure 363 or touches any of the four corners 363a to 363d, it detects the structure 363 as an obstacle.
  • the detection unit 102 detects two corners 363c and 363d at both ends of a side where a point 363f closer to the listener 362 exists among points 363e and 363f where the line segment 364 intersects the four sides as diffraction points. may be detected as Alternatively, the detection unit 102 detects the two corners 363c on the two outermost line segments among the four line segments connecting the listening position of the listener 362 and the four corners 363a to 363d. , 363d may be detected as diffraction spots.
  • FIG. 11 is a diagram for explaining a second example of obstacle detection processing.
  • FIG. 11 is a top plan view of the positional relationship between the sound source and the listener in the virtual space.
  • Fig. 11 shows a hexagonal structure 373 when viewed from above. That is, the structure 373 has six corners 373a to 373f when viewed from above, and the structure 373 has six sides connecting the six corners 373a to 373f. Since the positions of the six corners 373a to 373f are indicated by spatial information, the detection unit 102 detects whether the line segment 374 connecting the listening positions of the sound source 371 and the listener 372 is one of the six sides of the structure 373. It is determined whether or not they intersect or touch any of the six corners 373a to 373f. If the detection unit 102 determines that the line segment 374 intersects any of the six sides of the structure 373 or touches any of the six corners 373a to 373f, it detects the structure 373 as an obstacle.
  • the detection unit 102 detects two corners 373d and 373e at both ends of the side where the point 373h closer to the listener 372 exists among the points 373g and 373h where the line segment 374 intersects the four sides as diffraction points. may be detected as Alternatively, the detection unit 102 detects two corners 373c on the two outermost line segments among the six line segments connecting the listening position of the listener 372 and each of the 64 corners 373a to 373f. , 373e may be detected as diffraction spots.
  • obstacles are detected using sides connecting the corners of polygonal obstacles. is not limited to the side connecting , but may be a side connecting arbitrary points set on the surface of the obstacle.
  • FIG. 12 is a flowchart showing an example of the operation of the sound reproduction device.
  • the sound reproduction device 100 acquires spatial information (S11).
  • Spatial information is information for reproducing a virtual space.
  • a virtual space includes a structure arranged in the virtual space and a sound source.
  • the sound reproduction device 100 identifies the listening position of the listener in the virtual space (S12).
  • the sound reproduction device 100 generates one or more virtual sound sources (S13).
  • One or more virtual sound sources are generated in one or more virtual sound source directions from the listening position to one or more ends of the structure when a structure is placed between the sound source in the virtual space and the listening position. are placed in the vicinity of
  • the sound reproduction device 100 reproduces the generated one or more virtual sound sources, and outputs the obtained audio stream to the terminal 200 (S14).
  • Sound reproduction device 100 acquires spatial information for reproducing a virtual space.
  • a virtual space includes a structure arranged in the virtual space and a sound source.
  • the sound reproduction device 100 identifies the listening position of the listener in the virtual space.
  • the sound reproduction device 100 generates one or more virtual sound sources from the listening position to one or more ends of the structure.
  • One or more virtual sound sources are generated that are placed in directional proximity.
  • One or more virtual sound sources are determined based on the length of the propagation path through which the sound from the sound source reaches the listener and which avoids the structure.
  • the above determination includes (i) the sound pressure level of sounds heard by the listener from the direction of one or more virtual sources, (ii) the number of one or more virtual sources, and (iii) the number of sound emitted from the one or more virtual sources. frequency characteristics of the sound are determined.
  • a virtual space is generated. To reproduce sound heard by a listener when a structure is placed between the sound source and the listener. Therefore, the processing load required for stereophonic reproduction can be reduced.
  • the sound pressure level of sound emitted from one or more virtual sound sources is adjusted so that the sound pressure level decreases as the length of the propagation path increases. is determined by That is, the sound reproduction device 100 can generate one or more virtual sound sources such that the sound pressure level of the sound is attenuated as the length of the propagation path increases. Therefore, it is possible to reduce the processing load required to reproduce stereophonic sound, and to reproduce appropriate stereophonic sound that does not affect the listener's impression of the sound before and after placing multiple virtual sound sources in place of the source. can do.
  • the sound pressure level is determined by adjusting the positions of one or more virtual sound sources such that the longer the propagation path length, the farther away from the listening position. be done. That is, the sound reproduction device 100 can generate one or more virtual sound sources whose sound pressure levels are determined according to the length of the propagation path. Therefore, it is possible to reduce the processing load required to reproduce stereophonic sound, and to reproduce appropriate stereophonic sound that does not affect the listener's impression of the sound before and after placing multiple virtual sound sources in place of sound sources. can do.
  • the number of one or more virtual sound sources is determined so as to increase as the length of the propagation path increases. Therefore, it is possible to generate one or more virtual sound sources that are determined such that the longer the propagation path, the wider the sound due to the influence of diffraction. Therefore, it is possible to reduce the processing load required to reproduce stereophonic sound, and to reproduce appropriate stereophonic sound that does not affect the listener's impression of the sound before and after placing multiple virtual sound sources in place of sound sources. can do.
  • the frequency characteristics are such that the longer the propagation path length, the lower the sound pressure level in the high frequency band relative to the sound pressure level in the low frequency band. It is determined. Therefore, it is possible to generate one or more virtual sound sources that are determined such that the longer the propagation path length is, the more the sound pressure level in the high frequency band is reduced due to the influence of diffraction. Therefore, it is possible to reduce the processing load required to reproduce stereophonic sound, and to reproduce appropriate stereophonic sound that has little effect on the listener's impression of the sound before and after placing multiple virtual sound sources in place of sound sources. can do.
  • the frequency characteristics are adjusted such that the longer the propagation path length, the wider the bandwidth of the high frequency band that relatively reduces the sound pressure level. . Therefore, it is possible to generate one or more virtual sound sources that are determined such that the longer the propagation path length is, the more the sound pressure level in the high frequency band is reduced due to the influence of diffraction. Therefore, it is possible to reduce the processing load required to reproduce stereophonic sound, and to reproduce appropriate stereophonic sound that does not affect the listener's impression of the sound before and after placing multiple virtual sound sources in place of sound sources. can do.
  • sound reproduction device 100 when two propagation paths sandwiching a structure are formed, one or more virtual sound sources are generated in two virtual sound source directions corresponding to the two propagation paths. placed. According to this, since one or more virtual sound sources corresponding to each of the two propagation paths are arranged, the impression of the sound heard by the listener can be affected before and after placing a plurality of virtual sound sources instead of sound sources. Less suitable stereophonic sound can be reproduced.
  • one or more virtual sound sources are generated in only one virtual sound source direction corresponding to one propagation path. placed in Also, the number of one or more virtual sound sources is plural. According to this, when one of two propagation paths is blocked, a plurality of virtual sound sources are arranged so that sound spreads due to the effect of diffraction occurring in one propagation path. Therefore, it is possible to reproduce appropriate stereophonic sound that does not affect the impression of the sound heard by the listener before and after arranging a plurality of virtual sound sources instead of sound sources.
  • the sound reproduction device 100 adjusts one or more virtual sound sources to be generated according to the length of the propagation path. Specifically, the sound reproduction device 100 measures the sound pressure level of sounds heard by the listener from the directions of one or more virtual sound sources, the number of one or more virtual sound sources, and the volume of sounds emitted from one or more virtual sound sources. Although at least one of the frequency characteristics (hereinafter referred to as a virtual sound source parameter) is adjusted, the present invention is not limited to this.
  • the sound reproduction device 100 associates a plurality of positional relationships each indicating a presupposed relationship between a sound source, a structure, and a listening position, and parameters of a virtual sound source calculated in advance corresponding to the plurality of positional relationships.
  • Relational information such as a table that has been used is stored in memory. Then, the sound reproduction device 100 may determine the parameters of the virtual sound source linked with the positional relationship corresponding to the acquired listening position by referring to the relationship information. In other words, the sound reproduction device 100 does not have to calculate the virtual sound source parameters in real time according to the listening position, and may specify the virtual sound source parameters calculated and determined in advance from the memory. This makes it possible to further reduce the processing load for generating the virtual sound source.
  • the terminal 200 is configured to include the detection unit 203, the input reception unit 204, the display unit 205, and the audio output unit 206. , the input receiving unit 204, the display unit 205, and the audio output unit 206.
  • Each device in the above embodiment is specifically a computer system composed of a microprocessor, ROM, RAM, hard disk unit, display unit, keyboard, mouse, and the like.
  • a computer program is recorded in the RAM or hard disk unit.
  • Each device achieves its function by the microprocessor operating according to the computer program.
  • the computer program is constructed by combining a plurality of instruction codes indicating instructions to the computer in order to achieve a predetermined function.
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating multiple components on a single chip. Specifically, it is a computer system that includes a microprocessor, ROM, RAM, etc. . A computer program is recorded in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • each part of the constituent elements constituting each of the devices described above may be individually integrated into one chip, or may be integrated into one chip so as to include part or all of them.
  • system LSI may also be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connections and settings of the circuit cells inside the LSI may be used.
  • the IC card or module is a computer system composed of a microprocessor, ROM, RAM and the like.
  • the IC card or the module may include the super multifunctional LSI.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may be tamper resistant.
  • the present disclosure may be the method shown above. Moreover, it may be a computer program for realizing these methods by a computer, or it may be a digital signal composed of the computer program.
  • the present disclosure includes a computer-readable recording medium for the computer program or the digital signal, such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray (Registered Trademark) Disc), semiconductor memory, or the like. Moreover, it may be the digital signal recorded on these recording media.
  • a computer-readable recording medium for the computer program or the digital signal such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray (Registered Trademark) Disc), semiconductor memory, or the like.
  • BD Blu-ray (Registered Trademark) Disc
  • semiconductor memory or the like.
  • it may be the digital signal recorded on these recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, or the like.
  • the present disclosure may also be a computer system comprising a microprocessor and memory, the memory storing the computer program, and the microprocessor operating according to the computer program.
  • the present disclosure can be used for a sound reproduction method, a sound reproduction device, a program, etc. that can reduce the processing load required for reproducing stereophonic sound.
  • sound reproduction system 100 sound reproduction device 101 acquisition unit 102 detection unit 103 generation unit 104 rendering unit 105 communication unit 200 terminal 201 communication unit 202 control unit 203 detection unit 204 input reception unit 205 display unit 206 audio output unit 300 controllers 301 and 361 , 371 sound sources 302, 362, 372 listeners 303, 303A, 303B obstacles 303Ba first portion 303Bb second portion 303a one end 303b other end 311, 311a, 311b, 312, 312a, 312b virtual sound sources 363, 373 structure 351, 352 virtual sound source direction

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)

Abstract

音響再生方法は、仮想的な空間を再現するための空間情報を取得し（Ｓ１１）、仮想的な空間は、仮想的な空間内に配置される構造物と、音源とを含み、仮想的な空間内の受聴者の受聴位置を特定し（Ｓ１２）、仮想的な空間内における音源と、受聴位置との間に構造物が配置される場合、受聴位置から構造物の１以上の端部を見た１以上の仮想音源方向上の近傍に配置される１以上の仮想音源を生成し（Ｓ１３）、１以上の仮想音源は、音源からの音が受聴者に届くまでの間の伝搬経路であって、構造物を回避する伝搬経路の長さに基づいて決定され、決定では、（ｉ）１以上の仮想音源の方向から受聴者へ聞こえる音の音圧レベル、（ｉｉ）１以上の仮想音源の数、及び、（ｉｉｉ）１以上の仮想音源から放出される音の周波数特性、の少なくとも１つが決定される。

Description

音響再生方法、音響再生装置、及び、プログラム
　本開示は、立体音響を再現する音響再生方法、音響再生装置、及び、プログラムに関する。
　特許文献１には、音の伝搬経路をリアルタイムに特定し、伝搬経路に応じて、反射、回折や定位などの音響効果の信号処理を行う音響シミュレーション装置が開示されている。
特開２００５－２０８１６６号公報
　しかしながら、立体音響の再生において、再生空間の音響パラメータの演算に所定の処理負荷が必要とされる。特に、再生空間が複雑な空間構造、または、再生空間内に配置されている障害物による音源から受聴者までの音が伝搬する経路において音の回折の再現に大きな処理負荷が必要とされる。また、音源の位置、受聴者の位置、再生空間の空間構造などが変化すると、変化した音源の位置、受聴者の位置、再生空間の空間構造に応じて演算をする必要があるため、大きな処理負荷が必要とされる。
　そこで、本開示は、立体音響の再生に要する処理負荷を低減することができる音響再生方法などを提供する。
　本開示の一態様に係る音響再生方法は、仮想的な空間内に配置される構造物と、音源とを含み、前記仮想的な空間を再現するための空間情報を取得し、前記仮想的な空間内の受聴者の受聴位置を特定し、前記仮想的な空間内における前記音源と、前記受聴位置との間に前記構造物が配置される場合、前記音源による音の回折を再現するための１以上の仮想音源であって、前記受聴位置から前記構造物の１以上の端部への１以上の仮想音源方向上の近傍に配置される１以上の仮想音源を生成し、前記１以上の仮想音源は、前記音源からの音が前記受聴者に届くまでの間の伝搬経路であって、前記構造物を回避する伝搬経路の長さに基づいて決定され、前記決定では、（ｉ）前記１以上の仮想音源の方向から前記受聴者へ聞こえる音の音圧レベル、（ｉｉ）前記１以上の仮想音源の数、及び、（ｉｉｉ）前記１以上の仮想音源から放出される音の周波数特性、の少なくとも１つが決定される。
　また、本開示の一態様に係る音響再生装置は、仮想的な空間内に配置される構造物と、音源とを含み、前記仮想的な空間を再現するための空間情報を取得する取得部と、前記仮想的な空間内の受聴者の受聴位置を特定する特定部と、前記仮想的な空間内における前記音源と、前記受聴位置との間に前記構造物が配置される場合、前記音源による音の回折を再現するための１以上の仮想音源であって、前記受聴位置から前記構造物の１以上の端部を見た１以上の仮想音源方向上の近傍に配置される１以上の仮想音源を生成する生成部と、を備え、前記１以上の仮想音源は、前記音源からの音が前記受聴者に届くまでの間の伝搬経路であって、前記構造物を回避する伝搬経路の長さに基づいて調整され、前記調整では、（ｉ）前記１以上の仮想音源の方向から前記受聴者へ聞こえる音の音圧レベル、（ｉｉ）前記１以上の仮想音源の数、及び、（ｉｉｉ）前記１以上の仮想音源から放出される音の周波数特性、の少なくとも１つが調整される。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示に係る音響再生方法などは、立体音響の再生に要する処理負荷を低減することができる。
図１は、実施の形態に係る音響再生システムの一例を示す図である。 図２は、音源と受聴者との間に障害物がない場合の処理について説明するための図である。 図３は、音源と受聴者との間に障害物がある場合の受聴者の音の聞こえ方を説明するための図である。 図４は、音源と受聴者との間に障害物がある場合の仮想音源を生成する処理の第１の例を説明するための図である。 図５は、音源と受聴者との間に障害物がある場合の仮想音源を生成する処理の第２の例を説明するための図である。 図６は、音源と受聴者との間に障害物がある場合の仮想音源を生成する処理の第３の例を説明するための図である。 図７は、仮想音源から放出される音の周波数特性の調整処理の第１の例を示すグラフである。 図８は、仮想音源から放出される音の周波数特性の調整処理の第２の例を示すグラフである。 図９は、音源と受聴者との間に障害物がある場合の仮想音源を生成する処理の第４の例を説明するための図である。 図１０は、障害物の検出処理の第１の例を説明するための図である。 図１１は、障害物の検出処理の第２の例を説明するための図である。 図１２は、音響再生装置の動作の一例を示すフローチャートである。
　本開示の一態様に係る音響再生方法は、仮想的な空間内に配置される構造物と、音源とを含み、前記仮想的な空間を再現するための空間情報を取得し、前記仮想的な空間内の受聴者の受聴位置を特定し、前記仮想的な空間内における前記音源と、前記受聴位置との間に前記構造物が配置される場合、前記音源による音の回折を再現するための１以上の仮想音源であって、前記受聴位置から前記構造物の１以上の端部への１以上の仮想音源方向上の近傍に配置される１以上の仮想音源を生成し、前記１以上の仮想音源は、前記音源からの音が前記受聴者に届くまでの間の伝搬経路であって、前記構造物を回避する伝搬経路の長さに基づいて決定され、前記決定では、（ｉ）前記１以上の仮想音源の方向から前記受聴者へ聞こえる音の音圧レベル、（ｉｉ）前記１以上の仮想音源の数、及び、（ｉｉｉ）前記１以上の仮想音源から放出される音の周波数特性、の少なくとも１つが決定される。
　これによれば、伝搬経路の長さに基づいて、音圧レベル、生成される仮想音源の数、及び、周波数特性が決定された１以上の仮想音源を生成することで、仮想的な空間の音源と受聴者との間に構造物が配置される場合に受聴者へ聞こえる音を再現する。このため、立体音響の再生に要する処理負荷を低減することができる。
　また、前記音圧レベルは、前記伝搬経路の長さが長いほど小さくなるように、前記１以上の仮想音源から放出される音の音圧レベルが調整されることで、決定されてもよい。
　これによれば、伝搬経路の長さが長いほど音の音圧レベルが減衰するように１以上の仮想音源を生成できる。このため、立体音響の再生に要する処理負荷を低減でき、かつ、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、前記音圧レベルは、前記伝搬経路の長さが長いほど前記受聴位置から遠くなるように、前記１以上の仮想音源の位置が調整されることで、決定されてもよい。
　これによれば、伝搬経路の長さに応じて音圧レベルが決定された１以上の仮想音源を生成できる。このため、立体音響の再生に要する処理負荷を低減でき、かつ、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、前記１以上の仮想音源の数は、前記伝搬経路の長さが長いほど多くなるように決定されてもよい。
　これによれば、伝搬経路の長さが長いほど回折による影響で音に広がりが生じるように決定された１以上の仮想音源を生成できる。このため、立体音響の再生に要する処理負荷を低減でき、かつ、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、前記周波数特性は、前記伝搬経路の長さが長いほど高周波帯域の音圧レベルが低周波帯域の音圧レベルよりも相対的に小さくなるように、決定されてもよい。
　これによれば、伝搬経路の長さが長いほど回折による影響で高周波帯域の音圧レベルが低下する減少が再現されるように決定された１以上の仮想音源を生成できる。このため、立体音響の再生に要する処理負荷を低減でき、かつ、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、前記周波数特性は、前記伝搬経路の長さが長いほど、音圧レベルを相対的に小さくする高周波帯域の帯域幅が大きくなるように、調整されてもよい。
　これによれば、伝搬経路の長さに応じて周波数特性が決定された１以上の仮想音源を生成できる。このため、立体音響の再生に要する処理負荷を低減でき、かつ、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、前記構造物を挟む２つの伝搬経路が形成される場合、前記１以上の仮想音源は、前記２つの伝搬経路に対応する２つの仮想音源方向のそれぞれに配置されてもよい。
　これによれば、２つの伝搬経路のそれぞれに対応する１以上の仮想音源を配置するため、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、前記構造物の片側のみに１つの伝搬経路が形成される場合、前記１以上の仮想音源は、前記１つの伝搬経路に対応する１つの仮想音源方向のみに配置され、前記１以上の仮想音源の数は、複数であってもよい。
　このため、１つの伝搬経路に複数の仮想音源を配置するため、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、本開示の一態様に係る音響再生装置は、仮想的な空間内に配置される構造物と、音源とを含み、前記仮想的な空間を再現するための空間情報を取得する取得部と、前記仮想的な空間内の受聴者の受聴位置を特定する特定部と、前記仮想的な空間内における前記音源と、前記受聴位置との間に前記構造物が配置される場合、前記音源による音の回折を再現するための１以上の仮想音源であって、前記受聴位置から前記構造物の１以上の端部への１以上の仮想音源方向上の近傍に配置される１以上の仮想音源を生成する生成部と、を備え、前記１以上の仮想音源は、前記音源からの音が前記受聴者に届くまでの間の伝搬経路であって、前記構造物を回避する伝搬経路の長さに基づいて決定され、前記決定では、（ｉ）前記１以上の仮想音源の方向から前記受聴者へ聞こえる音の音圧レベル、（ｉｉ）前記１以上の仮想音源の数、及び、（ｉｉｉ）前記１以上の仮想音源から放出される音の周波数特性、の少なくとも１つが決定される。
　これによれば、伝搬経路の長さに基づいて、音圧レベル、生成される仮想音源の数、及び、周波数特性が決定された１以上の仮想音源を生成することで、仮想的な空間の音源と受聴者との間に構造物が配置される場合にから受聴者へ聞こえる音を再現する。このため、立体音響の再生に要する処理負荷を低減することができる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、図面を参照しながら、実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素は、本開示の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。
　（実施の形態）
　［１．構成］
　まず、本開示に係るシステム構成について説明する。
　図１は、実施の形態に係る音響再生システムの一例を示す図である。
　本実施の形態に係る音響再生システム１は、図１に示すように、例えば、音響再生装置１００と、端末２００と、コントローラ３００とを備える。これらは、例えば、互いに専用の有線通信で通信可能に接続されていてもよいし、無線通信で通信可能に接続されていてもよい。これらは、直接通信可能に接続されていてもよいし、間に所定の機器を介して通信可能に接続されていてもよい。音響再生装置１００は、仮想的な空間内での音響を再生し、端末２００に出力する。音響再生装置１００は、仮想的な空間を再現し、仮想的な空間内のユーザに聞こえる音響を再生する。仮想的な空間には、構造物、音源、受聴者などが含まれる。受聴者は、ユーザである。これらの構造物、音源、及び、受聴者は、仮想的なものである。音響再生装置１００は、仮想的な空間における、構造物のサイズ及び位置と、音源の位置と、受聴者の位置とに基づいて、仮想的な空間内の受聴者に聞こえる音響を再生する。端末２００は、ユーザに生成された音響を出力し、コントローラ３００がユーザから受け付けた入力を、コントローラ３００から取得する。端末２００により取得された入力に応じて、仮想的な空間内の受聴者の位置及び姿勢が変更される。このため、音響再生装置１００は、端末２００により取得された入力に応じて変更された、仮想的な空間内の受聴者の位置及び姿勢に応じて、再生する音響を変更する。
　まず、音響再生装置１００について説明する。
　音響再生装置１００は、取得部１０１と、検出部１０２と、生成部１０３と、レンダリング部１０４と、通信部１０５とを備える。音響再生装置１００は、プロセッサがメモリを用いて所定のプログラムを実行することで実現されうる。つまり、音響再生装置１００は、コンピュータである。
　取得部１０１は、仮想的な空間内における音響を再現するための音響情報を取得する。取得部１０１は、外部の記憶装置からネットワークを介して音響情報を取得してもよいし、内部の記憶装置から音響情報を取得してもよい。記憶装置は、光ディスク、メモリカードなどの記録媒体に記録されている情報を読み出す装置であってもよいし、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記録媒体を内蔵しており、当該記録媒体に記録されている情報を読み出す装置であってもよい。外部の記憶装置は、例えば、インターネットを介して接続されるサーバであってもよい。なお、音響情報は、例えば、音源による音声を示す音声ストリームと、仮想的な空間を示す空間情報とを含む。
　検出部１０２は、音響情報に含まれる空間情報に基づいて、仮想的な空間内における障害物を検出する。空間情報は、仮想的な空間に配置される構造物を再現するためのメッシュ情報、音源位置などを含む。メッシュ情報は、構造物のサイズ、形状、色などの情報を含む。構造物は、人工的な構造物、及び、自然の構造物を含む。つまり、構造物は、空間を規定するためのあらゆる仮想的な物体を含む。音源位置は、構造物において、音が再生（出力）される位置を示す。検出部１０２は、通信部１０５により受信された受聴者情報に基づいて、仮想的な空間内の受聴者の受聴位置を特定する。検出部１０２は、特定部の一例である。検出部１０２は、構造物のサイズ、形状及び位置と、音源位置と、受聴位置とに基づいて、音源位置と受聴位置との間に配置される構造物があるか否かを判定する。検出部１０２は、音源位置と受聴位置との間に配置される構造物があると判定すれば、その構造物を障害物として検出する。
　生成部１０３は、仮想的な空間内における音源と、受聴位置との間に構造物が配置される場合、つまり、障害物が検出部１０２により検出された場合、受聴位置から当該構造物の１以上の端部への１以上の仮想音源方向上の近傍に配置される１以上の仮想音源を生成する。仮想音源方向とは、受聴位置と、構造物の端部とを通過する直線が延びる方向である。１以上の仮想音源は、音源による音の回折を再現するための音源である。障害物として検出された構造物の１以上の端部とは、当該構造物を受聴位置から見たときの、当該構造物の所定方向における端部である。障害物として検出された構造物の１以上の端部は、例えば、当該構造物を受聴位置から見たときの、当該構造物の水平方向における両端を含んでもよい。あるいは、当該構造物の１以上の端部は、例えば、当該構造物を受聴位置から見たときの、当該構造物の水平方向における片端のみを含んでもよい。片端のみを含む場合とは、当該構造物が水平方向における当該片端の反対側の端が受聴者の視界の当該反対側の端よりも反対側に配置される場合であってもよい。また、片端のみを含む場合とは、当該構造物が音源の上記反対側にも配置される場合であってもよい。
　レンダリング部１０４は、生成部１０３により生成された１以上の仮想音源と、受聴者の受聴位置及び受聴者の姿勢に応じて、頭部伝達関数を用いて出力用の音声ストリームを生成する。また、レンダリング部１０４は、受聴者の受聴位置から受聴者の姿勢において受聴者から見える視界を示す映像ストリームを生成する。映像ストリームは、当該視界に含まれる仮想的な空間内における構造物の映像である。
　通信部１０５は、端末２００との間で通信することで、端末２００との間で情報の授受を行う。通信部１０５は、例えば、出力用の音声ストリーム及び映像ストリームを端末２００へ送信する。また、通信部１０５は、例えば、受聴者の受聴位置及び受聴者の姿勢を示す受聴者情報を端末２００から受信する。
　次に、端末２００について説明する。
　端末２００は、通信部２０１と、制御部２０２と、検出部２０３と、入力受付部２０４と、表示部２０５と、音声出力部２０６とを備える。端末２００は、例えば、ユーザの頭部に装着されるＶＲ（Virtual Reality）ヘッドセットであってもよいし、ユーザの頭部に装着するための装着器具に取り付けられたスマートフォンなどの携帯端末であってもよい。
　通信部２０１は、音響再生装置１００との間で通信することで、音響再生装置１００との間で情報の授受を行う。通信部２０１は、例えば、受聴者の受聴位置及び受聴者の姿勢を示す受聴者情報を音響再生装置１００へ送信する。また、通信部１０５は、例えば、出力用の音声ストリーム及び映像ストリームを音響再生装置１００から受信する。
　制御部２０２は、通信部２０１が受信した音声ストリーム及び映像ストリームのうち、音声ストリームを音声出力部２０６へ出力し、映像ストリームを表示部２０５へ出力する。また、制御部２０２は、検出部２０３により検出されたユーザの頭部の動作（つまり、頭部の位置及び姿勢の変化）を取得する。また、制御部２０２は、入力受付部２０４により受け付けられた入力を取得する。入力は、仮想空間内における受聴者の位置の移動、及び、受聴者の姿勢の変更の少なくとも一方を行わせるための入力である。制御部２０２は、取得したユーザの頭部の動作と、受聴者の位置及び姿勢を変更することを示す入力とに基づいて、受聴者の受聴位置及び受聴者の姿勢を示す受聴者情報を生成し、通信部２０１を介して受聴者情報を音響再生装置１００へ送信する。制御部２０２は、頭部の動作及び入力を取得し、取得した頭部の動作及び入力に基づいて受聴者情報を生成する処理を逐次（つまり一定時間間隔で）行う。一定時間間隔は、例えば１秒未満の時間である。
　検出部２０３は、ユーザの頭部の動作を逐次検出する。検出部２０３は、ユーザの頭部の位置及び姿勢の変化を検出する。検出部２０３は、例えば、加速度センサ及び角速度センサを含む。検出部２０３は、例えば、ＩＭＵ（Inertial Measurement Unit）である。
　入力受付部２０４は、仮想空間内で受聴者の位置を移動させたり、受聴者の姿勢を変更させたりすることを示す入力をユーザに操作されたコントローラ３００から受け付ける。入力受付部２０４は、コントローラ３００との間で無線通信することでコントローラ３００からの入力を受け付けてもよいし、有線通信することでコントローラ３００からの入力を受け付けてもよい。コントローラ３００からの入力を受け付ける入力受付部２０４の機能は、通信部２０１が有していてもよい。入力受付部２０４は、ユーザからの入力を直接受け付けるボタン、タッチセンサなどを有していてもよい。
　表示部２０５は、制御部２０２により出力された映像ストリームが示す映像（動画像）を表示する。動画像は、複数のフレームから構成される映像である。映像は、静止画であってもよい。表示部２０５は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどである。
　音声出力部２０６は、制御部２０２により出力された音声ストリームが示す音声（音楽を含む）を出力する。音声出力部２０６は、例えば、スピーカなどである。
　コントローラ３００は、ユーザからの入力を受け付け、受け付けた入力を端末２００に送信する装置である。この入力は、上述したように、仮想空間内における受聴者の位置及び姿勢の少なくとも一方を変更するための入力である。
　次に、音響再生装置１００による仮想音源を生成する処理の具体例について説明する。
　図２は、音源と受聴者との間に障害物がない場合の処理について説明するための図である。図２の（ａ）は、仮想空間内の音源と受聴者との位置関係を上から見た平面図である。図２の（ｂ）は、仮想空間内の音源と受聴者との位置関係を三次元的に示す図である。
　音響再生装置１００は、音源３０１と受聴者３０２との間に障害物がない場合、図２に示すように、音源３０１の位置から受聴者３０２に向けて音が出力されるように仮想音源を生成する。つまり、この場合に生成される仮想音源は、音源３０１と同じである。
　図３は、音源と受聴者との間に障害物がある場合の受聴者の音の聞こえ方を説明するための図である。図３の（ａ）は、仮想空間内の音源と受聴者との位置関係を上から見た平面図である。図３の（ｂ）は、仮想空間内の音源と受聴者との位置関係を三次元的に示す図である。
　図３に示すように音源３０１と受聴者３０２との間に障害物３０３がある場合、図２に示すように音源３０１から放出される音は受聴者３０２まで直進して伝搬しにくいため、受聴者３０２には障害物３０３の側方を回り込んだ音（回折音）が聞こえることが想定される。このため、音響再生装置１００は、回折音を再現する必要がある。
　図４は、音源と受聴者との間に障害物がある場合の仮想音源を生成する処理の第１の例を説明するための図である。図４の（ａ）は、仮想空間内の音源と受聴者との位置関係を上から見た平面図である。図４の（ｂ）は、仮想空間内の音源と受聴者との位置関係を三次元的に示す図である。
　図４に示すように、音響再生装置１００の生成部１０３は、回折音を簡易的に再現するために、音源３０１に代えて、受聴者３０２の受聴位置から障害物３０３の両端にそれぞれが対応する２つの仮想音源方向３５１、３５２上の近傍に配置される２つの仮想音源３１１、３１２を生成する。仮想音源方向３５１は、受聴者３０２と障害物３０３の水平方向の一端３０３ａとを通過する直線で示される方向である。仮想音源方向３５２は、受聴者３０２と障害物３０３の水平方向の他端３０３ｂとを通過する直線で示される方向である。障害物３０３の水平方向における一端３０３ａ及び他端３０３ｂは、受聴者３０２が障害物３０３を見たときの水平方向における端部と同じである。一端３０３ａ及び他端３０３ｂは、障害物３０３が配置された場合に音が回折して伝搬する最短の経路上にあるため、以降では回折点とも呼ぶ場合がある。
　図４の（ａ）では、障害物３０３の左側を伝搬する音源３０１からの音の最短の伝搬経路Ｌ１１の長さと、障害物３０３の右側を伝搬する音源３０１からの音の最短の伝搬経路Ｌ１２の長さとが等しい例である。なお、伝搬経路Ｌ１１、Ｌ１２は、図４の（ａ）において太い破線で示される。より具体的には、伝搬経路Ｌ１１における音源３０１から一端３０３ａまでの長さと、伝搬経路Ｌ１２における音源３０１から他端３０３ｂまでの長さとは互いに等しい、また、伝搬経路Ｌ１１における一端３０３ａから受聴者３０２の受聴位置までの長さと、伝搬経路Ｌ１２における他端３０３ｂから受聴者３０２の受聴位置までの長さとは互いに等しい。このため、生成される仮想音源３１１、３１２は、受聴者３０２の受聴位置からの距離が等しい位置（つまり、破線で示される円上の位置）に配置される。伝搬経路Ｌ１１と伝搬経路Ｌ１２との長さが互いに等しいため、仮想音源３１１、３１２の音圧レベルは、互いに等しくなるように決定される。なお、伝搬経路Ｌ１１と伝搬経路Ｌ１２との長さが互いに異なる場合、仮想音源３１１、３１２の音圧レベルは、互いに異なるように決定され、例えば、伝搬経路の長さの比に基づいて、仮想音源３１１、３１２の音圧レベルが決定されてもよい。
　図５は、音源と受聴者との間に障害物がある場合の仮想音源を生成する処理の第２の例を説明するための図である。図５の（ａ）は、仮想空間内の音源と受聴者との位置関係を上から見た平面図である。図５の（ｂ）は、仮想空間内の音源と受聴者との位置関係を三次元的に示す図である。
　第２の例における障害物３０３Ａは、第１の例の障害物３０３と比較して、受聴者３０２から音源３０１を向いた方向における幅（厚み）が異なる。障害物３０３Ａの幅Ｄ２は、障害物３０３の幅Ｄ１よりも長い。
　図５に示すように、音響再生装置１００の生成部１０３は、第１の例と同様に、回折音を簡易的に再現するために、音源３０１に代えて、受聴者３０２の受聴位置から障害物３０３Ａの両端にそれぞれが対応する２つの仮想音源方向３５１、３５２上の近傍に配置される２つの仮想音源３１１ａ、３１２ａを生成する。仮想音源方向３５１は、受聴者３０２と障害物３０３Ａの水平方向の一端３０３Ａａとを通過する直線で示される方向である。仮想音源方向３５２は、受聴者３０２と障害物３０３Ａの水平方向の他端３０３Ａｂとを通過する直線で示される方向である。図５の（ａ）では、障害物３０３Ａの左側を伝搬する音源３０１からの音の最短の伝搬経路Ｌ２１の長さと、障害物３０３Ａの右側を伝搬する音源３０１からの音の最短の伝搬経路Ｌ２２の長さとが等しい例が示されている。
　なお、伝搬経路Ｌ２２、Ｌ２２は、図５の（ａ）において太い破線で示される。より具体的には、伝搬経路Ｌ２１における音源３０１から一端３０３Ａａまでの長さと、伝搬経路Ｌ２２における音源３０１から他端３０３Ａｂまでの長さとは互いに等しい。また、伝搬経路Ｌ２１における一端３０３Ａａから受聴者３０２の受聴位置までの長さと、伝搬経路Ｌ２２における他端３０３Ａｂから受聴者３０２の受聴位置までの長さとは互いに等しい。このため、生成される仮想音源３１１ａ、３１２ａは、受聴者３０２の受聴位置からの距離が等しい位置（つまり、破線で示される円上の位置）に配置される。
　なお、破線で示される円は、受聴者３０２の受聴位置から音源３０１までの距離を半径とする円であるが、これに限らずに、受聴位置から音源３０１までの距離よりも長い距離を半径とする円であってもよいし、受聴位置から音源３０１までの距離よりも短い距離を半径とする円であってもよい。伝搬経路Ｌ１１と伝搬経路Ｌ１２との長さが互いに等しいため、仮想音源３１１ａ、３１２ａの音圧レベルは、互いに等しくなるように決定される。
　なお、伝搬経路Ｌ２１と伝搬経路Ｌ２２との長さが互いに異なる場合、仮想音源３１１、３１２の音圧レベルは、互いに異なるように決定され、例えば、伝搬経路の長さの比に基づいて、仮想音源３１１ａ、３１２ａの音圧レベルが決定されてもよい。
　ここで、障害物３０３Ａの幅Ｄ２は（図４に示す）第１の例の障害物３０３の幅Ｄ１よりも長いため、第２の例における伝搬経路Ｌ２１は、第１の例における伝搬経路Ｌ１１よりも長くなる。このため、生成部１０３は、第１の例における仮想音源３１１、３１２の位置よりも各仮想音源方向３５１、３５２において受聴者３０２の受聴位置から遠い位置に仮想音源３１１ａ、３１２ａを生成する。つまり、生成部１０３は、障害物３０３がある場合の回折点と、障害物３０３Ａがある場合の回折点とが同じである場合、受聴者３０２の受聴位置と回折点とを通過する直線で示される仮想音源方向３５１、３５２から受聴者３０２へ聞こえる音の音圧レベルを、伝搬経路の長さが長いほど小さくなるように決定する。
　例えば、生成部１０３は、伝搬経路の長さが長いほど受聴位置から遠くなるように、仮想音源３１１ａ、３１２ａの位置を調整してもよい。これにより、受聴者３０２の受聴位置と回折点とを通過する直線で示される仮想音源方向３５１、３５２から受聴者３０２へ聞こえる音の音圧レベルは、伝搬経路の長さが長いほど小さくなるように決定される。このように、生成部１０３は、受聴者３０２の受聴位置を基準として、生成する仮想音源３１１ａ、３１２ａの位置までの距離を調整することで、受聴者３０２へ聞こえる音の音圧レベルを調整してもよい。
　また、例えば、生成部１０３は、伝搬経路の長さが長いほど小さくなるように、仮想音源３１１ａ、３１２ａから放出される音の音圧レベルを調整してもよい。例えば、生成部１０３は、仮想音源３１１ａ、３１２ａから放出される音の音圧レベルのゲインを、伝搬経路Ｌ１１の長さを伝搬経路Ｌ２１の長さで除すことで得られた比Ｌ１１／Ｌ２１に仮想音源３１１、３１２から放出される音の音圧レベルのゲインに乗じることで決定してもよい。また、生成部１０３は、仮想音源３１１ａ、３１２ａから放出される音の音圧レベルのゲインを、障害物３０３の幅Ｄ１を障害物３０３Ａの幅Ｄ２で除すことで得られた比Ｄ１／Ｄ２に仮想音源３１１、３１２から放出される音の音圧レベルのゲインに乗じることで決定してもよい。これにより、受聴者３０２の受聴位置と回折点とを通過する直線で示される仮想音源方向３５１、３５２から受聴者３０２へ聞こえる音の音圧レベルは、伝搬経路の長さが長いほど小さくなるように決定される。このように、生成部１０３は、仮想音源３１１ａ、３１２ａから放出される音の音圧レベルを調整することで、受聴者３０２へ聞こえる音の音圧レベルを調整してもよい。
　図６は、音源と受聴者との間に障害物がある場合の仮想音源を生成する処理の第３の例を説明するための図である。図６の（ａ）は、仮想空間内の音源と受聴者との位置関係を上から見た平面図である。図６の（ｂ）は、仮想空間内の音源と受聴者との位置関係を三次元的に示す図である。
　第３の例は、第２の例と同じ場面である。つまり、第３の例において、障害物３０３Ａのサイズ及び位置は、第２の例と同じであり、音源３０１及び受聴者３０２の受聴位置も第２の例と同じである。
　第３の例において、生成部１０３は、伝搬経路の長さに応じて仮想音源の数を決定してもよい。具体的には、生成部１０３は、伝搬経路の長さが長くなるほど仮想音源の数が多くなるように、複数の仮想音源３１１ｂ及び複数の仮想音源３１２ｂを生成してもよい。生成部１０３は、各仮想音源方向３５１、３５２の近傍の角度範囲に収まる位置に、複数（図６の例では３つ）の仮想音源３１１ｂ及び複数（図６の例では３つ）の３１２ｂを生成する。方向の近傍の角度範囲は、例えば、基準となる方向から±３０度の角度範囲であってもよいし、±４５度の角度範囲であってもよい。なお、複数の仮想音源は、基準となる方向の近傍の角度範囲に収まる位置に配置されていればよく、基準となる方向上に配置されていなくてもよいし、複数の仮想音源の分布範囲が基準となる方向を含むように配置されていなくてもよい。
　なお、複数の仮想音源の分布範囲が基準となる方向を含むように配置されるとは、基準となる方向を跨がるように複数の仮想音源が配置されることであり、複数の仮想音源同士を結んでできる１以上の線分のいずれかが基準となる方向と交差するように複数の仮想音源が配置されることである。例えば、生成部１０３は、伝搬経路Ｌ２１の長さを伝搬経路Ｌ１１の長さで除すことで得られた比Ｌ２１／Ｌ１１が第１の閾値より小さい場合、仮想音源の数を１つに決定してもよい。また、生成部１０３は、比Ｌ２１／Ｌ１１が第１の閾値より大きく、かつ、第１の閾値より大きい第２の閾値以下である場合、仮想音源の数を２つに決定してもよい。また、生成部１０３は、比Ｌ２１／Ｌ１１が第２の閾値より大きい場合、仮想音源の数を３つに決定してもよい。
　なお、生成部１０３は、第２の例と第３の例とを組み合わせて、複数の仮想音源を配置してもよい。生成部１０３は、伝搬経路の長さに応じて、仮想音源方向３５１、３５２から受聴者へ聞こえる音の音圧レベル、及び、生成する仮想音源の数の両方を決定してもよい。
　また、生成部１０３は、さらに、生成する仮想音源から放出される音の周波数特性を決定してもよい。つまり、生成部１０３は、第２の例に加えて伝搬経路の長さに応じて音の周波数特性を決定してもよいし、第３の例に加えて伝搬経路の長さに応じて音の周波数特性を決定してもよいし、第２の例及び第３の例の組み合わせに加えて伝搬経路の長さに応じて音の周波数特性を決定してもよい。また、生成部１０３は、第２の例及び第３の例の処理を行わずに、第１の例の仮想音源３１１、３１２から放出される音の周波数特性を伝搬経路の長さに応じて決定してもよい。
　図７は、仮想音源から放出される音の周波数特性の調整処理の第１の例を示すグラフである。図８は、仮想音源から放出される音の周波数特性の調整処理の第２の例を示すグラフである。
　図７に示すように、生成部１０３は、仮想音源から放出される音の周波数特性を、伝搬経路の長さが長いほど高周波帯域の音圧レベルが低周波帯域の音圧レベルよりも相対的に小さくなるように決定してもよい。生成部１０３は、伝搬経路の長さが長いほど周波数特性の高周波帯域の音圧レベルを小さくするように周波数特性を決定してもよい。また、生成部１０３は、伝搬経路の長さが長いほど周波数特性の低周波帯域の音圧レベルを大きくするように周波数特性を決定してもよい。また、生成部１０３は、伝搬経路の長さが長いほど周波数特性の高周波帯域の音圧レベルを小さくし、かつ、周波数特性の低周波帯域の音圧レベルを大きくするように周波数特性を決定してもよい。また、生成部１０３は、図８に示すように、さらに、伝搬経路の長さが長いほど、音圧レベルを相対的に小さくする高周波帯域の帯域幅が大きくなるように、周波数特性を決定してもよい。
　以上のように、第１の例から第３の例では、障害物を挟む２つの伝搬経路が形成される場合における、仮想音源の生成方法を説明した。この場合、仮想音源は、２つの伝搬経路に対応する２つの仮想音源方向３５１、３５２のそれぞれに配置される。
　図９は、音源と受聴者との間に障害物がある場合の仮想音源を生成する処理の第４の例を説明するための図である。図９の（ａ）は、仮想空間内の音源と受聴者との位置関係を上から見た平面図である。図９の（ｂ）は、仮想空間内の音源と受聴者との位置関係を三次元的に示す図である。
　第４の例における障害物３０３Ｂは、第１の例の障害物３０３と比較して、さらに、音源３０１及び受聴者３０２の片側に配置される壁状の第２部分３０３Ｂｂを有する点が異なる。障害物３０３Ｂは、音源３０１及び受聴者３０２の間に配置される障害物３０３と同じ構成の第１部分３０３Ｂａと、第１部分３０３Ｂａに接続されて連続しており、音源３０１及び受聴者３０２の右側に配置される第２部分３０３Ｂｂとを有する。音源３０１及び受聴者３０２の右側とは、第１部分３０３Ｂａの片側である。第２部分３０３Ｂｂは、第１部分３０３Ｂａに交差する方向、つまり、音源３０１及び受聴者３０２を結ぶ直線の方向に配置される。このように、第４の例における障害物３０３Ｂは第２部分３０３Ｂｂを有するため、音源３０１からの音は障害物３０３Ｂの第２部分３０３Ｂｂによって遮断される。このため、音源３０１からの音が障害物３０３Ｂを回避して伝搬する伝搬経路Ｌ１１は、障害物３０３Ｂの片側のみに１つ形成される。この場合、生成部１０３は、１つの伝搬経路Ｌ１１に対応する１つの仮想音源方向３５１のみに配置されるように、複数の仮想音源３１１ｂを生成する。
　なお、障害物の片側のみに１つの伝搬経路が形成される場合とは、障害物が、音源３０１及び受聴者３０２の間に配置される第１部分と、第１部分と接続されて連続しており音源３０１及び受聴者３０２の少なくとも一方の片側に配置される第２部分とを有している場合である。
　次に、検出部１０２による障害物の検出処理の具体例について説明する。
　図１０は、障害物の検出処理の第１の例を説明するための図である。図１０は、仮想空間内の音源と受聴者との位置関係を上から見た平面図である。
　図１０には上から見たときに矩形状の構造物３６３が示されている。つまり、構造物３６３は、上から見たときに４点の角部３６３ａ～３６３ｄを有し、構造物３６３は、４点の角部３６３ａ～３６３ｄを結ぶ４つの辺を有する。４点の角部３６３ａ～３６３ｄの位置は、空間情報で示されるため、検出部１０２は、音源３６１及び受聴者３６２の受聴位置を結ぶ線分３６４が、構造物３６３の４つの辺のいずれかと交差する、あるいは、４つの角部３６３ａ～３６３ｄのいずれかと接するか否かを判定する。検出部１０２は、線分３６４が構造物３６３の４つの辺のいずれかと交差する、あるいは、４つの角部３６３ａ～３６３ｄのいずれかと接すると判定した場合、構造物３６３を障害物として検出する。
　また、検出部１０２は、線分３６４が４つの辺と交差する点３６３ｅ、３６３ｆのうち受聴者３６２に近い方の点３６３ｆが存在する辺の両端の２点の角部３６３ｃ、３６３ｄを回折点として検出してもよい。あるいは、検出部１０２は、受聴者３６２の受聴位置と４点の角部３６３ａ～３６３ｄのそれぞれとを結ぶ４つの線分のうち、最も外側の２つの線分上にある２点の角部３６３ｃ、３６３ｄを回折点として検出してもよい。
　図１１は、障害物の検出処理の第２の例を説明するための図である。図１１は、仮想空間内の音源と受聴者との位置関係を上から見た平面図である。
　図１１には上から見たときに六角形の構造物３７３が示されている。つまり、構造物３７３は、上から見たときに６点の角部３７３ａ～３７３ｆを有し、構造物３７３は、６点の角部３７３ａ～３７３ｆを結ぶ６つの辺を有する。６点の角部３７３ａ～３７３ｆの位置は、空間情報で示されるため、検出部１０２は、音源３７１及び受聴者３７２の受聴位置を結ぶ線分３７４が、構造物３７３の６つの辺のいずれかと交差する、あるいは、６つの角部３７３ａ～３７３ｆのいずれかと接するか否かを判定する。検出部１０２は、線分３７４が構造物３７３の６つの辺のいずれかと交差する、あるいは、６つの角部３７３ａ～３７３ｆのいずれかと接すると判定した場合、構造物３７３を障害物として検出する。
　また、検出部１０２は、線分３７４が４つの辺と交差する点３７３ｇ、３７３ｈのうち受聴者３７２に近い方の点３７３ｈが存在する辺の両端の２点の角部３７３ｄ、３７３ｅを回折点として検出してもよい。あるいは、検出部１０２は、受聴者３７２の受聴位置と６４点の角部３７３ａ～３７３ｆのそれぞれとを結ぶ６つの線分のうち、最も外側の２つの線分上にある２点の角部３７３ｃ、３７３ｅを回折点として検出してもよい。
　なお、図１０及び図１１では、説明を簡単にするために多角形の障害物の角部を結ぶ辺を用いて障害物を検出しているが、障害物を検出するための辺は角部を結ぶ辺に限らずに、障害物の表面上に設定する任意の点を結ぶ辺としてもよい。
　［２．動作］
　次に、音響再生装置１００の動作、つまり、音響再生装置１００により実行される音響再生方法について説明する。
　図１２は、音響再生装置の動作の一例を示すフローチャートである。
　音響再生装置１００は、空間情報を取得する（Ｓ１１）。空間情報は、仮想的な空間を再現するための情報である。仮想的な空間は、仮想的な空間内に配置される構造物と、音源とを含む。
　次に、音響再生装置１００は、仮想的な空間内の受聴者の受聴位置を特定する（Ｓ１２）。
　次に、音響再生装置１００は、１以上の仮想音源を生成する（Ｓ１３）。１以上の仮想音源は、仮想的な空間内における音源と、受聴位置との間に構造物が配置される場合、受聴位置から構造物の１以上の端部への１以上の仮想音源方向上の近傍に配置される。
　次に、音響再生装置１００は、生成した１以上の仮想音源を再生し、得られた音声ストリームを端末２００へ出力する（Ｓ１４）。
　［３．効果など］
　本実施の形態に係る音響再生装置１００は、仮想的な空間を再現するための空間情報を取得する。仮想的な空間は、仮想的な空間内に配置される構造物と、音源とを含む。次に、音響再生装置１００は、仮想的な空間内の受聴者の受聴位置を特定する。次に、音響再生装置１００は、仮想的な空間内における音源と、受聴位置との間に構造物が配置される場合、受聴位置から構造物の１以上の端部への１以上の仮想音源方向上の近傍に配置される１以上の仮想音源を生成する。１以上の仮想音源は、音源からの音が受聴者に届くまでの間の伝搬経路であって、構造物を回避する伝搬経路の長さに基づいて決定される。上記決定では、（ｉ）１以上の仮想音源の方向から受聴者へ聞こえる音の音圧レベル、（ｉｉ）１以上の仮想音源の数、及び、（ｉｉｉ）１以上の仮想音源から放出される音の周波数特性、の少なくとも１つが決定される。
　これによれば、伝搬経路の長さに基づいて、音圧レベル、生成される仮想音源の数、及び、周波数特性が決定された１以上の仮想音源を生成することで、仮想的な空間の音源と受聴者との間に構造物が配置される場合にから受聴者へ聞こえる音を再現する。このため、立体音響の再生に要する処理負荷を低減することができる。
　また、本実施の形態に係る音響再生装置１００において、音圧レベルは、伝搬経路の長さが長いほど小さくなるように、１以上の仮想音源から放出される音の音圧レベルが調整されることで、決定される。つまり、音響再生装置１００は、伝搬経路の長さが長いほど音の音圧レベルが減衰するように１以上の仮想音源を生成できる。このため、立体音響の再生に要する処理負荷を低減でき、かつ、源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、本実施の形態に係る音響再生装置１００において、音圧レベルは、伝搬経路の長さが長いほど受聴位置から遠くなるように、１以上の仮想音源の位置が調整されることで、決定される。つまり、音響再生装置１００は、伝搬経路の長さに応じて音圧レベルが決定された１以上の仮想音源を生成できる。このため、立体音響の再生に要する処理負荷を低減でき、かつ、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、本実施の形態に係る音響再生装置１００において、１以上の仮想音源の数は、伝搬経路の長さが長いほど多くなるように決定される。このため、伝搬経路の長さが長いほど回折による影響で音に広がりが生じるように決定された１以上の仮想音源を生成できる。このため、立体音響の再生に要する処理負荷を低減でき、かつ、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、本実施の形態に係る音響再生装置１００において、周波数特性は、伝搬経路の長さが長いほど高周波帯域の音圧レベルが低周波帯域の音圧レベルよりも相対的に小さくなるように、決定される。このため、伝搬経路の長さが長いほど回折による影響で高周波帯域の音圧レベルが低下する減少が再現されるように決定された１以上の仮想音源を生成できる。このため、立体音響の再生に要する処理負荷を低減でき、かつ、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、本実施の形態に係る音響再生装置１００において、周波数特性は、伝搬経路の長さが長いほど、音圧レベルを相対的に小さくする高周波帯域の帯域幅が大きくなるように、調整される。このため、伝搬経路の長さが長いほど回折による影響で高周波帯域の音圧レベルがより低下する減少が再現されるように決定された１以上の仮想音源を生成できる。このため、立体音響の再生に要する処理負荷を低減でき、かつ、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、本実施の形態に係る音響再生装置１００において、構造物を挟む２つの伝搬経路が形成される場合、１以上の仮想音源は、２つの伝搬経路に対応する２つの仮想音源方向のそれぞれに配置される。これによれば、２つの伝搬経路のそれぞれに対応する１以上の仮想音源を配置するため、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　また、本実施の形態に係る音響再生装置１００において、構造物の片側のみに１つの伝搬経路が形成される場合、１以上の仮想音源は、１つの伝搬経路に対応する１つの仮想音源方向のみに配置される。また、１以上の仮想音源の数は、複数である。これによれば、２つの伝搬経路のうちの１つの伝搬経路が遮断されている場合に１つの伝搬経路において生じる回折の影響で音に広がりが生じるように決定された複数の仮想音源を配置するため、音源の代わりに複数の仮想音源を配置する前後で受聴者に聞こえる音の印象に影響を与えることが少ない適切な立体音響を再生することができる。
　［４．変形例］
　（１）上記実施の形態では、音響再生装置１００は、生成する１以上の仮想音源を、伝搬経路の長さに応じて調整するとした。具体的には、音響再生装置１００は、１以上の仮想音源の方向から受聴者へ聞こえる音の音圧レベル、１以上の仮想音源の数、及び、１以上の仮想音源から放出される音の周波数特性の少なくとも１つ（以下、仮想音源のパラメータという）を調整するとしたが、これに限らない。音響再生装置１００は、予め想定された音源、構造物及び受聴位置の関係をそれぞれが示す複数の位置関係と、当該複数の位置関係に対応して予め算出された仮想音源のパラメータとを対応付けたテーブルなどの関係情報をメモリに記憶しておく。そして、音響再生装置１００は、取得された受聴位置に対応する位置関係で紐付けられた仮想音源のパラメータを、関係情報を参照することで決定してもよい。つまり、音響再生装置１００は、受聴位置に応じて仮想音源のパラメータをリアルタイムで算出しなくてもよく、事前に算出して決定した仮想音源のパラメータをメモリから引き出して特定してもよい。これにより、仮想音源を生成するための処理負荷をさらに低減することができる。
　（２）上記実施の形態では、端末２００が、検出部２０３、入力受付部２０４、表示部２０５及び音声出力部２０６を備える構成としたが、これに限らずに、音響再生装置が検出部２０３、入力受付部２０４、表示部２０５及び音声出力部２０６と同様の機能を有する構成としても構わない。
　［その他の実施の形態等］
　以上のように、本開示について上記の実施の形態に基づいて説明してきたが、本開示は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本開示に含まれる。
　（１）上記の実施の形態における各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記録されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
　（２）上記の実施の形態における各装置は、構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記録されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
　また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されていても良いし、一部またはすべてを含むように１チップ化されてもよい。
　また、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
　（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
　また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標）　Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
　また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
　また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記録しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
　また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
　本開示は、立体音響の再生に要する処理負荷を低減することができる音響再生方法、音響再生装置、及び、プログラムなどに利用可能である。
　　１　　音響再生システム
１００　　音響再生装置
１０１　　取得部
１０２　　検出部
１０３　　生成部
１０４　　レンダリング部
１０５　　通信部
２００　　端末
２０１　　通信部
２０２　　制御部
２０３　　検出部
２０４　　入力受付部
２０５　　表示部
２０６　　音声出力部
３００　　コントローラ
３０１、３６１、３７１　　音源
３０２、３６２、３７２　　受聴者
３０３、３０３Ａ、３０３Ｂ　　障害物
３０３Ｂａ　　第１部分
３０３Ｂｂ　　第２部分
３０３ａ　　一端
３０３ｂ　　他端
３１１、３１１ａ、３１１ｂ、３１２、３１２ａ、３１２ｂ　　仮想音源
３６３、３７３　　構造物
３５１、３５２　　仮想音源方向

Claims (10)

  1. 　仮想的な空間内に配置される構造物と、音源とを含み、前記仮想的な空間を再現するための空間情報を取得し、
    　前記仮想的な空間内の受聴者の受聴位置を特定し、
    　前記仮想的な空間内における前記音源と、前記受聴位置との間に前記構造物が配置される場合、前記音源による音の回折を再現するための１以上の仮想音源であって、前記受聴位置から前記構造物の１以上の端部への１以上の仮想音源方向上の近傍に配置される１以上の仮想音源を生成し、
    　前記１以上の仮想音源は、前記音源からの音が前記受聴者に届くまでの間の伝搬経路であって、前記構造物を回避する伝搬経路の長さに基づいて決定され、
    　前記決定では、（ｉ）前記１以上の仮想音源の方向から前記受聴者へ聞こえる音の音圧レベル、（ｉｉ）前記１以上の仮想音源の数、及び、（ｉｉｉ）前記１以上の仮想音源から放出される音の周波数特性、の少なくとも１つが決定される
    　音響再生方法。
  2. 　前記音圧レベルは、前記伝搬経路の長さが長いほど小さくなるように、前記１以上の仮想音源から放出される音の音圧レベルが調整されることで、決定される
    　請求項１に記載の音響再生方法。
  3. 　前記音圧レベルは、前記伝搬経路の長さが長いほど前記受聴位置から遠くなるように、前記１以上の仮想音源の位置が調整されることで、決定される
    　請求項１に記載の音響再生方法。
  4. 　前記１以上の仮想音源の数は、前記伝搬経路の長さが長いほど多くなるように決定される
    　請求項１から３のいずれか１項に記載の音響再生方法。
  5. 　前記周波数特性は、前記伝搬経路の長さが長いほど高周波帯域の音圧レベルが低周波帯域の音圧レベルよりも相対的に小さくなるように、決定される
    　請求項１から４のいずれか１項に記載の音響再生方法。
  6. 　前記周波数特性は、前記伝搬経路の長さが長いほど、音圧レベルを相対的に小さくする高周波帯域の帯域幅が大きくなるように、調整される
    　請求項５に記載の音響再生方法。
  7. 　前記構造物を挟む２つの伝搬経路が形成される場合、前記１以上の仮想音源は、前記２つの伝搬経路に対応する２つの仮想音源方向のそれぞれに配置される
    　請求項１から６のいずれか１項に記載の音響再生方法。
  8. 　前記構造物の片側のみに１つの伝搬経路が形成される場合、前記１以上の仮想音源は、前記１つの伝搬経路に対応する１つの仮想音源方向のみに配置され、
    　前記１以上の仮想音源の数は、複数である
    　請求項１から６のいずれか１項に記載の音響再生方法。
  9. 　仮想的な空間内に配置される構造物と、音源とを含み、前記仮想的な空間を再現するための空間情報を取得する取得部と、
    　前記仮想的な空間内の受聴者の受聴位置を特定する特定部と、
    　前記仮想的な空間内における前記音源と、前記受聴位置との間に前記構造物が配置される場合、前記音源による音の回折を再現するための１以上の仮想音源であって、前記受聴位置から前記構造物の１以上の端部への１以上の仮想音源方向上の近傍に配置される１以上の仮想音源を生成する生成部と、を備え、
    　前記１以上の仮想音源は、前記音源からの音が前記受聴者に届くまでの間の伝搬経路であって、前記構造物を回避する伝搬経路の長さに基づいて決定され、
    　前記決定では、（ｉ）前記１以上の仮想音源の方向から前記受聴者へ聞こえる音の音圧レベル、（ｉｉ）前記１以上の仮想音源の数、及び、（ｉｉｉ）前記１以上の仮想音源から放出される音の周波数特性、の少なくとも１つが決定される
    　音響再生装置。
  10. 　音響再生方法をコンピュータに実行させるためのプログラムであって、
    　前記音響再生方法は、
    　仮想的な空間内に配置される構造物と、音源とを含み、前記仮想的な空間を再現するための空間情報を取得し、
    　前記仮想的な空間内の受聴者の受聴位置を特定し、
    　前記仮想的な空間内における前記音源と、前記受聴位置との間に前記構造物が配置される場合、前記音源による音の回折を再現するための１以上の仮想音源であって、前記受聴位置から前記構造物の１以上の端部への１以上の仮想音源方向上の近傍に配置される１以上の仮想音源を生成し、
    　前記１以上の仮想音源は、前記音源からの音が前記受聴者に届くまでの間の伝搬経路であって、前記構造物を回避する伝搬経路の長さに基づいて決定され、
    　前記決定では、（ｉ）前記１以上の仮想音源の方向から前記受聴者へ聞こえる音の音圧レベル、（ｉｉ）前記１以上の仮想音源の数、及び、（ｉｉｉ）前記１以上の仮想音源から放出される音の周波数特性、の少なくとも１つが決定される
    　プログラム。
PCT/JP2022/015445 2021-04-12 2022-03-29 音響再生方法、音響再生装置、及び、プログラム WO2022220102A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2023514574A JPWO2022220102A1 (ja) 2021-04-12 2022-03-29
CN202280027353.3A CN117157994A (zh) 2021-04-12 2022-03-29 音响再现方法、音响再现装置和程序
KR1020237034071A KR20230169964A (ko) 2021-04-12 2022-03-29 음향 재생 방법, 음향 재생 장치, 및, 프로그램
EP22788027.5A EP4325887A1 (en) 2021-04-12 2022-03-29 Sound reproduction method, sound reproduction device, and program
US18/373,484 US20240022854A1 (en) 2021-04-12 2023-09-27 Sound reproduction method, sound reproduction device, and recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163173637P 2021-04-12 2021-04-12
US63/173,637 2021-04-12
JP2022024143 2022-02-18
JP2022-024143 2022-02-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/373,484 Continuation US20240022854A1 (en) 2021-04-12 2023-09-27 Sound reproduction method, sound reproduction device, and recording medium

Publications (1)

Publication Number Publication Date
WO2022220102A1 true WO2022220102A1 (ja) 2022-10-20

Family

ID=83640637

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/015445 WO2022220102A1 (ja) 2021-04-12 2022-03-29 音響再生方法、音響再生装置、及び、プログラム

Country Status (5)

Country Link
US (1) US20240022854A1 (ja)
EP (1) EP4325887A1 (ja)
JP (1) JPWO2022220102A1 (ja)
KR (1) KR20230169964A (ja)
WO (1) WO2022220102A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005208166A (ja) 2004-01-20 2005-08-04 Yamaha Corp 音響シミュレーション装置及びそのプログラム
JP2013201577A (ja) * 2012-03-23 2013-10-03 Shimizu Corp 立体音響計算方法、装置、プログラム、記録媒体および立体音響提示システムならびに仮想現実空間提示システム
JP2014226201A (ja) * 2013-05-20 2014-12-08 株式会社スクウェア・エニックス ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US20200348387A1 (en) * 2018-05-29 2020-11-05 Tencent Technology (Shenzhen) Company Limited Sound source determining method and apparatus, and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005208166A (ja) 2004-01-20 2005-08-04 Yamaha Corp 音響シミュレーション装置及びそのプログラム
JP2013201577A (ja) * 2012-03-23 2013-10-03 Shimizu Corp 立体音響計算方法、装置、プログラム、記録媒体および立体音響提示システムならびに仮想現実空間提示システム
JP2014226201A (ja) * 2013-05-20 2014-12-08 株式会社スクウェア・エニックス ビデオゲーム処理装置、およびビデオゲーム処理プログラム
US20200348387A1 (en) * 2018-05-29 2020-11-05 Tencent Technology (Shenzhen) Company Limited Sound source determining method and apparatus, and storage medium

Also Published As

Publication number Publication date
EP4325887A1 (en) 2024-02-21
US20240022854A1 (en) 2024-01-18
KR20230169964A (ko) 2023-12-18
JPWO2022220102A1 (ja) 2022-10-20

Similar Documents

Publication Publication Date Title
US11218830B2 (en) Applications and format for immersive spatial sound
US9756444B2 (en) Rendering audio using speakers organized as a mesh of arbitrary N-gons
US10397728B2 (en) Differential headtracking apparatus
US11950084B2 (en) 3D audio rendering using volumetric audio rendering and scripted audio level-of-detail
US20150264502A1 (en) Audio Signal Processing Device, Position Information Acquisition Device, and Audio Signal Processing System
JP2011521511A (ja) 拡張現実を強化した音声
WO2011154270A1 (en) Virtual spatial soundscape
JP2007274061A (ja) 音像定位装置およびａｖシステム
KR20070119542A (ko) 음상 제어 장치 및 음상 제어 방법
US11627427B2 (en) Enabling rendering, for consumption by a user, of spatial audio content
JP2023530479A (ja) モバイル周辺デバイスに対する空間化されたオーディオ
WO2022220102A1 (ja) 音響再生方法、音響再生装置、及び、プログラム
EP4195697A1 (en) Loudspeaker system for arbitrary sound direction rendering
US11302339B2 (en) Spatial sound reproduction using multichannel loudspeaker systems
US11070933B1 (en) Real-time acoustic simulation of edge diffraction
US10735885B1 (en) Managing image audio sources in a virtual acoustic environment
CN117157994A (zh) 音响再现方法、音响再现装置和程序
WO2022220181A1 (ja) 情報処理方法、情報処理装置、及び、プログラム
TWI838554B (zh) 具有用於控制擴展實境體驗之音訊呈現之使用者介面之裝置及非暫時性電腦可讀儲存媒體及其方法
KR102519156B1 (ko) 무선 헤드셋을 사용해 휴대 기기 위치를 알려주는 방법 및 시스템
WO2023199817A1 (ja) 情報処理方法、情報処理装置、音響再生システム、及び、プログラム
US20220329961A1 (en) Methods and apparatus to expand acoustic rendering ranges
KR102119241B1 (ko) 멀티 채널 비주얼라이제이션 방법 및 이를 위한 프로그램
CN117178570A (zh) 信息处理方法、信息处理装置和程序
KR102358514B1 (ko) 다극 음향 객체를 이용한 음향 제어 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22788027

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023514574

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022788027

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022788027

Country of ref document: EP

Effective date: 20231113